Der Crawl-Report

Aufbau eines Crawl Reports

Allgemeines

Der SEOLizer nimmt bei jedem neuen Crawl Deiner Website Einzeltests auch auf Domainebene (also der Startseite) vor. Dabei prüft der SEOLizer auf:

  1. Ob eine Kompressionsmethode (GZip, Deflate usw.) für Deine Website und insbesondere auch dem Mimetype „text/html“ aktiviert wurde.
  2. Ob die Website korrekt mit einem SSL- Zertifikat konfiguriert wurde
  3. Ob die Website das neuere Protokoll HTTP/2 unterstützt
  4. TimeToFirstByte (TtfB)
  5. Die Validität des SSL- Zertifikates
  6. Ob die Domain konsistent eingerichtet wurden. (Dies bedeutet alle möglichen Domain-URLs wie http://meinedomain.de, http://www.meinedomain.de, https://meinedomain.de & https://www.meinedomain.de den selben Inhalt liefern, bzw. ob eine Version Deine Hauptdomain ist und die restlichen 3 Möglichkeiten via 301 Redirct richtig umgeleitet wurden)
  7. Ob für Deine Domain so genannte Widecard- Subdomains aktiviert sind.
  8. Ob die Website bereits mit einem Full-Page-Cash wie Varnish ausgeliefert wird.
  9. Ob eine robots.txt vorhanden und gelesen werden kann
  10. Prüfung der Sitemap-Struktur

Fehlerberichte

in dem für Dich wohl wichtigste Reiter haben wir alle wichtigen Fehlermeldungen und Tipps, nach Priorität sortiert, zusammengefasst. Wir möchten Dir hier Details zu den möglichen Fehlern geben:

HTML- Fehler im Quellcode

Der SEOLizer prüft jede einzelne HTML- Seite Deines Projektes auf HTML- Fehler. Dazu zählen z.B.:

  • Nicht richtig geschlossene / oder in falscher Reihenfolge geschlossener HTML- Tags
  • Doppelte Verwendung von Werten im Id- Attribute
  • Ungültige Codierungen von Sonderzeichen
Beispiel für ein nicht geschlossenes HTML- Tag

In diesem Beispiel ist das P- Tag (<p>) nach dem Inhalt nicht geschlossen worden (</p>). 

<html>
  <head>
    <title>Der Seitentitel</title>
    ...
  </head>
  <body>
    <div>
      <p>Das ist der eigentliche Text
    </div>  
  </body>
</html>

Viele Warnungen sind für einen Browser und vor allem für einen Bot kein Problem und werden über moderne Fehlerkorrekturen automatisch behoben. Allerdings können wirklich viele Fehler ein Indiz auf die Qualität einer Website und Sorgfalt bei der Erstellung der Website schließen und im schlimmsten Fall werden Inhalte vor den Bots unabsichtlich versteckt, da die HTML- Struktur von den Bots nicht richtig interpretiert werden kann.

Kein Titel angegeben

Wir haben eine oder mehr URLs gefunden für die kein Seitentitel angegeben wurde:

Beispiel
<html>
  <head>
    <title>Der Seitentitel</title>
    ...
  </head>
  <body>
    ...
  </body>
</html>
Erklärung

Der Seitentitel ist für Dein Ranking sehr wichtig. Sollte die angezeigte URL also für ein bestimmtes Keyword ranken so behebe den Fehler möglichst schnell.

Keine Meta- Description angegeben

Beispiel
<html>
  <head>
  ...
    <meta name="description" content="Snippet- Text" />
    ...
  </head>
  <body>
    ...
  </body>
</html>
Erklärung

Die Meta- Description ist zwar kein direkter Rankingfaktor mehr, jedoch entscheidet sich der User anhand Deines Seiten- Snippets ob Deine Seite es wert ist betrachtet zu werden. Daher solltest Du alles daran setzen eine attraktive Meta- Description zu erstellen, die

  1. Von Google auch so übernommen wird (Google ignoriert auch gerne einmal eine Meta- Description eines Seitenbetreibers und ersetzt diese durch eine automatisch erzeugte, wenn Google der Meinung ist, dass die generierte Meta- Description besser ist als die von der Seite angebotene)
  2. Such aus der Masse der Suchergebnisse hervorsticht
  3. Den direkten Mehrwert für einen User kurz und bündig enthält
  4. Eine direkte Call- To- Action, wie z.B. „Jetzt bestellen“, „Jetzt informieren“, „Weiterlesen“ enthält

URL länger als X Zeichen

Die URL sollte so kurz wie möglich gehalten werden, da sie für einen Webseitenbesucher eigentlich einfach zu merken sein sollte. Google würde am liebsten schon heute auf die Anzeige von URLs verzichten, jedoch scheint dieses Vorhaben bei den Benutzern noch nicht so ganz auf Gegenliebe zu stoßen.

Obwohl es im einzelnen nicht unbedingt groß auf die Länge einer URL ankommt, kann es im direkten Wettbewerb um ein Ranking genau ankommen. Wenn Google sich zwischen zwei Seiten entscheiden muss wählt Google selbst im Zweifelsfall die Seite mit der kürzeren URL.

Daher gilt: So lang wie nötig und kurz wie möglich!

Titellänge anpassen

Der Seitentitel sollte aus dem Keyword, für das die Seite ranken soll, kurzen Mehrwerten und einer Call-To-Action bestehen und dabei doch nicht zu lang sein. Eine Herausforderung! Der SEOLizer hat in diesem test URLs gefunden die Du Dir einmal genauer anschauen solltest. Entweder ist der Seitentitel extrem kurz und es besteht noch Potential oder der Seitentitel ist für die Suchergebnisse zu lang.

Meta- Description Länge anpassen

Sonderzeichen in der Meta- Description gefunden

Nach einem Wiederherstellen eines Backups einer Website oder bei dem einspielen eines Datenbank-Dumps kann es zu Problemen mit der Zeichencodierung (z.B. ISO-889-1 bzw. UTF-8) kommen. Danach können deutsche Umlaute z.B. in falschen Sonderzeichen dargestellt werden. Dieser Test Meta- Description einer URL auf diese Konvertierungsprobleme.

Sonderzeichen im Seitentitel gefunden

Wie schon im vorhegenden Test testen wir auch auf Konvertierungsprobleme im Seitentitel, die durch das ggf. falsch einspielen eines Datenbankdumps entstehen können.

Wiederholende Zeichen im Seitentitel gefunden

Wiederholende Zeichen in der Meta- Description gefunden

Internal Server Error

Bei der Aufruf dieser URls ist es zu einem internen Serverfehler gekommen. Dies kann an Problemen in der Serverkonfiguration oder der Programmierung liegen. Bei Systemen wie Wordpress oder anderen CMS kann es ggf. an durchgeführten Updates und inkompatiblen Plugins liegen. URLs die hier aufgelistet sind sollte so schnell wie möglich geprüft und der Fehler behoben werden.

Problem: Nicht nur, die Customerjourney ist auf Ihrer Seite durch solche URLs negativ beeinflusst. Google wird bei häufigen und mehrfachen „internen Serverfehlern“ ggf. auch das Crawling „herunterfahren“ bis die Probleme behoben sind. Das bedeutet, dass auch die noch erreichbaren URLs ggf. nicht mehr von Google besucht werden.

File not found

Der SEOLizer hat in einem Projekt URLs gefunden für die die Fehlermeldung „404 File not found“ zurückgegeben wurde. Prüfe bitte:

  1. Ob die URL noch in einer Sitemap publiziert wird. In diesem Fall aktualisiere die Sitemap- Datei
  2. Schaue in die Fehlerdetails und die URL- Details auf welchen Seiten noch auf die nicht existierende URL verlinkt wird. Behebe den linkfehler auf jeder Seite, die auf die falsche URL verweist.

Forbidden

Bei dem Aufruf der URLs wurde die Fehlermeldung „403 Forbidden“ zurückgegeben. Webseitenbesucher sind nicht berechtigt diese URL abzurufen. Wenn dies nicht gewünscht ist prüfe ggf. die Dateiberechtigungen auf Deinem Webserver.

Unauthorised

Bei dem Aufruf der URLs wurde die Fehlermeldung „401 Unauthorised“ zurückgegeben. Dies geschieht immer dann wenn für den Abruf einer URL ein Benutzername und Passwort als Basic-Authentication (Browserlogin) benötigt wird und in den Projekteinstellungen unter dem Reiter „Sicherheit“ kein Benutzername mit Passwort hinterlegt wurde bzw. diese Daten für die URLs nicht gültig waren.

Interne Weiterleitungen gefunden

Die hier angezeigten URLs werden mit einem redirect 301,302,303,304,305,306,307 zu einer neuen URL weitergeleitet. Dies passiert häufig wenn Redakteure direkt Seiten untereinander verlinken und sich danach die URL einer verlinkten Seite im Nachhinein ändert. In so einem Fall ist dies nicht sofort im Frontend ersichtlich, da der Besucher zur neuen URL weitergeleitet wird.

Einschätzung: Eine interne Weiterleitung ist nicht sofort ein großes Problem, weshalb wir die Priorität bei diesen Fehlern nicht so hoch ansetzen. Jedoch sollte innerhalb einer angemessenen Zeit dieser Fehler behoben werden. gerade wenn die Liste an URLs größer ist sollte ggf. sofort gehandelt werden.

Problem: Bei wachsenden Websites ändern sich schnell in der Zeit URLs. Aber spätestens wenn die Anzahl der Weiterleitungen größer wird oder sogar schon so genannte Redirect-Ketten entstehen sollte sofort gehandelt werden. Browser wie Chrome z.B. brechen die Navigation nach dem 5 Redirect in folge mit der Fehlermeldung „To many redirects“ ab. Dies ist für die Customerjourney auf der eigenen Website nicht förderlich!

Aufruf einer URL blockiert / Timeout

Die angezeigten URLs konnten vom SEOLizer leider nicht abgerufen werden. Der Server antwortete nicht in einer bestimmten Zeitvorgabe.

Parameter in URL gefunden

Parameter in den URLs können dazu führen, dass Suchmaschinen sich auf einer Website „verlaufen“. Daher sollte (wenn möglichst) auf Parameter verzichtet werden.

Was sind Parameter?

Parameter werden mit einem ? an eine Internetadresse wie z.B. beispiel.de/index.php?parameter1=wert1 gehängt. Mit diesen Informationen kann das PHP- Script im Hintergrund eine Variable vom Namen „parameter1“ auswerten und mit dem Wert „wert1“ arbeiten. ggf. Datenbankabfragen, die Sortierung oder die Filterung von Produkten in einem Onlineshop beeinflussen. In solch einem Fall beeinträchtigt der Parameter sogar den Inhalt einer Seite. Andere Parameter werden hingegen genutzt um z.B. den Benutzer oder eine Session zu identifizieren (index.php?sessionid=bgfzte4hhgfdhjg34ghf) in so einem Fall bleiben in der Regel die Seiteninhalte gleich auch wenn sich der Wert eines solchen Parameters ändert. Weitere Parameter werden mit einem &- Zeichen voneinander getrennt angehängt.

Problem: Zu Problemen kommt es jetzt meistens durch die unterschiedlichsten Kombinationen solcher Parameter. Einem PHP- Script z.B. ist die Reihenfolge der Parameter vollkommen egal (index.php?sessionid=bgfzte4hhgfdhjg34ghf&parameter1=wert1). Suchmaschinen gegenüber ist die Reihenfolge jedoch nicht egal! „index.php?sessionid=bgfzte4hhgfdhjg34ghf&parameter1=wert1“ und „index.php?parameter1=wert1&sessionid=bgfzte4hhgfdhjg34ghf“ sind dür Suchmaschinen ggf. zwei unterschiedliche URLs, die jedoch den identischen Inhalt liefern. Daher bieten Parameter immer ein Potential für Duplicate Content.

Erhöhte Anzahl an Emojis in Meta- Description gefunden

URLS

Unter diesem Reiter findest Du alle in Deinem Projekt gefundenen URLs mit allen Daten wie Statuscode, Größe in Bytes, Anzahl ein- und ausgehender Links, Contenttype (Mimetype) ufm.

Der SEOLizer ist ein vollständiger Crawler und crawlt somit Dein komplettes Website-Projekt. Solltest Du bei der Einrichtung Deines Projektes bereits eine XML-Sitemap Datei hinterlegt haben (Du kannst hier beliebig viele Sitemap-Dateien hinterlegen), so wird sich der SEOLizer auch an diesen URLs orientieren.

Weiterhin analysiert der SEOLizer auf Dokumentenebene (URL) auf:

  • Anzahl eingehender Links
  • Anzahl ausgehender Links
  • Quelle der URL (Sitemap oder Crawler)
  • Link in Navigation enthalten? Ja/Nein
  • Ist die URL indexierbar? Ja/Nein
  • HTTP-Statuscode der URL
  • Wurde die URL von einer Robots-Anweisung blockiert? Meta-Robots-Anweisung / X-Robots-Anweisung / robots.txt
  • Anzahl Sätze im Main-Content
  • Anzahl Wörter im Main-Content
  • Flash-Reading-Index (FRI)
  • FRIC

Mimetypes / Caching

Was ist eigentlich ein Mime-Type? Ein Mime-Type ist nichts weiter als ein kleiner Textstring wie z.B. „text/xml“ der der Maschine erklärt von welchem Type die Datei gerade ist, die der Server an den Browser überträgt. Computer mit dem Betriebssystem machen dies in der Regel von der Dateiendung wie z.B. .txt oder .docx abhängig. Computer mit MacOS X oder Linux nutzen dazu wiederum den ersten Bereich in der Datei um den Typ der Datei dort zu kodieren. Da wir uns im Internet jedoch nicht auf Dateiendungen verlassen können und zu Beginn der Dateiübertragung noch keinen Zugriff auf die ersten Bytes einer Datei haben benötigen wir also eine andere Möglichkeit zu verstehen welcher Dateitype übertragen werden soll. Dazu dient der Mime-Type im so genannten HTTP-Header.

Der SEOLizer wertet diese Informationen aus, gruppiert und zählt die unterschiedlich verwendeten Mime-Typen eines Website-Projektes. Zusätzlich schaut sich der SEOLizer noch die Caching-Richtlinien für die jeweiligen Mime-Typen an. Caching-Richtlinien sagen einem Browser, wie lange dieser gewisse Dateien cachen darf, bevor er diese erneut an dem Server anfragen muss. Eine effiziente Caching-Richtlinie kann sich so positiv auf die User Experience einer Website auswirken, da Assets wie Javascripte, CSS-Dateien und Grafiken nur einmal geladen werden müssen.

Die Untersuchungen mit dem SEOLizer haben auch gezeigt, dass viele Website-Projekte unterschiedliche Caching-Richtlinien, für die identischen Mime-Types in unterschiedlichen Verzeichnissen (Ordnern) auf dem Server definieren und so ggf. nicht effizient arbeiten. Eine vollständige Überprüfung Deines Website-Projektes wird hier ggf. noch Potential aufdecken!

URL-Parameter

Unter diesem Reiter findest Du eine Liste alle in Deinem Projekt gefundenen Parameter und jeweiligen Werte. Damit kannst Du ganz gezielt nach Parametern suchen und deren Funktion schnell bestimmen.

Content-Analyse

Externe- Inhalte

Mit diesem Bericht zeigen wir Dir welche externen Inhalte wie Grafiken, Javascripts, Fonts usw. auf Deiner Website eingebunden und geladen werden. Im Prinzip alles Das was nicht von Deiner Projekt Domain geladen wird. Du siehst auch auf welchen URLs wir die Inhalte gefunden haben und kannst so ggf. schnell fehlerhafte Integrationen bestimmen und beheben.