Wenn Ihre Website ranken soll, muss sie vorher indexiert werden. Soll sie indexiert werden, dann muss sie auch gecrawlt werden.

Crawling und Indexierung sind zwei Prozesse, die fundamental zur SEO-Performance Ihrer Webseite beitragen. In diesem Guide erklären wir Ihnen, was die einzelnen Vorgänge bedeuten und wie Sie das Crawling und die Indexierung für das bestmögliche Ranking optimieren.

Crawling

Das Crawling ist die Basis der Indexierung. Der Crawler – ebenfalls Spider oder Bot genannt – geht Webseiten durch und ermittelt die Inhalte Ihrer Website (Crawling), damit sie danach in den Suchindex aufgenommen (Indexierung) und in Bezug auf Ihre Relevanz für eine Suchanfrage und einen Nutzer beurteilt werden können (Ranking).

Mit dem Crawling-Management steuern Sie den Crawler der Suchmaschine so, dass alle SEO-relevanten Seiten, also die für die Indexierung und das Ranking entscheidenden Links, möglichst oft gecrawlt werden. Das Indexierungs-Management steuert dann, welche der gecrawlten Seiten auch tatsächlich indexiert werden, also in den Suchergebnissen erscheinen sollen. Unter den Seiten, die in den Index der Suchmaschine aufgenommen wurden, bestimmen dann die Rankingfaktoren, welche Seite wo in den Suchergebnissen erscheint.

Google weist jeder Webseite ein gewisses „Crawl-Budget” zu. Dieser Begriff beschreibt die Zeit, die der Bot auf der Webseite verbringt, um Inhalte zu crawlen. Zeigt man dem Bot nun also „unnötige” Seiten, wird Crawl-Budget „verschwendet”, d.h. ranking-relevante Seiten bekommen möglichweise zu wenig Crawl-Budget.

Welche Seiten sind SEO-relevant?

Ausschlaggebend für Rankings sind vor allem die URLs, die einen geeigneten Einstieg aus der organischen Suche bieten. Falls Sie etwa ein Paar Skischuhe kaufen wollen und Sie suchen nach „Salomin Skischuhe“ wäre eine geeignete Einstiegsseite eine Seite, auf der eine Auswahl an Salomon Skischuhen in einem Shop  angezeigt werden. Oder aber eine Produktdetailseite, falls Sie exemplarisch nach mehr Details wie „salomon X pro“ gesucht haben.

Wenn Sie nach „einbruchschutz“ suchen, dann wäre eine passende Einstiegsseite beispielsweise eine Seite wie diese:

SEO relevante Seitentypen sind:

  • Startseiten
  • Kategorieseiten
  • Produktdetailseiten
  • Artikelseiten
  • Markenseiten
  • SEO-Landingpages
  • Magazine, Ratgeber und Blogs
Sind Produktseiten ranking-relevant?

Produktseiten sind praktisch immer SEO-relevant. Jeder Onlineshop möchte gerne Nutzer über die organische Suche erhalten. Die Frage ist allerdings: Möchten Sie alle Ihre Produkte und Produktvarianten optimieren? Wenn ja, haben Sie dafür die nötigen Ressourcen? Je nach Größe Ihres Onlineshops fehlt es in der Praxis jedoch sehr häufig an Zeit oder Geld, um sich alle Produkte und Varianten Stück für Stück vorzunehmen.

Infolgedessen sollten Sie Ihre Produktseiten für die Optimierung priorisieren:

  • Welches Artikel sind Ihre Topseller?
  • Welche Artikel haben eine besonders gute Marge bzw. hohen Preis
  • Welche Produkte sorgen für organischen?
  • Für welche Produkte und Produktoptionen gibt es hohe Nachfrage in der Suche, d.h. Suchvolumen?

So suchen rund 2600 Nutzer monatlich nach „nike free run“, während die Farbvarianten rot, blau, schwarz nicht gesucht. In diesem Fall wäre es somit ausreichend, den Hauptartikel indexieren zu lassen, während die Farbvarianten nicht relevant für das Ranking sind.

Welche Seiten sollen gecrawlt werden, obwohl sie nicht ranken sollen?

Warum sollte eine Seite für SEO wesentlich sein, wenn sie nicht ranken soll? Weil sie auf ranking-relevante Seiten verlinkt. Diese Seiten haben für den Nutzer einen Mehrwert, sie sind aber keine passenden Einstiegsseiten. Der Crawler muss sich diese Seiten dennoch ansehen, um über diese „Link-Seiten“ andere ranking-relevante Seiten der Website zu finden.

Das klassische Beispiel sind Paginationen, die oft auf Kategorie- oder Übersichtsseiten zu finden sind. Es werden die Produkte oder Artikel einer Kategorie oder eines Themas auf mehreren Seiten angezeigt und über eine nummerierte Navigation (Pagination) miteinander verbunden.

Dies ist vor allem dann sinnvoll, wenn es zu viele Inhalte gibt, um sie auf einer Seite darzustellen und um zum Beispiel auch die Ladezeit zu verkürzen. Für das Crawling sind Paginationsseiten relevant, da sie viele Produkte und Artikel verlinken. Für das Ranking sind sie jedoch nicht relevant: Der Nutzer sollte besser auf Seite 1 einsteigen, weil dort häufig die Bestseller oder neusten Artikel verlinkt werden.

Ein anderes Beispiel sind sogenannte Tag-Seiten bei WordPress. Diese sind häufig nicht optimiert und sind kein guter Einstieg aus der Suche für den Nutzer, weil sie nur verschiedene Artikel auflisten. Auf der anderen Seite enthalten sie viele Links zu Artikeln, die jedoch Ranking-relevant sind.

Beispiel für eine Tag Seite:

Welche Seiten sind nicht crawling-relevant?

Ab und zu gibt es auch Seiten, die gar nicht gecrawlt werden müssen. Sie enthalten also weder Inhalte, die für das Ranking relevant sind, noch weisen sie auf solche hin. Ein gutes Beispiel dafür sind Login-Seiten. Nutzer können Seiten hinter dem Login-Bereich nur aufrufen, wenn sie angemeldet sind. Warenkörbe von Onlineshops zählen ebenfalls dazu.

Ein weiteres Beispiel sind Filterseiten, die nicht Ranking-relevant sind. Zahlreiche Onlineshops und Marktplätze bieten ihren Nutzern viele Filtermöglichkeiten, die meistens kombinierbar sind. Manche davon sind für die Suche mit Sicherheit relevant, insbesondere wenn Nutzer auch danach suchen, beispielsweise „herrenschuhe braun“ (1370 Suchanfragen im Monat). Andere werden von den Nutzern jedoch nicht gesucht und sind somit nicht Ranking-relevant, zum Beispiel „herrenschuhe braun gestreift“ (keine Suchanfragen). Eine Seite mit Filter „braun“ und Filter „gestreift” wäre daher nicht relevant für das Ranking. Auch für das Crawling ist sie nicht relevant, weil sie keine Links beinhaltet, die nicht auf der generischen Seite zu „herrenschuhe” zu finden sind.

Interne Suchergebnis-Seiten sind normalerweise auch nicht Crawling-relevant, weil alle dort verlinkten Seiten auch woanders auf Ihrer Seite verlinkt sein sollten.

Klassische Beispiele für nicht Crawling-relevante Seiten:

  • Warenkörbe
  • Login-Seiten
  • Filter-URLs ohne Ranking-Relevanz
  • Produktvarianten ohne Ranking-Relevanz
  • Interne Suchergebnis-Seiten
Crawling Best Practice

Alle Seiten, die für das Ranking, die Indexierung und für das Crawling relevant sind, müssen also dem Suchmaschinen-Bot zugänglich gemacht werden. Die anderen Seiten sollten hingegen vor ihm verborgen werden.

Mit welchen Instrumenten kann das Crawling der Seite gesteuert werden?

Für die Crawlingsteuerung einer Webseite können Sie auf verschiedene Werkzeuge zurückgreifen. Einige davon dienen eher dazu, für ausreichendes Crawling zu sorgen (positive Crawlingsteuerung), andere dazu, bestimmte Seiten vom Crawling auszuschließen (negative Crawlingsteuerung).

JETZT ANMELDEN ZUM SEO SEMINAR

Berlin
Hamburg
München
Köln
Frankfurt
Düsseldorf
Stuttgart

Sitemaps

Grundsätzlich verfolgt ein Bot jedem Link, den er auf einer Website findet. Das bedeutet, wenn Sie eine saubere interne Linkstruktur haben, findet der Crawler zuverlässig Ihre Seiten. Wie schon angesprochen, teilt Google jeder Webseite ein bestimmtes Crawl-Budget zu, das nicht beeinflussbar ist. Deshalb wissen Sie nicht genau, wie oft der Crawler eine Seite besuchen wird und wie viele und welche Seiten er dabei crawlen wird.

Aus diesem Grund ist eine Sitemap sehr hilfreich. Eine Sitemap ist eine Datei, in der Sie die einzelnen Webseiten Ihrer Website auflisten können. So lassen Sie Google und andere Suchmaschinen wissen, wie die Inhalte Ihrer Website strukturiert sind. Suchmaschinen-Webcrawler wie der Googlebot lesen diese Datei, um Ihre Website intelligenter crawlen zu können.

Eine Sitemap garantiert nicht, dass alle darin angegebenen Inhalte auch wirklich gecrawlt und indexiert werden. Aber Sie können damit den Crawler bei seiner Arbeit unterstützen.

Wann sollten sie eine Sitemap nutzen?

Eine Sitemap spielt eine wesentliche Rolle für die Indexierung einer Webseite. Bei kleinen und bei mittelgroßen Projekten mit wenigen Unterseiten und mit einer guten internen Verlinkung, ist es für den Crawler kein Problem, alle Seiten des Webauftritts finden und auszulesen.

Bei großen und umfangreichen Projekten besteht allerdings die Gefahr, dass Suchmaschinenrobots neue Seiten einer Domain übersehen.

Die Gründe dafür können sein:

  • Die Webseite ist sehr umfangreich, d.h. sie enthält viele Unterseiten (z.B. Online-Shop, Kleinanzeigenportal)
  • Die Website ist sehr dynamisch, mit vielen Inhalten, die sich häufig ändern (z.b. große Onlineshops)
  • Die einzelnen Inhaltsseiten sind schlecht miteinander verlinkt oder gar voneinander getrennt
  • Die Website ist neu und es gibt nur wenige extern eingehende Links, die auf einzelne Seiten des Webauftritts hinweisen
Welche Voraussetzungen muss eine Sitemap erfüllen?