Kontakt

Was ist der Google Bot?

Die Bezeichnung Google Bot steht für den meistverwendeten Webcrawler der Firma Google. Dieser sammelt im Netz Dokumente und stellt sie für den Google Index und die Google Suche zusammen. Die Rechenleistung des Google Bots ist auf ein gigantisches System von Rechenzentren verteilt, damit dieser gleichzeitig enorme Mengen von Webseiten crawlen kann.

  • Ein Bot, der das gesamte Internet crawlt
  • Findet und liest neue sowie aktualisierte Inhalte
  • Der Google Bot crawlt Webseiten über Links
  • Fügt die Seiten zu seinem Index hinzu

Wie funktioniert der Google Bot?

Man muss sich vorstellen, dass der Google Bot -einfach formuliert - ein von Google geschriebenes Computerprogramm ist, welches das Web crawlt und dann die Seiten zu seinem Index hinzufügt. Ein Crawler also, der sich auf die Suche nach Wissen in allen Ecken des Internets macht. Der Google Bot crawlt dabei prinzipiell Webseiten über Links. Es findet und liest neue und aktualisierte Inhalte und schlägt vor, was dem Index hinzugefügt werden soll. Der Index ist natürlich das Gehirn von Google, denn hier befindet sich das gesamte Wissen. Google verwendet eine Vielzahl an Computern, um seine Crawler in alle Ecken des Webs zu senden, um dann Seiten zu finden und zu sehen, was auf ihnen steht. Der Google Bot ist der Webcrawler (oder auch Roboter) von Google, die anderen Suchmaschinen haben analog dazu ihre eigenen. Google Bot verwendet u. a. Sitemaps und Datenbanken mit Links, die bei früheren Crawls entdeckt wurden, um zu bestimmen, wohin als Nächstes zu gehen ist. Wenn der Crawler neue Links auf einer Site findet, fügt er diese der Liste der Seiten hinzu, die als Nächstes besucht werden sollen. Wenn Google Bot Änderungen an den Links oder defekten Links findet, wird dies notiert, damit der Index aktualisiert werden kann. Das Programm bestimmt, wie oft Seiten gecrawlt werden. Um sicherzustellen, dass der Google Bot Ihre Website stets korrekt indizieren kann, müssen Sie deren "Durchforstbarkeit" überprüfen. Wenn Ihre Website prinzipiell den Crawlern zur Verfügung steht, dann kommen sie auch häufig zu Besuch. Es gibt genau genommen verschiedene Bots von Google, beispielsweise für Bilder, News, Videos oder Mobiles.

Was der Google Bot auf einer Seite tut

Um herauszufinden, wie oft Google Bot Ihre Website besucht und was er dort tut, können Sie in Ihre Protokolldateien gehen oder den Crawl Bereich der Google Search Console öffnen. Wenn Sie noch fortgeschrittenere Dinge tun möchten, um die Crawling Leistung Ihrer Website zu optimieren, können Sie spezielle Tools verwenden. Google gibt keine Listen mit IP-Adressen frei, die von den verschiedenen Googlebots verwendet werden, da sich diese Adressen häufig ändern. Um herauszufinden, ob ein echter Google Bot Ihre Website besucht, können Sie jedoch eine umgekehrte IP-Suche durchführen. Spammer oder Fälscher können leicht einen User-Agent-Namen fälschen, jedoch keine IP-Adresse. Mit der Datei robots.txt können Sie festlegen, wie der Google Bot Teile Ihrer Website besucht. Beachten Sie jedoch, dass Sie den Google Bot möglicherweise daran hindern, ganz zu kommen, wenn Sie dies falsch machen. Dadurch wird Ihre Site aus dem Index entfernt. Es gibt bessere Möglichkeiten, um zu verhindern, dass Ihre Website indiziert wird. Die Google Search Console ist eines der wichtigsten Tools zur Überprüfung der Durchforstbarkeit Ihrer Website. Dort können Sie überprüfen, wie der Google Bot Ihre Website sieht. Außerdem erhalten Sie eine Liste mit Crawling Fehlern, die Sie beheben müssen. In der Suchkonsole können Sie den Google Bot auch bitten, Ihre Website neu zu checken. Den Google Bot dazu zu bringen, Ihre Website schneller zu crawlen, ist ein ziemlich technischer Prozess. Dieser läuft darauf hinaus, alle Hindernisse abzubauen, die den Crawler daran hindern, ordnungsgemäß auf Ihre Website zuzugreifen. Es ist ein ziemlich kniffliger Prozess, aber es lohnt sich, sich damit vertraut machen. Wenn Google Ihre Website nicht perfekt crawlen kann, kann auch niemals ein Ranking für diese erreicht werden. Der Google Bot ist also ein Programm, welches Ihre Website besucht. Wenn Sie gute technisch fundierte Entscheidungen für Ihre Webseite getroffen haben, wird dies auch häufig vorkommen. Wenn Sie regelmäßig frischen Inhalt hinzufügen, kommt dieser ebenfalls häufiger.

Zur Übersicht Nächster Artikel