Was ist die Robots.txt? Online-Marketing Lexikon | RH-Webdesign
info@rh-webdesign.com
  • flexible Projektfinanzierung
  • individuelle Websites
  • individuelle Online-Shops
  • Zertifizierter Lightspeed-Partner

Was ist die Robots.txt?

Robots.txt ist eine mit einer Webseite verknüpfte Datei, mit welcher Webcrawler aufgefordert werden, Teile Ihrer Website zu crawlen oder nicht zu crawlen. Diese Textdatei kann also verschiedene Regeln für unterschiedliche Crawler festlegen. Eine Überprüfung dieser zum Standard gewordenen Datei ist zu empfehlen.

  • Ist das erste was Suchmaschinen von einer Webseite wahrnehmen
  • Legt fest, wie Suchcrawler mit der betreffenden Seite interagieren
  • Sollte vom Webmaster stets auf Korrektheit überprüft werden

Wozu braucht man die Robots.txt?

Die robots.txt-Datei wird hauptsächlich verwendet, um anzugeben, welche Teile Ihrer Website von Suchmaschinen gecrawlt werden sollen. Der Googlebot ist ein Beispiel für einen Crawler. Es wird von Google eingesetzt, um das Internet zu durchforsten und Informationen über Websites aufzuzeichnen, damit es weiß, wie die Rangfolge verschiedener Websites in den Suchergebnissen ist. Die Verwendung einer robots.txt-Datei mit Ihrer Website ist ein Webstandard. Crawler suchen nach der robots.txt Datei im Host-Verzeichnis (oder Hauptordner) Ihrer Website. Diese Textdatei heißt immer "robots.txt". Sie finden Ihre robots.txt Datei unter: yoursite.com/robots.txt. Die meisten Mainstream Crawler befolgen die in den robots.txt-Dateien angegebenen Anweisungen, bösartige jedoch möglicherweise nicht. Der Inhalt der robot.txt-Dateien ist öffentlich verfügbar. Sie können versuchen, unerwünschte Crawler zu sperren, indem Sie die mit Ihrer Website verknüpfte .htaccess-Datei bearbeiten. Es ist wichtig, dass Marketer ihre robots.txt-Datei überprüfen, um sicherzustellen, dass Suchmaschinen zum Crawlen wichtiger Seiten aufgefordert werden. Wenn Sie Suchmaschinen auffordern, Ihre Website nicht zu crawlen, wird Ihre Website nicht in den Suchergebnissen angezeigt. Sie können die robots.txt-Datei auch verwenden, um Crawlern zu zeigen, wo sich eine Sitemap Ihrer Website befindet, mit der Sie Ihre Inhalte besser erkennen können. Sie können ferner auch eine „Durchforstungsverzögerung“ angeben oder festlegen, wie viele Sekunden Bots warten sollen, bevor sie weitere Informationen erfassen. Einige Websites müssen diese Einstellung möglicherweise verwenden, wenn Bots Bandbreite verbrauchen und die Website für menschliche Besucher langsamer geladen wird. Die robots.txt-Datei ist also eine einfache Textdatei, die sich auf Ihrem Webserver befindet und Webcrawlern wie Googlebot mitteilt, ob sie auf eine Datei zugreifen sollen oder nicht.

Was muss man über die Robots.txt wissen?

Eine unsachgemäße Verwendung der Robots.txt-Datei kann Ihr Ranking beeinträchtigen. Die Datei steuert, wie Suchmaschinencrawler Ihre Webseiten sehen und mit ihnen interagieren. Robots.txt wird in mehreren Google-Richtlinien erwähnt. Diese Datei und die Bots, mit denen sie interagieren, sind grundlegende Bestandteile der Funktionsweise von Suchmaschinen. Tipp: Verwenden Sie das Google-Richtlinien-Tool, um festzustellen, ob Ihre robots.txt wichtige Dateien blockiert, die von Google verwendet werden. Das erste, was ein Suchmaschinen-Crawler wie Googlebot sieht, wenn er eine Seite besucht, ist die robots.txt Datei. Dies geschieht, weil er wissen möchte, ob er die Berechtigung hat, auf diese Seite oder Datei zuzugreifen. Wenn die robots.txt Datei angibt, dass es ok ist, fährt die Suchmaschine fort. Wenn Sie Anweisungen für einen Suchmaschinenroboter haben, müssen Sie ihm diese Anweisungen auch mitteilen. Die Art und Weise, wie Sie dies tun, ist hier die robots.txt-Datei. Es gibt einige wichtige Dinge, die jeder Webmaster tun sollte, wenn es um die robots.txt-Datei geht. Stellen Sie fest, ob Sie eine robots.txt-Datei haben. Wenn Sie eine haben, stellen Sie sicher, dass dies nicht Ihrem Ranking schadet oder Inhalte blockiert, die Sie nicht blockieren möchten. Die robots.txt-Datei befindet sich auf jeder Website immer an derselben Stelle, sodass Sie leicht feststellen können, ob die Website über eine verfügt. Fügen Sie in der Regel einfach "/robots.txt" am Ende eines Domainnamens hinzu. Stellen Sie außerdem fest, ob robots.txt wichtige Dateien blockiert. Sie können das Google-Richtlinien-Tool verwenden, das Sie warnt, wenn Sie bestimmte Seitenressourcen blockieren, die Google zum Verständnis Ihrer Seiten benötigt. Wenn Sie Zugriff und Berechtigung haben, können Sie Ihre robots.txt-Datei mit der Google Search Console testen. Möglicherweise müssen Sie nicht einmal eine robots.txt-Datei auf Ihrer Site haben. In der Tat ist manchmal der Fall, dass Sie keine benötigen. Zum Beispiel: Sie haben keine Dateien, die Sie für Suchmaschinen blockieren möchten oder müssen. Die Datei ist nur eine Textdatei, das heißt, Sie können Notepad oder einen anderen simplen Text Editor verwenden, um eine zu erstellen. Sie können sie auch in einem Code Editor erstellen.