Bingbot
Der Begriff Bingbot setzt sich zusammen aus dem Namen der Suchmaschine Bing und dem englischen Begriff Robot (dt. Roboter). Der Bingbot ist ein sogenannter Crawler und dient dem automatisierten Scan von Web-Inhalten. Die gewonnenen Inhalte werden in Form von HTML Dokumenten und Webseiten in das Verzeichnis der Suchmaschine aufgenommen, um die Ergebnislisten der Suchmaschine zu vervollständigen. Der Bing Index gibt anhand dieser Ergebnisse die Suchergebnisse in einer sortierten Liste aus. Diese Art von Suchroboter wird auch als Searchbot oder Spider bezeichnet.
Inhaltsverzeichnis
Funktionsweise
Grundsätzlich ähnelt die Funktionsweise des Bingbot stark der des Google Bot, der noch in Deepbot und Freshbot unterteilt wird. Der Searchbot crawlt regelmäßig die Metadaten von Webseiten und erstellt anhand dieser Daten ein Informationsarchiv. Den theoretische Hintergrund für die Funktionsweise von Bingbots liefert die Graphentheorie aus der Mathematik. Zur Veranschaulichung kann man sich jede Webseite als einen Baum vorstellen. Ausgehend von diesem Baum führen Wurzeln ab, die die verschiedenen Unterseiten symbolisieren. Von diesen Unterseiten führen weitere Wurzeln wiederum auf Teilseiten. Dieses Rootverzeichnis und die sich darin befindlichen beinhaltet alle Web-Pages samt Artikel, Dokumente und Bilder sowie die zugehörigen Hyperlinks. Der Searchbot scannt Stufe für Stufe alle Abzweigungen einer Homepage und speichert die Inhalte im Bing-Index.
Vereinfachte Darstellung einer Homepage-Struktur
Anhand der gecrawlten Daten legt Bing die Höhe der Pageranks in den Suchmaschinenergebnissen fest. Nachdem ein User also eine Suchanfrage getätigt hat, wird aus dem Searchbot-Verzeichnis die thematisch passende Ergebnisliste erstellt und ausgegeben. Mithilfe welcher Kennzahlen die generierten Inhalte bewertet werden ist nicht bekannt. Zwar gibt es Vermutungen über einige Kriterien, die in die Bewertung einfließen, die genaue Berechnung erfolgt jedoch in einem verdeckten Algorithmus. Dieser Algorithmus wird von Microsoft sowie auch von Google geheim gehalten. Es kann vorkommen, dass erneuerte Inhalte den Pagerank einer Page nicht unmittelbar beeinflussen, falls der Bingbot die Domain seit Implementierung der Neuerungen nicht mehr gecrawlt hat.
Der Zuständigkeitsbereich des Bingbot
Im Jahr 2012 löste der Bingbot die Livesearch als Microsoft-Crawler ab. Neben Bing betreibt Microsoft ebenso die Suchmaschine Yahoo. Daher werden die Crawl-Ergebnisse des Bingbot neben der eigenen Suchmaschine auch für die Ergebnisse der Yahoo-Suche verwendet. Zudem betreibt Yahoo einen eigenen Crawler namens Slurp. Die von Slurp gecrawlten Informationen fungieren jedoch lediglich als Ergänzung.
Bedeutung und Anwendung in SEO
Im Zuge der Suchmaschinenoptimierung (SEO) sollte es stets im Interesse des Webmaster liegen, seine Website für Crawler zugänglich zu machen. Wenngleich Bing und Yahoo deutlich weniger Suchanfragen verzeichnen als Marktführer Google, sind diese nicht zu vernachlässigen. Um zu gewährleisten, dass die eigene Homepage im Index von Bing und Yahoo auffindbar ist, müssen gegebenenfalls Schritte unternommen werden, um dem Searchbot Zugang zu den eigenen Daten zu gewähren. Standardmäßig sollten Crawler nicht ausgeschlossen sein, wird eine Seite oder Teile einer Seite aber ohne erkennbaren grund nicht indexiert, sollte der Zugang der Crawler geprüft werden.
Hierfür bieten sich im wesentlichen 3 Möglichkeiten: Über den HTTP-Header kann manuell die IP Adresse des Bingbots zugelassen werden. Alternativ kann die Robots.txt Datei, die verschiedene Anweisungen für Crawler enthält, durch den Webmaster angepasst werden. So kann in der Robots.txt festgehalten werden, welchen Searchbots Zugang gewährt wird.
Die dritte Möglichkeit, um Einfluss auf den Weg eines Search Bot zu nehmen, ist die Anpassung der Meta-Tags. Durch das Attribut “noindex” lässt sich dem Bingbot mitteilen, welche Seiten indiziert werden sollen und welche nicht. So kann vermieden werden, dass der Search Bot bestimmte Pages crawlt. Diese Meta Tags können beispielsweise wie folgt aussehen:
<meta name=”bingbot” content=”noindex”>
Wie auch in anderen Bereichen des Web-Marketing besteht beim Sammeln von Daten die Sorge um den Datenschutz. Die genannten Methoden bieten nicht nur dem Bingbot Zugang zu einer Website, sie schützen außerdem vor Hackerangriffen. Hacker verwenden falsche Crawler, die sich oftmals als Bingbot oder Googlebot tarnen, um unbemerkt Daten sammeln zu können. Zusätzlich zu den oben genannten Methoden bietet Bing die Option den Bingbot durch einen Code zu verifizieren, um unerwünschte Crawler auszuschließen.
Quellen
- http://www.onpagedoc.com/wiki/Bingbot
- https://de.onpage.org/wiki/Bingbot
- https://www.bing.com/webmaster/help/which-crawlers-does-bing-use-8c184ec0