Der Bingbot ist der Crawler bzw. Suchbot der Microsoft-Suchmaschine Bing. Seine Aufgabe ist es, das Web zu durchsuchen und Webseiten sowie HTML-Dokumente in sein Verzeichnis aufzunehmen. Das Verzeichnis des Bingbots wird als Bing-Index bezeichnet. Wenn ein Benutzer eine Suchanfrage in die Suchmaske von Bing eingibt, werden aus diesem Verzeichnis relevante Ergebnisse ausgewählt und in einer sortierten Ergebnisliste ausgegeben.
Der Bingbot und seine Funktionsweise
Man kann die Funktionsweise des Bingbots besonders gut nachvollziehen, wenn man sich die einzelnen Webseiten bzw. deren Aufbau als eine Art Baum vorstellt. Die Wurzel des Baumes besteht aus dem Root-Verzeichnis. Von der Wurzel führen einzelne Äste (Hyperlinks) zu den weiteren Seiten der Webseite. Auch von diesen Ästen gehen wiederum Zweige ab. Diese Zweige repräsentieren Bilder, einzelne Artikel und Dokumente. Der Bingbot hat nun die Aufgabe, den gesamten Baum auszulesen und die gelesenen Inhalte in seinem Verzeichnis abzuspeichern. Der Suchbot fängt bei der Wurzel des Baumes – dem Root-Verzeichnis – an und bahnt sich anschließend einen Weg über die einzelnen Äste. Während der Bingbot den Baum durchläuft, speichert er alle Inhalte und Links ab, die er auf diesem Weg vorfindet. Wie genau der Bingbot die Inhalte ausliest und nach welchen Kriterien er sie bewertet, ist, wie bei vielen anderen Suchmaschinen auch, allerdings nicht genau bekannt.
Dem Bingbot Zugriff auf die eigene Webseite ermöglichen
Zwar wird die Suchmaschine Bing weniger genutzt als andere Suchmaschinen wie z. B. Google, jedoch ist es trotzdem von Vorteil, dem Bingbot den Zugriff zur eigenen Internetseite zu ermöglichen. Um zu bewirken, dass die Webseite auch über die Suchmaschine Bing gefunden wird, gibt es verschiedene Möglichkeiten. Zum einen kann die Datei robots.txt entsprechend angepasst werden. Zum anderen können die IP-Adressen des Suchbots über einen entsprechenden Eintrag im HTTP-Header-Dokument zugelassen werden. Wer einzelne Seiten von der Indexierung durch den Bingbot ausschließend will, kann Metabefehle wie „nofollow“ nutzen.
Weitere Informationen und Links:
Den Bingbot beeinflussen: https://flupdiwup.de/Bingbot-beeinflussen
How to verify Bingbot (in Englisch): https://www.bing.com/webmaster/help/how-to-verify-bingbot-3905dc26
Informationen und IP-Adressen des Bingbots: http://webrobots.de/bingbot/