Spider von Suchmaschinen sind sogenannte Robots, die nach Webseiten suchen, die später in Suchmaschinen angezeigt werden sollen. Nachfolgend diskutieren wir, wie sie funktionieren und warum sie wichtig sind.

Funktionen der Spider von Suchmaschinen

Robots haben tatsächlich die gleiche Grundfunktionalität wie frühere Browser. Genau wie diese frühen Browser haben Suchmaschinen-Robots nicht die Fähigkeit, bestimmte Dinge zu tun. Robots können nicht an passwortgeschützten Bereichen vorbeikommen. Sie verstehen weder Frames, Flash-Filme noch Bilder oder JavaScript.

Wenn man einen Robot einsetzt, wird dieser auch auf die Schaltflächen Ihrer Website klicken. Diese Schaltflächen funktionieren möglicherweise aber nicht, wenn Sie eine JavaScript-Navigation verwenden oder eine dynamisch generierte URL indizieren.  Allgemein betrachtet findet ein Suchmaschinen-Robot Daten ab und findet Informationen und Links im Web.

Die Funktion „URL einreichen“ platziert die URL in einer Liste von URLs, die die Robots untersuchen werden. Auch ohne Ihre URL direkt zu übermitteln, versuchen Robots, Ihre Site über die folgenden Links zu finden. Aus diesem Grund ist es so wichtig, die Sichtbarkeit durch ein Netz von Links zu verbessern.

Beim Sammeln und Verfolgen von Links organisieren Robots den Transport selbstständig über das Internet. Stellen Sie sich das Internet als digitales Äquivalent zu den Straßen vor, die wir in unserem Leben benutzen. Robots fahren auf den Straßen und lesen die Wegweiser, damit sie wissen, was wohin führt.

Um sicherzustellen, dass die Suchenden die richtigen Ergebnisse mit der relevantesten Antwort auf ihre Anfrage erhalten, werden schnelle Berechnungen durchgeführt, um sicherzustellen, dass dies geschieht. Die Ergebnisse der Server- und Protokollstatistikprogramme können vom Benutzer überprüft werden, um festzustellen, welche Seiten wie oft besucht wurden. Einige Robots sind möglicherweise leicht zu identifizieren, z. B. Googles „Googlebot“, während weniger bekannte wie Inktomis „Slurp“ nicht leicht zu identifizieren sind. Einige Robots scheinen sogar von Menschen betriebene Browser zu sein.

Erkennen und verbannen Sie schädliche Robots

Es kann Robots geben, die Sie nicht auf Ihrer Website haben möchten, z. B. aggressive Robots, die Bandbreite kosten und andere. Die Fähigkeit, einzelne Robots und die Anzahl ihrer Besuche zu identifizieren, ist nützlich. Informationen zu den unerwünschten Robots sind ebenfalls hilfreich.

Diese Robots lesen die Seiten Ihrer Website, indem sie Ihre Seite besuchen. Sobald sie dort sind, sehen sie sich den auf der Seite sichtbaren Text an. Dann betrachten sie die Quellcode-Tags wie Titel-Tags, Meta-Tags und andere. Sie sehen sich die Hyperlinks auf Ihrer Seite an. Über diese Links kann der Suchmaschinen-Robot bestimmen, worum es auf Ihrer Seite geht.  Die Informationen werden indiziert und an die Datenbank der Suchmaschine übermittelt, je nachdem, wie der Robots über die Suchmaschine eingerichtet wurde.  Jede Suchmaschine hat einen eigenen Algorithmus, um zu bestimmen, was wichtig ist.

Wenn Sie wissen möchten, welche Seiten die Spider auf Ihrer Website besucht haben, können Sie Ihre Serverprotokolle oder die Ergebnisse Ihrer Webstatistik überprüfen. Anhand dieser Informationen können Sie erkennen, welche Robots ihre Website besucht haben, wohin sie gegangen sind, wann sie gekommen sind und auf welchen Seiten sie am häufigsten gecrawlt haben. Einige sind leicht zu identifizieren, beispielsweise der „Googlebot“ von Google, während andere schwieriger sind: „Slurp“ von Inktomi.

Sie können nicht nur feststellen, welche Spider Sie besuchen, sondern auch feststellen, ob Spider Ihre Bandbreite belasten, damit Sie sie von Ihrer Website aus blockieren können. Das Internet bietet zahlreiche Informationen zur Identifizierung dieser bösen Bomi und ALlTheots. Es gibt auch bestimmte Dinge, die verhindern können, dass gute Spinnen Ihre Website crawlen, z. B. die Website ist ausgefallen oder der Datenverkehr ist sehr hoch. Dies kann verhindern, dass Ihre Website erneut indiziert wird. Die meisten Spinnen werden jedoch irgendwann erneut vorbeikommen, um erneut auf die Seite zuzugreifen.

Weitere Informationen zu SEO: Versende keine Spam-Mails an die Suchmaschinen! 1

  • Dies ist ein Artikel von rein historischem Wert und soll eher zum Schmunzeln anregen. Seit 2000, als Inktomi, Excite und AllTheWeb bekannte Namen waren, haben sich die Anforderungen und Technologie der Suchmaschinen-Branche massiv verändert.

Englische Version des Artikels: What Search Engine “Spiders” Are And How They Work

Lesen Sie auch Ihre Checkliste für Local SEO


Diese Website verwendet Akismet, um Spam zu reduzieren. Erfahre mehr darüber, wie deine Kommentardaten verarbeitet werden.