20251008 Leben in der Welt der Bots

Klicks sind nicht gleich Klicks

Im Sommer ist unser Webauftritt auf einen neuen Server umgezogen und natürlich wollten wir da genauer wissen, ob auch alles wieder funktioniert und alle unsere LeserInnen dabei geblieben sind. Dazu haben wir uns die Logdateien genauer angeschaut. Natürlich wissen wir seit Jahren, dass Google und Konsorten uns ständig Bots auf unsere Seiten schicken, um Veränderungen und neue Verlinkungen zu studieren. Deshalb zählen wir Aufrufe, die die Wörter Bot, Crawler, Spider u.ä. enthalten erst gar nicht mit.

Auch wir zählen nun seit einigen Monaten stark gestiegene Besucherzahlen- Dabei haben wir schon vor Jahren bemerkt, dass menschliche Besucher immer mehr in den Hintergrund treten. Dies bestätigt nun auch der verlinkte Artikel, der über eine Analyse des Netzverkehrs berichtet: "Im zweiten Quartal 2025 ist die Zahl echter Besucher:innen auf Websites um rund zehn Prozent gesunken. Gleichzeitig hat sich der Anteil automatisierter Aufrufe sogar vervierfacht."

Von 1 Bot auf 200 Menschen zu 1 Bot auf 50 Menschen

Natürlich ist es auch uns wichtig, dass Google u.a auf Suchanfragen richtig antworten. Aber wieder ist es das Konkurrenzdenken des kapitalistischen Systems, das es verhindert, dass die Suchergebnisse von allen gleichberechtigt genutzt werden können.

Insbesondere für Publisher, die mit Klicks Geld verdienen, brechen schwere Zeiten an, wenn die Bots mit ihren Ergebnissen auch KI Systeme füttern, die dann von den Menschen befragt werden - anstatt, dass sie die Webseiten besuchen. Der verlinkte Artikel nennt dazu folgende Zahlen: Der AI Overview misst "seit Herbst 2024 eine Steigerung der Googlebots um mehr als ein Drittel. Gleichzeitig sinkt die Zahl der tatsächlichen Weiterleitungen: Früher brachten 100 Crawls noch rund 450 echte Klicks, heute sind es nur etwas mehr als 300."

Robots.txt

Theoretisch lässt sich der Zugriff durch Bots mit einer Datei robots.txt kontrollieren. Man kann mehr zulassen, um im Netz besser gefunden zu werden oder auch Verzeichnisse sperren. Praktisch ist es inzwischen so, dass "rund 13% aller KI-Bots die Regeln schlichtweg ignorieren – Tendenz steigend."

Damit wird das Web - oder doch gleich das ganze Internet - immer mehr zur Spielwiese von OpenAI, Meta, ByteDance und Perplexity. Diese greifen Daten ab und nutzen sie für ihre KI und die oben erwähnten Publisher gehen leer aus. Wenigstens ist uns letzteres egal, weil wir mit unseren Berichten kein Geld machen wollen aber klar ist damit auch, dass das kapitalistische Internet damit seiner "endgültigen Konzentration" in den Händen Weniger entgegen strebt - wie Marx schon vor 150 Jahren vermutete ...