Crawler und Bots blockieren und beobachten

In den letzten Tagen fielen mir vermehrt Posts in meiner Timeline auf, die sich über Bots und Crawler ärgerten, sich fragten, wie Crawler blockiert werden können. Ein guter Moment, um auf das neuste Update des Darkvisitors-Plugin aufmerksam zu machen.

Das kleine Plugin habe ich vor ein paar Monaten veröffentlicht. Es liefert eine robots.txt Datei aus, die für verschiedene Dinge genutzt werden kann:

• eine Sitemap hinterlegen
• Crawlern Zugriff zu erteilen
• Crawlern Zugriff zu verbieten
• AI-Crawlern/Bots Zugriff zu verbieten

Neben eigenen Regeln, ist die Hauptfunktion des Plugins das Aussperren von AI-Crawlern, also denjenigen, die zum Beispiel ChatGPT mit Daten versorgen. Dabei ist es möglich, verschiedene Typen von Crawlern zu sperren. ChatGPT soll z.B. nicht zugreifen, Perplexity aber schon.

Bisher blieb offen, welche Crawler eigentlich auf die Seite zugreifen und worauf sie zugreifen. Mit dem neusten Update des Plugins könnt ihr das jetzt sehen. Darkvisitors.com bietet inzwischen eine API an, die bei einer ausreichend großen Anzahl an Zugriffen kostenlos ist.

Mein Kirby-Plugin unterstützt jetzt diese API und kann, wenn gewünscht, Tracking-Calls verschicken. Auf diese Weise könnt ihr dann auf der Darkvisitors-Seite sehen, welche Crawler, Bots, etc. auf eure Seite zugreifen.

Folgende Daten werden per API verschickt:

• Der Pfad auf den zugegriffen wurde
• Der Zugriffs-Typ (GET, POST)
• Die Anfrage-Header

Das Plugin verwendet dafür eine Route, die immer greift und nach dem asynchronen Tracking-Call direkt an die nächsten Routen weitergibt. Es sollte also nur minimale Verzögerungen geben. Euch sollte aber bewusst sein, dass das bei jedem Seitenaufruf passiert.

Wer sehen will, welche Bots und Crawler gerade auf die eigene Seite zugreifen und sich nicht durch Logs oder Webalizer wühlen möchte, kann sich das neue Feature ja mal ansehen - es kann jederzeit deaktiviert werden. Ich finde das sehr interessant und wundere mich doch, wer da so alles vorbeischaut.