Dark Visitors

Matthias hat einen wunderbaren Artikel über AI-Scraper geschrieben. Viele von uns Seitenbetreiberinnen stehen aktuell vor der Situation, von Bots und Crawlern überrannt zu werden. Das geht so weit, dass die eigene Seite dann nicht mehr benutzbar ist, weil sie entweder komplett überlastet ist, oder weil der Hoster ganze Länder blockiert hat, wie in Matthias Fall.

Matthias beschreibt ein paar Möglichkeiten, gegenzusteuern. Alle diese Möglichkeiten funktionieren mehr oder weniger gut und sind eigentlich nichts weiter als Symptombekämpfung. Besser wäre es natürlich, das Problem am anderen Ende zu lösen. Das wird wohl aber in absehbarer Zeit nicht passieren, denn die meisten dieser Unternehmen kümmern sich einen Dreck darum, was sie mit ihrem Vorgehen anrichten.

Ich hatte bereits kurz darüber geschrieben, dass ich auch dazu übergehen musste, Geo-Blocking zu aktivieren. Ich habe aber zudem das DarkVisitors Plugin für Kirby erweitert.

Neben der Möglichkeit, eine robots.txt zu erzeugen, welche die AI-Crawler bittet, Seiten nicht zu crawlen, gibt es jetzt auch die Möglichkeit, Crawler zu blockieren. Die meisten AI-Crawler kümmern sich nicht um die robots.txt und so müssen wir halt etwas strenger werden. Ist die entsprechende Option aktiviert, wird der Crawler direkt von Kirby abgelehnt. Ähnlich beschreibt das Matthias auch in seinem Post.

Natürlich ist das auch direkt in der Webserver-Config lösbar und dort wahrscheinlich besser aufgehoben. Das Plugin hat allerdings den Vorteil, auch dort eingreifen zu können, wo man die Webserver-Config nicht anpassen kann und zugleich profitiert man von einer immer aktuell gehaltenen Liste von UserAgents.

Wer Kirby nutzt und von AI-Crawlern genervt ist, kann sich das Plugin ja mal ansehen. Wer noch mehr tun will, sollte den Beitrag von Matthias lesen.