Dark Visitors
Dark Visitors sind alle die AI Crawler, die sich auf unseren Webseiten tummeln, um Texte, Grafiken und mehr abzugreifen, um damit LLMs und Ähnliches zu trainieren. Das stößt nicht unbedingt auf Gegenliebe. Deshalb wurde darkvisitors.com ins Leben gerufen, eine Seite, die gängige User-Agents auflistet, die von diesen Crawlern verwendet werden.
Anhand dieser User-Agents lässt sich eine robots.txt erstellen, eine Textdatei, die Crawler anrufen und in der geschrieben steht ob und welche Ressourcen der Webseiten sie ansteuern und einlesen dürfen – zumindest theoretisch. Ob sich da wirklich alle dran halten, ist fraglich, aber es ist zumindest ein Versuch, Crawler in die Schranken zu weisen.
Nun kann man sich so eine robots.txt selbst zusammenstellen, oder man kann mein neues Kirby-Plugin dafür nutzen. Es greift einmal am Tag auf die Dark-Visitors-API zu und holt sich von dort die neusten Regeln. So bleibt man immer auf dem neuesten Stand und muss sich nicht selbst darum kümmern. Zusätzlich kann man auch eigene Einträge hinzufügen und so die eigene Sitemap und Regeln ergänzen.
Das Plugin ist kostenlos und über die üblichen Methoden installierbar:
