Die Antworten von KI-Assistenten verdrängen für viele Menschen zunehmend die klassische Web-Suche, ob sie es wollen oder nicht: Suchmaschinen blenden zunehmend prominent KI-Antworten ein. Meist liefern diese eine Antwort auf die eingegebene Frage in wenigen ablenkungsfreien Sätzen und ersparen Nutzern einen weiteren Klick. Das wiederum beschert Seitenbetreibern Umsatzeinbußen – sie versuchen, sich mit dem Aussperren der Crawler von KI-Anbietern zu wehren. Eine umfangreiche Golem-Reportage setzt sich mit den Folgen auseinander.


In der Vergangenheit bedienten sich KI-Anbieter beim Sammeln von Trainingsdaten an allen Inhalten, welche im Netz aufrufbar waren. Zunehmend verweigern jedoch Portale Anbietern einen Zugriff auf ihre Inhalte. Eine Erhebung stellte einen starken Anstieg von September 2023 bis Mai 2025 fest: Der Anteil der angesehenen News-Seiten wuchs von 23 auf beinahe 60 Prozent. Auf deutschsprachigen Domains sperrt ein Drittel mindestens einen KI-Crawler aus.

Kaum Gegenleistung
Die Verweigerung hat handfeste Gründe: Während bei klassischen Suchergebnissen noch recht viele Nutzer auf eine präsentierte Quelle klickten, geben sich bei KI-Antworten die überwältigende Mehrheit mit dem von KI generierten Resultat zufrieden, ohne eine Korrektheit anhand angegebener Quellen zu prüfen. Gleichzeitig stellen die Bot-Abrufe zunehmend einen Kostenfaktor dar – deren Seitenabrufzahlen nehmen überproportional zu.

Wettrüsten
Einige KI-Crawler versuchen, Sperren zu umgehen, indem sie sich tarnen und versuchen, wie gewöhnliche Seitenaufrufe eines Anwenders zu erscheinen. Das führt zu zunehmenden Kontrollmechanismen, welche auch Webseitenbesucher zu spüren bekommen – sie müssen regelmäßig nachweisen, dass sie kein Bot sind. Andere Portale hingegen empfangen KI-Bots mit offenen Armen: Bei Desinformationsseiten liegt die Sperrquote weiterhin bei unter 10 Prozent.

Bis zum Modellkollaps?
Auch Portale, welche neue Veröffentlichungen mithilfe eines großen Sprachmodells (Large Language Model, LLM) generieren lassen, sperren KI-Crawler seltener aus. Nach wissenschaftlichen Untersuchungen benötigt die LLM-Erzeugung einen Mindestanteil an korrekten, von Menschen geschriebenen Inhalten. Wenn die aus dem Netz gezogenen Informationen zunehmend einer KI entstammen, sinkt zunächst die Tiefe der bereitgestellten Antworten. Ab einer gewissen Schwelle kann es sogar zum Kollaps kommen, und die KI erzeugt wirre Resultate mit wenig Realitätsbezug.

Trend zur Lizenz
Zunehmend verhandeln große Inhaltsanbieter mit KI-Unternehmen, um ihre Inhalte zu lizenzieren. In diesem Fall zahlt der LLM-Anbieter einen Beitrag an den Portalbetreiber. Als Beispiele nennt Golem-Autor Nils Matthiesen journalistische Angebote wie der Axel-Springer-Verlag, aber auch Portale wie Reddit, Shutterstock oder Stack Overflow Texte, welche bei der Verwertungsgesellschaft „VG Wort“ gemeldet sind, dürfen nur nach dem Erwerb einer Unternehmenslizenz für das Training eines Sprachmodells genutzt werden; dieses darf dann nur unternehmensintern genutzt werden. Ob und wie die Verwertungsgesellschaft eine Einhaltung dieser Regel durchsetzen kann, bleibt zum aktuellen Zeitpunkt allerdings unklar.