Ein Signal für mehrere KI-Anbieter: Googles robots.txt-Plan

Wer heute eine Website betreibt, liefert ungefragt Rohstoff: Texte über Leistungen, Produktbeschreibungen, Ratgeberartikel, Speisekarten. Ob diese Inhalte zum Training von KI-Modellen genutzt werden dürfen, mussten Betreiber bislang für jeden Anbieter einzeln regeln, sofern dieser überhaupt eine eigene Steuerung angeboten hat. Genau hier setzt eine Ankündigung von Google an, die auf den ersten Blick technisch wirkt, für Unternehmen aber eine grundsätzliche Frage berührt: Wer entscheidet, was mit den eigenen Inhalten passiert, und wie einfach lässt sich diese Entscheidung umsetzen?

Ein gemeinsames Signal statt vieler Einzelregeln

Am 30. Oktober 2026 hat Google im Search Central Blog angekündigt, eine gemeinsame Steuerung für das KI-Training in der robots.txt zu unterstützen. Die robots.txt ist eine einfache Textdatei auf dem Webserver, in der Betreiber festlegen, wie automatische Programme, sogenannte Crawler, mit der Website umgehen sollen. Diese Datei wird bereits für anbieterspezifische Trainingsregeln genutzt, etwa über Google-Extended. Neu wäre ein gemeinsames Signal, das mehrere Anbieter auf einmal auswerten.

Konkret geht es um einen sogenannten Policy Token, also eine Art Kennwort in der robots.txt, mit dem Website-Betreiber ihre Präferenz zum KI-Training für mehrere teilnehmende KI-Anbieter gleichzeitig festlegen können. Statt für jeden Anbieter eine eigene Zeile zu pflegen, würde im besten Fall eine einzige Angabe genügen.

Wichtig ist die Einordnung: Es handelt sich um eine Ankündigung, nicht um eine Einführung. Google will die Unterstützung gemeinsam mit anderen KI-Anbietern im Jahr 2027 einführen. Ein genaues Datum nennt der Beitrag nicht, weitere Updates sind angekündigt. Eine Beschränkung auf bestimmte Länder oder Sprachen wird nicht erwähnt.

Die Grundlage: ein Entwurf aus der IETF

Der Vorschlag basiert auf der Arbeit der AIPREF-Arbeitsgruppe der IETF. Die IETF ist das Gremium, das viele grundlegende Internetstandards entwickelt. Google bezeichnet den Vorschlag ausdrücklich als Entwurf. Das hat praktische Folgen: Der genaue Name des Tokens und die Schreibweise in der robots.txt stehen noch nicht fest. Wer jetzt versucht, eine entsprechende Zeile in die eigene Datei einzubauen, würde auf Basis von Vermutungen arbeiten.

Außerdem betrifft der Vorschlag ausschließlich das KI-Training. Das übrige Vokabular von AIPREF, also weitere mögliche Arten, Nutzungspräferenzen auszudrücken, wird laut Google noch in Diskussionen mit verschiedenen Beteiligten behandelt.

Wie das neue Signal mit Google-Extended zusammenspielt

Google-Extended gibt es laut Google seit 2023. Damit können Betreiber gezielt gegenüber Google festlegen, ob ihre Inhalte für KI-Zwecke genutzt werden dürfen. Diese anbieterspezifischen Steuerungen sollen parallel zum neuen Signal weiter gelten. Niemand muss also eine bestehende Konfiguration über Bord werfen.

Spannend ist die Regel für den Fall, dass beide Mechanismen zusammentreffen. Wer per Token das Training ausschließt und Google-Extended nicht ausdrücklich angibt, wird von Google so behandelt, als hätte er Google-Extended gesperrt. Sind dagegen ausdrückliche Regeln für Google-Extended gesetzt, haben diese Vorrang vor der Übersetzung des Tokens. Für die Praxis heißt das: Die spezifische Angabe schlägt die allgemeine.

Ein Beispiel macht das greifbar. Ein Online-Shop für Wohnaccessoires möchte grundsätzlich nicht, dass seine Produkttexte ins KI-Training fließen, und setzt deshalb künftig den gemeinsamen Token. Hat er gleichzeitig eine eigene Regel für Google-Extended hinterlegt, etwa aus einer früheren Entscheidung, gilt gegenüber Google diese ältere, ausdrückliche Regel. Widersprüche zwischen beiden Angaben sollten also vermieden werden.

Was andere KI-Anbieter tun, bleibt offen

Der eigentliche Nutzen eines gemeinsamen Signals hängt davon ab, wie viele Anbieter mitmachen. Hier bleibt Google vorsichtig: Andere Anbieter können den Token ähnlich handhaben, so formuliert es der Blog. Das ist eine Möglichkeit, keine Zusage. Welche KI-Anbieter 2027 tatsächlich teilnehmen, ist nicht bekannt. Das Signal gilt nur für teilnehmende Anbieter.

Wer also erwartet, mit einer einzigen Zeile künftig sämtliche KI-Firmen auszuschließen, wird möglicherweise enttäuscht. Realistischer ist ein Werkzeug, das die Pflege vereinfacht, aber anbieterspezifische Regeln nicht vollständig ersetzt.

Sichtbarkeit in Gemini: der zweite Teil der Rechnung

Für Unternehmen ist die Frage nach dem KI-Training nur eine Seite. Die andere ist die Sichtbarkeit in KI-Antworten. Laut Googles Beitrag zur neuen Trainingssteuerung kommen Websites, die Google-Extended ausdrücklich erlauben, für Antworten und Klicks über Grounding in den Gemini Apps infrage. Grounding bedeutet, dass die KI ihre Antworten mit Inhalten aus dem Web untermauert und dabei auf Quellen verweisen kann.

Damit wird die Entscheidung zur Abwägung. Ein Handwerksbetrieb, der in KI-Antworten zu Fragen rund um Badsanierung auftauchen möchte, hat andere Interessen als ein Fachverlag, dessen Texte das eigentliche Produkt sind. Wie Grounding und Training zusammenspielen, wenn jemand nur über den neuen Token widerspricht, beantwortet der Beitrag nicht. Ebenso wenig äußert sich Google zu Auswirkungen auf die normale Google-Suche. Wer seine Sichtbarkeit bei Google und in KI-Systemen strategisch plant, sollte diese Lücken im Blick behalten.

Der Bezug zum EU AI Act

Google stellt den Vorschlag in einen europäischen Zusammenhang. Er sei konsistent mit dem EU Code of Practice für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck unter dem EU AI Act, der die robots.txt als primäre Methode für maschinenlesbare Präferenzen anerkenne. Das ist Googles eigene Einordnung. Ob ein Widerspruch per robots.txt in Deutschland rechtlich als urheberrechtlicher Nutzungsvorbehalt wirkt, lässt sich aus der Ankündigung nicht ableiten. Bei konkreten Rechtsfragen bleibt fachkundige juristische Beratung der richtige Weg.

Was Unternehmen jetzt sinnvoll tun können

Akuter Handlungsdruck besteht nicht, denn das Signal ist noch nicht live und die Syntax steht nicht fest. Die Zeit bis 2027 lässt sich trotzdem gut nutzen:

• Die eigene robots.txt prüfen: Gibt es bereits Regeln für Google-Extended oder andere KI-Crawler, und wer hat sie wann gesetzt?
• Eine Grundsatzentscheidung treffen: Ist es wichtiger, die eigenen Inhalte aus dem Training herauszuhalten, oder in KI-Antworten sichtbar zu sein?
• Zuständigkeiten klären: Wer die Website technisch betreut, sollte wissen, dass hier 2027 eine Änderung ansteht.
• Updates von Google verfolgen und erst handeln, wenn Name und Schreibweise des Tokens offiziell feststehen.

Gerade bei älteren Websites und Shops liegen in der robots.txt häufig Einträge, deren Herkunft niemand mehr kennt. Ein kurzer Blick lohnt sich schon jetzt, unabhängig vom neuen Signal. Die Diskussion um KI und Inhalte zeigt sich übrigens auch an anderer Stelle, etwa bei Werbung in ChatGPT: KI-Plattformen werden zu eigenen Kanälen, und die Frage, wie Unternehmen dort vorkommen, wird wichtiger.

Über den Autor Chris Voith

Chris Voith ist Online-Marketing-Manager aus Klingenberg am Main, im Landkreis Miltenberg zwischen Aschaffenburg und Frankfurt. Seit 2006 ist er selbstständig und unterstützt Unternehmen dabei, ihre Sichtbarkeit zu steigern und neue Kunden zu gewinnen. Mit seiner Agentur Voith Marketing betreut er Unternehmen in der gesamten DACH-Region persönlich, von Google Ads und Suchmaschinenoptimierung (SEO) über Social Media bis hin zu modernen KI-Automationen.

Mehr über Voith Marketing