Един ред в robots.txt: Google, Microsoft и OpenAI ще уважават общ отказ от AI обучение

В края на октомври Google, Microsoft и OpenAI обявиха, че ще уважават общ ред в robots.txt, с който сайтът заявява дали съдържанието му може да се използва за обучение на генеративни AI модели. Вместо да поддържате отделни правила за бота на всяка компания, ще можете да изразите предпочитанието си веднъж – за всички доставчици, които се включат.

Какво точно е предложено

Идеята е на Кевин Кели от Anthropic, който я внесе като чернова (Internet Draft) в работната група AI Preferences на IETF – организацията, която разработва интернет стандартите. Засега това е индивидуална чернова, а не официален стандарт.

Черновата не добавя нова команда в robots.txt. Използва се обикновена група с т.нар. токен __usage_ai-training и познатите Allow и Disallow. Пример от черновата – отказ от AI обучение за целия сайт без папката с материали за медии:

• User-Agent: __usage_ai-training
• Disallow: /
• Allow: /press-kit/

„AI обучение“ тук означава използване на съдържанието за промяна на параметрите на генеративен модел. Модели, които само класифицират или подреждат резултати, не попадат в това определение.

Кога ще започне да работи

• OpenAI – в следващите месеци. Сегашните правила за ботовете на компанията остават в сила.
• Google – в началото на 2027 г. Ако сайтът използва общия ред и няма отделно правило за Google-Extended, Google ще го приеме като забрана за Google-Extended. Това важи и за използването на съдържанието в отговорите на приложението Gemini (т.нар. grounding).
• Microsoft – от 1 февруари 2027 г. Компанията отделя обучението от grounding с отделна настройка на ниво страница и след 1 март 2027 г. спира да приема старите тагове NoArchive и NoCache за тези цели.
• Anthropic – според Кели компанията е започнала работа по поддръжката, но внедряването във всички услуги ще отнеме време.

Какво не прави този ред

• Не маха сайта ви от резултатите в Google или Bing.
• Не управлява AI Overviews и AI Mode в Google – за тях има отделна настройка в Search Console.
• Не спира обхождането (crawling) на сайта – отнася се само до използването на съдържанието за обучение.
• Не обхваща правилата, които вече имате. Групата User-Agent: * не се отнася за новия токен, а файл без такава група означава „няма предпочитание“.
• Не е техническа защита. Robots.txt работи на доверие и го спазват само компаниите, които са решили да го спазват.

Какво означава това за маркетолозите

Отказът от AI обучение вече не е само въпрос на авторски права, а и на видимост. При Google обучението и grounding са под един и същи контрол Google-Extended, така че ако блокирате обучението, може да ограничите и появата на съдържанието си в отговорите на Gemini. Microsoft също предупреждава, че ограниченията намаляват видимостта на марката в AI отговорите.

• Разберете кой отговаря за robots.txt на сайта ви. Често това са разработчиците, а решението за AI ботовете засяга и маркетинга.
• Разделете съдържанието: статии и продуктови страници, които искате AI асистентите да цитират, и платени или ексклузивни материали, които искате да защитите.
• Ако използвате NoArchive или NoCache, за да ограничите Copilot, планирайте преминаване към новите настройки на Microsoft преди март 2027 г.
• Не бързайте с промени. Към момента никой от трите доставчика все още не поддържа новия ред.

Ако искате да разберете как SEO, рекламата и AI търсенето работят заедно, разгледайте курса по дигитален маркетинг на Advance Academy. За основите вижте и статията ни какво е дигитален маркетинг и кои са основните му направления.

Често задавани въпроси

Какво е robots.txt?

Robots.txt е текстов файл в основната директория на сайта, който казва на ботовете кои части от сайта могат да посещават. Той е препоръка, а не техническа защита – спазват го само ботовете, които са решили да го спазват.

Ще изчезне ли сайтът ми от Google, ако откажа AI обучение?

Не. Според документацията на Google контролът Google-Extended не влияе на включването в Google Търсене. Той обаче може да ограничи използването на съдържанието ви в отговорите на Gemini, а AI Overviews и AI Mode се управляват отделно от Search Console.

Какво е SEO и как да го науча?

SEO (оптимизация за търсачки) е работата по сайта и съдържанието, така че да се показват по-високо в Google и все по-често в отговорите на AI асистентите. Най-добре се учи с практика върху реален сайт – проучване на ключови думи, техническа проверка и писане на съдържание – като част от по-широко обучение по дигитален маркетинг.

Източници: Search Engine Journal, Google Search Central, Bing Blog, OpenAI, чернова в IETF