OpenAI будет соблюдать общий сигнал robots.txt против обучения ИИ
Владелец сайта сможет одной группой в robots.txt выразить отказ от обучения моделей на своих страницах сразу для всех участвующих разработчиков.
Разбор
30 октября OpenAI объявила, что добровольно будет соблюдать общий для разных разработчиков сигнал о предпочтениях в обучении ИИ. Сигнал описан в черновике IETF draft-kelley-aipref-training-preference-signal-00, который в тот же день опубликовал Кевин Келли из Anthropic: владелец сайта пишет в robots.txt обычную группу с User-Agent: __usage_ai-training, и запрещённые в ней пути означают отказ от обучения моделей на этих страницах, а разрешённые — согласие. Новых директив черновик не вводит, правила RFC 9309 не меняются, группы User-Agent: * на этот токен не распространяются, а если такой группы в файле нет, предпочтение не выражено. Это не правило обхода сайта, а именно предпочтение об использовании контента; основой служит словарь рабочей группы IETF AI Preferences. Прежние настройки OpenAI — GPTBot для обучения и OAI-SearchBot для поиска в ChatGPT — остаются в силе, а поддержку нового сигнала компания обещает в ближайшие месяцы и призывает к этому других разработчиков.
Первоисточники:Новости OpenAIЧерновик IETF



