Компания OpenAI представила новый классификатор изображений для поиска материалов с сексуальным насилием над детьми (CSAM), включая сгенерированный искусственным интеллектом контент, а также ужесточила правила реагирования на подобные запросы в ChatGPT. Запуск инструментов происходит на фоне роста числа инцидентов: по данным Национального центра по делам пропавших и эксплуатируемых детей США (NCMEC), в 2025 году на линию CyberTipline поступило более 400 тысяч сообщений, связанных с генеративным ИИ.
Визуальный анализ вместо цифровых отпечатков
Большинство действующих систем модерации полагаются на цифровые отпечатки (хеши), позволяющие распознавать только ранее выявленные запрещенные файлы. Новые изображения, сгенерированные нейросетями, таких совпадений не имеют. Разработанный при участии NCMEC классификатор OpenAI оценивает визуальные признаки потенциального насилия, что позволяет выявлять ранее не встречавшийся контент.
Алгоритм присваивает подозрительным файлам оценки приоритетности, чтобы модераторы могли быстрее обрабатывать наиболее критичные случаи. OpenAI предоставляет доступ к классификатору через API бесплатно для прошедших проверку профильных организаций. По оценкам самой компании и первых партнерских платформ, тестирование показало следующие результаты:
- Внутренняя проверка OpenAI: новый инструмент направляет на ручную проверку на 48% меньше изображений при сохранении прежнего уровня выявления нарушений, а доля подтвержденного контента среди отмеченных файлов выросла примерно вдвое.
- Платформа Fal: модераторы подтвердили, что 72% материалов с высоким уровнем уверенности алгоритма действительно оказались ранее неизвестными случаями CSAM.
- Платформа SafetyKit: классификатор обнаружил 90% случаев с рисунками и анимацией, сексуализирующими детей.
При этом в OpenAI и партнерских структурах отмечают, что приведенные показатели получены в ходе первичных испытаний — для подтверждения надежности технологии на разных площадках необходимы независимые тесты. Кроме того, статистика NCMEC за 2025 год охватывает различные категории эксплуатации несовершеннолетних с использованием нейросетей, и не все из более чем 400 тысяч обращений касались непосредственно создания или распространения сгенерированного насилия.
Временные ограничения в ChatGPT и разграничение нарушений
Вторым направлением обновлений стали защитные механизмы внутри ChatGPT, реагирующие на попытки пользователей найти запрещенные материалы. При фиксации таких запросов диалог прерывается и удаляется, а доступ к сервису блокируется на 24 часа.
Одновременно система выводит предупреждение, разъясняющее вред сексуализации детей даже при использовании полностью синтетических изображений, и предлагает контакты специализированных служб поддержки для предотвращения деструктивного поведения. Повторные нарушения влекут за собой более длительные ограничения, перманентное удаление учетной записи и передачу данных правоохранительным органам.
Новые 24-часовые паузы касаются именно попыток поиска материалов через чат-бота. Действующие правила OpenAI в отношении попыток прямой генерации или загрузки CSAM не смягчались: за такие действия аккаунты по-прежнему блокируются немедленно с отправкой отчета в NCMEC. Влияние предупреждений на реальное снижение числа нарушений потребует дальнейшего наблюдения.
Сотрудничество с правоохранительными органами и коалицией Lantern
OpenAI также расширила партнерство со структурами, расследующими онлайн-эксплуатацию несовершеннолетних. Компания присоединилась к программе Tech Coalition Lantern, предназначенной для обмена информацией о подозрительной активности между технологическими платформами, и опубликовала методические рекомендации для разработчиков по выявлению и проверке вредоносного контента.
Для профильных подразделений правоохранительных органов создаются специализированные ИИ-инструменты и обучающие программы. Первое такое решение предназначено для анализа объемных журналов переписки и записей, полученных следователями на законных основаниях: система помогает выстраивать хронологию событий и находить связи с привязкой к исходным документам. Доступ к инструменту будет предоставляться только авторизованным ведомствам. Эффективность новых мер защиты на практике будет зависеть от того, насколько широко профильные организации и сторонние платформы интегрируют предложенный классификатор в свои системы модерации.
