Насколько точны детекторы ИИ? Что показывают исследования и как читать результат

Детекторы ИИ недостаточно точны, чтобы доказать, что человек пользовался искусственным интеллектом. Лучшие коммерческие сервисы сегодня распознают большую часть текста, скопированного прямо из чат-бота, и редко ошибаются на длинных текстах, написанных людьми. Но слабые инструменты часто принимают человеческий текст за машинный, а ИИ-текст, который переписали или стилизовали под реального автора, может ускользнуть от многих детекторов. Поэтому если вас интересует, насколько точны детекторы ИИ, ответ такой: любой результат проверки текста на ИИ — это подсказка, куда смотреть, но никогда не доказательство сам по себе.

В недавних независимых тестах лучшие инструменты показали себя гораздо лучше, чем собственный детектор OpenAI в 2023 году, который компания отозвала из-за низкой точности. Но не настолько хорошо, чтобы оценка стала доказательством.

Как детектор ИИ принимает решение

Детекторы оценивают сам текст, а не то, откуда он взялся. Простые инструменты смотрят, насколько предсказуем выбор слов и насколько однородно выглядят предложения. Коммерческие сервисы обучают классификаторы на больших наборах текстов, написанных людьми и ИИ. В любом случае на выходе получается оценка вроде «82% ИИ».

Именно предсказуемость порождает многие ложные срабатывания. Джеймс Зоу, старший автор стэнфордского исследования детекторов 2023 года, отметил, что они «обычно выставляют оценку на основе метрики, известной как „перплексия“», а она связана с тем, насколько изощрённо написан текст. Простой и аккуратный текст может выглядеть машинным для такой метрики, даже если каждое слово в нём написал человек.

Что показали исследования

Исследования проверены в октябре 2026 года. Первые три относятся к 2023 году, последние три тестируют более новые инструменты и модели.

В совокупности исследования показывают две вещи: выбор инструмента имеет огромное значение, а подражание стилю — то место, где спотыкаются даже лучшие детекторы, тогда как хьюманайзер обманул часть из них.

Подробности — в заметке OpenAI о своём классификаторе, материале Stanford HAI об исследовании предвзятости, исследовательской сводке Чикагского университета и тесте Epoch AI 2026 года. Статья Weber-Wulff опубликована в International Journal for Educational Integrity, а исследование по нейрохирургии 2025 года — в Acta Neurochirurgica.

Пример 1: один и тот же честный класс, шесть разных инструментов

Возьмём 1000 эссе, которые студенты написали целиком сами, без всякого ИИ, и применим к ним доли ложных срабатываний из исследований выше. Это наш расчёт, а не новый тест; исследования использовали разные тексты и условия, поэтому перед вами не рейтинг.

В зависимости от инструмента один и тот же честный класс получит от нуля до нескольких сотен ложных отметок. К тому же ноль ошибок на 495 попытках ещё не доказывает, что ошибок не будет на любом типе текста.

Пример 2: почему важен даже 1% ошибок

Университет Вандербильта провёл похожий расчёт, когда в 2023 году отключил ИИ-детектор Turnitin: в 2022 году там отправили на проверку около 75 000 работ, так что доля ложных срабатываний в 1% могла означать около 750 ошибочно помеченных работ.

Есть и второй эффект. Для студента, чью работу отметили, важна не доля ошибок, а вероятность того, что ошибочна именно его отметка, а это зависит от того, сколько людей на самом деле пользовались ИИ. Допустим, детектор ловит 90% эссе, написанных с ИИ, а остальные параметры будем менять. Цифры иллюстративные, а не измеренные.

Сценарий В показывает подвох: с тем же «однопроцентным» детектором, когда ИИ пользовались немногие, примерно каждая третья отметка падает на честного автора. У лучших инструментов на длинных текстах доля может быть ближе к 0%, так что для них это пессимистичный случай. Для слабых инструментов, коротких текстов и формального стиля доли в несколько процентов и выше вполне реалистичны, как показывает первый пример.

Как читать результат детектора

• Выясните, что именно измеряет процент. Процент в Turnitin — это доля «подходящего текста», который сервис считает вероятно сгенерированным ИИ, а не вердикт по всей работе. Прежде чем действовать, прочитайте объяснение самого инструмента.
• Низкие оценки наименее надёжны. Turnitin сам показывает лишь звёздочку вместо числа от 1% до 19%, потому что его тесты выявили в этом диапазоне больше ложных срабатываний.
• Оценки разных инструментов несравнимы. В исследовании по нейрохирургии 2025 года одни и те же человеческие тексты в среднем получили 37% ИИ в Corrector, 28% в ZeroGPT и 6% в GPTZero.
• Длина и язык имеют значение. OpenAI признавала, что её классификатор очень ненадёжен на текстах короче 1000 символов — это короткий абзац или два — и работает гораздо хуже на языках, кроме английского.
• Один прогон в одном инструменте — это одна точка данных. Высокая оценка длинного текста от хорошо проверенного инструмента заслуживает более внимательного взгляда. Высокой оценке короткого абзаца от бесплатного сервиса стоит придавать очень мало веса.

Когда ложное срабатывание вероятнее

Риск ошибочной метки «ИИ» растёт, когда:

• Автор не носитель английского. В 2023 году семь детекторов из стэнфордского исследования в среднем признали ИИ-текстами 61% эссе TOEFL; авторы связали это с более простым выбором слов, который делает текст предсказуемее. Новые инструменты, возможно, справляются лучше, но к такой отметке стоит относиться особенно осторожно.
• Текст короткий или не на английском — об этом OpenAI предупреждала в отношении собственного инструмента.
• Человеческий и ИИ-текст перемешаны. Turnitin пишет, что ложные срабатывания на уровне предложений чаще встречаются в смешанных документах, особенно на стыке человеческих и ИИ-фрагментов.
• Текст формальный и шаблонный. Научные статьи следуют строгим правилам — это одна из причин, почему в исследовании 2025 года столько написанных людьми текстов по нейрохирургии получили высокие оценки в Corrector и ZeroGPT.

Ошибочная метка «человек», то есть ложноотрицательный результат, вероятнее, когда ИИ-текст перефразировали, прогнали через хьюманайзер или стилизовали под реального автора, как показали тесты Weber-Wulff и Epoch AI. Чикагское исследование выявило то же самое для GPTZero после хьюманайзера, но не для Pangram.

Что делать, если ваш текст отметили как написанный ИИ

Если преподаватель, редактор или заказчик говорит, что детектор отметил работу, которую вы написали сами:

1. Попросите подробности. Какой инструмент использовали, какую оценку он выдал и какие фрагменты выделил?
2. Покажите, как вы работали. История версий в Google Docs или Microsoft Word, планы, заметки, ранние черновики и прочитанные источники — гораздо более сильные доказательства, чем любая оценка.
3. Предложите обсудить работу. Объяснить свою аргументацию, источники и решения автор текста обычно может без труда.
4. Сошлитесь на факты. OpenAI отозвала собственный детектор, Turnitin советует использовать свою оценку, «чтобы начать разговор, а не чтобы сделать вывод», а Университет Вандербильта отключил ИИ-детектор Turnitin.
5. Используйте официальную процедуру. Прочитайте политику вашего учебного заведения или работодателя в отношении ИИ и академической честности и воспользуйтесь предусмотренным порядком обжалования. Если ставки высоки, обратитесь за помощью к куратору, в студенческий совет или к уполномоченному по правам обучающихся.

Чтобы ситуация не повторилась, с самого начала сохраняйте черновики и историю версий, проверяйте правила, прежде чем использовать ИИ для чего угодно, даже для исправления грамматики, и сообщайте об этом там, где это требуется.

Как преподавателям и редакторам пользоваться детектором

• Используйте оценку как повод для разговора, а не для вердикта. Попросите автора рассказать, о чём текст и как он его писал.
• Заранее установите понятные правила. Команда по образовательным технологиям MIT Sloan рекомендует не полагаться на детекторы, а ввести чёткую политику в отношении ИИ, открыто обсуждать эту тему и просить студентов описывать, как они использовали ИИ.

Где пригодится бесплатная проверка текста на ИИ

Детектор полезнее всего для собственных текстов — как быстрая проверка перед сдачей или публикацией: не звучит ли черновик шаблонно. Если звучит, перепишите его своими словами и добавьте конкретные детали, которые знаете только вы.

Для этого у Clever AI есть бесплатный детектор ИИ. Вы вставляете от 20 до 4000 символов и без регистрации получаете оценку «ИИ», оценку «человек» и вердикт: «вероятно, ИИ», «смешанный» или «вероятно, человек». Результаты на коротких фрагментах наименее надёжны — по причинам, описанным выше. Это оценка языковой модели, а не проверка через Turnitin, GPTZero или любой другой детектор, и в перечисленных исследованиях этот инструмент не участвовал. Как сказано на самой странице, используйте его, чтобы решить, что переписать, а не как доказательство в отношении чужой работы.

Если вы используете ИИ для мозгового штурма или черновиков — в Clever AI Hub или где-то ещё, — самая безопасная привычка та же: сохраняйте черновики, соблюдайте правила, по которым пишете, и говорите, когда вам помогал ИИ.

Итог

В новейших тестах лучшие детекторы редко ошибались на длинных неотредактированных текстах, но ни один не может ничего доказать насчёт конкретного текста: инструменты сильно различаются, переписанный или стилизованный ИИ-текст проходит мимо некоторых из них, а когда реальное использование ИИ — редкость, многие отметки ошибочны. Воспринимайте оценку как повод присмотреться внимательнее, а решение принимайте на основе настоящих доказательств: черновиков, заметок и разговора.