Детекторы обещают 99%. Что показывают независимые проверки

Независимые проверки дают ИИ-детекторам реальную точность 70–87% при доле ложных срабатываний (FPR) 4–15% — против 99%, заявленных Copyleaks, и 99,98% у Winston AI. Маркетинговые цифры вендоры намерили сами: на собственных выборках, без внешнего протокола. Единственное исключение — Pangram, чей близкий к нулю FPR в сентябре 2025 года подтвердили исследователи из Chicago Booth. Всем остальным обещаниям верить пока не на чем.

Откуда берутся маркетинговые 99%

Из замеров, которые вендор ставит сам себе. Copyleaks получил 99% точности и FPR 0,2% на выборке из 50 машинных и 50 человеческих текстов — сто документов на весь протокол. Originality.ai Lite декларирует 99% при FPR 0,5%. Winston AI публикует 99,98% вовсе без методики: как и у ZeroGPT с его «больше 98%», протокол измерения не документирован нигде.

О цене таких метрик пишут сами разработчики детекторов. Команда Advacheck — это R&D «Антиплагиата» — в статье «Are AI Detectors Good Enough?» (arXiv:2410.14677) показывает: результаты до 99,9% на бенчмарках часто отражают слабость оценочных датасетов, а не надёжность детекторов, и качество «резко падает в реальных применениях». По их анализу ошибок детекторы хуже всего справляются с текстами после редактуры и с генераторами, которых не было в обучении.

Ещё один приём — мелкий шрифт. Turnitin обещает FPR меньше 1%, но это верно только для документов с долей ИИ от 20%; на уровне отдельного предложения FPR около 4%. Эссе на 500 слов при таком уровне почти гарантированно получит хотя бы одну ложную подсветку. Не случайно в диапазоне 1–19% Turnitin вместо процента показывает звёздочку.

RAID: замер по единому протоколу

Крупнейший независимый бенчмарк — RAID, представленный на конференции ACL в 2024 году: 12 детекторов, у всех FPR зафиксирован на 5%, измеряется recall — доля пойманного машинного текста.

• Originality.ai — 85,0%;
• Binoculars — 79,6%;
• Fast-DetectGPT — 73,6%;
• Winston AI — 71,0%;
• RADAR — 70,9%;
• GPTZero — 66,5%;
• ZeroGPT — 65,5%;
• RoBERTa-Large (GPT-2) — 56,7%.

Winston с обещанными 99,98% ловит 71% — и это когда каждый двадцатый человеческий текст уже отдан под ложную пометку. Copyleaks в RAID не тестировался, так что его 99% не проверены даже так.

Дальше хуже. Бенчмарк ARB (arXiv:2607.29539, июль 2026) измерил recall при FPR, зажатом до 1%, на смешанном авторстве: когда нейросеть переписывает человеческое содержание, recall Binoculars обваливается с 93,5% до 15,1%, Fast-DetectGPT — с 91,2% до 30,8%. Эксперимент Notre Dame добавил «ловушку честности»: лёгкая ИИ-правка человеческого текста помечается в 64–80% случаев, а полностью машинный текст после хьюманайзера Undetectable AI v11 сохранял пометку менее чем в 4% случаев. Разрешённая редактура ловится чаще запрещённой генерации.

Pangram: исключение с оговоркой

Jabarian и Imas из Chicago Booth в сентябре 2025 года прогнали через детекторы около 2000 человеческих текстов шести жанров. Pangram выдал FPR около нуля при пропуске машинных текстов 0–2%. GPTZero тоже удержал FPR ниже 1%, но Originality.ai при том же FPR пропускал 10–40% генераций, а открытый RoBERTa-детектор отработал «близко к случайному угадыванию». Свежий Pangram 4 (arXiv:2607.27183, июль 2026) заявляет FPR 0,0041% — одно ложное срабатывание на ~24 300 текстов — и 104 языка; это цифры разработчика, однако у Pangram, единственного на рынке, есть и внешняя точка опоры.

Оговорка нашлась и здесь. Karr et al. из Notre Dame (arXiv:2608.11256, август 2026) проверили 642 научных абстракта: Pangram 3.2 пометил 26,6% теологических против 2,1% химических, GPTZero — 15,2% против 1,1%. Часть срабатываний пришлась на абстракты 2013–2015 годов, написанные до появления больших языковых моделей. Детекторы измеряют стиль дисциплины, а не происхождение текста, и гуманитариям достаётся сильнее всех.

Что делать русскоязычному студенту

Помнить: вся статистика выше измерена на английском. Turnitin официально поддерживает английский, испанский и японский; русских систем в RAID нет. «Антиплагиат.ВУЗ» заявлял точность до 98% (май 2025) и снижение ложных срабатываний с 1,55% до 0,15% по документам (9 июля 2026, собственный тест на 1500 документах); у GigaCheck от Сбера заявлено 94,7% при FPR не выше 1%. Независимого воспроизводимого замера FPR на верифицированном корпусе русскоязычных студенческих работ нет ни у кого. Масштаб при этом уже другой: по данным РИА Новости, за II квартал 2026 года признаки ИИ найдены в 983,7 тыс. из 2,73 млн проверенных работ — в каждой третьей, а «Коммерсантъ» в апреле описывал вузы, где недопуск к защите начинается с 1% «ИИ-контента».

Сильная позиция в споре опирается на документы самого вендора: по памятке «Антиплагиата» сентября 2025 года, детектор «следует рассматривать не как доказательство нечестной работы, а, скорее, как маркер», и эксперт может снять отметку с комментарием. Как устроена система и как оспаривать пометку — в нашем разборе ИИ-детекции. А вот трюки обхода работают против владельца текста: наивный парафраз повышает детектируемость (+15,03% у Fast-DetectGPT, +8,57% у RADAR), а гомоглифы, невидимые символы и аномальная пунктуация из adversarial-инструментов ловятся отдельными проверками и превращают спорную пометку в доказательство умысла. Что такие сервисы умеют и чем рискует их пользователь — в материале про хьюманайзер.

Вопрос — ответ

Почему нельзя верить цифре точности на сайте детектора?

Потому что её намерил сам вендор без внешнего контроля. Copyleaks получил 99% на выборке из 50+50 собственных текстов, Winston AI и ZeroGPT протокол не публикуют вовсе. В независимом бенчмарке RAID (ACL 2024) при фиксированном FPR 5% Winston показал 71,0%, GPTZero — 66,5%. Разработчики Advacheck подтверждают: результаты до 99,9% часто отражают слабость тестовых датасетов, а не надёжность детектора.

Может ли детектор пометить полностью самостоятельную работу?

Да, это документировано. Karr et al. (2026) зафиксировали срабатывания на научных абстрактах 2013–2015 годов — написанных до появления больших языковых моделей. Liang et al. (Patterns, 2023) показали: семь детекторов пометили в среднем 61,3% человеческих эссе TOEFL, а 97,8% эссе пометил хотя бы один из них. Академический стиль формален и терминологически однороден, статистически он близок к машинному — под подозрение попадают в том числе добросовестные тексты.

Спасёт ли парафраз или хьюманайзер от пометки?

Ставка рискованная. Наивный парафраз, по данным ARB, иногда повышает детектируемость: +8,57% у RADAR, +15,03% у Fast-DetectGPT. Adversarial-инструменты продавливают детекторы, но оставляют гомоглифы, невидимые символы и аномальную пунктуацию — их ловят отдельные проверки, и след инструмента выглядит как умысел. По данным ARB решает происхождение содержания: защищает содержательная переработка со своими данными и структурой, а не поверхностная правка.

Как это решает кот

КотПишетСам решает эту задачу не промптом, а конвейером: тысячи операций на каждую работу, не считая самой генерации, — от проверки каждого источника до контроля оформления по ГОСТ. Финальный из этих этапов — встроенный хьюманайзер, он же существует как отдельный инструмент для готовых текстов. Итог в наших замерах — стабильные 0% ИИ-контента в Антиплагиат.ВУЗ; курсовая покупателя с 0% ИИ и 87% оригинальности выложена в примерах готовых работ. Первый шаг бесплатный: план работы за минуту.