Как проверить ИИ-маскировку условий сделки

Содержание статьи
Оглавление
- Что показал авторский эксперимент
- Что считать секретом в рабочем тексте
- Почему одной метрики недостаточно
- Как выбрать способ обработки
- Что меняется в длинном документе
- Как подготовить безопасный пилот
- Что включить в приёмку процесса
- Источник и границы выводов
- Частые вопросы
Что показал авторский эксперимент
17 ноября 2026 года автор NullPilot опубликовал на Habr эксперимент с поиском и маскировкой коммерческих условий. Для этого использовалось NER — распознавание фрагментов текста определённого типа. Например, модель ищет индивидуальные условия оплаты, а программа заменяет найденный фрагмент маской.
Автор проверял дообучение GLiNER на синтетических текстах. На коротком тесте из 1 000 записей выбранная дообученная конфигурация целиком скрыла 1 171 из 1 275 секретных фрагментов и затронула 8 публичных упоминаний. Это разные единицы: фрагмент условия не равен документу или клиенту.
Корпус был вымышленным, варианты текстов связаны общими семействами; независимой экспертной разметки не было. Поэтому результат описывает конкретный эксперимент, а не качество на реальных письмах компании. Код и модели нами не запускались.
Для заказчика важна сама постановка проверки: отдельно увидеть пропущенную закрытую информацию и полезный текст, который система скрыла зря. Одного показателя «точности» для такого решения мало.
Что считать секретом в рабочем тексте
Начните с правила компании: какие условия нельзя показывать конкретному получателю. Одинаковое значение может быть публичным в объявлении об акции и закрытым в индивидуальной договорённости. Задача заключается не только в поиске слов «скидка» или «оплата», но и в понимании их роли.
Определите границу закрытого фрагмента. Если нужно скрыть всю схему расчётов, маски только на сумме может быть недостаточно: в тексте останутся этапы, условия или привязка к событию. При этом код товара или описание публичного предложения могут быть полезны следующему сотруднику.
Подготовьте пары примеров: что должно исчезнуть и что должно остаться. Их должен согласовать человек, который понимает смысл условий и права получателя. Без такого решения модель будет воспроизводить неоднозначность исходного задания, даже если распознаёт знакомые формулировки.
Проверяйте не только основной абзац. Повтор договорённости может находиться в цитате переписки, примечании или приложении. Состав обрабатываемых материалов нужно задать заранее, иначе аккуратно замаскированная часть создаст ложное ощущение готовности всего пакета.
Почему одной метрики недостаточно
F1 — сводная оценка того, насколько правильно найдены фрагменты. В рассмотренном эксперименте строгая оценка требовала совпадения типа и границ. Для деловой передачи текста вопрос другой: закрыта ли информация полностью и остаётся ли документ пригодным для работы.
Излишне широкая маска может скрыть секрет, но удалить нужное объяснение. Слишком узкая — аккуратно убрать число и оставить смысл закрытого условия. Поэтому нужно проверять оба вида ошибок, а не выбирать конфигурацию только по месту в общей таблице.
Просите показать готовые тексты после маскирования. Оценка должна включать примеры пропусков, ошибочно скрытых публичных сведений и спорных случаев. Важен и маршрут ошибки: заметит ли её проверяющий до отправки, сможет ли остановить передачу и исправить результат.
Маскировка выбранных условий также не означает, что оставшийся текст стал обезличенным или свободным от другой закрытой информации. Здесь обсуждается конкретная задача подготовки текста; пригодность всего документа для конкретного получателя требует более широкой проверки.
Как выбрать способ обработки

Не всякая задача требует дообучения модели. Сначала выясните, где находятся нужные сведения и насколько разнообразно они записаны.
| Ситуация | Первый вариант для проверки | Основное ограничение |
|---|---|---|
| Редкие документы с высокой ценой ошибки | Ручная подготовка и независимый просмотр | Нагрузка и последовательность решений |
| Известные поля или устойчивые форматы | Удаление полей, правила и словари | Свободные перефразирования могут не совпасть с правилом |
| Разнообразные договорённости в обычном тексте | Модель предлагает фрагменты для проверки | Нужно оценивать контекст, границы и пропуски |
| Смешанный пакет материалов | Сочетание способов и общий контроль перед передачей | Нельзя считать проверку одной части проверкой всего пакета |
Практический выбор зависит от объёма, языка документов, допустимых ошибок и стоимости просмотра. Сравнивайте законченный процесс: сколько времени занимает подготовка, что исправляет человек и какой полезный контекст теряется. Быстрый ответ модели может оказаться неудобным, если после него приходится перечитывать и восстанавливать весь документ.
Что меняется в длинном документе
Автор отдельно проверял длинные синтетические тексты и обработку частями. В том опыте статус закрытого условия находился рядом с ним; дальние смысловые связи между частями таким тестом не подтверждались.
Для реального пилота проверьте, где находится объяснение условия: в том же абзаце, в начале переписки или в другом приложении. Разбиение текста на части не должно незаметно отделять значение от контекста, по которому его признают закрытым.
Включите примеры с повторениями, переходом между страницами, таблицами и цитатами. Если система умеет работать только с извлечённым текстом, отдельно оцените сам этап извлечения. Пропущенный при распознавании фрагмент не становится безопасным от того, что следующая модель его не увидела.
Приёмка должна касаться передаваемого результата: текста или файла, который действительно получает адресат. Успешная обработка одного короткого поля ещё не подтверждает правильность большого документа.
Как подготовить безопасный пилот
Для начала составьте вымышленные примеры, которые отражают нужные формулировки и ошибки, но не содержат настоящих коммерческих секретов. В эксперименте на Habr внешняя модель помогала размечать именно синтетические обучающие тексты. Этот способ нельзя автоматически переносить на закрытую переписку.
До использования реальных материалов определите, где выполняются извлечение текста, разметка, обучение, проверка и хранение результатов. Если исходный текст уходит внешнему помощнику на первом этапе, последующая маска не отменяет эту передачу.
Разделите примеры, на которых команда уточняет правила, и примеры для итоговой проверки. Иначе удачный результат может означать знакомство системы с тестовыми формулировками. Сохраните список ограничений, чтобы позднее не расширить область работы без новой оценки.
Начинайте с предложения масок и просмотра человеком. При росте объёма оценивайте, остаётся ли проверка выполнимой и какие случаи требуют отдельного решения. Автоматическая отправка должна быть самостоятельным обсуждением, а не незаметным продолжением удачной демонстрации.
Что включить в приёмку процесса
Согласуйте не только итоговую оценку модели, но и признаки готовности операции:
- У закрытых условий определены тип, контекст и границы фрагмента.
- Проверены полностью скрытые условия и случаи частичного раскрытия.
- Публичные сведения сохраняют смысл для получателя.
- Повторы и длинные материалы входят в проверку в согласованных границах.
- Спорный результат передаётся ответственному до отправки.
- Доступ к исходникам и хранение копий соответствуют выбранному рабочему процессу.
- Ошибка обработки не превращается в разрешение передать непроверенный текст.
Отдельно учитывайте сопровождение. Меняются шаблоны писем, предложения и язык договорённостей; нужно знать, кто обновляет правила и проверяет новые случаи. Стоимость решения включает подготовку данных, просмотр, исправления и эксплуатацию, а не только запуск модели.
Для обсуждения AI-автоматизации бизнеса подготовьте безопасные пары «исходный пример — ожидаемый результат», объём работы и цену ошибки для процесса. Если текст поступает из сканов или файлов, отдельно обсудите обработку документов. Общая проверка поведения помощника разобрана в статье как проверять AI-бота, но она не заменяет отдельную приёмку маскирования.
Источник и границы выводов

Источник события — эксперимент NullPilot «Скидки, сделки и секреты» на Habr от 17 ноября 2026 года. Прочитан основной текст, включая методику, ограничения короткого и длинного тестов и различие между точностью распознавания и полнотой маскирования. Числа выше относятся только к описанной автором конфигурации и синтетическому тесту.
Репозитории, веса и замеры нами не воспроизводились, независимая экспертная разметка не добавлялась. Это не кейс GGAPP и не обещание защиты реальных документов. Таблица вариантов и список приёмки — наш разбор для заказчика, который помогает поставить проверяемую задачу без переноса чужого результата на собственную переписку.
Частые вопросы
Достаточно ли высокого F1, чтобы автоматически отправлять текст?
Нет. Нужно проверить полное скрытие выбранных условий, сохранность нужного смысла и поведение при ошибке. Отправка — отдельное действие со своей ответственностью и приёмкой.
Можно ли начать с правил без модели?
Да, если сведения находятся в известных полях или имеют устойчивый формат. Для свободного текста сравните правила с предложением масок моделью и оцените реальные пропуски и трудоёмкость просмотра.
Можно ли отдать внешнему ИИ исходные документы для разметки?
Не считайте такую передачу безопасной только потому, что цель проекта — последующая маскировка. Сначала определите допустимый состав данных, место обработки и круг получателей. Для первого пилота используйте вымышленные примеры.
Что принести на обсуждение проекта?
Правило закрытой информации, безопасные примеры, ожидаемый результат и описание следующего действия с текстом. Это позволяет сравнить варианты и заранее увидеть случаи, где потребуется решение человека.