Что я доверяю ИИ без проверки, а что не отдам на полный автомат
Есть задачи, которые я готов отдавать ИИ почти без проверки: черновики заголовков, вычищенная расшифровка, текст, приведённый к нужному формату. Если модель где-то ошиблась, это обычно видно на следующем шаге, а потеря измеряется минутами. Рядом лежат вещи, которые я не отдал бы машине даже при идеальном результате: платёж, удаление данных, публикация спорного утверждения. Разница между этими двумя полками не в интеллекте модели и не в длине промпта.
Умение ИИ — плохой критерий для автоматизации. Хороший критерий — что произойдёт, если он ошибётся, и можно ли это откатить. По этой линии удобно раскладывать не только чужие кейсы, но и собственные задачи.
Что уходит машине почти целиком
Подготовка вариантов. Заголовки, структура статьи, сценарии, формулировки для лендинга — здесь ИИ не принимает решение, а расширяет выбор. Плохой вариант никто не берёт, хороший дорабатывается руками. Цена ошибки обычно невелика: если не считать потраченных секунд на чтение ерунды.
Рутинная обработка. Расшифровка встречи, удаление повторов, приведение текста к единому виду, тегирование, сортировка обращений по темам, извлечение полей из документов. Работа скучная, проверяемая глазами и не запускающая никаких внешних действий. Здесь автоматизация окупается быстрее всего, потому что человек на такой работе не становится умнее, а просто устаёт.
Сбор и первичная раскладка информации. Собрать список источников, разложить их по категориям, сделать черновое резюме документа — всё это можно отдавать спокойно. Но с одной оговоркой: собранное не равно проверенному. Черновое резюме — заготовка для работы человека, а не факт, который можно публиковать.
Технические преобразования и внутренние черновики. Тестовые данные, конвертация файлов, заготовки, которые можно удалить и пересобрать за пару минут. NIST отмечает, что существуют системы, которым в конкретном контексте может не требоваться постоянный человеческий надзор, — например, технические преобразования вроде улучшения сжатия видео. Так что человек в контуре не обязан стоять у каждой операции. Это не трусость и не отсталость, а нормальная инженерия.
Общий признак у всех четырёх групп один: результат видно глазами, и он не запускает необратимого внешнего действия. Дальше начинаются критерии посерьёзнее.
Три критерия, по которым я провожу черту
Первый — цена ошибки. Пять потраченных минут — ерунда. Списание денег, испорченные данные, письмо клиенту в конфликтной ситуации — уже нет. Проблема в том, что модель не чувствует этой разницы, а человек, увлёкшись удобством, тоже перестаёт её замечать.
Второй — обратимость. Черновик отменить легко. Отправленное письмо, удалённый файл, проведённый платёж могут быть необратимыми или очень дорогими в исправлении. Всё, что не откатывается одной кнопкой, автоматически переходит в категорию «с подтверждением».
Третий — внешние последствия. Действие остаётся внутри рабочего стола или выходит к клиенту, в публикацию, в производственную систему, в банк. Внутренние черновики можно гонять как угодно, внешний контур требует остановки.
Правило простое: если хотя бы два критерия из трёх плохие, автоматика ждёт человека. Практическое руководство OpenAI по агентам предлагает примерно ту же логику — оценивать инструменты по типу доступа (чтение или изменение), обратимости операции и финансовым последствиям, а перед чувствительными действиями подключать человека. Это не закон и не универсальный стандарт, а разумный инженерный подход.
ИИ готовит, человек нажимает
Самый полезный паттерн здесь выглядит так. Агент принимает запрос, собирает нужные данные, готовит документ или операцию, проверяет формат и обязательные поля. Дальше он показывает короткое резюме: что именно изменится, где, на какую сумму, можно ли это отменить. И останавливается.
Останавливается прямо перед отправкой, списанием, публикацией или удалением — а не где-то в начале цепочки. Толку от кнопки «Одобрить» на входе мало, если дальше агент сам решает, куда и сколько отправить. Документация OpenAI по агентам разделяет автоматические проверки и ручное одобрение именно так: действие подготовлено, но исполнение приостановлено до подтверждения или отказа.
Список того, что не стоит отдавать на полный автомат, короткий, но жёсткий. Деньги: платежи, возвраты, изменение тарифов. Необратимые действия: удаление файлов и записей, правка данных в рабочей системе. Юридически чувствительные решения: договоры, претензии, кадровые и кредитные вопросы. Публикация спорных фактов, обвинений и репутационных утверждений. И команды для сервера, базы данных или платёжной системы — тут даже обсуждать нечего.
Во всех этих случаях ИИ не отстранён от работы. Он делает всю подготовку, часто аккуратнее, чем человек к вечеру пятницы. За ним не оставлено только последнее движение.
Человек в контуре — не волшебная защита
Формальное присутствие человека ничего не гарантирует. Если он устал, не видит контекста, не понимает, что именно одобряет, и не имеет реального права остановить процесс, кнопка «Одобрить» превращается в ритуал. В документах NIST это названо automation bias — склонностью чрезмерно доверять автоматике.
Отсюда практический вывод. Человеку нужно показывать конкретное действие, сумму, адресата и последствия, а не абстрактное «продолжить?». У него должно быть время прочитать и полномочия сказать «нет» без объяснений. Если подтверждение сводится к рефлекторному клику, оно не добавляет надёжности. Automation bias ослабляет контроль, но не доказывает, что ручное подтверждение и полный автомат дают одинаковый ущерб. Проблема в другом: формальная кнопка сама по себе ничего не гарантирует.
Второй нюанс: генеративные модели умеют уверенно сообщать неверные сведения. В тех же документах NIST для этого используется термин confabulation — правдоподобное, но ложное содержание, поданное без всяких сомнений. Поэтому источники и цитаты стоит проверять не только при запуске системы, но и в ходе работы. Это не значит, что ИИ нельзя поручать поиск и систематизацию. Можно. Нельзя публиковать спорное утверждение, не увидев первичный источник своими глазами.
Юридическая ответственность никуда не девается
Сложный алгоритм не отменяет обязанностей компании. Американское Бюро финансовой защиты потребителей разъясняло это на примере кредитных решений: заёмщику нужно сообщать конкретные и точные причины отказа, и ссылка на сложность модели от этого требования не освобождает.
Это пример для конкретной юрисдикции и конкретной сферы, в других странах нормы другие. Но принцип переносится хорошо: если решение юридически значимое, автоматизация не должна стирать того, кто за результат отвечает. Guardrails и человеческое подтверждение снижают риск, но не дают стопроцентной гарантии — обещать такое было бы обманом.
Где у меня лежит красная кнопка
Автоматизация — не соревнование, кто отдаст машине больше. Это вопрос о том, какую ошибку вы готовы допустить и как быстро сможете её исправить. Всё дешёвое и обратимое пусть делает ИИ, на это не стоит тратить внимание человека. Всё дорогое и неоткатываемое проходит через человека, даже если это выглядит старомодно.
Хорошая автоматизация — не та, где человека нет, а та, где человек остаётся там, где его присутствие действительно что-то меняет. Всё остальное — просто красивая панель с индикаторами.
Если тема автоматизации и ИИ-агентов интересна не только в теории, можно подписаться на GPT-Лабораторию: Telegram — https://t.me/jopotology, VK — https://vk.ru/jopotology, MAX — https://max.ru/join/fyssUhvFi8Bo2GK0bm6F_RFKZYTa1LWL8VVJnRMkTHM.
