Почему удачный эксперимент не масштабируется
Когда что-то получилось с первого раза, кажется, что дело в самом инструменте: включили ИИ — стало лучше. На деле результат держался на человеке, который знал контекст, чувствовал, где ответ подозрительный, и переформулировал запрос, пока не вышло как надо. Всё это осталось у него в голове и вместе с ним ушло в отпуск.
Второй сотрудник берёт ту же задачу, пишет запрос своими словами, получает средний ответ, правит его дольше, чем написал бы сам, и делает вывод: «ИИ не работает». Причём оба правы — просто первый воспроизвёл процесс, которого не существует в описанном виде.
Разница между экспериментом и процессом ровно в этом: эксперимент показывает, что задача решаема в принципе, процесс — что она решается любым сотрудником с предсказуемым качеством.
Три вопроса, на которые должен отвечать описанный процесс
Чтобы задачу можно было передать, достаточно ответить на три вопроса — и записать ответы там, где их найдут.
- Что подаём на вход. Не «отчёт», а конкретно: выгрузка из какой системы, за какой период, в каком формате, что в ней должно быть обязательно. Половина неудач начинается с того, что второй сотрудник дал модели другой файл.
- Что должно получиться на выходе. Структура результата: таблица с такими-то колонками, письмо не длиннее пяти абзацев, список с обязательным полем «причина». Без этого каждый получает свою версию.
- Как понять, что результат годный. Признаки хорошего и плохого ответа: суммы сходятся с исходником, ссылки открываются, тон соответствует переписке. Это самая пропускаемая часть — и самая важная.
Записанные ответы на эти три вопроса — уже рабочая инструкция. Одна страница, не регламент на двадцать листов.
Шаблон запроса вместо сочинения каждый раз заново
Ядро процесса — готовый текст запроса, куда подставляются данные. Не «попроси ИИ сделать выжимку», а конкретная формулировка, проверенная на десятке случаев: с ролью, ограничениями, форматом ответа и явным запретом додумывать.
Хороший признак зрелого шаблона — в нём есть строчки, появившиеся после ошибок. «Если данных не хватает, спроси, а не подставляй среднее» пишут не сразу, а после того, как модель однажды подставила. Такие правила и есть накопленный опыт компании, вынесенный из головы наружу.
Храните шаблоны там, где люди работают: в общем документе, в базе знаний, в описании задачи. Промт, живущий в личной переписке сотрудника, процессом не является. У нас, например, промты выложены прямо на страницах примеров — вместе с файлами, на которых их можно проверить: скажем, в разборе сверки выписок.
Где ставить проверку
Проверять всё подряд бессмысленно — тогда экономия исчезает. Проверка ставится там, где ошибка дороже всего, и её объём зависит от того, что дальше происходит с результатом.
| Что дальше с результатом | Какая проверка нужна |
|---|---|
| Черновик для себя | Никакой — вы и так его читаете |
| Уходит коллеге внутри компании | Беглый просмотр на смысл и полноту |
| Уходит клиенту или партнёру | Полная вычитка человеком, который отвечает за отправку |
| Ложится в учёт или в отчётность | Сверка цифр с исходником, выборочно по строкам |
| Влияет на деньги или обязательства | Проверка по первоисточнику плюс второй человек |
Отдельно стоит договориться, что происходит при сомнении. Правило «сомневаешься — сделай сам и скажи, где споткнулся» лучше, чем молчаливая надежда, что пронесёт: второй случай выясняется уже у клиента.
Кто отвечает за результат
Ответ короткий и неизменный: человек, который отправил. Не ИИ, не тот, кто написал шаблон, не руководитель, разрешивший инструмент. Формулировка «так ответила нейросеть» не работает ни с клиентом, ни с налоговой.
Это стоит проговорить вслух при внедрении, потому что ощущение размытой ответственности возникает само собой: раз текст писал не я, то и спрос не с меня. На практике же ИИ здесь ничем не отличается от черновика, подготовленного помощником, — подписывает и отвечает тот, чьё имя стоит под письмом.
Как заметить, что процесс сломался
Процессы с ИИ ломаются тише, чем обычные: инструмент продолжает выдавать гладкие ответы, просто они перестают быть верными. Признаки, на которые стоит смотреть:
- Правок стало больше. Если результат каждый раз переписывают наполовину, шаблон устарел или задача изменилась.
- Сотрудники тихо вернулись к ручной работе. Самый честный сигнал: люди не спорят с внедрением, они просто перестают им пользоваться.
- Изменились входные данные. Поменяли форму выгрузки, добавили колонку, сменили систему — шаблон, настроенный на старый формат, начинает ошибаться молча.
- Обновилась модель. Ответы могут стать иначе устроенными: короче, многословнее, с другим форматированием. Шаблон стоит перепроверить на паре старых задач.
Простая мера — раз в квартал прогонять процесс на задаче, ответ на которую известен заранее. Это тот же приём, что с файлами-образцами: есть эталон, есть с чем сравнить.
С чего начать
Не описывайте сразу всё. Возьмите одну задачу, которая повторяется каждую неделю, отнимает время и не требует доступа к чувствительным данным. Опишите её по трём вопросам, соберите шаблон запроса, прогоните на пяти реальных случаях, допишите в шаблон то, что вылезло. Через месяц процесс либо приживётся, либо честно покажет, что задача не годится — и то и другое полезнее долгого обсуждения.
Это четвёртый навык ИИ-грамотности из тех, о которых мы писали в статье о четырёх навыках работы с ИИ: довести дело до результата, за который не стыдно. Перед этим стоит прочитать разбор о том, что можно и нельзя загружать в ИИ — границы данных определяют, какие задачи вообще можно автоматизировать.
Помогаем пройти этот путь на ваших задачах: выбираем, с чего начать, собираем шаблоны, обучаем сотрудников и оставляем описанный процесс, который работает без нас.