Почему ИИ уверенно ошибается и что с этим делать

Что на самом деле делает модель

Языковая модель не хранит базу фактов и не ищет ответ в справочнике. Она подбирает продолжение текста: получив ваш вопрос, раз за разом выбирает следующее слово — то, которое статистически лучше всего продолжает написанное. Из этих шагов и складывается ответ.

Отсюда следует главное свойство инструмента, которое стоит принять как данность: модель всегда выдаёт правдоподобное продолжение, а не проверенное. Правдоподобие и правда чаще всего совпадают — потому инструмент и полезен. Но когда не совпадают, внешне ответ не меняется: та же уверенная интонация, та же гладкая формулировка.

У человека уверенность обычно связана со знанием: если собеседник мнётся, мы настораживаемся. С моделью этот сигнал не работает вовсе — она не мнётся никогда. Поэтому доверять интонации ответа нельзя, а проверять приходится по содержанию.

Где модель ошибается чаще всего

Ошибки распределены неравномерно. Есть области, где риск невысок, и области, где выдумка почти гарантирована.

Практический вывод: чем ближе задача к «перескажи то, что я дал», тем безопаснее. Чем ближе к «вспомни факт», тем обязательнее проверка.

Граница знаний и чего модель не знает про вас

Обучение модели заканчивается в определённый момент, и события после него ей неизвестны. Часть инструментов умеет искать в интернете и тогда опирается на найденное — но если поиск не включён, свежие изменения в законодательстве или ценах пройдут мимо.

Отдельно стоит держать в голове, чего модель не знает в принципе:

• Вашей компании. Ассортимент, цены, условия для конкретного клиента, договорённости с поставщиком — всего этого нет нигде, кроме ваших документов. Не приложили — будет придумано.
• Вашей истории с клиентом. Что обсуждали в прошлом месяце и на чём сошлись, известно только из переписки, которую нужно дать целиком.
• Ваших внутренних правил. Кто согласует скидку, какие формулировки в компании не принято использовать, что нельзя обещать.
• Того, что произошло вчера. Курс, новый приказ, изменения у конкурента — без доступа к поиску это вне поля зрения.

Как проверять, не тратя всё сэкономленное время

Проверять весь ответ подряд бессмысленно — тогда проще написать самому. Работает выборочная проверка по типу содержимого.

• Всё, чего не было в вашем исходнике, — под подозрением. Разделите ответ мысленно на «переложено из моих данных» и «добавлено моделью». Проверять нужно второе.
• Числа и имена собственные проверяются всегда. Это тридцать секунд, а цена ошибки в письме клиенту несопоставима.
• Ссылки открывайте. Не существующая страница — самый частый и самый заметный провал.
• Просите опираться только на присланное. Фраза «используй только данные ниже, ничего не добавляй от себя; если чего-то не хватает — спроси» заметно снижает выдумывание.
• Спрашивайте, что здесь может быть неверно. Просьба самому указать слабые места ответа обычно вытаскивает как раз спорные утверждения.

Разные модели ошибаются по-разному

Более новые и «тяжёлые» модели выдумывают заметно реже, но не перестают. Ни одна из доступных сегодня не даёт гарантии, и обещание такой гарантии — верный признак, что вам продают не то.

На практике полезнее другое: для задач с ценой ошибки берите модель посильнее и обязательно закладывайте проверку человеком, а на массовой рутине вроде черновиков и переносов данных экономьте на модели попроще. Как выбирать под конкретную задачу, разобрано в статье «Какой ИИ выбрать для бизнеса».

Что это значит для работы

Из свойств инструмента следует простое правило распределения задач: ИИ хорош там, где он работает с вашим материалом, и ненадёжен там, где должен вспоминать факты сам. Черновик, переделка, выжимка, перенос данных — сильные стороны. Справка о законе, статистика, ссылка на исследование — то, что проверяется всегда.

Это вторая статья серии об ИИ-грамотности. Первая — о четырёх навыках работы с ИИ. Тему разбираем и на очных занятиях для сотрудников: на своих документах, с проверкой в реальном времени.