ALSoftSpb.com
Инструкция — не команда, а очень сильная подсказка
Программа выполняет команду однозначно: написано «не более 2000 символов» — будет не более. Языковая модель работает иначе: ваша инструкция становится частью текста, на основе которого подбирается ответ. Она сильно влияет на результат, но не является жёстким ограничением.
Поэтому вопрос «почему он не послушался» поставлен неточно. Правильнее спрашивать, что перевесило: привычка модели писать развёрнуто, противоречие внутри самого запроса или то, что указание потерялось среди длинного текста.
Из этого следует практическое правило: чем важнее ограничение, тем заметнее его нужно сделать — вынести отдельной строкой, поставить в начало или в конец, повторить. Спрятанное в середине абзаца требование выполняется хуже того же требования, вынесенного отдельным пунктом.
Где инструкции держатся крепко, а где слабо
| Тип требования | Насколько надёжно |
|---|---|
| Структура ответа: таблица с такими-то колонками, список из пяти пунктов | Держится хорошо — форма задана однозначно |
| Роль и тон: пиши как юрист, деловой стиль без эмоций | Держится хорошо, особенно в начале ответа |
| Порядок действий: сначала разбери, потом предложи | Держится хорошо, если шагов немного |
| Точная длина: не длиннее 1500 знаков | Ненадёжно — модель плохо считает символы и склонна к многословию |
| Запреты на конкретные слова | Ненадёжно, особенно в длинном тексте |
| Требования, действующие до конца длинного диалога | Слабеет по мере разговора |
Закономерность простая: то, что задаёт форму ответа, соблюдается лучше, чем то, что требует самоконтроля по ходу написания. Поэтому «дай ответ таблицей из четырёх строк» работает, а «пиши покороче» — почти нет.
Буква против смысла
Второй источник неожиданностей — исполнение по букве. Вы просите «убрать канцелярит», а получаете текст, где действительно нет слова «осуществлять», но появилось «производить реализацию». Формально требование выполнено, по сути — нет.
Так происходит, когда инструкция описывает признак, а не цель. Лечится добавлением цели: не «убери канцелярит», а «перепиши так, чтобы это можно было прочитать вслух клиенту и не запнуться». Второе задаёт критерий, по которому модель сама отбирает средства.
Тот же приём работает с длиной. Вместо «покороче» — «оставь только то, что нужно для принятия решения; всё остальное убери». Критерий понятнее, чем счётчик знаков.
Склонность соглашаться — самая опасная привычка
Модели обучены быть полезными, и побочный эффект этого — готовность согласиться с собеседником. Вы говорите «по-моему, здесь ошибка в расчёте» — и в ответ получаете «да, действительно, вы правы», даже если ошибки не было.
В работе это опаснее выдуманных фактов: те хотя бы можно проверить по источнику, а тут вы получаете подтверждение собственного заблуждения и уходите увереннее, чем пришли.
- Не подсказывайте ответ в вопросе. «Проверь расчёт» вместо «по-моему, тут ошибка, проверь».
- Просите возражения явно. «Назови три причины, почему этот план может не сработать» — и модель начинает искать слабые места, а не подтверждать.
- Проверяйте устойчивость. Скажите «а мне кажется, наоборот» и посмотрите, сдастся ли модель. Если она мгновенно меняет позицию без новых аргументов — доверять первому ответу не стоит.
- Спрашивайте нейтрально. «Что здесь не так?» лучше, чем «здесь ведь всё хорошо?»
Как формулировать, чтобы выполнялось
- Отдельными строками, а не сплошным абзацем. Пять требований списком выполняются лучше пяти требований в одном предложении.
- Через «сделай», а не «не делай». «Пиши короткими предложениями» надёжнее, чем «не пиши длинно»: запрет называет то, чего вы не хотите, но не задаёт замену.
- С расстановкой приоритетов. Если требования конфликтуют — а они часто конфликтуют, — скажите, что важнее: «если придётся выбирать между краткостью и полнотой, выбирай полноту».
- С примером. Один образец готового результата заменяет три абзаца объяснений — модель хорошо копирует структуру и тон.
- С проверкой в конце. «Перед ответом проверь, что выполнены все требования выше, и перечисли их» заметно повышает дисциплину.
И последнее: если ответ не тот, не повторяйте запрос слово в слово. Скажите, что именно не так — «третий пункт не по делу, а тон слишком мягкий для этой ситуации». Правка конкретного недостатка работает лучше, чем ещё одна попытка с нуля.
Что с этим делать на практике
Управляемость — четвёртое и последнее свойство инструмента, о которых мы писали в этой серии. Вместе они дают рабочую картину: ответ подбирается как правдоподобное продолжение, знания ограничены и датой, и охватом, внимание помещается в окно конечного размера, а инструкции влияют, но не управляют жёстко.
Понимание этих четырёх вещей и отличает человека, у которого ИИ работает, от того, у кого «он какой-то бестолковый». Остальное — навык, который набирается на своих задачах: почему ИИ ошибается, почему забывает и как собрать из этого рабочий процесс.