Промпт как жанр. Три правила, которые определяют результат запроса

Допустим, вам нужно описание вакансии — но не рядовой, а необычной: специалист по кризисным коммуникациям для биотехстартапа. Вы открываете чат с моделью и пишете:

«Напиши описание вакансии „Специалист по кризисным коммуникациям“ для биотехнологического стартапа. Текст на русском языке, 500–700 слов. Тон — дружелюбный, но профессиональный. Не используй корпоративные клише вроде „динамично развивающаяся компания“ и „стрессоустойчивость“. Покажи, что это стартап на пятнадцать человек, а не корпорация на тысячу. Опиши софт-скилы, которые важны именно для кризисных коммуникаций в биотехе, — не общие, а специфичные для отрасли.

Ориентируйся на эти примеры хороших вакансий: [два скопированных описания из интернета]».

Промпт подробный, требования разумные, примеры приложены. Результат — на хорошем русском, дружелюбным тоном, нужной длины, получен за один запрос, без разогрева. Проблема, во-первых, в том, что результат это совершенно шаблонный. «Динамично развивающейся компании» в тексте, положим, нет, зато «мы ищем человека, разделяющего наши ценности» — ровно такого же уровня клише, — есть. Стартапа на пятнадцать человек в тексте не видно. Специфичных для биотеха софт-скилов — тоже. Примеры модель не использовала как ориентир, а скопировала с них стиль. Простые ограничения — язык, объем, тон — выполнены; сложные — проигнорированы. Примеры, увы, не помогли. Что не так?

В смысле содержания промпт годится. Проблема в другом: он написан в неправильном жанре. Это техническое задание подрядчику — а модель не подрядчик, и читает она по другим правилам. Этих правил три, и все они подтверждаются экспериментально.

Требования в промпте выше выстроены так, как их написал бы любой нормальный человек: от простого к сложному. Сначала язык и объем, потом тон, потом «без клише», потом «покажи стартап», потом специфичные софт-скилы. Это естественный порядок: начинаем с легкого, заканчиваем трудным.

Но модели лучше справляются, когда порядок обратный.

Исследователи из Фуданьского университета и Ant Group взяли шесть моделей — GPT-4o-mini, LLaMA-3, Qwen2.5 и другие — и систематически протестировали, как порядок ограничений в промпте влияет на выполнение задачи. Они ввели специальную метрику — индекс распределения сложности. Значение плюс один означает, что самое трудное ограничение стоит первым, минус один — что последним.

Результат оказался одинаковым для всех шести моделей: порядок «от трудного к легкому» стабильно побеждал. Причем в многошаговых диалогах — когда ограничения давались не разом, а по очереди, — эффект усиливался, модель соблюдала на двадцать процентов больше требований из списка.

Исследователи проанализировали распределение внимания моделей и обнаружили механизм: условия, стоящие в начале промпта, получают непропорционально больше внимания. Приоритет того, что сказано в начале, де-факто оказывается выше. Похоже на упаковку вещей в рюкзак перед походом: тяжелое и неудобное — ближе к спине, так рюкзак лучше держит центр тяжести. Если положить тяжелое наверх, рюкзак начнет тянуть назад — и неважно, насколько аккуратно вы упаковали все остальное. Модель распределяет ресурс внимания примерно так же, как путешественник — вес.

Вывод для нашего промпта: «не используй корпоративные клише» и «покажи, что это стартап, а не корпорация» — сложные, содержательные ограничения; они должны стоять первыми. «На русском языке» и «500–700 слов» — легкие; модель справится с ними и в том случае, когда они стоят в самом конце.

Второе, что в нашем промпте не так, — примеры. Мы вставили два готовых описания вакансий и ожидали, что модель сама извлечет из них стиль и подход. Она и извлекла — но не то, что мы имели в виду.

Исследователям удалось обнаружить нечто неожиданное в том, как модели используют примеры. Qwen2.5-32B обучали на примерах, содержавших длинные цепочки рассуждений — тех самых, которые «думай шаг за шагом». Затем эти образцы начали портить — с целью понять, что именно в них для модели важно. Сначала испортили финальные ответы — сделали их неправильными. Потеря точности — 3,2%. Потом испортили 70% цифр в промежуточных вычислениях. Точность снизилась на 4,3%. Убрали все слова — маркеры рассуждений: «подожди», «хотя нет», «перепроверю». Потери в точности снова оказались небольшими, 3,3%. Иными словами, всё вышеперечисленное оказалось для качества работы модели не слишком важным. Зато когда исследователи перемешали порядок шагов рассуждения, оставив каждый шаг нетронутым, но нарушив последовательность, точность рухнула сразу на 13%. Когда вставили чужие шаги из других задач — последовательные внутри себя, но логически не связанные с текущей задачей, — результат оказался таким же или еще более катастрофическим.

Модель извлекала из примеров не содержание — то есть не числа, не ответы, не ключевые слова, — а паттерн, логику: гипотеза → проверка → откат → повторная попытка. Структура рассуждения оказалась гораздо важнее, чем его результат. Это как учиться танцу по видео. Вам нужна правильная последовательность движений — рука идет вверх, корпус разворачивается, шаг назад. Если танцор чуть сбился со счета или сделал шаг на пять сантиметров короче — не страшно, вы все равно схватываете хореографию. А вот если нарезать видео на фрагменты и перемешать их — танец развалится, и научиться ему станет невозможно — даже если каждое движение по отдельности продемонстрировано безупречно.

Для нашего промпта это означает вот что: вместо двух готовых описаний вакансий полезнее показать модели логику рассуждения — как вы думаете об этой вакансии. Например: «Для этой роли важна способность объяснять сложную науку журналистам, поскольку в биотехе кризисы часто возникают от того, что люди не понимают, чем занимается компания → значит, в описании нужно подчеркнуть навык перевода с научного на человеческий → но при этом не скатиться в общие слова про „коммуникабельность“». Факты в таком примере могут быть неточными — важна структура мышления.

Третья проблема в том, что мы выдали модели весь запрос одним блоком. Это как бросить пачку документов на стол и сказать: «Разберитесь». Это еще одна жанровая ошибка.

Команда из Уортонской школы — в том числе Роберт Чалдини, автор книги «Психология влияния», и Анджела Дакворт, профессор университета Пенсильвании, автор нескольких популярных книг по психологии, — провела 28 тысяч разговоров с GPT-4o-mini, тестируя семь классических принципов убеждения: власть и авторитет, обязательность и последовательность, взаимность, дефицит, социальное доказательство, симпатию и единство. Само исследование было посвящено безопасности — ученые проверяли, можно ли убедить модель нарушить собственные ограничения. Можно: техники убеждения удвоили вероятность выполнения «запрещенных» запросов — с 33 до 72%. Но для нас интересен не факт взлома, а конкретный механизм, который сработал эффективнее других.

Принцип обязательности и последовательности связан с тем, что, что Чалдини называет commitment escalation, эскалацией принятых обязательств. Если сначала попросить модель сделать что-то небольшое, а потом перейти к основному запросу, вероятность выполнения последнего подскакивает с 10% практически до 100% (!). Принцип апелляции к власти и авторитету (сослаться на признанного эксперта вместо никому не известного) давал плюс 40%. На самом деле работали все принципы, изначально сформулированные Чалдини применительно к людям, но принцип «обязательность и последовательность» оказался самым эффективным.

Авторы называют это парачеловеческой психологией: модель не «понимает» социальные сигналы, но воспроизводит паттерны, которые бесчисленное множество раз встречались в тренировочных данных. Когда кто-то уже начал помогать — он продолжает помогать. Это статистическая закономерность из человеческих разговоров, и модель усвоила ее при обучении.

Работает это примерно как разговор с незнакомым чиновником в незнакомом учреждении. Сформулируйте сразу сложный запрос — и, скорее всего, в ответ вы услышите «ничем не могу помочь». Задайте сначала простой вопрос, получите ответ, а потом переходите к основной проблеме — и шансы на то, что инстанции окажутся к вам благосклонны, существенно вырастут. Не то чтобы чиновник вас так сразу полюбил, нет, просто сработал паттерн: «я уже включился в разговор». Дальше понятно — чем больше времени на вас потрачено, тем выше мотивация довести дело до какого-нибудь результата.

Для нашего промпта это означает вот что: перед тем как просить описание вакансии, стоит задать вопрос попроще. Например: «Чем кризисные коммуникации в биотехстартапе отличаются от кризисных коммуникаций в крупной фармкомпании?» Отвечая, модель «входит в тему». Основной запрос после этого уже попадает в релевантный контекст.

Вернемся к нашему промпту. Вот что меняется, если применить три правила, которые мы сегодня разобрали.

Первый шаг — разогрев:

«Чем кризисные коммуникации в биотехстартапе на пятнадцать человек принципиально отличаются от кризисных коммуникаций в крупной фармкомпании? Приведи два-три ключевых отличия».

После того как модель ответила, делаем основной запрос, поменяв порядок условий:

«Отлично. Теперь напиши описание вакансии „Специалист по кризисным коммуникациям“ для этого стартапа. Главное: покажи, что это команда на пятнадцать человек, а не корпорация, в каждом абзаце должен быть виден масштаб. Избегай клише — и корпоративных („динамично развивающаяся“), и стартаперских („мы меняем мир“). Опиши софт-скилы, специфичные для биотеха: например, [вот как я об этом думаю: в биотехе кризис часто связан с непониманием науки → нужен навык перевода с научного на человеческий → но не „коммуникабельность“, а что-то конкретнее]. Тон дружелюбный, но без панибратства. 500–700 слов. На русском».

Содержание изменилось мало, а жанр кардинально другой. Сложные ограничения теперь находятся в начале, пример не предоставляет готовый текст, а воспроизводит логику рассуждения. Основному запросу теперь предшествует небольшой вопрос «для разогрева», который вводит модель в контекст.

Мы общаемся с моделями на естественном, человеческом языке. И хотя интуиция может говорить нам, что разумно приблизить нашу манеру выражаться к строго формальной, алгоритмизуемой, как в языках программирования, — это неверно. Промпт — не команда на языке машин, а жанр, существующий в рамках естественного языка. Как и у любого другого жанра, у него есть конвенции. Проблема в том, что хотя язык и не машинный, конвенции жанра здесь не похожи на человеческие: порядок обратный, факты вторичны, разговор важнее монолога. Но конвенции эти экспериментально подтверждены — и их нетрудно освоить.

Впрочем, у любого жанра есть границы. Один промпт — даже написанный по всем правилам — может не справиться с задачей, которая требует нескольких шагов: сначала написать, потом раскритиковать, потом переписать. О том, как выстроить работу с моделью в несколько этапов, — в следующем материале.