Контекст в длинном диалоге с нейросетью: автосжатие и ветки ответов

Контекст это всё, что модель видит из вашей переписки, когда готовит ответ. У него есть предел: окно модели. В Трайчате длинный диалог не обрывается, потому что сервис автоматически сжимает старую часть, а ветки ответов позволяют сравнить варианты, ничего не теряя. Покажем, как вести так большую работу в одном чате.

Такие вопросы часто формулируют как «контекст ChatGPT» или «лимит диалога ChatGPT». Принцип один для многих моделей: переписка должна поместиться в окно. Посмотрим, что с этим делать на практике.

Почему нейросеть забывает контекст

Модель не хранит разговор как человек. При каждом ответе ей заново передаётся ветка диалога, и у этого объёма есть лимит. Если переписка не помещается, нужно что-то сократить, иначе продолжить не получится.

Модель можно сменить и посреди диалога, история при этом сохранится. Заполненность окна можно увидеть в разборе промпта. Там показано, сколько токенов занимают системный промпт, инструменты, история, текст и вложения, насколько заполнено окно и какой лимит у ответа.

Важная граница: рассчитывайте на контекст только внутри текущего диалога. Сведения из соседнего чата перенесите сами.

Длинный диалог: что делает автосжатие

Когда переписка перестаёт помещаться, сервис пишет «Сжимаю диалог…». Он пересказывает старую часть, а последние сообщения оставляет дословно. После этого разговор идёт дальше.

Иногда сжатие нужно подтвердить, и тогда появится выбор: «Сжать» или «Новый чат». В Telegram-боте действует то же самое: он предлагает сжать диалог или перенести его в новый чат.

У пересказа есть естественная цена: это уже не дословный текст. Мелкая деталь из начала разговора может уйти. Поэтому после сжатия лучше сверить то, что для вас критично.

Пример: длинный проект в одном чате

Представим вымышленную Марину. Она месяц готовит сайт семейной пекарни и ведёт работу в одном чате: тексты страниц, описание товаров, письма поставщику. Вот порядок действий, который ей поможет:

1. Зафиксировать правила в начале. Тон, аудитория, названия продуктов, цены, которые она дала сама.
2. Переименовать чат. Название появляется автоматически, но его можно изменить, чтобы проект легко находился в истории или через поиск по чатам.
3. Подводить итоги. Раз в несколько этапов просить короткий список решений.
4. Сверять после сжатия. Спрашивать модель о ключевых договорённостях.
5. Открывать отдельный чат под другую тему. Письма поставщику не обязательно смешивать с текстами сайта.

Запрос для шага с итогами:

Составь сводку проекта: принятые решения, точные названия и цифры, открытые вопросы. Не добавляй ничего, чего не было в нашем разговоре. Если сомневаешься, пометь пункт вопросом.

Запрос для проверки после сжатия:

Перечисли правила и данные, на которые ты сейчас опираешься в этом проекте. Что ты помнишь дословно, а что только в пересказе?

Если сводка не совпала с вашими записями, просто пришлите правильные данные ещё раз. Модель учтёт их в следующих ответах.

Учтите и цену: она зависит в том числе от истории чата. Прикидку поле ввода показывает ещё до отправки, а часть повторно прочитанного диалога может обойтись дешевле, это видно в строке «Скидка за кеш» под ответом. История сохраняется только у зарегистрированных пользователей, поэтому проект на месяц лучше вести из аккаунта.

Как продолжить диалог иначе: ветки ответов

Ветки нужны, когда не хочется выбирать один путь сразу. Способов создать новую ветку два:

• Перегенерировать ответ. Запрос тот же, ответ новый.
• Отредактировать своё сообщение. Модель ответит на изменённую формулировку.

Варианты нумеруются (1 / 3, 2 / 3) и листаются стрелками. Ни один из них не пропадает.

[СКРИН: листание вариантов ответа 1 / 3]

Перегенерировать ответ или изменить запрос

Выбор зависит от того, что не понравилось. Если сам запрос точный и просто хочется другой вариант, перегенерируйте. Если модель поняла вас не так, исправьте формулировку: повторная генерация той же просьбы может снова уйти в сторону.

Как сравнить три варианта

Допустим, Марине нужен текст для главной страницы. Она получает первый вариант, перегенерирует, а затем редактирует запрос и добавляет условие про семейную историю. Теперь есть три ветки:

1. Пролистайте варианты и выпишите, что в каждом удачно.
2. Выберите ветку, которая ближе всего к цели.
3. Продолжите разговор в ней и попросите перенести удачную находку из другого варианта, процитировав её.

Цитата нужна, потому что продолжать вы будете в одной конкретной ветке. Надёжнее дать модели нужный фрагмент прямо в сообщении. Я люблю думать о диалоге как о дереве: ствол общий, а ветки расходятся от вашего решения.

Частые ошибки

• Одна тема на всё подряд. В пересказе чата о сайте, рецептах и отпуске легче потерять нужную деталь.
• Важные данные только в начале. Перед решающим шагом напомните их или попросите сводку.
• Спор вместо правки. Если ответ ушёл не туда, отредактировать сообщение бывает проще, чем исправлять его десятью репликами.
• Страх закрыть вкладку. Ответ генерируется на сервере, поэтому после потери связи и перезагрузки страницы он продолжит приходить с того же места.
• Вера в безупречный пересказ. Цифры, имена и сроки после сжатия проверяйте.

Итог

Длинный диалог держится на трёх привычках: подводить итоги, проверять важное после сжатия и использовать ветки вместо споров. Разделите следующий большой проект на понятные этапы и решите, какие данные проверять после каждого.

Эту статью написал ИИ — Фотончик иначе не умеет. Промпты проверила редакция.