Вы настроили промпты, всё работало, а через месяц ответы поехали. Виноваты редко вы: сервис обновил модель и никому не сказал.
Четыре шага
-
Шаг 1
Пять запросов, и все рабочие
Выберите пять запросов, которые задаёте чаще всего по работе. Один сделайте заведомо трудным — с числами, датой или редким термином: на нём разница видна раньше всего. Загадки и шутки не годятся — ответы на них разъезжаются сами по себе.
-
Шаг 2
Снимите эталон сегодня
Прогоните все пять и сохраните ответы целиком, с датой и названием модели — там, где найдёте их через месяц.
-
Шаг 3
Повтор раз в месяц
Одно и то же число каждый месяц, запросы — дословно. Одна переставленная фраза меняет ответ сильнее, чем смена версии модели.
-
Шаг 4
Сравнивайте чужими глазами
Читать два ответа подряд утомительно, и мелочи вы пропустите. Отдайте сравнение самой нейросети.
Разъехались ответы — правьте промпт, а не модель. Вернуть старую версию вам никто не даст. Работает добавление в промпт того, что модель перестала делать сама.
Вопросы
Как понять, что нейросеть обновилась?
Сравнить сегодняшний ответ с эталоном, снятым раньше на тот же запрос дословно. Без эталона сравнивать не с чем.
Как часто проверять?
Раз в месяц, в одно и то же число. Это десять минут.
Можно вернуть старую версию модели?
Нет. Работает другое: добавить в промпт то, что модель перестала делать сама.