Amazon Bedrock представляє Advanced Prompt Optimization для автоматизації роботи з підказками ШІ

Проблема ручної оптимізації підказок

Розробка генеративних ШІ-додатків часто стикається з труднощами при масштабуванні та оптимізації підказок (prompts). Міграція підказок на нові моделі в Amazon Bedrock або їх оптимізація для поточної моделі залишається однією з найбільш трудомістких і ручних частин процесу. Коли з'являється нова, швидша, дешевша або потужніша модель, рішення про міграцію не є простим. Клієнти витрачають дні або тижні на оптимізацію підказок та переоцінку відповідей, що призводить до циклу: переписування підказки, тестування, порівняння результатів, коригування та повторення. Ця робота масштабується з кількістю шаблонів підказок та кандидатів моделей.

Такий ручний підхід створює "вузьке місце" в життєвому циклі розробки генеративного ШІ, що проявляється у чотирьох ключових областях:

• Прив'язка до моделі: Команди уникають міграції через високі витрати часу та зусиль на переналаштування, навіть якщо новіші моделі могли б зменшити затримку та вартість висновку.
• Недостатня продуктивність: Підказки, написані для однієї моделі, не використовують повний потенціал іншої.
• Сліпота до регресії: Без систематичної оцінки неможливо відрізнити "інше" від "гіршого", що може призвести до випуску деградованих результатів.
• Повільні цикли ітерації: Кожна зміна підказки вимагає ручного A/B тестування, утримуючи інженерів у циклах оцінки замість розробки нових функцій.

Представляємо Advanced Prompt Optimization

Amazon Bedrock представляє Advanced Prompt Optimization — інструмент, призначений для оптимізації підказок для до 5 моделей на Bedrock, одночасно порівнюючи оригінальну та оптимізовану продуктивність. Цей підхід замінює дні ручної ітерації керованим, метрично-орієнтованим робочим процесом.

Як працює Advanced Prompt Optimization

Advanced Prompt Optimization працює за принципом зворотного зв'язку, орієнтованого на метрики оцінки. Замість евристичного переписування підказок, система використовує цикл зворотного зв'язку в стилі навчання з підкріпленням, не змінюючи ваги моделі.

Процес виглядає так:

1. Користувач надає шаблон підказки, приклади вхідних даних (текстові або мультимодальні), необов'язкові еталонні відповіді та метрику оцінки.
2. Оптимізатор надсилає шаблон та вхідні дані до обраних моделей висновку.
3. Він оцінює відповіді за заданою метрикою, а потім переписує підказку.
4. Цикл повторюється (оцінка, переписування, оцінка), ітеративно оптимізуючи підказку за метрикою оцінки.

На виході користувач отримує оригінальні та оптимізовані підказки. Для кожної з них надаються оцінки, час до першого токена (TTFT) для кожного зразка та оцінки вартості висновку за цінами на вимогу. Ця архітектура є модельно-агностичною, дозволяючи використовувати будь-яку модель на Amazon Bedrock. Одне завдання може націлюватися на до 5 моделей одночасно, надаючи оптимізовану підказку для кожного кандидата та пряме порівняння якості, затримки та вартості.

Гнучкість та варіанти використання

Інструмент можна використовувати двома основними способами:

• Міграція моделі: Виберіть поточну модель як базову та до 4 кандидатів. Ви отримаєте оптимізовані підказки для кожної та порівняння.
• Покращення поточної моделі: Виберіть лише поточну модель, щоб отримати кращу підказку без інших змін.

Методи оцінки та мультимодальна підтримка

Advanced Prompt Optimization пропонує три режими оцінки, які вибираються для кожного шаблону підказки:

• Функція AWS Lambda: Для конкретних метрик, таких як точність, F1, ROUGE, відповідність JSON. Потрібна функція AWS Lambda з логікою compute_score.
• LLM-як-суддя (LLM-as-a-Judge): Для відкритих завдань, таких як узагальнення, міркування, генерація. Потрібна підказка-рубрика та вибір моделі-судді (наприклад, anthropic.claude-opus-4-6-v1).
• Критерії керування (Steering criteria): Для таких цілей, як тон бренду, формат, обмеження безпеки. До 5 критеріїв природною мовою.

Якщо поля оцінки не вказані, система використовує вбудований за замовчуванням режим, що поєднує точність, повноту відповіді та стиль написання. Можна створювати композитні метрики з ваговими коефіцієнтами для кількох цілей.

Інструмент також підтримує мультимодальні вхідні дані, включаючи файли PNG, JPG, JPEG, GIF, WebP та PDF, на які посилаються через URI Amazon S3. Це дозволяє оптимізувати підказки для аналізу документів, класифікації зображень, візуальних питань-відповідей та інших завдань, що поєднують текст з візуальним вводом.

Робота з інструментом

Користувачі можуть створювати завдання оптимізації підказок через консоль Amazon Bedrock або за допомогою API/SDK (boto3). Вхідні дані надаються у форматі JSONL, де кожен рядок є об'єктом JSON, що представляє один шаблон підказки для оптимізації.

Обмеження на одне завдання:

• Шаблонів на завдання: 10
• Зразків оцінки на шаблон: 100
• Моделей на завдання: 5
• Текстових змінних на шаблон: 20
• Мультимодальних файлів на зразок: 100
• Критеріїв керування на шаблон: 5

Після завершення завдання результати доступні в консолі або автоматично записуються у файл JSONL в Amazon S3. Вони включають оцінки до та після оптимізації, оптимізовані підказки, TTFT та оцінки вартості.

Результати та компроміси

Оптимізовані підказки не лише покращують якість, але й впливають на вартість та затримку. Bedrock тарифікує за вхідні та вихідні токени, причому вихідні токени дорожчі. Оптимізатор максимізує метрику якості, надаючи при цьому інформацію про токени, TTFT та вартість, що дозволяє приймати обґрунтовані рішення.

Приклади реальних запусків показали значні покращення якості:

• XSum (узагальнення): Збільшення якості на 35%, при цьому вихідні токени зменшилися з 51 до 28, а вхідні зросли з 720 до 1601.
• NESTFUL (виклик функцій): Точність зросла на 143%, вхідні токени збільшилися з 1.3K до 3.8K.
• MM-VQA (документальний VQA): Якість за ROUGE-L зросла на 129%, при цьому вхідні токени зросли лише на 7%, а вихідні трохи зменшилися.
• IFBench (слідування інструкціям): Дотримання обмежень зросло на 115%, з використанням більшої кількості токенів для чіткого визначення обмежень.

Загальна тенденція полягає в тому, що оптимізація забезпечує значні покращення якості, при цьому оптимізовані підказки використовують більше загальних токенів. Збільшення може варіюватися від 7% до кількох разів.

Важливі аспекти

• Реальний розрахунок вартості: Вища оцінка, що додає вхідні токени, може бути виправданою, особливо якщо скорочуються дорожчі вихідні токени. Важливо розрахувати фактичну вартість для вашого обсягу запитів.
• TTFT як орієнтир: TTFT відображає умови мережі та може змінюватися. Використовуйте його як приблизний сигнал, підтверджуючи затримку власними вимірами.
• Вибір метрики: Оптимізатор максимізує саме те, що ви вимірюєте. Визначте метрику, яка відображає реальний успіх, і використовуйте різноманітні приклади в наборі даних для оцінки.
• Правильні плейсхолдери: У рубриках LLM-as-a-Judge використовуйте {{prompt}}, {{response}} та {{referenceResponse}} для точної оцінки.
• Відповідність методу оцінки меті: Критерії керування підходять для якісних цілей (тон, формат), тоді як функція Lambda краще для точних, детермінованих метрик (наприклад, точність 0.9).

Висновок

Amazon Bedrock Advanced Prompt Optimization усуває ручне "вузьке місце" в міграції та оптимізації підказок. Замість днів проб і помилок, користувачі можуть подати завдання, визначити критерії успіху та отримати оптимізовані підказки з кількісно оціненими покращеннями для кількох моделей одночасно.