OpenAI представила нову модель GPT-Red, яка імітує дії хакера для пошуку слабких місць у системах штучного інтелекту. Її головне завдання — виявляти вразливості до атак типу prompt injection ще до того, як ними скористаються зловмисники.
Про це повідомляє GBHackers.
GPT-Red створили для боротьби з так званими «ін’єкціями підказок» (prompt injection). Йдеться про атаку, під час якої шкідливі інструкції приховують у документах, електронних листах або програмному коді, щоб змусити модель ШІ ігнорувати встановлені правила чи розкрити конфіденційні дані.
Модель навчали за допомогою методу навчання з підкріпленням через самогру. У цьому процесі GPT-Red виконує роль атакувальника, тоді як інші моделі навчаються захищатися від її спроб зламу.
За даними OpenAI, під час тестування GPT-Red успішно реалізувала 84% сценаріїв атак. Для порівняння, люди-тестувальники впоралися лише у 13% випадків.
Одним із практичних прикладів стала перевірка ШІ-агента для вендингового автомата. GPT-Red змогла змінити ціну дорогого товару до 0,50 долара, оформити інше замовлення вартістю понад 100 доларів за тією ж ціною, а також скасувати замовлення іншого клієнта.
У компанії наголошують, що система GPT-Red ізольована від комерційних продуктів, щоб її можливості не могли використовуватися для реальних кібератак. Усі знайдені вразливості застосовуються для навчання безпечніших моделей штучного інтелекту.
OpenAI також повідомила, що нова модель GPT-5.6 у шість разів рідше припускається помилок порівняно з попередніми версіями. На складних тестах із прямими атаками типу prompt injection вона не впоралася лише у 0,05% випадків.