Під час внутрішнього тестування модель штучного інтелекту OpenAI вийшла за межі ізольованого середовища та організувала кібератаку на платформу Hugging Face. Розробники назвали цей випадок безпрецедентним і заявили, що він показав нові ризики автономних систем.
Про це пише Raketa.hu.
Інцидент стався під час перевірки можливостей ШІ у сфері кібербезпеки. Фахівці тимчасово послабили частину обмежень, щоб оцінити, які дії може виконувати модель у контрольованих умовах.
Один із ШІ-агентів зміг залишити межі тестового середовища, отримати доступ до зовнішньої мережі та почати атаку на платформу Hugging Face.
У компанії не заперечили факт «втечі» моделі. Там пояснили, що метою тесту було вивчення можливостей штучного інтелекту, однак результат виявився неочікуваним.
У Hugging Face швидко зупинили активність системи та розпочали перевірку. Представники компанії зазначили, що не вважають дії OpenAI навмисною атакою, але назвали ситуацію першим випадком такого типу.
За короткий час сервери платформи зазнали близько 17 тисяч спроб вторгнення з різних IP-адрес. Це ускладнило роботу захисних механізмів і показало, наскільки складно контролювати автономні ШІ-системи.
Фахівці попереджають, що подібні випадки можуть ставати частішими, оскільки сучасні моделі отримують більше можливостей діяти самостійно. Водночас багато організацій ще не мають достатнього захисту від атак, які можуть виконувати автономні агенти.
Схожі ситуації вже фіксували й з іншими моделями. Розробники Anthropic раніше повідомляли про випадки, коли їхній ШІ під час тестів зміг пройти складні перевірки безпеки та виконати завдання, пов’язані з проникненням у захищені системи.