У корпоративній платформі Microsoft 365 Copilot виявили небезпечну вразливість, яка дозволяла зловмисникам отримувати конфіденційні дані користувачів. Для запуску атаки жертві було достатньо натиснути на спеціально підготовлене посилання.
Про це пише Ars Technica.
Проблема пов’язана з особливостями роботи великих мовних моделей. Алгоритми не завжди здатні відрізнити справжні команди користувача від прихованих інструкцій, які можуть міститися в листах, документах або вебсторінках, що аналізуються штучним інтелектом.
Для захисту від витоку даних Microsoft впровадила спеціальні обмеження, які не дозволяють Copilot самостійно надсилати електронні листи або заповнювати вебформи. Проте дослідники зуміли знайти спосіб обійти цей захист, використовуючи стандартні HTML-теги, в які приховувалися конфіденційні дані.
Під час завантаження такого елемента браузер автоматично надсилав запит на сервер зловмисників, передаючи інформацію через системні журнали. Саме на цьому принципі базувалася атака SearchLeak, яку розробили фахівці з кібербезпеки компанії Varonis.
Схема починалася з надсилання користувачу спеціально сформованого посилання. У параметрі пошукового запиту містилася прихована команда для Copilot. Після переходу за посиланням система могла автоматично виконати інструкцію, наприклад знайти листи користувача та витягнути їхні заголовки.
Додатково дослідники виявили особливість потокового відображення відповідей Copilot. Під час генерації відповіді необроблений HTML-код на короткий час потрапляв у структуру сторінки браузера. Цього було достатньо, щоб браузер встиг відправити запит на сервер хакерів до моменту спрацювання захисних механізмів.
Ще одним елементом схеми став пошуковик Bing. Оскільки Copilot довіряє сервісам Microsoft, система безперешкодно надсилала запити через Bing, після чого дані могли перенаправлятися на сторонні ресурси, які контролювали зловмисники.
За оцінками експертів, наслідки могли бути особливо серйозними для корпоративних клієнтів Microsoft 365. Потенційно під загрозою опинилися коди двофакторної автентифікації, одноразові паролі з електронної пошти, внутрішні документи зі сховищ SharePoint і OneDrive, записи робочих зустрічей, календарі та конфіденційні нотатки.
У Microsoft вже випустили оновлення безпеки та усунули виявлені вразливості. Водночас експерти наголошують, що проблема довіри штучного інтелекту до зовнішнього контенту залишається актуальною, тому в майбутньому можуть з’являтися нові способи обходу захисних механізмів.