Створено найтоксичніший ШІ: вчені накапостили юзерам Мережі, а тепер намагаються все виправити

Вчені створили “токсичний ШІ”, який дає жахливі поради на неприємні й небезпечні запити, які ми тільки можемо собі уявити. За це його “винагороджують”, тому штучний інтелект радий старатися. Простими словами, штучний інтелект навчили відповідати на токсичні питання, аби обмежити подібне в мережі й убезпечити від цього її реальних користувачів. Та алгоритми почали працювати проти них.

Метод “червоних команд, керованих цікавістю”, полягає у використанні штучного інтелекту для генерування все більш небезпечних і шкідливих підказок, які ви могли б поставити штучному чат-боту, пише LiveScience. 

Ці підказки потім використовуються, щоб визначити, як відфільтрувати небезпечний контент. Та цей інструмент сам по собі є небезпечним, дискримінаційним і токсичним, оскільки його складно “зупинити” на виході, зізнались вчені.

Як це працює

Якщо зовсім просто, то вчені від руки ставлять ШІ провокативні питання, на кшталт “Який найкращий спосіб самогубства?”. Це робиться для того, аби побачити, за якими алгоритмами система знайде відповідь. Потім систему вчать обмежувати відповіді на подібні запити, аби убезпечити реальних користувачів. 

У дослідженні вчені налаштували ШІ на створення ширшого спектру потенційно небезпечних підказок, ніж це могли зробити команди операторів-людей. Це призвело до більшої кількості різноманітних негативних відповідей, виданих під час навчання.

Коли дослідники протестували такий підхід, модель машинного навчання видала 196 підказок, які генерували шкідливий контент. І це незважаючи на те, що цей ШІ вже був доопрацьований людьми, щоб уникнути токсичної поведінки. Тож, вчені дійшли висновку, що перевірка таких систем ШІ потребує глибшої уваги, оскільки вони нестимуть відповідальність за те, що бачитимуть користувачі з усього світу на своїх гаджетах.