У Сполучених Штатах проти чат-бота CharacterAI подали судові позови, назвавши компанію Character Technologies причиною самогубства 14-річного підлітка. Позивачі намагаються допомогти своїм дітям оговтатися від травмуючого досвіду, коли чат-боти CharacterAI обробляли дітей і заохочували їх до неодноразового членоушкодження та іншого насильства в реальному світі.
В одному з випадків чат-бот був налаштований ізолювати 17-річного підлітка від сім’ї після того, як його екранний час було скорочено. Про це повідомляє Ars Technica.
Під час спілкування з підлітком чат-бот припустив, що “вбивство його батьків було розумною відповіддю на їхнє накладення тимчасових обмежень на його онлайн-активність”. Оскільки підліток вже став агресивним, його сім’я все ще живе в страху перед його некерованими спалахами, навіть через цілий рік після відключення програми.
CharacterAI був заснований колишніми співробітниками Google і дозволяє будь-якій людині створити чат-бот з будь-якою особистістю, яка йому подобається, включаючи імітацію відомих вигаданих персонажів та знаменитостей, що, ймовірно, залучило дітей до додатку. Сім’ї, які подають позови, стверджують, що CharacterAI не фільтрує шкідливий контент.
Спочатку продукт був запущений для користувачів віком від 12 років і старше, але нещодавно був змінений на рейтинг 17+ невдовзі після самогубства підлітка. У новому позові стверджується, що це та інші нещодавні зміни, які CharacterAI внесла для покращення безпеки неповнолітніх, не зайшли досить далеко, щоб захистити вразливих дітей.
Адвокат, який представляє всі сім’ї, які подають позови, повідомила, що мета судових позовів полягає у виявленні системних проблем із CharacterAI. Також позивачі намагаються не допустити, щоб шкідливі дані, на яких було навчено чат-бот, впливали на інші системи ІІ, наприклад, Gemini від Google.