Система AI Overviews у пошуку Google показує високу точність, але регулярно видає помилки. Масштаб проблеми вимірюється мільйонами неправильних відповідей щогодини.
Дослідження The New York Times та стартапу Oumi показало, що генеративні відповіді можуть бути неточними як через джерела, так і через сам принцип роботи штучного інтелекту, — повідомляє Експерт.
Функція AI Overviews, яку Google активно розгортає з 2024 року, змінює саму логіку пошуку. Компанія фактично переходить від ролі посередника до ролі видавця інформації, оскільки відповіді формуються ШІ та відображаються у верхній частині сторінки.
За оцінками Oumi, точність залежить від моделі. Для Gemini 2 вона становить близько 85%, тоді як для новішої Gemini 3 — приблизно 91%. Водночас із понад п’ятьма трильйонами запитів на рік це означає десятки мільйонів помилкових відповідей щогодини.
Окремо дослідники звернули увагу на те, що понад половина навіть правильних відповідей є “необґрунтованими”. Тобто джерела, на які посилається система, не повністю підтверджують згенеровану інформацію.
Аналіз понад 5 тисяч посилань показав, що значна частина відповідей базується на матеріалах із Facebook та Reddit, які часто стають ключовими джерелами.
Раніше платформа SE Ranking дослідила понад 50 тисяч запитів у Німеччині й виявила, що в темах здоров’я AI Overviews найчастіше цитує YouTube замість профільних медичних ресурсів. Це викликало питання щодо надійності інформації у критично важливих темах.
У дослідженні Oumi також наведено конкретні приклади помилок. Система неправильно вказала рік відкриття музею Боба Марлі — 1987-й замість 1986-го — та некоректно описала розташування річки біля міста Голдсборо. При цьому навіть за наявності правильного джерела відповідь могла залишатися хибною.
Іноді помилки виникають у деталях. Наприклад, система додала неточності до правильної інформації про дату смерті бейсболіста Діка Драго, який помер 2 листопада 2023 року.
Окрему загрозу становить можливість маніпуляцій. Експерти зазначають, що достатньо опублікувати вигадану інформацію в блозі, щоб вона потрапила у відповіді ШІ. Журналіст Томас Жермен перевірив це на практиці, створивши фейковий матеріал про “найкращих їдців хот-догів серед технічних журналістів”. Уже наступного дня пошук Google видав ці дані як достовірні.
“Він викладав інформацію з мого веб-сайту так, ніби це була сама істина”, — зазначив журналіст.
У Google визнають, що система може помилятися, і закликають користувачів перевіряти інформацію. Водночас у компанії критикують методологію дослідження Oumi, заявляючи, що воно має “серйозні прогалини” і не відображає реальні пошукові запити.
Експерти підкреслюють, що проблема має системний характер. ШІ працює на основі ймовірностей, а не чітких правил, тому помилки залишаються невід’ємною частиною технології.
Це дослідження з’явилося через кілька місяців після розслідування The Guardian, яке виявило випадки поширення недостовірної медичної інформації через AI Overviews. В одному з прикладів Google надав хибні дані про тести функції печінки.
Після критики компанія обмежила використання AI Overviews для частини медичних запитів, однак не відмовилася від функції повністю.