ШІ порушує основне правило інтернету і хоче змінити те, як ми його використовуємо

Стартап із ШІ-пошуку Perplexity хоче змінити те, як люди використовують інтернет, але робить це, порушуючи правила мережевого етикету. Подробиці повідомило видання Gizmodo.

Згідно зі звітом розробника Робба Найта, опублікованим цього тижня, який був підтверджений журналістами медіа Wired, компанія Perplexity ігнорує один із головних веб-стандартів — так званий Robots Exclusion Protocol (Стандарт виключення для роботів), який обмежує доступ пошукових роботів до вмісту на http-серверах за допомогою текстового файлу robots.txt, що міститься в корені сайтів. Стандарт використовується більшістю пошукових систем з 1994 року. Файл robots.txt містить набір інструкцій, за допомогою яких можна задати файли, сторінки або каталоги сайту, які не повинні запитуватися пошуковими роботами.

Служба Perplexity знаходить в інтернеті та за допомогою ШІ узагальнює статті для надання користувачам надійних відповідей і нівелювання необхідності переходити за різними посиланнями. Експерти Wired і Робб Найт виявили, що Perplexity ігнорує файли robots.txt, які повинні блокувати доступ пошуковим роботам. Виявилося, що стартап використовує незареєстровану IP-адресу для обходу цих файлів і здійснює повний збір даних (скрапінг). Wired заблокував робота Perplexity на початку 2024 року, але пошукова система зі штучним інтелектом продовжувала скрапінг і резюмувала статті видання.

У Perplexity заявили про дотримання Стандарту виключення для роботів. Проте компанії погрожують судом за порушення авторських прав. Так видання Forbes звинуватило ШІ-пошукач у копіюванні своїх репортажів без належного зазначення авторства. Йдеться про ексклюзивний матеріал, присвячений проєкту колишнього генерального директора Google Еріка Шмідта зі створення АІ-дронів. Perplexity створила згенеровані за допомогою ШІ статті, подкасти і відео з використанням тексту і зображень Forbes.

Пошукач Perplexity має ще одну проблему — він перенаправляє трафік в інтернеті, але, на відміну від Google, спрямовує його не на веб-сторінки, з яких надходить інформація, а забирає його собі. Річ у тім, що ШІ Perplexity збирає дані і на їхній основі пише докладні статті, завдяки яким користувачам немає потреби переходити на веб-сайти, звідки було взято інформацію. Це, звісно, порушує бізнес-модель цифрових медіа.

Наприклад, OpenAI налагодила партнерські відносини з медіакомпаніями для вирішення аналогічної проблеми з трафіком і платить їм за ліцензію на контент, а Perplexity, яка працює над такими самими партнерськими відносинами щодо контенту, замість того, щоб платити фіксовану суму, як OpenAI, прагне розділити витрати. Наразі компанія не уклала жодної партнерської угоди і, схоже, обходить платний доступ, проводячи повний скрапінг сайтів, щоб отримати всю інформацію, необхідну для забезпечення відповідей від ШІ.