У 60% випадків популярні платформи ШІ використовують невірні і навіть фейкові джерела новин, на основі яких дають відповіді користувачам. Де-факто ШІ стає не меншим джерелом дезінформації, аніж пошукові системи чи соцмережі, однак останні не підкріплення авторитетом «неупередженого джерела», як вважає чимало користувачів.
Дослідження, проведене Columbia Journalism Review і Tow Center for Digital Journalism, виявило серйозні недоліки в роботі восьми популярних пошукових систем на основі штучного інтелекту, таких як ChatGPT і Grok 3. Результати показали, що ці системи часто дезінформують користувачів, надаючи невірні джерела новин у 60% випадків, а також ігноруючи запити видавців.
Для оцінки ефективності ШІ-систем дослідники використовували прямі уривки з реальних новинних статей. Вони ставили перед кожною моделлю завдання визначити заголовок, оригінального видавця, дату публікації та URL-адресу статті. Загалом було здійснено 1600 запитів, що дозволило отримати вичерпні дані про роботу кожної системи.
Рівень помилок серед протестованих інструментів виявився досить високим, але різним. Perplexity показав відносно кращий результат з 37% невірних відповідей, тоді як ChatGPT помилився у 67% випадків. Найгірший результат продемонстрував Grok 3 Ілона Маска, де 94% відповідей були неправильними.
Основними проблемами виявленими в ході дослідження стали:
- Нездатність відмовитися від невірних відповідей: Чат-боти часто надавали невірні або ймовірні відповіді на запитання, на які вони не могли відповісти точно, замість того, щоб відмовитися від відповіді.
- Платні версії не гарантують якість: Платні чат-боти надавали невірні відповіді з більшою впевненістю, ніж їхні безкоштовні аналоги, що свідчить про те, що оплата не гарантує точність інформації.
- Ігнорування протоколу винятків для роботів: Деякі чат-боти, схоже, обходять налаштування протоколу винятків для роботів, що може призвести до неправомірного використання контенту.
- Посилання на синдиковані версії: Інструменти генеративного пошуку часто надавали посилання на синдиковані та скопійовані версії статей, а не на оригінальні джерела.
- Ліцензійні угоди не гарантують точність: Наявність ліцензійних угод щодо новинного контенту не гарантує точність цитування у відповідях ШІ-систем.
- Генерація неіснуючих URL-адрес: Такі інструменти, як Gemini і Grok 3, масово генерували неіснуючі URL-адреси, що ускладнює перевірку інформації.
Окрім цього, коли ШІ-пошукові інструменти надавали посилання на джерела, вони часто спрямовували користувачів на синдиковані версії контенту на платформах, таких як Yahoo News, а не на сайти оригінальних видавців.
Система Perplexity успішно визначила 10 уривків з платного контенту National Geographic, хоча доступ до них мав бути закритим.
А у випадку з Grok 3 з 200 перевірених посилань 154 виявилися помилковими або вели на неіснуючі сторінки.
Це дослідження підкреслює важливість критичного ставлення до інформації, яку надають ШІ-пошукові системи, та необхідність подальшого розвитку технологій для забезпечення точності та надійності джерел.
Залишити відповідь