Горе-лікар світових масштабів: учені розповіли про смертельно небезпечні поради ШІ в медицині

Останні досягнення в галузі технологій штучного інтелекту, такі як GPT-4 від OpenAI, продовжують привертати увагу як своїми вражаючими можливостями, так і недоліками. Незважаючи на значні інвестиції та зусилля з розвитку, моделі ШІ, як і раніше, не справляються з такими базовими завданнями, як підрахунок літер у словах — відомим прикладом є нездатність GPT-4 надійно підрахувати, скільки разів буква “r” зустрічається в слові “strawberry”. Подібні помилки можуть здатися тривіальними і навіть кумедними у звичайному застосуванні, але вони мають набагато серйозніші наслідки в таких галузях, як охорона здоров’я, пише Fururism.

У медичних установах такі інструменти, як MyChart, комунікаційна платформа, що використовується в лікарнях, включають в себе функції, засновані на штучному інтелекті, для складання повідомлень між лікарями і пацієнтами. MyChart дає змогу обмінюватися сотнями тисяч повідомлень на день, і зараз 15 000 лікарів використовують ШІ-інструмент платформи для створення відповідей. Однак дедалі більше занепокоєння викликає можливість помилок ШІ в подібних контекстах, коли навіть незначні помилки можуть призвести до небезпечних наслідків. Приклад, наведений лікарем Вінаєм Редді з UNC Health, ілюструє цей ризик: згенерована АІ відповідь помилково запевнила пацієнтку, що вона отримала вакцину від гепатиту В, незважаючи на те, що система не мала доступу до її записів про щеплення.

Критики підкреслюють, що інструмент штучного інтелекту не повідомляє пацієнтам, чи було їхнє повідомлення складено алгоритмом, що призводить до потенційних проблем із довірою. Як зазначає біоетик Атмея Джаярам, пацієнти можуть відчути себе обдуреними, якщо виявлять, що повідомлення, написані, як їм здається, “голосом” їхнього лікаря, насправді були складені штучним інтелектом. Це побоювання посилюється тим, що не існує федеральних норм, які б зобов’язували медичні рекомендації, які генерує ШІ, маркувати як такі, тому пацієнтам складно зрозуміти, від кого вони отримують інформацію — від людського фахівця чи автоматизованої системи.

Можливість шкідливих і небезпечних помилок, спричинених ШІ, не є гіпотетичною. Дослідження, проведене в липні й опубліковане в журналі JAMIA, виявило сім “галюцинацій”, помилкових повідомлень, згенерованих ШІ, у 116 складених повідомленнях системи MyChart. Хоча це число може здатися невеликим, навіть одна помилка в медичному спілкуванні може мати катастрофічні наслідки. Подальші дослідження показали, що GPT-4, модель, на якій засновані ці системи, часто припускається помилок, коли її просять скласти повідомлення для пацієнта, що підкреслює ризик, який досі являє собою ШІ в таких критично важливих сферах, як охорона здоров’я.

Дедалі більше використання штучного інтелекту в медичній комунікації порушує ширші етичні та нормативні питання. Хоча ШІ здатний знизити адміністративне навантаження на медичних працівників, він також створює нові ризики, особливо за недостатніх запобіжних заходів. Без прозорості використання ШІ пацієнти можуть не знати, хто або що надає їм медичні консультації, що може підірвати довіру, яка має вирішальне значення у відносинах між медичними працівниками та хворими людьми.