Старшокласники, які користувались ChatGPT під час практичних завдань з математики, гірше виконували тести з цього предмету порівняно зі школярами, у яких не було такої можливості. Попри те, що користувачі чат-ботом розʼвязали на 48% більше практичних завдань, у підсумку отримали на 17% гірші результати на тесті з відповідної теми.
Водночас у школярів, які користувались штучним інтелектом, як репетитором, змогли краще справлятися з практичними завданнями, вирішуючи на 127% більше завдань, ніж учні, що не користувались такою допомогою. Результати дослідження опублікувало видання Нechingerreport.
Дослідники вважають, що проблема в тому, що учні використовують ChatGPT як “милицю”. Коли дослідники аналізували питання, які підлітки вводили в чат-бот, виявилося, що школярі найчастіше просто запитували відповідь. Тож діти не розвивали навичок, які виникли в результаті самостійного вирішення проблем.
Водночас, проблемою могли стати помилки ChatGPT. Зокрема, він давав правильні відповіді на математичні завдання лише в половині випадків. Крім того, арифметичні обчислення ШІ були хибними у 8% випадків, але більша проблема полягала в тому, що його покроковий підхід до вирішення проблеми був хибним у 42% випадків.
В дослідженні брали участь майже тисяча учнів з 9 по 11 класи восени 2023 року. Вчителі спочатку переглядали попередньо проведений урок усім класом, а потім їхні класи випадковим чином розподіляли для практики математики в одному з трьома способами: з доступом до ChatGPT, з доступом до репетитора ШІ на базі ChatGPT або взагалі без високотехнологічних засобів. Учням кожного класу ставили однакові практичні задачі з або без ШІ. Після цього вони проходили тест, абт перевірити, наскільки добре вони засвоїли концепцію.
В опитуваннях, які супроводжували експеримент, студенти сказали, що вони не думають, що ChatGPT змушує їх менше вчитися, хоча й так.