Apple тестує технологію, яка може дозволити запускати великі моделі штучного інтелекту безпосередньо на iPhone, без підключення до хмарних серверів.
Розробкою займається стартап PrismML, який створив модель Bonsai 27B. Вона базується на відкритій нейромережі Qwen3.6 27B від Alibaba, але завдяки спеціальному стисканню її вдалося зменшити з 54 ГБ до кількох гігабайтів.
Інженери використали метод, за якого параметри нейромережі зберігаються не у 16-бітному форматі, а лише у 1–2 бітах. У результаті модель потребує у 10–15 разів менше оперативної пам’яті.
PrismML випустила дві версії Bonsai 27B:
- мобільну на 3,9 ГБ для iPhone 15 і новіших моделей;
- версію на 5,9 ГБ для ноутбуків MacBook та комп’ютерів із відеокартами NVIDIA.
За заявами розробників, технологія дозволяє прискорити генерацію відповідей у 6–8 разів, а споживання енергії зменшити у 3–6 разів.
Для Apple локальний ШІ може стати важливим кроком у розвитку Siri. Обробка запитів прямо на смартфоні дозволить швидше отримувати відповіді, не передавати особисті дані на сервери та використовувати функції ШІ без інтернету.
Водночас експерти закликають не переоцінювати технологію. Через сильне стискання модель втрачає частину точності: гірше працює з фактами, розпізнаванням зображень і зовнішніми інструментами.
Також залишається питання нагрівання смартфона та витрати батареї під час тривалої роботи нейромережі.