Google представила нову архітектуру нейромереж під назвою Titans. За словами дослідників компанії, вона дасть змогу системам машинного навчання ефективніше обробляти великі обсяги даних і використовувати довгострокову пам’ять, прямо як людина.
Розробкою Titans займається група фахівців Google на чолі з Алі Бехрузом (від якого і надійшла інформація), Пейліном Чжуном і Вахабом Міррокні. Основна ідея полягає в тому, щоб об’єднати короткочасну і довготривалу пам’ять в одній моделі, тим самим подолавши обмеження традиційних архітектур.
Дослідники підкреслюють, що Titans демонструють вражаючі результати в мовному моделюванні, аналізі часових рядів, геномів і виконанні логічних завдань, які вимагають запам’ятовування інформації “надовго”.
Одна з ключових особливостей нової архітектури – здатність працювати з мільйонами точок даних без втрати точності. При цьому сам модуль пам’яті влаштований так, щоб розуміти, яку інформацію слід зберігати, а від чого можна відмовитися. Розробники надихалися принципами людської пам’яті: є короткострокова пам’ять, увага до поточної ситуації, і є довгострокова пам’ять, де зберігаються складніші та триваліші спогади. У Titans це реалізовано за допомогою додаткового нейронного модуля, що відповідає за довгострокове зберігання даних.
Для зручності застосування в різних завданнях Google підготувала три варіанти Titans: MAC (Memory as Context), MAG (Memory as Gating) і MAL (Memory as a Layer). Кожен із них розв’язує своє вузькоспрямоване завдання зі збереження та використання пам’яті. За заявами команди розробників, у деяких тестах, наприклад у завданнях із розширеною логікою і довгим контекстом, Titans перевершують не тільки класичні, а й багато сучасних архітектур.
Так, у ChatGPT 4 тисячі контекстних токенів, тобто за одну сесію нейромережа зможе проаналізувати приблизно 4 тисячі слів, перш ніж пам’ять почне очищатися, а факти втратять точність. У Titans цих токенів буде близько 2 мільйонів, цього вистачить, щоб аналізувати цілі книги.