Google представила нову архітектуру нейромереж під назвою Titans. За словами дослідників компанії, вона дасть змогу системам машинного навчання ефективніше обробляти великі обсяги даних і використовувати довгострокову пам’ять, прямо як людина.
Розробкою Titans займається група фахівців Google на чолі з Алі Бехрузом (від якого і надійшла інформація), Пейліном Чжуном і Вахабом Міррокні. Основна ідея полягає в тому, щоб об’єднати короткочасну і довготривалу пам’ять в одній моделі, тим самим подолавши обмеження традиційних архітектур.
Дослідники підкреслюють, що Titans демонструють вражаючі результати в мовному моделюванні, аналізі часових рядів, геномів і виконанні логічних завдань, які вимагають запам’ятовування інформації “надовго”.
Одна з ключових особливостей нової архітектури – здатність працювати з мільйонами точок даних без втрати точності. При цьому сам модуль пам’яті влаштований так, щоб розуміти, яку інформацію слід зберігати, а від чого можна відмовитися. Розробники надихалися принципами людської пам’яті: є короткострокова пам’ять, увага до поточної ситуації, і є довгострокова пам’ять, де зберігаються складніші та триваліші спогади. У Titans це реалізовано за допомогою додаткового нейронного модуля, що відповідає за довгострокове зберігання даних.
Для зручності застосування в різних завданнях Google підготувала три варіанти Titans: MAC (Memory as Context), MAG (Memory as Gating) і MAL (Memory as a Layer). Кожен із них розв’язує своє вузькоспрямоване завдання зі збереження та використання пам’яті. За заявами команди розробників, у деяких тестах, наприклад у завданнях із розширеною логікою і довгим контекстом, Titans перевершують не тільки класичні, а й багато сучасних архітектур.
Так, у ChatGPT 4 тисячі контекстних токенів, тобто за одну сесію нейромережа зможе проаналізувати приблизно 4 тисячі слів, перш ніж пам’ять почне очищатися, а факти втратять точність. У Titans цих токенів буде близько 2 мільйонів, цього вистачить, щоб аналізувати цілі книги.
В Україні податок на нерухомість сплачують власники квартири та будинку у тому випадку, якщо її площа перевищує…
ВПО, які отримують пенсії через Ощадбанк, зараз проходять періодичну ідентифікацію. Це стосується переселенців, зареєстрованих до…
Закон не передбачає примусово мобілізованого часу на залагодження особистих побутових питань. Про це заявила заступник…
В епоху розвитку штучного інтелекту бути обізнаним і вміти запам'ятовувати факти доволі важливо, але незабаром це буде…
Втрата паспорта за кордоном може стати серйозним випробуванням для українців, проте існує чіткий алгоритм дій…
Народна депутатка Мар'яна Безугла неодноразово критикувала Головнокомандувача ЗСУ Олександра Сирського. Цього разу вона “накинулась” на…