Google представила нову архітектуру нейромереж під назвою Titans. За словами дослідників компанії, вона дасть змогу системам машинного навчання ефективніше обробляти великі обсяги даних і використовувати довгострокову пам’ять, прямо як людина.
Розробкою Titans займається група фахівців Google на чолі з Алі Бехрузом (від якого і надійшла інформація), Пейліном Чжуном і Вахабом Міррокні. Основна ідея полягає в тому, щоб об’єднати короткочасну і довготривалу пам’ять в одній моделі, тим самим подолавши обмеження традиційних архітектур.
Дослідники підкреслюють, що Titans демонструють вражаючі результати в мовному моделюванні, аналізі часових рядів, геномів і виконанні логічних завдань, які вимагають запам’ятовування інформації “надовго”.
Одна з ключових особливостей нової архітектури – здатність працювати з мільйонами точок даних без втрати точності. При цьому сам модуль пам’яті влаштований так, щоб розуміти, яку інформацію слід зберігати, а від чого можна відмовитися. Розробники надихалися принципами людської пам’яті: є короткострокова пам’ять, увага до поточної ситуації, і є довгострокова пам’ять, де зберігаються складніші та триваліші спогади. У Titans це реалізовано за допомогою додаткового нейронного модуля, що відповідає за довгострокове зберігання даних.
Для зручності застосування в різних завданнях Google підготувала три варіанти Titans: MAC (Memory as Context), MAG (Memory as Gating) і MAL (Memory as a Layer). Кожен із них розв’язує своє вузькоспрямоване завдання зі збереження та використання пам’яті. За заявами команди розробників, у деяких тестах, наприклад у завданнях із розширеною логікою і довгим контекстом, Titans перевершують не тільки класичні, а й багато сучасних архітектур.
Так, у ChatGPT 4 тисячі контекстних токенів, тобто за одну сесію нейромережа зможе проаналізувати приблизно 4 тисячі слів, перш ніж пам’ять почне очищатися, а факти втратять точність. У Titans цих токенів буде близько 2 мільйонів, цього вистачить, щоб аналізувати цілі книги.
У Києві не відключатимуть електроенергію у будинках, в яких немає тепла. Про це повідомив віцепрем'єр-міністр з відновлення України –…
Українці, які користуються природним газом, невдовзі можуть отримати новий рахунок. До звичних платіжок за "блакитне…
В Україні триває загальна мобілізація, і військовозобов’язані громадяни повинні своєчасно повідомляти ТЦК про зміни у своїх персональних даних.…
Багато споживачів помилково вважають, що основними «винуватцями» високих рахунків за електроенергію є холодильник або бойлер. Однак насправді пальму…
Нацбанк встановив офіційний курс валют на понеділок, 19 січня. Долар зріс ще на 2 коп. Тим часом євро залишилося без…
Після 30 січня у столиці України, ймовірно, припиняться морози, які особливо дошкуляють жителям Києва через…