Google представила нову архітектуру нейромереж під назвою Titans. За словами дослідників компанії, вона дасть змогу системам машинного навчання ефективніше обробляти великі обсяги даних і використовувати довгострокову пам’ять, прямо як людина.
Розробкою Titans займається група фахівців Google на чолі з Алі Бехрузом (від якого і надійшла інформація), Пейліном Чжуном і Вахабом Міррокні. Основна ідея полягає в тому, щоб об’єднати короткочасну і довготривалу пам’ять в одній моделі, тим самим подолавши обмеження традиційних архітектур.
Дослідники підкреслюють, що Titans демонструють вражаючі результати в мовному моделюванні, аналізі часових рядів, геномів і виконанні логічних завдань, які вимагають запам’ятовування інформації “надовго”.
Одна з ключових особливостей нової архітектури – здатність працювати з мільйонами точок даних без втрати точності. При цьому сам модуль пам’яті влаштований так, щоб розуміти, яку інформацію слід зберігати, а від чого можна відмовитися. Розробники надихалися принципами людської пам’яті: є короткострокова пам’ять, увага до поточної ситуації, і є довгострокова пам’ять, де зберігаються складніші та триваліші спогади. У Titans це реалізовано за допомогою додаткового нейронного модуля, що відповідає за довгострокове зберігання даних.
Для зручності застосування в різних завданнях Google підготувала три варіанти Titans: MAC (Memory as Context), MAG (Memory as Gating) і MAL (Memory as a Layer). Кожен із них розв’язує своє вузькоспрямоване завдання зі збереження та використання пам’яті. За заявами команди розробників, у деяких тестах, наприклад у завданнях із розширеною логікою і довгим контекстом, Titans перевершують не тільки класичні, а й багато сучасних архітектур.
Так, у ChatGPT 4 тисячі контекстних токенів, тобто за одну сесію нейромережа зможе проаналізувати приблизно 4 тисячі слів, перш ніж пам’ять почне очищатися, а факти втратять точність. У Titans цих токенів буде близько 2 мільйонів, цього вистачить, щоб аналізувати цілі книги.
Якщо ви зможете мотивувати себе займатися фізичною зарядкою вранці, ви не тільки почнете день у…
Глава Ради безпеки Білорусі Олександр Вольфович поділився сценарієм визволення нашої країни. В один із районів, за його…
Президент США Джо Байден у своїй прощальній промові згадав Україну, наголосивши, що вона залишається вільною. Так, розмірковуючи…
Британський прем'єр-міністр Кір Стармер прибув з неоголошеним візитом до Кєва, щоб зустрітися з президентом Володимиром Зеленським…
Росія готова говорити про завершення війни і вже сформулювала вимоги, які почують перемовники новообраного 47 президента США…
З вулиць столиці приберу автомобілі, пошкоджені внаслідок влучань ворожих ракет і дронів. Вивозити почнуть 16…