Як повідомляється, чіп під назвою Wafer Scale Engine 3 (WSE-3) являє собою третє покоління суперкомп’ютерної платформи Cerebras. Вона була спеціально розроблена для роботи в системах штучного інтелекту.
Розмір розробки 8,5 на 8,5 дюймів. Вона містить у собі 900 000 ядер штучного інтелекту. За словами розробників, чіп використовуватимуть для запуску неймовірно продуктивного суперкомп’ютера зі ШІ. При цьому він споживає стільки ж енергії, скільки його попередник, але має вдвічі більшу потужність.
Як зазначають інженери, їхній чіп перевершує за розміром і продуктивністю навіть найпередовіші графічні процесори, які використовуються зараз для навчання моделей штучного інтелекту. Так, Nvidia H200 має всього 80 мільярдів транзисторів, що в 57 разів менше, ніж у WSE-3.
На базі нового чіпу зберуть суперкомп’ютер Condor Galaxy 3. Його розмістять у Далласі, штат Техас. Цей суперкомп’ютер складатиметься з 64 “будівельних блоків” системи штучного інтелекту Cerebras CS-3, кожен з яких працюватиме на основі WSE-3. Об’єднання цих систем дасть загалом 16 екзафлопс обчислювальної потужності.
Condor Galaxy 3 використовуватиметься для навчання майбутніх систем штучного інтелекту, в яких використовуватиметься значно більше параметрів, ніж в наявних моделях. Наприклад, GPT-4 від OpenAI використовує близько 1,76 трильйона змінних для навчання, а Condor Galaxy 3 зможе обробляти системи штучного інтелекту з приблизно 24 трильйонами параметрів.