Компанията за чипове Tenstorrent, ръководена от Джим Келър, пусна своя процесор Wormhole от следващо поколение за работни натоварвания с изкуствен интелект, който очаква да предложи добра производителност на достъпна цена.В момента компанията предлага две допълнителни PCIe карти, които могат да поемат един или два процесора Wormhole, както и работни станции TT-LoudBox и TT-QuietBox за разработчици на софтуер. Всички днешни съобщения са насочени към разработчици, а не към тези, които използват Wormhole платки за търговски натоварвания.
„Винаги е удоволствие да получим повече от нашите продукти в ръцете на разработчиците. Системите за разработка на версии, използващи нашите карти Wormhole™, могат да помогнат на разработчиците да мащабират и разработят многочипов AI софтуер,” каза Джим Келър, главен изпълнителен директор на Tenstorrent.В допълнение към това стартиране, ние сме развълнувани да видим напредъка, който постигаме с извеждането на лентата и захранването на нашия продукт от второ поколение, Blackhole.
Всеки процесор Wormhole съдържа 72 ядра Tensix (пет от които поддържат ядра RISC-V в различни формати на данни) и 108 MB SRAM, осигуряващи 262 FP8 TFLOPS при 1 GHz с топлинна проектна мощност от 160 W. Едночиповата карта Wormhole n150 е оборудвана с 12 GB GDDR6 видео памет и има честотна лента от 288 GB/s.
Процесорите Wormhole осигуряват гъвкава мащабируемост, за да отговорят на разнообразните нужди от работни натоварвания. В стандартна настройка на работна станция с четири карти Wormhole n300, процесорите могат да бъдат комбинирани в единична единица, която се появява в софтуера като унифицирана, широка ядро мрежа Tensix. Тази конфигурация позволява на ускорителя да се справи със същото работно натоварване, разделено между четирима разработчици или да изпълнява до осем различни AI модела едновременно. Ключова характеристика на тази мащабируемост е, че може да работи локално без необходимост от виртуализация. В среда на център за данни процесорите Wormhole ще използват PCIe за разширяване вътре в машината или Ethernet за външно разширение.
По отношение на производителността, едночиповата карта Wormhole n150 на Tenstorrent (72 Tensix ядра, 1 GHz честота, 108 MB SRAM, 12 GB GDDR6, 288 GB/s честотна лента) постигна 262 FP8 TFLOPS при 160 W, докато двучиповата платка Wormhole n300 (128 Tensix ядра, 1 GHz честота, 192 MB SRAM, агрегирани 24 GB GDDR6, 576 GB/s честотна лента) доставя до 466 FP8 TFLOPS при 300 W.
За да поставим 300 W от 466 FP8 TFLOPS в контекста, ще го сравним с това, което лидерът на пазара на AI Nvidia предлага при тази мощност на топлинния дизайн. A100 на Nvidia не поддържа FP8, но поддържа INT8, с пикова производителност от 624 TOPS (1248 TOPS, когато е разреден). За сравнение, H100 на Nvidia поддържа FP8 и достига пикова производителност от 1670 TFLOPS при 300 W (3341 TFLOPS при разреден), което е значително различно от Wormhole n300 на Tenstorrent.
Има обаче един основен проблем. Wormhole n150 на Tenstorrent се продава за $999, докато n300 се продава за $1399. За сравнение, една графична карта Nvidia H100 се продава за $30 000, в зависимост от количеството. Разбира се, не знаем дали четири или осем процесора Wormhole действително могат да осигурят производителността на един H300, но техните TDP са съответно 600W и 1200W.
В допълнение към картите Tenstorrent предлага предварително изградени работни станции за разработчици, включително 4 n300 карти в по-достъпния базиран на Xeon TT-LoudBox с активно охлаждане и усъвършенствания TT-QuietBox с базирана на EPYC Xiaolong) функция за течно охлаждане).
Време на публикуване: 29 юли 2024 г