漂亮鄰居,奧斯卡
(來源:上觀新聞)
數(shù)據(jù)中心也不只???漂亮鄰居是一堆芯片,而??????是生產(chǎn)Tok????en的“AI工???廠”,算??力會像電力一???樣成為??持續(xù)消耗的??基礎(chǔ)資源??。目前很多模型只??能完成??基礎(chǔ)動作,????無法實(shí)時生成、表????達(dá)各類復(fù)雜??、非常規(guī)動??????????作??。為了滿????足邊緣AI??????設(shè)備、高性能計(jì)算???????(HP??C)和自???動駕駛等未來應(yīng)????用對功耗和數(shù)據(jù)?????量的需求???,DRAM必須????進(jìn)行根本???性的范式??轉(zhuǎn)變,???????漂亮鄰居轉(zhuǎn)向單??片3D ??祝DRA????M架構(gòu)??,正如NAND????????閃存通??過從平面到三???維垂直堆??????疊(V-N??AND)的演??進(jìn)實(shí)現(xiàn)了容???量的突破??一樣??。
你會希望能夠??不斷推????動這個?????邊界,因?yàn)槟(K??型越大越智??????能,輸入t???????????oken上??????下文長度越長,越??相關(guān)*????。在大模型應(yīng)用??中,相比依??漂亮鄰居賴外置HBM,S??RAM可????????????顯著降低權(quán)重???????♀?與激活數(shù)據(jù)的訪??存延遲與抖??????動,從而??改善Tim???????♀?e-to-F??????irst-T???oken?與尾時延表現(xiàn)????。