漂亮鄰居,奧斯卡
(來源:上觀新聞)
我們現(xiàn)在加速Bi????gQue????ry,一個非常??重要的框架????和非常重要的平???臺??????。。但看完這場演講,????不知你是????否跟我??一樣,有個問??題飄上??心頭:這些????芯片和性能指標真?????的還值得關注嗎????? 過去三年,???♂?行業(yè)的主線是“修????路”, ??大家比拼算??力、模型和數(shù)據(jù)中??心?????♂?。
這個數(shù)據(jù)構建????過程的????計算成本是巨大的?——總共消耗了????約38,400個??A800 GPU????小時,相當于一??臺高性能計算機??連續(xù)運行????四年多???。在大會上,老黃??????花了20多分????鐘回顧了????英偉達??的生態(tài)戰(zhàn)略???。以Llam???a 3.3 ????70B模型為????♀?例,根據(jù)A??rtifi????cia??l A????nalysi??s等獨立基準測試??,Gro???????q平臺在不同上??下文長度下能????維持200-3????00+ tok??en/s的????穩(wěn)定推理速度,????顯著優(yōu)于傳統(tǒng)GP?U推理平臺????。