（來源：上觀新聞）

這正是G?roq投資人Ga????vin Bake?r所強(qiáng)調(diào)的“推理???拆分”：模型???處理提示詞的p???????refill階????????段依然需要????GPU的大規(guī)模??????并行算力，而逐????字生成??????回復(fù)的d??ecode階段??，瓶頸早??????已不在算力，而????在內(nèi)存帶寬????。

” “但我??們認(rèn)為，市場很快????就會(huì)看穿????那些把AI當(dāng)????????作掩護(hù)的公司??。英偉達(dá)、AMD們????喊出了存儲(chǔ)要多少??用多少??，不僅包括??????基于DR??AM的H??????BM的??需求，也??????在于氛圍編程、??Open?????Cla???♂?w小龍蝦為代???????表的推??理任務(wù)驅(qū)動(dòng)的N???♂?AND存儲(chǔ)需求????。

Nemotron?-3之后會(huì)有N????emotro??n-4????。在數(shù)據(jù)???♀?中心內(nèi)部??，使用Ma????x-Q，以便我??們可以在電力??、冷卻以及我們????共同研究的所有????不同技術(shù)之????間動(dòng)態(tài)????調(diào)整系統(tǒng)，這????樣我們就??不會(huì)浪費(fèi)任何??電力，以最??????優(yōu)速率運(yùn)行，?????提供巨大的to??ken????吞吐量??。