2月24日，在上周DeepSeek宣布本周將是開源周（OpenSourceWeek），并將連續(xù)開源五個(gè)軟件庫后。今日上午9：30時(shí)許，DeepSeek宣布開源了本次開源周首款代碼庫——針對Hopper GPU進(jìn)行優(yōu)化的高效型MLA解碼核——FlashMLA。
新浪科技注意到，在GitHub上，目前該項(xiàng)目開源6小時(shí)后便已收獲了超過5000Star收藏，并且擁有188個(gè)Fork（副本創(chuàng)建）。在聽到DeepSeek開源FlashMLA并迎來的快速的Star收藏和Fork數(shù)據(jù)增長后，某港股上市公司CTO在與新浪科技溝通中直呼：“太強(qiáng)了”。
另有專注于AI硬件研究并投資的投資人，在查看FlashMLA后告訴新浪科技，對于國產(chǎn)GPU而言，此次開源算是重大利好。“此前的國產(chǎn)GPU卡，很弱。那現(xiàn)在可以通過FlashMLA提供的優(yōu)化思路和方法論，嘗試讓國產(chǎn)卡大幅提升性能，即使架構(gòu)不同，后面國產(chǎn)卡的推理性能提升將是順理成章的事兒”。
據(jù)DeepSeek官方介紹，F(xiàn)lashMLA基于Hopper GPUs的有效MLA解碼內(nèi)核，可針對可變長度序列進(jìn)行優(yōu)化。
在DeepSeek整個(gè)技術(shù)路線中，MLA（多頭潛在注意力機(jī)制）是公司已經(jīng)發(fā)布的V2、V3兩款模型中，最為核心的技術(shù)之一。被用于解決計(jì)算效率和內(nèi)存占用上的性能瓶頸，能夠顯著提升模型訓(xùn)練和推理效率，同時(shí)保持甚至增強(qiáng)模型性能。
此前，中國工程院院士、清華大學(xué)計(jì)算機(jī)系教授鄭緯民在與新浪科技溝通中曾提及：“DeepSeek自研的MLA架構(gòu)為其自身的模型訓(xùn)練成本下降，起到了關(guān)鍵作用。”他指出，“MLA通過改造注意力算子壓縮了KV Cache大小，實(shí)現(xiàn)了在同樣容量下可以存儲(chǔ)更多的KV Cache，該架構(gòu)和DeepSeek-V3模型中FFN 層的改造相配合，實(shí)現(xiàn)了一個(gè)非常大的稀疏MoE 層，成為DeepSeek訓(xùn)練成本低最關(guān)鍵的原因。”
此次DeepSeek直接開放MLA解碼核——FlashMLA，意味著DeepSeek將最為核心的MLA底層代碼直接免費(fèi)開放，這讓廣大開發(fā)群體可以直接復(fù)用FlashMLA代碼庫實(shí)現(xiàn)用更少的GPU服務(wù)器完成同樣的任務(wù)，直接降低推理成本，這對于更多希望基于DeepSeek開源能力進(jìn)行底層優(yōu)化和AI應(yīng)用開發(fā)群體而言，無疑是一大福利。
有意思的是，DeepSeek此次開放的MLA解碼核，主要是針對Hopper GPU進(jìn)行優(yōu)化用途的。通常而言，Hopper GPU是指基于英偉達(dá)Hopper架構(gòu)研發(fā)的H系列GPU產(chǎn)品。目前，英偉達(dá)該系列芯片已經(jīng)發(fā)布H100、H800和H20等多款芯片。
據(jù)DeepSeek方面介紹，在基準(zhǔn)測試性能表現(xiàn)上，F(xiàn)lashMLA在英偉達(dá)H800 SXM5 GPU上可實(shí)現(xiàn)3000 GB/s 的內(nèi)存速度以及580TFLOPS的計(jì)算上限。
公開資料顯示，根據(jù)美國出口管制規(guī)定，H800的帶寬上限被設(shè)定為600 GB/s，相比一些旗艦產(chǎn)品有所降低。這意味著，使用FlashMLA優(yōu)化后，H800的內(nèi)存帶寬利用率有望進(jìn)一步提高甚至突破H800 GPU理論上限，在內(nèi)存訪問上達(dá)到極致，能讓開發(fā)群體充分“壓榨”英偉達(dá)H系列芯片能力，以更少的芯片實(shí)現(xiàn)更強(qiáng)的模型性能，最大化GPU價(jià)值。
有專注于AI硬件研究并投資的投資人在查看FlashMLA后表示，“FlashMLA是能讓LLM在H800跑得更快、更高效的優(yōu)化方案，尤其適用于高性能AI任務(wù)，他的核心是加速大語言模型的解碼過程，提高模型的響應(yīng)速度和吞吐量，這對于實(shí)時(shí)生成任務(wù)（如聊chatbot等）非常重要，對于大模型的能力和使用體驗(yàn)是巨大的促進(jìn)，速度會(huì)明顯提升。”
雖然FlashMLA是一個(gè)針對Hopper GPU的優(yōu)化代碼庫，但對于國產(chǎn)GPU而言，此次開源也有利好。上述投資人在查看FlashMLA后表示，對于國產(chǎn)GPU而言，此次開源算是重大利好。“此前的國產(chǎn)GPU卡，很弱。那現(xiàn)在可以通過FlashMLA提供的優(yōu)化思路和方法論，嘗試讓國產(chǎn)卡大幅提升性能，即使架構(gòu)不同，后面國產(chǎn)卡的推理性能提升將是順理成章的事兒”。
