DeepSeek發(fā)布NSA研究成果，創(chuàng)始人梁文鋒親自參與

2025-02-20 09:45:33來源：TechWeb.com.cn 關(guān)鍵詞：DeepSeek NSA研究成果梁文鋒閱讀量：25497

導(dǎo)讀：NSA是一種專為長文本訓(xùn)練與推理設(shè)計(jì)的稀疏注意力機(jī)制。近日，DeepSeek在海外社交平臺上發(fā)布了一份技術(shù)論文報告，聚焦于NSA機(jī)制的研究。

　　近日，人工智能公司DeepSeek在海外社交平臺上發(fā)布了一份技術(shù)論文報告，聚焦于原生稀疏注意力(NSA)機(jī)制的研究。該論文引起了業(yè)界的廣泛關(guān)注，不僅因?yàn)槠溲芯績?nèi)容的創(chuàng)新性，更因?yàn)檎撐牡氖鹈邪艘馔獾娜宋铩?br />

　　論文的第一作者袁景陽是在DeepSeek實(shí)習(xí)期間完成了這項(xiàng)研究，這一成果的取得對他個人以及DeepSeek來說都是一大喜訊。令人感到驚喜的是，DeepSeek的創(chuàng)始人梁文鋒也作為著作者之一出現(xiàn)在論文署名中，排名倒數(shù)第二，這一舉動在業(yè)內(nèi)引起了不小的討論。

　　論文摘要指出，DeepSeek團(tuán)隊(duì)認(rèn)識到長上下文建模對于下一代大型語言模型的重要性。然而，現(xiàn)有的標(biāo)準(zhǔn)注意力機(jī)制隨著序列長度的增加，其高復(fù)雜度成為了性能提升的瓶頸。NSA機(jī)制的提出，正是為了解決這一問題。

　　NSA通過高效處理長序列的能力，使模型能夠直接處理如整本書籍、代碼倉庫或長輪對話等大規(guī)模數(shù)據(jù)，極大地擴(kuò)展了大型語言模型在文檔分析、代碼生成、復(fù)雜推理等領(lǐng)域的應(yīng)用范圍。

　　此外，NSA針對現(xiàn)代硬件的優(yōu)化設(shè)計(jì)不僅提高了推理速度，還降低了預(yù)訓(xùn)練的成本，同時保持了模型的性能。在通用基準(zhǔn)測試、長文本任務(wù)和基于指令的推理中，NSA的表現(xiàn)均能達(dá)到或超越全注意力模型。

　　DeepSeek團(tuán)隊(duì)認(rèn)為，稀疏注意力機(jī)制為提高模型效率同時保持能力提供了一條有希望的途徑。

　　根據(jù)公開資料，NSA是一種專為長文本訓(xùn)練與推理設(shè)計(jì)的稀疏注意力機(jī)制，它通過動態(tài)分層稀疏策略等先進(jìn)技術(shù)，對傳統(tǒng)AI模型的訓(xùn)練和推理過程進(jìn)行了顯著優(yōu)化。

上一篇：阿里云加速海外布局，墨西哥數(shù)據(jù)中心正式開服

下一篇：估值達(dá)千億美元曝DeepSeek首次考慮外部融資

我要評論

昵稱

匿名

文明上網(wǎng)，理性發(fā)言。（您還可以輸入200個字符)

表情

所有評論僅代表網(wǎng)友意見，與本站立場無關(guān)。

早報|DeepSeek上線專家模式；英特爾加入馬斯克領(lǐng)銜的Terafab芯片合資項(xiàng)目
DeepSeek迎來更新，最新版本中，DeepSeek輸入框上方新增“快速模式”與“專家模式”；英特爾正式宣布加入馬斯克旗下的“Terafab”芯片項(xiàng)目，與SpaceX、特斯拉和xAI攜手，共同推進(jìn)先進(jìn)半導(dǎo)體制造......
DeepSeek半導(dǎo)體制造
2026-04-08 09:13:18
早報|DeepSeek發(fā)布兩個正式版模型；上海電信與阿里云達(dá)成戰(zhàn)略合作
DeepSeek發(fā)布兩個正式版模型：DeepSeek-V3.2和DeepSeek-V3.2-Speciale；上海電信與阿里云簽署戰(zhàn)略合作協(xié)議，雙方將圍繞云計(jì)算與人工智能開展深度合作......
DeepSeek云計(jì)算人工智能
2025-12-02 09:56:08
DeepSeek研究員陳德里：AI將在10到20年內(nèi)取代絕大多數(shù)人類工作
DeepSeek資深研究員陳德里表示，AI將在10至20年內(nèi)取代“絕大部分人類工作”，并清晰勾勒出三階段演進(jìn)路徑，強(qiáng)調(diào)這一預(yù)測“并非危言聳聽”，而是基于AI正從工具向“智慧主體”轉(zhuǎn)變的根本性變革。
DeepSeek人工智能
2025-11-10 10:23:26
AI的終極形態(tài)：是萬能神諭，還是無數(shù)個“專用智能”？
當(dāng)AI開始主動為我們點(diǎn)擊按鈕、調(diào)試代碼、甚至操作整個瀏覽器時，一場靜默的變革正在數(shù)字世界蔓延。這個十月，谷歌讓AI真正“看見”并操控電腦屏幕，豆包在編程領(lǐng)域化身不知疲倦的專家助手，Open AI試圖重塑我們上網(wǎng)的入口，而DeepSeek則選擇成為賦能行業(yè)的“鑄劍人”。從對話到執(zhí)行，從工具到伙伴，AI正在重新定義與我們共處的方式——這場從“應(yīng)答”到“行動”的轉(zhuǎn)變，正在重塑我們與技術(shù)的未來。
DeepSeek智能體Open AI
2025-10-23 16:30:16
DeepSeek開源3B OCR模型：97%精度刷新長文本壓縮極限
該模型核心由DeepEncoder與DeepSeek3B-MoE-A570M解碼器構(gòu)成：DeepEncoder能夠在高分辨率輸入條件下保持低激活狀態(tài)，實(shí)現(xiàn)高壓縮比并生成適量的視覺token；解碼器則負(fù)責(zé)將這些視覺token準(zhǔn)確轉(zhuǎn)化為文本信息。
DeepSeek3B OCR模型
2025-10-21 09:29:13
DeepSeek發(fā)動節(jié)日攻勢，有人歡喜有人愁
9月29日晚間，DeepSeek正式發(fā)布DeepSeek-V3.2-Exp模型，并宣布API調(diào)用價格大幅降低，輸入百萬Token價格降至2毛錢，輸出價格直降75%，被業(yè)界稱為“價格屠夫”再揮刀。
DeepSeek大數(shù)據(jù)模型
2025-09-30 10:32:46

版權(quán)與免責(zé)聲明：

凡本站注明“來源：智能制造網(wǎng)”的所有作品，均為浙江興旺寶明通網(wǎng)絡(luò)有限公司-智能制造網(wǎng)合法擁有版權(quán)或有權(quán)使用的作品，未經(jīng)本站授權(quán)不得轉(zhuǎn)載、摘編或利用其它方式使用上述作品。已經(jīng)本網(wǎng)授權(quán)使用作品的，應(yīng)在授權(quán)范圍內(nèi)使用，并注明“來源：智能制造網(wǎng)”。違反上述聲明者，本站將追究其相關(guān)法律責(zé)任。

本站轉(zhuǎn)載并注明自其它來源（非智能制造網(wǎng)）的作品，目的在于傳遞更多信息，并不代表本站贊同其觀點(diǎn)或和對其真實(shí)性負(fù)責(zé)，不承擔(dān)此類作品侵權(quán)行為的直接責(zé)任及連帶責(zé)任。如其他媒體、平臺或個人從本站轉(zhuǎn)載時，必須保留本站注明的作品第一來源，并自負(fù)版權(quán)等法律責(zé)任。如擅自篡改為“稿件來源：智能制造網(wǎng)”，本站將依法追究責(zé)任。

鑒于本站稿件來源廣泛、數(shù)量較多，如涉及作品內(nèi)容、版權(quán)等問題，請與本站聯(lián)系并提供相關(guān)證明材料：聯(lián)系電話：0571-89719789；郵箱：1271141964@qq.com。

不想錯過行業(yè)資訊？

訂閱 智能制造網(wǎng)APP

一鍵篩選來訂閱

信息更豐富

今日焦點(diǎn)/FOCUS 更多

熱門話題/TOPICS更多

MWC 2026|中國智造正在巴塞羅那狂飆

MWC 2026圓滿收官！賽思時頻同步+SLIC語音全棧解決方案“夯爆”巴塞羅那！

2026世界移動通信大會（MWC）的中國力量

CES 2026亮點(diǎn)直擊

車凌科技CES 2026發(fā)布Hyper Hub，為車企構(gòu)建數(shù)據(jù)生態(tài)連接器

科技春晚變主場：中國機(jī)器人憑何“掀翻”全球賽道

精彩直播/VIDEO更多

回放

【與智造同行】走進(jìn)華為AI＋制造行業(yè)峰會2025——如何讓智能制造走深走實(shí)？華為給你答案！

: 數(shù)字孿生賦能新型工業(yè)化分論壇

: 數(shù)字孿生賦能低空經(jīng)濟(jì)分論壇

推薦產(chǎn)品/PRODUCT 更多

BAUMER壓力開關(guān)RP2NR346-0201
BAUMER壓力開關(guān)RP2NR346-0201
品牌
BAUMER/堡盟
冷凍披薩2.95kg重量檢測機(jī)在線稱重儀哪家好
在線檢重秤,高速檢重秤,自動檢重秤,稱重分選機(jī),分選檢重秤
品牌
上海實(shí)干
LJP48M-20D1-DC6-36V接近開關(guān)
接近開關(guān)工作電壓,接近開關(guān)傳感器,防爆接近開關(guān),接近開關(guān)接指示燈,兩線制接近開關(guān)
品牌
其他品牌
紫外可見分光光度計(jì)報價
可見分光光度計(jì),KM1-L6
品牌
其他品牌
A06B-6079-H107發(fā)那科FANUC
發(fā)那科I/O分配板,信號輸入輸出擴(kuò)展,多通道接口模塊,A06B系列,FANUC系統(tǒng)I/O擴(kuò)展板
品牌
發(fā)那科/FANUC
代理德國 ILS 注射泵用注射器
德國ILS,ILS注射器,ILS進(jìn)口注射器,ILS泵用注射器,ILS注射泵
品牌
其他品牌

DeepSeek發(fā)布NSA研究成果，創(chuàng)始人梁文鋒親自參與

熱門評論

全部評論