DeepSeek发布最新NSA技术论文!创始人梁文锋参与引人注目
近日,DeepSeek在海外社交平台发布了一篇纯技术论文报告,其主要内容是关于NSA(即Natively Sparse Attention,原生稀疏注意力)。
与此同时,在论文署名中,第一作者袁景阳是在DeepSeek实习期间完成的这项研究。让人感到惊喜和意外的是,据论文署名排名,DeepSeek创始人梁文锋现身论文著作者之中,在作者排名中位列倒数第二。

根据论文摘要,DeepSeek团队认为,业界越来越认识到长上下文建模对于下一代大型语言模型的重要性。然而,随着序列长度的增加,标准注意力机制的高复杂度成为了关键的延迟瓶颈。
据了解,NSA通过高效的长序列处理能力,使模型能够直接处理整本书籍、代码仓库或多轮对话(如千轮客服场景),扩展了大语言模型在文档分析、代码生成、复杂推理等领域的应用边界。
同时,NSA通过针对现代硬件的优化设计,在提高推理速度的同时、降低预训练成本,而不会牺牲性能。
它在通用基准测试、长文本任务和基于指令的推理中均能达到或超越全注意力模型的表现。
DeepSeek团队表示,稀疏注意力为提高效率同时保持模型能力,提供了一个有前景的方向。
公开资料显示,NSA(即Natively Sparse Attention,原生稀疏注意力)是一种用于超快速长文本训练与推理的、硬件对齐且可原生训练的稀疏注意力机制。
它专为长文本训练与推理设计,能够利用动态分层稀疏策略等方法,通过针对现代硬件的优化设计,显著优化传统AI模型在训练和推理过程中的表现。
-
阿里千问回应APP“崩了”:我好着呢 状态良好 欢迎来问
今天早间,“阿里巴巴千问崩了”相关话题一度冲上微博热搜。随后,千问官微发文回应称:“我好着呢,状态良好,欢迎来问。”今日,阿里巴巴新推出的AI应用“千问”迎来公测,结果首日即遭流量洪峰:用户涌入过载,
-
OpenNof1 – 开源的AI自主交易系统,实时交易监控
OpenNof1是什么OpenNof1 是 AI 自主交易系统,支持为用户提供自动化交易决策和风险管理。OpenNof1支持多种 AI 提供商(如 OpenAI、DeepSeek 等),能通过实时市场
-
半年不到 DeepSeek已跌落神坛
属实没想到,半年前还风靡全球的 DeepSeek 就这么跌下神坛了。据 QuestMobile 推出的《2025年二季度AI应用价值榜》数据显示,其月均下载量暴跌 72.2%,从惊人的八千多万下载量跌
关注公众号:拾黑(shiheibook)了解更多
友情链接:
关注数据与安全,洞悉企业级服务市场:https://www.ijiandao.com/
安全、绿色软件下载就上极速下载站:https://www.yaorank.com/
关注网络尖刀微信公众号随时掌握互联网精彩







小丝CC
