梁文锋署名DeepSeek新论文发布,直指大模型“记忆”短板
来源:新京报
新京报贝壳财经讯(记者罗亦丹)1月12日晚间,DeepSeek发布了一篇新论文,主题为《Conditional Memory via Scalable Lookup:A New Axis of Sparsity for Large Language Models》(直译为基于可扩展查找的条件记忆:大语言模型稀疏性的新维度),梁文锋再度出现在了作者名单最后。这篇论文为北京大学和DeepSeek共同完成。
新京报贝壳财经记者浏览发现,这篇论文的核心直指当前大语言模型存在的记忆力“短板”,提出了“条件记忆”这一概念。
为了实现“条件记忆”,DeepSeek提出的解决方案是一个名为Engram(直译为:记忆痕迹)的模块,它将语言建模任务拆解为“静态模式检索”与“动态组合推理”两大分支:前者负责实体、固定短语等确定性知识的快速调取,后者则交由Transformer架构专注完成复杂逻辑运算。
论文最后表示,“我们将条件记忆视为下一代稀疏模型不可或缺的建模原语。”
当前,有不少声音猜测DeepSeek的下一代模型将于春节前发布,复现2025年春节期间盛况。这一背景下,此篇论文或为模型的“庐山真面目”提供了方向。
郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
评论该主题
帖子不见了!怎么办?作者:您目前是匿名发表 登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
温馨提示: 1.根据《证券法》规定,禁止编造、传播虚假信息或者误导性信息,扰乱证券市场;2.用户在本社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》