近日，DeepSeek团队发布了新论文，以DeepSeek-V3为代表，深入解读DeepSeek在硬件架构和模型设计方面的关键创新，为实现具有成本效益的大规模训练和推理提供思路。其中，DeepSeek创始人兼CEO梁文锋是署名作者之一。
DeepSeek在论文中提到，论文期望跨越硬件架构和模型设计，采用双重视角来探索其之间错综复杂的相互作用，以实现具有成本效益的大规模训练和推理。
论文侧重探讨了三大方向：一是硬件驱动的模型设计，分析硬件功能如何影响DeepSeek-V3中的架构选择；二是硬件和模型之间的相互依赖关系，硬件功能如何塑造模型创新，以及大模型不断变化的需求如何推动对下一代硬件的需求；三是硬件开发的未来方向，探索未来硬件和模型架构的协同设计，力图打造可扩展、经济高效的AI系统。
揭秘DeepSeek模型设计原则
DeepSeek模型设计原则有哪些？论文聚焦内存效率、成本控制、推理速度等方面开展内容。
面对大量的内存资源需求，源头优化内存使用是关键策略。在内存效率方面，多头潜在注意力（MLA）则通过压缩键值（KV）缓存显著降低了内存消耗。FP8混合精度训练技术将内存消耗显著降低了一半。除了MLA之外，DeepSeek还提出了其他几种方法来减少KV缓存的大小，包括共享KV、量化压缩等。
论文提到，“对于大模型推理，用户请求通常涉及多轮对话。KV缓存通过缓存先前处理的token的键和值向量来解决这一挑战，无需为后续token重新计算。”
在成本控制方面，DeepSeek开发了DeepSeekMoE。混合专家（MoE）架构拥有两大优势。一是降低训练成本，通过选择性激活专家参数来降低计算成本。根据论文，DeepSeek-V3包含6710亿参数，但每token仅激活370亿参数，训练成本为250GFLOPS/Token。这表明，MoE模型在计算资源消耗量少一个数量级的情况下，实现了与密集模型相当甚至更优的性能。
二是利于个人使用和本地部署。由于每个请求只激活了一个参数子集，其能够大大减少内存和计算需求。
在提高推理速度方面，DeepSeek通过引入高带宽纵向扩展网络、重叠计算和通信、多token预测框架等方法提高推理速度。
其中，推理速度既包括系统级最大吞吐量，也包括单请求延迟。为了最大限度地提高吞吐量，DeepSeek-V3从一开始就被构建为利用双微批处理重叠，有意将通信延迟与计算重叠。
软硬件协同突破效率极限
基于设计原则，DeepSeek细化了在低精度训练、互连优化、网络拓扑等方面的具体细节。
据介绍，在低精度技术突破方面，DeepSeek通过采用FP8混合精度训练，将模型内存占用直接减少50%。DeepSeek还提出LogFMT对数空间量化方案，能在相同比特下实现更高精度。
在互连优化方面，DeepSeek提出了硬件感知并行策略，摒弃传统张量并行（TP），转而采用流水线并行（PP）和专家并行（EP），开源DeepEP库提升EP效率。
在网络拓扑方面，DeepSeek推出的两层多层胖树（MPFT）网络拓扑，通过8个独立平面实现故障隔离与负载均衡，相比传统三层拓扑大大降低成本。
六大关键探索未来AI基础设施
未来，下一代AI基础设施将如何升级？DeepSeek从硬件架构的角度提出六大方向，直面未来挑战并提出解决方案，涉及内存、互连、网络、计算等核心领域。
一是鲁棒性挑战。聚焦通过更先进的错误检测与纠正机制，以此解决硬件故障和静默数据损坏等问题。
二是CPU（中央处理器）瓶颈与互联限制。通过优化CPU与加速器之间的协同等，来满足突破传统接口的限制，实现高速、无瓶颈的节点内部通信。
三是智能网络技术，重点关注封装内光互联、自适应路由、高效的容错协议、动态资源管理等方向，以此实现兼顾低延迟和智能感知能力需求的网络。
四是内存语义通信与排序。DeepSeek主张硬件支持为内存语义通信提供内置顺序保证。这种一致性应在编程层（如通过获取/释放语义）和接收方硬件层强制执行，以此提升通信效率。
五是网络计算融合。如何将计算和压缩能力下沉到网络中？论文称，在网络硬件中集成自动分组复制、硬件级归约功能，并支持LogFMT压缩，降低通信带宽需求。
六是以内存为中心的架构创新。目前，模型规模的指数级增长已超过高带宽内存（HBM）技术的进步，这种差距造成内存瓶颈。论文推荐了DRAM（动态随机存取存储器）堆叠、晶圆级集成等前沿技术。
“针对当前硬件在内存带宽、互连带宽和计算效率的瓶颈，团队提出未来硬件应重点发展精准低精度计算单元、Scale-Up/Scale-Out（纵向扩展/横向扩展）收敛架构及低延迟智能网络，并强调通过硬件原生支持通信压缩、内存语义排序和故障容错机制，提升系统鲁棒性。”论文称，这些成果为下一代AI系统的软硬件协同创新提供了实用蓝图，有望推动AI在复杂场景中的规模化应用。
