近日，DeepSeek团队发布了新论文，以DeepSeek-V3为代表，深入解读DeepSeek在硬件架构和模型设计方面的关键创新，为实现具有成本效益的大规模训练和推理提供思路。其中，DeepSeek创始人兼CEO梁文锋是署名作者之一。
DeepSeek在论文中提到，论文期望跨越硬件架构和模型设计，采用双重视角来探索其之间错综复杂的相互作用，以实现具有成本效益的大规模训练和推理。
论文侧重探讨了三大方向：一是硬件驱动的模型设计，分析硬件功能如何影响DeepSeek-V3中的架构选择；二是硬件和模型之间的相互依赖关系，硬件功能如何塑造模型创新，以及大模型不断变化的需求如何推动对下一代硬件的需求；三是硬件开发的未来方向，探索未来硬件和模型架构的协同设计，力图打造可扩展、经济高效的AI系统。
揭秘DeepSeek模型设计原则
DeepSeek模型设计原则有哪些？论文聚焦内存效率、成本控制、推理速度等方面开展内容。
面对大量的内存资源需求，源头优化内存使用是关键策略。在内存效率方面，多头潜在注意力（MLA）则通过压缩键值（KV）缓存显著降低了内存消耗。FP8混合精度训练技术将内存消耗显著降低了一半。除了MLA之外，DeepSeek还提出了其他几种方法来减少KV缓存的大小，包括共享KV、量化压缩等。
论文提到，“对于大模型推理，用户请求通常涉及多轮对话。KV缓存通过缓存先前处理的token的键和值向量来解决这一挑战，无需为后续token重新计算。”
在成本控制方面，DeepSeek开发了DeepSeekMoE。混合专家（MoE）架构拥有两大优势。一是降低训练成本，通过选择性激活专家参数来降低计算成本。根据论文，DeepSeek-V3包含6710亿参数，但每token仅激活370亿参数，训练成本为250GFLOPS/Token。这表明，MoE模型在计算资源消耗量少一个数量级的情况下，实现了与密集模型相当甚至更优的性能。
二是利于个人使用和本地部署。由于每个请求只激活了一个参数子集，其能够大大减少内存和计算需求。
在提高推理速度方面，DeepSeek通过引入高带宽纵向扩展网络、重叠计算和通信、多token预测框架等方法提高推理速度。
其中，推理速度既包括系统级最大吞吐量，也包括单请求延迟。为了最大限度地提高吞吐量，DeepSeek-V3从一开始就被构建为利用双微批处理重叠，有意将通信延迟与计算重叠。
软硬件协同突破效率极限
基于设计原则，DeepSeek细化了在低精度训练、互连优化、网络拓扑等方面的具体细节。
据介绍，在低精度技术突破方面，DeepSeek通过采用FP8混合精度训练，将模型内存占用直接减少50%。DeepSeek还提出LogFMT对数空间量化方案，能在相同比特下实现更高精度《yabo亚博网站登录全站》。
在互连优化方面，DeepSeek提出了硬件感知并行策略，摒弃传统张量并行（TP），转而采用流水线并行（PP）和专家并行（EP），开源DeepEP库提升EP效率。
在网络拓扑方面，DeepSeek推出的两层多层胖树（MPFT）网络拓扑，通过8个独立平面实现故障隔离与负载均衡，相比传统三层拓扑大大降低成本。
六大关键探索未来AI基础设施
未来，下一代AI基础设施将如何升级？DeepSeek从硬件架构的角度提出六大方向，直面未来挑战并提出解决方案，涉及内存、互连、网络、计算等核心领域。
一是鲁棒性挑战。聚焦通过更先进的错误检测与纠正机制，以此解决硬件故障和静默数据损坏等问题。
二是CPU（中央处理器）瓶颈与互联限制。通过优化CPU与加速器之间的协同等，来满足突破传统接口的限制，实现高速、无瓶颈的节点内部通信。
三是智能网络技术，重点关注封装内光互联、自适应路由、高效的容错协议、动态资源管理等方向，以此实现兼顾低延迟和智能感知能力需求的网络。
四是内存语义通信与排序。DeepSeek主张硬件支持为内存语义通信提供内置顺序保证。这种一致性应在编程层（如通过获取/释放语义）和接收方硬件层强制执行，以此提升通信效率。
五是网络计算融合。如何将计算和压缩能力下沉到网络中？论文称，在网络硬件中集成自动分组复制、硬件级归约功能，并支持LogFMT压缩，降低通信带宽需求。
六是以内存为中心的架构创新。目前，模型规模的指数级增长已超过高带宽内存（HBM）技术的进步，这种差距造成内存瓶颈。论文推荐了DRAM（动态随机存取存储器）堆叠、晶圆级集成等前沿技术。
“针对当前硬件在内存带宽、互连带宽和计算效率的瓶颈，团队提出未来硬件应重点发展精准低精度计算单元、Scale-Up/Scale-Out（纵向扩展/横向扩展）收敛架构及低延迟智能网络，并强调通过硬件原生支持通信压缩、内存语义排序和故障容错机制，提升系统鲁棒性。”论文称，这些成果为下一代AI系统的软硬件协同创新提供了实用蓝图，有望推动AI在复杂场景中的规模化应用。
责任编辑：何俊熹
真正压跌幅比较大的时候，个人感觉恰恰是2月下旬到3月上 ⏲旬这个时间段，因为这个时候才真正进入了需求预期兑现的阶段，也 ⛼就是说要看一下真实的需求到底如何。那前面我们也说过了，国家从 ✍去年三季度开始，还是陆续出台了很多的利好政策的，但是这个政策 ⛺真正传导到实际的需求 ✨，他中间是有一定时滞的。我之前也总结过，08年以来5轮稳增长过程中，从政策转向到真正传导到钢材价格它 ⛳的平均时滞大概是8.2个月，短的像2020年，3个月左右，长 ♍的像2015年大概15个月。本轮政策的转向最早可以追溯到2021年12月存款准备金率的下调 ⏰。但是本轮地产周期的传导可能会 ❍持yabo亚博网站登录全站续更长的时间，主要是因为本轮地产去杠杆持续的时间是比较长的 ♌，所以前面积累了大量在建的项目 ♎，所以一旦地产企业资金状况有所 ⛸改善，那其实最先解决的还是竣工和交付的问题，拿地和新开工上半 ✌年好转的可能性并不大 ⌛。而螺纹钢的消费的60%其实都是集中在新 ♈开工环节的 ⛶。说这些其实是想说明一点，就是说虽然现在国家出台了 ♑一系列的利好政策，但真正传导道实际需求恢复的话，螺纹05合约 ✋应该是来不及的。所以对于05合约我们现在的建议是如果还能回到4000以上的话，可以考虑逢高逐步做空；现货企业的话可以考虑 ☻升水比较大的时候做一些买现货抛期货的操作；10合约的话后面也♈有升水05的可能，因为你现实越弱，实际上稳增长的预期是越强的♈。
国轩高科（002074）12月21日晚间公告 ⛔，为增强公 ⛵司全资子公司江苏国轩的资本实力 ⚽，加快江苏国轩的动力锂电池产能 ☺项目建设速度，公司拟使用自有或自筹资金以现金方式对江苏国轩增 ❦资16.34亿元，其中14.5亿元计入江苏国轩的注册资本，剩 ⏱余1.84亿元计入其资本公积。本次增资完成后，江苏国轩的注册 ➨资本由3.5亿元增加至18亿元 ❦，江苏国轩仍为公司全资子公司。
本报记者 高佩 【编辑:魏襄王 】
