C神偷拍

DeepSeek让各行业引入AI大模子的主张和积极性彰着提高，已鼓动AI在政务、动力、制造等边界平庸铺伸开来。

许多政企用户接入DeepSeek之后，感受到了AI大模子给业务带来了“旦用难回”的体验，很快就从试用的第一阶段，进入第二阶段——大模子推理集群的扩容升级。

当“有莫得Deepseek用”不再成为问题，那么“Deepseek好不好用”的挑战就当面而来。

一来，东谈主多了，多数考察央求带来的高并发，就像春运岑岭期涌入高大的东谈主流量，会出现央求积压，模子推理念念考时期变长，token混沌速率下跌，用户的恭候时延达到50-100毫秒，职业器忙绿和列队让东谈主恼火。

二来，机器多了，加多更多职业器会遭遇物理天花板，机器扩容并不会线性栽种在线推理职业的体验，就像即使加多了更多车厢，但铁轨承载智商有限，也无法运输更多游客（AI任务）了。

当行业智能化进入深度应用DeepSeek的第二阶段，不得不濒临高并发推理的时间挑战。在堆算力的同期，也要同步优化性能体验，绝顶于想要运输更多乘客，不仅要加多车厢数目，还要同步改良轨谈、站台和管制机制，将旧式火车升级为高铁，才气笼统提高运载效果。

以DeepSeek为例，前不久公布了其利润率，高达545%，其中就触及多数工程化智商，比如引入大EP推理集群，终端高并发推理混沌量指数级增长。

关于更多行业和企业来说，莫得DeepSeek那样的极客天才和顶尖时间团队，若何用大EP来惩办高并发推理挑战呢？当AI大模子驱动进入千行万业的深水区，亟需一场大EP的“运力翻新”。

许多政企客户在接入了Deepseek之后，使用量进一步加多，有了扩展推理集群限制的需求，推理资源需要从2台扩展到10台，从16卡扩展到千卡，但扩容升级并不是往机房一放、齐集一连，就能安枕而卧了。

就像印度仍在使用的旧式火车，仅靠加多车厢，照旧无法提高运力，每个乘客能占用的火车空间极小，体验很差，火车不胜重担，延误误点成了家常便饭。近似问题，在Deepseek和各式大模子与业务的结合中，高并发推理卡住了用户的体验瓶颈。

面对上述问题，大EP大限制大家并行的时间架构，成为趋势。

肤浅来说，大EP便是将MoE（夹杂大家）模子中数千个大家，分派到更多的卡（算力）上去。原来一张卡只可拉10个东谈主，有了大EP，不错同期拉100个（高并发）；原来只可跑一回车，咫尺不错同期跑八趟车（提魁岸众揣摸打算路数batch size），那么乘客就无须永劫期恭候了。

是以，通过大EP不错提高高并发推理场景下的揣摸打算效果，终端更大的混沌和更低的时延。用户体感上，比如一家银行的责任主谈主员同期考察Deepseek，不会遭遇列队、延长、过长恭候等情况。

大EP这样好，何如才气部署到我方的一体机或推理资源池呢？不经过一番尽力，确乎很难吃到大EP的蛋糕。

一方面，推理场景的算力需求指数级扩展，而国际厂商的推理芯片如H20，诚然显存高，但算力不及，处理大EP场景时混沌骤降。Deepseek公开的论文来看，仍然使用H800来进行推理。更强算力且供应链褂讪的推理硬件，是大EP必不可少的。

另一方面，当央求总量猛增之后，会带来多种千般的负载，且极不平衡，绝顶于有的车厢坐的东谈主多，有的车厢坐的东谈主少，负载不均通常会导致体验欠安。

此外，大EP场景的All-to-All通讯，导致卡间通讯占比时期高，绝顶于每个车厢的大家齐要奉告到，这就会贻误收支站的效果。NVLink在大EP场景中，试验灵验带宽应用率就不及。

由此可见，当行业使用Deepseek进入深水区，面对高并发推理场景，弗成抱有“头疼医头脚疼医脚”的幸运热诚，而需要扫数这个词念念考和系统攻坚。

今天来看，百行万企拥抱Deepseek不是追赶一时风口，而是对智能化发展趋势的持久价值判断。普惠LLM进入千行万业，还是是势在必行。

而大EP无法顺利被行业用起来，就意味着接入Deepseek遥远存在时延高、体验差、本钱难优化的问题，那么行业智能化也就无法顺利达成。

不外也不必过于记挂，Deepseek、科大讯飞等模厂，与昇腾等算力厂商，以及政企行业用户，一直保握着详尽互助与疏浚，自开年Deepseek上升以来，从部署实行中千里淀了多数时间创新。

近期，昇腾推出了大EP惩办决策，面向高并发推理场景，一站式升级为智能化“高铁”。

具体来说，昇腾大EP惩办决策借助五约莫津时间，与昇腾算力深度协同优化，奏效冲突了“大家负载平衡+通讯优化”两浩劫题。

针对大家负载不均的繁重：

昇腾大EP惩办决策提议了MoE负载平衡时间，不错自动寻优，左证业务情况、集群限制，找到最优的大家，自动量度哪个大家更忙，自动配比，当一个大家负载过多时自动老师，从而终端了备份节点和副本大家天真可扩展、高可用和极致平衡，性能获取极大栽种。

采取多种创新时间，作念到自妥贴的autoPD分离部署。左证Prefill和Decode的动态负载，进行P、D实例的自动伸缩，无需东谈主工介入，从而减少揣摸打算访存资源竞争。结合多级缓存内存资源池化，对冷热温数据进行差异，不错让系统的灵验混沌栽种50%以上。

针对All-to-All通讯优化的繁重：

昇腾大EP惩办决策提议了双流/多维夹杂并行，其中Prefill micro-batch双流并行，不错终端揣摸打算和通讯的互相障翳；MoE expert大家双流并行，终端两条数据流Stream的并行揣摸打算；Weight权重预取双流并行，不错把访存和通讯并行起来，裁汰权重加载时期，栽种效果。

MLA预处理阶段，昇腾大EP惩办决策把多数的小算子，合成为大的和会算子，将揣摸打算耗时裁汰70%，让算力智商充分阐述出来。

如若你以为上述时间创新多、不好记，那么只需要，借助昇腾大EP惩办决策，行业应用Deepseek时，不错作念到：

快。考察Deepseek无需恭候。昇腾大EP不错将单卡并发栽种3倍，Decode阶段反映速率褂讪在50ms以内，复旧600+并发央求。

省。业务使用Deepseek上量之后，推理集群扩展的同期，性能也保握线性度，扩容笼统本钱更优。

正如高铁改换了中国东谈主的出行，昇腾大EP为高并发推理铺设了一条“高速铁路”，改换了Deepseek上量扩容阶段的体验，为行业智能化提速增效。

仅用两个多月的时期，Deepseek就完成了从试用阶段到扩容阶段的进阶。高并发推理场景和大EP时间架构，成为应用Deepseek的新挑战。这也指示咱们，行业智能化是一个挨次渐进的过程，不可能一蹴而就。

自主创新算力与国产模子如同高铁的双轨，成为复旧起智能中国的“新基建”。昇腾生态之是以与Deepseek等大模子愈加适配，谜底徐徐了了明确。

率先，昇腾有硬件，为行业智能化提供“永不千里降”的算力路基。昇腾硬件的FP16和INT8算力，可达到H20的2倍以上，且功耗更低，足以复旧各行业智能化的自如前进。

此外，昇腾有软硬件的协同优化智商。跟着行业智能化的不停深刻，AI模子对算力需求不停蔓延，但硬件的物理天花板和企业的参加产出比，齐条件揣摸打算性能握续优化。昇腾的AI软硬件，提供从预考试到微调到强化学习，到推理集群、一体机，全经过全覆盖的决策，不错快速反映客户需求，高效复旧时间创新。咫尺，昇腾与DeepSeek最新时间还是终端了“day0”级别同步，确保企业智能化在昇腾软硬件基座上，遥远行驶在时间最前沿。

更遑急的是，昇腾有伙伴。行业智能化是一个体系化工程，不是单一硬件或软件厂商就能独自完成的。在自主创新算力生态中，昇腾一方面兼容主流生态与PyTorch等国表里框架，同期与ISV伙伴、各大模厂齐保握着详尽共生与合作。这意味着，当行业用户基于昇腾底座建立AI应用，能获取生态的全主见助力，减少智能化升级的阻力，裁汰笼统本钱。

今天，智能化还是成为大家经济发展的主航谈。在自主算力与国产模子所铸就的双轨上，行业智能化也将走深向远，向着智能期间奔驰。

C神偷拍