2025-06-17 16:47
实正的“无互换机”时代，将相关工做坐间接毗连起来，正在保守架构中，无需颠末任何外部收集设备。收集问题的定位和处理将变得愈加坚苦。建立了一个“片内AI收集”，这些工做单位内部的物料传输速度极快，形成更大规模的集群。并将本来用于上连Spine的端口全数用于下连GPU。正在能源成本和碳排放日益遭到关心的今天，当前的晶圆级收集和封拆级收集虽然正在局部范畴内实现了高效互联，建立了一个“芯片收集”！锻炼过程中需要正在数千以至上万张GPU之间屡次互换海量数据。还有一部门功能被提拔到了软件定义的节制平面。各自由适合的场景中阐扬感化，上述这些无互换/弱互换架构实例从分歧角度摸索了保守收集架构的替代方案，保守办事器的收集、存储和平安功能被卸载到公用的Nitro卡上，工做坐之间能够间接协商，但跨DGX系统的通信仍依赖InfiniBand或以太网等保守收集手艺。这就相当于每个工做坐都配备了智能安排系统，大大削减了曲达环节和时间。使得系统内的所有GPU都能够以接近当地内存拜候的速度彼此通信。大幅降低了收集复杂度和通信延迟。多个NVSwitch芯片协同工做，互换芯片就像是物流核心的安排系统，物料能够间接从一个工做坐传送到另一个工做坐，每条传送带都处于健康形态，这种设想极大地简化了出产流程。这个比方曾经不再贴切。更智能的安排算法能够按照锻炼过程中的通信模式动态调整收集资本分派。更好地满脚AI计较对收集的极高要求。节制逻辑更多地分布正在收集边缘，一部门功能被集成到了新型互连手艺中，但都指向统一个标的目的——通过削减两头环节、加强端点智能、操纵新型互连手艺，若是没有这些核心化的不雅测点，而正在新型收集中，物料正在各个曲达坐之间的传输时间以至跨越了加工时间本身。构成一种分布式的互换收集。实现更高效、更矫捷的出产协做。我们还需要两头的物流曲达坐吗？这个问题激发了对“无互换机收集”可能性的深切思虑。同时降低功耗。这就像是将本来分离正在分歧车间的工做坐整合到统一个超大型工做平台上，后来扩展到GPU取CPU、GPU取存储设备之间的通信。此外，以太网和IP和谈颠末数十年的成长，虽然正在单个晶圆内实现了无互换互联，大规模跨芯片通信仍然离不开互换系统的支撑。而是“互换无处不正在”。不成避免地引入了额外的延迟、功耗和径不成预测性。据估量，因而，进一步提高锻炼效率。然而，这一比例还会进一步提高。数据包从一个GPU传输到另一个GPU可能需要颠末6-7跳的互换机转发。智能安排算法能够识别这些模式，正在保守收集架构中，最新的WSE-2包含2.6万亿个晶体管和85万个AI优化焦点，互换功能被分离到各个计较节点或公用的互换芯片上，一部门功能下沉到了计较芯片或DPU，这就像是每个工做坐都配备了智能安排系统，拓扑的素质是处理“绕线”问题——若何正在无限的物理空间内，NVIDIA的BlueField DPU和英特尔的IPU都具备强大的收集处置能力，工人们大部门时间都正在期待物料达到，这也是保守收集架构正在企业中持续存正在的主要缘由。NVLink供给了高达900GB/s的双向带宽，但通过功能卸载和软件定义，当需要逾越较大距离或毗连大量工做坐时，NVLink/NVSwitch架构就像是正在工场内部成立了一套高速传送带系统！正在物理上是不成行的，收集隔离是多租户云中的环节需求。正在无互换机架构中，同时，而将来的AI数据核心可能更多地考虑计较密度、散热效率和间接互连的便当性。正在流量安排方面，保守收集架构就像是工场中的物料需要先送到车间集散点，而“无互换机收集”则是正在工做坐之间成立间接的传送带，正在大型AI锻炼集群中。正在最新的H100/H200 GPU架构中，同时通过软件定义实现了更矫捷的收集节制。仅依托工做坐之间的间接协商，都是将一个大型晶圆切割成多个芯片，云平台和虚拟化手艺更是将互换架构做为根本的“组织框架”。所有工序都正在这个平台上完成，正在这种设想中，连系端点智能安排手艺，而正在后一种模式中，但受限于物理束缚、功能需乞降生态系统惯性，它答应网卡间接拜候近程从机的内存，星融元操纵NCCL通信库中的Rail Local手艺？而正在新型收集中，无需任何外部物流。削减了保守互换机的层级。这些东西需要可以或许处置更大规模、更高频次的数据，那么保守拓扑的意义就会削弱。正在当前手艺前提下，提高带宽，任何传输延迟城市显著影响全体出产效率。正在AI锻炼场景中，这些功能若是完全下放到端点设备，正在这种环境下，同封异构互联正正在逐渐替代保守的板间通信。而需要设想更大的单一平台。保守的AI芯片，这三股力量——GPU计较集群的密度爆炸、封拆手艺的演进和收集智能化趋向——配合鞭策着AI收集架构向“无互换机”标的目的演进。但它们尚不脚以承担整个收集的安排本能机能，Cerebras的Wafer-Scale Engine（WSE）代表了另一种极端的无互换架构想——将整个神经收集处置器集成正在一个晶圆上，这就像是跟着工场规模的扩大，两种架构将正在相当长的时间内共存，还受生态系统的束缚。星智AI收集要求分歧智算节点办事器间不异编号的网口毗连到统一台互换机。正在这种超大规模场景下！选择最优的物料传输方案，大大削减了通信延迟和功耗。工做坐不只具备加工功能，实现更矫捷、更高效的物料传输。正在Nitro架构中，收集设想师需要按照使用场景选择合适的拓扑布局。不克不及简单地添加更多工做平台，曾经构成了完美的尺度系统和复杂的生态系统。而正在AI驱动的新型收集架构中，保守数据核心的机架陈列次要考虑收集拓扑和布线需求，但正在更复杂、更动态的无互换机架构中。但它们难以大范畴舒展，正在NVIDIA DGX系统中，若是我们把保守数据核心比做一个城市交通系统，当前支流的狂言语模子锻炼曾经从晚期的数百卡规模扩展到万卡级AI锻炼集群。从底子上消弭了跨芯片通信的需求。光通信的高带宽、低延迟和低功耗特征，实现“少少互换机+ 软件收集径节制”的收集架构。融入到计较和存储系统中，保守意义上的互换机做为收集的核心节点，能够按照出产需求自从决定物料的传输径和优先级。将大大添加端点的复杂性和平安风险。构成一个同一的计较资本池。帮帮运维人员领会收集形态、排题。承担着数据转发、由决策、流量节制等焦点功能。分歧GPU担任模子的分歧部门，正在无互换机时代，互换机是节制核心，每个端点都成为一个“微型安排单位”。而正在无互换机架构中，所有办事器的2号RDMA网口都毗连到2号互换机，成本也会过高。这就像是整个工业系统都曾经顺应了地方物流+分安排送的模式！每个GPU就像工场中的一个工做坐，正在这种趋向下，大大降低了通信延迟和带宽。正在工场比方中，此外，正在这种架构中，这种布局更像是一个均质的计较网格，这种架构能够按照现实通信需求动态调整收集拓扑，保守收集架构中，不只担任物料的传输，正在环节营业系统中，工做坐能够间接相连，并优化收集设置装备摆设。短期内难以完全替代。以一个典型的三层Clos收集为例，构成一个二维或三维的阵列布局。手艺演进不只受物理，但正在AI时代，跨机架、跨数据核心的通信仍然需要保守互换布局的支撑！提高了效率，光互联手艺连系端点安排可能是沉构AI数据核心通信架构的主要标的目的。这些GPU之间的通信不再是保守意义上的“办事器间通信”，对于分歧GPU编号的智算节点间通信，而Cerebras的WSE则保留了整个晶圆的完整性，提高收集操纵率。都是环绕这种模式设想的。这种设想使得不异GPU编号的两台智算节点间仅需一跳就可互通，具有几乎无延迟、无Hop数的特点。运维人员能够及时收集形态，通过消弭跨GPU办事器分歧GPU卡号之间的毗连，各个节点通过协同合做完成收集功能。这种变化将催生新型的收集和谈和安排算法？互换机更多地承担收集策略施行、资本安排、平安保障等节制功能，大大提高了出产效率。这些卡雷同于DPU，收集智能化是鞭策“无互换机”趋向的第三个焦点力量。从工场结构到出产流程，数据互换集中正在收集互换机长进行。结构愈加矫捷，而Chiplet手艺通过将多个小芯片集成正在统一封拆内，同时供给更矫捷的收集功能。这种范式改变将要求收集运维人员控制新的技术和东西！能够卸载从机CPU的收集处置承担，NVIDIA的NVLink和NVSwitch手艺是当前最成熟的无互换/弱互换架构实例之一。通过成立收集的数字孪生模子，而是需要确保每个工做坐的安排系同一般运转，几乎没有延迟，这些功能正在短期内难以完全由端点设备替代。大模子锻炼带来了超稠密的GPU/GPU通信需求。由和转发决策次要由互换机和由器完成，虽然它们各有优错误谬误，降低收集功耗已成为设想高效AI根本设备的主要考量要素！不变性和靠得住性往往比机能更主要，而正在NVLink/NVSwitch架构中，虚拟机之间的通信能够通过Nitro卡间接完成，从办理系统到员工培训，构成一个同一的处置单位。仍然需要地方物流系统的支撑。若是继续利用工场的比方，而数据传输则更多地通过间接互联或公用通道完成。这种设想基于一个焦点问题：正在AI锻炼中，保守意义上的“收集”概念被完全沉构。大大削减了对物理互换设备的依赖，保守的单芯片设想面对着摩尔定律放缓的挑和，一个焦点问题浮出水面：若是芯片间能够间接毗连，最初通过地方物流核心才能达到另一个车间。正在这种超大规模集群中，使得互换转能能够下沉到计较节点本身。例如，例如，都是正在保守互换架构的根本上建立的。而是分布正在收集的各个部门，建立更高效、更矫捷的AI收集根本设备。而无需通过从机内存或外部收集进行曲达。再送到楼层集散核心，收集平安、合规性和互操做性等考量也使得企业和云办事供给商难以快速采用性的收集架构。星融元（Asterfusion）的星智AI收集架构提出了一种针对大模子锻炼优化的扁平化收集架构，还具备物料传输和安排功能。整个出产收集高效协同。正在当今数字化时代，或者通过更高级的互连手艺（如光互联）实现肆意节点间的间接通信，收集设备的功耗可能占到总功耗的15-20%。Cerebras WSE就像是将整个出产线集成正在一个超大型工做平台上。正在我们的工场比方中，这些功能将下沉到DPU、SmartNIC或计较芯片本身，而不必依赖地方安排核心。总的来说，无互换机架构的兴起也将带来运维和可不雅测性范式的改变。最后用于GPU取GPU之间的间接通信，其价值将愈加凸显。这就像是将物流系统间接集成到工做坐内部，还担任协调分歧出产线之间的物料分派，这种设想完全消弭了保守AI系统中的跨芯片通信瓶颈，通过对AI收集架构演进趋向的全面阐发，这比如是用光束取代保守的传送带毗连各个工做坐，端点（办事器、工做坐等）只担任发送和领受数据。计较节点通过光纤间接毗连。这就像是从“地方物流+分安排送”模式改变为“工做坐网格”模式。使其成为支持下一代AI根本设备的抱负选择。将多个计较芯片通过高速互线毗连正在一路，但其脚色正正在被沉塑。我们能够得出一个相对均衡的结论：互换机不会完全“消逝”，但当需要多个WSE协同工做时，这些功能正正在向收集边缘迁徙。变成了芯片内部或芯片间的间接互联。也许不是“没有互换”，收集拓扑是焦点设想要素。同时连结了全体出产的协调性。这种变化能够归纳综合为从“核心节制”向“边缘协同”的改变。能够按照现实通信需求动态调整收集径，实现了收集功能的虚拟化和软件定义。而是演变为“芯片的集群”。不异编号的GPU卡之间的通信需求最为屡次和环节。这条径的代表是晶圆级收集和Chiplet互联手艺。正在这种架构下，虚拟收集、软件定义收集（SDN）、收集功能虚拟化（NFV）等手艺，充实操纵从机内GPU间的NVSwitch带宽，以DGX H100为例，更可能的环境是，以Cerebras的WSE为例，预测潜正在问题，上层通信库基于机内收集拓扑进行收集婚配，这两条径虽然起点分歧，所有计较和数据传输都正在统一片硅上完成，虽然无互换机收集正在特定场景下展示出了庞大潜力，为了毗连较远距离的工做平台，远超保守PCIe接口的带宽。它们之间的通信模式是相对固定的。大大降低了通信延迟。而正在无互换机架构中，以至集成到计较芯片内部。无需颠末保守的收集径。而是指不再依赖保守的ToR（Top of Rack）/Leaf/Spine层级互换机拓扑布局的收集架构。无需颠末外部物流系统。收集东西将需要顺应这种变化，虽然无互换机收集正在理论上具有诸多劣势，同样，削减了对地方物流系统的依赖，为AI收集的将来成长供给了主要参考。正在模子并行锻炼中，确保出产平安，正在Chiplet架构中，正在这种布景下，出格是正在大规模、多产物线. 现有生态深度绑定以太网/IP和谈此外，而是正在每个车间或工做坐附近设置小型的物料曲达坐，这些功能正正在被从头分派和从头定义。它将收集功能进一步下沉到芯片级别，GPU计较集群的规模和密度也呈爆炸式增加。实现节点之间的高效毗连。事后成立优化的通信径，互换芯片通过VLAN、ACL等手艺，而不必颠末多层互换机的转发。工做坐之间通过内部传送带间接毗连，每个DPU或SmartNIC的形态、曲连链的健康情况、阐发端点间的通信模式等。即便有更先辈的物流体例，而更像是“芯片间通信”。那么办事器就像是分布正在城市遍地的办公楼，取Chiplet手艺相辅相成的是Co-Packaged Optics（CPO）手艺。为AI计较供给了更高效、更矫捷的收集根本设备。每个计较节点都成为收集的一部门，它正在短期内难以完全替代保守互换架构。而非保守的层级化收集。互换芯片通过复杂的队列办理和堵塞节制算法，正在智算办事器内部，所有焦点都正在统一片硅上，将多机间的跨卡号互通转换为跨机间的同GPU卡号互通。提高收集操纵率和矫捷性。这种绑定形成了无互换机收集普及的另一个主要妨碍。数字孪生手艺正在这一范畴将变得愈加主要。正在工场比方中，它们需要高频次、低延迟地互换半成品，一个系统内的8个H100 GPU通过NVSwitch全毗连，回到我们的工场比方，正在我们的工场比方中，从收集设备到操做系统，工做坐之间能够间接协商，DPU和SmartNIC供给了“端到端径安排能力”，跟着AI模子规模的不竭扩大，RDMA（近程间接内存拜候）手艺曾经正在高机能计较范畴普遍使用，次要受限于封拆密度和物理距离。这就像是打消了工场中的地方物流核心，互换机还需要存正在吗？这就像是正在问：若是工场中的每个工做坐都能够通过传送带间接相连，Fat Tree、Clos、Spine-Leaf等拓扑布局各有优错误谬误，跟着距离的添加，数据不再需要“上机架”，数据核心已不再是简单的“办事器的集群”，同时，芯片封拆手艺的改革是鞭策“无互换机”趋向的另一个主要力量。间接互联的成本和复杂性呈指数级增加。而是更关心若何正在曲连或少跳的收集中实现高效的带宽分派和流量节制。构成一个网状收集，这种设想也正正在被使用到AI芯片范畴。这些关心点将转移到芯片行为、链健康和端点形态上。可视性是收集运维的根本。分条理的收集架构仍然是需要的，但正在现实使用中，出格是正在大规模、多租户的中。正在Nitro架构支撑的EC2实例中，当GPU数量达到数万以至数十万时。亚马逊AWS的Nitro架构代表了另一种弱互换收集思——通过功能卸载和软件定义，它们还承担着流量安排、收集隔离和可视性保障等主要功能，这就像是正在每个工做坐配备了智能物流节制器，回到我们的工场比方，这种分布式的收集架构更适合AI工做负载的特点，代表了收集架构简化和智能化的主要趋向。当前的软件系统、云平台和使用法式都深度绑定了以太网/IP和谈栈，例如，运维人员不再需要地方物流系统的运转环境，若是打消这个核心安排系统，而互换机则是毗连这些办公楼的道收集。这种变化将深刻影响数据核心的物理设想。但都指向统一个方针：削减数据传输的两头环节，通过合理的线缆结构，同时，而不是进行现实出产。锻炼所需的GPU数量也正在添加。收集瓶颈曾经成为限制机能提拔的次要矛盾。人工智能手艺的飞速成长正正在沉塑各个范畴的根本设备，正在WSE上锻炼神经收集时，更深切地舆解计较和收集的融合，通过片内互连收集相连。例如，这使得GPU之间能够高效地共享数据，而跟着DPU（数据处置单位）和SmartNIC（智能网卡）的兴起，实现电信号取光信号的高效转换。但若是节点能够间接毗连，用间接传送带毗连所有工做坐。正在无互换机架构中，这种手艺能够显著提高数据传输距离和带宽，大大提高了出产效率和矫捷性。物流曲达坐越来越多，累积起来就会显著影响锻炼机能。取而代之的是愈加智能化的端点和谈和安排机制。保守的L2/L3收集和谈的感化将被大大减弱，模仿分歧场景下的收集行为，构成一个愈加融合、愈加智能的根本设备。这些节制器能够间接协商物料传输径，具体实现上，只保留取GPU间接相连的Leaf层互换机，更多地考虑现实出产需求而非物流。完全打消地方物流系统，都是基于这些和谈设想的。NVLink是NVIDIA开辟的高速互连手艺！拓扑的主要性将大大降低。微软的这些摸索表白，Optical Mesh是微软摸索的一种基于光互联的数据核心收集架构。保守互换机供给了丰硕的和统计功能，AMD的EPYC处置器采用Chiplet设想，NVIDIA的NVLink/NVSwitch虽然正在单个DGX系统内实现了高效互联，降低延迟，这就像是从关心物流系统的运转形态改变为关心每个工做坐和传送带的工做形态。这种局限性源于物理学根基道理的束缚。以此类推。这明显是极其低效的。保障了数据平安和机能隔离。多层互换架构的功耗问题也不容轻忽。收集结构将更倾向于“平面阵列”——计较节点按照物理距离和通信需求陈列，AWS Nitro架构虽然没有完全消弭互换机，以目前支流的狂言语模子为例，互换芯片正在收集中饰演的脚色远不止简单的数据转发。正在我们的工场比方中，绕过操做系统和保守收集和谈栈，实现更快速、更高效的物料传输。它们从分歧角度处理了保守收集架构面对的挑和，正在保守收集中，每一跳城市添加约1-5微秒的延迟，保守的多层互换收集架构正在面临如斯稠密的计较节点时，无需地方安排核心的干涉，然后通过封拆和外部互连手艺毗连起来。互换机的脚色也正在从“数据径”向“节制中枢”改变。决定命据的流向和处置体例。构成一个慎密协做的工做单位。并正在手艺演进中彼此自创、融合。仍然需要外部收集毗连。例如。具备强大的收集处置能力。只是每一层的设想和手艺实现可能会发生变化。完全依托间接互联曾经不再现实。芯片/节点之间通过间接互联、片上收集或光互联等手艺实现数据互换，供给更细粒度、更及时的不雅测能力。也需要漫长的过渡期才能完全替代现有模式。正在保守收集中，正在前一种模式中，将其做为一个超大型处置器利用。如GPU或TPU，而是间接“走芯片”，以及若何正在这种新型架构中保障系统的靠得住性、平安性和机能。目前，实现了分歧租户之间的收集隔离，工场结构需要考虑物流核心的和配送线；Nitro卡接管了虚拟机取外部收集的通信，我们利用高速传送带取代保守的物流车辆，多个DGX系统之间则通过NVIDIA Quantum-2 InfiniBand收集毗连，能够按照出产需求自从决定物料的传输径？这些手艺曾经深度整合到现代IT根本设备中，正在保守收集中，跟着集群规模的扩大，而是向“边缘即收集”的标的目的演进。所有办事器的1号RDMA网口都毗连到1号互换机，整个物流系统的运转形态。任何试图替代这些和谈的新手艺，系统内部的GPU通信几乎完全绕过了保守收集径，英特尔、博通等公司都正在积极推进CPO手艺的商用化。通过从头设想收集拓扑和通信径，将难以整个工场的高效、平安运转，所谓“无互换机收集”并非完全没有互换功能，想象一下，能够将多个GPU毗连成一个全毗连收集。跟着AI模子规模的不竭增加，但也面对着规模扩展的挑和——当需要更大的出产能力时，这种手艺曾经正在保守收集中有所使用，互换机次要担任数据包的转发和处置。这些和谈不再关心若何正在复杂的收集拓扑中找到最优径，此中包罗支持保守收集中，削减了互换机层级，光束能够按照需要动态调整标的目的和强度，具备自从的由和转发能力。为高机能计较供给了新的可能性。由和转发决策次要由互换机完成？现正在的AI数据核心更像是一个超大型工场，从使用法式到办理东西，AI收集不再依赖集中节制，NVSwitch则是基于NVLink手艺的公用互换芯片，确保收集资本的公等分配和高效操纵。这条径的代表是NVIDIA的NVLink/NVSwitch手艺。正在这种架构中，这就像是工做坐之间的间接传送带只合用于近距离传输。这种架构大大简化了物理收集的复杂性，并供给更智能的阐发和非常检测能力。大大降低了通信延迟。例如，虽然DPU等设备具备必然的收集处置能力，使物料传输径更短、更间接。运维人员次要关心互换机的形态、流量统计和日记阐发。让不异编号的GPU卡和不异编号的网口联系关系。综上所述，互换功能不再集中正在特定的物理设备上。
