CXL:简化服务器结构

服务器架构正在经历一场巨大的颠覆,从根本上从以计算为中心转变为更多以数据为中心的.在过去的十年里,cpu获得了越来越多的核心,但它们的带宽却没有跟上。由于CPU的总带宽是在多个核之间分配的,因此核数的增加会降低每个核的有效可用带宽,从而降低CPU的单核性能。相比之下,内存和存储设备的带宽在同一时期增加了2-3个数量级。这意味着cpu无法在不影响应用程序性能的情况下充分利用现代内存设备的潜力。

就像GPU如何加速高度并行工作负载的处理一样,数据处理单元(DPU)已经被开发出来,可以与加速器、存储和网络设备一起跨总线卸载CPU的数据管理任务。尽管处理被委托给多个设备,但只有当设备自己可以写回系统内存而不需要CPU太多参与时,CPU才能真正卸载。此外,每个CPU插槽只能安装几tb的DDR和HBM内存,但如果PCIe端口可以承载内存,我们可以走得更远。为了解决这些问题,2019年出现了一个名为CXL的新非专有标准。


什么是CXL?

计算快速链路(Compute Express Link, CXL)是建立在普遍存在的PCIe标准之上的高速低延迟缓存一致互连标准。CXL升级了PCIe功能,允许CPU和加速器从彼此的内存中加载存储。该标准减少了CPU在进程中的参与,并最大限度地减少了总线上的冗余数据移动。CXL标准由三种协议组成——IO、缓存和内存——它们可以以多种方式组合在一起,以支持不同的使用场景,如下图所示。

CXL的代表性用例

CXL IO缓存内存

来源:CXL 2.0白皮书


CXL和其他互连

CXL联盟得到了业界的大力支持,拥有超过165个成员,几乎涵盖了所有主要的cpu、gpu、内存、存储和网络设备制造商。CXL的成员资格大大超过了其他一致的互连标准,如CCIX和OpenCAPI。由于基于PCIe, CXL的电缆长度限制在4英寸,这限制了它最初作为机箱内互连的范围。但在最近与Gen-Z合并后,CXL将能够利用以太网,将电缆的覆盖范围扩大到几十米。我们的报告”CXL:民主化服务器分解提供了CXL与其他相干互连的更详细的比较。


CXL推动超大规模和HPC扩展

随着越来越多的服务和业务功能被移植到基于云计算平台在美国,数据中心将变得更大、更复杂,以满足行业不断增长的需求。在使用DDR或HBM内存时(由于物理、电源和成本限制),将服务器内存扩展到某个点以外就不那么有吸引力了。CXL支持使用PCIe连接的DRAM,可以扩展到pb级内存,同时提供对CPU的字节级访问,就像DDRx DRAM一样。

此外,CXL消除了ddr安装的DRAM的15瓦功率限制,为更快、更低延迟和液冷存储器创造了途径。当CXL克服初期问题并开始提供真正介于内存和存储之间的性价比时,它为持久内存(P-MEM)的未来采用创造了一个门户。

CXL简化了P-MEM与服务器架构的集成

P-mem DRAM存储器

来源:CXL 2.0白皮书

尽管解决了电缆到达极限,但CXL面临的一些挑战包括延迟、不对称一致性、缺乏点对点通信以及缺乏对多层交换机的支持,报告中对此进行了进一步解释《CXL:民主化服务器分解》


结论

构建CXL是为了简化加速器和内存扩展的互连和可扩展性。在内存扩展优先考虑成本和容量而不是延迟的场景中,CXL具有主导服务器互连市场的强大潜力。基于cxl的内存可能被视为HBM的补充。在接下来的十年里,它们可能会威胁到基于ddr的内存在服务器领域的主导地位。

对位推荐阅读

2018年,微芯片、英特尔和英伟达主导了50亿美元的服务器加速器市场

随着数据中心公司希望增加云服务市场份额,云服务器资本支出飙升

全球服务器市场收入增长28%至86美元;戴尔和惠普领先

2018年云服务器市场飙升至860亿美元,戴尔、惠普、联想领跑