。CXL技术在CPU内存空间和附加设备上的内存之间保持一致性，这允许资源共享以获得更高的性能，减少软件堆栈的复杂性，并降低整体系统成本。

　　所以一旦开始往设备相关的开发上面走了之后，PCIe可以算是一个绕不过的坎。这几天看了一些和PCIe相关的资料，这里简单的总结一下，也希望对大家有所帮助。这篇文章主要会聚焦在硬件的部分，和操作系统本身没有什么太大的关系，无论是Windows还是Linux，底层的部分都是非常类似的，文章中也会提到调试的方法，不过会主要以Linux为主。 那我们就开始吧！

　　Root Complex是整个PCIe设备树的根节点，CPU通过它与PCIe的总线相连，并最终连接到所有的PCIe设备上。

　　主板上最重要、成本最高的两颗芯片，被称为北桥和南桥，其中北桥负责与处理器对接，主要功能包括：内存、PCI-E、集成显卡、前/后端总线等，都是速度较快的模块；而南桥则负责外围周边功能，速度较慢，主要包括：磁盘、、扩展卡槽、音频模块、I/O接口等等。

　　IntelAMD的新一代处理器，已经将传统北桥的大部分功能都整合在了CPU内部，Intel的Clarkdale与Sandybridge处理器则是完全整合北桥芯片，与其搭配的P55/H55/P67/H67等芯片组其实就是一颗南桥。

　　CPU部分和GPU部分是各自独立的，微观上通过QPI总线相连，宏观上被封装在了一起，接口是与Lynnfield相同的LGA1156。整体上来看Clarkdale不仅整合了内存和PCI-E，还整合了显示核心，看似更加先进。

　　实际上，Clarkdale只是将原本放在主板上的北桥芯片，挪到了CPU的铁盖下面，本质上并没有整合任何东西（包括显卡和内存）。但是与之搭配的H55芯片组，确实只剩下了一颗南桥。北桥的发热量远高于南桥，由于北桥位于处理器上面，因此用户再也不用担心主板的散热问题了。

　　目前市面上热卖的Core i7 8XX和Core i5 7XX处理器，就是基于Lynnfield核心的产品，这是真正意义上整合了北桥的处理器。

　　FSB总线：即前端总线（Front Side Bus），CPU和北桥之间的桥梁，CPU和北桥传递的所有数据必须经过FSB总线，可以这么说FSB总线的频率直接影响到CPU访问内存的速度。

　　北桥：北桥是CPU和内存、显卡等部件进行数据交换的唯一桥梁，也就是说CPU想和其他任何部分通信必须经过北桥。北桥芯片中通常集成的还有内存等，用来控制与内存的通信。现在的主板上已经看不到北桥了，它的功能已经被集成到CPU当中了。

　　PCI总线：PCI总线是一种高性能局部总线，其不受CPU限制，构成了CPU和外设之间的高速通道。比如现在的显卡一般都是用的PCI插槽，PCI总线传输速度快，能够很好地让显卡和CPU进行数据交换。

　　回正题由于Root Complex是管理外部IO设备的，所以在早期的CPU上，Root Complex其实是放在了北桥（MCU）上[5]，后来随着技术的发展，现在已经都集成进了CPU内部了 [8]。（注意下图的System Agent的部分，他就是PCIe Root Complex所在的位置。）

　　另外，虽然是根节点，但是系统里面可以存在不只一个Root Complex。随着PCIe Lane的增加，PCIe和Root Complex的数量也随之增加。比如，我的台式机的CPU是i9-10980xe，上面就有4个Root Complex，而我的笔记本是i7-9750H，上面就只有一个Root Complex。我们在Windows上可以通过设备管理器来查看：

　　PCIe上的设备通过PCIe总线互相连接。虽然PCIe是从PCI发展而来的，并且甚至有很多地方是兼容的，但是它与老式的PCI和PCI-X有两点特别重要的不同： PCIe的总线并不是我们传统意义上共享线路的总线（Bus），而是一个点对点的网络，我们如果把PCI比喻成网络中的集线器（Hub），那么PCIe对应的就是交换机了。换句话说，当Root Complex或者PCIe上的设备之间需要通信的时候，它们会与对方直接连接或者通过交换电路进行点对点的信号传输。[7]

　　PCIe Bus 老式的PCI使用的是单端并行信号进行连接，但是由于干扰过大导致频率无法提升，所以后来就演变成PCIe之后就开始使用了高速串行信号。这也导致了PCI设备和PCIe设备无法兼容，只能通过PCI-PCIe桥接器来进行连接。当然这些我们都不需要再去关心了，因为现在已经很少看见PCI的设备了。 关于PCIe的通讯和包路由交换，我们先到这里，后面会更深入的介绍。

　　Type 1：它表示一个PCIe Switch或者Root Port。和终端设备不同，它的主要作用是用来连接其他的PCIe设备，其中PCIe的Switch和网络中的交换机类似。

　　PCIe上所有的设备，无论是Type 0还是Type 1，在系统启动的时候，都会被分配一个唯一的地址，它有三个部分组成：

　　这就是我们常说的BDF，它类似于网络中的IP地址，一般写作BB:DD.F的格式。在Linux上，我们可以通过lspci命令来查看每个设备的BDF，比如，下面这个FCH SMBus Controller就是00:14.0：

　　所有连接到PCIe总线设备（终端设备），都可以来实现PCIe的Endpoint，用来发起或者接收PCIe的请求和消息。**每个设备可以实现一个或者多个Endpoint，每个Endpoint都对应着一个特定的功能。**比如：

　　说到PCIe设备，脑海里面可能第一反应就是有一个PCIe的插槽，然后把显卡或者其他设备插在里面，就像我们上面看到的这样。但是其实系统中有大量的设备是主板上集成好了的，比如，内存，集成显卡，Ethernet网卡，声卡，USB等等。这些设备在连接PCIe的时候，可以直接连接到Root Complex上面。这种设备就叫做RCIE（Root Complex Integrated Endpoint），如果我们去查看的话，他们的Bus Number都是0，代表Root Complex。

　　那么其他的需要通过插槽连接的设备呢？这些设备就需要通过PCIe Port来连接了。 在Root Complex上，有很多的Root Port，杏彩体育官网这些Port每一个都可以连接一个PCIe设备（Type 0或者Type 1）。

　　本质上，所有这些连接其他设备用的部件都是由桥（Bridge）来实现的，这些桥的两端连接着两个不同的PCIe Bus（Bus Number不同）。 比如，一个Root Port其实是靠两个Bridge来实现的：一个（共享的）Host Bridge（上游连接着CPU，下游连接着Bus 0）和一个PCI Bridge用来连接下游设备（上游连着的是Bus 0（Root Complex），下游连着的PCIe的设备（Bus Number在启动过程中自动分配）） [1]。

　　如果我们需要连接不止一个设备怎么办呢？这时候就需要用到PCIe Switch了。 PCIe Switch内部主要有三个部分：

　　一根虚拟总线：用于将上游和下游的所有端口连接起来，这样，上游的Port就可以访问下游的设备了

　　另外，这里再说明一次 —— 由于PCIe的信号传输是点对点的，所以Switch中间的这个总线只是一个逻辑上的虚拟的总线，其实并不存在，里面真正的结构是一套用于转发的交换电路 [9]。 最后，看到这里也许你会突然想到Root Complex是不是也可以看成是一个Switch呢？我觉得这两个概念最好还是分开，虽然从很多框图上看着确实很像，只不过Root Complex没有Upstream Port杏彩平台官网，连接上游的Host Bridge是连接到CPU上，不过Root Complex内部的功能要远比Switch复杂的多，里面不仅仅是简单的包转发，比如，后面会说到的PCIe请求的生成和转换等等。

　　好了，到这里我们已经将PCIe设备树中的主要部件都介绍完毕了。如果我们把所有这些部件连接在一起，那么其整体的结构就是这样的 [10]：

　　好的，为了避免文章过长，我们这一篇就先到这里，后面有时间再继续总结和PCIe相关的其他知识，比如配置空间和域，消息和消息路由等等。

　　PCIe拓扑特征：图的顶部是一个CPU。这里要说明的一点是，CPU被认为是PCle层次结构的顶层。PCle只允许简单的树结构，这意味着不允许循环或其他复杂的拓扑结构。这样做是为了保持与PCI软件的向后兼容性，PCI软件使用一个简单的配置方案来跟踪拓扑，不支持复杂的环境。为了保持这种兼容性，软件必须能够与以前相同的方式生成配置周期，总线拓扑也必须与以前相同。因此，软件期望找到的所有配置寄存器仍然在那里，并且以它们始终具有的方式运行。

　　Root Complex：简称RC，CPU和PCle总线之间的接口杏彩平台官网，可能包含几个组件(处理器接口、DRAM接口等)，甚至可能包含几个芯片。RC位于PCI倒立树拓扑的“根”，并代表CPU与系统的其余部分进行通信。但是，规范并没有仔细定义它，而是给出了必需和可选功能的列表。从广义上讲，RC可以理解为系统CPU和PCle拓扑之间的接口，PCle端口在配置空间中被标记为“根端口”。

　　Bridge：桥提供了与其他总线(如PCI或PCI- x，甚至是另一个PCle总线)的接口。如图中显示的桥接有时被称为“转发桥接”，它允许旧的PCI或PCIX卡插入新系统。相反的类型或“反向桥接”允许一个新的PCle卡插入一个旧的PCI系统。

　　Switch：提供扩展或聚合能力，并允许更多的设备连接到一个PCle端口。它们充当包路由器，根据地址或其他路由信息识别给定包需要走哪条路径。是一种PCIe转PCIe的桥。

　　如上图，是一个高端服务器系统，系统内建其他组网接口，如FC，ETH，SASSATA等。 “Intel Processor”包含许多组件，大多数现代CPU架构都是如此。这一个包括一个PCle端口访问图形，和2个DRAM通道，这意味着内存和一些路由逻辑已经集成到CPU中。这些资源通常统称为“Uncore”逻辑，将它们与包中的几个CPU内核及其关联逻辑区分开来。 Root Complex描述为CPU和PCle拓扑之间的接口，这意味着该部分必须位于CPU中。