【转载】服务器三大体系SMP、NUMA、MPP介绍


从系统架构来看,目前的商用服务器大体可以分为三类,即对称多处理器结构(SMP:Symmetric Multi-Processor),非一致存储访问结构(NUMA:Non-Uniform Memory Access),以及海量并行处理结构(MPP:Massive Parallel Processing)。
这三种的特征分别描述如下:

1. SMP

<span style="font-family: 宋体;">SMP(Symmetric Multi-Processor),即所谓的对称多处理器结构,是指服务器中多个</span>CPU<span style="font-family: 宋体;">对称工作,无主次或从属关系。各</span>CPU<span style="font-family: 宋体;">共享相同的物理内存,每个</span><span class="Apple-converted-space"><span style="color: #404040; font-family: Verdana;"> </span></span>CPU<span style="font-family: 宋体;">访问内存中的任何地址所需时间是相同的,因此</span>SMP<span style="font-family: 宋体;">也被称为一致存储器访问结构</span>(UMA<span style="font-family: 宋体;">:</span>Uniform Memory Access)<span style="font-family: 宋体;">。对</span>SMP<span style="font-family: 宋体;">服务器进行扩展的方式包括增加内存、使用更快的</span>CPU<span style="font-family: 宋体;">、增加</span>CPU<span style="font-family: 宋体;">、扩充</span>I/O(<span style="font-family: 宋体;">槽口数与总线数</span>)<span style="font-family: 宋体;">以及添加更多的外部设备</span>(<span style="font-family: 宋体;">通常是磁盘存储</span>)<span style="font-family: 宋体;">。</span>

SMP<span style="font-family: 宋体;">服务器的主要特征是共享,系统中所有资源</span>(CPU<span style="font-family: 宋体;">、内存、</span>I/O<span style="font-family: 宋体;">等</span>)<span style="font-family: 宋体;">都是共享的。也正是由于这种特征,导致了</span>SMP<span style="font-family: 宋体;">服务器的主要问题,那就是它的扩展能力非常有限。对于</span>SMP<span style="font-family: 宋体;">服务器而言,每一个共享的环节都可能造成</span>SMP<span style="font-family: 宋体;">服务器扩展时的瓶颈,而最受限制的则是内存。由于每个</span>CPU<span style="font-family: 宋体;">必须通过相同的内存总线访问相同的内存资源,因此随着</span>CPU<span style="font-family: 宋体;">数量的增加,内存访问冲突将迅速增加,最终会造成</span>CPU<span style="font-family: 宋体;">资源的浪费,使</span><span class="Apple-converted-space"><span style="color: #404040; font-family: Verdana;"> </span></span>CPU<span style="font-family: 宋体;">性能的有效性大大降低。实验证明,</span>SMP<span style="font-family: 宋体;">服务器</span>CPU<span style="font-family: 宋体;">利用率最好的情况是</span>2<span style="font-family: 宋体;">至</span>4<span style="font-family: 宋体;">个</span>CPU<span style="font-family: 宋体;">。</span>

SMP服务器CPU利用率状态

图1 SMP服务器CPU利用率状态

2. NUMA

NUMA(Non-Uniform Memory Access):由于SMP在扩展能力上的限制,人们开始探究如何进行有效地扩展从而构建大型系统的技术,NUMA就是这种努力下的结果之一。利用NUMA技术,可以把几十个CPU(甚至上百个CPU)组合在一个服务器内。其CPU模块结构如图2所示:

NUMA服务器CPU模块结构

图2 NUMA服务器CPU模块结构

NUMA<span style="font-family: 宋体;">服务器的基本特征是具有多个</span>CPU<span style="font-family: 宋体;">模块,每个</span>CPU<span style="font-family: 宋体;">模块由多个</span>CPU(<span style="font-family: 宋体;">如</span>4<span style="font-family: 宋体;">个</span>)<span style="font-family: 宋体;">组成,并且具有独立的本地内存、</span>I/O<span style="font-family: 宋体;">槽口等。由于其节点之间可以通过互联模块</span>(<span style="font-family: 宋体;">如称为</span>Crossbar Switch)<span style="font-family: 宋体;">进行连接和信息交互,因此每个</span>CPU<span style="font-family: 宋体;">可以访问整个系统的内存</span>(<span style="font-family: 宋体;">这是</span>NUMA<span style="font-family: 宋体;">系统与</span>MPP<span style="font-family: 宋体;">系统的重要差别</span>)<span style="font-family: 宋体;">。显然,访问本地内存的速度将远远高于访问远地内存</span>(<span style="font-family: 宋体;">系统内其它节点的内存</span>)<span style="font-family: 宋体;">的速度,这也是非一致存储访问</span>NUMA<span style="font-family: 宋体;">的由来。由于这个特点,为了更好地发挥系统性能,开发应用程序时需要尽量减少不同</span>CPU<span style="font-family: 宋体;">模块之间的信息交互。利用</span>NUMA<span style="font-family: 宋体;">技术,可以较好地解决原来</span>SMP<span style="font-family: 宋体;">系统的扩展问题,在一个物理服务器内可以支持上百个</span>CPU<span style="font-family: 宋体;">。比较典型的</span>NUMA<span style="font-family: 宋体;">服务器的例子包括</span>HP<span style="font-family: 宋体;">的</span>Superdome<span style="font-family: 宋体;">、</span>SUN15K<span style="font-family: 宋体;">、</span>IBMp690<span style="font-family: 宋体;">等。</span>

<span style="font-family: 宋体;">但</span>NUMA<span style="font-family: 宋体;">技术同样有一定缺陷,由于访问远地内存的延时远远超过本地内存,因此当</span>CPU<span style="font-family: 宋体;">数量增加时,系统性能无法线性增加。如</span>HP<span style="font-family: 宋体;">公司发布</span>Superdome<span style="font-family: 宋体;">服务器时,曾公布了它与</span>HP<span style="font-family: 宋体;">其它</span>UNIX<span style="font-family: 宋体;">服务器的相对性能值,结果发现,</span>64<span style="font-family: 宋体;">路</span>CPU<span style="font-family: 宋体;">的</span>Superdome (NUMA<span style="font-family: 宋体;">结构</span>)<span style="font-family: 宋体;">的相对性能值是</span>20<span style="font-family: 宋体;">,而</span>8<span style="font-family: 宋体;">路</span>N4000(<span style="font-family: 宋体;">共享的</span>SMP<span style="font-family: 宋体;">结构</span>)<span style="font-family: 宋体;">的相对性能值是</span>6.3<span style="font-family: 宋体;">。从这个结果可以看到,</span>8<span style="font-family: 宋体;">倍数量的</span>CPU<span style="font-family: 宋体;">换来的只是</span>3<span style="font-family: 宋体;">倍性能的提升。</span>

3. MPP

<span style="font-family: 宋体;">和</span>NUMA<span style="font-family: 宋体;">不同,</span>MPP(Massive Parallel Processing)<span style="font-family: 宋体;">提供了另外一种进行系统扩展的方式,它由多个</span>SMP<span style="font-family: 宋体;">服务器通过一定的节点互联网络进行连接,协同工作,完成相同的任务,从用户的角度来看是一个服务器系统。其基本特征是由多个</span>SMP<span style="font-family: 宋体;">服务器</span>(<span style="font-family: 宋体;">每个</span>SMP<span style="font-family: 宋体;">服务器称节点</span>)<span style="font-family: 宋体;">通过节点互联网络连接而成,每个节点只访问自己的本地资源</span>(<span style="font-family: 宋体;">内存、存储等</span>)<span style="font-family: 宋体;">,是一种完全无共享</span>(Share Nothing)<span style="font-family: 宋体;">结构,因而扩展能力最好,理论上其扩展无限制,目前的技术可实现</span>512<span style="font-family: 宋体;">个节点互联,数千个</span>CPU<span style="font-family: 宋体;">。目前业界对节点互联网络暂无标准,如</span><span class="Apple-converted-space"><span style="color: #404040; font-family: Verdana;"> </span></span>NCR<span style="font-family: 宋体;">的</span>Bynet<span style="font-family: 宋体;">,</span>IBM<span style="font-family: 宋体;">的</span>SPSwitch<span style="font-family: 宋体;">,它们都采用了不同的内部实现机制。但节点互联网仅供</span>MPP<span style="font-family: 宋体;">服务器内部使用,对用户而言是透明的。</span>

<span style="font-family: 宋体;">在</span>MPP<span style="font-family: 宋体;">系统中,每个</span>SMP<span style="font-family: 宋体;">节点也可以运行自己的操作系统、数据库等。但和</span>NUMA<span style="font-family: 宋体;">不同的是,它不存在异地内存访问的问题。换言之,每个节点内的</span>CPU<span style="font-family: 宋体;">不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的,这个过程一般称为数据重分配</span>(Data Redistribution)<span style="font-family: 宋体;">。</span>

<span style="font-family: 宋体;">但是</span>MPP<span style="font-family: 宋体;">服务器需要一种复杂的机制来调度和平衡各个节点的负载和并行处理过程。目前一些基于</span>MPP<span style="font-family: 宋体;">技术的服务器往往通过系统级软件</span>(<span style="font-family: 宋体;">如数据库</span>)<span style="font-family: 宋体;">来屏蔽这种复杂性。举例来说,</span>NCR<span style="font-family: 宋体;">的</span>Teradata<span style="font-family: 宋体;">就是基于</span>MPP<span style="font-family: 宋体;">技术的一个关系数据库软件,基于此数据库来开发应用时,不管后台服务器由多少个节点组成,开发人员所面对的都是同一个数据库系统,而不需要考虑如何调度其中某几个节点的负载。</span>

4. NUMA和MPP的区别

<span style="font-family: 宋体;">从架构来看,</span>NUMA<span style="font-family: 宋体;">与</span>MPP<span style="font-family: 宋体;">具有许多相似之处:它们都由多个节点组成,每个节点都具有自己的</span>CPU<span style="font-family: 宋体;">、内存、</span>I/O<span style="font-family: 宋体;">,节点之间都可以通过节点互联机制进行信息交互。那么它们的区别在哪里?通过分析下面</span>NUMA<span style="font-family: 宋体;">和</span>MPP<span style="font-family: 宋体;">服务器的内部架构和工作原理不难发现其差异所在。</span>

<span style="font-family: 宋体;">首先是节点互联机制不同,</span>NUMA<span style="font-family: 宋体;">的节点互联机制是在同一个物理服务器内部实现的,当某个</span>CPU<span style="font-family: 宋体;">需要进行远地内存访问时,它必须等待,这也是</span>NUMA<span style="font-family: 宋体;">服务器无法实现</span>CPU<span style="font-family: 宋体;">增加时性能线性扩展的主要原因。而</span>MPP<span style="font-family: 宋体;">的节点互联机制是在不同的</span>SMP<span style="font-family: 宋体;">服务器外部通过</span>I/O<span class="Apple-converted-space"><span style="color: #404040; font-family: Verdana;"> </span></span><span style="font-family: 宋体;">实现的,每个节点只访问本地内存和存储,节点之间的信息交互与节点本身的处理是并行进行的。因此</span>MPP<span style="font-family: 宋体;">在增加节点时性能基本上可以实现线性扩展。</span>

<span style="font-family: 宋体;">其次是内存访问机制不同。在</span>NUMA<span style="font-family: 宋体;">服务器内部,任何一个</span>CPU<span style="font-family: 宋体;">可以访问整个系统的内存,但远地访问的性能远远低于本地内存访问,因此在开发应用程序时应该尽量避免远地内存访问。在</span>MPP<span style="font-family: 宋体;">服务器中,每个节点只访问本地内存,不存在远地内存访问的问题。</span>

MPP服务器架构图图3 NUMA和MPP的比较

5. 数据仓库的选择

<span style="font-family: 宋体;">哪种服务器更加适应数据仓库环境?这需要从数据仓库环境本身的负载特征入手。众所周知,典型的数据仓库环境具有大量复杂的数据处理和综合分析,要求系统具有很高的</span>I/O<span style="font-family: 宋体;">处理能力,并且存储系统需要提供足够的</span>I/O<span style="font-family: 宋体;">带宽与之匹配。而一个典型的</span>OLTP<span style="font-family: 宋体;">系统则以联机事务处理为主,每个交易所涉及的数据不多,要求系统具有很高的事务处理能力,能够在单位时间里处理尽量多的交易。显然这两种应用环境的负载特征完全不同。</span>

<span style="font-family: 宋体;">从</span>NUMA<span style="font-family: 宋体;">架构来看,它可以在一个物理服务器内集成许多</span>CPU<span style="font-family: 宋体;">,使系统具有较高的事务处理能力,由于远地内存访问时延远长于本地内存访问,因此需要尽量减少不同</span>CPU<span style="font-family: 宋体;">模块之间的数据交互。显然,</span>NUMA<span style="font-family: 宋体;">架构更适用于</span>OLTP<span style="font-family: 宋体;">事务处理环境,当用于数据仓库环境时,由于大量复杂的数据处理必然导致大量的数据交互,将使</span>CPU<span style="font-family: 宋体;">的利用率大大降低。</span>

<span style="font-family: 宋体;">相对而言,</span>MPP<span style="font-family: 宋体;">服务器架构的并行处理能力更优越,更适合于复杂的数据综合分析与处理环境。当然,它需要借助于支持</span>MPP<span style="font-family: 宋体;">技术的关系数据库系统来屏蔽节点之间负载平衡与调度的复杂性。另外,这种并行处理能力也与节点互联网络有很大的关系。显然,适应于数据仓库环境的</span>MPP<span style="font-family: 宋体;">服务器,其节点互联网络的</span>I/O<span style="font-family: 宋体;">性能应该非常突出,才能充分发挥整个系统的性能。</span>

原文地址:http://server.51cto.com/sCollege-198840.htm


添加新评论

选择表情 captcha

友情提醒:不填或错填验证码会引起页面刷新,导致已填的评论内容丢失。

|