小型通用高性能计算平台的设计与实现

2019年10月Oct.摇2019COMPUTERTECHNOLOGYANDDEVELOPMENT

小型通用高性能计算平台的设计与实现

(1.江汉大学交叉学科研究院,湖北武汉430056;

陈红梅1,郭摇伟2,赖重远1

2.江汉大学数学与计算机科学学院,湖北武汉430056)

摘摇要:随着高性能计算技术和应用的发展,计算模拟已成为科学研究中不可缺少的第三种方法。国内各大高校和科研院所纷纷建立了高性能计算平台,它们大多是针对重点学科大规模数据处理的特点,建立了比较有针对性的高性能计算平台。江汉大学作为一所综合性普通高等学校,其大数据处理的规模相对有限、类型多样,且时间具有阶段性。依据自身大数据处理的特点,本着开放共享、全体受益的原则,江汉大学设计并实现了小型通用高性能计算平台的建设。该平台创建了一个通用的计算环境,同时又考虑了不同用户和应用的特殊需求。平台提供多核CPU并行计算、GPU并行计算和SMP并行计算。平台建立后为各院系提供了高性能计算服务,支持了学校多个科研项目,大力支援了学校科研工作的发展。

关键词:大数据处理;高性能计算平台;多核CPU;GPU;SMP

中图分类号:TP399摇摇摇摇摇摇文献标识码:A摇摇摇摇摇摇摇文章编号:1673-629X(2019)10-0186-05doi:10.3969/j.issn.1673-629X.2019.10.036

DesignandImplementationofSmallUniversalHighPerformance

ComputingPlatform

(1.InstituteofInterdisciplinaryResearch,JianghanUniversity,Wuhan430056,China;

CHENHong-mei1,GUOWei2,LAIZhong-yuan1

2.SchoolofMathematicsandComputerScience,JianghanUniversity,Wuhan430056,China)

Abstract:Withthedevelopmentofhighperformancecomputingtechnologyandapplication,computationalsimulationhasbecomeanin鄄dispensablethirdmethodinscientificresearch.Domesticuniversitiesandresearchinstituteshaveestablishedhighperformancecomputingplatform,mostofwhichareaimedatbigdataprocessingofkeydisciplinesandhaveestablishedarelativelyhighperformancecomputingplatform.Asacomprehensiveuniversity,thebigdataprocessinginJianghanUniversityisrelativelylimited,varioustypesanditstimeisintermittent.Accordingtothecharacteristicsofitsownbigdataprocessing,inlinewiththeprincipleofopensharingandbenefitforall,JianghanUniversityhasdesignedandimplementedasmalluniversalhighperformancecomputingplatform.Thisplatformcreatesauniversalcomputingenvironmentwhiletakingintoaccountthespecialneedsofdifferentusersandapplications.Theplatformprovidesmulti-coreCPUparallelcomputing,GPUparallelcomputingandSMPparallelcomputing.Aftertheestablishmentoftheplatform,itprovideshighperformancecomputingservicesforeachdepartment,supportsmanyscientificresearchprojectsoftheuniversity,andstronglysupportsthedevelopmentofscientificresearchworkoftheuniversity.

Keywords:bigdataprocessing;highperformancecomputingplatform;multi-coreCPU;GPU;SMP

0摇引摇言

长期以来,理论推导和科学实验是人类进行科学研究的两大方法,但随着高性能计算技术和应用的蓬勃发展,计算模拟已成为科学研究中不可缺少的第三种方法[1]。高性能计算已经在基础科学研究、工业设计等各个领域广泛应用,解决了一些重大科学和工程

问题[2]。高性能计算是前沿性的高技术,是各国争夺的战略制高点,是国家创新体系的重要组成部分。合性普通高等学校的大数据处理具有以下特点:

(1)数据处理的规模相对有限;

(2)数据处理的类型多样,有的需要复杂计算步高校的科学研究急需高性能计算技术的支持。综

收稿日期:2018-12-03摇摇摇摇摇摇修回日期:2019-04-03摇摇摇摇摇摇网络出版时间:2019-06-26基金项目:国家自然科学基金(61501208)

作者简介:陈红梅(1982-),女,实验师,硕士,研究方向为高性能计算、模式识别。网络出版地址:http://kns.cnki.net/kcms/detail/61.1450.TP.20190626.0833.044.html

摇第10期摇摇摇摇摇摇摇摇摇摇摇摇陈红梅等:小型通用高性能计算平台的设计与实现·187·

骤和复杂数据依赖,有的需要大量重复的数据集运算以及密集的内存存取,有的需要共享存储,等等;等学校的数据处理需求一般跟随项目情况变化。

(3)数据处理的时间具有阶段性,综合性普通高

2摇小型通用高性能计算平台研究

2.1摇几种类型的高性能计算对计算环境的需求

对于具有复杂计算步骤和复杂数据依赖的计算任务,如分布式计算、人工智能、物理模拟,以及其他通用应用程序等,适合使用多核CPU(centralprocessingunit)进行并行计算。对于需要大量重复的数据集运算以及密集的内存存取的计算任务,如视频编码解码、矩阵运算、医疗应用、生命科学等研究应用,适合使用GPU(graphicsprocessingunit)进行并行计算。对于共1摇高性能计算机发展现状

随着个人计算机和局域网技术的快速发展、Linux操作系统的日趋稳定,以及基于消息传递的并行程序设计标准的发布,诞生了集群系统。

集群系统是使用高速通信网络将多台原本独立的微机或工作站连接在一起,构成一个统一的整体,使之可作为一种单一的资源来使用。以提高科学计算能力为目的的集群系统,称为高性能计算集群[3]群式高性能计算机。

,也称为集中国已成为继美国、日本之后的第三个具备高性能计算机研制能力的国家,成为了世界高性能计算机市场的“第三股力量冶[4]学研制的“天河二号冶超级计算机位列世界。2013年6月,由国防科技大TOP500第一名,并连续6次蝉联冠军。2016年6月,由国家并行计算机工程技术研究中心研制的“神威·太湖之光冶取得世界TOP500冠军。截至2017年11月,“神威·太湖之光冶和“天河二号冶连续四次分列世界TOP500的冠亚军[5]基于高性能计算机的精量化研究和模拟分析手

。

段,建设高性能计算平台对相关学科追踪国际科技前沿,提升科学研究水平,促进学科交叉和催生新兴学科具有积极意义。

鉴于此,国内各大高校和科研院所很多已经建立了自己的高性能计算平台。清华大学2005年底就建立了自己的高性能计算平台[6]2003。中国科技大学于

运算联合实验室年10月初步建成了中国科大,后经不断的发展扩建-中国惠普高性能,于2013年建成了中国科技大学超级计算中心。上海交通大学于2013[7]

年建立了超算中心

年建成了高性能计算中心[8]

高性能计算平台。建立了高性能计算平台的高校大多。北京大学也于。武汉大学于2016年建成了

2015

是依托校内的一两个重点学科,针对重点学科大规模数据处理的特点,建立了比较有针对性的高性能计算平台。

江汉大学作为一所综合性普通高等学校,校内各理工学科对于高性能计算也有着迫切需求。结合普通高校大规模数据处理的特点,本着开放共享、全体受益的原则,江汉大学于2014年建立了小型通用高性能计算平台。该平台为全校师生提供高性能计算服务,为学校的科研提供基础性平台支持。

享存储的计算任务,如数据库、在线事务处理系统和数据仓库等,适合使用SMP(symmetricalmulti-processing)进行并行计算。这是由CPU、GPU和SMP各自的设计目的和内部的结构差异所决定的。

和数值的并行运算(1)CPU被设计成为一个,大部分的晶体管用在了高速缓存“通才冶,它要兼顾指令

和控制电路上,控制电路内部仅有少量的算术逻辑单元(ALU),更多的是用于加速分支判断甚至更复杂的逻辑判断的硬件。CPU的设计目的是指令执行的高效率,实现程序执行时的指令相关性和数据相关性等复杂逻辑[9]环、分支、逻辑判断以及执行等的程序任务。CPU擅长处理拥有复杂指。

令调度、循它内部的大部分晶体管被用来进行数据处理(2)GPU则被设计成为一个专注计算的“,专才只有少冶,

量的被用做数据缓存和指令流控制。GPU的设计目的是面向矩阵类型的数值计算,它的众核架构(比如NVIDIATeslaK20M有2496个CUDA核心)[10-11]非常适合把同样的指令流并行发送到众核上,采用不同的输入数据执行。GPU的优势是进行无逻辑关系数据的并行计算。

(3)SMP体系结构[12]的特点是基于共享存储,具

有多级高速缓存,通过高速监听总线实现处理器与共享存储器之间的连接。SMP最重要的特性是系统是对称的,每个处理器可等同地访问共享存储器、I/O设备和操作系统服务。正是对称,才能开拓较高的并行度。

综上所述,GPU在并行计算上的优势无可厚非,但是GPU计算上的突出优势也仅仅体现在浮点运算上,在整数运算、逻辑运算和控制运算上,相较于CPU劣势十分明显。依据综合性普通高等学校大数据处理的特点,高性能计算平台合理的构建方式应该是主要配备CPU计算节点,然后配备少量的GPU计算节点和SMP计算节点。

2.2摇江汉大学通用高性能计算平台的设计与实现

依据综合性普通高等学校大数据处理的特点,江汉大学深入开展调研和前期论证研讨,遵照按需建设、适度超前的原则,创建了一个小型通用高性能计算平

摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇计算机技术与发展摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇第29卷·摇18摇8·

台。此平台创建了一个通用的计算环境,同时又考虑了不同用户和应用的特殊需求。江汉大学小型通用高

性能计算平台的拓扑如图1所示。

图1摇江汉大学小型通用高性能计算平台拓扑

摇摇(1)计算节点。

硬盘。

2个CPU(E5-2640V2,8核2.0GHz,20M缓存),64G内存(8*8GBRDIMM,1333MHz),2个300G15KSAS2.5寸硬盘。

(3)存储系统。

主存储是MD3600f,含12个600GB3.5\"15KRPM,6GbpsSAS硬盘;配带2个存储盘柜MD1200,每个盘柜含12个600GB3.5\"15KRPM,6GbpsSAS硬盘。共21.6T。存储系统做完RIAD5之后,容量大概是17T。

备份存储是DELLR720XD,含12个2T的存储硬盘,配备一个存储盘柜,内含8个2T的存储硬盘。

(4)通信网络。

整个平台使用CISCOWS-C4506万兆以太网交换机,通过网络实现所有节点的互联。为满足高性能计算对数据传输的性能要求,计算网络使用56Gbps速率的Infiniband网络[13-14]实现计算节点、登陆节点和I/O节点间的高速连接。

(5)作业调度系统。

平台的操作系统为RedhatLinuxServer6.4,应用开发环境软件为IntelClusterStudio软件工具包。作业调度系统为IBMPlatformLSF,平台所有用户通过Platform作业调度系统[15]提交作业,所有作业统一排队等待系统分配资源运行。目前平台共提供三种队列:第一种是用于多核CPU计算的normal队列;第二

I/O服务器2台:DELLR720,每个I/O服务器含

江汉大学小型通用高性能计算平台拥有三种类型多核CPU节点:刀箱1台,含16个刀片服务器DELLM620,每个刀片服务器含2个CPU(E5-2650V2,8核2.6GHz20M缓存),64GB内存(8*8点的峰值计算能力是每秒5.3万亿次浮点运算。

GPU节点2个:DELLR720服务器,每台含2个CPU(E5-2650V2,8核2.6GHz20M缓存),64GB内存(8*8GBRDIMM,1333MHz)、2个300GB15KSAS2.5寸硬盘。每台GPU服务器配备2个NVIDIA1.17万亿次每秒,单精度浮点运算能力是3.52万亿次每秒。

4820,8核2.0GHz18M缓存),1T内存(64*16GB

(2)登录、管理和I/O节点。

SMP节点1个:DELLR910服务器,4个CPU(E7-TeslaK20MGPU卡。GPU节点的双精度浮点性能是GBRDIMM,1333MHz)、300GB15K硬盘。CPU节

的计算节点:多核CPU节点、GPU节点和SMP节点。

1333MHz)、2个300GB15KSAS2.5寸硬盘。

2个CPU(E5-2640V2,8核2.0GHz,20M缓存),64G内存(8*8GBRDIMM,1333MHz),2个300G15KSAS2.5寸硬盘。

2620V2,6核2.0GHz,15M缓存),64G内存(8*8

登录服务器2台:DELLR720,每个登录服务器含

管理服务器1台:DELLR720,含2个CPU(E5-

GBRDIMM,1333MHz),2个300G15KSAS2.5寸

摇第10期摇摇摇摇摇摇摇摇摇摇摇摇陈红梅等:小型通用高性能计算平台的设计与实现·189·

种是用于共享存储计算的bigmem队列;第三种是用于GPU计算的owerns队列。

机科学学院、护理与医学技术学院、医学院、物理与信息工程学院、工程训练中心等院系提供了高性能计算服务,专业及研究方向涵盖凝聚态物理、计算机应用、模式识别、软物质物理、表观遗传学、有机高分子材料、医学等。使用高峰时多核CPU计算和共享存储计算队列需要排队等待,图形计算的GPU队列使用较少。平台使用情况如图2所示。

3摇江汉大学通用计算平台对科研的支持

小型通用高性能计算平台建立后,通过为校内科研工作者提供高质量的计算服务,对支援学校科研发展起到了积极的作用。从2014年9月建立,至2018年10月,该计算平台为交叉学科研究院、数学与计算

(a)通用计算平台作业列表

(b)通用计算平台资源使用情况

图2摇平台使用情况

摇摇江汉大学小型通用高性能计算平台建立之后的四年时间里,共支持了七项国家级项目,分别是“聚合物

摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇计算机技术与发展摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇第29卷·摇19摇0·

材料的光电性质及杂原子微观动力学机制冶、“基于聚苯胺金属纳米线复合透明对电极的双面进光燃料敏华太阳能电池研究冶、“亚分子级分辨原子力显微镜中分子修饰针尖的第一性原理研究冶、“步行分子马达在金属表面的定向扩散机制的理论研究冶、“二维平面上混合自组装单层有序微相的结构调控和性质研究冶、“物体形状部分视觉显著性度量及其应用冶、“基于分子内电荷转移的BODIPY类荧光衍生物的机制研究冶。支持了四项省部级项目,分别是“基于随机优化的公共服务设施选址问题研究冶、“突发事件下城市交通拥堵传播规律及控制策略研究冶、“太阳能光伏发电智能化监测及信息管理系统冶、“基于第二代高通量测序技术研究干旱胁迫条件下拟南芥去乙酰化酶HDA9负调控和HDA6正调控作用机制冶。支持了一项校级项目“混合溶液中核酸单链的柔性冶。

[4]摇赵摇毅,朱摇鹏,迟学斌,等.浅析高性能计算应用的需求

与发展[J].计算机研究与发展,2007,44(10):1640-1646.析[J].世界科技研究与发展,2018,40(3):249-260.与实践[J].实验技术与管理,2012,29(5):217-220.[5]摇郑晓欢,陈明奇,唐摇川,等.全球高性能计算发展态势分[6]摇林摇皎,陈玉洁,张武生,等.高性能计算平台建设的探索[7]摇林新华,顾一众.上海交通大学高性能计算建设的理念与

303.

实践[J].华东师范大学学报:自然科学版,2015(S1):298-

[8]摇黄建忠,张沪寅,程摇媛.开放式高性能计算平台的建设与

研究[J].计算机教育,2012(22):55-59.

[9]摇PRODROMIDISAL,STOLFOSJ.Costcomplexity-based

pruningofensembleclassifiers[J].KnowledgeandInforma鄄tionSystems,2001,3(4):449-469.

[10]苏华友.面向应用的GPU并行计算关键技术研究[D].长

沙:国防科学技术大学,2014.

[11]SEILERL,CARMEAND,SPRANGLEE,etal.Larrabee:a

TransactionsonGraphics,2008,27(3):1-15.

[12]RABENSEIFNERR,HAGERG,JOSTG.HybridMPI/

OpenMPparallelprogrammingonclustersofmulti-coreSMPnodes[C]//17thEuromicrointernationalconferenceonparallel,distributedandnetwork-basedprocessing.Weimar,Germany:IEEE,2009:427-436.

[13]DESHMUKHVD.InfiniBand:anewerainnetworking

[C]//Nationalconferenceoninnovativeparadingmsinengi鄄neering&technology.[s.l.]:IEEE,2012:15-18.

4摇结束语

江汉大学小型通用高性能计算平台的建立,缓解了江汉大学科研工作者计算资源短缺的问题,为他们提供了一个稳定、可靠的计算环境。高性能计算平台的良好运行,提高了江汉大学的科技成果产出效率,使得江汉大学在计算方面的科学研究得到了进一步的发展。

参考文献:

[1]摇陈志明.科学计算:科技创新的第三种方法[J].中国科学

院院刊,2012,27(2):161-166.报,2016,34(14):22-28.

[2]摇臧大伟,曹摇政,孙凝晖.高性能计算的发展[J].科技导[3]摇万晓姣.基于linux系统集群的架构与实现[J].电子世界,

2012(10):94-95.

many-corex86architectureforvisualcomputing[J].ACM

[14]SHANLEYT.InfiniBandnetworkarchitecture[M].USA:

Addison-WesleyProfessional,2002.

[15]BHATELEA,KALELV,KUMERS.Dynamictopologya鄄

wareloadbalancingalgorithmsformoleculardynamicsappli鄄cations[C]//Internationalconferenceonsupercomputing.YorktownHeights,NY,USA:ACM,2009:110-116.

蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚蕚

(上接第169页)

摇

ACM,2016:26-31.

摇[C]//Proceedingsof2014Asia-Pacificconferenceoncom鄄Press,2015:187-190.

[5]摇CARDELLINIV,GRASSIV,PRESTIFL,etal.Distributed

QoS-awareschedulinginstorm[C]//ACMinternationalconferenceondistributedevent-basedsystems.Oslo,Nor鄄way:ACM,2015:344-347.

[6]摇ANIELLOL,BALDONIR,QUERZONIL.Adaptiveonline

schedulinginstorm[C]//ACMinternationalconferenceondistributedevent-basedsystems.Arlington,Texas,USA:ACM,2013:207-218.

[7]摇熊安萍,王贤稳,邹摇洋.基于Storm拓扑结构热边的调度

算法[J].计算机工程,2017,43(1):37-42.

[8]摇ESKANDARIL,HUANGZhiyi,EYERSD.P-Scheduler:a鄄

daptivehierarchicalschedulinginapachestorm[C]//Aus鄄tralasiancomputerscienceweekmulticonference.[s.l.]:puterscienceandapplications.BocaRaton,USA:CRC

[9]摇鲁摇亮,于摇炯,卞摇琛,等.Storm环境下基于权重的任务

调度算法[J].计算机应用,2018,38(3):699-706.[10]YANGXinshe,DEBS.Engineeringoptimisationbycuckoo

search[J].InternationalJournalofMathematicalModelling&NumericalOptimisation,2010,1(4):330-343.

[11]施文章,韩摇伟,戴睿闻.模拟退火下布谷鸟算法求解车间

253.

作业调度问题[J].计算机工程与应用,2017,53(17):249-

[12]杨辉华,张晓凤,谢谱模,等.基于布谷鸟搜索的多处理器

任务调度算法[J].计算机科学,2015,42(1):86-89.[13]赵摇莉.基于改进布谷鸟搜索算法的云计算资源调度[J].

南京理工大学学报:自然科学版,2016,40(4):472-476.统实例[J].软件学报,2014,25(4):839-862.

[14]孙大为,张广艳,郑纬民.大数据流式计算:关键技术及系[15]熊安萍,段杭彪,蒋亚雄.Storm下基于最佳并行度的贪心

调度算法[J].计算机应用研究,2019,36(5):1068-1071.