计算资源

华中农业大学超算平台集群计算资源包含2类资源，一类为HPC算力（x86），一类为HPC算力（ARM），其中x86资源包含：2台登录节点、58台计算节点、3台大内存节点；ARM 资源包含：1台运维节点、2台登录节点、2台管理节点、43台计算节点、1台NPU节点、3台大内存节点。

各节点详细硬件配置如下：

存储资源

存储资源包含1框8节点华为全闪存储OceanStor Pacific 9950，4框8节点华为大容量存储OceanStor Pacific 9550，其中9550采用DPC+标准协议组网场景，2个25G端口上行连到业务面接入交换机，每节点2个100GE端口接入到计算存储接入交换机，1个GE端口连到带外管理接入交换机。9950采用DPC组网场景，每节点2个100GE端口接入到计算存储接入交换机，1个GE端口连到带外管理接入交换机。

全闪存储OceanStor Pacific 9950单节点数据盘10块7.68TB SSD，总体提供可用容量460TB。大容量存储OceanStor Pacific 9550 单节点数据盘60块16TB SATA，单节点缓存盘4块1.6TB NVME SSD，提供可用容量5.8PB。

网络资源

网络资源包含22台交换机、2台防火墙。集群网络分为四个网络平面，计算/存储网络、业务面网络、带外管理网络、外网接入区。

计算/存储网络采用RoCE网络技术，通过AI人工智能等RoCEv2分布式应用提供“无丢包、低时延、高吞吐”的网络环境，满足分布式应用的高性能需求；管理网络采用Spine-Leaf架构，用于管理节点上集群管理软件收集集群各个节点状态信息（如CPU状态、内存使用率、磁盘使用率、在线状态等），并实现管理功能（如时间同步、集群部署、用户管理、作业调度等）；带外管理网络通过SNMP技术，带外管理网络和设备的各种状态，主要用于网络设备、计算节点、存储节点等带外监控。

集群整体架构

计算资源

本集群在2018年新购置的联想集群基础上，将2014年购置的曙光集群并入其中，共计2个管理节点，4个登陆节点，155个刀片计算节点，2个GPU节点，6个八路胖节点，各节点详细硬件配置如下：

存储资源

本集群公共存储采用联想DSS高性能存储（IBM ESS同架构），文件系统采用HPC行业广泛使用的IBM GPFS （现名为 IBM Spectrum Scale）文件系统。

公共存储硬件由2套DSS存储组成，每套DSS存储含2台IO节点和6台84盘位磁盘柜，总计4台IO节点，12台磁盘柜，1000余块8TB硬盘。所有硬盘由GPFS文件系统管理，采用了GPFS Declustered RAID冗余策略，实现了8+2数据冗余,并具有统一的用户映像（即所有硬盘由文件系统虚拟成一个data pool，可挂载在单一目录下），实测存储读写带宽达50GB/s。系统挂载目录为/public，可用容量约为5.5PB（1PB=1024TB）。

部分课题组采购了存储硬件挂载集群上，相应课题组的用户可直接使用。这部分的存储性能不及公共存储，如有大规模对存储IO要求较高的作业，建议在公共存储上进行。

存储使用注意事项：为了平衡存储的性能和利用率，GPFS配置的 sub block size（硬盘空间分配的最小尺寸）为128K，即比较小的文件（十几KB，几十KB），其占据的硬盘空间为128KB，因此对于比较小的文件（如解压后的软件源码包等）建议及时删除，减少磁盘空间浪费。

网络资源

集群存储节点、计算节点、以及登录节点之间用2套网络进行互联。

存储网络：采用56Gbps的Infiniband网络，存储网络和计算网络采用同一网络；

管理网络：采用千兆以太网，主要用于集群各节点间互联及管理系统；BMC硬件管理网络复用管理网络。

内网网络：登录节点login03配备了内网万兆光纤，直连到二综B座的生物信息室（B111）及附近的办公室，以便于大量数据的上传下载（速度可达100MB/s）。有大量数据传输的用户可联系B111的同学或者管理员帮忙。实验室测序平台测序仪也通过内网直连集群，测序仪下机数据如在本集群存储和分析，可由测序平台负责人直接将其上传到相应目录后再由用户拷贝到自己的账号下分析，避免使用移动硬盘来回拷贝，节省时间。