深腾7000超级计算机

一、 主要指标

深腾7000百万亿次高性能计算机是混合结构的高性能计算集群

主要指标如下：

• 系统全部采用64位高性能处理器。
• 整机共包括3208个Intel Xeon四核处理器，384个Intel Itanium2双核处理器，共13600个CPU核心。
• 用于计算的处理器核心共12320个，理论性能为142Tflops(所有节点的总性能为158Tflops)。
• 系统内存总量为66TB，其中计算部分内存总量约60TB。
• 系统内部采用4x DDR infiniband连接，点对点理论带宽2GB/s（实测MPI点对点带宽1.51GB），延迟＜3μs(实测MPI点对点延迟<1.5μs)。
• 系统的外部存储容量约1410TB，包括354TB的全光纤磁盘阵列、1PB容量的磁带库、64TB容量的虚拟带库。配备了数据迁移系统与数据备份软件，保障了数据的高效管理、使用与安全。
• 采用Linux操作系统、LSF HPC7.0作业管理系统。
• 使用四种高性能文件系统：Lustre、SNFS、IBM GPFS(厚节点专用)、SGI CXFS(胖节点专用)。

以下是各部分的具体配置与性能指标：

二、 刀片节点

深腾7000共配有1288台IBM HS21SM刀片服务器，其中计算刀片节点1140个（采用无盘方案），IO节点120个，网络启动服务器12个，管理、登录等服务节点共16个。刀片节点的单机配置如下：

• 配置2个Intel XeonE5450四核处理器（3.0GHz，L1：32KB+32KB, L2：2x6MB，4条浮点流水线，单核心性能为12Gflops,单CPU性能为48Gflops，TDP为80W)。
• 内存32GB。
• 配备4x DDR infiniband 网卡（HCA）。
• 配备千兆以太网卡。
• IO节点、启动节点等配备4Gbps光纤卡（HBA）。

所有刀片节点总性能为123.6Tflops，总内存41.2TB；其中计算刀片的总性能为109Tflops，总内存36.5TB。

三、 厚节点

深腾7000系统中的厚节点采用IBM X3950M2服务器， 共38台，总性能28Tflops，总内存19TB。其单机配置为:

• NUMA结构，节点内采用IBM专用网络连接。
• 配置16个Intel Xeon 四核处理器（2.93GHz，L1：32KB＋32KB，L2 9MB），共64个CPU核心。
• 内存512GB。
• 配备4x DDR infiniband 网卡（HCA）,每节点4块。
• I配备千兆以太网卡。

四、 胖节点

深腾7000的胖节点采用SGI Altix4700，使用Intel Itanium2处理器，总性能5Tflops，内存总量5TB，具体配置如下：

• 包括2个计算节点、1个头节点、2个文件服务节点。
• 共384颗Intel Itanium2双核处理器。
• 系统浮点峰值5Tflops。
• 内存总量5TB。
• 互连网络。

五、 可视化节点

深腾7000共配有12台可视化节点，配有高性能图形显示卡与商业可视化软件，用于用户计算结果的可视化处理。其单机配置如下：

• 采用3U机架式服务器。
• 配置2个Intel XeonE5450四核处理器。
• 内存32GB。
• 配备4x DDR infiniband 网卡（HCA）。
• 配备千兆以太网卡。
• 配备Nvdia 9800GTS显卡。

六、 网络系统

深腾7000的内部网络分为三种：

• 系统网络：采用4x DDR Infiniband高速网络系统实现节点间通讯，主要用于节点间通讯与高性能文件系统。
• 管理网络：使用全千兆高性能以太网交换机Foundry RX16，用于系统管理、部分文件系统数据传输。
• 存储网络：全光纤结构，2台256口(4Gbkps)光纤交换机Brocade Silkworm48000，实现IO节点与磁盘阵列等存储设备的连接。

七、 存储系统

深腾7000的存储系统包括以下几部分：

• 磁盘阵列系统，采用光纤/SAS盘阵。
• 虚拟磁带库系统Quantum DX100。
• 磁带库系统。