今回、アンシス・ジャパン株式会社様にご協力いただき、Ansys Fluent と Ansys CFXを使って、インテル製 CPUを使用したHPCクラスター(以下G2)、およびAMD製のCPUを使用したHPCクラスター(以下G3)のベンチマークを行いました。この２つのHPCクラスターはXTREME-Dが管理しており、弊社のサービスとしてお客様に提供しています。

結論から言うと、XTREME-D所有HPCクラスタにおいて、AMD製CPU AMD EPYC 7702は、Intel製CPU Intel Xeon Gold 6230との比較で、コストパフォーマンスが良い結果が得られました（コストは当社調べ）。

インテル製CPUとAMD製CPUをもつ各HPCクラスターの仕様

XTREME-Dが所有するHPCクラスターの仕様について、その詳細を以下の表に示します。

Cluster Name	G2クラスター	G3クラスター
Number of cores per node	40 [cores/node]	128 [cores/node]
CPUs	Intel Xeon Gold 6230 Cascade Lake (2.1GHz, 20Cores) x2	AMD EPYC 7702 64-Core Processor (2.0GHz, 64cores) x2
Memory	192 [GB]	503 [GB]
Interconnect	Intel Omni-Path 100Gbps	Mellanox HDR 100Gbps
Power Consumption	250 [W/node]	400 [W/node]

Ansys Fluentベンチマーク

使用したAnsys Fluentのバージョン

今回使用したAnsys Fluentのバージョンは 20.1.0です。

計算モデル

アンシス・ジャパン様から f1_racecar_140m という名前の計算モデルをご提供いただきました。計算モデルのサイズを以下に示します。

• 314763 tetrahedral cells
• 329511 tetrahedral cells
• 139070249 mixed cells

実行コマンド

実行コマンドを以下に示します。計算は単精度で行いました。 MPIはIntel MPIとしました(IBM MPIより数％速かったため)。またG2はOmni-Path、G3はInfiniBandを使用しているため、インターコネクトを指定するオプションが若干異なっていることに注意してください。

G2クラスター

fluent 3d -ssh -t${NCPUS} -cnf=${HOSTS} -mpi=intel -pib.infinipath -g -driver null -cflush -i rcd f1_racecar_140m

G3クラスター

fluent 3d -ssh -t${NCPUS} -cnf=${HOSTS} -mpi=intel -pinfiniband -g -driver null -cflush -i rcd f1_racecar_140m

計算時間評価方法

入力ファイルの読み込みと計算結果の書き込み時間を除く純粋な計算時間で評価するため、以下の例のようにfluentのjournalファイルの中に (benchmark’ (iterate 50)) を記述しました。50回の反復計算により計算時間を算出することになります。

rcd f1_racecar_140m
(benchmark’ (iterate 50))
(print-case-timer)
wd f1_racecar_140m_0050.dat.gz
exit

これにより、計算が正常終了すると、ログファイルの中に、下記のようなelapsed-timeを得ることができます。

cortex=11.43333333333333, solver=166433.314899
elapsed-time: 1042.958387136459

結果

結果を以下に示します。以下の3つのグラフは同じ結果を用いており、横軸は見方を変えて示しています。つまりコア数はノード数に変換可能であり、ノード数はコストに変換可能です。わかったこととして、横軸コア数で見るとXeon Gold6230のほうが高速ですが、横軸をノード数に変換し、それをさらにコストに変換すると、AMD製のEPIC 7702の方が単位コストあたりのスピードが速いことがわかります。ここでコスト比はマシン筐体のみのコストであり、スイッチ等のコストは含まれていません。またソフトウェアのコストも含まれていません。

 

 

Ansys CFXベンチマーク

使用したAnsys CFXのバージョン

今回使用したAnsys CFXのバージョンは 2020 R1です。

計算モデル

アンシス・ジャパン様から perf_Airfoil_100M_R14という名前の計算モデルをご提供いただきました。計算モデルのサイズを以下に示します。

• Total Number of Nodes = 104533000
• Total Number of Elements = 103779720
• Total Number of Hexahedrons = 103779720
• Total Number of Faces = 10938532

実行コマンド

実行コマンドを以下に示します。計算は単精度で行いました。 MPIはIntel MPIとしました。G2/G3クラスターともにコマンドは同じです。

cfx5solve -def ${INPUT_FILENAME}.def -par -par-dist ${cfx_hosts} -part ${NCPUS} -large -start-method “Intel MPI Distributed Parallel” -batch

またG2はOmni-Path、G3はInfiniBandを使用しているため、start-methods.cclのファイルを以下のように編集しました。

G2クラスターのstart-methods.ccl ファイル

$ cat -n /<Ansys Install Dir>/v201/CFX/etc/start-methods.ccl | grep “I_MPI_FABRICS shm:”
166 Appfile Host Entry = -n %{hostprocs} -host %{hostname} -wdir “%{workdir_host}” -genv I_MPI_FABRICS shm:ofa -env LD_PRELOAD %{impidir}/lib/libmpi_mt.so -env %{ldpathvar} %{rldpath} %{executable} %{arguments}

G3クラスターのstart-methods.ccl ファイル

$ cat -n /<Ansys Install Dir>/v201/CFX/etc/start-methods.ccl | grep “I_MPI_FABRICS shm:”
166 Appfile Host Entry = -n %{hostprocs} -host %{hostname} -wdir “%{workdir_host}” -genv I_MPI_FABRICS shm:dapl -env LD_PRELOAD %{impidir}/lib/libmpi_mt.so -env %{ldpathvar} %{rldpath} %{executable} %{arguments}

計算時間評価方法

入力ファイルの読み込みと計算結果の書き込み時間を除く純粋な計算時間で評価するため、CFXのログファイルに記載される “CFD Solver wall clock seconds” を取得することとしました。その例を以下に示します。

CFD Solver finished: Fri Jul 31 01:53:05 2020
CFD Solver wall clock seconds: 8.2920E+01

また、反復計算回数は、今回5回としました。

結果

結果を以下の3つのグラフに示します。Fluentと同じ結果であり同じメッセージです。そのため詳細は省略します。

 

まとめ

Ansys Fluent と Ansys CFXを使って、インテル製CPU(Xeon Gold 6230)を使用したHPCクラスター、およびAMD製のCPU(EPYC 7702)を使用したHPCクラスターのベンチマークを行いました。その結果、Fluent, CFXどちらも以下のような結果が得られました。

• コア数に対する計算スピードは、インテル製CPU(Xeon Gold 6230)のほうが高速です。
• しかし横軸をノード単価から計算されるコスト比に変換すると、単位コストあたりの計算スピードはAMD製のCPU(EPYC 7702)のほうが良好な結果を得られました。

同じ速度を得るためのノード数として、AMD製CPUの方がインテルに比べて少なくてすむため、新規にHPCを導入する場合、InfiniBandのスイッチの台数も少なくて済む可能性が高いです。ソフトウェアの料金を考慮せずハードウェア単体で見た場合、今回の型番におけるCPU比較においてAMD製の方がコストパフォーマンスが良いと言えます（コストは当社調べ）。

XTREME-Dでは、Privateプラン、Dedicatedプランともに、Intel CPU, AMD CPU どちらもお取り扱い可能です。いつでもご連絡ください。

 

Ansys®、及びその他すべてのAnsys, Inc.の製品名は、Ansys, Inc.またはその子会社の米国およびその他の国における商標または登録商標です。