Data Mover Challenge

2022年11月13日~18日の日程で、SC22という学会が開催されています。
https://sc22.supercomputing.org/
SCはSuperComputingの略で、その名の通り、スーパーコンピューターに関する研究発表が行われる学会で、例えばスパコンのtop500の発表なども行われます。(今期は日本の富岳が2位、Graph500の部門では6期連続で1位でした。)
このSCにはSCA(SuperComputingAsia)という派生した学会があり、SCAでは近年、Data Mover Challenge(DMC)という、世界中の研究機関を結ぶネットワーク上でのファイル転送速度を競うコンテストが行われています。

日本や欧州、アメリカ、シンガポール、オーストラリア等の世界中を結ぶ100Gbpsネットワーク網を使い、大量のファイル群(約2TB)の転送を行います。
弊社は、このDMCにNICTとの合同チームであるTeam Musashinoの一員として、弊社製品であるHCP Toolsを使って出場しており、DMC 2020ではExperimental Excellence Awardを、DMC 2021ではMost Innovative AwardおよびBest IPv6 Performance Awardを受賞しました。

https://www.nscc.sg/wp-content/uploads/2020/02/DMC-20-Media-Release_final-27-Feb-20-1.pdf

https://www.nscc.sg/data-mover-challenge-2021/

DMC2021での一例としては、日本ーオーストラリア間で、ディスク間でデータをコピーする場合で平均15.9Gbps、最大19.2GGbpsを記録し、メモリ間でデータをコピーする場合では平均91.2Gbps、最大103.8Gbpsを記録しました。(100Gbpsx2で計200Gbpsの経路を使用)

これらの記録を実現したHCP Toolsの技術は大まかに2つあります。
1つは複数の通信セッションを束ねて高速化する技術で、上記のDMCでは16本のセッションを束ねています。
もう1つは多数のファイルの転送処理をまとめて行う技術で、以下の図のように小さな大量のファイルの転送が高速になります。

こうした技術によって、海外との遅延の大きなネットワークを経由して、100Gbps超のスループットによるファイル転送を実現しています。

TOP