uchiy

が更新しました

10か月前

解決済み!

解決策へ移動
U

uchiy

4 Apprentice

•

457 投稿

•

1363 ポイント

0

75

2026年1月20日 22:11

powerscaleへの書き込みに関して

PowerScale A310L

OneFS 9.12.0.1

の環境下において

1台のlinuxサーバから、PowerScaleに対し10GByteおよび100GByteのデータを転送した場合問題なく転送が完了します。

また、5台のlinuxサーバから、PowerScaleに対しそれぞれ10GByteのデータを転送した場合問題なく転送が完了します。

しかし、5台のlinuxサーバから、PowerScaleに対しそれぞれ100GByteのデータを転送した場合問題なく、書き込みエラーが発生します。

100GByteのデータを5台のLinuxサーバから同時にPowerScaleに書き込んだ場合、書き込みエラーが発生する原因は、どのようなものが考えられますか?

PowerScaleへの書き込みには、以下のコマンドを使用しています。

dd if=<ローカルファイル> of=<PowerScale領域をマウントしたディレクトリ> bs=64M count=1600

  • Uehara Y.

    Community Manager

    •

    5540 投稿

    •

    323 ポイント

    0

    0

    投稿済み 2026年1月21日 08:43

    100GByteのデータを5台のLinuxサーバから同時にPowerScaleに書き込んだ場合、書き込みエラーが発生する原因は、どのようなものが考えられますか?

    ddコマンドで一気に大量のデータを複数LinuxクライアントからPowerScaleに書き込みに行っているので、全てのクライアントの書き込みができないわけではない、LinuxクライアントのNICインタフェースが高速(10G以上)、などの条件に当てはまっているのであればネットワークの帯域が足りずに書き込み完了のAckを待っているクライアントがタイムアウトをしている可能性がありそうです。
    (というかそれ以外はちょっと思いつきません・・・)

     

    事象が再現するようであれば、ddコマンドを実行した後に、PowerScaleにおいて「isi statistics pstat --protocol=nfs3」や「isi statistics system --nodes=all」コマンドを実行してどのようなスループットがどのノードに発生しているのかを確認すると判断のヒントになると思います。

     

    また、ネットワーク帯域問題ではない可能性も探るために、問題発生時にEvents and alertsが記録されていないかを確認することも有効かと。

     

     

    [参考] 
    OneFS Performance StatisticsというBlogにPowerScaleからパフォーマンス情報を取得するためのTipsがまとめられています。

  • uchiy

    4 Apprentice

    •

    457 投稿

    •

    1363 ポイント

    0

    0

    投稿済み 2026年1月21日 23:38

    @Uehara Y.​ さん

    返信ありがとうございます。

    100Gbyteのデータを5クライアント同時に書き込むと書き込みエラーが発生するのは、毎回発生しているようです。

    PowerScaleは、1ノードあたりを見ても、数千クライアントの同時接続ができる装置?のはずなので、時間さえかければ、PowerScaleの書き込みは可能なのだと思っています。

    このため、クライアント側のタイムアウトが原因の可能性が大きいかなと思っていました。同意見で心強いです。

    100Gbyteのデータを2クライアント同時の書き込むは成功する。

    100Gbyteのデータを3クライアント同時の書き込むは成功する。

    100Gbyteのデータを4クライアント同時の書き込むは成功する。

    ようですが、書き込み同時書き込みクライアント数が多くなると、書き込み完了までの時間は長くなるとのこと。

    このことからも、クライアント側のタイムアウトの可能性は濃厚であると考えます。

    ただ、どこから確認していくか悩んでいました。PowerScaleのスループット関連を確認するというヒントをもらえたため、そのあたりから確認したいと思います。

  • uchiy

    4 Apprentice

    •

    457 投稿

    •

    1363 ポイント

    0

    0

    投稿済み 2026年1月22日 22:59

    @Uehara Y.​ さん

    本件、LINUXサーバをPowerScaleにmountする際のオプションを見直すことで、書き込みエラーは無くなったとのことです。

    noacとlookupcache=noneのオプションで、web検索すると割と出てくる設定ですね。

    転送性能は悪くなるようですが、書き込めないよりは書き込めた方がよいといったところですか。

    OneFSのNFS関連のホワイトペーパーには、noacのことは書かれているようです。