tanboi_3

が更新しました

10か月前

解決済み!

解決策へ移動
T

tanboi_3

9 Technologist

•

1086 投稿

0

126

2026年1月21日 03:31

PowerScaleのSmartPoolの仕組みについて

いつもお世話になっております。
PowerScaleのSmart Poolをつかって
データをノードを跨いでユーザから見て
無停止でデータを移動させることができると思います。


・このデータ移動についての仕組みをご教示
いただきたいのですが、データを別ノードにコピーして、
完全にコピーできたら元のデータを消す、という古典的な
方法はしていない認識でよいでしょうか?
もしそうならコピー中に一時的にクラスタ全体の容量が
かなり増えたりすると思いますので、おそらく違うのかな
とも考えてます。


どういう理屈でユーザから見て無停止でデータをノード跨ぎで
移動させているのでしょうか?


以上、よろしくお願いいたします。

  • Uehara Y.

    Community Manager

    •

    5540 投稿

    •

    323 ポイント

    0

    1

    投稿済み 2026年1月22日 01:09

    tanboi_3さん

     

    PowerScaleではプロテクションポリシー(レベル)に従い、1つのファイルデータをイレージャーコーディングにより複数データチャンクに分け、分割/分散して複数ディスク/ノードで持つようにしています。

     

    そのために、ドライブダウンしても、(ポリシーによっては)ノードが丸ごとダウンしてもファイルへのアクセスを継続させることができます。

     

    これらの動作は書き込み時の処理のイメージが大きいかと思いますが、読み込み時の動作を考えると、クライアントからリクエストがあったファイルデータに対して、そのデータを構成しているデータチャンクを複数ディスク/ノードから集めてきて1つのファイルデータ情報としてクライアントに返すということをしています。

     

    そしてこれらの(場合によっては)ノードを跨いだイレージャーコーディングデータの扱いを高速に実現させているのがノード間をつないでいる高速のバックエンドネットワーク(以前はインフィニバンド、最近は高速イーサーネットネット)です。

     

    と、長い前置きになってしまいましたが、ここでのポイントはPowerScaleは複数ノードに跨がって1ファイルの情報を分散させて持つことが可能で、それらの情報を高速につなぎ合わせることができるマシンであるということです。

     

    SmartPoolを利用した無停止のデータ移動時には、これらのチャンク情報を一つ一つ新しいノードに移動していくことになります。移動時には1つのファイルを構成しているデータチャンクのいくつかは古いノードに残っていて、いくつかは移動先の新しいノードに移っているという場合もあるはずですが、そのような場合でもきちんと1ファイルに対するアクセスは確保します(必要なデータチャンクをそのチャンクを持っている複数の移行前/後のノードからもってきて処理をします)。

     

    そのために、頂戴したご質問に回答すると

     

    データを別ノードにコピーして、
    完全にコピーできたら元のデータを消す、という古典的な
    方法はしていない認識でよいでしょうか?

    データチャンクレベルではきちんと移動先のノードにコピーできたことを確認してから、元のデータを消すという処理をしているはずです。

     

     

    コピー中に一時的にクラスタ全体の容量が
    かなり増えたりすると思いますので、おそらく違うのかな
    とも考えてます。

    複数ファイル情報の全てを同時にコピーしているわけではないので、クラスタ全体の容量がかなり増えるということはおきません(とはいえもちろん移動用にプラスαの容量は必要となります)

  • tanboi_3

    9 Technologist

    •

    1086 投稿

    0

    0

    投稿済み 2026年1月26日 06:07

    @Uehara Y.​ さん

    ご回答ありがとうございます。

    細かいデータチャンクレベルで、少しずつ新ノードへコピー、

    コピー後は削除、という事をくりかえしているのと

    その移動はバックエンドの高速ネットワークで

    通信されているので、ユーザから見て容量が一気に増える

    ようなことはなく、かつアクセスも途切れることがない、

    という事ですね。理解できました。