
未解決
ゆるく始めるデル・テクノロジーズ若手社員によるシステム構築 ー GB10編
こんにちは。Ryota Nです。
今回は、NVIDIA GB10を使って、ローカル環境だけで動くRAGデモを作ったお話です。
同じ質問を「RAGなし」と「RAGあり」で実行し、回答とトークン数、クラウドAPIを使った場合の換算コストを並べて見られるようにしました。
社内展示用のデモとして、RAGで回答がどう変わるのか、そして検索結果を加えることで何が増えるのかを伝えるのが狙いです。
画像生成の予定から、RAGデモへ
もともとは画像生成を試す計画でしたが、検討を進めるなかで、今回はローカルLLMとGradioを使ったRAGの比較デモに方針転換しました。
せっかくローカルで動かすなら、質問に答えるだけでなく、RAGなしの場合と何が違うのかも見せたい。
そこで、同じ質問を左右に並べて実行し、回答とトークン数を比較する構成にしました。
今回の構成
質問を画面に入力すると、まず質問を埋め込みモデルでベクトル化し、ベクトルデータベースから関連する文書を検索します。
その文書と質問をローカルLLMに渡して回答を生成し、画面に表示する流れです。
-
画面:Gradio
-
回答生成:Qwen3.8-27BとvLLM
-
質問のベクトル化:Qwen3-Embedding-0.6B
-
文書検索:Qdrant
-
実行環境:NVIDIA GB10(Ubuntu)
構成図の内容を、事前準備と質問時の流れに分けて表すと次のようになります。

事前準備では文書を一度だけ小さなチャンクに分け、埋め込みサーバーで数値の列(ベクトル)に変換してQdrantへ登録します。
質問のたびに全記事を読み直すのではなく、質問も同じ方法でベクトル化し、意味の近いチャンクを探します。
質問時に動くvLLM、埋め込みサーバー、Qdrantの3つはDocker Composeでまとめて起動します。
RAGなしでは「システムプロンプト+質問」、RAGありではそこに検索した文書を加えます。
比較アプリはRAGなしから先に実行し、その後RAGありを実行します。
GPU電力などはサーバー全体の値なので、同時実行ではなく順番に処理する設計です。
モデルや基本的な生成条件はそろえ、検索結果を使うかどうかの違いが見えるようにしました。
検索対象は、英語のDell公開KBと日本語のコミュニティQ&Aです。
長い記事やスレッドはおよそ500トークン単位に分割し、重複を整理したうえで、合計36,432チャンクを検索用のインデックスに登録しました。検索結果は上位4件を回答に利用します。
日本語の質問から英語のKBも検索できるよう、日英に対応した埋め込みモデルを選んだのもポイントです。
新しい環境では、起動するところからひと苦労
GB10はARM64の新しいGPU環境です。
必要なライブラリが通常のpipインストールだけではそろわないこともあり、コンテナを使う方針にしました。
最初のvLLM起動では、GPUメモリの割り当て設定が原因で失敗。
設定値を下げて再挑戦し、モデルの重みをダウンロードしたあと、ようやくローカルで回答が返るところまで確認できました。
初回のモデル読み込みには時間がかかりましたが、一度動き始めると、アプリから質問を送って回答を受け取れるようになりました。
RAG部分の準備でも、インデックス作成中に埋め込みサーバーが止まるトラブルがありました。
設定を見直し、途中から再開できるようにして、文書の登録を完了。
大きなデータを扱うときは、最初から最後まで一気に進めるのではなく、再開できる作りにしておくことが大切だと実感しました。
比較画面で見せたかったこと
画面では、RAGなしとRAGありの回答を左右に表示し、RAGあり側には参照した文書も表示します。
回答だけでなく、何を根拠にしたのかを確認できるようにしました。
また、プロンプトと回答のトークン数を分けて表示します。
RAGありでは検索文書がプロンプトに加わるため、入力トークン数が大きく増えることがあります。
実際のテストでも、ある質問ではプロンプトがRAGなしの45トークンから、RAGありでは1,593トークンになりました。
この増加分をクラウドAPIの単価で換算した参考コストと、ローカル実行時のGPU電力から計算した電気代も表示します。
展示環境はネットに接続せず、クラウドAPIも呼び出しません。
したがって、これは実際のクラウド実行との速度・料金比較ではなく、設定した単価と計測値を使った試算です。
また、電気代はGPUの消費電力だけで計算しており、装置全体の消費電力を示すものではありません。
コストの試算では、本体価格を200万円と仮定し、クラウド利用料とローカルの電気代の累計を比べる回収期間のグラフも用意しました。たとえば「100人が1日20回、月20日利用」という条件では、試算上の回収期間は約3.7か月です。
利用人数や回数、単価などの前提で結果は変わるため、あくまで比較の考え方を伝えるための目安として扱っています。
見せる項目を絞る
当初はKVキャッシュの使用量もグラフにする予定でした。
しかし、試作を重ねるうちに、画面を見ただけでは意味が伝わりにくく、説明も難しいことが分かりました。
一方、トークン数はクラウドAPIの従量課金と結びつけて説明しやすい項目です。
そこで、KVキャッシュは計測ログには残しつつ、展示画面からは外しました。
展示では、情報をたくさん並べるより、伝えたいことが一目で分かることを優先しました。
プリセット質問も、回答の違いが分かりやすいものに絞りました。
たとえば、PowerStoreのボリュームやNFS接続、iDRAC9のパスワード、PowerFlexのNVDIMMバッテリーについての質問です。
質問選びによって比較結果の見え方が変わるため、何度か試して内容を整理しました。
作ってみて感じたこと
RAGは検索した文書を加えるぶん、入力トークンが増えます。
クラウドAPIではその分の従量課金が増える一方、ローカル環境では、今回の試算上は主に処理にかかった電力がコストになります。
文書を根拠に回答させることと、そのために必要なコストを一緒に見せることで、RAGの仕組みをより具体的に説明できるデモになりました。
もちろん、RAGを使えば常に正しい回答になるわけではありません。
検索対象に必要な情報がなければ回答の根拠も弱くなりますし、検索結果の選び方や質問の仕方にも影響されます。
実際に手を動かして試すことで、モデルや構成を選ぶだけでは分からない課題が見えてきました。
環境の準備から、検索データの整理、画面の見せ方の調整まで、少しずつ作り上げた今回のデモ。
特に「何を計測するか」だけでなく、「展示を見る人に何が伝わるか」を考えて表示項目を削ったことは、大きな学びでした。
GB10を通して様々なAI用語を学べたとてもいい機会でした。
13Fのエクスペリエンスラウンジに展示しておりますので、気になった方は是非足を運んでいただけますと幸いです。
返信(0)
解決策(0)
