ローカルLLMとは？クラウドAPIとの違いと、社内に置く処理の決め方【超入門】

業務で使うAIがちゃんと答えてくれるようになった。でも「社内の情報をこのまま外へ送っていいのか」と聞かれると手が止まる。それならAIを全部社内で動かそうと見積もりを取ると、今度はサーバーの固定費が重くて進まない。
題材は、ARCHECOが作ったホテルの問い合わせ対応AI。1日数百件、応答2秒以内、3言語対応と要件は満たしていたのに、クラウドから自社へ移す検討は規約と見積書で止まりました。止まった原因は「所有するか借りるか」を全部まとめて決めようとしていたこと。問い合わせ対応という仕事も、中を見れば「種類を判定する処理」と「答えを組み立てる処理」に分かれるのです。

ローカルLLMとは、AIのモデルを自社が管理する環境に置いて動かす構成のこと。高性能なAIの名前ではありません。クラウドは外部の事業者へデータを送り使った量に応じて支払う、ローカルは社内にデータを留める代わりに設備と運用を自分たちで持つ。利点はデータが外へ出ないこと、費用が使用量に比例しないこと、オフラインで動くこと、そしてモデルのバージョンを自分たちの都合で固定できること。毎回同じ判定をしたい分類の仕事では、この差が効きます。
欠点は高度な推論が苦手で、設備と速度に制約があり、初期費用と運用できる人が要ること。そこで出てくるのがSLM（小規模言語モデル）で、分類や抽出、定型の書き換えのように用途を絞った仕事なら実用になります。RAGとの違いも混同しやすいところで、RAGは答えの材料を検索して渡す仕組み、ローカルLLMはその計算をどこで行うかという構成の話。対立する選択肢ではありません。
設備ではGPUのVRAM容量が載せられるモデルの大きさを決め、同じモデル名でも量子化の種類で必要な設備が変わります。記事はまずGPUを買うより、手元のPCで小さいモデルを試すことを勧めています。組み込むならOllama、画面で試すならLM Studio。ただしひとりで快適でも、同時に使う人数が増えると待ち時間が出る点は要注意です。

最初は対話AIのサブスクリプションを契約し、問い合わせをAPIに投げて返った文章をそのまま返し、難しいものだけ人へ回す構成でした。学習に使われないよう法人向けの契約にも切り替え、教科書どおりに進めたつもりだった。
止まったのは規約です。契約ではアカウントの共有が禁じられていて、サーバー経由で複数人が使う構成が認証トークンの共有に当たるのか、人格的な操作代行とみなされるのか。規約を読んでも黒とも白とも判断できなかった。法人契約で解決したのは「学習に使わない」という一点で、処理が向こうで走ることは変わっていなかったのです。自社で動かせる重み公開モデルも候補になりましたが、その中国発モデルには情報の扱いと倫理観の懸念が出て、ここでも止まりました。
だったら全部を自社で、と見積もりを取ると、GPUを積んだサーバーの費用を毎月持つ構造。使っても使わなくても出ていくお金が先に立つ。クラウドAPIなら使った分だけの従量課金で済む——この差が決定的でした。ローカルは無料になるわけではなく、API利用料が消える代わりに設備・電力・保守・モデルの入れ替えと再検証を引き受ける。量が増えるほどローカルが有利になる分岐点があり、記事の時点でARCHECOはその手前に立っていました。開発の見積書は総額でなく、構想・要件定義・実現可能性の検証・データ整備・運用のどこまでが含まれているかを見ることも語られます。

問いは「この処理を外へ出した瞬間に、自分で責任を取れなくなるか」。社内の機密に触れるか、動きを固定したいか、止まると事業も止まるか。やったのは処理を分解し、振り分けだけを自社へ移し、残りは借りることでした。
種類の判定には専用の小さなモデルを作りました。容量は100MB程度。用途を絞ったことでGPU搭載サーバーが要らなくなり、振り分け精度は95%から97%に上がりました（この記事の、この用途での実績であり、小さいモデルで何でもできるという結果ではありません）。観光地の紹介文を作るところには自社で統制する理由がないので借りる。持つ部分を減らしたことで、固定費の問題が消えたのです。
記事の「統制権の棚卸しの表」は、最初の列に処理をひとつずつ書き、機密に触れるか・挙動を固定したいか・止まると事業が止まるかを確認する。全部いいえなら借り、はいが付いた処理を自社に持つ候補にします。サーバーを共有して基本料を割る案や仮想マシン案は、接続数の制御やアカウント管理など共有する側の運用を数えていなかったとして見送り。分岐点を動かしたのは共有して割ることではなく、小型化で設備を減らすことでした。そして持つ候補が見つかったあとも、運用できる人がいるかを確認します。

「賢さは借りられる、責任は借りられない」。AIが判断を担うほど、責任を持つ側は判断の土台を持ちたくなる。ただし責任を持つから全部を所有する、とはならない。全部を移すかではなく、どこを持てば責任を取れるか——この順番で考え、見積もりの前に処理ごとの理由を書いてみてください。なお規約の話は記事に書かれた当時の検討であり違反と確定した話ではなく、見積もりの金額も記事では伏せています。必要な設備やモデルの選び方、棚卸しの表は元記事に載っています。