企業のAI利用、なぜローカル環境に移っているのか
企業がAIを使う際、クラウドのAPIではなく自社内のサーバーやPCで動かす「ローカルAI」を選ぶケースが増えているという話を聞いたので、背景を調べてみました。2023年時点でローカル環境でのAI推論比率はわずか12%でしたが、2026年には約55%まで上昇し、過半数を占めるようになったということです。
背景には大きく3つの要因があるようです。一つ目は「データ主権」の確保。個人情報保護法の厳格化に伴い、顧客データや社内の重要情報を海外のクラウドAPIに送るリスクが意識されるようになり、情報を自社インフラ内にとどめる「閉域化」を重視する企業が増えています。二つ目はコストの見通しやすさです。API従量課金は社員数千〜数万人が日常的にAIを使う環境ではランニングコストが読みにくくなりますが、自社で高性能GPUを用意しオープンウェイトのLLMを動かせば、初期投資はかかるものの月々の運用コストを抑えやすくなります。三つ目はサプライチェーンリスクへの備えで、海外ベンダーの規約変更や通信トラブル、大規模障害に左右されず基幹業務のAI機能を自社でコントロールしたいという狙いが、大企業を中心に広がっています。
常陽銀行とデジタル庁の事例
国内でローカルAI・独自セキュアAI環境を実際に導入している代表例が、常陽銀行の「JOYO AI AGENT」と、デジタル庁が主導するガバメントAI「源内（GENAI）」です。
常陽銀行「JOYO AI AGENT」
常陽銀行は、松尾研発のAIスタートアップAthena Technologiesと共同で、2026年3月26日から業務特化型AI基盤「JOYO AI AGENT」の行内本格利用を始めました。2025年7月からの実証実験を経て、インターネットから物理的に切り離された「完全閉域環境」でLLMを動かす、国内金融機関では初めての本格的なローカルAIシステムだということです。
顧客の財務データや融資審査書類は高い機密性が求められるため、行内ネットワークの外にデータを一切出さない仕組みにしているとのことです。融資審査に関わる稟議書や報告書のドラフト作成、過去の膨大な資料からの情報抽出、文書内の個人情報や機密情報の自動マスキングなどに使われ、セキュリティを保ちながら行内資料作成の時間を大きく削減できているそうです。
デジタル庁「源内」
デジタル庁は、政府職員向けのセキュアな生成AI利用環境「源内（GENAI）」の開発と普及を進めています。2026年度中には全府省庁の職員約18万人が使える共通基盤として、ガバメントクラウド上で稼働する予定です。特徴は、特定の海外テック企業に依存しない「国産LLMのマルチ採用」という方針で、2026年3月にはNTTデータ「tsuzumi 2」、NEC「cotomi v3」、富士通「Takane 32B」、PFN「PLaMo 2.0 Prime」を含む国内主要ベンダー7つの国産LLMを選定し実証検証を行いました。さらに2026年4月には「源内」のソースコードをGitHub上でオープンソースとして公開し、地方自治体や中堅・大企業が自前の閉域AI環境を構築しやすくなる土台にもなっています。
技術面の進化 – MoEと投機的デコード
ローカルLLMがここまで実用的になった背景には、モデルの軽量化技術と推論アルゴリズムの進化があります。一つはMixture of Experts（MoE、混合専門家モデル）の普及です。「Qwen 3.6-35B-A3B」や「Gemma 4（26B-A4B）」など最近のオープンウェイトLLMはMoE構造を採用し、トークン生成のたびに全パラメータを使うのではなく、入力内容に応じて必要な「専門家」パラメータ（全体の15〜20%程度）だけを動かします。これにより、数十億〜数百億パラメータ級のモデルでも必要なVRAM容量を16GB〜24GB以下に抑えられ、以前は数百万円クラスのサーバー用GPUが必要だった性能が、今では民生用の高性能PCでも動くようになってきました。
もう一つは投機的デコード（Speculative Decoding）です。動作の速い小さな「下書きモデル」に先に予測トークンを出力させ、その内容を大きな「検証モデル」がまとめて確認する仕組みで、従来の逐次デコードに比べて推論速度が1.5〜2.5倍程度速くなるとされています。この結果、ローカルPCでもクラウドAPIに近い、秒速50トークン以上の応答速度が出せるようになっているということです。
ハードウェア構成とコストの考え方
企業がローカルAIを実用化する際のインフラ構成は、大きく2パターンに分かれます。開発者向けやハイエンドな用途（金融・研究など）には統合メモリを大容量化したMac Studio（M4 Ultra、128GB〜192GBメモリ）が使われることが多く、100Bを超える「Llama 4（Scout 109B）」のような大型モデルの量子化版でも1台で動かせるとされています。一般的な自社サーバー構成では、「NVIDIA RTX 5090（32GB VRAM）」を1〜2枚、あるいはミドルレンジの「RTX 4060 Ti（16GB）」や「RTX 5070（16GB）」を複数台使う構成が主流のようです。ここに「Ollama（v0.32以降）」や「LM Studio」といったツールを組み合わせれば、社内向けのコーディング支援やRAGシステムを構築しやすくなります。
API従量課金と比べると、初期のハードウェア費用は概ね1年未満で回収でき、以降は電気代程度の負担で推論を回し続けられる計算になります。常陽銀行やデジタル庁の事例を見ても、2026年のローカルAIはコスト・速度・セキュリティのバランスが取れた選択肢として企業のインフラ戦略に定着しつつあると言えそうです。
コメント