たまには息抜きの話を書きます。
弊社は普段、岐阜県関市を拠点に、岐阜・愛知の中小企業さま向けのDX支援やシステム開発を行っています。仕事で使う生成AIは、正直に申し上げてClaudeやChatGPTといったクラウドサービスが圧倒的に安定していて、わざわざ自分のパソコンの中でAIを動かす必然性は、現時点ではほとんどありません。
それでも「自分のPCの中だけで、外と一切通信せずにAIが喋る」という構図には、エンジニアとしてどうにも抗いがたいロマンがあります。
2026年8月13日、Alibaba CloudがQwen（通義千問）の新世代モデル「Qwen3.8」を公開しました。翌々日にはOllamaのライブラリにも並び、コマンド1行で動かせる状態になっています。出たてホヤホヤです。
今回はこれを題材に、ローカルLLMの現在地と、中国製モデルを扱うときに避けて通れないセキュリティの話を、判断材料として正直に整理してみます。先にお断りしておくと、この記事は「業務で使いましょう」という提案ではありません。
先に結論：動きます。ただし「動く」と「仕事で使える」は別の話です
長くなるので結論から書きます。
- Qwen3.8はOllamaで動きます。コマンドは
ollama run qwen3.8の一行だけです - ただしPCの壁が高い。ダウンロードサイズ約18GB、快適に動かすならVRAM 24GB級のGPU、Macならユニファイドメモリ24GB以上が実質的な条件です
- 実際にメモリ64GBのMacで動かしましたが、それでもかなり遅い。ただし、時間をかけた末に出てくる成果物の質は想像よりずっと高いというのが正直な感想です
- セキュリティは「ローカルだから安全」で終わる話ではありません。データが外に出ないのは事実ですが、論点はそこだけではないからです
- そして私は今のところ、これを業務システムに組み込んでいません。理由は後述します
ローカルLLMとは何か｜クラウドAIと何が違うのか
ローカルLLMとは、ChatGPTのようにインターネット越しのサーバーを使うのではなく、自分の手元のPCやサーバーの計算資源だけで動かす大規模言語モデルのことです。
モデルの「重み」と呼ばれる巨大なファイルを自分のマシンにダウンロードし、そのファイルを使って自分のCPUやGPUで計算させます。推論そのものに通信は必要ありません。極端な話、LANケーブルを抜いても動きます。
| 比較項目 | クラウドAI（ChatGPT・Claude等） | ローカルLLM |
|---|---|---|
| データの行き先 | 事業者のサーバーへ送信される | 自分のマシンから出ない |
| 費用 | 従量課金または月額 | 電気代とPC代のみ |
| 賢さ | 最上位クラス | 数段落ちる |
| 必要な設備 | ブラウザだけ | 高性能GPU搭載PC |
| 速度 | 速い | マシン次第。遅いこともある |
| 止まるリスク | サービス障害・仕様変更あり | 自分で管理する限り止まらない |
「データが外に出ない」という一点だけを見れば、機密性の高い情報を扱う業務にとって魅力的に見えます。この魅力があるからこそ、ローカルLLMには根強いファンがいるわけです。
Ollamaとは｜コマンド1行でLLMが立ち上がるツール
Ollamaは、ローカルLLMのダウンロード・起動・管理を一手に引き受けてくれるオープンソースのツールです。数年前まではPythonの環境構築で半日溶かすような世界でしたが、Ollamaの登場でその手間はほぼ消えました。
やることは実質3ステップです。
- 公式サイトからOllamaをインストールする（Windows / macOS / Linux 対応）
- ターミナルで
ollama run モデル名と打つ - モデルのダウンロードが終わったら、そのまま対話が始まる
エンジニア目線でありがたいのは、OllamaがOpenAI互換のAPIサーバーとしても動く点です。既存のプログラムの向き先をクラウドからローカルに差し替えるだけで動作検証ができるので、「もしローカルに切り替えたらどうなるか」の実験がしやすくなっています。
Qwen3.8とは｜2026年8月に出たばかりの新世代モデル
Qwenは中国のAlibaba Cloudが開発しているモデルシリーズです。オープンウェイト、つまり重みファイルが無償で公開されており、誰でもダウンロードして自分の環境で動かせます。
今回公開されたQwen3.8のうち、ローカルで現実的に動かせるのは27B（270億パラメータ）版です。
| 項目 | 内容 |
|---|---|
| モデル名 | Qwen3.8-27B |
| 公開日 | 2026年8月13〜14日（Ollamaライブラリは8月15日頃） |
| ライセンス | Apache 2.0（商用利用可） |
| コンテキスト長 | 256K（262,144トークン）、拡張時最大100万トークン |
| ダウンロードサイズ | 約18GB（既定のQ4_K_M量子化版） |
| 特徴 | 画像・動画の理解に対応、思考モード（thinking）を標準搭載 |
| 必要なOllama | バージョン 0.32.12 以降 |
27Bクラスで画像まで読めるのは正直すごい
個人的に驚いたのは、このサイズで画像認識のエンコーダーが同梱されている点です。テキストだけでなく、図表やスクリーンショット、書類の画像を読ませることを想定した作りになっています。ローカルで完結する画像理解というのは、これまで小型モデルでは実用に耐えないことが多かった領域です。
また思考モードが標準でオンになっており、リクエスト単位でオフにしたり、思考の深さを調整したりできます。じっくり考えさせたい処理と、即答してほしい処理を使い分けられる設計です。
ただし、ベンチマークは開発元の自己申告です
ここは冷静に見ておきたいところです。公開されている性能グラフはAlibaba自身が測定した数値であり、第三者による再現検証は現状まだありません。「Claude Opus4.6級」という数字を鵜呑みにせず、自分の用途で試して確かめるしかないというのが、リリース直後のモデルとの正しい付き合い方だと思っています。
これはQwenに限った話ではなく、あらゆるAIモデルのリリース発表に共通する注意点です。
動かす手順と、立ちはだかるPCスペックの壁
手順そのものは驚くほど簡単
Ollamaをインストール済みなら、ターミナルで打つのはこれだけです。
ollama run qwen3.8あとは18GBのダウンロードが終わるのを待つだけ。回線が細いと、ここでしばらく放置することになります。
Apple Silicon搭載のMacをお使いの場合は、Mac向けに最適化されたビルドが用意されています。
ollama run qwen3.8:27b-mlx問題はここから。必要なPCは「普通の会社のPC」ではありません
正直に言うと、多くの中小企業さまが実際にお使いのPCでは動きません。ここが今回いちばんお伝えしたい現実です。
| 環境 | 目安 |
|---|---|
| Windows/Linux（GPU） | VRAM 24GB級（RTX 4090クラス）で4bit版が約14〜17GB使用 |
| Mac（Apple Silicon） | ユニファイドメモリ24GB以上。18GB前後を消費 |
| 高精度で動かす場合 | FP8で48GB、BF16で80GB級のハードウェア |
経理部の島に置いてある事務用ノートPCで気軽に、というわけにはいきません。ゲーミングPCか、それなりのスペックのMacが必要です。GPUの載っていないPCでもCPUに処理を逃がして一応起動はしますが、返答を待つ間にコーヒーが淹れられる程度の速度になります。
コンテキスト256Kという数字に釣られないこと
ここは実務的な注意点です。「最大100万トークン」という数字が独り歩きしがちですが、コンテキストを広げるとKVキャッシュと呼ばれる領域がメモリを食い、その分だけVRAMを圧迫します。
24GBのGPUで最大値を指定すると、まず動きません。まずはOllamaの既定値のまま使い、長い文書を扱う必要が出てきたときだけ少しずつ広げる。これが現実的な運用です。
実際に動かしてみて分かったこと
ここからは実機で試した話です。使ったのはほぼ最新世代のM4ProMac、ユニファイドメモリ64GBという、個人で用意する環境としてはかなり上位の構成になります。前章で挙げた最低ラインの倍以上を積んだマシン、と思っていただければ。
正直、遅いです
最初の感想がこれでした。64GBのマシンをもってしても、体感速度は明らかに遅い。クラウドのAIサービスに慣れた身からすると、返答が流れてくるのを待つ時間が長く感じられます。
特に、ある程度の規模のシステムを一式作らせるような重いタスクでは、完了までに相当な時間がかかりました。「投げて放置して、しばらくしてから見に行く」という付き合い方になります。会話をキャッチボールしながら詰めていく、という使い方には向きません。
ここは正直にお伝えしておきたい点です。前章の「メモリ24GBあれば動く」というのは起動できる条件の話であって、快適に使える条件ではありません。64GB積んでも快適とは言い難い、というのが実際に触ってみた率直な感想です。
ただし、出てきたものの質は高い
一方で、時間をかけた末に出てきた成果物には素直に驚きました。結構しっかりしたものが出来上がります。ローカルで動く27Bクラスのモデルということで、正直そこまで期待していなかったのですが、いい意味で裏切られました。
出来の良さは確かに感じます。少し前までのローカルLLMは「自分のPCで動くこと自体に意味がある」という段階で、生成物そのものは実用から遠いものでした。そこからは明らかに一段階進んでいます。
つまり現時点のQwen3.8に対する私の評価は、「品質は届きつつあるが、速度が追いついていない」ということになります。
裏を返せば、ハードウェアがもう一段進化するか、より効率のよいモデルが出てくるか、どちらかが起きた瞬間に景色が変わる位置にいるということでもあります。そう考えると、なかなか面白いところに来ているなというのが、触ってみての実感です。
中国製モデルのセキュリティをどう考えるか
ここが本題です。Qwenの話をすると、必ず「中国のAIでしょう？大丈夫なんですか？」と聞かれます。もっともな疑問なので、論点を分けて整理します。
論点1：「ローカルなのでデータは外に出ない」は、原則として正しい
まずここは安心してよい部分です。ローカルLLMで使うのはダウンロード済みの重みファイルであり、推論の計算はすべて手元のマシンで完結します。入力した文章がAlibabaのサーバーに送られる、という構造にはなっていません。
クラウドのAIサービスとローカルLLMの決定的な違いはここで、機密性を理由にローカルLLMが検討される最大の根拠でもあります。
論点2：出力の中身には偏りが乗りうる
データが送信されないことと、出力が中立であることは別問題です。中国で開発されたモデルは、学習データや調整の過程で、特定の政治的・歴史的な話題について当たり障りのない回答や、明確に偏った回答を返すことが知られています。
日常的な業務文書の作成でこれが問題になる場面は多くないでしょう。ただし「AIが書いたものをそのまま社外に出す」という運用にした瞬間にリスクになります。これはQwenに限らず、どのAIを使うにせよ人間が確認するという原則を崩してはいけない、という話でもあります。
論点3：むしろ危ないのは「配布元」と「自分で開けた穴」
技術的に見て、より現実的なリスクはこちらだと考えています。
ひとつは配布元です。Qwen3.8は公開前から、名前を似せた非公式のリポジトリが複数存在していました。公式配布元ではないところから重みファイルを持ってくれば、それが本当に公表されているモデルなのか、誰にも検証できません。Ollamaの公式ライブラリや、開発元の公式リポジトリから取得する。当たり前ですが、ここを外すと話が根本から変わります。
もうひとつは自分で開けてしまう穴です。OllamaはAPIサーバーとして待ち受けポートを持ちます。既定では手元のマシンからしか繋がらないようになっていますが、便利だからと社内LANや外部に公開してしまうと、認証のかかっていないAIサーバーがネットワーク上に転がっている状態になります。「ローカルだから安全」と言っていたはずが、自分の設定で安全性を捨てているという事故は、実際に起きています。
論点4：ライセンスは問題なし。ただし「取引先の基準」は別問題
Qwen3.8はApache 2.0ライセンスで公開されており、商用利用も改変も再配布も認められています。法的な意味でのハードルはありません。
ただ、これで終わりではないのが実務の難しいところです。官公庁や大手企業の案件では、調達要件やセキュリティ基準の中で、使用するソフトウェアの開発元の所在国が問われることがあります。ライセンス上は自由でも、契約上は使えないという状況は普通に起こりえます。
「技術的に問題ないこと」と「取引先に説明がつくこと」は別の審査です。業務への導入を検討される場合は、必ずこの2つを分けてご確認ください。
正直なところ、仕事に使えるのでしょうか
ここは断定を避けたいところです。私自身、現時点でQwen3.8をお客様の業務システムに組み込んではいません。理由は3つあります。
- ハードウェア投資に見合わない場面が多い。VRAM 24GB級のマシンを用意する費用と、クラウドAIのAPI利用料を比べたとき、多くの中小企業さまの利用量では後者のほうが安く済みます
- 速度が業務のテンポに合わない。前述の通り、64GBのMacでも重い処理には相当な時間がかかります。品質は決して悪くないのですが、「待たされることが前提の道具」を日々の業務フローに組み込むのは現実的ではありません
- 出たばかりで実績がない。公開から数日のモデルを、お客様の業務の中核に入れるのは早すぎます
一方で、こういう場面なら検討の余地はあるかもしれない、とも思っています。
- 社外に絶対に出せない情報を、大量に、定型的に処理する必要がある場合
- 通信環境のない現場や、閉じたネットワークの中で使いたい場合
- クラウドAIの従量課金が、規模の面で明らかに重くなっている場合
ただしこれは「使えます」という保証ではなく、「検討する価値がある条件」の提示にすぎません。実際に導入できるかは、扱うデータの性質、投資回収の見込み、そして取引先の要件次第です。そこを飛ばして「ローカルLLMなら安全でタダです」と言う人がいたら、少し距離を置いたほうがよいと思います。
まとめ：今回は息抜きで、ロマンを追いかけた回でした
ここまで長々と書いてきましたが、今回の記事は業務改善の提案ではありません。夜な夜な自分のPCでAIを動かして「おお、動いた」と一人でニヤニヤする、それだけの話です。
ただ、こういう回り道が無駄かというと、そうでもないと思っています。実際に手を動かして初めて、18GBという数字の重さや、64GBのマシンでも待たされるという速度感や、「ローカルなら安全」という言葉がどこまで正しくてどこから怪しいのかが、体感として分かるからです。そして「思ったよりちゃんとしたものが出てくる」という驚きも、実際に動かさなければ手に入りません。カタログスペックを眺めているだけでは、この感覚は絶対に得られないものです。
そして中小企業のDXにおいて本当に効くのは、たいていもっと地味な部分です。散らばったデータを整理する、二重入力をなくす、Excelの手作業を仕組みに置き換える。派手さはありませんが、費用対効果は圧倒的にこちらです。
だからこそ、たまにはロマンを追いかける時間も必要かなと。次に本当に必要になったとき、「あれなら触ったことがあります」と言えるかどうかで、ご提案の質は確実に変わりますから。
弊社では岐阜・愛知の中小企業さまを中心に、こうした新しい技術を「使えるのか、使えないのか」から一緒に見極めるお手伝いをしています。流行っているから導入する、ではなく、御社の状況に本当に合うかを正直にお伝えするのが役目だと思っています。AI活用でお悩みのことがあれば、お気軽にご相談ください。
※本記事の情報は2026年8月時点のものです。この分野は更新が非常に速く、記載内容が短期間で古くなる可能性があります。