---
title: 中小企業とAIの活用
tags:  #ai活用 #中小企業 #ローカルllm #コスト削減 #セキュリティ  
author: [東興電機製作所](https://www.docswell.com/user/tokods)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/D7Y49G6PEM.jpg?width=480
description: 中小企業は人手不足や資金調達の課題があり、従来のクラウドAIは費用や情報漏洩のリスクが懸念されます。そこで、CPU搭載の普通のPCにUbuntu、ollama、Open‑webUI を導入し、ローカルLLM（例：Qwen3.6）を動かす手順と実装例を示しました。ローカル環境なら利用料がかからず、データは外部に送信されないため安全です。実際に業務効率化やコード生成のデモを行い、精度や速度は有料AIに劣りますが、試用には十分有用と結論付けています。
published: June 23, 26
canonical: https://www.docswell.com/s/tokods/Z7NNVG-2026-06-23-104811
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/D7Y49G6PEM.jpg)

中小企業とAIの活用
東興電機製作所 ITサービス部


# Page. 2

![Page Image](https://bcdn.docswell.com/page/VENYLGZMJ8.jpg)

最近OpenAI社のChat-GPTや Anthropic社のClaudeなど、異常な勢いでAIの高性能化が進んでいます。
大企業であれば、すでにAIの活用が進んでいる会社も多いかもしれません。
一方、中小企業ではどうでしょうか？
IT関連企業であれば当然AIの活用は始まっているでしょうが、
ほかの分野の会社であれば、AI活用の検討さえ難しいとお考えかもしれません。
本コラムでは、
中小企業だからこそ、AI利用の検討
セキュリティとコストを考えて、手持ちのPCでローカルLLM？
という内容をお伝えします。


# Page. 3

![Page Image](https://bcdn.docswell.com/page/Y79P4WZWE3.jpg)

中小企業だからこそAI利用の検討
中小企業でお勤めの方は、様々な業務を片手間でこなしていくという方も多いとは思います。
専任の担当者を設置できずに、様々な専門性が必要な業務をお一人でこなすという場合も多いとは思います。
また、AI導入を検討しても高額な費用の心配も常に付きまとうこととなります。
高性能なAIはもちろん利用料金も高額になりますし、
（オプトアウト申請を行った場合でも）入力したデータがAIの学習データとして利用される可能性＝情報漏洩の可能性
が排除できない訳です。
中小企業ならでは悩みは「人材・人手不足」と「資金調達の難しさ」があるのですが、
ここで、本コラムの提案内容である「安い*・安全な** AIをお手軽に利用してみて」はいかがでしょうか？
---------*安い → 手持ちPCを利用して、AIの利用料金を払わない
**安全な → ローカルLLMを構築して、AIへの入力内容はローカルPCで処理する


# Page. 4

![Page Image](https://bcdn.docswell.com/page/G78DQN1R7D.jpg)

手持ちのPCでローカルLLM構築
高性能なAIをローカル環境で適切な速度で実行するためには、高性能なGPU、潤沢なメモリが必要です。
ただ、お手持ちのPCでメモリさえ準備できれば、軽いローカルLLMは遅いながらも動いてしまうというのが現状です。
私の実験した環境は
CPU Ryzen 3500U ( 4 Core / 8 Thread ) – 内臓GPU 860M
Memory 64GB → BIOS で8GBをVRAMに割り当て
512GB SSD
といった、メモリだけは多いもののごく普通のミニデスクトップPCです。外付けGPUも搭載していません。
ここに
Ubuntu 24.04 + ollama + open-webUI をガイドに従ってインストールするだけです。
一日もあれば、ローカル環境でLLMを動かす準備ができると思います。
LLMのモデルは日進月歩でどんどん新しいものが開発・公開されています。
サンプルとして、Alibabaが開発したQwen 3.6をベースにしたQwen3.6-35B-abliterated-Claude-4.7を利用してみました。
RAG（検索サービス）は無料でAPI不要のDDGS(DuckDuckGo Search)を指定してあります。


# Page. 5

![Page Image](https://bcdn.docswell.com/page/L7LMXPQ2JR.jpg)

手持ちのPCでローカルLLM構築（実行テスト1）
Open-webUIを実行した環境にログインして、
「中小企業でのAI活用のメリット・デメリットを500文字程度にまとめてテキストで出力して」
と聞いてみました。
得られた回答は以下の通りでした。
中小企業におけるAI活用のメリットとしては、業務効率化が最も顕著です。
経理・人事で定型作業を自動化でき人手不足の解消やコスト削減につながります。
またマーケティング分野では顧客データ分析によるターゲティング精度向上が期待され、
限られた予算でも効果的な施策を実施可能です。
さらに24時間365日対応が可能となるチャットボットの導入により、
営業時間の制約を超えた顧客サービスを実現できます。
中小企業ならではの強みである柔軟性を活かえ迅速なAI活用人を可能にすることもできるでしょう。
デメリットとしてまず初期投資が挙げられます。
「費用対効果を期待したが思った成果を得られなかった」という実態からみると
高額化しない選択が必要です。さらに業務のブラックボックス化への懸念も存在します。
AIを活用している内部知識が特定社員のみにあるため、離職時に引き継ぎ不足が生じる可能性があります。
また人材育成にも課題があり、「ツールを導入した」はいいものの「使いこなせるスタッフがいない」
という状態に陥りやすいでしょう。
特に中堅以上の従業員向けトレーニング体制をどう構築するかが鍵となります。
セキュリティ・プライバシー対応も重要な考慮点です。クラウドサービスを活用する場合、
顧客情報が適切に保護されているか確認が必要です。
中小企業の場合は社内に専門人材がいるとは限らないため、
外部のサポート力をいかに活用できるかも勝負所と言えるでしょう。


# Page. 6

![Page Image](https://bcdn.docswell.com/page/4EMYL419EW.jpg)

手持ちのPCでローカルLLM構築（実行テスト2）
次に
「Excelのブック内に存在する複数のシートを1シートずつ出力するマクロを書いて下さい。」
と聞いてみました。
得られた回答は左の画像のようにマクロを書いてくれました。
（このマクロが実行できるところまでは検証を行っていません。）


# Page. 7

![Page Image](https://bcdn.docswell.com/page/PER9KWL9J9.jpg)

手持ちのPCでローカルLLM構築（考察）
ローカルLLMは有料の高性能AIに比べると回答の精度も、速度の面もかなうものではありませんが、
無料でごく普通のPCでこれだけの回答が得られるのは驚きでした。
ローカルLLMですので、プロンプトに入力した内容はローカルでのみ*で処理されますし、
何より（PCの準備と電気代はかかるにせよ）無料で利用したい放題というのはお試しには非常にお勧めです。
専門性が求められる内容の質問でも、ハルシネーション（AIが生成する嘘）には気を付けながら意見の一つとして
気軽に質問できる環境は、人手不足の中小企業には嬉しいのではないでしょうか？
-----
*：RAGを設定すると検索サービスに入力した内容が送信される可能性があるため、
完全なローカル環境で利用する場合はRAG設定を行わないことを推奨


# Page. 8

![Page Image](https://bcdn.docswell.com/page/P7XQLPW3EX.jpg)

最後に
安い・安全なAIをお手軽に利用してみてというお話をさせていただきました。
お気軽にローカルLLMを利用してみて、御社でのAI活用法を探る一助になれば幸いです。
今回ローカルLLMをお試しで提案した大きな理由の一つとしては
「情報セキュリティの観点において、プロンプト入力に伴う情報漏洩の可能性がない*」
ことが挙げられます。
導入したローカルLLMの性能に満足できない場合は、有償のAIを契約するなり、
今後も日々進化する高性能なローカルLLMモデルを探すなりと様々な方法があります。
現在のAIの進化の速度は驚くばかりです。
中小企業だからこそ、今からAI利用の検討をぜひ始めてみてください。
------
*：RAGの設定を行わない、構築したローカルLLMをインターネット環境に公開しないなど適切な設定が必要です