この記事でわかること
- ハルシネーション——AIが社内データを見ずに数字を答える。応答2,873回のうち223回で起きていた実測と、2つの対策
- 権限の渡しすぎ——AIが読めるデータは131個中14個しか守られていなかった。コード編集を全員禁止にするまで
- 実際の事故3件。旅行中の人に予定を入れた／自動返信がリード一覧に混ざった／毎朝「リード0」と誤報した
「ERP AIエージェント」で検索すると、Oracle、Microsoft、SAPの「AIが業務を自律的に実行する」という記事が並びます。中小企業が実際に入れたら何が起きるかは書いてありません。私たち株式会社Emposyは2026年7月から自社の基幹システムにAIエージェントを組み込んで運用しています。うまくいった話だけだと役に立たないので、失敗を先に書きます。
ERPのデータを、AIが直接読んで答えるようにした
「AIが賢く考える」のではなく、正しいやり方が実装済みの処理を、AIが選んで実行する形です。登録されている72個から、分野ごとに例を挙げます。
| 分野 | AIに頼めること（実際に登録されているもの） |
|---|---|
| お金 | 見積書を会計ソフトで発行する／請求書が「発行だけか・売上計上済みか・入金済みか」を確認する／未払いの請求書の一覧／重複して届いた請求書の検出 |
| 案件 | 今月請求すべき案件をまとめる／会計ソフトの入金と案件の突き合わせ |
| 数字 | 予実の表を出す／費用の内訳／目標に対する進捗／資金繰り／案件別の採算 |
| 日報 | 給与の集計／時間の使い方の分析／学習内容のまとめ |
| 会議 | 前回の議事録から次回のアジェンダを作る |
| 営業 | 見込み客の下調べ／商材ごとの架電状況／名刺台帳を引く |
※ すべて本番データベースの実数（2026年9月11日時点）。人数に関する数字は出していません。
AIが社内データを見ずに数字を答える——ハルシネーションは2種類あった
精度の問題ではありませんでした。最初に起きたのはハルシネーション、つまりAIが事実でないことを事実のように答えることでした。2種類あります。
1つ目：社内データを検索せずに、数字を言い切る
社内データを見て答えているつもりが、実際には見ていない。「今月の請求は◯件です」のように言い切っているのに、データベースを検索した形跡がない。数字を聞かれているのに、記憶と雰囲気で答えていました。60日で223回起きていました（04で数え方を書きます）。
2つ目：社内にある正しい計算を知らず、自前の劣化版で答える
実際に起きたこと
「この事業の採算を試算して」と頼むと、AIはその場で自前の計算を始めました。ところが社内には、すでに正しい試算のエンジンが実装されていました。AIはその存在を知らないので、劣化版を作って、それらしい数字を出してくる。間違ってはいないが、社内の正式なやり方とは違う数字が出ます。
②の原因ははっきりしていました。「ERPに何ができるか」を手書きの一覧でAIに教えていて、新しい機能を作っても書き足し忘れる。コードが真実で、一覧はその説明という二重管理は必ずズレます。どちらも賢さの問題ではなく、AIが何を知っていて何を知らないかを、こちらが管理できていない問題でした。
対策1：社内にどんな処理があるかを、コードから直接AIに渡す
2つ目への対策です。手書きの一覧を廃止して、こう変えました。
- 機能のコードに、直接「印」を付けるAIに使わせたい処理には「これはAIが呼べる機能」という印を付け、「どんなときに使うか」を一緒に書く。機能を作る作業と、AIに教える作業が同じ場所・同じ手順になる
- 印がない機能は、テストで落とす印を付け忘れた機能があると、自動テストが失敗して気づける。人の記憶に頼らない
- AIには毎回、メニューとして渡す会話のたびに、登録された機能の一覧が自動で組み立てられてAIに渡る。書き足し忘れが構造的に起きない
効果は明確でした。「試算して」と言えば、社内の正式なエンジンが動く。最初にやるべきはモデル選びではなく、「うちには何があるか」をAIに正しく教える仕組みです。
対策2：AIの回答2,873件を記録して、怪しい290件だけ人が見る
1つ目への対策です。AIの答えを人が全部確かめるのは無理なので、応答を1回ずつ記録して、怪しい回だけ見に行けるようにしました。60日で2,873回の応答の内訳です。
上の「検索せずに断定」を中心に、怪しいと判定された応答は290回、全体の約10%です。数字や社内の事実を聞かれているのに、調べずに答えている。応答ごとに次を自動で記録し、フラグを立てています。
- 社内データの検索を何回呼んだか（0回なのに数字を答えていれば怪しい）
- 応答に断定の表現が含まれるか（「〜です」「〜件あります」）
- 応答に否定の表現が含まれるか（「ありません」「存在しません」。調べずに「ない」と言うのがいちばん危ない）
- 上の組み合わせで怪しいフラグを立てる（検索0回なのに断定している、など）
AIエージェントの運用でいちばん要るのは、賢いモデルより疑う仕組みでした。
実際に起きた事故3件——AIの精度ではなく、渡し方の問題だった
ハルシネーションを直したあと、使う人と用途が増えて起きた事故です。3件とも「AIが賢くなかった」のではなく、こちらがAIに渡す条件を決めきれていなかったことが原因でした。
旅行中の人に、ランチ交流会を入れた（2026年9月10日）
役員の「旅行 9/17〜9/19」は、Googleカレンダー上では「予定なし（空き）」の設定でした。AIはその設定だけを見て空いていると判断し、旅行中の9月18日に予定を入れました。
空いているかどうかを設定で決めず、予定の中身（旅行・出張・通院…）で決めるようにした取引先の自動返信が、見込み客の一覧に混ざった
メールがAIで判定できなかったとき、通す側に倒していました。その結果「配信専用のため返信を承ることができません」という自動返信が見込み客として一覧に上がり、電話をかける手前まで進みました。
判定できなかった行は見込み客にしない。自動返信の文言はAIに判定させず、決まった語で機械的に弾く毎朝「リード0件」と誤報し続けた
広告の成果をAIが毎朝点検していましたが、申込が外部サイトで完結する事業では件数の数え方が違いました。実際には12件取れているのに「リード0のまま19,297円を消化」と警告が出続けました。
毎朝ウソの警告が鳴ると、本物の警告まで無視されるようになる。数え方は事業ごとの定義に合わせたAIが読めるデータが、131個のうち14個しか守られていなかった
2026年9月9日に監査したときの状態です。「見せたくないものを1つずつ登録する」方式だったので、新しく作った分が素通りしていました。
原則禁止に逆転させ、機能ごとに一括で止めた。以後、データを足しても自動で守られるこの4件目のあと、9月10日にAIによるコードの編集を全員禁止にしました。最初は役員だけ許していましたが、本番でAIが直しても外に出る経路がないので、例外を残す意味がありませんでした。システムを変えるのは、手元で人が書いて、GitHub経由で反映する道だけです。
Emposyがあとから決め直した3つ：AIに読ませる範囲、判断できないとき止めるか、システムを直させるか
上の事故3件は、次の3つを先に決めていなかったから起きました。Emposyは動かしながら決め直しましたが、AIを載せる前に決められるなら、先に決めた方が安く済みます。
- AIに読ませてよいデータの範囲を、原則禁止から始めるかうちは逆でした。「見せたくないものを登録する」方式で、131個のうち14個しか守れていなかった。予実・案件・利益・請求・会議・営業・給与を機能ごとに原則禁止へ逆転させ、名簿と事業名だけ全員が読めるように開けています。なお「合計だけ取り出す」形の読み方は、この関所を素通りします。完全ではありません
- AIが判断できなかったとき、通す側か止める側かうちは通す側に倒していて、自動返信が見込み客の一覧に混ざりました。判定できなかったものは先に進めない、が既定です。ただし止める側に倒すと「何も出てこない」ので、止めた分を別に見える場所へ出すところまで決めてください
- AIにシステムを直させるかうちは最初「役員だけ可」でしたが、2026年9月10日に全員不可にしました。AIが本番で直しても、その変更は次のデプロイで消えます。直すのは手元で人が書いてGitHub経由で出す道だけ。AIには「こう直せばいい」を文章で書かせます
60日で人の手を離れた仕事と、まだ残っている確認
できたこと
- 日報や案件メモは各自が短く書けば、AIが要約して担当案件と顧客に紐づける
- 見積書と請求書は案件データから作られ、人は内容を確認して承認するだけ
- 月次のレポートは締めた時点で出る
- 毎朝の点検は時間になったらAIが実行し、結果だけ通知する
まだできていないこと
- 約10%の応答は怪しいと判定される。重要な数字は画面で確認する運用
- 予約サイトの入出金など、外部から自動で取れないデータが残っている
- 人の確認をゼロにはできていない。確認する場所を減らす仕組みである
この記事を書いた会社の仕事
この記事の仕組みを、御社向けに作るのが私たちの仕事です
データを1か所にまとめるところから、AIに任せる範囲の線引き、怪しい応答に気づける形まで、自分たちで運用しているものをそのまま設計します。60分の無料相談で、いま使っているツールと、いちばん手間のかかっている作業を教えてください。AIを載せる前にまずデータを1か所にする必要がある会社には、そう言います。しつこい営業はしません。
よくある質問
ERPにAIエージェントを入れると、人の作業はどれくらい減りますか？
減るのは「探す」「集める」「書き写す」の3つです。うちの場合、月次レポートの作成、毎朝の点検、日報の要約、見積書の作成が人の手から離れました。一方で「確認する」作業は残ります。約10%の応答が怪しいと判定されるので、重要な数字は画面で確認する運用です。
データがバラバラでもAIを入れられますか？
入れられますが、効果は出ません。同じ受注が3か所に書かれている状態でAIを載せると、AIは「どれが正しいか」を判断できません。先にデータを1か所にする方が結果的に早いです。
AIが間違った数字を出すのが不安です
正当な不安です。実測で約10%が怪しいと判定されます。対策は2つで、(1) 正しいやり方を実装しておいてAIに選ばせる（AIに計算させない）、(2) 検索を呼んだか・断定したかを記録して怪しい回だけ見る。この2つで、人が全部を確認しなくて済むようになります。
どのAIモデルを使うかは重要ですか？
思ったより重要ではありませんでした。効いたのは「社内に何があるかをAIに正しく教える仕組み」と「怪しい答えに気づく仕組み」です。モデルは会話ごとに切り替えられるようにしていますが、使い勝手を決めているのは周りの仕組みの方です。
まとめ
出典：当社の基幹システムの本番データベース（2026年9月11日時点。応答2,873回・怪しい判定290回・検索112回・検索なし断定223回・登録機能72個・定期実行17件・やりとり6,701通）／開発リポジトリのコミット履歴（2026年7月11日〜9月11日）。取引先名・個人名・人数は伏せています。