株式会社Emposyでは2026年7月から、自社の基幹システムにAIエージェントを組み込んで、営業・経理・案件管理・日報まで毎日の仕事に使っています。導入から約100日。社員がAIに頼んだ仕事は1万2千件を超え、10月は1日あたり約250件になりました。
これだけ使い込むと、困ったことも次々に起きます。
数えてみると、この100日間のAIの回答9,174件のうち、社内データを一度も調べずに、数字や「ない」を言い切った回答が1,282件（約14%）ありました。中身はこう分かれます。
いちばん多いのは、調べもせずに数字を書いたケースでした。ここからは、実際に起きた事故を順に紹介します。
知ったかぶり①：社内データを見ずに、数字を言い切る
AIが調べてもいないことを、事実のように答えてしまう。これが「ハルシネーション」、この記事でいう知ったかぶりです。
問題：見ていないのに、見たような口ぶりで答える
最初に起きたのは、社内データを見て答えているはずのAIが、実は見ていなかったケースでした。「今月の請求は◯件です」と言い切っているのに、記録をたどるとデータベースを一度も検索していない。数字を聞かれているのに、記憶と雰囲気で答えていたんです。
検索0回で数字を答えた
中身を見ずに言い切った
あるのに「ない」と答えた
どれくらいあったのか、回答を全部数えてみました。
※ 灰色は件数が多いため、途中を省いて短く表示しています。緑と赤の長さは件数どおりです。
緑と赤だけで比べると、6割以上が「調べずに言い切った」側でした。しかも、調べても調べなくても、AIの口ぶりはまったく同じ。読む側からは見分けがつきません。
対策：怪しい回答に、自動で旗を立てる
全部を人が確かめるのは無理なので、回答を1件ずつ記録して、上の3つのどれかに当たったら怪しい旗を立てることにしました。
回答を1件ずつ記録
当てはまれば自動で旗
人は旗の付いた回答だけ確かめる
知ったかぶり②：社内の正しい計算を知らず、自前で答える
「この事業の採算を試算して」と頼んだら、AIがその場で自前の計算を始めました。社内にはちゃんと正しい試算の処理があるのに、AIはその存在を知りませんでした。間違いではないけれど、社内の正式なやり方とは違う数字が出てきます。
問題：機能の一覧を、人が手で書き足していた
原因は、「ERPで何ができるか」を手書きの一覧でAIに教えていたこと。新しい機能を作るたびに、一覧への書き足しを忘れていました。
AIが自前で計算した
正しい処理は使われないまま
一覧への書き足し忘れ
対策：一覧をプログラムから自動で作る
人が覚えて書き足すのをやめ、次の3つの仕組みにしました。
プログラムに「印」を付ける
印が無ければ、点検で止まる
会話のたびに一覧を作る
権限の渡しすぎ：AIが読めるデータは、131個中14個しか守られていなかった
2026年9月9日、AIが読めるデータを全部洗い出してみました。予実・案件・利益・請求・給与まで含めて131個。そのうち、AIから守られていたのは14個だけでした。
問題：画面で見られない社員も、AIに聞けば中身を読めた
ERPの画面には、役職ごとに見てよい範囲が決めてあります。ところがAIの側は、守る物を1つずつ登録したデータしか止められない作りでした。
登録は、データを作った人が覚えていれば足すやり方です。予実・案件・利益・請求・会議の記録など、あとから作ったデータは登録されないまま残っていました。そのため、画面では見られない社員でも、AIに聞けば中身を読めてしまう状態でした。
守る物を1つずつ登録
新しいデータは鍵なし
見られない人にもAIが答えた
対策：全部に鍵をかけて、要る物だけ開ける
守る物を1つずつ登録するやり方を、逆にしました。
こんな事故も…
ほかにも、こんなことがありました。
旅行中の社員に、ランチ交流会を入れた
2026年9月10日
役員の「旅行 9/17〜9/19」は、Googleカレンダー上で「予定なし（空き）」の設定でした。AIはその設定だけを見て空いていると判断し、旅行中の9月18日に予定を入れてしまいました。
取引先の自動返信が、見込み客の一覧に混ざった
電話をかける手前まで進んだ
AIが判定できなかったメールを、通す側に倒していました。その結果、「配信専用のため返信を承ることができません」という自動返信が、見込み客として一覧に上がってきました。
毎朝「リード0件」と誤報し続けた
実際は12件取れていた
広告の成果をAIが毎朝点検していましたが、申込が外部サイトで完結する事業では件数の数え方が違いました。「リード0のまま19,297円を消化」という警告が、毎朝出続けました。
AIのしつけ方：AIに計算させず、ERPに登録した処理を選ばせる
いろいろ起きた末に行き着いたのが、「AIに賢く考えさせない」やり方です。見積・請求・採算のように、社内で正しいやり方が決まっている計算は、先に処理として作っておく。AIには、その中からどれを動かすかを選ばせるだけにしました。いま登録している処理は113個です。
この記事を書いた会社の仕事
もっと事例を聞きたい方はこちらへ
記事に書ききれなかった事例や、AIに任せる範囲の線引き、怪しい応答に気づける形まで、自分たちで運用しているものをそのままお話しします。60分の無料相談で、いま使っているツールと、いちばん手間のかかっている作業を教えてください。しつこい営業はしません。
出典：当社の基幹システムの本番データベース（2026年10月30日時点。AIの回答9,174件〔2026年7月19日〜10月30日〕・検索して回答639件・検索なしの断定1,030件・怪しい旗1,282件・登録処理113個・AIへの依頼12,871件〔2026年7月11日〜〕）／AIが読めるデータの監査（2026年9月9日）／開発リポジトリの更新履歴（2026年7月11日〜10月30日）。取引先名・個人名・人数は伏せています。
資料を