結論から書きます。AIが誤った情報を答えたというニュースを見たときに自社でやるべきことは、ツールの入れ替えでも利用禁止でもなく、「その答えが人の目を通らずに外へ出る経路があるか」を洗い出すことです。誤答そのものはゼロにできません。事故になるかどうかは、誤答が出た後に誰かが気づける仕組みがあるかで決まります。この記事では、報道される事故に共通する型を整理し、自社の使い方を点検する5か所と、30分でできる確認手順をまとめます。
なぜAIは自信たっぷりに間違えるのか？
生成AIが事実と異なる内容をもっともらしく出力することをハルシネーション（hallucination、幻覚）と呼びます。AIが嘘をつこうとしているわけではなく、次に来る語として確からしいものを選び続けた結果、文としては自然で中身が事実と合わない文章ができる、という仕組み上の性質です。
やっかいなのは、誤りの部分だけ文体が崩れたりしないことです。正しい箇所と同じ調子で、存在しない条文番号や、実在しない型番、過去に廃止された制度を書いてきます。人間なら「自信がないときは語尾が濁る」という手がかりがありますが、AIの出力にはそれがありません。検索機能や社内文書を参照させる構成（RAG）にしても、参照先の選び方を誤れば同じことが起きます。
つまり、読み手が「違和感」で弾くことを前提にした運用は成立しません。弾くための条件を、仕組みとして用意する必要があります。
報道される事故には、どんな型があるか？
国内外で報じられてきた誤答のトラブルは、個別の事情はさまざまでも、構造はいくつかの型に分かれます。たとえば、航空会社のチャットボットが実際には存在しない割引の条件を案内し、その案内を信じた利用者に対して会社側の責任が認められたとされる事案が報じられています。また、法廷に提出する書面にAIが生成した架空の判例が含まれていた、という報道もあります。
| 型 | 起きること | 危ない条件 |
|---|---|---|
| 対外案内型 | 料金・条件・在庫などを誤って外部に伝える | チャットボットが人を介さず回答を確定させている |
| 出典捏造型 | 存在しない条文・判例・論文・型番を引く | 出力をそのまま資料や提案書に貼る運用 |
| 古い情報型 | 廃止・改正前の制度や旧価格を現行として答える | 社内文書の更新日を管理していない |
| 数値ずれ型 | 集計や単価の計算が一桁違う | 表の計算をAIに任せ、検算者がいない |
| 取り違え型 | 別の顧客・別案件の内容が混ざる | 複数案件を同じ会話の中で続けて扱っている |
自社の使い方をこの表に当てはめると、だいたいどれか一つには引っかかります。引っかかった行の「危ない条件」が、そのまま点検対象です。
自社の使い方で点検する5か所
- 人の目を通らずに外へ出る経路があるか。チャットボット、自動返信メール、Webへの自動公開。ここが最優先です。一つでもあれば、まずそこだけ止めるか、確定させずに「担当者から折り返す」形に変えられないかを検討します。
- 数字・固有名詞・日付が含まれるか。誤答の実害は、この3種類に集中します。文章表現の誤りは読めば直せますが、金額や日付は直さずに通過します。
- 参照元を人が確認できる形で残しているか。AIの回答に「どの社内文書の何ページを見たか」が付いていないなら、検証コストは回答を作る手間と変わりません。
- 誤答が起きたときの戻し方が決まっているか。訂正の連絡先、公開済み資料の差し替え手順、謝罪の判断者。事故のときに考え始めると遅れます。
- 確認者が「確認できる人」か。中身を判断できない人のチェックは、承認の形式を満たすだけで、誤りは通過します。
社外に出す文書については、利用者向け資料のAI下書き、5つの検品で挙げた検品項目と重なります。あわせて確認すると手戻りが減ります。
誤答が外に出たとき、責任はどこに向かう？
ここは断定を避けつつも、押さえておくべき点があります。AIが答えたから責任が軽くなる、という考え方は通りにくいと見ておくのが現実的です。前述の航空会社の事案でも、チャットボットは独立した存在ではなく会社の案内の一部である、という趣旨の判断だったと報じられています。
国内では、表示や広告に誤りがあれば景品表示法（不当景品類及び不当表示防止法）の観点が関わります。医療・健康に関する表現であれば医薬品医療機器等法（薬機法）、個人の情報を扱えば個人情報保護法が関係します。また、事業者がAIを扱う際の考え方を整理したものとして、総務省と経済産業省によるAI事業者ガイドラインが公表されています。いずれも「AIが出力したかどうか」で適用が変わる建て付けにはなっていません。出したのは自社、という前提で設計するのが安全側です。
なお、規約の側でも、出力の正確性を提供側が保証しない旨が書かれているのが一般的です。契約面の確認については規約改定の通知が来たら見る3か所が参考になります。
30分でできる点検の進め方
大がかりな棚卸しは不要です。次の順でやります。
- 最初の10分：いまAIを使っている業務を、紙に全部書き出す。部署ごとではなく「出力の行き先」ごとに書くのがコツです（社内メモ／顧客への回答／公開資料／システムへの入力）。
- 次の10分：行き先が「顧客」「公開」になっているものに印を付ける。印が付いたものだけが、今日の対象です。
- 最後の10分：印の付いた業務について、「誰が」「何を見て」「どこまで直せば出してよいか」を1行で書く。書けないものは、書けるようになるまで人の確定を挟みます。
さらに踏み込むなら、自社の実データで誤答率を測ります。業務で実際に来る質問を集め、AIに答えさせて正誤を人が判定するだけです。件数の目安と進め方はAIの検収は自社データ100件で足りるにまとめています。「よく間違える質問の型」が見つかれば、その型だけ人に回すという切り分けができます。全部を疑うより、はるかに現実的です。
まとめ
誤答のニュースを見たときの正しい反応は、「うちのAIは大丈夫か」ではなく「うちで誤答が出たら、誰がどこで気づくか」です。順番としては、(1)人の目を通らず外へ出る経路を探す、(2)数字・固有名詞・日付を含む出力を特定する、(3)確認者と訂正手順を1行で書く——この3つで、事故の大半は手前で止まります。
AIを止める必要はありません。止めるべきは、誤答がそのまま確定してしまう経路だけです。今日の30分で、その経路が自社に何本あるかを数えるところから始めてください。
この記事は、AI で下書きを作り、益山康秀（運営者）が内容を確認して公開しています
