ハルシネーションを業務でどう抑えるか

なぜAIは「もっともらしい嘘」をつくのか

対策の前に、仕組みを平易に押さえます。生成AIは、事実のデータベースを検索して答えているのではありません。大量の文章から学んだパターンをもとに、「この文脈で最もありそうな続き」を生成しているのです。

この仕組みは、文章の流暢さと引き換えに、ひとつの弱点を持ちます。「ありそうな続き」と「事実」は、常に一致するとは限らないということです。存在しない書籍のタイトルも、それらしい統計の数字も、「ありそうな形」としては生成できてしまう。AIは嘘をついている自覚すらなく、正しい答えと同じ確信度の文体で出力します。

重要なのは、これが「たまに起きる不具合」ではなく、仕組みに由来する性質だという理解です。バージョンが上がれば頻度は下がっても、原理的にゼロにはなりません。したがって業務利用の設計は、「ハルシネーションを起こさないAIを探す」ではなく、「起きても実害にならない使い方を組む」という発想に立つ必要があります。

幸い、ハルシネーションは無差別に起きるわけではありません。起きやすい場面には、はっきりした傾向があります。

起きやすい場面を見分ける

ハルシネーションのリスクは、依頼の種類によって大きく異なります。リスクの高低を見分ける目安を整理します。

この表の核心は、「AIの記憶」に頼る依頼は危険で、「渡した材料」を処理させる依頼は安全という対比です。「◯◯業界の市場規模は?」と記憶に聞けば、もっともらしい数字が返るリスクがあります。「この調査レポートから市場規模の記述を抜き出して」と材料を渡せば、リスクは大きく下がります。

もうひとつの危険信号は、具体性の高い出力です。固有名詞、数字、日付、出典。出力にこれらが含まれていて、かつ自分が材料として渡していないなら、それはAIの記憶から生成されたものであり、検証が必要なサインです。この「渡していない具体情報は疑う」という感覚を、利用者全員が持つことが、組織の最初の防御線になります。

対策の第1層：根拠を渡して答えさせる

最も効果的な対策は、AIの記憶に頼らせず、根拠となる資料を渡してから答えさせることです。

社内規定への質問には規定文書を、製品への質問には製品資料を、契約内容の確認には契約書を渡し、「この資料に基づいて答えて。資料にないことは『記載がない』と答えて」と指示します。答えの源泉を「AIの記憶」から「手元の文書」に切り替えることで、ハルシネーションの発生源を絞れます。

この構成は、社内の問い合わせ対応やナレッジ検索を自動化する際の標準設計にもなっています。文書を検索して関連箇所を見つけ、その内容に基づいて回答を生成する。業務システムとしてAIを組み込む場合は、この「根拠参照型」の構成を要件にすべきです。

根拠を渡しても、完全にはなりません。渡した資料の解釈を誤る、複数の資料の内容を混同する、といった誤りは残ります。ただし、この場合の検証は容易です。「その記述は資料のどこにあるか」と出典箇所を示させれば、人が原文と突き合わせて確認できる。検証可能性があるかどうかが、記憶頼みの出力との決定的な違いです。

実務の習慣としては、重要な回答には「根拠となった箇所を引用付きで示して」を常に付けることを推奨します。引用を出せない回答は、記憶からの生成である可能性が高く、それ自体が検証必要のシグナルになります。

対策の第2層：検証を工程に組み込む

第2層は、人による検証を、個人の注意力ではなく工程として組み込むことです。「気をつけて使う」は対策ではありません。忙しい日に注意力は必ず切れます。

検証の工程化には、いくつかの型があります。

• 検証対象の限定 — 全文を疑うのではなく、「固有名詞・数字・日付・出典」に検証を集中する。ハルシネーションの実害はほぼこの4種に宿る
• 用途別の検証ルール — 社外に出る文書は事実確認を必須に、社内の下書きは作成者の確認で可、という線引きを文書化する
• 検算・照合の自動化 — 数字は元データとの突き合わせ、計算は検算を仕組みで行う。人の目視より確実
• 二段階の目 — 重要文書は「AIの出力を直した人」と別の人が事実面を確認する。作成者は文章に馴染みすぎて誤りを見落とす

検証コストを理由に「AIを使わない方が速い」となる場合は、検証の範囲設計が広すぎます。全文の再調査は不要です。渡していない具体情報だけを狙って確認する。この的の絞り方を組織で共有すれば、検証は数分の工程に収まります。

対策の第3層：用途の設計で実害を断つ

第3層は、そもそもハルシネーションが起きても実害にならない用途に使うという、用途側の設計です。

誤りの代償が小さい用途から大きい用途へ並べると、活用の優先順位が見えてきます。

1. 発想・構成・下書き — 誤りがあっても人の工程で自然に修正される。最も安心して使える
2. 渡した材料の処理(要約・翻訳・分類) — 材料が手元にあり検証が容易
3. 根拠参照型の照会 — 出典の突き合わせで検証できる
4. 記憶頼みの事実照会 — 業務では原則使わない。調べ物は検索や一次資料で行い、AIは調べた資料の整理に使う

そして、どの用途でも共通する最後の砦が、責任の所在の明確化です。AIの出力を使った文書・回答・判断の責任は、それを採用した人にあります。「AIがそう言ったので」を組織として認めない。この原則が明確なら、利用者は自然と検証を行い、検証できない用途には使わなくなります。

ハルシネーションは、生成AIの欠陥というより、道具の性質です。包丁が切れることを知って扱うように、AIがもっともらしく誤ることを知って扱う。仕組みの理解、場面の見分け、根拠の設計、検証の工程化、用途の選択。この積み重ねができた組織にとって、ハルシネーションは「怖くて使えない理由」ではなく、「設計済みの管理項目」になります。

職種別に見る、実害の典型と防ぎ方

3層の対策を、職種別の典型場面に当てはめて具体化します。自部署に近い例から、対策の勘所を掴んでください。

営業。提案書に載せる市場データや競合情報を、AIの記憶から引くのが典型的な危険場面です。「◯◯市場は年率◯%成長」というもっともらしい数字が、顧客の前で崩れると商談ごと崩れます。対策は、調査は一次資料で行い、AIには集めた資料の整理と提案文の下書きだけを任せる分担です。

カスタマーサポート。存在しない機能や誤った手順の案内が典型です。対策は根拠参照型の徹底で、回答源を自社のマニュアル・FAQに限定し、記載のない質問は人に回す構成にします。

経理・法務。法令や会計基準の「それらしい要約」を鵜呑みにする危険があります。制度に関わる判断は、AIを論点整理と原文の該当箇所探しに使い、結論は必ず原文と専門家で確認する。この領域は第3層(用途の限定)を最も強く効かせるべき職種です。

マーケティング・広報。社外発信文に混ざる誤った事実(受賞歴、数値、引用)が典型です。発信前のファクトチェックリスト(固有名詞・数字・日付・出典の4点確認)を公開工程に必ず挟みます。

企画・経営。市場分析や競合調査の「ありそうな全体像」を信じて意思決定する危険です。AIの分析は仮説として扱い、投資判断に使う数字は必ず出典のある一次データで裏取りする。判断の重さに応じて検証の深さを変える原則が、最も問われる職種です。

共通するのは、どの職種でも「実害は具体情報(数字・固有名詞・制度)に宿る」ことです。職種ごとの危険場面を一度洗い出してチームで共有すれば、注意は的を絞った習慣に変わります。