ChatGPTのハルシネーション対策とは？プロンプト・確認ルール・運用の考え方

ChatGPT（※）をはじめとする生成AIは、文章作成やアイデア出し、プログラミングの補助など、業務効率化の強力な武器として多くの企業で活用されています。しかし、便利な一方で「もっともらしいが事実と異なる回答」という課題が指摘されることも少なくありません。

特に、情報システム部門（以下、情シス）や管理部門が少人数体制の企業においては、すべての従業員のAI利用状況を監視することは難しく、「現場で誤った情報をそのまま使ってしまわないか」と不安を抱える担当者の方も多いのではないでしょうか。

この記事では、ChatGPTの利用における「ハルシネーション」の原因を整理し、現場ですぐに実践できるプロンプト（指示文）の工夫から、出力結果の確認ルール、そして全社で安全に活用するための運用について解説します。

※ChatGPTは、OpenAI OpCo, LLCの商標または登録商標です。

ハルシネーションとは

ハルシネーション（Hallucination）とは、直訳すると「幻覚」を意味しますが、生成AIでは「AIが事実とは異なる内容や架空の情報を、あたかも事実であるかのように出力してしまう現象」を指します。

ChatGPTの基盤となる大規模言語モデル（LLM）は、学習した大量のテキストや与えられた文脈をもとに、次に続く可能性の高い語句を予測しながら文章を生成します。そのため、回答が自然であっても、内容が常に事実に基づいているとは限りません。

特に、学習データに含まれていない情報や未知の事柄については、存在しない人物名や架空の法律など、事実とは異なる内容を生成してしまうことがあります。

ChatGPTでハルシネーションが起きる理由と注意点

まずは、なぜChatGPTが事実とは異なるもっともらしい回答を出力してしまうのか、その仕組みと注意点を整理します。

曖昧な指示や文脈不足で起こりやすい

ハルシネーションは、ユーザーからの質問が広すぎたり、前提条件が不足していたりする場合に起こりやすくなります。

例えば、「最新のITトレンドについて教えて」というような曖昧な指示を出すと、AIはどのような観点で回答すべきか判断しにくくなり、学習データを基に関連する情報を組み合わせて、不正確な回答を生成しやすくなります。AIが適切な回答を生成できるようにするためには、背景となる文脈や前提条件を具体的に伝えることが重要です。

危険なのは“自然な文章に見えること”

業務利用において特に注意したいのは、ハルシネーションによって生成された文章が、非常に自然で説得力のある文章に見えてしまうことです。

明らかに誤りだと分かる回答であれば利用者も気づきやすいですが、専門用語が適切に使われ、論理的な構成で書かれていると、専門知識のない従業員は「AIが生成した内容だから正しいだろう」と受け止めてしまう可能性があります。

その内容を顧客向けの資料や社外向けのメールにそのまま利用すると、企業の信用を損なうトラブルにつながるおそれがあります。

まず実践したいプロンプト面の対策

ハルシネーションを減らすために、まずは現場の従業員がすぐに実践できるプロンプト（指示文）の工夫を解説します。

指示を具体的にする

AIの回答精度を高めるためには、目的、前提、出力形式、対象範囲などをできる限り具体的に伝えることが重要です。

「この文章を要約して」とだけ伝えるのではなく、「あなたはベテランの編集者です。以下の文章を、IT知識がない一般の読者向けに、箇条書きで3点に要約してください」というように、役割（ロール）やターゲットを明確に指定することで、AIが回答の前提を把握しやすくなり、事実と異なる情報を生成する可能性を抑えやすくなります。

回答の条件や根拠を指定する

ハルシネーションを防ぐ効果的なテクニックとして、回答に対する制約を設けることが挙げられます。

プロンプトに「事実に基づかない推測はしないでください」「情報が不足していて分からない場合は『分からない』と答えてください」といった条件を付け加えることで、AIが推測に基づく回答を生成することを抑えやすくなります。

また、「回答の際には、その根拠や判断理由も併せて提示してください」と指定することで、後から人間が事実確認を行いやすくなります。

必要な文脈や参考情報を与える

自社の社内規程や独自の業務フローなど、AIが事前に把握していない社内固有の情報を前提とする場合は、プロンプト内に参考情報として必要な範囲のテキストを提示することも有効です。ただし、個人情報や機密情報が含まれる場合は、事前にマスキングするなど、入力ルールに沿って扱う必要があります。

「以下の社内規程のテキストを参考にして、新入社員からの質問に答えてください」と指示することで、AIは与えられた参考情報を踏まえて回答を生成しやすくなるため、より実態に即した回答を得やすくなります。

一度で完成を求めず、対話で絞り込む

ChatGPTは、一度のプロンプトで完璧な答えを出せるとは限りません。最初の回答をベースとして、人間との対話を通じて徐々に精度を高めていく進め方が効果的です。

「この部分はもう少し具体的な例を出して」「〇〇という条件を追加した場合、どう変わるか教えて」といったように、チャットの履歴を引き継ぎながら追加の指示を出すことで、回答内容を確認・修正しながら、求める品質に近づけることができます。

出力結果の確認ルールもセットで考える

プロンプトをどれだけ工夫しても、現在の生成AIにおいてハルシネーションを完全にゼロにすることはできません。そのため、利用後の確認ルールまで含めて運用を設計することが重要です。

そのまま使わず、必ず確認する

まず社内で徹底したいのは、「AIの出力をそのままコピー＆ペーストして使わない」という意識です。

社内でのアイデア出しや構成案の作成といった用途であれば多少の誤りも許容されますが、社外に提出する企画書や、顧客向けの案内メール、プレスリリースなどの公開文書においては、必ず人による確認と修正を入れることを基本的な運用ルールとします。

事実確認が必要な業務を切り分ける

業務の性質によって、事実確認の重要度は大きく変わります。

特に、統計データや売上などの「数値」、著作権や個人情報などの「法令・ルールに関する内容」、取引先との「契約条件」、製品の「仕様」などは、わずかな誤りでも、顧客対応や社内判断に影響を与えるおそれがあります。

これらの要素が含まれる業務でChatGPTを利用する場合は、公式サイトや一次情報（公的機関の発表など）を基に事実確認を行うルールを設けることが重要です。

また、AIが出典名やURLらしき情報を提示した場合でも、それが実在し、内容を正しく裏付けているとは限りません。必ず公式サイトや一次情報に直接アクセスして確認しましょう。

レビューの責任者や確認手順を決める

「誰が最終的な責任を持つのか」を明確にしておくことも、運用上の重要なポイントです。

若手社員がAIを使って作成した資料を、上長が知らずに承認してしまうケースも考えられます。「AIを使用して作成したドラフトは、提出時にその旨を明記する」「公開前の最終レビュー担当者を決める」といったように、承認フローのなかにAI利用時の確認手順を組み込んでおくことで、責任の所在を明確にできます。

よくある誤答パターンを共有する

自社の業務において「ChatGPTがよく間違えるポイント」が見えてきたら、それを情シス部門や各部門内でナレッジとして共有しましょう。

「自社製品の旧モデルと新モデルの仕様を混同しやすい」「特定の業界用語の解釈を誤る傾向がある」といった具体的なパターンを事前に共有しておくことで、レビュー時の確認ポイントが明確になり、同様のミスの再発防止につながります。

情シス部門で整えたい運用ルール

個人のプロンプトスキルや注意だけに頼るのではなく、全社で安全に生成AIを活用するためには、情シス部門が中心となって運用体制を整えることが重要です。

利用ガイドラインを作る

まずは、会社としての生成AI利用に関するガイドラインを策定します。

ハルシネーション対策の観点だけでなく、セキュリティの観点から「入力してよい情報・入力してはいけない情報（顧客の個人情報や未公開の開発情報の入力禁止など）」を明確にします。また、利用を推奨する業務や厳重な確認が必要な場面、利用を禁止するケースなどを具体的に記載し、従業員が判断に迷わないようにします。

なお、ハルシネーション対策は、情報漏えい対策や著作権対策とあわせて整理する必要があります。誤情報を防ぐ確認ルールと、入力情報を守るセキュリティルールを分けて定めることで、現場が判断しやすくなります。

利用対象者と利用用途を整理する

すべての従業員に同じ権限を一律で与えるのではなく、部門や役割に応じて利用対象者と用途を整理するアプローチも有効です。

例えば、高度なセキュリティが求められる環境であれば、情報セキュリティへの理解がある一部の部門（企画部門やマーケティング部門など）で試験的に導入し、利用用途を絞ってスモールスタートで運用を開始します。

そこで運用ノウハウや安全なプロンプトの型が蓄積されてから、他部門へ展開していくことで、想定外のトラブルを防ぎやすくなります。

教育やレクチャーを用意する

ガイドラインを社内ポータルに掲載して終わりにするのではなく、それが現場に定着するための教育やレクチャーの場を用意することが重要です。

単なるツールの機能説明にとどまらず、「ハルシネーションとは何か」「なぜ起こるのか」「防ぐための具体的なプロンプトの書き方」といった実践的な内容を盛り込みます。実際の業務で起こり得る失敗例を交えながら説明することで、従業員のルールへの理解を深め、適切な利用を促しやすくなります。

継続的に見直す前提で運用する

生成AIの技術進化のスピードは非常に速く、数か月前には利用できなかった機能が追加されることも珍しくありません。

そのため、一度作ったルールや教育内容がすぐに陳腐化してしまう可能性があります。ガイドラインは一度策定して終わりではなく、社内の利用状況の変化や、ツールのアップデートに合わせて、半年に一度などのペースで定期的に見直せる柔軟な運用体制を敷いておくことが大切です。

生成AI利用時の情報漏えいや運用ルールについては、以下の記事でも詳しく解説しています。

ハルシネーション対策を継続するための運用体制

ハルシネーション対策を継続的に運用するには、ガイドラインの整備や社内教育、問い合わせ対応など、さまざまな取り組みが必要です。人員が限られている企業では、すべてを自社だけで対応することが難しい場合もあります。ここでは、無理なく運用を続けるための考え方を紹介します。

自社だけで運用を担う負担を把握する

特に少人数体制の中小企業では、日々のPCキッティングやネットワークの保守、パスワードリセットなどの問い合わせ対応だけでも手一杯というケースは少なくありません。その状況で、ChatGPTの利用ガイドラインを策定し、社内教育を実施したうえで、「AIの回答が正しいか分からない」といった新たな問い合わせにも対応することは、担当者の大きな負担につながる可能性があります。

外部支援を活用しながら運用を進める

自社で十分なリソースを確保することが難しい場合は、運用設計や社内教育を外部のITアウトソーシングサービスやアドバイザリーサービスと連携して進める方法も有効です。

ITインフラや業務システムに精通した専門家に、他社事例を踏まえた利用ルールの策定や社内向けレクチャー、導入後のヘルプデスク対応などを任せることで、情シス部門は本来注力すべき業務に集中しながら、全社で安全な生成AI活用を進めやすくなります。

大切なのは、ハルシネーションを理由に生成AIの利用を全面的に禁止することではありません。AIが誤った回答を生成する可能性を前提としたうえで、それを適切に確認・運用できる仕組みを整えることが重要です。自社のリソースだけで抱え込まず、必要に応じて外部の専門家も活用しながら、継続的に運用できる体制を整えることが、安全な生成AI活用につながります。

まとめ

この記事では、ChatGPTのハルシネーションについて以下の内容を解説しました。

• ハルシネーションとは

• ChatGPTでハルシネーションが起きる理由

• まず実践したいプロンプト面の対策

• 出力結果の確認ルールもセットで考える

• 情シス部門で整えたい運用ルール

• ハルシネーション対策を継続するための運用体制

情シス部門と現場のユーザー部門が連携し、入力の工夫・出力の確認・運用ルールの整備を一体となって進めることで、リスクをコントロールしながら生産性を向上させることができます。

もし「自社だけではルールの策定や現場への教育に手が回らない」とお悩みの場合は、外部の運用支援サービスの活用もぜひ検討してみてください。

『FGLテクノソリューションズ』では、Microsoft 365やMicrosoft Azure環境の運用支援をはじめ、ID・アカウント管理、ヘルプデスク対応、IT資産管理など、生成AI活用の土台となるIT環境の運用を幅広くサポートします。生成AIを安全かつ継続的に活用できる体制づくりについてお悩みの方はお気軽にご相談ください。