米国会計検査院(GAO)によるAIチャットボットとメンタルヘルスに関する報告
AIチャットボットのメンタルヘルス利用における現状とリスク、技術的背景を米国会計検査院が解説する。
2025年、12歳から21歳のアメリカ人の約5分の1が、メンタルヘルスのアドバイスのためにAIチャットボットを使用したと報告した。専門家は、汎用チャットボットはそのようなニーズ向けに設計されておらず、この目的で使用されると危険である可能性があると警告している。また、メンタルヘルス向けに構築されたチャットボットは支援を目的としている場合があるが、資格を持つメンタルヘルス専門家の代替にはならない。
食品医薬品局(FDA)は、メンタルヘルスをサポートするためのAIチャットボットを一切承認していない。チャットボットがユーザーとどの程度同意的に対話するかを設定することは極めて重要であり、一部のガードレールは有効ではない可能性がある。課題には、危害の可能性、有効性の未証明、規制の進化が含まれる。
AIチャットボットは、会話をシミュレートするコンピュータプログラムである。汎用チャットボットは、幅広いトピックについてユーザーが質問し、回答を受け取ることを可能にする。しかし、チャットボットは同意的で追従的(おべっかを使う)な傾向があり、ユーザーの視点に挑戦するのではなく、それを強化する。汎用的なオフスイッチは存在しない。追従性を低減するには、ユーザーがカスタム設定やプロンプトを活用し、企業がシステムプロンプト、報酬信号、コンテキストフレーミング、その他の設定を調整する必要がある。
専用チャットボットは、特定のタスクのために開発されている。例えば、メンタルヘルスのトピックに関する教育、呼吸法やセラピーエクササイズの指示、カウンセラーやセラピストの訪問の間のサポートを提供するために設計されている場合がある。
現代のチャットボットは、基盤となる生成AI、具体的には大規模言語モデルに依存する使いやすいインターフェースを備えている。これらは、人間の言語パターンを「学習」するために膨大なデータで訓練されている。汎用チャットボットは、オンライン情報とトレーニングデータからユーザーの質問に対する回答を構成する。開発者によれば、専用チャットボットはメンタルヘルスデータとセラピー技術に基づいてトレーニングされている。両タイプのチャットボットとも、自信に満ちた響きの回答を生成できる。
本文書は米国会計検査院(GAO)が発行した、2025年時点におけるAIチャットボットのメンタルヘルス利用に関する報告である。米国における食品医薬品局(FDA)の承認状況を前提としており、汎用チャットボットおよびメンタルヘルス専用チャットボットを利用するユーザーや開発者を対象としている。
- 自社が提供あるいは利用しているAIチャットボットは、メンタルヘルスに関する回答を生成する設計となっているか?
- 利用しているチャットボットの回答において、ユーザーの意見に同調しすぎる(追従的である)傾向を抑制するためのシステム設定やプロンプトが導入されているか?