親しみやすい対応をするよう訓練されたAIチャットボットは、不正確な回答をする傾向が強いことがわかった。
「オックスフォード・インターネット研究所」(OII)の研究チームが、より共感的なコミュニケーションができるよう調整された5つの主要AIシステムを分析した。4月29日にNature誌で発表されたこの調査では51万2000件以上の回答を検証。その結果、回答が親しみやすいものであるほど、不正確な医療アドバイスの提供や、ユーザーの誤った信念を再確認させる「おべっか(サイコファンシー)」などの誤りが増加することが判明した。
特に重要なトピックにおいて親密さを優先したモデルは、標準的なモデルと比較して正確性が最大30%低下した。さらに、ユーザーが感情的な脆さを見せている状況では、AIが誤った情報に同調する確率が約40%高まるという。
研究を主導したルジャイン・イブラヒム氏は、人間が親密さを優先して正直で厳しい真実を伝えることを避ける「温かさと正確さのトレードオフ」を、AIが学習データを通じて内面化しているのではないかと分析している。検証対象には「Meta」、「Mistral」、「アリババ」、「OpenAI」の「GPT―4o」が含まれた。
また、バンガー大学のアンドルー・マクステイ氏は、人々が感情的なサポートを求めてAIを利用する際、最も無防備な状態にあることを指摘した。特に10代の若者の利用が増加していることから、マクステイ氏はお世辞はともかく重要なトピックに関する事実誤認は別問題であると警告している。
