AIチャットボットが、不正確で一貫性のない医療アドバイスをユーザーに提供する危険性が指摘されている。英オックスフォード大学の研究によると、医療ガイダンスに人工知能（AI）を利用する人々は、良い回答と悪い回答が混在した情報を獲得する結果、どのアドバイスを信頼すべきか判断が困難になってしまうことが判明した。
研究を実施した主任医師のレベッカ・ペイン博士は、人々が自身の医学的症状についてチャットボットに尋ねることは「危険」になり得ると主張する。
研究チームは1300人に対し、激しい頭痛に苦しむケースや、絶え間ない疲労感に苛まれる産後の母親といったシナリオを提示した。参加者は2つのグループに分けられ、一方のグループはAIを利用して自身の症状の可能性を推測し、次に取るべき行動を決定した。
その後、専門家チームは参加者が病状を正しく特定できたか、かかりつけ医を受診すべきか救急外来へ直行すべきかを評価した。その結果、AIを利用した人々は質問すべき内容を十分に把握できておらず、質問の表現方法によって異なる回答が返されるケースが多発する結果となった。
同研究の上席著者であるアダム・マディ博士は、AIが医療情報を提供できる一方で、ユーザーは「有用な助言を得るのに苦労している」と説明する。「人々は情報を徐々に共有するものです。彼らは情報を省略し、すべてを語らない。したがって、我々の研究では、AIが3つの可能性のある病状をリストアップすると、人々はどれが自分に当てはまるかを推測せざるを得なかった。まさにこの時点で、事態は行き詰まることになる」と続けた。
筆頭著者のアンドルー・ビーン氏は、この結果は人間との対話が「トップクラスの」AIモデルにとっても課題であることを示しているとし、「この研究が、より安全で有用なAIシステムの開発に貢献することを願っている」と述べた。
一方、イェール大学医学部のアンバー・W・チャイルズ博士は、チャットボットは既存の医療行為やデータに基づいて訓練されているため、「何十年にもわたって医療行為に組み込まれてきた」偏見を繰り返すという問題に直面していると指摘。「チャットボットは熟練した臨床医と同じくらいしか診断能力がなく、完璧ではない」と語った。
一方で、最新の医療技術トレンドを分析するデジタルヘルス専門メディア「The Medical Futurist」の編集者であるベルタラン・メシュコ博士は、この分野では今後さらなる発展が見込まれることを示唆。2つの主要なAI開発者であるOpenAIとAnthropicがリリースした一般的なチャットボットの医療専用バージョンが「同様の研究では間違いなく異なる結果をもたらすだろう」と説明している。
