10月19日、Bioengineer.orgが「The Hidden Bias in AI Healthcare May Come From Clinicians, Not Algorithms」と題した記事を公開した。この記事では、医療AIにおける公平性の問題は、アルゴリズム自体よりも、それを使用する臨床医の行動や判断から生じているという研究視点について詳しく紹介されている。
「数学的に公平なアルゴリズム」でも不公平な結果が生まれる
医療AIの公平性をめぐる議論は長年、アルゴリズムの内部に向けられてきた。訓練データの多様化、フェアネス監査、解釈可能なモデルの設計——これらは全て「バイアスはアルゴリズムの中にある」という前提に立っている。
しかし、ニューヨーク大学グロスマン医学部のKellie Owens、Maggie Ramatowski、Saul B. Bleckerが Journal of General Internal Medicine に発表した論考は、この前提そのものを問い直す。彼らの主張はシンプルで、かつ根本的だ。「実装プロセス自体が、医療AIにおける偏りの主要な発生源である」。
現在のアルゴリズム公平性の評価手法の多くは「分配的正義（distributive justice）」の観点に立ち、モデルが人種・性別・年齢といったグループに対して均等に推奨を出力するかを検証する。感度や陽性予測値が各グループで同等であれば、そのモデルは「公平」と見なされる。だが、この評価体系には致命的な盲点がある。モデルの出力が直接、臨床判断に反映されることを前提としている点だ。
実際には、臨床医が「AIの推奨をそもそも参照するかどうか」を決める段階がある。この判断が介在する以上、どれだけ数学的に公平なモデルでも、使用の局面でバイアスが混入する余地が生まれる。
臨床医はバイアスの「防壁」ではなく「経路」になりうる
研究チームが文献レビューおよびフィールド経験に基づいて得た知見の中で最も鋭い指摘は、「人間介在（human-in-the-loop）」という設計思想への反論だ。
AIガバナンスにおける「人間介在」とは、臨床医がAIの判断を最終的にチェックすることで、アルゴリズムの誤りやバイアスに対する安全弁として機能するという考え方だ。しかし著者らはこう主張する——臨床医こそが、不公平が発生する主要な場所である、と。
著者らが論考の中で指摘するところによれば、臨床医はどの患者が目の前にいるかによってAIの推奨への対応を変える傾向がある。社会的に周縁化された患者に対しては、AIの推奨をそのまま受け入れやすい一方、社会的に恵まれた患者に対しては、より厳しい検証や繰り返しの確認を行う傾向がある。これはワークフローや認知バイアスの問題というより、既存の権力構造や社会的階層が、AIの使用パターンに反映されていることを示唆する。
さらにAI固有の問題として、「AIは従来の意思決定支援ツールより客観的・個別化されている」という印象がオートメーション・バイアス（システムの出力を十分な検証なしに受け入れる傾向）を強化しうる。逆に、AIリテラシーの低さや透明性の欠如が、ある患者には過剰な依存を、別の患者には不当な懐疑を生む。臨床医がその意思決定支援ツールがAIベースかどうかすら知らないケースも多い。
研究アジェンダとガバナンスの提言
著者らは問題の提起にとどまらず、具体的な研究手法と制度設計を示している。
研究アジェンダの主な柱：
- 監査ログデータと患者の人口統計情報を紐付け、臨床医が患者特性（人種・性別・社会経済的地位など）によってAI推奨の使用・無視・オーバーライドを変えているかを定量的に検証する
- 時間的プレッシャー・業務負荷・アラート疲労が特定の患者グループへのAI依存度の変化とどう相関するかを調べる
- 臨床ワークフローの観察研究やインタビューによって、AIの出力がどう解釈されているか、公平性の定義がどう折り合いをつけられているかを定性的に明らかにする
ガバナンスの方向性：
著者らは「human-in-the-loop」から「system-in-the-loop」へのシフトを提唱する。責任を個々の臨床医に帰属させるのではなく、医療機関・規制当局・技術ベンダーに分散させる枠組みだ。この発想の転換は重要で、個人の倫理や注意力に公平性の担保を委ねる限り、構造的な格差はワークフローを通じて再生産され続けるという認識に基づいている。
具体的な施策としては、患者サブグループ別のAI推奨への曝露率・オーバーライド率・臨床アウトカムを追跡するダッシュボードの整備が挙げられる。加えて、一部の推奨をオーバーライドする際の簡単な理由記録の義務化や、ベンダーによるデプロイ後モニタリングの強化も求められている。こうした仕組みを組織レベルで制度化することで、不公平の発生を個人の裁量の問題としてではなく、システムとして検知・是正できる環境が整う。
「公平性はモデルに設計されるのではなく、実践の中で交渉され、形成される」
この論考が示す視座は、AIエンジニアリングの射程を問い直す。データの偏りを修正し、フェアネス指標をクリアしたモデルを出荷しても、それで終わりではない。そのモデルが実際にどのように使われるか——どの患者に対して参照され、どの患者に対して無視されるか——が、最終的な公平性を決定する。
アルゴリズムの最適化と並行して、実装環境の設計とモニタリングが公平な医療AIの条件になりつつある。
詳細はThe Hidden Bias in AI Healthcare May Come From Clinicians, Not Algorithmsを参照していただきたい。
