11月7日、PsyPostが「Prior expertise may determine whether AI builds skills or substitutes for them, field experiment suggests」と題した記事を公開した。AIツールの活用がスキル向上につながるかスキルの代替になるかは、利用者の事前専門性によって異なるという実験結果を詳しく紹介している。
特許弁護士133人を3ヶ月追った実験
MITのDavid AutorらとGoogleのチームはAIツールが専門家の判断力に与える影響を検証するため、米国の特許弁護士133人を対象にランダム化比較試験（RCT）を実施した。結果は全米経済研究所（NBER）のワーキングペーパーとして公開されている。
対象となったのはGoogleと定期的に取引のある米国内の知的財産法律事務所。24事務所にアクセスし11事務所が参加に同意した。133人のうち90人がAIグループ、43人がコントロールグループに割り当てられ、3ヶ月間追跡された。
AIグループが使用したのはGoogle Labsが開発した未公開の文書作成支援ツールだ。プロンプトによるテキスト修正、複数の視点からのフィードバック、文書内の矛盾チェックといった機能を備えていた。コントロールグループは通常の法律業務ツールのみを使用し、生成AIへのアクセスはなかった。
核心の発見：「事前専門性」がAI効果を左右する
実験は2段階で構成された。
第1フェーズ（10日後）：全参加者が特許のドラフト作成タスクをこなした。AIグループはコントロールグループを約0.33標準偏差上回る品質を達成し、平均所要時間も約10分短縮した（コントロール平均110分）。品質向上の中心は「弱いドラフトの減少」であり、傑出した成果物の増加ではなかった。
第2フェーズ（90日後）：より難易度の高いドラフト作成と、AIを使わないリドライン（既存のAI生成特許草稿を精査・修正する）タスクを実施した。リドラインタスクは専門的判断力を直接測るため意図的にAI不使用とされた。
ここで決定的な差が現れた。
- シニア弁護士（経験7年以上）：AIを3ヶ月使用したグループは、使用しなかったグループよりリドラインタスクの成績が明確に上回った
- ジュニア弁護士（経験7年未満）：AI使用グループとコントロールグループの間に平均的な差はなかった
ジュニア弁護士のスコア分布を詳しく見ると、AIグループでは「平凡な成績」が減少する一方、「低い成績」と「良い成績」の両方が増えた。AIが一部のジュニアにとっては足がかりに、別の一部にとっては思考の代替に機能した可能性を著者らは示唆している。
さらに皮肉な点がある。AIを使っている間に最も恩恵を受けたジュニア弁護士たちが、AIなしでは平均的に何の優位性も示さなかったのだ。ジュニア弁護士自身は「ツールで実力が上がっている」と主観的に感じていたが、AIなしの実技では裏付けられなかった。
なぜシニアは伸び、ジュニアは伸びないのか
著者らはこう結論づけた。
「Foundational expertise may be a prerequisite for extracting durable skill from AI-assisted practice（基礎的な専門性は、AIを活用した実践から持続的スキルを引き出すための前提条件である可能性がある）」
この非対称性のメカニズムについて、著者らはタスクへの投下時間と認知負荷の違いを手がかりとして挙げている。シニア弁護士はAI使用中に速度よりも品質の向上が目立ったのに対し、ジュニア弁護士はAI使用中に速度が上がった。すなわちシニアはAIを「考えるための道具」として使い、より深い思考に時間を振り向けた可能性がある。一方ジュニアはAIのアウトプットをそのまま受け取ることで、本来なら学習の機会となるはずの試行錯誤を省略していた可能性がある。タスクにかける時間と労力が学習に影響するという仮説と整合する観察だが、今回の研究では直接検証されていない点は留意が必要だ。
言い換えれば、AIから持続的なスキルを引き出すには、AIのアウトプットを批判的に評価し、取捨選択できるだけの基礎知識がすでに備わっている必要があるということだ。専門性がなければ、AIは「考えるきっかけ」ではなく「答えの供給源」になりやすい。
限界と留意点
この研究にはいくつかの制約がある。
- 対象は特許弁護士のみであり、他の専門職への一般化は不明
- サンプルサイズが小さく、特にジュニアグループは少数
- 実験前にスキルテストを実施できなかったため、事前の実力差をベースラインとして測定していない
- 参加者がリドラインタスクでAIを使用しなかったかを直接確認できず、監査で91件中15件に疑いがあったが、除外後もシニア層の優位は維持された（全体の差は統計的有意性が消えた）
- 3ヶ月という期間は、特許の専門性が育つ数年単位のキャリアに比べて短い
加えて、利益相反の問題は見過ごせない。本研究はGoogleが実施・資金提供しており、著者7人のうち6人がGoogle在籍である。使用されたAIツールもGoogle Labs製の未公開プロダクトだ。研究の設計や解釈においてバイアスが生じていないかは、独立した立場からの検証が待たれる。ピアレビューはまだ完了していない点も付記されている。
AIを使いながら本物の判断力が育つかどうかは、すでに持っている専門性の深さにかかっている——というのがこの研究の示唆するところである。エンジニアリングや医療など他の専門職でも同様の実験が進むことが待たれる。
詳細はPrior expertise may determine whether AI builds skills or substitutes for them, field experiment suggestsを参照していただきたい。
