powered by TechFeed
表示モード
Deep Dive

3,900ページを一人で回すために作った「AIソフトウェアファクトリー」— 4エージェントが直列で動き、朝には調査が終わっている

11月16日、Kirupaが「How My AI Software Factory Helps Me Ship Fast and Not Break Things 🦉」と題した記事を公開した。約3,900ページのWebサイトを一人で運営するKirupaが、複数のAIエージェントを組み合わせた「AIソフトウェアファクトリー」によって保守を自動化し、サイトマップの上限バグにより検索エンジンが全チュートリアルの約半数を把握できていなかったという長年気づかれなかった問題を発見・修正するに至った実践的な手法を詳述している。

11月16日、Kirupaが「How My AI Software Factory Helps Me Ship Fast and Not Break Things 🦉」と題した記事を公開した。約3,900ページのWebサイトを一人で運営するKirupaが、複数のAIエージェントを組み合わせた「AIソフトウェアファクトリー」によって保守を自動化し、サイトマップの上限バグにより検索エンジンが全チュートリアルの約半数を把握できていなかったという長年気づかれなかった問題を発見・修正するに至った実践的な手法を詳述している。


一人で3,900ページのサイトを回す問題

Kirupaが運営するkirupa.comは、数十年にわたって積み上げられたHTMLページが約3,900本、フォーラム・クイズ・ニュースレター同期・FTP公開など多数の機能が「ダクトテープで繋がれた」状態で稼働している。

これだけの規模になると、バグが発生しても気づくのが遅れる。長年の対策は「誰かからメールが来たら直す」だったが、それでは黙って離脱するユーザーの存在を見逃す。かといって自分がすべてのトリアージを行うのも限界がある。

こうした状況を打開するために構築したAIエージェント群「Nightowl」が最初に行った全サイト監査で、すぐに二つの深刻な問題が発覚した。サイトマップが500件上限で頭打ちになっており、検索エンジンが全チュートリアルの約半数を把握していなかった。さらに72ページが、SNSでシェアされると無関係の別記事に遷移していた。いずれも長期間、誰も気づいていなかった問題だ。自動化なしには発見すら困難だったこの種の問題こそが、ファクトリー構築の動機として説得力を持っている。


「Nightowl」:4エージェントが直列で動くファクトリー

Kirupaはこの問題を解決するために「Nightowl」と名付けたAIエージェント群を構築した。構造は以下のとおりだ。

インプット(3系統)

  • サイト全体の自動監査
  • 全ページに埋め込んだエラーレポーター
  • AIチャットボット「kirupaBot」へのコンテンツリクエスト

これらはすべて重複排除ののち**GitHubイシュー**として一元管理される。GitHubイシューをハブにすることで、エージェントのコメント投稿という形で調査の全過程が自動的にスレッド記録として残り、後から人間が追跡・検証できる構造になっている。

4つのエージェントが順番に処理する

サーバー上のcronジョブが5分ごとに起動し、各イシューを以下の4エージェントが順次処理する。

エージェント 役割 禁止事項
Classification バグ・機能要望などに分類 解決策の提案
Analysis 原因・証拠・完了条件の整理 解決策の提案
Implementation 修正パッチの提案 自分の修正の承認
Review 提案内容の副作用・未テスト箇所の指摘 新たな修正の記述

エージェントの設計で重要なのは「何をしないか」の制約だ。AnalysisエージェントはImplementationより先に解決策を書いてはならない。その理由として記事が挙げるのが「アンカリング」の問題だ。アンカリングとは、最初に提示された情報が以降の判断に過剰な影響を与える認知バイアスを指す。修正案が先に出ると、以降のすべてのステップがそこに引っ張られ、別の可能性を検討しにくくなる。エージェント間では、前のエージェントがルールを守ったかを確認する別のチェックが入り、違反があればその時点でパイプラインが止まる。

また、エージェントには「わからない」と言う権限を与えている。あるTypeエラーの調査でAnalysisエージェントが「原因を確認できるコードが見当たらない」と判断し、推測でなく人間へのエスカレーションを選んだ実例が紹介されている。


どの修正を自動デプロイし、どれを人間が判断するか

自動化の範囲は「ダイヤル」として設計されており、4段階に分かれる。

  • Full Auto(全自動):壊れた画像、タイポ、コードスニペットの修正、サイト監査とイシュー起票
  • Human Spot-check(抜き取り確認):Classificationエージェントのラベル付け
  • Human Approves(要承認):デザイン変更や「センスが問われる」修正
  • Human Only(人間のみ):新しいチュートリアルの執筆

ダイヤルの設定には4つの問いを使う:ミスした場合どれだけ深刻か・テストで正しさを証明できるか・発生頻度はどれくらいか・「センス」が必要か。


導入の順序:一気に動かさない

Kirupaは段階的な立ち上げを推奨している。Vercelチームの事例も引きながら、まずClassificationエージェントだけで始め、信頼が積み上がってからAnalysis、Implementation、Reviewを一つずつ追加するアプローチを提唱している。

既存プロジェクトへの適用では、まずシャドウモードで動かすことを勧めている。シャドウモードとは、エージェントが全イシューに対して処理を実行し結果を出力するものの、実際にはデプロイやコメント投稿を行わず、人間が自分の判断とエージェントの判断を並べて比較するだけの試運転期間を指す。本番適用前にエージェントの精度と挙動を実環境で検証できるため、信頼を積み上げるうえで有効な手順とされている。


結果

「ここ数ヶ月でkirupa.comに実装した機能は、過去10年分より多い」とKirupaは書いている。朝コーヒーを飲む頃には退屈な調査作業が終わっており、設計や執筆に集中できる状態が作れている、というのが現在地だ。保守と配管作業の100%自動化を目標に掲げつつ、チュートリアルの執筆とダイアグラム制作は「手放すつもりがない」と明言している。

詳細はHow My AI Software Factory Helps Me Ship Fast and Not Break Things 🦉を参照していただきたい。