powered by TechFeed
表示モード
Deep Dive

Ciscoが1,200人のエンジニアをAIエージェント開発者にした方法 — 「スライドを見るだけ」から脱却した競技形式トレーニングの全設計

11月20日、AWSが「From learning to leaderboard: How Cisco upskilled 1,200 engineers in agentic AI with AWS AI League」と題した記事を公開した。CiscoがAWS AI Leagueを活用して1,200人のエンジニアをエージェントAI開発にアップスキルした取り組みと、その設計思想が詳しく紹介されている。「スライドを見ているだけでは身につかない」という課題大規模なエンジニア組織でAI活用を推進する際の最大の障壁は、技術へのアクセスではなく、数千人のエンジニアを「デモを見る人」から「自分で構築できる人」へ移行させることだと記事は指摘する。録画セッションやスライドだけでは、そのギャップを埋めるのは難しい。エンジニアが最も速く学ぶのは、実際に何かを作り、失敗し、修正し、また試すプロセスを通じてだ。AWSが開発したAWS AI Leagueは、このプロセスをゲーム化した競技形式のプログラムである。参加者はAWS上でモデルをカスタマイズしたりエージェントを構築したりしながら、ライブリーダーボードで...

11月20日、AWSが「From learning to leaderboard: How Cisco upskilled 1,200 engineers in agentic AI with AWS AI League」と題した記事を公開した。CiscoがAWS AI Leagueを活用して1,200人のエンジニアをエージェントAI開発にアップスキルした取り組みと、その設計思想が詳しく紹介されている。

「スライドを見ているだけでは身につかない」という課題

大規模なエンジニア組織でAI活用を推進する際の最大の障壁は、技術へのアクセスではなく、数千人のエンジニアを「デモを見る人」から「自分で構築できる人」へ移行させることだと記事は指摘する。録画セッションやスライドだけでは、そのギャップを埋めるのは難しい。エンジニアが最も速く学ぶのは、実際に何かを作り、失敗し、修正し、また試すプロセスを通じてだ。

AWSが開発したAWS AI Leagueは、このプロセスをゲーム化した競技形式のプログラムである。参加者はAWS上でモデルをカスタマイズしたりエージェントを構築したりしながら、ライブリーダーボードでリアルタイムのフィードバックを受け取り、最終的にはゲームショー形式のグランドフィナーレで競い合う。

なお、AWS AI LeagueはAWSが企業向けに提供するプログラムであり、今回のCisco事例はその代表的な活用例として公開されたものだ。自社での導入可否や提供条件については、AWSアカウントチームへの問い合わせが必要となる。

AWS AI Leagueの仕組み

プログラムは3ステップで構成される。

  1. Learn – AWSエキスパートが主導する2時間のハンズオンワークショップでツールと課題を紹介
  2. Build – 参加者が自分のペースで実験・提出。自動評価器がリアルタイムでフィードバック
  3. Compete – 上位入賞者がライブのグランドフィナーレでステージに立つ

Ciscoでは以下の2つのチャレンジが提供された。

  • エージェントAIチャレンジ – Amazon Bedrock AgentCoreを使ってエージェントを構築。エージェントは迷路状のグリッドを進み、不適切コンテンツへの対処、コード実行、Web情報の取得、構造化データの抽出といった現実のタスクに対応する課題をクリアしていく。
  • モデルカスタマイズチャレンジ – Amazon SageMaker Studioで最新のトレーニングレシピを使ってモデルをファインチューニングし、基準モデルより高い精度を出せるかを競う。

1,200人が参加した2026年の大会

2026年のCisco Transformation Fest 4.0では、フルスケールのエージェントAIトーナメントが開催された。事前にAWSアカウントチームがトレーニングを実施し、エージェントAI開発の経験がゼロのエンジニアでも初日から参加できる体制を整えた。

大会の規模と結果は以下のとおりだ。

ステージ 形式 優勝結果
予選 4コホートで計1,200名参加。各コホートの上位5名が準決勝へ コホート3で1位、15,906点(98回提出)
準決勝 20名が3つのファイナリスト枠を競う 1位、16,321点
決勝 ステージ上で3ラウンドのライブ対戦 1位、累計27,008点

優勝したのはCiscoのソフトウェアエンジニア、Nishanth Aluhonnuだ。全ステージで首位を獲得し、AWS re:Inventのフルカンファレンスパスを獲得した。

決勝の形式が興味深い。参加者はコード・ツール・プロンプトを変更できず、各ラウンド前の短い「操縦指示」のみ変更可能だった。未知のマップでいかにエージェントが自律的に判断できるかが勝敗を分けた。

優勝エージェントの設計から学べること

2026年の優勝エージェントの設計には、プロダクション環境でエージェントを運用する際に直結する判断が詰まっている。

出力トークンが実際のコストを決める

スコアは課題ポイント、残ライフ数に加え、tokenBonus = 1000 - (totalOutputTokens / challengesVisited) で算出されるトークンボーナスが含まれる。予選で上位4エージェントは全員マップをクリアしたが、1位エージェントの出力トークンは1,220、2位は1,430で、最終差は16,000点中わずか16点だった。

Nishanthは9つのエージェント変種を作り、一つずつ変数を変えて検証した。ツール結果やシステムプロンプトはスコアに影響しないが、エージェントが書くものすべて(ツール呼び出しの引数を含む)がカウントされることが判明した。各ツール呼び出しには引数に加えて約52トークンの固定オーバーヘッドがある。これは実世界のコスト構造と同じだ。出力生成は逐次処理で、一般的に入力の数倍の料金がかかり、エージェントループの中でそのコストが積み重なる。

サブエージェントを使わない「フラットな設計」

このチャレンジでは、ナビゲーション・計算・Web取得を担うサブエージェントを持つスーパーバイザー構成が一般的なリファレンスアーキテクチャだ。しかし優勝設計はサブエージェントを持たない単一エージェントだった。プロンプトの冒頭に各課題タイプと対応方針のディスパッチテーブルを置き、1ターンで処理する。

その理由はシンプルで、エージェント間のハンドオフはモデルが書かなければならないメッセージであり、このチャレンジでは書くトークンがスコアに直接影響するからだ。「サブエージェントが悪い」のではなく、調整コストに見合った設計を選ぶべきという教訓だ。

決定論的ロジックはツールに入れる

ルート計画はモデルに任せず、AWS Lambda関数で実装された。各タイルに「獲得ポイント − 失うライフのコスト − エージェントが使うトークンコスト」で期待値を計算し、鍵の取得順序などの制約を守りながら最適なルートを導出する。言語的判断はモデルに、探索・数値計算・ルールはツールへというパターンだ。

習慣より価値で判断する

決勝第2ラウンドは7×7のボードにコイン(各25点)が敷き詰められ、片隅に単一のスケジューリングチャレンジタイル(1,500点)があった。コインを集めるのが「習慣的な判断」だが、エージェントの価値テーブルはコインをノイズと判定し、高価値タイルに向かった。そのラウンドのスコアは7,537点で、次のファイナリストの5,953点を引き離した。

Ciscoエンジニアリング文化への影響

Kumaril Kapoor(CiscoエンジニアリングVP)はこのプログラムをこう評価している。

「本当に価値があったのは、その意図です。私たちのエンジニアを中心に設計されていて、本物のスキルを育てるための時間、場所、ハンズオンサポートを与えてくれる。私たちにとっては、"学びながら作る"という持続的な文化になった。一度限りのイベントではありません。」

— Kumaril Kapoor, VP of Engineering, Cisco

Cisco Transformation Fest(2022年開始)は現在、年次3日間のプログラムとして第4回を終え、累計約2,000人のエンジニアに届いている。

詳細はFrom learning to leaderboard: How Cisco upskilled 1,200 engineers in agentic AI with AWS AI Leagueを参照していただきたい。