11月18日、InfoQが「Behind Booking.com's AI Evolution: The Unpolished Story」と題した記事を公開した。Booking.comが過去20年間にわたってMLおよびデータプラットフォームをどのように進化させてきたかを、現場の試行錯誤とともに詳述した内容だ。本稿はQCon 20周年の場でJabez Eliezer Manuelが行ったプレゼンテーションを元にしている。QConはInfoQが主催するエンタープライズ向けのソフトウェアカンファレンスであり、現場エンジニアによる「本番の泥臭い話」を重視することで知られる。
旅行業界最大級のプラットフォームであるBooking.comは、現在も数十億件の旅行意思決定に関与している。その裏側では複数のMLプラットフォームが稼働しており、2005年当時のPerlスクリプトと単一のMySQLマスターから始まった同社のデータ基盤は、今日に至るまで大規模な変遷を経てきた。
高速ストレージ活用によるMySQLの限界突破
Booking.comの出発点は、PerlとPostgresのシンプルな構成だった。その後すぐにPostgresをMySQLへ移行し、非同期レプリケーション能力を活用する形に切り替えた。2005年時点では「マスター1台+スレーブ4台」という構成だったが、15年後には世界最大規模のMySQLクラスターの一つを運用するまでに至った。
特筆すべきはそのアーキテクチャの思想だ。同社のMySQLには以下の制約が課されている。
- ストアドプロシージャ、UDF、ビューは使用しない
- 別途キャッシュレイヤーも設けない
- 1DBあたりのソフトリミットは2TB、ハードリミットは10TB
この「DBを小さく保つ」方針の狙いは、データベース全体をサーバーブレードの高速ストレージ(NVMe SSDなど)に収めることにある。ストレージ全体がOSのページキャッシュに乗る状態を意図的に維持することで、別途インメモリキャッシュ層を置かなくとも高速アクセスを実現するという設計だ。結果としてポイントクエリのレイテンシは350マイクロ秒以下を達成し、一部のインメモリエンジンに匹敵する速度を実現している。RedisやMemcachedといった独立したキャッシュ層を排除しながら同等の速度を出せるのは、この「DBサイズの上限管理」が前提にあるからだ。
また、同社はMySQLをただ使うだけでなく、開発にも貢献してきた。フォークではなくアップストリームへの貢献を選択し、**GTIDベースのレプリケーション**(MySQLの主要レプリケーション機能の一つ)は同社が設計を主導して実現させた機能だという。
7,000台超のインスタンスは、レプリケーション管理ツール「Orchestrator」と大量の自動化スクリプトによって管理されており、60日ごとに全インスタンスを再プロビジョニングする運用が行われている。これは3分に1件のペースで何らかの操作が発生する計算であり、人手での対応は不可能だ。
Hadoopへの移行と、その「ヘアボール」問題
2011年、データ量の増大に伴いHadoopをオンプレミスで導入した。構成はHDFS、YARN、MapReduceにOozie(ワークフロー管理)、Spark、Hive、Sqoop(MySQL↔Hadoop間のデータ転送)を重ねた典型的な構成だ。
MLの予測は当初すべてオフライン処理だったが、リアルタイム推論が必要な場面では独特の「フェイク」手法を採用していた。たとえばデバイス種別と国をフィーチャーとする予測モデルであれば、全ての入力の組み合わせを事前に列挙して推論結果をテーブルに格納し、リクエスト時にそのテーブルをルックアップするだけというものだ。擬似的なリアルタイム予測として長く機能していた。
しかし時間が経つにつれHadoopの限界が顕在化する。主な問題は以下のとおりだ。
- 共有環境:学習・本番ワークロードが同一クラスターで混在。「ノイジーネイバー」問題が深刻
- GPUサポートなし:大規模モデルの学習が困難
- 2つのDCで冗長構成を組んでいたが、データ同期の維持が運用上の頭痛の種に
- ピーク時にはほぼキャパシティ上限で稼働
- データやワークフローに所有者の概念がなく、依存関係が不透明
その依存関係グラフは発表スライドで「ロールシャッハテスト」と揶揄されるほどの複雑さだった。
「削除キーこそ最高のアーキテクチャツール」
2018年にHadoopの限界を認識してから、実際にメンテナンスモードへ移行したのは2022年。さらに完全なサンセットには2025年までかかっている。数百ペタバイトのデータ、19万テーブル、7,000以上のワークフロー、数百チームを抱えたままの移行は「すべてを移動し、何も止めず、全員を揃える」という三重の制約を課すものだった。
移行を成功させた鍵は2つだ。
1. ワークフローとテーブルの全依存関係をグラフ化した「統合コマンドセンター」の構築。これによりスプレッドシート管理と属人的な知識を排除し、各チームが自分の移行タイミングを依存関係ベースで計画できるようにした。
2. 「プランBをなくす」という経営判断。2023年に経営陣がクラウド移行をオールインで決定し、後退の選択肢を消した。
さらに効果的だったのが「不要な資産の削除」だ。全ワークフローを対象に利用状況・ビジネス重要度・リネージを分析したところ、92%のワークフローがビジネス上重要ではないと判明し、削除対象となった。残った8%をセントラリティとインパクトでグラフ分析して優先度付けし、バッチ単位で移行を進めた。
「The best architectural tool is Delete key.(最高のアーキテクチャツールは削除キーだ)」
という言葉は、この経験から生まれた格言だ。
もし過去の自分にメッセージを送れるなら、同社はこう伝えると述べている。
- 保有するすべての資産(データ・ワークフロー問わず)をカタログ化せよ
- 明確な所有者を定めよ(ビジネスオーナーと技術オーナーの両方)
- データを共有する前に品質ゲートを設けよ
- エンドツーエンドでリネージを追跡せよ
MLエンジニアリング層:モデルサービングの工業化
MLスタックの変遷を概観すると、Perlと統計ライブラリから始まり、Hadoop+Python(scikit-learnの時代)、Spark、H2O(Javaベースのモデルデプロイが可能になった)、そして2017年のディープラーニング導入という流れをたどる。ディープラーニングはもともと社内ハッカソンのプロジェクトとして始まったという。
ディープラーニング導入以降、オンプレミスのHadoopクラスターではGPUワークロードを支えることができないという課題が顕在化した。これが前述のクラウド移行を加速させた背景の一つでもある。現在はGPUクラスターをクラウド上で調達・運用する構成へと移行を進めており、オンプレミス時代の「ノイジーネイバー問題」や「キャパシティ上限での稼働」といった制約から脱却しつつある。モデルサービングの観点では、H2O導入によってJava経由でのモデルエクスポートと低レイテンシ推論が可能になったことが転換点となり、オフライン処理に依存した「フェイクリアルタイム」から真のオンライン推論へ段階的に移行が進んだ。
大規模データ基盤の移行は、技術的な正解よりも「組織としての意思決定とガバナンス」が最終的な成否を分けることを、Booking.comの20年の軌跡は示している。
詳細はBehind Booking.com's AI Evolution: The Unpolished Storyを参照していただきたい。




