powered by TechFeed
表示モード
Deep Dive

現場エンジニアのMLモデルを本番へ — GS CaltexがSageMaker Canvasでデプロイを1週間から数時間に短縮

11月14日、AWSが「Production MLOps at GS Caltex with Amazon SageMaker Canvas, part 1」と題した記事を公開した。韓国の大手エネルギー・石油化学企業であるGS Caltexが、コードを書けない現場エンジニアのMLモデルをSageMaker Canvasを使って本番運用に乗せるMLOpsアーキテクチャの実装について詳しく紹介している。

11月14日、AWSが「Production MLOps at GS Caltex with Amazon SageMaker Canvas, part 1」と題した記事を公開した。韓国の大手エネルギー・石油化学企業であるGS Caltexが、コードを書けない現場エンジニアのMLモデルをSageMaker Canvasを使って本番運用に乗せるMLOpsアーキテクチャの実装について詳しく紹介している。


なぜGS Caltexのユースケースが注目されるのか

GS Caltexは韓国を代表する総合エネルギー企業であり、石油精製・石油化学・潤滑油など複数の製造プロセスを抱える大規模オペレーションを展開している。こうした製造業の現場では、プロセス最適化や異常検知にMLを活用したいというニーズが高い一方で、コードを書ける人材は限られている。

この構図は製造業・エネルギー業に広く共通する課題だ。現場の専門家(いわゆるcitizen data scientist)がノーコードツールでモデルを作れるようになっても、それを本番環境に持ち込む「ラストワンマイル」でMLエンジニアへの依存が生じ、全体のスループットが落ちる。GS Caltexの事例はその構造的な課題に対してAWSのマネージドサービスで具体的な回答を出した点で、同様の状況に置かれた製造業各社にとって参照価値が高い。


「週単位」だったデプロイが「数時間」に

GS Caltexが解決したかった課題はシンプルだ。プロセスエンジニア(製造・化学プロセスの専門家)はMLの知識がなくてもモデルを作れるが、それを本番環境に持ち込む作業はMLエンジニアに依存していた。その橋渡しに時間がかかり、モデルのデプロイに約1週間を要していた。

SageMaker Canvasはノーコードでモデル構築・評価ができるAWSのサービスだ。プロセスエンジニアはここでデータ前処理フロー(Data Wranglerで作成)とモデルを構築し、検証する。その成果物をMLエンジニアがSageMaker Pipelinesに接続して本番ワークフローへ組み込む、という役割分担が今回のアーキテクチャの骨格だ。

この仕組みを構築した結果、デプロイ時間は数時間に短縮。さらに30分ごとのバッチ推論に切り替えることで常時起動エンドポイントが不要になり、推論コストも大幅に削減できたとGS Caltexは報告している。


2つのロールに役割を明確に分離する

領域 SageMaker Canvasで準備 本番ワークフローで管理
データ準備 Data Wranglerで前処理フロー作成 SageMaker Processingジョブ
モデル開発 学習済みモデルと評価結果 Model Registryでバージョン管理
予測 モデル予測の検証 30分ごとのバッチ推論
運用 個別モデルの開発・検証 ステップ実行履歴・障害対応

ポイントはSageMaker Canvasで作った前処理フロー(.flowファイル)をそのまま本番のProcessingジョブで再利用する点だ。プロセスエンジニアが検証した変換ロジックを捨てずに流用できるため、本番環境での再実装リスクを避けられる。


実装の核心:5ステップの推論パイプライン

本番パイプラインは以下の5ステップで構成される。

PrepareInput -> PreprocessNewData -> DropTargetColumn
     -> BatchPredict -> AssembleResults

PrepareInputとDropTargetColumnの存在がこの設計の肝だ。Canvas上では学習データ(目的変数あり)で前処理フローを構築しているが、推論時の入力データには目的変数が存在しない。この不整合を解消するため、推論前にダミーの目的変数列を追加し、前処理後に削除するという処理を挟んでいる。

SageMaker Pipelinesのコードで表現するとこうなる:

from sagemaker.workflow.pipeline import Pipeline
from sagemaker.workflow.steps import ProcessingStep, TransformStep

prepare = ProcessingStep(name="PrepareInput", step_args=prepare_args)
preprocess = ProcessingStep(
    name="PreprocessNewData",
    step_args=preprocess_args,
    depends_on=[prepare],
)
drop_target = ProcessingStep(
    name="DropTargetColumn",
    step_args=drop_target_args,
    depends_on=[preprocess],
)

features_uri = (
    drop_target.properties.ProcessingOutputConfig
    .Outputs["features"].S3Output.S3Uri
)
predict = TransformStep(
    name="BatchPredict",
    step_args=transformer.transform(
        data=features_uri,
        content_type="text/csv",
        split_type="Line",
    ),
)
assemble = ProcessingStep(
    name="AssembleResults",
    step_args=assemble_args,
    depends_on=[predict],
)

pipeline = Pipeline(
    name="canvas-process-inference",
    steps=[prepare, preprocess, drop_target, predict, assemble],
    sagemaker_session=pipeline_session,
)

ステップ間のデータはstep.properties経由で受け渡す。たとえばBatchPredictへの入力はdrop_target.properties.ProcessingOutputConfig.Outputs["features"].S3Output.S3Uriで参照する設計だ。


.flowファイル再利用時の注意点

前処理フローを本番流用する際にはまり込みやすい落とし穴が記事中で整理されている。

  • 入力パスの参照先:.flowファイル内のS3 URIは自動更新されない。生データを別の場所にアップロードしても参照先は変わらない
  • コンテナイメージ:S3エクスポート時のProcessingジョブで使われたイメージをそのまま使い、バージョンを固定する
  • 学習済み変換パラメータ:スケーリングやエンコーディングのパラメータはバッチごとに再フィットしてはいけない。学習時の値を保持する
  • 出力ノードのID:{node_id}.{output_name}という形式を正確に一致させる必要がある

モデル承認のコードも明示されており、Model Registryの承認ステータスを確認してからモデルリソースを作成するフローが示されている:

package = sm_client.describe_model_package(ModelPackageName=model_package_arn)

if package["ModelPackageStatus"] != "Completed":
    raise RuntimeError("Model package is not ready")
if package["ModelApprovalStatus"] != "Approved":
    raise RuntimeError("Model package is not approved")

sm_client.create_model(
    ModelName=model_name,
    ExecutionRoleArn=sagemaker_role_arn,
    PrimaryContainer={"ModelPackageName": model_package_arn},
)

承認の取り消しが発生した場合は、スケジュール設定と実行構成を手動で更新する必要がある点も明記されている。

パイプラインのスケジュール実行にはAmazon EventBridgeを使用し、結果はS3に保存。ステップごとのステータスとCloudWatchログで監視できる構成だ。参照実装はGitHubリポジトリで公開されており、サンプルとしてローン分類モデルが使われている。


Part 2への展望と残された課題

本記事はpart 1と位置づけられており、続編が予定されている。今回の構成で本番稼働の基盤は整ったが、継続的な運用で次に問題になるのはモデルドリフトへの対応だ。製造プロセスでは原料ロットの変動や設備の経年変化によって入力データの分布が時間とともにずれていく。現状の30分バッチ推論に加え、推論精度の定期モニタリングや自動再学習トリガーの仕組みをいかに組み込むかが、part 2で扱われる可能性のある論点として挙げられる。

SageMaker Model Monitorなどのサービスを組み合わせることで、citizen data scientistがモデルの劣化を早期に検知しCanvas上で再学習を起動するサイクルを構築できれば、今回のアーキテクチャはより完結したMLOpsループになる。


詳細はProduction MLOps at GS Caltex with Amazon SageMaker Canvas, part 1を参照していただきたい。