11月19日、AWSが「Full Fine-Tuning (FFT) on SageMaker AI Serverless Model Customization」と題した記事を公開した。この記事では、SageMaker AI Serverless Model CustomizationにおけるFull Fine-Tuning(FFT)のサポート追加と、LoRAとの性能比較・実践的なハイパーパラメータ指針について詳しく紹介されている。
FFTとLoRA、どちらを選ぶか
LLMのファインチューニング手法として、現在広く使われているのがLoRA(Low-Rank Adaptation)だ。LoRAはモデルの重みを凍結し、少数の低ランク行列だけを更新することでGPUメモリ消費を大幅に削減できる。しかし、この「低ランク」という構造自体が表現力の上限を決めてしまう。
記事によれば、訓練データが数万件を超えるスケールになると、LoRAはランクを増やしてもFFTとの精度差を埋められない「精度の頭打ち」に達するという。これはパラメータ数の問題ではなく、低ランク更新が必要な重み変化の複雑さをそもそも表現できないことが原因だとAWSは説明している。
一方、Full Fine-Tuning(FFT)はすべてのパラメータを同時に更新する。モデルの重み行列をフルランクで使うため、複雑なドメイン知識を余すところなく吸収できる。
ベンチマーク結果:コード生成タスクで90%到達
実験では、Qwen3-4BベースモデルをMagicoder-Evol-Instruct-110K(アルゴリズム設計・デバッグ・データ構造・システムプログラミングをカバーする11万件のコード命令ペア)でファインチューニングしている。データは90/5/5で分割し、それぞれ訓練・バリデーション・テストに使用した。
評価指標は3種類:
- LLM-as-Judge:Amazon Nova Proが生成コードの意味的正確さを判定
- PRIMECODE:BLEU・ROUGE・F1によるテキスト類似度
- MMLU:57分野にわたる汎用知識の保持率(ファインチューニング後の「忘却」検出に使用)
結果として、100K超の訓練データではFFTがLLM-as-Judge正確率90.0%を達成し、LoRAを明確に上回った。レーダーチャートでもBLEUとROUGE-2で特に大きなリードを示しており、特定指標でのまぐれではなく全次元での優位性が確認されている。
インフラ不要で実行できる点が実務上のポイント
今回の発表で実務的に大きいのは、GPUのプロビジョニングや分散学習の設定なしにFFTを実行できる点だ。SageMaker AI Serverless Model Customizationは、ベースモデル・データセット・ハイパーパラメータを指定するだけでコンピュートの割り当てとチェックポイント管理を自動処理する。なお、サーバーレスとはあくまで「利用者側のGPU管理が不要」という意味であり、内部ではAWS側のGPUリソースが使用されている点には留意されたい。
コードは非常にシンプルで、LoRAからFFTへの切り替えはTrainingType.LORAをTrainingType.FULLに変えるだけだ:
from sagemaker.train.sft_trainer import SFTTrainer
from sagemaker.train.common import TrainingType
trainer = SFTTrainer(
model=base_model_id,
training_type=TrainingType.FULL, # LoRAならTrainingType.LORA
model_package_group=model_package_group_name,
training_dataset=training_dataset,
validation_dataset=val_dataset,
s3_output_path=output_path,
sagemaker_session=sess,
role=role,
)
trainer.hyperparameters.learning_rate = 2e-5
trainer.hyperparameters.global_batch_size = 8
trainer.hyperparameters.max_epochs = 2
trainer.hyperparameters.lr_warmup_ratio = 0.1
trainer.train(wait=False)
AWSはQwen3-4B、DeepSeek-R1-1.5B、Nemotron-30B、Gemma-4-26Bを含む複数のベースモデルで数十件の実験を実施。各ジョブはジョブ投入から評価結果まで数時間で完了し、ファインチューニング済みモデルはSageMaker Model Registryにバージョン管理された状態で自動登録される。
「壊滅的忘却」に要注意:ハイパーパラメータが命運を分ける
FFTの最大のリスクは壊滅的忘却(Catastrophic Forgetting)だ。すべてのパラメータを更新するため、事前学習で獲得した汎用知識が上書きされやすい。
実験で得られた主要な知見は以下のとおり:
- 学習率:
2e-5が安全圏。5e-5以上ではMATHスコアが2〜3%、MMLUが3.6%まで崩壊するケースを確認 - エポック数:3エポックでLLM-as-Judge正確率90.0%に達し、それ以上延長すると全バリアントで劣化
- バッチサイズ:小さいバッチは実効学習率を上げるため忘却リスクが増加
- 推奨ベースライン:warmup=5%、バッチサイズ8、LR=2e-5の組み合わせが汎用知識保持(MMLU)を最もよく維持
また記事はFFTが常にLoRAより優れているわけではないとも明記している。今回の実験でもMATH exact matchではFFT・LoRAともにベースモデルを下回った。これはコード生成に特化したデータセットで集中的に学習した結果、数学的推論に関わる重みが上書きされ、事前学習で獲得した数学能力が劣化したためと考えられる(※編集部の考察)。低データ量のシナリオではLoRAが有利な場面もあり、タスクの性質とデータ規模に応じた使い分けが重要だ。
まとめ
FFTは複雑なタスク・大規模データセットで真価を発揮するが、ハイパーパラメータの選択に対して極めてセンシティブだ。SageMaker AI Serverless Model Customizationによってインフラ管理の障壁がなくなった今、まず学習率・エポック数・バッチサイズの3点を記事の指針に沿って慎重に設定した上で試す価値がある。
実際に手を動かしたい場合は、AWSが公開しているSageMaker Model Customizationのドキュメントや料金ページも合わせて確認しておくとよいだろう。サーバーレス方式のため従量課金となり、自前でGPUインスタンスを常時起動するコストと比較した上で採用を判断することを勧める。
詳細はFull Fine-Tuning (FFT) on SageMaker AI Serverless Model Customizationを参照していただきたい。




