EC2スポット×vLLMをSSMでセキュア化!ポート開放ゼロで繋ぐ
はじめに # 前回の記事(EC2スポットインスタンス×vLLMでGPUコストを大幅削減する)では、時差・価格・中断耐性を加味した「マルチリージョン総合優先度自動選定」を導入し、g6.xlarge(NVIDIA L4 24GB)を1時間あたり約80〜90円という格安価格でスポット調達する仕組みを構築しました。 これにより、高価なクラウドGPUを個人の手元から「使いたい時だけサッと起動し、終わったら即座に破棄する」エフェメラルな開発スタイルが確立できました...
記事を読む
