EC2スポット×vLLMをSSMでセキュア化!ポート開放ゼロで繋ぐ
はじめに # 前回の記事(EC2スポットインスタンス×vLLMでGPUコストを大幅削減する)では、時差・価格・中断耐性を加味した「マルチリージョン総合優先度自動選定」を導入し、g6.xlarge(NVIDIA L4 24GB)を1時間あたり約80〜90円という格安価格でスポット調達する仕組みを構築しました。 これにより、高価なクラウドGPUを個人の手元から「使いたい時だけサッと起動し、終わったら即座に破棄する」エフェメラルな開発スタイルが確立できました...
記事を読むEC2スポットインスタンス×vLLMでGPUコストを大幅削減する
はじめに # 前回の記事(自前vLLMをOpen WebUI経由でVS Code(Cline)に接続!トークンフリーで開発する)では、オープンソースのWeb UI・APIゲートウェイ「Open WebUI」を採用し、AWS上で動かす自前vLLMサーバーをVS Code拡張機能「Cline」のバックエンドとして直結させました。 前回の検証では「1台のGPUサーバー(g6.xlarge)をチーム3〜5人でシェアする」運用モデルを検討し、実用的なコストパフォーマンスが得られることを確認しました...
記事を読む自前vLLMをOpen WebUI経由でVS Code(Cline)に接続!トークンフリーで開発する
はじめに # 前回の記事(AWS×UserDataでvLLMを自動起動!停止時コストほぼゼロのローカルLLM環境)では、AWSのUserDataとS3を活用してvLLMを全自動起動し、使い終わったらTerminate(終了)することで停止中のEBS維持コストをほぼゼロにするエフェメラルなLLM推論環境を作りました...
記事を読む
