• vLLM起動をAWS Lambda化！最安スポット探索と自動フォールバック機能の実装

    はじめに # これは、思いついたアイデアや気になるクラウド技術を、まずは好奇心のままに手を動かして形にしてみる技術検証ログです。 前回の記事（EC2スポット×vLLMをSSMでセキュア化！ポート開放ゼロで繋ぐ）では、AWS Systems Manager（SSM）Session Managerによるポートフォワーディングを導入し、セキュリティグループのインバウンドを完全に閉塞（ポート開放ゼロ）しながら、SSH鍵管理を完全撤廃したセキュアなGPU利用環境を構築しました...

    記事を読む

  • EC2スポットインスタンス×vLLMでGPUコストを大幅削減する

    はじめに # 前回の記事（自前vLLMをOpen WebUI経由でVS Code（Cline）に接続！トークンフリーで開発する）では、オープンソースのWeb UI・APIゲートウェイ「Open WebUI」を採用し、AWS上で動かす自前vLLMサーバーをVS Code拡張機能「Cline」のバックエンドとして直結させました。 前回の検証では「1台のGPUサーバー（g6.xlarge）をチーム3〜5人でシェアする」運用モデルを検討し、実用的なコストパフォーマンスが得られることを確認しました...

    記事を読む

豆蔵では共に高め合う仲間を募集しています！

recruit

具体的な採用情報はこちらからご覧いただけます。