自前vLLMをOpen WebUI経由でVS Code(Cline)に接続!トークンフリーで開発する
はじめに # 前回の記事(AWS×UserDataでvLLMを自動起動!停止時コストほぼゼロのローカルLLM環境)では、AWSのUserDataとS3を活用してvLLMを全自動起動し、使い終わったらTerminate(終了)することで停止中のEBS維持コストをほぼゼロにするエフェメラルなLLM推論環境を作りました...
記事を読む
はじめに # 前回の記事(AWS×UserDataでvLLMを自動起動!停止時コストほぼゼロのローカルLLM環境)では、AWSのUserDataとS3を活用してvLLMを全自動起動し、使い終わったらTerminate(終了)することで停止中のEBS維持コストをほぼゼロにするエフェメラルなLLM推論環境を作りました...
記事を読む