TerraformでマルチリージョンGPU推論基盤を一括コード化！起動テンプレートとエフェメラルIaCで運用する
はじめに # これは、「面白そう」と感じたアーキテクチャや技術スタックを、まずはあれこれ試しながら作ってみたプロトタイピングの記録です。 前回は、AWS LambdaとSSMセッションマネージャーによるサーバーレスGPU起動ブローカーを構築しました。 （詳細は前回の記事を参照してください） これにより、ポート開放ゼロかつSSH秘密鍵不要で、世界中の最安スポットGPUをわずか数秒で探索・選定し、安全に直結できる環境が完成しました...
記事を読むAWS×UserDataでvLLMを自動起動！停止時コストほぼゼロのローカルLLM環境
はじめに # オープンソースLLMが急速に進化する中、「機密情報や社内コードも気にせず扱える、自分専用のローカルLLM環境が欲しいな」と思い立ちました。 ただ、いざ本格的に手元（オンプレミス）で動かそうとすると、大容量VRAMを積んだGPU搭載PCが必要になり、調達するのに数十万円もの初期費用（イニシャルコスト） がかかってしまいます。「まずは効果があるか試してみたい」という検証段階で、いきなり高額なハードウェア購入稟議を通すのはハードルが高いものです...
記事を読むTerraformコードのリファクタリング
はじめに # Terraform のコードに対してリネームやリソースのモジュール間で移動すると、 terraform applyした際にリネームしたリソースの削除／再生成が行われてしまいます。 そこで、実際のインフラに影響を与えずにリソース名の変更およびリソースのモジュール間の移動するための手順を紹介します...
記事を読むS3で疑似的にフォルダを管理する方式の検討と実装
これは、豆蔵デベロッパーサイトアドベントカレンダー2022第23日目の記事です。 はじめに # 2022年4月に豆蔵に入社しました、BS第二グループの中垣内と申します。今回は、店舗決済系サービスの保守開発案件に携わり、AWSのS3周りの機能改修にて工夫した点をまとめ、デベロッパーサイトに初めて寄稿させていただきます。 Amazon S3 とは # S3はAWSにて提供されているオブジェクトストレージサービスであり、今や多くの開発案件で使用されているかと思います...
記事を読む
