TerraformでマルチリージョンGPU推論基盤を一括コード化！起動テンプレートとエフェメラルIaCで運用する
はじめに # これは、「面白そう」と感じたアーキテクチャや技術スタックを、まずはあれこれ試しながら作ってみたプロトタイピングの記録です。 前回は、AWS LambdaとSSMセッションマネージャーによるサーバーレスGPU起動ブローカーを構築しました。 （詳細は前回の記事を参照してください） これにより、ポート開放ゼロかつSSH秘密鍵不要で、世界中の最安スポットGPUをわずか数秒で探索・選定し、安全に直結できる環境が完成しました...
記事を読む「AWS Certified AI Business Strategist (AIB-C01)」を受験してきた！新設ビジネス認定の概要と合格体験記
はじめに # これは、興味のままに新試験を受験してきた記録です。 先日、AWS認定に新設された注目のベータ試験「AWS Certified AI Business Strategist (AIB-C01、ベータ試験コード: AB1-C01)」を受験してきました。本記事では、新設された試験の概要や学習準備、受験当日のリアルな所感、そして合否結果についてまとめます...
記事を読むvLLM起動をAWS Lambda化！最安スポット探索と自動フォールバック機能の実装
はじめに # これは、思いついたアイデアや気になるクラウド技術を、まずは好奇心のままに手を動かして形にしてみる技術検証ログです。 前回の記事（EC2スポット×vLLMをSSMでセキュア化！ポート開放ゼロで繋ぐ）では、AWS Systems Manager（SSM）Session Managerによるポートフォワーディングを導入し、セキュリティグループのインバウンドを完全に閉塞（ポート開放ゼロ）しながら、SSH鍵管理を完全撤廃したセキュアなGPU利用環境を構築しました...
記事を読むEC2スポット×vLLMをSSMでセキュア化！ポート開放ゼロで繋ぐ
はじめに # 前回の記事（EC2スポットインスタンス×vLLMでGPUコストを大幅削減する）では、時差・価格・中断耐性を加味した「マルチリージョン総合優先度自動選定」を導入し、g6.xlarge（NVIDIA L4 24GB）を1時間あたり約80〜90円という格安価格でスポット調達する仕組みを構築しました。 これにより、高価なクラウドGPUを個人の手元から「使いたい時だけサッと起動し、終わったら即座に破棄する」エフェメラルな開発スタイルが確立できました...
記事を読むEC2スポットインスタンス×vLLMでGPUコストを大幅削減する
はじめに # 前回の記事（自前vLLMをOpen WebUI経由でVS Code（Cline）に接続！トークンフリーで開発する）では、オープンソースのWeb UI・APIゲートウェイ「Open WebUI」を採用し、AWS上で動かす自前vLLMサーバーをVS Code拡張機能「Cline」のバックエンドとして直結させました。 前回の検証では「1台のGPUサーバー（g6.xlarge）をチーム3〜5人でシェアする」運用モデルを検討し、実用的なコストパフォーマンスが得られることを確認しました...
記事を読む自前vLLMをOpen WebUI経由でVS Code（Cline）に接続！トークンフリーで開発する
はじめに # 前回の記事（AWS×UserDataでvLLMを自動起動！停止時コストほぼゼロのローカルLLM環境）では、AWSのUserDataとS3を活用してvLLMを全自動起動し、使い終わったらTerminate（終了）することで停止中のEBS維持コストをほぼゼロにするエフェメラルなLLM推論環境を作りました...
記事を読むAWS×UserDataでvLLMを自動起動！停止時コストほぼゼロのローカルLLM環境
はじめに # オープンソースLLMが急速に進化する中、「機密情報や社内コードも気にせず扱える、自分専用のローカルLLM環境が欲しいな」と思い立ちました。 ただ、いざ本格的に手元（オンプレミス）で動かそうとすると、大容量VRAMを積んだGPU搭載PCが必要になり、調達するのに数十万円もの初期費用（イニシャルコスト） がかかってしまいます。「まずは効果があるか試してみたい」という検証段階で、いきなり高額なハードウェア購入稟議を通すのはハードルが高いものです...
記事を読むAWS Generative AI Developer 合格とW全冠達成記
はじめに # 前回の記事では、Google Cloud認定の鬼門であった「Professional Security Operations Engineer（PSOE）」を突破し、念願の「Google Cloud認定全冠」を達成したことをご報告しました...
記事を読むAWS QuickSightのCI/CD環境構築：第1章 ダッシュボードの自動バックアップ（Git管理）
はじめに # こんにちはDX戦の檜尾です。 初めての投稿になりますドキドキ。 日々の業務において、AWSQuickSightのダッシュボード定義をコードとして管理する「BI as Code」の重要性が高まっていると感じます。 従来のGUI上での直接編集はアジリティが高い反面、変更履歴の追跡や誤操作によるロールバックが困難になるという運用上の課題を抱えています。 AWSではこれらの問題に対してビジネスインテリジェンス運用 (BIOps)という考えを適用しようとしています...
記事を読むAWS Session ManagerをGit Bashで利用した際の文字化け対処法
はじめに # 普段、業務ではどのような OSを使っているでしょうか。 筆者個人では Macを使っていますが、業務では Windowsを利用しています。 Windows環境では、軽量で扱いやすく、POSIXライクな操作ができる Git Bashを利用しています。 Windows Terminalからも使えるため、普段使い慣れたコマンドをそのまま利用でき、 AWS CLIとの相性が良い点も便利です...
記事を読む
