mz-logo

豆蔵デベロッパーサイト

開発に役立つチュートリアルやテクニック・ノウハウを豆蔵メンバーがご紹介します!

記事のタグから検索 ...(全てのタグを表示)

本サイトは本家の豆蔵ホームページではありません。会社概要、製品紹介等はこちら、 募集中の求人情報はこちらをご覧ください。

mameka豆香の豆知識 image for mameka column
カナリアが空飛ぶ前に落ちた!Argo Rollouts失敗から学ぶロールアウト戦略大反省会
やっほー!豆香だよ。最近チームでArgo Rolloutsを使ってカナリアデプロイに挑んだんだけど、タイトル通りカナリアが飛ぶ前に墜落…いや、炎上?おかげでオフィスの空気はシュールな焼き鳥屋状態。今回そのドタバタを赤裸々に語るね!
まず作戦はこうだった。新バージョンを2%だけ流してメトリクス監視、問題なければ10%、25%、50%…って優雅にフェードイン予定。ところが初回リリース直後、Prometheusから「エラー率急上昇!」のビンタ通知。慌ててロールバックしようとしたら、ArgoのTrafficRouting設定がPRのレビュー漏れで未反映。結果、本番流量が古いPodと新しいPodでぐちゃぐちゃ割れ、ログはホラー映画さながらの赤文字祭り。夜中3時、エンジニア全員の目の下にダークサークル召喚!
とりあえず落ち着け!ってことで、爆上がり中のCPUを横目に以下を即実行。
1. rollout pause コマンド叩いて血を止める。
2. 推測じゃなくRoot Causeを冷静に掘る。原因はEnvoyのヘルスチェックエンドポイントをConfigMapで上書きしたせいで405返してた罠。
3. メトリクス条件を単なるエラー率→p95レイテンシ+トラフィック量の二軸に変更。
4. Slack通知を「Error発生!」じゃなく「所定しきい値超過」基準にして、深夜の誤爆起こさないようリトライ窓口を作成。
教訓?「設定ファイルは小さく刻め!」「レビューは寝る前に任せるな!」あと最大の学びは、カナリアデプロイの成功率を信じ過ぎちゃダメってこと。本番は予想外コンボの宝箱。Argo Rolloutsは神ツールだけど、ヒューマンエラーはバグより凶悪。次回はfeature flagで並走させつつ、カナリアちゃんにヘルメット被せて飛ばす予定。
最後に豆香ジョークで締め!カナリア「ピヨピヨ」→運用「ヒヤヒヤ」→ログ「ギャーギャー」。笑ってくれたら幸い!みんなもロールアウト、油断禁物だぞー!
※本コラムはAIで生成したものです。内容の正確性を保証するものではありません。
過去のコラムはこちらから!

新着記事new-articles全ての記事を見る

  • | ブログ | 34 min read
    #2026年 #AWS #EC2 #LLM #vLLM #s3 #ECR

    AWS×UserDataでvLLMを自動起動!停止時コストほぼゼロのローカルLLM環境

    はじめに # オープンソースLLMが急速に進化する中、「機密情報や社内コードも気にせず扱える、自分専用のローカルLLM環境が欲しいな」と思い立ちました。 ただ、いざ本格的に手元(オンプレミス)で動かそうとすると、大容量VRAMを積んだGPU搭載PCが必要になり、調達するのに数十万円もの初期費用(イニシャルコスト) がかかってしまいます。「まずは効果があるか試してみたい」という検証段階で、いきなり高額なハードウェア購入稟議を通すのはハードルが高いものです...

    記事を読む
  • | ブログ | 3 min read
    #2026年 #AI #生成AI

    生成AIカンファレンス2026参加記 — 生成AIで仕事は速くなる。では、その仕事は正しいのか?

    アジャイルグループの中村です。 生成AIカンファレンス2026に参加しました。生成AIの社会実装をテーマに、産業・開発・知能の3つの視点から、AIエージェントやフィジカルAIなど幅広いテーマを扱うイベントです。 AIで速くなった、その先への不安 # 2026年に入り、AIエージェントによるコーディングの高速化は一気に現実味を増しました。自身も個人開発アプリのメンテでPoC程度に触れましたが、その程度の経験でも「10倍の生産性」といった表現が、以前ほど大げさには聞こえなくなりました...

    記事を読む
  • | ブログ | 5 min read
    #2026年 #GFXBench #android #gpu

    オープンソース版GFXBenchをAndroidで動かす(2)実行編

    はじめに # GFXBenchというGPUベンチマークソフトを取り上げたシリーズの2回目です。 前回でGitHub公開されたGFXBenchのビルドが行えました。 今回は実際に実行してベンチマークスコアを確認してみます。 ベンチマーク紹介 # GFXBenchは様々なベンチマークから構成されており、起動時に選択して実行する様になっています。 カテゴリは大きく 高レベルテスト と 低レベルテスト に分かれています...

    記事を読む
  • | ブログ | 6 min read
    #2026年 #スクラム #アジャイル

    【アジャイルFAQ 第2回】保守運用チームにスクラムは合わないのでは?

    この記事を読んでいただきありがとうございます。アジャイルグループに所属する、藤井智弘です。 質問 #  うちのチームは既存システムの保守運用が中心です。不具合対応や改善要望への対応がメインで、大きな新機能をスプリントで計画的に作っていくような仕事ではありません。研修で習ったスクラムは新規開発が前提のように見えますし、うちは割り込みも多い。 うちにはスクラムは合わないのではないでしょうか? 回答 #  合わないのは、スクラムではなく「スクラム解説の前提」のほうです...

    記事を読む
  • | ブログ | 5 min read
    #2026年 #スクラム #アジャイル #生成AI #AI

    【アジャイルFAQ 第1回】AI時代に問い直す!本当に必要?スクラム基礎の「意味」と「価値」

    連載をはじめるにあたって #  この記事を読んでいただきありがとうございます。アジャイルグループに所属する、藤井智弘です。  「豆蔵最後のアルバイト」という謎の肩書でお客様を煙に巻きながら、日々研修やご支援に従事している中で、同じような質問を何年にも渡って繰り返しいただいてきました。アジャイル開発が世に出て30年近い年月が経ち、実践者の世代交代が進んでいるので、かつて議論し尽くされた(かに見えた)質問が、打者一巡よろしく繰り返し話題にのぼるのも当然とも思います...

    記事を読む
  • | ブログ | 18 min read
    #2026年 #LLM #RAG #AI #Gemini #typescript

    最小構成のRAGでミステリーを解決させてみた(Gemini + TypeScript)

    はじめに # 大まかな構成は把握していても、細かい実装には手が回らずぼんやりとしか理解してなかったので、勉強を兼ねてRAG(Retrieval-Augmented Generation)を実装してみました。 今回は、RAGの核となる「ベクトル化」「類似度検索」「コンテキスト注入」を理解することを目的に、フレームワークやVectorDBをあえて使わず、最小構成で動かしてみます。 これらは実運用ではライブラリやVectorDBに置き換える選択肢がありますが、まずは本質を素の形で体感します...

    記事を読む
  • | ブログ | 20 min read
    #2026年 #dotnet #csharp

    動くサンプルで理解!C#デリゲート入門 ~Func/Action/eventの違いと使いどころまで

    私はC#が好きなのですが、デリゲートを使ったことがないと気付きました。 昔やったプロジェクトでデリゲートを見たことはありますし、先輩が使っているのを見たこともあります。しかし自分自身が使ったことはなくて、食わず嫌いしていたかもと思えてきました。 そこでデリゲートをコードを書きながら学ぼうと考えたのが今回の記事です。私が書いて動かしたコードで解説していきます。 デリゲート(delegate)とは # デリゲートとは委譲という意味です...

    記事を読む
  • | ブログ | 21 min read
    #2026年 #MCP #typescript

    AIエージェントとシステムをつなぐMCP入門(認証/認可編)

    はじめに # 本ページは「AIエージェントとシステムをつなぐMCP入門」の続編です。 今回は、認証/認可について説明します。 MCP仕様では認可機能は任意扱いですが、MCPを実運用する場合は必須機能と言えます。 本記事では、以下の内容を扱います。 Streamable HTTPにおけるMCPの認証・認可の流れ PRMと認可サーバーの発見 Keycloakとトークンイントロスペクションを使ったMCPサーバー側の検証 本記事で掲載しているコードはこちらで公開しています...

    記事を読む
  • | ブログ | 10 min read
    #2026年 #GFXBench #android #gpu

    オープンソース版GFXBenchをAndroidで動かす(1)ビルド編

    はじめに # GFXBenchというGPUベンチマークソフトをご存じでしょうか。 Windows, Linux, Android, iPhone等のマルチプラットフォームで実行出来るkishonti社のGPUベンチマークソフトです...

    記事を読む
  • | ブログ | 9 min read
    #2026年 #GitHub

    GitHub Stacked PRs で実現する「小さな PR」とレビューを溜めない開発スタイル

    はじめに # 先月、GitHub のスタック PRs (Stacked pull requests) がパブリックプレビューになりました。 https://github.blog/changelog/2026-07-30-stacked-pull-requests-are-now-in-public-preview/ これまでも PR のブランチからブランチを生やして、PR スタックさせることは可能でした...

    記事を読む

豆蔵では共に高め合う仲間を募集しています!

recruit

具体的な採用情報はこちらからご覧いただけます。