mz-logo

豆蔵デベロッパーサイト

開発に役立つチュートリアルやテクニック・ノウハウを豆蔵メンバーがご紹介します!

記事のタグから検索 ...(全てのタグを表示)

本サイトは本家の豆蔵ホームページではありません。会社概要、製品紹介等はこちら、 募集中の求人情報はこちらをご覧ください。

mameka豆香の豆知識 image for mameka column
寝不足バイバイ!PrometheusとAlertmanagerで夜中の火事を未然に消火☆
やっほー!豆香だよ!みんな、夜中にサーバが派手に燃えてPagerDutyアラームで叩き起こされて、ゾンビ顔で朝礼に立ったことあるよね?わかるわかる、そのクマ、穴あきチーズみたいな心のダメージ、痛いほど共感。怒りゲージMAXで枕を投げつけたくなる夜…でもPrometheusとAlertmanagerを導入すれば、その地獄ループにバイバイできちゃうんだ~!
Prometheusはメトリクス界の食べ放題モンスター。CPU、メモリ、ゴミ箱の中身まで(笑)、スクレイプしまくってガブガブ食べる。しかもPull型だから、こっちからデートに誘う感覚で安全。Pushされるのが苦手なシャイボーイなサービスでも大丈夫。
で、食べたデータをどうするか?そこで隣の席に座るAlertmanagerの登場!Prometheusから「あ、このPod、レスポンス600ms超えたわ」とラブレターが来た瞬間、Alertmanagerは宛先を仕分ける郵便局長になる。開発チームのSlack?OK。夜勤当番の電話?OK。うっかり上司の脳内?それはNG(笑)。ラベルとルーティング定義を書くだけで、通知が忍者みたいに的確に飛ぶ。
でも実際の文化面が一番むずかしい!突然チャットに大量の警告が雪崩れ込むと、「またノイズかよ…」ってみんなミュートボタンを連打、結局本物の炎上を見落とす悲劇。ここがDevOpsカルチャーのラスボス!
対策として豆香がオススメするのは、まずSLO会議でサービスごとに「これ越えたらマジ勘弁」lineを合意形成。次にAlertmanagerのinhibitルールで関連するアラートを束ねて、重要度ピラミッドを整えよう。最後にオンコールローテーションをみんなで回して、痛みを平等分配。痛みを知れば人は優しくなる…たぶん(笑)。
ちなみにうちのチーム、昔はエラー率1%で鳴るアラートを10秒間隔で投げてたんだけど、誰も心臓がもたずにタピオカ片手に白目むいた。いまはPromQLでrateエラー5分平均を取って、しかもfor句で3分持続を条件にしたら、アラート数が一晩で70%減!夜は爆睡、朝はお肌ぷるぷる。
まとめると、Prometheus=胃袋、Alertmanager=司令塔、人=眠気の塊。三者が愛し合えば、「アラートに追われる人生」から「アラートを育てる人生」へクラスチェンジ。みんなも今日からメトリクスとアラートをペットみたいに可愛がって、全力でシステムの未来を守ろうぜ!
豆香♡
※本コラムはAIで生成したものです。内容の正確性を保証するものではありません。
過去のコラムはこちらから!

新着記事new-articles全ての記事を見る

豆蔵では共に高め合う仲間を募集しています!

recruit

具体的な採用情報はこちらからご覧いただけます。