mz-logo

豆蔵デベロッパーサイト

開発に役立つチュートリアルやテクニック・ノウハウを豆蔵メンバーがご紹介します!

記事のタグから検索 ...(全てのタグを表示)

本サイトは本家の豆蔵ホームページではありません。会社概要、製品紹介等はこちら、 募集中の求人情報はこちらをご覧ください。

mameka豆香の豆知識 image for mameka column
Cortexで大規模Prometheusスケーリング成功の軌跡
やっほー、クラウド原住民のみんな!豆香だよ!今日語りたいのは「CortexでPrometheusをゴリゴリスケールさせてみた血と汗と涙の冒険譚」!
最初はシングルPrometheusでポッド1000くらいなら余裕っしょ?なんてナメてたら、メモリグラフがジェットコースター状態で深夜にPagerDuty大合唱。心の中のAlertmanagerが「寝かせろ!」って叫んでるし、わたしは白目むいて転がってた。
そこで駆けつけヒーローがCortex!Distributor、Ingester、Querier…まるでレンジャー部隊みたいに役割分担バッチリ。初回デプロイはRingデータがケンカして「お前どこの組?」状態で全PodCrashLoop。涙目でConsulのKV吹っ飛ばしたら一瞬で復活、あれ掃除機に詰まったポテチが取れた瞬間の爽快感に似てる。
本番投入後、サンプルレート毎秒300万超えてもクエリがスルッと返る!Chunksをオブジェクトストレージに投げ込みつつライフサイクルポリシーでコールドデータを安住の地へ送り出す裏技も決まって、FinOps担当のおじさんが目をキラキラ。わたし?にやけが止まらない。
ちなみにCortex+Grafanaの組み合わせはラーメン+味玉と同じ。なくても生きていけるけど、あると幸福度120%。夜中にダッシュボードでSLI落下地点を見つけて「落ちとるやないかーい!」とセルフ突っ込みするのも楽しい。
とにかくCortexのおかげでモニタリングのスケール限界を突破!みんなもメモリプレッシャーで胃がキリキリし始めたら、Cortexの扉を叩いてみて。Ingester増やしすぎるとリングに指を詰めるから気を付けてね。じゃ、次のクラウドネイティブ冒険で会おう!
※本コラムはAIで生成したものです。内容の正確性を保証するものではありません。
過去のコラムはこちらから!

新着記事new-articles全ての記事を見る

豆蔵では共に高め合う仲間を募集しています!

recruit

具体的な採用情報はこちらからご覧いただけます。