KRaft による ZooKeeper レス Kafka クラスター構成
はじめに # Kafka では ZooKeeper がトピック管理やブローカーのリーダー選出などを行なう構成になっています...
記事を読むKafka 互換の高効率なデータストリーミングプラットフォーム Redpanda
はじめに # Redpanda は Kafka 互換のイベントストリーミングプラットフォームです。 Redpanda | The streaming data platform for developers ロゴは Red Panda(レッサーパンダ)になっています...
記事を読むイベント駆動アーキテクチャ時代の非同期 API 業界標準 AsyncAPI とそのエコシステム
はじめに # イベント駆動アーキテクチャ(Event-Driven-Architectures: EDA)について耳にする機会が増えてきました。EDA ではマイクロサービス間で同期的な通信を行うのではなく、イベントをトリガーとした非同期的な通信を行います...
記事を読むKafkaJS で Kafka Consumer / Producer を書く
Apache Kafka ではクライアントライブラリが様々な言語で開発されています。Confluent 公式では、Java / C++ / Go / .NET / Python がサポートされています...
記事を読むkcat - Kafka トピックと簡単にメッセージ送受信できる CLI
Kafka の Consumer や Producer のアプリを開発する際、Kafka トピックにメッセージを送信して開発中の Consumer アプリで受信を確認したり、Producer アプリから送信したメッセージをトピックから読み出して確認したりすることが必要になります...
記事を読むKafka Streams パイプラインを迅速に作成できる ksqlDB を触ってみる
ksqlDB は、Kafka クラスター上にリアルタイム性の高いアプリケーションを構築するための、ストリーム処理に特化したデータベースです...
記事を読むSpring Boot で作る Kafka Streams アプリケーション
Kafka Streams は Apache Kafka のクラスター上でデータのストリーム処理を実現するためのライブラリです。 Apache Kafka の公式ドキュメントには以下のようにあります(Google 翻訳による)...
記事を読むKafka の Web UI を提供する kafka-ui を試す
人気の分散メッセージングシステム Kafka では、オペレーション用のシェルスクリプト群は提供されていますが GUI は提供されていません...
記事を読むKafka を Java のテストプロセスに埋め込める EmbeddedKafka でコンシューマーをテストする
Kafka は人気の分散メッセージングシステムです。Spring for Apache Kafka を使うと Kafka トピックからのメッセージ取得を契機としてビジネスロジックを実行するコンシューマーの Spring Boot アプリを簡単に作成できます...
記事を読むKnative EventingのKafka BrokerでリトライとDead Letter Sink(DLS)を試す
KafkaをイベントレイヤーとするKnative Eventingの環境をリトライとDLSが可能な様に構成した上で、意図的に処理を失敗させるKnative Servicveをデプロイし、処理失敗時のリトライやDLSへのメッセージ送信を確認しました...
記事を読む