エッセンダント、Klawを採用しApache Kafka®ガバナンスを改善

卸売流通・フルフィルメントサービス企業のEssendantは、Aivenのオープンソースツールで時間を節約し、敏捷性を獲得しました。

私たちはApache Kafka®のパワーと人気を理解しています。そのオープンソースで可用性の高いデータストリーミング技術は、データを高速かつ大規模に転送する必要のあるイベント駆動型アプリケーションに最適です。フォーチュン100社のうち10社に8社以上にKafkaのインスタンスがあることは驚きではありません。

実際、あらゆる規模の企業がデータストリーミング、統合、分析のためにKafkaに依存している。その中には、全米で卸売流通とフルフィルメント・サービスを提供する Essendant も含まれる。同社は毎日、約25万の製品ラインを満たし、全米30の配送センターから5万3000件の注文を99.9％の精度で出荷している。同社は500以上のサプライヤー・パートナーと協力し、在庫は膨大かつ多様で、顧客は自社のリーチを広げ、サプライ・チェーンを改善するために同社を信頼している。創業100周年を迎えたばかりの企業としては、悪くない。

ラジェッシュ・ソランキはEssendantのミドルウェア担当ドメイン・アーキテクトです。彼は、なぜKafkaがビジネスにとって重要なのかを説明する。「私たちは非常にデータ集約的な業務を行っています。私たちは、膨大な種類の商品や物資を国内各地に移動させるビジネスを行っています。そのすべてを管理し、記録する必要があります。つまり、正確でタイムリーなデータを大量に生成し、アクセスし、移動する必要があるのです」。

多くの企業がそうであるように、エッセンダント社も時間をかけてKafkaの利用を拡大してきた。当初は、在庫の中のある特定の製品に関する分析をサポートするためにKafkaを使い始めました。その後、1日に何千ものイベントを保存する必要がある受注チームが、同社のアプリケーションがこれらのイベントに簡単にアクセスできるようにするためにKafkaを使い始めました。

「現在、当社には2つのKafkaクラスタがあります。「1つは、イベントを書き込むだけの複数のチームが使用する共有インフラ用の3ノードクラスタです。もう1つは、オーダーエントリーと、それにアクセスする必要のあるすべてのプロセスやアプリケーション専用の5ノードクラスタです。しかし、私たちはビジネスを拡大したいので、私のチームはこれをサポートするために、より多くのリアルタイム・データ・パイプラインを可能にすることを目標としています。Kafkaクラスターは、当社のビジネスにとってさらに重要な要素になるでしょう」。

Klawの登場

しかし、企業でKafkaを運用するのは決して簡単ではありません。多くの組織がAivenにその負担を任せ、社内の専門家が価値を生み出す仕事に集中できるようにしている理由の1つです。

さらに、企業環境におけるKafkaの管理は複雑なビジネスであり、少なくとも当初は見過ごされがちです。しかし、EssendantのようにKafkaをテクノロジースタックに採用する組織が増えるにつれ、作成される数百のトピックに対する不十分なガバナンスと承認が、高性能なデータパイプライン、ストリーミング分析、データ統合の利点を損なう可能性があることが分かってきています。

そこでAivenは、Apache Kafkaのガバナンスを誰にとっても容易にするため、2022年9月にKafkawizeを買収し、現在はKlawとして知られています。Klawは、エンタープライズグレードのセキュリティとユーザー管理機能を備えたデータガバナンスを提供し、複数の担当チームや承認パイプラインを持つ複数のユースケースでKafkaの採用を拡大する際に組織が直面する問題（ユーザー管理やトピックレベルの操作など）を解決します。その目的は、組織がより良い意思決定を行い、規制コンプライアンスを強化し、Kafkaフットプリントの効率を最適化することです。

話をEssendantに戻します。「Kafkaのトピックの作成と表示にはSpring Bootを使っていたので、すべてが手作業でした。「私のチームはREST APIを開発し、アクセス制御リスト（ACL）の作成と変更にも着手していたので、Kafka環境の管理に役立つツールを使い始めました。しかし、サポートが必要なレベルではなく、価格モデルも適切でないことがすぐにわかりました。そこで、”オープンソースの選択肢がないか調べてみよう “と考えました」。

エッセンダントは、トップダウンでITに対してオープンマインドなアプローチをとっている。「どの技術を導入するかを決める自由と柔軟性をチームに与えることが重要です。私は、技術的な解決策をビジネス価値に結びつけることを支持しています。エッセンダントのIT部門SVP兼CIOであるアンディ・キスは言う。

使いやすく、統治しやすい

ソランキは、Klawが使いやすいツールであることにすぐに気づいた。「オープンソースなので、ダウンロードしてすぐに理解できました。SpringBootのスタンドアローンアプリとしてパッケージ化されて出荷され、そのまま実行できますが、私たちはTomcatのウェブコンテナで実行しています。

彼は続ける：「私たちはKlawをPOC環境の1つに導入しました。上司、数人のアーキテクト、チームメンバーにも見せました。みんな気に入ってくれたので、導入を進め、ここ3ヶ月は本番稼動しています。”

Klawはエッセンダントにプロセスベースとウェブベースのデータガバナンス・ツールキットを提供し、様々なチームがKafkaの新しいトピックやスキーマ、アクセス権限やKafkaコネクタのリクエストを提出するのに利用できる。セルフサービス・ユーザー・インターフェースは使いやすく、ユーザーがすでにストレッチされている管理者に問い合わせるのを防ぎます。

「Klawはチームの敏捷性と意思決定能力を高めてくれました。「Klawは、チームの俊敏性と意思決定能力を高めてくれました。そのおかげでスピードが上がりました。また、ビジネスを支えるデータ・インフラを、変更のコントロールを放棄することなく、より迅速に改善することができます。

「例えば、開発、テスト、QA、本番前、本番環境で、データベースとKafkaの間でデータを送信する複数のMongoDB Kafkaコネクターがあります。イベントが見つからない場合、開発者はKlawを使ってあらゆる問題を調べ、簡単かつ迅速にナビゲートし、コネクターのステータスを見ることができます。開発者は、手動でトラブルシューティングを行うために私のチームを呼ぶことなく、2、3分で何が起こっているかを知ることができます。毎週5、6時間を取り戻すことができます。”

エッセンダントの開発者が発見したように、Klawは実に使いやすい。「ユーザーはKlawが大好きです！適切なレベルの認証でアクセスさせるのも本当に簡単です」とソランキ氏は言う。Klawは会社のガバナンスとセキュリティ体制もサポートしている。「Klawを使うことで、特定のチームに特定のKafkaトピックへのアクセス権を与え、必要に応じてメンバーのアクセスレベルを管理できるようになりました。あるイベントを2つか3つの異なるビジネスユニットが消費する必要がある場合、それをコントロールできるようになりました。アクセスやコンテンツ閲覧に障害はありません」。

現在、エッセンダントでは15人の開発者がミドルウェア・チーム全体とともにKlawを使用している。新しい計画も進行中だ。「スキーマ・レジストリを使用するプロセスに着手しています。「トピック、ACL、コネクター、スキーマを直接Klawからスキーマレジストリにリクエストするのです。これはエキサイティングなプロセスであり、Kafkaをさらに活用するための一助となるでしょう」。