株式会社CAM（本社：東京都渋谷区、代表取締役社長：飯塚勇太、以下CAM）は、MongoDB用、変更ストリームのETLツールである「MxTransporter」をOSSとして公開いたしました。
https://github.com/cam-inc/MxTransporter
「MxTransporter」はGitHubリポジトリにてDockerfileが提供されているため、それをもとにDockerコンテナを作成することで、どんな実行環境でも使用することができます。
ETLツールは世の中に数多く存在しますが、最小限のコストと管理を実現するために「MxTransporter」は開発されました。
■「MxTransporter」が可能にすること
「MxTransporter」ではMongoDBの変更ストリームであるChange Streamsを取得し、データウェアハウス、クラウドストリーミングサービスへロードできます。
DBの変更イベントを取得しデータマネジメント側でデータウェアハウスに取り込むことで、サービスのリアルタイムデータを用いたデータ分析を可能にする手法は一般的にも知られていますが、MongoDBにおいてはこのChange Streamsを用いてデータマネジメント側でサービスのリアルタイムデータを再現し、それを用いることでより質の高いデータ分析が可能になります。
■「MxTransporter」の特徴
１.柔軟なストリーミングデータ送信先
送信先としては、データウェアハウス、クラウドストリーミングサービスが選べます。データウェアハウスとしてはBigQueryへの直接的なロード(ストリーミングインサート)が可能です。
クラウドストリーミングサービスとしては、Amazon Kinesis Data Streams、Google Cloud Pub/Subが選択でき、それを通して変更ストリームの保存先の柔軟な選択が可能です。
また上記の複数宛先に同時送信することも可能です。
２.コンテナ基盤
提供されたDockerfileからコンテナを作成し、お好きなコンテナ環境で「MxTransporter」を構築することができます。またコンテナオーケストレーションサービスでの構築サンプルも用意されているので、そちらを用いて簡単に構築することができます。
３.ロスレス送信
Change Streamsに含まれるresume tokenを用いてデータ再取得も可能です。
「MxTransporter」が停止した際、復旧後に自動で停止時間からのChange Streamsを取得することができます。
■株式会社CAMについて
アーティストのオフィシャルファンサイト運営やエンタメ占いのコンテンツ制作・運営を行っています。2019年より簡単に自身の公式サイトやファンクラブを開設できるサービス「Fensi」の提供を開始。2021年よりSNSやYouTube、ネットショップなどのリンクをひとつにまとめることができるLink in bioサービス「Blink」の提供を開始いたしました。
https://cam-inc.co.jp/
■株式会社CAM
社名 株式会社CAM
所在地 東京都渋谷区宇田川町40-1
設立 2000年5月31日
資本金 1億100万円（2019年3月25日現在）
代表者 代表取締役社長 飯塚 勇太
従業員 235名（2021年9月末現在）
事業内容 エンターテインメント事業
本リリースに関するお問い合わせ
株式会社CAM コーポレート・リレーション室
E-Mail：pr@cam-inc.co.jp
公式フェイスブックページ