現在ペパボでホスティング事業におけるデータ駆動での意思決定やあれこれができる基盤を構築しており、ホスティングにおいては顧客の契約情報だけではなく、やはりホスティングしているサーバのメトリクスとユーザーの動向の因果関係なども見たい。それらを分析するにあたって一箇所で統計を取ったりMLを適用したい。

そのためにあらゆる情報を今BigQueryに集めていて、Prometheusからサーバのリソース情報を連携するのにembulkを採用して、データをエクスポートするプラグインを書いた。

GitHub

pyama86/embulk-input-prometheus

https://github.com/pyama86/embulk-input-prometheus

export BigQuery prometheus time series data. Contribute to pyama86/embulk-input-prometheus development by creating an account on GitHub.

実装的にはPromQLを投げてその情報を整形して出しているだけなので難しいことはなにもしていない。

ペパボではAPIをmTLS運用をしているので認証はトークンだけじゃなくてTLS認証も対応している。

embulk plugin初めて書いたけど、インターフェースもシンプルだし、実質数時間でかけてしまった。またTwitterで雑にツイートしたら必要な情報をシュッといただけてマジ感謝。

この一連の仕事がアウトプットでたらもろもろまとめてどこかでお話できるといいな。