Y-Ken Studio

新しもの好きのデータエンジニアが四方山話をお届けします。

Appraisalを用いた、Fluentdプラグインの後方互換性を保てるテスト方法 #Fluentd

2015年にはFluentd v0.12系が主流となってきましたが、まだ古いv0.10系を利用している環境も残っていると思います。
プラグイン開発する上では、Fluentdの後方互換性が保てているかのテストもTravis-CIで行いたいですよね。

その時にどのように行うのか、メモを残しておきたいと思います。
また、どのようにAppraisalsを使い、手元でバージョンを使い分けたテストが実行できるかも紹介します。

続きを読む

Travis-CIでapt-get installに失敗する時の対処法

最近はTravisCIでの不可解なエラーのためgem update bundlerを追記する対応が必要になり話題となりましたね。
なんと今度は、今まで動いていたapt-get installが、次のメッセージで失敗するようになりました。

E: Unable to locate package libgeoip-dev

さて、困りました。
早速対処法を探ります。

続きを読む

Fluentdのレコードにホスト名を付与する最良の方法

Fluentdでログを集める時にそのサーバのホスト名(hostname)をレコードに追加したい。 そういう時に便利な設定サンプルを紹介します。

ユースケース

  • tailプラグインで収集したApacheのエラーログに、ホスト情報を付与する
  • その他、ございましたら教えてください
続きを読む

データ可視化アプリの新星、PrometheusをCentOSにインストールする方法

SoundCloudが内製しているモニタリングシステム「Prometheus」がいま気になっております。
時系列データベースを用いた柔軟なクエリ言語を用い、ダッシュボードによる可視化やアラート機能もあるそうです。

f:id:yoshi-ken:20150205191805p:plain

とりあえず使ってみたので、紹介します。

続きを読む