Y-Ken Studio

新しもの好きのデータエンジニアが四方山話をお届けします。

タグ書き換えが捗るFluentd用Mixinプラグイン「Fluent::Mixin::RewriteTagName」を公開

fluent-mixin-rewrite-tag-nameというFluentd向けMixinプラグインを公開しました。
このMixinプラグインは、<source><match **>の中で使えるtagオプションを追加します。
タグ書き換え周りのプラグイン実装の省力化ができますね!

これは、次のようなプラグインで使えるタグ書き換えに用いられている機能を、その他のプラグインに転用できるよう切り出しました。

  • fluent-plugin-forest
  • fluent-plugin-record-reformer
  • fluent-plugin-rewrite-tag-filter
続きを読む

LXCベースのDockerゲストマシンとホストマシンのディスクI/O性能を比較検証(Bonnie++編)

dotCloudが開発しているLinuxコンテナ型仮想ソフト「Docker」が巷で話題ですね!
これはLXCにストレージドライバとしてunionfsから派生したaufs(CentOSではLVMのThin Provisioning)を組み合わせた所がキモで、つまりファイルシステムの差分管理が出来る特徴があります。
なんだか仕組みを想像する限りディスクI/Oが遅そうな印象ですが、どの程度のものかベンチマークを取りました。

続きを読む

第3回elasticsearch勉強会でトークしました #elasticsearchjp

2014年2月7日にリクルートテクノロジーズで開催された「第3回 ElasticSearch勉強会」でトークしてきました!前回の皆様の発表はKibanaに関する情報がメインでしたが、今回は検索技術中心のガチな内容でとても楽しかったです。

懇親会では今回発表したYamabikoのコア部分である fluent-plugin-mysql-replicator を実際に利用している方もいらっしゃるなど、感謝感激雨あられでした!ありがとうございます!
その他にも2社合同で合同勉強会を開催しようといったお話を頂けるなど、実りのある時間を過ごせました。

続きを読む