2013年11月12日にリクルートテクノロジーズで開催された「第2回 ElasticSearch勉強会」に参加＆発表しましたので、レポートします。

発表テーマ

「ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ」というテーマで発表しました。

ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ from Kentaro Yoshida

まだ検証段階ではありますが、ElasticSearchとKibanaの組み合わせはかなり気に入っています。
なお、発表で言及した0.90.6の不具合が修正された elasticsearch-0.90.7 が既にリリースされておりますので、これからElasticSearchを使われる方は0.90.7をお使いください。

聴講メモ

ElasticSearchの書籍

2013年10月にPackt Publishingより、「Mastering ElasticSearch」が発売となりました。
これは是非チェックしておきたいですね。

Mastering ElasticSearch

作者: Rafal Ku?,Marek Rogozi?ski
出版社/メーカー: Packt Publishing
発売日: 2013/10/25
メディア: Kindle版
この商品を含むブログを見る

Kibana sparklines

「sparklines」という、俯瞰に便利な新機能が近いうちにkibanaに追加されるそうです。

f:id:yoshi-ken:20131114220645p:plain

Experimental sparklines panel in #kibana master. Good for seeing when a query goes all hockey stick ____/ on you. pic.twitter.com/Ab98KiaqJS
— Rashid Khan (@rashidkpc) October 31, 2013

ElasticSearchのインデックスの利用Tips

logstach-2013.11.12というindexの中に、複数のtypeを持たせられるので、access_log・event_logというtypeを持たせてまとめる使い方が綺麗。1つのindexの中で複数のtypeを横断検索出来るので、効率的ですね。

Kibanaの日本語地図対応

ヨーロッパ圏やアメリカと同様に、日本も都道府県毎にプロットしたいですよね。という事で本家へpull-reqが行われています。ただ2013年に入って登場したGeoIP2で使われる規格では、日本の都道府県との数字がこれまでと互換が無くなりました。
そのため議論を生んでいるそうです。

ElasticSearchのインデックステンプレート

型指定や分かち書き方法を指定することが出来ます。
例えば apache-2013.11.14 といったlogstash形式のインデックスであれば、apache-* というパターン指定です。
確かにこれは初回設定時に設定した方が暗黙的に値が丸められることなく良いと思うので、別途記事を書きたいと思いました。

ElasticSearchのスロークエリログ

次のような設定を行う事で、スロークエリの記録を取ることが出来ます。
さらに値を0にすれば、全てのクエリログとして記録できるとのこと。
但し、最近のMySQLのように動的には変更する事はできません。

index.search.slowlog.threshold.query.warn: 10s
index.search.slowlog.threshold.query.info: 5s
index.search.slowlog.threshold.query.debug: 2s
index.search.slowlog.threshold.query.trace: 500ms

index.search.slowlog.threshold.fetch.warn: 1s
index.search.slowlog.threshold.fetch.info: 800ms
index.search.slowlog.threshold.fetch.debug: 500ms
index.search.slowlog.threshold.fetch.trace: 200ms

参考記事 http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/index-modules-slowlog.html