第2回 ElasticSearch勉強会で発表してきました&参加レポート #elasticsearchjp
2013年11月12日にリクルートテクノロジーズで開催された「第2回 ElasticSearch勉強会」に参加&発表しましたので、レポートします。
発表テーマ
「ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ」というテーマで発表しました。
まだ検証段階ではありますが、ElasticSearchとKibanaの組み合わせはかなり気に入っています。
なお、発表で言及した0.90.6の不具合が修正された elasticsearch-0.90.7 が既にリリースされておりますので、これからElasticSearchを使われる方は0.90.7をお使いください。
聴講メモ
ElasticSearchの書籍
2013年10月にPackt Publishingより、「Mastering ElasticSearch」が発売となりました。
これは是非チェックしておきたいですね。
- 作者: Rafal Ku?,Marek Rogozi?ski
- 出版社/メーカー: Packt Publishing
- 発売日: 2013/10/25
- メディア: Kindle版
- この商品を含むブログを見る
Kibana sparklines
「sparklines」という、俯瞰に便利な新機能が近いうちにkibanaに追加されるそうです。
Experimental sparklines panel in #kibana master. Good for seeing when a query goes all hockey stick ____/ on you. pic.twitter.com/Ab98KiaqJS
— Rashid Khan (@rashidkpc) October 31, 2013
ElasticSearchのインデックスの利用Tips
logstach-2013.11.12というindexの中に、複数のtypeを持たせられるので、access_log・event_logというtypeを持たせてまとめる使い方が綺麗。1つのindexの中で複数のtypeを横断検索出来るので、効率的ですね。
Kibanaの日本語地図対応
ヨーロッパ圏やアメリカと同様に、日本も都道府県毎にプロットしたいですよね。という事で本家へpull-reqが行われています。
ただ2013年に入って登場したGeoIP2で使われる規格では、日本の都道府県との数字がこれまでと互換が無くなりました。
そのため議論を生んでいるそうです。
ElasticSearchのインデックステンプレート
型指定や分かち書き方法を指定することが出来ます。
例えば apache-2013.11.14 といったlogstash形式のインデックスであれば、apache-* というパターン指定です。
確かにこれは初回設定時に設定した方が暗黙的に値が丸められることなく良いと思うので、別途記事を書きたいと思いました。
ElasticSearchのスロークエリログ
次のような設定を行う事で、スロークエリの記録を取ることが出来ます。
さらに値を0にすれば、全てのクエリログとして記録できるとのこと。
但し、最近のMySQLのように動的には変更する事はできません。
index.search.slowlog.threshold.query.warn: 10s index.search.slowlog.threshold.query.info: 5s index.search.slowlog.threshold.query.debug: 2s index.search.slowlog.threshold.query.trace: 500ms index.search.slowlog.threshold.fetch.warn: 1s index.search.slowlog.threshold.fetch.info: 800ms index.search.slowlog.threshold.fetch.debug: 500ms index.search.slowlog.threshold.fetch.trace: 200ms
参考記事 http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/index-modules-slowlog.html
最後に
懇親会ではミドルウェア周りのお話から開発手法などの議論なども出来て楽しかったです。
あと、僕の書いたFluentdプラグインを愛用していますという方もいらっしゃったのも嬉しいです。
また発表する機会を頂けそうなので、2014年1月頃開催の"第3回ElasticSearch勉強会""でもまたよろしくお願いします!