読者です 読者をやめる 読者になる 読者になる

Y-Ken Studio

新しもの好きのデータエンジニアが四方山話をお届けします。

第2回 ElasticSearch勉強会で発表してきました&参加レポート #elasticsearchjp

2013年11月12日にリクルートテクノロジーズで開催された「第2回 ElasticSearch勉強会」に参加&発表しましたので、レポートします。

発表テーマ

「ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ」というテーマで発表しました。

まだ検証段階ではありますが、ElasticSearchとKibanaの組み合わせはかなり気に入っています。
なお、発表で言及した0.90.6の不具合が修正された elasticsearch-0.90.7 が既にリリースされておりますので、これからElasticSearchを使われる方は0.90.7をお使いください。

聴講メモ

ElasticSearchの書籍

2013年10月にPackt Publishingより、「Mastering ElasticSearch」が発売となりました。
これは是非チェックしておきたいですね。

Mastering ElasticSearch

Mastering ElasticSearch

Kibana sparklines

「sparklines」という、俯瞰に便利な新機能が近いうちにkibanaに追加されるそうです。

f:id:yoshi-ken:20131114220645p:plain

ElasticSearchのインデックスの利用Tips

logstach-2013.11.12というindexの中に、複数のtypeを持たせられるので、access_log・event_logというtypeを持たせてまとめる使い方が綺麗。1つのindexの中で複数のtypeを横断検索出来るので、効率的ですね。

Kibanaの日本語地図対応

ヨーロッパ圏やアメリカと同様に、日本も都道府県毎にプロットしたいですよね。という事で本家へpull-reqが行われています。 ただ2013年に入って登場したGeoIP2で使われる規格では、日本の都道府県との数字がこれまでと互換が無くなりました。
そのため議論を生んでいるそうです。

ElasticSearchのインデックステンプレート

型指定や分かち書き方法を指定することが出来ます。
例えば apache-2013.11.14 といったlogstash形式のインデックスであれば、apache-* というパターン指定です。
確かにこれは初回設定時に設定した方が暗黙的に値が丸められることなく良いと思うので、別途記事を書きたいと思いました。

ElasticSearchのスロークエリログ

次のような設定を行う事で、スロークエリの記録を取ることが出来ます。
さらに値を0にすれば、全てのクエリログとして記録できるとのこと。
但し、最近のMySQLのように動的には変更する事はできません。

index.search.slowlog.threshold.query.warn: 10s
index.search.slowlog.threshold.query.info: 5s
index.search.slowlog.threshold.query.debug: 2s
index.search.slowlog.threshold.query.trace: 500ms

index.search.slowlog.threshold.fetch.warn: 1s
index.search.slowlog.threshold.fetch.info: 800ms
index.search.slowlog.threshold.fetch.debug: 500ms
index.search.slowlog.threshold.fetch.trace: 200ms

参考記事 http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/index-modules-slowlog.html

最後に

懇親会ではミドルウェア周りのお話から開発手法などの議論なども出来て楽しかったです。
あと、僕の書いたFluentdプラグインを愛用していますという方もいらっしゃったのも嬉しいです。

また発表する機会を頂けそうなので、2014年1月頃開催の"第3回ElasticSearch勉強会""でもまたよろしくお願いします!

広告を非表示にする