Y-Ken Studio

新しもの好きのデータエンジニアが四方山話をお届けします。

elasticsearchのクラスタで利用するNICをインターフェース名で指定する方法

複数のインターフェースを搭載するマシンでelasticsearchをクラスタ稼働させると、1つ目のインターフェースのIPを対向クラスタへ返します。そのため、1つ目のインターフェースでクラスタ同士の疎通が出来ない構成で稼働させるには、network.publish_hostの調整が必要です。

もちろんサーバ毎の設定ファイルに個別にIPアドレスを書けば動きますが、そんな運用の手間となる設定は入れたくないですよね。
そういった時に便利に使える論理名(プレースホルダ)が用意されているので、それを使いましょう。

続きを読む

ElasticsearchのLogstash形式インデックスをお手軽に削除するワンライナー

photo by Irina Souiki

elasticsearchのlogstash形式インデックスを、定期的にcronで削除したいときに便利なワンライナーを紹介します。 使うコマンドはdateとcurlのみという大変シンプルなものですので、環境を選びません。

続きを読む

データ可視化に便利なkibanaは、elasticsearchのsiteプラグインとして構成すると便利 #fluentd

Fluentdなどから収集したメッセージをelasticsearchへ格納してKibanaで可視化するソリューションは素晴らしく、とても人気があります。次の画像のように見栄えが良いことも特徴です。

f:id:yoshi-ken:20140930101026p:plain

このダッシュボードアプリであるKibanaはJavaScriptアプリケーションです。そのため静的ファイルを配置すればどこでも動きます。
しかしそれだけのためにApacheやNginxなどのWEBサーバを新たに起ち上げるのは手間ですよね。
実は新たに起ち上げない方法もあるのです。こんな時に役立つTipsを紹介します。

続きを読む

Fluentdのお勧めシステム構成パターンについて発表しました

f:id:yoshi-ken:20140909195010j:plain

2014年9月9日開催の『サーバ/インフラエンジニア養成読本 ログ収集〜可視化編』 出版記念!執筆者が語る大講演会!にて発表してきました。

今回は「Fluentdのお勧めシステム構成パターン」というタイトルで、ユースケース毎にどのようなシステム構成をすると運用しやすいかのノウハウをお話しさせていただきました。

また、パネルディスカッションではラジオ番組のようなスタイルで、モデレータに @naoya_ito(伊藤直也氏)をお招きして行い、Kibana以前の可視化はどうしていたの?など、ざっくばらんなトークが出来てとても楽しい経験でした。

続きを読む