Y-Ken Studio

新しもの好きのデータエンジニアが四方山話をお届けします。

ログ収集や可視化で話題のFluentd、Elasticsearch、Kibanaを徹底解説したムック本が発売となります

fluentd elasticsearch

サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus)

2014年8月8日、ログ収集や可視化を始めたいエンジニア必携の書籍が技術評論社より刊行されます。
本邦初公開となる、全編書き下ろしの特集で構成された本書を読むことで、ログ解析の有用性からログ収集、保存、可視化手法を習得できます。
私はこの第2特集「ログ収集ミドルウェアFluentd徹底攻略」の執筆を担当しました。

それでは、それぞれの特集について簡単に紹介したいと思います。

続きを読む

SoftBank携帯とnet.ipv4.tcp_tw_recycle=1の相性が悪い本当の理由

CentOS fluentd

photo by saschaaa

LinuxにおいてTIME_WAITなコネクションを減らす手法としてnet.ipv4.tcp_tw_recycle=1にするテクニックは有名です。
しかし環境によってはSoftBankに限らず問題が起きるため、利用には注意が必要です。

一体どのような問題が起きるのか、詳細に解説されたブログを見つけたので紹介します。

続きを読む

5分あれば出来る、Muninでelasticsearch 1.xのリソース監視を行う方法

elasticsearch Munin

JVMで動くelasticsearchを安定運用させるにはリソース監視も欠かせません。
今回は手軽なリソース監視が出来るMuninを用いて、インストール方法から作られるグラフサンプルの紹介まで行います。

利用プラグイン

elasticsearch 1.x系で動くプラグインは現状これ1つのみです。Perlで書かれているため外部依存無しで動きます。

次のプラグインが同封されています。

  • elasticsearch_cache - フィールドとフィルタのキャッシュ状況
  • elasticsearch_cluster_shards - クラスタのシャード状況
  • elasticsearch_docs - 格納されているドキュメントの数
  • elasticsearch_gc_time - GCする際に掛かった時間
  • elasticsearch_index_size - インデックスのサイズ
  • elasticsearch_index_total - インデックスの総数
  • elasticsearch_jvm_memory - JVM ヒープ状況
  • elasticsearch_jvm_pool_size - JVM プールサイズ状況
  • elasticsearch_jvm_threads - JVM スレッド状況
  • elasticsearch_open_files - 開いているファイル数の数
続きを読む

プロキシを使わずにRuby-1.9/2.1混在環境も作れる、Apache2+Passenger4+rbenvを用いた混在環境の作り方

CentOS Apache Ruby

Passenger 3.x で複数のRubyバージョンを使い分けるには、とてもトリッキーな対応が必要でした。
ところがPassenger 4.0.0 より公式に複数のRubyバージョンに対応しました。つまり、同一筐体のApacheで動く他アプリケーションへ影響を与えることなく、気軽にアプリ毎に使うRubyバージョンを変更できるようになります。

続きを読む