Y-Ken Studio

新しもの好きのデータエンジニアが四方山話をお届けします。

Fluentd、Kibana、Elasticsearch本の電子書籍版が発売開始＆Fluentdステッカーが購入特典で付録する都内某書店を紹介

fluentd

f:id:yoshi-ken:20140820111218j:plain

Fluentd、Kibana、Elasticsearchを大特集した本書は好評を集め、Amazonを始めとする大手書店でもベストセラー入りしております！
そんなログ収集から可視化を実現するためのノウハウが凝縮された本書は、フロントエンジニアの方にも大変おすすめです。

私は第2特集「ログ収集ミドルウェアFluentd徹底攻略」を書き下ろしで担当しました。
このノウハウを用いれば、手間のかかるログ収集をスマートに解決できることでしょう。

さらにいまなら、某書店では購入特典にFluentdステッカーが付いてきます！
その店舗を一部とはなりますが、こっそり紹介したいと思います♪
また、電子書籍版の発売も始まりましたので、記事末尾にて紹介します。

続きを読む

ログ収集や可視化で話題のFluentd、Elasticsearch、Kibanaを徹底解説したムック本が発売となります

fluentd elasticsearch

サーバ/インフラエンジニア養成読本 ログ収集~可視化編 [現場主導のデータ分析環境を構築!] (Software Design plus)

2014年8月8日、ログ収集や可視化を始めたいエンジニア必携の書籍が技術評論社より刊行されます。
本邦初公開となる、全編書き下ろしの特集で構成された本書を読むことで、ログ解析の有用性からログ収集、保存、可視化手法を習得できます。
私はこの第2特集「ログ収集ミドルウェアFluentd徹底攻略」の執筆を担当しました。

それでは、それぞれの特集について簡単に紹介したいと思います。

続きを読む

SoftBank携帯とnet.ipv4.tcp_tw_recycle=1の相性が悪い本当の理由

CentOS fluentd

photo by saschaaa

LinuxにおいてTIME_WAITなコネクションを減らす手法としてnet.ipv4.tcp_tw_recycle=1にするテクニックは有名です。
しかし環境によってはSoftBankに限らず問題が起きるため、利用には注意が必要です。

一体どのような問題が起きるのか、詳細に解説されたブログを見つけたので紹介します。

続きを読む

5分あれば出来る、Muninでelasticsearch 1.xのリソース監視を行う方法

elasticsearch Munin

JVMで動くelasticsearchを安定運用させるにはリソース監視も欠かせません。
今回は手軽なリソース監視が出来るMuninを用いて、インストール方法から作られるグラフサンプルの紹介まで行います。

利用プラグイン

elasticsearch 1.x系で動くプラグインは現状これ1つのみです。Perlで書かれているため外部依存無しで動きます。

次のプラグインが同封されています。

  • elasticsearch_cache - フィールドとフィルタのキャッシュ状況
  • elasticsearch_cluster_shards - クラスタのシャード状況
  • elasticsearch_docs - 格納されているドキュメントの数
  • elasticsearch_gc_time - GCする際に掛かった時間
  • elasticsearch_index_size - インデックスのサイズ
  • elasticsearch_index_total - インデックスの総数
  • elasticsearch_jvm_memory - JVM ヒープ状況
  • elasticsearch_jvm_pool_size - JVM プールサイズ状況
  • elasticsearch_jvm_threads - JVM スレッド状況
  • elasticsearch_open_files - 開いているファイル数の数
続きを読む