Y-Ken Studio

新しもの好きのデータエンジニアが四方山話をお届けします。

Rubyで全角英数字を半角英数字にnkfで変換する時の落とし穴

RubyUTF-8文字列の全角英数字の表記揺れを統一したいとき、 気をつけないと希に文字化けする事象を見つけたのでメモします。

f:id:yoshi-ken:20150605122403p:plain

NKFを用いて全角英数字→半角英数字に変換する方法

ググるとよく出てくる方法は次の通りです。
もちろん、問題なく普通に動きます。

続きを読む

jqコマンドをsudoを使わずにインストールし、PATHを通す方法

JSONデータをコマンドラインでフィルター出来るjqコマンド、便利ですよね。 割と新しいepelリポジトリであれば、yum -y install jqで使えるようになります。 しかし次のようなケースでは大抵フルパスでバイナリを指定するのではないでしょうか。

  • root権限はないが、jqコマンドが使いたい
  • PATHの設定を変更する操作は避けたい

しかし今回紹介する方法を使うと、とても簡単にPATHが通る状態にできます。

続きを読む

データ可視化アプリの新星、PrometheusをCentOSにインストールする方法

SoundCloudが内製しているモニタリングシステム「Prometheus」がいま気になっております。
時系列データベースを用いた柔軟なクエリ言語を用い、ダッシュボードによる可視化やアラート機能もあるそうです。

f:id:yoshi-ken:20150205191805p:plain

とりあえず使ってみたので、紹介します。

続きを読む

elasticsearchのファイルディスクリプタを監視する

elasticsearchはLuceneをベースにしているため、細かい粒度でのファイルを多く生成します。
そのため "too many open files" エラーが発生して停止しないよう、安定稼働のためには日頃のリソース監視が必要です。
では、どのようにファイルディスクリプタの利用状況を確認すれば良いのでしょうか。調べてみました。

続きを読む