Y-Ken Studio

新しもの好きのデータエンジニアが四方山話をお届けします。

2013-05-19から1日間の記事一覧

yumでインストール出来るpigzコマンドでマルチコア性能を生かした高速並列圧縮をする

ファイル・ディレクトリのgzip圧縮を行いたいが、1コアしか使われないので時間が掛かる。 待ちきれない。8コア以上のCPUを活かしてパラレルでgzip圧縮をしたい。そんな方に朗報です。 yum(rpm)でさくっとインストール出来る「pigz」を紹介します。

MySQL-5.5/5.6でのレプリケーション利用者に伝えたい「RESET SLAVE」にまつわる怖い話

MySQL-5.5よりRESET SLAVE;の挙動が変わり、直後にCHANGE MASTER構文を 発行しないと場合によっては問題が発生するとMySQLのドキュメントに記載されていました。 さらに、RESET SLAVE ALL;というクエリもサポートされたようです。 どういう事なのでしょう? …

AWSのRDSでタイムゾーンを設定したいときのベストプラクティス

RDSはUTCで動いているので、何らかの方法でタイムゾーンを設定する必要があります。 さあどうするか。

groonga/mroongaのトークナイザー(tokenizer)の挙動を追ってみる

トークナイズ機能は、全文検索機能に無くてはならない機能です。 欧米圏であれば、最低限スペース区切りに対応していれば実用的に使えます。 しかし、中国語、日本語、韓国語への対応をする場合には、CJK対応言われる実装が必要です。 汎用的な分かち書き(…

MySQL 5.5からの新機能、インデックスへのコメント付与を行う方法

MySQL 5.5より、インデックスへのコメント付与が可能となりました。 全文検索エンジンmroongaは、その機能を用いてFULLTEXTインデックスの生成方法を変えております。 インデックスコメントについての情報が少なかったので、紹介したいと思います。

mroongaのテーブルを、ストレージモードからラッパーモードに変換する方法

storageモードだとデータ型の扱いがMySQLでのそれと違い困っている。 そうだ、wrapperモードにしよう、と思い立った方向けの記事です。

mroongaのカテゴリを追加しました。

MySQLの全文検索プラグイン「mroonga」の記事が増えてきました。 なのでmysql-mroongaというカテゴリを追加し、一覧性を良くしました。 サイドバーのカテゴリ一覧からも辿れますし、以下URLからも参照できます。 http://y-ken.hatenablog.com/archive/catego…