早いもので前回のリリースから1年弱が経過してしまいましたが、SourceForgeのダウンロード統計を見ているとリリースが無い間も継続的にダウンロードしてくださる方々がいらっしゃるのが気になっていました。

そこで現在のMySQL 5.0系の最新版である5.0.87向けのソース配布版およびold-styleパッチをリリースしました！

https://sourceforge.jp/projects/tritonn/releases/

今回のリリースはMySQL 5.0系最新版へのアップデートが目的です。Tritonn自体のバージョンは1.0.12のままです。

Tritonnの1.0.13については担当者多忙につき少しお休み中。MySQL 5.1対応についてはGroongaストレージエンジンを開発中です。

レプリケーションしてるMySQLで、マスタやスレーブが障害停止した場合のリカバリプラン でも掲げたゴールである、「マスタが落ちてもぐーすか寝ていられるようにしたい」がほぼできたので、ほとんどサービスが停止することなく、フェイルオーバする様をスクリーンキャストに収めました。

埋め込みプレイヤーだと、小さくてわからないと思うので、リンク直接でみてください。

登場するホスト

登場するホストは2台、db901とdb902です。

1. dev.mysql.com から MSI 形式のインストーラをダウンロード
2. 開発用ヘッダやライブラリも含めて、mysql をインストール
3. mysql の scripts\mysql_config.pl を bin\ にコピー
4. 管理者権限で cmd.exe を起動して cpan, force install DBD::mysql

色々試してみてたら，

共起語の各共起回数が少ない場合に相互情報量を使うのは

一つの手段としてアリなのかもとか思った．

例1:相互情報量のが意味がありそうな結果

例2：どっちもまぁまぁ

テスト結果をつらつら書いてると長くなりそうなので記事を分けた．

情報量にidf値を用いてやってみた．

単語Aが出たら単語Bも出るっていう確率は分子で行っているので，

分母はidfってゆー，対極的重み付けのスコアを使ってみる．

相互情報量 = log(
  (全文書に出現した単語の総数 * 単語Aと単語Bの共起頻度)
   / 
  (単語Aのidf値 * 単語Bのidf値)
)

発行したSQLは以下の通り．

select
  t1.id,
  t1.name,
  t2.id,
  t2.name,
  log(
    -- T1
    (
      -- 語の総数
      (select count(id) from terms as t_cnt)
      *
      -- AとBの共起回数
      (
        select

推薦の勉強の一環のメモです。

相互情報量とは、単語Aが出たら単語Bも文書Xに出るという

情報量の計算に使えそうな理論。

これをクラスタリングする際の指標に使えないかと模索中です。

数式は下記の通り。

数Aとか数Bが超苦手だったので、

解釈があっているのかアレなのですが、

この式をこんな風に解釈できるんじゃないかと考えてみました。

(正しい数式じゃないのでご注意ください)

相互情報量 = log(
  (全文書に出現した単語の総数 * 単語Aと単語Bの共起頻度) /

drop table if exists t;

create table t (
  iid int
 ,nid int
 ,bid binary(3)
 ,msg varchar(69)
 ,key (iid)
 ,key (bid)
) ENGINE=InnoDB;

insert into t values
 (1,1,1,"ichi"),(2,2,2,"ni"),(3,3,3,"san")
,(4,4,4,"si"),(5,5,5,"go"),(6,6,6,"roku")
;

なテーブルとデータで、2つ端末を用意して update しあいっこしてみます。