2011年10月19日

[MySQL][Spider][VP]Spider-2.27 VP-0.16リリース

Spiderストレージエンジンのバージョン 2.27(beta)とVartical Partitioningのバージョン 0.16(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql

バイナリのダウンロードにはこちらをご利用ください。
http://spiderformysql.com/download_spider.html

今回の主な変更は以下です。
Linux64bit用にQ4Mをバンドルしました。
 レプリケーションを利用できるようにしておりますが、利用にはご注意ください。

Spider
・R-Treeインデックスに対応しました。
・SQLアクセスでもdirect updateが働くようになりました。
・handlersocketのincrement、decrementに対応しました。
・テーブルパラメータ「net_timeout」がなくなり、「connect_timeout」「net_read_timeout」「net_write_timeout」に分かれました。
・サーバパラメータ「spider_net_timeout」がなくなり、「spider_connect_timeout」「spider_net_read_timeout」「spider_net_write_timeout」に分かれました。
・UDFパラメータに「access_mode」が追加され、spider_direct_sqlを利用して、handlersocketインターフェースにアクセスできるようになりました。
・サーバパラメータに「spider_hs_ping_interval」「spider_error_read_mode」「spider_error_write_mode」を追加しました。
・テーブルパラメータに「hs_write_to_read」「error_read_mode」「error_write_mode」を追加しました。
・条件なしCOUNT(*)、MAX、MINの性能が改善されました。

注意点
・このバージョンから「net_timeout」「spider_net_timeout」がなくなり、「connect_timeout」「net_read_timeout」「net_write_timeout」「spider_connect_timeout」「spider_net_read_timeout」「spider_net_write_timeout」となりました。
・このバージョンからコンパイル時にSpiderストレージエンジンのstatic linkができなくなりました。

Vertical Partitioning
・R-Treeインデックスに対応しました。
・direct updateに対応しました。
・handlersocketのincrement、decrementに対応しました。

注意点
・このバージョンからコンパイル時にVPストレージエンジンのstatic linkができなくなりました。

handlersocket
・サーバパラメータに「handlersocket_general_log」を追加しました。
 「general_log=on」の際に、handlersocketのリクエストを合わせて出力することができます。
 このパラメータはグローバルパラメータで、SQLインターフェースから動的に変更することが可能です。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

2011年8月26日

「MySQL は HandlerSocket と Spider がビールの会」

「tokyo Linux Study 03」(9月6日開催)に、handlersocketの作者のDeNAの樋口さんと登壇させていただくことになりました。
http://atnd.org/events/18877

今回はhandlersocketの話がメインとなりまして、私からはSpiderとhandlersocketの連携等、いつもとは違ったSpiderをご紹介させて頂く予定です。

みなさまの、奮ってのご参加をお待ちしております。

2011年7月22日

[MySQL][Spider][VP]Spider-2.26 VP-0.15リリース

Spiderストレージエンジンのバージョン 2.26(beta)とVartical Partitioningのバージョン 0.15(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql

最近、launchpadにバイナリファイルをアップすると失敗するようになったので、以下にバイナリファイルをアップしております。
お手数ではございますが、バイナリのダウンロードにはこちらをご利用ください。
http://spiderformysql.com/download_spider.html

今回の主な変更は以下です。
Spider
・テーブルパラメータに「active_link_count」「read_only_mode」「first_read」「second_read」を追加しました。
 「active_link_count」はActive-Standby構成のデータノードを利用するためのパラメータです。
 Active-Standby構成のデータノードを利用する場合、通常は1を設定してください。
 現時点では即時切替可能なActive-Standbyのみの対応となります。
 これに伴い、Spiderの管理テーブルが変更となっておりますので、以前のバージョンからこれ以降のバージョンにバージョンアップする場合には、必ず「install_spider.sql」を実行してください。
・サーバパラメータに「spider_read_only_mode」「spider_first_read」「spider_second_read」「spider_remote_time_zone」「spider_sync_time_zone」を追加しました。
・データノードへのアクセスを削減しました。
 これにより、一部のデータノードがダウンしても、そのデータノードを利用しないアクセスができるようになりました。

Vertical Partitioning
 今回はbugfixリリースです。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

2011年6月30日

[MySQL][mroonga]mroonga-0.7リリース

groongaストレージエンジン(mroonga)のバージョン 0.7(beta)をリリースしました。
groongaストレージエンジンは、全文検索用のストレージエンジンです。
http://mroonga.github.com/

今回の主な変更は以下です。
・ラッパーモードを追加しました。
 ラッパーモードは、任意のストレージエンジンに全文検索機能を付加する利用方法で、InnoDBなどと組み合わせて利用することが可能です。
 ラッパーモードはこれまでのモード(ストレージモード)とは、特性が異なる部分があるため、利用の際には以下のドキュメントをご確認ください。
 http://mroonga.github.com/userguide/wrapper.html

それ以外の変更については、以下のドキュメントをご確認下さい。
http://mroonga.github.com/news.html#release-0-7
@issmさん、@supistarさんバグレポートありがとうございます。

2011年5月12日

[MySQL][Spider][VP]Spider-2.25 VP-0.14リリース

Spiderストレージエンジンのバージョン 2.25(beta)とVartical Partitioningのバージョン 0.14(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql

今回の主な変更は以下です。
Spider
・テーブルパラメータに「skip_default_condition」「direct_order_limit」を追加しました。
・サーバパラメータに「spider_skip_default_condition」「spider_direct_order_limit」を追加しました。
 「direct_order_limit」を利用すると、order byとlimitを持つ特定のSQLの実行が高速化されます。
・UDF「spider_flush_table_mon_cache」を追加しました。
 「spider_flush_table_mon_cache」は、運用中の監視サーバの情報変更を反映するための関数です。
・監視サーバ情報にワイルドカードが利用可能になりました。
 監視サーバ情報(db_name、table_name、link_id)でも、ユーザのログイン情報のように、ワイルドカードを利用することができるようになり、複数のテーブルで同じ監視サーバ情報を利用できるようになりました。これに伴い、Spiderの管理テーブルが変更となっておりますので、以前のバージョンからこれ以降のバージョンにバージョンアップする場合には、必ず「install_spider.sql」を実行してください。

Vertical Partitioning
 今回はbugfixリリースです。

 テーブルパーティショニング機能利用時に、全文検索機能を利用できるようになりました。

 また、バイナリ、ソースコードにバンドルされているhandlersocketには、以下のパラメータが追加となっています。
 ・handlersocket_bulk_insert
  handlersocketに対して行われるinsertをbulk insertとしてまとめてinsertします。
  複数ユーザからのinsertもbulk insertになるという特徴があり、単一行のinsertをマルチスレッドで行うようなアプリケーションのinsertの高速化で威力を発揮します。
   0:bulk insertを実施せず、1レコードずつのinsertを行います。
  1-:指定された値を超えるレコードが蓄積されると、bulk insertが実施されます。
 ・handlersocket_bulk_insert_timeout
  handlersocket_bulk_insertのレコード数に達しない状態でも、bulk insertを実施する最大待機時間。(秒)

 テーブルパーティショニングを利用したSpiderテーブルで、handlersocket_direct_update_modeが機能するようになりました。(handlersocket_unlimited_boundaryにより、limitが無制限となっているupdateとdeleteが対象になります)

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。
金さん、安田さん、Asanoさん、Sumiさん、Parkさんバグレポートありがとうございます。
奥野さん、アドバイスありがとうございます。

2011年2月13日

[MySQL][Spider][VP][Other]Spider-2.24 VP-0.13リリース

Spiderストレージエンジンのバージョン 2.24(beta)とVartical Partitioningのバージョン 0.13(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql

今回の主な変更は以下です。
Spider
・MySQL 5.5 対応
・handlersocket対応
 handlersocketから、Spiderを経由してさらにhandlersocketを呼び出すことが可能になりました。これにより、Spiderによりshardingされたデータベースにhandlersocketでアクセスできるようになります。
 この機能を利用するには「spider_use_hs_read=1」「spider_use_hs_write=1」を設定してください。
 現在のところhandlersocketは、Linux版でのみ利用可能です。
 また、バイナリ、ソースコードにバンドルされているhandlersocketには、以下のパラメータが追加となっています。
 #1 handlersocket_support_merge_table
  handlersocketでmerge_myisam、vpのテーブルを利用したい場合には、このパラメータを1に設定してください。
 #2 handlersocket_direct_update_mode
  大量update、deleteを高速化するためのオプションです。現在はSpiderを利用する場合にのみ有効なオプションです。現在はテーブルパーティショニングを利用したSpiderテーブルでは機能せず、次回リリースで対応予定です。以下のモードがあります。
  0:通常
  1:direct update mode 1
   direct updateが機能した際(現在はSpiderテーブルにアクセスした場合のみ)に、ローカルサーバにバイナリログを残すことができるモードです。
  2:direct update mode 2
   direct updateが機能した際(現在はSpiderテーブルにアクセスした場合のみ)に、ローカルサーバにバイナリログを残さないモードですが、最速のモードになります。リモートサーバ(Spiderのアクセス先)でバイナリログを残すことは可能です。
 #3 handlersocket_unlimited_boundary
  limitを無制限とみなす閾値です。
・全文検索機能が利用可能になりました。
 テーブルパーティショニング機能利用時には、まだ全文検索機能は利用できないのでご注意下さい。テーブルパーティショニングの全文検索対応は次回リリース予定です。
・mysql.spider_link_mon_serversにテーブル全体、リンク毎、パーティション毎の指定で、monitoring_nodeを定義できるようになりました。
・テーブルパラメータに「hs_read_port」「hs_write_port」「use_handler」「use_hs_read」「use_hs_write」「hs_read_socket」「hs_write_socket」を追加しました。
・サーバパラメータに「spider_use_handler」「spider_use_hs_read」「spider_use_hs_write」「spider_hs_r_conn_recycle_mode」「spider_hs_r_conn_recycle_strict」「spider_hs_w_conn_recycle_mode」「spider_hs_w_conn_recycle_strict」を追加しました。
・テーブルパラメータ「auto_increment_mode」、サーバパラメータ「spider_auto_increment_mode」に選択肢3を追加しました。

Vertical Partitioning
・MySQL 5.5 対応
・全文検索機能が利用可能になりました。
 テーブルパーティショニング機能利用時には、まだ全文検索機能は利用できないのでご注意下さい。テーブルパーティショニングの全文検索対応は次回リリース予定です。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。
中川さん、佐伯さん、黒部さん、那須さん、
動的スキーマ変更の検証、バグレポートありがとうございます。
安田さん、金さん、
Spiderの冗長化機能とVPの検証、バグレポートありがとうございます。
Kamipoさん、Laurentさん、バグレポートありがとうございます。