Wild Growth 日本語

[MySQL][Spider][VP]Spider-2.27 VP-0.16リリース

2011-10-19T22:30:00.001+09:00

Spiderストレージエンジンのバージョン 2.27(beta)とVartical Partitioningのバージョン 0.16(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql

バイナリのダウンロードにはこちらをご利用ください。
http://spiderformysql.com/download_spider.html

今回の主な変更は以下です。
Linux64bit用にQ4Mをバンドルしました。
　レプリケーションを利用できるようにしておりますが、利用にはご注意ください。

Spider
・R-Treeインデックスに対応しました。
・SQLアクセスでもdirect updateが働くようになりました。
・handlersocketのincrement、decrementに対応しました。
・テーブルパラメータ「net_timeout」がなくなり、「connect_timeout」「net_read_timeout」「net_write_timeout」に分かれました。
・サーバパラメータ「spider_net_timeout」がなくなり、「spider_connect_timeout」「spider_net_read_timeout」「spider_net_write_timeout」に分かれました。
・UDFパラメータに「access_mode」が追加され、spider_direct_sqlを利用して、handlersocketインターフェースにアクセスできるようになりました。
・サーバパラメータに「spider_hs_ping_interval」「spider_error_read_mode」「spider_error_write_mode」を追加しました。
・テーブルパラメータに「hs_write_to_read」「error_read_mode」「error_write_mode」を追加しました。
・条件なしCOUNT(*)、MAX、MINの性能が改善されました。

注意点
・このバージョンから「net_timeout」「spider_net_timeout」がなくなり、「connect_timeout」「net_read_timeout」「net_write_timeout」「spider_connect_timeout」「spider_net_read_timeout」「spider_net_write_timeout」となりました。
・このバージョンからコンパイル時にSpiderストレージエンジンのstatic linkができなくなりました。

Vertical Partitioning
・R-Treeインデックスに対応しました。
・direct updateに対応しました。
・handlersocketのincrement、decrementに対応しました。

注意点
・このバージョンからコンパイル時にVPストレージエンジンのstatic linkができなくなりました。

handlersocket
・サーバパラメータに「handlersocket_general_log」を追加しました。
　「general_log=on」の際に、handlersocketのリクエストを合わせて出力することができます。
　このパラメータはグローバルパラメータで、SQLインターフェースから動的に変更することが可能です。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

「MySQL は HandlerSocket と Spider がビールの会」

2011-08-26T02:22:00.004+09:00

「tokyo Linux Study 03」(9月6日開催)に、handlersocketの作者のDeNAの樋口さんと登壇させていただくことになりました。
http://atnd.org/events/18877

今回はhandlersocketの話がメインとなりまして、私からはSpiderとhandlersocketの連携等、いつもとは違ったSpiderをご紹介させて頂く予定です。

みなさまの、奮ってのご参加をお待ちしております。

[MySQL][Spider][VP]Spider-2.26 VP-0.15リリース

2011-07-22T01:36:00.002+09:00

Spiderストレージエンジンのバージョン 2.26(beta)とVartical Partitioningのバージョン 0.15(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql

最近、launchpadにバイナリファイルをアップすると失敗するようになったので、以下にバイナリファイルをアップしております。
お手数ではございますが、バイナリのダウンロードにはこちらをご利用ください。
http://spiderformysql.com/download_spider.html

今回の主な変更は以下です。
Spider
・テーブルパラメータに「active_link_count」「read_only_mode」「first_read」「second_read」を追加しました。
　「active_link_count」はActive-Standby構成のデータノードを利用するためのパラメータです。
　Active-Standby構成のデータノードを利用する場合、通常は1を設定してください。
　現時点では即時切替可能なActive-Standbyのみの対応となります。
　これに伴い、Spiderの管理テーブルが変更となっておりますので、以前のバージョンからこれ以降のバージョンにバージョンアップする場合には、必ず「install_spider.sql」を実行してください。
・サーバパラメータに「spider_read_only_mode」「spider_first_read」「spider_second_read」「spider_remote_time_zone」「spider_sync_time_zone」を追加しました。
・データノードへのアクセスを削減しました。
　これにより、一部のデータノードがダウンしても、そのデータノードを利用しないアクセスができるようになりました。

Vertical Partitioning
　今回はbugfixリリースです。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][mroonga]mroonga-0.7リリース

2011-06-30T02:12:00.003+09:00

groongaストレージエンジン(mroonga)のバージョン 0.7(beta)をリリースしました。
groongaストレージエンジンは、全文検索用のストレージエンジンです。
http://mroonga.github.com/

今回の主な変更は以下です。
・ラッパーモードを追加しました。
　ラッパーモードは、任意のストレージエンジンに全文検索機能を付加する利用方法で、InnoDBなどと組み合わせて利用することが可能です。
　ラッパーモードはこれまでのモード（ストレージモード）とは、特性が異なる部分があるため、利用の際には以下のドキュメントをご確認ください。
　http://mroonga.github.com/userguide/wrapper.html

それ以外の変更については、以下のドキュメントをご確認下さい。
http://mroonga.github.com/news.html#release-0-7
@issmさん、@supistarさんバグレポートありがとうございます。

[MySQL][Spider][VP]Spider-2.25 VP-0.14リリース

2011-05-12T02:05:00.000+09:00

Spiderストレージエンジンのバージョン 2.25(beta)とVartical Partitioningのバージョン 0.14(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql

今回の主な変更は以下です。
Spider
・テーブルパラメータに「skip_default_condition」「direct_order_limit」を追加しました。
・サーバパラメータに「spider_skip_default_condition」「spider_direct_order_limit」を追加しました。
　「direct_order_limit」を利用すると、order byとlimitを持つ特定のSQLの実行が高速化されます。
・UDF「spider_flush_table_mon_cache」を追加しました。
　「spider_flush_table_mon_cache」は、運用中の監視サーバの情報変更を反映するための関数です。
・監視サーバ情報にワイルドカードが利用可能になりました。
　監視サーバ情報(db_name、table_name、link_id)でも、ユーザのログイン情報のように、ワイルドカードを利用することができるようになり、複数のテーブルで同じ監視サーバ情報を利用できるようになりました。これに伴い、Spiderの管理テーブルが変更となっておりますので、以前のバージョンからこれ以降のバージョンにバージョンアップする場合には、必ず「install_spider.sql」を実行してください。

Vertical Partitioning
　今回はbugfixリリースです。

　テーブルパーティショニング機能利用時に、全文検索機能を利用できるようになりました。

　また、バイナリ、ソースコードにバンドルされているhandlersocketには、以下のパラメータが追加となっています。
　・handlersocket_bulk_insert
　　handlersocketに対して行われるinsertをbulk insertとしてまとめてinsertします。
　　複数ユーザからのinsertもbulk insertになるという特徴があり、単一行のinsertをマルチスレッドで行うようなアプリケーションのinsertの高速化で威力を発揮します。
　　 0:bulk insertを実施せず、1レコードずつのinsertを行います。
　　1-:指定された値を超えるレコードが蓄積されると、bulk insertが実施されます。
　・handlersocket_bulk_insert_timeout
　　handlersocket_bulk_insertのレコード数に達しない状態でも、bulk insertを実施する最大待機時間。(秒)

　テーブルパーティショニングを利用したSpiderテーブルで、handlersocket_direct_update_modeが機能するようになりました。(handlersocket_unlimited_boundaryにより、limitが無制限となっているupdateとdeleteが対象になります)

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。
金さん、安田さん、Asanoさん、Sumiさん、Parkさんバグレポートありがとうございます。
奥野さん、アドバイスありがとうございます。

[MySQL][Spider][VP][Other]Spider-2.24 VP-0.13リリース

2011-02-13T03:25:00.004+09:00

Spiderストレージエンジンのバージョン 2.24(beta)とVartical Partitioningのバージョン 0.13(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql

今回の主な変更は以下です。
Spider
・MySQL 5.5 対応
・handlersocket対応
　handlersocketから、Spiderを経由してさらにhandlersocketを呼び出すことが可能になりました。これにより、Spiderによりshardingされたデータベースにhandlersocketでアクセスできるようになります。
　この機能を利用するには「spider_use_hs_read=1」「spider_use_hs_write=1」を設定してください。
　現在のところhandlersocketは、Linux版でのみ利用可能です。
　また、バイナリ、ソースコードにバンドルされているhandlersocketには、以下のパラメータが追加となっています。
　#1 handlersocket_support_merge_table
　　handlersocketでmerge_myisam、vpのテーブルを利用したい場合には、このパラメータを1に設定してください。
　#2 handlersocket_direct_update_mode
　　大量update、deleteを高速化するためのオプションです。現在はSpiderを利用する場合にのみ有効なオプションです。現在はテーブルパーティショニングを利用したSpiderテーブルでは機能せず、次回リリースで対応予定です。以下のモードがあります。
　　0:通常
　　1:direct update mode 1
　　　direct updateが機能した際(現在はSpiderテーブルにアクセスした場合のみ)に、ローカルサーバにバイナリログを残すことができるモードです。
　　2:direct update mode 2
　　　direct updateが機能した際(現在はSpiderテーブルにアクセスした場合のみ)に、ローカルサーバにバイナリログを残さないモードですが、最速のモードになります。リモートサーバ(Spiderのアクセス先)でバイナリログを残すことは可能です。
　#3 handlersocket_unlimited_boundary
　　limitを無制限とみなす閾値です。
・全文検索機能が利用可能になりました。
　テーブルパーティショニング機能利用時には、まだ全文検索機能は利用できないのでご注意下さい。テーブルパーティショニングの全文検索対応は次回リリース予定です。
・mysql.spider_link_mon_serversにテーブル全体、リンク毎、パーティション毎の指定で、monitoring_nodeを定義できるようになりました。
・テーブルパラメータに「hs_read_port」「hs_write_port」「use_handler」「use_hs_read」「use_hs_write」「hs_read_socket」「hs_write_socket」を追加しました。
・サーバパラメータに「spider_use_handler」「spider_use_hs_read」「spider_use_hs_write」「spider_hs_r_conn_recycle_mode」「spider_hs_r_conn_recycle_strict」「spider_hs_w_conn_recycle_mode」「spider_hs_w_conn_recycle_strict」を追加しました。
・テーブルパラメータ「auto_increment_mode」、サーバパラメータ「spider_auto_increment_mode」に選択肢3を追加しました。

Vertical Partitioning
・MySQL 5.5 対応
・全文検索機能が利用可能になりました。
　テーブルパーティショニング機能利用時には、まだ全文検索機能は利用できないのでご注意下さい。テーブルパーティショニングの全文検索対応は次回リリース予定です。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。
中川さん、佐伯さん、黒部さん、那須さん、
動的スキーマ変更の検証、バグレポートありがとうございます。
安田さん、金さん、
Spiderの冗長化機能とVPの検証、バグレポートありがとうございます。
Kamipoさん、Laurentさん、バグレポートありがとうございます。

[MySQL][Spider][VP]Spider-2.23 VP-0.12リリース

2010-10-17T01:59:00.001+09:00

Spiderストレージエンジンのバージョン 2.23(beta)とVartical Partitioningのバージョン 0.12(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql

今回の主な変更は以下です。
Spider
・サーバパラメータに「spider_udf_ct_bulk_insert_interval」「spider_udf_ct_bulk_insert_rows」を追加しました。

Vertical Partitioning
　今回はbugfixリリースです。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

中川さん、佐伯さん、黒部さん、那須さん、
クラスタ機能、動的スキーマ変更の検証ありがとうございます。
Fredericさん、バグレポートありがとうございます。

[MySQL][Spider][VP][Other]Spider-2.22 VP-0.11 BKA-for-ha_partition-0.3リリース

2010-08-31T01:32:00.000+09:00

Spiderストレージエンジンのバージョン 2.22(beta)とVartical Partitioningのバージョン 0.11(beta)、BKA-for-ha_partitionのバージョン 0.3をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql
BKA-for-ha_partitionは、テーブルパーティショニングをBatched Key Access対応にするためのパッチです。
http://launchpad.net/partitionmrrformysql

今回の主な変更は以下です。
Spider
・MS Windows対応しました。
・UDF「spider_copy_tables」を追加しました。
　この機能の追加により、Spiderの冗長化機能が解禁となります。

Vertical Partitioning
・MS Windows対応しました。

今回から、MySQLまるごとソースコードと、まるごとコンパイル済みバイナリをリリースしています。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。
猪子さん、Windows対応ありがとうございます。

[MySQL][Spider]Spider-2.21リリース

2010-06-27T02:17:00.000+09:00

Spiderストレージエンジンのバージョン 2.21(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
・テーブルパラメータに「bka_mode」「bka_engine」を追加しました。
・サーバパラメータに「spider_bka_mode」「spider_bka_engine」を追加しました。
　これらのパラメータは、BKAもしくはIN句で大量の条件を列挙するようなケースのパフォーマンスを高めるためのものです。

また、今回からソースコードの圧縮ファイルに「mysql-5.1.44.slave-trx-retry.diff」というファイルが追加されています。
mysql-5.1.44.slave-trx-retry.diffは、slave_transaction_retry_errorsというパラメータを追加します。このパラメータは「slave_transaction_retry_errors=1158,1159,2013,12701」というように指定し、レプリケーションで指定したエラーに遭遇するとトランザクションを再試行するようになります。再試行の回数は「slave_transaction_retries」で指定します。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。
奥野さん、アドバイスありがとうございます。

[MySQL][Spider][VP][Other]Spider-2.20 VP-0.10 BKA-for-ha_partition-0.2リリース

2010-05-18T00:35:00.002+09:00

Spiderストレージエンジンのバージョン 2.20(beta)とVartical Partitioningのバージョン 0.10(beta)、BKA-for-ha_partitionのバージョン 0.2をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql
BKA-for-ha_partitionは、テーブルパーティショニングをBatched Key Access対応にするためのパッチです。
http://launchpad.net/partitionmrrformysql

今回の主な変更は以下です。
Spider
・「spider_multi_split_read」で、分割する条件数を指定できるようになりました。
今回から、インストール、アップデート用の初期設定sqlファイルを添付しておりますので、ご利用下さい。

Vertical Partitioning
・Batched Key Accessに対応しました。
　この機能は現在MariaDB 5.3で「join_cache_level=6 and more」を指定することで利用可能です。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spider-2.19リリース

2010-05-04T01:34:00.001+09:00

Spiderストレージエンジンのバージョン 2.19(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
・Batched Key Accessに対応しました。
　この機能は現在MariaDB 5.3で「join_cache_level=6 and more」を指定することで利用可能です。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spider-2.18リリース

2010-04-29T16:27:00.000+09:00

Spiderストレージエンジンのバージョン 2.18(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
　今回はbugfixリリースです。

詳しくは、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spider-2.17リリース

2010-03-27T05:52:00.000+09:00

Spiderストレージエンジンのバージョン 2.17(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
・テーブルパラメータに「semi_split_read_limit」を追加しました。
・サーバパラメータに「spider_semi_split_read_limit」を追加しました。
　これらのパラメータは、参照件数最適化用のパラメータです。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider][VP]Spider-2.16 Vartical Partitioning-0.9リリース

2010-03-15T04:01:00.001+09:00

Spiderストレージエンジンのバージョン 2.16(beta)とVartical Partitioningのバージョン 0.9(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql

今回の主な変更は以下です。
(Vartical Partitioningは今回bugfixリリースです)
・テーブルパラメータに「semi_split_read」を追加しました。
・サーバパラメータに「spider_semi_split_read」を追加しました。
　これらのパラメータは、参照件数最適化用のパラメータです。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spider-2.15リリース

2010-03-08T03:28:00.000+09:00

Spiderストレージエンジンのバージョン 2.15(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
　今回はbugfixリリースです。

詳しくは、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spider-2.14リリース

2010-03-02T03:58:00.001+09:00

Spiderストレージエンジンのバージョン 2.14(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
・テーブルパラメータに「bulk_update_mode」「bulk_update_size」を追加しました。
・サーバパラメータに「spider_bulk_update_mode」「spider_bulk_update_size」を追加しました。
　これらのパラメータは、大量更新系のチューニングパラメータです。
　「REPLACE」「INSERT IGNORE」が遅い場合には「spider_direct_dup_insert」、
　「UPDATE」「DELETE」が遅い場合には「spider_bulk_update_mode」の利用を検討してください。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spider-2.13リリース

2010-02-21T15:39:00.000+09:00

Spiderストレージエンジンのバージョン 2.13(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
　今回はbugfixリリースです。

詳しくは、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。
長谷部さん、バグレポートありがとうございます。

[MySQL][VP]VP-0.8リリース

2010-02-18T04:54:00.000+09:00

Vertical Partitioningストレージエンジンのバージョン 0.8(alpha)をリリースしました。
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql

今回の主な変更は以下です。
　今回はbugfixリリースです。

詳しくは、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][VP][Other]Engine Independent Test作成開始 VP-0.7リリース

2010-01-31T18:23:00.002+09:00

Engine Independent Testというものを作り始めました。
http://launchpad.net/engineindependenttestformysql

これは、どんなストレージエンジンでも試験可能なテストを目指すもので、現在数多くあるストレージエンジン全体の品質の確認と担保を容易にすることを目的としています。
草案は以下のwikiにあがっていたのですが、まだ作られてはいないようだったので、私が既に複数のストレージエンジンをリリースしておりそこで必要だったということもあり、作りはじめてみることにしました。
http://forge.mysql.com/wiki/EngineIndependentTestSuite

まだ、作り始めではありますが、ご意見ご要望などいただけますと幸いです。

Vertical Partitioningストレージエンジンのバージョン 0.7(alpha)をリリースしました。
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql

今回の主な変更は以下です。
　MariaDBに対応しました。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spider-2.12リリース

2010-01-22T03:20:00.001+09:00

Spiderストレージエンジンのバージョン 2.12(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
　MariaDBに対応しました。
・サーバパラメータに「spider_connect_mutex」「spider_connect_retry_count」「spider_connect_retry_interval」を追加しました。
　これらのパラメータは、接続処理が激しくなった際に起こる接続失敗に対応するためのものです。(この現象は特に「spider_conn_recycle_mode=0」を利用している場合に発生します)

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。
Mohammadさん、Jayさん、バグレポートありがとうございます。

[MySQL][Spider]Spider-2.11リリース

2009-12-28T01:46:00.000+09:00

Spiderストレージエンジンのバージョン 2.11(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
・リンクのバックグラウンド死活監視機能を追加しました。
・テーブルパラメータに「monitoring_bg_interval」「monitoring_bg_kind」を追加しました。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spider-2.10リリース

2009-12-15T02:12:00.000+09:00

Spiderストレージエンジンのバージョン 2.10(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
・テーブルパラメータに「ssl_ca」「ssl_capath」「ssl_cert」「ssl_cipher」「ssl_key」「ssl_verify_server_cert」「default_file」「default_group」を追加しました。
・UDFパラメータに「ssl_ca」「ssl_capath」「ssl_cert」「ssl_cipher」「ssl_key」「ssl_verify_server_cert」「default_file」「default_group」を追加しました。
　Spiderのリモートサーバへの通信にsslが利用可能になりました。
　Spiderのリモートサーバへの接続時に設定ファイル(my.cnf)を読むことが可能になりました。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。
前山さん、バグレポートありがとうございます。

Shibuya.pm #12 スライド

2009-12-09T02:59:00.003+09:00

遅くなりましたが、11/30に開催されましたShibuya.pm #12 - NoSQL特集で使用したスライドをSlideShareにアップロードしました。

Spider Shibuya.pm #12

View more documents from Kentoku.

[MySQL][Spider]Spider-2.9リリース

2009-11-29T02:00:00.000+09:00

Spiderストレージエンジンのバージョン 2.9(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
・UDF「spider_ping_table」を追加しました。
・テーブルパラメータに「monitoring_kind」「monitoring_limit」「monitoring_server_id」を追加しました。
・サーバパラメータに「spider_udf_table_mon_mutex_count」を追加しました。
　このリリースでは、Spiderのリンク障害状況確認機能が追加されています。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。
枦山さん、merikonjattaさん、バグレポートありがとうございます。

[MySQL][Spider]Spider-2.8リリース

2009-11-04T07:11:00.000+09:00

Spiderストレージエンジンのバージョン 2.8(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
・テーブルパラメータに「link_status」を追加しました。
　このパラメータにより、alter table文を利用してリンクの障害状況を変更することができます。
　なお、Spiderのリンク障害状況管理は、テーブル単位で行われます。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spider-2.7リリース

2009-10-30T03:28:00.002+09:00

Spiderストレージエンジンのバージョン 2.7(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
・１Spiderテーブルに付き、複数リンクを生成し、ロックなし参照時にロードバランスするようになりました。ロードバランスのルールは((サーバID + スレッドID) % リンク数)で決定されます。
　複数リンクを生成するには、「host」「user」「table」「server」「socket」「wrapper」「database」「password」のテーブルパラメータを記述する際に、半角スペース区切りで複数記述してください。
　例：「host 'h1 h2 h3'」

今後、SpiderでActive-Activeのクラスタ構成ができるようにするための、機能追加を行っていく予定です。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spider-2.6リリース

2009-10-19T01:09:00.000+09:00

Spiderストレージエンジンのバージョン 2.6(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
・サーバパラメータに「spider_remote_access_charset」「spider_remote_autocommit」「spider_remote_sql_log_off」「spider_remote_trx_isolation」を追加しました。
　Spiderストレージエンジンは、リモートサーバへの接続時これらの情報を合わせて設定するのですが、これらの情報があらかじめわかっていて設定する必要がない場合があります。そのような場合に、これらのパラメータを設定するとリモートサーバへの接続時にこれらの情報を設定する必要がなくなり、接続処理を高速化することができます。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。
Giuseppeさん、バグレポートありがとうございます。

[MySQL][VP]Vartical Partitioning-0.6リリース

2009-10-14T01:50:00.002+09:00

Vertical Partitioningストレージエンジンのバージョン 0.6(alpha)をリリースしました。
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql

今回の主な変更は以下です。
・UDF「vp_copy_tables」を追加しました。
　Vertical Partitioningテーブルに新しいテーブルを追加した際に、そのテーブルに対してデータを同期させたりするためのUDFです。

・テーブルパラメータに「choose_ignore_table_list」「choose_ignore_table_list_for_lock」「zero_record_update_mode」を追加しました。
　Vertical Partitioningテーブルに新しいテーブルを追加した際などに、そのテーブルに対して検索を行わないようにするパラメータです。また、ロックを伴う検索と伴わない検索で利用する子テーブルを分ける為に使用することもできます。

・サーバパラメータに「vp_udf_ct_bulk_insert_interval」「vp_udf_ct_bulk_insert_rows」を追加しました。
　vp_copy_tablesの利用中にコピーの負荷を他のコネクションから動的に変更するためのパラメータです。

利用例
-------------------------------------------------------------------------------
初期状態：
    create table tbl_a(
      col_a int not null,
      col_b varchar(20),
      col_c int not null,
      primary key(col_a),
      key idx1(col_c, col_a)
    )engine=VP comment='tnl "tbl_b tbl_c"';

テーブル追加：
    alter table tbl_a comment='tnl "tbl_b tbl_c tbl_d", cit "3", cil "3", zru "1"';

コピー：
    select vp_copy_tables("tbl_a", "tbl_c", "tbl_d");

後処理：
    alter table tbl_a comment='tnl "tbl_b tbl_c tbl_d"';
-------------------------------------------------------------------------------

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider][VP]Spider-2.5 Vartical Partitioning-0.5リリース

2009-10-05T06:25:00.003+09:00

Spiderストレージエンジンのバージョン 2.5(beta)とVertical Partitioningストレージエンジンのバージョン 0.5(alpha)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql

今回の主な変更は以下です。
・Vertical Partitioningストレージエンジン単独でのコンパイルが可能になりました。

・VPが多段で重ねられるようになりました。
　例：
    create table a(a int primary key)engine=myisam;
    create table b(a int primary key)engine=vp comment 'tnl "a"';
    create table c(a int primary key)engine=vp comment 'tnl "b"';

・テーブルパラメータに「bgs_mode」「bgi_mode」「bgu_mode」を追加しました。
・サーバパラメータに「vp_bgs_mode」「vp_bgi_mode」「vp_bgu_mode」を追加しました。
　これらのパラメータの追加により、Vertical PartitioningストレージエンジンからSpiderストレージエンジンへのパラレル参照、更新が可能になります。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider][VP]Spider-2.4 Vartical Partitioning-0.4リリース

2009-09-27T18:07:00.001+09:00

Spiderストレージエンジンのバージョン 2.4(beta)とVertical Partitioningストレージエンジンのバージョン 0.4(alpha)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/
Vertical Partitioningストレージエンジンは、テーブルのVertical Partitioning用のストレージエンジンです。
http://launchpad.net/vpformysql

今回の主な変更は以下です。
・SpiderストレージエンジンとVertical Partitioningストレージエンジンの組み合わせで「engine-condition-pushdown」が利用可能になりました。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。
Gennadyさん、バグレポートありがとうございます。

[MySQL][VP]Vertical Partitioningストレージエンジン 0.3リリース

2009-09-21T12:41:00.002+09:00

Vertical Partitioningストレージエンジンのバージョン 0.3をリリースしました。
http://launchpad.net/vpformysql

今回の主な変更は以下です。
・テーブルパラメータに「choose_table_mode_for_lock」を追加しました。
・サーバパラメータに「vp_choose_table_mode_for_lock」を追加しました。
　このパラメータは、デッドロック対策としてロックの順番をテーブルリストの並び順に固定するために利用します。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spiderストレージエンジン 2.3リリース

2009-09-12T18:59:00.000+09:00

Spiderストレージエンジンのバージョン 2.3(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
・UDFパラメータに「connection_channel」を追加しました。
　このパラメータを利用すると、１サーバに対して複数接続を確立し、バックグラウンドの並列性を高めることができます。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spiderストレージエンジン 2.2リリース

2009-09-06T08:29:00.001+09:00

Spiderストレージエンジンのバージョン 2.2(beta)をリリースしました。
Spiderストレージエンジンは、database sharding用のストレージエンジンです。
http://spiderformysql.com/

今回の主な変更は以下です。
・UDFパラメータに「iop000」を追加しました。
　このパラメータを利用すると、UDFに指定したテーブルにinsertする際に、「ignore」「replace」ができるようになります。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spiderストレージエンジン 2.1リリース

2009-08-29T12:56:00.004+09:00

Spiderストレージエンジンのバージョン 2.1(beta)をリリースしました。
http://spiderformysql.com/

今回の主な変更は以下です。
・UDF「spider_direct_sql」「spider_bg_direct_sql」を追加しました。
　これらのUDFは、Spiderのテーブルリンクを利用して、リモートサーバに任意のSQLを発行し、結果セットがある場合はテンポラリテーブルに格納するというものです。
　主な用途としては以下を想定しています。
　１．メンテナンス用(他のサーバにSpiderのリンク先のテーブルを
　　　作成したりする)
　２．リモートサーバのテーブル以外の資源(ストアドプロシージャ、
　　　ストアドファンクション)の利用用
　３．大量データの一括更新用(全レコードを１ＳＱＬで更新する
　　　ような場合。複数のリモートサーバで並列更新ができる
　　　ということと、ローカルサーバとリモートサーバのデータ
　　　転送量を削減できるというメリットがある)
　４．２ステップ集計処理用(DWHなどで、大量データの集計を行う
　　　場合に、リモートサーバでまず一次集計を行い、その集計結果を
　　　各リモートサーバからローカルサーバに集め、さらに集計する。
　　　一次集計をパラレルで行えるということと、ローカルサーバと
　　　リモートサーバのデータ転送量を削減できるというメリットが
　　　ある)

２ステップ集計の例
(７つのリモートサーバに分割されたテーブルのレコード数をカウントする)
-------------------------------------------------------------------------------
準備：
mysql> create table target_hosts (host char(17))engine=myisam;
Query OK, 0 rows affected (0.01 sec)

mysql> insert into target_hosts (host) values ('192.168.22.13'),('192.168.22.14'),('192.168.22.15'),('192.168.22.16'),('192.168.22.51'),('192.168.22.52'),('192.168.22.53');
Query OK, 7 rows affected (0.00 sec)
Records: 7 Duplicates: 0 Warnings: 0

mysql> create temporary table a (a int)engine=myisam;
Query OK, 0 rows affected (0.00 sec)

実行：
mysql> select sum(a.a) from a, (select sum(spider_direct_sql('select count(*) from data01', 'a', concat('srv "s", host "', host, '"'))) cnt from target_hosts) c;
+-----------+
| sum(a.a) |
+-----------+
| 117641811 |
+-----------+
1 row in set (40.86 sec)

mysql> truncate table a;
Query OK, 0 rows affected (0.00 sec)

mysql> select sum(a.a) from a, (select spider_bg_direct_sql('select count(*) from data01', 'a', concat('srv "s", host "', host, '"')) cnt from target_hosts) c;
+-----------+
| sum(a.a) |
+-----------+
| 117641811 |
+-----------+
1 row in set (5.91 sec)
-------------------------------------------------------------------------------

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spiderストレージエンジン 2.0リリース

2009-08-22T18:30:00.003+09:00

Spiderストレージエンジンのバージョン 2.0(beta)をリリースしました。
http://spiderformysql.com/
これ以降は、1.xが安定版、2.xが開発版となります。

今回の主な変更は以下です。
・テーブルパラメータに「semi_table_lock_connection」を追加しました。
・サーバパラメータに「spider_semi_table_lock_connection」を追加しました。
　Spiderストレージエンジンには、ローカルサーバで実行される1SQLの間のリモートサーバでの参照一貫性を担保するため、トランザクション対応のテーブルでは「spider_semi_trx」「spider_semi_trx_isolation」、トランザクション非対応のテーブルでは「spider_semi_table_lock」「semi_table_lock」というオプションが用意されています。しかし「semi_table_lock」はリモートサーバにlock tableを実行しトランザクションを暗黙でコミットしてしまうため、同じリモートサーバにトランザクション対応のテーブルとトランザクション非対応のテーブルが混在する場合は、ローカルサーバからリモートサーバにリンクを作成する際に、トランザクション対応テーブル用のコネクションとトランザクション非対応テーブルのコネクションが別のコネクションを利用するようにする必要があります。
　「semi_table_lock_connection」「spider_semi_table_lock_connection」を利用すると、同じ接続情報を持つテーブルでも「semi_table_lock」を利用するかどうかで利用する接続を分けることができます。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spiderストレージエンジン 1.0リリース

2009-08-18T19:21:00.000+09:00

Spiderストレージエンジンのバージョン 1.0をリリースしました。
このバージョンからGAとなります。
http://spiderformysql.com/

今回からLinux x86_64用の共有ライブラリをリリースしています。
リリースにあたっては、以下の記事を参考にさせていただきました。
http://d.hatena.ne.jp/kazuhooku/20080831/1220144671
kazuhoさんありがとうございます。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spiderストレージエンジン 0.18リリース

2009-08-15T11:40:00.001+09:00

Spiderストレージエンジンのバージョン 0.18をリリースしました。
http://spiderformysql.com/

今回の主な変更は以下です。
・テーブルパラメータに「use_pushdown_udf」を追加しました。
・サーバパラメータに「spider_use_pushdown_udf」を追加しました。
　「use_pushdown_udf」「spider_use_pushdown_udf」は、engine_condition_pushdown利用時、where句で利用したUDFをリモートサーバに発行するSQLの検索条件に加えるかどうかを設定することができます。

今回からテーブルパラメータの空白として、改行が利用できるようになりました。
藤尾さん、ご報告ありがとうございます。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL]グリー勉強会「MySQLハッキングの手引き」

2009-08-11T04:55:00.001+09:00

グリー勉強会「MySQLハッキングの手引き」に参加してきました。
　グリーさん、松信さん、いちいさんありがとうございました。
　細かい内容は、他の方が既に説明されているのでそちらを見ていただくとして、感想としては、非常に創作意欲を刺激される内容でした。

　Spiderでは、リモートサーバのストアドプロシージャ、ストアドファンクションなどの資源を利用するためのUDFの作成を「作らないといけないなー」レベルでなんとなく予定していたのですが、今回の勉強会の影響で完成が早まるかもしれません。
　プロジェクトも登録してみました。
　http://forge.mysql.com/projects/project.php?id=349

　ご期待下さい。

[MySQL][Spider]Spiderストレージエンジン 0.17リリース

2009-08-09T15:46:00.001+09:00

Spiderストレージエンジンのバージョン 0.17をリリースしました。
このバージョンからRCとなります。
http://spiderformysql.com/

今回の主な変更は以下です。
・テーブルパラメータに「use_table_charset」を追加しました。
・サーバパラメータに「spider_use_table_charset」「spider_local_lock_table」を追加しました。
　「use_table_charset」「spider_use_table_charset」は、リモートサーバとの通信をテーブルのキャラクターセットで行うか、UTF8固定にするかを切り替えることができます。基本的にデフォルト(通信をテーブルのキャラクターセットで行う)のままで問題はありませんが、SQLの中のデータの長さよりもカラムやテーブルの文字列のほうが極端に長くなるような場合には、この設定を変更することで性能が向上することがあります。
　「spider_local_lock_table」は、lock tableを行った際に、リモートにlock tablesを発行するかどうかを切り替えるパラメータです。このオプションは、無停止でデータの再分配を行う場合などのケースで変更します。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spiderストレージエンジン 0.16リリース

2009-08-01T14:17:00.000+09:00

Spiderストレージエンジンのバージョン 0.16をリリースしました。
http://spiderformysql.com/

今回の主な変更は以下です。
・サーバパラメータに「spider_same_server_link」「spider_table_init_error_interval」を追加しました。
　「spider_same_server_link」は、同じMySQLにテーブルリンクを作成したい場合に利用します。
　「spider_table_init_error_interval」は、誤ってテーブルリンクをループさせてしまった場合に、コネクションを消費し続ける問題を抑止するために利用します。もし、テーブルリンクがループした際に、コネクションが増加し続ける場合はset globalコマンドを利用してこのパラメータを大きくしてください。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spiderストレージエンジン 0.15リリース

2009-07-25T20:00:00.001+09:00

Spiderストレージエンジンのバージョン 0.15をリリースしました。
http://spiderformysql.com/

今回の主な変更は以下です。
・テーブルパラメータに「auto_increment_mode」を追加しました。
・サーバパラメータに「spider_auto_increment_mode」を追加しました。
　Spiderは３モードをサポートします。
　0:リモートサーバにロック付き問い合わせで取得した最新付番を利用して、付番を行う。
　1:Spiderテーブル内のカウントで付番を行う。
　2:リモートサーバで付番を行う。

・サーバパラメータに「spider_ping_interval_at_trx_start」を追加しました。
　リモートサーバへの接続断確認を毎回行わなくなることにより、パフォーマンスが向上しました。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spiderストレージエンジン 0.14リリース

2009-07-21T01:31:00.004+09:00

Spiderストレージエンジンのバージョン 0.14をリリースしました。
http://spiderformysql.com/

今回の主な変更は以下です。
・Spiderストレージエンジン単独でのコンパイルが可能になりました。
　詳細はダウンロードドキュメント中の「03_install_spider_storage_engine.txt」をご確認下さい。
　ウノウの久保さん、住商情報システムの池田さん
　　アドバイスありがとうございます。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

Spiderストレージエンジンが使い方を交えて以下で紹介されています。

ウノウラボ(日本語)
http://labs.unoh.net/2009/07/mysqlspider.html
　ウノウの中村さん
　　Spiderのご紹介ありがとうございます。

The Data Charmer(英語)
http://datacharmer.blogspot.com/2009/04/test-driving-spider-storage-engine.html
http://datacharmer.blogspot.com/2009/07/sharding-for-masses-spider-storage.html
　Giuseppeさん
　　Spiderのご紹介ありがとうございます。

[MySQL][Spider]Spiderストレージエンジン 0.13リリース

2009-07-08T04:34:00.002+09:00

Spiderストレージエンジンのバージョン 0.13をリリースしました。
http://spiderformysql.com/

今回の主な変更は以下です。
・テーブルパラメータに「crd_bg_mode」「sts_bg_mode」を追加しました。
・サーバパラメータに「spider_crd_bg_mode」「spider_sts_bg_mode」を追加しました。
　検索などでテーブルを利用する際、MySQLの内部でテーブルの統計情報が必要となります。Spiderストレージエンジンはこれをリモートのテーブルから取得するのですが、これがSQLのオーバーヘッドになることがあります。
　このオプションは、テーブルの統計情報をバックグラウンドで取得することで、オーバーヘッドをなくす効果がありますが、統計情報の取得が非同期になるため、統計情報が頻繁に変化するようなテーブルでは、このオプションを0にしてください。
　※統計情報取得のオーバーヘッド軽減のオプションはこの他にもありますが、それは別途紹介したいと思います。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Other]Condition Pushdown for ha_partition 0.1リリース

2009-07-03T19:51:00.000+09:00

Condition Pushdown for ha_partitionのバージョン0.1をリリースしました。
http://launchpad.net/partitionconditionpushdownformysql

このリリースは、MySQLのテーブルパーティショニング機能(ndb除く)のパッチです。
このパッチを利用すると、テーブルパーティショニング機能を利用したテーブルでも、
engine-condition-pushdownを利用できるようになります。

これまでは、ndbのみがengine-condition-pushdownに対応していたので、問題はなかったのですが、最近Spiderストレージエンジンがengine-condition-pushdownに対応したためこのパッチが必要となり、作成しました。

[MySQL][VP]Vertical Partitioningストレージエンジン 0.2リリース

2009-07-02T02:13:00.004+09:00

Vertical Partitioningストレージエンジンのバージョン 0.2をリリースしました。
http://launchpad.net/vpformysql

今回の主な変更は以下です。
・テーブルパーティショニングに対応しました。
　前回のリリースでは紹介だけで実装されていなかったテーブルパーティショニングが今回から利用できるようになりました。
　※この対応により、今回からパッチファイルが追加されていますのでご注意下さい。

・InnoDBのセカンダリindexのPK部分を有効活用するようにしました。
　InnoDBはセカンダリindexにPKのカラムを持っているので、これを以下のような記述で活用できるようにしました。
    create table tbl_b(
      col_a int not null,
      col_b varchar(20),
      col_c int not null,
      primary key(col_a),
      key idx1(col_c)
    )engine=InnoDB;
    create table tbl_c(
      col_a int not null,
      col_b varchar(20),
      col_c int not null,
      primary key(col_a),
      key idx1(col_c)
    )engine=InnoDB;
    create table tbl_a(
      col_a int not null,
      col_b varchar(20),
      col_c int not null,
      primary key(col_a),
      key idx1(col_c, col_a)
    )engine=VP comment='table_name_list "tbl_b tbl_c"';
　※Vertical Partitioningストレージエンジンは、子テーブルに異なるストレージエンジンのテーブルを持つことができるため、インデックスにPKを持つものと持たないものを混在させることができます。tbl_aのidx1にPKのカラムを記載するようにしているのは、この混在による違いを吸収するためです。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][Spider]Spiderストレージエンジン 0.12リリース

2009-06-30T00:09:00.005+09:00

Spiderストレージエンジンのバージョン 0.12をリリースしました。
http://spiderformysql.com/

Spiderストレージエンジンは、テーブルパーティションとテーブルリンクを組み合わせることで、複数のリモートサーバにあるテーブルを、ローカルサーバにある１つのテーブルとして利用することを可能にするものです。(database sharding)
更新の同期は、Spiderストレージエンジン内部でxaトランザクションを利用して保障します。
資料：
http://www.mysqlconf.com/mysql2009/public/schedule/detail/6837

今回の主な変更は以下です。
(以下に登場する「テーブルパラメータ」とは、テーブル固有のパラメータのことです。詳細は、ダウンロードドキュメント中の「04_table_create.txt」「06_table_parameters.txt」をご確認下さい)
・テーブルパラメータ「table_count_mode」の追加。
リモートサーバのテーブルが、MyISAMのようなテーブルステータスから正確な全件数を取得できるストレージエンジンを利用している場合のために、テーブルの全件数取得の際にテーブルステータスを利用するオプションを追加しました。

・テーブルパラメータ「select_column_mode」、サーバパラメータ「spider_select_column_mode」の追加。
select文実行時に取得するカラムの決定方式を、今までのざっくりモードに加え、詳細に割り出すモードを追加し、リモートサーバとの通信量を今までに比べて削減しました。

それ以外の変更については、ダウンロードドキュメント中の「99_change_logs.txt」をご確認下さい。

[MySQL][VP]Vertical Partitioningストレージエンジン 0.1リリース

2009-06-25T22:58:00.004+09:00

Vertical Partitioningストレージエンジンというストレージエンジンをリリースしました。
http://launchpad.net/vpformysql
このストレージエンジンは、１対１の関係にある複数のテーブルを同一のテーブルのように扱うことを可能にするものです。
これは、１対１の関係にある複数のテーブルをjoinしたviewに似ていますが、MySQLのviewとは以下の点が異なります。
・insertできる。
・パーティションの刈り込みが起こる。(関係のないパーティションは利用しない)

Vertical Partitioningストレージエンジンは以下のような用途で利用できます。
(Vertical Partitioningテーブルを親テーブル、統合されるテーブルを子テーブルと呼びます)

１．レコードサイズの大きいInnoDBテーブルのテーブルスキャンは、レコードが増えるに従ってパフォーマンスが非常に悪くなります。
　Vertical Partitioningストレージエンジンを利用することで、このテーブルのレコードサイズを小さく分割し、パフォーマンスを改善することができます。

  「select col_d from tbl_a」のような検索の性能を改善する場合。
  分割前
    create table tbl_a(
      col_a int primary key,
      col_b int,
      col_c int,
      col_d int,
      col_e varchar(255),
      col_f varchar(255),
      col_g varchar(255),
      col_h varchar(255),
      col_i varchar(255),
      col_j text,
      key idx_a(col_b, col_c),
      key idx_b(col_c, col_j(100))
    )engine=InnoDB;

  分割後
    create table tbl_b(
      col_a int primary key,
      col_b int,
      col_c int,
      col_d int,
      key idx_a(col_b, col_c)
    )engine=InnoDB;
    create table tbl_c(
      col_a int primary key,
      col_c int,
      col_e varchar(255),
      col_f varchar(255),
      col_g varchar(255),
      col_h varchar(255),
      col_i varchar(255),
      col_j text,
      key idx_b(col_c, col_j(100))
    )engine=InnoDB;
    create table tbl_a(
      col_a int primary key,
      col_b int,
      col_c int,
      col_d int,
      col_e varchar(255),
      col_f varchar(255),
      col_g varchar(255),
      col_h varchar(255),
      col_i varchar(255),
      col_j text,
      key idx_a(col_b, col_c),
      key idx_b(col_c, col_j(100))
    )engine=VP
    comment 'table_name_list "tbl_b tbl_c"';
　※Vertical Partitioningストレージエンジンでは、複数の子テーブルに同じカラムを持つことを許容しています。これにより、分割の設計が柔軟に行えるようにしています。ただし、あまりカラムを重複させると更新のパフォーマンスが悪くなるので注意してください。

２．MySQL Cluster (ndb)はテキストのカラムを扱うことが得意ではありません。
　Vertical Partitioningストレージエンジンは子テーブルを異なるストレージエンジンのテーブルで構成できるため、MySQL Clusterに得意とするカラムだけを担当させることができます。
  ストレージエンジン混在例
    create table tbl_b(
      col_a int primary key,
      col_b int,
      col_c int,
      key idx_a(col_b, col_c)
    )engine=ndb ......;
    create table tbl_c(
      col_a int primary key,
      col_c int,
      col_d varchar(255),
      col_e text,
      key idx_b(col_c, col_e(100))
    )engine=Spider ......;
    create table tbl_a(
      col_a int primary key,
      col_b int,
      col_c int,
      col_d varchar(255),
      col_e text,
      key idx_a(col_b, col_c),
      key idx_b(col_c, col_e(100))
    )engine=VP
    comment 'table_name_list "tbl_b tbl_c"';

３．MySQLはmulti shaped partitioningをまだサポートしていませんが、
　Vertical Partitioningストレージエンジンを利用することでそれが利用できるようになります。
　１つのテーブルを異なる条件で分割することを、ここではmulti shaped partitioningと呼んでいます。
　この機能を使うと詳細用のテーブルとインデックス用のテーブルを分けたものを１つのテーブルとして扱うことができ、さらにそれぞれのテーブルをSpiderストレージエンジンを使ってshardingすることができます。

  分割前
    create table employees (
      id int primary key,
      fname varchar(30),
      lname varchar(30),
      hired date not null default '1970-01-01',
      separated date not null default '9999-12-31',
      job_code int,
      store_id int
    )engine=InnoDB;

  分割後
    create table emp_pk (
      id int not null,
      separated date not null default '9999-12-31',
      unique idx_a(id),
      key idx_b(id, separated)
    )engine=InnoDB
    partition by hash(id)
    partitions 4;
    create table emp_detail (
      id int not null,
      fname varchar(30),
      lname varchar(30),
      hired date not null default '1970-01-01',
      separated date not null default '9999-12-31',
      job_code int,
      store_id int,
      key idx_a(id, separated)
    )engine=InnoDB
    partition by range ( year(separated) ) (
      partition p0 values less than (1991),
      partition p1 values less than (1996),
      partition p2 values less than (2001),
      partition p3 values less than maxvalue
    );
    create table employees (
      id int not null,
      fname varchar(30),
      lname varchar(30),
      hired date not null default '1970-01-01',
      separated date not null default '9999-12-31',
      job_code int,
      store_id int,
      primary key(id, separated)
    )engine=VP
    comment 'table_name_list "emp_pk emp_detail", pk_correspond_mode "1"';
　※ここでは、どちらの子テーブルにアクセスしてもパーティションの刈り込みが利用できるよう、親テーブルのPKに両方のパーティションの条件に利用するカラムを定義しています。(今後はPKにidのみを指定しても刈り込みが利用できるよう改善を計画中)

４．Vertical Partitioningストレージエンジンは、Spiderストレージエンジンのようなパラレル検索に対応したストレージエンジンに、Vertical Partition単位のパラレル検索能力を与えます。(現在未実装)

５．Vertical Partitioningストレージエンジンは、MySQLのパーティションをサポートしているので、パーティションのラッパーとして利用できます。
　これにより、各パーティションをテーブルとして個別に利用する事ができます。(現在未実装なのでこの機能はまだ使用しないで下さい)
  利用例
    create table tbl_b(
      col_a int not null,
      col_b varchar(20),
      col_c int not null,
      primary key(col_a)
    )engine=InnoDB;
    create table tbl_c(
      col_a int not null,
      col_b varchar(20),
      col_c int not null,
      primary key(col_a)
    )engine=InnoDB;
    create table tbl_d(
      col_a int not null,
      col_b varchar(20),
      col_c int not null,
      primary key(col_a)
    )engine=InnoDB;
    create table tbl_a(
      col_a int not null,
      col_b varchar(20),
      col_c int not null,
      primary key(col_a)
    )engine=VP
    partition by hash(col_a)
    (
      partition pt1 comment='table_name_list "tbl_b"',
      partition pt2 comment='table_name_list "tbl_c"',
      partition pt3 comment='table_name_list "tbl_d"'
    );

現在は、αリリースでまだ使えない機能もありますが、なるべく早めにリリースするつもりです。
ご期待下さい。