ラベル HBase の投稿を表示しています。 すべての投稿を表示
ラベル HBase の投稿を表示しています。 すべての投稿を表示

2010年8月24日火曜日

CassandraとHBaseを比較して入門するNoSQL

第10回Cassandra勉強会で発表したスライドに、勉強会後に頂いたフィードバックを反映した物をSlideshareにUPしますた

2010年7月8日木曜日

ルイーダの酒場で学ぶOracle、HBase、Cassandraの違い

ルイーダの店 = データベース
旅人 = データ
勇者 = クライアント(APサーバなど)

■ルイーダの酒場 Oracleバージョン
世界に一店舗だけある巨大な酒場。
世界中から旅人が集まり、転職歴や力、素早さ、運の良さ、レベル、倒してきた敵等、その旅人が持つあらゆる情報で探し出す事が出来る。
仲間を捜す時は、ほしい仲間の条件を店主に言えば、条件に見合う旅人を連れてきてくれる。基本的に店主はどんなに複雑で難しい条件でも健気に探し出してきてくれる。
がしかし、店主自らが探しに行く為、あまりに条件が複雑過ぎると探すのに時間がかかってしまうので、運悪く自分よりも前の勇者が店主に複雑な条件を提示してしまうと、窓口に長蛇の列が出来てしまい待たされる事もある。

■ルイーダの酒場 HBaseバージョン
とある街に本社を置き、世界中に支店を持つ酒場である。
旅人がここの酒場に登録する際にID作る必要がある。ほとんどの場合自分が探してもらいやすい様に力や素早さなど自分のステータスを羅列した登録番号を作る事が多い。
また旅人を捜す時は基本的にその旅人の登録番号を指定するか、登録番号の範囲を指定する事でしか探し出すことができない。自分がほしい旅人の条件に見合っているかは、一度呼び出してもらってから自分で確かめる必要がある。
各支店には所属すべき登録番号の範囲が決められている為、登録した旅人達は自分登録番号に従い、自分が待機しているべき支店に移動して待機する事になる。本社は常に各支店にいる旅人達の数を把握しており、各支店がほぼ同じ人数の旅人を抱える様に各支店の担当登録番号の範囲を調整し、各支店に伝えている。
自分が所属すべき支店が変わった旅人達、あるいは所属している支店が魔物に襲われて破壊されてしまった場合は、その足で新しい所属支店へと移動する必要がある。
その為に例えば新しい所属支店において、勇者がとある旅人を指名したとしてもその旅人が新しい支店にたどり着かない限り、その勇者は酒場で待ち続けなければならない。(可用性の犠牲)
旅人を捜す窓口は各お店に一つしかないが、お店がたくさんある上、登録番号毎に分かれている為、同時に何人もの勇者が、旅人を捜す事が出来る。

■ルイーダの酒場 Cassandraバージョン
世界中に支店を持つが、本社を持っていない。その為に書く支店間で常に連絡を取り情報共有を行っている。
こちらも旅人は登録する際に登録番号を生成し所属する支店を決める。が、それに加えて登録が終わると即座にその人のクローンを二人ほど作り上げ、本人とは別の店舗に配置しておく。更にこのクローンの作成を定期的に行い、新しいクローンが届いた支店では古いクローンと交換している。
とある旅人を探しに店を訪れた勇者がいたが、その旅人はこの支店ではなく、別の支店にいる事がわかった。が更に運悪くその探している旅人が所属している支店が魔物に破壊されている事がわかった。その様な時はすぐにクローンが所属している支店に移動し、そのクローンをつれてすぐに勇者は旅立つ事が出来る。
が、せっかくレベルアップしたのに複製を作る前に所属支店をなくしてしまった旅人を指名した勇者は、レベルアップ前の状態のクローンをつれて旅立たねばならなくなる。(一貫性の犠牲)
旅人を捜す窓口は各お店に一つしかないが、お店がたくさんあるので、同時に何人もの勇者が、旅人を捜す事が出来る。

2010年6月28日月曜日

HBase0.89.20100621を入れてみた。

どうも接続方法が変わったのか、何か変更があったご様子。
取り敢えず下記のように変更したら繋がった


import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.client.HTable;

public class HBaseNewConnector {
private Configuration conf;
private HTable hTable;

public void run() {
this.conf = new Configuration();
this.conf.set("hbase.zookeeper.quorum", "192.168.0.2"); ←取り敢えずMasterのIP
this.conf.set("hbase.zookeeper.property.clientPort", "2181");
try {
this.hTable = new HTable(this.conf, "Pokemon");
} catch (IOException e) {
e.printStackTrace();
}
try {
this.hTable.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}

2010年2月26日金曜日

HBase vs Cassandraに関する河野氏からの意見

tatsuya6502

#Cassandra と #HBase の件ですが、Apacheのトップレベルプロジェクトなのか、サブプロジェクトなのかというのは、それぞれのプロジェクト自身が選択することなので、「Apache的にはこちらが優勢」といった考え方はないと思います
#Cassandra と #HBase は、それぞれ得意とする分野も異なりますので、両方に存在意義がありますし、開発メンバーも全く別なので、開発の優先順位をつける必要もないはずです

#HBase の場合は、 Hadoop の各コンポーネント(HDFS、ZooKeeper、Map Reduce)があって初めて成り立つ製品ですし、大規模なデータセットを意識していますので、 Hadoop のサブプロジェクトになっている現在の形が自然に思えます
#HBase は、元々の用途が、 Wikipedia の自然言語検索エンジンなので、HTMLとそれに関連するタグ情報といった「非定型のデータ」で、さらに、数十億レコード規模の「大規模なデータセット」といった条件で最高の性能を発揮します
また #HBase は「Map Reduce」との相性もいいですし、従来のDBのように「strong consistency」モデルを採用しています。さらに、オプションで、2次インデックスや楽観的ロック方式のトランザクションも使えたりと機能は豊富です

#Cassandra は、設計の出発点が、Amazonの「ショッピングカート周辺のデータセット」で「レスポンスの早さ」を実現するためのものだったのですが、さらに、 HBase が得意な「非定型のデータ」も扱えるよう拡張されています
#Cassandra は、基本は eventual consistency モデルで動作しますが、クエリーごとに「consistencyの強度が選べる」ので、 strong consistencyも使えます
一般的なウェブの用途だと、 #Cassandra がフィットするケースの方が多そうです。 #HBase は、大規模データセットで Map Reduce が使われるケースに最適なのではないでしょうか

2009年12月2日水曜日

2009年10月16日金曜日

HbaseのValueとTimestampの関係

HbaseはTimestampを指定するととれる値が変わる訳だが
・登録されてないTimestampの値でValueを引いたら?
・いちいち過去のTimestampを暗記してないと過去の値引けないの?
・範囲でとれるらしいけど、どんな感じ?
・範囲内に複数値あったら?
てな疑問を試してみた
■Javaからの利用(Timestampの実験)

2009年10月7日水曜日

HbaseとかKeyValueストアのデータ構造

KVS(KeyValueStore)のデータ構造を理解する為に色々やってみた

■Hbase独自のtable/Data操作
これはSampleDataを使ったHbaseのData構造の解説。

でこれが構造を図にしてみたやつ

2009年10月1日木曜日

JavaからHbaseをネットワーク越しに使う

Hbaseの分散環境は作れたし、取り敢えずHbase Shellの使い方もある程度は理解した。
■SQLとHbaseの操作比較
■Hbaseの操作

で次にJavaからネットワーク越しにHbaseを使いたいんだけど意外にネット探しても見つからない。Hbaseが入ってるServer上で直接Javaを動かす方法は沢山見つかるのに('A`)
まぁ地道に探して海外のWebで情報拾った結果、見事ネットワーク越しの接続が成功。

という訳で、HbaseをHttp RESTから利用する方法と、Javaから利用する方法を纏めてみた。
Javaの方はローカルでJava動かして、Hbaseが動いてるServerに接続する方法の解説
■HTTP RESTからの利用
■Javaからの利用

2009年9月30日水曜日

Hbaseの使い方をまとめてみた

Hbaseの使い方、特にSQLに相当するHbase Shellの使い方をまとめてみた。
取り敢えず完全分散環境を構築する事には成功したので色々といじってみたい所。
■Hbaseの利用

2009年9月25日金曜日

HBaseのドキュメントを和訳してみた

■HBase 0.20.0 APIを和訳してみた。
毎度の如く和訳間違っているかもしれないので、気付いた方とかいたら指摘お願いします。
完全分散を行わない限り、Hadoopに比べて設定すげぇ楽なんだね・・・。

■オマケ:Hbase0.2ドキュメント和訳

2009年9月16日水曜日

HbaseのInstallをしたんだけど

見事に資料がねぇ('A`)
と、いう事で取り敢えず■Hbase/10Minutesを訳してみた。
毎度おなじみ、間違いあったら連絡ください。
1.Download the latest stable release from the [WWW] HBase download page

2.Move the download to wherever you want to run hbase from, say to ~/hbase

3.If running a remote HDFS that you want hbase to connnect to, edit conf/hbase-site.xml and add a property for hbase.rootdir. Set it to hdfs://NAMENODE_HOST:NAMENODE_PORT/HBASE_ROOTDIR. For example, hdfs://localhost:9000/hbase. Otherwise, use the default: file:///tmp/hbase-${user.home}/hbase UNLESS you are running on windows (TODO: Restore what you do here when on windows -- St.Ack).

4.Edit conf/hbase-env.sh and define JAVA_HOME

5.Make sure that you can log into localhost without a password (see [WWW] Hadoop Quick Start, "Setup passphraseless ssh"). Test this out first! New versions of ssh require accepting a new foreign host key before logging in, even if the host is configured with authorized keys.

6.Start hbase with ~/hbase/bin/start-hbase.sh (hbase logs are viewable in ~/hbase/logs by default)

7.Enter hbase shell by running ~/hbase/bin/hbase shell; type 'help' to see shell help

8.Have fun with hbase

9.Stop the hbase servers with ~/hbase/bin/stop-hbase.sh. Wait until the servers are finished stopping. Avoid killing servers (though a 'kill pid' should be fine as opposed to a 'kill -9 pid').

1.最新版をDLする
2.~/hbase等、hbaseをInstallしたい先へ移動させる
3.hbaseで接続したいHDFSが動作している場合、「conf/hbase-site.xml」の「hbase.rootdir」を編集して下記の様にする
「hdfs://NAMENODE_HOST:NAMENODE_PORT/HBASE_ROOTDIR」例えば「hdfs://localhost:9000/hbase.」
4.conf/hbase-env.shにJAVA_HOMEを設定する
5.Password無しでローカルホストにログイン出来る様にしておく。
Make sure that you can log into localhost without a password
(see [WWW] Hadoop Quick Start, "Setup passphraseless ssh").
Test this out first!
New versions of ssh require accepting a new foreign host key before logging in, even if the host is configured with authorized keys.

6.「~/hbase/bin/start-hbase.sh」を蹴って起動する。Logは初期値だと「~/hbase/logs」にでる
7.「~/hbase/bin/hbase shell」と打った後、「help」と打つとhelpがでる
8.Hbaseを楽しんでね
9.「~/hbase/bin/stop-hbase.sh」で停止する。

2009年9月9日水曜日

HadoopとHBaseのInstall

基本的にHbaseはHadoopの上で動くけど、Stand-aloneで動かす場合はHadoop無くても良いみたい。
まぁ試すのであればショボイPC沢山集めてクラスタした方がおもしろそうだけどね。

■Hadoop/Hbase Clusterの構築 - LunaBiblos
に纏めてみた。

■JavaのInstall
sudo apt-get install rsync ssh sun-java6-jdk sun-java6-jre
これでやるとJavaが/usr/bin/javaに入る筈。whichコマンドで一応確認しておく事。

■Hadoopユーザの追加
sudo adduser hadoop

■Hadoopを取得してInstall
2009年9月9日時点での最新版は0.2っぽい。
wget http://www.meisei-u.ac.jp/mirror/apache/dist/hadoop/core/hadoop-0.20.0/hadoop-0.20.0.tar.gz
tar xzf hadoop-0.20.0.tar.gz
ln -s hadoop-0.20.0 hadoop

■Hadoopの設定ファイルを編集する
vi hadoop/conf/hadoop-env.sh
で開いてJavaホームを追記。今回の場合は/usr/bin/javaだったんでそれを入れるんだけど、それだとErrorが出た。という事で動く様にするには最初の/usrだけで良いみたい。
export JAVA_HOME=/usr

取り敢えず以上でHadoopは終わり。
次は本命Hbase。

■HbaseのInstall
Install先は/opt/hbase-XXXにしています。ここは好きな様に変えて。2009年9月9日時点での最新版は0.2。
wget http://ftp.riken.jp/net/apache/hadoop/hbase/stable/hbase-0.20.0.tar.gz
tar xzf hbase-0.20.0.tar.gz
chown -R hadoop:hadoop hbase-0.20.0
export HBASE_HOME=/opt/hbase-0.20.0

■Hbaseの設定
sudo vi /opt/hbase-0.20.0/conf/hbase-env.sh
でJavaホームを追記する。
export JAVA_HOME=/usr/

■Hbaseの起動
/opt/hbase-0.20.0x/bin/start-dfs.sh

■HBaseの動作確認
/opt/hbase-0.20.0x/bin/hbase shell
help
create table myTable;
helpでなんかだーっと出て、SQLでErrorはかなきゃOK

じゃ次はクラスタだな。

参考サイト
■MapReduceのJava実装 Apache Hadoopを使ってみた
■HBase 0.20.0 API
■[VirtualPC][Fedora][Hadoop] FedoraにHadoopを入れたときのメモ。
■[Hadoop][hBase][Fedora]FedoraへHBaseをインストール
■Running Hadoop On Ubuntu Linux (Single-Node Cluster)
■Fedora7 Xen上でHadoop Clusterを試す
■Hadoopを用いたクラスタコンピューティング環境の構築
■Hadoopのインストールとサンプルプログラムの実行
■複数マシンへHadoopをインストールする