公告版位

目前分類：雲端技術 (4)

瀏覽方式： 標題列表 簡短摘要
  1. [使用Cassandra CLI與Cassandra實體連線。]
  • 開始使用Cassandra CLI

~cassandra/apache-cassandra-1.0.0$ bin/cassandra-cli

 

  • 連至Cassandra實體

在Cassandra CLI下，執行一筆command，須加「;」至結尾，代表command的結束。因此與SQL command line相同，可分行鍵入command，最後加上「;」後送出，才會真正執行完整的command。

[default@unknown] connect 127.0.0.1/9160;

※客戶端連線至Cassandra的port，預設為9160。


  1. [新增keyspace與column family。]
  • 建立keyspace，類似關聯式資料庫的「database」。

[default@unknown] create keyspace keyspace1;

  • 指定使用哪個keyspace存取資料。

[default@unknown] use keyspace1;

  • 建立column family，類似關聯式資料庫的「table」。

ü   方式一：僅指定column family名稱。

[default@keyspace1] create column family columnfamily1;

ü   方式二：指定column family名稱，並指定column name, key, 和預設column value的編碼型態。

[default@ keyspace1] create column family columnfamily1

... with comparator = UTF8Type

... and key_validation_class=UTF8Type

(繼續閱讀...)

ciner945 發表在 痞客邦 留言(0) 人氣()

▲top
  1. [安裝環境準備]

本文所採用的安裝環境如下：

  • Ubuntu 10.10
  • Cassandra 1.0.0
  1. [需要的軟體]
  • Java 1.6.x:

Cassandra是使用Java所開發的軟體，而需要使用Java Virtual Machine (JVM)編譯並執行Cassandra，因此在啟動Cassandra前，必須在主機上先安裝Java才能正常執行。

  1. [Cassandra單一節點安裝與設定]
  • 到Cassandra官方網站http://cassandra.apache.org下載Cassandra套件，目前最新穩定版本為1.0.0。
  • 下載後的壓縮檔，解壓縮到磁碟目錄中，本文假設解壓縮到/home/cassandra。解壓縮後資料夾階層如下：

$ cd /home/cassandra

~/cassandra $ ls

apache-cassandra-1.0.0

  • 接著依照下列command新增Cassandra所需要的四個資料夾，commitlog, log, saved_cached, data。

$ cd /home/cassandra

~/cassandra$ mkdir commitlog

~/cassandra $ mkdir log

~/cassandra $ mkdir data

~/cassandra $ mkdir saved_caches

  • 開啟/home/cassandra/apache-cassandra-1.0.0/conf/cassandra.yaml 找出此設定檔的三個標籤並修改其內容如下：

data_file_directories:

/home/cassandra/data

commitlog_directory:

/home/cassandra/commitlog

saved_caches_directory:

/home/cassandra/saved_caches

  • 開啟/home/cassandra/apache-cassandra-1.0.0/conf/log4j-server.properties 找出此設定檔的log4j.appender.R.File標籤並修改其內容如下：

log4j.appender.R.File=/home /cassandra/log/system.log

(繼續閱讀...)

ciner945 發表在 痞客邦 留言(0) 人氣()

▲top

最近在啟動hadoop叢集時，發生了一個問題。

透過name node主機啟動叢集上所有節點hadoop程序，於data node主機上使用jps指令，可以看到DataNode與TaskTracker程序已啟動。

但透過瀏覽器鍵入http://{NameNodeIP}:50030或http://{NameNodeIP}:50070檢視各節點狀態，就是不見data node節點。

因此遠端進入data node節點查看log，發現顯示下列錯誤訊息:

2012-02-02 00:00:05,690 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: hadoop-c/10.0.0.54:9000. Already tried 0 time(s).
2012-02-02 00:00:06,691 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: hadoop-c/10.0.0.54:9000. Already tried 1 time(s).
2012-02-02 00:00:07,692 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: hadoop-c/10.0.0.54:9000. Already tried 2 time(s).
2012-02-02 00:00:08,692 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: hadoop-c/10.0.0.54:9000. Already tried 3 time(s).
2012-02-02 00:00:09,693 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: hadoop-c/10.0.0.54:9000. Already tried 4 time(s).
2012-02-02 00:00:10,693 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: hadoop-c/10.0.0.54:9000. Already tried 5 time(s).
2012-02-02 00:00:11,694 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: hadoop-c/10.0.0.54:9000. Already tried 6 time(s).
2012-02-02 00:00:12,695 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: hadoop-c/10.0.0.54:9000. Already tried 7 time(s).
2012-02-02 00:00:13,695 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: hadoop-c/10.0.0.54:9000. Already tried 8 time(s).
2012-02-02 00:00:14,696 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: hadoop-c/10.0.0.54:9000. Already tried 9 time(s).
2012-02-02 00:00:14,697 INFO org.apache.hadoop.ipc.RPC: Server at hadoop-c/10.0.0.54:9000 not available yet, Zzzzz...

 

上述log所顯示name node的host name與ip都沒有錯，但就是無法與name node正常連線，上網查了一下，有兩項可能性：

1. 網路環境有防火牆阻隔
=> 排除此可能性，測試其他連線都可正常與name node連線，所以不會是防火牆問題。

(繼續閱讀...)

ciner945 發表在 痞客邦 留言(0) 人氣()

▲top
  • 系統環境:

    Ubuntu 11.10

  • 安裝步驟

    Step1    JDK安裝

    原因: Hadoop的程式都是使用java所撰寫的，需要有Java執行環境，安裝JDK也可供日後開發或測試MapReduce等程式

    指令: $sudo apt-get install openjdk-6-jdk

    Step2    ssh server安裝

    原因: Hadoop啟用時，需要遠端連線到所設定的各節點，各節點必須建立互信機制，則是使用ssh的方式連線

    指令: $sudo apt-get install openssh-server

    Step3    ssh 免登入設定

    原因: 當節點數一多時，使用ssh遠端連線到一個節點便要key一次密碼，這相當的不方便，以及安全性問題

    指令:

        $ssh-keygen –t rsa –P ‘’  (產生公鑰與私鑰)

        $cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys   (將公鑰複製到受驗證金鑰內，此以本機為例)

        $ssh localhost   (測試是否可免密碼登入)

    Step4    Hadoop下載

    指令:

        $sudo chown hadoop:hadoop /opt    (改變/opt資料夾的擁有者與群組)

        $cd /opt    (變更工作目錄到/opt)

        $wget http://ftp.tc.edu.tw/pub/Apache//hadoop/common/hadoop-0.20.205.0/hadoop-0.20.205.0.tar.gz    (下載Hadoop-0.20.205.0壓縮檔)

        $tar –xvf hadoop-0.20.205.0.tar.gz    (解壓縮)

    Step5    Hadoop環境設定

(繼續閱讀...)

ciner945 發表在 痞客邦 留言(0) 人氣()

▲top