2015年4月23日 星期四

0423 hadoop ─ 安裝cloudera ( 叢集環境 )


※ 開master 時,會出現安裝畫面,但已經安裝過了該如何解決呢?
Ans: 將master關機,並從"存放裝置"將安裝光碟"卸載"就可以正常執行了!!!!!

==============================================================================
※  安裝cloudera前置作業(接續上一回)
◎ 在沒有網路下安裝光碟 CentOS

<操作> master 

執行步驟:

su  <登入最高權限>

cd / var/ www/html/  

ll  <檢查清單>

pwd  <顯示目前所在目錄>  

 <出現>  /var/www/html/  


※ yum為安裝CentOS時的安裝路徑
vim /etc/yum.repos.d/CentOS-Media.repo  


+++++編輯CentOS-Media.repo  


[c6-media]  紫色的字表示要修改的欄位
name = CentOS-$releasever - Media
baseurl = http://master/CentOS_6.5_Final 

gpgcheck (驗證機制)=1
enabled=1
gpgkey( gpgcheck要檢查的file ) = http://master/CentOS_6.5_Final /RPM-GPG-KEY-CentOS-6

+++++


service httpd status    <確認連線狀態會出現stopped 是正確的> 檢查用
chkconfig httpd on      <設定開機之後自動啟動>
chkconfig |grep httpd   <確認2、3、4、5(開機等級) 為on>
service httpd start     <打開連線狀態>

※ 設定 chkconfig httpd on,再設定 service httpd start  
  下次開機時,就會自動啟動連線狀態



※ 確認成功與否 <google>  master/CentOS_6.5_Fianl


※ 將檔案先暫存在tmp 資料夾 (整理檔案用)

cd /etc/yum.repos.d/  
mkdir tmp 
mv CentOS-Base.repo CentOS-Debuginfo.repo CentOS-Vault.repo tmp
ll
yum repolist<確認yum資料夾有哪些可用的repo檔案>

yum install createrepo  (安裝 用來建立repo檔的套件)

確認兩次 y


==============================================================================

※ 將編輯好的repo丟到各個子電腦中
cd ..
ll
cd cm521 

createrepo . < '.' = 當前目錄>   <用來建立>
ll
cd /etc/yum.repos.d/

vim clouderamanager.repo  

+++++ 編輯clouderamanager.repo   

[cloudera-manager]   
name=CM521           
baseurl=http://master/cm521
gpgcheck=1
gpgkey = http://master/cm521/RPM-GPG-KEY-cloudera/etc/yum.repos.d

+++++

※ 檔案建立好後 會去跑repodata讀取clouderamanager.repo   

createrepo /var/www/html/cm521

yum repolist

clouderamanager.repo丟到各個子電腦中
scp CentOS-Media.repo clouderamanager.repo slave1:/etc/yum.repos.d
scp CentOS-Media.repo clouderamanager.repo slave2:/etc/yum.repos.d
scp CentOS-Media.repo clouderamanager.repo slave3:/etc/yum.repos.d



<操作> slave1 & slave1 slave1

su
cd /etc/yum.repos.d/
ll
rm -rf  CentOS-Base.repo CentOS-Debuginfo.repo CentOS-Vault.repo 


==============================================================================

※ 安裝
cloudera-manager-server-db-2

yum search cloudera  <觀看裡面有哪些封裝>

yum install cloudera-manager-server-db-2

確認兩次 y (安裝)


chkconfig  <確認>
chkconfig |grep cloudera <確認是否有安裝server>
service cloudera-scm-server-db start
service cloudera-scm-server start
lsof -i:7180


啟動後顯示:COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME

啟動 7180後 可以打開瀏覽器 master:7180/cmf/login 


==============================================================================


※ 使CLOUDERA的代理伺服器安裝到每一台電腦裡


<執行步驟>

master:7180/cmf/login 

登入 ID & PWD 皆為admin

選擇安裝版本:Cloudera 60天期 

下一步:出現哪些東西要安裝

下一步:輸入哪幾台的hostsname master,slave[1-3]

下一步:Chooser Method
       目前為無網路環境,所以點選more option,自己設定IP

       新增 IP : http://master/cdh521

下一步:SELECT  Clouderamanager 
      ●CUSTOM REPOSITORY : http://master/cm521

下一步:Custom GPG Key URL : http://master/cm521/RPM-GPG-KEY-cloudera

下一步:install JDK
       <有256加密,需要加反安裝JDK>


下一步:HOST AS:ROOT
      All hosts accept same password <叢集電腦密碼皆相同>
      輸入密碼 
            All hosts accept same private <叢集電腦密碼皆不相同>
      需要打包密碼資訊檔案傳上去

下一步:finish

==============================================================================

下一畫面↓

下一步:Custom Services:選擇HBase、HDFS、YARN、Zookeeper

下一步:Cluster Setup  硬碟配置  <自行設定>

                 目前不須更動

補充:HA :「高可用性」, 一台掛掉還有其他台可用 (最少五台才去做HA)


下一步:Database Setup
      測試與資料庫連線:Test Connection
   
下一步:Review Changes  <自行設定>
                目前不須更動

下一步:Progress
      讓它去安裝東西即可!!!

PS.  假如安裝失敗,要先回master 下指令

指令:cd /usr/java/jdk.1.7.0.67xx /bin
            ./jps
            kill -9 <pid>
            ./jps

或是回上一頁將HBase 改成 /hbase2


下一步:Finish,登入Cloudera manager

==============================================================================
測試:

<操作> master
su  hdfs
cd /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/
hadoop jar hadoop-mapreduce-examles.jar pi 10 100

沒有留言:

張貼留言