0422 hadoop 架設 (無網路)

◎在無網路狀態下架設hadoop


名稱：master
類型：linux
版本：red hat 64 
記憶體大小：8192
VMDK (VDI 也是可以，不過一樣會轉成VMDK)
動態配置
檔案位置及大小：E槽 & 256G

檔案 → 喜好設定 → 網路 "僅線主機網路"
IPv4：  192.168.56.1
IPv4 網路遮罩： 255.255.255.0


※ 安裝OS
設定→ 存放裝置：Centos
網路 ：「僅限主機」介面卡
開機選第二個： Install system with basic video driver
跳過 skip


安裝英文版

※type of devices will your installation involve
Basic Storage Devices

YES
HOSTNAME：master
設定時區：Taipei
root pwd  same fb
create custom layout 自己設定存放空間
create
1  <第1個選項>
/boot 200
create
swap 8192
create
/
第三個Fill to maximum allowable size
format
write 

下一步
destop

安裝好要reboot 重開機
forwod

user1
9095
date and time synchronize date and time over the network
kdump (不勾選)


ifconfig
右上角連線
ifconfig 
設定固定ip 
connect automatically
IPv4 Manual 
dns = getway

關閉防火牆
su
pwd 
setup
fire 星號去掉(空白鍵)
service iptables status  
not runing 沒跑 

要有root權限
vim /etc/sysconfig/selinux
SELINUX =disabled

vim /etc/hosts
192.168.56.101 master 
192.168.56.102 slave1
192.168.56.103 slave2
192.168.56.104 slave3
reboot

sestatus


※設定三台一樣的主機做叢集
匯出 (預設)

匯入 名稱要改 slave1
RAM 修改 6144
CPU 2
初始化MAC位址
硬體控制器 虛擬詞構 更改位置及名字


su權限
修改每台hostname
vim /etc/sysconfig/network
Hostname = slave1
Hostname = slave2
Hostname = slave3

ifconfig 看ip設定
reboot

==========================================================================

※ 設定ssh連線不用密碼↓
su
pwd
ssh slave1
輸入pwd
exit

ssh -keygen -t rsa  <每台電腦都需要執行此行>
enter→
#cd ~/.ssh/
#ll


※ 設定ssh不用key密碼   ↓↓↓↓↓↓

<設定>  master

<設定ssh以下電腦時不用key密碼 因此先做個標籤>

scp slave1:~/.ssh/id_rsa.pub slavel.pub
scp slave2:~/.ssh/id_rsa.pub slavel.pub
scp slave3:~/.ssh/id_rsa.pub slavel.pub

cat authorized_keys  <查看目前標籤>
<將標籤丟到authorized_keys>
cat id_rsa.pub>>authorized_keys
cat slave1.pub>>authorized_keys
cat slave2.pub>>authorized_keys
cat slave3.pub>>authorized_keys

<將文件塞到個別電腦的ssh內>
scp authorized_keys slave1:~/.ssh/
scp authorized_keys slave2:~/.ssh/

scp authorized_keys slave3:~/.ssh/

※ 設定ssh連線不用密碼   ↑↑↑↑↑↑


====================================================================

※ 安裝cloudera前置作業
※ winSCP    <類同FileZilla>

用管理員身分開記事本
c window system32 drivers /etc /  hosts (文件) 全部檔案
192.168.56.101 master
save
ping 

hostname：master
username: root

右邊MASTER
左邊WINDOWS

將Cloudera 
/var /www/html
cdh521& cm521 丟進master

確認是否有丟進master   home  /var /www/htmal


插入centos檔案 (右下角)
cd /media/
ll
cp -r  CentOS_6.5_Final/ /var /www/html/

su 
ll
service httpd start

master/
master/cdh521/

====================================================================


接續 0423