ESXi 安裝 Oracle Linux

ESXi安裝Oracle Linux 阿晃教學影片:http://youtu.be/TDHMepxec3w?hd=1

兩台ESXi各安裝Oracle Linux • 或者,先裝一台,匯出為.ova後,再匯入另一台改ip…

vSphere Client Login ESXi • ESXi5-01.abc.com > New Virtual Machine > • 硬體設定 > Custom • Name: HA-node • (guest os oracle linux)Storage: datastore1 (50GB hd) • 若以後.ova可能匯出到ESXi4(or prev),選7,現在當然選8 • Guest OS: Linux> Oracle Linux 4/5/6 (32-bit) • CPUs: 1 virtual socket, 4 cores/virtual socket • Memory: 2GB

4張網卡(因有4個switch所以guest os可以插4張網卡,先全部接在 Service01) • 因即便現在照S01 S02 DR01 DR02 順序接,linux灌好後也不一定會照這順序配對,so灌好後再調整 • Adapter類型全部選VMXNET3 (後續裝vmwaretools後可讓網路最佳化)

SCSI Controller: 改選VMware Paravirtual(RHEL6可用,提高CPU效能) • 熊信彰6-11,詳見:http://www.vmware.com/pdf/vsp_4_pvscsi_perf.pdf • vm guest os virtual disk: Create a new virtual disk • Create a Disk • Disk size: 10GB(若要裝vmtools,要切20GB,/切10GB) • Disk Provisioning: Thick provision lazy zoroed (預先全部配置所有virtual disk(10gb)給vm,但不事先zero out(zero out就是把未佔有data的disk space全部erase掉,然後全部寫0,”聽說”效能會較好,但有一些顧忌…下一個eager就是,沒用過,不知道) • Location: 不用改 • Advanced Options • Virtual Device Node: SCSI (4個devices, 15 IDs/per device > 即可以有15個 partitions) • Mode: 不需勾Independent, 若勾 • Persistent: 建 Snapshot 無效,無法還原 • Nonpersistent: 所有設定只有開機過程有效,關機一律恢復原狀=裝還原卡 •  Finish

HA-Active-Node > 右click > Edit Settings • 刪Floppy • 掛載datastore1中的OracleLinux.iso • 注意,此時linux的Host是ESXi,Linux看不到Win7中的iso • CD/DVD > Datastore ISO File > Browse > datastore1 >OracleLinux.iso (檔名當然不是這樣) • 記得要勾: Connect at power on

最後vmpropertities長這樣

HA-Active-Node > Open Console > Power on

建議灌英文版 • 若沒有mouse cursor,或mouse抖動 • 請切成全螢幕(Console:Ctrl+Alt+enter) • 離開vm window再進來,灌好前mouse不要離開vm window • Create Custom Layout • /boot 200MB • /15000MB • SWAP 2048MB • /dataFill to maximum allowable size (即為2.9GB) • 就不切/home了 (在apache ha中不需要/home切獨立partition) • 安裝為 “Desktop”需求 > Next

灌好後 • 解析度調高一點,螢幕保護,電源…

1.) 設定網路 • 拿掉密碼關掉NetworkManager, iptables • service NetworkManager stop • 要先停,不然待會兒 /etc/resolv.conf會白改 • chkconfigNetworkManager off若沒有停NM,某些情況改好的設定,又會被NM強制改回來 • chkconfigiptables off • 關掉selinux • sed -i ‘s,enforcing,disabled,g’ /etc/sysconfig/selinuxorvim /etc/sysconfig/selinuxenforcing改為disabled

2.) 修改yum設定檔?/etc/yum.repos.d/public-yum-ol6.repo • 不需要,因為台灣並沒有 oracle linux yum repo的 mirror site • yum -y install PackageName • yum search PackageName

3.) 無法yum下載安裝 cluster packages? • 因為原來的套件庫中,並沒有 • drbd • heartbeat • 也沒有 phpmyadmin • 擴充yum套件前: yum search drbd heartbeat phpmyadmin • 找不到(第一次search 會做某些更新, 在oracle linux會回應pacemaker含hb套件,但centos找不到) • 以rpm擴充yum套件數量 • 安裝RPMforge, ELRepo, EPEL套件庫(我已下載回來)rpm -Uvhhttp://mylady.tw/public/ha/rpm/三個rpm檔 rpm -Uvhhttp://mylady.tw/public/ha/rpm/rpmforge-release-0.5.2-2.el6.rf.i686.rpm rpm -Uvhhttp://mylady.tw/public/ha/rpm/elrepo-release-6-4.el6.elrepo.noarch.rpm rpm -Uvhhttp://mylady.tw/public/ha/rpm/epel-release-6-5.noarch.rpm • 再 yum search drbd heartbeat phpmyadmin • 找到了

4.) 安裝ha cluster需要的套件 • yum -y install • gcc • drbd83-utils kmod-drbd83 • heartbeat heartbeat-devel heartbeat-libs • 若不能yum • ps -aux | grep yum把前一個yum kill掉 • 若還是找不到drbd package,我已抓回來,安裝如下: rpm -Uvhhttp://mylady.tw/public/ha/rpm_drbd/drbd83-utils-8.3.15-1.el6.elrepo.i686.rpm rpm -Uvhhttp://mylady.tw/public/ha/rpm_drbd/kmod-drbd83-8.3.12-2.el6.elrepo.i686.rpm

5.) umount /data • df • 因後續/data (apache的/var/www/html改成/data) • 由drbd管理 • 不是由/etc/fstab管理 • 也就是HA node roll為primary時,才會mount /data • umount /data • 把/etc/fstab中/data打#註解掉

6.) 安裝vmware tools • 要先把光碟機內的 OracleLinux.iso先umount掉 (df找一下很像光碟那個device) • umount /dev/sr0 • ESXi console VM Guest Install/Upgrade Vmware Tools • 再df就看到VMware tools了 • cd /media/VM(tab) • rp -rf /tmp/*; cp /media/VM(tab)/* /tmp/.(因為/media/VM(tab)是唯讀的) • cd /tmp; tar -xvz -f *.tar.gz; cd vmware-tools-distrib • ./vmware-install.sh • 按enter到底  reboot 即可用

7.) 記錄70-persistent-net.rules中4張網卡的mac • 記錄eth0~eth3的mac • Liunx關機 • 調整vm與vSwitch的對應

8.)調整vm與vSwitch的對應 • Linux上的 • eth0應接到Service01 vSwitch • eth1應接到Service02 vSwitch • eth2應接到DRBD-Heartbeat01 vSwitch • eth3應接到DRBD-Heartbeat01 vSwitch • VM console  VM  Edit Settings  Hardware

最後應調整成這樣(你的可能跟我的不一樣)  調完後, reboot

9.) 網卡bonding • eth0+eth1  bond0 for client Service • bond0: 10.10.88.101(原eth0 ip給 bond0用) • eth1+eth2  bond1 for DRBD & Heartbeat • bond1: 192.168.88.101

lsmod | grep bonding  沒有載入 bonding module存檔後  reboot  lsmod | grep bonding

bonding完後,若有某ethX或bondX出現:Some other host already uses address... • 啊?該ip被用掉了 換ip也沒用啦,這在ESXi中很常見,解法如下.

若是bond1網卡出現此error: • 把ifcfg-eth2 & ifcfg-eth3 & ifcfg-bond1 都刪掉 • halt • 到vShpere Client中對此linuxvm > right click > Edit settings > 剛對應DRBD兩張網卡都刪掉 > Close > 再進來Edit settings > 再新增兩張網卡分別對應到DRBD-Heartbeat01 & DRBD-Heartbeat02 (待會兒開機進去linux後,還是要先核對一下eth2&eth3 mac 是不是對應到DR…01 & DR…02) • 重建ifcfg-eth2 & ifcfg-eth3 & ifcfg-bond1 • 重啟網路就全通了

bonding: mode 6,當SLAVEs都正常時,傳送跟接收都可以分散至所有SLAVE 網卡 • 模式 5，自動調整傳輸負載平衡 (Adaptive transmit load balancing, balance-tlb)： • 從字面上的意思來看，這種模式主要就是針對『傳送』合併頻寬所設計的，但是接收恐怕就沒有辦法做到合併頻寬了。這種模式得要分傳送與接收來說明。在傳送方面，這種模式會將封包分散在各個可用的 bonding 網卡上送出，因此傳送才能夠達到合併頻寬。不過在接收封包時，由於考慮到 switch 的 MAC 記憶能力，因此僅有一個網卡的 MAC 會被紀錄於 switch 上頭，簡單的說，就是僅有一張網卡會用於接收！除非該接收網卡掛點，否則其他網卡不會被用在接收上。因為一般伺服器就是服務提供者，主要負責餵資料給用戶，至於接收部分，又由於 switch 僅要負責一張網卡的 MAC 記憶，伺服器透過 switch 接收是相對穩定的。所以這種模式也很適合於服務提供者的角度上。但如果考慮到區域網路的雙向溝通，這種模式總覺得好像缺少了些什麼的感覺～ • 模式 6，自動調整全負載平衡 (Adaptive load balancing, balance-alb)： • 這個模式包括了模式 5，除了傳送可以合併頻寬之外，連接收也可以合併頻寬了。當伺服器要傳資料出去給用戶端時，bonding 模組會主動的攔截封包，並透過 ARP 協商機制 (ARP 就是透過 IP 去找出 MAC 的通訊協定)，將不同的網卡要送出到同一個用戶端的封包，都改寫成單一一個固定的發送端 MAC 位址，如此一來，發送有合併頻寬的功能了，但接收卻還是只有一個 MAC 而已對吧？那怎麼說接收有合併頻寬的負載平衡機制呢？原因是這樣的：當有資料封包要送出到多個不同的用戶端時，此模式的 bonding 模組就會透過 ARP 協商機制，找出 bonding 管理的比較閒置的網卡 MAC 分配給下個用戶端，如此一來，不同的用戶端回傳給伺服器的資料，就可以透過不同的網卡來接收，就能達到接收也合併頻寬的功能了。這個模式不需要特別的 switch 支援，而且設定簡單，可以在接收、傳送都達成合併頻寬的能力，且也具有基本的網路容錯功能，是目前鳥哥最愛使用的 bonding 模式啦！

10.) 將vm匯出為.ova

11.) 再安裝一台ESXi:ESXi5-02.abc.com • .vmx最後補上 …backdoor = “True” • 改ip, hostname • vSphere client • dns & routing, time, license • 改vmnic0 名稱: Service01 • 新增三台vSwitch • vmnic1 網卡接Service02 vSwitch • vmnic2 網卡接DRBD-Heartbeat01 vSwitch • vmnic1 網卡接DRBD-Heartbeat02 vSwitch

12)把第一台ESXi的OracleLinux的.ova 匯入第二台ESXi • 開機後,改 bond0 & bond1 ip

ESXi 安裝 Oracle Linux