뉴타닉스가 AHV 를 출시하기 전에 하이퍼바이저로 ESXi 를 주로 사용하였다. 또한 VDI 구축을 하는 고객들은 ESXi 를 사용하기도 하며 기존에 ESXi 를 썼던 고객 또한 ESXi 를 하이퍼바이저로 사용한다. 현재 VMWare 가 Broadcom 에 인수되어 VMWare 구독 요금이 많이 인상되었으나 여전히 수요가 있어 기록해본다.
사전준비
기본적인 절차는 Nutanix 클러스터 설치와 비슷하다. 사전준비과정은 동일하고 추가적으로 ESXi ISO 설치 파일 또한 SFTP 로 Foundation 에 전송해야한다. 경로는 /home/nutanix/foundation/isos/hypervisor/esx 에 전송하면 된다.
설치 과정 & 설치 이후
설치 과정은 동일하다. 호스트를 추가하고 클러스터 정보를 입력하면 된다. 그 이후에 역시 시각을 확인해서 맞지 않으면 클러스터를 정지하고 맞추고 시작하고 시작에 실패하면 다시 클러스터를 파괴했다가 생성하면 된다. 다른 점이 있다면 호스트 시각은 hostssh 명령어가 아니라 호스트 IP 주소로 웹에 접속해서 변경해야한다는 점이다.
ESXi 뉴타닉스 클러스터와 AHV 클러스터의 다른 점은 ESXi 뉴타닉스 클러스터는 ESXi에 vCenter 를 연동하고 뉴타닉스 프리즘과 CVM은 약간 거기에 살짝 숟가락만 얹은 느낌이다. 반면 AHV 클러스터는 모든 걸 뉴타닉스 안에서 처리한다. 그래서 vCenter 를 설치해야하며 그 전에 일단 프리즘에 로그인해서 스토리지 컨테이너를 ESXi 에 마운트해야한다.
뉴타닉스 프리즘에 접속해서 스토리지 탭에 들어가면 기존에 자동으로 생성된 스토리지 컨테이너가 있을 것이다. 일단 그 스토리지 컨테이너를 Delete 한 후 새로 스토리지 컨테이너를 만든다. 그리고 NFS Datastore 에서 Mount all ESXi hosts 를 클릭하여 생성한다.
vCenter 설치
vCenter 를 설치하는 방법은 어렵지 않다. vCenter 설치 이미지를 열고 vcsa-installer\win32\installer.exe 를 실행하면 된다. 설치는 크게 두 가지 단계로 나뉜다. 첫 번째는 vCenter VM을 Deploy 하는 절차이고 두 번째는 vCenter VM 에 서비스를 올리는 작업이다.
첫 번째 설치가 끝난 다음에 별도의 DNS가 없으면 vCenter VM 에 별도의 작업을 해야한다. 두 번째 설치 중에 SSO 를 생성하라고 하는데 여기서 DNS 에 조회가 안 되면 설치가 실패하기 때문이다. 두 번째 설치가 실패하면 다시 vCenter VM 을 삭제하고 설치를 진행해야한다.
그래서 첫 번째 설치가 끝난 뒤 vCenter VM 에 접속해서 /etc/hosts 파일을 열고 VM 의 IP 주소를 도메인에 맵핑한다. 보통 별도의 도메인이 없는 경우 vsphere.local 을 많이 사용하는 편이다. 그리고 /etc/resolve.conf 파일에서 0.0.0.0 도 nameserver 로 추가한다. 그 후에 vCenter 두번째 설치를 진행하면 문제 없이 설치될 것이다.
vCenter 설정 및 연동
vCenter 를 설치한 후엔 뉴타닉스 프리즘과 연동해야한다. 이후 설정에 대한 자세한 설명은 해당 문서에 (https://portal.nutanix.com/page/documents/details?targetId=vSphere-Admin6-AOS-v6_5:vSphere-Admin6-AOS-v6_5) 자세히 나와 있다.
처음엔 이렇게 register가 아니라 unregister 로 나와 있다. 우선 vCenter에 로그인 해서 데이터센터 추가 – 새 클러스터 추가 – 새 호스트 추가를 한 뒤 ID : root와 PW : root 비밀번호를 입력하여 호스트를 추가한다. 그렇게 추가하고 나면 프리즘 설정에 vCenter Registeration 항목에 vCenter 로그인 정보를 입력하라고 뜰 것이다. vCenter 로그인 정보를 입력하면 프리즘과 vCenter 연동이 완료된다.
그리고 vCenter 설정 중에 중요한 DRS와 HA 다. DRS 는 리소스를 자동으로 분배해주기 위해 온라인 마이그레이션을 하는 기능이고, HA 는 노드가 장애가 났을 때 해당 노드에 있는 VM 을 다른 노드에서 복원하는 기능이다.
vSphere HA 기능은 이렇게 enable host monitoring 을 하고 호스트 실패 응답 : VM 재부팅, 호스트 분리에 대한 응답 : 전원 끈 후 VM 다시 시작, PDL 데이터스토어 : 사용안함, APD 데이터스토어 : 사용안함, VM 모니터링 : 사용안함 으로 설정한다.
다음 탭인 승인 제어에서는 클러스터에서 허용하는 호스트 실패 수는 RF2 일 땐 1, RF3 일 땐 2로 설정하고 호스트 페일오버 용량 정의 기준은 클러스터 리소스 퍼센트, VM에서 허용하는 성능저하는 100% 로 정의한다. 그리고 아래 표에 따라 계산된 페일오버 용량 재정의 값을 넣는다. 클러스터의 가장 기본인 3개 노드 RF1 일 경우 33% 로 재정의 하면 된다.
| Nodes | Availability Level | |||
|---|---|---|---|---|
| N+1 | N+2 | N+3 | N+4 | |
| 1 | N/A | N/A | N/A | N/A |
| 2 | N/A | N/A | N/A | N/A |
| 3 | 33* | N/A | N/A | N/A |
| 4 | 25* | 50 | 75 | N/A |
| 5 | 20* | 40** | 60 | 80 |
| 6 | 18* | 33** | 50 | 66 |
| 7 | 15* | 29** | 43 | 56 |
| 8 | 13* | 25** | 38 | 50 |
| 9 | 11* | 23** | 33 | 46 |
| 10 | 10* | 20** | 30 | 40 |
| 11 | 9* | 18** | 27 | 36 |
| 12 | 8* | 17** | 25 | 34 |
| 13 | 8* | 15** | 23 | 30 |
| 14 | 7* | 14** | 21 | 28 |
| 15 | 7* | 13** | 20 | 26 |
| 16 | 6* | 13** | 19 | 25 |
| Nodes | Availability Level | |||
|---|---|---|---|---|
| N+1 | N+2 | N+3 | N+4 | |
| 17 | 6 | 12* | 18** | 24 |
| 18 | 6 | 11* | 17** | 22 |
| 19 | 5 | 11* | 16** | 22 |
| 20 | 5 | 10* | 15** | 20 |
| 21 | 5 | 10* | 14** | 20 |
| 22 | 4 | 9* | 14** | 18 |
| 23 | 4 | 9* | 13** | 18 |
| 24 | 4 | 8* | 13** | 16 |
| 25 | 4 | 8* | 12** | 16 |
| 26 | 4 | 8* | 12** | 16 |
| 27 | 4 | 7* | 11** | 14 |
| 28 | 4 | 7* | 11** | 14 |
| 29 | 3 | 7* | 10** | 14 |
| 30 | 3 | 7* | 10** | 14 |
| 31 | 3 | 6* | 10** | 12 |
| 32 | 3 | 6* | 9** | 12 |
그리고 하트비트 스토어는 뉴타닉스 데이터 스토어중 VM 을 올릴 스토리지 컨테이너들을 선택하면 된다.
다음은 DRS 옵션이다. 완전 자동화와 가상 시스템 자동화를 활성화한다.
그리고 전원 관리에서 DPM 옵션을 비활성화한다.
그리고 마지막으로 EVC 모드 활성화이다. EVC 모드는 여러 개의 다른 노드가 클러스터를 맺을 때 원활하게 마이그레이션하기 위해 성능이 낮은 CPU 모드로 클러스터를 맺는 것이다. 즉 호스트간 CPU 호환성을 보장하는 것이다. 만약 자기 클러스터의 CPU 세대를 모른다면 하나하나 선택해보면 된다. 그중에 EVC 사용 가능하다고 뜨는 CPU로 설정하면 된다.
마지막으로 VM 재정의이다. 여기서 CVM은 DRS와 HA, VM 모니터링을 사용하지 않게 설정한다. 그래야 노드가 장애 났을 때 CVM 도 마이그레이션되거나 호스트 사용률이 높다고 CVM이 한 노드에 2개가 있는 참사를 막을 수 있다.
이렇게까지 설정했으면 ESXi 뉴타닉스 클러스터 설치도 완료하였고, vCenter 와 연동도 완료하였다.
실제 운영환경에서는 클러스터 네트워크와 VM 네트워크를 나누어 놓는 경우가 많다. 나 같은 경우에는 vCenter에서 가상스위치 그룹을 생성한 것이 아니라 호스트마다 호스트 웹콘솔에 접속해서 가상 스위치를 생성하고 NIC 를 업링크로 추가한 후 포트그룹을 생성하는 방식으로 처리하였다.
글을쓴다현 