TECH

Fencing Device

■ Fencing이란

   - 시스템 다운타임으로부터 데이터를 보호하고 예방하기 위한 장치.

   - OS reousrce 및 HA Cluster 장애시 해당 node의 연결을 끊는다. fencing을 함으로서 공유 데이터의 무결성을 보장.

   - 다른 말로는 STONITH(Shoot The Other Node In The Head)라고도 한다.

   - 공유 자원을 안전하게 제어한 상태에서 노드를 활성화 시키게 됩니다.

■ Fencing의 종류

  ▶▷ Node Level Fencing

→ 장애가 발생한 노드가 공유 자원에 접근하지 못하게 한다.

→ 장애가 발생했을 시 노드에 전원을 끄거나 리부팅을 진행한다.

※ 장애 포인트

  - Kernel Panic

  - System Freeze

  - System Hangup

  ▶▷ Resource Level Fencing

→ SAN Port 또는 디스크의 SCSI-3PR 방식을 이용하여 Reserved된 디스크를 Standby 노드로 옮기게 됩니다.

■ 실무에서 가장 많이 사용하는 Fence Device

→ HP iLO, Dell DRAC, IBM RSA IPMI Appliance 등

→ KVM, Xen, VMware (각 Software library)

■ 물리 서버, 가상화 서버 fencing 설정

 - 물리 서버(HP, Dell, IBM) 

■ Fence 구성 

■ configuration (HP 서버 기준)

 - IPMI overlan 설정 확인

  → 각 물리서버마다 IPMI overlan on 확인

  - fence 종류 확인

   
    → 각 하드웨어별 fence list를 통해 확인

  - 클러스터 리소스 등록

    ● 해당 명령어 포맷은 다음과 같습니다.

        pcs stonith create [resource-name] fence_ilo5 \

        > pcmk_host_list=[node-name] ipaddr=[server managed ip] \

        > login=[login ID] passwd=[login Password] \

        > pcmk_reboot_action=reboot pcmk_monitor_timeout=60s

    ● Fence device 등록

       pcs stonith create prd_fence fence_ilo5 \

       > pcmk_host_list=sjoneprd-hb ipaddr=10.10.10.10 \

       > login=admin passwd=password \

        > pcmk_reboot_action=reboot pcmk_monitor_timeout=60s

   ● stonith resource를 확인 

    - 조건 제약

● 각기 다른 서버에서 fence 될 수 있게끔 조건을 제약

● 조건 명령으로는 pcs constraint location [stonith-name] avoids [node-name]

 - 가상화 서버(VM)

■ Fence 구성  

■ configuration

    - 모든 agent list 확인 

∴ agent로는 fence_vmware_soap이라는 agent를 쓰게 됩니다.

    - 해당 가상머신 uuid 확인

● fence_vmware_soap --ssl-insecure -l [vcenter&esxi login id] -p [password] -a [vcenter&esxi ip] -o list
● fence_vmware_soap 명령어를 통해 exsi 서버에 모든 가상머신의 uuid를 확인하실 수 있습니다.

● fence_vmware_soap 파라미터는 fence_vmware_soap -h 명령으로 확인할 수 있습니다.

● fence 명령어 뿐만아니라 dmidecode 명령을 통해 확인하실 수 있습니다.

● dmidecode | grep -i UUID 

    - 클러스터 리소스 등록 

● 클러스터 위에 stonith resource를 등록합니다.

● 해당 명령어 포맷은 다음과 같습니다.

● pcs stonith create vmfence1 fence_vmware_soap \

   >pcmk_host_map=[node-name]:[node-uuid] ipaddr=[vcenter&esxi ip] ssl_insecure=1 login=[vcenter&esxi login id] \

   >passwd=[password] delay=10

● stonith resource를 확인합니다.

    - 조건 제약

● 각기 다른 서버에서 fence 될 수 있게끔 조건을 걸었습니다.

  
● 조건 명령으로는 pcs constraint location [stonith-name] avoids [node-name]

    - 유효성 검사

● pcs stonith fence [node-name] 명령으로 해당 서버 fence를 시켜보았습니다.