TECH

- RHEL 7 Pacemaker 운영 메뉴얼 

1. Pacemaker 상태 확인 : 클러스터 데몬 상태 확인 (인프라 환경 , 유지보수 항목)

2. Pacemaker 시작 및 정지 : 클러스터 데몬 start & stop

3. Pacemaker 서비스 이관 : 클러스터 데몬 move

4. Pacemaker 장애 처리 : 클러스터 트러블슈팅

- 환경

 CentOS 7.5-1804 x2

 RHEL 7.5 x2

 VMware ESXI

클러스터 서비스를 정상적으로 운영되기 위해서는, 아래 항목들까지 체크해주시면 좋습니다.

아래 내용 중 하나라도 문제가 생기면 정상적인 failover가 어렵습니다.

# FQDN / hostname - 클러스터는 노드들을 FQDN or hostname으로 식별.

# Network - 노드간 통신을 TCP/IP 기반

# Firewall - 클러스터 통신에 사용되는 TCP/UDP 포트가 노드끼리 오픈되어 있어야 합니다.

# NTP - 노드간 시각 동기화 필수화.

# Fencing device - 장애시 데이터 손실 방지를 위한 전원 및 장애발생시 장애 공유볼륨 접근 차단.

1 Pacemaker 상태 확인 

  6) Cluster 상태 확인 : Cluster 상태 확인은 pcs status 명령어로 가능합니다.

 ①은 현재 Cluster에서 서비스 가능한 노드를 나타냅니다. 

   - 만약 [ Online ]에 없는 노드 (  ex - offline, standby ) 에 있으면 online에 있는 노드가 장애가 발생해도 넘어가지 않습니다.

 ②은 현재 Cluster에서 어느 노드에 리소스를 시작중인지 표시해 줍니다.

 ③은 각 데몬의 상태를 알려줍니다.

   - corosync 데몬은 active ( 실행 중 ) / disabled ( OS 부팅시 자동 실행 안됨 ) 을 알려줍니다. 

     ( 만약 한쪽 노트만 enable 했다면, 각 노드 별로 다르게 표시 될 수 있으니 양 노드 확인 필요합니다. )

   7) 공유볼륨 멀티패스 확인 : 1,2 노드에 공유볼륨 연결상태 확인 

   8) LVM 확인 : lvs 출력내용 중 클러스터 리소스로 사용되는 논리볼륨의 Attr 필드에 a(activate) tag가 있어야 접근 가능, o( open ) 은 사용중이라는 tag입니다.

   9) resource 확인 : Cluster 서비스가 실행중인 노드 ( 이미지는 1노드 ) 에서 vip와 volume이 보이는지 확인합니다.

 - 각각의 단일 노드 Cluster를 정지하는 방법

- 서비스에 포함 : pcs cluster unstandby ha1-hb ( 1 노드 ) 하면 Online ( 서비스 가능한 리스트 ) 에서 다시 포함됩니다.

4. Pacemaker 장애 처리

   1) Pacemaker 상태 error 메시지 확인

- pcs status 아래에 보면 Failed Actions은 pacemaker의 이슈 log입니다. 

  만약 pcs resource cleanup 해도 이슈 log가 안사라진다면 해당 부분은 점검이 필요합니다.

   2) Pacemaker config 확인 : 경로는 /var/lib/pacemaker/cib/cib.xml 에 있습니다.

- 그리고 cib-raw 파일들은 설정이 바뀌면 생기는 파일들 입니다.