공유할 서비스 선택

TECH


TECH

OS [Linux] split-brain 현상

페이지 정보

작성자 LeeHyongDong 아이디로 검색 전체게시물 댓글 0건 조회 2,203회 좋아요 0회 작성일 20-03-16 23:12

본문

- Split-brain 설명 및 해결

 

소개

  Split-brain은 의학용어에서 파생된 단어로 뇌가 두개로 분할되는 증상으로

  cluster를 2 node 구성했을때 서로 통신이 되지 않아 자신이 유일한 노드로 인식해

  공유 resource와 같은 자원이 충돌을 일으키게 되는 현상이다.

 

환경

    RHEL 6.1 이상 (클러스터 구성된서버)

    RHEL 7버전 이상 (클러스터 구성된서버)

    RHEL 8버전 이상 (클러스터 구성된서버)

    클러스터가 2노드로 구성된 경우

 

구성

     05e05d9f35c1d8edaf21395c2204ead7_1584867454_5966.png

     예시 클러스터 구상도입니다.

  

이슈

     cluster 구성 서버에서 Split-barain발생으로 resource충돌

  

    보통의 클러스터 하면 이런 구상도를 생각하게 될텐데 Split-brain이란 단어 자체를 클러스터에 대입을 해보면 이해가 쉽게 됩니다

    클러스터를 뇌로 대입해서 설명을 드리겠습니다.  

    도미노를 세울때 뇌가 서로 다른 명령을 내려 세우던 도미노가 무너지거나 중간에 도미노가 빠지는 등의 오류가 생기게 됩니다.

    클러스터 또한 마찬가지입니다 2개의 노드가 서로 다른 명령을 내리거나 중복되는 내용을 스토리지가 비정상적인 작동으로 인식을 하게 됩니다.

 

    05e05d9f35c1d8edaf21395c2204ead7_1584604667_1234.png 

    클러스터의 구성도입니다 그림은 클러스터 노드가 서비스 네트워크로 통신을 하고 사용자 스토리지 까지 서비스 네트워크를 이용하고있습니다.

    05e05d9f35c1d8edaf21395c2204ead7_1584604681_6765.png 

     클러스터 구성은 1번 노드의 네트워크가 끊어진다고 해도 split-brain이 발생하지 않고 2번노드에서 정상적인 작동을 합니다

    split-brain이 발생하지 않는다면 그냥 클러스터를 이렇게 구성하면 되는거 아닌가 싶지만 모든 부하를 하나의 네트워크에 사용할경우 

    비용이 많이 발생할수 있기때문에 네트워크를 분할해 구성을 합니다.

    05e05d9f35c1d8edaf21395c2204ead7_1584606338_7035.png 

     클러스터 구성이 스플릿 브레인이 발생할수있는 구성도 입니다. 스플릿 브레인이 자주 발생하는 현상은 아니지만 

    위와 같은 구성도에서 heart-beat대역으로 통신하던 1 node 연결이 끊어지게되면서 fenceing 일어나 1 node 재부팅이 되고 

    cluster 다시 올라오지 않는다면 split-brain 일어나지 않지만 fenceing 일어나지 않거나 재부팅이 되서 비 정상적으로 cluster 올라오게 되면 

    heart-beat대역에서 서로 통신이 되지 않는 상태에서 자신만이 유일한 노드라고 인식해 두개의 노드가 모두 active 스토리지에 접근하게 되는걸 split-brain이라고 합니다.

 

    05e05d9f35c1d8edaf21395c2204ead7_1584606348_3301.png 

    구성도를 봐서 그냥 두개다 active 있는게 무슨 문제인지 싶지만 스토리지를 cluster 구성해 사용하게 경우 동시 접근을 하게되어 

    중복 주소를 할당하거나 서비스 데이터를 중복 전송 혹은 완전히 스토리지가 깨지게 되는 현상이 있을수 있습니다.

 

    05e05d9f35c1d8edaf21395c2204ead7_1584606415_1972.png 

    제가 사용하는 테스트 환경에서 강제적으로 스플릿 브레인 현상을 일으켜 봤습니다.

    스플릿 브레인이 일어나 두개의 노드 모두 active vip 노드 두개가 가지고 있어 할당 받고 있는게 확인됩니다.

 

해결 방안

    split-brain현상이 발생하지 않게 하는 방법은 통신이 되지 않는 환경에서 두개의 노드를 살아 있지 않게 하면 됩니다.

예시)

    - fenceing 일어난후 node에서 cluster 자동으로 올라오지 않게 설정한다.

    - node 홀수로 구성한다.

 

 

참조 문서

  

  - 클러스터 구축 효과

    http://www.chlux.co.kr/bbs/board.php?bo_table=board02&wr_id=43&sca=OS&page=3

 

 

 

 

 

 

 

댓글목록

등록된 댓글이 없습니다.

TECH 목록
번호 제목 작성자 작성일 조회수
58 Middleware 미들웨어 아이디로 검색 전체게시물 09-19 829
(Monitoring) WAS 오픈소스 모니터링 소개 "Grafana & Prometues을 사용한 모니터링 방법"

카테고리 : Middleware

829 0
작성자 : 미들웨어 20/09/19
57 OS LeeHyongDong 아이디로 검색 전체게시물 09-15 948
[Linux] RedHat Insights 설명 및 설정

카테고리 : OS

948 0
작성자 : LeeHyongDong 20/09/15
56 Middleware 미들웨어 아이디로 검색 전체게시물 09-01 1418
(Monitoring) WAS 오픈소스 모니터링 소개 "Scouter"

카테고리 : Middleware

1,418 0
작성자 : 미들웨어 20/09/01
55 OS LeeHyongDong 아이디로 검색 전체게시물 08-17 1055
[Linux] CentOS 및 Oracle linux에서 RHEL로 전환방법

카테고리 : OS

1,055 0
작성자 : LeeHyongDong 20/08/17
54 Middleware 미들웨어 아이디로 검색 전체게시물 08-16 753
(OutOfMemory-3) OutOfMemory 발생시 slack 알람으로 메세지 전송 스크립트

카테고리 : Middleware

753 0
작성자 : 미들웨어 20/08/16
53 ETC Leesangwoo 아이디로 검색 전체게시물 08-12 1008
Docker 소개

카테고리 : ETC

1,008 0
작성자 : Leesangwoo 20/08/12
52 Middleware 미들웨어 아이디로 검색 전체게시물 08-03 1339
(OutOfMemory-2) OutOfMemoryError 원인과 대책 & "GC란?..튜닝방법 공개"..Jstat, Jmater, Visual GC

카테고리 : Middleware

1,339 0
작성자 : 미들웨어 20/08/03
51 OS LeeHyongDong 아이디로 검색 전체게시물 07-28 1434
[Linux] fence loop 설명 및 방지

카테고리 : OS

1,434 0
작성자 : LeeHyongDong 20/07/28
50 Middleware 미들웨어 아이디로 검색 전체게시물 07-18 1219
(OutOfMemory-1) OutOfMemnory 란? OOM & HeapDump 파일생성 및 분석 가이드

카테고리 : Middleware

1,219 0
작성자 : 미들웨어 20/07/18
49 Middleware 미들웨어 아이디로 검색 전체게시물 07-18 1015
(Nginx-6) Nginx 사용하는 옵션정리 6_php-fpm & zabbix 모니터링

카테고리 : Middleware

1,015 0
작성자 : 미들웨어 20/07/18
Total 88건
게시물 검색

주식회사 클럭스| 대표 : 이찬호| 사업자등록번호 : 107-87-27655
주소 : 서울특별시 영등포구 국회대로 800, 여의도파라곤
E-mail : sales@chlux.co.kr
Copyright © 클럭스 www.chlux.co.kr All rights reserved.
상단으로Top