1. ELK 스택이란?
ELK 스택 엘라스틱서치, 로그스태시, 키바나세 가지 오픈 소스 로그 수집 및 시각화 프로젝트의 약어입니다. 사용자 시스템 및 애플리케이션 로그 분석용으로 수년 전부터 인기를 끌었으며, 실시간 데이터 분석 및 분산 검색 구조로 빅데이터 플랫폼 구축 초기 단계에서 널리 활용됐다.
위의 세 가지 애플리케이션은 Elastic이라는 동일한 회사에서 개발했으며 실제로 독립 모듈 또는 다른 오픈 소스 프로젝트(예: 카프카)와 결합할 수 있습니다. 당연히 탄력적 검색, 통나무 보관함, 키바나플랫폼이 구축되고 운영되어야만 구축하고 운영하고 재가입하기 쉽습니다. 펀치에이징 데이터 수집 모듈과의 시너지 효과를 보여줍니다. ELK 스택의 세부 사항은 다음과 같습니다.
E: 엘라스틱서치
탄력적 검색Java 기반 분산 데이터 저장 및 검색 엔진입니다. 탄력적 검색스키마 없는 NoSQL 데이터베이스 제품군에 속하며 로그 데이터를 JSON 문서로 저장하고 분석할 수 있습니다. 수집된 로그 데이터는 탄력적 검색유사한 특성을 가진 데이터는 내부 표준에 따라 그룹화되어 저장됩니다. 탄력적 검색 엔진에는 이를 여러 물리적 영역으로 나누어 관리하는 분산 메커니즘이 있습니다.
L: 로그스태시
통나무 보관함그의 직업은 로그를 수집하는 것입니다. 서로 다른 데이터 소스에 연결된 파이프라인을 구축하여 엘라스틱서치다음과 같은 데이터 저장소로 데이터 보내기 이 시점에서 모듈은 원본 데이터를 필터링하고 처리하는 역할도 담당합니다.
케이: 키바나
키바나수집된 데이터를 시각화하기 위해 대화형 차트와 여러 통계 차트를 제공합니다. 막대 차트, 맵, 트리 맵 및 그래프와 같은 차트 작성 도구 외에도 쿼리를 직접 수행할 수 있는 인터페이스가 있습니다. 리더보드, 트렌드 등 다양한 차트를 생성할 수 있습니다. 그것에 추가 실시간 데이터 분석도 가능합니다. 키바나강점 중 하나입니다.
2. ELK 스택의 장점
- 간단하고 빠른 시스템 작동: RESTful API를 기반으로 모든 데이터 검색, 입력, 삭제 작업을 수행합니다. 이는 HTTP 인터페이스를 통해 수행할 수 있습니다. 또한 자세한 분석 보고서를 도출할 수 있는 액세스 가능한 대시보드를 제공합니다.
- 병렬 처리 시스템:
탄력적 검색쿼리를 신속하게 일치시키기 위해 많은 양의 데이터를 병렬로 처리할 수 있습니다. 이는 애플리케이션 모니터링 및 이상 감지와 같은 실시간 서비스를 용이하게 합니다. - 다채로운 데이터 수집:
로그스태시/비트다양한 데이터 수집 플러그인을 연동할 수 있어 각종 시스템 로그, 웹사이트 로그, 애플리케이션 서버 로그 등의 소스 데이터를 손쉽게 조회할 수 있습니다. - 대화형 차트:
키바나의 반응형 인터페이스를 통해 몇 번의 클릭과 마우스 이동만으로 원하는 시각화를 활성화할 수 있습니다. - 다양한 도구 지원: ELK 스택은 광범위한 언어를 지원하지만 플랫폼에 풍부한 기능을 추가하기 위해 다른 많은 플러그인(Hadoop HDFS에서도 작동)도 제공합니다.
3. ELK 스택은 실제로 어디에 사용되나요?
- 넷플릭스: Netflix는 서비스 운영 중 발생하는 사용자 로그 및 보안 데이터를 모니터링하고 안전하게 관리하기 위해 ELK 스택을 도입한 것으로 알려져 있습니다.
- 사운드클라우드: 웹/모바일 음악 스트리밍 사이트인 SoundCloud는 ElasticSearch 엔진을 이용하여 사용자의 실시간 음악 검색 및 서비스 분석을 수행합니다.
- GitHub: Github는 전 세계 개발자 코드를 수집하는 플랫폼으로 ElasticSearch 엔진으로 800만 개 이상의 Repo를 유지하고 있습니다.
- 인계철선: 보안 전문업체인 Tripwire는 네트워크 패킷 프로토콜을 분석하기 위해 ELK 스택을 사용합니다. 패킷 데이터는 밀리세컨드(ms) 내에 엄청난 양을 생성하기 때문에 고성능 데이터 처리가 필요한 대상 중 하나입니다.
