[Elastic] Logstash의 기본 개념

References

https://soyoung-new-challenge.tistory.com/99

 

 

Logstash란?

Logstash는 실시간 파이프라인 기능을 가진 데이터 수집 엔진 오픈소스이다.

서로 다른 소스의 데이터를 동적으로 통합하고 원하는 대상으로 데이터를 정규화 할 수 있는 것이 특징이다.

 

 

Logstash의 기능

Logstash의 경우 원래 로그 수집을 하는 것에 주 초점이 맞춰졌지만 실제 다양한 예시에서 사용된 이 후로 여러 가능성들이 발견되었다.

다양한 입력과 필터 및 출력 플러그인을 통해, 모든 유형의 이벤트를 보강하고 변환할 수 있으며, 많은 기본 코텍이 처리 과정을 단순화 하기 때문에, 더 많은 양과 다양한 데이터를 활용하여 모니터링을 더 쉽게 해준다.

 

Logstash의 핵심 기능

대표적으로 Logstash는 세 가지의 핵심 기능이 있다.

1. Elasticsearch와 Kibana 시너지와 함께 수평적으로 데이터 프로세스 파이프라인이 스케일업 할 수 있다.
2. 다른 인풋, 필터 그리고 아웃풋 플러그인들을 Mix, Match 할 수 있다.
3. 200개가 넘는 플러그인을 사용할 수 있으며, 새로 생성하고 기여할 수 있다

Logstash의 대표적인 기능(Analysis, Archiving, Elasticsearch, Monitoring, Alerting)

 

Logstash Pipeline

Logstash의 파이프라인에는 inputs - filters - outputs 로 이루어져 있다.

수집되는 데이터 소스가 inputs로 타고 들어가면 Elasticsearch로 outputs가 되는 식으로 옵션 값에 따라 filters 여부를 선택할 수 있다.