ElasticSearch Tutorial | 05. Fileabeat 연결하기

Fileabeat 다운로드

• download page link : https://www.elastic.co/kr/downloads/past-releases/filebeat-7-15-0
  • tar for MAC OS : https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.15.0-darwin-x86_64.tar.gz

프로젝트 루트로 이동해서 tar 파일을 다운로드 받습니다.

cd {YOUR_PROJECT_ROOT}/filebeat
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.15.0-darwin-x86_64.tar.gz

압축을 해제합니다

tar -xvf filebeat-7.15.0-darwin-x86_64.tar.gz

Logstash vs FileBeat

Logstash와 FileBeat를 비슷한 구성을 가집니다.

LogStash	FileBeat
Input	Input
Module	Codec
Processor	Filter
Output	Output

FileBeat는 Logstash보다 리소스를 적게 사용해서 주로 Agent로 사용됩니다. LogStash는 FileBeat보다 리소스를 많이 사용합니다. 그래서 Agent로 사용하기보다 데이터를 받아서 정제/가공 후 적재하는 Ingestor의 역할로 사용합니다.

조금있다가 사용할 filebeat-eslog.yml 설정에는 logstash로 데이터를 보내는 설정이 주석처리되어 있습니다.

// filebeat-eslog.yml 
#output.logstash:
  #hosts: ["localhost:5044"]

가벼운 filebeat로 데이터를 수집하면서 filebeat가 있는 인스턴스에는 부하를 주지 않고 싶을 때, 위와 같은 설정으로 추가적인 작업은 Logstash에서 진행할 수 있습니다.

FileBeat 실행하기

FileBeat는 다른 서비스와 다르게 sudo 권한이 있어야 정상적으로 실행됩니다. 그리고 실행해 사용할 설정 파일의 권한과 소유자를 변경해줍니다.

sudo chown root filebeat-eslog.yml
sudo chmod 644 filebeat-eslog.yml

sudo ./filebeat -e -c ./filebeat-eslog.yml

Kibana에서 FileBeat 인덱스 패턴 설정하기

kibana를 실행하고 아래의 주소로 접근합니다.

http://127.0.0.1:5601/app/management/kibana/indexPatterns

filebeat에 대해 인덱스 생성을 설정합니다

Index pattern을 추가하면 Discover 페이지에서 filebeat에서 수집된 데이터를 볼 수 있습니다