나에게 주어진 과제들

1. VM 서버 3대 설치

- 1번 vm  : E.S 설치

- 2번 vm : E.S 및 filebeat 설치

- 3번 vm : E.S 및 Filebeat 설치

- 4번 vm : Logstash 및 kibana설치 

 

각 E.S (NODE) 를 하나의 클러스터에 연동 

 

 

전달사항 : 

1. 서버 4대에 ES 노드 3개서버, 1개서버에 키바나, logStash 세팅 es 1~3번 서버중 2대에 파일 비트 설치
 2. 파일비트로 서버의 SYSTEM로그수집,
 3. logStash 에서 파이프라인으로 수집 라인 2개 구성 파일비트 2대에서 각각 데이터 받기
 4. datastream형식으로 인덱스 생성후 2개의 인덱스 에 로그 받기 
 4. logStash에서 필터 이용해서 ingest구성 (grok필터 테스테 )
 5. ES에 hot or cold 역할 분리후 데이터 ilm 테스트 진행 
 6. 애널라이저 기능 테스트(노리, 사용자 사전)

 

로그스테시
 1. 필터 이용 해서 timestamp => data라는 필드로 추가 할것 
 2. message영역 grok으로 분리하여 내용분리하여 필드에 담을것 
 3. 로그이용해서 특정 키워드 발생시 해당 로우는 다릉 인덱스에 기록하도록 설정(sudo, error, info  등등 아무거나 알아서
ES
  1. ES ILM 테스트 
     ES 서버 3대를 핫, 웜, 콜드 로 구분 후에 
    핫에서 기록후 10분뒤에 웜노드로 웜노드에서 10분뒤 콜드노드로 콜드에서 10분뒤에 삭제 되도록 설정후 테스트 
  2. 스냅샷 설정후 ILM이 설정된 인덱스 스냅샷후 복원 테스트 
 
키바나 대시보드 만들기 
   1. 키바나 대시보드 기능 이용해서, 로그 카운트및 로그스테시의 2번 과제에서 분리하는 필드들로 agg 그래프 만들기 
 • 로그스테시에서 수집한것들이 양이 안되면 ES에서 제공하는 sample 인덱스 사용하세요 
 • 샘플로 제공되는 데이터의 대시보드들 참고해서 대시보드 테스트 진행