어떤 기능을 먼저 만들어야할까?

저는 회사에서 로그 모니터링 서비스를 만들고 있습니다.

https://www.whatap.io/ko/log-monitoring/

 

와탭의 로그 모니터링 서비스는 약 1년 9개월동안 성장해왔습니다. 감사하게도 로그 모니터링에 니즈가 있는 대형 고객사들를 비교적 빠른 시간 내에 만날 수 있었습니다. 게다가 On-Premise가 필요하다는 고객과 SaaS가 필요하다는 고객이 모두 있었으며, 자체적으로 로그 모니터링 시스템을 개발했던 회사와 모니터링 최대 경쟁사인 DataDog의 제품을 사용하던 고객도 있었습니다. 덕분에 최근 1년동안, 매우 많이 힘들기는 했지만, 로그 모니터링 서비스로서의 최소한의 기능은 갖추어졌다고 생각합니다. 

 

며칠전 같이 로그 모니터링 서비스를 개발하는 동료분들과 경쟁사의 로그 모니터링 제품을 비교 분석해본 적이 있습니다. DataDog, Sumo Logic, Dynatrace, Elastic Search, New Relic, Grafana loki를 보고 와탭의 로그 모니터링과의 차이점을 분석했습니다. 대부분의 로그 모니터링 제품에서 강조하는 기능들을 이미 와탭 로그 모니터링에서도 많이 보유하고 있음에도 마케팅적으로 고객에게 어필되고, 기능적으로 인사이트를 제공할 수 있는 점에 잘 노출되지 않고 있다고 생각했습니다. 아직 개선될 수 있는 부분이 많이 있지만, 아래와 같은 장점들을 활용하면 로그 모니터링의 장점을 고객들에게 보다 효과적으로 전달할 수 있을 것으로 기대합니다.

 

앞으로 개선해야하는 부분으로는 크게 3가지를 선정했습니다. 

1. 로그 파서 기능 개선
2. 로그를 메트릭스로 변환하는 기능 추가
3. 사내 다른 제품과의 연계 기능 개발 (로그<-> 애플리케이션, 서버, 쿠버네티스)

 

로그 파서 기능은 아직은 파서 기능의 초기 단계라서 grok-parser와 json-parser 두 가지만을 제공하고 있습니다. 앞으로는 로그를 수집하는 에이전트 단계에서부터 '어떤 종류의 로그'인지 알 수 있다면 그 종류에 맞는 파서를 미리 정의해두고 자동으로 활성화되게 할 수 있다는 방향성을 세웠습니다. 

 

로그2메트릭스 기능은 이미 사내에서 메트릭스를 기반으로 개발된 다양한 기능들을 활용하기 위한 목적을 가지고 있습니다. 차트, 알림, 보고서, 대시보드 등 대부분의 주요 기능이 메트릭스를 기반으로 이미 존재하는 상황입니다. 그래서 로그를 메트릭스로 변환할 수만 있다면 기존의 기능들을 모두 활용할 수 있고, 로그 전용 대시보드를 구성할 수 있다는 생각을 갖고 있었습니다.

 

연계 기능 개발은 직접 운영 환경에서 발생하는 이슈를 직접 만들고 있는 와탭을 사용해서 원인을 찾고 분석할 때 발견할 수 있었던 인사이트입니다. 문제의 원인은 집 밖에 있었다 포스팅에서 보았던 것처럼, IT 서비스의 장애 상황 분석을 위해서는 1. 애플리케이션 모니터링 2. 서버 모니터링 3. 쿠버네티스 모니터링 4. 로그 모니터링 등 다양한 모니터링 솔루션이 종합적으로 필요함을 느꼈습니다. 

 

여기까지는 팀장님과 CTO님께 공유드리니 긍정적인 피드백을 받을 수 있었습니다. 하지만 저와 팀원들이 놓치고 있었던 중요한 포인트가 2가지가 있었습니다. 

 

1. 로그 모니터링을 1년 9개월동안 개발해왔는데, 경쟁사 제품을 비교 분석해보는 과정을 너무 늦게 시작했다.

2. 앞으로 추가 개발해야하는 3가지 기능(파서 개선, 로그2메트릭, 연계기능)을 순차적으로 진행할 계획이었다.

 

경쟁사 제품들을 보다보니, 2000명이 넘는 사람들이 함께 만드는 완성도 높은 제품을 보다보니 차근차근 단계적으로 완성도 높게 만들고 싶은 욕심이 생겼습니다. 하지만 다행히도 팀장님 CTO님과 논의를 하면서 아래와 같은 가정을 해볼 수 있었습니다. 

 

1. 비정형으로 수집된 로그를 자동으로 파싱해주는 기능이 개발되었다. 그런데 로그는 메트릭으로 변환해서 차트,보고서,알림 등 이미 존재하는 기능을 활용할 수 없다면 고객은 이 서비스를 사용해서 IT 서비스의 문제점을 파악할 수 있을까?

2. 파서와 현재 존재하는 주요 공통 기능까지 개발되어도 여전히 연계 기능에 대한 갈증은 해소될 수 없지 않은가?

 

연말까지 30개 40개 되는 로그 포멧을 분석하고 정리하고 파서 기능을 개발할 생각을 했던 지난 며칠이 머릿속으로 스쳐지나가며 정말 다행이라는 생각이 들었습니다. 

 

결론은 3가지 기능 중 우선적으로 가장 필요한 기능은 로그2메트릭스 라는 결론에 도달했습니다. 로그 파서 기능에 대해서는 현재에도 제공하는 방법이 있으며, 다른 솔루션과의 연계 기능을 통해서 종합적인 인사이트를 제공하기 전, 우선 로그 모니터링 단독으로서도 의미있는 가치를 제공할 수 있어야 함을 알게된 계기였습니다. 

 

책 린 스타트업을 분명 최근에 읽으면서 '맞다맞다 이거다이거다' 했었는데, 정작 눈 앞의 문제에는 적용하지 못했었네요