행운개발자의 기술블로그

AWS Marketplace SaaS Subscription 이해하기 사용자의 사용량에 따라서 과금하는 모델에 대해서 잠시 알아보겠습니다. 사용자의 수, 호스트 수 등을 기준으로 과금을 설정할 수 있습니다. 각 제품에 맞는 커스텀 단위가 필요한 경우 Unit을 사용하면 됩니다. 예를 들어, ‘수집되는 로그 수’ 또는 ‘서비스에 연결되는 세션의 수’ 등의 과금 단위가 필요할 때에 Unit을 사용할 수 있습니다. 하나의 서비스 안에서 구독 및 과금의 기준이 되는 세부 상품들이 나뉘어져있을 수 있습니다. 이러한 과금의 단위를 dimension이라고 부릅니다. 예를 들어 Whatap 이라는 하나의 AWS MP 제품 안에서 Application, Server, Database 등의 dimension이 존재할 수 ..

1. 들어가며 알파고와 이세돌의 경기가 있었던 날이 2016년 3월이니, 벌써 거의 8년 전의 일입니다. 작년 2023년에는 GPT-4가 세상에 나왔습니다. 1년마다 정말 큰 변화를 맞이하고 있습니다. 모니터링 데이터 속에서 하루 하루를 살아가다보니 LLM의 흐름을 모니터링 데이터의 관점에서 생각해보게 되었습니다. 텍스트 데이터만 입력으로 받는 LLM을 모니터링 데이터에 어떻게 적용할 수 있을까요? 2. Elastic은 어떻게 했을까? 2.1. Vector DB 조금만 알아보기 Elastic Search는 내부적으로 Vector DB를 사용합니다. Elastic Master Class에서는 “Lucene을 세계 최고의 Vector DB로 만들겠다”고 선언하기도 했습니다. 그러면 이 Vector DB는 무..

와탭랩스 AWS Marketplace SaaS Integration 2023.11 ~ 현재 (약 2개월, 기여도 100%) AWS Marketplace SaaS Integration API 연동 기존 사내 시스템 미터링 체계 파악 및 문서화 로그 모니터링 서비스 개발 2021.11 ~ 현재 (약 2년, 기여도 100%) 문자열 메트릭 검색 엔진의 로직 이해 및 문서화 로그 모니터링 서비스 고도화 원본 로그 검색 기능 개발 인덱스 기반 로그 건수 조회 기능 개발 트랜잭션 로그 조회 기능 개발 실시간 로그 알림 기능 개발 라이브 테일 기능 개발 기타 서비스에 필요한 모든 기능 (전처리(파싱), 저장, 삭제, 검색, 차트, 인덱싱, 통계, 알림) Distributed File System (이하 DFS) 로직..

Contact hwanseok.dev@gmail.com 010-9217-2041 github.com/hwanseok-dev linkedin.com/in/hwanseok951226/ Summary Java & SpringBoot 기반의 3년차 서버 백엔드 개발자로서 와탭랩스에서 모니터링 서비스를 만들고 있습니다. 주로 높은 부하의 시계열 메트릭을 대상으로 수집, 가공, 저장, 조회, 통계, 알림을 담당하는 컴포넌트들의 고도화를 담당했습니다. 특히 알림 기능 의 고도화 작업을 약 1년간 담당했으며, 로그 모니터링 서비스 를 개발 초기 단계부터 현재까지 약 2년간 담당하고 있습니다. 와탭 로그 모니터링은 SaaS 환경에서는 1일 최대 23억건 (약 160만건 / 1분)의 로그를 수용하고 있으며, On-Prem..

1. 들어가며 올해는 와탭랩스에서 로그 모니터링 서비스를 만들었다. 올해 초에는 고객사가 한 곳도 존재하지 않았던 prototype 상태였다. 연말이 된 지금, 와탭 로그 모니터링은 SaaS 환경에서는 1일 최대 23억건 (약 160만건 / 1분)의 로그를 수용하고 있으며 On-Premise 환경에서는 최대 6000대의 서버에서 발생하는 로그를 모니터링하고 있다. 폭풍을 이겨낸 뒤에야 내가 지나온 길이 어떤 의미였는지 조금씩 이해가 된다. 올해 초의 나는 내가 어떤 일을 하고 있는지 잘 이해하지 못했다. 그저 개발이 좋아서 개발하고 있을 뿐, 내가 하는 이 일이 세상에 어떤 의미가 있는지를 알지 못했다. 그저 IT 서비스 담당자들의 퇴근시간을 앞당겨주는 일을 하는 것인가 착각하기도 했다. B2B 비즈니스..

STEP 1. 메인 쓰레드, 백그라운드 쓰레드 자바 프로그램을 실행하면 쓰레드가 항상 실행됩니다. GC 등을 위해서 백그라운드에서 실행되는 쓰레드도 존재합니다. class HelloWorld { // main 메서드를 실행시키는 하나의 쓰레드가 반드시 동작함 public static void main(String[] args) { System.out.println("Hello World"); } // GC 등 백그라운드 쓰레드도 함께 실행됨 /** * Hello World * * Process finished with exit code 0 */ } STEP 2. 멀티 쓰레드가 필요한 이유 아래의 코드에서 네트워크 작업은 3초, 디스크 작업은 5초가 소요되도록 설정했습니다. 멀티 쓰레드 없이 순차적으로 수..

안녕하세요. 행운개발자입니다. 기술적 지식과 깊이 개발자 커리어 일상과 행복 가만히 누워있을 때 주어지는 것은 아무것도 없습니다. 행운은 적극적으로 찾아나서는 사람에게 주어진다고 생각합니다. 더 좋은 회사를 가면 행복해질거야 돈을 더 많이 벌면 행복해질거야 더 나은 미래를 위해서 현재의 시간을 투자하는 것은 정말 중요합니다. 하지만 지금 당장 마음가짐 하나만 바꿔도 지금 당장 행복해질 수 있습니다. 본 블로그에서는 '백엔드 기술'과 '개발자 커리어를 쌓아가는 마음가짐'에 대해서 이야기합니다.

안녕하세요 장환석입니다. 찾아주셔서 감사합니다. 자기소개 Java & SpringBoot 기반의 3년차 서버 백엔드 개발자로서 와탭랩스에서 모니터링 서비스를 만들고 있습니다. 주로 높은 부하의 시계열 메트릭을 대상으로 수집, 가공, 저장, 조회, 통계, 알림을 담당하는 컴포넌트들의 고도화를 담당했습니다. 특히 알림 기능 의 고도화 작업을 약 1년간 담당했으며, 로그 모니터링 서비스 를 개발 초기 단계부터 현재까지 약 2년간 담당하고 있습니다. 와탭 로그 모니터링은 SaaS 환경에서는 1일 합산 23억건 (최대 330만건 / 1분)의 로그를 수용하고 있으며, On-Premise 환경에서는 최대 6,000대의 서버에서 발생하는 로그를 모니터링하고 있습니다. 와탭 로그 모니터링의 문자열 메트릭 검색 엔진은 사..

1. 들어가며 요즘 이 책에서 '한글'로 설명하는 내용을 '코드'로 구현해보고 있습니다. 회사에서 업무 일정이 조금 빠듯하고 지칠 때도 있지만, 그래도 최근에 이 책을 정말 재밌게 읽고 있습니다. 내용이 좀 딱딱할 수 있지만 한 줄 한줄이 지금까지 쌓은 인사이트들의 집합이라는 생각을 하면서 추가했습니다. 재밌게 읽으실 수 있기를 바랍니다. 모든 코드는 hwanseok-dev/data-platform에 포함되어 있습니다. 본문에서 다루는 코드는 ingest-2023-11-17 태그를 기준으로 작성되었습니다. 2. 수집 계층이란 데이터 플랫폼에서 수집 계층은 소스 시스템에서 데이터를 가져오는 역할을 합니다. 소스 시스템에서 생성 및 수집된 데이터를 우리의 서버로 가져오는 첫 번째 관문입니다. 3. 소스 시스..

현대 플랫폼 아키텍처가 가진 계층들과 각각의 역할을 설명한다. 이와 더불어 고속/저속 스토리지, 스트리밍과 배치 방식 비교, 메타데이터 관리, ETL 오버레이 , 데이터 소비자의 개념도 설명한다. 4계층으로 구성된 데이터 플랫폼 수집 저장 처리 서비스 클라우드 데이터 웨어하우스 / APIs / 데이터 내보내기 데이터 플랫폼의 6계층 수집 : 스트리밍 데이터와 배치 데이터를 수집해서 각각 다르게 처리한다 스트리밍 데이터 : 고속 스토리지 배치 데이터 : 저속 스토리지 / 데이터 레이크에 접속해 활용 스트리밍 모드 , 배치 모드에서 다양한 데이터 소스로 보안 연결할 수 있어야 한다2 데이터 변환이나 데이터 포맷 변환 과정을 크게 거치지 않고도 소스 시스템에서 데이터 플랫폼으로 데이터를 전송할 수 있어야 하며..