#Platform#Data#개발노하우#개발자경험#지식 전달
ETL Pipeline 개발에도 필요했던 MSA
세션소개
비즈니스가 성장함에 따라 날마다 새로운 서비스가 생성되고 더 많은 데이터 소스가 추가됩니다. 빠른 속도로 증가하는 데이터 요구사항으로 인해 데이터 수집 파이프라인 관리와 운영이 어려워지고 있습니다. 매일 수만 개의 테이블 정보를 추출하고 수 천개의 데이터 파이프라인을 관리하기 위해 도입했던 Microservice Architecture 기반의 백엔드 개발 및 Airflow 기반의 No-code Pipeline Framework 개발 경험을 공유하는 자리를 갖고자 합니다.