소개
토스의 Data Engineer는 Data Platform Tribe에 속해 토스 서비스 전반의 데이터와 관련 플랫폼을 운영 및 지원하며, 다양한 기술과 노하우를 공유하는 협업 문화를 갖추고 있습니다. 주요 미션은 대규모 앱 로그 수집 및 스트리밍 처리 파이프라인 개발과 모니터링 시스템 구축, 그리고 Apache Hadoop Ecosystem 기반의 데이터 인프라를 직접 구축·운영하는 것입니다.
하는 일
- 개발 및 운영하는 토스 앱 로그 수집 서버와 로그 스트리밍 처리 파이프라인 유지보수
- 앱 로그 모니터링을 위한 메트릭 개발 및 로그 이상 징후 감지 시스템 구축
- 대규모 데이터 제공을 위한 스트리밍 및 배치 데이터 파이프라인과 서버 개발
- Apache Hadoop Ecosystem 오픈소스 빌드부터 On-Premise 클러스터 구축 및 운영
- 대규모 Kafka Cluster 운영 및 관리
- Kafka Connect 기반 데이터 동기화 및 데이터 입수 파이프라인 개발과 운영
지원 자격
- 대용량 데이터 처리를 위한 데이터 파이프라인(수집/처리/분석) 개발 경험
- 대용량 분산 시스템(Hadoop, HBase, Kafka, Spark, Flink, Impala, Hive 등) 활용 경험
- 데이터 어플리케이션 개발을 위한 소프트웨어 개발 역량(Java, Scala, Python 등)
- Apache Hadoop Ecosystem 오픈소스 전반을 직접 빌드부터 on-premise 클러스터 구축 및 운영 경험
우대 자격
- 대규모 입수 파이프라인을 효율적으로 관리 운영한 경험
- 토스와 유사한 플랫폼 활용 경험
- 플랫폼 운영 중 치명적인 장애 해결 경험
- 오픈소스 사용 중 버그나 이슈 해결 및 기능 개발/보완 경험
사용 기술
- Apache Hadoop, Kafka, Kafka Connect, Java, Scala, Python