소개
우리 조직은 데이터 기반 의사결정과 개인화 서비스에 필요한 신뢰성 있고 확장 가능한 데이터 인프라와 통합 데이터 플랫폼을 구축하며, 데이터 파이프라인과 데이터 인텔리전스 영역을 중심으로 기술을 전개하고 있습니다. 이 포지션은 프로덕트, 플랫폼, DataOps 세 분야에서 대규모 데이터 파이프라인 설계, 개발, 운영 및 데이터 신뢰성 관리 등 데이터 엔지니어링 전반의 핵심 미션을 수행합니다.
하는 일
- 개인화, 이상거래탐지, 자금세탁방지 등 프로덕트 중심 데이터 엔지니어링 수행
- 데이터 파이프라인 개발 및 최적화하여 데이터 활용도 향상
- 대규모 분산 수집 아키텍처 설계 및 고도화 진행
- CDC, Event, ETL 기반 대규모 데이터 파이프라인과 워크플로우 오케스트레이션 구축 및 고도화
- 데이터 정확성, 일관성, 최신성 모니터링 시스템 개발 및 운영
- 데이터 파이프라인 장애 원인 분석 및 해결 방안 제시, 재발 방지 대책 수립
지원 자격
- 3년 이상의 데이터 엔지니어링 또는 그에 준하는 경력 보유
- Java, Kotlin, Python 중 1개 이상의 언어를 이용한 개발 경험
- Hadoop Ecosystem 및 대용량 분산 시스템(분산 컴퓨팅/스토리지)에 대한 경험
- 복잡한 비즈니스 요구사항을 이해하고 데이터 모델 및 아키텍처 설계 능력
- 대용량 처리 데이터 인프라 활용 경험
- 데이터 모델링 및 데이터 파이프라인 설계, 구축 경험
우대 자격
- Hadoop(Impala, Hive, Spark, Trino, Airflow) 또는 Object Storage 환경 업무 경험
- Data Lake House 구축을 위한 오픈 테이블 포맷(iceberg, deltalake 등) 사용 경험
- 식별 데이터와 가명 데이터에 대한 이해 및 가명결합 관련 업무 경험
- AI를 활용한 업무 자동화 및 생산성 향상 경험
- 장애 발생 시 근본 원인 분석 및 시스템 안정성 향상 경험
- CDC(Change Data Capture)를 이용한 데이터 수집 파이프라인 구축 경험
사용 기술
- Java, Kotlin, Python, Hadoop, Airflow