소개
네이버웹툰 Tech Data Engineering 팀은 대용량 분산 데이터 처리와 데이터 품질 관리에 중점을 두고 있으며, 데이터 오케스트레이션 시스템과 데이터 품질 검사 도구 개발을 담당합니다. 이 팀은 DBT, Spark, GX 등 최신 데이터 처리 및 검증 기술을 활용하여 안정적이고 효율적인 데이터 파이프라인 운영을 목표로 합니다.
하는 일
- DBT를 활용한 데이터 가공 파이프라인 운영, 자동화 및 최적화
- 데이터 웨어하우스 데이터 안정성 보장을 위한 pre/post 검증 모듈 개발
- Spark job 개발 및 운영
- 메타데이터 관리를 위한 어드민 환경 운영
- GX 기술을 활용한 데이터 품질 검사 도구 개발
- ELT 과정 오류 감지 및 데이터 품질 대시보드 운영
지원 자격
- 경력 3년 이상
- Hadoop 기본 지식 및 분산 환경 대용량 데이터 처리 경험
- 분산 처리 엔진(Spark, Hive, Impala, Trino 등) 활용 경험
- Java / Python 개발 경험 및 프로그래밍 기본 지식
- Airflow 운영 경험
- Kubernetes 기반 개발 경험
우대 자격
- 글로벌 데이터 처리 경험
- Dbt, trino-hive 활용 ETL 경험
- Spark 대용량 데이터 처리 경험
- GX(great expectations) 활용 경험
- MSA 아키텍처 운영 경험
- Vue, React 기반 Frontend 개발 경험
사용 기술
- DBT, Spark, Java, Python, Kubernetes