로앤컴퍼니 데이터 엔지니어는 AI팀에 소속되어 비즈니스에 필요한 데이터가 안정적으로 흘러가는 환경을 만들고 운영하는 역할을 담당합니다.
서비스와 관련된 플랫폼에서 발생하는 다양한 데이터를 수집하고 가공하여, 의사결정에 필요한 인사이트를 제공하는 데이터 파이프라인을 구축합니다. Python과 Airflow를 기반으로 ETL/ELT 워크플로우를 개발하며, GCP와 AWS 클라우드 환경에서 데이터 인프라를 관리합니다. 단순히 데이터를 옮기는 것을 넘어, 데이터 품질을 지속적으로 모니터링하고 파이프라인의 안정성을 개선하는 작업을 수행합니다.
함께 풀어나갈 과제들입니다.
1. 데이터 수집 파이프라인 구축 및 안정화
비즈니스 성장에 필요한 다양한 데이터 소스를 발굴하고, 안정적으로 수집하는 파이프라인을 구축합니다. API 연동, 웹 데이터 수집, 내부 DB 연동 등 다양한 방식으로 데이터를 확보하며, 수집 현황을 체계적으로 관리하고 모니터링합니다.
2. 데이터 품질 관리 및 모니터링 시스템 개선
수집된 데이터의 정확성과 일관성을 보장하기 위해 Great Expectations를 활용해서 품질 검증 로직을 구현하고, 문제 발생 시 빠르게 대응할 수 있는 모니터링 체계를 구축합니다.
3. 데이터 웨어하우스 운영 및 최적화
GCP/AWS 기반의 데이터 웨어하우스로 데이터를 적재하고, 분석팀과 비즈니스팀이 효율적으로 활용할 수 있도록 데이터 모델을 설계합니다. 쿼리 성능 개선, 비용 최적화 등의 작업도 함께 수행합니다.
4. 데이터 파이프라인 자동화 및 효율화
반복적인 데이터 처리 작업을 Airflow를 통해 자동화하고, 워크플로우를 효율적으로 관리합니다. 파이프라인 실행 이력을 추적하고, 재실행 및 에러 핸들링 로직을 개선하여 운영 부담을 줄입니다.
• 데이터 엔지니어링 또는 백엔드 개발 경력 2년 이상의 경험
• 다양한 소스(API, 웹 크롤링, DB 등)로부터 데이터를 수집한 경험
• 클라우드 환경(GCP, AWS 등)에서 데이터 인프라를 구축하고 운영한 경험
• Airflow, Prefect 등 워크플로우 스케줄러를 활용하여 배치 데이터 파이프라인을 구축한 경험
• Python, SQL을 활용한 데이터 처리에 능숙
• Superset, Metabase 등을 활용한 대시보드 구성 경험
• 반복되는 업무에 대해 자동화를 실천한 경험
• PDF, HWP 등 문서 형식의 데이터를 파싱하고 구조화한 경험
• 데이터 수집 프로젝트의 진척 상황을 체계적으로 관리하고 문서화한 경험
• Docker, Kubernetes 등 컨테이너 기반 인프라에 대한 이해
• 데이터 모니터링 및 알림 시스템을 구축한 경험
• 주어진 업무를 꼼꼼하게 수행하시는 분
• 반복적인 작업을 자동화하는 것에 진심이신 분
• 데이터 품질 관리를 중요하게 생각하시는 분
• 문제 해결을 위해 끈기있게 고민하고 실행하는 분
• 팀원들과 원활하게 소통하며 협업할 수 있는 분
1. 유연한 근무 환경
2. 성장 및 업무 효율 극대화
3. 오피스 생활 편의
4. 일상을 살펴 드려요
• 서류전형 - 1차 직무 면접 - 2차 경영진 면접 - 3차 최종 면접 - 처우 협의 및 입사일 결정 - 최종 확정
• 지원자의 이력 및 경력 사항에 따라 일부 면접 과정이 생략되거나 추가될 수 있어요.
• 서류 전형 결과를 제외한 각 전형의 결과는 14일 이내에 개별적으로 안내드릴 예정입니다. 서류 전형의 경우 지원자분들의 서류를 꼼꼼히 검토하는 데 시간이 다소 소요될 수 있는 점 양해 부탁드립니다.
• 제출자료와 채용 프로세스 전반에서 허위사실 및 결격사유가 발견될 경우 채용이 취소됩니다.
• 모든 채용은 수시채용으로, 합격자가 발생할 경우 공고가 조기마감될 수 있어요.
• 모든 면접은 일대일, 혹은 다대일로 진행되며 시간은 최대 1시간 가량 소요됩니다.
• 포지션에 따라 채용 프로세스가 변경 또는 추가될 수 있어요.
• 중복 지원은 가능하나, 서류 전형에 합격할 경우 채용담당자와 사전 논의가 이뤄져요.
• 채용 전형 중 궁금하신 항목은 로앤컴퍼니 채용 FAQ 내에서 확인하실 수 있어요.
위 포지션과 관련하여 궁금한 사항은 언제든지 편하게 말씀해주세요.
채용 문의 : [email protected]
로앤컴퍼니 데이터 엔지니어는 AI팀에 소속되어 비즈니스에 필요한 데이터가 안정적으로 흘러가는 환경을 만들고 운영하는 역할을 담당합니다.
서비스와 관련된 플랫폼에서 발생하는 다양한 데이터를 수집하고 가공하여, 의사결정에 필요한 인사이트를 제공하는 데이터 파이프라인을 구축합니다. Python과 Airflow를 기반으로 ETL/ELT 워크플로우를 개발하며, GCP와 AWS 클라우드 환경에서 데이터 인프라를 관리합니다. 단순히 데이터를 옮기는 것을 넘어, 데이터 품질을 지속적으로 모니터링하고 파이프라인의 안정성을 개선하는 작업을 수행합니다.
함께 풀어나갈 과제들입니다.
1. 데이터 수집 파이프라인 구축 및 안정화
비즈니스 성장에 필요한 다양한 데이터 소스를 발굴하고, 안정적으로 수집하는 파이프라인을 구축합니다. API 연동, 웹 데이터 수집, 내부 DB 연동 등 다양한 방식으로 데이터를 확보하며, 수집 현황을 체계적으로 관리하고 모니터링합니다.
2. 데이터 품질 관리 및 모니터링 시스템 개선
수집된 데이터의 정확성과 일관성을 보장하기 위해 Great Expectations를 활용해서 품질 검증 로직을 구현하고, 문제 발생 시 빠르게 대응할 수 있는 모니터링 체계를 구축합니다.
3. 데이터 웨어하우스 운영 및 최적화
GCP/AWS 기반의 데이터 웨어하우스로 데이터를 적재하고, 분석팀과 비즈니스팀이 효율적으로 활용할 수 있도록 데이터 모델을 설계합니다. 쿼리 성능 개선, 비용 최적화 등의 작업도 함께 수행합니다.
4. 데이터 파이프라인 자동화 및 효율화
반복적인 데이터 처리 작업을 Airflow를 통해 자동화하고, 워크플로우를 효율적으로 관리합니다. 파이프라인 실행 이력을 추적하고, 재실행 및 에러 핸들링 로직을 개선하여 운영 부담을 줄입니다.
• 데이터 엔지니어링 또는 백엔드 개발 경력 2년 이상의 경험
• 다양한 소스(API, 웹 크롤링, DB 등)로부터 데이터를 수집한 경험
• 클라우드 환경(GCP, AWS 등)에서 데이터 인프라를 구축하고 운영한 경험
• Airflow, Prefect 등 워크플로우 스케줄러를 활용하여 배치 데이터 파이프라인을 구축한 경험
• Python, SQL을 활용한 데이터 처리에 능숙
• Superset, Metabase 등을 활용한 대시보드 구성 경험
• 반복되는 업무에 대해 자동화를 실천한 경험
• PDF, HWP 등 문서 형식의 데이터를 파싱하고 구조화한 경험
• 데이터 수집 프로젝트의 진척 상황을 체계적으로 관리하고 문서화한 경험
• Docker, Kubernetes 등 컨테이너 기반 인프라에 대한 이해
• 데이터 모니터링 및 알림 시스템을 구축한 경험
• 주어진 업무를 꼼꼼하게 수행하시는 분
• 반복적인 작업을 자동화하는 것에 진심이신 분
• 데이터 품질 관리를 중요하게 생각하시는 분
• 문제 해결을 위해 끈기있게 고민하고 실행하는 분
• 팀원들과 원활하게 소통하며 협업할 수 있는 분
1. 유연한 근무 환경
2. 성장 및 업무 효율 극대화
3. 오피스 생활 편의
4. 일상을 살펴 드려요
• 서류전형 - 1차 직무 면접 - 2차 경영진 면접 - 3차 최종 면접 - 처우 협의 및 입사일 결정 - 최종 확정
• 지원자의 이력 및 경력 사항에 따라 일부 면접 과정이 생략되거나 추가될 수 있어요.
• 서류 전형 결과를 제외한 각 전형의 결과는 14일 이내에 개별적으로 안내드릴 예정입니다. 서류 전형의 경우 지원자분들의 서류를 꼼꼼히 검토하는 데 시간이 다소 소요될 수 있는 점 양해 부탁드립니다.
• 제출자료와 채용 프로세스 전반에서 허위사실 및 결격사유가 발견될 경우 채용이 취소됩니다.
• 모든 채용은 수시채용으로, 합격자가 발생할 경우 공고가 조기마감될 수 있어요.
• 모든 면접은 일대일, 혹은 다대일로 진행되며 시간은 최대 1시간 가량 소요됩니다.
• 포지션에 따라 채용 프로세스가 변경 또는 추가될 수 있어요.
• 중복 지원은 가능하나, 서류 전형에 합격할 경우 채용담당자와 사전 논의가 이뤄져요.
• 채용 전형 중 궁금하신 항목은 로앤컴퍼니 채용 FAQ 내에서 확인하실 수 있어요.
위 포지션과 관련하여 궁금한 사항은 언제든지 편하게 말씀해주세요.
채용 문의 : [email protected]