대형 SI 기업에서 아래와 같이 Data Engineer를 모시고 있습니다.
1. 직무명; Data Engineer
2. 직무내용
1) Application with AI의 구현 및 운영에 있어 AI 및 ML 모델 학습과 추론을 위한 데이터 파이프라인을 설계하고 최적화
2) 벡터 DB 구축과 데이터 마이그레이션을 통해 효율적인 데이터 운영 및 자동화를 구현
3) Data Engineering 전문성을 바탕으로 한 비정형/정형 Data Lake 플랫폼 구축 PM/PL, 현재 RDB 상에 저장되어 있는 정형데이터(Table Data) 를 LLM 모듈이 이해할 수 있도록 데이터 전처리 (청킹, 임베딩) 등
4) 비정형/정형 Data Lake 기반으로 Generative BI를 구현할 수 있는 AI+BI 전문가, Text2SQL 에 필요한 RAG / Prompting 등
3. 자격 요건
1) SQL, Python 등 데이터 처리 기술에 대한 실무 경험이 3년 이상
2) 분산 데이터 처리 프레임워크 경험이 있으신 분(예. Apache Spark)
3) 데이터 모델링, 데이터 품질 관리, 거버넌스 경험
4) DataOps 기반의 CI/CD 환경에 대한 이해
4. 우대 사항
1) 대규모 데이터 플랫폼 구축 프로젝트 PM/PL 경험
2) Databricks, Bigquery, Snowflake, Palantir Foundry 등 실무 경험
3) VectorDB, GraphDB 활용 포함 생성형 AI 서비스를 위한 Data Pipeline 구현 경험
4) PostgreSQL(EDB, Greenplum, PGSQL 등) 관련 경험 및 PGVector 구현 경험 및 이해도 보유