Data Engineer · Platform Builder

노현우

데이터 수집/파이프라인 운영부터 메타데이터·거버넌스·자동화(Agent)까지, “실서비스로 굴러가는” 데이터 플랫폼을 만드는 엔지니어입니다.

Airflow BigQuery GCP Data Governance Observability LLM / Agent Automation

소개

About

무엇을 하나요

데이터 수집/정제/적재 파이프라인을 설계·운영하고, 장애/품질을 관측가능하게 만들며, LLM/Agent를 붙여 운영 자동화를 확장합니다.

어떤 방식으로 일하나요

기능을 “제작”으로 끝내지 않고, SLA/지표/알림/런북까지 포함해 “운영 가능한 상태”로 마감합니다.

핵심 역량

Skills

데이터 파이프라인

Airflow 기반 배치/운영, 로그 분석, 재시도 자동화, 품질 지표 설계

클라우드 & 데이터웨어하우스

GCP 중심 설계, BigQuery 활용, 비용/성능 관점의 운영 최적화

메타데이터 & 거버넌스

전사 메타 통합, 카탈로그/리니지/표준 용어, 포털화(예: Dataplex 활용 검토)

AI/Agent 자동화

헬프데스크 자동응답(RAG), 운영 알림(Teams), 워크플로우 연계(Power Automate)

프로젝트 하이라이트

Projects
GenAI 기반 데이터레이크 헬프데스크 자동화 FAQ + RAG로 질문 변형 대응, Datastore/검색 기반 답변 품질 개선
Airflow 운영 자동화(에러 분석 → Task 제어) REST API 기반 재실행/성공처리, Teams Adaptive Card & Flow 연계 구상
장애 이벤트 통합 수집 → 대시보드 Airflow/인프라 등 다양한 소스 통합, PostgreSQL 저장 및 관측/리포팅
전사 메타데이터 통합 및 포털화 원천 다양성 대응(커넥터/수집 레이어), 리니지/거버넌스 설계 방향 수립

연락

Contact

연락 채널

아래 텍스트를 본인 정보로 바꿔서 쓰면 돼.

Email: your@email.com GitHub: github.com/yourid LinkedIn: linkedin.com/in/yourid

협업 키워드

데이터 파이프라인 운영/자동화 · 메타데이터/거버넌스 · LLM/RAG 기반 업무 자동화 · 관측성 구축