논문Hugging Face
DataFlow-Harness: A Grounded Code-Agent Platform for Constructing Editable LLM Data Pipelines
논문 ID: 2607.16617106 추천
#LLM-Agent#Data-Engineering#Workflow-Automation#DAG#Agent#Benchmark#Inference
핵심 요약
LLM 에이전트가 생성한 코드를 편집 가능한 시각적 워크플로우(DAG)로 자동 변환하는 데이터 파이프라인 구축 플랫폼
상세 내용
최근 LLM을 활용한 데이터 처리 자동화가 증가하고 있으나, 에이전트가 생성한 스크립트가 영구적이고 편집 가능한 플랫폼 자산으로 연결되지 않는 'NL2Pipeline' 문제가 존재합니다. 이를 해결하기 위해 자유 형식의 스크립트 대신 타입이 지정된 점진적 변형을 통해 플랫폼 네이티브 DAG를 구축하는 DataFlow-Harness를 제안합니다. 이 플랫폼은 절차적 가이드를 제공하는 DataFlow-Skills, 실시간 상태를 노출하는 MCP 레이어, 그리고 대화형 작성과 시각적 편집을 동기화하는 WebUI를 결합합니다. 실험 결과, 12개 데이터 엔지니어링 태스크에서 93.3%의 높은 성공률을 기록했습니다. 기존 Claude Code 방식 대비 비용은 72.5% 절감하고 지연 시간은 49.9% 단축하면서도 높은 신뢰성을 유지했습니다.
주요 내용
- 자유 형식 스크립트 대신 타입 기반의 점진적 변형을 통한 플랫폼 네이티브 DAG 생성
- 대화형 에이전트 작업과 시각적 DAG 편집기 간의 실시간 동기화(WebUI)
- MCP 레이어를 통한 실시간 오퍼레이터 레지스트리 및 파이프라인 상태 노출
실무에서 볼 만한 점
에이전트가 짠 코드를 사람이 일일이 수정할 필요 없이, 생성된 결과물을 즉시 시각적 워크플로우로 관리하고 편집할 수 있어 운영 효율성이 극대화됩니다.
참고할 행동
- 자유 형식 코드 생성 방식과 DAG 기반 생성 방식의 유지보수 편의성 비교 실험
- 복잡한 데이터 엔지니어링 워크플로우에서의 에이전트 신뢰도 검증
- 기존 CI/CD 파이프라인과의 통합 가능성 검토