Programming with Data: Test-Driven Data Engineering for Self-Improving LLMs from Raw Corpora

Paper ID: 2604.24819 • 69 Upvotes

LLM Fine-tuning Data Engineering Software Engineering Debugging Reasoning Benchmark Evaluation

Programming with Data: Test-Driven Data Engineering for Self-Improving LLMs from Raw Corpora

📝 핵심 요약

LLM 학습 데이터 엔지니어링을 소프트웨어 개발처럼 체계화하여 모델 성능을 진단하고 개선하는 새로운 패러다임 제시.

📖 상세 내용

인공지능 분야에서 전문 지식을 텍스트에서 LLM으로 안정적으로 이전하는 것은 여전히 어려운 과제입니다. 기존 미세 조정(fine-tuning)은 성능 향상을 가져오지만, 모델 실패 시 훈련 데이터의 문제점을 진단할 피드백이 없어 무작정 데이터를 추가하는 방식에 의존했습니다. 이 연구는 구조화된 지식 표현을 훈련 데이터와 평가의 공통 기반으로 활용하여, 데이터 엔지니어링 수명 주기를 소프트웨어 개발 수명 주기와 정확히 일치시키는 '데이터를 통한 프로그래밍(Programming with Data)' 원칙을 제시합니다. 이 방법론은 모델 실패를 데이터 결함으로 추적하고 표적 패치를 통해 수리할 수 있게 하며, 모델 규모와 아키텍처에 관계없이 일관된 개선을 가져오고 일반적인 능력을 저하시키지 않음을 16개 분야에서 입증했습니다. 이 작업은 LLM에 인간 전문 지식을 안정적으로 엔지니어링하기 위한 원칙적인 기반을 마련합니다.

🔑 주요 내용 (Key Points)

LLM 훈련 데이터 엔지니어링을 소프트웨어 개발 수명 주기(SDLC)에 매핑하는 새로운 패러다임 제시.
모델 실패를 데이터 결함으로 진단하고, 이를 기반으로 훈련 데이터를 체계적으로 수정하는 방법론 확립.
'Programming with Data' 원칙을 정립하고, 다양한 과학 및 공학 분야에서 그 효과와 확장성을 입증.

💡 실무적 가치 (Relevance)

개발자들은 LLM 미세 조정 시 '데이터 디버깅'이라는 구체적인 방법을 통해 모델 성능 문제를 해결하고, 데이터 추가 없이도 효율적으로 모델을 개선할 수 있는 체계적인 접근 방식을 얻게 됩니다. 이는 LLM 개발의 예측 가능성과 신뢰성을 크게 높일 수 있습니다.

✅ 추천 액션 (Actionable Items)

현재 LLM 미세 조정 프로젝트에 소프트웨어 개발 수명 주기(SDLC)의 개념(예: 단위 테스트, 디버깅)을 적용해 볼 방법을 모색.
특정 도메인의 지식을 구조화된 형태로 표현하고, 이를 LLM 훈련 데이터 생성 및 평가 벤치마크 구축에 활용하는 PoC(개념 증명) 진행.
모델의 특정 실패 사례를 분석하여 훈련 데이터의 어떤 부분이 부족했는지 진단하고, 해당 부분을 보완하는 데이터 패치를 적용하는 실험 수행.

View on Hugging Face View PDF (arXiv)