논문Hugging Face
AI4AI at Test-Time: Strong-to-Weak Capability Transfer via Harnesses
논문 ID: 2608.1230788 추천
#LLM#Distillation#Prompt Engineering#Inference-time Optimization#RAG#Reasoning#Benchmark#Evaluation#Inference
핵심 요약
모델 파라미터 업데이트 없이 강력한 모델이 생성한 '추론용 하네스(Harness)'를 통해 약한 모델의 성능을 극대화하는 테스트 타임 전이 기법 연구
상세 내용
기존의 지식 증류(Distillation)는 주로 학습 단계에서 파라미터를 업데이트하는 방식으로 이루어졌습니다. 본 논문은 파라미터 업데이트 없이 테스트 타임에 강력한 모델(Builder)이 약한 모델(Target)을 돕는 '스캐폴딩(Scaffolding)' 방식의 전이 가능성을 탐구합니다. 연구진은 Theory-of-Mind 벤치마크를 활용하여 빌더 모델이 검증 데이터를 통해 반복적으로 추론용 하네스를 설계하도록 했습니다. 실험 결과, 이 방식은 타겟 모델의 성능을 약 두 배 가까이 향상시키는 효과를 보였습니다. 분석 결과, 성능 향은 모델의 추론 확장보다는 결정론적 코드 오프로딩, 라우팅, 엄격한 답변 형식 강제에서 기인했습니다. 이는 학습 단계의 증류를 보완하는 중요한 추론 단계의 전략이 될 수 있음을 시사합니다.
주요 내용
- 파라미터 업데이트 없는 테스트 타임(Inference-time) 능력 전이 방식 제안
- 강력한 모델이 약한 모델을 위한 최적의 추론 구조(Harness)를 설계하는 스캐폴딩 기법
- 결정론적 코드 실행 및 엄격한 포맷 강제를 통한 모델의 불안정한 추론 제어
실무에서 볼 만한 점
모델 재학습 비용 없이도 상위 모델의 논리 구조를 하위 모델에 이식하여 성능을 비약적으로 높일 수 있는 실용적인 프레임워크를 제시합니다.
참고할 행동
- 특정 태스크(예: JSON 추출)에 대해 상위 모델이 생성한 프롬프트/코드 구조를 하위 모델에 적용해보기
- 모델의 추론 과정을 외부 코드로 오프로딩하는 구조 설계 실험
- 하위 모델의 성능 향 폭을 확인하기 위한 벤치마크 테스트 수행