No Resource, No Benchmarks, No Problem? Evaluating and Improving LLMs for Code Generation in No-Resource Languages

Paper ID: 2606.16827 • 0 Upvotes

Code Generation Domain-Specific Language Fine-tuning LLM Optimization Benchmark Evaluation

No Resource, No Benchmarks, No Problem? Evaluating and Improving LLMs for Code Generation in No-Resource Languages

📝 핵심 요약

데이터가 거의 없는 특수 목적용 프로그래밍 언어를 위해 LLM의 성능을 효율적으로 끌어올리는 방법론 제시

📖 상세 내용

최근 LLM 기반 코드 생성 연구는 데이터가 풍부한 언어에 집중되어 있어, 산업 현장의 독자적인 도메인 특화 언어(No-resource languages) 대응에는 한계가 있습니다. 본 연구는 데이터가 거의 없는 언어를 위한 3종의 벤치마크를 구축하고, 프롬프트 기법부터 추가 사전 학습(Further Pre-training)까지 다양한 학습 전략을 실험했습니다. 실험 결과, 추가 사전 학습이 성능 향상에 가장 효과적이었으나 기존 지시 이행(Instruction-following) 능력을 저해하는 문제가 발견되었습니다. 이를 해결하기 위해 베이스 모델에 타겟 언어를 학습시킨 후, 지시 모델의 가중치 차이(Weight Diff)를 전이하는 방식을 제안했습니다. 이 접근법은 적은 비용으로도 특정 언어에 특화된 지시 이행 모델을 구축할 수 있음을 입증했습니다.

🔑 주요 내용 (Key Points)

데이터가 거의 없는(No-resource) 특수 언어용 코드 생성 벤치마크 구축
추가 사전 학습(Further Pre-training)을 통한 도메인 지식 주입 전략
Weight Diff Transfer를 활용한 지시 이행 능력 유지 및 효율적 모델 최적화

💡 실무적 가치 (Relevance)

기업 내부의 독자적인 DSL(Domain Specific Language)이나 레거시 언어를 사용하는 환경에서, 적은 데이터로도 고성능 코드 생성기를 구축할 수 있는 실무적 가이드를 제공합니다.

✅ 추천 액션 (Actionable Items)

특수 도메인 언어 데이터셋 구축 및 벤치마크 설계
Base 모델에 타겟 언어 데이터로 추가 사전 학습 수행
학습된 모델에 기존 Instruction 모델의 가중치 차이를 적용하여 지시 이행 능력 복구 테스트

View on Hugging Face View PDF (arXiv)