Multi-LCB: Extending LiveCodeBench to Multiple Programming Languages

Paper ID: 2606.20517 • 23 Upvotes

LLM-Evaluation Code-Generation Benchmark Multi-Language Reasoning Evaluation

Multi-LCB: Extending LiveCodeBench to Multiple Programming Languages

📝 핵심 요약

Python에 국한된 기존 LCB 벤치마크를 12개 언어로 확장하여 LLM의 진정한 다국어 코딩 능력을 검증하는 Multi-LCB 제안

📖 상세 내용

최근 널리 쓰이는 LiveCodeBench(LCB)는 데이터 오염 방지에 탁월하지만, 평가 언어가 Python에만 국한되어 실무적인 다국어 코딩 능력을 측정하기 어렵다는 한계가 있습니다. 이를 해결하기 위해 연구진은 LCB의 평가 프로토콜과 오염 방지 메커니즘을 유지하면서 12개 프로그래밍 언어로 확장한 Multi-LCB를 도입했습니다. Multi-LCB는 기존 Python 태스크를 다른 언어로 변환하여 LCB의 업데이트를 자동으로 추적할 수 있도록 설계되었습니다. 24개의 LLM을 대상으로 실험한 결과, 모델들이 Python에 과적합되어 있거나 언어별 성능 격차가 크다는 점을 발견했습니다. 결과적으로 Multi-LCB는 모델의 범용적 코딩 역량을 평가하는 엄격한 새로운 기준을 제시합니다.

🔑 주요 내용 (Key Points)

LCB의 오염 방지 메커니즘을 유지하며 12개 언어로 확장한 Multi-LCB 벤치마크 개발
Python 중심의 모델 학습이 초래하는 언어별 성능 불균형 및 과적합 문제 식별
기존 LCB 포맷과의 호환성을 통해 지속적인 벤치마크 업데이트 및 추적 가능성 확보

💡 실무적 가치 (Relevance)

실무에서는 Python 외 다양한 언어를 사용하므로, 특정 언어에 편향되지 않은 범용적인 코딩 모델을 선택하는 데 중요한 기준이 됩니다.

✅ 추천 액션 (Actionable Items)

사용 중인 LLM을 Multi-LCB를 통해 다양한 언어 환경에서 성능 테스트하기
모델이 특정 언어(Python)에 과적합되어 다른 언어에서 성능이 급락하는지 확인하기
멀티 언어 코딩 작업 투입 전, 모델의 언어 간 성능 격차(Disparity) 측정하기

View on Hugging Face View PDF (arXiv)