JAMER: Project-Level Code Framework Dataset and Benchmark on Professional Game Engines

Paper ID: 2606.19830 • 0 Upvotes

GameDev Benchmark CodeGeneration SoftwareEngineering Agent Evaluation Distillation Safety

JAMER: Project-Level Code Framework Dataset and Benchmark on Professional Game Engines

📝 핵심 요약

전문 게임 엔진 환경에서의 프로젝트 단위 코드 생성 및 검증을 위한 대규모 데이터셋과 벤치마크 제안

📖 상세 내용

기존 AI 게임 개발 연구는 에셋 생성이나 단순 코딩에 치중되어 있어, 전문 엔진 기반의 프로젝트 단위 엔지니어링 연구는 부족한 실정입니다. 본 논문은 Game Jam 프로젝트를 활용하여 Godot 엔진 기반의 대규모 데이터셋인 JamSet과 벤치마크인 JamBench를 구축했습니다. 24만 개 이상의 저장소에서 추출한 8,133개의 프로젝트를 정제하여 데이터셋을 구성하고, 300개의 검증된 프로젝트로 벤치마크를 설계했습니다. 실험 결과, 프로젝트 규모가 커질수록 모델의 런타임 통과율이 급격히 하락하는 '능력 절벽' 현상이 관찰되었습니다. 또한, 코드 에이전트가 컴파일 성공률은 높이지만 런타임 동작 품질은 개선하지 못한다는 점을 밝혀냈습니다.

🔑 주요 내용 (Key Points)

Game Jam 데이터를 활용한 최초의 전문 엔진 기반 프로젝트 단위 데이터셋(JamSet) 및 벤치마크(JamBench) 구축
파일 무결성부터 런타임 동작까지 포함하는 결정론적 검증 파이프라인 설계
프로젝트 규모 증가에 따른 모델 성능 저하 및 아키텍처 설계 역량의 한계 규명

💡 실무적 가치 (Relevance)

단순 코드 스니펫 생성을 넘어, 복잡한 파일 구조와 런타임 동작이 중요한 게임 개발 분야에서 AI의 실질적인 프로젝트 관리 능력을 평가하는 기준을 제시합니다.

✅ 추천 액션 (Actionable Items)

Godot 엔진 환경에서 대규모 프로젝트 구조를 다루는 멀티 파일 생성 실험
코드 에이전트 도입 시 컴파일 성공률과 실제 게임 플레이 동작 간의 상관관계 분석
프로젝트 규모(파일 개수, 의존성 복잡도)에 따른 모델 성능 저하 지점 파악

View on Hugging Face View PDF (arXiv)