K12-KGraph: A Curriculum-Aligned Knowledge Graph for Benchmarking and Training Educational LLMs

교과 과정 지식 그래프를 활용하여 교육용 LLM의 추론 및 시각적 이해 능력을 검증하고 학습시키는 프레임워크 제안

기존 교육용 LLM 벤치마크는 단순 문제 풀이에 치중되어 있어, 교과 지식의 구조적 이해와 시각적 연결성을 평가하는 데 한계가 있습니다. 이를 해결하기 위해 저자들은 교과서 기반의 지식 그래프인 K12-KGraph를 구축하였습니다. 이 그래프를 바탕으로 5가지 태스크를 포함하는 벤치마크(K12-Bench)와 미세 조정용 데이터셋(K12-Train)을 개발했습니다. 실험 결과, 도메인 특화된 지식 그래프 기반 학습이 기존 범용 데이터셋보다 교육적 추론 성능을 효과적으로 향상시켰습니다. 특히 텍스트와 시각적 정보의 결합이 교육용 멀티모달 모델 성능 향상에 필수적임을 입증했습니다.

단순 QA를 넘어 지식 간의 관계(선수 학습, 계층 구조 등)를 모델에 학습시키는 정교한 데이터 엔지니어링 방법론을 제시합니다.