논문
HERIT: Enabling Global Access to Hanja-to-English Historical Translation by Mitigating Temporal Bias
RAG 기반의 도메인 적응 파이프라인을 통해 희소한 역사적 한자 문헌의 영어 번역 품질을 높이고 시계열 편향을 해결함
논문이 다루는 내용
역사적 기록물은 연구 가치가 높지만 언어 장벽으로 인해 전 세계적 접근이 어렵습니다. 기존 기계 번역은 역사적 문맥과 데이터 부족으로 인한 시계열 편향 문제로 인해 고전 문헌 번역에 한계가 있습니다. 이를 해결하기 위해 본 논문은 RAG를 활용하여 풍부한 한자-한국어 코퍼스로 고품질 의사 라벨(pseudo-labeled) 데이터를 생성하는 HERIT 파이프라인을 제안합니다. 이 방식은 학습 데이터셋을 확장하여 데이터 부족과 시대별 과적합 문제를 동시에 완화합니다. 실험 결과 HERIT은 기존 베이스라인 모델들을 상회하는 성능을 보였으며, 실제 미번역 기록물 번역을 통해 그 효용성을 입증했습니다.
핵심 결과
-
RAG를 활용한 고품질 의사 라벨(pseudo-labeled) 데이터 생성 파이프라인 구축
-
한자-한국어 코퍼스를 활용한 도메인 적응을 통한 데이터 부족 문제 해결
-
시대별 언어 차이로 발생하는 시계열 편향(Temporal Bias) 완화
실무에서 볼 만한 점
특수 도메인(고전어, 전문 용어)의 데이터가 부족할 때 RAG와 의사 라벨링을 결합하여 데이터 부족 문제를 해결하는 전략을 제시합니다.
읽을 때 확인할 점
-
특수 도메인 데이터셋에 대한 RAG 기반 데이터 증강(Augmentation) 실험
-
시대별/문체별 편향을 줄이기 위한 데이터 샘플링 전략 비교
-
생성된 의사 라벨의 품질이 최종 모델 성능에 미치는 영향 분석