LANTERN: Illuminating Hidden Mathematical Knowledge in Language Models
사전 학습된 언어 모델의 내부 활성화 값을 활용하여 수학적 관계를 탐색하고 검증하는 효율적인 파이프라인 개발
논문이 다루는 내용
언어 모델이 수학적 정리를 증명할 수 있게 되었지만, 어떤 문제를 탐구할지 결정하는 것은 여전히 인간의 영역에 머물러 있습니다. 본 연구는 모델의 내부 표현(internal representations)이 유망한 수학적 연결 고리를 식별하는 데 도움을 줄 수 있는지 질문합니다. 이를 위해 사전 학습된 모델의 활성화 값을 분류기에 적용하여 후보 관계를 순위화하고, 단계별 필터링, 가설 생성, 실행 가능한 검증 및 분석적 확인을 거치는 효율적인 파이프라인인 LANTERN을 개발했습니다. OEIS 데이터를 대상으로 실험한 결과, 5천만 개의 쌍을 순위화하여 기존에 없던 62개의 검증된 관계를 도출했습니다. 최종적으로 9개의 통찰력 있는 관계를 확보했으며, 이 중 4개는 기존 문헌에 없는 완전히 새로운 발견이었습니다. 전체 프로세스는 8시간 이내에 완료될 정도로 매우 빠르고 비용 효율적입니다.
핵심 결과
-
모델 내부 활성화 값을 활용한 수학적 관계 후보 순위화 기법 제안
-
가설 생성부터 실행 가능한 검증까지 이어지는 자동화된 엔드투엔드 파이프라인 구축
-
기존 수학적 데이터베이스(OEIS)에서 발견하지 못한 새로운 관계를 효율적으로 탐색
실무에서 볼 만한 점
모델의 내부 상태를 활용해 지식 탐색의 효율성을 극대화하는 방법론을 제시하며, 자동화된 가설 생성 및 검증 워크플로우의 가능성을 보여줍니다.
읽을 때 확인할 점
-
사전 학습된 모델의 활성화 값을 추출하여 특정 도메인 지식 간의 관계를 분류하는 실험 수행
-
생성된 수학적 가설을 자동 검증하기 위한 코드 실행 환경(Code Interpreter 등) 연동 테스트
-
도메인 특화 데이터셋을 활용한 파이프라인의 정밀도 및 재현율 측정