논문Hugging Face
BDH-CQ: In-Context Learning with Recurrent Latent Reasoning
논문 ID: 2608.09888231 추천
#Reasoning#In-Context Learning#Efficiency#ARC-AGI#Benchmark#Evaluation#Inference
핵심 요약
In-Context Learning과 순환 잠재 추론을 결합하여 ARC-AGI-1 벤치마크에서 압도적인 비용 효율성을 달성한 모델
상세 내용
기존의 In-Context Learning 방식은 추론 과정에서 중간 단계를 언어화해야 하는 번거로움과 비용 문제가 있었습니다. 본 논문은 입력 데이터를 순환 메모리에 지속적으로 업데이트하며 고차원 잠재 공간에서 반복 계산을 수행하는 BDH-CQ 모델을 제안합니다. 이 모델은 중간 추론 과정을 텍스트로 출력하지 않고 잠재 공간 내에서 직접 해결하는 방식을 취합니다. ARC-AGI-적용 실험 결과, 150M 파라미터 모델이 매우 낮은 비용으로 높은 성능을 기록했습니다. 결과적으로 기존의 비용 대비 정확도(Pareto frontier)를 경신하며 새로운 SOTA를 달성했습니다.
주요 내용
- In-Context Learning과 순환 잠재 추론(Recurrent Latent Reasoning)의 결합
- 중간 추론 과정을 언어화하지 않는 고차원 잠재 공간에서의 반복적 계산 방식
- ARC-AGI-1 벤치마크에서 비용 대비 성능(Cost-Accuracy)의 새로운 SOTA 달성
실무에서 볼 만한 점
텍스트 생성 없이 잠재 공간에서 추론을 수행함으로써 추론 비용을 획기적으로 낮추면서도 복잡한 논리 문제를 해결할 수 있는 가능성을 제시합니다.
참고할 행동
- 제시된 순환 메모리 업데이트 메커니즘의 아키텍처 분석
- 언어화 없는 잠재 공간 추론과 Chain-of-Thought 방식의 성능 비교 실험
- 저사양/저비용 환경에서의 추론 효율성 검증