TAC-CoT: Tool-Empowered Implicit Chain-of-Thought via Interleaving Explicit Tokens
추론 과정을 압축된 잠재 토큰으로 대체하여 에이전트의 도구 사용 효율과 정확도를 동시에 높인 프레임워크
논문이 다루는 내용
LLM 기반 에이전트 시스템은 복잡한 과제 해결을 위해 CoT(Chain-of-Thought) 추론을 결합하고 있으나, 명시적 CoT는 생성 오버헤드가 크다는 단점이 있습니다. 반면, 텍스트 대신 압축된 연속 토큰을 사용하는 암시적 CoT는 에이전트의 도구 호출과 같은 명시적 인터페이스를 지원하기 어렵습니다. 이를 해결하기 위해 제안된 TAC-CoT는 중간 추론 과정을 압축된 잠재 세그먼트로 대체하되, 도구 호출, 관찰, 최종 답변에 대해서만 텍스트 토큰을 유지하는 인터리빙 설계를 도입했습니다. 실험 결과, 수학 및 QA 벤치마크에서 정확도가 최대 8.8포인트 향상되었으며 모델 포워드 패스 횟수는 최대 6.8배 감소했습니다. 결과적으로 TAC-CoT는 단일 및 다중 도구 환경 모두에서 도구 사용 품질을 개선했습니다.
핵심 결과
-
명시적 추론 과정을 압축된 잠재 토큰(Latent Reasoning Segments)으로 대체하여 생성 비용 절감
-
도구 호출 및 관찰 시에만 텍스트를 사용하는 인터리빙 설계를 통해 에이전트 인터페이스 유지
-
추론 효율성(6.8x 속도 향상)과 작업 정확도(8.8pt 향상)의 동시 확보
실무에서 볼 만한 점
에이전트 시스템 구축 시 발생하는 막대한 추론 비용과 지연 시간(Latency) 문제를 해결하면서도 성능을 유지할 수 있는 실질적인 방법론을 제시합니다.
읽을 때 확인할 점
-
기존 CoT 기반 에이전트 워크플로우에 잠재 토큰 생성 모듈 결합 가능성 검토
-
도구 호출 빈도가 높은 복잡한 태스크에서의 추론 압축 효율성 테스트
-
모델의 포워드 패스 횟수 감소가 실제 서비스 지연 시간에 미치는 영향 분석