ForbesAI & LLM
Anthropic Illuminates LLM J-Space With J-Lens - Forbes
2026년 7월 12일 오후 03:56
#LLM#Interpretability#Anthropic#Release#AI
요약
Anthropic이 LLM의 내부 연산 과정을 시각화하고 분석할 수 있는 'J-Space'와 'J-Lens' 기술을 공개하며, 모델의 출력 이면에 존재하는 잠재적 사고 과정을 규명했습니다. 이는 모델이 텍스트를 생성하지 않더라도 내부적으로 특정 개념을 처리하는 '글로벌 워크스페이스(Global Workspace)' 현상을 실증적으로 보여줍니다.
기술적으로 볼 만한 점
J-Space는 Jacobian matrix(야코비안 행렬)를 기반으로, 입력값이 모델의 인지 과정에 미치는 영향을 매핑하여 특정 단어나 개념과 연결된 희소한 활성화 하위 공간(sparse subspace)을 식로합니다. J-Lens는 이 Jacobian matrix를 활용해 각 레이어에서 모델이 내부적으로 고려 중인 어휘 리스트를 추출하는 분석 도구입니다. 이 기술은 모델이 겉으로 출력하는 결과물(Output)과 별개로, 내부 신경망 활성화(Neural Activations)를 통해 정보를 조직화하는 '접근 의식(Access Consciousness)'의 메커니즘을 수학적으로 증명합니다.
주요 내용
- J-Space는 모델 학습 과정에서 자연스럽게 발현된 현상으로, 텍나적 출력 없이도 특정 개념이 활성화되는 내부 작업 공간을 의미합니다.
- J-Lens는 Jacobian matrix를 통해 모델의 각 레이어에서 어떤 개념이 의사결정에 영향을 주는지 시각화하고 순위를 매기는 분석 프레임워크입니다.
- 이 연구는 기능적 지능(Functional Intelligence)과 주관적 경험(Phenomenal Consciousness)을 분리하는 이원론적 관점을 유지하며, AI의 정보 처리 메커니즘 규명에 집중합니다.
- 모델이 특정 답변을 생성하는 동안, J-Space 내에서는 연관된 다른 개념들이 동시에 처리되는 '내부적 사고 과정'이 존재함을 보여줍니다.