LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence
데이터 생성 메커니즘 자체를 학습하여 정형 데이터 예측과 인과 관계 추론 성능을 동시에 극대화한 차세대 모델
논문이 다루는 내용
기존의 정형 데이터 모델들은 주로 주어진 컨텍스트에서 타겟 값을 예측하는 데 집중하여 데이터 간의 근본적인 구조를 학습하는 데 한계가 있었습니다. 이를 해결하기 위해 LimiX-2는 새로운 CMN(Contextual Mechanism Networks) 패러다임을 도입했습니다. 이 방식은 타겟 중심의 예측이 아닌, 컨텍스트에 따른 데이터 생성 메커니즘 자체를 모델링하는 p(x, y | D_context)를 목표로 합니다. SCM(구조적 인과 모델) 기반의 합성 데이터를 활용한 CCMM 사전 학습을 통해 다양한 그래프 구조와 함수적 메커니즘을 학습했습니다. 실험 결과, LimiX-2는 기존의 데이터셋 특화 모델 및 정형 데이터 파운데이션 모델들을 상회하는 성능을 보였습니다. 또한, 학습된 어텐션 메커니즘이 인과 관계를 인코딩하여 정확한 인과 스켈레톤 복구 능력까지 갖추었음을 입증했습니다.
핵심 결과
-
CMN 패러다임: 타겟 예측 중심에서 데이터 생성 메커니즘 중심의 공동 모델링으로 전환
-
CCMM 사전 학습: SCM 기반 합성 데이터를 활용하여 복잡한 구조적 인과 관계 학습
-
인과적 인식: 피처 어텐션을 통해 직접적인 인과 관계를 인코딩하고 스켈레톤 복구 가능
실무에서 볼 만한 점
단순 예측을 넘어 데이터 간의 인과 관계를 파악해야 하는 복잡한 비즈니스 로직 및 데이터 분석 자동화에 혁신적인 성능을 제공할 수 있습니다.
읽을 때 확인할 점
-
제공된 SCM 기반 합성 데이터 생성 로직을 활용한 도메인 특화 데이터셋 구축 실험
-
기존 Tabular PFN 모델과 LimiX-2의 인과 관계 복구 정확도 비교 테스트
-
실제 정형 데이터(Tabular) 환경에서의 예측 성능 및 추론 속도 벤치마크