커뮤니티Hacker NewsAI/ML
Astra can read and write weights to improve Qwen
GPT-6 Astra는 가중치 공간 프로그래밍(Weight-Space Programming)을 통해 모델의 기능을 파악하고 직접 가중치를 수정합니다. Qwen3.5-0.8B 모델의 수학 능력을 개선하기 위해 전체 가중치의 0.016%만을 수정하여 MATH-500 점수를 7.9%에서 48.1%로 끌어올렸습니다. 이는 별도의 학습 루프 없이 모델의 추론 능력을 활용해 가중치를 직접 편집하는 방식입니다.
커뮤니티에서는 이렇게 봤습니다
기술의 혁신성에 감탄하며 놀라움을 표하는 반응과, 논문의 세부 내용을 면밀히 검토하지 않은 채 과도하게 해석하는 것에 대해 경계하는 비판적 시각이 대립하고 있습니다.
주요 내용
-
LLM이 가중치를 직접 편집하여 모델의 성능을 최적화하는 새로운 패러다임이 등장했습니다.
-
가중치의 극소량(0.016%)만 수정하여 수학적 추론 능력을 5배 이상 향상시키는 성과를 거두었습니다.
-
기존의 Adam과 같은 심볼릭 옵티마이저를 넘어 LLM이 직접 최적화를 수행하는 시대가 올 수 있습니다.