논문Hugging Face
Large Discovery Models: Empirically-grounded Model-Based Open-Ended Search
논문 ID: 2608.1566947 추천
#Generative Models#Bayesian Optimization#Scientific Discovery#Reinforcement Learning#Evaluation
핵심 요약
생성 모델과 베이지안 대리 모델을 결합하여 미지의 탐색 공간에서 최적의 설계를 수행하는 범용적 발견 엔진(LDM) 제안
상세 내용
과학적 발견은 분자나 단백질처럼 방대하고 구조화된 가설 공간에서 비용이 많이 드는 목적 함수를 최적화해야 하는 과제를 안고 있습니다. 기존 LLM은 표현력은 좋지만, 학습 데이터 범위를 벗어난 새로운 후보에 대한 성능 예측과 불확실성 측정이 신뢰하기 어렵다는 문제가 있습니다. 이를 해결하기 위해 생성 모델과 베이지안 비모수적 보상 대리 모델을 결합한 LDM(Large Discovery Model) 아키텍처를 도입했습니다. 생성 모델이 후보를 제안 및 정제하면, 대리 모델이 성능 예측과 불확실성을 정량화하여 탐색 과정을 가이드합니다. 실험 결과, 신경망 학습, 항체 설계, 분자 최적화 등 다양한 도메인에서 기존 LLM 방식이나 전통적 통계 탐색보다 월등한 성능 향상을 입증했습니다.
주요 내용
- 생성 모델(제안/정제)과 베이지안 대리 모델(성능 예측/불확실성 정량화)의 결합 아키텍처
- 실험 데이터가 쌓임에 따라 발견 메모리와 대리 모델이 지속적으로 업데이트되는 순환 구조
- 분자 설계, 단백질, 신경망 학습 등 다양한 도메인에 적용 가능한 범용적 탐색 프레임워크
실무에서 볼 만한 점
단순히 LLM의 생성 능력에 의존하는 대신, 불확실성을 고려한 수학적 검증 루프를 결합하여 신뢰할 수 있는 최적화 엔진을 구축하는 방법을 제시합니다.
참고할 행동
- LLM 기반 생성 루프에 베이지안 최적화(BO)를 결합한 프로토타입 구현
- 도메인 특화 데이터셋을 활용한 대리 모델(Surrogate Model)의 예측 정확도 검증
- 탐색 공간의 크기에 따른 계산 비용과 성능 간의 트레이드오프 분석