How an 'AI freeze' could make big AI companies bigger and hurt smaller firms - NPR

LLM(Large Language Model) 학습에 필요한 고품질의 인간 생성 데이터가 임계치에 도달함에 따라, 합성 데이터(Synthetic Data) 활용과 데이터 소유권이 모델 성능의 핵심 변수로 부상했습니다. 데이터 부족 문제를 해결하기 위해 모델이 생성한 데이터를 다시 학습에 사용하는 과정에서 발생하는 'Model Collapse' 현상을 방지하는 것이 기술적 과제가 되었습니다. 결과적으로 독점적 데이터셋을 보유한 기업은 모델의 성능 우위를 유지할 수 있으나, 데이터 접근권이 없는 중소 규모 기업은 모델 성능의 정체기에 직면할 위험이 큽니다.

• 학습용 고품질 데이터의 고갈로 인해 모델 성능 향상 곡선이 완만해지는 'AI freeze' 현상이 발생할 수 있습니다.

• 데이터 소유권이 곧 모델의 성능과 직결되면서, 방대한 데이터셋을 이미 확보한 Big Tech 기업의 진입 장벽이 더욱 높아지고 있습니다.

• 데이터 부족을 해결하기 위한 합성 데이터(Synthetic Data) 기반 학습이 대안으로 떠오르고 있으나, 이는 모델의 다양성 저하와 편향성 문제를 야기할 수 있습니다.

• 데이터 확보 경쟁이 가속화됨에 따라 자본력이 부족한 스타트업은 독자적인 LLM 개발 및 고도화 단계에서 도태될 가능성이 큽니다.