CNBCAI & LLM
Apple in talks with startup that shrinks AI models to run on an iPhone - CNBC
2026년 7월 14일 오후 05:00
#AI#On-device AI#LLM#Infra#Apple
요약
Apple이 iPhone에서 고성능 AI 모델을 직접 구동하기 위해 모델 압축 기술을 보유한 스타트업 PrismML과 기술 협력을 검토 중입니다. PrismML은 거대 모델의 크기를 획기적으로 줄여 모바일 기기에서도 지연 시간 없이 개인정보를 보호하며 AI를 실행할 수 있는 솔루션을 제공합니다.
기술적으로 볼 만한 점
PrismML은 모델 내부 정보 저장 방식을 단순화하여 각 값을 16-bit에서 1~3-bit 수준으로 압축하는 기술을 사용합니다. 이를 통해 Alibaba의 Qwen 모델(54GB)을 4GB 미만으로 축소하면서도 27B(270억 개) 파라미터를 iPhone 15 이상의 기기에서 구동할 수 있게 했습니다. 결과적으로 기존 대비 메모리 사용량은 10~15배 절감, 응답 속도는 6~8배 향상, 에너지 소비는 3~6배 감소하는 성과를 보였습니다.
주요 내용
- PrismML의 압축 기술은 모델의 파라미터 정밀도를 낮추어 메모리 점유율을 극단적으로 줄이면서도 모바일 하드웨어 최적화를 달성합니다.
- Apple은 클라우드 의존도를 낮추고 온디바이스(On-device) AI를 강화하여 Siri의 성능을 높이고 개인정보 보호 및 저지연(Low latency) 이점을 확보하려 합니다.
- 모델 압축 과정에서 발생하는 미세한 성능 저하(Fact recall 약화 등)와 실제 대규모 사용자 환경에서의 배터리 소모 및 안정성 검증이 향후 핵심 과제입니다.
- 이 기술이 상용화되면 스마트폰을 넘어 로보틱스, 자율 주행 시스템 등 클라우드 연결 없이 즉각적인 의사결정이 필요한 Edge AI 분야로 확장될 수 있습니다.