Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence
Paper ID: 2607.07675 โข 39 Upvotes
Robot-AI MoE Video-Generation Embodied-AI Video Evaluation Inference Safety
๐ ํต์ฌ ์์ฝ
๋ก๋ด ์ ์ด ๋ฐ ๋ฌผ๋ฆฌ์ ์ํธ์์ฉ์ ํนํ๋ MoE ๊ธฐ๋ฐ ๋๊ท๋ชจ ๋น๋์ค ์ฌ์ ํ์ต ๋ชจ๋ธ์ธ LingBot-Video ์ ์
๐ ์์ธ ๋ด์ฉ
๊ธฐ์กด ๋น๋์ค ์์ฑ ๋ชจ๋ธ์ ์๊ฐ์ ํ๋ คํจ์ ์น์คํ์ฌ ๋ก๋ด ์ ์ด์ ํ์ํ ๋ฌผ๋ฆฌ์ ํ์ค๊ฐ๊ณผ ํจ์จ์ฑ์ด ๋ถ์กฑํ ๋ฌธ์ ๊ฐ ์์์ต๋๋ค. ์ด๋ฅผ ํด๊ฒฐํ๊ธฐ ์ํด ๋ณธ ๋
ผ๋ฌธ์ ๋ก๋ด ์ง๋ฅ์ ์ต์ ํ๋ DiT ๊ธฐ๋ฐ์ LingBot-Video ํ๋ ์์ํฌ๋ฅผ ์ ์ํฉ๋๋ค. ์ํคํ
์ฒ ์ธก๋ฉด์์๋ MoE(Mixture-of-Experts)๋ฅผ ๋์
ํ์ฌ ๋ชจ๋ธ ์ฉ๋๊ณผ ์ถ๋ก ํจ์จ์ฑ ์ฌ์ด์ ๊ท ํ์ ๋ง์ถ๋ฉฐ ๋๊ท๋ชจ ํ์ฅ์ ์คํํ์ต๋๋ค. ๋ฐ์ดํฐ ์ธก๋ฉด์์๋ ์ธํฐ๋ท ์์์ ์กฐ์, ๋ด๋น๊ฒ์ด์
, 1์ธ์นญ ์์ ๋ฑ ๋ก๋ด ์ค์ฌ์ ๋ฐ์ดํฐ๋ฅผ ๊ฒฐํฉํ ํ๋กํ์ผ๋ง ์์ง์ ๊ตฌ์ถํ์ต๋๋ค. ๋ํ ๋ฌผ๋ฆฌ์ ํฉ๋ฆฌ์ฑ๊ณผ ์์
์์ ๋ฅ๋ ฅ์ ๊ฐํํ๊ธฐ ์ํด ๋ค์ฐจ์ ๋ณด์ ์์คํ
์ ๊ฐ๋ฐํ์ต๋๋ค. ๊ฒฐ๊ณผ์ ์ผ๋ก ๋ณธ ๋ชจ๋ธ์ ๋์งํธ ์ฐฝ์์ฑ์ ๋์ด ๋ฌผ๋ฆฌ์ ์คํ๋ ฅ์ ๊ฐ์ถ ์คํ์์ค ๋น๋์ค ํ์ด๋ฐ์ด์
๋ชจ๋ธ๋ก์์ ๊ฐ๋ฅ์ฑ์ ์
์ฆํ์ต๋๋ค.
๐ ์ฃผ์ ๋ด์ฉ (Key Points)
- MoE(Mixture-of-Experts) ์ํคํ ์ฒ๋ฅผ ํตํ ๋ชจ๋ธ ์ฉ๋ ํ์ฅ ๋ฐ ์ถ๋ก ํจ์จ์ฑ ํ๋ณด
- ๋ก๋ด ๋์(์กฐ์, ๋ด๋น๊ฒ์ด์ ๋ฑ) ์ดํด๋ฅผ ์ํ ํนํ๋ ๋ฐ์ดํฐ ํ๋กํ์ผ๋ง ์์ง ๊ตฌ์ถ
- ๋ฌผ๋ฆฌ์ ํฉ๋ฆฌ์ฑ ๋ฐ ์์ ์์ ์ค์ฌ์ ๋ค์ฐจ์ ๋ณด์ ์์คํ ๋์
๐ก ์ค๋ฌด์ ๊ฐ์น (Relevance)
๋ก๋ด ์ ์ด๋ฅผ ์ํ ๋น๋์ค ์์ฑ ๋ชจ๋ธ ๊ฐ๋ฐ ์, ๋จ์ ์๊ฐ์ ํ์ง์ด ์๋ ๋ฌผ๋ฆฌ์ ๋ฒ์น๊ณผ ๋์ ํจ์จ์ฑ์ ์ด๋ป๊ฒ ํ์ต์์ผ์ผ ํ๋์ง์ ๋ํ ๋ฐฉ๋ฒ๋ก ์ ์ ์ํฉ๋๋ค.
โ ์ถ์ฒ ์ก์ (Actionable Items)
- ์ ๊ณต๋ ๋ฐ์ดํฐ ํ๋กํ์ผ๋ง ์์ง์ ๋ฐ์ดํฐ ๊ตฌ์ฑ ๋ฐฉ์ ๋ถ์
- MoE ๊ตฌ์กฐ๊ฐ ๋น๋์ค ์์ฑ์ ๋ฌผ๋ฆฌ์ ์ผ๊ด์ฑ์ ๋ฏธ์น๋ ์ํฅ ๊ฒ์ฆ
- ๋ก๋ด ์๋ฎฌ๋ ์ด์ ํ๊ฒฝ์ ํด๋น ๋ชจ๋ธ์ ์ ์ฉํ์ฌ ๋์ ์์ฑ ์ฑ๋ฅ ํ ์คํธ