我們擅長(cháng)商業(yè)策略與用戶(hù)體驗的完美結合。
歡迎瀏覽我們的案例。
蘋(píng)果機器學(xué)習研究團隊近日發(fā)布博文，展示了全新的生成式 AI 技術(shù)-- HUGS，能夠在 30 分鐘內分析短視頻，然后映射創(chuàng )建新的動(dòng)作和角度。
蘋(píng)果研究員 Anurag Ranjan 發(fā)布推文，表示 HUGS 的全稱(chēng)叫作 Human Gaussian Splats，使用機器學(xué)習和計算機視覺(jué)，在原始輸入數據較少的情況下，創(chuàng )建出逼真的人像元素。
蘋(píng)果官方介紹中表示神經(jīng)渲染技術(shù)目前已經(jīng)有了長(cháng)足的進(jìn)步，但最適合的場(chǎng)景依然是靜態(tài)場(chǎng)景的攝影測量，還無(wú)法推廣到環(huán)境中自由移動(dòng)的人類(lèi)。
HUGS 使用 3D Gaussian Splatting 的技術(shù)，在場(chǎng)景中創(chuàng )建可移動(dòng)的人類(lèi)。
該方法本身需要少量的主體視頻，通常在場(chǎng)景中運動(dòng)，并顯示盡可能多的表面供系統工作。
在某些情況下，該技術(shù)對源輸入數據的要求很低，最少可以低至 50 到 100 幀的單目視頻，相當于 2 到 4 秒的 24fps 視頻。
蘋(píng)果聲稱(chēng)，該系統已經(jīng)過(guò)訓練，可以“在 30 分鐘內解開(kāi)靜態(tài)場(chǎng)景和完全可動(dòng)畫(huà)化的人類(lèi)化身”。
蘋(píng)果表示 SMPL 體模型雖然用于初始化人類(lèi)高斯模型，但無(wú)法捕獲每個(gè)細節。對于未建模的元素(如布料和頭發(fā))，該過(guò)程可以偏離 SMPL 模型，來(lái)填補模型捕獲中的空白。
蘋(píng)果官方表示從訓練視頻到以 60fps 的渲染速度輸出，能夠在半小時(shí)完成人體建模和“最先進(jìn)的渲染質(zhì)量”動(dòng)畫(huà)，這比 NeuMan 和 Vid2Avatar 等其它方法快 100 倍。
