將三維形貌轉(zhuǎn)為藝術(shù)簡(jiǎn)體畫(huà)?神經(jīng)輪廓算法助力繪制三維形狀精準(zhǔn)輪廓

針對(duì)圖像分支,研究人員使用了圖像遷移網(wǎng)絡(luò)模塊來(lái)繪制對(duì)應(yīng)的線條表示。其輸入包含了給定視角下的深度圖和六個(gè)不同尺度的渲染結(jié)果,它們一同堆疊在一起同時(shí)輸入到類(lèi)似pix2pixHD的編解碼器中,得到圖像分支的線條結(jié)果。

隨后將幾何分支和圖像分支的線稿圖通過(guò)最大化的方式合并在一起最終得到線稿繪制結(jié)果。閾值參數(shù)對(duì)于幾何線條的去留十分重要,它決定了幾何線條以多大的程度為最終圖像做出貢獻(xiàn)。研究人員在測(cè)試的時(shí)候?qū)⒂?jì)算這一閾值,由于不同的三維模型在渲染時(shí)可能有不同的幾何線條組合,研究人員使用了神經(jīng)排序模塊NRM來(lái)為繪制的線稿評(píng)分,在測(cè)試時(shí)閾值t就被用于對(duì)NRM分值進(jìn)行優(yōu)化。

實(shí)驗(yàn)和結(jié)果
為了對(duì)這一模型進(jìn)行訓(xùn)練,由于缺乏大規(guī)模的針對(duì)三維形狀的手繪線稿,研究人員通過(guò)合成的方法生成了自己的數(shù)據(jù)集。針對(duì)每一個(gè)形狀,利用不同的閾值和線條的結(jié)合生成一系列線稿,隨后請(qǐng)志愿者對(duì)結(jié)果進(jìn)行選擇,通過(guò)多人多次投票的方法來(lái)選出最好的線稿結(jié)果作為基準(zhǔn)。下圖顯示了本文中使用了眾包軟件,從多個(gè)結(jié)果中基于人類(lèi)投票選擇得到基準(zhǔn)線稿數(shù)據(jù)。

研究中所使用的數(shù)據(jù)來(lái)自于ShapeNet、Models Resource和Thingi10K等數(shù)據(jù)集,在數(shù)據(jù)集中針對(duì)每一個(gè)類(lèi)別進(jìn)行采樣避免類(lèi)別間的不均衡,移除了重復(fù)和低分辨率的形狀,并修正了網(wǎng)格面元和連接的缺陷,最終得到了23,477個(gè)形狀。
為了生成候選的線稿圖案,研究人員針對(duì)每一個(gè)3D模型選擇了兩個(gè)隨機(jī)相機(jī)位姿,在一系列約束下每個(gè)相機(jī)生成256中可能的合成線稿結(jié)果。同時(shí)他們還利用了Canny算子和保邊濾波器來(lái)對(duì)三維形狀渲染的圖像進(jìn)行處理,這種方法針對(duì)形狀在每個(gè)視點(diǎn)下得到了256個(gè)可能的線稿結(jié)果,并從中選出8個(gè)最獨(dú)特的線稿。在獲得了一系列線稿數(shù)據(jù)的基礎(chǔ)上,項(xiàng)目利用亞馬遜的MTurk系統(tǒng)來(lái)利用眾包方式選出針對(duì)每個(gè)形狀在特定視角下效果最好的線稿作為基準(zhǔn)數(shù)據(jù)。

在經(jīng)過(guò)充分地訓(xùn)練后,這一模型在視覺(jué)上和各種指標(biāo)下都取得了良好的效果,下圖顯示了針對(duì)一個(gè)曲面得到的線稿結(jié)果,可以看到本文的方法不僅使生成的線稿線條更為連續(xù)順滑,而且可以很好地反映曲面的隱含特征。

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
圖片新聞
-

落地?zé)o錫!京東首個(gè)物流機(jī)器人超級(jí)工廠來(lái)了
-

OpenAI發(fā)布的AI瀏覽器,市場(chǎng)為何反應(yīng)強(qiáng)烈?
-

馬云重返一線督戰(zhàn),阿里重啟創(chuàng)始人模式
-

機(jī)器人奧運(yùn)會(huì)戰(zhàn)報(bào):宇樹(shù)機(jī)器人摘下首金,天工Ultra搶走首位“百米飛人”
-

存儲(chǔ)圈掐架!江波龍起訴佰維,索賠121萬(wàn)
-

長(zhǎng)安汽車(chē)母公司突然更名:從“中國(guó)長(zhǎng)安”到“辰致科技”
-

豆包前負(fù)責(zé)人喬木出軌BP后續(xù):均被辭退
-

字節(jié)AI Lab負(fù)責(zé)人李航卸任后返聘,Seed進(jìn)入調(diào)整期
最新活動(dòng)更多
-
6月30日立即申請(qǐng)?jiān)囉?> 【免費(fèi)試用】旭之源工業(yè)電源一一機(jī)器人的穩(wěn)定“心臟“
-
精彩回顧立即查看>> 【限時(shí)免費(fèi)】物理場(chǎng)仿真助力生物醫(yī)學(xué)領(lǐng)域技術(shù)創(chuàng)新
-
精彩回顧立即查看>> 【直播】 智測(cè)未來(lái)·2026海克斯康春季產(chǎn)品創(chuàng)新日
-
精彩回顧立即查看>> 【線下論壇】新唐科技×芯唐南京 2026 年度研討會(huì)
-
精彩回顧立即查看>> OFweek 2026(第十五屆)中國(guó)機(jī)器人產(chǎn)業(yè)大會(huì)
-
精彩回顧立即查看>> 維科杯· OFweek 2025中國(guó)機(jī)器人行業(yè)年度評(píng)選
推薦專(zhuān)題
-
2 華為,重大突破!
- 1 人形機(jī)器人“第一股”來(lái)了!宇樹(shù)科技即將上會(huì)
- 2 全球股市陷AI獨(dú)大結(jié)構(gòu)性瘋狂
- 3 AI狂歡遇上油價(jià)破百,全球股市還能漲多久? | 產(chǎn)聯(lián)看全球
- 4 DeepSeek融資500億,梁文鋒難逃資本局
- 5 谷歌2026 I/O大會(huì)完整回顧:模型依然重要,但智能體正在接管一切
- 6 全球資本,重倉(cāng)中國(guó)機(jī)器人
- 7 Figure AI 交付突破350臺(tái),陪跑特斯拉會(huì)迎來(lái)iPhone 時(shí)刻嗎?
- 8 Anthropic發(fā)布2028年全球AI領(lǐng)導(dǎo)力的兩種情景報(bào)告
- 9 “國(guó)產(chǎn)GPU第一股”摩爾線程首季扭虧,但造血能力仍待考驗(yàn)
- 10 特斯拉宣布監(jiān)督版FSD登陸中國(guó)?
- 高級(jí)軟件工程師 廣東省/深圳市
- 自動(dòng)化高級(jí)工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷(xiāo)售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級(jí)銷(xiāo)售經(jīng)理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術(shù)專(zhuān)家 廣東省/江門(mén)市
- 封裝工程師 北京市/海淀區(qū)
- 結(jié)構(gòu)工程師 廣東省/深圳市


分享





