上觀新聞 2025-01-17 09:29:36
本周一,3D生成大模型公司——影眸科技完成數(shù)千萬美元A輪融資。本輪融資由美團(tuán)龍珠、字節(jié)跳動(dòng)領(lǐng)投,老股東紅杉中國(guó)種子基金、奇績(jī)創(chuàng)壇持續(xù)跟投。
專注于3D大模型技術(shù)的影眸科技,是上海科技大學(xué)孵化的創(chuàng)業(yè)企業(yè),同時(shí)也是《2024胡潤(rùn)U25中國(guó)創(chuàng)業(yè)先鋒》25家上榜企業(yè)中的一家。
此次融資將用于影眸科技進(jìn)一步推進(jìn)3D大模型前沿探索,同時(shí)推動(dòng)以3D生成大模型Rodin為核心的Hyper3D系列產(chǎn)品在全球市場(chǎng)的商業(yè)化落地。據(jù)悉,Rodin上線45天后已實(shí)現(xiàn)100萬美金年經(jīng)常性收入(ARR),截至目前已獲得數(shù)百萬元B端商業(yè)化訂單,覆蓋游戲、電商、空間計(jì)算、3D打印、影視等多個(gè)行業(yè)。
令人印象深刻的是,這家公司的團(tuán)隊(duì)成員大多在30歲以下,卻完成了全球領(lǐng)先的3D大模型——Clay的研發(fā)。這一成果與團(tuán)隊(duì)同年研發(fā)的3D服裝生成模型Dresscode同時(shí)獲得SIGGRAPH2024最佳論文榮譽(yù)提名,團(tuán)隊(duì)也成為這一領(lǐng)域內(nèi)唯一在同一個(gè)學(xué)術(shù)頂會(huì)上獲得兩項(xiàng)該提名的中國(guó)團(tuán)隊(duì)。
事實(shí)上,過去幾年里,生成式AI技術(shù)已經(jīng)在文字、圖像、音頻、視頻取得重大進(jìn)展,而3D生成常被認(rèn)為是“世界模型”的“最后一塊拼圖”。Clay的提出顯著提升了3D生成的質(zhì)量,也成了當(dāng)前學(xué)術(shù)界3D大模型最主流的技術(shù)路徑。
Rodin的界面。
【實(shí)驗(yàn)室科研,點(diǎn)燃創(chuàng)業(yè)源點(diǎn)】
影眸科技的首席技術(shù)官,也是影眸科技的創(chuàng)始人之一——張啟煊,出生于1999年的他,是上科大智能視覺與數(shù)據(jù)中心的一名研究生。
在本科時(shí)期,張啟煊便進(jìn)入實(shí)驗(yàn)室參與科研項(xiàng)目,并逐漸對(duì)計(jì)算機(jī)圖形學(xué)和機(jī)器視覺方向的相關(guān)技術(shù)產(chǎn)生濃厚興趣。在導(dǎo)師的指導(dǎo)下,他深入探索3D建模領(lǐng)域的前沿科技。
本科生就能進(jìn)入實(shí)驗(yàn)室做科研,一直是上科大的一大特色。更為特殊的是,影眸科技創(chuàng)始人吳迪不僅參與實(shí)驗(yàn)室科研,更參與實(shí)驗(yàn)室的籌備工作。“從某種角度來說,實(shí)驗(yàn)室的籌備過程也是一種創(chuàng)業(yè)。”在影眸科技創(chuàng)始人吳迪心中,實(shí)驗(yàn)室從無到有的過程本身就是一段寶貴的經(jīng)歷?!爱?dāng)時(shí),實(shí)驗(yàn)室初創(chuàng)時(shí)期的名字叫MARS,張啟煊那時(shí)大二,我是大四。”吳迪介紹,實(shí)驗(yàn)室最初的研究方向是——如何把現(xiàn)實(shí)世界中的人物和物品映射到人放到虛擬世界中。這就需要光場(chǎng)掃描,因?yàn)橛惺铸嫶蟮臄?shù)據(jù)采集需求,實(shí)驗(yàn)室開始打造完全自研、全球領(lǐng)先的光場(chǎng)拍攝系統(tǒng)、數(shù)據(jù)采集系統(tǒng)。
經(jīng)過6年與實(shí)驗(yàn)室伙伴們的共同努力,實(shí)驗(yàn)室搭建了穹頂光場(chǎng)。這個(gè)光場(chǎng)的核心在于,全場(chǎng)布滿可控光源和4000幀/秒的超高速相機(jī)。通過這些設(shè)備,它可以以超高的精度與超快的速度動(dòng)態(tài)掃描面部和物體表面的材質(zhì)、捕捉表情變化時(shí)的肌肉運(yùn)動(dòng)。當(dāng)這些狀態(tài)被放到新環(huán)境中時(shí),它們的高光、陰影都會(huì)隨著環(huán)境的變化而變化?!斑@期間,我們拆掉了一個(gè)又一個(gè)辛苦搭建完成的裝置,最終研發(fā)出了全球最高精度的人臉掃描設(shè)備——穹頂光場(chǎng)系統(tǒng)?!眳堑匣貞浀馈?/p>
上科大MARS實(shí)驗(yàn)室穹頂光場(chǎng)。
在此期間,原本計(jì)劃在2020年參加留學(xué)交換生項(xiàng)目的張啟煊,因疫情而受阻。在導(dǎo)師的勸說和支持下,他決定留下來,與同樣有意創(chuàng)業(yè)的實(shí)驗(yàn)室伙伴吳迪攜手,致力于將實(shí)驗(yàn)室研發(fā)的新興技術(shù)轉(zhuǎn)化落地。2020年,創(chuàng)始團(tuán)隊(duì)獲得了上海科技大學(xué)相關(guān)技術(shù)IP授權(quán),創(chuàng)辦了影眸科技。
【充分的試錯(cuò)平臺(tái)】
雖然有了先進(jìn)的科研成果,但成果轉(zhuǎn)化、商業(yè)化的探索并非一帆風(fēng)順。影眸科技剛成立時(shí),幾乎無人問津,投資、產(chǎn)品都遭遇了很多的不順。
基于穹頂光場(chǎng),公司團(tuán)隊(duì)做了一個(gè)純打光方面的產(chǎn)品。用戶只需要上傳一張照片或者一段視頻,這款產(chǎn)品就可以根據(jù)用戶需要,調(diào)整光源的位置、顏色、強(qiáng)度等參數(shù)。這群年輕的創(chuàng)業(yè)者一度認(rèn)為,終于研發(fā)成功了,就等著客戶上門砸錢。
但,現(xiàn)實(shí)很打臉。
打臉的原因,主要是產(chǎn)品大多并不符合工業(yè)生產(chǎn)標(biāo)準(zhǔn),更多是“躺在象牙塔里的科研”,而很少考慮真實(shí)的市場(chǎng)需求。具體來說,影眸科技當(dāng)時(shí)的技術(shù)與傳統(tǒng)的影視、游戲通用的unity系統(tǒng)并不兼容。所以,在當(dāng)時(shí)很難有客戶買單。
幾經(jīng)周折之后,公司團(tuán)隊(duì)做了一個(gè)痛苦的決定,把所有2D業(yè)務(wù)線全部砍掉,全面擁抱3D,著重研發(fā)新一代穹頂光場(chǎng)。
影眸科技在2021年奇績(jī)創(chuàng)壇。
全面擁抱3D業(yè)務(wù)之后,影眸科技聚焦數(shù)字人領(lǐng)域的研發(fā)。基于以前試錯(cuò)的教訓(xùn),團(tuán)隊(duì)著重研發(fā)與現(xiàn)有影視、游戲業(yè)務(wù)相兼容的系統(tǒng)技術(shù)。通過這項(xiàng)新技術(shù),以前需要3-5個(gè)月才能用的人物超寫實(shí)復(fù)刻,現(xiàn)在3-5天就可以完成,這項(xiàng)技術(shù)目前主要服務(wù)于影視和游戲客戶。
是什么讓影眸科技在不斷試錯(cuò)中,對(duì)未來依然充滿信心?在吳迪眼中,“整個(gè)學(xué)校對(duì)創(chuàng)新有極大的包容性,給學(xué)生試錯(cuò)的平臺(tái)。讓我們能在這里擁抱科學(xué)研究的基本方法和價(jià)值觀,互相包容、鼓勵(lì),誠(chéng)懇勤勉。最重要的是允許彼此失敗,繼而成功,這才給了我們真正的成長(zhǎng)空間。”
【與學(xué)校一起扎根、發(fā)芽】
影眸科技在創(chuàng)業(yè)過程中,上科大給予了什么幫助?
回憶起初創(chuàng)時(shí)期,張啟煊說,上科大孵化器免費(fèi)提供了一個(gè)很大的辦公場(chǎng)地?!霸谝粋€(gè)很大的教室里,大約有兩排位置,共16個(gè)座位。同時(shí),我們還可以共享實(shí)驗(yàn)室資源、孵化器資源,幫我們節(jié)省了一部分成本。這在當(dāng)時(shí),對(duì)我們來說,是很大的支持。”
如果說,場(chǎng)地、成本等這些有形的支持,減輕了初創(chuàng)業(yè)時(shí)期的壓力。那么,寬容失敗的創(chuàng)業(yè)環(huán)境,則給了影眸科技不斷試錯(cuò)、不斷成長(zhǎng)的空間,也讓他們對(duì)未來有更堅(jiān)定的信心。
改進(jìn),并未停止。直到目前,在商業(yè)化的道路上,影眸科技不斷探索市場(chǎng)需求,同時(shí)秉持的“讓研發(fā)能夠真正地被應(yīng)用”的理念,將目光逐漸收束到3D大模型上。去年6月,基于Clay開發(fā)的Rodin Gen-1上線,以它最貼近行業(yè)標(biāo)準(zhǔn)(Production-Ready)的生成質(zhì)量,獲得廣泛好評(píng),幫助用戶實(shí)現(xiàn)高效便捷的3D創(chuàng)作。同年12月,影眸科技發(fā)布Rodin Gen-1.5版本,通過新一代3D原生表達(dá),全面解決了行業(yè)內(nèi)長(zhǎng)期存在的薄面與邊緣銳度問題,再次提高3D生成全行業(yè)商用標(biāo)準(zhǔn)。這次更新再次引發(fā)了全球3D生成領(lǐng)域的關(guān)注,鞏固了影眸科技在3D生成技術(shù)創(chuàng)新與商業(yè)化應(yīng)用領(lǐng)域的領(lǐng)先地位。
影眸團(tuán)隊(duì)SIGGRAPH 展示Rodin 3D生成。
“從某種角度來說,我們公司和上科大是一起成長(zhǎng)的?!?/strong>作為上科大第二屆本科生,吳迪回憶道,“剛?cè)ド峡拼蟮臅r(shí)候,學(xué)校還是一個(gè)大工地,沒有樓也沒有人。陪伴一個(gè)新學(xué)校成長(zhǎng)也是一件十分有趣的事兒。”吳迪告訴記者,我感覺自己一直處于一種創(chuàng)業(yè)的狀態(tài),因?yàn)樵谏峡拼?,每一件事都是新的,都需要從零開始創(chuàng)建。而上科大也從第一批創(chuàng)業(yè)企業(yè)中了解了創(chuàng)業(yè)者的需求,從而不斷“按需完善”自身。
“2020年,上科大還是一所新學(xué)校。選擇一所新學(xué)校,本身就意味著要面對(duì)許多不確定性,這種選擇過程實(shí)際上篩選出了具有創(chuàng)業(yè)精神的學(xué)生。”張啟煊說,正是在學(xué)校這種勇于創(chuàng)新、寬容失敗的氛圍中,我們很快就聚集了一群志同道合、渴望創(chuàng)業(yè)的人。從初創(chuàng)時(shí)期的4人,到8人,直到目前的40多人?!霸S多人并不是我們主動(dòng)招募的,而是在實(shí)驗(yàn)室的工作中逐漸融入了我們的團(tuán)隊(duì)。當(dāng)時(shí),已經(jīng)有人拿到了直博的OFFER。”
“其實(shí),正是大家相信自己正在做的事情是有價(jià)值的,對(duì)未來有一定的信心,在遇到困難時(shí)才會(huì)堅(jiān)持下去,才會(huì)堅(jiān)定地一起走下去?!睂?duì)未來,吳迪、張啟煊和他們的創(chuàng)業(yè)伙伴們充滿信心。
責(zé)編:張德會(huì)
一審:寧?kù)o
二審:肖秀芬
三審:張德會(huì)
來源:上觀新聞
我要問