有一種芯片，能讓機(jī)器模仿人類(lèi)視覺(jué)系統(tǒng)的特征觀(guān)察世界——這乍一聽(tīng)似乎有些科幻，然而，在清華大學(xué)精儀系教授施路平、趙蓉的帶領(lǐng)下，由精儀系博士生楊哲宇、王韜毅、林逸晗等人組成的一支年輕科研團(tuán)隊(duì)，已經(jīng)將這種芯片變成了現(xiàn)實(shí)，它的名字叫做“天眸芯”。
“天眸芯”不僅能讓機(jī)器擁有類(lèi)似人眼的視覺(jué)感知能力，更開(kāi)創(chuàng)了全新的類(lèi)腦視覺(jué)感知理論和感知芯片技術(shù)，標(biāo)志著中國(guó)在類(lèi)腦計(jì)算和類(lèi)腦感知方向取得重要突破。
2024年5月，基于該研究成果的論文“面向開(kāi)放世界感知、基于原語(yǔ)表示具有互補(bǔ)通路的視覺(jué)芯片”登上《自然》（Nature）期刊封面。該成果入選2024年清華大學(xué)最受師生關(guān)注的年度亮點(diǎn)成果。
“天眸芯”的《自然》封面圖。
讓機(jī)器像人一樣用眼睛觀(guān)察世界
“天眸芯”的研發(fā)開(kāi)始于2018年。彼時(shí)，施路平教授團(tuán)隊(duì)主導(dǎo)設(shè)計(jì)的世界首款異構(gòu)融合類(lèi)腦芯片“天機(jī)芯”取得重要進(jìn)展，它給人工智能提供了一個(gè)算力足夠強(qiáng)大的“大腦”。也是在那時(shí)，施路平前瞻性地提出“感知與計(jì)算并重”的研究發(fā)展路徑——計(jì)算能力提高的同時(shí)，讓人工智能像人類(lèi)一樣感知世界、處理大量數(shù)據(jù)的能力也不可忽視。
為了實(shí)現(xiàn)該目標(biāo)，團(tuán)隊(duì)將目光首先聚焦到了視覺(jué)感知的層次上。視覺(jué)感知作為智能無(wú)人系統(tǒng)獲取信息的核心途徑，發(fā)揮著至關(guān)重要的作用。但在復(fù)雜多變且不可預(yù)測(cè)的環(huán)境中實(shí)現(xiàn)高效、精確且魯棒的視覺(jué)感知，依然是一個(gè)艱巨的挑戰(zhàn)。
在“天眸芯”問(wèn)世之前，傳統(tǒng)視覺(jué)感知芯片由于受到“功耗墻”“帶寬墻”的限制，在應(yīng)對(duì)極端場(chǎng)景時(shí)，往往面臨失真、失效或高延遲的問(wèn)題，嚴(yán)重影響了系統(tǒng)的穩(wěn)定性和安全性。例如，在夜晚的道路上，如果有車(chē)子突然開(kāi)遠(yuǎn)光高速駛來(lái)、隨意變道，裝載傳統(tǒng)視覺(jué)芯片的自動(dòng)駕駛系統(tǒng)往往很難捕捉這一類(lèi)的突發(fā)情況，進(jìn)而導(dǎo)致閃躲不及時(shí)。
主要負(fù)責(zé)硬件系統(tǒng)的王韜毅進(jìn)一步介紹，傳統(tǒng)視覺(jué)感知芯片一般使用均勻時(shí)間的采樣，就如同復(fù)印機(jī)一樣，會(huì)對(duì)所有畫(huà)面一視同仁地記錄。這帶來(lái)的問(wèn)題是，當(dāng)數(shù)據(jù)量過(guò)多、精度要求提高時(shí)，芯片因?yàn)楸仨毘休d過(guò)多無(wú)用信息而響應(yīng)不及時(shí)，就像“死機(jī)”一樣，無(wú)法及時(shí)地“看到”危險(xiǎn)。為了克服這些挑戰(zhàn)，團(tuán)隊(duì)聚焦類(lèi)腦視覺(jué)感知芯片技術(shù)，提出了一種基于視覺(jué)原語(yǔ)的互補(bǔ)雙通路類(lèi)腦視覺(jué)感知新范式。
人體具有視桿細(xì)胞與視錐細(xì)胞兩類(lèi)視覺(jué)細(xì)胞，前者具有很高的感光度，即使在弱光環(huán)境下依然能夠快速感應(yīng)，但其空間分辨率和色彩識(shí)別能力較低；后者的感光度較低，卻能提供較高的視覺(jué)質(zhì)量。同時(shí)，人體還有兩條視覺(jué)通路，其中一條通路側(cè)重于處理顏色、細(xì)節(jié)等高精度的信息，另一條通路則側(cè)重于迅速反應(yīng)，處理突發(fā)危險(xiǎn)。前述兩類(lèi)細(xì)胞感知到的視覺(jué)信號(hào)通過(guò)復(fù)雜的神經(jīng)網(wǎng)絡(luò)，分別投射至上述兩條通路并在大腦中整合，實(shí)現(xiàn)感知精度與反應(yīng)速度的協(xié)同優(yōu)化、共同發(fā)揮作用應(yīng)對(duì)不同情況。
楊哲宇用人眼與照相機(jī)等器械捕捉信息的區(qū)別，說(shuō)明了人類(lèi)視覺(jué)系統(tǒng)的特殊性：一般來(lái)說(shuō)，照相機(jī)在照片拍攝時(shí)，會(huì)將每個(gè)部分平均地進(jìn)行采樣，無(wú)法特別關(guān)注到畫(huà)面中的危險(xiǎn)；然而，人類(lèi)的眼睛除了能看到外界豐富的內(nèi)容和顏色外，還有著挑重點(diǎn)的能力，它能自動(dòng)聚焦關(guān)鍵信息，忽略次要細(xì)節(jié)，并且在危險(xiǎn)出現(xiàn)時(shí)瞬間切換注意力。
“天眸芯”以此種視覺(jué)機(jī)制為靈感，借鑒人類(lèi)視覺(jué)系統(tǒng)的基本原理，模仿人類(lèi)視覺(jué)系統(tǒng)的特征，將感知到的視覺(jué)信號(hào)拆解為光強(qiáng)、時(shí)間變化、空間變化等不同的視覺(jué)元素，再有機(jī)組合形成兩條優(yōu)勢(shì)互補(bǔ)、信息完備的視覺(jué)感知通路。一條通路提供高清晰、色彩豐富的畫(huà)面內(nèi)容，同時(shí)模仿人眼抓重點(diǎn)的能力，讓注意力所在處的內(nèi)容細(xì)節(jié)更加豐富的同時(shí)，比傳統(tǒng)視覺(jué)芯片更加“節(jié)能”；另一條通路主要負(fù)責(zé)處理突發(fā)情況，能夠快速聚焦并做出相應(yīng)反應(yīng)，彌補(bǔ)了傳統(tǒng)視覺(jué)芯片在應(yīng)對(duì)危機(jī)時(shí)的不足與遲緩。這套系統(tǒng)模仿人腦的信息處理模式，將視覺(jué)元素分配到不同的感知通路中，再通過(guò)模仿人腦響應(yīng)機(jī)制，對(duì)相關(guān)信息進(jìn)行連接和協(xié)同，最終實(shí)現(xiàn)信息的高效、穩(wěn)定傳輸。
“天眸芯”實(shí)物圖。
這種創(chuàng)新設(shè)計(jì)帶來(lái)了突破性的性能提升，不僅讓芯片的帶寬降低了90%，消耗更少，更讓其實(shí)現(xiàn)了每秒可處理高達(dá)10000幀的超高速畫(huà)面（遠(yuǎn)超電影的24幀/秒）、10bit高精度、130db高動(dòng)態(tài)范圍的視覺(jué)信息采集范圍。換句話(huà)說(shuō)，“天眸芯”不僅看得快、看得清，還特別省電。
面向未來(lái)：讓人工智能深入日常生活
基于該芯片，團(tuán)隊(duì)還自主研發(fā)了高性能軟件、算法和類(lèi)腦數(shù)據(jù)集，并在開(kāi)放環(huán)境車(chē)載平臺(tái)上進(jìn)行了性能驗(yàn)證。團(tuán)隊(duì)利用“天眸芯”自行搭建了一套汽車(chē)自動(dòng)駕駛系統(tǒng)，并在北京郊區(qū)進(jìn)行了真實(shí)道路測(cè)試。
自動(dòng)駕駛感知演示平臺(tái)。
回憶起實(shí)驗(yàn)過(guò)程，主要負(fù)責(zé)軟件部分工作的林逸晗首先提到了“興奮”的感受：“可能因?yàn)閷?shí)驗(yàn)的未知性吧，大家上路的時(shí)候都很激動(dòng)，當(dāng)然，最后也確實(shí)獲得了很多珍貴的新數(shù)據(jù)?！睂?shí)地實(shí)驗(yàn)具有不確定性，然而也正是因此，團(tuán)隊(duì)才能得到“天眸芯”在突發(fā)情況下的真實(shí)表現(xiàn)。
在多種極端場(chǎng)景下，該系統(tǒng)實(shí)現(xiàn)了低延遲、高性能的實(shí)時(shí)感知推理，在智能無(wú)人系統(tǒng)領(lǐng)域展現(xiàn)了巨大應(yīng)用潛力。實(shí)地實(shí)驗(yàn)為下一步的芯片提升等積累了寶貴的數(shù)據(jù)，也為未來(lái)的長(zhǎng)遠(yuǎn)發(fā)展打下了牢固的基礎(chǔ)。尤其在自動(dòng)駕駛方向上，相比于過(guò)去的芯片，“天眸芯”在感知突發(fā)情況方面的表現(xiàn)更優(yōu)秀。
自動(dòng)駕駛模組外殼。
面向未來(lái)，“天眸芯”將在產(chǎn)業(yè)端與學(xué)術(shù)端進(jìn)一步孵化、發(fā)展。在產(chǎn)業(yè)端，團(tuán)隊(duì)將其從實(shí)驗(yàn)室中的新概念、新產(chǎn)品轉(zhuǎn)化為針對(duì)不同領(lǐng)域的實(shí)用落地應(yīng)用，在當(dāng)前的成果基礎(chǔ)上，繼續(xù)迭代芯片架構(gòu)。趙蓉教授預(yù)計(jì)，該芯片范式有望從類(lèi)人視覺(jué)拓展至類(lèi)人聽(tīng)覺(jué)、嗅覺(jué)等多模態(tài)感知，構(gòu)建更為全面的人工感知體系。
推動(dòng)建設(shè)通用的、生活化的人工智能系統(tǒng)，真正讓人工智能體有機(jī)融入到人類(lèi)的日常生活中，是類(lèi)腦中心全體師生奮斗的目標(biāo)。
“天眸芯”團(tuán)隊(duì)合照，從左到右依次為：精儀系2022級(jí)博士生陳雨過(guò)、2020級(jí)博士生王韜毅、2017級(jí)博士生楊哲宇，精儀系教授施路平、教授趙蓉，精儀系2020級(jí)博士生林逸晗、2020級(jí)博士生曾輝，類(lèi)腦計(jì)算研究中心工程師王佳政。
道阻且長(zhǎng)。對(duì)此，施路平教授常說(shuō)：“膽識(shí)二字，膽在識(shí)前。研究類(lèi)腦的學(xué)問(wèn)，就是要勇于面對(duì)困難，敢于克服困難。”不畏挑戰(zhàn)，勇于創(chuàng)新，是“天眸芯”團(tuán)隊(duì)始終堅(jiān)持的信念。
