無(wú)處不在的機(jī)器視覺(jué)

無(wú)人機(jī)越來(lái)越聰明了！很多使用者都有這樣的感慨。從前操作無(wú)人機(jī)都要小心翼翼，唯恐突遇障礙物擋道，遭遇炸機(jī)之慘禍。現(xiàn)在的無(wú)人機(jī)則完全可以騰挪躲閃，及時(shí)回避飛行路徑中的各種障礙物，讓很多初學(xué)者也可以輕易駕馭。

變聰明的無(wú)人機(jī)有什么秘技嗎？答案就是有了機(jī)器視覺(jué)技術(shù)的加持。通過(guò)機(jī)器視覺(jué)技術(shù)，無(wú)人機(jī)不但能感知障礙物，還能知道自己和障礙物的距離，實(shí)現(xiàn)精準(zhǔn)的避障和繞障。

機(jī)器視覺(jué)的概念源自于機(jī)器人領(lǐng)域，美國(guó)機(jī)器人工業(yè)協(xié)會(huì)對(duì)其定義為：“通過(guò)光學(xué)的裝置和非接觸的傳感器自動(dòng)地接收和處理一個(gè)真實(shí)物體的圖像，以獲得所需信息或用于控制機(jī)器人運(yùn)動(dòng)的裝置。”

機(jī)器視覺(jué)常以完整系統(tǒng)形式出現(xiàn)，通?？蓜澐譃楣鈱W(xué)成像、圖像傳感器、圖像處理、IO和顯示等五大模塊。這其中，以全局快門Global Shutter （以下簡(jiǎn)稱GS）CMOS傳感器為代表的圖像傳感器推動(dòng)了機(jī)器視覺(jué)系統(tǒng)近幾年的大發(fā)展。

（圖片來(lái)源于騰訊視頻：思特威Global Shutter技術(shù)與前沿機(jī)器視覺(jué)應(yīng)用視頻）

正是有了CMOS圖像傳感器，機(jī)器視覺(jué)早已不再是工業(yè)自動(dòng)化領(lǐng)域的專屬名詞并已經(jīng)輕松融入了我們的生活當(dāng)中，因此也有了“消費(fèi)級(jí)機(jī)器視覺(jué)”這一新興領(lǐng)域及概念。比如，進(jìn)入很多家庭的掃地機(jī)器人，配備了機(jī)器視覺(jué)技術(shù)，可以徹底清掃衛(wèi)生死角。小巧便捷的翻譯筆，因機(jī)器視覺(jué)技術(shù)，可以讀懂多種語(yǔ)言。而工業(yè)自動(dòng)化生產(chǎn)線上，依然使用機(jī)器視覺(jué)系統(tǒng)自動(dòng)完成高度精密的自動(dòng)化制造及對(duì)不良產(chǎn)品的檢測(cè)等。

而隨著AI應(yīng)用的廣泛落地，例如掃臉支付、人臉識(shí)別門禁/門鎖更是以極快的速度滲透到了人們的工作和生活中。連商場(chǎng)里也不乏智能互動(dòng)電子屏、智能穿衣鏡等基于AI及機(jī)器視覺(jué)的交互類智能視頻設(shè)備的身影。

總體來(lái)看，CMOS圖像傳感器已借由“消費(fèi)級(jí)機(jī)器視覺(jué)”的紐帶與我們的生活完美契合在了一起。

（圖片來(lái)源于騰訊視頻：思特威Global Shutter技術(shù)與前沿機(jī)器視覺(jué)應(yīng)用視頻）

CMOS傳感器的新崛起

CMOS是當(dāng)今主流的圖像傳感器技術(shù)之一，與之對(duì)應(yīng)的是曾經(jīng)的霸主CCD圖像傳感器。

1970年，CCD圖像傳感器在Bell實(shí)驗(yàn)室發(fā)明，CMOS圖像傳感器在NASA的噴氣推進(jìn)實(shí)驗(yàn)室JPL制造成功。但是，CCD依靠高量子效率、高靈敏度、低暗電流、高一致性、低噪音等特性，一直成為圖像傳感器市場(chǎng)的主導(dǎo)，直到90年代末才被CMOS拉下神壇。

與CCD圖像傳感器相對(duì)比，CMOS圖像傳感器具有低功耗、低操作電壓、片上集成功能、性價(jià)比高等優(yōu)勢(shì)，但是在初期由于相對(duì)較差的性能和較大的像素尺寸，并沒(méi)有得到重視。后來(lái)隨著工藝制程水平的不斷提高，CMOS圖像傳感器才逐漸開(kāi)始展現(xiàn)出CCD圖像傳感器不具有的優(yōu)勢(shì)，在圖像傳感器領(lǐng)域的市場(chǎng)攻城略地。時(shí)至今日，手機(jī)、相機(jī)已經(jīng)全部淪為CMOS傳感器的天下。

不過(guò)CMOS圖像傳感器卻絲毫沒(méi)有止步的意思。進(jìn)入21世紀(jì)后，隨著機(jī)器視覺(jué)在工業(yè)自動(dòng)化、無(wú)人機(jī)、智能家電中的應(yīng)用，CMOS圖像傳感器又迎來(lái)了新一輪的發(fā)展浪潮。

因?yàn)闄C(jī)器視覺(jué)的應(yīng)用特性，CMOS圖像傳感器面臨新的挑戰(zhàn)。如果以前只是要求成像細(xì)致、色彩鮮艷的話，現(xiàn)在則要求快速捕捉（高幀率），無(wú)形變（全局快門）和非可見(jiàn)光下成像（近紅外增強(qiáng)技術(shù)）。畢竟，這次服務(wù)的對(duì)象從人換成了機(jī)器。

GS的引入是一個(gè)重大革新。它使得CMOS傳感器同時(shí)曝光來(lái)擷取不失真的運(yùn)動(dòng)物體圖像，這對(duì)機(jī)器視覺(jué)的領(lǐng)域有重大意義。

GS的基本原理是傳感器可以同時(shí)掃描圖像的整個(gè)區(qū)域。在GS傳感器中，使用所有像素同時(shí)捕獲圖像。

舉例來(lái)說(shuō)，以前的背照式（BSI）傳感器均為卷簾快門，因而會(huì)在拍攝高速運(yùn)動(dòng)的物體時(shí)產(chǎn)生“果凍效應(yīng)”造成物體嚴(yán)重變形，但擁有全局快門的傳感器則能夠通過(guò)讓傳感器上的單個(gè)像素點(diǎn)在同一時(shí)間捕捉到光線信號(hào)從而有效解決這一問(wèn)題。

而最早洞察這一趨勢(shì)的是一家國(guó)內(nèi)的圖像傳感器設(shè)計(jì)公司，思特威在2017年就以前瞻性的眼光開(kāi)始布局其GS技術(shù)的研發(fā)，并于2018年就發(fā)布了全球首款基于BSI像素工藝的商業(yè)級(jí)30萬(wàn)像素GS CMOS圖像傳感器——SC031GS，成為率先進(jìn)入“消費(fèi)級(jí)機(jī)器視覺(jué)”應(yīng)用領(lǐng)域的CIS企業(yè)先鋒。

該產(chǎn)品創(chuàng)造性地將BSI像素設(shè)計(jì)工藝與GS圖像傳感器設(shè)計(jì)巧妙結(jié)合在一起，提供信噪比更佳、靈敏度更高與動(dòng)態(tài)范圍更大的成像性能，可應(yīng)用于智能讀碼器設(shè)備、無(wú)人機(jī)、智能模組（Gesture Recognition/ vSLAM/ Depth Information/ Optical Flow）等諸多圖像識(shí)別類AI應(yīng)用領(lǐng)域，而GS CMOS傳感器也迎來(lái)了無(wú)比寬廣的發(fā)展空間。

戰(zhàn)略眼光成就GS傳感器新貴

作為圖像傳感器領(lǐng)域的前沿，GS CMOS傳感器的研發(fā)成為了業(yè)界關(guān)注的焦點(diǎn)。尤其是，高分辨率的GS CMOS設(shè)計(jì)和生產(chǎn)門檻都很高。

可喜的是，以思特威為代表的中國(guó)高新CIS企業(yè)已經(jīng)在這個(gè)領(lǐng)域占據(jù)了先機(jī)。就在前不久舉行的SPM 2020思特威合作伙伴大會(huì)上，思特威創(chuàng)始人兼董事長(zhǎng)兼CEO徐辰博士指出，除了在安防應(yīng)用領(lǐng)域繼續(xù)保持領(lǐng)先的市場(chǎng)份額外，思特威早在2017年就布局的消費(fèi)級(jí)Global Shutter圖像傳感器市場(chǎng)今年亦收獲佳績(jī)，在消費(fèi)級(jí)機(jī)器視覺(jué)領(lǐng)域出貨量躍居全球首位！面對(duì)這樣的市場(chǎng)成績(jī)，思特威并未停下對(duì)GS技術(shù)進(jìn)階創(chuàng)新的腳步。在SPM 2020大會(huì)上徐辰博士繼而發(fā)布了思特威2nd Gen SmartGS? 技術(shù)，通過(guò)提升pixel size來(lái)增加感度和暗光效果，提升率可達(dá)30%，另一方面采用并行電壓域讀取，大大提升了最大快門速度，完善對(duì)高速運(yùn)動(dòng)物體的清晰抓拍。據(jù)介紹，該技術(shù)基于全新的電容工藝，其讀取噪聲可降低一倍以上，同時(shí)兼具區(qū)域 HDR技術(shù)，可大大提升特定位置的動(dòng)態(tài)范圍，解決了夜間拍攝信號(hào)燈成像過(guò)曝等問(wèn)題，可謂大放異彩。而下一代3rd Gen SmartGS? Technology的研發(fā)已經(jīng)在路上，預(yù)計(jì)將在明年和大家見(jiàn)面。

在尖端GS技術(shù)的加持下，思特威今年陸續(xù)推出了數(shù)款賦能不同機(jī)器視覺(jué)應(yīng)用領(lǐng)域的GS產(chǎn)品。如賦能智能駕艙DMS系統(tǒng)的全新130W像素全局快門圖像傳感器——SC133GS，采用2.7μm像素及1/4″光學(xué)尺寸，憑借思特威領(lǐng)先的GS技術(shù)優(yōu)勢(shì)，可以為DMS系統(tǒng)及時(shí)提供無(wú)形變、無(wú)偽影的高清可識(shí)別影像，為系統(tǒng)進(jìn)行及時(shí)精確的判斷提供堅(jiān)實(shí)的基礎(chǔ)，有效監(jiān)測(cè)駕駛員駕駛狀態(tài)，保障行車安全。

（圖片來(lái)源于思特威SC133GS產(chǎn)品發(fā)布新聞）

而在智能交通系統(tǒng)（ITS）應(yīng)用領(lǐng)域，思特威今年亦發(fā)布了SC410GS，該產(chǎn)品采用400萬(wàn)的BSI像素結(jié)合全局快門技術(shù)，可精準(zhǔn)捕捉快速運(yùn)動(dòng)的物體，成像無(wú)尾影、不形變，大大提升了智能交通系統(tǒng)對(duì)車牌的精準(zhǔn)捕捉及高效識(shí)別。而在SPM 2020大會(huì)上，思特威也現(xiàn)場(chǎng)展示了SC410GS覆蓋2-4車道的ITS實(shí)際應(yīng)用演示影像，博得了來(lái)賓的一致肯定。

而后續(xù)，思特威還將發(fā)布面向ITS應(yīng)用更高分辨率的SC910GS（即900萬(wàn)BSI與GS技術(shù)結(jié)合產(chǎn)品）以及在信噪比、高溫成像、近紅外增強(qiáng)及HDR上全性能升級(jí)的SC035HGS（mono/color）產(chǎn)品，賦能更多AI及消費(fèi)級(jí)機(jī)器視覺(jué)應(yīng)用終端。

結(jié)語(yǔ)

隨著硬件方案的不斷成熟和運(yùn)算能力的提升，機(jī)器視覺(jué)在多個(gè)領(lǐng)域應(yīng)用的廣度和深度均在提高。作為核心部件的GS CMOS傳感器，在設(shè)計(jì)和工藝不斷改進(jìn)的條件下，還將繼續(xù)推動(dòng)機(jī)器視覺(jué)的應(yīng)用在各個(gè)領(lǐng)域進(jìn)一步普及，并為人們的生活帶來(lái)更多智能與美好。