武漢2023年6月26日 /美通社/ -- 近日,黑芝麻智能發(fā)布了武當(dāng)系列智能汽車跨域計(jì)算平臺及其首款芯片C1200。C1200的特色之一在于搭載了黑芝麻智能新一代自研NeuralIQ ISP模塊,為圖形計(jì)算提供更精準(zhǔn)的數(shù)據(jù)。在由黑芝麻智能主辦的"2023智能汽車芯片高峰論壇"上,公司圖像科學(xué)總監(jiān)王超發(fā)表主題為"黑芝麻智能NerualIQ ISP技術(shù)讓汽車洞察秋毫"的演講,全面解析這一技術(shù)。
通常情況下,ISP有很多常見的處理模塊,比如白平衡、自動(dòng)曝光控制、自動(dòng)對焦等。黑芝麻智能的NeuralIQ ISP在安防、手機(jī)、汽車三大場景具有全平臺的處理能力。三種場景對ISP的要求不盡相同。王超介紹,針對車載應(yīng)用,黑芝麻智能對ISP進(jìn)行了三大方面的優(yōu)化。
算法優(yōu)化
算法層面的優(yōu)化涉及到無幀延時(shí)的多幀降噪、夜晚去運(yùn)動(dòng)模糊、高亮高飽和區(qū)域色彩和細(xì)節(jié)保持、不同光譜sensor的色彩一致性四個(gè)方面。
黑芝麻智能設(shè)計(jì)了無幀延時(shí)的多幀降噪,去噪的同時(shí)保持多幀圖像的特征。在ISP里盡量保留多幀圖像共有的信息,使得對外界環(huán)境的可讀性得到提升。
運(yùn)動(dòng)模糊的寬度取決于在曝光時(shí)間內(nèi)運(yùn)動(dòng)物體投影在像素平面上的寬度,針對夜晚環(huán)境下的運(yùn)動(dòng)模糊情況,黑芝麻智能采用了減曝光+增增益+多幀降噪的方案,使得夜晚運(yùn)動(dòng)模糊時(shí)的圖像質(zhì)量得到更進(jìn)一步提高。
交通環(huán)節(jié)有很多重要信息都是比較高亮、高飽和的信息,黑芝麻智能通過算法改進(jìn)實(shí)現(xiàn)了顏色矯正、細(xì)節(jié)保持,從而為后端的感知算法提供更加準(zhǔn)確的數(shù)據(jù)。
有效的色彩管理手段(AWB/CCM/3DLut等)不只使得常見光譜種類的sensor的輸出圖像的色彩一致,針對不同光譜種類sensor的數(shù)據(jù)也可以做到色彩一致化。黑芝麻智能通過RGBIr的色彩處理和恢復(fù),在即使有紅外影響的情況下,也可以得到和人類感知比較一致的顏色,為后端感知算法提供更加一致的輸入。
IP設(shè)計(jì)優(yōu)化
算法上優(yōu)化之外,黑芝麻智能在ISP的IP設(shè)計(jì)上也進(jìn)行了優(yōu)化。比如,車載環(huán)境下需要應(yīng)用的相機(jī)越來越多,黑芝麻智能通過IP設(shè)計(jì)手段,使用可以共享的邏輯來處理多個(gè)數(shù)據(jù),讓一系列的計(jì)算邏輯可以被復(fù)用,以此方式減少芯片面積。
同時(shí),黑芝麻智能的NeuralIQ ISP支持在線處理模式,可以用來減少車載圖像的處理數(shù)據(jù)延時(shí)。簡單而言,從第一個(gè)數(shù)據(jù)輸入到ISP輸出第一個(gè)數(shù)據(jù),在線處理模式的延時(shí)一般小于2毫秒。
全面的ISP IQ調(diào)試流程
對于ISP的調(diào)試工作,黑芝麻智能為NeuralIQ ISP模塊設(shè)置了模組性能檢查,模組參數(shù)標(biāo)定和調(diào)優(yōu),并配備調(diào)試工具。
模組性能檢查涉及模組缺陷、MTF、DOF、炫光、紅外、漏光等。模組參數(shù)標(biāo)定和調(diào)優(yōu)包括鏡頭暗角標(biāo)定(LSC)、色彩校正矩陣標(biāo)定(CCM)、白平衡標(biāo)定(AWB)、噪聲標(biāo)定和調(diào)試。
在此基礎(chǔ)上,黑芝麻智能會(huì)對NeuralIQ ISP進(jìn)行客觀和主觀的測試工作??陀^從鏡頭亮度陰影、鏡頭色度陰影、色彩準(zhǔn)確性、白平衡準(zhǔn)確性和灰階測試幾方面展開。主觀測試則是在車載的主觀場景下進(jìn)行,例如白天、黑夜、日落等光照環(huán)境,隧道、車庫出入口、交通信號燈、車道線、十字路口等特殊環(huán)境,以及顛簸路面、反光路面、極暗光照等極端環(huán)境。
NeuralIQ ISP是黑芝麻智能兩大核心自研IP之一,適用于智能駕駛環(huán)視感知、前視感知、駕駛監(jiān)控等應(yīng)用場景。王超表示:"希望我們的ISP能夠使接入的車載相機(jī)得到更合理的圖像效果,提供給后端感知算法使用,幫助自動(dòng)駕駛能夠更順利地向前一步。"