寬動態、高幀、低照度一直是 影象感測器 CIS的三個關鍵Feature，所有公司都想在某一個或多個Feature上有所突破，來開啟局面，讓晶片起量、樹立行業地位。但市場早已是紅海，要殺出一條路來不容易，因為 索尼 等巨頭一直在CIS領域深耕，尤其是高階消費類CIS，無論從技術積累、產品成熟度、市場佔有率，索尼都是統治地位。不過其他公司也有自己的打法和生存空間，例如豪威OmniVision走中端消費類CIS和車載類CIS的路線；格科微走中低端CIS的路線，從下往上打；安森美則放棄了消費類，主攻車載類和安防類CIS； 思特威 走安防夜視路線，產品是低照度CIS；安酷智芯、睿創微納、FIIR、Fluke產品都是非製冷紅外CIS，走安防路線。

36氪記者最近了解到深圳一家用AI晶片搭載深度神經網路ISP演算法，來實現夜間全綵拍攝的公司。跟其他企業依靠低照度影象感測器晶片CIS的實現方式完全不同，帶著好奇，記者採訪了深知未來智慧有限公司CEO張齊寧。張齊寧畢業於武漢大學計算機系，在 華為 、騰訊等企業10餘年技術產品經驗，之前也有過創業經歷，在2017年和CTO郭奇鋒一起創業成立深知未來，郭奇峰在百度、 騰訊 搜尋部門有多年技術和產品經驗。他們想用深度學習演算法來解決夜間全綵成像的難題，繞過業界透過低照度CIS晶片從 硬體 上來解決此問題時遇到的瓶頸。

深知未來夜間全綵拍攝和普通相機的對比

張齊寧表示：“人眼透過紅色、綠色、藍色的視錐細胞來構建彩色的世界，CIS正是模擬了這一原理。然而遺憾的是，目前絕大多數CIS在夜間的表現弱於人眼。我們已知的彩色拍攝技術，幾乎都基於延長曝光時間來獲得更多光子輸入來成像，而影片幀率下的全綵成像系統是一個難題，所以團隊決定主攻方向是使用深度學習演算法來打造一個全新的ISP成像體系，突破傳統ISP影象處理體系的硬體限制”。深知未來團隊30多人有20人都是軟體工程師，其中10人是演算法工程師。為了一個專用於極弱光環境下的深度神經網路ISP演算法，三年磨一劍，2020年開始了在海上、礦井、河道等場景下應用落地。在此基礎上，硬體人才的加入，深知未來開始定製搭載深度神經網路ISP演算法的AI晶片-天樞影象處理晶片。

低照度成像

也就是在極弱的環境光下面進行拍攝。最早的 夜視儀 基於光電放大效應，誕生於80年前，而基於熱探測器的熱成像夜視儀距今也已經有70年曆史，真正的彩色夜視技術始於2015年索尼Starvis第一顆專門的低照度CIS晶片，但價格一直居高不下。目前已經成熟的微光成像技術和熱成像技術，在理論上無法向全綵、更高解析度進化。ISO12232 標準規定的可接受畫質的 信噪比 為20dB，優秀是32dB，低照度成像（也稱為極低信噪比成像）需要解決信噪比低於10dB的情況，此時，民用CIS配合傳統ISP晶片和ISP演算法已經無能為力，業界一直努力將極弱光環境下拍攝的人眼不可見的影象增強至白天一樣的效果。

低照度分為星光級0。02lux以下（每單位面積下的光通量），超星光級0。002lux以下，黑光級0。0005lux以下，極弱光環境下引發的極低信噪比問題是世界性難題

深知未來的解決辦法

在極弱光環境下，CIS的輸出中有大量噪聲，包括讀噪聲、熱噪聲、暗噪聲、散粒噪聲等等，而訊號則極為微弱，被湮沒在噪聲中，極難提取，傳統ISP的多種模組都無法正常工作，例如在黑暗中基於傳統ISP的相機就極難對焦。深知未來以計算機視覺和深度學習技術為基礎，打造了一套演算法引擎，針對極低信噪比下的3A、降噪、寬動態、3D LUT、色彩矯正、去模糊、防抖等建立了全新的成像體系，在極低信噪比下成像效果明顯優於傳統ISP。可惜的是，軟體演算法的具體構架張齊寧還無法提供，讓我們無從得知。

技術核心概念：深度神經網路ISP演算法的作用

據張齊寧介紹：“索尼低照度感測器IMX385的SNR1s為0。13Lux，經過了五年的最佳化於2020年推出的新一代低照度感測器IMX482的SNR1s也只提升了將近一倍達到了0。07Lux。而從演算法上的改進還有成百上千倍的提升空間，例如華為P40 pro手機透過7秒長時拍攝，可以將影象亮度提升兩百多倍。但華為的這種技術無法應用在影片成像領域，而深知的目標是在0。03秒的時間內達到類似的亮度提升效果。我們現在交付給客戶的夜視儀用的就是用的CIS晶片+ NPU +深度神經網路ISP演算法這套方案。目前CIS晶片採購的索尼、安森美、思特威的，NPU採購的海思、瑞芯微的，配合自研的深度神經網路ISP演算法，已經做到夜間環境信噪比0dB的情況下，曝光0。03秒就可以ISO感光度7000倍增益了。”

深知未來交付的夜視儀和效果對比

深知未來目前的產品分為專用和通用夜視儀。警用夜視儀產品已經處於小批次交付階段，無人機、礦洞、海上鑽井平臺夜視儀正在緊張進行使用者測試階段，據使用者反饋效果不錯。為了降低定製化帶來的高成本問題，正在研發做一款小型化、通用化的機芯，以後各種使用者或場景首先推薦這款通用型全綵夜視儀，這樣也容易進行規模化生產。計劃在2021年完成定製感測器晶片，不再採購通用CIS晶片；2022年完成定製天樞晶片，搭載自研演算法，同時標準化所有機芯和產品；之後繼續整合化全綵夜視晶片，最終產品形態是一顆集成了感測器和ISP處理器及演算法的低照度全功能晶片。

近日，深知未來完成數千萬人民幣Pre-A輪融資，領投方為梅花創投，跟投方包括耕湧資本、國宏嘉信資本、達晨財智創業資本等機構。本輪融資主要用於極弱光全綵成像產品與系統的研發與市場拓展。