江南人工智能三大主要应用场景：语音识别、自然语言处理、视觉应用，其中，视觉是发展最为成熟的领域之一。
对于快速发展的AI视觉来说，一个非常重要的基础就是AI芯片。随着落地规模越来越大、场景越来越丰富，对AI视觉芯片也提出了更高要求。哪类芯片更受欢迎？主要落地哪些场景？能够解决哪些行业痛点？本文梳理了18家本土厂商的AI视觉芯片及相关应用，试图分析出一些技术和落地趋势。
根据应用方向来看，市面上的AI视觉方案可以简单划分为三大类：低功耗AI视觉方案、AI IPC模组方案、AI算力盒子。
第一，随着端侧智能需求越来越旺盛，低功耗AI视觉方案在迅速发展，主要应用品类有手机、智能门锁、智能门铃、家用AI摄像机等等。这些方案采用电池供电方式，因此对功耗要求非常高，使得低功耗AI视觉方案成为主流的应用。
面对越来越高的场景复杂度和图像质量要求，传统ISP图像处理技术已近瓶颈。随着参数库逐渐庞大，调试越发困难，开发周期逐步拉长，画质提升的投资收益率也越来越低。此时，画质技术与AI技术的深度融合至关重要。利用AI算力深度学习海量场景和数据，智能调优复杂参数，输出算法模型辅助图像处理，使图像质量突破传统ISP极限。AI与传统ISP的结合趋势在手机中非常突出，并且也在走入泛安防领域。
第二，随着AI视觉应用在泛安防场景落地加速，传统安防的人脸识别、人形检测、入侵侦测等技术需求已经向消费场景渗透，网络摄像头（IP Camera）设备越来越趋向高清化、智能化。
IPC设备本身有一定的开发门槛，需要众多技术支持。而AI IPC模组由于自带应用算法，通常支持多种无线接入方式，且SDK便于用户二次开发，因此比较受欢迎。这类方案相对比较成熟，进入了大批量出货阶段。
第三，AI算力盒子是AI和边缘计算结合的设备，可实现端侧和边缘系统中的高性能计算和AI性能。
随着端侧智能需求提升，数据量也水涨船高，这类“盒子”设备越来越受到市场欢迎，它们往往具备丰富的功能拓展性，包括以太网、USB等接入功能，方便接入各种传感器和外设，如连接摄像头进行图像采集等，支持HDMI显示或CAN工业总线G通信，从而实现视觉识别+数据处理/分析的一站式控制，让数据的传输、处理更高效，一定程度上推动了AI从云端的下沉应用。
剖开这些方案内部，AI视觉主芯片可以简单区分为GPU、CPU/集成GPU、带NPU的SoC、FPGA、以及RISC-V架构芯片等。这些芯片分别面向不同的应用和用户类型，也各自呈现出不同的发展趋势。
其中，基于GPU的开发板可能是许多用户刚开始AI开发时就接触到的，比如NVIDIA TX2或Nano，AMD的APU SoC等。这类产品最大的优势是生态完善，不论是Tensor Flow、Caffe、PyTorch哪种框架，或是哪种AI库，运行起来都很流畅，开发体验也比较好。
第二类CPU/集成GPU，主要针对中低算力需求的应用，只需已有的CPU或是集成GPU就可以满足。优势在于整体硬件成本更低，且方案成熟；缺点就是算力不够大，不能支持太大的AI模型。
第三类是带NPU的SoC，已经越来越成为AI视觉主芯片的一大趋势，它们将NPU与主处理器集成在一起，可满足中高算力需求。这方面的代表有海思3519AV100、Hi3559A，瑞芯微RK3399Pro、RK1808等。由于是单芯片，硬件成本也适中，挑战主要在于模型的量化部署方面，以及模型部署工具的成熟度，主要依赖于芯片厂商成熟的工具链支持江南。
除了这类单芯片设计，市面上还有一类神经计算加速棒产品，例如Intel Movidius、瑞芯微等都提供这类产品，可以通过USB插到板卡上提供运算能力。但是这类方案需要进行相互之间的数据传输，对于整体的方案设计、硬件的稳定性等都有一定挑战。
第四类基于FPGA的主控芯片，主要满足对实时性要求较高的应用，比如自动驾驶/辅助驾驶、工业级应用等。挑战在于开发难度，涉及一些自研AI加速FPGA逻辑，需要底层的加速设计和量化方案设计，以及相应的转换、编译。
第五类是RISC-V架构的芯片，近两年得到了较大的发展。比如嘉楠基于双核64位RISC-V架构+ISP图像处理器的K510、全志科技最新推出的ARM Cortex-A7+RISC-V协处理核的多目异构AI视觉芯片V853、晶视智能基于平头哥的双核RISC-V IP+TPU+ISP的AI视觉芯片等。
由于需要进行图像处理，这类芯片往往需要采用RISC-V主处理器+ISP或是Arm CPU+RISC-V协处理器的异构形式，以应对更大的算力需求和更高的图像处理性能。
马里亚纳X影像处理芯片基于自研DSA架构，其中包含多个IP：有自研NPU IP—MariNeuro、自研ISP IP—MariLumi、自研MIPI接口IP、Arm控制IP，以及自主设计的双层内存系统等。MariLumi主要进行图像信号的降噪和HDR处理，MariNeuro主要负责AI降噪算法加速，自研MIPI用于对接各种图像传感器，包括OPPO和Sony定制的传感器，Arm控制IP主要用于I/O口控制等，双层内存架构用于内部数据搬运。
vivo最近宣布新一代自研影像芯片由传统ISP架构升级到了AI-ISP架构，可实现 1.3 万亿 bit /s的数据吞吐速率，16.3 Tops/w能效比，夜景视频降噪效果提升 20%。
基于AI-ISP架构革新，vivo新一代自研芯片实现了三大突破：第一、片上内存单元的升级，带来了每秒1.3万亿bit的数据吞吐速率，拥有了强大的算力保障。第二、AI计算单元的升级，带来超高能效比，DLA加速器的峰值能效比达到每瓦16.3 万亿次运算。第三、图像处理单元的升级，提升了AI-NR降噪、HDR影调融合、MEMC插帧等算法效果。
MediaTek天玑9000在影像技术方面比较有代表性，采用Imagiq 790 ISP，处理速度最高可达90亿像素/秒，据称几乎是竞争对手的3倍。集成了第 5 代 APU（APU590）旗舰级 AI 处理器，性能和能耗表现相比上代均提升 400%。以 GPU+APU 协同工作，平衡功耗与画质需求。通过游戏 AI 低负载技术，GPU 只需更低的渲染资源消耗，就能获得接近原生高分辨率的画质，起到提升游戏画质同时降低功耗的作用。短视频也是目前最受用户喜爱的重点应用之一，APU590 可为抖音带来 2K 超分视频体验，画面清晰度可提升 18%，让 2K 短视频高清视觉体验触手可及。
爱芯元智先后推出了AX630A、AX620A、AX620U、AX170A两代四颗端侧、边缘侧AI视觉感知芯片。AX630A针对智慧城市、智慧交通等密集场景，以暗光图像视频处理能力和20路1080p 30fps的解码能力为主要卖点；AX620A则更强调这些场景下满足电池应用方案的低功耗优势，兼顾IoT、智能运动相机、手机等应用场景。
Pre ISP芯片AX170A今年3月通过手机客户验收，正式进入商用阶段，落地消费领域。这是一颗影像专用AI处理芯片，最高算力28.8TOPS，独立DDR带宽最高可达8.5GBps，可对4K 30fps（每秒传输帧数）影像实时画质优化，配合主控芯片可实现超级夜景视频和暗光拍摄功能，完成4K夜景视频的预览和拍摄。
在暗光场景，海思综合利用8级3D降噪和多光谱融合多种技术提供暗光成像品质。其中8级3D降噪技术利用8级滤波器进行降噪处理，它可以在空域滤波过程中同时实现图像去噪和增强，以及在时域滤波过程中混合两种不同的时间模式。8级3D降噪技术还包含两个用于细节增强的IE模块和一个锐化模块，可以在实现更强的去噪的同时，保留并增强更多的图像细节。而多光谱融合则通过红外补光，在ISP将可见光、850nm、940nm等常见光谱融合，在不增加光污染的同时，最终使图像效果达到暗光全彩，细节纹理丰富，过曝区和非过曝区准确处理。
此外，市面上还有搭载海思Hi3559A等芯片的AI算力盒子，这款芯片深耕于高性能影像处理，通过DSP可以加速视频解码，且拥有NNIE来支援深度学习神经网路，可以做到影像大解析度的分析以及高速的资讯交互传输，适合智慧安防及智慧零售等相关影像视觉AI应用。
国科微2015年进入安防IPC领域，正逐步构建安防前后端全系列布局。基于新一代AI ISP引擎，国科微最新推出高端IPC SoC GK7608。面对夜间彩色成像难题，GK7608引入 “黑白彩色双光融合”技术，无需补充白光，在夜晚仍可获得光彩鲜艳的图像，为客户提供高质量的低噪全彩方案。GK7608搭载高算力双核NPU实现多个神经网络并行运算，可应用到200个人/车的高密度场景，消除高密度场景盲区。
顺应智能化和超高清发展趋势，NVR芯片必须支持更多的接入路数，具备更高的清晰度、集成智能分析能力。国科微NVR SoC GK7618可同时解码24路1080P30 视频，集成多核处理器和图像分析处理器，支持后端多种智能算法应用，提供高性能、智能化、易开发的NVR方案。
瑞芯微三大类视觉芯片包括智慧视觉方案RV1126和RV1109、AIoT平台RK3568、边缘计算高性能平台RK1808和RK399Pro，可满足不同场景的算力需求。
基于自研的ISP 2.0技术及NPU性能，RV1126及RV1109适用于智能网络摄像头IPC、电池IPC/智能门铃、门禁/闸机、智慧屏摄像头及车载视觉等应用场景。RK3568主要面向网络视频录像机（NVR&XVR）、云终端、物联网网关、智能闸机/门禁等领域。采用四核A55架构CPU，G52 GPU；内置NPU，可提供1T算力。内置独有的ISP图像处理器，支持8M处理能力，强大的HDR，支持畸变矫正、去雾、噪点消除等功能。RK3399Pro和RK1808是瑞芯微第一代内置有NPU的高性能人工智能处理器，算力3T，应用于各类对算力有较高要求的嵌入式智能产品。
视觉AI应用协处理器T02拥有8T计算能力，全速运行情况下功耗1.5W，可以搭配各大平台实现视频结构化——车牌、车型、人脸、人形，完成检测及分析，用于平安城市、电力、学校等多种安防项目中。
最新一代智能视频SoC芯片T31系列采用22纳米工艺，拥有1.8G主频，最高支持500万25帧。可在设备端集成君正的系列深度学习算法，包括深度学习的人形、人脸、车牌的检测和识别。相较于传统的CV算法，君正深度学习算法在复杂环境如遮挡、大角度等场景下更准确，解决了CV算法的痛点，赋能端级AI，主要应用包括智能门铃、HIVE智能卡片机、热成像与人脸识别一体机等。
全志科技最新发布了V853多目异构AI视觉芯片产品，采用三核异构设计，包括Arm Cortex-A7主核、RISC-V协处理核与AI NPU。其中，Arm Cortex-A7主核可适应于兼容各类应用开发调试，RISC-V协处理核重点负责各类传感器场景，提高实时响应速度江南，AI NPU则专注解决复杂多变的视觉检测识别场景，其检测识别帧率相较于传统CPU方式可最少提升20倍以上。三核异构解决了传统单核面对复杂视觉场景体验不佳的痛点问题。这款芯片已进入量产阶段，多个目标细分市场客户正在进行产品方案开发和优化工作，不久即将面市。
勘智K510是嘉楠公司推出的第二代AI边缘侧推理芯片，提供高性能的图像及语音处理能力。K510-CORE是核心模组，板载一颗K510芯片，CPU采用双核64bit RISC-V架构，K510搭载自主研发的第二代神经网络处理器KPU2.0，采用计算数据流技术，算力较上一代提升3倍同时降低功耗。板载内存为512MB 。支持两路MIPI串行图像输入和一路DVP并行图像输入，支持1路MIPI图像输出江南。可用于工业/专业相机、3D识别模组、考勤门禁门锁智能终端、AI教育开发板/机器人等。
云天励飞嵌入式视觉AI大脑芯片DeepEye1000是一款异构多核视觉分析SoC芯片，内嵌自定义指令集神经网络处理器，可广泛用于摄像机以及数字城市、新零售等场景。
针对机器人市场，云天励飞基于DeepEye1000打造了Mini PCIe AI加速卡，能够快速满足机器人厂商对现有产品和方案智能升级的需求。应用云天励飞DeepEye1000的厂商不仅能够直接应用云天励飞自研的上百种计算机视觉算法，也能够通过云天励飞的开放的工具链，搭载自研或第三方厂商的算法。
亿智电子SH系列AI芯片，支持基于深度神经网络的指尖识别、文字识别(OCR)、手势识别、人形跟踪、人脸检测、人脸识别、骨骼分析等智能算法，为智能云台、扫译笔、消费和办公场景摄像头提供AI算力。SV系列AI芯片主要面向视像安防场景，集成人脸识别、口罩识别、支持红外测温等功能，实现无接触式测温、考勤、鉴权等功能，广泛应用于考勤门禁、AI-IPC等。
在汽车电子领域，SA系列的AI芯片集成高级驾驶辅助系统(ADAS)、驾驶员行为监控(DMS)、盲区检测(BSD)等智能算法，应用于AI行车记录仪、智能部标机、电子后视镜、智能车载摄像头等智能车载电子产品。
清微智能TX510是一款面向IoT设备的超低功耗视觉处理芯片，基于可重构计算架构，内置3D引擎支持AlexNet、GoogleNet、ResNet、VGG等主流神经网络，可实现人脸识别、物体识别、手势识别、目标跟踪等功能。清微智能的可重构技术通过实现“软件可编程、架构能变换”的能力，在同等功耗下具有更强算力，并具有低成本、应用开发简便等特征。
TX510芯片的AI算力为1.2T(Int8)/9.6T(Binary)，峰值功耗小于450mW，启动时间小于200ms，AI有效能效比达5.6TOPS/W。支持3D结构光，支持3D活体检测、红外活体检测、可见光活体检测等，可以抵御照片、视频等二维攻击，面具等三维攻击。可广泛应用于智能安防、金融支付、机器人、航空航天等多种领域。
XM530BX0-LP1 是一款多功能高效的网络视频处理器芯片，包含了雄迈第三代ISP处理技术，相比传统的ISP除了功能，还支持透雾、宽动态、以及RGB-IR等新一代特征。同时该芯片还支持H.264/H.265，MJPEG等视频、图像压缩编码及视频传输，能够高效地完成图像编码及传输。ISP图像处理具有最大300W 像素(2048*1536)图像处理能力，支持bayer图像输入，支持MIPI CSI接口输入。可方便应用于视频监控，网络处理等方面的应用。
WTM8000系列是一款针对视频增强处理的存算一体AI处理芯片，可实现基于AI的各种视频增强处理，包括物体识别、分类检测，以及视频增强等算法，适应于各种高能效复杂边缘计算场景；能为视频显示提供4K/PS 的插帧、超分、HDR宽动态和降噪能力；能为AI-ISP提供的高能效NPU及高清视频增强能力，例如HDR宽动态、降噪处理等。WTM8000系列产品通过3D IC融合高能效存内计算与先进逻辑工艺，实现高算力、低功耗与高性价比 的AI解决方案。
晶视智能CR182x系列芯片采用平头哥RISC-V C906内核，是一款定位于泛安防市场的轻智能AI视觉芯片。该芯片具备0.5 TOPs算力，支持2路MIPI或者DVP视频输入，最大分辨率2880*，内置DDR以及百兆MAC PHY。这款芯片除了采用双核RISC-V，还集成了晶视智能自研的TPU、ISP，在9X9平方毫米的小封装尺寸上提供双摄+屏显+内建DDR的紧凑设计。
酷芯AR9201以自研ISP边缘端芯片技术加视频****完成高清图片和影像传输，支持超低延时基带芯片补足5G通讯、CPU算法调度和4颗DSP处理全向视觉避障信息，集通信、图传、避障、算法调度于一体。
针对无人机应用，酷芯端侧AI SoC芯片包括影像视觉和机器视觉功能，用于目标检测、识别、分析、跟踪、三维重建等。目前，酷芯影像及智能视觉处理芯片已历经一代AR9201、二代ARD33和AR9341，将在未来发布三代AR9521和AR9541。
地平线系列AIoT芯片有旭日3M和旭日3E两个型号，分别应对不同AI算力的需求。旭日3系列能够接入4到8路摄像头，摄像头分辨率可支持最高1200万像素，硬件支持多摄像头之间的精确同步，也可支持对于摄像头进行校正，内置的高性能ISP，可以进行高效能的图像处理，得到清晰、高质量画质，再加上高性能低带宽的特性，旭日3系列能够支持智能NVR、DVR在车载里面的环视，以及各种常见的视觉应用。
智能驾驶芯片方面，地平线产品也是由视觉处理向多传感器数据融合方向发展。征程5芯片可实现传感器融合，算力/功耗达到96TOPS/20W。
由于AI的出现，处理器架构已经发生了翻天覆地的变化，把算法和处理器进行联合优化已经成为重要趋势。跨界阵营的扩大，也将继续延伸AI视觉应用的多样化功能，创造出更多更为贴近用户需求的产品。
据Counterpoint数据，2023 年由 SoC 驱动的具有专用AI核心的智能手机的比例预计将超过75%，而 2020 年时这个数字仅约为 35%。未来 1-2 年，独立的 AI 核心不仅会运用在旗舰机、高端机上，还会在主流机、入门机中得到大量普及。
智能家居方面也值得期待。视觉和传感交互的应用有望成为语音之后智能家居新的增长点，智能家居设备将向多模态交互发展，进一步催生可移动性产品的发展。更多的智能家居细分场景以及单品点位将持续爆发，尤其是围绕安全需求的单品与系统，将会更加具有前瞻性与突破性。
在工业领域，AI视觉已被誉为工业之“眼”，正逐步代替人眼，深度赋能智能制造。同时，在汽车智能化的趋势下，AI视觉也已经围绕舱内智能、ADAS等应用展开竞争。
我们已经进入了海量数据爆发的时代，端边云协同的AI视觉产业正在形成，这对算力、算法、数据、模型等又提出了新的要求。AI视觉已经在工业、消费、泛安防等领域逐步实现商用价值，未来也将继续在更多领域步入规模化落地应用，国产AI芯片也将迎来新的发展机遇。
*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。
官方微博
