ISP IP 新闻

ISP IP 新闻

2026 年 11 月 13 日

ASICFPGA 中文网站正式上线,介绍相机 ISP IP 核及无需 DPU 或 NPU 的 AI 降噪 IP 核

AI 2D+3DNR 以 Verilog RTL 实现深度学习空域与时域降噪,已在 AMD Kria KV260 上配合 Sony IMX678 以 1920×1080、30 fps 验证;RTL 可移植到国产 FPGA。

相机图像信号处理器(ISP)IP 核供应商 ASICFPGA 推出简体中文网站(www.asicfpga.com/zh),为中国的 FPGA 与 ASIC 设计工程师提供相机 ISP IP 核、AI 降噪 IP 核以及画质测量软件 ASICFPGA IQ Tool 的完整中文资料。

AI 2D+3DNR:直接在 FPGA 逻辑中实现的深度学习降噪

AI 2D+3DNR 是一款面向极低照度场景的深度学习降噪 IP 核,作为独立 IP 提供,可替代 ISP 内标配的 Advanced 2D+3DNR,供对低照度画质要求较高的客户选用。它在 Bayer 域同时抑制空域噪声和时域噪声,并保留边缘和细微纹理;基于深度学习的运动补偿在时域滤波前将上一帧与当前帧对齐,从而减少运动鬼影,保留运动物体的细节。

在 FPGA 上运行神经网络通常需要 DPU 或 NPU 等专用加速器及其工具链。AI 2D+3DNR 采用 Verilog RTL 直接实现神经网络,量化后的定点权重存储于 FPGA 片上存储器中,仅使用 FPGA 逻辑资源、DSP 模块和片上 RAM,无需 DPU、Vitis AI、NPU 或 GPU,可像普通 ISP 模块一样集成到 ISP 流水线中。降噪强度根据传感器增益自动设定,从正常光照到极低照度均无需手动调整降噪参数。

该 IP 核已与 ASICFPGA 完整的相机 ISP 一起,在 AMD Kria KV260(Zynq UltraScale+ MPSoC)上配合 Sony IMX678 图像传感器以 1920×1080、30 fps 完成验证。对于其他图像传感器,ASICFPGA 会测量图像传感器在不同增益设置下的噪声特性,并据此调整神经网络参数。多个场景、多个传感器增益下的对比视频见 www.asicfpga.com/zh_dnr_ai。

图 1 模拟极低照度下的含噪输入(左)与 AI 2D+3DNR 降噪后(右):街道、手风琴演奏、人像。将无噪声视频转换为 RAW 格式,并根据 Sony IMX678 在传感器增益 48 dB 时的噪声特性(基于 42 dB 实测数据外推)添加噪声,再通过同一 ISP 进行处理。
图 1 模拟极低照度下的含噪输入(左)与 AI 2D+3DNR 降噪后(右):街道、手风琴演奏、人像。将无噪声视频转换为 RAW 格式,并根据 Sony IMX678 在传感器增益 48 dB 时的噪声特性(基于 42 dB 实测数据外推)添加噪声,再通过同一 ISP 进行处理。
完整的相机 ISP IP 核

ASICFPGA 的相机 ISP IP 核接收图像传感器输出的 Bayer 数据,执行 HDR/WDR 处理、镜头阴影校正、坏点校正、2D/3D 降噪、去马赛克、色彩校正、伽马校正、RGB→YUV 转换、边缘增强、饱和度/对比度/亮度调整,以及 AE/AWB/AF 统计和直方图。支持每个时钟周期处理 1、2 或 4 个像素,最高支持 8K 分辨率,提供 AXI4-Lite 和 AXI4-Stream 接口。HDR IP 核可合成两幅或三幅曝光图像,动态范围最高可达 120 dB。

降噪部分标配 Advanced 2D+3DNR(支持 1080p60 和 2160p60)。对低照度降噪要求较高的客户,可在同一位置选用独立 IP AI 2D+3DNR(1920×1080、30 fps),即图 2 中的“二选一”。

图 2 ASICFPGA 相机 ISP IP 核处理流程。降噪环节在标配的 Advanced 2D+3DNR 与可选的 AI 2D+3DNR 中二选一。
图 2 ASICFPGA 相机 ISP IP 核处理流程。降噪环节在标配的 Advanced 2D+3DNR 与可选的 AI 2D+3DNR 中二选一。
可移植到国产 FPGA

所有 IP 核均以 Verilog RTL 源代码或 FPGA 网表形式交付,并附带文档和测试平台。RTL 源代码不依赖特定 FPGA 厂商,可移植到紫光同创、复旦微电子、安路科技、高云半导体等厂商的国产 FPGA,ASICFPGA 提供移植支持。量产规模较大时,同一 RTL 也可用于 ASIC。

评估套件

客户可使用 AMD Kria KV260 Vision AI Starter Kit 搭配 ASICFPGA Sony IMX678 传感器模组评估 ISP 与 AI 降噪 IP 核,评估用比特流和软件可向 ASICFPGA 索取。

图 3 评估套件:AMD Kria KV260 与 ASICFPGA Sony IMX678 传感器模组。
图 3 评估套件:AMD Kria KV260 与 ASICFPGA Sony IMX678 传感器模组。
ASICFPGA IQ Tool:一张图卡照片即可测量相机画质

ASICFPGA 同时提供画质测量软件 ASICFPGA IQ Tool。用户只需打开一张测试图卡照片,程序即可自动识别图卡,并以图表和表格给出测量结果:清晰度(斜边 MTF、MTF50)、纹理还原度(Dead Leaves)、噪声与信噪比(SNR)、色调再现、色彩误差(ΔE00)、白平衡、几何畸变、亮度均匀性(暗角)、杂散光(Flare)以及动态范围等。

与常见的图卡软件不同,IQ Tool 无需选择图卡类型,也无需手动框选区域:基于神经网络的识别功能会自动找到照片中的图卡并放置所有测量区域,即使图卡倾斜、尺寸较小或处在复杂场景中也能识别。拍摄检查功能会提示照片是否需要重拍(图卡太小、倾斜、过曝等)以及如何改进。

图 4 IQ Tool 自动识别图卡并放置全部测量区域(斜边、星形、色块、灰阶、楔形)。
图 4 IQ Tool 自动识别图卡并放置全部测量区域(斜边、星形、色块、灰阶、楔形)。

程序可直接打印 16 种 ASICFPGA 图卡(纸张尺寸从 8x8 英寸到 A0),也可在显示器上全屏显示,因此无需额外购买测试图卡即可开始测试;同时支持 ISO 12233 e-SFR、ColorChecker 24 等常见商用图卡。支持 raw Bayer 和 16 位图像,可保存 CSV、JSON 和 PNG 结果,并可对 ISP、镜头或固件修改前后的结果进行 A/B 对比。

IQ Tool 适用于 Windows 10/11(有 NVIDIA GPU 时自动加速),提供中文、英文和韩文界面。在 www.asicfpga.com/zh_iqtool 注册后可试用 30 天。

图 5 IQ Tool 清晰度(MTF)测量结果。
图 5 IQ Tool 清晰度(MTF)测量结果。
关于 ASICFPGA

ASICFPGA 成立于 2007 年,是一家专注于 FPGA 和 ASIC 图像处理 IP 核开发的民营科技公司,为希望在 SoC、ASIC 或 FPGA 设计中集成相机 ISP IP 核的客户提供解决方案。

AI 2D+3DNR 对比视频与详细资料 ASICFPGA IQ Tool 注册与下载