降噪是任何相机系统中改善图像视觉效果的关键问题。随着光照水平降低，传感器增益升高，噪声水平随之增加。AI 2D+3DNR 是面向极低照度条件的深度学习降噪 IP 核，作为独立 IP 提供。它能去除空域和时域噪声（包括彩色噪声和亮度噪声），并保留边缘和细微纹理。深度学习运动补偿在时域滤波前将上一帧与当前帧对齐，因此运动物体能保留细节，鬼影减少。降噪强度随传感器增益变化，因此该 IP 核无需手动调整降噪参数，即可适应从正常光照到极低照度的各种环境。
| 主要特性 |
|---|
| 深度学习空域降噪 + 时域降噪 |
| 用于时域滤波的深度学习运动补偿（鬼影更少） |
| 降噪强度由传感器增益自动设定 |
| Bayer 域处理 |
| 已在 AMD Kria KV260 (Zynq UltraScale+ MPSoC) 上配合 Sony IMX678 以 1920x1080 30 fps 验证 |
| 帧缓存需要外部 DDR SDRAM |
含噪输入、我们现有的 2D+3DNR IP 与 AI 2D+3DNR 并排对比，传感器增益为 36 dB 和 48 dB。请在 YouTube 设置中选择 4K (2160p)，以便最清楚地观察噪声和细节。
以下视频在多个传感器增益下对比含噪输入、我们的 2D+3DNR 核与 AI 2D+3DNR 核。选择场景和传感器增益，选择左右两侧要显示的内容，将鼠标移到视频上即可移动分割线。
请在 PC 上使用 Chrome、Edge 或 Firefox 观看这些视频。为如实呈现噪声，视频压缩程度较低（含噪输入最高约 90 Mbps），因此在智能手机、平板电脑和 Safari 上可能加载缓慢或无法播放。
传感器增益 = 为使暗场景看起来正常而对传感器信号的放大倍数。+6 dB = ×2。42 dB = ×126。增益越高 → 场景越暗 → 噪声越多。
有。ASICFPGA 的 AI 2D+3DNR 是面向 FPGA 和 ASIC 相机设计的深度学习降噪 IP 核。它在 Bayer 域去除空域和时域噪声，并在极低照度下保留边缘和细微纹理。
不需要。神经网络直接以 Verilog RTL 实现，定点权重存储在片上存储器中。该核仅使用 FPGA 逻辑、DSP 模块和片上 RAM，另需外部 DDR 存储器用作帧缓存。
它与完整的 ASICFPGA 相机 ISP 一起在 AMD Kria KV260 (Zynq UltraScale+ MPSoC) 上运行，分辨率 1920x1080，30 fps，配合 Sony IMX678 图像传感器。如需更高的分辨率或帧率，可使用更大的 FPGA 器件或 ASIC。
可以。该核以 Verilog RTL 交付，不依赖特定 FPGA 厂商，可移植到 DSP 模块和片上存储器资源足够的其他 FPGA，包括紫光同创、复旦微、安路、高云等国产 FPGA。ASICFPGA 提供移植支持。
位于 Bayer 域，在镜头阴影校正和坏点校正之后、去马赛克之前。它取代传统的 2D 降噪，其时域部分在滤波前通过深度学习运动补偿对齐上一帧，从而减少鬼影。
根据图像传感器增益自动设定。相机软件将以 dB 为单位的传感器增益写入寄存器，因此从正常光照到极低照度都无需手动调校。通过混合寄存器可以减弱或增强效果。
支持。网络会针对目标图像传感器在各增益下实测的噪声进行适配。对于新传感器，ASICFPGA 会测量传感器噪声并调整网络。
使用 AMD Kria KV260 Vision AI Starter Kit 和 ASICFPGA Sony IMX678 传感器模块。如需评估用比特流和软件，请联系 sales@asicfpga.com。