[Tech Day 2022] ISOCELL 如何开启相机体验的未来

高性能图像传感器能够提高图片和视频的成像质量, 而三星正是这一领域的领导者。最近，三星举办了 2022 年技术日活动，他们分享了包括图像传感器在内的各种System LSI 相关技术的最新进展和未来愿景。传感器设计团队副总裁 Joon-Seok Kim 讨论了智能手机摄影和摄像体验的痛点，以及三星如何继续开发图像传感器以提高用它们捕获的内容的质量。 图像传感器技术已经取得了长足的进步，智能手机的照片质量现在几乎可以与专业数码相机相媲美。传感器技术是关键，但用于多帧降噪、HDR 和 AI 等方面的软件对于这一演变也至关重要。 我们使用相机的方式也发生了很大变化。过去主要是拍摄静态图像，但现在，动态视频覆盖了更为广泛的场景视频被认为更具吸引力，并且随着社交媒体的流行，消费者对视频拍摄的需求也越来越大。然而，静态图像和视频的成像质量之间仍然存在差距，而且事实证明要缩小这一差距非常困难。 为什么智能手机视频依然落后 造成智能手机视频质量滞后的首要原因是存在视觉“噪音”，尤其是在低光照条件下。这是由于在视频模式下以每秒 30 帧 (fps) 的速度捕获足够的光线所需的曝光时间不足所致。 第二个问题是高动态范围 (HDR) 图像很难在逆光等复杂光照条件下呈现出物体和背景的真实颜色。为了实现这一点，智能手机需要通过系统芯片 (SoC) 运行多重曝光和多帧融合，这会占用大量内存和功率。 第三是缺乏深度感知能力。数码单反相机的最佳功能之一是“虚化”——当成像目标的一部分失焦时呈现出的”朦胧美”。使用 SoC，即使背景模糊, 目标对象也可脱颖而出但对于视频来说，由于与 HDR 相同的原因，这种方法并不实用。 “我们认为需要用传感器而不是软件来解决这些问题，我们采用了三步走的方法。首先，我们将改进光线和曝光灵敏度，这一直是一个巨大的挑战，尤其是对于小而薄的智能手机而言，”Kim 说, “其次，为了增加亮度范围，我们正在研究 12 位和 14 位传感器，并朝着更高动态范围的传感器迈进，以实现出色的 HDR成像效果。第三，我们正在开发能检测真实图像深度的 ToF（飞行时间）传感器。我们的目标是为智能手机视频和其他 3D 应用程序提供精确的虚化效果。” 先进的 ISOCELL 像素技术 近年来，高精度像素的技术取得了实质性的进步。通常，越高分辨率的图像传感器需要越小的光敏像素。为了捕捉尽可能多的光，像素结构已从正面照明 (FSI) 演变为背面照明 (BSI)。这就需要把光电二极管层放置在金属线的顶部，而不是其下方。通过将光电二极管放在更靠近光源的位置，使每个像素都能够捕获更多的光。但这种结构的缺点是它会在像素之间产生更高的串扰，从而导致颜色污染。 “为了弥补这一缺陷，三星推出了 ISOCELL，这是首项通过添加屏障将像素彼此隔离的技术。 ISOCELL 这个名字是“隔离”和“细胞”这两个词的复合词，”Kim 解释道, “通过隔离每个像素，ISOCELL 可以增加像素的全阱容量以容纳更多的光并减少一个像素与另一个像素之间的串扰。”

自问世以来，ISOCELL 像素技术不断发展，其新一代的先进技术被应用于最新的图像传感器。例如，ISOCELL 现在在彩色滤光片之间增加了由创新的低折射材料制成的光学墙。除此之外，Kim 分享道：“我们正在开发另一种创新的高折射纳米结构，以最大限度地利用相邻像素的光。 通过应用这些纳米光子学技术，我们实现了超出常规限制的高灵敏度。” 实现真实色彩的HDR技术 传统图像传感器仅支持动态范围约为 60dB 的 10 位图像。但要在大多数情况下捕获微小细节，传感器需要至少支持 14 位。对于静态图像，一种解决方案是多重曝光图像捕获。该技术对暗处拍摄进行长曝光，然后对亮部进行短曝光。然后将两个图像合并在一起形成一张HDR 图像。如果你想要更高的动态范围，可以使用三次或更多次曝光。 这种方法给视频带来了几个问题。第一，耗电量。要拍摄 30 fps 的 HDR 视频，你需要以 60 fps 的速度拍摄以获得双重曝光。实时处理如此大的图像数据需要巨大的功耗。 第二个问题是捕捉运动物体所固有的挑战——运动伪影。多重曝光意味着合并在不同时刻拍摄的不同图像。任何高速运动都会使合并过程变得非常困难，并产生破损或不自然的图像。 为了解决这个问题，Kim 分享说，“与常规方式相反，我们正在构建一种传感器内单次曝光 HDR 技术。这使得 SoC 上所需的工艺变得更简单，功耗更低，并减少了 HDR 视频的运动伪影效应。” 动态范围是信号与噪声水平之间的比率。采用 ISOCELL 技术，ISOCELL 图像传感器具有非常高的全阱容量。最新的 ISOCELL 图像传感器中的像素有多达 70,000 个电子，使传感器能够获得更大范围内的信号。 Kim 解释说，“为了减少噪音，我们进行了两次读出：一个具有高增益以显示暗部细节，另一个具有低增益以显示亮部细节。然后将两个读出值合并到传感器中。每个读出有 10 个比特。凭借 4 倍的高转换增益读出，它增加了额外的 2 位，从而产生 12 位 HDR 图像输出。这项技术称为 Smart-ISO Pro，也称为 iDCG（场景内双重转换增益）。”

目前市场上销售的 ISOCELL HM6 和 GN5 图像传感器配备 Smart-ISO Pro，并提供 12 位 HDR 功能，可获得清晰细腻的拍摄效果。但是 12 位仍然不够。需要完整的 14 位或更多才能拍摄出引人注目的视频。三星最近推出了 ISOCELL HP3，它具有增强的 iDCG 并提供 14 位 HDR。此外，三星计划不久之后,16位的HDR传感器将于大家见面。 用于真实深度的 ToF 技术 三星在过去五年中一直专注于 ToF 技术。 ToF技术通过测量发射出的红外光从物体反弹回传感器所需的时间, 来间接测量出传感器与物体之间的距离.三星的间接ToF (iTOF) 提供高信噪比、高分辨率和高帧率，可创建 2D 深度图和 3D 点云。

三星计划发布集成了图像信号处理器 (ISP) 的新一代 iToF 传感器。深度信息的整个处理是在传感器内部的 ISP 上完成的，而不是委托给 SoC，因此整体运行过程中使用的功耗更低。此外，即使在弱光环境、狭窄物体或重复图案等场景中，新的解决方案也能提供更高的深度质量。对于未来的应用，集成了ToF技术的三星ISP, 将有助于在高帧率下提供高质量低延时的、几乎无运动模糊的深度图像。 上述这些创新技术，将助力于移动设备拍摄出更清晰、更高质量的图像“通过这些未来的技术，三星致力于不断改变和提高用户捕捉图像和视频的方式，并缩小两者之间的质量差距。我们的目标是通过传感器提供更先进的解决方案，为用户创造更美好、更安全、更健康的使用体验”Kim 在演讲结束时分享道。