戴琼海方璐：迎来新的跨越！清华大学戴琼海及方璐最新Nature-数艺网

资讯: 展览资讯大型展会灯光节大型盛典赛事中标捷报产品快讯热门话题艺术节活动演出新闻数艺报道俱乐部签约

观点: 大咖专访观点洞察书籍推荐吐槽设计观点企业访谈问答趋势创新论文职场方法薪资报价数艺专访

幕后: 幕后故事团队访谈经验分享解密评测数艺访谈

干货: 设计方案策划方案素材资源教程文案资源 PPT下载入门宝典作品合集产品手册电子书项目对接

戴琼海方璐：迎来新的跨越！清华大学戴琼海及方璐最新Nature: 2022-11-01

戴琼海

国务院参事，CAAI理事长，中国工程院院士，清华大学信息学院院长、教授，清华大学人工智能国际治理研究院学术委员

方璐

清华大学电子工程系副教授

“

平面数字图像传感器在广泛的领域得到了广泛的应用，近年来像素的数量迅速增加。然而，由不完美透镜或环境干扰引起的空间非均匀光学像差从根本上限制了成像系统的实际性能。

2022年10月19日，清华大学戴琼海及方璐共同通讯在Nature在线发表题为“An integrated imaging sensor for aberration-corrected 3D photography”的研究论文，该研究提出了一种集成扫描光场成像传感器，称为元成像传感器，以实现通用应用的高速像差校正三维摄影，无需额外的硬件修改。元成像传感器不是直接检测二维强度投影，而是通过振动编码微透镜阵列捕捉超精细的四维光场分布，在后处理中可以灵活、精确地合成复杂场调制图像。

使用该传感器，该研究可以在没有数据先验的情况下，用一个球面透镜实现高达10亿像素的高性能摄影，导致光学成像系统容量和成本的数量级下降。即使在存在动态大气湍流的情况下，元成像传感器也能够在80厘米地面望远镜上实现跨越1000弧秒的多站点像差校正，而不降低采集速度，为高分辨率的天气天空调查铺平了道路。此外，高密度精确深度图可以同时检索，方便了从自动驾驶到工业检测的各种应用。

二维成像传感器已经使许多领域发生了革命性的变化，包括工业检验、移动设备、自动驾驶、监视、医疗诊断、生物学和天文学。得益于半导体产业的快速发展，数字传感器的像素数量在过去十年中迅速增长。然而，大多数成像系统的实际性能已经达到了由光学而不是电子设置的瓶颈。例如，给定一个十亿像素的传感器，成像系统的有效像素数通常限制在百万像素级别，这是由于不完美镜头或环境干扰引起的光学像差，这导致光从一个点发射到二维传感器上的大片区域。同时，三维场景在二维平面上的投影会导致光场的各种自由度的丧失，如深度和局部相干性。因此，长期以来，利用集成传感器获取高密度深度图一直是一个挑战。

光学工程专家花费了数百年的时间，设计了完美的成像系统，用顺序模式下的多个精密工程透镜进行像差校正。然而，光学设计和制造的难度随着空间带宽乘积的增加呈指数增长，空间带宽乘积描述了光学系统的自由度总数，并设置了由于衍射极限而产生的有效像素数的上限。在这种情况下，具有大有效空间带宽产品的高性能非相干成像系统通常非常昂贵和笨重，如大口径望远镜。超构透镜和自由曲面光学可以通过制造优化的透镜表面来潜在地缓解这一问题，只要在大尺度上给予足够的加工精度。图像去模糊算法可以通过精确估计点扩散函数(PSF)来提高图像对比度。带有编码孔径的PSF工程通过减少频域的零值来保留更多的信息。然而，低调制传递函数(MTF)丢失的高频信息很难被检索，这些方法通常需要特定的数据先验和精确的PSF估计，特别是对于空间非均匀像差。此外，这些方法对小景深的动态环境相差仍然敏感。

集成元成像传感器的原理（图源自Nature）

自适应光学通过一个可变形的镜面阵列或空间光调制器来实现主动像差校正，将从一点发出的光线以不同的角度定向到传感器上的同一位置。自适应光学在天文学和显微学方面都取得了巨大的成功，并对重要的科学发现作出了贡献。然而，由于空间非均匀像差的存在，目前的自适应光学方法的有效视场非常小。特别是对于地面望远镜，大气湍流引起的像差将自适应光学的视场直径限制在约40弧秒，这对于大型天气巡天望远镜来说太小了。更重要的是，目前的自适应光学系统通常是复杂的，庞大的和昂贵的，这使得轻量级系统或便携式设备的开发困难。

该研究提出了一种集成扫描光场成像框架，包括硬件和软件，称为元成像传感器，以低成本和大空间带宽产品实现像差校正3D成像。类似于利用纳米结构对光场进行前所未有的操作的超表面，元成像传感器通过振动编码微透镜阵列促进了空间-角域光场的高速测量和合成，这比传统光场技术要精确得多，将光学调制过程与数据采集分离开来。然后，该研究通过基于波光学的数字自适应光学(DAO)在单个集成传感器上实现了高性能三维成像和多站点像差校正。利用时空连续性，该研究开发了一种基于光流的运动校正算法，以防止运动伪影，并保持成像速度(达到相机帧率)。

为了建立元成像传感器的能力，该研究对摄影、自动驾驶、工业检验、视频监控和天文学等领域的不同应用进行了定量分析。具体来说，该研究用一个镜头就能获得高达十亿像素的高性能全聚焦图像，这意味着系统成本和容量降低了三个数量级。特别是在严重的非均匀像差条件下，元成像传感器实现了十倍以上的分辨率提高。此外，元成像传感器促进了80厘米口径望远镜上直径超过1000弧秒的多站点像差校正，为实现高分辨率地面天气测量铺平了道路。在不同的工业应用中，百万像素深度图可以在毫秒尺度上同时获得，比传统光场相机具有更好的精度和分辨率。

文章地址：

https://www.nature.com/articles/s41586-022-05306-8

关于我们

清华大学人工智能国际治理研究院（Institute for AI International Governance, Tsinghua University，THU I-AIIG）是2020年4月由清华大学成立的校级科研机构。依托清华大学在人工智能与国际治理方面的已有积累和跨学科优势，研究院面向人工智能国际治理重大理论问题及政策需求开展研究，致力于提升清华在该领域的全球学术影响力和政策引领作用，为中国积极参与人工智能国际治理提供智力支撑。

新浪微博：@清华大学人工智能国际治理研究院

微信视频号：THU-AIIG

Bilibili：清华大学AIIG

来源 | 本文转载自网易新闻，点击“阅读原文”获取更多内容

阅读原文 * 文章为作者独立观点，不代表数艺网立场转载须知: 本文内容由数艺网收录采集自微信公众号清华大学人工智能国际治理研究院 ，并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源：数艺网” 并附上本页链接：如您不希望被数艺网所收录，感觉到侵犯到了您的权益，请及时告知数艺网，我们表示诚挚的歉意，并及时处理或删除。

数字媒体艺术新媒体艺术戴琼海方璐

75455