英语轻松读发新版了,欢迎下载、更新

使用人工智能增强的超镜头重新设计摄影

2024-11-18 18:56:06 英文原文

作者:Chris Monlux

An illustration depicting a metasurface imaging system. On the left, a grassy scene is captured, passing through a lens. The right side shows digital processing, transforming it into a restored, clear image, labeled "Image Restoration Framework.

光学和人工智能的融合创造了一种可以改变摄影的新成像系统。

通过将人工智能驱动的校正与超透镜(平面纳米级镜头)相集成研究人员在保持图像质量的同时,克服了镜头小型化的长期挑战。

Flowchart illustrating a restoration model for metalens images, involving a Conv1x1 layer, a discriminator distinguishing real from fake images, and optimization processes for enhancing image quality using ground truth data.

超镜头于 2010 年代推出,用纳米级结构取代曲面玻璃来控制光线。它们扁平、轻量的设计使它们成为紧凑型设备的理想选择,但它们一直在努力解决色差并且在不同的照明条件下图像质量较差。这些限制使它们无法取代传统的多层玻璃镜片。

A composite image showing: (a) array of lenses, (b) zoomed lens section, (c) graph of focal length vs. wavelength, (d) graph of modulation transfer function (MTF), (e) red/green/blue point spread functions, (f) color images, and (g) document samples.

研究人员现已将超透镜与深度学习。该系统使用神经网络(一种像人脑一样处理数据的人工智能)来纠正超透镜捕获的图像中的扭曲。其结果是一个端到端的过程,可以产生与传统光学器件相当或更好的清晰全彩图像。

Comparison grid with three columns: (a) Ground truth images of a canal, butterfly, and market produce; (b) blurred versions labeled as Metalens; (c) clearer images labeled Our framework. Insets highlight differences in detail.

该团队使用采用可大规模生产的可扩展技术制造的 10 毫米超透镜测试了该系统。虽然这些镜头擅长解析精细细节,但它们本身无法完全校正畸变。神经网络对此进行了补偿,精炼原始图像数据以产生没有色彩失真的高分辨率结果。

Comparison images of visual clarity using metalens and a new framework on USAF-1951 resolution charts. Each section pairs a sharp image (left) with a blurred one (right), under different light conditions, highlighting improved clarity. Scale bars shown.

这一进步解决了传统镜头的一个主要限制:尺寸和性能之间的平衡。传统镜头使用多层玻璃来解决色差和球差等光学问题,从而增加了体积。超镜头扁平且简单,缺乏这种多功能性——直到现在。这人工智能处理镜头无法处理的图像校正,保持硬件紧凑,同时提高质量。

A comparison of images shows a ground truth photo, a metalens image, and one processed by a new framework. The first row features a woman on a motorcycle beside a man, while the second row shows a cyclist on a street.

这项技术可以消除智能手机和无人机等紧凑型设备的尺寸和性能之间的权衡。对于专业相机来说,这可能意味着在不牺牲质量的情况下更轻、更便携的装备。测试表明,AI-Metalens 系统在清晰度和色彩准确度方面可与传统光学系统相媲美或超越,这使其对于微距成像等细节摄影特别有用。

除了摄影之外,该系统还应用于视频制作、无人机成像以及增强或虚拟现实。更轻、更精确的光学器件在这些领域至关重要,而人工智能增强型超镜头可以满足这些需求。

研究人员使用可扩展的制造技术确保这些镜头能够以低成本高效生产,从而解决了采用的障碍。神经网络的适应性是另一个优势。它可以随着时间的推移使用新的数据集进行改进,使摄影师无需更换硬件即可看到持续的增强。

该系统还可以根据特定需求(例如低光或高速摄影)定制光学解决方案。目前需要昂贵的专业镜头的东西可以通过以下方式变得更容易实现:AI超透镜技术

人工智能和光学的融合代表了成像系统设计方式的转变。通过将纳米技术与计算能力相结合,这项创新可以为摄影师提供更小、更轻、功能更强大的工具。借助人工智能增强的超镜头,摄影的未来不再受镜头尺寸的限制。


图片来源:斯皮数字图书馆

关于《使用人工智能增强的超镜头重新设计摄影》的评论


暂无评论

发表评论

摘要

研究人员开发了一种新的成像系统,将人工智能与超透镜集成在一起,可在紧凑的设备中生成高质量的图像。超镜头(Metalenes)是一种平面纳米级镜头,与深度学习算法相结合,可以纠正图像失真和色差,从而产生与传统光学器件相当的全彩图像。该技术解决了传统镜头的尺寸与性能权衡问题,为摄影、视频制作、无人机和增强/虚拟现实提供了潜在的应用。所使用的可扩展制造技术可确保高效且低成本的生产,使先进的光学解决方案更容易获得。