研究人员能否利用人工智能将显微镜技术提升到一个新的水平？

多年来，新技术——从将针孔纳入光路到基因编辑样品以实现荧光表达——使研究人员能够突破光学显微镜的界限。每一项发展都带来了多个研究领域的新发现。现在，随着计算机变得越来越强大，人工智能可能是显微镜领域的下一个技术进步。

人工智能（AI）是一个总称术语，通常指机器模仿或超越人类完成某些分析任务的能力。在实践中，当今的人工智能通常是通过机器学习程序来实现的，这些程序使用人工神经网络来模仿大脑的功能。这使得算法能够学习数据中的模式，而不是通过显式编程来识别这些模式。

传统机器学习程序中的网络相当简单，仅包含一两个计算层。但是，通过整合更多的计算层（通常是数百或数千层），科学家们创建了深度学习程序，这是一种更高级的机器学习类型，可以在计算输出时自我纠正输出。最终，这使得程序能够根据学习到的模式更好地处理新数据。

2024 年三项科学诺贝尔奖中有两项授予使用人工智能的科学家——物理奖对于那些构建了当今人工智能算法所依赖的基本原则的人来说，化学奖对于那些使用该技术的人来说，人工智能也进入了显微镜实验室并不奇怪。从对显微照片进行虚拟染色到制造更小的显微镜，科学家们正在利用人工智能彻底改变该领域。组织和个人都在努力将这些进步带给全球的科学家。

用人工智能代替化学品

化学染色长期以来在显微镜检查中发挥着核心作用。在研究实验室中，分子染色可帮助科学家识别细胞器、区分细胞类型并绘制细胞动态图。在临床环境中，病理学家依靠染色组织为患者做出改变生活的诊断。在Aydogan Ozcan 的实验室在加州大学洛杉矶分校，研究人员正在采取不同的方法。他的团队正在努力用人工智能的模式识别取代分子染色的化学特异性。他的最终目标：用虚拟染色取代化学染色，使前者过时。

虚拟染色这个名字恰如其分；显微照片中最终出现的颜色都不存在于物理世界中。相反，研究人员设计并训练人工智能来识别显微照片中的相关细胞结构，并对它们进行数字着色以匹配特定的化学染色剂。这意味着科学家可以捕获无标记图像以便稍后进行数字染色。

使用无标记图像使研究人员能够利用无标记显微镜方法的优势。计算机工程师说，这些通常对细胞和组织更温和沙林·梅塔在旧金山陈扎克伯格生物中心，因为“你没有在细胞中储存大量能量，因此细胞可以长时间保持健康。”

研究人员没有单一的方法来捕获用于虚拟染色的无标记图像。如果奥兹坎只能选择一种在他的实验室中使用，那就是自发荧光，这是一种捕获细胞成分自然发出的光的技术，而不是依靠荧光染色来产生光。梅塔在全州范围内使用定量无标记显微镜方法，该方法依赖于计算技术，根据各种细胞结构的折射率将几乎透明的细胞图像转换为高对比度显微照片。无论采用哪种显微镜方法，两位科学家都设计并训练了机器学习算法，以成功地为显微照片着色。

病理虚拟染色

尽管虚拟染色广泛适用于依赖显微镜分析的受试者，但 Ozcan 主要感兴趣的是在医学中使用该技术。因此，他正在开发人工智能软件，他认为该软件可能会改变组织学，这是医学诊断的关键部分，需要组织样本，通常通过活检获取。

任何需要活检的人都可能熟悉传统的临床工作流程：医生取出一小部分有问题的组织并将其送往实验室。在那里，技术人员对样品进行切片、染色并拍摄显微照片。这些图像（有时是整个组织切片）被发送给病理学家进行分析并做出诊断。

在最好的情况下，组织学实验室的技术人员可能需要几个小时才能对样本进行染色。如果技术人员负担过重或者在实验室关闭时发送样本，病理学家可能需要几天时间才能收到要分析的东西。试剂老化或实验室错误可能会导致图像或载玻片无法使用，需要技术人员对新切片进行染色，从而进一步延迟诊断。

许多疾病生物标志物需要化学特异性染色剂，这些染色剂可能会相互相互作用，这是一种不良情况，使得多重成像（使用一张切片诊断多种疾病）变得困难或不可能。

– 如果我们拥有所需的所有纸巾，那就太好了，这样我们就可以切割任意数量的切片，并进行我们想要的所有类型的染色。但这是一种有限的资源，”说利隆·潘塔诺维茨匹兹堡大学病理学系主任。他说，虚拟染色可以帮助保存组织。

“虚拟染色可以消除各种问题，”Ozcan 说。技术人员无需花时间对组织样本切片进行染色，而是可以立即捕获显微照片，使用人工智能算法对其进行处理，然后将其发送给病理学家。根据其训练数据，该程序将对图像中的细胞成分进行数字着色，就像它们被化学特定染料染色一样。奥兹坎说，这可以节省时间，并且可以轻松提供多重成像。

Ozcan 是一名电气和计算机工程师，去年与人合着了七篇期刊文章，展示了组织学中虚拟染色的力量。在他最近的论文中，奥兹坎和同事描述了一种深度学习程序，能够用刚果红对显微照片进行虚拟染色，刚果红是揭示淀粉样蛋白组织中错误折叠蛋白质沉积物的金标准染料。

科学家们与组织学实验室的医务人员合作训练算法，为其提供用刚果红化学染色的活检标本前后的照片。在人工智能从 386 对图像中学习之后，团队给人工智能分配了对测试图像进​​行染色的任务。它起作用了。在盲测中，当病理学家看到虚拟染色图像及其化学染色对应图像时，医生得出结论，其中任何一个都可以用于诊断（纳特。交流。2024 年，DOI：10.1038/s41467-024-52263-z）。

尽管做出了承诺，但虚拟染色程序仍存在产生幻觉的风险——生成患者样本的误导性图像。奥兹坎说，这可能以两种方式之一发生。该程序可能会以一种完全无意义的方式对显微照片进行着色。或者它可能会生成一个不存在的样本的外观完美、技术上准确的图像。

奥兹坎并不担心第一种幻觉：“与自然语言模型相比，虚拟染色非常重要且独特，”他说，“它不会取代病理学家”。它不会给你诊断。病理学家是识别人类制作的染色不良显微照片的专家，并且可以轻松识别并扔掉人工智能生成的毫无意义的染色显微照片。

“第二种形式的幻觉更加危险，”奥兹坎说。“这是看门病理学家无法识别的，因为它是对真实患者标本的完美模仿。”他建议添加另一个人工智能工具来对虚拟染色显微照片是幻觉的可能性进行评分，从而让病理学家相信该图像不是假的。

匹兹堡病理学家潘塔诺维茨与 Ozcan 的工作无关，但他对虚拟染色和人工智能在未来病理实验室中更广泛的作用充满热情。将新技术引入临床需要时间并获得美国食品和药物管理局的批准。“我们需要高道德标准和法规来确保我们正确行事，”潘塔诺维茨说。他说，基于研究的虚拟染色合理使用证据将有助于制定其使用指南。更实际的是，需要有一种方法来补偿医疗实践中的早期采用者。

“我敢打赌，如果突然出现了虚拟染色的计费代码，我们会说，“好吧，好吧，我要尝试接受这个，”潘塔诺维茨说。

生物学虚拟染色

当 Ozcan 致力于将虚拟染色引入组织学实验室时，旧金山的计算机工程师 Mehta 正在为研究细胞动力学的生物实验室构建计算显微镜平台和人工智能算法。“我们的重点是揭示新的生物学和系统的动态，”他说。虚拟染色以一种以前不可能的方式阐明细胞相互作用。

为此，Mehta、他的团队以及来自加州大学旧金山分校的合作者开发了 Mantis 显微镜（美国国家科学院院刊2024 年，DOI：10.1093/pnasnexus/pgae323）。梅塔说，它之所以被命名是因为“就像螳螂虾具有高维视觉一样，我们的显微镜也具有高维视觉”。– 该系统可让您进行快速无标记成像和快速荧光成像。 –

Mantis 利用穿过样本的光的相位和偏振变化来生成无标记图像。在梅塔的实验室中，样本由细胞、组织，有时甚至是整个活体组成。他说，对于人眼来说，许多细胞看起来是透明的，因为人类无法检测相位或偏振变化，而只能看到难以解释的阴影。

通过将偏振光照射到样本上，并在偏振平面旋转时拍摄样本的多个 3D 图像，Mantis 捕获了这些阴影在细胞内的变化情况。然后将快照输入基于物理的计算机算法，该算法测量微小的相位和偏振变化，组合图像，并将其转换为高对比度显微照片。结合同时捕获的荧光图像，最终图像揭示了样品的物理和分子特征。

梅塔说，该团队设计 Mantis 是为了捕获尽可能多的样本信息。除了收集相位和偏振信息的通道外，显微镜还具有两个不同的通道来同时捕获两组荧光数据。“使用荧光等方法的瓶颈通常是无法编码超过三个或四个通道，”Mehta 说。

虚拟染色可以打开闸门，为图像添加更多信息；人工智能可以识别多种细胞成分，并将它们添加到已经显示那些用荧光染料物理标记的显微照片中。该程序还可以填补荧光染料不能有效粘附其目标的空白。实际上，这意味着 Mehta 可以对细胞内的线粒体和溶酶体进行化学染色，然后对细胞膜和细胞核进行虚拟染色，从而有效地将图像中的信息量加倍。

创建一种能够解释不同形状和不同放大倍数的细胞显微照片的深度学习算法是一个技巧，因为人工智能的应用通常受到其训练数据的限制。但梅塔和他的团队希望他们的平台能够广泛使用。“我们的目标是绘制多尺度的动态细胞系统图，”他说，“那是我们的生物北极星。”

Mehta 和他的团队采取了一些方法来训练他们的人工智能，使其更加强大（bioRxiv 2024，DOI：10.1101/2024.05.31.596901）。首先，他说他们“创建的训练任务通常比最终目标更难，这迫使模型学习更多数据的语义表示。”因此，不要训练程序只识别一个信息通道——也许是细胞核——他们要求它识别许多——细胞核、细胞膜等等。

研究人员使程序更加稳健的另一种方法是通过基于物理的真实数据模拟来增强训练数据。梅塔说，显微镜、物镜和激发波长的选择都会改变显微照片的外观。为人工智能收集足够的训练数据来识别所有这些变量中的相同信息是不可行的。

“我们不是收集实验数据，而是根据已有的数据模拟数据生成的过程，”他说。“这使我们能够训练跨仪器泛化的模型。”增强数据为人工智能提供了一个大型的预训练库供人工智能学习，但研究人员利用自己的相关数据对程序进行微调仍然至关重要。

最终，虚拟染色的强大之处在于节省了研究人员的时间。使用人工智能，科学家无需花费时间手动识别无标记图像中的不同细胞成分。“我个人厌恶使用人类时间来绘制像素，”梅塔说，“我只是认为这不是人类智慧的正确使用方式。”

无镜头成像的机器学习

虚拟染色并不是人工智能在显微镜视野中的唯一目标用途。在劳拉·沃勒 (Laura Waller)在加州大学伯克利分校的计算成像实验室，她和她的学生正在开发机器学习程序来构建无镜头相机和显微镜。

“镜头的唯一作用是以特定方式弯曲光线以形成图像，”沃勒解释道。沃勒说，因为光与物体相互作用的方式可以通过基于物理的计算机算法进行数学预测，所以人们可能会想，“我们可以通过计算弯曲光线来重建图像吗？”

如果是这样，科学家们就可以不再需要笨重的物镜并设计更小的显微镜。如果没有镜头，图像将显得毫无意义的模糊，而人工智能无法简单地将任何模糊图像转变为清晰图像。为了以数字方式重建这样的照片，研究人员必须完全了解光是如何从表面散射的。为了实现这一点，沃勒和她的团队描述并设计了以已知方式将光散射到传感器上的表面。

“你得到的图片看起来像垃圾，”沃勒说，但由于团队知道光应该如何从漫射器表面散射，他们可以使用模型逆向工作并重建真实图像应该是什么样的看起来像。“想象一下，你的光学器件对信息进行编码，”她补充道，“然后你的算法对其进行解码。”

该团队测试了纯粹基于机器学习和物理学构建的计算机算法来消除图像模糊。沃勒说，在纯物理学的情况下，该模型速度很慢，并且在最终图像中产生了“奇怪的伪影”。该团队的纯机器学习模型速度很快，但也产生了伪影。

但是，当团队将物理原理融入人工智能算法的架构中时，最终的程序计算速度更快，并且比其他方法产生更高质量的图像（选择。表达2019 年，DOI：10.1364/OE.27.028075）。“这实际上非常美好，因为答案是一起工作会更好，”沃勒说。

沃勒推断，如果机器学习程序可以帮助解码模糊图像中的信息，那么它们也可能有助于编码该信息。因此，她和她的团队建立了一个计算机模型来设计更有效的扩散表面。沃勒指出，尽管他们仍处于参数化过程中，但它不能具有任意设计能力，因为表面需要在现实世界中制造，人工智能已经发挥了作用。它设计的表面吸收了折射和衍射光学的特性，每种光学都以略有不同的方式弯曲光线。将新的人工智能设计表面与去模糊人工智能相结合，创造出更清晰的图像。

沃勒说，尽管表面散射光的混合方法使其制造起来充满挑战，但图像质量的提高使其变得值得。“现在我们正在将它用于显微镜的实际应用，”她补充道。

衔接学科

尽管人工智能在日常生活中变得无处不在，但该技术的前景与其融入普通显微镜实验室之间仍然存在很大差距。欧洲 AI4Life 项目的团队希望通过连接生命科学家和计算机科学家来弥合这一鸿沟。前一组提供复杂的现实世界显微镜数据，而后者可以构建定制的人工智能程序来帮助分析这些数据，说比阿特丽斯·塞拉诺-索拉诺，外展协调员人工智能生命。

塞拉诺-索拉诺说，科学家可以通过多种方式参与该计划。显微镜专家可以仔细研究 BioImage Model Zoo（一个预训练人工智能模型的开放访问存储库），寻找可能适合他们需求的程序。如果没有一个是完全正确的，科学家可以在 AI4Life 的一次公开征集期间提交他们的问题，其中“我们为科学家提供深度学习分析支持，”Serrano-Solano 说。Serrano-Solano 表示，对于计算机科学家来说，该项目组织了名为“挑战”的数据科学竞赛，研究人员在竞赛中“竞争以获得最佳解决方案或最佳性能方法。”

该组织不仅仅与个人合作；还与个人合作。他们还与显微镜制造商徕卡显微系统公司建立了合作关系。“我们与他们进行了合作，他们可以检索动物园模型，”Serrano-Solano 说。然后将它们集成到徕卡的 Aivia 软件中，这是该公司正在开发的深度学习图像分析工具。

徕卡并不是唯一一家开发基于人工智能的工具的显微镜公司。Evident（以前称为奥林巴斯科学解决方案）和蔡司也在开发机器学习算法来帮助显微镜专家分析图像。

在他们的研究实验室中，Ozcan 和 Mehta 正在采取不同的方法来更广泛地共享他们的人工智能程序。Ozcan 于 2019 年与他人共同创立了 Pictor Labs。这家加州大学洛杉矶分校的衍生公司正在开发用于组织学和免疫学的虚拟染色程序。最近筹集了 3000 万美元的 B 轮融资。

梅塔和他的团队并没有将他们的软件商业化，而是致力于在开放获取存储库中发布他们所有的计算和深度学习方法。“开放共享和开放交流是社区的力量，”他说。通过遵循这些原则，梅塔希望他们的人工智能算法能够得到广泛采用。