使用人工智能驱动的显微镜加速科学发现

光学显微镜在检查活体和固定生物样本方面的作用日益重要。光片技术支持对整个横截面进行单帧成像，这使得科学家能够快速捕捉活细胞和生物体的显微图像与视频。与其他光学成像技术相比，该技术可以减少激光对样本的光损伤，从而实现对敏感样本（如细胞、胚胎和组织）的长期成像。三维体可通过快速连续扫描获取。

研究人员越来越多地采用这种先进的成像技术来可视化细胞内错综复杂的结构，并追踪隐藏在胚胎起源中的发育秘密。但是，这些显微镜会生成 TB 级的海量复杂图像，使得开展深入探究工作的科学家在进行图像分析时不堪重负。

海洋生物实验室的定制光片显微镜。

（图片所有权：Emily Greenhalgh，海洋生物实验室）

这些问题为与Abhishek Kumar博士合作开发新工具的团队提供了指导。Abhishek Kumar是位于马萨诸塞州伍兹霍尔的海洋生物实验室(MBL)的研究员兼陈-扎克伯格计划成像科学家。他们正在使用MATLAB^®构建这一新工具。

“MATLAB无疑是我们的理想选择，因为图像是以矩阵和数组的形式存储和操作的，无论是用于我们的实验室还是传播，MATLAB都是编码和打包这些工具最干净、最高效的方式，”Kumar博士说道。“而且，我们深知，每一次新版本的发布，都伴随着出色的支持服务，以及严格的质量保证。”

1 自动执行算法

“William Ramos计划将我们通常在这些项目中涉及的所有内容都整合到一个工具中，”Mautino说道。“使用这样的工具，您只需按一下按钮，就可以立即得到测试结果，从而节省大量时间。”

在采用各种图像变换方法之前，Ramos还使用Image Processing Toolbox™执行了各种预处理步骤。在此过程中，他结合使用了经典的图像处理算法和通过Deep Learning Toolbox™ 训练的卷积神经网络 (CNN)。“一旦他有了一系列适用于特定项目数据的设置，我们就可以根据这些设置进行批处理，”Mautino说道。

由于一些项目中光片显微镜每15分钟或更长时间拍摄一次图像，因此，研究人员要跟踪的样本部分位移很大，可能会超出视野。该实验室所开发的工具可以提供实时反馈并帮助定位样本，使其不会漂移出视野。

光片显微镜工具还可以帮助CNN识别图像中研究人员不想研究的部分，而该部分恰好又遮挡了他们想要分析的部分。例如，当研究人员研究苍蝇卵巢中的细胞骨架时，卵母细胞可能会在可视化过程中遮挡其他细胞的重要特征。研究人员通常需要从每幅图像中手动删除卵母细胞。Ramos可以使用该工具在几帧中选择特定区域，然后训练神经网络将其从三维体数据时间序列的其余部分中删除。

Ramos预见，光片显微镜工具也有助于数据缩减。为了实现更快的计算处理和分析，研究人员可将整个原始数据集缩减到相关的感兴趣区域。这涉及检测样本运动，将数据移至中心位置，并裁剪掉无信息的背景区域。这种数据缩减方法会丢弃多余的像素，从而使计算资源得到更高效的利用。

“此工具的数据缩减功能非常有用，特别是在我们每天都要收集数 TB 数据的情况下更是如此，”Mautino说道。

Ramos还构建了自定义工具，用于对齐多通道数据，修复坏像素等伪影，并在采集过程中随时可视化和过滤数据。根据具体项目，他还使用了OptimizationToolbox™、Image Acquisition Toolbox™以及Statisticsand Machine Learning Toolbox™。

“在这方面，我们的应用高度模块化，”Kumar博士说道。“它具有诸多功能，其中许多工具都很常见且使用频繁。您随后可以添加更多独特的步骤，例如特定的去噪模型或神经网络，具体视研究人员想要得到的结果而定。”

光片显微镜工具的前面板。

（图片所有权：海洋生物实验室）

2 蝴蝶卵巢成像

这种端到端的工作流已取得成功，特别是在我们的协作者Nipam Patel博士和他的实验室成员研究蝴蝶卵巢如何发育的过程中显示出效果。蝴蝶无比娇弱，其卵巢更是如此。研究人员使用的光片显微镜设置经过精心优化，可以在40小时的成像过程中最大限度地减少样本的光损伤。通常，仅在一个时间点就能产生0.5GB以上的数据。除了疲于应对大量数据外，生物学家还需要消除图像中的噪声，因为成像条件使得图像中的噪声比平时要多。随着胚胎的发育和变化，图像分割也必须有所改变。

Ramos使用了另一个经过训练的CNN来识别和分割数据中的特定特征，例如删除遮挡住部分图像的卵黄。在Ramos手动分割了162幅图像后，该工具在几分钟内即处理了其余的4,000幅图像。据Ramos说，过去，仅手动分割就需要长达10个小时，而今，他的流程不到半小时就完成了分割。

“我们的协作者对处理时间和图像质量非常满意，”Ramos说道。

左图：单视图光片显微镜所拍摄的蝴蝶卵巢三维图像堆叠的最大图像强度投影。右图：原始图像堆叠经过计算清理的版本的最大图像强度投影。

（图片所有权：Kyle Demarr和SophiaKelly，海洋生物实验室）

3 使用端到端

MATLAB的优势对该团队而言，从显微镜使用的软件到可视化，一切都在MATLAB中构建，因而图像处理和分析功能比专有显微镜软件更灵活。

“我们之所以使用MATLAB， 原因是它可与硬件对接，并且具有非常强大的数学功能，”Mautino 说道。

“然后，你可以想象一下，我们的许多显微镜由不同的硬件组成，每个硬件都需要自己的代码，”Mautino说道。“这本身就会成为一项长期的工程。在这种情况下，MATLAB便能大显身手，因为那些制造商已在使用这款工具，他们还为我们开发了这些驱动程序。”他们使用的一些相机没有官方支持的用Python编写的控制软件。

使用光片显微镜工具的目的是，让尽可能多没有编程专业知识的研究人员能够使用高级分析方法。Kumar博士称，在许多不同生物学科中，都可以应用此类图像分析工具。这些工具帮助协作者节省了数天手动处理或等待其他研究人员处理图像的时间。这

种简易性也为高中生等非专业人士大开方便之门。Ramos表示，他们将很快在GitHub^®上通过共享用户界面来推广应用，获得相关的反馈，并推动生物图像分析工具的发展。

“如今，没有先进的图像分析和图像处理技术，完成成像项目简直难以想象，”Kumar博士说道。“借助光片显微镜分析工具，即使没有编码经验和相关知识的人，也可以从所有这些复杂的工具中受益。因此，让所有这些工具易于获得和使用至关重要。”