2022年6月2日晚，拉斯维加斯手机娱乐网站 可视化与可视分析专业委员会组织的第十八期可视化与可视分析国际学术报告成功举行。此次报告特邀沙特阿拉伯阿卜杜拉国王科技大学 Ivan Viola 教授演讲。Viola 教授是阿卜杜拉国王科技大学视觉计算中心（Visual Computing Center）的教授。他毕业于奥地利维也纳工业大学 (TU Wien)，于2005年在挪威卑尔根大学做博士后，之后逐步晋升为正教授。在2013 年，他获得了 WWTF 基金，用以在 TU Wien 建立研究小组。在 KAUST，他在继续开发使虚拟生命 (in-silico life) 可视化达到纳米级别成为可能的新技术。Viola 教授共同创立了 Nanographics 初创公司将纳米可视化技术商业化。
       Viola 教授带来题为《Volume Visualization for Cryo-Electron Tomography》（冷冻电子断层扫描的体数据可视化）的精彩报告，辅以冷冻电镜及其数据分析、重建的基本原理，着重介绍了冷冻电镜数据在可视化领域的挑战、机遇以及研究组的最新研究成果。
       首先，他介绍了 NanoVis 研究组（https://nanovis.kaust.edu.sa）的研究方向。研究组聚焦于生物可视化，特别是各种生物结构的建模、数据处理和可视化，例如渲染具有数以亿计原子量的中尺度生物模型和建模其他各种亚显微结构。比如，他们渲染了一个包含七千万个原子的数据集，展示了被血浆各种蛋白质环绕的 HIV 病毒；开发了可以快速建模亚显微结构的软件，生成各种复杂的生物模型得到了生物学家的高度认可。

图 1 被血浆各种蛋白质环绕的 HIV 病毒

图 2 快速建模亚显微结构

图 3 冷冻电镜断层扫描数据的信噪比很低

        这些研究引出了使用冷冻电镜数据的各种问题，于是 Viola 教授讨论了冷冻电镜数据可视化中的挑战与机遇。冷冻电镜在成像过程中不可避免地会破坏样品，这就降低了成像质量。为了尽可能减少样品破坏，冷冻电镜使用的电子剂量通常很有限，这极大影响了显微照片的信噪比。另一方面，样品可以被扫描的角度有限，通常是正负 60 度。使用这些倾角扫描序列（tilt series）重建体积，必定有缺角问题（missing wedge problem），重建的体积是不完全准确的。这些问题，既是挑战也是研究机遇。例如最近热门的次断层扫描平均法（sub-tomogram averaging）在单粒子分析中极大地提高了重建模型的信噪比。另一个方向，假如我们可以明白并模拟冷冻电镜的成像过程，或许我们能够反演这个过程，从而进行重建。接下来，Viola 教授介绍了 NanoVis 研究组的三个研究成果：
1. 联合断层扫描重建与降噪（Joint Tomographic Reconstruction and Denoising）
2. 可微分电子显微镜模拟器及其在降噪方面的应用（Denoising with Differentiable Microscope）
3. 结合（深度）学习进行体积可视化（Integrating Learning into Volume Visualization）
在第一个研究中，他们注意到现有的断层扫描重建技术往往不关注降噪，所以数据可视化的流程往往是以下两种：
● 先降噪倾角扫描序列，进行断层扫描重建，使用重建的体积进行体积渲染
● 使用原生的倾角扫描序列，进行断层扫描重建，降噪重建的体积，最后使用降噪后的体积进行体积渲染
       而很多断层扫描重建技术是迭代渐进式的，所以他们猜想：在重建的迭代中加入降噪方法，可能可以使重建出来的体积包含更少噪音，并且运行速度更快。基于这个想法，他们将总变分（Total Variation）作为正则项加入到体数据重建的迭代算法中，最终使得重建后数据的噪音显著减少。

在第二个研究（https://arxiv.org/abs/2205.04464）中，他们从可微分渲染获取灵感，提出电子显微镜模拟器也可以视为渲染器，并且渲染过程（也就是模拟过程）在理论上是可微分的，于是尝试将电子显微镜模拟器微分，并探索这一可微分模拟器的各种应用。

       可微分电子显微镜模拟器的其中一个应用就是对显微图片的降噪。在模拟过程中，干净（无噪音）的显微图片先被生成，然后这张干净的显微图片用作噪音模型的参数，生成带噪音的拟真显微图片。因为模拟器是可微分的，反向传播可以用来从带噪音的显微图片，求解干净的显微图片。干净的显微图片被求解出来后，只要绕开添加噪音的步骤，就可以获得少噪音的显微图片，实现降噪。而另一个应用则是自动优化获取合适的模拟器参数。因为模拟器是基于物理理论模型的，物理模型中有的参数在真实显微镜中并不存在。以往这些参数是人工调试的，研究员调整这些参数使得模拟器产生的结果与真实数据尽可能相近。现在，有了可微分电子显微镜模拟器，选择合适的损失函数，这些参数可以通过梯度下降，以优化的方式求解。这两个应用，在他们的研究中，都取得了可观的结果。
       在第三个研究（https://arxiv.org/abs/2104.01554）中，他们使用神经网络，对体积进行语义分割，不仅从体积中提取出了有用的生物结构，还能基于预测的语义标签去除背景噪音。

       他们使用了 3D U-Net 来预测体积的语义标签，输入一个个体积，预测每一个体素的语义标签，最终利用语义标签来渲染体积。

为了快速标注训练数据，他们开发了一个半自动的标注数据流程。他们使用 Ilastik （https://www.ilastik.org），基于少量标注即可利用它的聚类算法传播标注到其余数据，在聚类结束后还可以进一步调整半自动生成的标签。虽然这样生成的标签称为伪标签（Pseudo-label），但是经生物专家后发现标签质量很好。使用这种伪标签训练的神经网络可以正确分辨出四种结构（突刺、胞内物质、细胞膜和背景），并且不仅可以正确分辨由于缺角问题带来的数据缺陷，还有优秀的泛化能力，在测试集上也有不错的表现。使用预测的语义标签渲染可以去除背景噪音，极大提升了渲染结果的信噪比。

图 4 二分类结果：黑色是背景，白色是有用结构

图 5 四分类结果：黑色是背景，白色是膜结构，粉色是突刺，蓝色是胞内物质

最后，Viola 教授指出三个未来的研究方向：
1. 使用可微分电镜模拟器优化断层扫描重建算法
2. 甚至使用可微分电镜模拟器进行原子级的生物模型重建
3. 端到端的体积渲染，从显微图片到渲染图片
       在提问环节，Viola 教授和听众进行了热烈的交流。对于重建时同时降噪是否会损失一些重要生物结构的担心，Viola 教授指出这是合理的，但是其实这个方法保留的信息更多，更可能保留更多重要生物结构，因为在传统流程中，对体积降噪的时候没有显微图片的信息，可能将一部分的重建结构当成噪音消除了，而边重建边降噪的时候因为有显微图片的信息，可以使得降噪的结果不偏离基准数据太远，从而保留更多有用信息。对于伪标签的标准过程，Viola 教授进一步指出这种半自动的过程，在标注每一个体积的时候都需要人来参与，缺少泛化能力，而训练好的语义分割模型恰好弥补了这个缺点，使得全自动的数据标准、渲染变得可能。在讨论可微分电子显微镜模拟器的应用的时候，Viola 教授认为使用可微分模拟器来优化电子显微镜是一个可能的方向。