大型医疗图像的图表示：百亿级像素信息提取

首页

发布时间：2021-11-08 07:00

摘要

近年来，深度学习的方法在数字病理学领域取得了重大突破。基于卷积神经网络的模型通常是针对无序的图像块进行的，受限于计算资源，每张病理图像仅能挑选部分图像块进行处理，虽然可以通过一些方法挑选信息量较大的图像块，但图像块之间的拓扑信息仍会丢失。图神经网络在描述结构关系方面具有天然的优势，通过将病理图像中的一些基础结构，如细胞、组织定义为节点，并将这些基础结构之间的关系和拓扑信息定义为边，就可以利用图神经网络实现可解释性更高的模型。本文以病理图像预测任务为例，首先对基于卷积神经网络的典型算法流程和基于图神经网络的典型算法流程进行比较，然后结合三个实际的工作介绍图神经网络在病理图像预测任务中的应用。

背景介绍

近年来，数字显微镜的快速发展使得组织切片的高分辨率和高速数字化成为可能。基于高分辨率的数字病理图像，深度学习的方法在数字病理学领域取得了重大突破。常见的病理图像包括Whole Slide Image和Tissue Micro-Array（示例见图1）。WSI图像的典型大小为100,000x100,000像素，TMA中每个圆形切片典型大小为2,000x2,000像素。

图1 病理图像预测任务的典型流程

基于卷积神经网络的模型通常是针对图像块进行的，如果将一个100,000x100,000大小的病理图像拆分成224x224的图像块，去除50%的背景区域，采样10,000个图像块进行处理，最终经过卷积神经网络（CNN）处理的图像块仅占组织区域的10%。虽然可以通过一些方法[1,2]挑选信息量较大的图像块，但图像块之间的拓扑信息会丢失。

图神经网络（GNN）在描述结构关系方面具有天然的优势，关于GNN的详细介绍可以参考[3,4]。这里结合病理图像预测任务（如组织类型预测、癌变程度预测等）中使用图神经网络的典型算法流程简单介绍相关概念。图结构由节点（Node）和边（Edge）组成，每个节点需要提供用于描述该节点的属性（Node Attribute），边则用于描述节点之间的关系。为了用图结构表示病理图像，首先需要定义对应节点的实体（Entity），通常定义为细胞或组织。在得到节点对应的实体后，需要提取实体特征作为节点属性，由此获得了一系列带有特征的节点。然后需要构建图结构的边，通常根据实体之间的空间关系来构建，如相距较近的实体对应的节点之间定义为有边，相距较远的实体对应的节点之间定义为无边。节点和边的信息确定后即得到病理图像对应的图表示（Graph representation），这是图模型的输入。图模型会按照一定的规则将各个节点的信息沿着边进行传递，最终得到病理图像的高阶特征，既包含了病理图像中每个实体的信息，又包含了实体之间的交互信息和拓扑结构信息。最后可以通过一个多层感知机（MLP）将这个高阶信息直接映射为预测结果。

对比两种典型算法流程会发现，基于卷积神经网络的模型以无序的图像块作为输入，主要依靠局部信息，很难融合多尺度信息和全局结构信息。而基于图神经网络的方法可以更方便地利用这些信息，不仅可以提升模型性能，还能提供更好的可解释性。下面通过三个实际的工作介绍图模型在病理图像预测任务中的应用。

基于细胞构建图模型

图2 基于图神经网络的Gleason score预测模型[5]

哈佛医学院发表于ISBI2020的工作中提出了一个基于图神经网络的Gleason score预测模型[5]，其结构如图2，该模型的提出是受到评估Gleason score的流程启发。病理学家通过观察特定细胞的分布情况来评估Gleason score，因此构建模型的关键在于定位细胞所在位置，并描述细胞的分布情况。对于细胞定位步骤，该工作通过一个FCN[6]来实现细胞核分割，由于发现像素级的损失函数在细胞边缘处分割效果不好，通过一个cGAN[7]来获取更清晰的边缘，这一模型在Multi-Organ Nuclei Segmentation数据集[8]上进行预训练。由此即得到了图结构中的节点，而节点属性由三部分组成：形态特征（Morphological features）、纹理特征（Texture features）、以及CPC特征（Contrastive Predictive Coding features）。其中，形态特征包含面积、凸度、方向等形态学测度，纹理特征由GLCM算法[9]得到，也包含一些二阶特征（如dissimilarity、homogeneity、energy），CPC特征由CPC算法[10]得到。这些特征连接（concatenate）到一起作为节点属性。对于细胞分布情况，这里通过构建边来表示，首先根据k-Nearest Neighbors算法获取每个节点的k个邻接节点，每个节点与邻接节点建立起k条边，再按一定阈值删除欧式距离较大的边。

构建起基础的图表示之后，通过图卷积网络（Graph Convolutional Networks）来提取整个病理图像的信息，这里使用GraphSAGE模型[11]，最后通过一个全连接层（Fully Connected Layer）将提取到的图像信息映射为Gleason score预测输出。

该模型在两个前列腺TMA数据集[12,13]上进行测试，结果见表1。

表1 基于图神经网络的Gleason score预测模型测试结果[5]

基于图像块构建图模型

UNC Charlotte和清华大学、斯坦福大学、以及商汤科技合作发表于MICCAI2020的工作中提出了一个结直肠癌基因突变预测模型FENet[14]，模型中采用了基于图像块构建的图模型，其具体结构如图3。

图3 基于图像块构建的图模型[14]

该工作通过随机采样的方式获取图像块，在图模型特征提取过程中引入特征强化机制，并通过多次随机采样构建多个图模型来进行模型集成，以提高模型的稳定性及预测的准确率。

具体细节总结如下：

首先是包含图像块空间关系的子图构建。考虑到突变区域在WSI图像上的分布没有固定的规律，故通过随机采样的方式能获取到更丰富的信息。具体做法为在放大倍数为40x（0.25 microns/pixel）的情况下随机选取512x512大小的图像块，图像块之间没有重叠。由于计算资源的限制，图像块被缩小到224x224进行处理，每个子图包含1000个图像块。接下来要生成节点属性和边。节点属性由预训练的ResNet18提取的图像块特征构成。边则由图像块在原始的WSI图像上的距离决定，若两个图像块的欧氏距离超过一定阈值（这里的欧式距离使用图像块的坐标进行计算，阈值使用的是所有图像块之间距离的众数），则认为其对应的节点之间没有边，反之则有边。

然后是特征强化机制。该模型的核心在于构建初始的子图到预测结果之间的映射，使用基于空间的卷积网络（spatial-based convolutional networks）实现。一个中心节点的特征更新基于AGGREGATE和COMBINE两个操作[15,16]。AGGREGATE操作将邻接节点的特征聚合到中心节点，COMBINE操作结合邻接节点的特征和中心节点的特征来更新中心节点的特征。由于一次迭代中每个中心节点仅接收邻接节点的信息，一个中心节点需要在第k次迭代时才能接收到距离为k的节点的信息。传统的AGGREGATE操作使用max-pooling（GraphSAGE[11]）或mean-pooling（GCN[17]），但这些AGGREGATE操作会丢失空间信息，更适用于各向同性（isomorphic）的情况，即采样的图像块在空间上均匀分布。为应对这一问题，FENet使用sum-pooling来传递空间信息，并一个多层感知机来进行COMBINE操作。此外，为更好地利用拓扑结构信息，每层的信息都被聚合到最后一层，然后通过一个READOUT操作（这里使用的是GlobalAddPooling）将节点属性转换为图特征，最后再通过全连接层将图特征映射到预测输出。

最后是模型集成（ensemble）策略。该模型对每张WSI图像进行5次图像块采样，生成5个子图，产生5个预测结果，通过多数投票（majority vote）机制进行模型集成。这是在计算量和模型提取到的信息量之间的一种权衡。

该模型在TCGA-COAD数据集[18]上与基于卷积神经网络的方法（VGG16[19]、ResNet18[20]）以及基于图神经网络的方法（GCN[17]、ChebNet[21]、GraphSAGE[11]、GAT[22]）进行比较，也对特征强化机制(表2中xxx-2、xxx-3)和集成策略（表2中xxx w/oensemble）进行了消融学习，涉及3种基因（TP53、KRAS、APC）突变的预测。实验结果见表2，可以看到特征强化机制和集成策略均带来了模型准确率的提升。

表2 FENet与其他模型的准确率比较[14]

基于多层级的信息构建图模型

IBM Research和ETH Zürich合作提出了基于层级化实体图的病理组织分析方法[23]，其流程如图4。

图4 基于层级化实体图的病理组织分析方法[23]

基于病理图像的癌症诊断、预后、以及治疗效果预测依赖于对组织学实体（包括细胞、组织等）的表型及拓扑结构分析。为了更全面地对病理图像进行分析，该工作将组织视为从细到粗的多种类型的组织学实体的分级组合，在多个层级捕捉多元组织信息。

具体细节总结如下：

预处理（Preprocessing）采用[29]中提出的染色归一化方法，减少由于染色条件不同导致图像外观变化带来的影响。

接下来是组织学实体检测（Entity detection），这里选取的实体包括细胞（主要是细胞核Nuclei）和组织（Tissue）。细胞核的检测基于HoVer-Net[24]实现，使用MoNuSeg[25]数据集上预训练得到的模型权重。组织的检测基于无监督的超像素算法实现，使用的是放大倍数较低的病理图像，这样可以减少噪声影响并提高计算效率。具体做法是，首先通过Simple Linear Iterative Clustering超像素算法获取超像素块，再根据超像素块的相似度进行更大区域的合并，由此将区域数量减小到一定范围内，得到组织的近似表示。

获取到病理图像中的实体之后，需要进一步构建图表示（Graph construction）。这里的图表示包含细胞图表示（cell-graph representation）、组织图表示（tissue-graph representation）、以及从细胞到组织的层级图表示（hierarchical cells-to-tissue graph representation），构建流程如图5。

图5 从细胞到组织的层级图表示构建[23]

细胞图表示中，节点属性由以每个细胞为中心的图像块特征构成，图像块特征由ImageNet上预训练的ResNet提取得到。此外，归一化的坐标信息也被加入到节点属性中。边的构建则依赖细胞核的空间信息，首先通过k-Nearest Neighbors算法获取初始的拓扑结构，再计算每个节点与k个邻接节点的欧式距离，根据一个阈值删除距离较远的两个节点之间的边。

组织图表示中，每个节点代表一个组织微环境（tissue microenvironment）所在区域，而节点之间的边代表这些微环境之间的相互作用。节点属性由每个超像素所包含的图像块特征构成，图像块特征同样是由ResNet提取得到，将超像素中所有图像块的特征取平均得到节点属性。与细胞的节点属性类似，额外加入归一化的坐标信息。边的构建同样是基于空间关系，在相邻的组织之间构建边，形成区域邻接图（Region Adjacency Graph）。

为了构建从细胞到组织的层级图表示，这里提出一个HierArchical Cell-to-Tissue graph。对于病理图像全面的分析应该包含不同层次实体之间的内部（intra）结构拓扑信息和外部（inter）结构拓扑信息。其中内部结构拓扑信息在细胞图表示和组织图表示中得到了处理，从细胞到组织的层级图表示主要目标在于分析外部结构拓扑信息。此处通过一个指派模块（Assignment module）来实现外部结构拓扑信息的表示，其具体形式为一个二值矩阵，根据细胞核和组织的空间关系进行构建，若某个细胞核在空间上处于某个组织内部，则对应矩阵值为1，否则为0。

接下来要基于图表示提取多层级的特征，这里使用层级化的图神经网络实现（Hierarchical GNN），其结构如图6，细胞图表示由Cell GNN进行处理，得到高层特征后根据从细胞到组织的层级图表示与组织图表示进行融合，融合后的组织图表示由Tissue GNN进行处理，最终通过READOUT操作得到整个病理图像的图表示，再由一个多层感知机（MLP）将整个病理图像的图表示映射到预测结果。两个GNN的构建均采用Principal Neighborhood Aggregation layer[26]，并通过基于LSTM的jumping knowledge机制[27]来统一不同的子图结构。

图6 HACT-Net结构[23]

该模型在BRACS数据集[28]上进行测试，该数据集的一些统计信息见表3。可以看到，与像素级的处理（表中Image一栏）相比，细胞级和组织级的处理（表中CG、TG栏）对象在数量上大大减少。

表3 BRACS数据集的统计信息[23]

最后，从表4中四分类任务结果来看，该模型优于纯CNN的模型和基于图像块的GNN模型。

表4 BRACS数据集四分类结果（F1-score）[23]

总结与思考

以上结合三个实际的工作分别介绍了基于细胞构建图模型、基于图像块构建图模型、以及基于多层级的信息构建图模型的方法。从这些工作的实验结果上可以看到，通过图模型显式地对病理图像中细胞、组织等基础结构进行层级化的表示有助于提升模型性能，也有助于理解模型和设计模型。直观来看，与处理无序图像块的CNN模型相比，将病理图像表示为图结构可以更高效地提取整个图像的信息。遗憾的是目前尚未看到关于两类模型在病理图像分析任务上所需计算资源的比较工作。考虑到病理图像分析具有实际的临床应用价值，我们会持续关注相关工作，也会做出一些探索。

参考文献

[1] Zhang, Zizhao, et al."Pathologist-level interpretable whole-slide cancer diagnosis with deep learning." Nature Machine Intelligence 1.5 (2019): 236-245.

[2] Xu, Bolei, et al. "Look, investigate, and classify: a deep hybrid attention method for breast cancer classification." 2019 IEEE 16th international symposium on biomedical imaging (ISBI 2019). IEEE, 2019.

[3] Wu, Zonghan, et al. "A comprehensive survey on graph neural networks." IEEE transactions on neural networks and learning systems 32.1 (2020): 4-24.

[4] Zhang, Ziwei, Peng Cui, and Wenwu Zhu."Deep learning on graphs: A survey." IEEE Transactions on Knowledge and Data Engineering (2020).

[5] Wang, Jingwen, et al. "Weaklysupervised prostate tma classification via graph convolutional networks."2020 IEEE 17th International Symposium on Biomedical Imaging (ISBI). IEEE,2020.

[6] Long, Jonathan, Evan Shelhamer, andTrevor Darrell. "Fully convolutional networks for semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2015.

[7] Mahmood, Faisal, et al. "Deepadversarial training for multi-organ nuclei segmentation in histopathology images." IEEE transactions on medical imaging 39.11 (2019):3257-3267.

[8] Kumar, Neeraj, et al. "A dataset and a technique for generalized nuclear segmentation for computational pathology." IEEE transactions on medical imaging 36.7 (2017): 1550-1560.

[9] Sebastian V, Bino, A. Unnikrishnan, andKannan Balakrishnan. "Gray level co-occurrence matrices: generalization and some new features." arXiv preprint arXiv:1205.4831 (2012).

[10] Lu, Ming Y., et al."Semi-supervised histology classification using deep multiple instance learning and contrastive predictive coding." arXiv preprintarXiv:1910.10825 (2019).

[11] Hamilton, William L., Rex Ying, andJure Leskovec. "Inductive representation learning on large graphs."Proceedings of the 31st International Conference on Neural information processing Systems. 2017.

[12] Zhong, Qing, et al. "A curated collection of tissue microarray images and clinical outcome data of prostate cancer patients." Scientific data 4.1 (2017): 1-9.

[13] Arvaniti, Eirini, et al."Automated Gleason grading of prostate cancer tissue microarrays via deep learning." Scientific Reports 8.1 (2018): 1-11.

[14] Ding, Kexin, et al." Feature-Enhanced Graph Networks for Genetic Mutational Prediction UsingHistopathological Images in Colon Cancer." International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, Cham,2020.

[15] Hamilton, William L., Rex Ying, andJure Leskovec. "Inductive representation learning on large graphs."Proceedings of the 31st International Conference on Neural information processing Systems. 2017.

[16] Veličković, Petar, et al."Graph attention networks." arXiv preprint arXiv:1710.10903 (2017).

[17] Kipf, Thomas N., and Max Welling."Semi-supervised classification with graph convolutional networks."arXiv preprint arXiv:1609.02907 (2016).

[18] Kirk, S., et al.: Radiology data from the cancer genome atlas colon adenocarcinoma

[TCGA-COAD] collection. In: The CancerImaging Archive. https://doi.org/10.

7937/K9/TCIA.2016.HJJHBOXZ

[19] Simonyan, K., Zisserman, A.: Very deep convolutional networks for large-scale image recognition. In: InternationalConference on Learning Representations (2015)

[20] He, K., Zhang, X., Ren, S., and Sun,J. : Deep residual learning for image recognition. In: IEEE Conference on computer Vision and Pattern Recognition (2016)

[21] Defferrard, M., Bresson, X., Vandergheynst, P.: Convolutional neural networks on graphs with fast localized spectral filtering. In: Neural Information Processing Systems (2016)

[22] Velickovic, P., Cucurull, G., Casanova, A., Romero, A., Lio, P., Bengio, Y.: Graph attention networks. In International Conference on Learning Representations (2018)

[23] Pati, Pushpak, et al."Hierarchical Graph Representations in Digital Pathology." arXivpreprint arXiv:2102.11057 (2021).

[24] S. Graham et al., “Hover-net: Simultaneous segmentation and classification of nuclei in multi-tissue histology images,” in Medical Image Analysis, vol. 58, 2019.

[25] N. Kumar et al., “A dataset and a technique for generalized nuclear segmentation for computational pathology,” in IEEE Transactions on Medical Imaging, vol. 36, no. 7, 2017, pp. 1550–1560.

[26] G. Corso et al., “Principalneighbourhood aggregation for graph nets,” in Neural Information processing systems (NeurIPS), 2020.

[27] K. Xu et al., “Representation learning on graphs with jumping knowledge networks,” in International Conference on Machine Learning (ICML), 2018.

[28] Pati, Pushpak, et al."Hierarchical Cell-to-Tissue graph representations for breast cancer subtyping in digital pathology." arXiv e-prints (2021): arXiv-2102.

[29] M. Macenko et al., “A method for normalizing histology slides for quantitative analysis,” in IEEE international Symposium on Biomedical Imaging (ISBI), 2009, pp. 1107–1110.

上一个: 动态模型编译优化的挑战及实现分析

下一个: 训练神经网络一定要用反向传播吗？

近期文章