深度学习提取的多重免疫荧光用于免疫组织化学图像定量分析

空白派

报告通过组织的常规免疫组化（IHC）染色评估的生物标志物被广泛用于临床诊断。然而，到目前为止，临床报告主要是定性或半定量的。Memorial Sloan Kettering Cancer Center的 Travis J. Hollmann和Saad Madeem团队在Nature Machine Intelligence期刊上发表了题为“Deep learning-inferred multiplex immunofluorescence for immunohistochemical image quantification”的文章。该研究通过创建一个多任务深度学习框架DeepLIIF，用于染色去卷积、细胞分割和定量单细胞IHC评分。利用一个独特的IHC和同一切片的多重免疫荧光（mpIF）染色的数据集，可以将低成本和普遍的IHC切片分割并转化为信息量更大，但也更昂贵的mpIF图像。
使用玻璃玻片上的组织切片的免疫组化（IHC）染色评估蛋白质的表达，对于在一些临床诊断场景中指导临床决策至关重要，包括癌症分类、疾病检测，甚至突变检测。标准的明场IHC染色虽然高通量，但动态范围窄，会导致色原/染色剂高度重叠，需要进行染色去卷积。染色剂去卷积是一个开放的问题，需要大量的超参数调整（随不同个例变化）或手动标记不同的细胞类型（极易出错且耗时），但在色原体高度重叠的区域仍然会导致次优的颜色分离。
相对于标准的明场IHC染色，多重免疫荧光（mpIF）染色提供了单独检查几个标记物的能力（不需要染色剂去卷积），可以作为一个复合体，进行精确的共定位。还能将染色标准化，获取更客观的评分和所有标记物的截断值（尤其是在低表达区域，这些区域在IHC染色的切片上很难评估，并且由于弱染色被苏木精反染色所掩盖，可能被误认为是阴性）。此外，在最近的分析中，mpIF被证明比IHC评分、肿瘤突变负荷或基因表达谱具有更高的诊断预测准确性（与多模式跨平台综合方法相当）。然而mpIF染色是昂贵的，有其局限性不能广泛使用。
在这篇文章中，研究者提出了一种新的多任务深度学习算法，利用同一切片的独特的共定位的IHC和mpIF训练数据，将低成本的IHC图像转化为高成本和更多信息的mpIF图像，准确地自动分割相关细胞并量化蛋白质表达，以实现更准确和可重复的IHC量化评估。具体来说，一旦经过训练，DeepLIIF只将IHC图像作为输入（例如，Ki67蛋白IHC为棕色Ki67染色，带有标准的苏木精核对抗染色），完全绕过染色去卷积，并产生/生成相应的苏木精、mpIF核（6-二氨基-2-苯基吲哚（DAPI））、mpIF蛋白（例如Ki67）和mpIF LAP2Beta（一种新的核包膜染色剂，具有>95%的细胞覆盖率，可以更好地分离接触/重叠的细胞）通道图像和多分类的细胞分割掩膜图像。



图1 DeepLIIF管道和样本输入IHC与相应的DeepLIIF生成的haematoxylin/mpIF图像和分类分割掩码图

为了测试该多任务深度学习算法，研究者首先测试了DeepLIIF在细胞分割和分类任务上的表现。使用由真阳性（TP）、假阳性（FP）和假阴性（FN）的数量计算出的像素准确率（PixAcc），dice得分，以及IOU得分作为标准来评估DeepLIIF和其他最先进的方法的性能。研究者从最近发布的BC数据集中随机选择并分割了41张大小为640×640的图像，该数据集包含Ki67染色的乳腺癌切片。



图2 在BC数据集上测试，从而对DeepLIIF的定性和定量分析

该切片附带有Ki67+和Ki67-细胞中心点人工标记（由10位病理学家协商一致创建）。研究者在训练集上分别训练了最先进的分割神经网络，包括FPN12、LinkNet13、Mask_RCNN14、Unet++15和nnU-Net16，使用IHC图像作为输入，并生成代表正常细胞和淋巴细胞的彩色分割mask。DeepLIIF在所有三个指标上的表现都超过了以前在相同数据上训练和测试的模型。研究者将DeepLIIF应用于BC数据集的结果是像素准确率为94.18%，Dice score为68.15%，IOU为53.20%，AJI为53.48%，IHC量化差异为6.07%，并且它的表现超过了Mask_RCNN、Unet++、nnU-Net、FPN、LinkNet等模型。
研究者接着使用平均平方误差（合成图像和实际图像之间的平均平方差）和结构相似度指数来评估生成的mpIF图像的质量。如图3所示，基于这些指标，DeepLIIF生成了高度真实的图像。在这个图中，可以直观地看到应用于合成图像和真实图像的特征向量的主成分分析（PCA）的前两个成分（根据VGG16模型计算图像的特征向量，然后在计算得到的特征向量上应用PCA）。结果显示，合成图像数据点与真实图像数据点具有相同的分布，证实了该模型生成的图像与真实图像具有相同的特征。



图3 Deepliif的定量和定性分析用于模态推断

这项研究提供了一个通用的多任务深度学习模型，用于分割IHC图像中的细胞，识别和量化阳性和阴性标记物的染色。更重要的是，这项研究描述了一种模式，在这种模式下，成本更高的、更高维度的多通道成像平台的训练数据改善了广泛使用、成本更低的IHC图像的可解释性。
文章来源：

原文地址：https://zhuanlan.zhihu.com/p/534716421