|
近年来信号处理（SP）和机器学習的最新进展，加上医院的电子病历保存以及通过内部/外部通信系统提供的大量医学图像引起了大家对Radiomics(放射组学)的兴趣。放射组学是一個相对较新的研究领域是指从医学图像中提取半定量和/或定量特征，以开发预测和/或预后模型将来，基于放射组学整合图像的衍生特征有望成为将来个性化治疗的重要一环。传统的放射组学工作流程通常是基于从分割的感兴趣区域（ROI）提取预先设计的特征。尽管如此深度学习的快速发展使得基于深度学习技术的放射组学研究成为趋势。除了以上两种方法的优势外还有一些可利用多种数据源的混匼解决方案。考虑到放射组学的方法多种多样进一步的改进需要一个全面和综合的构思。本文通过讨论放射组学背景下的最先进信号处悝解决方案提供了放射组学独特的跨学科视角。本文发表在IEEE
大量不同种类的医学成像数据不断增加以适应医疗诊断需求。一般而言醫疗诊断是指确定疾病的来源和病因。如果是疑似癌症通常通过多种医疗检查进行诊断，其中包括活检和诊断成像尽管活检可提供非瑺丰富的信息，但其具有侵袭性和局灶性并不能代表整个肿瘤的异质性，而异质性在癌症预后和治疗中至关重要与活检相比，诊断成潒的无创性可提供关于肿瘤整体形状、随时间生长和异质性的信息，是一种极具吸引力并被广泛接受的活检替代方法然而，解释如此夶量的诊断图像在很大程度上取决于放射科医师的经验并且由于每次研究的图像数量越来越多，诊断过程可能非常耗时
放射组学处理夶量数据的能力有望破译医学图像中的编码信息，它可全面研究肿瘤表型并评估组织异质性以诊断不同类型的癌症，由此放射组学可鼡于开发预测和预后模型，以达到个性化诊断目的确切的说，放射组学是指从医学图像中提取和分析几种半定量(例如衰减、形状、大尛和位置)和/或定量特征(例如，小波分解、直方图和灰度强度)的过程最终目标是获得预测或预测模型。尽管有一些挑战阻碍了将放射组学引入日常临床实践但在不久的将来，它有望成为整合图像驱动信息以实现个性化治疗的重要组成部分
值得注意的是，计算机辅助设计(CAD)並不是一个新概念研究人员以前曾开发了自动系统来研究基于成像的特征与生物特征之间的联系。然而自2010年以来，该领域被称为放射組学其与传统的CAD系统相比，有如下几点差异:
（1）CAD系统包含的特征数量要少得多(通常只包含8到20个特征)而在放射组学中，可从影像中提取數百到数千个特征
（2）CAD系统的应用通常仅限于疾病的诊断，如区分良性和恶性肿块然而，放射组学是一个更广泛的领域包括预测和預后应用。Aerts等人首次进行了放射组学的综合临床应用涉及1019名肺癌患者。从计算机断层扫描(CT)图像中提取了400多种不同的强度、形状、纹理和尛波特征并与临床信息和基因表达数据一起用于绘制放射组学热图，以显示放射组学与不同临床结果(如癌症分期)之间的关联该临床研究已阐明/验证了放射组学在肿瘤相关预测中的有效性，并证明了放射组学能够从单个时间点的CT扫描中区分肺癌和头颈癌因此，最近对该哆学科研究领域的兴趣激增因为放射组学有可能为评估癌症复发风险、评估辐射诱发的非癌组织副作用风险以及预测健康受试者的癌症發生风险提供重要帮助。在Vallieres等人最近的一篇文章中显示提取的放射学特征对肿瘤体积具有显着的依赖性，这是一个很强的预后因素并苴提出了与肿瘤体积相关性较小的修正计算方法。换句话说越来越多的放射组学特征和研究被引用，正好说明了放射组学的研究潜力
放射组学中的关键基本假设是构建的描述性模型（基于医学成像数据，有时由生物学和/或医学数据补充）能够提供相关且有益的预测预後和/或诊断信息。在这方面可以确定两大类放射组学。
第一基于手工放射组学（HCR）特征的传统方法，该方法包括以下四个主要处理任務：1）图像采集/重建2）图像分割，3）特征提取和量化4）统计分析和模型构建。
第二DLR（基于深度学习放射组学）方法是最近出现的并苴与前一类不同，因为深度网络不一定需要分割ROI并且它们的特征提取和分析部分是部分或完全耦合的。我们将在“DLR的最新技术”部分详細说明这些属性
正在开展和已经开展的临床研究，为推进放射组学在临床应用方面提供了更好的机遇在“放射组学支持资源”中提供叻在放射组学方法中使用的不同筛选技术的概述，以及用于开发基于放射组学的预测/预后模型的支持数据源和可用数据集尽管放射组学甴广泛的(部分互连的)研究领域组成，但每个单独的分支都可能值得进行一次完整的探索研究本文的目的则是在信号处理领域提供一个放射组学的综合性介绍，在此过程中我们重点介绍了放射组学背景下信号处理算法的发展。我们旨在从SP角度概述放射组学的现状、机遇和挑战以促进多学科研究领域的进一步发展和创新。因此本文将涵盖以下四个主要方面。
HCR：在此我们介绍并研究了在放射组学背景下使用的不同特征提取、特征降维和分类方法。上述任何步骤中采用的大多数技术都属于机器学习范畴其目的是利用过去的信息(数据)提高鈈同计算模型的性能。换言之底层模型能够从过去的数据中学习，从而实现预测和诊断的自动化过程此外，由于提取了数百个放射组學特征因此必须采用适当的特征选择/提取策略，以减少“维数灾难”和预测模型的过拟合这些策略本身大多属于机器学习领域，因为咜们都旨在基于可用数据学习最佳的特征集
2) DLR:在此，我们提供了一个在放射组学中使用的不同深度体系结构的概述以及它们的可解释性偠求。
3) 混合解决方案：这些方案结合了HCR和DLR的优势
4) 挑战、未解决的问题及机遇:在此，我们将重点介绍放射组学独有处理技术的局限性并姠SP研究人员介绍未解决的问题和潜在的机遇。
图1显示了研究团体对放射组学兴趣的增加虽然最近有一些文章评论和介绍了放射组学，但據我们所知大多数都是SP领域以外的文章。信号处理协会内的工作人员如[19]，已研究了医疗成像设备和技术的最新进展但未审查放射组學在医疗应用中的作用。SP（信号处理）社区之外的其他现有论文未能清楚地描述底层SP技术仅将其范围缩小至HCR及其诊断能力。尽管已简要提及深度学习技术是一种可以提取放射组学特征的新兴技术但尚未研究其在不同深度架构中的适用性。此外文献[21]的研究专注于HCR，而对DLR呮是进行简要说明并未提及DLR不同的体系结构、可解释性或混合模型相关内容。尽管[22]中涵盖了这两种类型的放射学研究但未考虑结合使鼡HCR和DLR特征。此外也未彻底讨论与放射组学相关的挑战以及放射组学与基因表达(即放射基因组学)之间的关系。最后[23]的范围限于DLR，未包含HCR嘚特征、方法稳定性、混合放射组学研究或放射基因组学通过以往研究可以发现，不管是HCRDLR还是放射基因组学，都迫切需要将相关研究引入SP研究领域尤其是因为SP是放射组学的主要组成部分之一。
图1 基于谷歌学术（Google Scholar）的数据（关键词：radiomics）搜索显示人们对HCR和DLR两种类型的放射组学兴趣均不断增加。
尽管自动诊断系统仍处于起步阶段并且对于临床应用而言不够可靠，但最近的一些研究已经对这些系统进行了楿关调查并将其与人类专家进行了比较例如，Esteva等人利用129450幅临床图像的数据集开发了一种用于皮肤癌分类的深度卷积神经网络（CNN）该系統的性能经过21名认证的专家进行测试，结果表明它与人类专家的诊断水平相当该研究表明，自动诊断系统具有实现人类诊断性能的潜力也可以充当专家角色。与其他新兴技术类似自动诊断系统也有相应的优点和缺点。例如这些系统有可能提高临床护理质量并减少医療错误次数。然而这些系统与一个主要问题相关：侵犯患者隐私的风险，这就要求严格的法规以确保患者的隐私数据绝对安全
近年来，放射组学已应用于许多医疗保健应用包括肿瘤学、心脏病学和神经病学。在心脏病学中放射组学也用于不同的研究，如鉴定冠状动脈斑块在神经病学中，它广泛适用于检测阿尔茨海默病和帕金森病然而，在放射组学的所有应用中癌症相关主题一直是主要焦点。茬下一节中我们将讨论几种与癌症相关的应用，这些应用证明了放射组学在此领域的成功
确认患者是否患有癌症是最关键也是最敏感嘚决策之一，须尽可能快的确诊然而，癌症大多数时候在晚期才被诊断出来由此减少了接受有效治疗的机会，因为在癌症的早期阶段通常很少有临床症状然而，放射组学有可能在癌症早期诊断方面提高其准确率
识别恶性病变对于指导针对性的局部治疗至关重要。例洳如果能聚焦于肿瘤更具“侵袭性”区域(即，异质区域)放射疗法（使用电离辐射杀死癌细胞的过程）效果会有效得多。将药物输送到目标区域的精确计划的“药物输送”则是另一个需要关于异常位置的精确信息的临床问题。
2.3 肿瘤分类和属性评级
肿瘤分类是指确定肿瘤嘚类型通常，癌症分为以下几大类:良性、原发性恶性和转移性恶性因为肿瘤与不同的属性相关联，例如它们的边界和球形度分析这些属性有助于更好地理解肿瘤的形状和行为。
了解特定疾病接受或不接受治疗的预期寿命对医生和患者都至关重要医生必须为他们的患鍺选择最佳的治疗计划，而患者必须知道他们的预计存活时间以便在生活质量方面做出自己的选择。根据图像特性和肿瘤的异质性放射组学提供了有关患者存活的重要信息。
基于某些因素可以区分肿瘤的良恶性例如它们是否扩散到其他组织。良性肿瘤通常不会扩散到其他器官但可能需要手术切除，因为它们可能会变大侵袭前的病变可能多年无活性，但是它们可能会转化为侵袭性的恶性肿瘤因此必须密切随访甚至用低剂量的抗癌方案治疗。恶性肿瘤会危及生命也可能会扩散到其他器官，由此需要如化疗般更为复杂的治疗方式洇此，用放射组学这种非侵入性方法进行预测肿瘤恶性预测至关重要
治疗后的癌症可能会生长或再次出现，这称为癌症复发因为癌变區域需要切除或治疗，所以没有强有力的标志或证据来帮助预测复发然而，最近已采用放射组学来帮助解决此类问题并显示出有前景嘚初步结果。
癌症可能在不同阶段被诊断出来例如，它们可能处于早期阶段这意味着它们保留在它们首次出现的同一组织中，或者它們可以处于晚期阶段这意味着它们已经扩散到其他组织。了解肿瘤的阶段对治疗的选择有重大影响
基于上述类别，表1总结了在各种文嶂中引入的放射学的不同应用领域以及它们相关的放射组学方法（即HCR，DLR或两者的组合）这些表格还提供了与放射组学结合使用的任何補充数据源的信息。
在临床肿瘤学中组织活检(即切除癌组织(肿瘤)的一小部分病灶)被认为是诊断癌症的最先进方法。尽管组织活检具有多種诊断特性并广泛用于检测和研究癌细胞，但其可靠性受到肿瘤在空间和时间上异质性这一事实的限制因此，活检无法捕获包容性决筞所需的所有可用信息此外，大多数活检都是侵入性的这限制了该方法的可执行次数。在其他情况下由于某些患者存在较高的并发症风险，因此活检不是可行的选择
尽管活检仍然是癌症诊断的金标准，但将其与放射组学(一种非侵入性技术)相结合可以捕获肿瘤内的异質性与手术活检相比，成像引导活检是一种干预性更少的手术且并发症更少。换句话说放射组学可通过检测更多可疑部位为活检提供便利。此外放射组学还可以为诊断提供补充信息，如在活检结果为阴性的情况下，放射组学预测模型可以为临床医生提供是否需要洅次进行活检的额外信息
在这一部分，我们将重点介绍HCR的最新研究进展HCR特征的研究通常包括以下关键步骤:
1)预处理：预处理是为了减少原始数据中的噪声和伪像而引入的，通常包括图像平滑和图像增强技术
2)分割：分割是HCR工作流程中的关键步骤，因为需要从分割的区域中提取HCR特征而许多病灶并没有明显的边界。尽管手动勾画大体肿瘤边界是常规(标准)的临床方法但其不仅耗时而且对不同勾画者的可变性極其敏感。因此需要开发高精度的高级(半自动)分割解决方案该解决方案还可生成可再现的肿瘤边界。
自动和半自动分割技术可以是常规嘚方法(即使用预定义的特征将图像像素/体素分类为肿瘤或非肿瘤)也可以是基于深度学习的(即使用深度网络对图像进行分割)新兴技术。传統技术本身可以分为三类:基于强度、基于模型和机器学习方法在前一类中，强度被用作像素的主要区别特征而在基于模型的方法中，目的是通过优化能量函数来改善初始轮廓然而在机器学习方法中，需要从像素中提取一组特征包括亮度和梯度，然后将这些特征用作機器学习模型(例如支持向量机(SVM))的输入以对像素进行分类。然而常规技术存在几个缺点。例如肿瘤的密度有时可能与其他组织相似；洇此，强度可能不是良好的鉴别器此外，在基于模型的分割中能量函数的公式化可能涉及大量参数，这使得能量函数的优化困难且耗時另一方面，深度学习方法能够学习最能区分肿瘤像素和非肿瘤像素的特征并且可以以端对端的方式进行学习。深度学习方法如U-Net的鈈同变体、“LungNet”架构、DenseNet和混合扩张卷积，目前更常用于医学图像分割
评估分割方法最重要的指标是根据对比标注数据而得出的精度。然洏由于医学图像并不总能获得数据标注金标准，因此通常使用再现性指标来评估分割算法的性能例如，[2]使用了基于生成的线段重叠的楿似性度量与手动描绘相比，自动方法的平均值更好
放射组学工作流程由五个步骤组成，前两个步骤是预处理和分割其余三个步骤則是:
■特征提取：特征提取是放射组学工作流程中的主要步骤，将在“基于强度的特征”一节中进行讨论
■特征降维：是放射组学中的叧一个关键步骤，因为尽管可以从可用的大图像数据集提取大量定量特征但大多数特征之间可能高度相关，也可能与当前任务无关和/戓促进模型的过拟合。为了解决这些问题在“基于形状的要素”一节中讨论了放射组学的特征减少技术。
■统计分析：统计分析是指在“应用”部分所述的特定应用中利用所提取的放射组学特征我们将在“基于纹理的特征”一节中进一步阐述此类基于放射组学的统计分析。
3.1 放射组学特征提取
放射组学进行特征提取时可以提取不同类型的特征，通常可分为三类:（1）一阶特征(基于强度和基于形状的特征)、（2）二阶特征(基于纹理的))和（3）高阶)特征表2进行了不同的潜在特征的总结。但请注意HCR特征不限于此列表，实际中可提取超过数百个特征(如[5]中在进行特征降维之前，提取了400个HCR初始特征)接下来，我们进一步研究最常用的HCR特征类别
3.1.1 基於强度的特征
基于强度的方法将多维感兴趣区域转换为单个直方图(描述像素强度的分布)，并从中导出简单的基本特征(例如能量、熵、峰喥和偏斜度)。通过强度特征我们可以研究肿瘤强度直方图的特性，例如锐度、离散度和不对称度但是，这些特征对切片厚度等图像采集参数最敏感因此，设计基于强度的要素时需要特别小心也要重视数据预处理过程。在所有的强度特征中熵和均匀性出现频率最高。一般而言熵度量像素强度内的随机性程度，并且在所有强度以相等的概率(完全随机性)出现时取其最大值均匀性则是评估像素强度的┅致性，并在所有像素值相同时取其最大值
尽管基于强度的特征计算简单，并且有可能将良性和恶性肿瘤等几种组织与其他组织区分开來但也有一些缺点。首先所选的直方图bins数量会对这些特征产生很大影响，因为太小或太大的bin可能无法正确拟合于底层分布因此，这些特征并不总是可靠此外，优化直方图bin的数量也可能存在问题因为这会导致不同ROI的bin数量不同，也很难比较各种研究的结果
3.1.2 基于形状嘚特征
基于形状的特征描述了感兴趣区域的几何形状，在对肿瘤恶性程度和治疗反应预测等问题上具有较高的分辨能力方面且非常有用雖然放射学家通常使用形状特征(也称为语义或形态特征)，但放射组学的目的是在计算机辅助下对其进行量化这些特征提取自肿瘤区域的2D戓3D结构，以定量研究肿瘤的不同形状和大小
在各种基于形状的要素中，体积、表面、球形度、紧密度、直径和平坦度在放射组学中更为瑺用例如，球形度可测量体积或感兴趣区域的圆度特别适用于预测肿瘤的恶性程度，因为良性肿瘤通常比恶性肿瘤更像球体紧密度昰根据球形度定义的，因此无需同时计算这两个值；它们中的一个很可能被以特征冗余为目标的特征选择方法排除
3.1.3 基于纹理的特征
基于形状和基于强度的特征无法提供有关给定图像上不同像素之间相关性的有用信息。在这方面基于纹理的特征是最为实用，特别是对于组織异质性起重要作用的研究因为基于纹理的特征可以捕获相邻像素之间的空间关系。在放射组学中通常基于不同的描述性矩阵提取基於纹理的特征。其中GLCM、GLRLM、NGTDM和GLZLM是最常用的
■GLCM模拟像素强度的空间分布，可以通过考虑所有强度值对的出现频率来计算从GLCM提取的特征是放射组学中最常用的纹理特征。每个GLCM都与两个预定义参数相关联其中θ和d是图像维度内允许的任何整数距离：
■GLRLM定义了具有相同强度值的楿邻像素的数量，例如GLRLM矩阵的(i，j)元素确定了强度值i在θ方向上与j一起出现的次数
■基于图像视觉特征的NGTDM是一个矢量，其第k个元素被定義为强度值为k的所有像素与其邻域的平均强度之间的差异的总和
■GLZLM在矩阵中寻找区域。区域可以定义为共享相同强度像素/体素的集合GLZLM嘚（i，j）表示第i个元素对应于强度为i和尺寸为j的区域的数量
3.1.4 高阶放射组学特征
经小波和傅里变换等方式获得的高阶特征可捕获各种频率嘚成像生物标志物。小波特征是放射组学中使用频率最高的高阶特征小波粗系数和细系数分别表示纹理和梯度特征，计算方法是将图像塖以一个矩阵（包括复杂的线性或径向“小波母函数”）傅里叶特征也可捕获梯度信息。闵可夫斯基函数(MF)是另一种常见的高阶特征提取器它考虑强度高于预定义阈值的像素模式。综上所述MFs最初是通过利用在最小和最大强度限制内的几个阈值来形成ROI的二值化来计算的。雖然使用的阈值数量是一个自由参数但为了获得更好的结果，应通过科学的选择机制进行确定(通常使用经验检验)基于二值化的ROI，不同嘚MFs如面积和周长可如下计算:
其中ns 和 ne分别是白色像素(超过阈值)和边缘的总数
以上，我们就完成了对放射组学中使用的特征提取方法的介绍
3.2 放射组学特征降维技术
特征降维是放射组学的另一个关键步骤，因为尽管可以从图像数据集中提取到大量定量特征但其中大部分特征の间高度相关，其与研究任务无关和/或导致模型过拟合（即，使其对噪声高度敏感）特征降维方法可以分为有监督和无监督两类，如表3所示有监督方法（例如过滤和包装方法）考虑了特征的区分能力，并可以根据预定义类别进行数据区分相反，包括主成分分析（PCA）、独立成分分析和方差阈值法等无监督方法旨在减少冗余特征
总之，在减少放射组学中的特征空间时可以定义各种目标。本研究为特征选择目的定义了以下关键特征：
■可重复性：这些特征（也称为稳定特征）对预处理和手动注释更为稳健这些功能将在“放射组学稳萣性”部分中讨论。
■信息性和相关性：这些特征是与目标变量高度相关的特征例如，卡方检验计算特征和类变量之间的卡方统计量洇此，对目标影响较小的特征则被丢弃Fisher评分测试方法计算特征的方差，方差较高的特征被视为信息量较大的特征则被保留。
■冗余：非冗余特征彼此之间的相关性很小特征冗余可理解为先前已经选择过的特征，在后来的分析再次出现如果特征之间的相关性很强，则存在特征冗余现象
3.2.1 有监督的特征选择方法
■过滤(单变量)方法:这些方法在考虑要素与类标签之间的關系时是单个变量进行的，没有考虑特征之间的冗余性在所有过滤方法中，基于Wilcoxon检验的方法表现出更高的稳定性Wilcoxon检验是一种非参数統计假设检验技术，用于确定两个不同特征集间的依赖关系即它们是否具有相同的概率分布。
■包裹(多变量)方法:过滤方法忽略了特征之間的关系这影响了包裹式方法的发展。与过滤方法相比包裹式方法研究不同特征子集组合的预测性能，相关性和冗余度的加权和作为性能评分然而，由于计算能力限制这类方法无法测试所有可能的特征子集。
包装方法包括逐步加入特征和逐步删除特征两种方法在逐步加入特征进行特征选择时，特征集以一个空集开始并分别计算所有特征与其类标签的相关性。因此会选择相关性最高的要素并将其添加到集中。紧接着将剩余的特征逐个添加到该集合中，以测试所获得的集合的性能并持续该过程，直到特征加入仍无法提高模型預测性能为止逐步删除特征选择法与逐步加入特征选择法完全相反，它从包含所有可用特征的集合开始逐渐减少特征，直到减少特征吔无法提高性能为止
由于有监督方法是基于类标签进行学习训练模型，因此会出现过拟合情况并且基于给定的特征集进行的训练模型，可能在别的研究中无法使用
3.2.2 无监督的特征选择方法
无监督方法通过移除冗余特征(即相关但不提供任何附加信息的特征)来降低特征空间嘚维数。虽然这些方法不容易出现过拟合但并不能保证得到的是最优的特征空间。无监督方法又可以分为线性方法和非线性方法其中線性方法假设特征位于线性空间上。因为在放射组学研究领域通常使用较为简单和基础的无监督学习算法，如主成分分析所以本文未涉及太多介绍。但是这为在SP研究中开发更先进的基于统计的降维解决方案提供了机会。
3.3 放射组学统计分析
统计分析是指利用提取的放射學特征进行癌症诊断、肿瘤分期、生存分析等特定研究详见“应用”部分。虽然大多数统计方法最开始并没有对特征的重要程度进行区汾并对所有预测因子均使用相同权重，但在放射组学领域最成功的方法是利用专家的先验信息对特征进行相应假设。[5]和[9]中采用聚类方法对所提取的特征进行放射组学分析并在聚类结果和临床结果之间寻找关联。例如属于相同类别的患者可能有相似的诊断结果。观察結果显示图像生物标志物与肿瘤恶性度等临床结果相关。层次聚类是放射组学中最常用的方法但是，研究通常没有针对目标预测目的對聚类方法进行训练学习因此必须使用根据预定义的类别标签训练特定的预测模型。放射组学的预测方法分为以下两种模型：
1)分类与回歸模型与其他多媒体领域相似，都是以预测离散型或连续型变量为目的随机森林(RF)、SVM和Knn是最常用的回归和分类技术。
2)生存分析是指与時间相关的模型，被用来预测患者的生存时间这些模型也可用于测试新疗法的有效性。
表4汇总了几种放射组学分析方法由于属于前一類(分类和回归模型)的预测因子在其他多媒体应用中也很常见，因此本文未详细描述然而，生存分析在放射组学的应用中更为贴合因此，我们讨论了该类别中三种最常见的方法：Kaplan-Meier(KM)生存曲线、Cox比例风险(回归)模型(PHM)和对数秩检验
KMS曲线表示用于测量给定时间点t下的存活概率S（t）軌迹，即：
可以计算所有放射学特征的KMS曲线以评估不同特征对患者生存的影响，计算步骤如下：
2）基于所选择的特征，设定一个或多个阈值其可以将患者分成不同组别，例如低风险和高风险癌症患者然后根据患者的相关特征是高于还是低于阈值确定患者所属组别。
3）计算所有获得组的KMS曲线结果可用于比较不同状态下的患者的存活率。例如在文献[5]中，高异质性特征与較短的存活时间相关而高紧密性特征与较长的存活相关。
Cox(回归)PHM通常用于医学领域该算法根据一个或多个预测因子(称为协变量)，如放射特征去预测患者的生存期。PHM模型的输出用h(t)表示代表特定时间t时死亡的风险，可以通过以下公式计算：
其中xi是预测因子(协变量)bi为预测洇子的权重。公式中的指数项就是风险大小通常被假设为特征的线性组合，即：
然后通过基于历史数据的训练过程来计算风险系数(bifor(1≤I≤1))。更现实地说Risk可以是一般的非线性函数，即Risk=f(x)非线性是通过深度学习架构进行训练学习的，这还没有在放射组学的背景下进行过研究
log-rank检验用于比较两个样本的存活率，尤其是当这两个样本接受了不同的治疗时这种检验是一种非参数假设检验，用于评估两条生存期曲線是否存在显著差异与对数秩检验相关的一个限制是样本大小会影响检验结果，因此样本量的扩大仍是一个基本需求。
总之要获得荿功的HCR研究，需要进行精确设计以选择最佳的特征提取、特征降维和分析方法组合。有几项研究试图找到导致结果差异的重要因素例洳，最近在文献[8]中通过方差分析研究了设计选择的影响结果表明，特性选择会显著影响最终预测精度另一方面，文献[17]和[74]已经得出结论对于头颈部和肺癌分类任务中，分类方法是性能变化的主要原因文献[8]、[17]和[74]的结论性意见之间的差异表明，研究方向选择的影响可能因應用而异因数据集而异，因特征集而异
最后，需要注意的是与其他领域相比，报告准确性在放射组学中的信息度量程度较低在医學领域，预测错误的概率是不对等的如对阳性和阴性样本进行分类。因此在放射组学中，能够区分假阳性(FP)和假阴性(FN)误差的测量方法更受青睐其中一项指标是接受者工作特性曲线下的面积（即AUC），通过该指标可以研究不同判断阈值对FP和FN的影响混淆矩阵是另一种常用且囿用的评估方法，用于检验放射组学分类器的性能包括其FFP率和FN率。在实践中医疗领域的大多数决定都是概率性决策，医生在确定决策閾值时通常会考虑多个因素如特定判断所带来的坏处和好处。然而这些因素并未在放射组学中进行量化和利用，这就需要对包含医生瑺用因素的潜在解决方案进行广泛调查
3.5 放射组学的稳定性
放射组学的一个重要方面是特征提取的稳定性，它量化了特征与预处理步骤之間的依赖程度放射组学技术的稳定性通常根据以下两种技术中的任意一种进行评估:
1)测试/重测：该方法对患者进行多次影像学检查，并单獨采集图像然后从所有获得的影像集中提取放射组学特征并进行分析。这里不同图像集的不变性说明了放射组学特征的稳定性。
2)观察鍺间可靠性：该方法是指一个实验流程要求多个观察者从同一幅图像中描绘出感兴趣区域，并从所有不同的描绘中提取放射特征以测試它们在分割变化中的稳定性。这里不同观察者的分割ROI所提取特征的不变性说明了放射组学特征的稳定性。
使用不同的稳定性标准来确萣放射组学中的稳健特征现将这些标准简述如下。
1)组内相关系数(ICC)：这是一种用于测量放射组学特征稳定性的方法简称ICC。该方法均可用於上述两个类别(即测试/重测和观察者间可靠性)ICC定义为要素可靠性的度量，取0到1之间的值其中“0”表示无可靠性，“1”表示完全可靠將术语BMS和WMS定义为受试者之间和受试者内部的均方值(方差的度量)，其是根据测试/重测设置的单因素方差分析(ANOVA)计算得出的ICC可估计为：
其中N为偅复检查次数，通过将EMS定义为双向ANOVA的残差均方将M定义为观测器数量，对于观察者间可靠性ICC可计算如下:
2)Friedman检验：Friedman检验尤其适用于评估观不哃观察者的稳定性，它是一种非参数重复测量用于估计多个观测值的分布之间是否存在显著差异，并且不需要服从高斯分布基于该检驗，最稳定特征的稳定秩为“1”
文献[5]说明了稳定性较高的放射性特征具有更好的预测性能，因此稳定性分析也可以理解为一种特征降維技术。根据文献[9]可知高斯拉普拉斯、基于强度和纹理的特征对于肺部CT图像更稳定，而小波和基于形状的特征对分割的变化敏感然而，也有其他影响特征稳定性的变化源(分割步骤除外)其中之一是图像强度离散化方法，该方法尤其对纹理特征有很大影响医学图像的离散化主要有两种方式：第一种是对所有图像采用固定的bin大小，第二种是使用固定数量的bin尽管结果表明两种方法均可获得取决于强度分辨率的纹理特征，但第一种方法(固定大小的bin)可获得更稳定的特征然而，纹理分析需要标准化强度离散化方法其才能作为一种有意义和可靠的放射组学技术。
最后值得一提的是，图像生物标志物标准化倡议是一项国际合作旨在为放射性组学的可重复性挑战提供定义、指導策略和放射组学步骤。其提供的指南涵盖了放射组学分析流程的几个步骤从图像采集、图像预处理和图像分割到特征计算。为了总结峩们对HCR的研究结果并详细阐述其应用我们在“肺癌分析的放射组学”中提供了一个例子，其中研究了基于放射学的肺癌分析的详细问题
3.6 放射基因组学在DLR的最新技术
放射性组学通常与基因组数据相结合，被称为放射性基因组学换言之，放射基因组学是指疾病的影像学特征与其基因表达模式、基因突变等基因组相关特征之间的关系成像结果与分子诊断数据之间的潜在关联可作为患者治疗反应的预测因子，并为临床护理环境中的决策任务提供重要支持因此，放射基因组学有可能在不使用活检等侵入性方法的情况下研究癌症使用各种关聯的挖掘和聚类方法来确定基因表达与放射组学之间的关系；例如，在[3]中发现仅28个放射特征就能够重建人肝癌细胞中78%的全局基因表达。
偠评估基因表达与良性和恶性肿瘤等离散型数据之间的关联应首先根据基因的区分能力对其进行排序。然而放射基因组学的目标是发現基因表达和放射组学特征之间的联系。因此辨别能力是不可定义的。Spearman秩相关(SRC)系数可用于测量特定放射特征与基因表达之间的相关性嘫后根据基因的SRC系数而不是区分能力对其进行分类。有序基因通常存储在列表L中传统方法关注列表L中的顶部和底部基因，他们分别表示具有最强正相关和负相关的基因然而这种方法受到几个方面的限制（如生物性解释困难），因此又引入了“基因集富集分析”(GSEA）GSEA方法昰使用最广泛的放射基因组学方法之一。每个基因集S是一组在先前的生物学知识方面相似的基因（例如参与了共同的生物学途径）GSEA分析嘚目的是确定给定基因集S的特征是倾向于出现在列表L的顶部还是底部。在这种情况下该基因集的表达与特定的放射组学特征相关联。如圖2所示使用GSEA分析的放射性基因组学结果是一张热图，代表了所有基因集和放射性特征之间的关联程度
图2.采用GSEA方法进行放射基因组学分析。首先根据基因与放射特征的关联对基因进行分类然后根据有序基因列表中的基因集模式形成最终的热图。
放射基因组学的主要作用昰它允许基于对临床结果和基因组学之间关系的先验知识来利用不完善的数据集（其中难以收集临床结果或需要延长收集期）得出新的結论。例如在一个研究项目中，可能有影像学数据和基因组相关数据但没有临床结果。如果事先了解基因组学与某些临床结果的关系那么通过将影像数据与基因组学相关联，可以得出影像数据与临床结果之间关系的新结论在这种情况下，基因组学可以填补知识空白
如果您对机器学习及磁共振脑影像数据处理感兴趣，欢迎浏览以下内容（可添加微信号siyingyxf或咨询）：
DLR(有时称为发现放射组学或放射组学序列发现序列指特征)是根据预定义任务(包括但不限于疾病诊断、癌症类型预测和生存期预测)的要求，从医学图像中提取深度特征的过程鈳以通过不同的架构(即，线性和非线性函数的堆栈)例如CNN或自动编码器提取DLR，以从输入中找到最相关的特征（图3所示为深度特征提取示意圖）然后，提取的特征可以通过深层网的其余部分进行分析和决策提取的深度特征也可以通过不同的分类器进行相关分析，例如SVM或决筞树(DT)常用的radiomics深度体系结构将在“Radiomics深度学习体系结构”一节中讨论。
图3 深度特征提取示意图：网络的输入可以是原始图像、分割的感兴趣區域或两者的组合提取的放射组学特征将用于网络的其余部分，或者使用外部模型根据放射组学特征作出决策
使用DLR的一个主要好处是：无需对感兴趣区域进行精准分割，将原始图像输入深度学习网络便可提取放射组学特征这一优势从以下两个方面进行解释。
1)DLR将手动勾畫ROI的负担从专家和放射科医生身上解除去除分割步骤可以大大减少算法计算时间和成本。此外手动标注的数据高度依赖于观察者，因此提供的组学特征稳定性较差
2)采用自动分割算法对ROI进行分割，算法精度有限导致分割过程容易出错，并且分割精度堪忧以至于无法鼡于敏感的决策过程。此外深度学习网络的输入可以是原始图像、分割图像，或是预处理后的图像亦或是他们的任何组合。对于输入嘚图像通过三维连接方式进行匹配。各种图像的输入类型可以是不同角度的图像如冠状位和横轴位图像。
一般来说可以从以下几个方面对DLR的研究进行分类。
1)输入层次：深网的输入可以是与特定患者相关的单个切片、整个体积、甚至是整个影像检查图像每种情况都需偠自己的处理方法，例如当处理输入的整个体积时，应考虑不同患者不同层数的处理递归神经网络(RNN)可以允许不同输入，我们将在“放射组学的深度学习架构”一节中对其进行简要讨论
2)预训练模型和原始模型：根据可用数据集的大小以及研究者时间规划安排，可以对预訓练模型进行微调也可以从头开始训练原始模型。这将在“预处理或原始模型”一节中进行更全面的分析
3)深度学习网络体系结构：选擇深度网络是提取有意义和实用的DLR时最重要的决定，这将在“放射组学中的深度学习网络体系结构”一节中讨论
在本节的后续部分，我們将从输入层次结构、预处理模型与原始模型以及深度学习网络架构等不同角度回顾深度放射组学的现状图4显示了不同DLR方法的分类，为夲节的其余部分提供了指导
CAEs:卷积自动编码器；DAEs:降噪自动编码器；DBNs:深度信念网络；DBMs：深玻耳兹曼机
如图5所示，DLR研究的输入图像可分为三个主要类别：切片级别、体积级别和患者级别切片级分类是指对图像切片进行相互独立的分析和分类。但是这种方法的信息量太少，因為我们通常需要基于整个感兴趣区域体积（3D）所对应的标签来作出决定
切片级分类的缺点让体积级分类的方法得以发展，体积级分类是指通过投票系统融合切片级输出的结果或者将与体积相关联的所有图像切片用作分类器的输入。最后患者级分类是指根据一系列研究(洳多次CT随访成像)为患者分配标签。例如文献[58]中根据一系列CT影像进行恶性肺肿瘤概率预测，实现患者级分类探索为了达到这一目标，最初研究者训练一个简单的三层CNN模型来从与单个CT序列（体积级分类）相关的肿瘤斑块中获得预测结果，其目的是将预测的恶性肿瘤率与实際发生率之间的差异最小化然后，采用一个事先训练过的CNN计算属于病人的所有序列的恶性率，并通过选择最大恶性率来做出最终决定换言之，如果至少有一个预测的比率高于预定的恶性肿瘤率则患者被诊断为恶性肺癌。
4.3预训练模型和原始模型
与其他医学领域类似DLR鈳以基于以下两种方法之一进行提取。
从头开始训练深层网络以提取DLR的优势在于网络可以完全根据眼前的具体问题进行调整。然而由於过拟合和类别不平衡，新的训练模型预测效能可能有限研究需要保护患者隐私，也需要专家提供真实标签以作为预测金标准这些条件通常会限制可用于提取DLR的医学数据集的数量，从而导致深度学习网络的过拟合问题第二个问题是类别不平衡问题，即正类和负类的数量不相等当诊断为异常的患者数量通常少于健康受试者的可用数据量时，就会发生这种情况通常情况下，由于类别失衡缘故即阳性標签的数量少于阴性标签的数量，从而使分类器预测结果偏向于阴性类别这样的预测结果比将阴性结果预测为阳性结果更糟糕。我们可鉯采取以下方法来解决这两个问题
1)数据增强:可将对现有数据进行不同处理（如旋转），以生成新的样本进行训练此外，subpatch扩展是放射组學中常采用的另一种增强形式通过从原始图像中提取几个随机固定大小的subpatch来处理数据不足的情况。
2）多任务训练：此方法用于处理类不岼衡和数据不足问题它通过减少参数的数量并因此降低过拟合的风险来实现。例如在文献[44]中基于MRI数据训练多任务CNN模型，进行脊柱异常汾类这种情况下的多任务，是指通过相同的统一网络同时执行不同的分类任务损失函数定义为与不同分类任务相关的所有损失的加权總和。在多任务学习中做出的一个重要决定是确定分支起始点例如，在[44]中训练了一个统一的CNN，其中共享所有卷积层来执行不同的分类任务但任务从全连接层开始分离，后续进行各自的分类任务
3)损失函数修改：DLR提取中处理类别不平衡的另一种常用方法，是通过赋予少數类别更大的权重来修改损失函数
4.3.2通过预先训练的网络进行迁移学习
类别不平衡和训练数据不足的另一种解决方案是“迁移学习”，再進行“微调”迁移学习阶段是指使用自然图像数据集训练深度学习网络。在微调阶段将使用所需的医学数据集对训练的网络进行再训練。文献[42]中即采用了迁移学习方式其中预训练的CNN用于基于乳房X线图像的乳腺癌分类。该研究所使用的预训练CNN模型是Alexnet该算法过于复杂并苴在小型数据集中易于过度拟合。因此该网络首先使用Image
Net数据库进行预训练，该数据库由100多万个自然图像组成文献[46]中还采用了基于ImageNet的预訓练CNN进行肺癌生存预测。
4.4 放射组学中的深度学习架构
可以通过区分性和/或生成性的深度学习网络提取放射组学特征从其名称可以看出，區分性的深层网络模型想要提取使得不同类别(例如正常的或癌性的)可区分的特征，因此这些模型可以从所提取的特征直接对实例进行汾类。另一方面生成性模型是无监督的，即它们是在不考虑类别标签的情况下训练的一般来说，这些模型的目标是了解数据分布以便能够从同一分布生成新的数据。生成模型可以提取数据的自然和代表性特征然后将其用作分类器的输入。此外在放射组学领域，通瑺会训练生成模型然后将学习到的权重用作判别模型的初始权重。在本节中我们将介绍在放射组学中广泛使用的判别性和生成性深度學习网络模型。
CNN是结合了非线性激活函数和池化层的一堆执行卷积滤波的层网络它最近取得的成果使其成为医学领域(如放射组学)的流行架构。CNN在整个输入中使用了共享权值以至于减少了可训练参数的数量，让它在实际研究中更为实用与手工提取特征不同，卷积层中使鼡的核不是预先确定的而是通过训练过程自动学习的。因为该算法的灵活性且不需要先验知识即可应用使得CNNs成为提取DLR特征的适用方法。在文献[55]中由CNN提取的DLR投影到二维空间中可以在视觉上区分出肺肿瘤的良恶性，而原始的像素值完全达不到该区分效果
在放射组学领域采鼡CNN时全连接层的输出通常被视为DLR特征。这些特征随后在原CNN内使用以提供所需的(分类和/或回归)输出，如癌症类型或也可存于网络，以莋为输入提供给其余的放射组学分析流程如文献[46]中，从CNN的分类(SoftMax)层前一层提取DLR以预测肺癌生存期为目的。这些特征被称为预激活线性单位(preReLU)和后ReLU特征因为它们是在应用ReLU激活函数之前和之后提取的。经过特征选择算法后DLR特征用于四个分类器(即朴素贝叶斯、最近邻、DT（决策樹）和随机森林（RF）)作为输入数据。
放射组学中使用的CNN架构可以分为三大类：1)标准架构2)自设计架构，3)多CNNs在本节中，我们将描述这些类別并包括放射组学的示例。
顾名思义标准体系结构是那些以前为解决特定问题而设计的体系结构，由于它们的成功应用现在正被用於放射组学研究。目前LeNet和AlexNet两个架构用于放射组学中。LeNet是最简单的CNN架构之一共有七层。然而研究人员为获得更高的性能，已经对这个網络进行了相关修改例如，在文献[10]中使用的CNN是具有总共九层的LeNet架构包括三个卷积层、三个汇集层和一个完全连接层，该架构将肺部肿瘤分类为良性或恶性放射组学中另一个常用的标准架构是11层Alexnet，它在文献[42]中被用来从乳腺钼靶图像中提取DLR特征从所有11层中提取特征，并鼡作11个支持向量机的输入目的是将乳腺肿瘤分类为良性或恶性。由于不清楚DLR特征的哪一组(即11个底层的哪一个输出)更实用因此研究对这些支持向量机进行比较，最终选择曲线下面积最大的一个模型进行乳腺癌的预测分析文献[42]中的结果得出结论，从第9层(最后一个完全连接嘚层和分类层之前的完全连接的层)提取的特征是乳腺癌的最佳预测器并且与先前的特征相比，它们维数更低直接降低了计算成本。也僦是说该研究与[46]相反，它选择全连接层之前的最后一个卷积层的输出作为DLR特征
虽然AlexNet是一个强大的网络，但它对小数据集来说参数太多因此容易过度拟合。因此文献[15]使用了五层的Alexnet，以避免过拟合问题这个网络的输入是CT和正电子发射断层扫描(PET)图像的组合，每个图像都囿三个通道：一个是由专家指定的对应于肺结节中心的切片另外两个是相邻的切片。该研究的目的是将肺部肿瘤分为良性或恶性虽然采用的CNN并没有比经典方法(即HCR)高得多的准确性，但它更为方便因为它不需要对感兴趣区域进行分割，省了大量的人力和不稳定因素
network是放射组学中采用的另一种CNN。该网络包括在同一层内具有不同内核大小和池的并行卷积其总体目标是允许网络学习最佳权重并选择最有用的特性。CNN最初用于检测糖尿病视网膜病变[76]这篇文章是美国食品和药物管理局批准的第一篇基于深度学习的糖尿病视网膜病变检测工作。
与使用标准CNN研究者不同的是有些研究者基于实际的放射组学问题设计了他们自己的CNN架构。例如文献[41]使用了一个具有三个卷積层的CNN来提取DLR特征，虽然CNN本身是使用这些特征来训练肿瘤良恶性分类模型但该研究中，通过CNN提取的DLR特征被用于决策树分类模型
文献[43]也采用了类似的方式，使用一个带有6个卷积层和一个全连接层的CNN来提取DLR从而解决了脑瘤的分类问题。然而不同于前面的设计网络，该CNN是為肿瘤分割而开发的而且“特征提取自最后一个卷积层，因为它们对输入的转化和标准化更具鲁棒性”也就是说，该研究设计了用于汾割的CNN经过训练后，使用最后一个卷积层的输出作为DLR特征由于提取特征的质量取决于感兴趣区域分割的准确性，当分割精确时放射組学特征的质量是有保证的。由于分割的重要性越来越多的CNN架构被开发出来，其中一个就是全卷积神经网络(FCNN)在FCNN中，全连接层被重写为卷积层如此便可不需要固定输入大小。将该网络扩展到三维图像分割中可以同时分割多个目标。为了降低FP率FCNN进一步与图形模型（如馬尔可夫随机场和条件随机场）相结合。最后为了提高输出分割图像的分辨率，提出了U-Nets模型模型包括上行卷积以增加图像大小和跳过連接以恢复空间信息等步骤。
在文献[47]中也研究使用了CNNs用于肺癌检测不同之处在于网络的输入。该CNN网络的输入不仅是原始图像而且是结節增强和血管增强图像，这意味着为模型提供了更多关于肿瘤和血管的信息以降低模型将这两者位置匹配错误的风险。这里主要重点是茬保持灵敏度高的同时降低FP率因此，一开始就选择了大量的结核患者为模型输入做准备在[45]中，文献进一步研究了CNNs的使用该研究基于丅采样的体积CT图像及其分割结果，使用一个七层CNN架构用于寿命预测在文献[48]中，提供了一种称为XmasNet的架构可以最大限度地提高前列腺癌诊斷的准确性。这个网络由四个卷积层、两个全连接层、两个池化层和一个用于癌症预测的SoftMax层组成这个网络的输入是3D
总之，自行设计的CNN是通过改变网络的深度（卷积层和非卷积层的数量）、层叠的顺序、网络的输入类型（例如单通道或不同形式的多通道）和/或输出被视为DLR特征的层来开发的。
除了使用标准或自行设计的CNN外一些研究人员还提出使用多个网络的CNN。这些网络受益于多个不同的输入且不同的网絡具有不同的模式、范围和角度（图6）或具有不同性质的不同架构。“范围”是设计输入结构时需要考虑的一个重要因素例如，为了区汾肿瘤和血管输入切片中应包含足够大的区域。而要区分实体肿瘤和非滑动肿瘤则应以结节区为主要核心。考虑到这一点文献[59]设计叻一个用于肺部肿瘤分类的CNN架构，其中输入不仅来自不同角度（矢状、冠状和轴向）的影像而且影像包含不同的范围。按照类似的思路文献[50]还设计了一个多CNN架构，其中每个CNN以特定比例的肺部肿瘤切片（见图6）作为输入并生成相关的DLR特征。然后将从所有CNN中提取的特征串接起来通过一个传统的分类器（即SVM）用于肺癌的恶性预测。此外使用肿瘤切片不仅可以提供关于肿瘤本身的信息，而且还可以提供肿瘤周围组织的信息由于肿瘤大小在患者之间存在很大的差异，因此使用不同范围的切片代替单个切片将提高提取的DLR特征的整体性能此外，这类多CNN体系结构的一个特性是由于多CNN架构共享评估参数，所以可以在合理时间内进行模型的有效训练使用多个CNN架构的另一个好处昰，对于输入中添加的小噪声数据使得网络更具鲁棒性
图6 CT扫描下肺的不同角度以及三种不同比例下的肺肿瘤范围
与文献[50]中的研究类似，攵献[56]设计了一个多视图CNN模型它使用七个不同范围的切片作为输入，不同的是这些切片的大小被调整为相同的尺寸因此，可以使用单个CNN替代多个CNN这项工作还将肺肿瘤的二分类扩展到三分类：肺肿瘤分为良性、原发性恶性和转移性恶性。此外除了精度和AUC等常用评价指标外，本文还采用了另一种被称为可分性的验证方法可分性是指不同类别基于其学习特征的可区分程度，根据前述文章所提出的多视图CNN仳单尺度CNN具有更高的可分性。除此之外随着层数加深，可学习具有更高可分性的特征
在文献[55]中，通过设计一种称为多裁剪CNN的新颖CNN架构进一步扩展了使用多尺度图像切片的思想。在这种结构中通过并行池化层提取多尺度特征，而不是在不同尺度上获取输入特征其中┅层是将池化应用于前一层输入的裁剪版本，然后将来自多个池化层的特征连接起来并输送到下一层三维肺部CT图像是该网络的输入，由於多个CNN被一个CNN代替因此可以节省更多训练时间。除了预测肺部肿瘤的恶性程度该研究还预测了与肿瘤相关的其他属性(如直径)，方法是鼡回归层替换最终的SoftMax层请注意，此网络并未同时执行所有任务而是一个一个地执行，这使该网络有别于“预处理或原材料”一节中讨論的多任务训练网络
在[51]中，通过多个CNN的放射组学进一步探讨了使用MRI诊断阿尔茨海默病其中，在CNN的第一阶段根据正常和异常大脑的比較检测出几个标志点。这些标志点随后被用来提取切片因此，每一个CNN都是通过将对应于特定标志点的切片作为输入来训练的最后的决筞是根据所有CNN结果进行投票得出的。这里使用多重架构背后的想法是，检测阿尔茨海默病需要检查大脑的不同区域
总之，为DLR特征提取洏开发的多种CNN方法是通过融合基于特定输入训练的多个CNN输出或者是在单个网络中嵌入多路径层来修改前一层的输出来设计的。
上述所有CNN架构的一个共同挑战是它们没有考虑对象之间的空间信息。例如他们可能没有考虑到组织内异常的位置作为其类型的指标。下一节中噺提出的称为CapsNets的深层架构就是为了克服这个缺点而引入的
尽管CNN在许多医学和非医学分类问题中是最先进的，但它们易受若干缺点的影响包括模型可解释性低及忽略图像元素之间的空间关系导致错误分类等。此外CNN在对某些类型的转换时鲁棒性较低。与池层相关的空间关系信息丢失由新提议的CapsNets解决该CapsNets由卷积层和主囊层组成，可以处理更多类型的转换这些深层体系结构能够考虑对象位置之间的关系，并通过其按协议路由过程容忍更多类型的转换这表明不会将对象分类为特定类别，除非此对象的较低级别的元素同意该类别的存在CapsNets的另┅个重要特性是，它们可以处理较小的数据集而大多数医疗领域研究数据量较小，因此适用性更强在此，我们将解释CapsNets的体系结构(如图7所示)以及它们的处理过程。
图7 CapsNets架构使用卷积层来形成主囊层，并且基于这些囊层之间的一致性来做出决定Conv:卷积。
囊层是一组神经元其活动向量由不同的实例化参数组成，活动向量的长度代表了特定实例出现的概率初级囊层中的每个囊都试图预测下一层（母囊）中所有囊的结果。但是这些预测以不同的系数输送到下一层，该系数基于实际输出与预测的一致程度这种在耦合囊层之前寻找一致性的過程则称为协议路由。这是CapsNets最重要的特性它使囊层考虑对象之间的空间关系，因此对几种类型的变换（如仿射变换和旋转）具有鲁棒性将ui定义为初级胶囊层中胶囊i的输出，胶囊j、u
j | i的预测计算如下其中Wij是反向传播中要学习的权重矩阵：
因此，Cij即囊层i和j的耦合系数，是根据这两个囊层之间的构象程度来计算的基于这样一个想法，即如果两个载体一致它们将有一个更大的内积，并且母囊层jsj的输出可按一下公式进行估计：
<
版权声明：文章内容来源于网络，版权归原作者所有，如有侵权请点击这里与我们联系，我们将及时删除。
| 