(12)发明专利申请
(10)申请公布号 CN 111724399 A(43)申请公布日 2020.09.29
(21)申请号 202010590244.5(22)申请日 2020.06.24
(71)申请人 北京邮电大学
地址 100087 北京市海淀区西土城路10号(72)发明人 袁学光 张虎 张阳安 常坤亮
刘梦雅 吴梦琪 (74)专利代理机构 深圳智趣知识产权代理事务
所(普通合伙) 44486
代理人 王策(51)Int.Cl.
G06T 7/11(2017.01)G06T 7/143(2017.01)G06T 7/194(2017.01)G06N 3/04(2006.01)
权利要求书1页 说明书6页 附图5页
CN 111724399 A(54)发明名称
一种图像分割方法和终端(57)摘要
该本发明提出了一种图像分割方法和终端，
方法包括：获取待分割的原始图像数据，并对原始图像数据进行数据增强，生成第二图像数据；将原始图像数据与第二图像数据分别输入训练好的类U‑net结构的分割网络进行识别，得到与原始图像数据对应的第一概率图，以及与第二图像数据对应的第二概率图；基于第一概率图对多个第二概率图进行融合得到预测增强概率图；对预测增强分割概率图进行二值化处理得到图像分割结果。本方法能实现较精准的结节图像分割，不易受超声影像成像质量差的影响，且本方法通过预测增强技术，在无须训练多个模型且不提高单模型本身复杂度的前提下，提高最终的分割效果，能够显著抑制边缘区域的误分割问题。
CN 111724399 A
权 利 要 求 书
1/1页
1.一种图像分割方法，其特征在于，包括：获取待分割的原始图像数据，并对所述原始图像数据进行数据增强，生成第二图像数据；
将所述原始图像数据与所述第二图像数据分别输入训练好的类U-net结构的分割网络进行识别，得到与所述原始图像数据对应的第一概率图以及与所述第二图像数据对应的第二概率图；其中，所述第一概率图与所述第二概率图均为包含每个像素的前景背景概率的分割像素概率图；
基于所述第一概率图对多个所述第二概率图进行融合得到预测增强概率图；对所述预测增强概率图进行二值化处理得到图像分割结果。2.如权利要求1所述的一种图像分割方法，其特征在于，所述分割网络包括采用上下采样结构的多个Resnet卷积层的级联。
3.如权利要求1所述的一种图像分割方法，其特征在于，所述分割网络为单隐藏层的全连接神经网络。
4.如权利要求1所述的一种图像分割方法，其特征在于，所述数据增强的方法包括：旋转、镜像、放缩、或弹性变换。
5.如权利要求1所述的一种图像分割方法，其特征在于，所述基于所述第一概率图对多个所述第二概率图进行融合得到预测增强概率图，包括：
对各所述第二概率图进行反变换，以变换为与所述第一概率图相同的形式；对变换之后的多个所述第二概率图进行平均加权融合，得到预测增强概率图。6.如权利要求1所述的一种图像分割方法，其特征在于，所述分割网络是基于训练数据进行训练生成；所述训练数据包括已进行分割标注的影像。
7.如权利要求6所述的一种图像分割方法，其特征在于，还包括：
基于每次训练之后的所述分割网络对验证数据中的验证图像进行分割处理，得到验证分割结果；所述验证数据包括验证图像和分割标识，所述分割标识与所述验证图像对应；
基于所述验证分割结果与所述验证数据中与所述验证图像关联的分割标识进行比对；基于所述比对的结果评估训练之后的所述分割网络的性能。8.如权利要求6或7所述的一种图像分割方法，其特征在于，还包括：基于测试数据对训练好的所述分割网络进行性能测试；其中，所述测试数据包括已进行分割标注的影像。
9.如权利要求8所述的一种图像分割方法，其特征在于，所述训练数据、所述验证数据、所述测试数据的数据量比例在4:1:1到8:1:1之间。
10.一种终端，其特征在于，包括用于执行权利要求1-9中任意一项所述方法的模块。
2
CN 111724399 A
说 明 书
一种图像分割方法和终端
1/6页
技术领域
[0001]本发明涉及图像处理技术领域，特别涉及一种图像分割方法和终端。
背景技术
[0002]甲状腺结节是现在普遍存在的一种疾病，有调查指出在人群中甲状腺结节的发生率将近50％，但仅有4％-8％的甲状腺结节在临床触诊中可被触及。甲状腺结节有良、恶性之分，恶性发生率为5％-10％。早期发现病灶对鉴别其良恶性、临床治疗和手术选择有重要意义。
[0003]基于超声成像技术的甲状腺结节超声检查是目前常见的检查方式，然而医生诊断超声甲状腺图像的结果往往受到医学成像设备的成像机理、获取条件、显示设备等因素的影响而极易造成误诊或漏诊。因此，利用计算机实现甲状腺图像辅助诊断十分必要。但是固有的成像机制使得临床采集到的超声甲状腺结节图像质量均较差，导致辅助诊断的准确性和自动化均受到影响。
[0004]而在国内应用于甲状腺分割、识别的方法主要还集中于采用传统的图像算法来进行，例如CV模型、LIF模型、局部特征等。这类算法应用局限性较大，需要预先人工提取出超声影像中结节的粗略位置，并选择初始轮廓后才能进行分割识别。[0005]由此，传统的甲状腺结节影像分割技术，受限于超声影像噪点多，成像质量较差等因素的干扰，需要将输入图像进行预裁切，裁切后的仅包含结节的小图才能进行结节的分割工作，无法完成端到端的分割结果输出，并且分割精确程度有限。虽然也有个别通过级联卷积神经网络进行甲状腺结节分割的工作，但其模型较为复杂，需先通过初级网络进行初步分割，再经过次级网络进行第二步分割得到结果，两级模型级联使得模型的复杂程度较高，训练难度较大、计算速度较慢。并且对于特征图层的利用程度较低。发明内容
[0006]针对现有技术中的缺陷，本发明提出了一种图像分割方法和终端，本方法能实现较精准的结节图像分割，不易受超声影像成像质量差的影响，且本方法通过预测增强技术，在无须训练多个模型且不提高单模型本身复杂度的前提下，提高最终的分割效果，能够显著抑制边缘区域的误分割问题。[0007]具体的，本发明提出了以下具体的实施例：[0008]本发明实施例提出了一种图像分割方法，包括：[0009]获取待分割的原始图像数据，并对所述原始图像数据进行数据增强，生成第二图像数据；
[0010]将所述原始图像数据与所述第二图像数据分别输入训练好的类U-net结构的分割网络进行识别，得到与所述原始图像数据对应的第一概率图以及与所述第二图像数据对应的第二概率图；其中，所述第一概率图与所述第二概率图均为包含每个像素的前景背景概率的分割像素概率图；
3
CN 111724399 A[0011]
说 明 书
2/6页
基于所述第一概率图对多个所述第二概率图进行融合得到预测增强概率图；
[0012]对所述预测增强概率图进行二值化处理得到图像分割结果。[0013]在一个具体的实施例中，所述分割网络包括采用上下采样结构的多个Resnet卷积层的级联。
[0014]在一个具体的实施例中，所述分割网络为单隐藏层的全连接神经网络。[0015]在一个具体的实施例中，所述数据增强的方法包括：旋转、镜像、放缩、或弹性变换。
[0016]在一个具体的实施例中，所述基于所述第一概率图对多个所述第二概率图进行融合得到预测增强概率图，包括：
[0017]对各所述第二概率图进行反变换，以变换为与所述第一概率图相同的形式；[0018]对变换之后的多个所述第二概率图进行平均加权融合，得到预测增强概率图。[0019]在一个具体的实施例中，所述分割网络是基于训练数据进行训练生成；所述训练数据包括已进行分割标注的影像。[0020]在一个具体的实施例中，还包括：
[0021]基于每次训练之后的所述分割网络对验证数据中的验证图像进行分割处理，得到验证分割结果；所述验证数据包括验证图像和分割标识，所述分割标识与所述验证图像对应；
[0022]基于所述验证分割结果与所述验证数据中与所述验证图像关联的分割标识进行比对；
[0023]基于所述比对的结果评估训练之后的所述分割网络的性能。[0024]在一个具体的实施例中，还包括：
[0025]基于测试数据对训练好的所述分割网络进行性能测试；其中，所述测试数据包括已进行分割标注的影像。
[0026]在一个具体的实施例中，所述训练数据、所述验证数据、所述测试数据的数据量比例在4:1:1到8:1:1之间。
[0027]本发明实施例还提出了一种终端，包括用于执行上述方法的模块。[0028]以此，本发明实施例提出了一种图像分割方法和终端，该方法包括：获取待分割的原始图像数据，并对所述原始图像数据进行数据增强，生成第二图像数据；将所述原始图像数据与所述第二图像数据分别输入训练好的类U-net结构的分割网络进行识别，得到与所述原始图像数据对应的第一概率图，以及与所述第二图像数据对应的第二概率图；其中，所述第一概率图与所述第二概率图均为包含每个像素的前景背景概率的分割像素概率图；基于所述第一概率图对多个所述第二概率图进行融合得到预测增强概率图；对所述预测增强分割概率图进行二值化处理得到图像分割结果。本方法能实现较精准的结节图像分割，不易受超声影像成像质量差的影响，且本方法通过预测增强技术，在无须训练多个模型且不提高单模型本身复杂度的前提下，提高最终的分割效果，能够显著抑制边缘区域的误分割问题。
附图说明
[0029]为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附
4
CN 111724399 A
说 明 书
3/6页
图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0030]图1为本发明实施例提出的一种图像分割方法的流程示意图；
[0031]图2为本发明实施例提出的一种图像分割方法中分割网络的结构图；
[0032]图3为本发明实施例提出的一种图像分割方法中Resnet类卷积神经网络结构图；[0033]图4为本发明实施例提出的一种图像分割方法中分割网络的单层全连接神经网络示意图；
[0034]图5为本发明实施例提出的一种图像分割方法中分割网络的二维卷积层示意图；[0035]图6为本发明实施例提出的一种图像分割方法分割网络的中池化层示意图；[0036]图7为本发明实施例提出的一种图像分割方法增强预测示意图；
[0037]图8为本发明实施例提出的一种图像分割方法中测试集的分割效果；
[0038]图9为本发明实施例提出的一种图像分割方法的应用嵌入式平台的示意图。具体实施方式
[0039]在下文中，将更全面地描述本公开的各种实施例。本公开可具有各种实施例，并且可在其中做出调整和改变。然而，应理解：不存在将本公开的各种实施例限于在此公开的特定实施例的意图，而是应将本公开理解为涵盖落入本公开的各种实施例的精神和范围内的所有调整、等同物和/或可选方案。
[0040]在本公开的各种实施例中使用的术语仅用于描述特定实施例的目的并且并非意在限制本公开的各种实施例。如在此所使用，单数形式意在也包括复数形式，除非上下文清楚地另有指示。除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本公开的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本公开的各种实施例中被清楚地限定。[0041]实施例1
[0042]本发明实施例1公开了一种图像分割方法，如图1所示，包括：[0043]步骤101、获取待分割的原始图像数据，并对所述原始图像数据进行数据增强，生成第二图像数据；具体的原始图像数据可以为甲状腺结节超声的图像数据。[0044]具体的，所述数据增强的方法包括：旋转、镜像、放缩、或弹性变换等多种方法。其中，弹性变换数据增强的过程为：首先需要对图像中的每个像素点(x,y)产生两个-1～1之间的随机数，Δx(x,y)和Δy(x,y)，分别表示该像素点的x方向和y方向的移动距离；之后生成一个以0为均值，以σ为标准差的高斯核k_nn，并用前面的随机数与之做卷积，并将卷积的结果作用于原图像进行数据增强。[0045]步骤102、将所述原始图像数据与所述第二图像数据分别输入训练好的类U-net结构的分割网络进行识别，得到与所述原始图像数据对应的第一概率图，以及与所述第二图像数据对应的第二概率图；其中，所述第一概率图与所述第二概率图均为包含每个像素的前景背景概率的分割像素概率图；
5
CN 111724399 A[0046]
说 明 书
4/6页
具体的，类U-net结构的分割网络如图2所示，该结构对每一层的输出结果都进行
充分利用(其中黑色部分(包括圆圈部分以及箭头部分)代表的就是原始U-net结构,灰色圆圈部分代表添加的卷积层，浅色箭头代表改进的残差连接(skip connection))，借鉴稠密连接的思想使得不同尺度的特征图能够得到最大程度的利用，从而提升网络的分割效果。[0047]所述分割网络包括采用上下采样结构的多个Resnet卷积层的级联。具体的Resnet卷积层如图3所示，在一个具体的实施例中，Resnet结构采用两个3x3x256的卷积作为基本单元(Resnet34)，共计叠加四层基础单元构造为四个不同尺度的特征图金字塔。[0048]如图4所示，所述分割网络为单隐藏层的全连接神经网络。该单隐藏层为全连接层，也即每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。[0049]此外，分割网络中的二维卷积层如图5所示，图5中灰色区域是与像素一一对应的输入神经元，也可看作是输入的图像，第一个隐藏层中的每个神经元会连接到一个输入神经元的小区域，例如图中为5x5的卷积核，这个输入图像的区域是隐藏层神经元的局部感受野(也即局部视觉感受区域)，它是输入像素上的一个小窗口，每个这样的连接学习一个权重和偏置，然后将输入图像的这个小区域进行移动，连接到对应的隐藏层神经元。[0050]此外，分割网络中的池化层如图6所示，池化层紧接着卷积层之后使用，增大局部感受野的同时可以简化从卷积层中输出的信息，而且还可以增强模型的泛化能力，降低过拟合的可能性，可以采用的池化方法是最大池化，它简单的输出其2x2输入区域的最大值，具体过程如图6所示。
[0051]具体的分割网络可以通过总体损失函数来不断进行优化，具体的总体损失函数可以认为是分割网络的一部分，基于总体损失函数，可以不断优化分割网络中的各项参数，进而可以使得优化后的分割网络分割效果更好。具体的分割网络的总体损失函数为不同尺度特征图得到的分割图的损失的平均，具体计算公式如下：
[0052][0053]
式中，L表示总体损失函数；N为中间不同尺度特征图的个数；b特征层序号；括号内
的部分)为每个像素点的二维交叉熵损失函数；括号内的后项
的部分)。
的前项(也即对应为DICE损失函数(也即对应
[0054]
其中，具体的DICE损失函数，用于衡量两个样本的重叠部分。DICE损失函数的指标范围从0到1，其中“1”表示完整的重叠。其计算公式为：
[0055][0056][0057][0058][0059][0060]
FN：全称为False Negative,指代被判定为负样本，但事实上是正样本；
FP：全称为False Positive,指代被判定为正样本，但事实上是负样本；TN：全称为True Negative,指代被判定为负样本，事实上也是负样本；TP：全称为True Positive,指代被判定为正样本，事实上也是证样本。步骤103、基于所述第一概率图对多个所述第二概率图进行融合得到预测增强概
6
CN 111724399 A
说 明 书
5/6页
率图；
具体的，步骤103中的所述基于所述第一概率图对多个所述第二概率图进行融合
得到总概率图，包括：对各所述第二概率图进行反变换，以变换为与所述第一概率图相同的形式；对变换之后的多个所述第二概率图进行平均加权融合，得到预测增强概率图。[0062]具体的变换方式可以有很多，例如平移，放大等等，而反变换则是将变换进行复原，复原为未变换之前形式。[0063]具体的，在对待分割图像进行图像增强(包括但不限于镜像、翻转等)，得到多张增强后的待分割图像，将其一同送入分割网络中进行分割，再将分割网络输出的分割像素概率图经过反变换，变换为与初始图(初始待分割图像对应的概率图)相同的形式后，对得到的若干张概率图进行平均加权融合，最终结果即为预测增强后输出的分割概率图。[0064]步骤104、对所述预测增强分割概率图进行二值化处理得到图像分割结果。[0065]以此，与现有技术相比，本方案的方法结构简单，无须级联网络，对于特征图层的利用率较高，且能实现较精准的结节图像分割，不易受超声影像成像质量差的影响，且本方法通过最后的预测增强技术，在无须训练多个模型且不提高单模型本身复杂度的前提下，提高最终的分割效果，能够显著抑制边缘区域的误分割问题。本方法中训练模型所需的数据标注量少，不需要对图片进行任何预处理，减少了处理过程的复杂度；另外，本发明的卷积神经网络便于在不同的数据集上进行迁移学习，具有较强的可移植性。[0066]请参见图7，其中从左到右的图片依次表示为待分割图像与标注结果、标注图、普通预测结果、增强预测结果、二值化后的增强预测结果与真实标注对比示意图。[0067]另外，请参见图8，左边的图片对应分割网络的识别结果，右边的图片则对应预测增强输出的概率图。[0068]此外，所述分割网络是基于训练数据进行训练生成；所述训练数据包括已进行分割标注的影像。具体的影像可以为甲状腺结节超声影像，也即属于标注完成的样本数据。[0069]在一个具体的实施例中，该方法还包括：
[0070]基于每次训练之后的所述分割网络对验证数据中的验证图像进行分割处理，得到验证分割结果；所述验证数据包括验证图像和分割标识，所述分割标识与所述验证图像对应；具体的验证数据也属于标注完成的样本数据；
[0071]基于所述验证分割结果与所述验证数据中与所述验证图像关联的分割标识进行比对；
[0072]基于所述比对的结果评估训练之后的所述分割网络的性能。[0073]具体的，训练分割网络可以有多次迭代，每次训练完成之后得到的分割网络均可以基于验证数据来进行性能的评估，以此判断训练的结果。[0074]此外，本方案还可以包括：基于测试数据对训练好的所述分割网络进行性能测试；其中，所述测试数据包括已进行分割标注的影像。测试数据也属于标注完成的样本数据。[0075]在分割网络训练完成之后，可以进一步基于测试数据对分割网络进行性能测试，以最终确定其是否满足预设的要求。[0076]具体的，样本数据中包括图像与标注，在训练风格网络时，是基于训练数据来完成的，输入训练数据时，是同时输入了标注与图像；至于验证数据与测试数据后续的验证与测试阶段，则均是先输入图像，得到分割网络输出的结果之后，与自身的标识进行比较，通过
7
[0061]
CN 111724399 A
说 明 书
6/6页
比较来对分割网络的性能进行评估与测试。[0077]所述训练数据、所述验证数据、所述测试数据均为标注已完成的样本数据，在具体的数据量方面，所述训练数据、所述验证数据、所述测试数据的数据量比例在4:1:1到8:1:1之间。[0078]例如获取并标注所需的图片共2400张：其中可以包括1600张图片作为训练数据集(training set)、400张图片作为验证数据集(validationset)和400张图片作为测试数据集(test set)。具体使用的数据集可以为在专业医生协助下标注产生。[0079]实施例2
[0080]本发明实施例2还提出了一种终端，包括用于执实施例1中所述方法的模块。具体的，处于简要的目标，本发明实施例2中的其他相关特征请参见实施例1中的记载。[0081]具体的，本实施例2中的终端中可以选择如图9所示的嵌入式平台，具体的可以选择NVIDIA Jetson TX2 Module作为部署的AI嵌入式平台。TX2采用NVIDIA Pascal架构GPU有256个CUDA有能力的核心。CPU复杂部分由两个ARM v8 64位CPU集群组成。运行开发者预览版的Ubuntu16.04版本。将官方最新内核编译至平台中后，完成初步模型的部署测试。[0082]以此，本发明实施例提出了一种图像分割方法和终端，该方法包括：获取待分割的原始图像数据，并对所述原始图像数据进行数据增强，生成第二图像数据；将所述原始图像数据与所述第二图像数据分别输入训练好的类U-net结构的分割网络进行识别，得到与所述原始图像数据对应的第一概率图，以及与所述第二图像数据对应的第二概率图；其中，第一概率图与所述第二概率图均为包含每个像素的前景背景概率的分割像素概率图；基于所述第一概率图对多个所述第二概率图进行融合得到预测增强概率图；对所述预测增强分割概率图进行二值化处理得到分割结果。本方法能实现较精准的结节图像分割，不易受超声影像成像质量差的影响，且本方法通过预测增强技术，在无须训练多个模型且不提高单模型本身复杂度的前提下，提高最终的分割效果，能够显著抑制边缘区域的误分割问题。[0083]本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
[0084]本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。[0085]上述本发明序号仅仅为了描述，不代表实施场景的优劣。[0086]以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。
8
CN 111724399 A
说 明 书 附 图
1/5页
图1
图2
9
CN 111724399 A
说 明 书 附 图
2/5页
图3
图4
10
CN 111724399 A
说 明 书 附 图
3/5页
图5
图6
11
CN 111724399 A
说 明 书 附 图
4/5页
图7
图8
12
CN 111724399 A
说 明 书 附 图
5/5页
图9
13
因篇幅问题不能全部显示，请点此查看更多更全内容