您现在的位置是:首页 >学无止境 >用于跨中心多边形分割的任务相关特征补充网站首页学无止境

用于跨中心多边形分割的任务相关特征补充

松下直子 2024-06-17 10:14:58
简介用于跨中心多边形分割的任务相关特征补充

Task-Relevant Feature Replenishment for Cross-Centre Polyp Segmentation

摘要

在这里插入图片描述
a) 领域转移示意图
b) (i)原始数据分布;(ii)极端经典特征自适应;(iii)极端域不变特征自适应;(iv)我们的方法中的特征自适应。

  1. 来自不同中心的结肠镜检查图像通常表现出外观变化,使得在一个领域训练的模型无法很好地推广到另一个领域。
  2. 为了解决这个问题,提出了一种新的基于任务相关特征补充的网络(TRFR-Net),用于跨中心息肉分割,通过检索任务相关知识来获得足够的辨别能力,并减轻风格变化。
  3. 首先设计了一个域不变特征分解(DIFD)模块,放置在每个编码块之后,以提取用于分割的域共享信息。
  4. 然后,开发了一个任务相关特征补充(TRFR)模块,从每个DIFD模块的残差特征中提取信息上下文,并动态聚合这些任务相关部分,为广义分割学习提供额外信息。
  5. 为了利用结构相似性进一步弥合领域差距,我们设计了一个息肉感知对抗性学习(PPAL)模块来对齐预测特征分布,其中更加强调息肉相关的对齐。
    代码链接

本文方法

在这里插入图片描述

所提出的TRFR-Net的架构如图所示。包含用于对抗性学习的生成器和鉴别器。生成器采用编码器-解码器框架,其中采用包括五个编码块的ResNet-34作为特征提取器,并且解码器分支还具有由两个Conv-BN-ReLu组合和每个上采样操作组成的五个块。鉴别器由两个Conv-LeakyReLu组合组成,然后是上采样操作和卷积分类器。

DIFD模块被放置在每个编码块之后,其将输入特征分解为域不变部分(fdi)和侧出域特定部分(fds)。TRFR模块采用特定领域的功能,并输出组合的任务相关功能(ftrr),用于上下文补充。然后,将补充的域不变特征(f+)传递到解码器子网络用于分割预测(p+)。在PAAL中,鉴别器调整输出空间中的特征,以增强域间空间相似性

Domain-Invariant Feature Decomposition (DIFD)

  1. 采用实例标准化
  2. 建议在通道注意力的指导下重新校准它们
    有重新校准的值μ*以及σ领域不变的特征是fdi:
    在这里插入图片描述
    在这里插入图片描述
    其中,h(·)和 g(·)是学习独立缩放每个通道的μ和σ以进行域不变特征学习的注意力函数
    然后残差,即领域特定特征,可以写成:
    在这里插入图片描述

Task-Relevant Feature Replenishment

在有效缓解跨领域变化的同时,DIFD不可避免地过滤掉了编码在特定领域特征中的一些任务相关信息,从而导致识别能力下降。因此,我们提出了TRFR模块,从特定领域的特征中自适应地提取有助于息肉分割的信息特征,以进行特征补充。首先,我们结合了挤压和激励(SE)块,以将任务相关特征与DIFD模块过滤的特征区分开来。
领域特定特征被压缩为单个向量,该向量由完全连接的层连续学习。利用通道之间的相互依赖性和单个通道的注意力,这些学习到的通道权重使我们能够增强基本上下文,并在通道级别上抑制非结构化上下文。给定来自第i个DIFD模块fdsi∈RC×H×W的输入域特定特征,解藕特征fds-tri可以公式化为:

在这里插入图片描述
然后,利用AdaAvgPool-Conv-ReLU组合块从较浅的语义层提取局部上下文信息。

我们还使用Conv-ReLU组合和非局部块来从底部编码块中提取全局上下文信息,以增强具有长程依赖性的特征。最后,在级联之后,开发了Conv-BN-ReLU-Conv组合的卷积块,以动态聚合这些提取的不同语义级别的任务相关特征,从而获得用于息肉分割的最终有效任务相关内容。
我们认为由任务相关信息f+增强的特征比纯域不变特征fdi更具判别力,从而以较小的熵产生更确定的预测。因此,我们提出了TRFR约束损失(TCLoss)来推进TRFR中的特征解纠缠。为了实现这一点,我们分别将补充的特征f+和域不变特征fdi转发到解码器子网络,并获得相应的分割预测p+和pdi。
TCLoss:
在这里插入图片描述

Polyp-Aware Adversarial Learning (PAAL)

由于息肉分割具有具有空间相似性的结构化输出,我们在输出空间中开发PAAL,以进一步弥合域间的差距。
考虑到息肉区域具有更大的意义,但由于我们任务中的类别不平衡问题,通常代表性不足,我们认为应该更多地强调潜在息肉区域的对齐
为了实现这一点,我们首先从分割网络的输出预测p+∈RH×W导出息肉显著性指数掩码Mp∈RH
在这里插入图片描述
然后,根据鉴别器D(pt+)的输出,生成器的PAALoss修改为

在这里插入图片描述
类似地,鉴别器的PAALoss可以公式化为:
在这里插入图片描述

总损失函数

在这里插入图片描述
在这里插入图片描述

结果

在这里插入图片描述
在这里插入图片描述

风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。