您现在的位置是:首页 >学无止境 >用于跨中心多边形分割的任务相关特征补充网站首页学无止境
用于跨中心多边形分割的任务相关特征补充
文章目录
Task-Relevant Feature Replenishment for Cross-Centre Polyp Segmentation
摘要
a) 领域转移示意图
b) (i)原始数据分布;(ii)极端经典特征自适应;(iii)极端域不变特征自适应;(iv)我们的方法中的特征自适应。
- 来自不同中心的结肠镜检查图像通常表现出外观变化,使得在一个领域训练的模型无法很好地推广到另一个领域。
- 为了解决这个问题,提出了一种新的基于任务相关特征补充的网络(TRFR-Net),用于跨中心息肉分割,通过检索任务相关知识来获得足够的辨别能力,并减轻风格变化。
- 首先设计了一个域不变特征分解(DIFD)模块,放置在每个编码块之后,以提取用于分割的域共享信息。
- 然后,开发了一个任务相关特征补充(TRFR)模块,从每个DIFD模块的残差特征中提取信息上下文,并动态聚合这些任务相关部分,为广义分割学习提供额外信息。
- 为了利用结构相似性进一步弥合领域差距,我们设计了一个息肉感知对抗性学习(PPAL)模块来对齐预测特征分布,其中更加强调息肉相关的对齐。
代码链接
本文方法
所提出的TRFR-Net的架构如图所示。包含用于对抗性学习的生成器和鉴别器。生成器采用编码器-解码器框架,其中采用包括五个编码块的ResNet-34作为特征提取器,并且解码器分支还具有由两个Conv-BN-ReLu组合和每个上采样操作组成的五个块。鉴别器由两个Conv-LeakyReLu组合组成,然后是上采样操作和卷积分类器。
DIFD模块被放置在每个编码块之后,其将输入特征分解为域不变部分(fdi)和侧出域特定部分(fds)。TRFR模块采用特定领域的功能,并输出组合的任务相关功能(ftrr),用于上下文补充。然后,将补充的域不变特征(f+)传递到解码器子网络用于分割预测(p+)。在PAAL中,鉴别器调整输出空间中的特征,以增强域间空间相似性
Domain-Invariant Feature Decomposition (DIFD)
- 采用实例标准化
- 建议在通道注意力的指导下重新校准它们
有重新校准的值μ*以及σ领域不变的特征是fdi:
其中,h(·)和 g(·)是学习独立缩放每个通道的μ和σ以进行域不变特征学习的注意力函数
然后残差,即领域特定特征,可以写成:
Task-Relevant Feature Replenishment
在有效缓解跨领域变化的同时,DIFD不可避免地过滤掉了编码在特定领域特征中的一些任务相关信息,从而导致识别能力下降。因此,我们提出了TRFR模块,从特定领域的特征中自适应地提取有助于息肉分割的信息特征,以进行特征补充。首先,我们结合了挤压和激励(SE)块,以将任务相关特征与DIFD模块过滤的特征区分开来。
领域特定特征被压缩为单个向量,该向量由完全连接的层连续学习。利用通道之间的相互依赖性和单个通道的注意力,这些学习到的通道权重使我们能够增强基本上下文,并在通道级别上抑制非结构化上下文。给定来自第i个DIFD模块fdsi∈RC×H×W的输入域特定特征,解藕特征fds-tri可以公式化为:
然后,利用AdaAvgPool-Conv-ReLU组合块从较浅的语义层提取局部上下文信息。
我们还使用Conv-ReLU组合和非局部块来从底部编码块中提取全局上下文信息,以增强具有长程依赖性的特征。最后,在级联之后,开发了Conv-BN-ReLU-Conv组合的卷积块,以动态聚合这些提取的不同语义级别的任务相关特征,从而获得用于息肉分割的最终有效任务相关内容。
我们认为由任务相关信息f+增强的特征比纯域不变特征fdi更具判别力,从而以较小的熵产生更确定的预测。因此,我们提出了TRFR约束损失(TCLoss)来推进TRFR中的特征解纠缠。为了实现这一点,我们分别将补充的特征f+和域不变特征fdi转发到解码器子网络,并获得相应的分割预测p+和pdi。
TCLoss:
Polyp-Aware Adversarial Learning (PAAL)
由于息肉分割具有具有空间相似性的结构化输出,我们在输出空间中开发PAAL,以进一步弥合域间的差距。
考虑到息肉区域具有更大的意义,但由于我们任务中的类别不平衡问题,通常代表性不足,我们认为应该更多地强调潜在息肉区域的对齐
为了实现这一点,我们首先从分割网络的输出预测p+∈RH×W导出息肉显著性指数掩码Mp∈RH
然后,根据鉴别器D(pt+)的输出,生成器的PAALoss修改为
类似地,鉴别器的PAALoss可以公式化为:
总损失函数
结果