您现在的位置是：首页 >技术教程 >论文阅读合集网站首页技术教程

1. ChangeCLIP: Remote sensing change detection with multimodal vision-language representation learning

作者：Sijun Dong a, Libo Wang b, Bo Du c, Xiaoliang Meng a,*

年份：2024

研究方法/模型：

重构原始CLIP：提取双时相特征。

差分特征补偿模块（DFC）：捕捉双时相图像之间的详细语义变化。

视觉语言驱动的解码器vision-language driven decoder (VLDD)：将图像-文本编码结果与解码阶段的视觉特征结合，增强图像语义

数据集：LEVIR-CD, LEVIR-CD+, CDD, SYSU-CD, and WHUCD datasets.

变化检测应用领域：遥感图像

主要结论：在本文中，我们提出了一种名为 Change-CLIP 的多模态框架，用于利用多模态视觉语言信息进行遥感图像变化检测。我们通过集成遥感图像的文本语义信息来增强视觉模型感知遥感变化的能力。差速器提出的特征补偿模块集成了常用的差分特征计算方法，优化了变化检测中差分特征融合的方式。此外，我们提出了一种多模态变化检测解码方法，称为视觉语言驱动解码器。它补充了解码阶段的语义信息。解码阶段文本和视觉 特征的融合使 ChangeCLIP 能够生成更准确、更全面的表示，从而提高变化检测任务的性能。为了评估 ChangeCLIP 的有效性，我们对 5 个基准变化检测数据集进行了综合实验：LEVIR-CD、LEVIR-CD+、 WHUCD、CDD 和 SYSU-CD。实验结果表明，我们提出的模型显着优于最先进的方法，在所有 5 个数据集上实现了前所未有的性能。

局限性/不足：

未来研究方向和改进思路：展望未来， 我们相信多模态范式将在遥感图像处理中获得越来越多的关 注。通过开发更有效的变更检测语言提示（language prompts）来增强 ChangeCLIP 的性能还有很大的空间，而 ChangeCLIP 将成为多模式 RSCD 的基线。这些合适的提示可以更好地指导模型学习与变化相关的特征，从而进一步提高变化检测性能。

2.