?

OB体育, OB体育官网,OB体育官方网站入口,OB体育比分,OB体育体育资讯

信息学院(人工智能学院)科研团队在语言引导遥感变化检测方面取得进展_OB体育(中国)官方网站-OBSPORTS
科研动态

信息学院(人工智能学院)科研团队在语言引导遥感变化检测方面取得进展

近日,信息学院(人工智能学院)陈志泊教授团队针对传统遥感变化检测难以理解用户自然语言意图、易在无关变化和反事实查询下产生误检等问题,提出了语言引导的遥感变化推理框架Change-LISA,并构建了ReasonRS-110K大规模基准数据集。相关成果以“Change-LISA: Language-Guided Reasoning for Remote Sensing Change Detection”为题,发表于遥感领域TOP期刊《IEEE Transactions on Geoscience and Remote Sensing》(中国科学院一区TOP,IF=9.4)。


遥感变化检测是从多时相卫星或航空影像中识别地表变化的重要技术,可服务于城市扩张分析、生态环境监测和灾后快速评估。现有方法通常给出“全部变化”结果,难以根据用户提出的自然语言问题筛选特定目标;季节、光照和传感器差异等非目标变化也容易引发虚假响应。当用户询问图像中实际不存在的变化时,模型还可能产生“幻觉式”掩膜。针对上述问题,研究团队将SECOND、LEVIR-CD、xBD和Hi-UCD等公开数据整合为ReasonRS-110K,形成112,317组“时相图像—文本指令—像素级掩膜”样本,并设置L1语义变化、L2属性与场景、L3因果与功能推理,以及L0反事实负查询,用于同时评估变化分割精度和模型“该不回答时不回答”的指令遵循能力。数据构建过程中还引入专家抽查、过滤和验证机制,以提高指令与掩膜的一致性和可靠性。


图1_Change-LISA模型框架图.png

图1 Change-LISA模型框架图


在方法设计上,Change-LISA采用共享权重的孪生SAM视觉编码器提取双时相影像的稠密空间特征,并设计双时相交互与差异融合模块:模型先通过跨时相注意力和门控机制对齐对应区域,再显式计算变化差异,以抑制轻微配准偏差、光照和季节变化造成的伪变化。多模态大语言模型LLaVA负责理解用户指令并生成 语义标记,其嵌入作为提示输入轻量级掩膜解码器,最终输出与问题相匹配的像素级变化区域。训练阶段冻结SAM主干和多模态大模型主体,仅优化LoRA适配器及解码器,在保持预训练模型泛化能力的同时降低训练成本。该设计将“要找什么”的语义推理与“变化在哪里”的精细定位有机结合。

图2_语言引导遥感变化检测任务示例.png

图2 语言引导遥感变化检测任务示例


实验部分,研究团队将Change-LISA与传统变化检测、指代表达分割和多模态大模型三类共10种代表性方法进行了系统对比。在ReasonRS-110K正查询任务中,Change-LISA总体交并比IoU达到63.1,F1值达到77.3;与表现较强的RemoteSAM相比,IoU和F1分别提高13.0和10.8。在L0反事实负查询中,模型的负查询遵循准确率NCA达到95.4,虚假预测面积FPA降至0.12,说明当文本所描述的变化并不存在时,模型能够更可靠地输出空掩膜,减少无关响应。进一步在训练中未见的SYSU-CD数据集上开展零样本测试,Change-LISA取得43.2 IoU、59.8 F1、75.6 NCA和1.45 FPA,整体优于所选对比方法,体现出一定的跨数据集泛化能力。消融实验进一步表明,显式时相差异建模、负查询训练和基于LoRA的大模型适配均对精度与指令遵循能力具有积极作用。


近年来,陈志泊教授团队持续聚焦人工智能技术与林业、遥感应用的交叉融合,在遥感影像智能解译、多模态学习和大模型应用等方向开展研究。此次成果将传统“检测所有变化”的模式拓展为“根据自然语言指令选择变化”,并通过反事实负查询约束模型在目标不存在时保持克制,为降低遥感智能解译中的虚警和幻觉提供了新的技术路径。相关方法和数据基准可为城市扩张监测、生态环境变化分析、灾后损毁评估等任务提供更灵活的交互式工具,也为后续开展跨传感器、跨区域泛化和轻量化部署研究奠定基础。


论文第一作者为信息学院(人工智能学院)2025级博士研究生贾相宇,通讯作者为陈志泊教授,OB体育(中国)官方网站-OBSPORTS为唯一完成单位。该研究受到雄安新区科技创新计划(2023XAGG0065)的资助。


论文链接:https://ieeexplore.ieee.org/document/11482624/