近日，信息学院（人工智能学院）李冬梅教授团队在多模态知识图谱推理领域取得新进展，相关成果以“Modality-aware instruction tuning of large language models for multimodal knowledge graph completion”为题，发表于人工智能领域顶刊《Information Fusion》（中国科学院一区TOP，IF=15.5）。
真实世界中的知识图谱普遍存在事实缺失和结构信息稀疏等问题，限制了下游推理任务的性能。知识图谱补全旨在利用已存在的事实来推断其中的缺失事实，以提升知识图谱的完整性和可靠性。然而，现有基于大语言模型的知识图谱补全方法普遍采用单模态生成范式，在涉及实体视觉属性和跨模态关联的推理场景中，仅依赖单模态文本生成范式难以充分建模现实世界中的多源多模态语义信息；而多模态特征独立编码与跨模态对齐的方式训练成本较高。针对上述问题，研究团队提出了一种面向多模态知识图谱补全的模态感知指令调优方法IT4MKGC（见图1）。该方法通过融合文本、视觉、结构和邻域信息构建任务特定的多模态指令，并结合参数高效微调策略对多模态大模型LLaVA-1.5进行微调，实现对多模态信息的统一建模与高效利用，增强模型的多模态理解与知识推理能力。
图1 IT4MKGC框架
IT4MKGC在训练过程中，将保持预训练嵌入模型以及LLaVA-1.5中的语言模型和视觉编码器冻结，只更新线性投影层和LLaVA-1.5的视觉-语言跨模态连接器参数。如图2详细展示了指令调优的具体过程和参数更新机制，通过该训练机制，模型能够在有限计算资源条件下更好地适应下游任务需求，增强其对图结构信息的理解和推理能力。
图2 IT4MKGC的指令调优过程及参数更新机制
该研究是首个将指令调优技术应用于多模态知识图谱补全任务的工作。实验结果表明，IT4MKGC在7B参数规模的LLaVA-1.5上取得了优于基线模型的性能，验证了该其在资源有限条件下的有效性，及其在现实世界知识图谱补全任务中的实际应用价值。
论文第一作者为信息学院（人工智能学院）2022级博士研究生崔金满，通讯作者为李冬梅教授。
该研究获得了国家自然科学基金项目（No. 82374621）、国家林草局应急揭榜挂帅项目（No. GS501100007825202303）和国家重点研发计划（No. 2022YFF1302700）的支持。
论文链接：https://www.sciencedirect.com/science/article/pii/S1566253526002666
