一种基于超图层级对比学习的多模态情感识别方法

本申请涉及一种基于超图层级对比学习的多模态情感识别方法，对语音数据、文本数据、图像数据分别进行特征提取；基于时间序列，并基于提取出的语音模态特征、文本模态特征、图像模态特征构建节点，以两节点之间的相似度作为边的权重，构建模态互联图；将每个时间步的模态互联图分别聚合为不同的超点，以两超点之间的语义相似度确定超边的生成，构建第一超图；对第一超图分别进行成员掩码和节点掩码，分别得到第二超图、第三超图；基于第一超图、第二超图、第三超图进行多层级对比学习，并计算联合损失；增强三种模态特征的融合特征，得到增强特征，基于联合损失对增强特征进行联合优化，得到多模态情感表示，基于多模态情感表示预测情感识别结果。

《一种基于超图层级对比学习的多模态情感识别方法》是一发明专利，专利号为 2025102532608，当前法律状态为已下证，由湖南工商大学提出申请，发明人为徐雪松;石韬;王煜坤;曾伟豪;褚孟达，申请日期为2025-03-05，公开（公告）日期为2025-05-13，国际专利分类号（IPC）为 G06F18/20(2023.01)I;G06N3/088(2023.01)I;G06F18/22(2023.01)I;G06F18/25(2023.01)I，代理机构为北京惟盛达知识产权代理有限公司11855，高新资质：未报高企，所属技术领域包括：情感计算和多模态交互、对比学习与表示学习、图神经网络与高阶关系建模、计算机科学、人工智能、多模态机器学习、自监督学习 / 对比学习、图表示学习 / 超图神经网络。该专利已下发证书，权利稳定，适合直接办理转让过户，是企业申报高企、项目招投标、质押融资的优质标的。赋翼网提供从选品、尽调、合同签订到官方著录项目变更（过户）的一站式专利转让服务，专业顾问全程协助，确保交易合规、安全、高效。专利摘要：本申请涉及一种基于超图层级对比学习的多模态情感识别方法，对语音数据、文本数据、图像数据分别进行特征提取；基于时间序列，并基于提取出的语音模态特征、文本模态特征、图像模态特征构建节点，以两节点之间的相似度作为边的权重，构建模态互联图；将每个时间步的模态互联图分别聚合为不同的超点，以两超点之间的语义相似度确定超边的生成，构建第一超图；对第一超图分别进行成员掩码和节点掩码，分别得到第二超图、第三超图；基于第一超图、第二超图、第三超图进行多层级对比学习，并计算联合损失；增强三种模态特征的融合特征，得到增强特征，基于联合损失对增强特征进行联合优化，得到多模态情感表示，基于多模态情感表示预测情感识别结果。

海量优质专利即买即用，四大核心优势助您弯道超车：
🏆 拿资质，享红利：高企认定、专精特新必备！轻松获取政府补贴、税收减免，招投标直接加分！
💎 增信誉，融资金：支持实缴注册资金，彰显企业硬实力；支持专利质押贷款，盘活现金流，扩张不缺钱！
🔥 强背书，防抄袭：印上“专利产品”，客户更信赖！构建技术壁垒，把竞争对手挡在门外，稳占市场份额！
🚀 省时间，快变现：告别漫长研发与高风险！优质专利即买即用，让技术立刻变成真金白银的利润！