2021-12-02 组会报告摘要-03

本次组会将会介绍有关《基于多模态情感分析的个性化标签推荐》自己看完相关论文的一些想法,主要从以下几个方面介绍:


研究背景:
不同的用户根据自己的喜好为类似的帖子标注不同的hashtag。考虑到这一点,用户的偏好和标签的语义表示实际上与帖子的特性有着复杂的交互。因此,如何利用这种复杂的交互来表示用户偏好和标签语义是非常重要的。图片和文本丰富的多模态信息使得话题标签个性化推荐更具挑战性。推文伴随的图像所携带的情感信息与文本的情感信息是否一致, 推文伴随的图像所携带额外的上下文信息与文本信息之间应该如何提取特征从而推荐用户喜好的hashtag。


科研问题:
推荐系统如何更充分地挖掘深层内容特征在下面三个方面:信息量、信息维度、提取能力。信息量:不同模态输入信息不同;信息维度:存在诸多影响因素;提取能力:去除噪声信息,强化重要信息特征。

研究目的:
让推荐系统更充分地挖掘用户深层内容特征信息,图片、文字的语义和情感,生成更加符合用户需求的hashtag。


使用方法:
图片和文字并行处理,用VIT模型处理提取图片特征和情感,用BERT处理提取文本特征和情感;融合多模态信息,使推荐出来的hashtag更加符合用户需求。