本次组会将会介绍阅读的一篇论文《AMNN: Attention-Based Multimodal Neural
Network Model for Hashtag Recommendation》，主要从以下几个方面介绍：

研究背景：

在真实的社交网络中，标签被广泛应用于理解单个微博的内容。然而，用户在发布微博时并不总是主动添加话题标签，因此需要投入大量精力进行自动的话题标签推荐。作为一种新趋势，用户不再仅仅发布文本，而是更愿意分享多模态数据，如图像。针对这种情况，该论文提出了一种基于注意力的多模态神经网络模型(AMNN)来学习多模态微博的表示并推荐相关的标签。在本文中，我们将hashtag推荐任务转换为一个序列生成问题。提出了一种混合神经网络方法来提取文本和图像的特征，并将它们合并到序列模型中进行标签推荐。

科研问题：
推荐系统如何更充分地挖掘深层内容特征在下面三个方面：信息量、信息维度、提取能力。信息量：不同模态输入信息不同；信息维度：存在诸多影响因素；提取能力：去除噪声信息，强化重要信息特征。

研究目的：
让推荐系统更充分地挖掘用户深层内容特征信息，图片、文字的语义，生成更加符合用户需求的hashtag。

使用方法：

与大多数神经网络方法不同，这些方法将hashtag推荐任务视为一个多类分类问题，在本文中我们将该任务转换为一个序列生成问题。在给定一个带有文本和图片的多模态微博的情况下，我们的模型旨在自动生成一个合适的标签列表。所提出的序列到序列模型的整体架构如如下图所示，其中包括一个混合特征提取编码器和一个用于推荐的耦合解码器。在编码器中，并行神经网络分别提取微博的图像特征和文本特征，合并后送入解码器部分。然后，根据GRU网络获得的标签概率生成标签序列。

我们通过以下步骤执行hashtag推荐。对于给定的图文混合的多模态微博，神经网络模型首先利用带有注意力机制的混合神经网络(编码器)分别提取图文特征向量。然后，AMNN将这两种表示合并，并将输出值输入GRU网络，生成推荐的标签序列(解码器)。为了简单起见，我们使用贪婪搜索算法为推荐生成最终的top-K hashtag。由于输出的单词经常是重复的，我们也在每一步中筛选出重复的单词。

论文数据集：

论文代码复现：