基于共同注意力的多模态融合网络的评论有用度预测思维导图

U5106825814

2025-08-21

浏览量: 79

实验分析

论文创新

研究方法

研究背景，问题框架，研究方法相关内容讲解

树图思维导图提供《基于共同注意力的多模态融合网络的评论有用度预测》在线思维导图免费制作，点击“编辑”按钮，可对《基于共同注意力的多模态融合网络的评论有用度预测》进行在线思维导图编辑，本思维导图属于思维导图模板主题，文件编号是：6146a02fcdf3bf58ffd77b10fb38f32d

思维导图大纲

研究的背景和意义

在线评论兴起的原因：随着电子商务的快速发展，消费者越来越依赖互联网来寻找有用的信息，以辅助他们的日常购物决策。

在线评论与产品宣传的差别：在线评论提供了产品描述所无法提供的深入见解和诊断性信息。这些评论通常包含消费者的个人经验和建议，对其他消费者具有重要的参考价值。

在线评论的重要性：减少不确定性：有用的在线评论可以帮助消费者减少购买决策中的不确定性。在线评论不仅对消费者有帮助，也为商家提供了宝贵的反馈。商家可以通过这些反馈了解消费者的需求和不满，从而及时改进产品和服务。

研究意义

信息过载：消费者在海量的在线评论中寻找有用信息是一个耗时且令人感到压力的过程。

效率问题：商家也需要从这些评论中获取有价值的反馈，以改进产品和服务。然而，手动筛选和分析大量评论是不切实际的，需要更高效的方法。

自动评估的重要性：为了应对上述挑战，自动评估评论有用性的机制变得尤为重要。这种机制可以帮助消费者快速识别有用的评论，同时帮助商家高效地获取有价值的反馈。且需要结合多模态信息进行预测。

基于特征的RHP研究方法及局限性

基于手工特征的方法：文本特征：评论长度、可读性（如Gunning雾指数）、情感倾向、词性标注等。图像特征：像素值、亮度、对比度、图像中的物体数量等

基于深度特征的方法：文本特征：使用BERT、LSTM、GRU等模型提取的文本嵌入。图像特征：使用CNN（如VGG-16、ResNet）提取的图像特征。长短期记忆网络（LSTM）：用于表示文本的上下文信息。卷积神经网络（CNN）：用于表示图像的局部空间信息。

手工特征与深度特征的互补性：手工特征和深度特征在RHP中具有互补性。手工特征提供了浅层但可解释性强的信息，而深度特征提供了高维但难以解释的信息。结合这两种特征可以提高RHP的准确性和可解释性。

现有研究方法的局限性：（1）现有研究中同时考虑这两种特征的工作非常有限。（2）多模态数据融合的简单方法通常只是简单地相加或拼接两种模态的特征，而没有考虑模态内（intra-modal）和模态间（inter-modal）的依赖关系。（3）多模态融合技术的潜力未被充分利用：在RHP中，先进的多模态融合技术的潜力尚未被充分探索。（4）预测能力和可解释性的平衡缺失：当前的RHP模型在预测能力和可解释性之间缺乏平衡，这给将以往计量经济学研究结果与预测研究结果有效整合带来了挑战。

研究问题及框架

研究问题

视觉特征如何影响评论有用度预测（RHP）？

文本和视觉特征如何相互作用并影响RHP？

手工特征和深度特征如何相互作用并影响RHP？

研究框架

提出新框架：研究者提出了一种新的端到端预测框架（MFRHP），用于处理包含图像的在线评论。该框架不仅考虑了文本和视觉特征的互补性，还通过自注意力机制和共注意力机制充分利用了模态内部和模态之间的特征依赖关系。

具体机制

细粒度自注意力机制

目的：捕捉手工特征和深度特征之间的依赖关系。

作用：通过自注意力机制，框架能够对不同位置的特征进行加权，突出重要的特征，减少不相关特征的影响。

实现：将文本和图像的特征投影到一个共同的空间中，然后通过自注意力机制计算特征之间的权重。

共注意力机制

目的：有效地协调文本和视觉特征之间的依赖关系。

作用：通过共注意力机制，框架能够捕捉文本和图像之间的交互关系，从而更全面地利用多模态信息。

实现：设计了一个多模态融合模块，通过MFB（Multimodal Factorized Bilinear）池化方法，结合文本和图像的特征，生成融合特征。

研究方法

新模型（MFRHP）：受多模态任务的启发，论文提出了一种具有预测能力和可解释性的新模型（MFRHP），旨在克服以往研究的不足。

特征提取

手工特征提取：手工特征（Hand-crafted Features）：评论长度、可读性、情感表达等。

深度特征

BERT：用于提取文本的深度特征。是一种预训练的语言模型，能够捕捉文本的上下文信息。

VGG-16：用于提取图像的深度特征。VGG-16是一种卷积神经网络（CNN），能够捕捉图像的局部空间信息。

模型构建

自注意力机制：分别应用于文本和图像特征，捕捉模态内部的特征依赖关系。通过自注意力机制，模型可以识别评论文本中的关键句子或单词，以及图像中的重要区域。分别应用于文本和图像特征，捕捉模态内部的特征依赖关系。

共注意力机制：共注意力机制通过一个模态（如文本）指导另一个模态（如图像）的注意力，反之亦然，从而捕捉模态间的交互关系。用于捕捉文本和图像之间的交互关系，提高多模态特征融合的效果。

多模态融合：将模态内和模态间的特征进行融合，以预测评论的有用性。通过多模态因式分解双线性（MFB）池化方法，减少特征维度，提高模型的适用性。MFB池化方法通过矩阵分解减少特征维度，同时保留模态间的重要交互信息。

实验分析

数据来源：数据集通常来自真实的在线评论平台，如Yelp.com或Amazon.com。排名前100的餐厅在2018年和2019年的在线消费者评论，共收集了约130,000条评论这些平台提供了丰富的用户生成内容，包括文本评论和用户上传的图像。数据预处理：在实验之前，通常需要对数据进行预处理，包括去除无关评论、提取特征等。数据集特点：数据集应包含多种特征，如评论文本、用户生成的图像、评论的有用性评分等。

多模态特征提取

手工特征

文本手工特征：评论长度（Review Length）：评论的总单词数。可读性（Readability）：通过Gunning's Fog Index计算，衡量评论的易读性。

图像手工特征：提取图像的亮度、像素等特征。

深度特征

文本特征：GRU通过引入重置门（reset gate）和更新门（update gate）来解决RNN的局限性，能够更有效地处理长序列数据。具体实现：使用BERT对评论文本进行编码，获得预训练的双向表示。

图像特征：VGG-16：VGG-16是一个由16层组成的CNN模型，包括13层卷积和池化层，以及3层全连接层。该网络通过增加网络深度，提高了图像表示学习的性能。多图像特征融合：对于包含多张图像的评论，通过逐元素相加并计算平均值来整合所有图像的特征。对于只有一张图像的评论，用零填充以保持一致性。

多模态特征融合（晚期融合）

模态内融合：尽管Bi-LSTM和Bi-GRU能够捕捉正向和反向的上下文信息，但它们难以对不同位置的单词给予不同的关注。这意味着它们无法有效地提取文本中的关键信息。可以通过自注意力机制解决：通过自注意力机制，模型可以动态调整不同位置的单词的重要性，从而更有效地提取关键信息。图像和文本模态内都采用的子注意力机制进行融合。

模态间融合:共注意力机制通过一个模态（如文本）指导另一个模态（如图像）的注意力，反之亦然，从而捕捉模态间的交互关系。MFB模块：第一级交互：引入MFB模块捕捉文本和图像之间的第一级交互。MFB模块通过矩阵分解减少特征维度，同时保留模态间的重要交互信息。第二级交互：设计文本引导的视觉注意力和图像引导的文本注意力，捕捉文本和图像之间的第二级交互。计算注意力权重，特征融合，逐元素乘积。

评论有用性预测

模型训练方法

端到端模型：端到端模型是指从输入到输出的整个过程通过一个统一的神经网络进行处理，而不是分阶段处理。

反向传播算法：反向传播算法是一种用于训练神经网络的算法，通过计算损失函数对每个参数的梯度，更新网络的权重。

预测任务的选择

由于评论有用性具有一定的主观性，将RHP（评论有用度预测）视为分类任务可能不够合理。分类任务通常假设存在明确的类别标签，而评论有用性是一个连续的、主观的评价。

回归任务：为了捕捉不同特征与不同有用度投票之间的关系，MFRHP选择执行回归任务，而不是分类任务。回归任务能够更好地处理评论有用性的连续性和主观性。

特征融合预测

特征拼接：将自注意力层处理后的特征 S_t 和 S_i 与融合特征 u 进行拼接

全连接层：应用：将捕捉到的模态内和模态间交互的特征输入到全连接层中，以预测评论的有用性。

预测模型指标选择

构建的预测模型的性能是通过两种广泛应用于评估监督回归模型的指标来衡量的，这两种指标分别是均方误差（Mean Square Error, MSE）和平均绝对百分比误差（Mean Absolute Percentage Error, MAPE）

实验结果

多模态融合网络（MFRHP）在预测评论有用性方面表现出色，优于其他基准方法。在Yelp和Amazon的数据集上，MFRHP在均方误差（MSE）和平均绝对百分比误差（MAPE）两个指标上均取得了最佳性能。

论文创新点及局限性

创新点：在预测评论有用性时，作者创新的提出了将手工特征与深度特征相结合的方式，并且提出了模态内和模态间的融合。在评论有用性模型预测时候作者选择的是回归任务而不是分类任务，该方法创新度很高。这篇论文提出了一种新的多模态融合网络（MFRHP），通过充分利用文本和图像的多模态特征，显著提高了评论有用性预测的性能，并为未来的研究提供了新的方向。

局限性：为了减少实验结果的偶然性，可以使用更多的数据集来训练和验证模型，以确保模型的鲁棒性和泛化能力。