本发明公开一种基于多模态图神经网络的金融时间序列预测方法，金融时间序列分析在对冲市场风险和优化投资决策方面发挥着核心作用，伴随着多模态流和超前滞后效应。例如，股票的价格走势是不同扩散速度下复杂市场状态的反映，包括历史价格序列、媒体新闻、相关事件等。此外，金融行业要求预测模型具有可解释性和合规性。本发明提出一种多模态图神经网络(MAGNN)来从这些多模态输入中学习以进行金融时间序列预测，异构图网络是由金融知识图谱中的源作为节点和关系作为边构建的，利用两阶段注意机制进行联合优化，允许最终用户研究内部模态和间模态源的重要性来确保模型的可解释性。
2.根据权利要求1所述的一种基于多模态图神经网络的金融时间序列预测方法，其特征在于步骤S1中：问题预定义的具体步骤为；
S11、在信息有效的市场中，股票的价格变动可以被视为对金融事件或新闻的反应，然而，当新事件冲击股市时，某些股票的价格反应比其他股票更快，这种相关但异步的价格变动现象被称为超前滞后效应；例如，当一个新事件(“高通针对苹果”)冲击市场时，不仅会带来“高通”和“苹果”的价格波动，还会影响上下游企业，例如三星(苹果在智能手机市场的供应商和主要竞争对手)和富士康(苹果的制造商)，但它们的价格变动是异步的，因为不同实体的事件扩散速度不同，因此，从金融市场的这种超前滞后关系中学习是一项具有挑战性的任务。
3.根据权利要求1所述的一种基于多模态图神经网络的金融时间序列预测方法，其特征在于步骤S2的具体方法为：
S21、多模态异构图利用多模态源扩展了传统的异构图，图节点分为六种类型(源、新闻、事件、市场、桥梁和目标节点)，具有三种模态输入(数字时间序列、媒体文本和关系)，给出定义如下：
定义1异构图，异构图表示为G＝(VT,VS,E)，其中VT表示目标节点的集合，VS表示源节点的集合，E是连接节点之间的链路的集合；
定义2源节点，VS通过映射函数VS→Φ与不同的模态相关联，其中Φ表示模态集，包括数字市场数据、媒体文本和关系；
定义3目标节点，VT是在图中预测的权益，旨在通过有向链接接收和聚合来自其他节点的消息；
定义4桥节点，表示多模态源和目标节点之间的连接节点，从领域知识图FinKG中提取的；
定义5属性节点，包括新闻、事件和市场节点，这些节点仅连接到其主题公司，多模态输入被视为异构图中的节点，它们可以通过链接将消息传递到其他节点；
定义6边(E)是连接节点之间的一组连线，包括有向边和无向边，公司之间的关系(源节点、目标节点或桥节点)是有向的，从主体到客体，公司与其所属节点之间的连接是无向的。
4.根据权利要求1所述的一种基于多模态图神经网络的金融时间序列预测方法，其特征在于步骤S3中的具体方法为：
S31、首先通过知识图谱中的事件、新闻、关系和市场数据构建异构图，然后，多模态输入并行地输入到内模态图注意层(InnGAT)，其中每个模态输入由InnGAT在异构图上独立学习，多模态源注意力(IntSAT)采用InnGAT的输出并从所有模态学习高阶表示，最后，将学习到的特征输入前馈和分类网络以进行目标预测；
S32、采用预训练的BERT1作为新闻嵌入模型，并从大型财经新闻语料库中对BERT模型进行微调，对于事件元组提取，利用广泛使用的OpenIE并利用张量神经网络学习的结构化元组的嵌入作为事件特征，在FinKG构建中，使用OpenNRE2从海量新闻文本中提取关系并将其存储在知识图谱FinKG中，如果事件(或新闻)的实体是上市公司，将其标记为源节点，其余实体在知识图中表示为桥节点，当一组事件命中FinKG时，提取所提及实体的相邻节点和对应关系作为基础图，然后，将预测的股票标记为目标节点，然后，将新闻、事件和市场数据链接到各个实体，最终形成异构图。
5.根据权利要求1所述的一种基于多模态图神经网络的金融时间序列预测方法，其特征在于步骤S4中的具体步骤为：
S41、给定每个模态输入特征和构建的异构图，内部模态图注意力被设计为将信息从源节点传播和聚合到目标节点，InnGAT的输入包括源节点
![]()
和目标节点
![]()
的预训练嵌入，其中φ∈{n,e,p}表示模态类型，i∈Ns表示节点的第i个邻居S.Ns是邻居的集合；
S42、设计了两阶段投影，用于将多模态输入映射到潜在表示，称为源投影和目标投影，它们分别由权重矩阵
![]()
和
![]()
参数化，dφ、dt和dh表示源节点嵌入、目标节点嵌入和投影隐藏特征的维度，然后，引入共享注意力机制来计算节点级注意力系数，该系数由权重向量
![]()
参数化，最后，源节点i和目标节点s之间源类型φ的内模态注意系数表示为：
其中φ表示φ和||的转置是串联操作；
S43、然后，计算模态类型φ的目标节点S的输出特征，作为具有sigmoid函数的源隐藏特征的加权平均值，其公式为：
其中
![]()
表示学习权重，σ是sigmoid函数，Ns表示节点S的邻居集，
![]()
表示InnGAT对于节点S在模态φ中的输出特征，用多头注意力扩展了InnGAT，以稳定学习过程。
6.根据权利要求1所述的一种基于多模态图神经网络的金融时间序列预测方法，其特征在于步骤S5中的具体步骤为：
S51、提出了模态间源注意(IntSAT)来选择性地聚合来自多模态源的信息以用于目标节点表示，目标节点的IntSAT的输入包括来自所有模态的InnGAT的输出特征
![]()
其中φ∈{n,e,p}，在模态间源注意力网络中，采用由权重矩阵
![]()
参数化的共享线性变换和由权重向量
![]()
参数化的多源注意力机制来计算源注意力系数，dz表示
![]()
的维度，dr表示变换后的隐藏特征的维度，目标节点的模态类型φ的注意力系数可以表示为：
其中
![]()
和Wz是学习的权重，
![]()
表示模态类型φ的注意力系数；
S52、最后，通过连接所有三种模式的注意力加权投影特征来构建目标节点代表的表示，公式为：
其中
![]()
和
![]()
是IntSAT的注意力系数，Wz表示学习的权重，reps表示跨模态源注意网络的输出表示。
7.根据权利要求1所述的一种基于多模态图神经网络的金融时间序列预测方法，其特征在于步骤S6中的具体步骤为：
S61、给定从InnGAT和IntSAT中学习到的目标节点表示，然后采用浅层神经网络进行目标价格预测，将预测任务制定为分类问题，这意味着将价格变动趋势分为三类{向上、神经、向下}，预测网络由两个全连接层和一个softmax层组成，它们定义为：
其中NNf表示两层全连接的浅层神经网络，
![]()
和
![]()
分别是权重矩阵和偏差，dl是目标类别的数量；
S62、最后，通过输出层中似然性的交叉熵定义所提出模型的损失函数，如下所示：
其中Ysc是股票s的第c个运动类别的真实标签，分别标记为1表示“向上”价格运动，0表示“神经”运动，-1表示“向下”运动，VT表示目标节点的集合；
本发明提出的多模态图神经网络可以通过最小化分类交叉熵损失以端到端的方式进行训练，可以通过标准随机梯度下降过程来优化模型，采用Adam算法作为模型的优化器，将初始学习率设置为0.001，批量大小默认设置为64。
2019年美国本土上市公司金融市值达到30万亿美元，占美国国内生产总值(GDP)的1.5倍以上，在这个庞大而波动的市场中，预测股票的价格走势对于金融机构和投资者来说都非常重要，根据有效市场假说(EMH)，理想情况下，股票的价格反映了有效市场中的所有可用信息，包括历史价格、新闻、事件等。然而，在现实情况下，不同的股票会做出反应对不同事件的控制是不直观且不同步的。因此，在时间序列预测框架中对这种复杂的现象(称为超前效应)进行建模具有挑战性。
金融行业自二十世纪初以来一直在研究价格预测模型，并从那时起完善这些技术，在此过程中投资了数百万美元，传统的定量方法依赖历史时间序列价格数据来预测股价走势，这些模型旨在通过提取有意义的技术指标和/或潜在特征来减少随机性并捕获一致的模式。近年来，随着社交媒体和自然语言处理技术的发展，非结构化新闻被用来提高预测模型的能力，但这些技术并没有捕捉股票之间的内部关系，这限制了它们在预测模型中的潜力。例如，“高通对苹果提起诉讼”事件的词条特征无法区分上诉人“高通”和被上诉人“苹果”，因此很难推断相关股票、高通和苹果公司相应的价格走势。
最近，研究人员倾向于通过从媒体新闻中提取结构事件元组和指标(即情绪指标)来改善市场信息的表示。主要思想是学习相似事件或相似情绪新闻可能具有相似特征的分布式表示。然后将这些特征与上市公司联系起来，并与历史时间序列相结合以进行价格预测，但两个类似的事件可能完全无关，例如“史蒂夫·乔布斯退出苹果”和“大卫·彼得离开星巴克”，为了克服这个问题，在特征学习过程中使用来自知识图(KG)的外部信息，那么，上述两个事件根据KG的语义差异可以有不同的表示，因为史蒂夫·乔布斯是苹果公司的创始人，而大卫·彼得更像是星巴克的顾客。
然而，股票在金融市场上的价格变动不仅取决于其自身的个别事件，还与其他股票的联系有关，这些多模态输入，包括数字时间序列、非结构化文本和关系图，对价格变动产生不同的协同效应。例如，“高通起诉苹果”事件也会以不同的扩散速度影响智能手机市场的其他参与者(即竞争对手、上下游企业)，如三星、富士康、谷歌等。有效预测价格由于金融领域知识的不完整性和复杂的顺序模式，从超前滞后效应中分析相关股票具有挑战性。
本发明针对现有解决方案的局限性和挑战，提出了一种多模态图神经网络模型，通过结合超前滞后关系的来源(包括历史价格、媒体事件和KG的相应知识)来预测价格变动。首先从原始新闻中提取链接实体的关系，然后将它们存储在我们的金融知识图(FinKG)中。紧接着提出一种异构图注意力网络来学习目标时间序列的统一表示，其中多模态源被定义为源节点，预测权益被定义为目标节点，利用两阶段注意力机制(内部模态和模态间注意力)来推断内部顺序模式和源间超前滞后关系，内部模态注意机制旨在自动学习每个模态输入中图结构源对目标节点的不同贡献，而跨模态注意力被提出来动态学习不同模态之间的权重，以对目标节点进行适当的价格变动预测，因为不同模态在不同时间段的贡献不同，最后，将学习到的信息特征输入预测层以进行价格变动预测。
本发明的一种基于多模态图神经网络的金融时间序列预测方法，包含以下步骤：
S1：问题预定义
S2：异构图的构建过程
S3：模型框架和输入
S4：内部模态图注意力
S5：跨模态源注意力
S6：目标预测网络及优化。
进一步地，所述S1的具体步骤为：
S11、在信息有效的市场中，股票的价格变动可以被视为对金融事件或新闻的反应，然而，当新事件冲击股市时，某些股票的价格反应比其他股票更快，这种相关但异步的价格变动现象被称为超前滞后效应；例如，当一个新事件(“高通针对苹果”)冲击市场时，不仅会带来“高通”和“苹果”的价格波动，还会影响上下游企业，例如三星(苹果在智能手机市场的供应商和主要竞争对手)和富士康(苹果的制造商)，但它们的价格变动是异步的，因为不同实体的事件扩散速度不同，因此，从金融市场的这种超前滞后关系中学习是一项具有挑战性的任务。
进一步地，所述S2的具体步骤为：
S21、多模态异构图利用多模态源扩展了传统的异构图，图节点分为六种类型(源、新闻、事件、市场、桥梁和目标节点)，具有三种模态输入(数字时间序列、媒体文本和关系)，给出定义如下：
定义1异构图，异构图表示为G＝(VT,VS,E)，其中VT表示目标节点的集合，VS表示源节点的集合，E是连接节点之间的链路的集合；
定义2源节点，VS通过映射函数VS→Φ与不同的模态相关联，其中Φ表示模态集，包括数字市场数据、媒体文本和关系；
定义3目标节点，VT是在图中预测的权益，旨在通过有向链接接收和聚合来自其他节点的消息；
定义4桥节点，表示多模态源和目标节点之间的连接节点，从领域知识图FinKG中提取的；
定义5属性节点，包括新闻、事件和市场节点，这些节点仅连接到其主题公司，多模态输入被视为异构图中的节点，它们可以通过链接将消息传递到其他节点；
定义6边(E)是连接节点之间的一组连线，包括有向边和无向边，公司之间的关系(源节点、目标节点或桥节点)是有向的，从主体到客体，公司与其所属节点之间的连接是无向的。
进一步地，所述S3的具体步骤为：
S31、首先通过知识图谱中的事件、新闻、关系和市场数据构建异构图，然后，多模态输入并行地输入到内模态图注意层(InnGAT)，其中每个模态输入由InnGAT在异构图上独立学习，多模态源注意力(IntSAT)采用InnGAT的输出并从所有模态学习高阶表示，最后，将学习到的特征输入前馈和分类网络以进行目标预测；
S32、采用预训练的BERT1作为新闻嵌入模型，并从大型财经新闻语料库中对BERT模型进行微调，对于事件元组提取，利用广泛使用的OpenIE并利用张量神经网络学习的结构化元组的嵌入作为事件特征，在FinKG构建中，使用OpenNRE2从海量新闻文本中提取关系并将其存储在知识图谱FinKG中，如果事件(或新闻)的实体是上市公司，将其标记为源节点，其余实体在知识图中表示为桥节点，当一组事件命中FinKG时，提取所提及实体的相邻节点和对应关系作为基础图，然后，将预测的股票标记为目标节点，然后，将新闻、事件和市场数据链接到各个实体，最终形成异构图。
进一步地，所述S4的具体步骤为：
S41、给定每个模态输入特征和构建的异构图，内部模态图注意力被设计为将信息从源节点传播和聚合到目标节点，InnGAT的输入包括源节点
![]()
和目标节点
![]()
的预训练嵌入，其中φ∈{n,e,p}表示模态类型，i∈Ns表示节点的第i个邻居S.Ns是邻居的集合；
S42、设计了两阶段投影，用于将多模态输入映射到潜在表示，称为源投影和目标投影，它们分别由权重矩阵
![]()
和
![]()
参数化，dφ、dt和dh表示源节点嵌入、目标节点嵌入和投影隐藏特征的维度，然后，引入共享注意力机制来计算节点级注意力系数，该系数由权重向量
![]()
参数化，最后，源节点i和目标节点s之间源类型φ的内模态注意系数表示为：
其中φ表示φ和||的转置是串联操作。
S43、然后，计算模态类型φ的目标节点S的输出特征，作为具有sigmoid函数的源隐藏特征的加权平均值，其公式为：
其中
![]()
表示学习权重，σ是sigmoid函数，Ns表示节点S的邻居集，
![]()
表示InnGAT对于节点S在模态φ中的输出特征，用多头注意力扩展了InnGAT，以稳定学习过程。
进一步地，所述S5的具体步骤为：
S51、提出了模态间源注意(IntSAT)来选择性地聚合来自多模态源的信息以用于目标节点表示，目标节点的IntSAT的输入包括来自所有模态的InnGAT的输出特征
![]()
其中φ∈{n,e,p}，在模态间源注意力网络中，采用由权重矩阵
![]()
参数化的共享线性变换和由权重向量
![]()
参数化的多源注意力机制来计算源注意力系数，dz表示
![]()
的维度，dr表示变换后的隐藏特征的维度，目标节点的模态类型φ的注意力系数可以表示为：
其中
![]()
和Wz是学习的权重，
![]()
表示模态类型φ的注意力系数；
S52、最后，通过连接所有三种模式的注意力加权投影特征来构建目标节点代表的表示，公式为：
其中
![]()
和
![]()
是IntSAT的注意力系数，Wz表示学习的权重，reps表示跨模态源注意网络的输出表示。
进一步地，所述S6的具体步骤为：
S61、给定从InnGAT和IntSAT中学习到的目标节点表示，然后采用浅层神经网络进行目标价格预测，将预测任务制定为分类问题，这意味着将价格变动趋势分为三类{向上、神经、向下}，预测网络由两个全连接层和一个softmax层组成，它们定义为：
其中NNf表示两层全连接的浅层神经网络，
![]()
和
![]()
分别是权重矩阵和偏差，dl是目标类别的数量；
S62、最后，通过输出层中似然性的交叉熵定义所提出模型的损失函数，如下所示：
其中Ysc是股票s的第c个运动类别的真实标签，分别标记为1表示“向上”价格运动，0表示“神经”运动，-1表示“向下”运动。VT表示目标节点的集合；
本发明提出的多模态图神经网络可以通过最小化分类交叉熵损失以端到端的方式进行训练，可以通过标准随机梯度下降过程来优化模型，采用Adam算法作为模型的优化器，将初始学习率设置为0.001，批量大小默认设置为64。
图1为本方法的流程图；
图2为多模态输入和异构图的图示。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合实例与附图对本发明作进一步详细描述。
如附图1所示，一种基于多模态图神经网络的金融时间序列预测方法，包含以下步骤：
步骤1：问题预定义：
在信息有效的市场中，股票的价格变动可以被视为对金融事件或新闻的反应，然而，当新事件冲击股市时，某些股票的价格反应比其他股票更快，这种相关但异步的价格变动现象被称为超前滞后效应；例如，当一个新事件(“高通针对苹果”)冲击市场时，不仅会带来“高通”和“苹果”的价格波动，还会影响上下游企业，例如三星(苹果在智能手机市场的供应商和主要竞争对手)和富士康(苹果的制造商)，但它们的价格变动是异步的，因为不同实体的事件扩散速度不同，因此，从金融市场的这种超前滞后关系中学习是一项具有挑战性的任务。
步骤2：异构图的构建过程：
多模态异构图利用多模态源扩展了传统的异构图，图节点分为六种类型(源、新闻、事件、市场、桥梁和目标节点)，具有三种模态输入(数字时间序列、媒体文本和关系)，给出定义如下：
定义1异构图，异构图表示为G＝(VT,VS,E)，其中VT表示目标节点的集合，VS表示源节点的集合，E是连接节点之间的链路的集合；
定义2源节点，VS通过映射函数VS→Φ与不同的模态相关联，其中Φ表示模态集，包括数字市场数据、媒体文本和关系；
定义3目标节点，VT是在图中预测的权益，旨在通过有向链接接收和聚合来自其他节点的消息；
定义4桥节点，表示多模态源和目标节点之间的连接节点，从领域知识图FinKG中提取的；
定义5属性节点，包括新闻、事件和市场节点，这些节点仅连接到其主题公司，多模态输入被视为异构图中的节点，它们可以通过链接将消息传递到其他节点；
定义6边(E)是连接节点之间的一组连线，包括有向边和无向边，公司之间的关系(源节点、目标节点或桥节点)是有向的，从主体到客体，公司与其所属节点之间的连接是无向的。
步骤3：模型框架和输入：
首先通过知识图谱中的事件、新闻、关系和市场数据构建异构图，然后，多模态输入并行地输入到内模态图注意层(InnGAT)，其中每个模态输入由InnGAT在异构图上独立学习，多模态源注意力(IntSAT)采用InnGAT的输出并从所有模态学习高阶表示，最后，将学习到的特征输入前馈和分类网络以进行目标预测；
采用预训练的BERT1作为新闻嵌入模型，并从大型财经新闻语料库中对BERT模型进行微调，对于事件元组提取，利用广泛使用的OpenIE并利用张量神经网络学习的结构化元组的嵌入作为事件特征，在FinKG构建中，使用OpenNRE2从海量新闻文本中提取关系并将其存储在知识图谱FinKG中，如果事件(或新闻)的实体是上市公司，将其标记为源节点，其余实体在知识图中表示为桥节点，当一组事件命中FinKG时，提取所提及实体的相邻节点和对应关系作为基础图，然后，将预测的股票标记为目标节点，然后，将新闻、事件和市场数据链接到各个实体，最终形成异构图。
步骤4：内部模态图注意力：
给定每个模态输入特征和构建的异构图，内部模态图注意力被设计为将信息从源节点传播和聚合到目标节点，InnGAT的输入包括源节点
![]()
和目标节点
![]()
的预训练嵌入，其中φ∈{n,e,p}表示模态类型，i∈Ns表示节点的第i个邻居S.Ns是邻居的集合；
设计了两阶段投影，用于将多模态输入映射到潜在表示，称为源投影和目标投影，它们分别由权重矩阵
![]()
和
![]()
参数化，dφ、dt和dh表示源节点嵌入、目标节点嵌入和投影隐藏特征的维度，然后，引入共享注意力机制来计算节点级注意力系数，该系数由权重向量
![]()
参数化，最后，源节点i和目标节点s之间源类型φ的内模态注意系数表示为：
其中φ表示φ和||的转置是串联操作。
然后，计算模态类型φ的目标节点S的输出特征，作为具有sigmoid函数的源隐藏特征的加权平均值，其公式为：
其中
![]()
表示学习权重，σ是sigmoid函数，Ns表示节点S的邻居集，
![]()
表示InnGAT对于节点S在模态φ中的输出特征，用多头注意力扩展了InnGAT，以稳定学习过程。
步骤5：跨模态源注意力：
提出了模态间源注意(IntSAT)来选择性地聚合来自多模态源的信息以用于目标节点表示，目标节点的IntSAT的输入包括来自所有模态的InnGAT的输出特征
![]()
其中φ∈{n,e,p}，在模态间源注意力网络中，采用由权重矩阵
![]()
参数化的共享线性变换和由权重向量
![]()
参数化的多源注意力机制来计算源注意力系数，dz表示
![]()
的维度，dr表示变换后的隐藏特征的维度，目标节点的模态类型φ的注意力系数可以表示为：
其中
![]()
和Wz是学习的权重，
![]()
表示模态类型φ的注意力系数；
最后，通过连接所有三种模式的注意力加权投影特征来构建目标节点代表的表示，公式为：
其中
![]()
和
![]()
是IntSAT的注意力系数，Wz表示学习的权重，reps表示跨模态源注意网络的输出表示。
步骤6：目标预测网络及优化：
给定从InnGAT和IntSAT中学习到的目标节点表示，然后采用浅层神经网络进行目标价格预测，将预测任务制定为分类问题，这意味着将价格变动趋势分为三类{向上、神经、向下}，预测网络由两个全连接层和一个softmax层组成，它们定义为：
其中NNf表示两层全连接的浅层神经网络，
![]()
和
![]()
分别是权重矩阵和偏差，dl是目标类别的数量；
最后，通过输出层中似然性的交叉熵定义所提出模型的损失函数，如下所示：
其中Ysc是股票s的第c个运动类别的真实标签，分别标记为1表示“向上”价格运动，0表示“神经”运动，-1表示“向下”运动。VT表示目标节点的集合；
本发明提出的多模态图神经网络可以通过最小化分类交叉熵损失以端到端的方式进行训练，可以通过标准随机梯度下降过程来优化模型，采用Adam算法作为模型的优化器，将初始学习率设置为0.001，批量大小默认设置为64。
赖俊华 and 陈天健 and 吴雪桐 and 黄江. 一种基于多模态图神经网络的金融时间序列预测方法. CN Patent 202311504571.4. Jan 26, 2024.
赖俊华 and 陈天健 and 吴雪桐 and 黄江. (2024). CN. Patent No.202311504571.4
Chicago
赖俊华 and 陈天健 and 吴雪桐 and 黄江. 2024. 一种基于多模态图神经网络的金融时间序列预测方法. CN Patent CN117455540A, filed Nov 13, 2023, and issued Jan 26, 2024.
