本发明公开了一种基于多任务深度学习神经网络的太阳风速度预测方法，所用的模型包括一个由一维卷积神经网络CNN和一个长短时记忆神经网络LSTM组成的共享模块，一个主LSTM模块以及一个自回归层AR模块。共享模块用于提取多个任务共用的浅层空间和时间特征，主LSTM模块用于单独提取主任务的特性，自回归模块用于以一种线性的方式对神经网络模型进行适当的修正。采用多任务学习机制来实现多步预测，构建模型。在太阳风速度预测领域，引入多任务学习的机制是一种新的尝试。本发明的优点是，联合多个独立的预测任务来同时并行学

　　(19)国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 114492171 A (43)申请公布日 2022.05.13 (21)申请号 9.4 (22)申请日 2021.12.31 (71)申请人 天津大学 地址 300072 天津市南开区卫津路92号 (72)发明人 谢宗霞毛凯舟孙彦茹 (74)专利代理机构 天津市北洋有限责任专利代 理事务所 12201 专利代理师 李丽萍 (51)Int.Cl. G06F 30/27 (2020.01) G06N 3/04 (2006.01) G06N 3/08 (2006.01) 权利要求书3页 说明书7页 附图2页 (54)发明名称 基于多任务深度学习神经网络的太阳风速 度预测方法 (57)摘要 本发明公开了一种基于多任务深度学习神 经网络的太阳风速度预测方法，所用的模型包括 一个由一维卷积神经网络CNN和一个长短时记忆 神经网络LSTM组成的共享模块，一个主LSTM模块 以及一个自回归层AR模块。共享模块用于提取多 个任务共用的浅层空间和时间特征，主LSTM模块 用于单独提取主任务的特性，自回归模块用于以 一种线性的方式对神经网络模型进行适当的修 正。采用多任务学习机制来实现多步预测，构建 模型。在太阳风速度预测领域，引入多任务学习 的机制是一种新的尝试。本发明的优点是，联合 A 多个独立的预测任务来同时并行学习，充分利用 1 数据信息，共享公共信息来帮助改进浅层特征提 7 1 2 取，并为主要任务设计独立的结构来提高预测性 9 4 4 能。 1 1 N C CN 114492171 A 权利要求书 1/3页 1.一种基于多任务深度学习神经网络的太阳风速度预测方法，其特征在于，所采用的 神经网络模型包括一个共享模块、一个主LSTM模块以及一个自回归层(AR)模块； 所述共享模块由一维CNN模块和一个共享LSTM模块组成； 所述一维CNN模块用于接收序列输入和自动学习数据空间特征，对不同维度的输入属 性的相互关系进行建模；所述共享LSTM模块用于捕获时间序列的时间相关性，并提取不同 预测任务之间的相关信息，在多任务并行训练中，通过神经网络的反向传播实现所述共享 模块参数的联合学习和共享； 所述主LSTM模块用于解码所述共享模块中的多任务共享信息，并单独用于主任务的预 测，所述主LSTM模块用于接收所述共享模块的输出；所述主LSTM模块和所述共享LSTM模块 的结构相同； 所述自回归层(AR)模块用于以一种线性的方式对神经网络模型进行修正。 2.根据权利要求1所述的太阳风速度预测方法，其特征在于，包括以下步骤： 步骤1、数据处理： 使用的数据集包括以下3个部分： (1)从低分辨率OMNI数据集中选择五个物理量属性，分别是太阳风速度(Bulk  speed)、 质子密度(Proton density)、质子温度(Proton temperature)、流压力(Flow pressure)和 场矢量的均方根标准偏差(Sigma‑b)； (2)根据ICME列表引入日冕物质抛射属性：将ICME列表二值化为一个新特征，并将存在 日冕物质抛射事件的时间点设为1，不存在的则为0； (3)通过计算大气成像组件(AIA) 图像中冕洞的像素值之和，引入了冕洞信息属 性：将所述的 图像转换为灰度图像后，计算图像中小于15px的像素值之和，用于表征 冕洞的影响，并记为area； 使用上述数据源的数据所构成的7个属性的多元时间序列作为神经网络模型的输入， 分别进行24小时和96小时的预测，目标输出分别是距离观测序列未来24小时和96小时后的 太阳风速度的预测值； 对于24小时的预测，7维时间序列数据的时间间隔为1小时，即每小时1个7维向量，每个 向量的7个向量元素分别对应7个属性； 对于96小时的预测，7维时间序列数据的时间间隔为24小时，即每24小时1个7维向量， 每个向量的7个向量元素分别对应7个属性，每个属性值通过计算24小时里的平均值得到； 根据7维时间序列数据各个维度的均值和标准差，采用z‑score标准化方法进行数据的 标准化，经过处理的数据符合标准正态分布，即均值为0，方差为1，计算公式为： 式(1)中，μ为所有样本数据的均值，σ为所有样本数据的标准差，计算时对每个维度的 属性分别进行； 按照8:1:1的比例将数据分为训练集、验证集和测试集； 步骤2、共享模块特征提取： 设置5个相邻时间点的太阳风预测任务进行联合多任务学习；其中，对于24小时预测 的，将第22小时、第23小时、第24小时、第25小时和第26小时分别作为5个单独预测任务，对 2 2 CN 114492171 A 权利要求书 2/3页 于96小时预测的，将第48小时、第72小时、第96小时、第120小时和第144小时分别作为5个单 独预测任务；5个单独预测任务的编号分别依次为1、2、3、4和5，将第3个单独预测作为主任 务，其他4个单独预测作为辅助任务； 预处理的数据首先通过共享模块提取数据的空间和时间特征，作为5个单独预测任务 的共享浅层特征，操作如下： 空间特征的提取：将所述多元时间序列作为一维CNN模块的输入，设x ＝[X ，...，X],X n 1 n i 是由七维属性组成的向量，n是输入窗口的长度，c代表一维CNN模块提取的抽象特征， C＝Conv1D(X)          (2) n 式(2)中，Conv1D代表一维卷积操作； 时间特征的提取：将一维CNN模块提取的抽象特征作为共享LSTM模块的输入，从而捕获 时间序列的时间相关性；共享LSTM模块的初始隐藏状态和初始单元状态设置为零，在训练 过程中，5个单独预测任务共享该共享LSTM模块的权重和偏差，从而集成了多任务的时间特 性；训练后，将所述的多任务的时间特性存储在该共享LSTM模块的共享参数中；对于该共享 LSTM模块的输入c，k∈{1，2，3，4，5}代表任务编号，共享LSTM模块执行以下操作： 式(3)中，c为共享LSTM模块的内部单元状态参数，h为共享LSTM模块的隐藏单元状态参 数，0≤p≤L是RNN网络的循环次数，shared_LSTM代表共享LSTM模块运算； 步骤3、主任务单独特征提取： 对于主任务，将共享LSTM模块中的最后一个输出序列作为主LSTM模块的输入： 式(4)中，c′是主LSTM模块的内部单元状态参数，h′是主LSTM模块的隐藏单元状态参 数； 主LSTM模块执行以下操作： 式(5)中，main_LSTM代表主LSTM模块运算； 步骤4.太阳风速度预测值的输出： 对于辅助任务，通过共享模块全连接层的输出加上自回归层(AR)模块输出获得与该辅 助任务对应时间点的太阳风速度预测值； 对于主任务，通过主LSTM模块全连接层的输出加上自回归层(AR)模块输出获得与主任 务对应时间点的太阳风速度预测值； 全连接层的操作如下： 式(6)中，D是全连接层任务k的预测结果输出， 分别是全连接层的权重和偏差； k 3 3 CN 114492171 A 权利要求书 3/3页 自回归层(AR)模块以一种线性的方式对上述全连接层的输出进行修正： 式(7)中，AR 是任务k的自回归层(AR)模块的输出，k∈{1，2，3，4，5}， 分别是自 k 回归层(AR)模块的权重和偏差； 神经网络模型任务k的最终预测结果如下： v ＝D+AR         (8) k k k 式(8)中，v为任务k的太阳风速度预测值输出。 k 4 4 CN 114492171 A 说明书 1/7页 基于多任务深度学习神经网络的太阳风速度预测方法 技术领域 [0001] 本发明属于神经网络模型设计技术领域和太阳风速度预测领域,特别涉及一种基 于多任务深度学习的太阳风速度预测模型及其建模方法。 背景技术 [0002] 目前，在太阳风速度预测领域的三大类方法分别是：(1)基于物理的预测模型，根 据太阳物理参数构建物理模型；(2)经验或半经验模型，根据人工观测和专家的经验知识对 太阳的状态进行判断；(3)机器学习模型，采用SVM，人工神经网络等输入数据进行训练后进 行预测。随着观测数据日益丰富，以及太阳活动的复杂性和灾害性、太阳风速度预报时效性 的迫切需求，人们需要开发不同于传统物理模型与经验模型的预测方法。机器学习方法正 是能够顺应新的需求的一种技术手段。其中，人工神经网络(Artificial Neural Network， ANN)是20世纪80年代以来机器学习领域的研究热点。近年来，深度学习作为一种重要的人 工神经网络模型，越来越多地运用到太阳风速度预测领域。深度学习通过多层神经网络的 处理，逐步将一开始的“低层”特征表示转变为后续的“高层”特征表示，模型即可完成复杂 的分类、回归等学习任务。然而，目前存在的深度学习方法通常根据历史数据，预测未来某 一个时间点的太阳风速。这些属于单步预测方法。与之相对的，在时间序列预测问题中，多 步预测是一种广泛运用的方法。多步预测是指在给定历史数据，对未来几个时间步的一些 变量进行预测。这种预测方法在一些场景下能够满足连续多步输出的需求。并且，在一组时 间步中，可能在某些尺度或分辨率上观察到各种时间序列成分，如复杂趋势、季节性和噪 声。此外，多步预测方法可以提高信息利用效率和预测精度。它在输出端集成了数据的连续 信息，从而可以基于相邻时间点的预测知识对目标进行预测。因此，对于太阳风速度预测问 题，也可以采用多步预测的机制。而根据了解，目前尚未有基于多步预测的太阳风速度预测 方法。此外，如何有效地构建多步预测太阳风速度预测模型是一个挑战。对于这个问题，可 以引入多任务学习的方法。多任务学习是一种让多个相关的任务进行并行联合学习的机 制，它可以利用多个相关任务的信息来充分调节神经网络模型中的参数，从而提升模型的 泛化能力。在多任务学习中，多个相关任务在训练时共享特征，每个任务可以通过复用其他 任务已学到的有用的知识，加快自身的训练，共同提高模型的预测精度。此外，多任务学习 也可以利用不同任务之间的差异来降低模型过拟合的可能性，也进一步提升了模型的泛化 能力。 发明内容 [0003] 针对上述现有技术，本发明提供一种基于多任务深度学习神经网络的太阳风速度 预测方法，解决了现有技术中存在的问题。 [0004] 采用多任务学习机制来实现多步预测，构建模型。在太阳风速度预测领域，引入多 任务学习的机制是一种新的尝试。 [0005] 为了解决上述技术问题，本发明提出的一种基于多任务深度学习神经网络的太阳 5 5 CN 114492171 A 说明书 2/7页 风速度预测方法，所采用的神经网络模型包括一个共享模块、一个主LSTM模块以及一个自 回归层(AR)模块；所述共享模块由一维CNN模块和一个共享LSTM模块组成；所述一维CNN模 块用于接收序列输入和自动学习数据空间特征，对不同维度的输入属性的相互关系进行建 模；所述共享LSTM模块用于捕获时间序列的时间相关性，并提取不同预测任务之间的相关 信息，在多任务并行训练中，通过神经网络的反向传播实现所述共享模块参数的联合学习 和共享；所述主LSTM模块用于解码所述共享模块中的多任务共享信息，并单独用于主任务 的预测，所述主LSTM模块用于接收所述共享模块的输出；所述主LSTM模块和所述共享LSTM 模块的结构相同；所述自回归层(AR)模块用于以一种线性的方式对神经网络模型进行修 正。 [0006] 利用上述神经网络模块进行太阳风速度预测的步骤如下： [0007] 步骤1、数据处理： [0008] 使用的数据集包括以下3个部分：(1)从低分辨率OMNI数据集中选择五个物理量属 性，分别是太阳风速度(Bulk  speed)、质子密度(Proton  density)、质子温度(Proton  temperature)、流压力(Flow pressure)和场矢量的均方根标准偏差(Sigma‑b)；(2)根据 ICME列表引入日冕物质抛射属性：将ICME列表二值化为一个新特征，并将存在日冕物质抛 射事件的时间点设为1，不存在的则为0；(3)通过计算大气成像组件(AIA) 图像中冕 洞的像素值之和，引入了冕洞信息属性：将所述的 图像转换为灰度图像后，计算图像 中小于15px的像素值之和，用于表征冕洞的影响，并记为area； [0009] 使用上述数据源的数据所构成的7个属性的多元时间序列作为神经网络模型的输 入，分别进行24小时和96小时的预测，目标输出分别是距离观测序列未来24小时和96小时 后的太阳风速度的预测值；对于24小时的预测，7维时间序列数据的时间间隔为1小时，即每 小时1个7维向量，每个向量的7个向量元素分别对应7个属性；对于96小时的预测，7维时间 序列数据的时间间隔为24小时，即每24小时1个7维向量，每个向量的7个向量元素分别对应 7个属性，每个属性值通过计算24小时里的平均值得到； [0010] 根据7维时间序列数据各个维度的均值和标准差，采用z‑score标准化方法进行数 据的标准化，经过处理的数据符合标准正态分布，即均值为0，方差为1，计算公式为： [0011] [0012] 式(1)中，μ为所有样本数据的均值，σ为所有样本数据的标准差，计算时对每个维 度的属性分别进行；按照8:1:1的比例将数据分为训练集、验证集和测试集； [0013] 步骤2、共享模块特征提取： [0014] 设置5个相邻时间点的太阳风预测任务进行联合多任务学习；其中，对于24小时预 测的，将第22小时、第23小时、第24小时、第25小时和第26小时分别作为5个单独预测任务， 对于96小时预测的，将第48小时、第72小时、第96小时、第120小时和第144小时分别作为5个 单独预测任务；5个单独预测任务的编号分别依次为1、2、3、4和5，将第3个单独预测作为主 任务，其他4个单独预测作为辅助任务； [0015] 预处理的数据首先通过共享模块提取数据的空间和时间特征，作为5个单独预测 任务的共享浅层特征，操作如下： [0016] 空间特征的提取：将所述多元时间序列作为一维CNN模块的输入，设x ＝[X ，...， n 1 6 6 CN 114492171 A 说明书 3/7页 X ]，X是由七维属性组成的向量，n是输入窗口的长度，c代表一维CNN模块提取的抽象特征， n i [0017] C＝Conv1D(X)    (2) n [0018] 式(2)中，Conv1D代表一维卷积操作； [0019] 时间特征的提取：将一维CNN模块提取的抽象特征作为共享LSTM模块的输入，从而 捕获时间序列的时间相关性；共享LSTM模块的初始隐藏状态和初始单元状态设置为零，在 训练过程中，5个单独预测任务共享该共享LSTM模块的权重和偏差，从而集成了多任务的时 间特性；训练后，将所述的多任务的时间特性存储在该共享LSTM模块的共享参数中；对于该 共享LSTM模块的输入c，k∈{1，2，3，4，5}代表任务编号，共享LSTM模块执行以下操作： [0020] [0021] 式(3)中，c为共享LSTM模块的内部单元状态参数，h为共享LSTM模块的隐藏单元状 态参数，0≤p≤L是RNN网络的循环次数，shared_LSTM代表共享LSTM模块运算； [0022] 步骤3、主任务单独特征提取： [0023] 对于主任务，将共享LSTM模块中的最后一个输出序列作为主LSTM模块的输入： [0024] [0025] 式(4)中，c′是主LSTM模块的内部单元状态参数，h′是主LSTM模块的隐藏单元状态 参数； [0026] 主LSTM模块执行以下操作： [0027] [0028] 式(5)中，main_LSTM代表主LSTM模块运算； [0029] 步骤4.太阳风速度预测值的输出： [0030] 对于辅助任务，通过共享模块全连接层的输出加上自回归层(AR)模块输出获得与 该辅助任务对应时间点的太阳风速度预测值； [0031] 对于主任务，通过主LSTM模块全连接层的输出加上自回归层(AR)模块输出获得与 主任务对应时间点的太阳风速度预测值； [0032] 全连接层的操作如下： [0033] [0034] 式(6)中，D是全连接层任务k的预测结果输出， 分别是全连接层的权重和偏 k 差； [0035] 自回归层(AR)模块以一种线性的方式对上述全连接层的输出进行修正： [0036] [0037] 式(7)中，AR 是任务k的自回归层(AR)模块的输出，k∈{1，2，3，4，5}， 分别 k 7 7 CN 114492171 A 说明书 4/7页 是自回归层(AR)模块的权重和偏差； [0038] 神经网络模型任务k的最终预测结果如下： [0039] v ＝D+AR    (8) k k k [0040] 式(8)中，v为任务k的太阳风速度预测值输出。 k [0041] 与现有技术相比，本发明的有益效果是： [0042] 通过多任务学习的机制，联合多个独立的预测任务并行学习，充分利用和挖掘数 据信息，多个预测任务共享公共信息，来帮助改进浅层特征提取，并为主要任务设计独立的 结构来提高预测性能。通过将浅层特征进行共享，深层特征分别构建，本发明显著提升了主 预测任务的预测精度。 附图说明 [0043] 图1是用于实现本发明太阳风速度预测方法的模型结构； [0044] 图2是本发明基于多任务深度学习的太阳风速度预测方法流程图。 具体实施方式 [0045] 下面结合附图及具体实施例对本发明做进一步的说明，但下述实施例绝非对本发 明有任何限制。 [0046] 本发明提出的一种基于多任务深度学习神经网络的太阳风速度预测方法，所采用 的神经网络模型包括一个共享模块、一个主LSTM模块以及一个自回归层(AR)模块；如图1所 示。所述共享模块由一维卷积神经网络CNN模块和一个共享长短时记忆神经网络LSTM模块 两部分组成，其中，所述一维CNN模块用于接收序列输入和自动学习数据空间特征，对不同 维度的输入属性的相互关系进行建模；所述共享LSTM模块用于捕获时间序列的时间相关 性，并提取不同预测任务之间的相关信息，在多任务并行训练中，通过神经网络的反向传播 实现所述共享模块参数的联合学习和共享。所述主LSTM模块用于解码所述共享模块中的多 任务共享信息，并单独用于主任务的预测，所述主LSTM模块用于接收所述共享模块的输出， 所述主LSTM模块和所述共享LSTM模块的结构相同。所述自回归层(AR)模块用于以一种线性 的方式对神经网络模型进行适当的修正，可以有效地解决输入数据的尺度变化对模型的影 响，增加模型的鲁棒性。 [0047] 利用上述神经网络模型进行太阳风速度预测方法，包括以下步骤： [0048] 步骤1、数据处理： [0049] 使用的数据集来自Sun Y.等人的工作(2021年)，是2011年至2017年的七维每小时 时间间隔的多元时间序列。使用的数据集包括以下3个部分： [0050] (1)从低分辨率OMNI数据集中选择五个物理量属性，分别是太阳风速度(Bulk  speed)、质子密度(Proton  density)、质子温度(Proton  temperature)、流压力(Flow  pressure)和场矢量的均方根标准偏差(Sigma‑b)。 [0051] (2)根据ICME列表引入日冕物质抛射属性：将ICME列表二值化为一个新特征，并将 存在日冕物质抛射事件的时间点设为1，不存在的则为0。 [0052] (3)通过计算大气成像组件(AIA) 图像中冕洞的像素值之和，引入了冕洞信 息(CH  information)属性：将所述的AIA 图像转换为灰度图像后，计算图像中小于 8 8 CN 114492171 A 说明书 5/7页 15px的像素值之和，用于表征冕洞的影响，并记为area。 [0053] 使用上述数据源的数据所构成的7个属性的多元时间序列作为神经网络模型的输 入，分别进行24小时和96小时的预测，目标输出分别是距离观测序列未来24小时和96小时 后的太阳风速度的预测值。 [0054] 对于24小时的预测，本发明中使用上述数据，7维时间序列数据的时间间隔为1小 时，即每小时1个7维向量，每个向量的7个向量元素分别对应7个属性。 [0055] 对于96小时的预测，为了避免输入数据信息不足和预测步长过大的影响，本发明 中将数据的尺度扩大，从每小时一个数据改为每天一个数据(24小时)，7维时间序列数据的 时间间隔为24小时，即每24小时1个7维向量，每个向量的7个向量元素分别对应7个属性，每 个属性值通过计算24小时里的平均值得到，取日平均数据进行训练和预测。 [0056] 由于基于像素阈值的CH信息可能不够准确，本发明中通过使用另一个数据源替换 基于像素阈值的信息来引入CH信息，该数据源是Collection  of Analysis Tools  for  Coronal Holes(CATCH)(Heinemann  et al.,2019)。该公开数据集为每天间隔，根据AIA  图像计算冕洞特性。数据标准化方法为z‑score标准化，根据7维时间序列数据各个维 度的均值和标准差进行数据的标准化，经过处理的数据符合标准正态分布，即均值为0，方 差为1，计算公式为： [0057] [0058] 式(1)中，μ为所有样本数据的均值，σ为所有样本数据的标准差，计算时对每个维 度的属性分别进行；按照8:1:1的比例将数据分为训练集、验证集和测试集。 [0059] 步骤2、共享模块特征提取： [0060] 本发明中，设置5个相邻时间点的太阳风预测任务进行联合多任务学习；其中，对 于24小时预测的，将第22小时、第23小时、第24小时、第25小时和第26小时分别作为5个单独 预测任务，对于96小时预测的，将第48小时、第72小时、第96小时、第120小时和第144小时分 别作为5个单独预测任务；5个单独预测任务的编号分别依次为1、2、3、4和5，将第3个单独预 测作为主任务，其他4个单独预测作为辅助任务。 [0061] 预处理的数据首先通过共享模块提取数据的空间和时间特征，作为5个相邻的单 独预测任务的共享浅层特征，具体的，共享模块的操作如下： [0062] 1)空间特征的提取：将所述多元时间序列作为一维CNN模块的输入，设x ＝ n [X，...，X],X 是由七维属性组成的向量，n是输入窗口的长度，c代表一维CNN模块提取的 1 n i 抽象特征，所述一维CNN模块的转换过程如下： [0063] c＝Conv1D(X)    (2) n [0064] 式(2)中，Conv1D代表一维卷积操作。 [0065] 2)时间特征的提取：将一维CNN模块提取的抽象特征作为共享LSTM模块的输入，从 而捕获时间序列的时间相关性；共享LSTM模块的初始隐藏状态和初始单元状态设置为零， 在训练过程中，5个单独预测任务共享该共享LSTM模块的权重和偏差，从而集成了多任务的 时间特性。因此，模型训练后，将所述的多任务的时间特性(共享信息)存储在该共享LSTM模 块的共享参数中。对于该共享LSTM模块的输入c，共享LSTM模块执行以下操作： 9 9 CN 114492171 A 说明书 6/7页 [0066] [0067] 式(3)中，k∈{1，2，3，4，5}代表任务编号，c为共享LSTM模块的内部单元状态参数， h为共享LSTM模块的隐藏单元状态参数，0≤p≤L是RNN网络的循环次数，shared_LSTM代表 共享LSTM模块运算。 [0068] 步骤3、主任务单独特征提取： [0069] 对于主任务，将共享LSTM模块中的最后一个输出序列作为主LSTM模块的输入：该 主LSTM模块用于进一步提取主任务的单独特征。主LSTM模块和共享LSTM模块的结构相同， 它们共同形成了一个编码器‑解码器的模型结构。 [0070] 主任务单独特征的提取：对于主任务，即k＝3，其在共享LSTM模块中的最后一个输 出序列作为主LSTM模块的输入，主LSTM单元执行以下操作： [0071] [0072] 式(4)中，c′是主LSTM模块的内部单元状态参数，h′是主LSTM模块的隐藏单元状态 参数。 [0073] [0074] 式(5)中，main_LSTM代表主LSTM模块运算。 [0075] 步骤4.神经网络模型的输出即为太阳风速度预测值： [0076] 对于辅助任务，共享模块的输出直接用于预测对应目标时间点的太阳风速度，即 通过共享模块全连接层的输出加上自回归层(AR)模块输出获得与该辅助任务对应时间点 的太阳风速度预测值；所述的AR模块用于以一种线性方式适当修改神经网络模型。 [0077] 对于主任务，主LSTM模块输出后以与辅助任务相同的方式获得预测值。即通过主 LSTM模块全连接层的输出加上自回归层(AR)模块输出获得与主任务对应时间点的太阳风 速度预测值。 [0078] 使用全连接层输出神经网络模型的预测结果的操作是： [0079] [0080] 式(6)中，D是全连接层任务k的预测结果输出， 分别是全连接层的权重和偏 k 差。 [0081] 最后，在非线性神经网络模型的预测结果中加入自回归层(AR)模块，以一种线性 的方式对上述全连接层的输出进行修正，可以有效地解决输入数据的尺度变化对模型的影 响，增加模型的鲁棒性。对于任务k，AR模块的计算如下： [0082] [0083] 式(7)中，AR 是任务k的自回归层(AR)模块的输出，k∈{1，2，3，4，5}， 分别 k 10 10 CN 114492171 A 说明书 7/7页 是自回归层(AR)模块的权重和偏差；将神经网络和AR分量相结合，得到任务k的最终预测结 果： [0084] v ＝D+AR    (8) k k k [0085] 式(8)中，v为任务k的太阳风速度预测值输出。 k [0086] 实施例：如图1所示，本实施例中设计了一个太阳风速度预测的5步多任务模型。具 体来说，基于历史时间序列[X ，...，X ]，本发明中实施例有5个预测未来的太阳风速的任 1 n 务，每项任务预测一个特定的时间点，即分别输出v ，v ，v ，v ，v 。其中，中间 n+t‑2 n+t‑1 n+t n+t+1 n+t+2 时间点的预测任务v 是主任务，t代表主任务预测时间点的步长，24小时和96小时的预测 n+t 分别取24和96；其他任务是辅助任务，设置辅助任务的目的是提高主任务的预测性能。该模 型主要由三个模块组成，即共享模块、主LSTM模块和自回归层(AR)模块。上述模型的工作流 程如下：首先，多元时间序列数据输入到一个一维CNN模块中，得到数据的特征表示，即每个 预测任务之间共享浅层空间特征。之后，CNN的输出被输入到一个共享LSTM模块，该模块挖 掘数据的时间特征。以上的一维CNN模块和共享LSTM模块共同构成一个共享模块。在多任务 并行训练中，通过神经网络的反向传播实现共享模块参数的联合学习和共享。然后，主任务 和辅助任务将执行不同的操作：对于辅助任务，共享模块的输出直接用于预测对应目标时 间点的太阳风速度，即通过共享模块全连接层的输出加上自回归层(AR)模块输出获得与该 辅助任务对应时间点的太阳风速度预测值。对于主任务，共享模块的输出将输入到另一个 称为主LSTM模块的LSTM模块中，该模块用于进一步提取主任务的单独特征，然后以与辅助 任务相同的方式获得预测值。这样，本发明使用共享模块引导模型学习不同预测任务之间 的共性，使用主LSTM模块引导模型学习主任务的特性，从而提高模型的泛化能力。 [0087] MAE和MSE可以分别用作损失函数。本发明通过验证集决定两个损失函数中哪一个 更适合该模型，即即选择在验证集上模型预测效果最好的作为损失函数。多任务学习的损 失函数是每个任务损失的总和。 [0088] 对于模型的训练，本发明使用控制变量法选取神经网络对于特定预测任务的最佳 的超参数。具体来说，对于CNN模块，CNN滤波器的数目分别选择5，10，25，50，100进行实验， 卷积核大小分别选择3*3，5*5，7*7进行实验。对于主LSTM模块和共享LSTM模块，循环神经网 络RNN的隐藏单元大小分别选择10，25，50，100，200进行实验。dropout比率分别选择0.2， 0.3，0.5进行实验。此外，一个批量大小设置为128，学习率设置为0.001。优化方式可以选取 随机梯度下降法、动量优化法、Adam等，在本例中采用AdamOptimizer优化器。 [0089] 尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施 方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本 发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的 保护之内。 11 11 CN 114492171 A 说明书附图 1/2页 图1 12 12 CN 114492171 A 说明书附图 2/2页 图2 13 13

　　2、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问加。

　　3、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。

　　4、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

　　uclinux for nios ii开发系列之二使用系统管理.pdf

　　11.2 用社会主义核心价值体系凝心聚力（课件＋视频）-【中职名师课堂】高一思想政治《中国特色社会主义》同步备课示范课件（高教版2023·基础模块）.pptx

　　（新插图）人教版五年级下册数学 3-3-6 容积和容积单位 知识点梳理课件.pptx

　　高中数学新教材7.1.2全概率公式ppt公开课优秀课件（精品、好用、与教材同步）.pptx

　　原创力文档创建于2008年，本站为文档C2C交易模式，即用户上传的文档直接分享给其他用户（可下载、阅读），本站只是中间服务平台，本站所有文档下载所得的收益归上传人所有。原创力文档是网络服务平台方，若您的权利被侵害，请发链接和相关诉求至 电线) ，上传者