添加链接
注册
登录
link管理
链接快照平台
输入网页链接,自动生成快照
标签化管理网页链接
相关文章推荐
面冷心慈的草稿本
·
零壹Lab | ...
·
1 月前
·
坏坏的保温杯
·
KVM详解(二)——KVM安装部署 | ...
·
4 月前
·
完美的开心果
·
比较 Unity 中的 2D 和 3D ...
·
4 月前
·
俊秀的花卷
·
清朝妖女(第一集-绝版)_哔哩哔哩_bili ...
·
5 月前
·
被表白的绿茶
·
NPOI对隐藏的sheet页存在公式引用的时 ...
·
7 月前
·
link管理
›
使用 Temporal Fusion Transformer 进行时间序列预测 - 智源社区
统计学
预测模型
时间序列
https://hub.baai.ac.cn/view/20841
慷慨的鼠标垫
5 月前
</div></div></div></div></div> <nav class="nav"><span><a href="/events" target="" class="nav-item"><i class="icon iconimage icon-activity" style="background-image:url(/_nuxt/img/activity.510a855.svg);"/> <span>活动</span> <!----></a></span><span><a href="/papers" target="" class="nav-item"><i class="icon iconimage icon-paper" style="background-image:url(/_nuxt/img/paper.57acc81.svg);"/> <span>论文</span> <i class="icon icon-nav_new iconimage" style="background-image:url(/_nuxt/img/nav_new.c7ef205.svg);"/></a></span><span><a href="/projects" target="" class="nav-item"><i class="icon iconimage icon-project" style="background-image:url(/_nuxt/img/project.7e171b3.svg);"/> <span>项目</span> <!----></a></span><span><a href="/" target="" class="nav-item nav-item__active"><i class="icon iconimage icon-zhuanlan" style="background-image:url(/_nuxt/img/zhuanlan.7cec52f.svg);"/> <span>专栏</span> <!----></a></span><span><a href="https://baai.org/l/linklocal" target="_blank" class="nav-item"><i class="icon iconimage icon-lion_black" style="background-image:url(/_nuxt/img/lion_black.558e15a.svg);"/> <span>社交</span> <!----></a></span> <span><a href="https://baai.org/l/arena" target="_blank" class="nav-item__conference" style="margin-left: 10px;"><img src="/_nuxt/img/20240906_20240913_arena.52a1b38.svg" alt="" style="height: 34px;"/></a></span></nav> <div id="header-search" class="header-search"><div class="header-search-main"><!----> <form action="javascript:return true" class="header-search-form" style="display:;"><label class="header-search-input"><input type="search" maxlength="100" placeholder="AI日报" value=""/> <i class="icon icon-search iconfont"/></label></form> <span class="header-search-cancel" style=";">取消</span></div> <div class="van-overlay header-search-overlay" style="animation-duration:0s;;"/></div> <div class="header-right"><div class="header-btns"><button class="van-button van-button--default van-button--small"><div class="van-button__content"><span class="van-button__text">注册</span></div></button> <button class="van-button van-button--primary van-button--small"><div class="van-button__content"><span class="van-button__text">登录</span></div></button></div></div></section> <!----></header> <main class="main"><div class="view-page" data-v-560a95ca=""><div class="main-container" style="display:;" data-v-560a95ca=""><div class="main-container_body" data-v-560a95ca=""><div class="text-center" data-v-560a95ca=""><h1 id="post-title" data-v-560a95ca="">使用 Temporal Fusion Transformer 进行时间序列预测</h1> <div class="meta-box" data-v-560a95ca=""><div class="story-item-other tag-container" data-v-560a95ca=""><div class="story-item-tags"><div class="tags-wrap story-item-tags-wrap"><a href="javascript:;" class="tag-item story-item-tag"><span class="tag-item_text story-item-tag_text">ML</span></a></div></div></div> <div class="author-container fl" data-v-560a95ca=""><div class="author-name author-item clearfix" data-v-560a95ca=""><div id="post-author" class="show-pop moucehand fl author-label show-pop" data-v-560a95ca=""><span class="avatar fl avatar-circle avatar-default" data-v-560a95ca=""><img src="https://sso-user-avatar.baai.ac.cn/v1/b0a07ae5e46493dd6e5a5db9d0c71e18.png"/></span> <span class="author-label-text" data-v-560a95ca="">蒋润华 2022-10-05 19:04 分享</span></div> <div class="person-popover" style=";" data-v-d97d1d3e="" data-v-560a95ca=""><div class="personage-wrap moucehand" data-v-d97d1d3e=""><div class="personage-head" data-v-d97d1d3e=""><div class="personage-head-left" data-v-d97d1d3e=""><div class="personage-avatar" data-v-d97d1d3e=""><span class="avatar avatar-circle" style="width:60px;height:60px;" data-v-d97d1d3e=""><img src="https://sso-user-avatar.baai.ac.cn/v1/b0a07ae5e46493dd6e5a5db9d0c71e18.png"/></span></div></div> <div class="personage-head-right" data-v-d97d1d3e=""><div class="have-cont" data-v-d97d1d3e=""><div class="have-cont-head text-center" data-v-d97d1d3e=""><span class="span-h3" data-v-d97d1d3e="">蒋润华</span></div> <div class="user-count text-center" data-v-d97d1d3e=""><span data-v-d97d1d3e="">帖子数:1741</span></div> <div class="user-more text-center" data-v-d97d1d3e=""><span class="btn" data-v-d97d1d3e="">个人主页</span></div></div></div></div></div></div></div></div> <div class="clearfix" data-v-560a95ca=""/> <a href="javascript:;" data-v-560a95ca=""><div class="article-source" data-v-560a95ca=""> 以下文章来源于mp.weixin.qq.com </div></a></div></div> <div id="post-content" class="post-content" data-v-560a95ca=""><p>目前来看表格类的数据的处理还是树型的结构占据了主导地位。但是在时间序列预测中,深度学习神经网络是有可能超越传统技术的。</p> <h2><strong>为什么需要更加现代的时间序列模型?</strong></h2> <p>专为单个时间序列(无论是多变量还是单变量)创建模型的情况现在已经很少见了。现在的时间序列研究方向都是多元的,并且具有各种分布,其中包含更多探索性因素包括:缺失数据、趋势、季节性、波动性、漂移和罕见事件等等。</p> <p>通过直接预测目标变量往往是不够的,我们优势还希望系统能够产生预测区间,显示预测的不确定性程度。</p> <p>并且除了历史数据外,所有的变量都应该考虑在内,这样可以建立一个在预测能力方面具有竞争力的模型。</p> <p>所以现代时间序列模型应该考虑到以下几点:</p> <li>模型应该考虑多个时间序列,理想情况下应该考虑数千个时间序列。</li> <li>模型中应该使用单维或多维序列。</li> <li>除了时态数据之外,模型还应该能够使用过去数据。这个限制影响了所有的自回归技术(ARIMA模型),包括亚马逊的DeepAR。</li> <li>非时间的外部静态因素也应加以考虑。</li> <li>模型需要具有高度的适应性。即使时间序列比较复杂或包含一些噪声,模型也可以使用季节性“朴素”预测器预测。并且应该能够区分这些实例。</li> <li>如果可以的话模型可以进行多步预测功能。也就是不止预测下一个值们需要预测下几个值。</li> <li>直接对目标变量预测是不够的。模型能够产生预测区间,这样显示预测的不确定性程度。</li> <li>生产环境应该能够顺利地集成最优模型,该模型也应该易于使用和理解。</li> <h2><strong>什么是Temporal Fusion Transformer?</strong></h2> <p>Temporal Fusion Transformer(TFT)是一个基于注意力的深度神经网络,它优化了性能和可解释性,顶层架构如下图所示。</p> <p>TFT架构的优点如下:</p> <p>能够使用丰富的特征:TFT支持三种不同类型的特征:外生类别/静态变量,也称为时不变特征;具有已知输入到未来的时态数据,仅到目前已知的时态数据;具有未知输入的未来时态数据。</p> <p>区间预测:TFT使用分位数损失函数来产生除实际预测之外的预测区间。</p> <p>异构时间序列:允许训练具有不同分布的多个时间序列。TFT设计将处理分为两个部分:局部处理,集中于特定事件的特征和全局处理,记录所有时间序列的一般特征。</p> <p>可解释性:TFT的核心是基于transformer的体系结构。该模型引入的多头注意力机制,在需要对模型进行解释时提供了关于特征重要性的额外知识。另外一个性能良好的DNN实现是Multi-Horizon Quantile Recurrent Forecaster(MQRNN)。但是它没有提供如何解释这些特征重要程度的指导。</p> <p>性能:在基准测试中,TFT 优于基于 DNN 的模型,如 DeepAR、MQRNN 和深度状态空间模型(Deep Space-State Models)以及传统统计模型 (ARIMA,DSSM等)。</p> <p>与传统方法不同,TFT的多头注意力提供了特征可解释性。通过TFT的多头注意力添加一个新的矩阵或分组,允许不同的头共享一些权重,然后可以根据季节性分析来解释这些全红的含义。</p></div> <div class="button-list" data-v-560a95ca=""><div class="paper-actions-container" data-v-22c07518="" data-v-560a95ca=""><div class="paper-action" data-v-22c07518=""> <span class="paper-action-item" data-v-22c07518=""><i class="icon icon-like iconimage" style="background-image:url(/_nuxt/img/like.1ce29c7.svg);" data-v-22c07518=""/>
推荐文章
面冷心慈的草稿本
·
零壹Lab | 数位人文视野下的知识分类观察: 两部官修类书的比较分析(下) | 出版物 | 南京大学高研院数字人文创研中心
1 月前
坏坏的保温杯
·
KVM详解(二)——KVM安装部署 | DeepinWiki
4 月前
完美的开心果
·
比较 Unity 中的 2D 和 3D 开发环境 | Sharp Coder Blog
4 月前
俊秀的花卷
·
清朝妖女(第一集-绝版)_哔哩哔哩_bilibili
5 月前
被表白的绿茶
·
NPOI对隐藏的sheet页存在公式引用的时候,如何获取到公式的值 · Issue #394 · nissl-lab/npoi · GitHub
7 月前