位置: IT常识 - 正文

AI实战:用Transformer建立数值时间序列预测模型开源代码汇总(ai implementation)

编辑:rootadmin
AI实战:用Transformer建立数值时间序列预测模型开源代码汇总 用Transformer建立数值时间序列预测模型开源代码汇总

推荐整理分享AI实战:用Transformer建立数值时间序列预测模型开源代码汇总(ai implementation),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:ai实战教程,ai(illustrator),illustrated transformer,ai运用,ai implementation,ai实现,ai运用,ai运用,内容如对您有帮助,希望把文章链接给更多的朋友!

Transformer是一个利用注意力机制来提高模型训练速度的模型。,trasnformer可以说是完全基于自注意力机制的一个深度学习模型,因为它适用于并行化计算,和它本身模型的复杂程度导致它在精度和性能上都要高于之前流行的RNN循环神经网络。

记录一下Transformer做数值时间序列预测的一下开源代码

time_series_forcasting代码地址 https://github.com/CVxTz/time_series_forecastingTransformer-Time-Series-Forecasting

代码地址 https://github.com/nklingen/Transformer-Time-Series-Forecasting

Article: https://natasha-klingenbrunn.medium.com/transformer-implementation-for-time-series-forecasting-a9db2db5c820 szZack的博客

Transformer_Time_Series

代码地址 https://github.com/mlpotter/Transformer_Time_Series

论文地址: Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting (NeurIPS 2019) https://arxiv.org/pdf/1907.00235.pdf

Non-AR Spatial-Temporal Transformer

Introduction Implementation of the paper NAST: Non-Autoregressive Spatial-Temporal Transformer for Time Series Forecasting (submitted to ICML 2021).

We propose a Non-Autoregressive Transformer architecture for time series forecasting, aiming at overcoming the time delay and accumulative error issues in the canonical Transformer. Moreover, we present a novel spatial-temporal attention mechanism, building a bridge by a learned temporal influence map to fill the gaps between the spatial and temporal attention, so that spatial and temporal dependencies can be processed integrally.

论文地址:https://arxiv.org/pdf/2102.05624.pdf代码地址 https://github.com/Flawless1202/Non-AR-Spatial-Temporal-TransformerMultidimensional-time-series-with-transformer

Transformer/self-attention for Multidimensional time series forecasting 使用transformer架构实现多维时间预测

Rerfer to https://github.com/oliverguhr/transformer-time-series-prediction

代码地址 https://github.com/RuifMaxx/Multidimensional-time-series-with-transformer szZack的博客TCCT2021AI实战:用Transformer建立数值时间序列预测模型开源代码汇总(ai implementation)

Convolutional Transformer Architectures Complementary to Time Series Forecasting Transformer Models

Paper: TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting https://arxiv.org/abs/2108.12784

It has already been accepted by Neurocomputing:

Journal ref.: Neurocomputing, Volume 480, 1 April 2022, Pages 131-145

doi: 10.1016/j.neucom.2022.01.039

代码地址 https://github.com/OrigamiSL/TCCT2021-Neurocomputing-Time_Series_Transformers

Introduction This directory contains a Pytorch/Pytorch Lightning implementation of transformers applied to time series. We focus on Transformer-XL and Compressive Transformers.

Transformer-XL is described in this paper Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context by Zihang Dai*, Zhilin Yang*, Yiming Yang, Jaime Carbonell, Quoc V. Le, Ruslan Salakhutdinov (*: equal contribution) Preprint 2018.

Part of this code is from the authors at https://github.com/kimiyoung/transformer-xl.

代码地址 https://github.com/Emmanuel-R8/Time_Series_Transformers

Multi-Transformer: A new neural network-based architecture for forecasting S&P volatility

Transformer layers have already been successfully applied for NLP purposes. This repository adapts Transfomer layers in order to be used within hybrid volatility forecasting models. Following the intuition of bagging, this repository also introduces Multi-Transformer layers. The aim of this novel architecture is to improve the stability and accurateness of Transformer layers by averaging multiple attention mechanism.

The article collecting theoretical background and empirical results of the proposed model can be downloaded here. The stock volatility models based on Transformer and Multi-Transformer (T-GARCH, TL-GARCH, MT-GARCH and MTL-GARCH) overcome the performance of traditional autoregressive algorithms and other hybrid models based on feed forward layers or LSTM units. The following table collects the validation error (RMSE) by year and model.

代码地址 https://github.com/EduardoRamosP/MultiTransformer

szZack的博客

一个很好的完整的例子

代码 https://github.com/OrigamiSL/TCCT2021-Neurocomputing- https://github.com/zhouhaoyi/Informer2020

parser = argparse.ArgumentParser(description='[Informer] Long Sequences Forecasting')parser.add_argument('--model', type=str, required=True, default='informer',help='model of experiment, options: [informer, informerstack, informerlight(TBD)]')parser.add_argument('--data', type=str, required=True, default='ETTh1', help='data')parser.add_argument('--root_path', type=str, default='./data/ETT/', help='root path of the data file')parser.add_argument('--data_path', type=str, default='ETTh1.csv', help='data file') parser.add_argument('--features', type=str, default='M', help='forecasting task, options:[M, S, MS]; M:multivariate predict multivariate, S:univariate predict univariate, MS:multivariate predict univariate')parser.add_argument('--target', type=str, default='OT', help='target feature in S or MS task')parser.add_argument('--freq', type=str, default='h', help='freq for time features encoding, options:[s:secondly, t:minutely, h:hourly, d:daily, b:business days, w:weekly, m:monthly], you can also use more detailed freq like 15min or 3h')parser.add_argument('--checkpoints', type=str, default='./checkpoints/', help='location of model checkpoints')parser.add_argument('--seq_len', type=int, default=96, help='input sequence length of Informer encoder')parser.add_argument('--label_len', type=int, default=48, help='start token length of Informer decoder')parser.add_argument('--pred_len', type=int, default=24, help='prediction sequence length')# Informer decoder input: concat[start token series(label_len), zero padding series(pred_len)]parser.add_argument('--enc_in', type=int, default=7, help='encoder input size')parser.add_argument('--dec_in', type=int, default=7, help='decoder input size')parser.add_argument('--c_out', type=int, default=7, help='output size')parser.add_argument('--d_model', type=int, default=512, help='dimension of model')parser.add_argument('--n_heads', type=int, default=8, help='num of heads')parser.add_argument('--e_layers', type=int, default=2, help='num of encoder layers')parser.add_argument('--d_layers', type=int, default=1, help='num of decoder layers')parser.add_argument('--s_layers', type=str, default='3,2,1', help='num of stack encoder layers')parser.add_argument('--d_ff', type=int, default=2048, help='dimension of fcn')parser.add_argument('--factor', type=int, default=5, help='probsparse attn factor')parser.add_argument('--distil', action='store_false', help='whether to use distilling in encoder, using this argument means not using distilling', default=True)parser.add_argument('--CSP', action='store_true', help='whether to use CSPAttention, default=False', default=False)parser.add_argument('--dilated', action='store_true', help='whether to use dilated causal convolution in encoder, default=False', default=False)parser.add_argument('--passthrough', action='store_true', help='whether to use passthrough mechanism in encoder, default=False', default=False)parser.add_argument('--dropout', type=float, default=0.05, help='dropout')parser.add_argument('--attn', type=str, default='prob', help='attention used in encoder, options:[prob, full, log]')parser.add_argument('--embed', type=str, default='timeF', help='time features encoding, options:[timeF, fixed, learned]')parser.add_argument('--activation', type=str, default='gelu',help='activation')parser.add_argument('--output_attention', action='store_true', help='whether to output attention in encoder')parser.add_argument('--do_predict', action='store_true', help='whether to predict unseen future data')parser.add_argument('--num_workers', type=int, default=0, help='data loader num workers')parser.add_argument('--itr', type=int, default=2, help='experiments times')parser.add_argument('--train_epochs', type=int, default=6, help='train epochs')parser.add_argument('--batch_size', type=int, default=16, help='batch size of train input data')parser.add_argument('--patience', type=int, default=3, help='early stopping patience')parser.add_argument('--learning_rate', type=float, default=0.0001, help='optimizer learning rate')parser.add_argument('--des', type=str, default='test',help='exp description')parser.add_argument('--loss', type=str, default='mse',help='loss function')parser.add_argument('--lradj', type=str, default='type1',help='adjust learning rate')parser.add_argument('--use_amp', action='store_true', help='use automatic mixed precision training', default=False)parser.add_argument('--inverse', action='store_true', help='inverse output data', default=False)parser.add_argument('--use_gpu', type=bool, default=True, help='use gpu')parser.add_argument('--gpu', type=int, default=0, help='gpu')parser.add_argument('--use_multi_gpu', action='store_true', help='use multiple gpus', default=False)parser.add_argument('--devices', type=str, default='0,1,2,3',help='device ids of multile gpus')

szZack的博客

数据集 https://github.com/zhouhaoyi/ETDataset
本文链接地址:https://www.jiuchutong.com/zhishi/288792.html 转载请保留说明!

上一篇:js表单验证密码(确认密码),密码长度至少8位,并且英文与数字组合(js表单验证代码)

下一篇:最小的触屏手机是什么(最小的触屏手机有哪些)

  • 星星为伴,照亮一路辰光(星星为伴下一句是什么)

    星星为伴,照亮一路辰光(星星为伴下一句是什么)

  • 咸鱼怎么卖闲置物品(咸鱼怎么卖闲置得运费谁出?)

    咸鱼怎么卖闲置物品(咸鱼怎么卖闲置得运费谁出?)

  • 三星pdp是什么(三星pda是什么)

    三星pdp是什么(三星pda是什么)

  • excel错误提示不符合限制条件怎么办(excel错误提示及问题解决方法)

    excel错误提示不符合限制条件怎么办(excel错误提示及问题解决方法)

  • 和对方的微信聊天记录怎么恢复(和对方的微信聊天记录可以让对方发给我吗)

    和对方的微信聊天记录怎么恢复(和对方的微信聊天记录可以让对方发给我吗)

  • 手机斗鱼有夜间模式吗(斗鱼怎么开夜间)

    手机斗鱼有夜间模式吗(斗鱼怎么开夜间)

  • 华为怎么看应用使用时长(华为怎么看应用使用时间)

    华为怎么看应用使用时长(华为怎么看应用使用时间)

  • 抖音不符合投放视频要删吗(抖音不符合投放规范的作品要删除吗)

    抖音不符合投放视频要删吗(抖音不符合投放规范的作品要删除吗)

  • windows7是一种什么软件(windows7是一种什么)

    windows7是一种什么软件(windows7是一种什么)

  • 多张照片锁屏壁纸怎么设置(多张图片设置成屏保)

    多张照片锁屏壁纸怎么设置(多张图片设置成屏保)

  • 移动5g流量4g手机能用吗(移动5g流量套餐4g手机能用吗)

    移动5g流量4g手机能用吗(移动5g流量套餐4g手机能用吗)

  • 华为手机怎么开暗黑模式(华为手机怎么开通volte功能)

    华为手机怎么开暗黑模式(华为手机怎么开通volte功能)

  • 主机能接笔记本显示器吗(主机能接笔记本电脑吗)

    主机能接笔记本显示器吗(主机能接笔记本电脑吗)

  • 探探多少人喜欢算正常(探探多少人喜欢算正常女)

    探探多少人喜欢算正常(探探多少人喜欢算正常女)

  • 华为怎么清理隐藏内存(华为怎么清理隐藏垃圾)

    华为怎么清理隐藏内存(华为怎么清理隐藏垃圾)

  • 虎牙直播如何旋转屏幕(虎牙自动旋转)

    虎牙直播如何旋转屏幕(虎牙自动旋转)

  • 11和xs的区别(11跟xs)

    11和xs的区别(11跟xs)

  • 抖音别人看不到我作品(抖音别人看不到我的作品怎么回事)

    抖音别人看不到我作品(抖音别人看不到我的作品怎么回事)

  • 步数宝新手专区商品多久补货一次(步数宝靠什么盈利)

    步数宝新手专区商品多久补货一次(步数宝靠什么盈利)

  • oppor17备忘录在哪里(备忘录oppo手机)

    oppor17备忘录在哪里(备忘录oppo手机)

  • 如何制作延时摄影视频(如何制作延时摄影效果)

    如何制作延时摄影视频(如何制作延时摄影效果)

  • 安卓beatsx怎么看电量

    安卓beatsx怎么看电量

  • 闲鱼买家付款了卖家可以取消吗(闲鱼买家付款了卖家可以不卖吗)

    闲鱼买家付款了卖家可以取消吗(闲鱼买家付款了卖家可以不卖吗)

  • 如何压缩文件打包发送(如何压缩文件打包发送微信)

    如何压缩文件打包发送(如何压缩文件打包发送微信)

  • [激光器原理与应用-5]:激光二极管LD (Laser Diode)与激光二极管驱动器(LD驱动器)(激光器原理及应用)

    [激光器原理与应用-5]:激光二极管LD (Laser Diode)与激光二极管驱动器(LD驱动器)(激光器原理及应用)

  • Python如何提取字符串的内容(python如何提取字典中的键)

    Python如何提取字符串的内容(python如何提取字典中的键)

  • 公司代扣代缴个人所得税如何退税
  • 收取职工工会会费收据
  • 其他应付款二级明细
  • 营业收入比销售商品收到的现金少
  • 不动产用于集体福利能否抵扣
  • 交通运输行业属于什么性质
  • 支付广告roi
  • 公司期货收入怎么交税
  • 资产总额和权益总额必然相等吗
  • 甲方代付材料费合法吗
  • 小微企业免税收入有哪些
  • 善意接受虚开发票只能自认倒霉么
  • 哪些邮政业务可以寄快递
  • 运输费用和保险费用会计分录
  • 保险金扣税吗
  • 其他应收款用什么表示
  • 营改增后商场进场费如何缴税?
  • 收款费用明细表
  • 购买汽车怎么抵扣增值税
  • 送现金券活动方案
  • 个人安装设备属于劳务吗
  • 人工费用占销售收入比重
  • 开票方开错发票
  • 企业购进固定资产进项税如何抵扣
  • 门店关闭费用怎么处理
  • 工程施工属于什么会计科目
  • 投资款需要缴纳增值税吗
  • 房地产企业闲置土地怎么处理
  • 房地产税是否存在退税
  • 在售房地产土地使用税如何计算?
  • 应收和预收怎么算
  • 使用ps能完成的操作有哪些
  • win11自带一键重装系统
  • 利空啥意思
  • 异地提供建筑服务预缴增值税
  • mac电脑色彩设置
  • 新准则管理费用税金
  • 外贸企业出口退税账务处理
  • 潜水时看到的鱼
  • node.js什么意思
  • 个人简历html网页代码含效果图
  • 工程结算结算gbq文件怎么做
  • vue开发教程
  • 职工食堂资金管理办法
  • mysql如何上锁
  • 接受捐赠收入要交企业所得税吗
  • 固定资产处置收入增值税税率
  • 哪些税费可以抵扣
  • 13个点的普票可以抵税吗
  • 小微企业如何升级一般纳税人
  • SQL Server 2008 数据库有哪些版本?
  • 改变记帐方式的原因
  • 捐赠 赞助 区别
  • 汇算清缴后补缴得企业所得税,计入哪年的税负
  • 自产产品对外捐赠确认收入吗
  • 收到发票了填写什么单据
  • 冲减备用金什么意思
  • 建筑施工企业劳务费怎么入成本
  • 进口增值税当月可以抵扣吗
  • 直接成本包括哪些
  • 企业应该设置哪些部门
  • 查询sql server版本
  • win10硬盘安装器安装教程
  • solaris 磁盘管理
  • win8系统升级
  • linux系统中
  • ikeeperpab.exe是什么
  • win7系统本地连接图标不见了
  • linux中的top命令
  • windows10电脑屏保怎么取消
  • unity中国代理
  • unity3d ik
  • 播放一个灵异电影
  • web技术栈
  • 中央与地方增值税
  • 土地增值税法定扣除项目
  • 上饶市国家税务局各县区办公楼修缮
  • 郑州二套房契税征收2023标准是多少
  • 税务局自助终端
  • 税务稽查立案标准金额
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设