当代的时间序列分析任务需要应对各种复杂的数据模式和动态性，传统的统计模型和机器学习方法在处理这些挑战时常常受限。然而，近年来，类Transformer网络在时间序列分析领域取得了显著的突破。Transformer模型的出现为时间序列分析任务提供了一种新的、强大的工具，它能够自适应地捕捉序列中的长期依赖关系，并能够有效地建模非线性和非平稳性特征。

TODO: 完成重点论文和异常检测论文的精读

Hugging Face 的入门教程，目标是从0开始训练自己的大模型。

A Survey of Transformers

TIANYANG LIN, YUXIN WANG, XIANGYANG LIU, and XIPENG QIU

School of Computer Science, Fudan University, China and Shanghai Key Laboratory of Intelligent Information Processing, Fudan
University, China