当代的时间序列分析任务需要应对各种复杂的数据模式和动态性，传统的统计模型和机器学习方法在处理这些挑战时常常受限。然而，近年来，类Transformer网络在时间序列分析领域取得了显著的突破。Transformer模型的出现为时间序列分析任务提供了一种新的、强大的工具，它能够自适应地捕捉序列中的长期依赖关系，并能够有效地建模非线性和非平稳性特征。

TODO: 完成重点论文和异常检测论文的精读

上篇调研总结了双层优化问题的解决范式，并梳理了双层优化应用在Sim2real的domain randomization（DR）问题上时的难点在于

• 如何解不可微的外层优化问题
• 如何转换不可微的外层优化问题为smooth的

本文将对其中 “不可微问题的求解” 进行调研。

此外本文也将简要介绍一下关于超参优化（hyperparameter optimization，HO）的内容，调研HO问题的原因是：domain randomization与HO问题具有相似的formulation，但二者又存在区别（最重要的区别在于一般的HO问题是differetiable的，DR问题在没有转换为smooth问题之前是不可微的），因此阅读了一些文献并做了简要总结。

本文调研了双层优化问题的解决范式，对两种popular的基于梯度的方法——AID、ITD作出介绍与总结。最后，本文对如何利用bilevel optimization解决sim2real问题难点作出梳理。

本调研的motivation来自于sim2real问题——借助少量的仿真数据，如何找到一组仿真器参数$\phi$，在该组参数下的仿真数据上训练一个异常检测模型，将会在现实数据中有较好的效果——这可以类比于一个超参数调优问题。

本文首先对Sim2real问题作出了简要介绍，并简单对其方法作出分类。接着，对于其中的domain randomization方法给出bilevel optimization的形式，最后调研了基于上述优化形式（或类似形式）下的优化问题求解方案。

此外 Lilian Weng (Open AI) 的博客 对 DR 问题做了深入探讨，极具价值。

这里列出一些近年来关于大模型的总结、调研，还有相关顶会论文。总结顶会论文的原因在于，在我看来大模型（或基础模型）大多都是在工程领域的创新，如何利用工程创新，助力是科学创新。中间的桥梁应该被找到。

本文主要调研了，LTE场景下的异常根因分析（RCA）方法，用于支持在4G LTE/5G场景下的用户投诉分析。

2022-04-18: 以“root cause analysis, cellular network”为关键词，调研了google scholar中top 2 pages的相关工作，TODO: 完善某些论文的可借鉴点总结。

本文旨在调研在智能运维领域中的关联分析与因果分析方法，本文的组织如下：

1. 首先我们将给出一个源自真实业界需求的案例场景。
2. 围绕该上述场景，我们将介绍该场景中可用的关联分析、因果分析方法，并给出相关的方法分类
3. 对于经典方法（基于频繁项挖掘）和与我们的研究相关的方法（基于图嵌入），本文也将列出相关的综述与论文列表。
4. 在本文的研究范围之外，本文也列出了“事件序列-事件序列”关联分析、“事件序列-时间序列”关联分析的相关方法。

• 调研近年因果发现的最新研究
• 将”因果发现”与”根因分析”以及”基于因果图的因果发现”等概念理清关系
• 从优化的角度重新看待三类因果发现算法, 这可以帮助我们借鉴已有方法到自己的工作中。
• 总结用于因果发现的各种包, 以及Github上star较多的Repositories

研究问题描述

• 准周期时间序列的异常检测问题

  该问题可以拆解为两部分：准周期时间序列建模、异常检测。本调研主要针对准周期时间序列建模进行调研

• 数学描述

  给定一个准周期时间序列的一组周期样本${\bf{x}}_1, …, {\bf{x}}_N$，其中${\bf{x}}_i$为一个周期内的时间序列片段，如何对$\bf{x}_i$进行建模，
  即如何从${\bf{x}}_i$中提取出表征向量${\bf{v}}_i$用于后续的任务（如：异常检测、分类、预测，等）

2021-04-13: 整理了微服务框架下，做异常检测的大体思路，分别调研“多源异构数据融合”，以及分别基于“时间序列”“日志”“调用链”数据的异常检测方法。

2022-04-18: 补充了“异常根因分析”相关的工作，这些工作大多是基于图的，可以为4G LTE种的根因分析提供思路。