Hotpaper in 2021-2022 (Anomaly detection / Failure detection)
本文整理2021-2022的关注的各大主题的热门论文。记得读后及时做笔记！
Transformer Family on Time series
当代的时间序列分析任务需要应对各种复杂的数据模式和动态性，传统的统计模型和机器学习方法在处理这些挑战时常常受限。然而，近年来，类Transformer网络在时间序列分析领域取得了显著的突破。Transformer模型的出现为时间序列分析任务提供了一种新的、强大的工具，它能够自适应地捕捉序列中的长期依赖关系，并能够有效地建模非线性和非平稳性特征。
TODO: 完成重点论文和异常检测论文的精读
本论坛讨论的议题包括：
- 大模型能够为因果学习带来什么？因果学习能为大模型带来什么
- 因果推断的在业界的应用现状，业界对因果推断的要求是什么，如何评估因果推断方法的效用
Paradigm of Bi-level Optimization
本文调研了双层优化问题的解决范式，对两种popular的基于梯度的方法——AID、ITD作出介绍与总结。最后，本文对如何利用bilevel optimization解决sim2real问题难点作出梳理。
本调研的motivation来自于sim2real问题——借助少量的仿真数据，如何找到一组仿真器参数$\phi$，在该组参数下的仿真数据上训练一个异常检测模型，将会在现实数据中有较好的效果——这可以类比于一个超参数调优问题。
Hotpaper in 2021-2022 (Root Cause, Correlation)
本文整理2021-2022的关注的各大主题的热门论文。记得读后及时做笔记！
这里列出一些近年来关于大模型的总结、调研，还有相关顶会论文。总结顶会论文的原因在于，在我看来大模型（或基础模型）大多都是在工程领域的创新，如何利用工程创新，助力是科学创新。中间的桥梁应该被找到。
Optimization for Nondifferentiable Problem
上篇调研总结了双层优化问题的解决范式，并梳理了双层优化应用在Sim2real的domain randomization（DR）问题上时的难点在于
- 如何解不可微的外层优化问题
- 如何转换不可微的外层优化问题为smooth的
本文将对其中 “不可微问题的求解” 进行调研。
此外本文也将简要介绍一下关于超参优化（hyperparameter optimization，HO）的内容，调研HO问题的原因是：domain randomization与HO问题具有相似的formulation，但二者又存在区别（最重要的区别在于一般的HO问题是differetiable的，DR问题在没有转换为smooth问题之前是不可微的），因此阅读了一些文献并做了简要总结。
Sim2Real and Domain Randomization
本文首先对Sim2real问题作出了简要介绍，并简单对其方法作出分类。接着，对于其中的domain randomization方法给出bilevel optimization的形式，最后调研了基于上述优化形式（或类似形式）下的优化问题求解方案。
此外 Lilian Weng (Open AI) 的博客 对 DR 问题做了深入探讨，极具价值。