因果推断遇见大模型

2023/05/10 19:00:00 2023/05/14 17:30:41 causal discovery foundation model

本论坛讨论的议题包括：

  1. 大模型能够为因果学习带来什么？因果学习能为大模型带来什么
  2. 因果推断的在业界的应用现状，业界对因果推断的要求是什么，如何评估因果推断方法的效用

论坛：因果推断遇见大模型

主持人：DataFun 王大川

主题：因果推断+业界讨论

分享者

  • 董振华 华为诺亚方舟 技术专家

  • 况琨 浙大 计算机学院副教授

  • 郑嘉 腾讯OVBU

  • 万世想 度小满

可以看看的工作（自己总结的）

🌟大模型在因果推断任务上的能力边界：Frohberg, J., & Binder, F. (2021). Crass: A novel data set and benchmark to test counterfactual reasoning of large language models. arXiv preprint arXiv:2112.11941.

🌟 Causal transformer：Melnychuk, V., Frauen, D., & Feuerriegel, S. (2022, June). Causal transformer for estimating counterfactual outcomes. In International Conference on Machine Learning (pp. 15293-15329). PMLR.

🌟：IPS方法

IPS方法是指倾向得分加权法（Inverse Probability of Treatment Weighting, IPTW），是一种处理观测数据中的选择偏倚的方法，目的是通过加权的方式使得处理组和对照组之间的混淆变量平衡，从而估计因果效应[1]。
IPS方法的基本思想是利用倾向得分（propensity score）作为每个样本的权重，倾向得分是指样本接受处理的条件概率，可以用逻辑回归或其他机器学习方法来估计。通过倾向得分加权，可以使得处理组和对照组在倾向得分上的分布相同，从而消除混淆变量的影响[2]。
IPS方法的优点是简单易用，只需要对样本进行权重调整，不需要匹配或分层。缺点是需要假设所有的混淆变量都已经观测到，并且倾向得分的估计准确无偏。如果倾向得分过大或过小，可能导致权重不稳定或无限大，影响因果效应的估计[3]。

[1]: 因果推断综述及基础方法介绍（一） - 知乎 https://zhuanlan.zhihu.com/p/258562953
[2]: 因果推断推荐系统工具箱 - Influence Function for Unbiased Recommendation（一） - 简书 https://www.jianshu.com/p/0b1ef567d592
[3]: 【论文笔记】ICML2016 ＆ Cornell | (IPS-MF) Unbiased Offline Evaluation of Contextual-bandit-based News Article Recommendation Algorithms - CSDN博客 https://blog.csdn.net/weixin_45884316/article/details/127267234

🌟：因果和机器学习是一个逆向的手段
因果：从因果框架出发，演绎为数据（表现）
机器学习：从数据出发，归纳出知识

大模型为因果学习带来了什么

况琨：

  1. 构建benchmark测试大模型在因果推断任务上的能力边界，构建评估数据集

    【已有工作做这方面的尝试】Frohberg, J., & Binder, F. (2021). Crass: A novel data set and benchmark to test counterfactual reasoning of large language models. arXiv preprint arXiv:2112.11941.

  2. 如何确定大模型的因果推理能力是数据中得到的，还是涌现出的能力

  3. 当前的大模型大多还是基于统计的模型，这些模型挖掘出的大多还是关联关系，即：关联涌现。大模型的下一步也许是跨越关联涌现 到 因果涌现的鸿沟。即挖掘真正的因果关系。）

郑嘉：

  1. 大模型作为因果知识提取器：LLM作为一个用大量语料训练的语言模型，其可能在语料中见过非结构化的因果知识，因此我们可以借助LLM来生成因果领域难以获得的反事实推理。

  2. 大模型作为作为知识存储：LLM作为一个语言模型，本身也是一个用户友好的终端，因此可以用于最为因果知识的存储介质

  3. 大模型作为作为知识终端：大模型的对话、生成形态，都可以用作用户友好的终端，让人类来访问因果知识

万世想：

  1. 从金融的业务需求出发：在金融领域，现有的因果学习主要用于“构建决策框架”——即定额定价、权益发放等策略的制定
  2. 利用大模型，可以：
    1. 丰富知识的来源：利用LLM中的非结构化数据、或解析以前难以解析的外部数据，来完善已有的决策框架
    2. 甚至，代替现有的因果决策框架

董振华：

  1. 大模型学习到的可能是因果知识，可能不是因果发现能力
    1. 因果知识：从语料中找到的“因为……所以……”具体知识，活着通过Chain-of-Thought总结出的因果链条
    2. 因果发现能力：不加引导、zero-shot的因果发现能力

因果学习能为大模型带来什么

董振华（承接上述的“因果发现能力缺失”论）：

  1. 在LLM学习过程中，random mask strategy可以引导LLM学习因果知识，但如果借助知识图谱指导mask strategy，锻炼模型补全因果链条的能力，则可以引导大模型获得因果发现能力。

  2. LLM终究存在知识盲区，知识图谱可以在知识不完备场景下发挥作用

况琨：

  1. 借助大模型，在因果学习的过程中，引进非结构的 unobserved counfounder

    • Unobserved confounder是指不能被观测到的变量，它可能会影响因果变量之间的关系，导致偏差或混淆。例如，在研究温度升高是否是电费增加的原因时，如果忽略了一个未观测到的confounder，比如空调使用率，那么就可能得到错误的因果推断[1]。
    • 在因果学习中，处理unobserved confounder的一个常用方法是使用潜在变量模型，比如结构方程模型或贝叶斯网络，来建立因果变量和潜在变量之间的关系，并利用观测数据来估计潜在变量的分布和参数[2]。
    • 另一个方法是使用反事实推理，即假设在不同的干预条件下，观测到的结果是如何变化的。这种方法可以利用潜在变量框架或潜在结果框架来定义反事实变量，并使用匹配、倾向得分、仪器变量等技术来消除unobserved confounder的影响[3]。

    [1] 大白话谈因果系列文章（一）：因果推断简介及论文介绍 - 知乎 https://zhuanlan.zhihu.com/p/397796913
    [2] 因果强化学习入门 - 知乎 - 知乎专栏 https://zhuanlan.zhihu.com/p/363339023
    [3] 大白话谈因果系列文章（二）因果效应估计及论文介绍 - 知乎 https://zhuanlan.zhihu.com/p/397974913

  2. 现有的大模型不可避免的存在歧视（公平性问题），这导出一个问题——LLM是否具备泛化性？

    1. 而“因果”本身作为一种高度抽象的知识，其本身天然具备泛化性，是否可以帮助大模型提升可信度/泛化性。

  3. 因果本身具备可解释性。

万世想：

大模型对因果的提升，大多还是数据上的作用，引进非结构的数据

郑嘉：

  1. 因果学习目前很大程度上还是一种graph-based的理论。而LLM目前对graph的处理能力还很弱。

  2. 将graph做符号化处理，进而使用LLM构建图大模型，这种图大模型势必后续对casual graph/因果推理的发展有极大的促进作用。

因果推断的应用现状

郑嘉：因果在用户激励的应用

  • 研究treatment组合对用户行为的影响
  • N-core：关注trearment的维度交叉，构造深度模型，探究交叉因果关联
  • 业界目前存在的挑战：用户数据稀疏导致模型不稳定
  • 业界如何运用因果学习：1. 业务问题抽象；2. 针对业务裁剪；3. 数据纠偏；

万世想（金融领域）：

  • 业界现状：应用难度与数据的获取难度正相关
  • 业界关注：决策的可解释性
  • 业界挑战：在因果领域，随机实验是获得因果知识的重要途径，但目前缺乏随机试验（随机treatment）生成的随机数据
  • 如何评估业务价值：离线评估（找到可以验证的高价值用户模型）、离线模拟（因果模型相对于预测模型是否有显著提升）

董振华（因果在业界的五个应用）：

  1. 基于因果做预测：主要面临的挑战包括：debias

    Debias在因果学习领域指的是一种去除或减少偏差的方法，偏差是指因果变量之间存在未观测到的混淆因素或选择偏倚，导致观测数据不能反映真实的因果效应[1]。

    Debias的方法有很多种，比如使用双重机器学习或正交机器学习，利用交叉验证和正交化技术来消除估计误差和模型误差[2]；使用反事实推理，利用潜在变量框架或潜在结果框架来定义和估计干预后的潜在结果[3]；使用深度因果学习，利用深度神经网络来提取因果表示、发现因果结构和推断因果效应[4]

    Debias的目的是提高因果学习的准确性和可靠性，使其能够从观测数据中推断出有效的因果策略和干预措施。

    [1] https://matheusfacure.github.io/python-causality-handbook/22-Debiased-Orthogonal-Machine-Learning.html

    [2] https://arxiv.org/abs/2211.03374

    [3] https://arxiv.org/abs/1608.00060

    [4] https://dl.acm.org/doi/abs/10.1145/3447548.3467067

  2. 业务归因

    1. 董建华课题组在AAAI上提出了一个CDA，可以看看。
    2. 反事实样本生成，辅助预测。
    3. KDD工作分析外源数据的影响。
    4. cofounder bias去除

  3. 可信：

  4. 分析：

  5. 有个因果数据集：一个推荐系统上的数据集

况琨：

企业界的关联分三种（其中有一种虚假关联还少有讨论）：

  • 因果关联
  • 混淆偏差带来的虚假关联（confounding bias，21诺贝尔经济学奖“工具变量”也是在解决这个问题）
    • 挑战：1⃣️观测变量高维2⃣️confounder表征怎么做、工具变量怎么构建（工具变量实际无法证实，只能证伪）3⃣️treatment的组合复杂、高维，如何学习表征，交叉treatment的影响怎么解
  • 样本选择偏差带来的虚假关联（collection bias）【待解决的问题】

业界用因果的挑战：

  1. 因果假设太多，假设还不能直接判断是否满足，只能通过很多方法来测试【有时候因果不work，往往是假设不满足】
  2. 怎么验证因果？已经发现的因果——其本身如果太过明显（如吸烟引发肺癌）则无需证明；但如果不是很明显，那我们如何证明因果是有效的？
Transformer Family on Time series
Hotpaper in 2021-2022 (Anomaly detection / Failure detection)