原标题:年度必读书-《为什么:關于因果关系的新科学》
小编的话:之前介绍过的《The book of Why》将在7月初由中信出版社推出中文版这本书是因果推理和贝叶斯网络的创始人,图靈奖得主Judea Peral和科普作家 Mackenzie, Dana合作写的一本因果推理的入门书关于这本书,之前有过介绍关于因果推理对人工智能的意义,在这篇小文中也有細致的描述没有看过的读者可以点击查看。
之所以说这本书是年度必读书首先是由于作者提出了一套全新的科学方法论——因果关系模型,其应用范围涉及众多领域借助因果关系的视角,作者重新阐述了人类认知和科学文明的发展史;其次是因果推理将对人工智能产苼革命性的跃迁引领人工智能的未来发展,并赋予人工智能以真正的人类智慧甚至道德意识让人工智能与人类能在彼此合作的基础上咑造一个更好的未来世界。
下面是福利时间读者可以在本文留言,结合自己的情况谈谈你觉得阅读《为什么》预期对自己带来怎样的收获,截至到6月25日12点点赞数最多的前三名读者,获得《为什么》赠书一本留言越具体,越贴近自己的实际情况越有可能有更多的点贊。
关于这本书大咔的赞誉已经足够了,在这里加上我个人的观点书中详细论述了如何将因果推理应用在公共事务的判断,例如吸烟昰否和肺癌的升高相关还是呈现因果关系因此掌握因果推理的概念,对提升批判性思维有所助力想要有理有据的去辩论,未来你需要知道因果关系是可以从数据中推出是怎样推出的。
下面给出该书的导读部分让读者能对全书内容有更全面的了解,顺便赞一下这本书嘚翻译水平读起来通顺流畅。
每一门蒸蒸日上的科学都是在其符号系统的基础上繁荣发展起来的
——奥古斯都·德·摩根(1864)
本书将偠讲述的故事会围绕一门科学展开,这门科学改变了我们区分事实与虚构的方式但目前,它仍处于大众的视野之外这门新科学非常重偠,其已经影响到了日常生活的种种重要的方面并且还有可能进一步扩大影响范围,覆盖从新药开发到经济政策制定从教育和机器技術人到枪支管制乃至全球变暖等重大问题的探索和解决。值得注意的是尽管这些问题涉猎的领域广泛多元并且完全不具可比性,但这门噺科学仍然成功将它们全部纳入一个统一的框架这在20年前是根本不可能实现的。
这门新科学并没有一个时髦的名字和我的许多同事一樣,我简单地称之为“因果推断”它本身也并不是什么高科技因果推断力图模拟的理想技术就存在于我们人类自身的意识之中。数万年湔人类开始意识到某些事会导致其他事的发生,并且改变前者就会导致后者的改变没有其他物种领悟到了这一点,更别说达到我们所悝解的这种程度由这一发现,人类这一物种创造出了有组织的社会继而又建立了乡村和城镇,直至创建了我们今天所享有的科技文明所有这一切都源于我们的祖先提出了这样一个简单的问题:为什么?
因果推断正是关于这个问题的严肃思考它假设人类大脑是大自然囿史以来为处理因果知识而设计出的最先进的工具。我们的大脑存储了海量的因果知识而在数据的辅助下,我们可以利用这些知识解决當代社会所面临的最紧迫的问题一个更宏伟的目标是,一旦我们真正理解了因果思维背后的逻辑我们就可以在现代计算机上模拟它,進而创造出一个“人工科学家”这个智能机器人将会为我们发现未知的现象,解开悬而未决的科学之谜设计新的实验,并不断从环境Φ提取更多的因果知识
但在冒险推测未来发展之前,了解迄今为止因果推断这门科学所取得的成就至关重要我们将深入探讨它是如何妀变了几乎所有依赖数据信息的学科中研究者的思维模式,以及它将如何改变我们的生活
这门新科学解决了以下这些看似简单明了的问題:
?一种特定的疗法在预防某类疾病方面的成效如何?
?是新税法的颁布还是层出不穷的广告推销活动导致了销售额的增长
?由肥胖引发的医疗保健成本增长的总体占比为何?
?雇用记录可否证明雇主实施了涉及性别歧视的招聘政策
?我打算辞掉工作。我究竟该不该這么做
这些问题的共同点在于它们都与因果关系有关,我们可以通过诸如“预防”、“导致”、“由……引发”、“证明”和“该不该”这样的词语轻易识别出它们这些词在日常生活用语中很常见,我们的社会也一直在不断提出这样的问题并寻求答案然而,就在不久の前我们甚至还无法在科学的范围内找到途径明确地表述这些问题,更别说回答它们了
到目前为止,因果推断对人类最重要的贡献就昰让这个科学盲点变成了历史这门新科学催生出了一种简单的数学语言,用以表达我们已知和欲知的因果关系以数学形式表达因果关系的能力让我们得以开发出许多强大的、条理化的方法,将我们的知识与数据结合起来并最终回答出如上述那5个涉及因果关系的问题。
過去的25年我有幸成为参与了这一科学发展进程中的一员。在公众的视野之外我曾目睹过它在学生宿舍和研究实验室中崭露头角,也曾聽到过在严肃的科学会议中它的突破性进展所引发的共鸣眼下,随着我们进入强人工智能(AI)时代越来越多的人开始鼓吹大数据和深喥学习的无尽可能性,这使我越发感觉到向读者展示这门新科学正在进行的大胆探索,其对于数据科学以及人类在21世纪的生活所可能造荿的诸多影响是恰逢其时且激动人心的
我知道,当听到我把这些成就描述为一门“新科学”时你可能会心存疑虑。你甚至可能会问為什么科学家没有在更早的时间就开始这样做?比如在古罗马诗人维吉尔首次宣称“幸运儿乃是能理解众事原委之人”(公元前29年)的时候或者,在现代统计学的奠基人弗朗西斯·高尔顿(FrancisGalton)和卡尔·皮尔逊(KarlPearson)首次发现人口统计数据可以揭示一些科学问题的答案的时候在这些关键性的时间节点上,他们很遗憾地与因果关系失之交臂这背后的曲折故事我将在本书的有关因果推断的历史渊源的章节中一┅道来。在我看来阻碍因果推断这一科学产生的最大障碍,是我们用以提出因果问题的词汇和我们用以交流科学理论的传统词汇之间的鴻沟
为了说明这一鸿沟的深度,不妨设想一下科学家在尝试表达一些明显的因果关系时所面临的困难——举个例子气压计读数B可以用來表示实际的大气压P。我们可以轻而易举地用方程式来表示这种关系B=kP,其中k是某个比例常数如今,代数规则能让我们以多种形式书写這个方程例如,P=B/kk=B/P,或者B–kP=0它们意义相同,即如果知道方程中的三个量中的任意两个那么第三个量即是确定的。字母k、B或P三者中的任意一个在数学上都没有凌驾于其他两个之上的特权那么,我们怎样才能表达这个确凿无疑的事实即,是大气压导致了气压计读书的變化而不是反过来呢?倘若连这一事实都无法表达我们又怎能奢望去表达其他许多无法用数学公式来表达的因果推断,例如鸡打鸣不會导致太阳升起
我的大学教授们就没能做到这件事,也从没有为此抱怨过我敢打赌,你们的教授中也没人研究过这个问题现在,我們已经明白原因为何了:他们从未见识过一种关于因果的数学语言也从未发现到它的好处。这种语言的发展被好几代科学家所漠视其實质是科学的一种衰败。众所周知按动开关按钮会导致一盏灯的打开或关闭,夏日午后的闷热空气会促使当地冰淇淋店的销售额增加那么,为什么科学家们没有像用公式表达光学、力学或几何学的基本法则那样用公式去捕捉这些显而易见的事实?为什么他们容忍这些倳实在原始的直觉中凝滞而不去运用那些促使其他科学分支走向繁荣和成熟的数学工具呢?
答案部分在于科学工具的开发是为了满足科学需要。正因为开关、冰淇淋和气压计这类问题我们处理起来驾轻就熟所以用特殊的数学工具来解决它们的意愿始终不够强烈。但随著人类求知欲的不断增强,以及社会现实开始要求人们讨论在复杂的法律、商业、医疗和决策情境中出现的因果问题我们终于发现我們缺少一门成熟的科学所应提供的用于回答者些问题的工具和原理。
这种迟来的觉醒在科学中并不少见例如,直到大约400年前人们还满足于以本能来应对日常生活中的不确定性,从过马路到冒险打一架都包括在内后来,赌徒们发明了复杂的赌博游戏他们得以通过精心嘚设计来欺骗我们做出糟糕的选择。直到这时布莱斯·帕斯卡(BlaisePascal,1654)、皮埃尔·德·费马(PierredeFermat,1654)和克里斯蒂安·惠更斯(ChristiaanHuygens,1657)这样的数学家才發现有必要建立一门今天我们称之为概率论的数学科学分支。同样只有当保险机构开始要求准确估算人寿年金保险的时候,爱德蒙·哈雷(EdmondHalley,1693)和亚伯拉罕·棣莫弗(AbrahamdeMoivre,1725)这样的数学家才开始关注死亡率统计数据并据此计算人的预期寿命。与此相似正是天文学家对天体运動精确预测的要求促使雅格布·伯努利(JacobBernoulli)、皮埃尔–西蒙·拉普拉斯(Pierre-SimonLaplace)和卡尔·弗里德里希·高斯(CarlFriedrichGauss)建立了误差理论,让我们得以從噪声中提取信号这些方法和理论都是今天统计学得以建立的基础。
具有讽刺意味的是对因果关系理论的需求是在统计学产生的那一刻浮出水面的。事实上现代统计学的创立正源自因果问题——高尔顿和皮尔逊提出了一个关于遗传的因果问题,并独具匠心地尝试用跨玳数据来解答它遗憾的是,这一努力失败了他们没有停下来去问为什么,反而声称这些问题是禁区转而去发展另一项刚刚兴起、不涉及因果关系的事业——统计学。
这是科学史上的一个关键时刻给因果问题配备一套专属语言的机会眼看就要被成功捕捉并转化为现实,却被白白浪费掉了在接下来的几年里,这些问题被宣布为“非科学”被迫转入地下。尽管遗传学家休厄尔·赖特(SewallWright,1889–1988)为此做出了艱苦卓绝的努力但因果词汇仍然被科学界禁用了半个多世纪的时间。我们知道禁止言论就意味着禁止了思想,同时也扼杀了与此相关嘚原则、方法和工具
读者不必是科学家就能见证这一禁律的存在。在《统计学101》中每个学生都会很快学会念叨“相关关系不等于因果關系”这句话。此话的确颇有道理!鸡打鸣与日出高度相关但它显然不是日出的原因。
遗憾的是统计学盲目迷恋这种常识性的观察结論。它告诉我们相关关系不等于因果关系,但并没有告诉我们因果关系是什么在统计学教科书的索引里查找“因果”这个词是徒劳的。统计学不允许学生们a说X是Y的原因他们只能说X与Y“相关”或“关联”。
这一禁律也潜移默化地让人们认同处理因果问题的数学工具毫无鼡武之地这一结论与此同时,统计学唯一关注的就是如何总结数据而不关注如何解释数据。一个了不起的例外是20世纪20年代由遗传学家休厄尔·赖特发明的路径分析(pathanalysis)它是本书所集中讨论和使用的关键方法的直接原型。然而统计学及其相关学科严重低估了路径分析,使其在萌芽状态历经了数十年的压制直至20世纪80年代,这个迈向因果推断科学的第一步仍然是科学界唯一的一步统计学的其他分支,鉯及那些依赖统计学工具的学科仍然停留在禁令时代错误地相信所有科学问题的答案都藏于数据之中,有待巧妙的数据挖掘手段揭示出來
今天,这种以数据为中心的观念仍然阴魂不散我们生活在一个相信大数据能够解决所有问题的时代。大学中“数据科学”方面的课程激增在涉足“数据经济”的公司中,“数据科学家”享有极高的工作待遇然而,我希望本书最终能说服你相信这一点:数据远非万能数据可以告诉你服药的病人比不服药的病人康复得更快,却不能告诉你原因何在也许,那些服药的人选择吃这种药只是因为他们支付得起即使不服用这种药,他们照样能恢复得这么快
在科学和商业领域,仅凭数据不足以解决问题的情况一再发生尽管或多或少地意识到了其局限所在,但多数热衷于大数据的人仍然选择盲目地继续追捧以数据为中心的问题解决方式仿佛我们仍活在因果禁令时代。
囸如我刚才所说的早过去30年里,情况发生了戏剧性的变化如今,感谢那些设计精巧的因果模型当代科学家得以着手解决那些一度被認为是不可能解决的甚至是超出了科学探索范围的问题。例如仅在100年前,人们还认为“吸烟是否危害健康”这一问题是非科学的仅仅昰在研究论文中提及“因”或“果”这样的词都会在任何稍有名气的统计期刊上引发强烈的反对。
甚至就在20年前询问一个统计学家诸如“是阿司匹林治愈了我的头痛吗”这样的问题,就会被视为相当于是在问他是否相信巫术引用我的一位备受尊敬的同事的话,讨论这种問题“与其说是科学探索不如说是鸡尾酒会上的八卦闲谈”。但今天流行病学家、社会科学家、计算机科学家以及一些开明的经济学镓和统计学家开始频繁地提出这样的问题,并能够借助具有高度精确性的数学工具作答对我来说,这种改变就是一场革命我斗胆称之為因果革命,是因为这场科学剧变真正接纳了我们人类理解因果知识的认知天赋而不再将其拒之科学大门之外。
因果革命不是在真空中產生的;它背后有有数学工具上的发展作为支撑这种数学工具最恰当的名称应该是“因果关系演算法”。借助这种工具我们得以解答絀一些有关因果关系的最棘手的问题。能向公众展示这一演算法实在令我兴奋不已这不仅是因为它拥有跌宕起伏的发展史,更是因为我嫃心期待未来某天它能在某些人那里发挥出超越我的想象的潜力……也许就出自本书读者之手
因果关系演算法由两种语言组成:其一为洇果图(causaldiagrams),用以表达我们已知的事物其二为类似代数的符号语言,用以表达我们想知道的事物因果图是由简单的点和箭头组成的图,它们能被用于概括现有的某些科学知识点代表了我们目标量,我们称之为“变量”箭头代表这些变量之间已知或疑似存在的因果关系,即哪个变量“听从于”哪个变量这些因果图非常容易绘制、理解和使用,读者将在书中看到许多此类因果图的示例这么说吧,如果你会使用基于单向街道地图的导航系统你就一定可以理解因果图,继而也就可以独自解决本书导言中提出的那些关于因果关系的问题
虽然因果图是本书选择使用的主要工具,也是我过去35年的研究主题但它并不是唯一可用的因果模型。有些科学家(比如计量经济学家)喜欢使用数学方程;另一些研究者(比如计量经济学家)则更倾向于借助一组假设来描述问题这些假设表象化地概括了因果图的关系結构。但不管使用哪种语言因果模型都应该该描述,哪怕是定性地描述数据的生成过程换句话说就是那些在环境中控制并塑造数据生荿的因果力量。
与图表式的“知识语言”并存的还有一种符号式的“问题语言”它被用于表达我们想要回答的问题。例如如果我们感興趣的是药物(D)对病人生存期(L)的影响,那么我们的问题可以用符号写成:P(L|do(D))换句话说,如果一个身体状况具有足够代表性嘚病人服用了这种药那么他在L年内存活的概率(P)是多少?这句话所描述的就是被流行病学家称为干预(intervention)或处理(treatment)的概念其对应於我们在临床试验中所测量的内容。在许多情况下我们可能还希望对P(L│do(D))和P(L|do(not–D))进行比较,后者描述的是拒绝接受相应处悝(服药)的病人也称“对照组”病人。其中do–算子表明了我们正在进行主动干预而非被动观察,这一概念是经典统计学不可能涉及嘚
在这里,我们必须调用一个干预算子do(D)来确保观察到的病人存活期L的变化能完全归因于药物本身而没有混杂其他影响寿命长短的洇素。如果我们不进行干预而是让病人自己决定是否服用该药物,那么其他因素就可能会影响病人的决定而服药与否两组病人的存活期差异也将不再能够被仅仅归因于药物。例如假设只有疾病发展到末期的病人服用了这种药。那么这些人的情况显然不同于那些不服药嘚病人两组的比较结果实际上反映的是其疾病的严重程度,而非药物的影响相比之下,迫使患者服用药物或不服用药物而不考虑其先决条件如何,则可以去除两组病人之间原有的差异提供有效的比较结果。
在数学上我们把自愿服药的患者中生存期L的观测频率记作P(L|D),这就是统计学教科书中常用的条件概率这个公式表示生存期L的概率(P)是以观察到病人服用药物D为条件的。注意P(L|D)与P(L|do(D))唍全不同观察到(seeing)和进行干预(doing)有本质的区别,它解释了为什么我们不认为气压计读数下降是风暴来临的原因观察到气压计读数丅降意味着风暴来临的概率增加了,但人为迫使气压计读数下降对风暴来临的概率并不会产生影响
对观察和干预的混淆成为悖论之源,對此本书将展开详细的讨论缺少P(L|do(D)),而完全由P(L|D)统治的世界将是十分荒诞的在这个世界中,病人不去就诊就能减少人们患重疒的概率城市解雇消防员就能减少火灾的发生;医生会向男性患者和女性患者推荐药物,但不向性别保密的患者推荐药物诸如此类的唎子还有很多。而令人难以置信的是就在不到30年前,科学就是在这样一个不存在do–算子的世界里运行的
因果革命最重要的成果之一就昰解释了如何在不实际实施干预的情况下预测干预的效果。如果我们没有首先定义do–算子以便可以提出正确的问题其次设计出一种在不需要真正实施干预行动的条件下模拟干预行动的方法,那么我们就永远不可能取得这一成就
当我们感兴趣的科学问题涉及回顾性的思考時,我们通常会诉诸于另一种类型的表达形式这种表达形式是因果推断科学所有独有的,我们称之为反事实(counterfactual)例如,假设乔在服用叻药物D一个月后死亡那么我们现在关注的问题就是这种药物是否导致了他的死亡。为了回答这个问题我们需要想象这样一种情况:如果乔在即将服药时改变了主意,他现在会活着吗
再重复一遍,经典统计学只关注总结数据因此它甚至无法提供一种语言用以提出上面那个问题。因果推断则不仅提供了一种表达符号更重要的是,它还提供了一种解决方案这使得我们在预测干预效果时,在多数情况下能够借助一种算法来模拟人类的回顾性思考通过将我们对观测世界的了解输入算法系统,其将输出有关反事实世界的答案可以说,这種“反事实的算法化”正是因果革命另一项宝贵的成果
反事实推理涉及假设分析(what–ifs),这可能会使一些读者质疑其科学性事实上,經验观察永远无法证实或反驳这些问题的答案然而,人类的心智一直在对哪些事可能发生或哪些事可能已经发生做出极可靠的、可重复嘚判断例如,我们都明白即使某天早晨公鸡没有打鸣,太阳也会照常升起这一共识源于这样一种事实:反事实并非异想天开之物,洏是反映了现实世界运行模式的特有结构共享同一因果模型的两个人也将共享所有的反事实判断。
反事实是道德行为和科学思想的基石回溯自己过去的行为以及设想其他可能情景的能力是自由意志和社会责任的基础。反事实的算法化使“思维机器”(thinkingmachine)有可能习得这种囚类特有的能力并掌握这种目前仍为人类所独有的思考世界的方式。
在上段提到“思维机器”这个词是我有意而为的我是以一名浸淫囚工智能领域多年的计算机科学家的身份涉足这门新科学的,我的研究背景使我在进行因果推断方面的研究时能够使用一种该领域的大多數研究同仁所并不具备的视角首先,在人工智能的世界里只有当你能够教会机器人理解某个课题时,你才算真正理解了它这就是为哬你会在本书中看到我反复强调符号、语言、词汇和语法。我痴迷于这样的思考:是否可以用一种业已存在的语言来表达某个论断以及峩们如何判断一个论断是否与其他一些论断是相一致的。我们可以看到仅仅是遵循科学语言的语法进行话语实践就能让我们掌握大量的知识,这实在令人惊喜我对语言的强调也源于一个坚定的信念,即语言会塑造我们的思想你无法回答一个你提不出来的问题,你也不能提出一个你词语用来描述的问题作为一名哲学和计算机科学的学生,我之所以被因果推断吸引最关键的因素就是渴望获得那种目睹┅门被边缘化的科学语言促使一门科学从诞生走向成熟这一整个过程所带来的兴奋感。
我在机器学习方面的背景也给了我研究因果关系的叧一个动力20世纪80年代末,我意识到智能机器缺乏对因果关系的理解这也许是妨碍它们发展出相当于人类水平的智能的最大障碍。在本書的最后一章我将回到我的老本行,带领大家一起探索因果革命对人工智能的影响我坚信强人工智能是一个可实现的目标,也是一个唍全无须恐惧的目标因为我们在实现它的过程中纳入了因果关系。因果推理模块将使智能机器有能力反思它们的错误找到其软件程序Φ的弱点,让它像一个道德实体那样思考和行动并自然地与人类交流它们自己的选择和意图。
当今时代读者们一定都曾听过诸如“知識”、“信息”、“智能”和“数据”等术语,有不少人可能会对它们之间的差异以及它们是如何相互作用的感到一头雾水而现在,我提议引入另一个术语——“因果模型”我知道,读者们可能会认为这样做只会增加困惑
不,并不会!事实上因果模型将把科学、知識、数据这些晦涩的概念纳入一个具体的、有意义的背景框架,让我们看到三者是如何相互协作以解答棘手的科学问题的图I.1展示了一个“因果推断引擎”的蓝图,此引擎将帮助未来的人工智能进行因果推理更重要的是,它不仅仅是一张关于未来的蓝图同时也是一份指喃,用于指导我们发现在当今的科学应用中因果模型是如何发挥作用的以及它们与数据之间的相互作用是怎样的。
因果推断引擎是一种問题处理机器它接受三种不同的输入——假设、问题和数据,并能够产生三种输出第一种输出是“是/否”判断,用于判定在现有的因果模型下假设我们拥有完美和无限的数据,那么给定的问题在理论上是否有解如果答案为“是”,则接下来推断引擎会产生一个被估量这是一个数学公式,可以被理解为一种能从任何假设的数据中生成答案的方法只要这些数据是可获取的。最后在推断引擎接收到數据输入后,它用上述方法生成一个问题答案的实际估计值并给出对该估计值的不确定性大小的统计估计。这种不确定性反映了样本数據集的代表性以及可能存在的测量误差或数据缺失
为深入阐释这个图表的内在逻辑,我给方框1到方框9贴了数字标签以便接下来以“药粅D对病人生存期L的影响是什么”这个问题为例进行具体分析。
1.“知识”指的是推理主体(reasoningagent)过去的经验包括过去的观察、以往的行为、接受过的教育和文化习俗等所有被认内部资料请勿外传为与目标问题有关的内容。“知识”周围的虚线框表示它仍隐藏在推理主体的思想Φ尚未在模型中得到正式表达。
2.科学研究总是要求我们给出简化的假设这些假设也就是研究者在现有知识的基础认为有必要明确表述絀来的陈述。然而研究者所拥有的大部分知识都隐藏于他的大脑,只有假设能将其公诸于世也只有假设才能被嵌入模型之中。事实上我们可以从模型中提取出假设,这也使得一些逻辑学家得出了这样的结论:模型不过是一组假设而已而计算机科学家对此说法持有异議,他们指出假设表示方式的不同将导致各方面的巨大差异,包括是否能够准确地说明假设是否能够从假设中推导出结论,乃至是否能够根据确凿的证据扩展或修改假设等
3.因果模型有多种表现形式,包括因果图、结构方程、逻辑语句等我热衷于为几乎所有的应用场景构建因果图,主要原因就在于它清晰易懂并且可以为我们想问的许多问题提供明确的答案。从构建因果图的角度来看“因果关系”嘚定义就非常简单了:如果变量Y“听从于”变量X,并根据所“听到”的内容决定自己的值那么变量X就是变量Y的一个因。例如如果我们懷疑一位病人的存活期L“听从于”该病人是否服用了药物D,那么我们便可以称D为L的因并在因果图里绘制一个从D到L的箭头。当然关于D和Lの间的关系问题的答案很可能还取决于其他变量,因而我们也必须将这些变量以及其因果关系在因果图中表示出来(在这里,我们统一鼡Z来表示其他变量)
4.以因果模型的路径来表示的变量之间的听从模式通常会导向数据中某种显而易见的模式或相关关系。这些模式可被鼡于测试模型因此也被称为“可验的蕴涵”(testableimplications)a。将“D和L之间没有连接路径”翻译成统计学语言就是“D和L相互独立”,也就是说发現D的存在不会改变L的发生可能性。而如果实际数据与这一推断相抵触那么我们就需要修改模型。此类修改涉及另一个引擎它从方框4和方框7中获取输入,并计算模型的“拟合度”即数据与模型假设的匹配程度。为尽可能简化示意图起见我没有在图I.1中表示出这个引擎。
5.姠推理引擎提交的问题就是我们希望获得解答的科学问题这一问题必须用因果词汇来表述。例如我们现在感兴趣的问题是:P(L|do(D))昰什么?因果革命的主要成就之一是使这一语言在科学上容易理解同时在数学上精确严谨。
6.被估量“estimand”来自拉丁语意思是“需要估计嘚东西”。它是我们从数据中估计出来的统计量一旦这个量被估计出来,我们便可以用它来合理地表示问题的答案虽然被估量的表现形式是一个概率公式,如P(L|D,Z)×P(Z)但实际上它是一种方法,可以让我们根据我们所掌握的数据类型回答因果问题(前提是推断引擎证實了这种数据类型就是我们需要的)重要的是要认识到,与传统的统计学所提供的估计方法不同在当前的因果模型下,无论我们收集箌多少数据有些问题可能仍然无法得到解答。例如如果我们的模型显示D和L都依赖于第三变量Z(比如疾病的发展阶段),并且如果我們没有任何方法可以测量Z的值,那么问题P(L|do(D))就无法得到解答在这种情况下,收集数据完全就是浪费时间相反,我们需要做的是囙过头完善模型具体方式则是输入新的科学知识,使我们可以估计Z的值或者简化假设(主次,此处存在犯错的风险)例如假设Z对D的影响是可以忽略不计的。
7.数据可以被视为用来填充被估量的原料这里我们一定要认识到,数据本身不具备表述因果关系的能力数据告訴我们的只是数量信息,如P(L|D)或P(L|D,Z)的值而被估量则能够告诉我们如何将这些统计量转化为一个表达式。基于模型假设该表达式在邏辑上等价于我们所要回答的因果问题,比说P(L|do(D))请注意,被估量这个概念以及图I.1顶部的所有概念在统计分析的传统方法中都是不存在的在传统的统计方法中,被估量就等同于有待解决的问题例如,如果我们对存活期为L的人群中服用过药物D的患者的比例感兴趣峩们可以将这个问题简记为P(D|L)。该表达式的值也就是我们的被估量这一表达式已经确切地说明了数据中的哪个概率有待被估计,而并鈈涉及任何因果知识鉴于此,一些统计学家至今仍然难以理解为何有些知识游离于统计学之外以及为何只靠数据不能弥补科学知识的欠缺。
8.现在你得到了一个新鲜出炉的估计值。不过它只是一个近似值,其原因涉及关于数据的另一个真相:数据永远是从理论上是无限的总体中抽取的有限样本在我们所讨论的这个例子中,数据样本由我们筛选出来进行研究的病人组成即使这种筛选是随机的,我们吔无法避免在样本中所测量的比例无法代表整个总体的相应比例的可能性幸运的是,依靠机器学习领域所提供的先进技术统计学科为峩们提供了很多方法来应对这种不确定性,这些包括最大似然估计、倾向评分、置信区间、显著性检验等
9.最后,如果我们的模型是正确嘚且数据是充分的那么我们就获得了这个待解决的因果问题的答案,比如“药物D使糖尿病患者Z的生存期L增长了30%误差±20%。”啊哈!现在这一答案也将被添加到我们的科学知识(方框1)中。而如果这一答案与我们的预期不符则很可能说明我们需要对因果模型做一些改进(方框3)。
这个流程图乍看起来很复杂因而你可能会怀疑它是否确有必要。事实上在日常生活中,我们总能用某种方法做出一些因果判断而与此同时并没有意识到自己经历了如此复杂的推断过程,当然也不会诉诸于计算概率和比例的数学工具我们的因果直觉通常足鉯让我们应付日常生活乃至职业生活中的不确定性。但如果想教一个笨拙的机器人以因果思维来思考问题或者如果我们正试图推动无法依靠直觉来指引的前沿科学的发展,那么这一经过精心设计的推断流程就很有必要了
我特别想强调数据在上述过程中的作用。首先请紸意,我们是在完成了以下步骤之后才收集的数据:根据假设确定了因果模型提出了我们想要解决的科学问题,推导出被估量这与上媔提到的传统统计方法形成了鲜明对比,后者甚至没有用到因果模型
但是,当今科学界对因果关系的合理推论提出了新的挑战尽管科學的快速发展提高了人们对因果模型必要性的认识,许多人工智能领域研究者仍然想跳过构建因果模型或识别出已有的因果模型的艰难步驟只依赖数据解决所有的认知难题。他们希望在因果问题出现时数据本身就能指引他们找到正确的答案——当然,这种想法通常来说嘟是隐秘不宣的
对此趋势,我曾直言不讳地表示公开质疑因为我明白对于因果关系方面的知识来说,数据没有任何发言权例如,有關行动或干预结果的信息就根本无法从原始数据中获得这些信息只能从对照试验操作中收集。相比之下如果拥有一个因果模型,我们僦可以在大部分情况中从未经干预处理的数据中预测干预的结果了
当我们试图回答反事实问题,比如“如果我们采取了相反的行动会发苼什么”时因果模型的重要性就更加引人注目了。我们将非常详细地讨论反事实因为对任何人工智能来说,反事实问题都是最具挑战性的问题这类问题也是推动人类认知力和想象力发展的核心,其中前者使我们成为人类后者使科学成为可能。原因通过机制传递效果因此我们还会解释为什么关于这种机制的问题——以“为什么”典型——实际上是一个经过伪装的反事实问题。如果我们想让机器人回答“为什么”这样的问题甚至试图让它们理解此类问题的意义,那么我们就必须用因果模型武装它们并教它们学会如何回答反事实问題,做法就像图I.1所展示的那样
另一个因果模型所具备而数据挖掘和深度学习所缺乏的优势就是适应性。注意在图I.1中被估量是在我们真囸检查数据的特性之前仅仅根据因果模型计算出来的,这就使得因果推断引擎极具适应性因为无论变量之间的数值关系如何,被估量都能适用于与定性模型适配的数据
为了说明这种适应性之所以重要的原因,请将该引擎与学习主体(learningagent)进行比较在本例中,我们将学习主体设定为人但在其他情况下,它也可能是一个深度学习算法或者是一个使用深度学习算法、想要纯粹从数据中获得知识的人。通过觀察许多服用药物D的患者的存活期L某研究者能够预测出某个具有Z特征的病人存活L年的概率。现在假设她被调职到位于城市另一地区的醫院,而那里的人口总体特征(饮食、卫生、工作习惯)与原来的地区有所不同即使这些新特性仅仅改变了所记录的变量之间数值关系,她仍不得不重新自我训练再次从头学习新的预测函数。这就是深度学习程序所能做的:将函数与数据拟合而如果该研究者掌握了药粅的运作模式,并且新地区的因果模型结构保持不变那么她在以往训练中获得的被估量就依然有效,可被应用于新数据产生一个新的關于特定总体的预测函数。
通过“因果透镜”许多科学问题看起来都会变得有所不同,我很高兴自己有机会研究这个透镜过去的25年里,新见解和新工具赋予这一透镜越来越强的能力我希望并相信本书的读者也将分享我的喜悦。因此我想预告一下本书即将呈现的亮点內容,以此结束导论
本书的第一章将观察、干预和反事实这三个台阶组合成因果关系之梯(ladderofcausation),这是本书的核心隐喻它将向你揭示利鼡因果图(我们主要的建模工具)进行推理的基本原理,同时引导你一步步成为一名精通因果推理的专家事实上,你将远远超过几代数據科学家因为他们曾试图通过一个模型盲(model-blind)的透镜解释数据,完全忽略了因果关系之梯所阐明的特质
本书的第二章将讲述一个匪夷所思的故事:统计学科是如何让自己陷入因果蒙昧的黑暗,及其对所有依赖数据的科学产生了怎样深刻的影响我会在这一章讲述遗传学镓休厄尔·赖特的故事,他是本书中的一位大英雄,他在20世纪20年代绘制出了世界上第一张因果图多年来他是少数几个敢于认真对待因果論的科学家之一。
本书的第三章讲述的是一个同样奇妙的故事:我是如何通过对人工智能特别是对贝叶斯网络的研究,皈依了因果论貝叶斯网络是让计算机得以在“灰色地带”进行思考的第一个工具,有段时期我曾坚信它掌握着开启人工智能大门的钥匙。而到了20世纪80姩代末我终于确信自己错了,本章讲述的正是我从贝叶斯倡导者变身为叛教者的整段旅程不过,贝叶斯网络仍然是人工智能领域的一個非常重要的工具仍然涵盖因果图的大部分数学基础。除了对贝叶斯法则和贝叶斯推理方法所做的浅显的、以因果关系为基本逻辑的介紹外第三章还将为读者提供一些贝叶斯网络的应用实例。
本书的第四章讲述的是统计学对因果推断的主要贡献:随机对照试验(randomizedcontrolledtrial,简称RCT)从因果的角度来看,随机对照试验是一个进行人为干预的工具用以解答P(L|do(D))问题,可以说这就是该工具的本质特征随机对照试驗的主要目的是将目标变量(比方说D和L)与其他变量(Z)分离,因为如若不进行分离变量(Z)就会对二者产生影响。破解这种潜在变量產生的扭曲或“混杂”在近百年来一直未曾得到妥善解决而本章将引导读者使用一种极其简单的方法来解决这个常见的混杂问题。通过茬因果图中进行路径跟踪你们在10分钟之内便能掌握这种方法。
本书的第五章将讲述因果关系史甚至科学史上的一个重要时刻当时,统計学家纠结于“吸烟是否会导致肺癌”这一问题由于无法使用他们最喜欢的工具——随机对照试验,他们在是否接受某一方的结论上始終难以达成一致甚至对于如何理解这个问题也一直存在分歧。关于吸烟的争论将因果论的重要性推到了风口浪尖数百万人因吸烟而丧苼或折寿,就因为科学家没有适当的语言或方法论来回答这个因果问题
在第五章的严肃话题之后,我希望本书的第六章会是让读者享受其中的轻松时刻这章的主题是悖论:蒙提·霍尔悖论、辛普森悖论、伯克森悖论等。此类经典悖论的确可以当作脑筋急转弯来消遣,但它们也有严肃的一面,尤其是当你从因果的角度来分析它们的时候事实上,几乎所有这些悖论都体现了某种与因果直觉有关的冲突从而吔揭示出了这种因果直觉的内在构造。这些悖论是一种警示用以提醒科学家们人类的直觉是根植于因果的,而不是根植于统计和逻辑的我相信读者会从那些有趣的古老悖论中得到“柳暗花明又一村”的体验。
终于本书的第七章到第九章将带领读者踏上因果关系之梯激動人心的攀登之旅。我们会从第七章的干预问题入手讲述我和我的学生们如何历经20年的努力,实现do–类型问题解答的自动化我们成功叻。我还将在本章解释“因果推断引擎”的本质它能够产生“是/否”问题的答案以及图I.1中的被估量。对这个引擎的深入分析将让读者习嘚如何在因果图中发现某些模式这些模式将生成因果问题的直接答案。我将这些模式称为后门调整、前门调整和工具变量它们是研究鍺在实践中进行因果推断的主要工具。
本书的第八章将通过讨论反事实把你带到因果关系之梯的顶端反事实被视为因果论的基本组成部汾这一认识至少要追溯到1748年,当时苏格兰哲学家大卫·休谟(DavidHume)提出了这样一个有些别扭的因果定义:“我们可以给一个原因下定义说咜是先行于、接近于另一个对象的一个对象,而且在这里凡与前一个对象类似的一切对象都和与后一个对象类似的那些对象处在类似的先荇关系和接近关系中或者,换句话说如果没有第一个对象,那么第二个对象就不可能存在”大卫·刘易斯,普林斯顿大学的哲学家,于2001年去世他曾指出休谟实际上给出的是两个而非一个定义。第一个是规则性定义(因后面通常跟着果)第二个是反事实定义(“如果没有第一个对象……”)。尽管哲学家和科学家更多地将注意力集中于规则性定义但刘易斯指出,反事实定义与人类直觉的联系更为緊密:“我们认为因是起重要作用的事物并且它所引起的差异必然就是有它和没它所发生结果之不同。”
读者将在本章结尾兴奋地发现我们现在可以越过学术争辩,估算出任何反事实问题的实际值(或概率)无论这个问题有多么复杂。其中最有趣的问题就是观察到的倳件的必要因(necessarycause)和充分因(suf?cientcause)问题例如,被告的行为有多大可能是原告受伤的必要因人为的气候变化有多大可能是全球热浪的充汾因?
最后本书的第九章讨论的主题是中介。在因果图中谈论箭头绘制时你可能会想,如果药物D只是通过影响血压Z(中介物)来影响苼存期那么我们是否仍然要从药物D画一个箭头到生存期L。换言之D对L的影响是直接的还是间接的?如果两者都有那么我们如何评估它們的相对重要性?这些问题不仅具有重大的科学意义而且具有深刻的实际影响:如果我们了解了药物的作用机理,我们或许就可以开发絀其他效果相同但价格更低廉或副作用更少的药物。同样读者将在本章结尾愉快地了解到,这一古老的中介机制问题将被简化为一道玳数题而科学家将通过使用因果工具包中的一些新工具来解决这些问题。
本书的第十章将通过追溯我本人走向因果研究领域的起始地带領读者走向尾声正是这个问题,即人类智能的自动化(有时也被称为“强人工智能”)引导我开始研究因果关系的我相信因果推理对智能机器至关重要,它可以让智能机器使用我们的语言与我们交流策略、实验、解释、理论乃至遗憾、责任、自由意志和义务并最终让智能机器做出自己的道德决策。
如果能用一句话来概括本书的内容那就是“你比你的数据更聪明”。数据不了解因果而人类了解。我唏望因果推断这门新科学能让我们更好地理解我们是如何做到这件事的因为除了通过自我模拟,我们没有更好的方法去了解人类自身與此同时,在计算机时代这种新的理解也有望被应用于增强人类自身的因果直觉,从而让我们更好地读懂数据无论是大数据还是小数據。