公元2019年你对AI的信赖有几分

编者按：本文来自微信公众号“腾云”（ID：tenyun700），36氪经授权发布。

作者试图让你开始思考一个比你想象中更为紧迫的问题：如何构建人类和AI之间的信任？作者从最近上市的三本新书中找到了一些线索。

Peter，腾云特约作者

著名经济学教授Gary Smith在新书《AI错觉》（The AI delusion）中指出了一种人类在本时代可能有的“错觉”。

他说，人们常常因为AI在某些具体任务上超越了人类的表现，就忽视了当前AI本质上仍然无法像人类一样思考和推理的事实，于是产生了AI将超越并取代人类智能的“错觉”。

但事实上，机器的智能和人的智能并不一样（并非同类），它们无法相互取代。如同本世纪初的“.net泡沫”，最近这几年的“AI热”中也弥漫着不切实际的预期。作者指出，随着AI应用的深入，泡沫终将破灭。

这种警醒的背后，反映出的是人类在面对AI时如何构建信任的问题。当AI的应用场景从2C走向2B时，这样的一个问题将变得更紧迫。为什么？

因为从2C到2B的转变，意味着AI的应用要离开内容推荐、语言识别等用户对错误容忍度较高的领域，走入无人驾驶、医疗诊断、金融决策等涉及人类切身利益的“深水区”中。这在某种程度上预示着，即使人们知道AI的效能比人类专家的更好，但人们还是会继续对AI的应用保持谨慎和怀疑。

于是，如何打消人类对AI的顾虑成为一个重要的问题，AI不仅需要证明“自己”能提升人类的效能，还需要让相关方相信：“我”是值得信任的。

为此，学界和产业界都需要采取全新的方法论，而其中关键的一环，在于对因果关系的重视。

Gary Smith / 著

《The AI Delusion》解释了为什么我们不该为“AI是无懈可击的”想法感到恐惧。

01、什么样的AI是可信任的？

关于AI的伦理问题，国内外都有许多讨论，最有名的是英国大数据研究中心Alan Turing Institute提出的FAST原则，可以看成是“可信任的AI”需要满足的基本条件。

F代表Fairness（公平）。具体可大致分为：

• 数据公平，即AI应该无差别地使用数据，不能区别对待；

• 设计公平，即算法的开发目的不应该是带有歧视性的；

• 结果公平，指算法做出的决策本身是公平的；

• 实现公平，指算法在测试和实现过程中，要使参与测试的人员感到公平，而不是过度依赖算法。

A代表Accountablity（可问责性），指如果在模型完成前后出现一些明显的异常问题，可以追溯到模型中的具体某一部分。

S代表Safty（安全），指AI在任何情况下，特别是在面对训练数据集中没再次出现的数据，以及攻击性数据时，不会对人类的安全造成伤害。为了确保模型的安全，能够使用超额完成准确度要求的方式，从而确保AI在极端情况下的鲁棒性。

*鲁棒是Robust的音译，也就是健壮和强壮的意思。它也是在异常和危险情况下系统生存的能力。例如在建筑工程中，如果一座桥的计划载重是50吨，那么建造完成后桥能在载重200吨时不崩溃，这就是这座桥的鲁棒性。编者注。

T指的Transparency（透明），指模型的决策过程不应该是一个对人类来说无法解释的黑箱子，模型要以人类便于理解的方式，给出决策所基于的证据。

只有FAST原则还不足以构建“可信任的AI”。

为了确保安全，AI还需要具有自适应能力——以便在与训练数据不同，甚至系统开发者预料之外的环境下可以正常运行。

AI还应当能够“自检”——判断系统当前的运行状态是不是满足预期。这种能力在AI面临恶意攻击时显得特别的重要。

此外，可信任的AI应该具备个性化的特质——AI和人的交互方式会影响人类的信任度，让不同性格特征的用户都感到AI是值得信赖的，这也很重要。

总结下来，满足透明、公平、鲁棒性、自适应、自检、个性化这六个关键词的AI，才能够被称为“可信任的AI”。

02、用人类的方式说服人类

在讨论如何构建可信任的AI之前，让我们先审视下何为信任。

对于确定的、完全知晓的事，我们谈不上信任或不信任。只有在面对未知时，我们才需要信任来完成leap of faith（信任的飞跃，指相信或接受超出理性范围的事物的行为）。

因此，对信任的探讨，归根结底关乎我们该如何面对不确定性。这在概率论的哲学基础上已有许多讨论。

对概率的解释分为频率学派和贝叶斯学派。

前者统计某件事的出现次数在总次数中的比例，当我们说起某个分类模型的准确率有99.99%，这个概率就是基于频率学派的解释。

这类解释在回答AI是否可信任的问题上行得通吗？

答案可能是否定的。因为无论这个比例有多高（无论小数点后有多少个数字“9”），人们都无法完全相信AI。比如在医疗诊断中，人们还是会担心自己碰巧就是那个被漏检的对象。

让我们再看下贝叶斯学派的解释。

在贝叶斯式的概率解释下，有一个初始的、关于模型是否正确的概率，每增加一个模块或者输入数据，都会导致模型的可靠性增加或降低。

人类在思考不确定性时是实际上的意思就是按贝叶斯的方式来进行的。例如，在不确定自己的病症时，病人会要求给自己做更多检查，或者选择多听取一些医生的意见，以此来降低自己的担心。

既然人类是按贝叶斯的方式思考不确定性的，那么我们在向大众解释一个AI模型是值得信任的时候，可能也需要采取贝叶斯式的方式——

我们应该说明该AI模型即使出现了异常，它也能够启动默认的安全模块，并不会造成灾难性的后果。而不能只列出一个很高的数字来证明模型的准确性。

03、“可信任的AI”需要新的研究范式

现在需要提到另一本新书。

这本今年10月份上市的新书《Rebooting AI》指出，我们具体应该关注哪些方向，才能实现“可信任的AI”这一目标。该书的作者是纽约大学的认知科学教授Gary Marcus，他一直对以深度学习为代表的当下AI能走多远表示怀疑。

这种怀疑不是针对具体的应用场景，而是指向当前的研究范式。

AI的研究范式也要更新了吗？

Gary Marcus & Ernest Davis/ 著

两位认知领域学者提出了实现真正强大的AI所必须采取的措施。

刘慈欣在《三体》中提到，即使北宋床弩的射程和机关枪差不多，但两者在基本原理上的差距决定了它们之间的不同。

Gary Marcus指出，AI研究也需要用“机关枪式的研究范式”取代“床弩式的研究范式”，只有建立一个全新的航道，才可能达到“可信任的AI”这一目标。

作者系统性地阐述了对当前AI研究界的批判，并针对性地给出了6条可执行的建议——

第一，破除对“终极算法”的迷信，即妄图通过一个算法来使AI达到人类智能。

书中指出，智能来自多个模块的互动，不存在单一的全能方法。AI研究者除了需要对智能的实现采取“分而治之”的方式，还应当关注组成智能的多个模块如何相互影响和作用，结合自上而下（赋予AI高抽象层次的一般性原则）和自下而上（从数据中学习）的方式，让AI构建出对世界和人类道德准则的常识性认知。

第二，人类的认知不是从出生后的学习才开始，而是依赖于进化留下的先天表征。

即使是认知过程中看起来简单的部分，例如走路、抓取东西，也需要复杂的AI算法才能实现。这些人们以为简单的行为，其实已经包含了进化赋予的机制，正是这种机制使得学习变得容易。

而进化赋予的和学习获得的机制，在本质上是等价的。正如婴儿天生对类似人脸的图案更加敏感，AI也不应该从一块白板出发。我们应该从一个预先精细调整过的起点出发，构建下一代AI。

第三，破除对大数据的迷信，让机器学会用类似人类认知的方式，基于小数据做出决策。

人类对任何一个概念的认知，都取决于概念出现的上下文和其所属的理论框架。识别出不同的应用场景，不但可以显著减少所需数据，还能够让AI变得更可信任。如果AI可以区分画中的一把刀和真实场景下的刀，就可以做出不同的反应。

同时，人类会对每个事物和人的个体分别进行持续的观察和跟踪，以此来将不同时间点的数据进行统一的分析。这也是AI需要向人类学习的方式。

第四，在实现智能的过程中引入层次化和模块化，让每个模块之间有清晰的边界。

我们应当借鉴网络通讯的分层化设计，将智能按抽象水平、处理的信息和空间尺度或信息整合程度，分成可替换的不同层，从而便于系统内的模块交流与协作。层级化能够降低每个层次的任务复杂度，通过局部的自制和放权将问题简化。

第五点，来自于对人类认知的观察，即人类的语言和思考是由简单的命题根据“与或非”这样的逻辑组合而成的。为了更好地与人类合作，AI也需要采取类似的方式，向人类解释模型为何会做出特定的决策。

例如，医疗AI向医生解释为何做出（治病）判断，不应只标出具体图像的局部关键点，而需要通过和正常样本在多种特征上进行对比，说明该图像同时满足如下这些条件，因此判断病征。

第六点，提倡用因果性替代相关性，构建关于自身和环境交互的因果模型。

深度学习能否成功，在尝试之前是无法确证的，AlphaGo的设计者在设计之初也不确定能否取得如今的成绩，毕竟深度学习能够找到的规律只是相关性，而非因果性。

围棋的棋盘形式和游戏规则构成了一个相对简单的因果模型，只有胜负的结果和单一的时间颗粒度，影响胜负的因素只有自己如何下棋。因此，和赢棋相关的走法，就等同于导致AI更强的算法改进。

但现实中，尤其是在2B的应用场景下，AI需要在多维度和长时间尺度下，做出同时满足多种评价标准的决策，此时相关性就不等同于因果性。

04、“可信任”是AI送给人类的最好礼物

现在要提到第三本书，人工智能先驱、贝叶斯网络之父Judea Pearl的《为什么》。

Judea Pearl在书中用柏拉图的洞穴隐喻作类比：

“深度学习系统探索的是洞穴壁上的那些阴影，学习的是准确预测阴影的活动，深度学习系统不能理解它观察到的阴影仅仅是三维物体的空间运动在二维平面上的投影。”

因果联系的判定对我们认识和理解世界有奠基作用，人们习惯使用因果来解释事情为何发生，更因为当下已经有成熟的因果推断的分析方法，能够在复杂系统中对因果关系进行量化的评估。

作为因果推断的发明人，Judea Pearl写道：“因果推断能让我们去掉不相关的特征，也能让我们从不同的研究中把这些在关键方面相似的个体聚集起来，从而促进小数据下的学习。”

Judea Pearl / 著

开发具有真正意义智能的机器，因果关系是必然要迈过的坎。

Judea pearl在本书中提到了认知的三个层次（也称认知之塔），同样可以应用在构建可信任的AI上——

第一层是相关性。

对于AI来说，相关性可以用于为模型提供可解释性，说明输入的哪些特征导致了对应的决策，还可以说明在特定情况下，模型能够确保结果层面的公平。

第二层是因果性，能够让AI具有可问责性。

如果AI可以通过因果，将模型中的各个模块联系起来，一旦模型出了问题，就可追踪到具体模块，除此之外，在面对未知的情况时，明确的因果关系使得AI能够正常的使用逻辑推理，以显性的方式去调用其存储的常识和先验表征，从而具有自适应性。

第三层是反事实推断，处理的是假想中的情况。

人类可以假设如果某种情况发生，自己该如何应对。通过因果推断，AI可以具有反事实推断的能力，这能够提升模型在未曾预料的场景下的鲁棒性。

人类的大脑中存在一个类似于“意图生成器”的东西，它可以告诉我们采取某种被称为X的行动最为有利。不过，人类可以出于道德的原因不选择X，而是采取Y或Z等不会让自己获得最大利益的行为。

在未来，可信任的AI应该能通过因果关系和命题逻辑而具有人类这样的道德。

信任的根源，在于我们相信与我们合作的伙伴是一个有道德感的实体，不论其是机器还是人，他们都不会把自身的利益放到第一位，而是会依据一个更大的集体的收益来进行决策。

因此，创建“可信任的AI”，就意味着教会它道德所需的因果推理和命题逻辑。有了可信任的AI，人类还可以向自己所创造的事物学习。我们大家可以依靠机器来寻求明察秋毫、因果合理的正义，我们将进一步了解人类自身的自由意志“软件”的运作方式。

“可信任的AI”，将成为人类的良师益友，而这正是AI送给人类的第一份，也是最好的礼物。