斯坦福「基础模型研究中心」华人Percy Liang任主任，业界炮轰：深度学习做不了基础模型！-轻识

来源：Stanford

编辑：LRS

也许你没有感受到，但人工智能再一次掀起了范式转换革命。

八月，斯坦福大学的研究人员在arxiv 上传了一篇报告，宣布人工智能的新时代已经到来，一个建立在巨大的神经网络和数据海洋之上的时代。

随着模型（例如，BERT、DALL-e、GPT-3）的兴起，这些模型在大规模的大数据上进行训练，并且能够适应广泛的下游任务，这些模型可以作为其他任务的「基础模型」，基础模型的含义就是这些模型是不完整的，但它是必不可少的。

该报告提供了基础模型的机会和风险，包括他们的能力，例如，语言、视觉、机器人、推理、人类交互，技术原理，例如，模型体系结构、训练程序、数据、系统、安全性、评估、理论）到它们的应用，如法律、医疗保健、教育，和社会影响，如不平等、滥用、经济和环境影响、法律和道德考虑。

虽然基础模型是基于标准的深度学习和转移学习，但是它们的大规模导致它们可以在关键领域和诸多任务中重要的性能提升。

但这种同质化（homogenization）的使用需要谨慎，因为基础模型的缺陷是由所有适应模型继承的。

尽管基础模型即将普及，但我们目前对它们的工作原理却没有一个清晰的认识，当别的模型无法成功时，基础模型可以应急来处理一些需要AI 处理的问题。

并且表示，斯坦福大学的一个新研究中心，即基础模型研究中心CRFM （Center for Research on Foundation Models），将建立并研究这些人工智能的「基础模型」。

作者包含了数十位斯坦福的老师们，如李飞飞等都参与了作者署名，并且作者单位也已经增加了CRFM。

这一想法一经发表，很多人立刻跳出来反对，即使在纪念新中心CRFM正式成立而组织的研讨会上，依然有很多人持反对意见：包括质疑神经网络模型的能力是否真的那么强大、还有神经网络让人类无法理解的行为。

另一些比较柔和的反对派表示，应当把更多精力放在研究如何使机器更加智能的方法上。

https://crfm.stanford.edu/

UC 伯克利大学的AI 领域教授Jitendra Malik 在视频讨论中表示，基础（foundation）这个词完完全全的错误！

Malik 承认，斯坦福大学研究人员指出的那些能够回答问题或从提示中生成文本的大型语言模型效果很好，在实际应用中有很大用途。但他还是认为进化生物学表明，语言的建立不仅仅需要智力，还需要物理世界、其他同类真实的互动。

目前研究这些模型都空中楼阁，并没有任何他们所谓的「基础」，在这些模型中使用的语言没有根据，生成或是问答都是虚假的，他们并没有真正的理解。

近年来，越来越大的人工智能模型在感知、机器人技术以及语言等领域取得了一些令人印象深刻的进步。

大型语言模型也是谷歌和Facebook等大型科技公司的基础，这些公司在搜索、广告和内容调节等领域使用大型语言模型。构建和训练大型语言模型需要数百万美元的云计算能力，也只有大公司才掏得起这个费用。

高昂的费用也限制了大规模模型的开发和使用，所以训练模型仅限于少数十分有钱的科技公司。

但大型模型也存在问题，语言模型从他们接受训练的数据中继承了那些带有偏见和冒犯性的文本，并且机器对常识或真假信息都没有判断的能力。

如果给出提示，大型语言模型可能会吐出令人不快的语言或错误信息，而且也不能保证这些大型模型将继续在机器智能方面取得进展。

斯坦福大学的提案使研究界产生了分歧。

亚利桑那州立大学教授Subbarao Kambhampati认为，称它们为「基础模型」完全就是没搞清楚状况，从这些模型到更通用的 AI 形式没有明确的方法，目前还处于探索中。

俄勒冈州州立大学教授、人工智能促进协会前主席托Thomas Dietterich表示，他「非常尊重」斯坦福新中心背后的研究人员，他也相信他们真正关心、也清除这些模型可能带来的问题。

但 Dietterich 想知道基础模型的想法是否是为了为构建和工作所需的资源筹集资金，他表示对斯坦福给这些模型取了一个好听的名字，并创建了一个中心表示很惊讶，这有种插旗的感觉，可能对筹款方面有好处吧。

斯坦福大学李飞飞曾经还提议创建一个国家人工智能云（Nation AI Cloud），以便为从事人工智能研究项目的学者提供行业规模的计算资源。

华盛顿大学语言学系教授 Emily M. Bender 表示，她担心基础模型的想法反映了投资行业更青睐于模型，而非data-centric的 AI 方法。

Bender 表示，研究大型 AI 模型带来的风险尤为重要。她与他人合著了一篇于 3 月发表的论文，该论文引起了人们对大型语言模型问题的关注，并促成了两名谷歌研究人员的离职。

但她说，AI 的发展应该来自多个学科，而非只是模型改进。所有这些相邻的、非常重要的领域都缺乏资金，在我们将资金投入云端之前，她还希望看到资金投入其他学科。

新斯坦福研究中心主任Percy Liang 认为，他听到了批评，但认为有些人可能误解了该项目的目标。

Percy Liang是斯坦福大学计算机科学副教授，2004年于麻省理工学院取得学士学位，2011年于加州大学伯克利分校取得博士。主要研究方向为自然语言处理（对话系统，语义分析等方向）及机器学习理论。他的两个研究目标是

1、使机器学习更加健壮、公平和可解释；

2、使计算机更容易通过自然语言进行通信。

Percy 的团队推出的 SQuAD 阅读理解挑战赛是行业内公认的机器阅读理解标准水平测试，也是该领域的顶级赛事，被誉为机器阅读理解界的 ImageNet（图像识别领域的顶级赛事）。

Percy说，被称为基础的大型机器学习模型看起来独特而重要，因为它们能够处理现实世界的复杂性，正如大型语言模型的能力所证明的那样。他说反馈是健康学术辩论的一部分，也欢迎所有这些批评。

Percy补充说，斯坦福大学的研究人员完全意识到这些模型的局限性，并在他们的研究论文中描述了一些。他们也不相信这些模型是在人工智能领域取得进一步飞跃所需要的。这只是一种不受限制的原始潜力，我们需要找到一种方法来利用和遏制。

参考资料：

https://www.wired.com/story/stanford-proposal-ai-foundations-ignites-debate/

https://crfm.stanford.edu/report.html

https://arxiv.org/abs/2108.07258