生成式人工智能会塑造信息茧房？复旦教授揭示如何让危机“已知”
[编者按]
2023年5月27日是复旦大学118周年校庆。”庆祝活动以促进科学研究为中心.”自1954年时任复旦大学校长的陈望道在校庆前夕提出这一思想以来，在校庆期间举行科学报告已成为复旦大学的重要学术传统之一。
延续学术传统，百年弦歌不绝。从5月9日起，50多位来自文、社科、工、医各学科的复旦名师将陆续进行学术讲座。
在“2023香会庆典系列学术报告”第十场，复旦大学国家智能测评与治理实验基地副主任、大数据研究院教授赵星，浙江大学公共管理学院信息资源管理系“百人计划”研究员蒋卓仁，线上线下共话“生成式人工智能的挑战与治理”。
活动现场。本文为复旦大学。
从2011年苹果手机首次推出的Siri语音助手，到今年获得七项奥斯卡奖的电影《即时宇宙》，生成式人工智能早已融入人类生活。目前，ChatGPT工具进一步点燃全球人工智能热潮。赵星、蒋卓仁携手带来一场贯穿生成式人工智能过去、现在、未来的学术盛宴，剖析生成式人工智能带来的多重挑战，启发我们思考其治理问题。
生成人工智能的前世
金色的夕阳被乌云遮住，小草在风雨中摇曳，水珠在树叶上滚动…蒋卓仁先放了一个视频，叫《夏日骤雨》。这个充满灵动色彩和生动风景的视频，完全是由生成式人工智能模型创造的。
什么是生成式人工智能？
生成式人工智能目前还没有统一的定义，一般可以理解为能够根据提示生成文本、图像或其他媒体信息的人工智能系统。
“这项技术并不是像魔法一样由空出现，而是有着悠久的历史。”蒋卓仁强调。在生成式人工智能90多年的发展历程中，有很多人类智慧闪耀的时刻。
1932年，法国工程师乔治·阿特鲁尼(Georges Artsrouni)创造了“机械大脑”这一装置。它通过查询多功能词典完成翻译，输入输出都是一张纸带。蒋卓仁认为，它虽然不同于今天的机器翻译，但完全符合今天的生成式人工智能的定义，即人类输入一段内容，机器生成一段新的内容。
在20世纪，麻省理工学院创造了最早的生成式人工智能之一Eliza，Judea Peal引入了贝叶斯网络因果分析的概念，Yann Lecun展示了如何使用卷积神经网络来识别图像…
2006年，中国计算机科学家李菲菲着手建立数据库ImageNet。数据库中有超过1400万张手绘图片，包括超过2万个类别。“正是在如此庞大的数据库支持下，深度学习才能崛起。所以我们总说，好的科研品味，加上不断的努力，才能成就好的学术生涯。”蒋卓仁评价道。
ChatGPT为什么会成为明星产品？
1750亿个参数，3000亿个训练词，这是ChatGPT的数据。2022年发布后，ChatGPT在短短两个月内吸引了超过1亿用户，成为历史上增长最快的应用。
蒋卓仁认为，要了解ChatGPT，就要了解它的关键技术:大模型的基础训练、指令的微调、人的反馈强化学习。
“大模型的全称是大语言模型”，蒋卓仁说。”它是一个概率模型，可以告诉你一个单词出现的概率.”
蒋卓仁教授
例如，在英语句子“The students opened their”之后，可以出现书籍、笔记本电脑、考试和思想等词。“但它们出现的概率不同。一个好的语言模型可以准确预测下一个单词是什么。”蒋卓仁说。
随着语言模型的发展，它有了很好的语言理解能力，但是如何与人类建立对话？
研究人员提出的方法是指令微调。通过引入思维链和代码生成，提高了大模型的推理能力。“这种能力对大模特来说很重要，这样才能在空旷的场地表现出色。”蒋卓仁评价道。
至此，大模型初步具备了回答人提出的任何指令的可能性，但答案质量参差不齐。大模型如何持续输出高质量的答案？
为此，研究人员设计了一套基于人类反馈的强化学习方法，即微调大模型、训练奖励函数和优化大规模强化学习，以保证高质量答案的生成。“OpenAI使用这种方法，大大降低了建立数据集的成本。”蒋卓仁说。
生成式人工智能:新智能面临新挑战
面对生成式人工智能带来的挑战，赵星从资源、技术、应用、社会伦理四个维度进行了解读。
从资源来看，生成式人工智能需要高质量的数据，而中文世界的数据质量弱于英文世界。赵星认为，即使翻译能力很强，ChatGPT类工具的中文处理效果也明显弱于英文，其中一个核心原因就是中文数据质量差。此外，硬件技术也是支撑中国人工智能产业快速发展的关键因素。
赵星教授。
“科技界曾经把人工智能的应用比作炼丹术，”赵星开玩笑说。“人们把所有的数据都扔进模型里。至于有价值的东西能不能提炼出来，是什么东西，没有明确的预期。”显然，生成式人工智能在技术层面上存在内生的不确定性。
“当我们准备向全社会投放一个万能工具，却不确定它的科学原理是什么的时候，就会产生内生风险。”人工智能风险的核心在于无法承受的结果。“我们很少在治理问题上处于如此弱势的状态，”赵星说。在应用层面，生成式人工智能产业发展的确定性和风险管理的不确定性将长期存在。
在社会方面，生成式人工智能不仅深度介入知识产权和信息泄露，还将塑造一个真实的信息茧。“当生成式人工智能24小时陪伴在你身边时，你会不自觉地认为一切都是自己的决定。”
赵兴警告说，“我们面对的是短时间内会上升，或者会造成严重后果且后果不明的东西。”
内生安全治理:让危机“为人所知”
面对生成式人工智能的新对手，赵兴认为不能沿用传统的“被动应对外部威胁”的方法。相反，他的团队正借助复旦大学大数据研究院院长吴江兴院士提出的“内生安全理论”，致力于构建一种新的生成式人工智能治理模型。
“我们能在未知风险爆发前找到抵御它的方法吗？这是生成式人工智能内生安全治理要解决的问题。”赵兴说，“我们需要在人工智能的风险到来之前，为人类社会点亮一棵新的技能树:处理人工智能非传统安全问题的能力。”
生成式人工智能的治理模型涵盖三个层面。最外层是法律的监督和规范，中间层是管理的敏捷治理，最里层是教育。在法律和政府治理之前，高校应该和所有教育机构一起完成全人类的社会融合人工智能的教育和培训。
“我们应该让每一个年轻人在成长过程中学会如何与人工智能良好共处，避免‘信息茧房’，学会如何在智能社会中做一个‘好人’。”
内生安全治理模型的原理是基于群体智能，将个体的“未知的未知”转化为群体的“已知的未知”，从而进一步转化为“已知的未知”。
“当我们知道可能的风险是什么，发生在哪里，生成式人工智能治理就有机会变成常规的安全问题，我们就可以尝试找到治理闭环的实现。”赵兴说，“但是，这还需要理论和实践的长期探索。”
赵星团队也开始探索生成式人工智能在科学评价中的应用，创新性地构建了“客观数据、智能算法、专家评价”和谐共存的“数字智能”评价与治理新范式。最近，该团队还在进行一项探索性实验，以使用类似ChatGPT的工具构建一个智能评估系统。
“初步结果表明，虽然现阶段的生成式人工智能还远不能胜任学术评价等严肃评价，”赵星说，“但生成式人工智能的跨学科评价能力和突现式推理预测潜力值得高度关注。”
责任编辑：邓玲玮图片编辑：朱伟辉校对：张亮亮