- 0
- 0
- 0
分享
- 直播回放 | “从ChatGPT谈AI技术创新、发展与全球化“,深度解读ChatGPT的发展和影响
-
2023-02-13
最近美国人工智能研究实验室OpenAI开发的一款人工智能对话机器人ChatGPT疯狂圈粉,它能作诗、能写新闻报道、能写机构研报,甚至可以编写程序代码。上线5天注册用户破百万,上线两个月后,月活跃用户破亿,成为史上用户增长速度最快的消费级应用程序。
基于此背景,清华大学人工智能国际治理研究院(I-AIIG)联合微博科技于2023年2月11日(周六)晚19:00,推出主题连麦直播活动。清华大学交叉信息研究院助理教授、人工智能国际治理研究院国际交流项目主任于洋与清华大学计算机科学与技术系长聘副教授黄民烈共同围绕 《从ChatGPT谈AI技术创新、发展与全球化》展开讨论,对ChatGPT的发展和影响做出深度解读,线上互动取得热烈反响。
# 内容总结 #
1、ChatGPT不是原发创新,而是场景创新。回顾了ChatGPT的四个思想源头:语言模型、大规模模型、预训练、RL结合NLP
2、中美在研发能力上差距不大,区别在于a资本的能力弱,b数据产业薄弱、数据质量低、数据孤岛
3、ChatGPT的三个治理难题:知识产权、信息真实、价值观,都是前沿难题
今天我们看到有很多人说,好像ChatGPT是一个从零到一的原发性的创新,或者说它是一个基础理论的创新,这是不对的。实际上它有三个真正的重要的创新节点,第一个节点是06年用人工神经网络、用RNN框架去做语言,提出了建模的思想;第二个重要创新节点是谷歌的大模型,就是从RNN到Transformer以后可以做一个大模型;然后另外一支的思想是预训练的思想,它也是在RNN基础上去做预训练,我们可以通俗地理解为我们先把一个半成品做好,在这个半成品的基础上,大家可以去开发各种各样的思想。所以无论是ChatGPT,还是它的基础GPT3或者GPT3.5,都是基于这样的思想,一个模型一个模型的推进。
——清华大学交叉信息研究院助理教授、人工智能国际治理研究院国际交流项目主任于洋@于三羊鲜声
Transformer架构出来之后很快就出来了BERT,然后出现了ChatGPT。BERT是一个用来做理解的模型,不是用来做生成的模型,也就是今天AIGC为什么这么火的原因?是因为AIGC改变了一切,在它之前大家都是做理解模型,所谓做理解就是我可以做分类,然后打标签,或者做个磁性标注,这是做理解任务,是BERT这种模型做的事情。GPT这种模型叫做生成模型,也就是我要给定我特定的上下文去生成下一个token,然后再一个一个的把token生成出来。它们的任务不同,但它们底层的网络架构都是大同小异的,有一些细微的差别,但是差别不大。所以其实对于GPT而言,它的本质还是Transformer的底层架构,比如说我们有了大数据,我们可能要在训练方法上要做一些优化和调整,让它能够去适应更大的数据,避免训着训着崩盘,往后的发展基本上是小修小补,做一些训练和工程上的一些优化。
——清华大学计算机科学与技术系长聘副教授黄民烈@清华黄民烈
获悉更多关于《从ChatGPT谈AI技术创新、发展与全球化》的讨论详情和对ChatGPT的发展和影响的深度解读,欢迎大家观看直播活动回放:
https://weibo.com/detail/4868034391445858
也欢迎各位读者持续关注清华大学人工智能国际治理研究院同名官方新浪微博,研究院未来将在该平台上推出更多精彩内容!
关于我们
清华大学人工智能国际治理研究院(Institute for AI International Governance, Tsinghua University,THU I-AIIG)是2020年4月由清华大学成立的校级科研机构。依托清华大学在人工智能与国际治理方面的已有积累和跨学科优势,研究院面向人工智能国际治理重大理论问题及政策需求开展研究,致力于提升清华在该领域的全球学术影响力和政策引领作用,为中国积极参与人工智能国际治理提供智力支撑。
新浪微博:@清华大学人工智能国际治理研究院
微信视频号:THU-AIIG
Bilibili:清华大学AIIG
来源 | 点击“阅读原文”获取连麦活动回放链接
-
阅读原文
* 文章为作者独立观点,不代表数艺网立场转载须知
- 本文内容由数艺网收录采集自微信公众号清华大学人工智能国际治理研究院 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。