资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

Hinton坐阵!斯坦福CS25 Transformer专题讲座更新:多位AI大佬齐聚

2022-08-25




  新智元报道  

编辑:David Joey
【新智元导读】斯坦福大牛Christopher Manning开设的Transformer联合讲座课程更新啦!这期请来的是Hinton大神。

图灵奖得主、深度学习教父Geoffrey Hinton在斯坦福线上开课啦?
 
本课程是斯坦福大学计算机科学家Christopher Manning教授开设的CS25: Transformers United联合讲座课程。
 
课程邀请了学术界和产业界关于Transformer架构的知名学者和工程师主讲,来自谷歌、OpenAI、牛津大学、Meta AI、DeepMind等学术机构和企业。
 
 
本讲座共分10期,随授课内容推进而陆续在线更新视频。(第一期为总览介绍)
 
最近更新的是最后一期,主讲人是大名鼎鼎的人工智能领域先驱人物、图灵奖得主Geoffrey Hinton。
 
讲座链接就放在这里啦,有兴趣的童鞋可以看看~
https://www.youtube.com/playlist?list=PLoROMvodv4rNiJRchCzutFw5ItR_Z27CM
 
 
这期课程中,Hinton提出了一个关于表征的新想法,名为GLOM的想象系统,由几个不同团队研究成果的结合。
 
其中包括Transformer、神经场、对比性表征学习等内容。GLOM要解决的问题是,一个具有固定架构的神经网络如何能将一幅图像解析成一个「部分-整体」的层次结构,且结果对每一幅图像都是不同的?
 
GLOM背后的想法很简单,就是用相同矢量的岛屿来表示解析树中的节点。在这期讲座中,将讨论这个想法的影响。如果GLOM能够发挥作用,那么当其用于视觉或语言时,应该能极大地改善由类似transformer系统产生的表示的可解释性。
 
 
Hinton在这期讲座中将最近神经网络领域的三个重要成果融合在了一起,即Transformer、通过对比协议的非监督学习的视觉表示、以及使用神经野图像的生成模型。
 
 
Hinton表示,他将这三项成果组合在一起,搞出一个新的图像视觉系统,名叫GLOM, 比现有深度网络更接近人类认知。
 
Geoffrey Hinton是多伦多大学的名誉教授,深度学习界的领军人物,是引入反向传播算法的先驱研究者之一,并与他的研究小组一起,为推动神经网络领域的发展做出了重大突破和贡献。
 
 
Hinton荣誉等身,曾获David E. Rumelhart奖、IJCAI卓越研究奖、Killam工程奖、IEEE Frank Rosenblatt奖章、NSERC Herzberg金奖、IEEE James Clerk Maxwell金奖、NEC C&C奖、BBVA奖、本田奖和图灵奖。
 
说了那么多,先来看看这十期课程都有哪些干货吧~
 
1.Introduction to Transformers(引入课程)
 
主讲人: Div Grag,Chetanya Rastogi,Advay Pal
 
 
推荐阅读:Attention Is All You Need
论文地址:https://arxiv.org/abs/1706.03762
 
 
2.Transformers in Language: GPT-3, Codex
 
主讲人:Mark Chen (OpenAI)
 
这节课的主讲人Mark Chen是来自OpenAI的一名研究科学家,负责管理OpenAI的算法团队。
 
他的研究兴趣包括生成建模和表示学习,尤其是在图像和多模态领域。Mark毕业于麻省理工学院,值得一提的是,Mark还是美国计算机奥赛的教练。
 
 
本节课程回顾了神经语言建模的最新进展,并讨论了生成文本(generating text)和解决下游任务之间的联系,并探讨OpenAI开发GPT模型的过程。接下来,我们将看到如何使用相同的方法在图像、文本到图像和代码等其他领域生成生成模型和强表示。课程最后,我们将深入研究最近发布的代码生成模型 Codex。
 
3.Transformers in Vision: Tackling problems in Computer Vision
 
主讲人:Lucas Beyer (Google Research Brain Team)
 
 
推荐阅读:An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
论文地址:https://arxiv.org/abs/2010.11929
 
4. Decision Transformer: Reinforcement Learning via Sequence Modeling
 
主讲人:Aditya Grover
 
 
推荐阅读:Pretrained Transformers as Universal Computation Engines
论文地址:https://arxiv.org/abs/2103.05247
 
5. Mixture of Experts (MoE) paradigm and the Switch Transformer
 
主讲人:Barret Zoph (Google Brain) ,Irwan Bello,Liam Fedus
 
 
6.Deep Mind's Perceiver and Perceiver IO: new data family architecture
 
主讲人:Andrew Jaegle (DeepMind)
 
 
7.Self Attention and Non-parametric transformers (NPTs)
 
主讲人:Aidan Gomez (University of Oxford)
 
 
8.Transformer Circuits, Induction Heads, In-Context Learning
 
主讲人:Chris Olah (Anthropic AI)
 
 
9.Audio Research: Transformers for Applications in Audio, Speech and Music
 
主讲人:Prateek Verma (Stanford)
 

参考资料:
https://twitter.com/DivGarg9/status/1545541542235975682?s=20&t=_Ed9dpjD9Qpx4svpMNDIKQ&fbclid=IwAR2tnSQROnkOQl15aa6nkfNFaJdrnZQHDbidooDaQRJALlWsYMiQU_37dn4
https://web.stanford.edu/class/cs25/

阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号新智元 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

数字媒体艺术 新媒体艺术 专题讲座 AI大佬

11359 举报
  0
登录| 注册 后参与评论