资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

AIR学术沙龙第19期 | 杨铮:无线感知为AI开启新感官

原创 2022-04-08

相比于视觉感知,目前无线感知被了解的太少,需要其他领域的研究人员共同推进技术进步与产业化。

——杨铮


活动概况


4月7日下午,第19期AIR学术沙龙如期举行。本期活动荣幸地邀请到了清华大学软件学院副教授、博士生导师杨铮为我们做题为《无线感知为AI开启新感官》的报告。



本次活动由清华大学国强教授、智能产业研究院首席研究员刘云新主持,AIR官方视频号和b站同步直播,当日线上逾1100次观看,目前共计触达人数近2400人。



讲者介绍



杨铮,清华大学软件学院副教授,博士生导师。研究方向为物联网与工业互联网,曾获得国家自然科学奖二等奖。电气与电子工程师学会会士(IEEE Fellow)、入选国家青年拔尖人才计划(万人计划)、北京市科技新星,获得国家优秀青年科学基金资助。


报告内容


无线感知指的是使用日常通信的无线信号,例如WiFi,5G等,实现对环境的感知。这些通信信号之所以也能用来感知,是因为信号发射机产生的无线电波,在信号接收机处形成的多径叠加信号,能够携带反映环境特征的信息。



从大方向来讲,无线感知属于“感知通信一体化”,即未来我们希望所用来通信的信号不仅可以传输数据,还可以用来感知。其实,我们现有的通信技术都在向这个方向演化。无线感知作为一种非接触式的感知方式,也有很多潜在应用,例如安防场景中的入侵检测,医疗场景中的睡眠检测,或者一种新型的人机交互手段,用于控制电视、游戏等。


无线感知与视觉感知 


杨教授首先对比了无线感知和视觉感知的一些相同点和不同点:



首先,射频信号和可见光信号的本质都是电磁波,但是频率不同,无线射频的频率一般比可见光的频率要低。其次,无线射频一般把频段分为子载波进行通信,而可见光一般被划分为RGB通道。最后,无线射频一般通过反射、透射来传播,通过天线来接收,而可见光一般通过漫反射来传播,一般通过光学透镜汇聚到成像平面来接收。

 


从感知流程来看,无线感知与视觉感知基本相同。无线感知使用AP接收和发送数据,对应的是视觉领域使用摄像头拍照得到图像。在数据预处理阶段,视觉领域需要对图像进行去噪等操作,在射频部分也会进行滤波。在特征提取方面,视觉领域可以用卷积神经网络等方法,而射频感知也要在频谱中提取环境相关的一些特征。算法方面,目前最主流的是深度神经网络,在视觉和射频领域都是可以应用的,最后,我们都会得到一个判定结果,例如对人类姿态的判别。


无线感知的特征提取 


在特征提取方面,无线感知与视觉感知是互补的,我们可以综合利用它们的优势。无线感知的重要特征有到达角(AoA)、信号飞行时间(ToF)和多普勒频偏(DFS),它们使无线射频感知非常容易获得物体的深度信息和运动速度,而视觉方法不太容易获得这些信息,除非使用深度摄像头或者slam等方法。


除此之外,还可以通过无线射频信号提取一个类似于图像的特征,即信号谱,之后就可以使用视觉领域的方法来提取信号中的特征了。例如杨教授团队的工作Wdiar3.0使用的就是这种思路:


 


无线感知的算法 


深度学习算法在视觉感知领域非常成功,在无线感知领域,通常可以将信号谱当做一个图像或者视频,直接应用视觉的神经网络来处理。早期的使用深度学习来处理无线信号的工作确实也是这样做的,如下面的两篇工作,分别用卷积神经网络和循环神经网络来提取信号谱的特征:

 


这样做确实是有效果的,但是如果能利用无线射频信号独有的特征,则可以取得更好的效果。杨教授的团队正努力在这个方向进行探索。


无线感知的数据集 


数据集对于科学研究是很重要的,但是相比于视觉领域大量的数据集,无线感知领域的数据集规模一般比较小,场景也比较有限。这首先是因为数据很难采集。无线感知对场景的依赖很高,在数据采集时发射机和接收机摆放方式等都会影响数据集质量。其次,数据集的标注也很困难,面对图像数据,人类可以很容易地标注,但是面对信号谱,就很难标注了。


面对这个问题,杨教授的团队在widar3.0工作中构建了一个无线射频信号的手势识别数据集,包括在75个环境中采集的接近26万组手势动作,持续时间8620分钟,大小为325GB。此外,它所包含的数据特征也是非常丰富的,既包括WiFi(CSI)的原始信息,也包括在此基础上提取的更高阶特征,例如DFS和BVP等,它所包括的动作种类也是最丰富的。

 


 

总结与展望


无线感知领域有很多研究方向,杨教授认为,其中几个比较重要的是:首先是寻找环境无依赖的感知技术,保证在某一个环境训练出来的算法可以应用于其他环境。其次是探索适用于无线感知的小样本训练策略,因为无线感知领域构建数据集非常困难,所以可以在算法上降低无线感知算法对大规模数据集的依赖。再次是提出适用于无线射频信号的多模态融合框架,综合利用无线射频信号和可见光信号等多种模态的信号。最后是针对通信标准演进带来的各类新波形特性,从视觉成像原理中寻找灵感,助力高性能的无线感知模型设计。


无线感知技术经过约10年的发展,各类基础性、验证性的工作已经完成,在部分智能家居场景也取得了应用效果。但是,相比于视觉感知,目前无线感知被了解的太少,需要其他领域的研究人员共同推进技术进步与产业化。


 

文稿撰写 / 温   皓

排版编辑 / 魏欣葳

校对责编 / 黄   妍



关于AIR



清华大学智能产业研究院(Institute for AI Industry Research, Tsinghua University,英文简称AIR,THU)是面向第四次工业革命的国际化、智能化、产业化的应用研究机构。AIR的使命是利用人工智能技术赋能产业升级、推动社会进步。通过大学与企业创新双引擎,突破人工智能核心技术,培养智能产业领军人才,推动智能产业跨越式发展。

AIR于2020年由多媒体及人工智能领域的世界级科学家、企业家张亚勤院士创建。

智慧交通(AI+Transportation)、智慧物联(AI+IoT)、智慧医疗(AI+Healthcare)是清华大学智能产业研究院的三个重点研发方向。

阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号清华大学智能产业研究院 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

无线感知 数字媒体艺术 新媒体艺术 科技艺术

14429 举报
  0
登录| 注册 后参与评论