- 0
- 0
- 0
分享
- AIR学术沙龙第19期 | 杨铮:无线感知为AI开启新感官
-
原创 2022-04-08
相比于视觉感知,目前无线感知被了解的太少,需要其他领域的研究人员共同推进技术进步与产业化。
——杨铮
活动概况
4月7日下午,第19期AIR学术沙龙如期举行。本期活动荣幸地邀请到了清华大学软件学院副教授、博士生导师杨铮为我们做题为《无线感知为AI开启新感官》的报告。
本次活动由清华大学国强教授、智能产业研究院首席研究员刘云新主持,AIR官方视频号和b站同步直播,当日线上逾1100次观看,目前共计触达人数近2400人。
讲者介绍
杨铮,清华大学软件学院副教授,博士生导师。研究方向为物联网与工业互联网,曾获得国家自然科学奖二等奖。电气与电子工程师学会会士(IEEE Fellow)、入选国家青年拔尖人才计划(万人计划)、北京市科技新星,获得国家优秀青年科学基金资助。
报告内容
无线感知指的是使用日常通信的无线信号,例如WiFi,5G等,实现对环境的感知。这些通信信号之所以也能用来感知,是因为信号发射机产生的无线电波,在信号接收机处形成的多径叠加信号,能够携带反映环境特征的信息。
从大方向来讲,无线感知属于“感知通信一体化”,即未来我们希望所用来通信的信号不仅可以传输数据,还可以用来感知。其实,我们现有的通信技术都在向这个方向演化。无线感知作为一种非接触式的感知方式,也有很多潜在应用,例如安防场景中的入侵检测,医疗场景中的睡眠检测,或者一种新型的人机交互手段,用于控制电视、游戏等。
无线感知与视觉感知
杨教授首先对比了无线感知和视觉感知的一些相同点和不同点:
首先,射频信号和可见光信号的本质都是电磁波,但是频率不同,无线射频的频率一般比可见光的频率要低。其次,无线射频一般把频段分为子载波进行通信,而可见光一般被划分为RGB通道。最后,无线射频一般通过反射、透射来传播,通过天线来接收,而可见光一般通过漫反射来传播,一般通过光学透镜汇聚到成像平面来接收。
从感知流程来看,无线感知与视觉感知基本相同。无线感知使用AP接收和发送数据,对应的是视觉领域使用摄像头拍照得到图像。在数据预处理阶段,视觉领域需要对图像进行去噪等操作,在射频部分也会进行滤波。在特征提取方面,视觉领域可以用卷积神经网络等方法,而射频感知也要在频谱中提取环境相关的一些特征。算法方面,目前最主流的是深度神经网络,在视觉和射频领域都是可以应用的,最后,我们都会得到一个判定结果,例如对人类姿态的判别。
无线感知的特征提取
在特征提取方面,无线感知与视觉感知是互补的,我们可以综合利用它们的优势。无线感知的重要特征有到达角(AoA)、信号飞行时间(ToF)和多普勒频偏(DFS),它们使无线射频感知非常容易获得物体的深度信息和运动速度,而视觉方法不太容易获得这些信息,除非使用深度摄像头或者slam等方法。
除此之外,还可以通过无线射频信号提取一个类似于图像的特征,即信号谱,之后就可以使用视觉领域的方法来提取信号中的特征了。例如杨教授团队的工作Wdiar3.0使用的就是这种思路:
无线感知的算法
深度学习算法在视觉感知领域非常成功,在无线感知领域,通常可以将信号谱当做一个图像或者视频,直接应用视觉的神经网络来处理。早期的使用深度学习来处理无线信号的工作确实也是这样做的,如下面的两篇工作,分别用卷积神经网络和循环神经网络来提取信号谱的特征:
这样做确实是有效果的,但是如果能利用无线射频信号独有的特征,则可以取得更好的效果。杨教授的团队正努力在这个方向进行探索。
无线感知的数据集
数据集对于科学研究是很重要的,但是相比于视觉领域大量的数据集,无线感知领域的数据集规模一般比较小,场景也比较有限。这首先是因为数据很难采集。无线感知对场景的依赖很高,在数据采集时发射机和接收机摆放方式等都会影响数据集质量。其次,数据集的标注也很困难,面对图像数据,人类可以很容易地标注,但是面对信号谱,就很难标注了。
面对这个问题,杨教授的团队在widar3.0工作中构建了一个无线射频信号的手势识别数据集,包括在75个环境中采集的接近26万组手势动作,持续时间8620分钟,大小为325GB。此外,它所包含的数据特征也是非常丰富的,既包括WiFi(CSI)的原始信息,也包括在此基础上提取的更高阶特征,例如DFS和BVP等,它所包括的动作种类也是最丰富的。
总结与展望
无线感知领域有很多研究方向,杨教授认为,其中几个比较重要的是:首先是寻找环境无依赖的感知技术,保证在某一个环境训练出来的算法可以应用于其他环境。其次是探索适用于无线感知的小样本训练策略,因为无线感知领域构建数据集非常困难,所以可以在算法上降低无线感知算法对大规模数据集的依赖。再次是提出适用于无线射频信号的多模态融合框架,综合利用无线射频信号和可见光信号等多种模态的信号。最后是针对通信标准演进带来的各类新波形特性,从视觉成像原理中寻找灵感,助力高性能的无线感知模型设计。
无线感知技术经过约10年的发展,各类基础性、验证性的工作已经完成,在部分智能家居场景也取得了应用效果。但是,相比于视觉感知,目前无线感知被了解的太少,需要其他领域的研究人员共同推进技术进步与产业化。
文稿撰写 / 温 皓
排版编辑 / 魏欣葳
校对责编 / 黄 妍
关于AIR
-
阅读原文
* 文章为作者独立观点,不代表数艺网立场转载须知
- 本文内容由数艺网收录采集自微信公众号清华大学智能产业研究院 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。