- 0
- 0
- 0
分享
- 如何在智能设计中构建触觉体验?
-
原创 2023-01-03
内容摘要
触觉本身包括多模态的信息,本文聚焦智能设计中触觉体验的建构,分析了触觉多模态信息(力度、刚度、纹理、温度等)和多通道感官线索(触觉、视觉、听觉等)如何影响触觉感知,提出了智能设计中以触觉多模态信息构建为主,基于伪触觉反馈的多模态搭配与转化为辅的触觉体验的构建框架,探索触觉本身的触感反馈与力感反馈以及伪触觉反馈机制,为解决智能设计中触觉反馈的受限问题提供思路。
关键词:触觉、智能、交互设计、多模态、伪触觉
当前,语音和屏幕成为绝大多数智能产品的交互媒介,交互模式的设计趋同限制了自然交互的发展,使智能产品用户体验难以提升。触觉是人类认识并理解事物的重要手段,真实触觉体验对智能产品自然交互的积极影响不可忽视。随着触觉交互技术的发展,多模态触觉信息和非触觉感官的触感融合可以为智能产品的触觉体验深度开发提供参考。
1
触觉感知
2
触觉交互在智能设计中的应用
图1.真实油门踏板上的触觉交互反馈
虚拟场景的触觉交互是目前的热点研究领域。在虚拟场景中,触觉交互的引入使操作者可以感知甚至操作人工虚拟环境,增强了虚拟场景的真实感。在这方面,Fermoselle等为虚拟现实共享社交添加了触觉交互模式,当两个用户在虚拟环境中击掌时能够感知到手柄传递的触觉反馈。[9]Shim等将多维皮肤拉伸设备应用到包含拳击、手枪、射箭、弹弓、攀爬等虚拟场景中。用户在每个场景中进行不同的交互时,设备会根据不同刺激强度为用户手臂皮肤提供相应的触觉反馈,创造虚拟环境中复杂运动的触觉体验。[10](图2)Hoffard等研发使用振动作为触觉反馈方法的VR滑雪训练系统,为在室内模拟器上移动的用户提供振动触觉反馈,以收到更好的训练效果。[11](图3)
图3.VR滑雪训练系统触觉反馈
3
多模触觉反馈与伪触觉反馈
1.多模触觉反馈
4
基于多模触觉反馈与伪触觉反馈的智能设计触觉体验构建
图5.力反馈数据手套SenseGloveNova,图片来源:https://www.senseglove.com/
图6.Meta最新力反馈数据手套原型,图片来源:https://www.facebook.com/
图7.触觉反馈手控器CLAW:(左)抓握、(中)触摸、(右)触发
图8.触觉反馈手控器Haptic Revolver
图9.触觉反馈手控器Haptic Links
图10.触觉反馈操纵杆Novint Falcon,图片来源:https://m.gougoujp.com/aucitem
一是面临视触信息不对称的任务模式时,以视觉信息对应真实信息。在基于触觉的智能设计中,交互中的触觉信息与视觉信息会有不同,允许信息冲突,但用户对准确信息的把握以视觉信息为主[26],因此要以视觉信息对应真实信息。
二是视觉和触觉信息的权重分配要看交互任务的类型。当智能系统涉及空间交互任务时,视觉触觉耦合中的视觉优势更强[27],此时触觉体验以视觉的伪触觉反馈为主;当感知物体纹理和材料特性时,触觉比视觉模态具有更高精度,感官倾向于触觉[28],信息权重分配上要强化触觉。
三是视觉与触觉融合的多模态信息的连贯与同步。在交互任务中,伪触觉反馈同步将视觉反馈与用户运动或动作相结合,使主体在交互中获得动作感知的连贯性与触觉感知的准确性。
四是触觉感官自身的视觉空间性。触觉刺激的表征不仅由皮肤感受器的位置确定,视觉上的空间参考(距离、位置、大小、位移幅度等)也是主要因素。[29]智能设计中需要关注触觉刺激所在的外部空间位置及其与用户的关系,用户对触觉刺激的反应可以通过视觉性空间感知增强或减弱。
五是视觉与触觉多模态搭配与转化的触觉体验因个体差异而有不同。例如,在使用伪触觉反馈的刚度辨别任务中,有人倾向于触觉感知本身,有人则认为伪触觉反馈的触觉感知更明显。[30]因此,要结合用户个体差异等来调整智能设计中伪触觉反馈方面的工作。
六是伪触觉反馈使“触摸”对象可根据体验需要进行即时编辑处理。一般触觉反馈使用固定设备或道具,与被操纵虚拟对象具有相同的恒定状态。而伪触觉反馈则使“触摸”对象的纹理、刚度或质量等属性可根据体验需要进行即时编辑,动态处理。例如数字肌理通过图形的像素、色彩的变化来模拟真实物体的肌理效果,为伪触觉反馈提供了方便快捷的肌理编辑工具。图形设计软件Photoshop中的Patchtool(修补工具)与Healing Brush(修复画笔),以及Coreldraw中的艺术笔触等工具都是肌理编辑工具,一旦物体肌理被数字化,就可以根据触感需要设定目标肌理,产生与目标对象无缝结合的“触摸”效果。
结 语
触觉反馈相关研究在持续推进,但不可否认的是,人类触觉感受器的灵敏度非一般触觉呈现设备所能企及。目前各类触觉反馈技术即便能够实现某一模态触觉信息的反馈,但其触感和力感体验远不能准确复现真实触觉,并且目前难以实现多模态触觉信息的融合反馈与再现。正因为此,也就显示出在智能设计中,以触觉自身多模态信息为主,辅以伪触觉反馈,以构建触觉体验的必要性。在此背景下,本文讨论了面向智能设计的基于触觉自身多模态信息,以及伪触觉反馈的触觉体验构建问题,以实现在现存局限性中拓展智能设计触觉体验的理论与技术方法,借助人工智能技术提高用户的触觉体验,进一步提高设计质量。
[1] 顾曰国:《多模态感官系统:天官、仿人机器人、“修辞即做人”新释》[J],《当代修辞学》,2019年第5期,第48—67页。[2] Sathian K .Analysis of Haptic Information in the Cerebral Cortex. Journal of Neurophysiology, 2016: 1795—1806.
[3] 陈思、张建朋、彭争春、丁建宁:《从触觉感知到触觉智能——漫谈2021年度诺贝尔生理学或医学奖》[J],《科学通报》,2022年第6期,第561—566页。
[4] 范俊君、田丰、杜一、刘正捷、戴国忠:《智能时代人机交互的一些思考》[J],《中国科学:信息科学》,2018年第4期,第361—375页。
[5] 宋爱国、田磊、倪得晶:《多模态力触觉交互技术及应用》[J],《中国科学:信息科学》,2017年第9期,第1183—1197页。[6] Ruiter AD, Alonso M B. Designing Haptic Effects on an Accelerator Pedal to Support a Positive Eco Driving Experience[C]. Proceedings of the 11th International Conference on Automotive User Interfaces and Interactive Vehicular Applications. Association for Computing Machinery, 2019: 319-328.
[7] 於文苑、刘烨、傅小兰、龚江涛、徐迎庆:《触觉二维图像识别的认知机制》[J],《心理科学进展》,2019年第4期,第611—622页。
[8] 焦阳、龚江涛、徐迎庆:《盲人触觉图像显示器Graille设计研究》[J],《装饰》,2016年第1期,第94—96页。[9] Fermoselle L, Gunkel S, Frankterter Haar, etal. Let’s Get in Touch! Adding Haptics to Social VR[C]. In ACM International Conference on Interactive Media Experiences. Association for Computing Machinery, 2020: 174–179.
[10] Shim YA, Kim T, Lee G. Quad Stretch: A Forearm-wearable Multi-dimensional Skin Stretch Display for Immersive VR Haptic Feedback[C]. In CHI Conference on Human Factors in Computing Systems Extended Abstracts (CHIEA'22). Association for Computing Machinery, 2022: 1-4.
[11] Hoffard J, Nakamura T, Wu E, etal. Push To Ski-An Indoor Ski Training System Using Haptic Feedback[C]. In ACM SIGGRAPH 2021 Posters (SIGGRAPH'21). Association for Computing Machinery, 2021: 1-2.
[12] Wang D, Ohnishi K, Xu W. Multimodal Haptic Display for Virtual Reality: A Survey[J]. IEEE Transactions on Industrial Electronics, 2020, 67(1): 610-623.
[13] 祁彬斌、胡玉宁、朱学芳:《面向盲人阅读的触觉交互服务框架构建与应用研究》[J],《图书情报工作》,2019年第14期,第20—29页。
[14] 聂新明、王晨、赵新生、王勋、田亚平:《力触觉融合式儒家六艺活态传承微型学习技术环境的构建》[J],《现代教育技术》,2019年第8期,第7页。
[15] Lécuyer A, Coquillart S, Kheddar A, etal. Pseudo-haptic Feedback: CanIsometric Input Devices Simulate Force Feedback? [C]. Proceedings of the IEEE International Conference on Virtual Reality. 2000.
[16] 王立平、库逸轩:《触觉—触觉单一模式和听觉—触觉交叉模式工作记忆的神经机制的研究》[J],《心理科学》,2010年第5期,第1062—1066页。
[17] 杨振、李宏汀、马舒、万必成:《应用“有声有色”的触觉体验:来自多感觉通道整合的线索》[J],《心理科学进展》,2022年第3期,第580—590页。
[18] Strese M, Brudermueller L, Kirsch J, et al. Haptic Material Analysis and Classification Inspired by Human Exploratory Procedures[J]. IEEE transactions on haptics, 2019, 13(2): 404-424.
[19] 同 [5]。
[20] Sinclair M. et al. Three Haptic Shape-Feedback Controllers for Virtual Reality[C]. 2018 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), 2018: 777-778.
[21] 同 [7]。
[22] Lécuyer A. Simulating Haptic Feedback Using Vision: A Survey of Research and Applications of Pseudo-Haptic Feedback[J],Presence, 2009: 39–53.
[23] 同 [7]。
[24][25] 同 [15]。
[26][27] 同 [22]。
[28] Hatwell Y, Streri A, Gentaz E. Touching for Knowing[M]. Amsterdam: John Benjamins Publishing Company, 2003.
[29] 尹天子、黄希庭:《触觉时序知觉的手臂交叉效应》[J],《西南大学学报》(社会科学版),2011年第5期,第38—44页。
[30] Lécuyer A, Burkhardt J M, Coquillart S, et al. Boundary of Illusion: An Experiment of Sensory Integration with a Pseudo-haptic System[C]. Proceedings IEEE Virtual Reality 2001, 2001: 115—122.[31] 同[17]。
*基金项目:本文为中央高校基本科研业务费专项资金资助项目的研究成果。
《装饰》杂志欢迎您的来稿
E-mail:zhuangshi689@263.net
地址:北京市海淀区清华园清华大学美术学院A431 中国装饰杂志社编辑部
电话:010-62798189 010-62798878
邮编:100084
官网:http://www.izhsh.com.cn
建议邮件 书信亦可
在微信中回复“投稿”即可获得投稿须知
投稿1.5月后可致电(010-62798878)查询初审结果
-
阅读原文
* 文章为作者独立观点,不代表数艺网立场转载须知
- 本文内容由数艺网收录采集自微信公众号装饰杂志 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。