资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

探索音乐和舞蹈的跨媒介合作之旅 | 北师大“未来设计种子基金”项目

原创 2022-08-20



北京师范大学未来设计学院以北京师范大学现有优势学科为基础,根植于艺术、科技、教育的交叉领域,开展在人文、艺术、设计、科技、社科等领域的研究和广泛的跨界合作,以及研究、教育、实践一体化,形成以学科互补、问题驱动、项目导向为特色的教学,设立设计与未来生产、生活方式,艺术与科技,设计与教育三个研究方向。


基于以上三个研究方向,北师大未来设计学院推出“未来设计种子基金”,面向全球遴选优秀创新设计或研究项目。首届“未来设计种子基金”入围的26个设计、研究项目,基于新技术革新及新文化形态建设,具有实验性和市场前瞻性,有助于设计与未来生产、生活方式,艺术与科技,设计与教育三个研究方向的延展。


北师大希望通过扶持项目,创造北师大与国际、国内知名高校关于未来创新设计的合作机会,搭建设计学科交流平台,开拓创新型教育合作伙伴,促进北师大设计学科发展、融合。


作为北师大“未来设计种子基金”最终入围项目之一,“跨媒介合作创作系统的研究与设计”从设计与未来生产、生活方式研究方向出发,寻找音乐创作人和舞蹈创作者智能优化合作方式,用设计思维改变未来生产、生活方式。


“跨媒介合作创作系统的研究与设计”从拉班舞谱 / 动作图像 / 动作捕捉数据和乐谱 / 乐曲等角度出发,对舞蹈和音乐进行分析研究,结合人工智能算法进行合作创作系统的研究与设计,为艺术家带来全新的合作创作模式。


近日,“跨媒介合作创作系统的研究与设计”项目主创人之一于博柔就项目的开展情况进行分享。


Q1

问:能否简单介绍一下这个项目?为什么想要做这个项目?

Question

于博柔:DAMUS是一个计算机辅助舞蹈和音乐的合作创作系统,由舞蹈模块DA和音乐模块MUS共同构成。该系统最终将以一个生成模型的集合体运行,并以协作的方式利用机器学习、进化计算和约束优化等技术。通过算法优化达成舞蹈家和音乐家的预合作基础,减少沟通成本,激发动态的创造性表达。

 DAMUS跨媒介合作创作系统

||

舞蹈模块+音乐模块


想要做这个项目是因为团队成员编舞者于博柔和作曲者周天歌发现行业内的低效合作困境,希望在计算机系统的辅助下使困境得到改善。


 DAMUS研究设计流程图示


 跨媒介合作创作的智能系统设计构架图


Q2

问:项目的主要亮点是什么?

Question

于博柔:DAMUS是一个尽可能以最大程度还原艺术创意者思维方式的系统,而不是用人工智能代替创意者思想的系统。它将大幅度减少合作创作过程中纯粹劳动力的部分,为没有时间成本磨合的编舞者和作曲者建立预合作基础。同时,作为一种教育工具,它也在一定程度上降低了初学者合作创作的基础,符合新时代全民艺术创作的需求。


实时采集到的舞者身上的反光标记点

以及通过算法计算得到的三维人体骨骼信息


舞者身穿动作捕捉专用服装进行相机阵列

的初始标定


芭蕾舞者和汉唐舞者的标志姿态和精彩瞬间


Q3

问:目前,项目的进展如何?项目推进过程中有没有什么困难?

Question

于博柔:目前,项目已完成中期汇报,正在推进更完整的分析工具和创意算法的构建。困难和挑战当然是有的,由于系统旨在建立多种舞蹈类型和曲风的合作创作,故存在大量的资料库搭建工作。同时,构建这样一个多模态的合作创作机制,不仅仅是单一完成舞蹈算法和音乐算法这样简单,对于如何实现真实的优质合作状况也要下功夫。


音乐舞蹈深层关联分析图


拉班舞谱/音乐/影像数据库示例


 

舞蹈 / 动捕 / 舞谱

对应关系构建:具象人体——抽象舞谱


 

舞蹈 / 动捕 / 舞谱

对应关系构建:抽象舞谱——数字系统



Q4

问:我们知道项目的主创人员来自不同领域,能否与我们分享一下合作过程中有意思的经历?

Question

于博柔:这个问题很棒,这也是我们觉得最棒的部分。我们有艺术设计背景的团队成员,也有科学技术背景的团队成员,我们时常出现要把一句中文翻译成另一句中文,或者一句英文翻译成另一句英文的跨学科对话状况。通过一次又一次的交流和碰撞,让我们真正地理解跨学科的许多底层逻辑和干货。所以,做项目的同时,我们也在共同成长。


舞谱数字化转译与分析


学习与图谱改编


数字舞谱符号化、视觉化



Q5

问:你们对未来设计有什么样的理解?在你们看来,未来设计将有哪些方面的发展趋势?

Question

于博柔:高效、平等、有趣、互助互利。我们相信未来一定是一个有更多人参与设计与创作的时代。多元世界也会使定制化、个性化的产品越来越占据消费主体。当然,不同设计工具之间的互通性也会是一个趋势。


专业舞者、研究人员和技术人员

观看并检查三维动作捕捉数据


Q6

问:为什么申请北师大“未来设计种子基金”?你期望本次申请的种子基金项目能产生什么样的影响?对这个项目有着什么期待?

Question

于博柔:北京师范大学“未来设计种子基金”是作为青年学者和研究者的我们起步的一个极好的平台。它真的像对待种子一样,愿意给予每个年轻团队成长为大树甚至森林的期待和机会。我们很希望这个项目可以在计算机辅助人类创意而不是代替人类创意的价值建立上尽我们的力量。当然,具体来说,我们希望这个合作创作系统真的可以帮助编舞者和作曲者,特别的是有时间压力的创意群体,如中小学艺术美育课教师群体,辅助他们创作出更多、更好的作品。



“跨媒介合作创作系统的研究与设计”

项目主创人


于博柔


跨学科研究者,多媒体设计师,舞者,毕业于清华大学与耶鲁大学建筑学院。现任哈佛大学中国艺术实验室研究员,MYStudio设计研究事务所创意总监,上海谛门燊文化科技有限公司联合创始人,担任中国美术学院创新设计学院Playshop工作坊国际导师,并曾参与耶鲁大学、加州大学圣地亚哥分校、清华大学、广州美术学院等高校教学工作,入选国家艺术基金2020年度艺术人才培养资助项目。


周天歌


作曲家,设计师,摄影师,北师大未来设计学院教师。毕业于曼哈顿音乐学院,耶鲁大学,加州大学圣地亚哥分校,获音乐哲学博士学位。致力于音乐艺术科技交叉融合领域的研究与实践。其作品荣获美国电影艺术奖最佳短片声音设计奖,爱尔兰Kirkos国际室内乐大赛最高奖等多项国际奖项。其数字艺术与计算机音乐研究成果发表于IRCAM FORUM, SIGGRAPH ASIA Gallery 与 IEEE International multimedia & Workshop等国际学术会议,是哈佛大学中国艺术媒体实验室CAM LAB声音艺术家和网易公司音乐顾问。


闵嘉剑


建筑师,跨学科研究者,多媒体设计师,毕业于清华大学与耶鲁大学建筑学院。现任哈佛大学中国艺术实验室项目负责人,MYStudio设计研究事务所执行总监,上海谛门燊文化科技有限公司联合创始人,担任中国美术学院创新设计学院Playshop工作坊国际导师,并曾参与耶鲁大学、加州大学圣地亚哥分校、广州美术学院等高校教学工作。


王泽宇


耶鲁大学计算机科学系博士候选人,本科毕业于北京大学信息科学技术学院智能科学系。主要研究方向为计算机图形学、人机交互、创意智能、文化遗产。在TOG、CHI等重要国际期刊和会议上发表论文十余篇。曾获Adobe研究奖学金、Franke跨学科研究奖学金、国家奖学金、最佳论文奖等奖项,曾在Adobe、谷歌、微软等科技公司开展研究工作。






北京师范大学未来设计学院

三个研究方向


设计与未来生产、生活方式

Design and 

Future Production /  Lifestyle


面向未来生产、生活方式

及未来社会形态的综合性设计


“设计与未来生产、生活方式”在新型互联网文化、智能化社会及数字经济的背景下,基于对技术变革主导的未来文化形态和生产生活方式的探索,推动具有前瞻性与实践性的设计教学与研究。该领域的研究注重人文精神和技术伦理,衔接设计美学与智能制造,涵盖文化生活与生产实践,专业包括产品设计、视觉传达设计、服装与服饰设计、环境设计等已有专业方向;拓展未来生活方式研究、未来人居环境设计、未来体验设计等具有前瞻性专业方向。


艺术与科技

Art and Technology


面向前沿问题的概念性研究


“艺术与科技”基于科技为艺术设计领域带来的全面拓展,对涉及数字媒体艺术、多媒体设计、交互设计、人工智能可视化设计等多个方面的前沿方向进行概念性探索与实践。该领域的研究对接国际前沿学科,争创一流学术研究成果,以前沿问题为导向,以未来社会人类生活模式的技术性变革为基础,坚持可持续性创新探索。


设计与教育

Design and Education


面向设计专业的教学及

未来设计教育发展方向研究


“设计与教育”是在教育学领域所作的创新研究,旨在培养未来设计所需的新型人才,探讨设计教育的未来发展方向。该领域研究面向设计学科的教育规律研究,青少年“设计思维”,中小学“美育教育”以及教育场景(校园、教室、桌椅、教具、服装及其他教育产品或服务)的设计。该方向研究体现北京师范大学教育学、心理学等学科优势,突出师范类院校特色,开创设计跨学科教育的新方向,探讨设计教育的未来发展方向。




编辑  |  文 雅       

设计  |  董姗姗

责任编辑  |  余晓瑜

阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号北京师范大学未来设计学院 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

数字媒体艺术 新媒体艺术 舞蹈 音乐 数字艺术

26053 举报
  0
登录| 注册 后参与评论