应信息工程学院邀请，日本广岛大学先进理工科学研究科于漪副教授于10月16日在工B315做了题为“多模态音乐生成”的科研报告，报告由信息工程学院党委副书记、院长崔琳主持信息工程学院师生代表一起聆听了此次报告。
于漪副教授曾任日本国立信息学研究所助理教授，新加坡国立大学计算机学院高级研究员。主要从事多媒体内容理解与人工智能的跨学科研究，尤其是多模态表示学习，生成建模以及多模态信息融合在多媒体和音乐中的应用。曾担任2023年IEEE国际数据挖掘会议（ICDM）的教程联合主席，2022年ACM国际多媒体检索会议（ICMR）的博士生研讨会联合主席，2021年IEEE国际多媒体与博览会议（ICME）的特别会议联合主席，以及2020年IEEE多媒体大数据会议的技术程序联合主席，兼任《IEEE Transactions on Multimedia》副编辑。
于漪副教授带领大家深入探讨音乐生成方法。音乐生成方法涵盖了统计模型、神经网络模型、预训练模型以及大型语言模型（LLMs）。多模态人工智能使我们能够探索歌词、旋律和舞蹈之间的潜在关系，从而丰富音乐生成的多样性和表现力。报告介绍多模态音乐生成的研究背景与挑战，并讨论多模态音乐内容生成任务及其重要性：在歌词条件下生成旋律、在旋律条件下生成歌词、在音乐条件下进行舞蹈风格迁移，以及在音乐和歌词条件下生成舞蹈。报告还展示一些实验结果，表明在歌词提示、旋律片段或歌词与音乐组合的输入模态下，生成连贯且语义相关的音乐内容的有效性。通过结合人工智能技术，深入挖掘音乐、歌词和舞蹈的语义相关性，不仅增强了创作过程，还为音乐的艺术表达开辟了新的途径。
报告后，信息工程学院师生就报告中的音乐生成方法、多模态人工智能等研究问题请教了于漪副教授，于漪副教授给予了详细的答复。
通过此次报告，开阔了师生的学术视野，加深了对多模态音乐生成的理解，为师生今后的相关科研工作积累了经验。
（撰稿：信息工程学院 审核：崔琳）
信息工程学院
