信息工程学院

讲座时间：2024年10月16日11：00

讲座地点：工科楼B315

讲座对象：信息工程学院师生

主讲人简介：

于漪，日本广岛大学先进理工科学研究科副教授，曾任日本国立信息学研究所助理教授，新加坡国立大学计算机学院高级研究员。主要从事多媒体内容理解与人工智能的跨学科研究，尤其是多模态表示学习，生成建模以及多模态信息融合在多媒体和音乐中的应用。曾担任2023年IEEE国际数据挖掘会议（ICDM）的教程联合主席，2022年ACM国际多媒体检索会议（ICMR）的博士生研讨会联合主席，2021年IEEE国际多媒体与博览会议（ICME）的特别会议联合主席，以及2020年IEEE多媒体大数据会议的技术程序联合主席，兼任《IEEE Transactions on Multimedia》副编辑。

讲座摘要：

音乐生成方法涵盖了统计模型、神经网络模型、预训练模型以及大型语言模型（LLMs）。多模态人工智能使我们能够探索歌词、旋律和舞蹈之间的潜在关系，从而丰富音乐生成的多样性和表现力。本报告将简要介绍多模态音乐生成的研究背景与挑战，并讨论多模态音乐内容生成任务及其重要性：在歌词条件下生成旋律、在旋律条件下生成歌词、在音乐条件下进行舞蹈风格迁移，以及在音乐和歌词条件下生成舞蹈。报告还将展示一些实验结果，说明在歌词提示、旋律片段或歌词与音乐组合的输入模态下，生成连贯且语义相关的音乐内容的有效性。通过结合人工智能技术，深入挖掘音乐、歌词和舞蹈的语义相关性，不仅增强了创作过程，还为音乐的艺术表达开辟了新的途径。