4月22日,清华软件论坛第三十期邀请香港中文大学教授程鸿作题为“图提示学习和预训练(Graph Prompt Learning and Pre-training)”的学术报告。论坛以线上线下结合的方式举行。软件学院的师生线下参会,同时还有来自其他兄弟高校的数据库与信息系统领域的研究者线上参会。报告会由软件学院宋韶旭副教授主持。

程鸿作报告
程鸿首先概述了通用人工智能的基本工作流程。目前利用基于预训练大模型和提示的模式在自然语言处理和计算机视觉领域已取得显著成功。然而,将这种模式应用于图领域时面临着独特的挑战,包括图数据的多模态特性、任务的多样性、跨领域应用的需求。受自然语言处理中提示学习的启发,程鸿探讨了将提示学习应用于图数据的潜力。这种方法通常冻结预训练模型,通过设计和学习提示来重新组织和引导数据输入,使其更适应模型,在多任务场景下展现出更好的通用性。
程鸿重点介绍了她的研究团队在图提示和预训练领域的关键研究进展。首先,程鸿介绍了一种创新的多任务图提示框架,通过引入元学习来高效地学习软提示,为图提示生成更好的初始化状态,提升预训练模型对多样化下游任务的适应能力。程鸿讲解了该框架的具体结构,分享了实验结果,显示新框架在多任务的准确性表现上相较于现有技术的优势。其次,程鸿介绍了一种跨域图预训练的新方法,通过挖掘不同图数据集间的潜在共性,显著增强模型的小样本学习能力。她详细讲解了跨域图预训练方法的不同领域对齐过程,分享实验结果,显示新方法在跨领域任务的准确性表现上相较于现有技术的优势。最后,程鸿介绍了一个图提示学习的基准测试平台,多种图模型的评估模式,为研究者们提供了一个标准化环境,用以对比和验证不同图提示方法的有效性。

会议现场
在提问环节,参会的师生围绕大语言模型、图提示、预训练等话题,以及针对不同任务进行数据转换的代价、模型预训练涉及到的领域等问题进行提问,程鸿逐一进行分析并详细解答。
【嘉宾简介】
程鸿,香港中文大学系统工程与工程管理学系的教授。她于2008年获得伊利诺伊大学厄巴纳-香槟分校的博士学位。她的研究兴趣包括数据挖掘、数据库系统和机器学习。她在SlGKDD’23会议上获得了最佳研究论文奖。她于香港中文大学获得了2010年校长模范教学奖。