计算机与软件工程学院学术报告-The Benefits and Challenges of Self-supervised learning

讲座题目：The Benefits and Challenges of Self-supervised learning

报告专家：Josef Kittler（英国萨里大学）

报告时间：2024年5月24日（星期五）11:10

报告地点：学术交流中心报告厅

主办单位：计算机与软件工程学院

  欢迎全校师生参加！

报告人简介：

约瑟夫·基特勒（Josef Kittler），英国萨里大学(University of Surrey)杰出教授，模式识别和人工智能领域世界顶级学者，英国皇家工程院院士，前国际模式识别协会 (IAPR) 主席，是国际模式识别协会颁发的国际模式识别领域最高奖K.S. Fu奖的得主。他于1974年在英国剑桥大学获得了模式识别专业博士学位，并于1991年获得剑桥大学科学博士学位。他的研究方向主要包括模式识别、图像分析和计算机视觉领域的理论和应用研究。其所在的电子工程系，视觉、语音和信号处理中心（CVSSP）由他本人于1986年创建。Josef Kittler教授在1986年至2014年期间一直担任该中心主任。迄今为止，Josef Kittler 教授共发表学术论文600余篇，其中6篇论文的引用量超过1900余次（Google Scholar统计数据）。Josef Kittler教授发表的学术论文中有20余篇被刊登在国际模式识别领域最著名的期刊IEEE TPAMI上。他目前是还是多个期刊，如Pattern Recognition Letters, Pattern Recognition and Artificial Intelligence, 和Pattern Analysis and Applications的期刊编委。此外，在与国内的合作方面，他是教育部111引智计划学术大师、教育部海外名师，获得了2015年的江苏省国际科技合作奖和2016年的中国政府友谊奖，并在2019年受邀为新中国成立70周年之际的天安门观礼嘉宾。

报告内容简介：Self-supervised learning is attracting a lot of attention in the research community because of its advantages over supervised learning in the context of building AI foundational models. These advantages include no cost of data annotation, avoidance of the negative impact of misleading information provided by coarse labels, the need for smaller training sets to facilitate learning, and the ability to model the data properties more directly. Self-supervised learning is accomplished by different pretext tasks, which are formulated in terms of appropriate objective functions. The learning methods themselves are based on a range of heuristics, such as distillation, temperature, asymmetry, batch normalisation, etc. The talk will discuss these heuristics by revisiting the problem of unsupervised learning based on the Gaussian mixture model estimation in the input data space. The parallel with clustering in the original space will motivate a novel approach for self-supervised learning in the embedding space. The merits of the proposed approach will be demonstrated on a range of experiments producing very promising results.