講座報(bào)告主題：開(kāi)放環(huán)境多模態(tài)預(yù)訓(xùn)練模型高效學(xué)習(xí)與應(yīng)用
專(zhuān)家姓名：楊小汕
日期：2025-11-09 時(shí)間：11:05
地點(diǎn)：計(jì)算機(jī)學(xué)院208報(bào)告廳
主辦單位：計(jì)算機(jī)科學(xué)與通信工程學(xué)院
主講簡(jiǎn)介：楊小汕，中科院自動(dòng)化所多模態(tài)人工智能系統(tǒng)全國(guó)重點(diǎn)實(shí)驗(yàn)室研究員、博士生導(dǎo)師。2016年博士畢業(yè)于中科院自動(dòng)化所模式識(shí)別國(guó)家重點(diǎn)實(shí)驗(yàn)室，近年來(lái)聚焦開(kāi)放環(huán)境多媒體內(nèi)容分析，發(fā)表100余篇論文，其中TPAMI、IJCV、TMM等期刊和MM、CVPR、NeurIPS、AAAI等CCF-A類(lèi)會(huì)議60+。曾獲中科院院長(zhǎng)獎(jiǎng)、中科院優(yōu)博、CCF-騰訊犀牛鳥(niǎo)卓創(chuàng)獎(jiǎng)、中國(guó)多媒體大會(huì)最佳論文獎(jiǎng)。負(fù)責(zé)面上項(xiàng)目、青C項(xiàng)目（原青年基金）、XXX委重點(diǎn)項(xiàng)目課題。研究專(zhuān)長(zhǎng)：多媒體內(nèi)容分析、計(jì)算機(jī)視覺(jué)、模式識(shí)別。
主講內(nèi)容簡(jiǎn)介：多模態(tài)預(yù)訓(xùn)練模型通過(guò)聯(lián)合學(xué)習(xí)不同模態(tài)的數(shù)據(jù)，能夠抽取跨模態(tài)的抽象概念與共性知識(shí)，相比視覺(jué)或者語(yǔ)言預(yù)訓(xùn)練模型展現(xiàn)出了更強(qiáng)的通用性。近年來(lái)，多模態(tài)預(yù)訓(xùn)練模型在跨模態(tài)檢索、跨模態(tài)生成等任務(wù)上取得了顯著進(jìn)展；然而，在開(kāi)放環(huán)境的真實(shí)應(yīng)用場(chǎng)景中，其跨模態(tài)關(guān)聯(lián)建模能力與遷移泛化能力仍面臨多重挑戰(zhàn)。本報(bào)告將圍繞兩個(gè)關(guān)鍵問(wèn)題展開(kāi)討論：（1）在不損失各模態(tài)固有信息結(jié)構(gòu)的前提下，如何實(shí)現(xiàn)有效且穩(wěn)健的跨模態(tài)關(guān)聯(lián)建模；（2）在保證模型泛化性的基礎(chǔ)上，如何實(shí)現(xiàn)多模態(tài)大模型在下游任務(wù)中的跨域遷移與小樣本快速適配。報(bào)告首先分析多模態(tài)預(yù)訓(xùn)練模型中“理想視覺(jué)系統(tǒng)”應(yīng)具備的關(guān)鍵要素，并介紹基于解耦視覺(jué)表征構(gòu)建的多模態(tài)預(yù)訓(xùn)練模型Libra。同時(shí)，報(bào)告還將介紹能夠保持預(yù)訓(xùn)練模型泛化性的跨域遷移和小樣本遷移方法，為多模態(tài)預(yù)訓(xùn)練模型在復(fù)雜開(kāi)放場(chǎng)景中的應(yīng)用提供實(shí)踐路徑。
歡迎師生參加！
