我院肖义胜等学生论文被国际顶会ICLR’2024接收
时间:2024-01-18
发布者:李俊涛
文章来源:计算机科学与技术学院
审核人:黄河、李恩秀
浏览次数:11
我院博士一年级学生肖义胜所著论文《Are Bert Family Good Instruction Followers? A Study on Their Potential And Limitations》被ICLR’2024接收,此论文为我校第一单位的首篇ICLR论文,通讯作者为李俊涛老师。
ICLR的全称是国际表示学习会议(International Conference on Learning Representations),与NeurIPS和ICML并称为深度学习的三大顶级会议。该论文第一作者肖义胜为我院17级软件工程专业本科生,21年保研留校(导师张民,李俊涛协助指导),23年转为硕博连读,主要研究语言建模的新框架与推理策略,曾发表我校首篇学生一作TPAMI论文(CCF A类期刊,影响因子24.3),另外在AAAI、EMNLP等国际顶会上发表多篇论文。
该工作在肖义胜同学前期研究工作的基础上重点探索了GPT系列和T5系列大模型以外的其它可能性,首次对BERT系列模型的zero-shot指令跟随(instruction following)进行了探索。实验结果表明, 通过提出简单的策略即可使得BERT系列模型具备与同等大小的T5和GPT系列生成式模型相当的zero-shot生成和指令遵循能力,并且具备3倍以上的解码速度提升。该研究为生成式语言模型的框架设计提供了新的可能性,并指明了接下来需要解决的难题。