信息工程学院

科研动态
当前位置: 网站首页 >>  学科科研 >>  科研动态 >>  正文
信息工程学院开展“Deep Residual Learning for Image”和”Vision Transformer”的讲座
发布人:信息工程学院 | 发布日期:2024年03月22日 15:03 | 点击数:


2024年3月22日,信息工程学院大数据挖掘与治理实验室在工B105开展了学术报告会,会议由崔琳院长主持,王胜、凌军为感兴趣的教师和同学们分别做了“Deep Residual Learning for Image”和Vision Transformer的学术报告。

当神经网络的层数不断增多时,会出现梯度消失或者梯度爆炸的问题,一般情况可以通过Batch Normalization来解决,但是当层数增加到一定层数后,网络发生了退化(degradation)的现象,通过Residual可以把低层的特征传到高层,解决网络退化问题。

受到NLP领域中Transformer成功应用的启发,ViT算法尝试将标准的Transformer结构直接应用于图像,然后使用监督学习的方式进行图像分类的训练。可有效地提高图像分类的质量。

各位老师就两种算法的设计思想进行了热烈的交流,并对进一步运用和改进提出各自不同的想法。通过讲座,碰撞了思想,引导了学生的科研方向,有效地将研究和教学结合在一起。

(撰稿:信息工程学院  审核:许海峰)