全球每年上新的 AI 论文浩如烟海,哪些机构或国家(地区)发表的 AI 论文是最有影响力的?近日,美国 Zeta Alpha 平台基于 2020 年、2021 年和 2022 年每年被引用次数最多的 100 篇论文进行了多维度的详细分析。在已发表论文高引用量转化率的排名中,OpenAI 位列第一,旷视排名第二,DeepMind 获得第三。
在 2022 年引用量 Top100 的名单中,旷视研究院 2 篇论文入选,分别是被 CVPR 2022 收录的《Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs》(第29位)和被 ECCV 2022 收录的《PETR: Position Embedding Transformation for Multi-View 3D Object Detection》(第80位)。
(Zeta Alpha完整版报告请见:https://www.zeta-alpha.com/post/must-read-the-100-most-cited-ai-papers-in-2022)
基础模型科研是 AI 创新突破的基石,旷视研究院坚持长期主义,以原创、实用和本质作为基础科研的指导原则,致力于解决人工智能最本质的难题。
旷视研究院基础模型科研聚焦于通用图像大模型、视频理解大模型、计算摄影大模型和自动驾驶感知大模型四个方向,并取得了多项突出的科研成果。在通用图像大模型方面,旷视提出了 RepLKNet、RevCol 等创新性模型。旷视原创的RevCol 模型结构,大幅减小了大模型训练所需要的硬件资源。在自动驾驶感知大模型方面,旷视提出的PETR系列大模型、 LargeKernel3D 和 BEVDepth 3D 检测模型在检测、分割等任务上均取得了最优成果。
目前,旷视研究院已在ICCV、CVPR、ECCV 等国际学术会议、期刊上发表论文200余篇,在各项国际人工智能顶级竞赛中累计揽获 56 项世界冠军或最高荣誉。
以下为入选 Zeta Alpha 2022 年引用量 Top100 名单的 2 篇论文介绍,Enjoy。
《Scaling Up Your Kernels to 31x31: Revisiting Large Kernel Design in CNNs》
将卷积核加大到 31x31:重新探索采用大卷积核设计的卷积神经网络
论文链接:https://arxiv.org/pdf/2203.06717.pdf
GitHub 地址:https: //github.com/megvii-research/RepLKNet
一作论文解读:https://zhuanlan.zhihu.com/p/481445076
论文简介:我们重新探索了现代卷积神经网络中的大卷积核设计,表明 kernel size 是一个非常重要的设计维度。在现代结构设计的作用下,超大卷积核既涨点又高效,越大越涨点,甚至大到 31x31 都非常有效。通过一系列探索实验,我们归纳了在现代模型中应用大卷积的五条准则,如使用 shortcut、采用 depth-wise 卷积和针对性的优化、用小卷积核进行重参数化等。在此之上我们提出了一种新的架构 RepLKNet,大量使用超大 kernel size,大到 27x27 和 31x31,在大模型和下游任务上取得了亮眼的结果,比 Swin 更好或相当,挑战了诸多行业内的传统认知,远超传统小 kernel 的 CNN。
《PETR: Position Embedding Transformation for Multi-View 3D Object Detection》
基于3D位置编码的多视角3D目标检测
论文地址:https://arxiv.org/pdf/2203.05625.pdf
GitHub 地址:https://github.com/megvii-research/PETR
论文简介:PETR 是旷视研究研发的用于自动驾驶的纯视觉 3D 感知框架,能够同时进行 3D 目标检测、BEV (Bird's Eye View, 鸟瞰图)分割和 3D 车道线检测等多项感知任务。PETR 框架通过引入 3D 位置向量的概念,将 3D 空间坐标、相机内外参信息直接编码进 2D 图像特征中,无需任何特征投影、采样等步骤,可以直接进行端到端部署;同时,相机内外参可以显式地作为模型输入,极大缓解了已有方法存在的对相机参数的过拟合问题,实现跨数据集、跨场景的模型训练。PETR 在 Nuscenes 数据集上取得了 44.1% mAP 和 50.4% NDS 的优异表现,成为领域内第一个在 NDS 指标上达到 50%+ 的纯视觉方法。
【关于旷视研究院】
旷视研究院是旷视设立的公司级研究机构,是驱动整个公司技术创新的引擎。旷视研究院通过基础创新突破AI技术边界,以工程创新实现技术到产品的快速转化。经过多年发展,旷视研究院已成为全球规模领先的计算机视觉和人工智能研究院。目前,旷视研究院的科研成果包括AI生产力平台Brain++ 、开源深度学习框架旷视天元MegEngine、AI算法生产平台AI Service、移动端高效卷积神经网络ShuffleNet等多项创新技术和产品。