近日,上海人工智能实验室(上海AI实验室)联合清华大学、香港中文大学、商汤科技等机构开源新一代书生·视觉大模型(InternVL)。
据介绍,新一代“书生·视觉基础”模型的视觉编码器参数量达60亿(InternVL-6B),首次提出了对比-生成融合的渐进式对齐技术,实现了在互联网级别数据上视觉大模型与语言大模型的精细对齐。InternVL-6B不仅能处理复杂图片中细微的视觉信息并完成图生文任务,还可以识别和解读复杂页面中的信息,甚至解决其中的数理问题。
上海AI实验室在视觉大模型上持续发力。2021年,上海AI实验室就发布了书生1.0,是国内首个广泛覆盖多种视觉任务的大模型,一个基模型即可全面覆盖分类、目标检测、语义分割、深度估计四大视觉核心任务;2022 年,更新发布视觉大模型InternImage,构建了以动态稀疏卷积为核心操作的视觉大模型新架构,构建了非Transformer的大模型架构新途径,在12类视觉任务中实现性能领先。(校对/韩秀荣)