这项研究出自上海AI实验室的InternVL团队，于2024年8月发布，参与撰写的学者有王维云、高张伟、顾立新等人。完整论文能在GitHub代码库找到，网址是https://github.com/OpenGVLab/InternVL，同时也能在HuggingFace模型库找到，网址是https://huggingface.co/OpenGVLab/InternVL3_5-241B-A28B。这项探索标志着开源多模态大语言模型方向上的关键突破，为普通人掌握和应用人工智能科技开辟了新的路径。

观察图像时，人的思维可以立刻领会其信息，并且与文字说明无缝对接。举例来说，看到一张猫咪的影像，我们不仅识别出是只猫，还能说出它的毛色、体态，甚至猜出它的情绪状态。然而，对机器而言，实现这种图文融合的认知能力却十分棘手。InternVL3.5的问世，目的就是帮助机器掌握类似人类的整体认知本领。

这个工程仿佛给机器装上了一对"视觉装置"和一项"认知功能"。视觉装置用来审视并解析图形，认知功能则用来解读文字并开展推演。然而与先前的方案有所区别，InternVL3.5将这两项功能高度融合，使它们得以彼此配合，犹如人类视觉与语言能力本能地协同运作。

研究团队遭遇的主要难题在于提升机器执行复杂任务的能力，并且增强整个系统的运行效率。这类似于打造一辆兼具高速行驶与节能效果的汽车。为了攻克这一难题，他们研发了三项关键技术，分别是级联强化学习、视觉分辨率路由器以及解耦视觉-语言部署。这些技术名称听上去深奥，但本质上就是提升系统智能性与效率的三个途径。

一、级联强化学习：让机器学会像人一样思考

机器学习传统方法里，系统一般只用一种学习模式，这好比学习者只靠一种方式来学习知识。但人类学习过程往往更复杂多变。我们或许先靠大量练习来掌握基本技能，之后在实际使用中持续改进和调整。InternVL3.5的级联强化学习，正是借鉴了这种人类学习特点。

这个学习过程包括两个步骤，好比制作一道精巧菜肴的流程。第一个步骤是脱线强化训练，如同在家中不断磨练切割技巧和掌握火候。在此阶段，系统借助丰富的既有训练资料，运用偏好组合改进方法来习得基本操作。这类似厨师在家中对照食谱反复练习，逐步熟悉各项基础手法。

第二阶段是网络强化学习，如同在餐馆现场为食客做菜。系统开始应对全新课题，依据即时信息来修正自身方针。该阶段运用了名为GSPO的方法，此法可令系统于遭遇新状况时迅速适应并改善。譬如技艺精湛的厨师能依据食材的鲜度与客人的特殊需求来变换菜式。

这种分两步进行的学习方式好处十分突出。和习惯上只用一种方法学习相比，串联式强化训练在推演工作上的成效，能增强百分之十六。更关键的是，这种做法适用范围很广，不管是只有十亿参数的规模较小的模型，还是拥有两千四百一十亿参数的规模巨大的模型，都能因此得到改进。

二、视觉分辨率路由器：智能调节图像清晰度

拍照时手机会自动调整清晰度，光线好就调高，光线差就调低，这样拍得更好。InternVL3.5的视觉分辨率控制器也用了这种聪明的调整方法。

常规的图像分析机制通常对各类画面执行固定流程，这好比用规格一致的镜片去审视所有物件，不论它是精细的钟表组件抑或是粗糙的岩石肌理。这种千篇一律的处理模式既耗费大量运算能力，又容易降低分析成效。

图像分辨率调节器堪比技艺精湛的画师，会依据画面元素繁简程度来判定应采用何种清晰度标准。针对构造较为简单的画面，例如单色底子上只有一个物体，设备会自动选取较低的分辩率进行运算，如此既能确保输出精确度，又能显著减少处理时长。面对构造繁复、内涵充裕的图形，系统会自主转换至高清解析状态，务必不疏漏任何关键细节。

该流程借助一种称作视觉统一训练的方法达成目标。系统起初掌握在不同清晰度下维持结果稳定的能力，进而培养通道选择器去判断每块图像区域最合适的清晰度。实验数据表明，该方案几乎不损害最终效果，却能让视觉运算所需时长减少一半。

三、解耦视觉-语言部署：让系统运行更高效

传统多模态系统里，视觉识别与语言理解往往在单一处理模块里依次开展，好比一个人既要负责观察图像又要负责撰写文章，只能逐一完成。这种处理方式存在明显弊端，因为不同类型任务对计算资源的要求差异很大，图像分析需要强大的并行计算支持，而语言解析则更依赖按序进行的推理步骤。

视觉与语言功能通过特定技术得以分离，其运作方式类似于工业生产中的专业分工，设有专门的图像分析单元和文本解析单元。图像分析单元专注于识别图像内容，并将分析成果转化为精炼的特征信息，供文本解析单元使用。两个单元能够在不同的设备上同步操作，显著提升了整体工作效能。

这种构思的优势体现在多个层面。它有助于各类计算设备得到更充分的运用。针对视觉分析，可在专门改进的图形处理器中执行，至于语言解析，则在适配序列运算的芯片上完成。这种分工使得系统能够依据实际需求动态调整配置。例如，在应对海量图像数据时，可投入更多算力支持视觉运算，而在处理长篇文字资料时，则将更多资源集中于语言处理环节。

实际测试表明，分离视觉与语言功能的部署方式使系统运算效能提升了四倍点零五倍。此外，这种提速优势在输入画面细节更加丰富的情况下表现得更为突出，说明系统在应对高规格图像输入时能实现更显著的性能改善。

四、全面的性能表现：接近商业级别

为了检测InternVL3.5的整体水平，专家们运用了三十六种不同的参照项目进行细致考察。这些参照项目囊括了跨模态认知、逻辑分析、书面材料操作以及替代性工作等四大核心领域，仿佛对一位多面手实施全面的技能考核。

InternVL3.5在整合图像与文本信息的多模态认知领域有突出表现。以MMBench评测为例，其规模最大的InternVL3.5-241B-A28B版本取得了87.4分的优异成绩，显著领先于其他绝大多数开源方案。这表明该系统能够精准把握图像的内在含义，同时还能将视觉信息与文字说明进行恰当的对应和逻辑分析。

该系统最突出的优势在于其推理能力。在MMMU这个涵盖多个学科的推理测试中，InternVL3.5-241B-A28B取得了77.7分的优异成绩，而规模较小的8B模型也获得了73.4分。这些数据证明系统不仅能够解析图像和文本信息，还能执行精密的逻辑分析，其表现堪比一位优秀学生综合运用不同学科知识处理复杂课题的能力。

数学逻辑处理上，系统表现同样出众。MathVista测试中，顶级模型取得82.7分，显示出色解决数学难题的本领。这表明系统可以把握几何图形特征，解读统计图表信息，同时执行关联计算和逻辑推断。

五、广泛的应用能力：从文档处理到GUI交互

InternVL3.5的功能不只是简单的图像文字解析，它在很多专门行业都能派上用场。对于资料解读，该系统能应对各式纷繁的资料类型，诸如表格、图像、扫描件等。它仿佛一位技艺精湛的文书助理，能迅速从各类资料里找出重要内容，并且加以归纳剖析。

InternVL3.5在文字辨识领域表现出色。它对各类文本格式均有良好处理能力。无论是清晰印刷的文字，还是潦草的手写笔记，系统都能有效解析。对于结构化的表格数据，或是内容密集的图形图像，识别准确度也保持稳定。这种功能特性，让它在实际文档应用方面展现出显著优势。

值得特别关注的是系统在图形界面互动方面的表现。图形界面互动是指与显示界面的操作，例如点选按钮、输入信息、查看页面等。InternVL3.5能够识别屏幕上的各种显示项目，并且按照要求进行相应处理。在ScreenSpot检测中，最大模型获得了89.8分，表明其具备出色的界面认知和处理本领。

这种图形界面交互方式拓展了人工智能支持工作的新途径。系统可协助用户自动处理重复性的屏幕任务，诸如成批管理文档、录入数据、筛选资料等。这仿佛拥有了一个不知疲倦的虚拟帮手，可以依照要求执行各类电脑指令。

六、多语言和视频理解：全球化的智能助手

当今世界日益融合，掌握多种语言是人工智能系统的关键能力。InternVL3.5在跨语言认知领域表现突出，可以应对英语、中文、葡萄牙语、阿拉伯语、土耳其语以及俄语等多种语言情境。它如同一个知识渊博的翻译，不仅能够解读不同语言的文字信息，还能领会配图的内在含义，并将两者融合起来实现精准的理解和反馈。

视频分析是另一个关键的应用方向。动态影像相较于静止画面，多了时间的维度，分析起来难度更高。InternVL3.5可以解析视频的内涵，把握其中的行为模式、故事脉络以及时间上的关联。在众多视频分析的评价体系中，该系统都取得了令人满意的成果，为视频内容剖析、自动配字幕、视频提炼等用途奠定了技术支撑。

该系统还能应对多个图像的复杂工作。实际使用时，我们常常需要同时审视多幅关联的图片，例如对比不同方位的影像、研究图像序列的演变等。InternVL3.5可以同时处置多张图像，识别它们之间的内在联系和不同之处，这种功能在图像解析、品质把控、医疗检测等领域具有显著作用。

七、技术创新的深层价值：让AI更贴近人类

InternVL3.5的突破性进展不仅表现在数据指标上，更关键的是它指向了人工智能演进的关键路径：使机器的思考方式趋近于人。级联强化学习效仿了人类从简单训练到复杂应用的学习轨迹，视觉分辨率路由器彰显了人类视觉系统的调节机制，解耦部署则揭示了人类大脑各功能区协同运作的方式。

这一构思的演变影响重大。旧式的人工智能往往专注于一类任务上的最佳表现，却忽略了整体的灵活性与适用能力。InternVL3.5致力于打造一个能应对多种场景的通用型智能平台，这种方向更贴近我们对于人工智能伙伴的期待。

InternVL3.5采用开放源代码模式，这在技术演进层面具有显著价值。不同于商业领域的私有架构，这种开源策略允许全球科研人员及工程师依托该平台开展深入探索和实用开发。开放式的成长路径能够有效推动行业整体的技术革新，并且使更广泛的人群受益于尖端人工智能技术所提供的优势。

八、实际应用前景：改变我们的工作和生活

InternVL3.5的功能展现了人工智能在现实操作中的广阔前景。在教导方面，该平台能充当智慧型教师，不仅能掌握学员的疑问，亦可解析图像、实验记录等视觉材料，从而给出更周全和精准的回应。

医疗保健行业里，强大的图像解析与逻辑判断功能能够协助医务人员审视诊疗资料，察觉不正常现象，并且还能给出初步的判断意见。当然，此类用途必须经过严谨的安全检测和官方审核，不过技术层面的根基已经形成。

商业领域里，InternVL3.5能够担当智能客服角色，它既能解读顾客的文字提问，又可审视客户提交的图像资料，诸如商品影像、故障截屏等，从而给出更贴切的响应。这种能力有助于显著优化客服工作成效，并且改善顾客的整体感受。

内容制作者能够借助此类系统提升工作效率，该系统能够解析图像信息，并输出对应的文字说明，或者依据文字需求搜寻匹配的视觉素材，这种功能在新闻报道撰写、社交平台素材编排、商业广告构思等多个行业领域具备显著的价值潜力。

九、挑战与发展方向：向更高智能迈进

InternVL3.5虽然取得了突出的成绩，不过朝着更高级人工智能的方向前进时，依然存在不少困难。首要问题是计算资源的使用量。尽管系统借助多种改进手段提升了性能，不过庞大型的模型依旧需要大量的计算能力，这就导致它难以在常规设备上应用。

理解程度是另一个关键点。系统虽然可以应对包含多种信息类型的工作，但它的分析主要依靠识别规律和计算概率，并非真正的认知把握。这种处理方式导致它在处理需要普遍认知或创新能力的任务时，可能会遇到困难。

另一个挑战在于保障安全与稳定运行。AI系统功能日益强大，维护其运作安全及行为可预见性愈发关键。特别是在处理核心决策或机密数据的关键场合，必须构建周密的安全屏障和监督机制。

为了应对这些挑战，研究团队正从多个角度持续投入工作。在技术层面，他们着力设计更优化的模型构造，在降低资源消耗的同时增强处理效能。在认知能力层面，研究重心转移到如何让系统掌握更丰富的知识内涵并具备更强的逻辑分析本领。在安全防护层面，必须构建更周密的检测与确认流程。

十、对未来的展望：智能化生活的新篇章

InternVL3.5的推出标志着人工智能领域的一项重大突破，它更像是一个通向未来智慧生活的入口。随着技术的持续进步和持续优化，我们有望见到更加智能、更加符合人类期望的AI系统出现。

未来不久，这种设备或许会变成我们日常不可或缺的智能伙伴。它们不仅能够懂得我们的言语和影像，还能懂得我们的用心和感受，提供更加专属和周到的帮助。比如说，当你准备安排出行时，人工智能助手能够解析你上传的风景图画，明白你的偏好，并推荐风格相近的旅游地点。

该智能系统在工作领域将显著增强作业效能。设计者借助简明说明即可促使AI产出设计构思，科研人员能借助AI解析实验结果与学术资料，教育工作者能借助AI辅助筹备授课资源。此举并非意在取代人的职责，而是使人能集中精力于更具创新性与价值的任务。

从更广阔的视野来看，InternVL3.5这类技术的进步将促进全社会实现智能化升级。智能交通网络将更深入地把握道路状况和行人活动，智慧城市平台将更精确地洞察都市运作态势，智能生产体系将更严密地调控制造环节。

这一过程促使我们深入探究诸多社会议题，诸如怎样保障科技进步的均衡性，怎样维护个体信息保密，怎样应对职业格局的演变等，这些议题的解决离不开技术创造者、法规设计者以及社会各界的协同合作。

InternVL3.5的价值首先在于它呈现了当代人工智能领域的尖端成就，其次在于它勾勒出一个更加聪慧、更加便利的往后生活景象。尽管这个前景尚需时日才能变为现实，不过技术根基正在持续夯实，并且是以公开透明的形态向全球传播。这种灵活的进步方式使我们有依据相信，更高级、更广泛的智能科技将能迅速服务于所有人。

对渴望探究技术内情的读者来说，能够去研究集体布设的开源代码汇集和范例，亲身感受这种技术的性能。终究，最有效的认知途径就是动手实践和亲身经历。

Q&A

InternVL3.5在功能上不同于其他人工智能系统，它具备独特的优势，能够处理更复杂的任务，展现出更强的理解能力，并且拥有更高效的性能表现。

InternVL3.5与众不同之处在于它运用了串联式强化训练技术，这种技术效仿了人类从入门训练到实战运用的认知路径，因此该模型在推理性工作上的表现比常规系统强了十六个百分点，此外它还配备了视觉分辨率调控器，能够智能地控制图像处理的细致程度，在维持工作成效的前提下将运算速率加快了四倍以上，这种既机智又快捷的特质构成了它最核心的竞争力。

Q2：普通人可以如何使用InternVL3.5技术？

InternVL3.5当前具备完全的公开性质，技术专业人士能够借助GitHub平台取得其源代码，用以展开深入探究及构建相关项目。对于广大非专业用户而言，尽管现阶段尚无法直接运用，不过运用该技术理念制作的应用产品正处在研制阶段。预计将来会出现诸如智能办公伙伴、学业指导软件、文本生成工具等商品，从而使得寻常民众也能体验到这种前沿的图像解析与逻辑推理功能。

Q3：InternVL3.5在处理中文内容方面表现如何？

InternVL3.5在处理多种语言时效果显著，尤其擅长分析中文内容。它不仅可以解读中文文字信息，还能识别中文图像中的元素，同时支持中英文图文的关联分析以及相关逻辑推理。在CMMLU这类针对中文的评估体系中，该大型模型取得了90.2分的优异成绩，充分展现了其卓越的中文解析和处理本领，这对于使用中文的用户群体而言无疑是一则令人振奋的消息。