1. 首页>>分享

阿里巴巴团队开发的Visual-CoG技术发表于2025年8月,AI作画常现细节失误?

_阿里巴巴画布法分析_阿里巴巴思维

这项技术由阿里巴巴集团的李亚琪、陈鹏、韩明阳等研究团队研发完成,于2025年8月正式发布,相关论文的名称为《Visual-CoG: Stage-Aware Reinforcement Learning with Chain of Guidance for Text-to-Image Generation》。对全文有探究需求的看客,能够经由arXiv:2508.18032v1,取得该篇研究报告的详尽资料。

当您对人工智能说"创作一个身穿红裙的小女孩位于蓝色车左侧"时,或许会察觉到该系统常会在部分环节出现失误:有时裙子会变成绿色,有时女孩会出现在车辆右侧,甚至可能画出两个小姑娘。这好比一位才智出众却稍显粗心的艺术家,虽然整体水平较高,但在应对复杂指令时会容易忽略某些细节。

这种状况是怎样产生的呢?现在的AI绘图工具仿佛一个心急的学子,拿到任务便立刻动手创作,完成之后才察觉并未领会指示。更糟糕的是,即便成品存在缺陷,它也无法判断失误究竟发生在哪个步骤:是起初就曲解了指令,还是在创作中途偏离了方向,抑或是收尾阶段处理不当。

阿里巴巴的科研人员已察觉到该状况,他们察觉当前人工智能制图工具存在两个显著局限。首先是对于繁复指令的理解力不足,例如若指令为"创作法国闻名遐迩的教堂图像,需包含两扇彩色玻璃窗",人工智能或许会混淆目标建筑,又或者虽能生成教堂图形,但玻璃窗的配置与要求不符。接下来当前的教学方法存在缺陷,例如仅当测验结束后才告知学生哪些题目答错,在答题期间并未提供指导,此类回应过于滞后,因此收效甚微。

针对这些难题,科研人员设计了一种称作Visual-CoG的全新技术,该技术最显著的特色在于将人工智能绘图转化为三个阶段,其模式仿佛专业画师的构思步骤。

初始环节为"语义分析"步骤。在此步骤中,人工智能不会立即着手创作,而是会先深入理解你的具体需求。例如,当你提出"绘制雨果小说里出现的法国大教堂"这一要求时,人工智能会先分析出"雨果最为人所知的作品是《巴黎圣母院》,因此用户想要的是这座巴黎的标志性建筑"。接着它会把初始指令表述得更为详尽:一座法式哥特风格的大型教堂,带有扶壁结构,配置两扇彩绘玻璃,旨在产生温馨宁静的感受。这仿佛是一位严谨的诠释者,将含糊的指示转化成明确的执行步骤。

接下来的环节是"流程改进"时期。在具体作画时,人工智能不再一次性完成,而是边进行边进行审视。这好比一位艺术家会不时停下脚步,检视自己的创作,观察哪些地方需要修正。从技术层面来看,研究团队构思了一个精巧的方案:让机器人在绘画的每一个中间阶段都试着重新构建图像的某些部分,倘若重建结果不理想,则表明这一阶段的作画存在缺陷,必须进行修正。

第三步进入"成果审视"环节。作品制作结束后,人工智能系统会对最终成果实施细致核对,其作用相当于经验丰富的艺术导师在批改学生作品。它会核对色彩运用是否得当,核实物件数量是否精确,确认空间布局是否恰当,乃至评估整体艺术效果。例如,确认"红裙子"的色调是否属于红色系,验证"两扇窗户"的描绘是否包含两扇结构,判断"左边"的方位标注是否准确无误。

这三个阶段最关键的特点是,每个环节都会向AI提供即时信息,用以判断其表现是否得当。这好比一位细心的导师,不仅会在考核后评定结果,更会在学习者进行每项重要操作时,给予具体指引。

为了培养这个系统,专家们尝试了一种名为"强化学习"的技术,其核心在于借助奖赏和惩戒来促进人工智能的成长,当人工智能在某个环节展现出色时,会获得正向激励,而一旦表现欠佳,则会被施加反向刺激,与常规手段有所区别的是,Visual-CoG在三个不同时期都会给予指导,而非仅在最终阶段进行综合评价

语义推理环节中,奖励机制运作方式如下:AI先依据初始指令与优化后的指令分别绘制图像,再对二者呈现的图像品质进行评估。若优化指令生成的图像效果更佳,表明语义推理成效显著,系统便会给予正向激励;倘若图像质量未获提升,则实施反向惩罚。这一过程犹如参照考试结果来判定学子是否透彻掌握了考题要义。

在改进流程环节,系统提出了一个"导师模型"的构想。这好比一位技艺精湛的绘画师傅,清楚每一步创作该怎样操作。学习者AI要努力效仿导师的创作路径,越贴合导师的规范,获得的鼓励就越大。这种设计让AI在创作中途就能获得指引,而非完成作品后才明白优劣。

评估成果时,项目组制定了一套详尽的打分体系,涵盖位置关联性、数目精确度、色彩准确度及整体观感。举例来说,针对"三人"这样的条件,系统会自动统计画面中实际的人数,若数量不符就要减分。又比如"红色汽车位于蓝色房子左侧"这样的要求,系统会核实车辆是否确实处在房屋左侧,同时确认颜色无误。

为了检验Visual-CoG的功能,科研人员实施了众多实验。他们不仅对既有的权威数据集实施了分析,还单独设计了一个名为VisCog-Bench的测试平台,该平台专门用于检测人工智能应对繁复且需逻辑判断的图像任务的表现水平。

这个新测试集涵盖了四个难度较高的任务类型。第一种是"特殊位置"任务,比如需要画出"紫狗与黑桌"的图像,用以检测AI对罕见色彩组合的应对能力。第二种是"特殊搭配"任务,要求将通常不会并置的物件绘制在同一画面中。第三种是"特殊涂色"任务,需要将物品染上非典型的色彩。第四类属于推理类工作,比如前面举例的"雨果小说中的大教堂",这种情况下AI必须运用日常逻辑才能明白具体该描绘哪些内容。

实验数据表明,Visual-CoG在各个衡量标准上均有明显进步。以GenEval这个权威测试集为例,其整体表现较参照方法增长了十五个百分点,而在部分特定维度上改善更为突出:数量识别精确度提高了十四点六九,空间定位精确度增加了四十七点九七,色彩还原精确度进步了十五点三六。在另一套检测数据集T2I-CompBench中,Visual-CoG对于色彩信息的识别正确度达到了78.92%,对于位置关联的解析精准度达到了43.71%,这两项指标都是当前所有模型中的最优表现。

更令人赞叹的是在最新生成的VisCog-Bench数据集上的成果。面对那些要求逻辑分析的艰巨挑战,Visual-CoG取得的准确度达到了77.5%,而那个缺少语义思考能力的版本,其准确度仅为49.75%。这一对比清晰表明,先进行深入思考再执行操作的思路,确实能够带来显著的提升。

该研究机构着重考察了三个环节各自产生的效益。他们揭示,第一个环节着重增强了方位判断的精确度,进步幅度达6.99个百分点;第二个环节着重改进了数量判定的精确度,进步幅度达7.96个百分点;第三个环节着重提升了色彩判定的精确度,进步幅度达9.53个百分点。这好比一个团队协作,每个成员都具备独特技能,整合起来能发挥更佳作用。

根据实际画面呈现,Visual-CoG生成的图像确实更为精准且内容更充实。以"一张蛋糕和一只斑马的照片"这类要求为例,基础版本或许只会画出两个彼此独立的物件,但Visual-CoG却能构思出一个合理的情境,例如斑马正在生日聚会上准备品尝蛋糕。当遇到"三个个体"这样的数量描述时,标准版程序常常在图像中弄错人数,但Visual-CoG却几乎每次都能精确呈现三个人的景象。

这一进步不仅表现在精确度上,也表现在视觉效果的多彩性和审美价值上。借助意思推断,人工智能能够把握用户的实际想法,构思出更有内涵的图景。经由步骤完善,图像的每个部分都更为细致。借助成果检验,整体画面的和谐感与观赏性都获得了增强。

Visual-CoG的价值不只体现在工艺上的革新,还在于它标志着AI绘画前进的关键路径:从基础的画面制造过渡到对智能构思的把握和呈现。人类艺术家必须经历领会、规划、制作和优化这样一套完整的创作流程,人工智能同样需要掌握这种整体性的思考方式。

这表明普通用户可以和人工智能进行更顺畅便捷的沟通。你无需费心采用规范化的语言去适应人工智能,而是能够运用贴近日常对话的表达方式来阐述你的构思,人工智能可以领会你的用意并生成满足你要求的成果。

这项技术尚有提升余地,当前的语义推理主要借助预训练语言模型所含的知识,对于部分特别专门或极不常见的事物,或许会产生认知误差。流程调整环节虽然有助于提升图像品质,不过其资源消耗较为可观,务必在成效与速率之间寻得更佳的均衡点。评估结果过程尽管相当周密,不过根本上仍以既定标准为准绳,关于审美特质与构思新意的衡量,尚需进一步改进。

即便如此,Visual-CoG依然体现了AI图像生成领域的显著发展,它表明了借助学习人类的构思方式,人工智能在领会复杂要求与创作优秀画作方面能够获得明显改善。随着技术的持续优化,我们很有信心,今后的AI图像制作软件会愈发聪慧,更加契合人类的创作习惯,切实成为艺术工作者的得力帮手。

Q&A

Q1:Visual-CoG和普通的AI绘画工具有什么不同?

一般绘图软件如同一个心急的学徒,拿到说明便动手创作,时常忽略关键之处。而Visual-CoG则似一位技艺精湛的画师,会先深入领会你的意图(逻辑分析),接着在创作时不断调整(动态修正),最终对成品进行整体审视(品质把控)。这种分阶段流程使机器能更精准地把握繁复指令,生成更贴合预期的画面。

Q2:Visual-CoG在哪些方面的表现提升最明显?

Visual-CoG在应对繁复描述时成效十分显著。具体而言,计数精确度提高了14.69个百分点,位置关联精确度进步了47.97个百分点,色彩精确度增加了15.36个百分点。针对需要推演的工作,例如"绘制雨果小说里的大教堂"这类指令,其完成成功率能达到77.5个百分点,相比之下常规技术仅能达成49.75个百分点。

Q3:普通人现在可以使用Visual-CoG技术吗?

现阶段Visual-CoG尚属一项学术成果,阿里团队打算近期会开放相关资料,但该技术所体现的"逐步推理"思路已经作用于AI绘图工具的演进路径,将来会有大批整合同类技术的产品提供给大众,令AI绘图更加聪慧且精准。

本文采摘于网络,不代表本站立场,转载联系作者并注明出处:https://mjgaz.cn/fenxiang/278312.html

联系我们

在线咨询:点击这里给我发消息

微信号:13588888888

工作日:9:30-18:30,节假日休息