IT之家，10月24日有消息传来，那生成式AI在信息整理这块确实有颇为显著的用处，所生成的内容常常会使人感到惊叹，然而，只要稍微认真细致地去查看一番，便能够发觉这项技术还是存在着相当多的缺陷。

近日，外媒Android Authority报道称，欧洲广播联盟与BBC联合评估GPT、Gemini及Perplexity等多款AI系统的新闻摘要表现，研究动因是约15%的25岁以下年轻人主要通过AI获取新闻。

最初，BBC 通过大规模问卷调查收集公众对AI新闻工具的使用体验与看法，同时，BBC 通过六场焦点小组访谈收集公众对AI新闻工具的使用体验与看法，随后，EBU 将这项来源于BBC的研究扩展至国际范围。

研究表明，大概百分之四十二的英国成年人士声称信任AI内容的精确程度，年轻人群体中信任的程度要更高一些。然而，百分之八十四的被调查者觉得一旦出现事实方面的差错，将会极大地削减自己对AI的信赖。所存在的问题是，这些系统的“不准确程度”到底是什么原因造成的，以及用户是不是真的察觉到了这些失误。

其结果呈现出这样的状况，那就是大部分由AI所生成的内容均是存在着问题的。各个模型从整体上展现出来的表现之间的差距并不是特别大，然而Gemini却成为了明显的“异类”，它不但错误的数量最高，而且严重错误所占的比例相较于其他系统而言也是远远高出的。

有研究表明，Gemini所存在的问题主要涵盖以下诸多方面，其一为欠缺清晰明确的资料来源相应链接，其二是没能将可靠信息与讽刺内容作出有效的区分，其三是过度依赖维基百科这家平台，其四是缺少足够的语境相关内容，其五则是出现了错误引用原文的情况。

在为期六个月的研究周期当中，各个AI系统的表现均是有着改进的，新闻摘要的准确率普遍得到了提升，Gemini在此方面的进步是格外显著的。然而即便处于这样的状况下，Gemini的表现依旧是明显落后于其他系统的。

IT之家附上报告链接，该链接指向News Integrity in AI Assistants 。