军事论坛丨生成式AI：认知对抗的新武器

生成式AI：认知对抗的新武器

(资料图)

■陈东恒 许 炎

引 言

日前，美国的OpenAI将ChatGPT升级为GPT-4的全新版本。相比于只能接收文字提问的老版本，GPT-4能用数十种语言开展工作，还可识别图片信息。以ChatGPT为代表的生成式AI的迅猛发展，打开了人类认知世界的新路径，也为一些国家对外实施认知渗透攻击提供了新武器。

生成式AI的认知应用功能

所谓生成式AI，是指通过各种机器学习方法从数据中学习抽取对象的内核特征，进而生成全新的、完全原创的内容的AI。ChatGPT及其迭代产品，本质是基于人类自然语言的人工智能语言模型。它以大型数据为原料，通过强化训练和深度学习，具备了类似神经网络的反馈纠错机制，能够根据用户的具体需求创造新的内容，自动完成诸如撰文本、写文章、编代码，以及作画、编辑视频等复杂工作，为人类认知插上了翅膀。

认知速度提升。生成式AI以AI为核心支撑，以高性能算法为武器，汇聚了大规模数据信息，是人类智慧和数据信息的集大成者。生成式AI的横空出世，标志着人工智能发展从量变正走向质变，其认知速度远超此前所有AI认知机器。有资料显示，支撑ChatGPT语言合成结果更自然流畅的是45TB的数据、近1万亿个单词的训练模型，其规模相当于1351万本牛津词典。GPT-4虽然其认知算法、算力和训练数据等尚未公开，但无疑是一个更加强大的超级天文数字，这是其强大认知速度和认知能力的关键支撑所在。

认知趋势预测。生成式AI的神奇之处还在于，能够基于强大的数据支撑、算法和事物生成发展规律，预测事物的发展趋势。公开资料显示，目前由类GPT人工智能支撑的美军“先进算法作战系统”，能对敌人成千上万次炮击、地面进攻和空袭信息进行汇总，利用AI算法总结敌人的行动规律、战斗习惯，甚至模拟敌军指挥官的“思维方式”，提出针对性应对方案。

认知偏向诱导。生成式AI不管如何快速迭代，其说到底还是一个人类创造并控制的AI。在令人眼花缭乱的功能背后，是其研发操纵者利用掌握的设计密钥和训练数据集，对机器输出的认知立场和态度实施操控，同时也不排除由于机器认知故障或失控有可能造成的重大风险挑战。资料显示，OpenAI将调试的大量精力花在英文数据而非中文内容，中文数据在ChatGPT的训练语料里占比仅0.1%，英文输出结果的逻辑性和准确性要远大于中文，其文化价值倾向可见一斑。当带有鲜明政治立场和价值观倾向的生成式AI及其产品日益深入世人的生活时，受众认知很难不受到其提供的预设政治立场的答案的倾向性影响，这一系统也由此更加容易沦为认知攻防的工具。

生成式AI的认知应用特征

生成式AI作为高度智慧化的AI形态，对认知战的作用特征具有AI认知战应用的一般特征，同时又兼具高智慧认知对抗的特殊性状。掌握生成式AI认知应用的特点规律，有助于我们认清其在认知攻防中的现实和潜在价值，拓展认知战方法路径。

自主运行。这是生成式AI认知应用的显著特征。生成式AI具有一定程度的自我意识，能够按照其研发应用的底层逻辑，自主“涌现”生成新的内容，进而对人的认知产生连续性的不确定性影响。其认知应用的价值在于，研发应用者能够依靠对系统设计和训练语言的掌握，更加高质高效持续作用于目标对象的思维认知；同样，作为对手的“受众”在看似客观的AI连续影响干预下，更容易难辨真假、受惑受制。未来认知对抗，在生成式AI加持下，攻击组织者可将认知攻防任务交由AI机器和编程来完成。对“受众”而言，信息是真是假、判断是对是错、决策是优是劣、行动是好是坏，一切都将变得更加扑朔迷离。因为你面对的可能不是活生生的人，而是有智慧的类人认知能力的程序或机器。

交互博弈。这是生成式AI认知应用的逻辑特征。生成式AI实际上是人本体认知与机器认知交互作用的认知。人类将自身智慧赋能于程序和机器，同时认知机器也在回答受众问题、根据受众具体需求创造新的内容、进而形成新的能力，并用于充实完善自系统。因此，类ChatGPT所具备的认知，是人与机器程序内互动与外互动的叠加。在这个过程中，基于研发者授权的生成式AI，能够调动运用所有的数据储备和算力、算法，与作为“对手”的人或同样的类ChatGPT，就关注的问题进行博弈，从中潜移默化地施加影响、诱导或压制对方。

隐蔽扰动。这是生成式AI认知应用的深层特征。生成式AI本质是人在底层回路控制的高度智慧化的程序或机器，其生成是基于人主导之下的混合生成，而不是完全脱离于人的虚浮生成。如同所有科技一样，游离于人的AI是不存在的。正是其高智慧支撑的令人目不暇接的认知行为，为真正的认知施动者提供了隐秘的作用发挥空间。正是基于此，生成式AI生成的源头、方式、内容和指向具有鲜明的人文色彩，包括政治立场、价值取向、道德标准、文化属性甚至性格特征。反过来，我们也可以透过这些人文色彩去认知其本源和性质。当你面对一台有相当认知应对能力、很有科技感的机器或程序时，你很难从与其往来互动的应答中判断其背后有无另外的支配力量在起作用。正是这种先验形成的对科技的崇拜与信任，往往令人丧失对其背负的政治倾向、价值准则、道德标准、人文属性的警觉。

生成式AI的认知应用方式

生成式AI的迅猛发展及其在认知攻防对抗领域中的广泛应用，是未来认知战发展的大趋势。这就要求我们要深入研究生成式AI的认知应用，把握其作用发挥的方法路径。

认知习惯塑造。就是增强优势科技产品使用的便利性，通过长期浸染形成对该产品使用的惯性思维，从而达成可信可亲可感、毫不设防的认知趋同，这是美国等一些西方国家的传统做法。早年美西方开发国际互联网、操作系统时，通过低价或免费使用来塑造市场，让对手在使用中不知不觉上“瘾”。ChatGPT以工作上的“贴心人”“小助手”形象出现，还提供免费使用版本。这些看似人畜无害、实则人为控制的生成式AI们，一旦成为人们无比信任、无话不谈的“密友”时，它对人的影响将是潜移默化的。这提醒我们，“亲民”之中有陷阱，切不可被温情脉脉的表象迷惑。

认知信息渗透。通过媒体平台和文创产品输出价值观，影响其他国家百姓的价值取向，是美西方等国的通行做法。美国曾利用技术优势，通过互联网络投放大量数据库和信息产品推广美式价值观。美国在生成式AI上的先发优势，无疑使其拥有了向对手进行信息渗透的新工具。这提醒我们，某些看似客观公正的数据信息，其实不少都被“染了色”甚至是“变了质”。切实加强国家安全尤其是加强数据信息等战略资源的保护，防止以技术理性代替价值理性等。

认知思维构陷。就是利用人性的弱点，通过激发追求安逸、新奇、刺激的认知感受等原始欲望，以“猎奇娱乐+意识渗透”的方式影响人的思维认知。ChatGPT等生成式AI针对现代人的社交、情感困境，以愉人悦性的聊天机器人面目出现，契合了许多人的情感诉求。这种专注于迎合利用人性特点的技术运用，极易将人的思维认知引入狭隘的、片面的、浅表的陷阱。这警示我们，必须保持对新技术的足够理性，在用其所优所长的同时，防止掉入可能负载的人为陷阱。

认知标准挟持。就是以技术逻辑捆绑价值逻辑，利用科技优势在产品中强行贯注相应价值观，这是美西方等国新兴做法。比如，互联网是现代社会不可或缺的重要工具，掌握互联网绝对控制权的美西方国家更是将其作为价值观渗透的利器。美国就曾通过控制互联网使用、国际支付系统使用等手段打压在某些问题上不同于美西方的声音和做法。以ChatGPT为代表的生成式AI，仍然能够复制这种“捆绑”式挟持伎俩，利用生成答案之机强行提供融合美式价值观的“标准答案”。这提醒我们，加强认知对抗，要加强战略性信息系统技术创新和产品研发力度，以科技过硬支撑认知对抗话语权过硬。

（作者单位：军事科学院军队政治工作研究院）