数字经济观察网 - 软信官网

近日，OpenAI宣布其采取了强有力的措施，禁止了一批涉嫌滥用其ChatGPT工具从事恶意活动的账户。这些账户利用AI技术开发了一个高度先进的监控工具，旨在通过分析社交媒体内容、扫描公开数据，收集和传递特定群体、事件的实时数据与情报，尤其集中在反对某些国家的舆论和示威活动上。

根据OpenAI的声明，相关账户在多个社交平台上发布、分析并收集帖子、评论和公共信息，试图掌握有关抗议活动、社会运动等敏感信息，甚至通过这些数据向相关政府或组织提供情报。这些账户的活动行为引起了全球安全研究者的关注，并被列为高度恶劣的滥用行为之一。

在这次禁令中，OpenAI强调这些账户涉及的恶意活动包括但不限于基于人工智能的社会媒体监听、情报收集、甚至进一步的舆论引导行为。这些行为不仅威胁到信息自由和言论自由的健康发展，也在一定程度上破坏了用户的隐私和数据安全。

监控工具的操作与影响

OpenAI的安全团队表示，这些滥用行为的背后可能存在一个跨境的监控网络。该网络利用Meta的Llama模型和OpenAI的ChatGPT，生成和分析大量社交媒体内容，主要针对一些地区的抗议活动。通过监控社交平台如X（前Twitter）、Facebook、Instagram、YouTube、Reddit等公开数据，该工具能够实时捕捉与特定抗议活动相关的社交动态，并提取关键信息。

例如，OpenAI在检测过程中发现，有些账户利用ChatGPT对监控软件的源代码进行调试，并开发出一套舆情助手工具，用于识别和跟踪社交媒体中的反政府言论。该工具可以自动读取、翻译并分析与抗议活动相关的社交媒体截图，包括来自部分国家的抗议通知和宣言。OpenAI表示，部分截图内容可能来自社交媒体，但目前尚无法确认其真实性。

02

AI滥用的其他恶意活动

除了监控和情报收集，OpenAI还披露了多个其他滥用行为，这些行为跨越了多个领域，包括欺诈、虚假信息传播和网络舆论操控。

具体活动包括：

欺诈性就业计划

一个涉嫌与虚假IT工作招聘活动相关的网络通过ChatGPT生成伪造的简历、求职信、社交媒体求职档案，甚至编写说服性文案来解释应聘者的不寻常行为，如避开视频面试、工作时间不规律等。其目的是为从事网络犯罪的个人提供伪造的身份材料，进一步获取与其不法行为相关的工作机会。部分伪造的求职资料被传播到如LinkedIn等平台上，影响了全球的招聘信息安全。

煽动不满情绪的网络活动

通过生成反对某些国家的社交媒体内容，批评其内政及外交政策，并通过拉美媒体平台在秘鲁、墨西哥、厄瓜多尔等国家传播。这些内容以西班牙语和英语发布，旨在煽动对该政府的公众反感情绪。

浪漫诱骗与投资诈骗

一个涉及多个国家的网络，利用AI生成的翻译内容在社交平台上进行浪漫诱骗诈骗和虚假投资机会的推广。其通过社交平台如Facebook、Instagram和X吸引受害者，误导他们进行虚假的投资行为或陷入情感诈骗。

地区性影响力操纵

利用AI技术生成支持某些政治立场的社交媒体内容，并通过多个影响力网站进行分发，目的是影响全球范围内的舆论和政治走向。

这些恶意活动揭示了AI技术在网络犯罪和信息战中的潜在应用，提醒全球范围内的安全专家和技术公司要高度警惕AI滥用带来的安全隐患。

03

AI技术的监管与全球协作

随着AI技术的不断进步，它在各行各业中的应用也越来越广泛。然而，恶意行为者的利用和滥用给社会带来的挑战也越来越严峻。从网络安全到数据隐私，从信息操控到国家安全，AI技术的安全使用成为全球范围内讨论的重要议题。

OpenAI强调，AI技术公司与全球安全机构、技术公司和开源研究人员的紧密合作是打击AI滥用行为、维护数字空间安全的关键。OpenAI表示：“AI公司通过共享来自威胁行为者的独特洞察，可以帮助上游提供商（如托管服务商和软件开发商）以及下游平台（如社交媒体公司）更好地应对这些安全威胁。”

此次事件的曝光，进一步推动了关于人工智能滥用的监管讨论，尤其是如何防范恶意行为者利用AI技术进行大规模的信息操控和网络攻击。为了更好地应对这些挑战，全球范围内的技术公司和政府部门需要进一步加强对AI技术的监管，防止其被不法分子所利用。

通过积极开展国际合作、增强技术透明度与监管力度，AI技术的未来发展可以在确保安全的前提下，为社会带来更多积极影响。

此次OpenAI公开的反制措施和对恶意账户的打击，不仅展现了人工智能技术在网络安全中的潜在风险，也突显了行业和政府之间合作的重要性。随着技术不断进步，AI技术的监管与防范将成为全球网络安全领域的重中之重。

文章参考：

https://thehackernews.com/2025/02/openai-bans-accounts-misusing-chatgpt.html