生成式AI正在把跨境电商领域变成互联网里的“新缅北”。
最近有不少卖家称收到伪装成亚马逊官方的“钓鱼邮件”，通过提供的恶意链接，提取卖家的重要账户信息。有人因此上当在短短一夜之间损失高达40万。
苏丹就是受害者中的幸运儿。他9月初收到的邮件中，发件地址与亚马逊官方地址高度相似，内容更是精巧地仿制了亚马逊的通知风格，敦促卖家更新紧急联系人信息。
按照邮件中的指引操作，会被引导到了一个似乎是“亚马逊”的网站，并被要求输入自己的邮箱、密码以及二次验证码。一旦上当，很快就会收到真正的亚马逊官方发出的“店铺异地登录”通知。
ChatGPT杀手GPTZero的检测结果
苏丹意识到不对劲后及时止损，他还利用技术工具对邮件内容进行分析，显示有高达90%的可能性是由AI生成。新技术再次站在了走向善恶的十字路口。
生成式AI正在“作恶”
经常在国内外互联网上冲浪，苏丹对ChatGPT并不陌生，还多次进行体验，也早就听闻ChatGPT可以通过某种方式绕过安全机制，从而生成违法和不道德的内容。
他尚未意识到的是，ChatGPT的“越狱”技术已经迭代数次，现在市面上甚至有了更为先进的“邪恶GPT”版本，而这次遭遇的钓鱼邮件，就可能出自该版本的手笔。
眼下比较有名的“邪恶GPT”版本是WormGPT和FraudGPT，两者都能快速实现钓鱼邮件骗局。
2021年3月，WormGPT问世，其开发者今年6月开始在黑客论坛上出售使用权。与ChatGPT不同，WormGPT并没有设置阻止回答与非法活动相关问题的限制，构建的基础是稍显过时的2021年的开源GPT-J模型，并专门在与恶意软件开发相关的数据中进行训练。
为了评估潜在风险，安全分析公司Slashnext的研究团队对BEC（商务邮件诈骗）攻击进行了测试。实验中他们要求WormGPT制作一封电子邮件，目标是对一个不设防的账户经理施加压力，迫使其支付虚假发票。
WormGPT生成的钓鱼邮件
结果令人震惊，WormGPT生成的邮件不仅极具说服力，而且策略十分巧妙，充分展示了其在进行复杂性网络钓鱼和BEC攻击方面的能力。
另一款名为FraudGPT的邪恶语言模型在今年7月亮相。从7月22日开始，开发者在多个论坛上宣传该产品，称其为不受限制的ChatGPT替代版本。
据透露，FraudGPT每隔一至两周更新一次，架构下采用了多种AI模型。此工具采用基于订阅的定价策略，每月收费为200美元，或年费为1700美元。
一个论坛的截图，展示了FraudGPT的功能
安全研究团队Netenrich购买并进行了测试。FraudGPT的界面与ChatGPT极为相似，左侧展示了用户的历史查询，而聊天窗口则占据了界面的大部分。使用者只需在“提问”区域输入问题，系统便会为其生成相应答案。
FraudGPT生成钓鱼邮件
测试中研究人员指示FraudGPT制作一个与某银行相关的钓鱼邮件。用户只需将问题格式化以包含特定银行的名称，FraudGPT就能处理其余部分。这款工具还会指导用户在邮件内容的哪个位置放置恶意链接，并能进一步生成用于诈骗的登录页面，诱导受害者提供个人信息。
分析人士称，FraudGPT 可能成为发动有影响力的网络钓鱼和BEC攻击的理想工具，从而导致巨大的财务欺诈和数据窃取。
活跃的“邪恶GPT”不只上述两个。就在8月中旬，有网络安全领域的专家揭示了另一个基于GPT的网络犯罪工具，名为EvilGPT。
这款应用与FraudGPT、WormGPT类似，它可以帮助制造恶意软件、诱骗邮件、陷阱链接并针对企业网络安全的弱点进行探测。若上述GPT因某些原因被封禁或移除，它将作为备选方案在市场上供应。与此同时，它也采用了基于订阅的定价模式，吸引潜在用户购买。
EvilGPT仅仅是在最近几周中被发现的冰山一角。随着时间的推移，可能会有更多基于人工智能技术的恶意工具和应用浮现出来。
AI“加持”下，钓鱼邮件防不胜防
钓鱼邮件对跨境电商从业者来说并不陌生，但苏丹这次仍然险些中招，除了偶尔的疏忽大意之外，生成式AI的“加持”功不可没。
过去，一种有效的识别钓鱼邮件的方法是注意内容单词的拼写及语法错误。据资料显示，约有50%的钓鱼邮件来源于俄罗斯、德国和中国。从这些母语非英语地区发出的邮件中，大多假冒的内容都包含了不正常的语法或用词，与正规标准的电子邮件风格不符。
未经校对的钓鱼邮件
事实上，为了防止员工点击带有恶意链接的邮件或泄露登录信息，许多电商公司在培训中都会提醒注意拼写错误、不寻常的语法以及非英语母语者可能犯的其它错误。
然而，现在的生成式AI技术已经能够完美地排除掉这些传统的识别特征。这次的亚马逊钓鱼邮件没有任何语法上的错误。
最近电子邮件安全公司Abnormal Security的CEO Evan Reiser在接受采访时也指出了这点，由生成式AI平台制作的精细钓鱼邮件几乎与真实邮件无异，使人难以一眼辨识。他表示：“当你浏览这些邮件时，大脑中并不会产生任何提示，警告你这可能是一次网络钓鱼攻击。”
可怕的是，避免语言错误只是生成式AI在钓鱼邮件上展现的基本技能，更强的欺诈和混淆能力更为致命。
得益于AI模仿人类书写的能力，钓鱼邮件的内容可能包括制造紧迫感、鼓励收件人点击链接或者伪装为汇款请求的社交工程邮件等。一旦收件人点击链接，他们的系统就可能受到恶意代码的感染。
上述伪造亚马逊邮件的场景中，便是被AI制造了对于卖家而言比较急迫的场景。不少卖家在仔细审查邮件内容后，虽感到不太对劲，但由于担忧可能错过了某些重要信息，还是按照邮件中的指引操作。
另外，生成式AI还能够使钓鱼邮件更具攻击性。它们可以从社交平台、新闻门户、网上论坛等多种来源中抓取个人信息，以针对性更强的诱人邮件。这在过去通常是需要花上数月的时间才能完成的任务。如果攻击者能够掌握这些专有信息，他们可以在邮件中植入更具说服力的细节内容，或是模仿某人的写作方式。
Evan Reiser指出：“目前，犯罪者只需捕获这些电子邮件，自动地喂养到一个大型模型，接着指示它构建一封引用最近五次在线对话的邮件。这样之前可能需要八小时完成的任务，现在只需八秒。”
即使是技术能力有限的攻击者，也可以利用生成式AI来编写VBA代码。他们只需指示AI将恶意URL嵌入到代码中，当用户打开如Excel这样的文件时，系统会自动下载并执行恶意软件。
过去，像ChatGPT和Bard这样的系统都有内置的保护功能，能够尽可能预防生成恶意内容，但随着越来越多的邪恶GPT版本涌现，电子邮件安全正在面临巨大的挑战。
2023年8月21日，国际安全研究团队Perception Point与Osterman Research公司联合发布了名为《人工智能在电子邮件安全中的作用》的报告。该报告揭示了网络犯罪分子如何利用AI来增加和复杂化电子邮件威胁（如网络钓鱼和BEC攻击）的惊人趋势。
此项研究指出，网络罪犯正在迅速采用AI工具以推动其利益，而有91.1%的组织称他们已遭受到了被AI增强的电子邮件攻击。
解决之道：使用AI来对抗AI？
在AI的威胁下，过去依靠经验躲避钓鱼邮件陷阱的方法不再有效，新的对策或在于以AI对抗AI。已有数家网络安全公司将生成式AI融入其产品，力图在被大规模滥用前采取措施。
有供应商正在利用AI来提高电子邮件的安全能力和流程，例如：为了洞察每个发送者和接收者的习惯和特性，一个AI模型被设计出给组织中的每位成员绘制通信模式。
具体来说，谁会给他们发信息？信息内容是什么？何时和从哪里发送这些消息？通常有其他人被抄送还是只有一个目标接收者？每位发送者使用哪些电邮地址？简而言之，AI被用于构建关于每个人常规行为的档案。
另外，为了察觉不常见的邮件发送模式，供应商结合了以下策略：利用社交图技术进行基础发送模式的分析；识别相似或相近的电子邮件地址；鉴别包含社交工程技巧的信息；检测冒名顶替的标记和其它品牌相关的视觉元素；以及对电子邮件中的语气、情感和风格进行分类。以上策略都有助于检测那些旨在混淆人类思维的异常邮件。
尽管接受过安全意识培训的人力也可以找到这些异常信号，但只有AI能够在网络速度下整合所有分析维度，确保在面对海量消息时能够持续并可靠地执行检测。
AI解决方案还可以利用多个机器学习模型来识别带有恶意内容的信息。这些模型是基于被标记为恶意或无害的信息数据集进行开发、调整和更新的。某些供应商采用生成式AI技术，从已知的恶意信息中产生附加的样本数据，这为机器学习模型提供了更为丰富的优质训练数据。
能够战胜AI的，也就只有AI了。
实际上，不少组织已经在使用AI进行电子邮件安全防护。根据Osterman Research的数据，最近的两年内五分之四的组织已经部署了或正在积极推进基于AI的电子邮件安全解决方案，这种方案是在常规保护措施之外附加的。
其中，引进AI加强电子邮件安全的方式主要有两个方向：一方面是现有的电子邮件安全提供商将AI防护集成到他们的产品中；另一方面是组织正在刻意寻找新的使用了AI的解决方案。
而在过去两年中，仍有五分之一的受访者没有采纳此类方案：12.7%的人没有实行任何解决方案，而6.0%的人正在积极探索和评估可能的选择。
从Osterman Research的数据来看，AI在提高检测效率和强化保护方面显示出了不俗的能力。
在采纳AI加强的电子邮件安全解决方案之前，各组织都有一定的检测效率。但随着网络罪犯使用AI提高攻击技术，没有AI保护的组织会发现他们的检测效率将受到严峻挑战。
只有魔高一尺道高一丈，才能把钓鱼邮件的攻防双方，重新拉回到AI技术这同一起跑线上。
（文中人物为化名）
参考资料
Over 91% of Organizations Have Experienced AI-enhanced Email Attacks and 84% Expect Continued Use of AI to Circumvent Existing Security Systems
WormGPT-The Generative AI Tool Cybercriminals Are Using to Launch Business Email Compromise Attacks
WormGPT and FraudGPT - The Rise of Malicious LLMs
Generative AI Could Revolutionize Email-for Hackers