本文来自微信公众号：差评 （ID：chaping321），撰文：刺猬，编辑：面线、小鑫鑫，题图来自：视觉中国


说到电子邮件，大家对它的印象可能就是古早。这些年随着QQ、微信的普及，电子邮件已经不流行了，哪怕外贸行业，老外和我们做生意也索性用起了 WeChat。


可能有人说，我都没见过电子邮件流行的时候。如果你够年轻，那有资格说这话。但不可否认，大多数 80、90 后网上冲浪的开始，都离不开一个 E-mail。不说它当时有多大用吧，但最起码你能用它在同学录上装个小 X。


大家登录自己的邮件主页时，应该好奇点进过垃圾箱。在这里，你可以发现信用卡办理活动，蓝色小药丸的打折营销。甚至，还有一批想直接骗你钱的邮件。对方可能是想让你继承大笔资产的非洲王子，也可能是你家附近500米，能免费上门的洋妞。



甚至是南非总统第二任太太，说要寄给你 4000 万美金，原因你别管，不信可查护照。



每次看到垃圾箱里这些脑洞比脑子还大的垃圾邮件，世超就好奇：这些垃圾邮件到底哪来的？邮箱客户端又是怎么识破它们，把它们拦截了？


今天咱们就简单聊聊。


世界上第一份垃圾邮件，诞生在1978年。当时一家电脑公司的销售员为了促销电脑，压根不管别人想不想买，一股劲地把邮件发给了阿帕网（互联网上前身）上所有用户。


尽管他们猛赚了一笔钱，但被大家喷得很惨，美国国防通信机构也批评了他们一顿。所以后来十几年，都没有人敢这么做。


直到 1994 年，垃圾邮件真正的始作俑者出现了。当时人们习惯在新闻组上订阅各种栏目，栏目收到的邮件会自动转发给订阅者。有天，两名律师为了推销自己的业务，把邮件反复发给了新闻组上 5500 多个栏目。


那天很多人发现，自己怎么在每个栏目里都能看到这个邮件啊。接下来那几天，这两位律师的电话、传真被人打爆，接起来就是一顿骂。


但说出来你可能不信，也因为垃圾邮件，他们获得了 1000 个新客户。相当于几美分的成本赚到了近 10 万美金。


嚯，垃圾邮件的巨大利润，一下子暴露在了公众视野里。有钱不赚，那不大聪明么？于是人们一个接一个地发起了垃圾邮件，特别是那些平时不让刊登广告的成人用品，趁机会广撒网了一波。


还有人另辟蹊径，开始贩卖邮件地址，有技术的程序员，也开发了一键群发工具。

垃圾邮件的潘多拉魔盒，正式打开了。


自那以后人们发现，不管需不需要，收件箱每天都塞满了保健药物的广告邮件，严重影响自己的生活和工作。最烦的是，犯罪团伙也利用电子邮件推送欺诈信息，病毒。


这种情况下，反垃圾邮件技术诞生了。1996 年，有两个工程师开始记录发送垃圾邮件的 IP 地址，填进 RBL 黑洞名单里，名单上的人发来邮件就直接拒收。


虽然深受欢迎，但这法子想破解它也不难。对方要么是买服务器换个 IP，要么，利用中继服务器就能规避。


这要说到邮箱服务器有个功能叫开放式中继代理，专做好人好事。如果收到一封不是寄给自己的邮件，就会随手帮忙，再寄出去。



以前互联网不稳定，为了保证邮件顺利送到，大部分服务器都会打开这个功能。人人为我，我为人人。


可惜啊，这个好功能被垃圾邮件看中了，他们故意把邮件发给老实人服务器，再让其转发出去，规避了黑名单。


在世纪初那会，因为起步慢，管理不佳，我国不少服务器就被国外利用，转发了垃圾邮件，结果自己被送上了黑名单。搞得当时我们和老外做生意发邮件，要么申诉解封，要么也只能用中继服务器，当然，这是另外一个话题了。


图源 Winmail ▼


由此可见，黑名单技术并不算优秀。


所以还有没有其他途径，去判别一个邮件是不是垃圾邮件呢？有。


你想想，垃圾邮件往往都是几十万封起发，肯定会遇到很多发送失败的情况。正常邮件发送失败，都会自动重发第二次。但垃圾邮件可不乐意，因为重发对它们来说，不仅消耗资源，还耽误了大量的时间，业务要紧啦~


基于这个特性，灰名单技术诞生了。诶，你第一次发给我，我先拒收，你要是好人，你肯定再发第二次对不对。这样我们就只会接收到正常邮件，屏蔽掉那些垃圾邮件了。


除了不爱重发，垃圾邮件的内容也很有特点：不就是医疗保健、投资、约会之类的嘛。


那把这些词设为关键词，遇到后就塞进垃圾箱，行不行呢？行是行。但对方想规避也不难，最主要是它会误伤。不少正常邮件就是因为误碰了关键词，被塞进了垃圾站。


网上还有人总结了关键词列表 ▼


所以关键词过滤垃圾邮件，还需要贝叶斯推断。


贝叶斯推断基于了贝叶斯定理，这玩意咱不好细说，讲清楚最起码再开 2 篇文章。你只要知道，借助贝叶斯推断，过滤器会基于一群关键词，判定一个邮件为垃圾邮件的概率。



怎么做呢？我们提供归纳好的正常邮件、垃圾邮件，让过滤器统计每个词出现的频率。


比如，“猛男”在垃圾邮件里出现了 78 次，在正常邮件里出现了 5 次；这样过滤器就能大概推出，邮件里出现“猛男”一词时它为垃圾邮件的概率，假如 90%。同样其他词概率，也一样计算。


如果我现在收到一封邮件，内容为：我是猛男，喜欢在半夜健身。我们可不能因为它含有“猛男”，就判定它 90% 是垃圾邮件。而是要把“喜欢”“半夜”“健身”这些词一起算，求一个联合概率！这样算出来的，才是一个内容为“我是猛男，喜欢在半夜健身”邮件，为垃圾邮件概率是多少。


这个就是贝叶斯推断，只要我们收到的邮件越多，过滤器就会判断得越准。当然了，实际计算要复杂很多，我们不细讲，点到即止。


到这里我们说的过滤方法，都是基于垃圾邮件的特征，比如不喜欢重发、关键词。


但还有一类垃圾邮件更猥琐，它不会展现出明显特征，而是伪造成官方运营商，来骗你敏感信息。


下面这张图里，是一份“比尔·盖茨”寄来的邮件，从姓名和邮件地址来看，都是对的。这就代表它真的来自比尔盖茨了吗？



网络邮箱的运行机制和微信、QQ双向通讯不同，它是单向通信。


给别人发邮件，就是直接丢个包裹给服务器，说：我是 A，把这东西送给 B。这一步就类似于寄快递，你明明不是吴彦祖，但你完全可以在寄件人那栏，填上“吴彦祖”。


类似的，发邮件时只要配合一些工具，我完全可以把自己写成名人、运营商、银行，谁对我作案有利，我就是谁。


有网站可以伪造发件人 ▼


为了解决这个问题，大家就多了一步验证技术，比如常见的 SPF（Sender Policy Framework）。


一般大型运营商、银行都会采用这个技术防止别人假冒自己。


SPF 的原理，就好比每个运营商、银行，在自家门口放个公告板，告诉大家只有来自 138.138.138.138、139.139.139.139 等 IP 才是他们的邮件。假若有人用它们名号去发邮件，服务器会对比 IP 地址。要是对不上，那就判为假冒，直接打回。



随着发展，邮件认证技术后来还有 Domainkeys 以及改进版 DKIM，世超就不再多讲了。


那既然有这么多的反击手段，垃圾邮件有消停吗？


并没有。


2011 年，美国有大学做了实验估算发送垃圾邮件的收入，结果发现，如果卖的是伟哥，一天能赚 7000 美元。


所以，纵使我们有一万个方法对付垃圾邮件，但因为利润足够吸引人，它们依然是打不死的小强，每年还是数千亿封地往外发送，用各种方式逃过拦截。


2017 年以前，世界上发出的大部分邮件，还都是垃圾邮件。



你可能觉得这件事离自己挺远，那除了因为不怎么用电子邮件，更多是，每一秒钟在看不见的世界，反垃圾邮件系统都在和无数垃圾邮件做斗争，保护你的邮箱。


这场较量也许还会持续很久很久，但随着科技发展，反击技术提升，垃圾邮件的消失一定是最后结局。


图片、资料来源：

20 年前的 ILOVEYOU 蠕虫计算机病毒如何蔓延全球并造成百亿损失？

阮一峰贝叶斯推断及其互联网应用（ 二 ）：过滤垃圾邮件

How To Geek How Scammers Forge Email Addresses ， and How You Can Tell 

What's On the Other Side of Your Inbox - 20 SPAM Statistics for 2022 

What are SPF and DKIM 

B 站：【 TED 】【中英字幕】当你回复垃圾邮件时会发生什么？

B 站：垃圾邮件到底都是怎么来的啊...【 Depuis quand 】

拦截垃圾邮件的 6 大技巧

黄元飞：反垃圾邮件相关技术和标准

阮一峰：贝叶斯推断及其互联网应用（二）：过滤垃圾邮件

什么是邮件中继服务器以及如何应用中继转发、中继站功能?


本文来自微信公众号：差评 （ID：chaping321），撰文：刺猬，编辑：面线、小鑫鑫