企业邮件运营商级别的垃圾邮件防治技术随笔

一个陌生人的来信

1978年5月3日，世界上第一封垃圾邮件诞生了。正文内容如下：“DIGITAL WILL BE GIVING A PRODUCT PRESENTATION OF THE NEWEST MEMBERS OF THE DEC SYSTEM-20 FAMILY; THE DEC SYSTEM-2020, 2020T, 2060, AND 2060T. THE DEC SYSTEM-20 FAMILY OF COMPUTERS HAS EVOLVED FROM THE TENEX OPERATING SYSTEM AND THE DEC SYSTEM-10 <PDP-10> COMPUTER ARCHITECTURE.”发信人是DEC公司的市场人员Gary Thuerk --显然是一个粗鲁的家伙，居然能写出这么一封全大写，令人阅读困难的商业推广信。

事实上，这样的信并不稀罕，早在电子邮件诞生之前，它们就广泛的存在了。然而由于电子邮件近乎免费的发送成本和极其高效的传输效率，使得其成为商业推广信函完美的载体。

没错，几乎所有的垃圾邮件都是令人讨厌的。你或许会惊讶，既然人们对垃圾邮件深恶痛觉，为什么那些垃圾邮件的制造者还要孜孜不倦的发个不停？其实答案非常简单，由于单封垃圾邮件投递成本极低，基于长尾效应，即使只有万分之一的效果，这门生意都非常值得一做。所以结果就是每天全球有1500亿封垃圾邮件飞来飞去，人均30封，你没看错，是每天、每人，30封。

当然，自古有矛就必有盾，反垃圾邮件技术伴随着垃圾邮件也开始茁壮成长，成为一个1200亿美元每年的庞大产业。不同于一般用户的认识，垃圾邮件防治的核心指标其实有两个，一是阻挡率，即有多少比例的垃圾邮件被识别并阻挡在用户的收件箱之外；另一个则是误判率，即有多少比例的正常邮件被系统误识别为垃圾邮件而被丢弃或置入垃圾邮件文件夹。这两个核心指标互相之间存在微妙的制约关系，同等技术水平下，对垃圾邮件的判定越严格，则阻挡率水平越高，但误判率也会相应提高；反之，则阻挡率会降低，而误判率也会减少。

在垃圾邮件防治领域，企业邮箱的运营服务商是走在最前沿的。因为企业邮箱用户邮件应用频繁，商业价值很高，是垃圾邮件发送者的优质目标。而企业邮箱的服务商因为是收费服务，所以也不得不提升自己的反垃圾技术水平来为客户带来优质服务并进而获得较高的用户满意度。

在作为第一屏障的行为模式检测阶段，各大邮件服务商的技术基本没有太大差别，都是基于RBL的黑名单、频率检测（含IP发送频率限定、单域名发送频率限定、单邮箱发送频率限定）。由于用户数量的不同和从业年限不同，一般用户规模越大、从业年限越长的服务商这方面水平越高。一些企业邮箱服务商还承担了国家级的研发项目，并拥有相关的一些国家专利，这类服务商相对而言技术能力和水平都较为领先。

到了第二屏障的内容检测阶段后，各家的技术就五花八门，各有巧妙了。但万变不离其宗，无非还是关键字和贝叶斯算法，再加上一些图片和链接分析。事实上，到了内容检测阶段，喂养机制是决定反垃圾效果的决定性因素。低端的服务商采取自动喂养机制，结果就是样本库质量极低，进而使阻挡率和误判率指标都非常差。因为垃圾邮件本身的判断依据是一个非常模糊而主观的概念，只有人脑才有能力根据众多信息综合做出一个虽然模糊却实际最为精准的判断。

所以高端的企业邮箱服务商是会有专业的反垃圾团队24小时进行监控和喂养的。正是这种专门的人力投入，使得高端的外包型企业邮箱的反垃圾效果会远远好于自建和低端的外包
邮箱。

但即时如此，依然难以避免会产生有误判的可能，即正常的业务邮件被判定成为垃圾邮件。而对于企业用户而言，这是完全不能接受的。因为多看几封垃圾邮件还无所谓，可万一有重要客户的信件被莫名其妙丢弃了，这可不是开玩笑的。为了避免这种情况发生，部分企业邮箱的服务商专门设置了“垃圾邮件文件夹”，将疑似垃圾邮件扔到这个文件夹，让用户有空的时候自己去查找。

可这种处理方法依然存在问题，在传统POP协议下，客户端程序只会收取收件箱邮件，对于高达70%用户使用客户端收发邮件的企业邮箱应用而言，在webmail上的“垃圾邮件文件夹”从来都是被遗忘的角落；就算客户养成了好习惯，没事儿上webmail看看垃圾邮件文件夹，但这种操作费时费力，极大影响工作效率。

目前较为完满的解决方案是263的“垃圾邮件文件夹”提醒信功能。用户可自定义一个提醒信的发送周期。系统会根据用户的设定，每隔一段时间以普通email的形式给客户发一封“垃圾邮件文件夹”的信件清单，用户无需登录webmail即可了解“垃圾邮件文件夹”的大致内容，如有误判，在客户端点击“这不是垃圾邮件”即可将该邮件重新放回收件箱并收取下来。

可以肯定的是，垃圾邮件和反垃圾邮件的矛盾之争，在未来还将继续上演。虽然微软的B49行动关闭了Waledac僵尸网络，目前正在进行的B107行动，直指全球最大Rustock垃圾邮件僵尸网络。但垃圾邮件制造者受利益驱使，总会不断开发出新的垃圾邮件发送渠道。一封又一封陌生人的来信，或许还是会不断进入你的收件箱——有的是卖药的，有的是卖文凭的，有的是卖培训的……有的时候我们或许要以更乐观的心态来看待此事，没错，这些家伙这么辛勤的发送着垃圾邮件，突破重围来到你的收件箱，这是一种什么样的精神啊！另外，假如你是一个做市场营销的人员，我强烈建议你看看垃圾邮件的编排。有的时候，他们真的是杰作！