Facebook今天宣布开放两种算法，能够发现相同且几乎完全相同的照片和视频，据称它在其平台上积极用于对抗儿童剥削，恐怖主义宣传和图形暴力。该公司指出，这是第一次共享任何媒体匹配技术 - 技术，它希望行业合作伙伴，小型开发商和非营利组织将更容易识别有害内容。

全球安全负责人安提戈涅戴维斯和诚信副总裁盖伊罗森在一篇博客文章中写道：“当我们识别出有害的内容......技术可以帮助我们找到重复内容并阻止它们被共享”，以配合Facebook第四届年度儿童安全黑客马拉松。“对于那些已经使用自己或其他内容匹配技术的人来说，这些技术是另一层防御......使系统更加强大。”

Facebook表示，有问题的两种算法 - PDQ和TMK + PDQ - 被设计为在“高规模”下运行并受到现有模型和实现的启发，包括pHash，微软的PhotoDNA，aHash和dHash。照片匹配PDQ是在pHash之后建模的(尽管它是从零开始设计的)，而视频识别TMK + PDQF是由Facebook人工智能研究团队和意大利摩德纳大学和雷焦艾米利亚的学者共同开发的。

两者都有效地将文件存储为短数字哈希 - 唯一标识符 - 有助于确定两个文件是相同还是相似，即使没有原始图像或视频。Facebook指出，通过全球互联网反恐论坛(GIFCT)，这些哈希可以通过公司和非营利组织以及行业合作伙伴轻松共享，因此如果上传到他们的服务，他们也可以删除相同的内容。

“我们根据我们在Facebook上数十亿帖子中发现滥用行为的经验设计了这些技术，”戴维斯和罗森写道。“我们希望通过回馈社区，我们将使更多的公司能够保证他们的服务安全并赋予在该领域工作的非营利组织。”

Facebook对PDQ和TMK + PDQ的贡献紧随10年前上述PhotoDNA，旨在打击剥削儿童的行为。最近，Google推出了Content Safety API，这是一个人工智能平台，旨在识别在线儿童性虐待材料，并减少人类审稿人对内容的曝光。

Facebook首席执行官马克扎克伯格经常断言，人工智能将大幅减少数百万恶意Facebook用户所犯的滥用行为。生产中的一个具体例子是“最近邻”算法，其发现非法照片的速度比之前的版本快8.5倍，这补充了学习Facebook图形中所有节点的深度图嵌入的系统 - 数据集合，网络上的故事，广告和照片 - 查找可能相互关联的滥用帐户和网页。

在5月发布的Facebook社区标准执行报告中，该公司报告说，人工智能和机器学习帮助减少了九个内容类别中的六个的滥用职位。具体而言，Facebook表示，在人类发现之前，它主动检测到其采取行动的内容的96.8%(与2018年第四季度的96.2%相比)，并且对于仇恨言论，它表示现在确定了超过四百万的仇恨中的65%每个季度从Facebook上删除的演讲帖子，比一年前的24%和2018年第四季度的59%有所上升。

据该公司称，这些和其他算法的改进有助于减少在Facebook上观看的非法内容的总量。报告估计，每1万人观看网络上的内容，只有11到14次观看成人裸体和性活动，25次观看暴力。关于恐怖主义，儿童裸体和性剥削，这些数字要低得多 - Facebook表示，在2019年第一季度，每万人观看社交网络上的内容，不到三个观点包含违反每项政策的内容。