近年来，人工智能算法非常擅长向用户推荐内容——你可能会说，这有点了不起。科技公司使用人工智能根据用户对内容的反应来优化用户的推荐。这对提供内容的公司来说是好事，因为这将使用户在应用程序上花费更多的时间，并产生更多的收入。

但对公司有利的不一定对用户有利。通常，我们想看到的不一定是我们应该看到的。但是，商业模式依赖于窃取我们越来越多注意力的公司，如何尊重伦理道德，为用户提供高质量的内容？

为了应对这一挑战，来自IBM研究院的科学家团队与麻省理工学院媒体实验室合作开发了一项人工智能推荐技术，该技术不仅优化了用户偏好的结果，还确保其满足其他约束，如道德和行为准则。在IBM Research人工智能伦理全球领导者Francesca Rossi的领导下，科学家团队展示了AI在电影推荐系统中的功能，让父母可以为孩子设置道德约束。

之前已经有尝试将道德规则融入AI算法，但主要是基于静态规则。例如，用户可以指定算法应该避免推荐特定的媒体或新闻类别。虽然这种方法可以在某些环境中使用，但它有其局限性。

“定义一个定义明确的规则集很容易，”IBM研究员尼古拉斯马泰说。“但在互联网的很多事情上，在有大量数据的领域，你不可能总是写下所有你希望机器遵循的规则。”

为了解决这个问题，Mattei和他的同事开发了一种方法，利用机器学习通过例子来定义规则。Mattei说：“我们认为，通过例子学习什么是合适的，然后在仍然响应在线奖励的同时转移这种理解，是一个非常有趣的技术问题。

以身作则教授道德。

研究人员选择电影推荐作为示范项目，因为已经存在相当多的电影相关数据，这是一个用户偏好和道德之间的差异显而易见的领域。例如，父母不希望视频流媒体服务向孩子提供不合适的内容，即使孩子对他们表现出积极的反应。

AI推荐的技术使用两个不同的训练阶段。第一阶段发生在离线状态，这意味着它发生在系统开始与最终用户交互之前。在这个阶段，仲裁器给出一个系统示例来定义推荐引擎应该遵守的约束。然后，AI会检查这些例子和与之相关的数据，以创建自己的道德规则。像所有的机器学习系统一样，你提供的例子和数据越多，创建规则的效果就越好。

在电影推荐的情况下，在离线训练阶段，家长给AI提供一套合适和不合适内容的例子。Mattei说：“系统应该能够从这些示例中学习，并在与其他用户和儿童合作时使用这些示例不推荐某些类型的内容。

培训的第二阶段是直接与最终用户在线互动。与传统的推荐系统一样，AI试图通过根据用户的偏好优化其结果并显示用户更喜欢与之交互的内容来最大化其回报。

因为满足道德约束和用户偏好有时可能是相互冲突的目标，仲裁人可以设置一个阈值来定义每个人获得多少优先级。在IBM提供的演示中，一个滑块允许父母在道德原则和孩子的偏好之间选择平衡。

不难看出，该系统如何帮助解决与人工智能推荐系统工作模式相关的其他问题。IBM研究人员还在医疗保健领域测试了该技术，他们使用该算法通过在测试环境中建立药物成功变量和生活质量约束之间的平衡来确定最佳药物剂量。

该团队还致力于改进系统可以训练的示例类型。该研究小组的负责人罗西说：“我们也尝试了像优先顺序这样的事情，而不是正面的/不受约束的例子，这样我们在提供道德行为的例子时就可以更加清晰。”

不是没有限制。

未来，研究团队将努力使人工智能在更复杂的情况下工作。罗西说：“在这个用例中，我们只关注一个建议，比如是否应该推荐一部特定的电影。“我们计划扩大这项工作，以便对行动的顺序施加限制。”

这一变化将使算法能够解决其他类型的问题，如气泡过滤和技术成瘾，其中一个无害的动作(如查看手机上的通知或从有偏见的来源阅读新闻)在长时间重复或与其他类似行为结合时会产生不利影响。

尽管Rossi和她的同事开发的方法在亲子或医患情况下效果很好，但在只有一个用户参与的环境中会遇到限制，这也是我们在互联网上使用的大多数应用程序的原因。在这种情况下，用户将负责定义自己的道德原则和约束。

Mattei说：“在一些更个性化的系统中，你可能能够表达一些高层次的想法，比如‘我想看更多种类’或者‘我想在手机上花更少的时间’。“但如果你能表达它们，你也可以涵盖它们。你必须表达你的美德，并坚持下去。”

解决办法可能是让用户选择家庭成员的朋友来设置和控制规则，一些技术高管已经尝试过了。这可能是IBM研究团队与麻省理工学院媒体在更广泛的工程道德推理项目中的持续合作。

IBM研究人员将于7月17日在瑞典斯德哥尔摩举行的第27届国际人工智能联合会议上展示他们的算法。

Ben Dickson是一名软件工程师，也是TechTalks的创始人， TechTalks是一个博客，探讨技术解决和创造问题的方式。