首页 > 要闻 > > 正文
2019-11-07 15:52:02

亚马逊对Alexa用户提交的答案的审查不力

导读 Alexa,Google助手,Siri和Cortana可以回答出现在用户头脑中的各种问题,并且它们每天都在进步。但是,当像亚马逊这样的公司决定众包答案以

Alexa,Google助手,Siri和Cortana可以回答出现在用户头脑中的各种问题,并且它们每天都在进步。但是,当像亚马逊这样的公司决定众包答案以填补其平台知识空白时,会发生什么?结果的范围从有趣和困惑到令人担忧。

Alexa Answers允许任何Amazon客户提交对未回答问题的答复。几周前当Web服务全面上市时,亚马逊保证通过自动和手动审核相结合的方式对提交进行监管。但是,对VentureBeat进行的公开Alexa Answers数据的分析表明,不真实的,潜在的赞助和令人反感的问题和答案已被接受,并已投放到迄今销售的超过1亿启用了Alexa的设备上。

错误信息

Alexa Answers采用基于分数的系统,以确保高质量的答案浮动到顶部-至少在理论上如此。当提交的答案“生效”时,即Amazon开始向Echo和第三方Alexa设备所有者提供答案时,这些用户的积极反馈(以及共享的次数)将增加其总体得分。(用Alexa答案提交的问题回答问题后,Alexa询问“是否回答了您的问题?”)相反,负面反馈会降低得分。连同Alexa Answers社区成员分配的平均星级(满分为5分),反馈分数决定了是否向Alexa用户提供了答案。低于某个特定分数阈值的答案将不会共享,而对于具有多个提交的问题,评分较高的答案则会更频繁地共享。

使用Alexa Answers,亚马逊帐户持有人可以浏览和回答Alexa用户在动物,气候,电影和电视,食品,地理,历史,文学,音乐,科学,体育和视频游戏等主题中提出的问题。他们还能够按新近度,Alexa Answers或Alexa用户中的受欢迎程度或状态(即是否已回答)对问题进行排序。

来自Alexa Answers的问题附有“根据Amazon客户”免责声明。无论是哪种支持Alexa的设备回答了这个问题,无论是Echo智能扬声器还是显示器,都是如此。防火板;预先装有Alexa Smart Screen的Android平板电脑;或适用于Android,iOS和Windows的Alexa应用。

考虑以下问题:“为什么奶牛对环境有害?”这里发生了一些事情,所以让我们单独包装它们。在我们的测试过程中,加拿大的Android和iOS版Alexa应用程序最初中继了Alexa Answers内容,而没有免责声明。在将bug提请亚马逊注意大约一周后,此问题已得到修复,但我们必须坚信该免责声明适用于所有受支持的地区和语言。你的旅费可能会改变。

接下来,请注意Alexa提供了两个不同的答案。那是因为这个特定的问题在Alexa Answers上有两个提交。亚马逊告诉我们,对于有两个或两个以上参与者提交的答案的问题,Alexa可能会轮流在其中,直到明确的赢家出现为止。有时,获得不同的答案就像再次询问Alexa一样简单,或者在移动设备上,重新启动应用程序,然后再次询问。

公平地说,“为什么奶牛对环境有害?”是一个主要问题,但这突显了Alexa Answers的严重缺陷。稍微改写的问题可能会产生不同的答案,或者有时根本没有答案。例如,如果您问Alexa“母牛对环境有害吗?”,它将按照“对不起,我不知道那头母牛”的答案回答。

有疑问的问题

Alexa Answers中的问题来自Alexa客户,他们会询问助手没有答案的问题。一旦被问过一定次数的问题(亚马逊拒绝透露多少),它就会进入Alexa Answers门户网站,对于拥有亚马逊帐户的任何人来说,这都是一个公平的游戏。结果,经常出现对几乎相同问题的不同答案。

Alexa简洁地回应提示:“辣椒搭配什么酒?”和“红酒”。但是,如果您问“哪种酒搭配辣椒很好?,” Alexa给出了更详细的答案:“大多数侍酒师都同意,像黑皮诺和博若莱红葡萄酒这样的淡红色与冷辣椒一起食用时效果很好。水果味和身体与大多数辣椒食谱中的香料层搭配得很好。”

很容易看到如何滥用它。例如,问题“哪些植物对猫有害?”有两个不同有用的答案:“常春藤和我的妈妈做饭”和“一品红”。前者可能是在开玩笑,但与Google Assistant从PetMD.com提供的详细列表相反。

Alexa答案中的问题是使用Alexa的不完善的文本转语音引擎进行转录的,该引擎使回答者可以对提问者的含义做出最佳猜测。例如,一个用户在“什么是坐式汽水酱?”这个问题中假设“汽水酱”。”的原意是“ tzatziki酱”,而“ mick romney值多少钱”中的“ mick”?”是“密特”(指前马萨诸塞州州长罗姆尼)的屠杀。但是他们并不总是正确。一位使用者回答了“海豚如何繁殖?”,“海豚是哺乳动物,呼吸肺部”,大概是假设“繁殖”是指“呼吸”。

有疑问的答案

亚马逊表示,如果提交给Alexa Answers的问题属于以下任何类别,则可能会被自动和手动过滤器组合自动拒绝:

不适当的(主观,建议,粗俗,亵渎,侮辱或令人反感的)

不可理解的

不正确或不相关

威胁性

诽谤

侵犯隐私

侵犯知识产权(包括宣传权)

Alexa Answers还允许成员标记他们认为违反服务条款的答案。被标记的答案在Alexa Answers网站上不可见,也不会与Alexa客户共享,但是可以重写并重新提交它们以解决标记原因。

问题在于,我们测试的Alexa设备在发布时回答了所有这些问题。用户负责追溯性地标记有问题的答案,与此同时,Alexa用户也可以向他们了解。

有争议和令人反感的答案

这里有更多从一开始就很麻烦的问题,有些问题同样具有麻烦的答案:

金钱树有多大?

气候变化是骗局吗?

您如何培育村民?(这可能是《我的世界》参考)

答案不正确

在Alexa Answers上发现事实错误并不罕见。

考虑问题“最热的火焰是什么颜色?” Reference.com报道,紫色和白色分别是色谱和可见光谱中最热的,但Alexa Answers的撰稿人写道“橙色”。

人体有22个压力点,但是从Alexa对“人体有多少压力点?”莫名其妙地,Alexa答案中唯一提交的答案是“ 420”。狗不是抽搐的人-至少不是故意的-但这就是一个用户对“狗为什么会嚼东西的问题”的解释。”

AA电池可以安全食用吗?一个人可能不会,但是这与一个Alexa用户询问他的Echo设备有关时听到的相反。他收到的答案(假设他指的是Amazon的低成本品牌家族Amazon Basics中的一种产品)是:“是,但不要吃太多。”

另一位Alexa用户问:“蛋壳对土壤有益吗?一位Alexa Answers的用户回答说:“不,不要使用蛋壳,而是使用卵黄植物会使植物更快乐,”这并不完全准确。蛋黄含有动物蛋白,必须先将其分解才能被植物使用,这意味着它们需要腐烂。实际上,耕种到土壤中的蛋壳为植物提供了钙源。

提交给Alexa答案的某些问题的答案有冲突。关于“印度是否已登陆月球?”问题的一位撰稿人”指出,印度已定位,但无法与其最新的月球着陆器Chandrayaan-2建立联系。同时,第二个用户开了个玩笑。事实是,虽然着陆器偏离了预期的轨迹并失去了交流,表明发生了坠毁,但从技术上讲它还是降落在了月球上(尽管可能没有完好无损)。

对“谁发现了旧金山湾?同样犹豫不决,有人断言应该将奥赫洛尼印第安部落归功于这一发现,而不是西班牙探险家加斯帕尔·德波尔托拉。理想情况下,Alexa将提供两个答案,而不是随机提供一个。(Google助手通过从维基百科中得出答案,即加斯帕·德波托拉(Gaspar dePortolà)是最早认识欧洲的旧金山湾的发现者,来回避这一尴尬。)

有关最新统计信息的问题可以很快地过时。以这个为例:“[YouTuber Alex] wassabi有多少个订阅者?“三个月前,答案是950万订户。此后,这一数字已增长到1150万。

阿斯宁答案

在某些Alexa Answers用户的眼中,荒谬的问题需要荒谬的答案。举个例子:“你怎么抓大象?”产生“要抓大象,您需要蛋糕,葡萄干,望远镜和一把镊子”(摘自艾米·施瓦茨(Amy Schwartz)的儿童小说《如何抓大象》。或者,它会产生绝对肮脏的答复:“首先,挖一个洞,用骨灰填满它,并用豌豆覆盖,当大象要取豌豆时,将其踢入烟灰孔。”

对于诸如“给一些水生动物命名?唯一的回答是“鲸鱼,鲨鱼,鲸鲨,蓝鲸,海豚,逆戟鲸,鳄鱼,乌龟,短​​吻鳄,海绵,鳗鱼,大白鲨,小鲨鱼,妈妈鲨,爸爸鲨。”问“什么是水生生物是来自动物的?”参考网站上的内容:“一些水生动物是海龟,水母,小丑鱼和蓝鲸。”

赞助答案

另一个令人担忧的趋势是,一些有关Alexa答案的问题的答案似乎包含广告,赞助或垃圾邮件的形式。

用户回答“您如何完全解决魔方?”认可了Lego Mindstorms EV3机器人套件:“解决魔方的最佳方法是构建自己的MindCub3r机器人,该机器人可以从单个LEGO MINDSTORMS EV3家用套件(31313)建造。MindCub3r将扫描混乱的多维数据集,然后使用其独特的机制来扭转侧面并扭转多维数据集,从而完全解决该问题。”

问题“什么是佛罗里达的僵尸?”和“佛罗里达有僵尸吗?”可以指的是2019年5月莱克沃思(Lake Worth)停电通知,其中包括关于该市僵尸的警告,但Alexa Answers用户利用此机会宣传了莱克沃思(Lake Worth)的“僵尸奔跑”广告。一个答案是:“佛罗里达州沃思海滩(Lake Worth Beach),以黑客发出“僵尸警报”而闻名,去年正在为居民举办“僵尸逃跑”,2019年10月25日。”

受保护的过程

我们已要求亚马逊提供有关Alexa Answers工作原理的更多信息,但到目前为止,该公司对细节一无所知。目前尚不清楚为什么在Alexa Answers仪表板上指定为“实时”的某些问题会提供给Alexa用户,而其他问题则不会。在我们的测试中,无论他们处于什么状态,大多数问题和答案在我们尝试时都有效。自那以来,我们在调查过程中向亚马逊提交的一些问题和答案已被删除,并且我们希望至少上面的一些示例也会出现。

“高质量的答案对我们很重要,这是我们认真对待的事情-我们将继续开发Alexa答案,”一位亚马逊发言人在接受评论时告诉VentureBeat。

Alexa Answers受到之前存在的问答平台的缺点的困扰,也许是最著名的Yahoo Answers,WikiAnswers和StackExchange。用户有责任真诚地彻底回答问题,并在幕后自动过滤之外进行自我警察。参加Alexa Answers的大多数亚马逊客户都遵守规则,但有些人则fl之以鼻。不幸的是,目前尚不清楚恶意行为者是否会面临惩罚,而不是删除已标记的答案。

对于从Alexa Answers获得答案的Alexa用户而言,这是个坏消息。他们只是没有提供有关答案贡献者的声誉信息。通过将贡献者聚集在“亚马逊客户”标签下,亚马逊冒着提高或授予对Alexa Answers往绩差的人的权力的风险-对于带有Alexa的孩子的Alexa设备所有者来说,这是危险的想法,他们认为Alexa是可靠的知识来源。

用户与答案网站上的信息进行交互的方式与虚拟助手之间的结构差异也存在独特且存在问题。如果您正在寻找最佳的Yahoo答案,理想情况下,站点的系统会根据投票和其他因素为您选择最佳答案。但是无论哪种方式,您都可以像以前一样看到数学—所有其他答案,好与坏,认真和开玩笑。如果没有明确的最佳答案,则可以扫描其中的内容,并使用自己的判断来判断它的帮助程度。如果答案是明显的笑话,恶作剧或垃圾邮件,通常很容易发现它并立即滚动。但是有了语音助手,您将不会获得任何机会。回答一个问题,您只会得到一个答案,并且使用助手等便利的部分原因在于,

虽然没有灵丹妙药,但是亚马逊最好通过更强的自动筛选和人工审核,更仔细地审查提交给Alexa Answers的答案。它可能考虑允许人们阻止来自Alexa Answers的未分级提交到达儿童启用了Alexa的设备或他们自己的设备。