对话万事达卡高管:关注和支持机器学习模型是成功的关键

发布日期:2022-08-07 17:18    点击次数:76

万事达卡(Mastercard)拥有超过25亿个消费者账户,连接着世界上几乎所有的金融机构,每年产生近750亿笔交易。几十年来,该公司已经创建了一个数据仓库,拥有“世界上最好的商业数据集之一”。

据万事达卡运营和技术总裁Ed McLaughlin介绍,如今,该公司正在充分利用这些数据,而且其业务增长最快的部分就是围绕商业提供的服务。

此次,IDG公司的Derek Hulitzky与McLaughlin和万事达卡共享组件和安全解决方案总裁Mark Kwapiszeski一起,就企业如何将匿名和聚合数据转化为有价值的业务洞察力进行了深入探讨,并给出了他们的建议,以帮助企业从机器学习模型中获得最佳结果。

以下是他们谈话的编辑摘录:

Derek Hulitzky:万事达卡的决策管理平台赢得了IDG评选的“2020年CIO 100奖”。它使用人工智能和数据进行欺诈检测。您能告诉我们更多关于这个平台的信息吗?

Mark Kwapiszeski:我们一般会将它用于多种目的,其中最主要的是在我们的欺诈产品中创建诸如交易欺诈分数之类的东西。但该平台真正令人惊叹的是:它可以建立在大约900台商用服务器上,每天处理大约12亿笔交易,每秒处理大约65000笔交易,而所有这些都是在每笔交易约50毫秒的效率下完成的。

它使用了很多不同的人工智能技术和技巧;它使用了大约13种不同的算法,包括神经网络、基于案例的推理和机器学习等。但它不仅仅是一次运行一个模型,我们实际上已经构建了层,它可以在其中同时运行多个模型,以便可以分析该事务中的各种不同变量。

Derek Hulitzky:您刚刚描述了您的分析模型并非静态的,而且您会持续监控它们以了解交易发生的情况以及原因。您能详细说明一下您的意思吗?

Mark Kwapiszeski:您试想一下,我们每天看到的每一笔交易、每一次互动, 网易七鱼都有可能是欺诈,也可能是一位妈妈焦急地尝试为孩子买药。因此对我们而言,每笔交易都至关重要。所以,我们总是不仅要确定发生了什么,还要了解事情背后的原因。

虽然在这类情况下,模型总是不可或缺的主题。但在我看来,只有当你去思考发生了什么、为什么发生,以及随着时间推移观察是否存在模型漂移之类的事情,围绕模型的所有东西才真正变得有趣。

所谓“模型漂移”是指目标变量和自变量之间的关系随着时间而变化,由于这种漂移,新闻中心模型会变得不稳定,并且随着时间的推移预测会不断出错。那么,查看您是否存在“模型漂移”的最佳方法之一,就是将一个挑战者模型(challenger model)放入并观察一段时间。而且,事实上,我们已经付诸实践一年多了,观察模型,并将其与另一个模型进行比较,从而获得最好的模型和最好的结果。

Derek Hulitzky:Mark,您刚才谈到了“漂移”,您能再多介绍一点吗?还有Ed和Mark,您二位能就如何解决和应对这个问题给出一些建议吗?

Ed McLaughlin:我认为人们在谈论AI和建模时经常会使用错误的象征指代。他们更多地使用代码——在那里你构建了它,你运行它,它保持相当静态,直到你最终在某个时候结束它的生命。而我们在这些模型中看到更多的是需要持续关注和监控。

Mark Kwapiszesk:是的,它以两种方式表现出来。我们有一个完整的分析环境,真正专注于这些输出是什么以及结果是什么?然后我们希望将其与交易的实际最终结果结合起来,因为通常直到某个时候我们才会知道批准的交易是否真的被证明是欺诈行为。

随后,我们的数据科学家会将欺诈信息和我们获得的信号,与DMP(决策管理平台)在欺诈评分中的分析信息进行比较,然后不断地进行调整以找到正确的平衡。

Ed McLaughlin:我最后补充一点,如果您想确保自己不会“漂移”,您必须清楚自己的概念。您可能还记得,多年前,作为消费者,作为持卡人的你面对十分生硬的反欺诈规则,遭到了多少拒绝,因为当时的重点是打击欺诈。现在,我们想说的是,确保尽可能多的正常请求通过,同时与欺诈继续作斗争。