「最终,比赛结束的哨声响起,各位观众,来自中国的WeKick足球团队,获得了本次挑战赛的冠军,让我们恭喜他们。」恩等一下,中国足球队?夺冠?你没看错,在AI世界里,来自中国的足球团队WeKick,这次冲出了亚洲,在世界的舞台上,大放异彩。


他们获得冠军的这次赛事由Google Research和英超曼城足球俱乐部联合举办,是信息学国际性挑战赛举办平台Kaggle上的一项AI足球挑战赛,全球一共有1138只队伍参加。

经过激烈的角逐,最终,WeKick的赛事积分达到了1785.8分,这一优异成绩让他们在获得冠军的同时,也将其他竞争者远远地甩在了身后。


尤其值得一提的是,WeKick足球队的战斗表现和战斗精神都可圈可点,最后一场比赛中,在落后两球的不利情况下,他们连进三球,最终实现了大逆转。

接下来,就让我们看看这场比赛,以及AI足球队是如何踢球的。

连进三球,成功逆转

这场「AI操控足球的对抗」,是借助Google Research Football的平台进行的。这个平台,其实就是足球控制类游戏,长这样:


不过,在AI眼中的对抗,就朴实无华了许多,数据的堆叠和展示,变成了这个样子:


比赛中,我国的WeKick是红色一方,对手SaltyFish是蓝色一方,他们背后的数字,代表的是控制球员的球衣号码,而足球,则是那个白色字母B。

好的,比赛开始,让我们回到比赛现场。

对阵的双方,分别是WeKick和SaltyFish 。在派出的队员上,对阵的双方数值一样,是无差别的。此外,双方也都没有替补队员。

开场第一次进攻,SaltyFish通过三脚「传球」,便攻破了WeKick的球门。这进球,来得也太快了。


之后,SaltyFish在另外一次进攻中,虽然第一次射门被「扑出」,但是,比分还是进一步扩大了。


情况似乎有些糟糕,因为WeKick目前已经0比2落后了。

不过,倒也不用担心,在一次「角球」中,WeKick扳回了一分。


在中场结束前,WeKick也通过一次精彩的「团队配合」,成功将比分扳平。


最后,在70分钟左右,WeKick利用一脚远射,成功反超了比分。最终,比赛也以这个比分结束了。


「传球」、「扑救」、「团队配合」、「远射」等等。这些正常足球场上会发生的操作,AI在游戏中操作起来也是娴熟无比。

这种操作技术和配合,要换做我啊,那肯定是随随便便......也办不到的啊。


那么,问题来了,这个如此强大的WeKick,又是何方神圣?这个WeKick,究竟是个啥?

实不相瞒,这个WeKick的真面目,其实就是:「绝悟」。是的,不用怀疑,就是王者荣耀里面的那个AI绝悟。




简单理解的话,「绝悟」,是AI的一种底层架构与方法。在王者荣耀的数据去训练的话,就是王者荣耀里的那个全英雄池的「绝悟完全体」,而如果用足球的数据去训练,就是这次比赛的「WeKick」。




(图源:腾讯AI Lab微信)

在赛后总结中,「绝悟」的研究团队向大家揭秘了这个AI背后的秘密。它的出现,一共可以分为三步:

首先,是通过强化学习和自博弈(Self-Play),从零开始训练模型。

利用这个方法进行模型训练,是很常见的操作,本届比赛中的多数参赛球队,都采取了这个方法。


不过,对于足球运动,如果只由进球与否来决定成败的话,其实并不利于模型的训练。于是,「绝悟」的研究团队在价值估计(奖励模式)上,进一步进行细化。

比如:将拦截、出界、越位、过人、控球、传球等各方面都纳入考量,当然,进球这个最重要的评价标准也在其中。


评价标准多样化之后,AI在训练过程中能更快得到反馈,然后进行下一步操作。

简单来说,类似于将一整份试卷细分成了不同的试题,然后制定了一套评审标准。AI,也需要先从基础题型学起。

除了将奖励细分化,由于足球是一项团体配合的运动,所以「绝悟」的研究团队还使用了一种名为「生成对抗模拟学习」(GAIL)的技术来进行自博弈训练。

这项技术,可以模拟一些难以细化定量描述的战术,比如足球比赛中常见的「长传反击」、「控球渗透」等等。

通过模拟出不同战术风格的对手,然后让AI与其对抗,进行训练和学习。

简单理解的话,就是将不同题型依据不同的试卷风格进行排布组合,然后让AI进行「模拟考」,在实战中进一步学习。




在考试中,你是不是遇到过这样一些奇怪的考题,然后是这种状态:「啊,这种题型我没见过啊,这是什么鬼」?AI也有类似的问题。自博弈训练后,得出的结果往往是单一的,对应在考试中,就是形成既定的解题思维。最后,研究人员使用「基于 League 的多风格强化学习」这个方法进行补充训练,防止在赛场上见到一些奇怪的战术,会让AI一时间手足无措,自己先乱起来了。




这其实也是咱们普通人应付考试的时候,老师们经常会给出一些奇奇怪怪模拟试卷的原因。




研究者认为:基于 League 的多风格强化学习和基于 GAIL 的风格学习方法,是保证 WeKick 最终获胜的两大关键秘籍。总而言之,这个来自中国的AI足球队,夺得了世界挑战赛的冠军,这一消息让关注中国足球的各路网友沸腾了。真人不行AI来凑,对此,国足表示,已退出直播间。