本届世界杯上频频露面的半自动越位识别技术(SAOT),不囿于梅西、C罗等一众球星的谢幕演出,为全球观众刷新了世界杯的黑科技含量。在央视直播的阿根廷对阵沙特阿拉伯比赛中,SAOT系统光在上半场就七次出镜,三次判罚阿根廷破门无效。
而在获得转播权的咪咕平台上,让球迷们眼前一亮的,是咪咕采用Arena 4D运动捕捉系统对赛场直播画面进行实时解析和渲染生成的元宇宙数字赛事实况。不仅如此,观众们还能进入按世界杯实况模拟的游戏关卡,指尖操控球星角色射门。
总的来说,即可实现工作人员不去现场就能充分掌握生产线的实时状态,从而开展运维管理和资源管理,调整生产工艺,优化生产参数,进行生产调度预判等。
咪咕这套系统在足球赛事中顺风顺水,平移至篮球、排球、乒乓球等各类体育赛事也是完全行得通的。有些赛事跟足球一样具有运动速度快、战术多样的特征,且因单回合时间更短,衍生出来的数字孪生打法会更加丰富多元。
Arena4D体育运动捕捉技术大致上由AI视觉算法跟实时渲染引擎两部分组成。AI视觉算法针对体育场景中球速快、球员运动幅度大、拍摄图像尺寸小等问题改进了网络结构和算子,并通过多个视图融合网络对2D追踪结果进行微调,实现了在3D空间中追踪多视图、完成高精度的视觉再现。
央视第一次转播世界杯决赛,要追溯到1978年。从转播到直播,花了十二年时间。到了1990年,央视才首次实现世界杯全场次直播。从听广播,到看黑白电视,再到彩电,中国人的世界杯体验伴随着科技的发展不断变迁。
在视觉层面,赛事播出历经720×576、720P HD、4K等分辨率的进阶。如今,4K已成为世界杯赛事播出的标准配置,而球场全景、空中俯瞰、横向战术、纵向战术、教练席等多视角直播,更让观众全方位观赛,直击现场。
360度子弹时间环绕,射门时前锋/守门员/球的第一人称视角,连接上热力图、局势图、战术图、弹道轨迹等丰富的数据可视化效果,数字赛事的视觉效果可以比现场更“现场”。
再加上,官方拥有超过2万名职业球员角色数据库,它们是精确到厘米的体型、骨长、BMI、体脂肌肉比等数据。二者结合起来后,Arena4D可将捕捉结果在实时渲染引擎中以照片级画质进行渲染生成视频。
篮球运动中,职业球员也可以使用类似技术提升竞技实力,打造“AI教练”。它能帮助职业球员,更好地了解三分线、禁区不同点位、自己的命中数,以及特定位置的投篮高度、力度,观察球的抛物曲线,更快地锁定问题、实现改进。篮球训练营亦可使用这个技术,为学员们记录训练实景,用以提升学员、教练竞技实力。AI复刻出来的训练视频也可作为衍生产品提供给需要的球员。
以咪咕为例,借助多视角及多屏同看技术,咪咕上线了多路解说视角。结合多屏同看功能,观众可在单个屏幕内欣赏球场全景、两队球员的实时动态和技战术。
眼下,观众们在咪咕快游平台上只需点击开始挑战,便可一键加入赛场。无需下载包体,无需等待,咪咕云游戏带来了丝滑顺畅的、极致还原的世界杯赛场体验。
这个技术其实与半自动越位识别技术(SAOT)异曲同工。SAOT通过深度优化AI视觉算法,调整神经网络结构和算子,精准地识别了球员出脚时间以及接球人当时的位置。同时,人工智能会生成一个3D动画,展示越位线和球员相对于越位线的位置。该动画通常在主裁判做出决定后生成,并在现场和电视上向观众展示。
咪咕的黑科技,让泛球迷得以轻松地体验“世界杯”,也让资深球迷从世界杯赛场无缝迁移至虚拟球场。新技术让更多人观赛更愉悦,为咪咕快游吸引了大量新用户。
AI、云游戏,玩转世界杯
让我们回顾一下咪咕的元宇宙战略。去年11月份,咪咕首度披露元宇宙的 MIGU 演进路线图。它包含“Mixed reality”、“Immersive social connection”、“Gamified interaction engine”、“Ubiquitous computing power”四个部分。
在制造领域,有厂商已在深度利用AI视觉技术,布局自动化生产和数字化平台。通过搭建数字化工厂模型,有效实现了产品、物料、人员、设备、制程、品质等全流程追溯,实现闭环管控。在笔者看来,这类生产流水线大可以借助咪咕这套系统,生成可试玩的云游戏。一方面,它能通过可感知、可操作的游戏,帮助培训新质检员工,熟悉流程。另一方面,它也能帮助维修技术工,精准判定故障点。
笔者尝试还原了法国对阵英格兰的名场面。在游戏化即时场景下,通过便捷精准操作,成功再现了法国球员吉鲁的转身怒射。加上环绕式的运镜特效及张力拉满的慢镜头,让参与感和沉浸感直接跃升一个台阶。
如何提升视觉沉浸感,一直是咪咕关注的重点。在本届世界杯上,咪咕快游采用Arena4D体育运动捕捉技术,精确重构每时每刻球员的姿态和动作细节,计算精确到球员行为和比赛事件。
在播出平台层面,新媒体参与世界杯早已不是新鲜事儿。从优酷到咪咕再到抖音,我们能看到新媒体在不断拓展世界杯赛事传播的广度及深度。
相比现实的世界杯赛事,另一个平行的世界杯数字世界同样令人惊喜。
极致还原赛场还不够,咪咕还通过5G云游戏技术,让球迷真正从“观众”变成了“主角”。正如前文所述,球场上的场景在极短时间内被制作成了强交互的游戏关卡,球迷能实时进入刚刚发生的世界杯赛事、化身球星体验射门的快感。
除了服务于更多样的赛事呈现,数字孪生技术还能应用于体育训练和教学。
所以,咪咕的观众们凌晨看完比赛,很快就能在咪咕快游官方平台上看到相关精彩射门的复刻视频以及智慧战术板演示类的深度赛事解析视频,还能动手在1:1还原的游戏场景中模仿球星射门。
沉浸式观赛、指尖体验世界杯,并非咪咕在世界杯期间的偶然行为,笔者认为,这一连串创新动作,是咪咕探索体育元宇宙的一步棋。
看懂、看透世界杯
咪咕在世界杯期间的复刻尝试,为业界探索数实融合的元宇宙提供了新的思路,即以AI、云游戏引擎等技术为尖兵,以多元化内容场景为练兵场,以满足用户特定需求为目标,打造更逼真、更高效互动的数字孪生空间。
据悉,中国跳水队已采用了人工智能跳水辅助训练系统,通过AI技术对训练视频进行摘要、动作抽取、姿势纠正等进行快速归纳整理,并依靠3D视觉再现对动作、姿势等进行针对性的训练,几个月下来,辅助训练效果突出。
中国的世界杯播出历史,堪称一部视觉与交互技术的进化史。
还有多少可能性?