你有没有用过这样的画面:如果你“组队”热火朝天,指挥着队友井然有序朝“对手”后才挺入,忽然视频语音断线,由于联系不上队友而陷入无依无靠之境,从而痛失好局,迫不得已吞咽失败的苦果……
下载链接:>>>和平精英立即下载<<<
伴随着移动端游戏商品全面爆发,让游戏中的视频语音沟通交流变成天南海北的游戏玩家社交媒体的刚需,也成了界定“高质量手机游戏”的重要因素之一,游戏里面语音识别早已成为近年来诸多游戏开发商的关注重点。
近日,腾讯手游发布最新的游戏语音技术计划方案,腾讯手游光量子S个人工作室《和平精英》精英团队携手并肩腾讯官方AI Lab、腾讯手游CROS GVoice(腾讯手游视频语音)精英团队,基于大数据在语音转码软件里的不断进取,将AI Codec用于《和平精英》游戏里面,在业内率先开展AI Codec更低码率更高质量的语音编码,从而成为首个将AI Codec技术全面用于语音领域的产品。
弱网环境中的视频语音沟通交流成“组队”困扰
先前艾媒对挪动游戏社交有关数据的统计说明,近 40% 游戏的玩家由于社交媒体要素挑选一款游戏;15.6%游戏的玩家由于一款游戏社交互动差而离开。因而,提升这款游戏的社交性已经成为各大游戏厂商工作的重点。
做为降低游戏玩家“孤军作战”体会的有效途径,语音自诞生起就深受玩家喜爱,而且在手游时期,游戏玩家对挪动手机端的语音传输品质、响应时间和使用场景,给出了越来越高的要求。
实际上,多人语音通讯技术在业内早就不是一个新话题,但游戏里面多人语音沟通交流不单单是简单的实现实时语音通话就可以。一个“好”的语言,最主要的是音质品质合乎人的听觉规定,在这个前提下,传输码率越小,客户消耗平台流量越少;占有算率越低,CPU的能源消耗越少。
发展到今天,语音无线通信技术在两方面探寻提升。
首先是在弱网恶劣环境下,如何保障视频语音沟通交流顺畅这是游戏语音技术面临的一个关键课题研究。相同的音质品质,假如聊天语音的视频码率越小,其传输衔接性就会越有保证,换句话说,低码率更适合于弱网环境。
次之,算力的消耗都是语音要考虑的因素。因为重度游戏对CPU算率要求很高,因而,怎么让语音控制功能尽可能的减少对CPU的使用,在保障用户的沟通体验的同时,错误王者操作和存储资源开展过多挤压成型,变成在其中的核心。
人工智能技术为语音再加上“BUFF”
当视频语音组队、游戏社交变成刚性需求,诸多国内外高新科技公司也开始涉足这一领域。
在保证视频语音条件允许的情况下,传统音频解码技术性Codec专注于应用比较少的服务器带宽网络资源、相对较低的传输码率去传送更保确实聊天语音。伴随着人工智能算法的高速发展,彻底基于神经网络的语言伺服电机慢慢取代了传统根据信号分析的办法,变成了业界最前沿解决方案。在这个基础上,基于人工智能技术进化的AI Codec也越来越受到业内的关心。
为了能给游戏内语音识别再加上人工智能“BUFF”,游戏圈都进行了众多试着。比如,业内常见的Opus响声编码方式在低码率视频语音数据通信方面的表现不尽如人意。2019年,领域涌现出一些超低码率 AI Codec,能以极低码率对视频语音进行压缩,可是还原出的语言品质不是太好。
Google一样把目光瞄上了这一领域。2021年初,Google发布根据自回归互联网的AI Codec Lyra。Lyra可以以低码率传送的同时保证声音特效,但是不能提供高质量的实时通信,优化算法存有延迟的状况。 半年之后,Google再次发布了新的AI Codec实体模型SoundStream,对比Lyra,SoundStream在语音传送质量上有所提高,但是由于模型复杂度比较高,没法在大部分的手机上安全运行。
第一个手机游戏手机端AI Codec语音技术落地式《和平精英》
此外,对于游戏里面语音识别,国内厂商同样在积极推进更好的解决方案。
作为我国头顶部战略对战手游,《和平精英》一直致力于提升游戏品质提升玩家游戏感受。在其中语音由于应用领域诸多,应用率极高,视频语音质量的优劣对于游戏关键感受拥有至关重要的影响,一直都是《和平精英》精英团队最关心的作用。
2021年底,《和平精英》精英团队携手并肩腾讯官方AI Lab、CROS语音GVoice团队一起宣布项目立项GVoice AI Codec预研项目,根据腾讯官方声频与语音处理Oteam在语音编码解码方位的技术积累,最新项目切实实现高质量、低码率和功耗的游戏里面多人语音自然环境。根据对于动画场景进行深入提升,GVoice AI Codec游戏中环境下的语音处理优化算法比普通的即时通讯工具有更出色的音质表现,而且在弱网环境下,以低码率确保了音质表现不受损害,保证在移动端得到运用。
腾讯手游视频语音GVoice是Tencent Games CROS为游戏推出的视频语音解决方法。数据显示,现阶段GVoice服务项目早已遍布全球超出200国家与地区,日日活跃用户超3亿,有关解决方法被应用于《和平精英》《英雄联盟手游》《天涯明月刀手游》等千余款产品。GVoice AI Codec技术性也将逐步扩展至别的游戏,提高视频语音沟通交流流畅性,改进弱网环境下的使用体验。
据统计,GVoice AI Codec 根据自主研发编码解码模型算法,传输带宽完成了缩小,并且以 5-12kbps 的AI Codec替换了原先24kbps的Opus,客户在主观性听觉系统里的感受无明显区别。这就意味着,GVoice AI Codec在确保声效质量的同时,传输码率变低,总流量也更少。
在算率耗费层面,GVoice AI Codec必须将这一计算复杂性和资源占有非常高的编码解码方法,根据模型压缩、量化分析、并行处理计算、手机端指令系统兼容等产品化对策,不断下降计算和资源花销,做到手机端落地式规定。资料显示,GVoice AI Codec在OnePlus 3全双工语音通话下检测,对比Opus文件格式 CPU占用量网络资源提高大约为2.3%;在iPhone 6s下检测,选用GVoice AI Codec后CPU占用量提高约1.3%。这说明,GVoice AI Codec用很低的CPU利用率增长幅度,赢得了移动端更小流量的高品质即时语音通话。
(左新华社记者初始视频语音,下图为GVoice AI Codec 编码解码后视频语音,从波型来看下图视频语音高保真高,主观性音质贴近初始视频语音)
GVoice AI Codec技术的应用《和平精英》中运用后,视频语音服务水平总体获得了进一步的提升。最先,根据对视频语音总流量的改善,GVoice AI Codec可以大幅度提升游戏玩家在城市交通、户外运动等弱网环境中的视频语音流畅,确保在激烈的战斗时发生卡麦、断麦的状况。次之,GVoice AI Codec因为使用AI模型算法,相较于传统视频语音优化算法在人声伴奏传送层面会有所提升,在《和平精英》手游中之间的视频语音沟通交流效果也更加明确,不论是战术配合或是多的人闲谈都是有更佳的社交体验。团队以在不一样噪杂自然环境、各种小游戏情景下展开了多次语音测试,数据显示均获得了更优良游戏的玩家意见反馈。
从ai发展的角度而言,GVoice AI Codec在《和平精英》里的成功落地,为更多模式语音技术的技术成果落地式奠定了基础,促使有关技术扩展至更多模式得以实现。
无社交,不手机游戏。可以预见的是,伴随着云游戏平台、VR/AR等众多游戏品类的萌生,GVoice AI Codec 技术性将会在更多品类游戏体验层面具有非常大的功能,成为的行业标准。