新技术的价值和影响并非总是迅速显现。2018下半年的科隆游戏展上,随着英伟达推出RTX系列显卡出现的,还有一系列新图形技术,其中光线追踪技术成为大明星,通过近两年间游戏应用上充满戏剧性的画面对比效果广为人知。
《我的世界》开启光线追踪效果。
当时同期推出的DLSS(深度学习超级采样)则失色不少。英伟达当时介绍,DLSS使用了时下流行的人工智能来强化画面表现,借助RTX显卡的人工智能计算核心(Tensor Core),渲染了更少的像素,然后使用AI构建出更清晰、更高分辨率的图像。
英伟达当时宣传光线追踪和人工智能将改变游戏图形效果,但AI特性显然不太让人信服。
那时的DLSS尚为1.0版本,理念堪称先进,但在实际使用上惨遭打脸,遭到群嘲。原因也很简单,首先是推出以来支持DLSS的游戏很少,玩家难以直接感受。另一方面,少数支持DLSS的游戏,在测试中发现处理后的画面反而更加模糊,在较低分辨率上(通常是1080P)尤其明显。
但经过一年改进后,英伟达最近更新的DLSS 2.0,让人们对这项技术的看法大为改观.在一些专业技术媒体的评测中,对于DLSS 2.0的评价大都是赞不绝口,英伟达也毫不谦虚地自称,DLSS 2.0是“AI渲染领域的一大步。”让人意识到,用AI提高游戏画质的时代,可能已经正式到来。
在游戏《飞向月球 (Deliver Us The Moon)》中,DLSS在多款GPU和不同分辨率下可将帧率提升至 1.6 倍以上:
传统的游戏图形中,除了光影效果(这是光线追踪需要解决的问题),高分辨率、高帧率的画面呈现一直是软硬件厂商需要考虑的首要问题,因为这关系到游戏画面的清晰、流畅。
但受限于硬件发展速度,想要无限增强画面效果是不可行的,会造成渲染硬件不堪重负。无限制提高画面表现,最后只能让游戏最后卡成“放幻灯片”。
这就是画面和性能需求间的困境,一个例子是,性能已经非常顶级的RTX2080TI显卡和I9 9900K处理器,也很难跑得动4K、全特效的《荒野大镖客2》。
4K分辨率《荒野大镖客2》渲染的像素是1080P下的4倍,简单计算就需要4倍算力,因此玩家投入相应的硬件资源——最直接的方式就是买上一块好显卡。
即使是RTX2080 TI,跑动4K分辨率的《荒野大镖客2》也很吃力。
DLSS 2.0正是无数图形工程师在平衡画面和性能需求上折中的结果。简单来说,通过人工智能/深度学习,DLSS 2.0直接把游戏渲染的结果实现四倍超采样,也就是说游戏引擎只需要渲染一半或四分之一的像素,就能得到更精细的游戏画面,通过这种方法渲染出的画面,和原生分辨率渲染相比几乎没有区别。
更快的AI训练网络和适用于所有游戏的AI模型。
这种做法让渲染分辨率降低,有余裕的硬件资源也就可以将算力放到游戏的运行上,让游戏更流畅。比如在《机械战士5:雇佣兵》中:
开启DLSS后(右侧),同分辨率下,《机械战士5:雇佣兵》帧数更高。
也可以让游戏画面更精细,平常因为分辨率所限,不能在游戏中发现的各种细节元素可以轻松理解了,比如一些游戏中海报、报纸等,而不再是一张模糊的贴图:
在游戏《控制》中,开启DLSS后,墙上贴的海报可以看清文字。
动态的游戏画面产生的噪点也可以经由DLSS去除,像下图的排气风扇,我们可以看清扇叶后的铁丝网。
DLSS开启后,让玩家可以看到更多图像细节。
是不是很神奇?
目前我们已经能在《机械战士5:雇佣兵》、《控制》、《飞上月球》和《德军总部:新血脉》四款游戏中体验到DLSS 2.0,虚幻4游戏引擎也已经支持DLSS2.0。英伟达还表示,由于DLSS 2.0不再需要每个游戏场景独立训练,未来加快将此技术引入到各种游戏中。
值得一提的是,DLSS的另一个重要用途就是抗锯齿,这也是最早期DLSS 1.0技术最重要的特性。
游戏画面有锯齿,是因为屏幕通过正方形的像素显示画面,在显示倾斜图形时,正方形的像素在显示上一定会出阶梯状的“毛刺”,这种毛刺被玩家戏称为“狗牙”,是破坏画面清晰体验的大敌。
为了剔除这些“狗牙”,工程师们可以说是想尽办法。为了使得画面变得更为精细,要么选择提升画面分辨率,降低“锯齿”大小,要么选择对像素的颜色进行处理,减少相邻画面之间的颜色差异。
无抗锯齿和采用抗锯齿的效果,但下图的抗锯齿技术让图像更模糊了。
各种抗锯齿技术效果各有不同,有的不吃显卡性能,有的既吃显卡又吃显存。有的边缘效果锐利,有的边缘柔化但显得真实,游戏画面的整体感会有质的提升,呈现一种电影质感。
例如,随机采样抗锯齿(TAA) 是目前最常用的图像增强算法之一,它提取画面上一帧的信息,来对游戏锯齿部分进行采样和分析,创造出更柔和的边缘。但TAA依赖算法,最大的缺点是无法很好地解决运动状态的模糊问题。
DLSS借助深度神经网络,由英伟达的超级电脑对游戏图形进行训练,通过不断对比学习两组图像(一组图像使用最高品质的抗锯齿而另一组不采用)的画质优劣,这个网络通过学习不断强大,算法得到微调,并最终学会自动化该过程,实现了接近最高品质的抗锯齿效果,同时避免了运动模糊、重影等问题。
并不是所有人都拥有超级电脑,因此英伟达将训练过的数据包成一个小文件,通过驱动传输到玩家的电脑。
不难发现,DLSS其实就时下深度学习的典型训练思路,而运用在我们的游戏中。英伟达称,DLSS有着优异的时间稳定性与图像清晰度,使用DLSS抗锯齿的运行速度比使用传统抗锯齿技术的老GPU提升2倍。
但DLSS在早期实际运用上并不完美,正如前文所提到的那些原因,英伟达此前也承认该技术存在局限,在低帧率和高分辨率的游戏画面上效果更好,因为GPU的帧渲染时间长于执行DLSS模型所需的时间,处理难度更小,相当于DLSS的“简单模式”。
目前支持DLSS的游戏。
在图形领域,性能和画质绝对是成反比的,要想要更好的画质,一定要牺牲性能,因此需要折中。DLSS在提升画质上的应用,让“鱼与熊掌兼得”成为可能,这是需要肯定的。
新技术的发展往往受到时间的制约,AI在图形学的应用并非早期,如照片修复、“AI换脸”等,但在运用游戏画面上并改善画质,仍是一个大胆的举动。我们有理由期待DLSS会有更强大的效果,正如英伟达向我们提到的“作为一种AI算法,DLSS在不断地学习和提高。”DLSS 2.0今天证明了这一点。