流媒體革命！NVIDIA RTX VSR視頻超分辨率技術(shù)初體驗(yàn)

　　自從GeForce 8800系列第一次引入CUDA以及它所代表的GPU計(jì)算以來，AI逐漸從科幻小說的幻想中走向現(xiàn)實(shí)世界。無論是在棋盤上干碎柯潔的圍棋AI AlphaGo還是這幾天不斷占據(jù)互聯(lián)網(wǎng)熱榜的ChatGPT，背后都是各種AI算法作為支撐。

　　而對于游戲玩家來說，AI進(jìn)步帶來的最大變化可能就是NVIDIA隨著RTX 20系Turing架構(gòu)GPU引入的DLSS技術(shù)。通過使用預(yù)訓(xùn)練的AI，DLSS允許用戶渲染一個(gè)較低分辨率的畫面并將它上采樣到設(shè)定的輸出分辨率，通過降低顯卡硬性負(fù)載的方式來提升游戲幀數(shù)。而隨著時(shí)代的發(fā)展，DLSS技術(shù)的效果表現(xiàn)也不斷得到打磨，甚至隨著RTX 40系A(chǔ)da架構(gòu)GPU的發(fā)布我們還得到了能夠進(jìn)一步無中生有提升幀數(shù)表現(xiàn)的DLSS幀生成功能，無論是性能表現(xiàn)還是畫面表現(xiàn)都得到了顯著提高。

　　DLSS的目的是提升幀數(shù)+畫質(zhì)，但如果我們反其道而行之呢？不去提升幀率，而是通過AI將視頻本身進(jìn)行超采樣呢？這就要提到我們這期視頻的主角-RTX視頻超分辨率（下文簡稱RTX VSR技術(shù)）了。

　　“RTX 視頻超分辨率 (RTX Video Super Resolution) ”是AI圖像處理放大技術(shù)，允許GeForce用戶在1440p或4K以AI增強(qiáng)的清晰度觀看更高分辨率的視頻。GeForce RTX 30和40系列GPU將處理Chrome或Edge瀏覽器上的低分辨率視頻，以提升視頻質(zhì)量。

原理

　　RTX VSR技術(shù)最大的應(yīng)用場景是流媒體領(lǐng)域，也就是我們平時(shí)在各種網(wǎng)絡(luò)平臺觀看的直播與視頻。無論是視頻上傳時(shí)的標(biāo)準(zhǔn)化的轉(zhuǎn)碼還是對所有視頻統(tǒng)一進(jìn)行存儲、管理直到最后分發(fā)到用戶的設(shè)備上，這全套流程的成本都十分昂貴，因此幾乎所有流媒體平臺都選擇了壓縮碼率的方式來節(jié)約算力、帶寬與成本。這個(gè)過程中由于視頻碼率降低，最終的視頻上可能會呈現(xiàn)一些肉眼可見的偽影、殘像或噪點(diǎn)，這就是信息丟失。盡管這些信息丟失大概率并不影響觀眾去完整理解視頻，但它們?nèi)匀皇鞘钟绊懹^看體驗(yàn)的。

　　除了有損壓縮外，另外一個(gè)問題是低分辨率，這一點(diǎn)尤其在直播中最為明顯。在線直播不僅需要將主播電腦發(fā)出的視頻流實(shí)時(shí)復(fù)制到多個(gè)觀眾的設(shè)備中，還需要讓所有參與者都能看到其他觀眾發(fā)出的彈幕與禮物，因此對直播平臺也提出了更高的要求。為了為更多用戶提供服務(wù)，直播平臺一般只會提供相對較低分辨率的視頻流，例如1080P甚至更低，這在高分辨率顯示器上的觀看體驗(yàn)顯然是不佳的。

　　對于這兩項(xiàng)常見的問題，RTX VSR技術(shù)都可以通過GeForce 30系或40系顯卡中的RTX Tensor Cores與AI算法來嘗試修復(fù)這些信息，并為用戶提供更高分辨率且高清的畫面。通過將NVIDIA Tensor Core與最先進(jìn)的AI圖像處理技術(shù)相結(jié)合，智能銳化和強(qiáng)化特征和邊緣，同時(shí)消除惱人的壓縮偽影。RTX VSR將適用于大多數(shù)在瀏覽器中播放的視頻，無論是通過斗魚，虎牙，嗶哩嗶哩等平臺觀看您喜愛的主播的直播，還是觀看他們其它的視頻內(nèi)容。

　　只需要使用RTX 30系或RTX 40系GPU安裝Game Ready驅(qū)動 531.14或以上版本，并在NVIDIA控制面板中調(diào)整視頻圖像設(shè)置功能里啟用RTX VSR技術(shù)，就可以在Google Chrome（110.0.5481.105以上）或Microsoft Edge（110.0.1587.56以上）中體驗(yàn)AI加持下的高清畫面。不過，由于需要使用顯卡中的Tensor Cores，RTX VSR技術(shù)會增大看視頻時(shí)的GPU占用。針對不同性能的顯卡，NVIDIA控制面板里提供了四種不同的預(yù)設(shè)，第4檔性能要求最高，但畫面效果也最好；第1檔性能要求最低，但畫面提升也沒有那么顯著，用戶可以綜合自己的需求選擇。

　　驅(qū)動下載地址：https://www.nvidia.cn/geforce/drivers/

0