深圳新聞網(wǎng)2025年7月28日訊(記者 葉梅)圖像復(fù)原領(lǐng)域長期面臨一個難題:要么追求質(zhì)量卻耗時漫長,要么追求速度卻犧牲細(xì)節(jié)。如何把一張老照片修復(fù)得又快又好?
HYPIR大模型修復(fù)圖像效果展示。研究團隊供圖
7月28日,中國科學(xué)院深圳先進技術(shù)研究院數(shù)字所董超研究員團隊發(fā)布了一項名為HYPIR的圖像復(fù)原大模型,不僅比現(xiàn)有的圖像復(fù)原技術(shù)快數(shù)十倍,更在高清分辨率、文字保真、理解能力、用戶控制靈活性等方面展現(xiàn)出了優(yōu)異性能,為圖像復(fù)原技術(shù)的實際應(yīng)用提供了更高效的解決方案,更為文化傳承與保護、影視修復(fù)等領(lǐng)域帶來新的可能性。
突破傳統(tǒng)技術(shù)瓶頸,圖像修復(fù)更高效
傳統(tǒng)方法中,基于預(yù)訓(xùn)練擴散模型的復(fù)原技術(shù)顯著提升了圖像復(fù)原效果,但存在計算復(fù)雜度高、推理速度慢、訓(xùn)練資源消耗大以及生成結(jié)果可控性不足等問題,成為限制圖像復(fù)原技術(shù)發(fā)展的瓶頸問題。
HYPIR大模型處理圖片紋理細(xì)節(jié)的效果展示。研究團隊供圖
去年,董超團隊提出了智能畫質(zhì)增強大模型SUPIR,將低質(zhì)量的圖像恢復(fù)到接近原始狀態(tài)的高清圖像,有效修復(fù)多種退化類型的圖像。而此次圖像大模型HYPIR作為升級版,舍棄了迭代式的擴散模型訓(xùn)練,改用單步的對抗生成模型訓(xùn)練方式,將原有的算法速度提升了數(shù)倍,同時采用更新的文生圖基模型進一步提升算法效果,實現(xiàn)了8K級別的細(xì)節(jié)生成,在生成圖像的穩(wěn)定性和可控性方面遠(yuǎn)超SUPIR大模型。
HYPIR大模型在高分辨率圖像超分復(fù)原方面的效果展示。研究團隊供圖
“以往圖像復(fù)原方法中往往包括擴散模型蒸餾、ControlNet適配器或者多步推理過程。而HYPIR則不需要依賴這些步驟,使用方法更加簡單。在訓(xùn)練和推理速度上較傳統(tǒng)方法提升了一個數(shù)量級以上,且性能更優(yōu)?!倍榻B,HYPIR主要有兩個創(chuàng)新點,一是使用預(yù)訓(xùn)練擴散模型初始化復(fù)原網(wǎng)絡(luò);二是從理論角度出發(fā)解釋這一簡單方法背后蘊含的深刻原理。
董超研究員(左)介紹HYPIR大模型
實驗數(shù)據(jù)顯示,在單張顯卡(圖像處理器)上,HYPIR僅需1.7秒即可完成一張1024x1024分辨率圖像的復(fù)原。相比現(xiàn)有的圖像復(fù)原方法,研究人員提出的HYPIR在復(fù)原圖像的質(zhì)量上性能更優(yōu),且能夠適用于各種尺寸的預(yù)訓(xùn)練擴散模型,為不同應(yīng)用場景提供了靈活性。
多種性能優(yōu)異,應(yīng)用前景廣闊
在應(yīng)用層面,研究人員介紹,HYPIR在圖像高清分辨率、文字保真、理解能力、用戶控制靈活性等方面均展現(xiàn)出了優(yōu)異的性能。
1985年的深圳南頭半島(下圖,攝影:陳宗浩)與4倍超分修復(fù)(上圖)后的對比圖
例如,在老照片修復(fù)方面,研究人員運用HYPIR修復(fù)了國內(nèi)外經(jīng)典電影、電視劇老照片,讓模糊的影像重現(xiàn)清晰的細(xì)節(jié),為文化記憶傳承提供了技術(shù)支持。在高分辨率圖像修復(fù)領(lǐng)域,HYPIR同樣表現(xiàn)出色,因其兼具速度與效果,HYPIR成功攻克了傳統(tǒng)方法在生成8k分辨率圖像時往往面臨速度慢或效果不佳的難題。
在文字保真方面,傳統(tǒng)基于擴散模型的方法常導(dǎo)致復(fù)原出的文字模糊或扭曲,缺乏精確性,而HYPIR則能夠使復(fù)原出的文字保持高保真度和清晰度,無論是簡單的標(biāo)識還是復(fù)雜的文檔,HYPIR都能精準(zhǔn)地還原其原始形態(tài),使圖像中的文字清晰可讀。
值得一提的是,HYPIR還具備了突出的自然語言理解能力,能夠精準(zhǔn)捕捉和理解用戶的輸入指令,在圖像復(fù)原過程中準(zhǔn)確地反映用戶的意圖。此外,用戶可以根據(jù)需求靈活調(diào)節(jié)生成與復(fù)原的平衡,或精細(xì)控制圖像細(xì)節(jié)程度,從而獲得符合自身偏好的結(jié)果。這種用戶友好的設(shè)計使得HYPIR不僅適用于專業(yè)領(lǐng)域,也能滿足普通用戶的需求。
索爾維會議的修復(fù)圖前后(上圖修復(fù)前,下圖修復(fù)后)對比。研究團隊供圖
HYPIR不僅展示了圖像修復(fù)技術(shù)上的創(chuàng)新性,也體現(xiàn)了對實際應(yīng)用需求的理解。通過打破傳統(tǒng)思維定式,該技術(shù)在文化傳承與保護、影視修復(fù)、高分辨率圖像生成等領(lǐng)域提供了切實可行的解決方案,為圖像復(fù)原技術(shù)的發(fā)展注入了新的活力。
一直以來,董超帶領(lǐng)團隊致力于底層視覺技術(shù)研究,在圖像處理領(lǐng)域取得了多個重要突破,并出版了人工智能專著《底層視覺之美》。在他看來,做科研要堅持“三心”,即“初心、良心、愛心”,不僅要保持純粹的好奇心,也要堅守實事求是的底線,更要秉持科技向善的責(zé)任?!罢嬲目蒲谐晒鹬厥聦嵳嫦?,經(jīng)得起反復(fù)推敲?!倍榻B,目前HYPIR大模型的開源代碼和模型已上傳至GitHub開放使用并已成功部署于明犀科技平臺中(HYPIR主頁https://hypir.xpixel.group),同時與深圳市南山區(qū)檔案館合作對部分館藏照片進行修復(fù),后續(xù)該大模型還將進一步推進產(chǎn)業(yè)化,讓社會公眾親身體驗科技魅力。