基於曝光融合框架的對比度增強算法

目錄

論文題目《A New Image Contrast Enhancement Algorithm Using Exposure Fusion Framework》翻譯以及分析

摘要

低光圖像不利於人眼觀察和計算機視覺算法識別,因為它們的可見度較低。雖然已經提出了許多圖像增強技術來解決這個問題。但是現有方法不可避免地存在對比度過低和過高的情況。在本文中,我們提出了一種精確的對比度增強的算法。具體來說,我們首先使用光照估計技術為圖像融合設計權重矩陣。然後,我們用相機的響應模型合成多重曝光圖像。接下來,我們找到最佳的曝光率,為了合成圖像在原始圖像曝光不足的區域進行更好的曝光。最後,輸入圖像和合成圖像根據權重矩陣進行融合以獲得圖像增強的結果。實驗表明,相比其他優秀的方法,我們的方法可以得到對比度和亮度失真更少的結果。

1. 研究現狀

圖像增強技術廣泛用於圖像處理中。一般來說,它可以使輸入圖像看起來更好,並且更適合於特定算法進行處理。對比度增強,作為一種增強技術,可以在圖像中显示曝光不足區域的信息。目前有大量的對比度增強的技術,主要包括基於直方圖,基於Retinex和基於除霧的方法的增強技術。

彩色圖像可以用三維數組表示。最簡單的對比度增強的方法是對每個對象執行相同的處理過程。例如,最早的圖像增強方法使用非線性單調函數進行灰度級映射。

考慮到不同灰度級別中元素的不均勻分佈,因此直方圖均衡化(HE)被廣泛用於改善對比度。許多直方圖均衡化的擴展方法將亮度保存和對比度限制考慮進去。但是基於直方圖均衡化的方法總是會過度增強和產生不切實際的結果。在模仿在人類視覺系統中,Retinex理論也廣泛用於圖像增強。通過將反射圖與光照圖分開,基於Retinex的算法可以明顯增強細節。但是這些方法在高對比度區域容易產生偽像。近年來,一些方法應用除霧技術來增強對比度並獲得良好的主觀視覺效果。但是這些方法也可能會因為對比度過度增強而導致顏色失真。

儘管圖像對比度增強方法研究了幾十年,但是好的增強效果仍然沒有很好的定義。此外,現有的弱光增強算法也沒有提供參考如何定位過度增強和不足增強區域。我們注意到不同的圖像曝光度可以作為增強算法的參考,如圖1所示。隨着曝光度的增加,一些低曝光區域變得曝光良好。增強的結果應保持曝光良好的區域保持不變,而曝光不足的區域則增強。與此同時,增強區域的對比度應與正確曝光區域保持一致。

在本文中,我們提出了一個新的框架來幫助緩解欠/過度增強的問題。我們的框架基於相機響應模型從輸入圖像合成的多張曝光圖像的曝光融合。基於我們的框架,我們提出了一種增強算法與其他幾種相比最先進的方法,可以獲得更少的對比度和亮度失真的結果。

2. 本文方法

2.1 曝光融合框架

在許多室外場景中,相機無法使所有像素曝光良好,因為它的動態範圍是有限的。如圖1所示儘管我們可以通過增加曝光量显示一些曝光不足的區域,與此同時曝光良好的區域可能同時曝光過度。為了讓所有像素的圖像曝光良好,我們可以融合這些圖像:
\[ R^c = \sum\limits_{i=1}^{N}W_i*P_i^c \]
其中 \(N\) 是圖像數量,\(P_i\) 是曝光集合中的第 \(i\) 個圖像,\(W_i\) 是第 \(i\) 個圖像的權重圖,\(c\) 是三個顏色通道的索引,\(R\) 是增強后的結果。三個顏色分量是相等的,所有像素是不均勻的:曝光良好的像素具有較大的權重,曝光不良的像素權重較小。權重已標準化,因此 \(\sum_{i=1}^{N}W_i=1\)

問題是具有其他曝光設置的圖像不適用於圖像增強問題。幸運的是,使用不同的曝光度拍攝的照片是高度相關的。在我們的早期工作中,我們提出了相機響應模型以準確描述這些圖像之間的關聯,以便我們從輸入圖像生成一系列圖像。兩張不同曝光度的圖像的映射函數,我們稱為亮度轉換函數(BTF)。給定曝光率 \(k_i\) 和 亮度轉換函數 \(g\),我們可以映射輸入圖像 \(P\) 到曝光集合中的第 \(i\) 個圖像:
\[ P_i=g(P, k_i) \]
在本文中,我們僅以一定的曝光融合輸入圖像本身來降低複雜度,如圖2所示。融合圖像定義為:
\[ R^c=W*P^c+(1-W)*g(P^c,k) \]

增強問題可分為三個部分:\(W, g, k\) 的三個參數的估計。在以下小節中,我們將一一解決這三個問題。

2.2 權重矩陣估計

\(W\) 是增強算法的關鍵,其目的是增強曝光不足區域的低對比度,而保留曝光良好區域的對比度。我們需要給曝光良好的像素分配較大的權重值,給曝光不足的像素分配較小的權重值。直觀地來說,權重矩陣與場景光照正相關。由於高度光照區域有更大的可能性獲得更好的曝光,應分配給大的權重值以保持它們的對比度。我們計算權重矩陣為:
\[ W=T^{\mu} \]
其中 \(T\) 是場景光照圖,\(\mu\) 是控制增強程度的參數。場景光照估計位置映射 \(T\) 通過優化的方法解決。

(1)優化問題

亮度分量可以作為場景光照的估計。我們採用亮度分量作為光照估計的初始值:
\[ L(x)=max _{c\in \{R,G,B\}}P_c(x) \]
對於每個單獨的像素x。理想照明在結構相似的區域具有局部一致性。換句話說,\(T\) 應該保持有意義的圖像的結構並去除紋理邊緣。在文獻[5]中,我們可以通過最優方程得到 \(T\)
\[ \min _{\mathbf{T}}\|\mathbf{T}-\mathbf{L}\|_{2}^{2}+\lambda\|\mathbf{M} \circ \nabla \mathbf{T}\|_{1} \]
其中 \(\|*\|_2\)\(\|*\|_1\) 分別是 \(\ell_2\)\(\ell_1\) 范數。一階微分濾波器 \(\nabla\) 包含水平方向梯度 \(\nabla_h\mathbf{T}\) 和垂直方向梯度 \(\nabla_v\mathbf{T}\)\(M\) 是權重矩陣,\(\lambda\) 是係數。方程式的第一項最小化初始圖 \(\mathbf{L}\)和場景光照圖\(\mathbf{T}\),而第二項為保證 \(\mathbf{T}\) 的平滑性。

\(\mathbf{M}\) 的設計對於光照圖的細化很重要。局部窗口中的主要邊緣比具有複雜圖案的紋理貢獻了更多的相似方向梯度。因此,包含有意義的邊緣窗口中的權重應小於僅包含一個窗口的邊緣紋理。因此,我們將權重矩陣設計為
\[ \mathbf{M}_{d}(x)=\frac{1}{\left|\sum_{y \in \omega(x)} \nabla_{d} \mathbf{L}(y)\right|+\epsilon}, \quad d \in\{h, v\} \]
其中\(| ∗ |\) 是絕對值運算符,\(\omega(x)\) 是以像素 \(x\)\(\epsilon\) 是一個很小的常數,以避免分母為零。

(2)封閉解

為了簡化複雜度,我們將Eq.6近似為在文獻[5]中公式:
\[ \min _{\mathbf{T}} \sum_{x}\left((\mathbf{T}(x)-\mathbf{L}(x))^{2}+\lambda \sum_{d \in\{h, v\}} \frac{\mathbf{M}_{d}(x)\left(\nabla_{d} \mathbf{T}(x)\right)^{2}}{\left|\nabla_{d} \mathbf{L}(x)\right|+\epsilon}\right) \]
可以看出,該式子現在僅涉及二次項。 令\(md\)\(l\)\(t\)\(\nabla_dl\) 分別表示向量化的\(\mathbf{M}_d\)\(\mathbf{L}\)\(\mathbf{T}\)\(\nabla_d \mathbf{L}\)。 然後可以通過求解以下線性函數直接獲得解
\[ \left(\mathbf{I}+\lambda \sum_{d \in\{h, v\}}\left(\mathbf{D}_{\mathbf{d}}^{\top} \operatorname{Diag}\left(\mathbf{m}_{d} \oslash\left(\left|\nabla_{d} \mathbf{l}\right|+\epsilon\right)\right) \mathbf{D}_{\mathbf{d}}\right) \mathbf{t}=1\right. \]
其中\(\varnothing\)是按元素劃分,\(\mathbf{I}\) 是單位矩陣,運算符 \(Diag(v)\) 是用向量 \(v\) 構造對角矩陣,\(\mathbf{D}_d\) 是Toeplitz矩陣來自具有前向差異的離散梯度算子。我們的光照圖估計方法和文獻[5]的主要區別是設計矩陣\(\mathbf{M}\) 的權重。我們採用了簡化的策略,可以產生在文獻[5]中相似的結果。基於Retinex的其他光照分解技術方法可以運用到這裏來找到權重矩陣 \(\mathbf{W}\)

2.3 相機響應模型

在我們的早期工作中,我們提出了一個稱為Beta-Gamma的相機響應模型校正模型在文獻[[16]中。我們模型的BTF定義為:
\[ g(\mathbf{P},k)=\beta\mathbf{P^{\gamma}}=e^{b(1-k^a)\mathbf{P^{(k^a)}}} \]
其中 \(\beta\)\(\gamma\) 是該模型的兩個參數,可以通過相機參數 \(a\)\(b\) 和曝光率 \(k\) 計算得到。我們假設沒有任何相機信息,並使用固定相機參數(\(a = -0.3293\)\(b = 1.1258\))可以適配大多數相機。

2.4 確定曝光率

在本小節中,我們找到最佳的曝光率,以便合成圖像在原始圖像曝光不足的區域中曝光良好。第一,我們排除曝光良好的像素,並獲得整體上低曝光圖像。我們只需提取低光照像素為:
\[ \mathbf{Q}=\{\mathbf{P}(x)\mathbf{T}(x)<0.5\} \]
其中 \(\mathbf{Q}\) 僅包含曝光不足的像素。不同曝光下圖像的亮度變化很大但是顏色基本相同。因此,我們在估計 \(k\) 只考慮了亮度分量。亮度分量 \(\mathbf{B}\) 定義為三個通道的幾何平均值:
\[ \mathbf{B}:=\sqrt[3]{\mathbf{Q}_r\circ\mathbf{Q}_g\circ\mathbf{Q}_b} \]
其中\(\mathbf{Q}_r\)\(\mathbf{Q}_g\)\(\mathbf{Q}_b\) 分別是輸入圖像 \(\mathbf{Q}\) 的紅色,綠色和藍色通道。 我們使用幾何平均值代替其他定義(例如算術平均值和加權算術平均值),因為它具有相同的BTF所有三個顏色通道的模型參數( \(\beta\)\(\gamma\)),如下所示:
\[ \begin{aligned} \mathbf{B}^{\prime} &:=\sqrt[3]{\mathbf{Q}_{r}^{\prime} \circ \mathbf{Q}_{g}^{\prime} \circ \mathbf{Q}_{b}^{\prime}} \\ &=\sqrt[3]{\left(\beta \mathbf{Q}_{r}^{\gamma}\right) \circ\left(\beta \mathbf{Q}_{g}^{\gamma}\right) \circ\left(\beta \mathbf{Q}_{b}^{\gamma}\right)}=\beta(\sqrt[3]{\mathbf{Q}_{r} \circ \mathbf{Q}_{g} \circ \mathbf{Q}_{b}})^{\gamma} \\ &=\beta \mathbf{B}^{\gamma} \end{aligned} \]
曝光良好的圖像的可見度高於曝光不足的圖像,它可以為人類提供更豐富的信息。因此,最優的 \(k\) 應該提供最多的信息。為了衡量信息的數量,我們使用圖像熵來定義:
\[ \mathcal{H}(\mathbf{B})=-\sum_{i=1}^{N} p_{i} \cdot \log _{2} p_{i} \]
其中 \(p_i\) 是B的直方圖的第i個bin,用於計算數據數量在 \([\frac{i}{N},\frac{i=1}{N}]\),N是bin數( \(N\) 通常設置為256)。最後,通過最大化圖像增強的亮度熵來計算最佳 \(k\) 值:
\[ \hat{k}=\underset{k}{\operatorname{argmax}} \mathcal{H}(g(\mathbf{B}, k)) \]
最優的 \(k\) 值可以通過一維最小化求解。為了改善計算效率,我們在優化 \(k\) 時將輸入圖像的大小調整為 \(50 \times 50\)

3. 實驗對比

為了評估我們方法的性能,我們在公開數據集與幾種最新技術(AMSR [9],LIME [5],Dong [4]和NPE [14])進行比較。這五個公共數據集分別為:VV,LIME-data [5],NPE [14](NPEdata,NPE-ex1,NPE-ex2和NPE-ex3),MEF [10]和IUS [8]。 MEF和IUS是多重曝光數據集,我們從每個多重曝光中選擇一個弱光圖像進行評估。

3.1 實驗細節

在我們的算法中,\(\mu\) 是控制整體增強程度的參數。當\(\mu = 0\)時,所得 \(\mathbf{R}\) 等於 \(\mathbf{P}\),即沒有增強效果。 當時,曝光不足像素和曝光良好像素均被增強。 當 \(\mu> 1\) 時,像素可能會飽和,從而導致 \(R\) 遭受細節損失。 為了更好的增強,同時保留曝光良好的區域,我們將 \(\mu\) 設置為1/2。

為了保持比較的公平性,我們增強算法的參數在所有實驗中都是固定的:\(\lambda = 1\)\(\epsilon=0.001\)\(\mu= 1/2\),和局部窗口\(\omega(x)\)的大小為5。我們算法中最耗時的部分是光照圖的優化。 我們採用多分辨率共軛梯度 \((\mathbf{O}(N))\) 來有效地求解它。 為了進一步加快我們的算法,我們通過對輸入圖像進行下採樣方法解決 \(\mathbf{T}\),然後將生成的 \(\mathbf{T}\) 向上採樣到原始大小。 如果我們向下採樣一次,增強結果中沒有視覺差異,但是計算效率大大提高了。

3.2 對比度失真

如前所述,僅曝光度不同的圖像可用作參考來評估增強結果準確性。 DRIM(動態範圍獨立指標)[1]可以測量圖像對比度的失真,而無需考慮圖像亮度變化。 我們用它來可視化對比增強結果與參考圖像之間的差異。

如圖3所示,該方法得到失真最小的結果。 Dong的結果出現嚴重的對比度失真。 儘管AMSR可以恢復細節,但對比度明顯下降使結果看起來暗淡和虛幻。 相比之下,LIME的結果看起來像有點生動,但它們會導致放大不可見的對比度。 圖5显示更多示例在視覺上進行比較。

3.3 亮度失真

我們用我們使用亮度等級誤差(LOE)客觀地衡量增強結果的亮度失真。 LOE定義為:
\[ LOE=\frac{1}{m}\sum_{x=1}^{m}RD(x) \]
對於像素 \(x\), 其中 \(RD(x)\) 是原始圖像 \(P\) 和增強后\(P^{‘}\) 之間的相對亮度階差,其定義如下:
\[ RD(x)=\sum_{y=1}^{m} U(\mathbf{L}(x), \mathbf{L}(y)) \oplus U\left(\mathbf{L}^{\prime}(x), \mathbf{L}^{\prime}(y)\right) \]
其中 \(m\) 是像素數量,\(\oplus\) 表示異或運算符,\(\mathbf{L}(x)\)\(\mathbf{L}^{\prime}(x)\) 分別是輸入圖像和增強后位置 \(x\) 處的亮度分量。 如果 \(p>= q\),函數 \(U(p,q)\) 返回1,其他情況為0。

正如[5,14]中所建議的那樣,下採樣用於計算LOE降低複雜度。 由於RD將隨着像素數量m的增加而增加,我們注意到LOE隨着圖片下採樣為不同尺寸而變化。 因此,我們將所有圖像下採樣到固定大小。 具體來說,我們均勻收集100行和列,以形成 \(100\times100\) 的下採樣圖像。如表1所示,我們的算法在所有數據集中均優於其他算法。 這個意味着我們的算法可以很好地保持圖像的自然性。 我們也提供了圖4中兩種情況的亮度失真的可視化,從中我們可以發現我們的結果具有最小的亮度失真。AMSR的結果失去了全局的亮度等級,並具有最大的亮度失真。儘管LIME的結果在視覺上令人愉悅,但它們也存在亮度不足的失真。 Dong和NPE的結果只能在曝光良好的區域保留亮度順序。

4. 結論

在本文中,我們提出了曝光融合框架和增強算法提供精確的對比度增強的算法。 基於我們的框架,我們解決了三個問題:(1)我們借鑒了光照估算技術獲得圖像融合的權重矩陣。(2)通過相機響應模型來合成多重曝光圖像。(3)我們找到了最好的曝光率,使合成圖像在原始圖像曝光不足的區域曝光良好。 最終的增強結果是通過融合根據權重矩陣對輸入圖像和合成圖像進行處理。實驗結果表明我們方法相比現階段最先進的方案的有效性。
可以在我們的項目網站上找到更多測試結果:。

5. 主要參考文獻

  1. Aydin, T.O., Mantiuk, R., Myszkowski, K., Seidel, H.P.: Dynamic range independent image quality assessment. ACM Trans. Graph. (TOG) 27(3), 69 (2008)
  2. Beghdadi, A., Le Negrate, A.: Contrast enhancement technique based on local detection of edges. Comput. Vis. Graph. Image Process. 46(2), 162–174 (1989)
  3. Chen, S.D., Ramli, A.R.: Minimum mean brightness error bi-histogram equalization in contrast enhancement. IEEE Trans. Consum. Electron. 49(4), 1310–1319(2003)
  4. Dong, X., Wang, G., Pang, Y., Li, W., Wen, J., Meng, W., Lu, Y.: Fast efficient algorithm for enhancement of low lighting video. In: 2011 IEEE International Conference on Multimedia and Expo, pp. 1–6. IEEE (2011)
  5. Guo, X.: Lime: a method for low-light image enhancement. In: Proceedings of the 2016 ACM on Multimedia Conference, pp. 87–91. ACM (2016)
  6. Ibrahim, H., Kong, N.S.P.: Brightness preserving dynamic histogram equalization for image contrast enhancement. IEEE Trans. Consum. Electron. 53(4), 1752–1758 (2007)
  7. Jobson, D.J., Rahman, Z., Woodell, G.A.: A multiscale retinex for bridging the gap between color images and the human observation of scenes. IEEE Trans. Image Process. 6(7), 965–976 (1997)
  8. Karaduzovic-Hadziabdic, K., Telalovic, J.H., Mantiuk, R.: Subjective and objective evaluation of multi-exposure high dynamic range image deghosting methods (2016)
  9. Lee, C.H., Shih, J.L., Lien, C.C., Han, C.C.: Adaptive multiscale retinex for image contrast enhancement. In: 2013 International Conference on Signal-Image Technology & Internet-Based Systems (SITIS), pp. 43–50. IEEE (2013)
  10. Ma, K., Zeng, K., Wang, Z.: Perceptual quality assessment for multi-exposure image fusion. IEEE Trans. Image Process. 24(11), 3345–3356 (2015)
  11. Peli, E.: Contrast in complex images. JOSA A 7(10), 2032–2040 (1990)
  12. Reza, A.M.: Realization of the contrast limited adaptive histogram equalization (clahe) for real-time image enhancement. J. VLSI Signal Process. Syst. Signal Image Video Technol. 38(1), 35–44 (2004)
  13. Wang, C., Ye, Z.: Brightness preserving histogram equalization with maximum entropy: a variational perspective. IEEE Trans. Consum. Electron. 51(4), 1326– 1334 (2005)
  14. Wang, S., Zheng, J., Hu, H.M., Li, B.: Naturalness preserved enhancement algorithm for non-uniform illumination images. IEEE Trans. Image Process. 22(9), 3538–3548 (2013)
  15. Xu, L., Yan, Q., Xia, Y., Jia, J.: Structure extraction from texture via relative total variation. ACM Trans. Graph. (TOG) 31(6), 139 (2012)
  16. Ying, Z., Li, G., Ren, Y., Wang, R., Wang, W.: A new low-light image enhancement algorithm using camera response model, manuscript submitted for publication (2017)

本站聲明:網站內容來源於博客園,如有侵權,請聯繫我們,我們將及時處理

【其他文章推薦】

網頁設計公司推薦更多不同的設計風格,搶佔消費者視覺第一線

※廣告預算用在刀口上,網站設計公司幫您達到更多曝光效益

※自行創業 缺乏曝光? 下一步"網站設計"幫您第一時間規劃公司的門面形象

南投搬家前需注意的眉眉角角,別等搬了再說!

您可能也會喜歡…