本篇文章2492字,读完约6分钟
雷锋。搜索“雷锋”。. com(公开号)出版社:蔡博伦,本文作者,华南理工大学博士生。主要研究兴趣:机器学习、计算机视觉、图像处理等。
引导阅读
北京被中度污染的天气包围着,到处都是灰色的——烟雾又来了。从11日开始,雾霾天气开始出现。根据北京市环境监测中心的最新预测,此次雾霾短期内不会明显改善,特别是今天和明天,北京空的空气质量保持在4级中度污染,雾霾将持续到本周日。
霾是特定气候和人类活动相互作用的结果。高密度人口的经济生产和社会活动会排放出大量的细颗粒。一旦排放超过大气环流和承载能力,悬浮粒子将在静态和稳定天气的影响下继续积累,这容易产生大规模烟雾。
1.图像去雾的核心现有的图像去雾技术离不开一个简单的自然模型——大气散射模型。大气散射模型描述了烟雾和光共同作用下的成像机制:
太阳光在物体表面形成反射光j(x),反射光在穿过烟雾的过程中被散射,只有一部分能量j(x)t(x)能到达摄像机。同时,阳光也在悬浮粒子表面散射,形成大气光α,被相机接收。因此,照相机中的成像i(x)可以由两部分组成,透射的物体亮度j(x)t(x)和散射的大气照明α (1-t (x)):
其中t(x)是传输媒介,顾名思义,它表示成功通过烟雾到达摄像机的比率。因此,透射率与物体和照相机之间的距离d(x)成反比,并且离照相机越远,物体受烟雾的影响越大。当距离d(x)趋于无穷大时,透射率t(x)趋于零,i(x)接近α,α= maxy∑{ x | t(x)≤t0 } I(y)。综上所述,除雾的核心是如何更准确地估计介质透过率t(x)。
第二,基于人工特征,人工特征是传统机器视觉的基础。熟能生巧,靠实践获得真正的知识。通过“观察→经验→设计”,构建各种特征以满足各种任务需求。图像去雾技术也随着人工特征而逐渐发展。
(1)暗通道优先[2] (dcp)
当谈到去雾特性时,我们不得不提到黑暗通道超越(dcp)。《简与dcp》是2009年cvpr的最佳论文,它以简单有效的先验假设解决了烟雾浓度的估算问题。
观察到清晰图像块的rgb颜色空中的一个通道非常暗(其值非常低或者甚至接近零)。因此,基于暗通道先验,雾浓度可以用最暗通道的值来近似:
(2)最大对比度[3](最大对比度,mc)
根据大气散射模型,烟雾会降低物体成像的对比度:σx‖δI(x );= tσx‖δj(x);≤σx‖δj(x)。因此,基于这一推论,局部对比度可以用来近似烟雾浓度。同时,可以通过最大化局部对比度来恢复图像的颜色和可见性。
(3)颜色衰减优先[4] (cap)
颜色衰减优先(cap)是类似于暗通道优先(dcp)的优先特征。据观察,烟雾可以引起图像饱和度的降低和亮度的增加,这从整体上显示了颜色的衰减。根据颜色衰减的先验,利用亮度和饱和度的差值来估计雾度浓度:
第三,基于深层智能人的视觉系统能够很好地估计雾浓度和场景深度,而不依赖于这些显式的特征变换。Dehazenet是一个专门设计的深度卷积网络,它利用深度学习来智能地学习烟雾特征,解决人工特征设计的困难和难点。
(1)特征提取
特征提取不同于传统的卷积神经网络。dehazenet采用“卷积+maxout[5]”的结构作为网络的第一层:
并且可以证明“卷积+最大输出”相当于传统的手动去雾功能:
当w1是相反的滤波器时,通道的最大值等于通道的最小值,这相当于暗通道优先(DCP)。当w1是圆形滤波器时,它相当于对比度提取和最大对比度(MC)。当w1同时包含一个反向滤波器和一个全通滤波器时,它相当于从rgb到hsv彩色空的转换,相当于色彩衰减优先(cap)。
另外,从机器学习的角度来看,maxout是一个具有较强非线性拟合能力的样条函数,如下图(d)所示。
(2)多尺度映射和局部极值
多尺度特征可以提高不同分辨率下特征提取的鲁棒性。传统的去雾方法还使用不同尺度(均值、中值和最小值)的滤波器来增强不同尺度下特征的鲁棒性。借鉴googlenet中的初始结构,采用三组不同尺度(3×3、5×5、7×7)的滤波器实现了dehazenet的尺度鲁棒性:
最大汇集是深度卷积神经网络的经典运算。局部极值约束透射率的局部一致性,可以有效抑制透射率的估计噪声。此外,局部极值也对应于暗通道先验的局部最小值(dcp)和最大对比度的局部最大值(mc)。
(3)非线性回归
大气透过率是一个概率(0比1),它不能是无限的或无限小的。受sigmoid和relu激励函数的启发,提出了一种双边校正线性单元(BRLU),它可以在双边约束下保证局部线性。
brelu的非线性返回对应于传统去雾方法中的边缘抑制操作(例如dcp和cap)。双边约束引入先验信息来缩小参数搜索空,这使得网络更容易训练;局部线性避免了sigmoid函数梯度不一致造成的收敛困难。
Dehazenet基于手动特性,超越了传统方法,从手动到智能。因此,dehazenet取得了较好的去雾效果,并获得了更多的对比实验和代码资源:
项目主页
Github代码
brelu+caffe
其他复发(1);(2)
参考
[1]蔡b,徐x,贾k,等. dehazenet:单图像去雾的端到端系统[j].ieee图像处理交易,2016,25(11): 5187-5198。
[2]何k,孙杰,唐x .基于暗通道先验的单幅图像去雾[j].ieee模式分析和机器智能交易,2011,33(12): 2341-2353。
[3] tan r t .从单个图像看恶劣天气下的能见度[c]//计算机视觉和模式识别,2008 .cvpr 2008。ieee会议。ieee,2008: 1-8。
[4]朱清,麦军,邵林.一种利用颜色衰减先验的快速单幅图像去雾算法[j].ieee图像处理交易,2015,24(11): 3522-3533。
[5] goodfellow i j,warder-Farley d,mirza m,et al. maxout networks[j].icml (3),2013,28: 1319-1327。