1. 引言

很多实际问题如信号与图像处理 [1] [2] [3] 、故障检测 [4] 、压缩感知 [5] [6] [7] 、统计学习 [8] 、机器学习 [9] [10] 等很多反问题都是不适定、病态的，比如 是噪声。为了克服这一困难，人们利用稀疏表示 [11] 对原问题进行降维，使不适定的问题变得适定，即建立稀疏优化模型对问题进行求解。稀疏优化模型，旨在寻找一个欠定系统的稀疏解，这个稀疏解中只有极少数分量不为零。我们利用稀疏优化模型求解决策变量x，即具有稀疏结构的向量，并将其应用到图像处理中。

本文将对正则稀疏优化模型以及算法研究的发展进行综述，并总结归纳最具代表性的几种模型及算法。我们将正则稀疏优化模型分为两大类，从正则项的选取和构造特点出发，分为单正则稀疏优化模型和混合正则稀疏优化模型两大类。另外，我们结合最新研究成果，从损伤识别、故障诊断、超分辨率重建和电阻抗层析成像等实际问题出发，提出构造不同的正则稀疏优化模型新思路，并探讨新模型和算法可以研究的内容及方向，进一步探索模型和算法更广阔的应用前景。

2. 正则稀疏优化模型及算法综述

2.1. l ₀ 稀疏优化模型与算法概述

原始稀疏优化模型共有三种类型：

第一种：带有线性约束的 l ₀ 极小化稀疏优化模型 [12] [13]

越小，则向量x越稀疏。

l ₀ 范数具有离散结构，同时模型(1)、(2)和(3)都是NP-hard [14] [15] ，针对这两大挑战，专家学者提出了两种经典算法：贪婪算法和硬阈值算法。

1993年，Mallat等 [11] 介绍了一种贪婪算法：匹配追踪算法。1995年，Natarajan [14] 提出启发式贪婪算法。2004年，Tropp [17] 给出了一种贪婪算法: 正交匹配追踪算法。但是贪婪算法具有一定的局限性，只有维度较低时，才可以快速有效地求解 l ₀ 稀疏优化模型。当处理高维度模型时，该算法效率明显降低. 因此专家学者设计出硬阈值算法来高效地求解高维度下 l ₀ 稀疏优化模型 [12] [13] [18] 。2006年，Herrity等 [13] 提出两种硬阈值算法：GENERAL和BLOCK迭代阈值算法。

2.2. l ₁ 正则稀疏优化模型与算法概述

l ₀ 稀疏优化模型本身限制了算法的设计和求解效率，因此学者们相继采取了很多改进的方法。首先，1998年，Chen和Donoho [19] 提出 l ₁ 正则稀疏优化模型：

满足某些特定条件时 [20] ，求解模型(4)与求解模型(3)等价。

求解 l ₁ 正则稀疏优化模型的代表性算法是迭代收缩阈值算法，又叫软阈值算法。该算法的衍变过程如下：1995年，Donoho [21] 首先提出一种去噪技巧：收缩，可以恢复被高斯白噪声污染且在正交基下稀疏的信号；1998年，针对非线性小波图像，Chambolle等 [22] 给出了收缩算法的思想；2003年，Figueiredo等 [23] 基于软阈值思想提出一种算法处理图像恢复问题；2004年，Daubechies等 [24] 提出迭代收缩阈值算法；2007年，Daubechies等 [25] 在前者基础上加以改进，给出加速迭代收缩阈值算法。迭代收缩阈值算法的优点在于它能够自动地确定阈值，从而避免了手动调整阈值的繁琐过程。此外，该算法还能够处理复杂的图像，包括具有不同纹理、颜色和亮度的图像。当然，迭代收缩阈值算法也存在一些不足，比如，该算法对图像的分割结果非常敏感，即使是微小的变化也可能导致分割结果的巨大变化；其次，该算法的计算复杂度较高，需要大量的计算资源和时间。

求解模型(4)的经典算法还包括内点算法 [19] 等。1998年，Chen等 [19] 提出基追踪内点法。受到Donoho等的启发，2007年，Kim等 [26] 提出一种基于截断牛顿的内点算法专门求解大规模下的模型(4)。内点法一般结合牛顿法来使用，是求解光滑无约束问题的重要方法，其不足之处在于迭代求解十分费时，不过Kim等人结合的这种截断牛顿方法能够明显降低求解所需要的时间，大大提高了求解大规模问题的效率。

此外2000年，Osborne，Presnell和Turlach [27] [28] 从另一角度出发提出，此方法求解模型(4)。2007年，Figueiredo等 [29] 从梯度投影的角度出发，提出稀疏重构梯度投影方法，数值实验表明该方法具有很广泛的应用空间，并且与其他算法相比计算速度有明显提高。同年，Hale和印卧涛等 [30] 提出不动点连续方法，应用于带有噪声数据的大规模问题时与其他算法相比有很好的效果。2011年，Becker及Candès团队 [31] 结合不动点连续技术、光滑化技术 [32] 与改进的梯度方法，设计出加速Nesterov算法，其中Nesterov算法的核心之一是对迭代序列进行微调均衡，已被证明可以提高标准梯度下降算法的收敛速率。加速Nesterov算法非常适合解决大规模压缩感知重建问题，因为其求解效率高，计算精确，且具有灵活性，适用于许多类型的重建问题，此外，该算法具有鲁棒性，即在广泛的问题上的优异性并不依赖于几个参数的微调。针对具有大动态范围的实际信号问题等该算法也具有明显的优势。2011年，Yang等 [33] 另辟蹊径给出一阶原始-对偶交替方向算法求解模型(4)，算法执行过程中每次迭代都会更新原始变量和对偶变量，数值实验表明该算法有效性的同时还验证了其通用性。

2.3. l _p 正则稀疏优化模型与算法概述

理论分析和数值实验结果表明 l ₁ 范数并不是 l ₀ 范数在一般实践中的最好近似值 [34] [35] 。因此2001年范剑青等 [36] 提出并证明了 l _p 范数较 l ₁ 范数可得到更稀疏的解。基于上述理论证明，2008年，Candès等 [37] 给出 l _p 正则稀疏优化模型：

，也已出现了很多有效的求解算法。2005年，Figueiredo等 [41] 提出基于边界优化方法的算法，这种方法允许在不使用丢失或隐藏数据概念的情况下推导EM (Expectation Mmaximization) 类型的算法。可以证明该算法对正交小波变换和冗余小波变换均具有单调性。实验结果表明该算法有很好的表现。2007年，Figueiredo等 [42] 提出一种 Majorization-Minimization算法，其中奇异性问题必须处理无限大的权重，这可能会导致数值和收敛问题，不过理论及数值实验有力地证明了奇异性问题不会损害该算法的有效性。2008年，Candès，Wakin和Boyd [37] 提出迭代加权 l ₁ 极小化算法，更易获得真正的最稀疏解。2010年，Chen等 [43] 给出上述算法的全局收敛性分析，并证明其产生的任何序列均收敛到模型(5)的稳定点。进一步，2014年，Chen等将上述算法的相关理论完善 [44] 。2011年，Lai等 [45] 设计出无约束 l _p 极小化迭代算法，并证明该迭代算法具有收敛性，且当模型(5)满足某些附加假设时，该迭代点能够收敛到模型的稀疏解。因为 l _p 在零点不可导，因此如何克服这一问题也是研究的一个热点，基于此，2012年，Chen [46] 提出光滑化方法求解模型(5)，给出了光滑函数的性质以及与光滑函数相关的次差分的梯度一致性。此外，Chen讨论了如何在光滑方法的外迭代中更新光滑参数，以保证光滑方法收敛到原始最小化问题的一个平稳点。2013年，Lai等 [47] 光滑化 阈值算法和分部线性逼近不动点阈值算法求解模型并应用到图像恢复和图像去模糊。理论上证明了模型(11)和(12)可以更好地逼近最优解，数值实验表明与其他模型算法相比，这两个算法效果更好，其中分部线性逼近不动点阈值算法最好。

3. 正则稀疏优化模型及算法的应用前景

受到上述正则稀疏优化模型及算法发展过程的启发，结合该领域在实际应用中的最新研究成果，我们从工程的损伤识别 [55] 、齿轮箱复合故障诊断 [56] 、遥感图像超分辨率重建(Super Resolution Reconstruction, SRR) [57] [58] 以及碳纤维复合材料(Carbon Fiber Reinforced Polymer, CFRP)电阻抗层析成像 [59] 等实际问题出发构造新正则稀疏优化模型，并探讨正则稀疏优化模型及算法更广阔的应用前景。

3.1. 损伤识别

工程结构的安全问题一直备受关注，而有效的损伤识别方法可以准确反映结构的损伤情况，从而降低风险，保障安全。吕昊等 [55] 构建了基于结构模态参数的识别因子，引入稀疏约束，进而提出了一种基于非线性收敛因子、自适应权重和模拟退火策略的混合鲸鱼退火算法。数值实验表明，该模型和算法提升了识别精度，平衡了算法的收敛速度和寻优能力，从而增强算法性能，且具有一定的抗噪鲁棒性。其中考虑稀疏约束的识别因子时关键的一步是引入 l _p 范数稀疏约束，即

为组合参数。可以通过理论推导出最优组合参数后，在此基础上建立新正则稀疏优化模型，再结合鲸鱼退火算法设计出针对损伤识别的高效算法，最后通过数值实验验证即可。

3.2. 齿轮箱复合故障诊断

齿轮箱是工业系统和轨道交通系统中的重要动力传输部件，其运行状况直接关系到工业系统的健康状况和高速列车的服役性能。由于加工工艺复杂，装配精度要求较高，工作环境恶劣，齿轮箱极易受到损伤，这将直接导致旋转机械系统发生故障，从而产生较大的经济损失甚至造成人员伤亡。此外，振动信号中常常包含多种元素并伴随着强烈的背景噪声，给齿轮箱故障诊断带来了很大的困难。宋泽树等 [56] 针对传统稀疏分解方法存在的计算效率低，幅值低估以及估计精度不足等问题，提出了一种基于调Q小波变换作为稀疏表示字典的广义平滑对数正则化稀疏分解方法，再利用前向后向分裂(Forward-Backward Splitting, FBS)稀疏分解算法精确求解稀疏表示模型，并通过数值实验验证了所提出方法在齿轮箱复合故障诊断中的适用性与优越性，且在强噪声背景下可以提高重构信号的精确度。其中，正则稀疏优化模型的目标函数如下：

(17)

再结合求解 l _p 的方法设计高效的迭代算法，并将其应用到齿轮箱复合故障诊断中验证模型和算法的有效性和适用性。

3.3. 遥感图像超分辨率重建(SRR)

SRR是当前卫星遥感数据空间分辨率提升的重要技术，但目前现有的超分辨率重建方法在处理具有复杂地物特征的图像时效果不是很理想。当遥感图像中含有多种非均匀地物信息时，很难构建通用的模型来解决其病态问题。于是，杨雪等 [57] 提出一种混合稀疏表示模型的新型超分辨率重建方法(MSR-SRR)，数值实验表明，该方法的分类结果总体精度和Kappa系数提升更明显，得到的图像细节信息更突出，且不受地物本身类别的限制，不局限于图像的信息提取和分类方法，在提升GF-4图像分辨率方面有很大潜力，可用于图像去噪和图像恢复等，对减灾防灾、气象预警等具有十分重要的意义。其中正则稀疏优化模型如下：

为组合参数。可以理论推出或者用数值调参的方式找到最优的混合系数组合，再结合迭代加权 l ₁ 交替方向乘子法设计高效算法求解新模型，最后通过数值实验验证新模型和算法的有效性和适用性以及鲁棒性。

3.4. CFRP电阻抗层析成像建

碳纤维复合材料(CFRP)作为一种新型复合材料，具有高比强度、高比模量及稳定性好等优点，已被广泛应用于航空航天领域。为确保材料使用的安全性，CFRP的有效检测尤为重要，其中电阻抗层析成像(Electrical Impedance Tomography, EIT)以其无创性、可视化、无辐射、操作简单、成本低等优点被广泛研究应用。但是电阻抗层析成像逆问题求解具有严重的病态性，因此马敏等 [59] 提出了一种基于改进低秩稀疏正则化的电阻抗层析成像算法。数值实验表明，该算法能够增强解的稀疏性，改善EIT逆问题的病态性，对于冲击损伤、分层损伤和裂纹损伤均具有良好的反演能力，成像质量均优于传统的三大算法，且成像效果稳定，具有良好抗干扰性，在CFRP损伤检测方面有良好的应用前景。其中EIT重建过程描述如下：

混合的思想还可以应用到这些模型中，针对不同的模型，可以采用不同的混合方法构造正则项，再结合多种算法思想设计出高效的算法，最后通过数值实验验证模型和算法的有效性、适用性以及鲁棒性。

4. 总结

本文回顾了过去30年间，正则稀疏优化模型及算法研究的发展过程。正则稀疏优化正则模型中最为关键的就是正则项的选取和构建，从正则项只有一项的 l ₀ 正则到 l ₁ 正则到 l _p 正则，再到混合正则项的提出。好的正则项，可以使得正则稀疏优化模型具有好的稀疏解，好的泛化能力，并且可以基于此设计好的算法提高求解效率。最后，结合实际应用中的最新研究成果，我们从工程的损伤识别、齿轮箱复合故障诊断、遥感图像超分辨率重建以及 CFRP电阻抗层析成像这几个实际问题出发，提出构造新正则稀疏优化模型的新思路，并探讨了进步模型处理和算法设计思路。此外，进一步提出将 Wang, Y., Zhou, G.L., Zhang, X., Liu, W. and Caccetta, L. (2016) The Non-Convex Sparse Problem with Nonnegative Constraint for Signal Reconstruction. Journal of Optimization Theory and Applications, 170, 1009-1025.
https://doi.org/10.1007/s10957-016-0869-2 Xiu, X.C., Pan, L.L., Yang, Y. and Liu, W. (2022) Efficient and Fast Joint Sparse Constrained Canonical Correlation Analysis for Fault Detection. IEEE Transactions on Neural Networks and Learning Systems, 1-11.
https://doi.org/10.1109/TNNLS.2022.3201881 Donoho, D.L. (2006) Compressed Sensing. IEEE Transactions on Information Theory, 52, 1289-1306.
https://doi.org/10.1109/TIT.2006.871582 Luo, Z.Y., Qin, L.X., Kong, L.C. and Xiu, N.H. (2014) The Nonnegative Zero-Norm Minimization under Generalized Z-Matrix Measurement. Journal of Optimization Theory and Applications, 160, 854-864.
https://doi.org/10.1007/s10957-013-0325-5 Zhang, D., Katz-Samuels, J., Figueiredo, M.A.T. and Balzano, L. (2018) Simultaneous Sparsity and Parameter Tying for Deep Learning using Ordered Weighted l1 Regularization. 2018 IEEE Statistical Signal Processing Workshop (SSP), Freiburg im Breisgau, 10-13 June 2018, 65-69.
https://doi.org/10.1109/SSP.2018.8450819 Natraajan, B.K. (1995) Sparse Approximate Solutions to Linear Systems. SIAM Journal on Computing, 24, 227-234.
https://doi.org/10.1137/S0097539792240406 Donoho, D.L. (1995) De-Noising by Soft-Thresholding. IEEE Transactions on Information Theory, 41, 613-627.
https://doi.org/10.1109/18.382009 Daubechies, I., Defrise, M. and Mol, C.D. (2004) An Iterative Thresholding Algorithm for Linear Inverse Problems with a Sparsity Constraint. Communications on Pure and Applied Mathematics, 57, 1413-1457.
https://doi.org/10.1002/cpa.20042 Vonesch, C. and Unser, M. (2007) Fast Iterative Thresholding Algorithm for Wavelet-Regularized Deconvolution. In: Van De Ville, D., Goyal, V.K. and Papadakis, M., Eds., Proceedings of the SPIE Optics and Photonics 2007 Conference on Mathematical Methods: Wavelet XII, Vol. 6701, SPIE, Bellingham, 135-139.
https://doi.org/10.1117/12.733532 Kim, S.-J., Koh, K., Lustig, M., Boyd, S. and Gorinevsky, D. (2007) An Interior-Point Method for Large-Scale l1-Regularized Least Squares. IEEE Journal of Selected Topics in Signal Processing, 1, 606-617.
https://doi.org/10.1109/JSTSP.2007.910971 Figueiredo, M.A.T., Nowak, R.D. and Wright, S.J. (2007) Gradient Projection for Sparse Reconstruction: Application to Compressed Sensing and Other Inverse Problems. IEEE Journal of Selected Topics in Signal Processing, 1, 586-597.
https://doi.org/10.1109/JSTSP.2007.910281 Xu, Z.B., Chang, X.Y., Xu, F.M. and Zhang, H. (2012) L1/2 Regularization: A Thresholding Representation Theory and a Fast Solver. IEEE Transactions on Neural Networks and Learning Systems, 23, 1013-1027.
https://doi.org/10.1109/TNNLS.2012.2197412 Figueiredo, M.A.T. and Nowak, R.D. (2005) A Bound Optimization Approach to Wavelet-Based Image Deconvolution. IEEE International Conference on Image Processing 2005, Genova, 14-14 September 2005.
https://doi.org/10.1109/ICIP.2005.1530172 Figueiredo, M.A.T., Bioucas-Dias, J.M. and Nowak, R.D. (2007) Majorization Minimization Algorithms for Wavelet-Based Image Restoration. IEEE Transactions on Image Processing, 16, 2980-2991.
https://doi.org/10.1109/TIP.2007.909318 Chen, X.J. and Zhou, W.J. (2010) Convergence of Reweighted l1 Minimization Algorithms and Unique Solution of Truncated lp Minimization. Technical Report, Hong Kong Polytechnic University.
https://www.researchgate.net/publication/228532259_Convergence_of_reweighted_l1_minimization_algorithms_and_unique_solution_of_truncated_lp_minimization Lou, Y.F., Yin, P.H., He, Q. and Xin, J. (2015) Computing Sparse Representation in a Highly Coherent Dictionary Based on Difffference of L1 and L2. Journal of Scientific Computing, 64, 178-196.
https://doi.org/10.1007/s10915-014-9930-1 Boyd, S., Parikh, N., Chu, E., Peleato, B. and Eckstein, J. (2011) Distributed Optimization and Statistical Learning via the Alternating Direction Method of Multipliers. Foundations and Trends® in Machine Learning, 3, 1-122.
https://doi.org/10.1561/2200000016 Gao, X.R., Bai, Y.Q. and Li, Q. (2021) A Sparse Optimization Problem with Hybrid L2-Lp Regularization for Application of Magnetic Resonance Brain Images. Journal of Combinatorial Optimization, 42, 760-784.
https://doi.org/10.1007/s10878-019-00479-x Gao, X.R., Bai, Y.Q., Fang, S.-C., et al. (2023) A New Hybrid lp-l2 Model for Sparse Solutions with Applications to Image Processing. Journal of Industrial and Management Optimization, 19, 890-915.
https://doi.org/10.3934/jimo.2021211