这个问题在压缩感知中是个经典问题，通过二维空间的几何表示能较直观地解释此问题。最常见的是下面的一张图：

这张图来源于《计算机学报》的文献《压缩感知研究》。

csdn博客博主大多引用的这幅图，但是未必都解释清楚了。

引用其中一篇博文的解释：

AX=b：表示空间中的一条直线；
||X||p：表示空间中的Lp球；
当0<p<1时，Lp球是内凸的，当球的半径逐渐增加时与直线的交点将位于坐标轴上，而坐标轴上的点是稀疏的（除了该所在坐标轴的坐标值不为0外，其他均为0）；
当p=1时，Lp球是菱状，在一定条件下会导致一个稀疏解，即相交于坐标轴上；（这也许是压缩感知中L0模型在一定条件下等价于L1模型的形象解释吧）
当p>1时，Lp球是外凸的，当逐渐膨胀时与直线的切点一定不位于坐标轴上，即此时的解是不稀疏的。如图中的L2球。

其实文中基本上说清楚了，但是一些细节没讲清楚，容易让人看不明白。

1、为什么不同范数是这种几何形状；

2、为什么有一条直线：AX=b；

3、为什么Lp球的半径要逐渐增加；

4、为什么相交到坐标轴上就是稀疏的，就和L0等价。

要明白这几个问题，需要将这个几何问题引申到应用中，如果能应用到实际理论中，就算是真正理解了。

1、第一是基本概念问题，如果明白范数的定义，得出这几种几何形状并不难，如果基础实在不好，可以自己代入几个特殊的数算一算也能明白。

L0范数指的是x中非零元素的个数，即x的稀疏度，如果x是K稀疏的，则L0范数等于K；
L1范数指的是x中所有元素模值的和；
L2范数指的是x中所有元素模值平方的和再开方，它代表着距离的概念；

2、问题2涉及到线性空间的概念。如果没学过，可以拿高中学的解析几何来理解，在线性空间中X是个向量，[x;y]，A是系数[a,c]，用高中的解析几何的知识写就是ax+cy=b;

这就是一条直线，但为什么要出现这个直线呢？

这需要理解两个最优化里面的概念：

AX=b是常见的约束条件，也是最常见的线性运算，在信号处理，数据拟合，最小二乘法等等中都能见到。而Lp球对应的就是目标函数，需要通过不断的膨胀收缩搜索来找到满足约束条件（即在AX=b对应的直线上，也就是相交）的最优解——这也就涉及到第3问了。

当然这个直线只是一种情况，不是所有约束条件都是直线。

考虑真实环境中噪声的存在，则是如下模型：

实际应用中，我们用b=Ax+z来进行拟合，对付噪声的干扰，其中z是高斯噪声向量

如果不考虑约束函数的具体形式，则可以有如下的图来解释：

我们将模型空间限制在w的一个L1-ball 中。为了便于可视化，我们考虑两维的情况，在(w1, w2)平面上可以画出目标函数的等高线，而约束条件则成为平面上半径为C的一个 norm ball 。等高线与 norm ball 首次相交的地方就是最优解。

4、为什么相交在坐标轴上就是稀疏了呢？首先不要忘了我们的初衷，是L0范数，就是非零元素的个数，也就是最稀疏的解，对于几何表示的二维空间，要满足AX=b的约束条件，最稀疏也就是两个元素x，y中一个为零，一个非零。如果全为零，则为AX=0的齐次解，就不再满足AX=b的约束条件。所以稀疏解就是直线与横轴或纵轴的交点了。另外也可以从另一个更简单的角度来考虑，L0范数的解就是在坐标轴上的，所以L1要想等效L0范数，解就需要也在坐标轴上，仅此而已。

上述基本把问题阐述清楚了，再来两张简单明了的图供大家理解为什么选择L1替换L0，而L2则不行：

戴琼海，付长军，季向阳.压缩感知研究[J].计算机学报，2011，34(3)：425-434