由于行列式和特征值在几何篇中已经讲过了，这部分也就只有线性相关和线性空间的内容介绍

继续填之前线性代数的坑，这一讲开始有点意思了，希望讲清楚了

懒得打字了，干脆直接讲吧

为之前线性代数填坑系列

简要整理了一下OpenCV中的相机模型

最基础的就是小孔成像模型，简要描述一下。对于一个在相机坐标系下的点$(X,Y,Z)$，其通过小孔投影到归一化平面上的坐标为

$\begin{aligned} x &= X / Z \\ y &= Y / Z\end{aligned}$

但是实际中由于镜头曲面和装配的原因会导致图像产生畸变。OpenCV中考虑了径向畸变和切向畸变。

径向畸变是指成像装置边缘的畸变，远离透镜中心的区域比透镜中心光线更弯曲，是由透镜曲面造成。对于径向畸变OpenCV中使用这样的公式：

$\begin{aligned} x_{distorted} &= x(1 + k_1r^2 + k_2r^4 + k_3r^6) \\ y_{distorted} &= y(1 + k_1r^2 + k_2r^4 + k_3r^6)\end{aligned}$

如果考虑得再多一点，$k4-k6$有值的话，公式如下：

$\begin{aligned} x_{distorted} &= x\frac{1 + k_1r^2 + k_2r^4 + k_3r^6}{1 + k_4r^2 + k_5r^4 + k_6r^6} \\ y_{distorted} &= y\frac{1 + k_1r^2 + k_2r^4 + k_3r^6}{1 + k_4r^2 + k_5r^4 + k_6r^6} \end{aligned}$

可见径向畸变是对称的。

切向畸变是指装配中透镜和成像平面不平行造成的畸变。切向畸变的表达式为：

$\begin{aligned} x_{distorted} &= x + [2 p_1 xy + p_2 (r^2 + 2 x^2)] \\ y_{distorted} &= y + [p_1 (r^2 + 2y^2) + 2 p_2 xy]\end{aligned}$

以上公式中， $[k_1, k_2, k_3, k_4, k_5, k_6, p_1, p_2]$为畸变参数，$r^2 = x^2 + y^2$。

将上面的内容合并起来，径向畸变和切向畸变一起考虑，可以得到

$\begin{aligned} x_{distorted} &=x\frac{1 + k_1r^2 + k_2r^4 + k_3r^6}{1 + k_4r^2 + k_5r^4 + k_6r^6} + [2 p_1 xy + p_2 (r^2 + 2 x^2)] \\ y_{distorted} &= y\frac{1 + k_1r^2 + k_2r^4 + k_3r^6}{1 + k_4r^2 + k_5r^4 + k_6r^6} + [p_1 (r^2 + 2y^2) + 2 p_2 xy]\end{aligned}$

这是最常用到的畸变模型了，一般来说用到的畸变模型也就到此为止。

在OpenCV中畸变参数的排列为$(k_1, k_2, p_1, p_2 [,k_3[,k_4, k_5, k_6[,s_1,s_2,s_3,s_4[,\tau_x, \tau_y]]]])$，包含的元素个数必须为4、5、8、12或者14。

剩下的6个参数使用相对比较少一点，这里不具体描述。详细内容可以参考OpenCV官方文档。

简单解释一下虚数和旋转的关系

平面旋转

将平面上的点$(x,y)$用复数$x + yi$表示，其中$i^2 = -1$。在这个坐标系中，基为$\{1, i\}$。如果将复平面旋转角度$\theta$，我们可以将$1$和$i$映射到

$\begin{aligned} 1 \rightarrow \cos \theta + i \sin \theta \\ i \rightarrow - \sin \theta + i \cos \theta\end{aligned}$

这个应该比较容易验证，在坐标系上画一下就行了。
那么对于一般的坐标来讲呢？我们可以得到

$\begin{aligned} &x(\cos \theta + i \sin \theta) + y (-\sin \theta + i \cos \theta)\\ =& x(\cos \theta + i \sin \theta) + i y ( i\sin \theta + \cos \theta) \\ =& (x + iy) (\cos \theta + i \sin \theta) \\ =& (x + iy) e^{i\theta}\end{aligned}$

这里的$e^{i\theta}$就可以表示旋转，而且左乘右乘也没有什么区别，因为复数乘法有交换律。$e^{i\theta}$应该也属于李群，有兴趣的朋友可以自己证明一下，这个应该比较简单。同样的$\theta$也就是对应的李代数啦。个人认为使用复数形式来表示旋转比矩阵形式表示旋转看起来直观方便的多。

3D旋转

四元数是拥有3个虚部的复数，单位四元数通常用来表示3D空间中的旋转，和平面旋转大致可以类比一下。$i$是复数的虚部，令$\mathbf{u}$为纯单位四元数，那么$\mathbf{u}$可以表示为某一个通过原点的轴。那么我们有

$e^{\mathbf{u}\theta} = \cos \theta + \mathbf{u} \sin \theta$

同样的，这样的单位四元数用来表示3D旋转。
但是熟悉单位四元数表示旋转的同学应该都知道使用四元数进行旋转远远不是这么简单，所以我们进行接下来都一些推导。
先让我们脱离四元数，从三维坐标来考虑这个问题吧。元素$\mathbf{x}$绕通过原点的轴$\mathbf{u}$旋转了角度$\phi$。如图

其中$\mathbf{x}_{\parallel}$为与轴$\mathbf{u}$平行的分量，$\mathbf{x}_{\perp}$为与旋转轴垂直的分量，具体的表示图里有里我就不写了。
接下来要说明的是与轴平行的分量在旋转中是不变的，变化的只有与旋转轴垂直的分量。令$\mathbf{x}'$为$\mathbf{x}$旋转后的量，$\mathbf{x}'_{\perp}$为旋转后的垂直分量。在旋转轴$\mathbf{u}$的作用下，垂直分量$\mathbf{x}_{\perp}$的旋转过程发生在基$\{ \mathbf{x}_{\perp}, \mathbf{u} \times \mathbf{x}_{\perp} \}$张成的平面上。回忆一下平面旋转，基为$\{1,i\}$时，旋转角度$\theta$，有

$1 \rightarrow \cos \theta + i \sin \theta$

同样的，我们可以得到

$\mathbf{x}_{\perp} \rightarrow \mathbf{x}_{\perp} \cos \phi + (\mathbf{u} \times \mathbf{x}_{\perp}) \sin \phi$

最后我们得到旋转后的结果

$\mathbf{x}' = \mathbf{x}_{\parallel} + \mathbf{x}_{\perp} \cos \phi + (\mathbf{u} \times \mathbf{x}_{\perp}) \sin \phi$

根据四元数乘法

我们有

$[e^{\mathbf{u}\theta}]_L [e^{-\mathbf{u}\theta}]_R = \begin{bmatrix} 1 & 0 \\ 0 & \cos^2 \theta + \sin2\theta [\mathbf{u}]_{\times} + (\mathbf{uu}^T + [\mathbf{u}]_{\times}[\mathbf{u}]_{\times})\sin^2\theta\end{bmatrix}$

用这个矩阵左乘$(0, \mathbf{x})$可以得到

$\begin{aligned} &\mathbf{x} \cos^2 \theta + \sin2\theta [\mathbf{u}]_{\times} \mathbf{x} + (\mathbf{uu}^T \mathbf{x} + [\mathbf{u}]_{\times}[\mathbf{u}]_{\times}\mathbf{x})\sin^2\theta \\ = &\mathbf{x} \cos^2 \theta + (\mathbf{u} \times \mathbf{x}_{\perp}) \sin2\theta + (\mathbf{uu}^T \mathbf{x}_{\parallel} + [\mathbf{u}]_{\times}[\mathbf{u}]_{\times}\mathbf{x}_{\perp})\sin^2\theta \\ = & \mathbf{x} \cos^2 \theta + (\mathbf{u} \times \mathbf{x}_{\perp}) \sin2\theta + \mathbf{x}_{\parallel} \sin^2\theta - \mathbf{x}_{\perp} \sin^2\theta \\ = & \mathbf{x}_{\parallel} + \mathbf{x}_{\perp}\cos2\theta + (\mathbf{u} \times \mathbf{x}_{\perp}) \sin2\theta\end{aligned}$

所以使用对偶四元数旋转的时候是

$e^{\mathbf{u}\theta/2} \otimes \mathbf{x} \otimes e^{-\mathbf{u}\theta/2}$

其中$\otimes$为四元数乘法。

NOTE：很遗憾，目前为止也只是抽象推导了四元数旋转，还是没有对四元数旋转得到更加直观的理解。3D旋转与虚数的关系并没有2D来的那么直观。相关理解可能后续有时间再继续进行吧。

参考文献

[1]B. V. Adorno, “Robot Kinematic Modeling and Control Based on Dual Quaternion Algebra—Part I: Fundamentals.,” 2017.

[2]J. Sola, “Quaternion kinematics for the error-state KF,” p. 73.

对偶四元数将平移和旋转放在同一个状态量中，而不是将它们分开。对偶四元数形式上由对偶数和四元数的概念组合而成。

对偶数

对偶数于复数类似由两部分组成，但是并不是同一个东西，具体来看。对偶数可以写成

$z = r + d \varepsilon$

其中$r$为实部，$d$为对偶部；$\varepsilon$为对偶算子，表示$\varepsilon^2 = 0$但是$\varepsilon \neq 0$。和复数类似，$i$是用来区分实部和虚部的，但是$\varepsilon$和$i$的实际意义不一样。

基本运算

对偶数加法

$(r_A + d_A \varepsilon) + (r_B + d_B \varepsilon) = (r_A + r_B) + (d_A + d_B)\varepsilon$

对偶数乘法

$\begin{aligned} (r_A + d_A \varepsilon)(r_B + d_B \varepsilon) &= r_Ar_B + r_Ad_B\varepsilon + r_Bd_A\varepsilon + d_Ad_B\varepsilon^2 \\ &= r_Ar_B + (r_Ad_B + r_Bd_A)\varepsilon\end{aligned}$

对偶数除法

$\begin{aligned} \frac{(r_A + d_A \varepsilon)}{(r_B + d_B \varepsilon)} &= \frac{(r_A + d_A \varepsilon)}{(r_B + d_B \varepsilon)} \frac{(r_A - d_A \varepsilon)}{(r_B - d_B \varepsilon)} \\ &= \frac{r_Ar_B + (r_Bd_A - r_Ad_B)\varepsilon}{(r_B)^2} \\ &= \frac{r_Ar_B}{r_B^2} + \frac{r_Bd_A - r_Ad_B}{r_B^2}\varepsilon\end{aligned}$

加法和乘法都都很普通没什么意思，这个除法可以注意一下，分母是被除数实部的平方。

对偶数微分

基本形式上没有什么特别的

$\frac{\mathrm{d}}{\mathrm{dx}} \mathbf{s}(x) = \lim_{\delta x \rightarrow 0}\frac{\mathbf{s}(x + \delta x) - \mathbf{s}(x)}{\delta x}$

对偶数的导数是另一个对偶数，参考对偶数除法。
值得注意的是，对偶数的对偶算子条件是$\varepsilon^2 = 0$，这给我们使用泰勒展开带来了相当多的便利。

$\begin{aligned} f(r_A + d_A\varepsilon) &= f(r_A) + \frac{f'(r_A)}{1!}d_A\varepsilon + \frac{f''(r_A)}{2!}(d_A\varepsilon)^2 + \frac{f'''(r_A)}{3!}(d_A\varepsilon)^3 + \dots \\ &= f(r_A) + f'(r_A)d_A\varepsilon\end{aligned}$

注意，这里是等于哦，不是约等于哦。不需要什么去掉多阶项线性化，展开就只有一阶项。

四元数

（都是Hamilton）
四元数是复数的一个扩展，基本形式为：

$\mathbf{q} = w + (x \mathbf{i} + y \mathbf{j} + z \mathbf{k})$

$\mathbf{q} = (w, \mathbf{v})$

每个元素含义的细节不说了，没啥好写的很多地方都有。

四元数计算

数乘，$s$是数值

$s \mathbf{q} = (sw, s\mathbf{v})$

加法

$\mathbf{q}_1 + \mathbf{q}_2 = (w_1 + w_2, \mathbf{v}_1 + \mathbf{v}_2)$

乘法

$\mathbf{q}_1 \mathbf{q}_2 = (w_1w_2 - v_1v_2, w_1\mathbf{v}_2 + w_2\mathbf{v}_1 + (\mathbf{v}_1 \times \mathbf{v}_2))$

共轭

$\mathbf{q}^* = (w, -\mathbf{v})$

模长

$\| \mathbf{q} \| = \mathbf{q} \mathbf{q}^*$

对于单位四元数而言，有$\|\mathbf{q}\| = 1$。单位四元数可以表示三维空间中绕轴$\mathbf{n}$旋转角度$\theta$的旋转：

$\mathbf{q} = (\cos(\frac{\theta}{2}), \mathbf{n} \sin (\frac{\theta}{2}))$

对偶四元数最大的优势就在于它插值特别顺滑。

对偶四元数

把对偶数和四元数结合起来，我们得到了对偶四元数

$\mathbf{q} = \mathbf{q}_r + \mathbf{q}_d \varepsilon$

其中$\mathbf{q}_r$和$\mathbf{q}_d$都是四元数。

对偶四元数计算

数乘

$s \mathbf{q} = s \mathbf{q}_r + s \mathbf{q}_d \varepsilon$

加法

$\mathbf{q}_1 + \mathbf{q}_2 = \mathbf{q}_{r1} + \mathbf{q}_{r2} + (\mathbf{q}_{d1} + \mathbf{q}_{d2})\varepsilon$

乘法

$\mathbf{q}_1\mathbf{q}_2 = \mathbf{q}_{r1} \mathbf{q}_{r2} + (\mathbf{q}_{r1}\mathbf{q}_{d2} + \mathbf{q}_{d1} \mathbf{q}_{r2})\varepsilon$

共轭

$\mathbf{q}^* = \mathbf{q}_r^* + \mathbf{q}_d^* \varepsilon$

模长

$\| \mathbf{q} \| = \mathbf{q} \mathbf{q}^*$

单位条件

$\begin{aligned} \|\mathbf{q}\| &= 1 \\ \mathbf{q}_r^* \mathbf{q}_d + \mathbf{q}_d^* \mathbf{q}_r &= 0\end{aligned}$

单位对偶四元数是我们的关注重点，因为我们使用它来表示刚性变换。

与刚性变换关系

单位对偶四元数里面包含的刚性变换的信息为：

$\begin{aligned} \mathbf{q}_r &= \mathbf{r} \\ \mathbf{q}_d &= \frac{1}{2} \mathbf{tr}\end{aligned}$

其中$\mathbf{r}$是由单位四元数表示的旋转；$\mathbf{t}$是四元数表示的平移，$\mathbf{t} = (0,\overrightarrow{\mathbf{v}})$。

纯平移和纯旋转就不写了，简单推一推就有了。

和矩阵形式一样，对偶四元数表示多个刚性变换的结合也是连乘。

存在一个点$\mathbf{p}$，使用对偶四元数对它进行刚性变换的时候，计算公式和四元数类似，为

$\mathbf{p}' = \mathbf{qpq}^*$

其中$\mathbf{q}$和$\mathbf{q}^*$分别为对偶四元数表示的变换和它的共轭；$\mathbf{p}$和$\mathbf{p}'$分别为变换前和变换后的点。

参考文献

[1]B. Kenwright, “A Beginners Guide to Dual-Quaternions”

在向量空间中，每个向量用它们在向量空间中的坐标表示；同样的，在函数空间中，每个函数也可以用它们在函数空间中的坐标表示。

向量空间

由于类比的方式比较容易让人接受，所以在聊函数空间之前我们先回顾一下向量空间。

首先考虑这样一个问题，如何描述一个向量空间？答案是使用一组线性无关的向量基$(\mathbf{e}_1, \mathbf{e}_2, \dots, \mathbf{e}_n)$。在这组向量基张成的空间$\mathcal{S}$中任意一个元素都可以通过这组基线性表示，即

$\mathbf{x} = x_1 \mathbf{e}_1 + x_2 \mathbf{e}_2 + \cdots + x_n \mathbf{e}_n$

其中$(x_1, x_2, \dots, x_n)$就是向量$\mathbf{x}$在这个向量空间中的坐标。如果这组基是还是正交的，那么我们可以得到

$\mathbf{x} = \langle \mathbf{x}, \mathbf{e}_1 \rangle \mathbf{e}_1 + \langle \mathbf{x}, \mathbf{e}_2 \rangle \mathbf{e}_2 + \cdots + \langle \mathbf{x}, \mathbf{e}_n \rangle \mathbf{e}_n$

注意到这里我们已经开始引入内积了。实际中我们最常见的向量表示也是写成向量在某个向量空间中的坐标，只不过是一个特定的向量空间，它的基为

$\begin{aligned} \mathbf{e}_1 &= (1, 0, \dots, 0) \\ \mathbf{e}_2 &= (0, 1, \dots, 0) \\ &\cdots \\ \mathbf{e}_n &= (0, 0, \dots, 1)\end{aligned}$

这里再提一下特征向量，对于非零向量$\mathbf{x}$，如果有

$A\mathbf{x} = \lambda \mathbf{x}$

那么$\mathbf{x}$为矩阵$A$的特征向量。
总结一下刚刚说的，空间由基张成，空间中的元素由基的加权和表示。

傅立叶变换

大家都比较清楚的概念，傅立叶变换是将函数从空间/时域变到频域（虽然有些人会怀疑为什么就会变到频域，后面会简单说明一下）。先给出傅立叶变换和逆变换的公式

$\begin{aligned} F(\omega) &= \intop_{-\infty}^{\infty} f(x) e^{-2 \pi i \omega x} \text{d} x \\ f(x) &= \intop_{-\infty}^{\infty} F(\omega) e^{2 \pi i \omega x} \text{d} \omega\end{aligned}$

这玩意相信大家都很熟悉，甚至倒背如流。不过现在的关注点不是它怎么计算，我们要换个形式来描述它。

函数内积

这个时候就应该引入函数的内积了，函数$f$和$g$的内积为

$\langle f, g \rangle = \intop_{-\infty}^{\infty} f(x) \overline{g(x)} \text{d} x$

其中$\overline{a + ib} = a - ib$，表示复共轭。为什么是这么积分请大家联系向量内积理解。

本来是不想说共轭的，因为还要解释挺麻烦的。但是涉及到复数域就不得不提这个东西了，举个简单的例子解释一下吧

$\begin{aligned} (a + ib)(a - ib) &= a^2 + b^2 \\ (a + ib)(a + ib) &= a^2 - b^2 + 2iab\end{aligned}$

我想你应该从来没有听说过某个元素的模是个复数的。

函数空间正交基

那么现在回到傅立叶变换，根据欧拉公式

$e_{\omega} = e^{2 \pi i \omega x} = \cos(2 \pi \omega x) + i \sin(2 \pi \omega x) = \overline{e^{-2 \pi i \omega x}}$

连同函数内积带入傅立叶变换中，我们可以得到

$F(\omega) = \langle f, e_{\omega} \rangle$

继续带入傅立叶逆变换中

$f(x) = \intop_{-\infty}^{\infty} \langle f, e_{\omega} \rangle e_{\omega} \text{d} \omega$

这里我们停顿一下，翻回去看看向量在正交基描述的向量空间中是如何表示的。

没错，我想说的就是$e_\omega$构成了函数空间的一组正交向量基。也就是说$\langle f, e_\omega \rangle$是函数$f$在这个函数空间中的坐标。所以此时提问，为什么傅立叶变换是将函数从空间/时域变换到频域呢？

同时，很多情况下我们希望经过某些处理后的函数变得平滑。平滑的意思就是去除高频部分留下低频部分，也就是我们说的低通滤波

$\hat{f}(x) = \intop_{-\omega_{\max}}^{\omega_{\max}} \langle f, e_{\omega} \rangle e_{\omega} \text{d} \omega$

同时这里有一个很奇妙的东西，将拉普拉斯算子作用在$e_\omega$上之后，可以得到

$\Delta e_\omega = - (2 \pi \omega)^2 e_\omega$

所以$e_\omega$为拉普拉斯算子的特征函数。

微积分

相信大家从《高等数学》/《微积分》里面都学了不少微积分计算技巧，但是这不是这篇内容的重点。同样的，相信大家对各种常微分方程的解算方法也已烂熟于心，比如什么分离变量等等。这里我问一个问题，不知道大家有没有想过微分方程解出来之后是个什么东西？一般来讲，我们是从初中开始学习方程的。我们解过各种方程，一元的二元的一次的二次的，甚至未知量太多了被我们排列成向量去求解。那么问题来了，微分方程解出来是什么东西？相信优秀的同学们应该都知道，微分方程的解是个函数。结合这个结论与我们刚刚推导的傅立叶变换，这里再问一个问题，为什么在常微分方程中使用拉普拉斯变换进行求解那么万能？

偏微分方程

自然界是连续的，并且很多时候是平滑的，所以偏微分方程是目前人类描述自然界最可靠的方法。我们知道偏微分方程多数时候是没有解析方法求解的。但是大家不要小看了人类的智慧，此时就该函数空间上场了。给定描述函数空间的一组基函数$(f_1, f_2, \cdots, f_n)$，对于任意函数有

$f \approx x_1 f_1 + x_2 f_2 + \cdots + x_n f_n$

为什么这里不是等于，因为一般的函数通常不能由有限个基函数完全描述。我们也无法通过有限的输入条件求得连续空间的所有值。但是我们有一个假设，那就是平滑，所以可以通过有限个基函数去近似。

所以这玩意怎么用呢？举个例子，对于一般的泊松方程而言

$\Delta f = b$

将$f$由基函数替换得到

$\Delta \hat{f} =\begin{pmatrix} \Delta f_1 & \Delta f_2 & \cdots & \Delta f_n\end{pmatrix}\begin{pmatrix} x_1 \\ x_2 \\ \vdots \\ x_n\end{pmatrix} \approx b$

它居然就变成了一个线性方程了！不过前面我们说到，由于一般的函数不能由有限个基函数完全描述，所以$f$和$b$这两个函数还存在不能由$(f_1, f_2, \dots, f_n)$描述的分量。因此通常考虑$\Delta f$和$b$到该函数空间的投影相等，即

$\langle \Delta f, f_i \rangle = \langle b, f_i \rangle$

最后我们求解的问题就变成了

$\begin{pmatrix} \langle \Delta f_1, f_1 \rangle & \langle \Delta f_2, f_1 \rangle & \cdots & \langle \Delta f_n, f_1 \rangle \\ \langle \Delta f_1, f_2 \rangle & \langle \Delta f_2, f_2 \rangle & \cdots & \langle \Delta f_n, f_2 \rangle \\ \vdots & \vdots & \ddots & \vdots \\ \langle \Delta f_1, f_n \rangle & \langle \Delta f_2, f_n \rangle & \cdots & \langle \Delta f_n, f_n \rangle\end{pmatrix}\begin{pmatrix} x_1 \\ x_2 \\ \vdots \\ x_n\end{pmatrix} = \begin{pmatrix} \langle b, f_1 \rangle \\ \langle b, f_2 \rangle \\ \vdots \\ \langle b, f_n \rangle\end{pmatrix}$

基函数举例

什么B样条，RBF。算了我不想写了，总而言之很多看起来是用来内插的东西，实际上都可以换个角度想想。

参考文献

• M. Botsch, Ed., Polygon mesh processing. Natick, Mass: A K Peters, 2010.

先剧透，我认为常见的无约束的数值优化方法不是在解算二次型就是在转换为二次型再进行解算的路上。至于有约束的方法，也通常利用某些手段变为无约束方法。本文就不讨论KKT那些东西了。

引言

由于计算机硬件的限制，虽然我们用各种漂亮的数学模型去解释我们的工作，但是最后都不得不使用数值优化这个工具。所以我们来讨论一下数值优化到底是怎么做的，至于它是用来做什么的不是这篇文章要讲的东西。

问题定义

在一个最优化问题中，我们通常都是要求解使得某个函数最小的变量，即

$x^* = \text{arg}\min_x f(x)$

你要问为什么不是最大，因为我们通常都是希望误差最小。

一次的情况

我们首先来分析下$f(x)$的情况。从我们最熟悉的线性方程开始吧，如果$f(x)$是一个一次的函数，即

$f(x) = ax + b$

这个时候你问$f(x)$的最小值是什么其实是没有意义的对吧。应该说，对于所有奇次的函数$f(x)$而言，这个问题都是没有意义的。

二次的情况

看完了最熟悉的线性我们来看看二次的吧，即

$f(x) = \frac{1}{2} ax^2 - bx +c$

众所周知，当$a > 0$的时候，满足$ax = b$的$x$使得$f(x)$最小。如果我们写成矩阵形式的话，则有

$f(\mathbf{x}) = \frac{1}{2} \mathbf{x}^T A \mathbf{x} - \mathbf{b}^T \mathbf{x} + c$

在这种情况下我们就有，当$A$正定时，满足$A \mathbf{x} = \mathbf{b}$的$\mathbf{x}$使得函数$f(\mathbf{x})$最小。此时内容已经初显端倪了。

将高次函数转为二次函数

上面我们讨论了一次和二次的情况，那么对于更高次的情况呢？高次函数的最小值目前还没有通解形式，所以就必须从初始值一点点迭代了。在这种方法中，每次迭代直接求得的结果并不是自变量$x$本身，而是要叠加在$x$上的一个变化$\Delta x$。

梯度下降法

梯度是函数在局部上升最快的方法，也就是说梯度的反方向是函数下降最快的方向。因此我们每次都往函数的负梯度方向迭代，即

$\mathbf{x}_{k+1} = \mathbf{x}_k - \alpha \mathbf{J}_{k}$

其中$\mathbf{J}_k$是函数$f(x)$在$\mathbf{x}_k$处的导数，$\alpha$是步长。现在问题来了，步长$\alpha$多大的时候这次迭代是最优的？答案是和这次迭代的终点$\mathbf{x}_{k+1}$处的导数$\mathbf{J}_{k+1}$垂直的时候。如果这两个方向不是垂直的，那么表示这次迭代还没有到达最优的结果或者说已经超过了最优的结果。想求证的同学可以自己尝试画图。接下来这个问题就变成了

$\langle \mathbf{J}_k, \mathbf{J}_{k+1} \rangle = 0$

其中

$\mathbf{J}_{k+1} = \nabla f(\mathbf{x}_k - \alpha \mathbf{J}_{k}) \approx \mathbf{J}_k - H_k \cdot \alpha \mathbf{J}_{k}$

这其中$H_k$为$\mathbf{x}_k$处的Hessian矩阵，那么我们求解的问题变成了

$\mathbf{J}_k^T \mathbf{J}_k - \mathbf{J}_k^T H_k \mathbf{J}_k \alpha = 0$

也就是说这个问题变成了

$\alpha^* = \text{arg}\min_\alpha \frac{1}{2} \mathbf{J}_k^T H_k \mathbf{J}_k \alpha^2 - \mathbf{J}_k^T \mathbf{J}_k \alpha + c$

这也太刺激了吧！（虽然一般在实际操作的时候大家都不会用这种方法计算步长）

牛顿型方法

牛顿型跟二次函数的关系就更明确，因为牛顿型方法就是将函数近似为二次函数再求解的。为了证实这个说法我们还是简单推导一下。

原始的牛顿法就是直接将高次函数泰勒展开到二次，即

$f(\mathbf{x} + \Delta \mathbf{x}) \approx f(\mathbf{x}) + \nabla f(\mathbf{x}) \Delta \mathbf{x} + \frac{1}{2} \Delta\mathbf{x}^T H \Delta\mathbf{x}$

高斯牛顿是解决Frobenius范数下的最优化问题，它直接在范数中泰勒展开到一阶，即

$f(\mathbf{x} + \Delta\mathbf{x}) \approx \| f(\mathbf{x}) + \nabla f(\mathbf{x}) \Delta \mathbf{x} \|_F^2$

以上内容，请大家自己展开，我懒得写了。

其实很明显，牛顿法的核心就是将问题局部变为一个二次型的问题进行迭代。

求解二次型问题

对于常见的二次型的问题，形式前面已经给出了，最终就是求解一个形如

$A \mathbf{x} = \mathbf{b}$

的线性系统。

在这个线性系统中，通常我们都要求矩阵$A$是对称正定的（当然能稀疏是最好）。对称性通常都很容易满足，一旦$A$不对称的话$A^TA$总该对称了吧。关于正定的问题应该是有很多讨论的，这里不多写。不过关于正定的问题可以提供一次思考方向，对于对称矩阵$A$而言，如果主对角轴上的值$a_{ii}$为正数且$a_{ii} > \sum_{j \neq i} \| a_{ij} \|$，那么矩阵$A$是正定的。以下内容我们都默认$A$是对称正定的，不再赘述。

直接法

这东西大家应该都很熟悉了。各种矩阵分解方法，什么QR、LU、SVD、Cholesky等等，都是在考虑如何计算矩阵$A$的逆$A^{-1}$。反正都是变着花样进行高斯消元，我甚至想不出有什么好写的。

共轭梯度

由于众所周知的原因，也就是直接矩阵分解求逆的计算量太大了，所以大家都在想办法找一些计算量更小的方法。

前面说到梯度下降法每次迭代都是往梯度的附方向迭代，并且相邻两次的迭代方向在最优的情况下是互相垂直的。也就是会造成大家熟知的“之”字形迭代路径。为了避免这种情况，共轭梯度法考虑每次迭代方向都是共轭的，这样就可以在有限次内得到最优解。

共轭梯度法是用来求解对称正定二次型的方法。应该还是要解释下什么叫共轭，非零向量$\mathbf{x}$和$\mathbf{y}$关于对称正定矩阵$A$共轭，也就是说

$\mathbf{x}^T A \mathbf{y} = 0$

于是共轭梯度法选择$n$个共轭且线性独立的方向作为迭代方向，这样最多只需要迭代$n$次。具体的算法细节很多资料都有写，我这里就不多赘述了。

虽然共轭梯度比梯度下降快很多了，但是有时还不是那么快。共轭梯度和梯度下降一样，收敛速度受到矩阵$A$最大特征值和最小特征值之比$\lambda_{\max} / \lambda_{\min}$（条件数）的影响。因此又出现了预处理共轭梯度法，主要思想是通过某些预处理子（也就是某个矩阵乘上这个系统）使得新系统中矩阵$\hat{A}$的条件数比矩阵$A$的小。

总结

一般情况下，一个有约束问题通常会想办法先变成无约束问题，一个无约束问题通常会转换为某个二次型计算，最终都要回到一个线性方程求解。

本文是希望从一个不一样的角度来看看数值优化，希望能给大家的工作带来一些不一样的思路。

图形学中经常会涉及到拉普拉斯算子，在这里介绍一下拉普拉斯算子在三角mesh上的具体实现。

预备内容

在真正开始讨论拉普拉斯算子之前，我们先说明一些预备的知识。

局部平均区域

基本思想是将计算微分性质作为mesh上点$\mathbf{x}$局部邻域$\mathcal{N}(\mathbf{x})$上的空间平均。下图是几种具体情况：

图中的蓝色区域为局部平均区域。其中barycentric cell是将三角形的重心和三角形边的中点相连，Voronoi cell是将重心换成了外心。使用外心有一个问题，对于钝角三角形来说外心在三角形外部，因此mixed Voronoi cell将钝角三角形的外心替换为钝角对边的中点。

梯度

由于拉普拉斯算子是梯度的散度，所以梯度也是很重要的。假设一个由每个mesh顶点定义的逐块线性函数$f$，$f(v_i) = f(\mathbf{x}_i) = f(\mathbf{u}_i) = f_i$，内插得到每一个三角形$(\mathbf{x}_i, \mathbf{x}_j, \mathbf{x}_k)$：

$f(\mathbf{u}) = f_iB_i(\mathbf{u}) + f_jB_j(\mathbf{u}) + f_kB_k(\mathbf{u})$

其中$\mathbf{u}$是$\mathbf{x}$在2D共形参数化上的对应参数。内插效果为：

那么$f$的梯度为

$\nabla f(\mathbf{u}) = f_i \nabla B_i(\mathbf{u}) + f_j \nabla B_j(\mathbf{u}) + f_k \nabla B_k(\mathbf{u})$

由于是线性插值，我们有条件对于所有的$\mathbf{u}$我们有$B_i(\mathbf{u}) + B_j(\mathbf{u}) + B_k(\mathbf{u}) = 1$，因此$\nabla B_i(\mathbf{u}) + \nabla B_j(\mathbf{u}) + \nabla B_k(\mathbf{u}) = 0$。联合上面的式子我们可以得到：

$\nabla f(\mathbf{u}) = (f_j - f_i) \nabla B_j(\mathbf{u}) + (f_k - f_i) \nabla B_k(\mathbf{u})$

这个函数的最速上升方向是垂直于顶点对边的方向，再加上合适的归一化，有

$\nabla B_i (\mathbf{u}) = \frac{(\mathbf{x}_k - \mathbf{x}_j)^{\perp}}{2A_T}$

其中$\perp$表示逆时针旋转90度，$A_T$表示三角形$T$的面积。那么在三角形中每一点的梯度为常数：

$\nabla f(\mathbf{u}) = (f_j - f_i) \frac{(\mathbf{x}_i - \mathbf{x}_k)^{\perp}}{2A_T} + (f_k - f_i) \frac{(\mathbf{x}_j - \mathbf{x}_i)^{\perp}}{2A_T}$

离散拉普拉斯算子

预备内容说完了开始讲讲主题了

均匀拉普拉斯

拉普拉斯算子的均匀离散版本

$\Delta f(v_i) = \frac{1}{|\mathcal{N}_1(v_i)|} \sum_{v_j \in \mathcal{N}_1(v_i)} (f_j - f_i)$

总的来说，这个形式用处不大。但是也可以用在各向同性的remesh上。

余切公式

使用混合的有限元/有限体方法（mixed finite element/finite volume method），拉普拉斯算子可以有更精确的离散推导。目标是在局部平均域$A_i = A(v_i)$上，对逐片线性函数梯度的散度进行积分。为了简化这个积分，对向量值函数$\mathbf{F}$的积分应用散度定理：

$\intop_{A_i} \text{div} \mathbf{F}(\mathbf{u}) \text{d}A = \intop_{\partial A_i} \mathbf{F}(\mathbf{u}) \cdot \mathbf{n}(\mathbf{u}) \text{d}s$

这个等式将面积$A_i$上的积分转换为了在$A_i$边界$\partial A_i$上的积分，其中$\mathbf{n}$是边界向外的单位法线。

将拉普拉斯应用到散度定理中

$\intop_{A_i} \Delta f(\mathbf{u}) \text{d}A = \intop_{A_i} \text{div} \nabla f(\mathbf{u}) \text{d}A = \intop_{\partial A_i} \nabla f(\mathbf{u})\cdot \mathbf{n}(\mathbf{u})\text{d}s$

将积分分解到每个三角形上。由于局部的Voronoi区域通过三角形两条边的中点$\mathbf{a}$和$\mathbf{b}$，并且每个三角形中$\nabla f(\mathbf{x})$是常数，那么在该三角形$T$上的积分为

$\begin{aligned} \intop_{\partial A_i \cap T} \nabla f(\mathbf{u}) \cdot \mathbf{n}(\mathbf{u}) \text{d}s &= \nabla f(\mathbf{u}) \cdot (\mathbf{a} - \mathbf{b})^{\perp} \\ &= \frac{1}{2} \nabla f(\mathbf{u}) \cdot (\mathbf{x}_j - \mathbf{x}_k)^{\perp}\end{aligned}$

然后我们将上面得到的梯度离散化公式带进来，得到

$\begin{aligned} \intop_{\partial A_i \cap T} \nabla f(\mathbf{u}) \cdot \mathbf{n}(\mathbf{u}) \text{d}s &= (f_j - f_i)\frac{(\mathbf{x}_i - \mathbf{x}_k)^{\perp} \cdot \mathbf{x}_j - \mathbf{x}_k)^{\perp}}{4A_T} \\ &+ (f_k - f_i)\frac{(\mathbf{x}_j - \mathbf{x}_i)^{\perp} \cdot \mathbf{x}_j - \mathbf{x}_k)^{\perp}}{4A_T}\end{aligned}$

激动人心的部分要来了！赶快会议一下各种三角公式！

让$\gamma_j$和$\gamma_k$分别表示顶点$v_j$和$v_k$的三角形内角。由于有

$A_T = \frac{1}{2} \sin \gamma_j \| \mathbf{x}_j - \mathbf{x}_i \| \| \mathbf{x}_j - \mathbf{x}_k \| = \frac{1}{2} \sin \gamma_k \| \mathbf{x}_i - \mathbf{x}_k \| \| \mathbf{x}_j - \mathbf{x}_k \|$

并且有

$\begin{aligned} \cos \gamma_j &= \frac{( \mathbf{x}_j - \mathbf{x}_i ) \cdot ( \mathbf{x}_j - \mathbf{x}_k )}{\| \mathbf{x}_j - \mathbf{x}_i \|\| \mathbf{x}_j - \mathbf{x}_k \|} \\ \cos \gamma_k &= \frac{( \mathbf{x}_i - \mathbf{x}_k ) \cdot ( \mathbf{x}_j - \mathbf{x}_k )}{\| \mathbf{x}_i - \mathbf{x}_k \|\| \mathbf{x}_j - \mathbf{x}_k \|}\end{aligned}$

于是就可以得到

$\intop_{\partial A_i \cap T} \nabla f(\mathbf{u}) \cdot \mathbf{n}(\mathbf{u}) \text{d}s = \frac{1}{2} (\cot \gamma_k (f_j - f_i) + \cot \gamma_j (f_k - f_i))$

因此在整个局部平均区域$A_i$上积分的时候会得到

$\intop_{A_i} \Delta f(\mathbf{u}) \text{d}A = \frac{1}{2} \sum_{v_j \in \mathcal{N}_i(v_i)} (\cot \alpha_{i,j} + \cot \beta_{i,j})(f_i - f_j)$

$\alpha_{i,j}$，$\beta_{i,j}$与$\mathbf{x}_i$，$\mathbf{x}_j$的位置关系在上图有给出。

于是，在顶点$v_i$处，函数$f$的拉普拉斯算子的离散平均为

$\Delta f(\mathbf{u}) \coloneqq \frac{1}{2 A_i} \sum_{v_j \in \mathcal{N}_i(v_i)} (\cot \alpha_{i,j} + \cot \beta_{i,j})(f_i - f_j)$

这就是在计算机图形学中大名鼎鼎的余切公式了。

矩阵化求解

如果要求解肯定还是要具体写成矩阵形式的线性方程，接下来就介绍如何矩阵化一个拉普拉斯或者泊松方程。

矩阵化

考虑在三角mesh上的泊松方程$\Delta f = b$或者更高阶偏微分方程$\Delta^k f = b$的离散化及求解。标量值函数$f:\mathcal{S} \rightarrow \mathbb{R}$是通过在mesh顶点$v_i$处的函数值$f_i = f(v_i)$的逐片线性内插定义的。从上面的推导我们知道了拉普拉斯$\Delta f$可以写成线性求和的形式

$\Delta f(v_i) = w_i \sum_{v_j \in \mathcal{N}_1(v_i)} w_{ij} (f(v_j) - f(v_i))$

如果使用余切离散化那么就是$w_i = \frac{1}{2 A_i}$，$w_{ij} = (\cot \alpha_{i,j} + \cot \beta_{i,j})$。将线性和写成矩阵形式之后，我们有

$\begin{pmatrix} \Delta f(v_1) \\ \vdots \\ \Delta f(v_n)\end{pmatrix}=\underbrace{DM}_L \begin{pmatrix} f(v_1) \\ \vdots \\ f(v_n)\end{pmatrix}$

其中$\mathbf{D} = \text{diag} (w_1, \dots, w_n)$，$\mathbf{M}$是对称矩阵

$m_{i,j} = \begin{cases} -\sum_{v_k \in \mathcal{N}_1(v_i)} w_{ik}, &i = j \\ w_{ij}, &v_j \in \mathcal{N}_i(v_i) \\ 0, & \text{otherwise}\end{cases}$

更高阶的拉普拉斯可以通过递归的方法得到

$\Delta^k f(v_i) = w_i \sum_{v_j \in \mathcal{N}_1(v_i)} w_{ij} ( \Delta^{k-1} f(v_j) - \Delta^{k-1} f(v_i))$

那么这个矩阵表示就很简单的对应拉普拉斯矩阵$\mathbf{L}$的k次幂$\mathbf{L}^k = (\mathbf{DM})^k$。

因此在$n$个顶点的mesh上更高阶的偏微分方程$\Delta^k f = b$离散化之后会得到一个$(n \times n)$的线性系统

$\mathbf{L}^k \mathbf{x} = \mathbf{b}$

其中$\mathbf{x} = (f(v_1), \dots, f(v_n))^T$，且$\mathbf{b} = (b(v_1), \dots, b(v_n))^T$

矩阵性质

你以为上面就结束了吗？还没有呢！为了保证二次型的对称正定，还需要对上面推导出来的内容进一步调整。

稀疏性 简单说一下吧。拉普拉斯矩阵中只有对角元和边对应的元素是非$0$的，其余全是0。根据欧拉公式，平均每一行大约7个非$0$元素。

对称性 由于对角矩阵$\mathbf{D}$捣乱，所以矩阵$\mathbf{L} = \mathbf{DM}$不是对称的。不过对于任意$k$阶的拉普拉斯系统很容易转换为对称系统，即

$\mathbf{M} (\mathbf{DM})^{k-1} \mathbf{x} = \mathbf{D}^{-1} \mathbf{b}$

这个对称性应该很容易验证了。

正定性 一般来讲，解偏微分方程都需要边界条件。即对于一个线性系统$\mathbf{Ax = b}$，有部分变量$x_i$保持不变，此时它们不再是未知量了。此时将对应的列$\mathbf{a}_i$移到右手边，即$\mathbf{b} \leftarrow \mathbf{b} - x_i\mathbf{a}_i$，同时对应的行从整个系统中移除。注意到此时整个系统还是保持对称的！！！在移除边界条件之后，可以证明矩阵$\mathbf{L}$是负定的！（简单点理解，有些行中对角元的绝对值大于该行其它列的元素绝对值的和。请注意，这只是直观理解，绝不是严格证明！！！）负定很简单，直接在每个$\mathbf{L}$上乘一个$-1$就行，因此我们最后得到

$(-1)^k \mathbf{M} (\mathbf{DM})^{k-1} \mathbf{x} = (-1)^k \mathbf{D}^{-1} \mathbf{b}$

由此我们就得到了一个稀疏、对称且正定的线性系统。

参考文献

• M. Botsch, Ed., Polygon mesh processing. Natick, Mass: A K Peters, 2010.

开源项目地址

基本思想

目的是计算3D指示函数（indicator function）$\mathcal{X}$，$\mathcal{X}$是一个泛函，将曲面外的点映射为$0$，将曲面内的点映射为$1$。

解决问题的关键依据是：模型曲面的有向采样点与模型指示函数之间存在积分的关系。

使用$\min_\mathcal{X} \| \nabla \mathcal{X} - \vec{V} \|$，找到合适的函数$\mathcal{X}$使得其梯度最贴近由采样点定义的向量场$\vec{V}$。在此基础上应用散度，将这个变分问题转换为一个标准泊松问题：

$\Delta \mathcal{X} = \nabla \cdot \nabla \mathcal{X} = \nabla \cdot \vec{V}$

泊松重建方法是一个全局求解的方法，一次性考虑所有的点。

系统概览

输入： 曲面采样集合$s \in S$，其中每一个元素都包含坐标$s.p$和向内法线$s.\vec{N}$；并假设这些点都在模型$M$的曲面$\partial M$上，或者离曲面很近。

输出：模型$M$对应的指示函数$\mathcal{X}$，并提取等值面（isosurface）作为曲面。

挑战：从采样点精确计算$\mathcal{X}$

具体思路

由于指示函数成片的都是常数（在模型外全是0，在模型内全是1），梯度场的计算可能导致在曲面边界处存在没有边界的值（unbounded value）。为了拒绝这种情况发生，将指示函数与平滑滤波器卷积并考虑卷积后函数的梯度场。

引理：给定带边界的立体模型$M$，令$\mathcal{X}_M$表示$M$的指示函数，$\vec{N}_{\partial M}(p)$为$p \in \partial M$处的向内曲面法线，$\tilde{F}(q)$为平滑滤波器，并且$\tilde{F}_p(q) = \tilde{F}(q-p)$将它转移到点$p$处。平滑后指示函数的梯度等于由平滑曲面法线场获得的向量：

$\nabla (\mathcal{X}_M * \tilde{F})(q_0) = \intop_{\partial M} \tilde{F}_p(q_0) \vec{N}_{\partial M}(p) dp$

（原文中有证明）

由于不知道曲面几何，因此不能计算曲面积分；但是输出的有向点集提供了足够的信息去使用离散求和估计积分。

使用点集$S$将$\partial M$划分为独立的块（patch）$\mathscr{P}_s \subset \partial M$，在独立的块上使用采样点坐标$s.p$估计在块$\mathscr{P}_s$上的积分，通过块的面积尺度化（每个块的求和权重）：

$\begin{aligned} \nabla (\mathcal{X}_m * \tilde{F})(q) &= \sum_{s \in S} \intop_{\mathscr{P}_s} \tilde{F}_p(q) \vec{N}_{\partial M}(p)dp \\ &\approx \sum_{s \in S} | \mathscr{P}_s | \tilde{F}_{s.p}(q) s.\vec{N} \equiv \vec{V}(q)\end{aligned}$

虽然任意的平滑滤波器$\tilde{F}$理论上都可行，但是实际上需要慎重选择，最好能满足以下两个条件：

1. 足够窄，不至于过平滑（over-smooth）
2. 足够宽，可以很好的通过由块面积尺度化的在$s.p$处的值估计$\mathscr{P}_s$上的积分

因此选择高斯滤波器，其方差与分辨率相关。

求解 $\nabla \tilde{\mathcal{X}} = \vec{V}$，然而$\vec{V}$一般是不可积的，所以解析解一般不存在。为了更好的估计最小二乘解，在这个等式上应用散度算子得到一个泊松方程

$\Delta \tilde{\mathcal{X}} = \nabla \cdot \vec{V}$

实现

定义了空间函数在曲面附近有高分辨率，远离曲面有低分辨率（八叉树）；向量场$\vec{V}$由空间中一些函数的线性和表示；设置并求解泊松方程；提取指数函数等值面。

离散化

必须选择函数空间去离散化这个问题。使用均匀分辨率的结果开销太大，因此使用八叉树（octree）。

使用采样点的位置定义八叉树$\mathscr{O}$并且将函数$F_o$与树的每个节点$o \in \mathscr{O}$关联，选择的树和函数需要满足以下条件：

1. 向量场$\vec{V}$可以用$F_o$的线性和精准有效地表示
2. 由$F_o$项表示的泊松方程矩阵形式可以被有效求解
3. 指示函数作为$F_o$和的形式可以在模型曲面附近被精准有效地估计

定义函数空间

给定采样点集$S$和最大树深度$D$，定义八叉树$\mathscr{O}$为满足每个采样点都落到深度$D$的叶节点上的最小八叉树。

定义一个函数空间，由一个固定的、单位积分的（unit-intergral）基函数$F: \mathbb{R}^3 \rightarrow \mathbb{R}$的平移和缩放张成。对于每个节点$o \in \mathscr{O}$，设$F_o$为以$o$为中心且由$o$的尺寸拉伸的单位积分“节点函数”：