21

昨天复习了一些数分，狠狠看了看 SICP，然后了解了一下微分形式。

SICP 交给了我如何处理

同一种量的不同表达形式（如复数的直角坐标和极坐标）
不同量之间的转换（如实数转换成复数）
量之间的 hierarchy 的构建

不过，这种系统完全是运行时判断，因此效率较低，没有预先编译的好。只不过 SICP 注重传授思想，而不太在意运行速度就是了（毕竟 Scheme 的速度在冯诺依曼架构上就是堪忧）。

微分形式其实就是用“外微分”这一个二元算子对向量空间进行的某种“扩张”。

我们把 ${\rm d}x_1,{\rm d}x_2,\cdots,{\rm d}x_n$ 当作线性空间一组基，导数连续的所有函数为域。在这个线性空间 $V(C^1(\mathbb R))$ 上定义外积（也称楔积）符号 $\wedge $，令其满足双线性性和反对称性。

则，若 $m > n$ ，则 $\dim \Lambda^m = 0$；若 $m \leq n$，则含有 $m$ 个 $\wedge$ 的空间，也是有限维线性空间，一共有 $\binom n m$ 个基。这样的空间记作 $\Lambda^m$。

比如，对于 $V = \operatorname{span}({\rm d}x_1,{\rm d}x_2,{\rm d}x_3)$ 而言，$\Lambda^2 = \operatorname{span}({\rm d}x_1 \wedge {\rm d}x_2,{\rm d}x_2 \wedge {\rm d}x_3,{\rm d}x_3 \wedge {\rm d}x_1)$

额外定义 $\Lambda^0 = \operatorname{span}(1)$。令 $\Lambda = \bigoplus_{m=0}^\infty \Lambda^m$，则 $\dim \Lambda = \sum_{m=0}^n \binom n m = 2^n$。

Note

类比：张量积 $\otimes$ 其实就是满足双线性型（没有对称性/反对称性）的二元算子。对于 $V^{\otimes r}$ 而言，其维度为 $(\dim V)^r$。

Note

其实，这些算子都可以定义为正规积的仿射集，以张量积为例：

\[ v \otimes w = v * w + \mathrm I \\ \text{where } \mathrm I = \operatorname{span}\{(v+w)*u - v * u - w * u, u*(v+w) - u * v - u * w, \lambda> (v * w) - (\lambda * v) * w, \lambda(v * w) - v * (\lambda * w)\} \]

其中，正规积没有任何线性、交换性质。可以作为多种代数系统的构造基础。

我们可以进一步在 $\Lambda$ 上定义微分符号，从而得到广义斯托克斯定理：

\[ \int_S {\rm d}\omega = \int_{\partial S} \omega, \text{where } \omega \in \Lambda \]

比如，令 $\omega = P {\rm d}x + Q {\rm d}y$，则：

\[ \begin{aligned} {\rm d}(P {\rm d}x + Q {\rm d}y) &= {\rm d}P \wedge {\rm d}x + {\rm d}Q \wedge {\rm d}y \\ &= P_x {\rm d}x \wedge {\rm d}x + P_y {\rm d}y \wedge {\rm d}x + Q_x {\rm d}x \wedge {\rm d}y + Q_y {\rm d}y \wedge {\rm d}y \\ &= (Q_x - P_y){\rm d}x \wedge {\rm d}y \end{aligned} \]

最后，有三个问题想问问丁老师：

看到有 22 级图灵班的大二上学期去 UCB 交换，不知道有什么好处
看到 LLM 有很多衍生的开源项目，不知道大概是怎么做的
UCB 有一门高级概率论课程，不知道有没有必要看

以上都是昨天的东西，再说说今天的。

中午，去了澄月食堂，猪扒意面 22 元一份，还送南瓜汤和柠檬蛋糕，价格还行。然后发现二楼、三楼有点菜式，可以之后去吃吃。另外，三楼的点菜式留食感觉真不贵，以后有机会可以去看看。

记录一下：

对于目标函数（target function）和损失函数（loss function）而言，

我们的目的是：估计目标函数。
我们达成该目的的手段是：
最小化损失函数
然后从最小化的损失函数中抽取出我们需要的变量，从而得到目标函数的一个估计。

好了，现在已经晚上 10 点了。我感觉机器学习的东西，还是挺复杂，我一时半会还是有点晕。感觉理清概念浪费了不少时间。现在该看Lie Algebra 了。