向量和矩阵

这一节我们将会讨论向量和矩阵的基础概念，这些概念在机器学习中是非常重要的。

向量 Vector

高中中，可能不少同学已经接触过向量的概念，不过我们还是简单的复习一下。

向量在数学中表示一个有方向和大小的量，通常在坐标系用一个箭头表示，箭头的长度表示向量的大小，箭头的方向表示向量的方向。与向量相对应的是标量，标量是只有大小而没有方向的量。

来自作者的建议

你可以将向量看作是一个有序的数列，这个数列中的每一个元素都是一个标量。
在机器学习中的绝大多数时间，我们将向量看待成一个存储了 $d$ 个数值的列表，而不去担心其具体的几何意义。

对于一个 $d$ 维的向量 $v$ 其形式为：

$v = v_{1} v_{2} ⋮ v_{d}$

在机器学习中，我们通常认为向量是一个列向量，即是竖着的向量，而不是横着的。

符号标记

在高中，我们通常使用 $v$ 或者 $\overset{v}{ˉ}$ 来表示向量，而在机器学习中，我们通常使用 $v$ （粗体小写）来表示向量。

向量的长度被定义为几何距离，即每一个维度的平方和的平方根：

$∥ v ∥ = v_{1}^{2} + v_{2}^{2} + \dots + v_{d}^{2}$

向量运算

向量的基础运算包括：

向量的加法
向量的减法
向量的乘法

向量的加法

向量的加法是指两个向量的对应元素相加，即：

$v + u = v_{1} v_{2} ⋮ v_{d} + u_{1} u_{2} ⋮ u_{d} = v_{1} + u_{1} v_{2} + u_{2} ⋮ v_{d} + u_{d}$

向量的减法

向量的减法是指两个向量的对应元素相减，即：

$v - u = v_{1} v_{2} ⋮ v_{d} - u_{1} u_{2} ⋮ u_{d} = v_{1} - u_{1} v_{2} - u_{2} ⋮ v_{d} - u_{d}$

向量的乘法

向量的乘法是一个复杂的系统我们可以将其分为很多种情况。

向量的数乘：标量与向量的乘法是将标量与向量的每一个元素相乘，即：

$α v = α v_{1} v_{2} ⋮ v_{d} = α v_{1} α v_{2} ⋮ α v_{d}$

向量的点乘（Dot Product）：又叫内积（inner product）。点乘是指两个向量对应元素相乘再相加，即：

$v \cdot u = v_{1} v_{2} ⋮ v_{d} \cdot u_{1} u_{2} ⋮ u_{d} = v_{1} u_{1} + v_{2} u_{2} + \dots + v_{d} u_{d}$

向量的点乘有一个重要的性质，即：

$v \cdot u = ∥ v ∥ ∥ u ∥ cos θ$

其中 $θ$ 为两个向量之间的夹角。

符号标记

在高中，我们通常使用 $\cdot$ 来表示点乘，而在机器学习中，我们通常使用 $v^{T} u$ 来表示点乘。我们将在后面的章节中详细介绍这个符号的含义。
有些书籍中也使用 $⟨ v, u ⟩$ 来表示两个向量的点乘。

向量的转置（Transpose）

看到转置这个词，你可能会很困惑，不过不用担心，这个概念很简单。

简单来说，转置是将整个向量逆时针旋转 90 度。

对于向量的转置，对于向量来说就是将一个行向量转换为列向量，或者将一个列向量转换为行向量。即：

$v = v_{1} v_{2} ⋮ v_{d} \Rightarrow v^{T} = [v_{1} v_{2} \dots v_{d}]$

$v^{T} = [v_{1} v_{2} \dots v_{d}] \Rightarrow v^{T}^{T} = v_{1} v_{2} ⋮ v_{d}$

因此我们有一个非常良好的性质：

$v = v^{T}^{T}$

即转置的转置等于原向量。

我们通常使用转置来表示向量的点乘，即：

$v^{T} u = v \cdot u = [v_{1}, v_{2}, \dots, v_{d}] u_{1} u_{2} ⋮ u_{d} = v_{1} u_{1} + v_{2} u_{2} + \dots + v_{d} u_{d}$

矩阵 Matrix

如果你已经掌握了向量的知识，那么矩阵就是一个非常简单的概念了。

矩阵是很多向量的集合，其表示为：

$M = ∣ v_{1} ∣ ∣ v_{2} ∣ \dots ∣ v_{n} ∣$

我们通常使用大写字母来表示矩阵。

矩阵的大小通常表示为 $m \times n$ ，即有 $m$ 行 $n$ 列。因此我们也可以认为 $d$ 维向量是一个 $d \times 1$ 的矩阵。

方阵是指行数和列数相等的矩阵，即 $m = n$ 。

矩阵运算

转置 Transpose

矩阵的转置和向量的转置类似，即将矩阵的行和列互换：

$M = v_{1} ↓ ⏐ v_{2} ↓ ⏐ \dots v_{n} ↓ ⏐ \Rightarrow M^{T} = --- --- --- v_{1}^{T} v_{2}^{T} ⋮ v_{n}^{T} ⟶ ⟶ ⟶$

转置会让一个 $m \times n$ 的矩阵变为一个 $n \times m$ 的矩阵。其中，原本位于 $a$ 行 $b$ 列的元素，会在转置后位于 $b$ 行 $a$ 列。

和向量一样，矩阵的转置也有 $M = M^{T}^{T}$ 。

矩阵的加法和减法

矩阵的加法和减法是指两个矩阵的对应元素相加或相减。因此两个矩阵必须有相同的大小。考虑两个矩阵 $A$ 和 $B$ ，其大小均为 $m \times n$ ，则：

$A + B = a_{1, 1} a_{2, 1} ⋮ a_{m, 1} a_{1, 2} a_{2, 2} ⋮ a_{m, 2} \dots \dots ⋱ \dots a_{1, n} a_{2, n} ⋮ a_{m, n} + b_{1, 1} b_{2, 1} ⋮ b_{m, 1} b_{1, 2} b_{2, 2} ⋮ b_{m, 2} \dots \dots ⋱ \dots b_{1, n} b_{2, n} ⋮ b_{m, n} = a_{1, 1} + b_{1, 1} a_{2, 1} + b_{2, 1} ⋮ a_{m, 1} + b_{m, 1} a_{1, 2} + b_{1, 2} a_{2, 2} + b_{2, 2} ⋮ a_{m, 2} + b_{m, 2} \dots \dots ⋱ \dots a_{1, n} + b_{1, n} a_{2, n} + b_{2, n} ⋮ a_{m, n} + b_{m, n}$

减法同理。

矩阵的数乘

矩阵的数乘是指一个标量与矩阵的每一个元素相乘。考虑一个矩阵 $A$ ，其大小为 $m \times n$ ，标量为 $α$ 则：

$α A = α a_{1, 1} a_{2, 1} ⋮ a_{m, 1} a_{1, 2} a_{2, 2} ⋮ a_{m, 2} \dots \dots ⋱ \dots a_{1, n} a_{2, n} ⋮ a_{m, n} = α a_{1, 1} α a_{2, 1} ⋮ α a_{m, 1} α a_{1, 2} α a_{2, 2} ⋮ α a_{m, 2} \dots \dots ⋱ \dots α a_{1, n} α a_{2, n} ⋮ α a_{m, n}$

矩阵的乘法（点积）

矩阵的乘法是一个比较复杂的运算，其的运算规则被作者称为横平竖直。

考虑两个矩阵 $A$ 和 $B$ ，其大小分别为 $m \times n$ 和 $n \times p$ ，则其乘积 $C = A B$ 的大小为 $m \times p$ 。

矩阵的乘法的规则是：

$A = a_{1, 1} a_{2, 1} ⋮ a_{m, 1} a_{1, 2} a_{2, 2} ⋮ a_{m, 2} \dots \dots ⋱ \dots a_{1, n} a_{2, n} ⋮ a_{m, n} B = b_{1, 1} b_{2, 1} ⋮ b_{n, 1} b_{1, 2} b_{2, 2} ⋮ b_{n, 2} \dots \dots ⋱ \dots b_{1, p} b_{2, p} ⋮ b_{n, p}$

$A = - - - A_{1,} A_{2,} ⋮ A_{m,} - - - B = ∣ B_{, 1} ∣ ∣ B_{, 2} ∣ \dots \dots \dots ∣ B_{, p} ∣$

$C = A B = - - - A_{1,} A_{2,} ⋮ A_{n,} - - - ∣ B_{, 1} ∣ ∣ B_{, 2} ∣ \dots \dots \dots ∣ B_{, n} ∣ = A_{1,} B_{, 1} A_{2,} B_{, 1} ⋮ A_{m,} B_{, 1} A_{1,} B_{, 2} A_{2,} B_{, 2} ⋮ A_{m,} B_{, 2} \dots \dots ⋱ \dots A_{1,} B_{, p} A_{2,} B_{, p} ⋮ A_{m,} B_{, p}$

我们可以改写成：

$A = - - - α_{1} α_{2} ⋮ α_{m} - - - B = ∣ β_{1} ∣ ∣ β_{2} ∣ \dots ∣ β_{p} ∣$

$C = A B = - - - α_{1} α_{2} ⋮ α_{m} - - - ∣ β_{1} ∣ ∣ β_{2} ∣ \dots ∣ β_{p} ∣ = α_{1} β_{1} α_{2} β_{1} ⋮ α_{m} β_{1} α_{1} β_{2} α_{2} β_{2} ⋮ α_{m} β_{2} \dots \dots ⋱ \dots α_{1} β_{p} α_{2} β_{p} ⋮ α_{m} β_{p}$

上文描述了内积中的规则，即 $m \times n$ 的矩阵和 $n \times p$ 的矩阵相乘得到一个 $m \times p$ 的矩阵。记作 $(m \times n) \cdot (n \times p) \to (m \times p)$ 。

为什么我们使用转置表示向量的点积?

如果我们将向量看作一个 $d \times 1$ 的矩阵，则如果想使用和矩阵一致的乘法规则，则需要使得将原来 $(1 \times d) \cdot (1 \times d)$ 的运算其转化为 $(1 \times d) \cdot (d \times 1)$ ，最终会得到一个 $1 \times 1$ 的矩阵，即一个标量。而这个对于第一个乘子，我们就需要使用转置，即 $(d \times 1)^{T} \cdot (d \times 1) = (1 \times d) \cdot (d \times 1) = (1 \times 1)$ 。这也是为什么我们使用 $v^{T} u$ 来表示向量的点乘。

机器学习书：以高中数学视角