《线性代数及其应用》笔记12.内积与范数.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true
   },
   "source": [
    "# 1.内积\n",
    "$\\quad$假设$\\mathbf{u},\\mathbf{v}$是$\\Bbb{R}^{n}$中的向量，则称$\\mathbf{u}\\cdot \\mathbf{v}$为$\\mathbf{u}$和$\\mathbf{v}$的**内积**，计算如下：\n",
    "\n",
    "$$\\mathbf{u}\\cdot\\mathbf{v}=\\mathbf{u}^{T}\\mathbf{v}=[u_{1}\\cdots u_{n}]\\begin{bmatrix}\n",
    "v_{1}\\\\\n",
    "\\vdots\\\\\n",
    "v_{n}\n",
    "\\end{bmatrix}=u_{1}v_{1}+\\cdots+u_{n}v_{n}$$\n",
    "\n",
    "$\\quad$内积具有如下性质，其中$\\mathbf{u},\\mathbf{v},\\mathbf{w}$是$\\Bbb{R}^{n}$中的向量，$c$是一个数：\n",
    "\n",
    "<img src=\"./_image/12_1.png\" width=\"300\" height=\"250\" />  \n",
    "\n",
    "## 1.1内积的几何表示\n",
    "$\\quad$内积也可以写成如下形式，其中$\\theta$为$\\mathbf{u},\\mathbf{v}$向量之间的夹角：$\\mathbf{u}\\cdot \\mathbf{v}=\\Vert\\mathbf{u}\\Vert\\Vert\\mathbf{v}\\Vert cos\\theta$。\n",
    "这也是内积的几何意义，即$\\mathbf{u}$投影到$\\mathbf{v}$的长度乘以$\\mathbf{v}$的长度：\n",
    "\n",
    "<img src=\"./_image/12_2.png\" width=\"100\" height=\"50\" />  \n",
    "\n",
    "# 2.范数\n",
    "$\\quad$各种范数如下：\n",
    "* **向量的0-范数**：向量的非零元素个数，记作$\\Vert\\mathbf{x}\\Vert_{0}$，可理解为$\\mathbf{x}$到原点的汉明距离。\n",
    "* **向量的1-范数**：向量的元素绝对值之和，记作$\\Vert\\mathbf{x}\\Vert_{1}=\\sum_{i=1}^n|x_{i}|$，可理解为$\\mathbf{x}$到原点的曼哈顿距离。\n",
    "* **向量的2-范数（向量的长度/范数）**：向量的元素平方和再开方，恰好为与自身的内积再开方，即$\\Vert\\mathbf{x}\\Vert=\\sqrt{\\mathbf{x}\\cdot\\mathbf{x}}=\\sqrt{x_{1}^{2}+\\cdots+x_{n}^{2}}$，$\\Vert\\mathbf{x}\\Vert^{2}=\\mathbf{x}\\cdot\\mathbf{x}$，可理解为$\\mathbf{x}$到原点的欧式距离。\n",
    "* **向量的p-范数**：向量元素绝对值的p次方和的1/p次幂，记作$\\Vert\\mathbf{x}\\Vert_{p}=(\\sum_{i=1}^n|x_{i}|^{p})^{\\frac{1}{p}}$\n",
    "* **矩阵的1-范数**：返回矩阵的每个列向量的1-范数中的最大值。\n",
    "* **矩阵的2-范数**：$\\Vert X\\Vert_{2}=\\sqrt{\\lambda_{1}}$，其中$\\lambda_{1}$为$X^{T}X$的最大特征值。 \n",
    "\n",
    "$\\quad$对任意数$c$，向量$c\\mathbf{x}$的长度等于$\\Vert c\\mathbf{x}\\Vert=|c|\\Vert\\mathbf{x}\\Vert$。  \n",
    "$\\quad$长度为1的向量我们称之为**单位向量**，单位化是指将向量$\\mathbf{u}$化为单位向量$\\mathbf{v}$的过程，即$\\mathbf{v}=\\mathbf{u}/\\Vert\\mathbf{u}\\Vert$，其中$\\mathbf{u},\\mathbf{v}$方向一致。  \n",
    "$\\quad$**两个向量之间的距离**：$\\Bbb{R}^{n}$中两个向量$\\mathbf{u},\\mathbf{v}$之间的距离记作$dist(\\mathbf{u},\\mathbf{v})$，表示向量$\\mathbf{u}-\\mathbf{v}$的长度，即$dist(\\mathbf{u},\\mathbf{v})=\\Vert\\mathbf{u}-\\mathbf{v}\\Vert$；可推广计算：\n",
    "\n",
    "<img src=\"./_image/12_3.png\" width=\"400\" height=\"350\" />  \n",
    "\n",
    "即满足平方差定理。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}