神经网络/05. 其他神经网络.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 其他常见的神经网络\n",
    "\n",
    "* RBF网络\n",
    "\n",
    "使用 RBF（Radial Basis Fuction，径向基函数）作为隐层神经元的激活函数。\n",
    "\n",
    "* ART网络\n",
    "\n",
    "ART（Adaptive Resonance Theory，自适应谐振理论）网络是 **竞争型学习**（competitive learning）的重要代表，能比较好的解决竞争型学习中的 **可塑性-稳定性困境**（stability-plasticity dilemma），可塑性指神经网络要有学习新知识的能力，稳定性是指神经网络在学习新知识时要保持对旧知识的记忆。所以 ART 网络可以增量学习（incremental learning） 或 在线学习（online learning）。\n",
    "\n",
    "* SOM网络\n",
    "\n",
    "SOM（Self-Organizing Map，自组织映射）网络也是一种竞争型学习网络，能将高维输入数据映射到低维空间，同时保持输入空间在高维的拓扑结构。也叫做 **自组织特征映射网络** 或 **Kohonen 网络**。\n",
    "\n",
    "* 级联相关网络\n",
    "\n",
    "级联相关（Cascade Correlation）网络是 **结构自适应网络** 的重要代表，一般的神经网络模型网络结构是事先固定的，而结构自适应网络将网络结构也作为学习目标，在训练过程中，自动加入隐层节点。\n",
    "\n",
    "* Elman网络\n",
    "\n",
    "Elman网络是一种常见的 **递归神经网络**（recurrent neural networks），递归神经网络中允许出现环状结构，即可以让一些神经元的输出反馈回来作为输入信号，这使得网络在 t 时刻的输出状态不仅与 t 时刻的输入有关，还与 t-1 时刻的网络状态有关，从而可以处理与时间有关的动态变化。\n",
    "\n",
    "* Boltzmann机\n",
    "\n",
    "Boltzmann机也是一种递归神经网络，它是一种基于能量模型（energy-based model）的神经网络，能量最小化时网络达到理想状态，这时称为 **Boltzmann分布** 或 **平衡态**（equilibrium）或 **平稳分布**（stationary distribution）。标准的Boltzmann机是一个全连接图，训练复杂度很高，现实中常采用 **受限Boltzmann机**（RBM，Restricted Boltzmann Machine）。"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 深度学习\n",
    "\n",
    "深度学习（deep learning）就是多隐层神经网络，这样的网络难以使用BP算法训练，通常使用以下方法：\n",
    "\n",
    "* 无监督逐层训练：**预训练**（pre-training）+ **微调**（fine-tuning），比如在 **深度信念网络**（Deep Belief Network，简称 DBN）中每层都是一个受限 Boltzmann 机\n",
    "* 权共享（weight sharing），让一组神经元使用相同的连接权，比如在 **卷积神经网络**（Convolutional Neural Network，简称 CNN）中发挥了重要作用"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.1"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}