Skip to content

Commit

Permalink
chap 10 fix exacity#82
Browse files Browse the repository at this point in the history
SwordYork committed Jun 15, 2017

Verified

This commit was created on GitHub.com and signed with GitHub’s verified signature. The key has expired.
1 parent 0042d80 commit d3f1d8f
Showing 3 changed files with 4 additions and 4 deletions.
2 changes: 1 addition & 1 deletion Chapter10/sequence_modeling_rnn.tex
Original file line number Diff line number Diff line change
@@ -932,7 +932,7 @@ \subsection{\glsentrytext{leaky_unit}和一系列不同时间尺度}
线性自连接的\gls{hidden_unit}可以模拟滑动平均的行为。
这种\gls{hidden_unit}称为\firstgls{leaky_unit}。

$d$~\gls{time_step}的\gls{skip_connection}可以确保单元总能被先前的$d$\gls{time_step}值影响
$d$~\gls{time_step}的\gls{skip_connection}可以确保单元总能被$d$\gls{time_step}前的那个值影响
使用权重接近1的线性自连接是确保该单元可以访问过去值的不同方式。
线性自连接通过调节实值$\alpha$更平滑灵活地调整这种效果,而不是调整整数值的跳跃长度。

Original file line number Diff line number Diff line change
@@ -690,8 +690,8 @@ p_x(\Vx) = p_y(g(\Vx)) \left | \det \left ( \frac{\partial g(\Vx)}{\partial \Vx}

信息论是应用数学的一个分支,主要研究的是对一个信号包含信息的多少进行量化。
它最初被发明是用来研究在一个含有噪声的信道上用离散的字母表来发送消息,例如通过无线电传输来通信。
在这种情况下,信息论告诉我们如何设计最优编码,以及计算从一个特定的概率分布上采样得到、使用多种不同编码机制的消息的期望长度
在机器学习中,我们也可以把信息论应用在连续型变量上,而信息论中一些消息长度的解释不怎么使用
在这种情况下,信息论告诉我们如何对消息设计最优编码以及计算消息的期望长度,这些消息是使用多种不同编码机制、从特定的概率分布上采样得到的
在机器学习中,我们也可以把信息论应用于连续型变量,此时某些消息长度的解释不再适用
信息论是电子工程和计算机科学中许多领域的基础。
在本书中,我们主要使用信息论的一些关键思想来描述概率分布或者量化概率分布之间的相似性。
有关信息论的更多细节,参见~{cover-book2006}或者~{MacKay03}。
2 changes: 1 addition & 1 deletion docs/_posts/2016-12-10-Chapter10_sequence_modeling_rnn.md
Original file line number Diff line number Diff line change
@@ -926,7 +926,7 @@ Jacobian~矩阵告诉我们$\Vh^{(t)}$一个微小的变化如何向前一步传
线性自连接的隐藏单元可以模拟滑动平均的行为。
这种隐藏单元称为渗漏单元。

$d$~时间步的跳跃连接可以确保单元总能被先前的$d$个时间步值影响
$d$~时间步的跳跃连接可以确保单元总能被$d$个时间步前的那个值影响
使用权重接近1的线性自连接是确保该单元可以访问过去值的不同方式。
线性自连接通过调节实值$\alpha$更平滑灵活地调整这种效果,而不是调整整数值的跳跃长度。

0 comments on commit d3f1d8f

Please sign in to comment.