Skip to content

Commit

Permalink
one hot for chap 6 #19
Browse files Browse the repository at this point in the history
  • Loading branch information
SwordYork committed Dec 23, 2016
1 parent 04ab411 commit 3880dc7
Showing 1 changed file with 2 additions and 2 deletions.
4 changes: 2 additions & 2 deletions Chapter6/deep_feedforward_networks.tex
Original file line number Diff line number Diff line change
Expand Up @@ -625,7 +625,7 @@ \subsubsection{用于multinoulli输出分布的softmax单元}
``softmax''的名称可能会让人产生困惑。
这个函数更接近于argmax函数而不是max函数。
``soft''这个术语来源于softmax函数是连续可微的。
``argmax''函数的结果表示为一个独热向量(只有一个元素为1,其余元素都为0的向量),不是连续和可微的。
``argmax''函数的结果表示为一个\gls{one_hot}向量(只有一个元素为1,其余元素都为0的向量),不是连续和可微的。
softmax函数因此提供了argmax的``软化''版本。max函数相应的软化版本是$\text{softmax}(\bm{z})^\top \bm{z}$
可能最好是把softmax函数称为``softargmax'',但当前名称是一个根深蒂固的习惯了。

Expand Down Expand Up @@ -1754,7 +1754,7 @@ \subsection{高阶微分}
如果$\bm{v}$本身是由计算图产生的一个向量,那么重要的是指定自动微分软件不要对产生$\bm{v}$的图进行微分。

虽然计算Hessian通常是不可取的,但是可以使用Hessian向量积。
可以对所有的$i=1,\ldots,n$简单地计算$\bm{He}^{(i)}$,其中$\bm{e}^{(i)}$$e_i^{(i)}=1$并且其他元素都为0的独热(one-hot)向量。
可以对所有的$i=1,\ldots,n$简单地计算$\bm{He}^{(i)}$,其中$\bm{e}^{(i)}$$e_i^{(i)}=1$并且其他元素都为0的\gls{one_hot}向量。

\section{历史小记}
\label{sec:historical_notes}
Expand Down

0 comments on commit 3880dc7

Please sign in to comment.