Spatio-Temporal Backpropagation for Training High-Performance Spiking Neural Networks

前言

• Spatio-temporal backpropagation for training high-performance spiking neural networks - 原文 ；本文刊登在2018年 Frontiers in Neuroscience 期刊上。
• BPTT-inspired的方法，文章的主要思想是以迭代式的方式近似LIF模型，使得LIF模型网络的推理过程变为线性迭代（线性地完成时域和空间域的迭代，是谓”spatio-temporal”），从而可以根据迭代式进行反向传播。对于脉冲激活函数的梯度，文章设计了数种不同的梯度近似函数，取得了不错的效果。

LIF Model

• LIF（Leaky Integrate and Fire）模型即带leaky漏电、integrate对脉冲积分、fire发放脉冲等主要特征的神经元模型。其微分方程为：

  $$\tau \frac{du(t)}{dt}=-u(t)+I(t)\tag{1}$$
  • 其中 $u$ 代表膜电势，$I$ 代表电流，$\tau$ 为一个漏电常量。

• 微分方程在数值上求解需要转为迭代式：

$$u(t)=u(t_{i-1})e^{\frac{t_{i-1}-t}{\tau}}+\hat{I}(t)\tag{2}$$

STBP Method

• 本文更具体地将LIF模型对应到SNN模型，迭代式可以转化为三步：

  $$\begin{align} x^{t+1,n}_i&=\sum^{l(n-1)}_{j=1}w^n_{ij}o^{t+1,n-1}_j\tag{3}\\ u^{t+1,n}_i&=u^{t,n}_if(o^{t,n}_i)+x^{t+1,n}_i+b^n_i\tag{4}\\ o^{t+1,n}_i&=g(u^{t+1,n}_i)\tag{5} \end{align}$$

  其中

  $$\begin{align} f(x)&=\tau e^{-\frac{x}{\tau}}\tag{6}\\ g(x)&=1 \text{ if }x\geq V_{th} \text{ else }0\tag{7} \end{align}$$

  $x$ 为神经元的输入，$u$ 为神经元电势，$o$ 为神经元的输出。式(3)的含义是：神经元的输入为前层神经元输出的加权和；式(4)的含义是：当前时刻电势=前一时刻电势×漏电/发放函数+神经元输入+偏置；式(5)的含义是，若电势大于阈值，则发放脉冲。

• 本文提出式(6)的近似式：

  $$\begin{align} f(o^{t,n}_i)\approx\left\{ \begin{array} s\tau, o^{t,n}_i=0 \\ 0, o^{t,n}_i=1 \end{array} \right. \tag{8} \end{align}$$

• 本文提出 $g$ 的一个梯度近似：

  $$h(u)=\frac{1}{a_1}sign(|u-V_{th}|<\frac{a_1}{2})\tag{9}$$

• 至此，在SNN上使用BP的障碍已经全部被扫清。前推中核心的(3)(4)(5)式全部可导。

  • 前推顺序为：1）对于每一个时间t，计算完一次完整的前推过程并更新电势；2） 计算下一个时间t。

  • 每层的权重都有t个状态；由于前推过程中每一层的输出结果都依赖于 1）相同t前一层的输出 ；2）前一个t同一层的电势。所以前推的依赖关系在所有的权重状态中可以构成一个有向无环图，可以直接根据前推路径进行反向传播。

    

Others

论文中其余篇幅主要是参数选择、g的梯度近似的选择、反向传播公式推导以及实验结果。在此略去不表。