Thiswinex's Blog

前言

• Going Deeper With Directly-Trained Larger Spiking Neural Networks - 原文 。
• 个人理解：听起来和结果上都很厉害的工作。主要解决直接训练SNN算法中的各类Normalization的问题。如STBP这类算法因为是BPTT-inspired的，也会出现梯度消失和爆炸的现象。而且由于脉冲激活不可导，为了BP算法的应用通常都要引入梯度的近似，造成梯度更新有误差，带来了不稳定因素。同时由于信息在LIF模型中传输是“输入-电位-输出”的模型，信息需要在电位上周转一次。如果timestep低且发放率（firing rate）低，“电位-输出”这一环节就会被卡住，造成信息损失；如果脉冲发放率高，神经元的输出对输入就不敏感（实际上从编码的角度来看，firing rate无论是过低还是过高，其信息表达能力都很有限，从这个角度来看理想的发放率是0.5）。论文提出了适用于直接训练SNN算法的BN改进版，并且在残差网络上跑了ImageNet数据集，总的来说算是比较solid的，要是能开放源码就更solid了。
• 后续补：给个Vth和tau也行啊，还以为能解决硬调Vth的问题呢。

前言

• Comprehensive SNN Compression using ADMM Optimization and Activity Regularization - 原文 。
• 文章把ADMM剪枝和量化用到了SNN当中，并提出了降低firing rate的activity regularization方法。

前言

• Spiking-YOLO:Spiking Neural Network for Energy-Efficient Object Detection - 原文 ；AAAI 20。
• IF模型，SNN在检测领域的一次尝试
• 新的norm方法
• imbalanced threshold

前言

• Spatio-temporal backpropagation for training high-performance spiking neural networks - 原文 ；本文刊登在2018年 Frontiers in Neuroscience 期刊上。
• BPTT-inspired的方法，文章的主要思想是以迭代式的方式近似LIF模型，使得LIF模型网络的推理过程变为线性迭代（线性地完成时域和空间域的迭代，是谓”spatio-temporal”），从而可以根据迭代式进行反向传播。对于脉冲激活函数的梯度，文章设计了数种不同的梯度近似函数，取得了不错的效果。

选修课分到的服务器虽然环境配好，但是默认shell是bash，我不能忍。locate了一下，发现两年前服务器上也有个人不能忍，第一次上线啥都没干，就装了个zsh。偷瞄了一下bash_history，他应该看的这篇教程：

Compiling zsh without root

因为第一次wget zsh后解压+configure，会发现ncurses的报错，所以先要把对应的ncurses装好（具体版本根据服务器系统而定），然后调环境变量让编译器认得路就行了。一般来说用不到icmake和yodl（参考github上一个更简单的脚本）。

当然，如果还不行，就老实安装icmake，按照教程做吧。

PLS 即 Partial Least Squares 偏最小二乘法。

记录一些自己遇到的有关 PyTroch 的问题。

分享一些自己LeetCode题目的题解。

*标记的题目为待优化题目。

分享一些基础题目题解和标答。

分享一些自己LeetCode题目的题解。

*标记的题目为待优化题目。