Comprehensive SNN Compression using ADMM Optimization and Activity Regularization

前言

• Comprehensive SNN Compression using ADMM Optimization and Activity Regularization - 原文 。
• 文章把ADMM剪枝和量化用到了SNN当中，并提出了降低firing rate的activity regularization方法。

Compression

• 整体思路基本参照：ADMM-NN: An Algorithm-Hardware Co-Design Framework of DNNs Using Alternating Direction Method of Multipliers ，ASPLOS 19（体系结构顶会）。

Pruning

• admm-pruning在ANN上的论文：A Systematic DNN Weight Pruning Framework using Alternating Direction Method of Multipliers ，ECCV 18。

• 方法和上文大同小异。由于我们可以使用STBP把SNN训练问题当做普通ANN优化问题来做，所以ADMM结合STBP的使用和在ANN上使用并无不同。

Quantization

• 同理，参考冷聪18年AAAI的ADMM量化论文。方法基本相同。

Activity regularization

• 简单地把loss项加入正则项 $\lambda R$ ，其中R是每个神经元、每步的平均firing rate。
• 之前有类似的正则化项方法被提出过，但是没有结合STBP，即使用的ANN2SNN方法。

Result

• 实验结果我没有分析。现在的SNN效果也比不上ANN，这样看几个点的涨跌也说明不了什么。