Motivation
- 对抗样本的本质是什么
Contrubution
解耦鲁棒特征和非鲁棒特征，以构建构建鲁棒数据集和非鲁棒数据集
- 鲁棒特征：模型从数据集中学到的人眼能理解的特征
- 非鲁棒特征：模型从数据集中学到的人眼不能理解的特征
- 鲁棒数据集：对人眼而言与传统数据集无异，训练出的模型免疫对抗攻击
- 非鲁棒数据集：人眼无法理解，训练出的模型能正常分类，无法免疫对抗攻击
在非解耦的状态下仅使用非鲁棒特征label数据，仍能得到在标准测试集上表现不错的模型
- 以上Contribution能得到的结论：
- 数据集中存在鲁棒特征和非鲁棒特征
- 常规训练得到的模型使用非鲁棒特征做预测
方法
数据特征解耦方法
简单概括，就是mimic adversarial training得到的模型。
作者说了，无法直接从数据集完成解耦，只能利用一个鲁棒模型去得到数据集中只与该模型相关的部分。
使用鲁棒特征训练流程：
- 通过对抗训练得到一个鲁棒模型
- 给定优化起始位置（噪声或任意一张同类的图），L2约束该输入对于鲁棒模型的输出和原始数据集输入对于鲁棒模型的输出，反向传播优化该输入
- 由2得到的数据集被作者称为鲁棒数据集
使用非鲁棒特征训练流程：
- 直接构建对于某target的对抗样本
- 将（对抗样本， target）作为新的数据组以训练新模型
一些看法
流程我应该没有写错，毕竟文章附录里有psedo-code，但是不得不说这篇paper写的很不清晰，关于robust feature这里也很模糊，最大的贡献是提出了新概念：robust feature，useful feature，希望作者后续的工作能够更有力地佐证他们的观点，祝深度学习越走越强。
另
今天是5月29号，风传IEEE要停用华为的编辑。
我觉得吧，这是一个帝国在展现他们的力量，寰宇之内无人争锋。但这也是没落的前兆吧，我们曾经热爱Google、Github、Linux，是因为他们开放、强大、充满着智慧的光芒和信仰的力量。但是我这几年的见闻是，Google 的Tensorflow让人难受的不行，应用商店强制更新且禁不掉，mac、ios和ubuntu一样到处都能找到让人浑身不舒服的小bug，尽管前者少很多。没有什么能一直呆在神坛上，靠近了总是满满的瑕疵。
计算机科学技术经历了野蛮生长的三十年，这三十年群雄并起，无数人带着梦想或是带着欲望进入了这个行当。随着我们接触到的接口越来越高层，使用的系统越拉越庞大繁杂，总有学科要介入实现管理控制，5年之内，必定是天翻地覆。起码在计算机科学技术上，我们有劣根性，是死是活，一半看政策，一半看运气。若是能拉欧洲一起下水，那将来必将是三足鼎立，欧洲一扫如今的疲软，能够与美国分庭抗礼，美国失去吸纳天下精英的优势，中国继续发展。若是欧洲中立或是站在美国阵营，那就勒紧裤腰带准备过苦日子吧。
几十年的黄金时代过去了，冷战回来了。