|
整理：王楠、刘小芹 【新智元导读】，它的提出者 OpenAI 研究员 Ian Goodfellow 日前在伯克利秋季深度学习课程发表演讲《对抗样本与对抗训练》。伯克利这套课程还在进行中，本文特附详细课程表及报名地址，官网还有更多资料下载【回复“1024深度学习”下载PPT全文（PDF格式）；点击阅读原文观看 AI WORLD 2016 世界人工智能大会主论坛视频回顾】 加州大学伯克利分校_秋季深度学习专题课程 课程描述 近年来，atv，深度学习已经在包括计算机视觉，语音识别、自然语言处理以及机器人的许多领域取得了巨大进步。深度学习已经成为许多任务的主要解决方案，从在ImageNet竞赛中胜出到赢得围棋世界冠军。本课程旨在帮助学生深入了解深度学习，探索深度学习的最新研究方向以及新的应用。本课程要求学生对深度学习已有基本的了解。 以下列举我们将探索的有关深度学习的最新、最前沿话题： 深度学习中的安全和隐私问题 首先，我们将探讨对抗深度学习方面的攻击方法和防御方法，攻击者可以有目的地生成对抗样本来欺骗最先进的深度学习系统。接着，我们将探讨深度学习领域的隐私保护问题。使用隐私数据训练的深度学习系统可能记住并泄露隐私信息。我们将探讨模型反向攻击以及怎样为深度学习算法提供差分隐私保护。最后，我们将探讨深度学习在恶意软件和欺诈检测等安全应用中的作用。 计算机视觉和语音识别主流之外的深度学习新领域 首先，我们将探讨深度增强学习的新技术，包括将增强学习应用于传统的监督学习问题，以及将深度学习应用于涉及决策和控制的任务。其次，我们将探索深度学习、程序综合以及形式验证交叉的新领域。我们还将探索其他新的应用领域，例如使用深度学习进行图形分析。 深度学习理论和系统的最新进展首先，我们将介绍生成模型的最新进展，包括变分自编码器和生成对抗网络。接着，我们将探索理解深度学习的最新理论进展，如深度渲染模型。最后，我们将探索深度学习系统和框架的最新进展，以及新的框架设计。 鉴于对抗生成网络的重要性，同时这是相关最新技术讲解，新智元摘选 OpenAI 研究员、前谷歌大脑成员Ian Goodfellow的演讲《对抗样本及对抗训练》展示如下。更多资料可到官网查询：https://berkeley-deep-learning.github.io/cs294-dl-f16/ Ian Goodfellow: 对抗样本与对抗训练
演讲中会涉及以下论文：
目录 什么是对抗样本？ 对抗样本如何发生？ 如何利用对抗样本机器学习系统？ 防护手段 在没有对抗性的情况下，如何使用对抗样本提升机器学习？
2013 年起，开奖，深度神经网络就已经在物体识别、人脸识别、验证码识别等方面超越人类水平
对抗样本发展历程：从 2004 年到 2013 年，攻击能力越强，越难以防御
对抗样本不仅能用于神经网络 线性模型 - 逻辑回归 - Softmanx 回归 - SVM 决策树 最邻近算法
过拟合对抗样本
过度线性对抗样本
现代深度神经网络如果截取其中一段，可以视为是线性的
实践中结果几乎都呈线性
跨模型、跨数据集生成图像
结合不同机器学习方法实现可迁移性（参见上文所提及的论文 Papernot 2016）
使用对抗样本进行迁移攻击
人脑中的对抗实例（参见论文 Pinna＆Gregory，2002）
使用对抗样本进行攻击 骗过远程托管的 API 训练的实物分类器 骗过网络恶意软件检测器 在现实中部署对抗样本，让机器学习系统将其识别为实景照片
假设的对自动驾驶汽车进行攻击：让系统识别错误，乘客或路人都可能受害
|
