[美] 特伦斯 谢诺夫斯基
本书算是对近期火热的深度学习发展历史的一个介绍，从萌芽到火热，再到被冷落以及近期再火热起来，与环境尤其是互联网的发展关系很大。读完本书，对很多机器学习的基本概念有了模糊的认识，尤其对神经网络这一技术的灵感来源有了更清晰的认知。书中的一段话让我坚定了对机器学习光明未来的信心：任何人工智能的难题都可以解决。唯一能证明这一论断成立的是这样一个事实：自然界通过进化已经解决了这些难题。
读书笔记
- 人们常常对人工智能的“智商”印象深刻，但往往忽略了：人工智能系统化的优势之一在于“大规模的并发”。
- 深度学习是数据密集型的，通过实例来学习如何解决难题，比如视觉对象识别、语音识别和自然语言翻译等。传统的劳动密集型人工智能方法是基于编写不同的复杂计算机程序来解决每个问题。
- 过去几年，深度学习为谷歌带来了丰厚的利润，足以支付Google X 实验室中所有未来主义项目的成本，包括自动驾驶汽车、谷歌眼镜和谷歌大脑。
- 人工智能近期取得的进展得益于大脑逆向工程。分层神经网络模型的学习算法受到了神经元之间的交流方式的启发，并依据经验进行了改进。
- 如果说数据是新时代的石油，那么学习算法就是从中提取信息的炼油厂；信息积累成知识；知识深化成理解；理解演变成智慧。
- 自动驾驶汽车的不同之处就在于，当一辆汽车遇到罕见事件时，相应的学习体验会被传递给所有其他自动驾驶汽车，这是一种集体智能。
- 现实生活包括虚张声势，一点欺骗手段，以及自问另一个人会怎么评判我做事的意图。这就是我理论中博弈的内涵。
- 事实上，舞台演员们都知道，如果他们演出前没有胃里翻江倒海的紧张感，就无法呈现出最精彩的演出。
- 计算机视觉的进步是通过关注特征而非像素来实现的。
- 新生代想要展望未来，而不是徘徊在过去。
- 在视觉皮层内部，神经元呈多层次排列结构。随着感官信息在皮层间层层传递，对世界的呈现也变得越来越抽象。
- 任何人工智能的难题都可以解决。唯一能证明这一论断成立的是这样一个事实：自然界通过进化已经解决了这些难题。第一条暗示是，我们的大脑是强大的模式识别器。我们的视觉系统就像一台以“识别对象”作为单一指令的计算机。第二条暗示是，我们的大脑可以通过练习来学会如何执行若干艰巨的任务。第三条暗示是，我们的大脑并没有充斥着逻辑或规则。第四条暗示是，我们的大脑充满了数百亿个小小的神经元，每时每刻都在互相传递信息。这表明，要解决人工智能中的难题，我们应该研究具有大规模并行体系结构的计算机，而不是那些具有冯诺依曼数字体系结构、每次只能获取和执行一个数据或指令的计算机。
- 做决定的恶魔需要衡量所有信息传递者的兴奋程度和重要性。这种形式的证据评估是对当前多层次深度学习网络的隐喻。
- 我们如何找到一组可以将输入进行正确分类的权重呢？工程师解决这个问题的传统方法，是根据分析或特定程序来手动设定权重。这需要耗费大量人力，而且往往依赖于直觉和工程方法。另一种方法则是使用一种从样本中学习的自动过程，和我们认识世界上的对象的方法一样。需要很多样本来训练感知器，包括不属于该类别的反面样本。
- 概率论是现代机器学习的核心，在描述现实世界中的不确定性方面比逻辑方法要好用得多。
- 视觉起始于视网膜，在那里，光感受器将光转换为电信号。视网膜内有两层神经元，它们在空间和时间维度中处理视觉信号，最后通过神经节细胞投射到视神经。视觉皮层中的每个皮层神经元都可以被认为是一个视觉特征检测器。
- 我们的大脑神经群中出现的内部活动如何引导我们做出决定，例如阅读这本书或者打网球，一直是一个谜。这些远远低于我们意识水平的决定，在某种程度上是由神经元通过基于分子机制的经验形成的突触相互作用形成的。但从我们人类的视角来看，是我们的决定导致了所有这些事件在我们的脑中发生：内省行为告诉我们，因果关系中的因和果，似乎与物理和生物化学领域中的因和果相反。如何调和这两个观点，是一个深刻的科学问题。
- 邋遢科学的模型使用近似方法来获得定性的答案，而整洁科学的模型致力于找到问题的确切解决方案。
- 想要获得物理学博士学位，你必须解决一个问题。好的物理学家应该有能力解决任何问题，但伟大的物理学家知道解决什么样的问题。
- 20世纪80年代，工作人员要在短时间内做出是否批准或拒绝某项信用卡交易的决定，而这导致了每年1500多亿美元的交易存在欺诈行为。HNC Software 有限公司使用神经网络学习算法，以远高于人类的准确度检测信用卡欺诈行为，每年为信用卡公司节省了数十亿美元。
- 产生网络会陷入局部最小值的直觉，是因为解决低维空间中的问题时，逃生方向的数量要少得多。失活过程将深度学习网络的错误率降低了10%，这是一个很大的改进。
- 杨立昆在一篇博客中写道：“批评整个团队是在钻研炼金术，仅仅是因为我们目前的理论工具还没有赶上我们的实践，这是十分危险的做法。
- 但是你会相信无法解释其理由，但从统计上来说诊断能力更强的神经网络，而不去相信看似有凭有据的医生吗？
- 互联网是为数不多的已经被扩大了100万倍的工程系统之一。一旦通信数据包协议建立起来，互联网就会开始进化。
- 现在已经确定，多巴胺神经元活动的瞬间变化传递了奖励预测误差信号。
- 多巴胺神经元构成了控制大脑中动机的核心系统，所有成瘾药物都是通过增加多巴胺的分泌水平起作用。当死亡的多巴胺神经元达到一定数量时，人体就会出现帕金森病的症状、包括运动性震颤，运动迟缓，后期则完全丧失任何活动的快感，即“快感缺失”， 最终导致活动和反应能力的彻底缺失，即”紧张性抑郁障碍”。当意外奖励发生时，行为正常的多巴胺细胞会向皮层和其他脑部区域短暂释放多巴胺，当实际奖励低于期望时，多巴胺的释放量会减少。这正是时间差分算法的特征。
- 我应该和这个人结婚吗？我们的多巴胺细胞会给我们一个比理性分析更值得信赖的“直觉”建议。
- 皮层中的表层学习与基底神经节中的强化学习相辅相成。
- 大部分人类的学习都是基于观察和模仿。
- 20世纪80年代，来自世界各地的工程师、物理学家、数学家、心理学家和神经科学家在NIPS大会上齐聚一堂，探讨共同构建人工智能的新方法。物理学家分析神经网络模型，心理学家模拟人类认知，神经科学家模拟神经系统并分析神经记录，统计学家探索高维空间中的大数据集，工程师则负责构建具备类人的视觉和听觉的设备。人工智能就以这样的方式飞速发展起来。
- 赌博会让人上瘾，那是因为多巴胺奖励预测误差系统是我们大脑的一部分。赌场已经优化了有利于博彩的条件：获得巨大回报的允诺；随机间隔的偶然小胜（奖励）——研究已经证明，这是保持实验室老鼠不停按下食物按钮的最佳方式；在老虎机上获胜时触发的声音和灯光；全天昏暗的灯光，将由光线驱动的昼夜节律与正常的日夜更替分开，怂恿你下注。不过从长远来看，庄家显然赢得更多。
- 高科技行业中几乎所有拥有大数据的公司都采用了深度学习技术，这一趋势正在以更快的速度扩散。
- NIPS会议中的所有文章都可以在网络上获取：https://nips.cc
- 目前，人工智能的进展主要集中在感官和认知方面，运动和行为智能的进展还未见端倪。
- 你的面部表情是情绪的窗口，深度学习现在已经可以探进这个窗口了。有些表情只持续了几帧，这些“微表情”泄露了大脑被抑制的情感状态，常常能说明，有时还会揭示无意识的情绪反应。
- 教学从根本上来说是一项劳动密集型活动。最优质和最优的教学方式是让经验丰富的成人教师和学生之间进行一对一的交流。我们背负着一个专为大众教育而设计的流水线系统，对学生按照年龄进行划分，教师在大班里年复一年地传授相同的课程。这可能是一种生产汽车的好方法，在劳动力只接受基本教育就能满足社会需求的年代，这样的方法还算行得通。但是当工作岗位需要更高水平的培训和终身学习来更新工作技能时，这个系统就落伍了。
- 我们的教育体系是为工业时代设计的，学校所传授的知识曾经是你进化维持工作，以及作为一名有生产力的共民所需的基础知识。然而现在，学生刚一毕业，学校传授的那些知识就已经过时了。
- 2008年，他开发了一种非常成功的脉冲视网膜芯片，叫做“动态视觉传感器”（DVS)。这个芯片可以简化一些视觉任务，例如跟踪移动物体，或用两台摄像机对物体进行深度定位。传统的数码相机是基于图像帧的，录制视频的过程就是存储一系列间隔大约26毫秒的图像。这种做法会丢失帧与帧之间的信息。相比之下，DVS摄影机可以以微秒级的经度跟踪移动点，并且只需要很少量的脉冲，因此速度很快，而且效率很高。DVS相机的唯一输出是一串脉冲，就像视网膜一样。这是表现场景的有效方式，因为大部分像素在大多数时间都保持不变，而每个脉冲都携带着有用的信息。
- 一旦在视网膜上稳定下来，图像会在几秒钟后消失。尽管我们没有意识到这一点，我们的眼睛进行得微小跳动，即微跳动，每秒钟都会发生好几次，每次跳动都会刷新我们大脑内部针对外部世界所搭建的模型。当外部世界的某些事物发生移动时，视网膜会及时向上报告，它们的报告还更新了大脑的外界模型。
- 这种对闪光滞后效应的解释，意味着大脑是“后发性的”而非“预测性的”；也就是说，大脑不断修改历史，使有意识的现在与未来保持一致。
- 许多人甚至都没有意识到，我们的眼部存在一个眼中央凹，其能提供的清晰视角只有1度的弧度，相当于以一臂为半径，拇指长度为弧长所对应的角度，另外，我们在眼中央凹之外什么都看不到，几乎相当于法定盲人。你知道当你凝视一个目标时，目光会以每秒三次的频率在目标上游移吗？余光可能具有较低的空间分辨率，但对亮度的运动的变化非常敏感。
- 大脑只表征世界上有限的一部分目标，即执行手头任务所需要的那部分。
- 作为相对近期的人类发明，阅读和写作需要很多年才能掌握。但是，这些发明使得积累的知识能够传递给下一代，比如写书、印制再到阅读这个流程，紧靠口口相传是积累不了那么多知识的。正是写作、阅读和学习，而非说话，使现代文明成为可能。
