哪个神经结构可以截断数据

1. 大脑是怎么进行数据处理的

每个人思考问题的思路都是不一样的，不同的经历，就会有不同的思路。跟自己的生活环境，跟自己身边的人都有或多或少的关系，他们会影响着你的思路，他们可能是你的榜样，也会成为你的对比目标，或者极端地说，是你另一种不好的刺激。

大脑除了睡眠都在思考，过程却不一样了。这个应该有时间段，早晨思维就是吃饭，尽量吃好，还不能太饱，营养还得够。上午考虑工作，以此类推呗。

历史小说作家，就想把历史再现给大家，他就得深入生活做调查，怎么写出好作品，既要高于生活，指导生活，愿于生活，作家思维过程就要长期想着作品。普通人思维过程简单，尤其是好玩的人，就想打麻将赢，周而复始。

2. 循环神经网络

花书中关于RNN的内容记录于 https://www.jianshu.com/p/206090600f13 。

在前馈神经网络中，信息的传递是单向的，这种限制虽然使得网络变得更容易学习，但在一定程度上也减弱了神经网络模型的能力。在生物神经网络中，神经元之间的连接关系要复杂的多。 前馈神经网络可以看作是一个复杂的函数，每次输入都是独立的，即网络的输出只依赖于当前的输入。但是在很多现实任务中，网络的输入不仅和当前时刻的输入相关，也和其过去一段时间的输出相关 。因此，前馈网络难以处理时序数据，比如视频、语音、文本等。时序数据的长度一般是不固定的，而前馈神经网络要求输入和输出的维数都是固定的，不能任意改变。因此，当处理这一类和时序相关的问题时，就需要一种能力更强的模型。

循环神经网络（Recurrent Neural Network，RNN）是一类具有短期记忆能力的神经网络。在循环神经网络中，神经元不但可以接受其它神经元的信息，也可以接受自身的信息，形成具有环路的网络结构。 和前馈神经网络相比，循环神经网络更加符合生物神经网络的结构。循环神经网络已经被广泛应用在语音识别、语言模型以及自然语言生成等任务上。循环神经网络的参数学习可以通过 随时间反向传播算法 来学习。

为了处理这些时序数据并利用其历史信息，我们需要让网络具有短期记忆能力。而前馈网络是一个静态网络，不具备这种记忆能力。

一种简单的利用历史信息的方法是建立一个额外的延时单元，用来存储网络的历史信息（可以包括输入、输出、隐状态等）。比较有代表性的模型是延时神经网络。

延时神经网络是在前馈网络中的非输出层都添加一个延时器，记录最近几次神经元的输出。在第 个时刻，第 层神经元和第 层神经元的最近 次输出相关，即：

延时神经网络在时间维度上共享权值，以降低参数数量。因此对于序列输入来讲，延时神经网络就相当于卷积神经网络 。

自回归模型（Autoregressive Model，AR） 是统计学上常用的一类时间序列模型，用一个变量 的历史信息来预测自己：

其中 为超参数， 为参数， 为第 个时刻的噪声，方差 和时间无关。

有外部输入的非线性自回归模型（Nonlinear Autoregressive with ExogenousInputs Model，NARX） 是自回归模型的扩展，在每个时刻 都有一个外部输入 ，产生一个输出 。NARX通过一个延时器记录最近几次的外部输入和输出，第 个时刻的输出 为：

其中 表示非线性函数，可以是一个前馈网络， 和 为超参数。

循环神经网络通过使用带自反馈的神经元，能够处理任意长度的时序数据。

给定一个输入序列 ，循环神经网络通过下面
公式更新带反馈边的隐藏层的活性值 ：

其中 ， 为一个非线性函数，也可以是一个前馈网络。

从数学上讲，上式可以看成一个动力系统。动力系统（Dynamical System）是一个数学上的概念，指 系统状态按照一定的规律随时间变化的系统 。具体地讲，动力系统是使用一个函数来描述一个给定空间（如某个物理系统的状态空间）中所有点随时间的变化情况。因此， 隐藏层的活性值 在很多文献上也称为状态（State）或隐状态（Hidden States） 。理论上，循环神经网络可以近似任意的非线性动力系统。

简单循环网络（Simple Recurrent Network，SRN）是一个非常简单的循环神经网络，只有一个隐藏层的神经网络。

在一个两层的前馈神经网络中，连接存在相邻的层与层之间，隐藏层的节点之间是无连接的。而 简单循环网络增加了从隐藏层到隐藏层的反馈连接 。

假设在时刻 时，网络的输入为 ，隐藏层状态（即隐藏层神经元活性值） 不仅和当前时刻的输入 相关，也和上一个时刻的隐藏层状态 相关：

其中 为隐藏层的净输入， 是非线性激活函数，通常为Logistic函数或Tanh函数， 为状态-状态权重矩阵， 为状态-输入权重矩阵， 为偏置。上面两式也经常直接写为：

如果我们把每个时刻的状态都看作是前馈神经网络的一层的话，循环神经网络可以看作是在时间维度上权值共享的神经网络 。下图给出了按时间展开的循环神经网络。

由于循环神经网络具有短期记忆能力，相当于存储装置，因此其计算能力十分强大。 前馈神经网络可以模拟任何连续函数，而循环神经网络可以模拟任何程序。

定义一个完全连接的循环神经网络，其输入为 ，输出为 ：

其中 为隐状态， 为非线性激活函数， 和 为网络参数。

这样一个完全连接的循环神经网络可以近似解决所有的可计算问题 。

循环神经网络可以应用到很多不同类型的机器学习任务。根据这些任务的特点可以分为以下几种模式： 序列到类别模式、同步的序列到序列模式、异步的序列到序列模式 。

序列到类别模式主要用于序列数据的分类问题：输入为序列，输出为类别。比如在文本分类中，输入数据为单词的序列，输出为该文本的类别。

假设一个样本 为一个长度为 的序列，输出为一个类别 。我们可以将样本 按不同时刻输入到循环神经网络中，并得到不同时刻的隐藏状态 。我们可以将 看作整个序列的最终表示（或特征），并输入给分类器 进行分类：

其中 可以是简单的线性分类器（比如Logistic 回归）或复杂的分类器（比如多层前馈神经网络）

除了将最后时刻的状态作为序列表示之外，我们还可以对整个序列的所有状态进行平均，并用这个平均状态来作为整个序列的表示：

同步的序列到序列模式 主要用于序列标注（Sequence Labeling）任务，即每一时刻都有输入和输出，输入序列和输出序列的长度相同 。比如词性标注（Partof-Speech Tagging）中，每一个单词都需要标注其对应的词性标签。

输入为序列 ，输出为序列 。样本 按不同时刻输入到循环神经网络中，并得到不同时刻的隐状态 。每个时刻的隐状态 代表当前和历史的信息，并输入给分类器 得到当前时刻的标签 。

异步的序列到序列模式也称为 编码器-解码器（Encoder-Decoder）模型，即输入序列和输出序列不需要有严格的对应关系，也不需要保持相同的长度。 比如在机器翻译中，输入为源语言的单词序列，输出为目标语言的单词序列。

在异步的序列到序列模式中，输入为长度为 的序列 ，输出为长度为 的序列 。经常通过 先编码后解码 的方式来实现。先将样本 按不同时刻输入到一个循环神经网络（编码器）中，并得到其编码 。然后再使用另一个循环神经网络（解码器）中，得到输出序列 。为了建立输出序列之间的依赖关系，在解码器中通常使用非线性的自回归模型。

其中 分别为用作编码器和解码器的循环神经网络， 为分类器， 为预测输出 的向量表示。

循环神经网络的参数可以通过梯度下降方法来进行学习。给定一个训练样本 ，其中 为长度是 的输入序列， 是长度为 的标签序列。即在每个时刻 ，都有一个监督信息 ，我们定义时刻 的损失函数为：

其中 为第 时刻的输出， 为可微分的损失函数，比如交叉熵。那么整个序列上损失函数为：

整个序列的损失函数 关于参数 的梯度为：

即每个时刻损失 对参数 的偏导数之和。

循环神经网络中存在一个递归调用的函数 ，因此其计算参数梯度的方式和前馈神经网络不太相同。在循环神经网络中主要有两种计算梯度的方式： 随时间反向传播（BPTT）和实时循环学习（RTRL）算法。

随时间反向传播（Backpropagation Through Time，BPTT） 算法的主要思想是通过类似前馈神经网络的错误反向传播算法来进行计算梯度。

BPTT算法将循环神经网络看作是一个展开的多层前馈网络，其中“每一层”对应循环网络中的“每个时刻”。在“展开”的前馈网络中，所有层的参数是共享的，因此参数的真实梯度是将所有“展开层”的参数梯度之和 。

因为参数 和隐藏层在每个时刻 的净输入 有关，因此第 时刻的损失函数 关于参数 的梯度为：

其中 表示“直接”偏导数，即公式 中保持 不变，对 求偏导数，得到：

其中 为第 时刻隐状态的第 维； 除了第 个值为 外，其余都为 的行向量。

定义误差项 为第 时刻的损失对第 时刻隐藏神经层的净输入 的导数，则：

从而：

写成矩阵形式为：

由此得到整个序列的损失函数 关于参数 的梯度：

同理可得， 关于权重 和偏置 的梯度为：

在BPTT算法中，参数的梯度需要在一个完整的“前向”计算和“反向”计算后才能得到并进行参数更新。如下图所示。

与反向传播的BPTT算法不同的是，实时循环学习（Real-Time Recurrent Learning）是通过前向传播的方式来计算梯度。

假设循环神经网络中第 时刻的状态 为：

其关于参数 的偏导数为：

RTRL算法从第1 个时刻开始，除了计算循环神经网络的隐状态之外，还依次前向计算偏导数 。

两种学习算法比较：

RTRL算法和BPTT算法都是基于梯度下降的算法，分别通过前向模式和反向模式应用链式法则来计算梯度。 在循环神经网络中，一般网络输出维度远低于输入维度，因此BPTT算法的计算量会更小，但BPTT算法需要保存所有时刻的中间梯度，空间复杂度较高。RTRL算法不需要梯度回传，因此非常适合于需要在线学习或无限序列的任务中 。

循环神经网络在学习过程中的主要问题是由于 梯度消失或爆炸问题 ，很难建模长时间间隔（Long Range）的状态之间的依赖关系。

在BPTT算法中，我们有：

如果定义 ，则：

若 ，当 时， ，会造成系统不稳定，称为梯度爆炸问题；相反，若 ，当 时， ，会出现和深度前馈神经网络类似的梯度消失问题。

虽然简单循环网络理论上可以建立长时间间隔的状态之间的依赖关系，但是由于梯度爆炸或消失问题，实际上只能学习到短期的依赖关系。这样，如果t时刻的输出 依赖于 时刻的输入 ，当间隔 比较大时，简单神经网络很难建模这种长距离的依赖关系，称为 长程依赖问题（Long-Term dependencies Problem） 。

一般而言，循环网络的梯度爆炸问题比较容易解决，一般 通过权重衰减或梯度截断来避免。 权重衰减是通过给参数增加 或 范数的正则化项来限制参数的取值范围，从而使得 。梯度截断是另一种有效的启发式方法，当梯度的模大于一定阈值时，就将它截断成为一个较小的数。

梯度消失是循环网络的主要问题。除了使用一些优化技巧外，更有效的方式就是改变模型，比如让 ，同时使用 ，即：

其中 是一个非线性函数， 为参数。

上式中， 和 之间为线性依赖关系，且权重系数为1，这样就不存在梯度爆炸或消失问题。但是，这种改变也丢失了神经元在反馈边上的非线性激活的性质，因此也降低了模型的表示能力。

为了避免这个缺点，我们可以采用一种更加有效的改进策略：

这样 和 之间为既有线性关系，也有非线性关系，并且可以缓解梯度消失问题。但这种改进依然存在两个问题：

为了解决这两个问题，可以通过引入 门控机制 来进一步改进模型。

为了改善循环神经网络的长程依赖问题，一种非常好的解决方案是引入门控机制来控制信息的累积速度，包括 有选择地加入新的信息，并有选择地遗忘之前累积的信息 。这一类网络可以称为基于门控的循环神经网络（Gated RNN）。本节中，主要介绍两种基于门控的循环神经网络： 长短期记忆网络和门控循环单元网络。

长短期记忆（Long Short-Term Memory，LSTM）网络 是循环神经网络的一个变体，可以有效地解决简单循环神经网络的梯度爆炸或消失问题。

在 基础上，LSTM网络主要改进在以下两个方面：

其中 和 三个门（gate）来控制信息传递的路径； 为向量元素乘积； 为上一时刻的记忆单元； 是通过非线性函数得到的候选状态：

在每个时刻 ，LSTM网络的内部状态 记录了到当前时刻为止的历史信息。

在数字电路中，门（Gate）为一个二值变量{0, 1}，0代表关闭状态，不许任何信息通过；1代表开放状态，允许所有信息通过。LSTM网络中的“门”是一种“软”门，取值在(0, 1) 之间，表示 以一定的比例运行信息通过 。LSTM网络中三个门的作用为：

（1）遗忘门 控制上一个时刻的内部状态 需要遗忘多少信息。
（2）输入门 控制当前时刻的候选状态 有多少信息需要保存。
（3）输出门

3. 简述人工神经网络的结构形式

神经网络有多种分类方式，例如，按网络性能可分为连续型与离散型网络，确定型与随机型网专络:按网络拓扑结属构可分为前向神经网络与反馈神经网络。本章土要简介前向神经网络、反馈神经网络和自组织特征映射神经网络。
前向神经网络是数据挖掘中广为应用的一种网络，其原理或算法也是很多神经网络模型的基础。径向基函数神经网络就是一种前向型神经网络。
Hopfield神经网络是反馈网络的代表。Hvpfi}ld网络的原型是一个非线性动力学系统，目前，已经在联想记忆和优化计算中得到成功应用。
模拟退火算法是为解决优化计算中局部极小问题提出的。Baltzmann机是具有随机输出值单元的随机神经网络，串行的Baltzmann机可以看作是对二次组合优化问题的模拟退火算法的具体实现，同时它还可以模拟外界的概率分布，实现概率意义上的联想记忆。
自组织竞争型神经网络的特点是能识别环境的特征并自动聚类。自组织竟争型神经网络已成功应用于特征抽取和大规模数据处理。

4. 大脑皮层的结构以及中枢部位的功能是什么不要太简洁的，谢谢

1.大脑皮层的外观形态分布与功能分工

大脑皮层有严密的形态结构和机能定位。从外观上看，大脑由左、右两个大致对称的半球构成。两个半球的外层就是大脑皮层。皮层由神经细胞胞体密集排列，其下部是由髓鞘化了的神经纤维所构成。人类大脑皮层的皱折形成了许多沟回和裂。按照这些沟和裂，可把大脑皮层分为额叶、顶叶、枕叶和颞叶。额叶与顶叶由中央沟分开，颞叶在外侧裂下面，与枕叶和顶叶相连接，但没有明确分开的沟。

大脑两半球内侧环绕着的额上回、颞下回、枕颞回、楔回以及颞下沟、顶枕沟等部位，是从两半球的外侧卷折过来的。靠近这些回沟更接近于中心位置的扣带回、海马回等，则属于旧皮层，即皮层内边界的边缘叶部分；围绕着它们以外的部分均为新皮层。大脑两半球是分开的结构，唯有中间的胼胝体是两半球联结的部分。

大脑皮层不同的区域有不同的机能。按照上述的结构分布，大致相应地分为3类机能区：皮层感觉区、皮层运动区和皮层联合区。皮层感觉区又可分为躯体感觉区、视觉区、听觉区。

视觉区。皮层视觉区位于枕叶，是视觉的最高中枢。视觉神经从视网膜上行进入脑，通向低级中枢——外侧膝状体。在上行途中，双眼视神经的一部分投射于同侧外侧膝状体，另一部分交叉到对边外侧膝状体，最后投射到皮层枕叶。由于视交叉是不完全的交叉，因此视觉信息向脑内传递带有双侧性。

听觉区。皮层听觉区位于颞上回，是听觉的最高中枢听觉神经从听觉感受器——内耳柯蒂氏器上行进入听觉低级中枢——内侧膝状体，最后投射到皮层颞叶。由于听觉神经进入脑内后也呈不完全交叉，故而听觉信息向脑内传递也带有双侧性。

躯体感觉区 躯体感觉区位于顶叶中央沟后面的中央后回。这里主管着热、冷、触、痛、本体觉等所有来自躯体的感觉。躯体特定部位的感觉在躯体感觉区有一定的机能定位，其定位有如下特点：颈部以下躯体感觉有对侧性，即左（右）侧躯体信息投射在右（左）侧皮层；整个躯体感觉的机能定位呈倒立分布，即来自躯体上部的信息投射到躯体感觉区下部，来自躯体下部的信息投射到感觉区上部；皮层投射区域的大小，不以躯体器官的大小而定，而是以器官感觉的精细和复杂程度而定。如手和口部感觉精细，内涵丰富，在皮层上占有极大的投射区。

皮层运动区 皮层运动区位于中央沟前面的中央前回。这部位含有大量的锥体细胞，故又称锥体区。皮层运动区的机能定位与躯体感觉区相似，即头面部运动由本侧皮层支配，头部以下躯体运动由对侧皮层支配；皮层运动区的机构定位呈倒立分布，运动区上部支配躯体下部运动，运动区下部支配身体上部运动；同时，动作越精细，越复杂，在皮层的投射区越大。

皮层联合区 大脑皮层中具有起着联络、综合作用的结构和机能系统，称为皮层联合区。它是大脑皮层执行高级心理功能的部位。在种系进化的水平上越高，联合区在皮层上占的比例越大。在人类，除上述感觉区和运动区以外的区域，均为联合区，它占据整个皮层的一半位置。

联合区不直接同感觉过程和运动过程相联系，它的主要功能是整合来自各感觉通道的信息，对输入的信息进行分析、加工和储存。它支配、组织人的言语和思维，规划人的目的行为，调整意志活动，确保人的主动而有条理的行动。因此，它是整合、支配人的高级心理活动，进行复杂信息加工的神经结构。

2.大脑皮层的三级区结构与功能

大脑皮层是由6层神经细胞组成的。在进化中，它由下层到上层依次生成，从而这些不同层次结构的功能也不尽相同。在功能上，它们被分为3个级区：初级区、次级区和联络区。
初级区 初级区主要指皮层第4层（感觉性内导层）和第5层（运动性外导层）大锥体细胞密集的部位。它直接接受皮层下中枢的传入纤维和向皮层下部发出的纤维，与感觉器和效应器之间有着直接的功能定位关系。这些部位的神经细胞具有高度的特异性，分别从视、听、肌肉等外周感受器与枕叶、颞叶、中央后回和中央前回联系起来。这种联系是由定位和功能相同的神经细胞聚集在一起，形成垂直于皮层表面的柱状结构，从而区分出投射性的皮层视觉区、听觉区、躯体感觉区和运动区，实现着初级的感觉性和运动性信息传递。整个初级区属于较简单的“投射”皮层结构。

次级区 次级区主要占据着皮层结构比较复杂的第2、3层组织。这些部位由短纤维神经细胞所组成。它们大部分同外周感官没有直接联系。次级区的主要功能是对外周输入的信息进行初步加工，它们还接受来自脑深部传导的冲动。次级区是在种系演化晚期阶段和人类中发展的，其功能是对所接受信息进行分析与整合，在复杂的心理活动中起作用。次级区属于“投射—联络”皮层结构。

联络区 联络区是指位于皮层各感觉区之间和重叠部位。它所包含的皮层区域完全是由皮层的上层细胞所组成，与外周感官无直接联系。联络区在皮层上构成两大区域。其一分布于脑后部两侧枕叶、顶叶和颞叶之间的结合部位，是各感觉区的皮层重叠部分，下顶区是它的基本组成部位。人类下顶区十分发达，占据联络区的四分之一，实际上联络区是人类所特有的组织。其二位于皮层运动区前上方，它在人的行为的复杂程序序列中起作用。它同皮层所有其余部分均有联系。联络区对心理的高级功能，诸如词义、语法、逻辑、抽象数量系统，综合空间标志的整合，以及经验的保存起作用；它协调各感觉区之间的活动，进行皮层最复杂的整合功能，被称为“保存信息、接受加工”的联络区。

大脑皮质分层结构是长期进化的产物。三级区结构的发展在不同类动物中有不同的发展等级。例如，老鼠的大脑皮层只有初级区和次级区的初步分化，没有联络区；猿猴的皮层有了联络区。只有到了人类，大脑皮质的分层次结构才分化得十分清楚。人的大脑皮层初级区受到发达的次级区的排挤，已占据不大的部位，而顶—枕—颞重叠区和额叶皮层的联络区两部分，是最发达的系统。人脑的功能作用，不是由相对分开的区域所完成，整个皮层结构是协同整合的机能系统。

3.脑的3个基本机能联合系统

人的心理活动是复杂的机能系统，它们不由脑的局部部位所决定。正像从上述皮层三级区所看到的，每个区域和不同层次起着不同的作用。皮层下结构的功能也是如此。按照脑的功能分工，可划分为3个基本的机能联合系统，任何心理活动都必须有它们的参与：调节觉醒和紧张状态的联合系统；接受加工和保存信息的联合系统；调节和控制复杂活动的联合系统。通过这3个机能系统的工作，可看到人的心理从信息输入、整合到反应的大致图景。

调节觉醒、紧张状态机能系统。为了心理活动的正常进行，保持大脑皮层一定的觉醒状态和适宜的紧张度，具有决定性的意义。保证和调节皮层觉醒状态和紧张度的器官，不是位于皮层本身，而是位于皮层下部位和脑干的网状结构。这些部位与皮层有上、下行的调节联系通路。网状结构上行激活系统激活皮层紧张度。同时通过网状结构下行激活系统受到皮层的调节与控制。借助于这种机制，皮层所需用以进行信息加工的兴奋与抑制的整合能量，从皮层下网状组织得到补充。

激活网状结构下行纤维的皮层部位，首先从额叶开始，并通向丘脑和脑干。这一额叶—网状结构通路，不但输送外导信息，引起有机体的适应行为，更重要的是，额叶的高级功能——意图形成、计划制订、监督计划的执行等有意识活动，是靠额叶—网状结构通路的机能活动实现的。事实上，即将从以下阐述所能看到的，上额叶受损伤，人的能动的心理活动的整个系统，也就是人的高级智能活动，将受到严重的破坏。

接受加工、保存信息机能系统 接受加工和保存信息的机能系统是心理整合的最主要的系统。它涉及大脑皮层的枕—颞—顶叶3个感觉区的3个级区的整合功能。初级投射区的特异性感觉输入——分别为视觉、听觉和躯体感觉的，在次级区即已被整合加工，但仍具有投射性；最重要的是在第三级联络区的广大皮层进行的多方面整合。例如，认识周围地理环境的综合标志，不是由专门化的某一感觉系统所能完成，而是由顶—枕部联络区所整合的反应。因此，顶—枕部受损伤时，空间认知即发生障碍。从直观知觉向以内部图式和广泛概括为前提的抽象思维的过渡，也必须在联络区参与下才有可能。在顶—枕—颞部受损伤时，不能把输入的个别信息整合到统一的结构中去，从而对信息意义的理解发生困难。

颞叶是听觉的中枢。颞叶次级区受损伤导致语音不识症，即“感觉性失语症。”这是左侧颞叶次级区受损伤的基本特征。它影响到听觉记忆和思维，产生“听觉记忆性失语症”。但是在顶—枕—颞叶三级联络区受损时，失去的则是对语法结构的理解。例如对“鸟巢在树枝上”的句子，患者弄不懂“树、鸟、巢、枝”的关系。这时，言语失去工具效应，发生命名障碍，语义不能纳入一定意义的范畴，语义图式完全遭到破坏。左半球额下因或额—颞区（Broca区）受损伤，则失去言语表达动机，构思不能主动发生，导致表达思想成为不可能的“运动性失语症。”

额叶受损伤时，患者在任务面前表现茫然不解。意识不到任务提出的条件，从而不能形成任何意图与计划。病人冲动式地得出答案，不能把答案与任务条件作比较，意识不到自己的答案毫无意义。实际上，额叶与整个皮层，特别是在三级联络区，有广泛的联系，额叶损伤所破坏的是人的能动的心理活动的整个结构。

调节复杂活动机能系统 调节复杂活动的机能系统位于大脑皮层前部中央前回的额叶。中央前回额叶是大脑的执行器官。它由皮层初级区第5层大椎体细胞纤维外导，通向达到肌肉运动器官，引起活动反应。这条通路称为椎体通路（活动的实现还要经过另一条椎体外路来保证）。

人对外来信息不仅简单地予以反应，在加工和保存信息中，产生意图，制订计划、执行程序、监督和控制活动，这就是人类高级的有意识的活动。这些复杂的信息加工是在上述“接受加工、保存信息”的机能系统中进行的，是在额叶次级区和联络区借助言语机制形成的，这就不仅涉及额叶本身，而且在联络区通向整个皮层。由此可见，活动调节机能系统有两个方向的联系，一个是下行通过间脑调节网状激活系统，以形成行为的动力图式；另一个是额叶与皮层所有其他部位的广泛联系，以实现对由意识所支配的行为的调节。因此，额叶不仅对调节皮层紧张度与激活水平起着重要的作用，而且对人的高级思维和决策，对问题解决、实现意志行为等意识活动的调节和控制，在整个皮层联络区的整合加工参与下，起着决定的作用。

综上所述，人的心理是在大脑皮质的3个级区和脑的3个机能系统的协同活动中实现的。外界信息在皮层初级区向次级区、联络区传递，特别是在其中的高级区进行加工。信息的传递过程，第一机能系统保证皮层紧张度，第二机能系统进行分析与整合，第三机能系统保证有意识的、有目的的探索活动。这就是大脑皮层的概略的信息加工图景。

大脑两半球功能差异

看起来似乎是完全对称的大脑两半球，实际上在大小和重量上，尤其在功能上是差异的。这种大脑两半球功能不对称性称为“单侧化”。主要表现在左、右两半球在实现语言、逻辑、数学和空间认知、雕刻、音乐等方面功能的差异。单侧化的研究为人们认识脑的功能提供了新的知识和开辟了新的途径。

1.单侧化的证据和实验研究

早在上个世纪，布罗卡发现大脑左半球额叶受损伤导致运动性失语症以来，大量研究已向人们揭示了左半球的语言功能。因此，对右利手者来说，左半球为言语优势半球。然而对有半球的功能，长期以来一直不很清楚。近年来研究发现，右半球也有着单侧优势的重要功能。右利手者在右半球受损伤时，他们的空间和形象认知方面产生障碍，尤其在空间定向和对复杂图形的知觉中，只能知觉局部细节而不能把握整体。有的患者不能识别人的面孔，有的患者不能确定地图坐标。这些不正常现象在右半球受损伤中常见。

但是，这种现象在左利手患者中有时并不十分清楚。有的左利手者，与右利手者正相反，他们的右半球为语言优势，左半球为空间知觉优势。但是，有许多左利手者的两半球功能全然没有单侧化现象。他们的两半球的功能是均衡的，任何一侧受损伤均可导致失语症，而且，未受损伤的半球能较好地补偿受损伤半球的语言功能。这种现象使人迷惑不解，增加了认识两半球功能差异性的难度。

单侧化的进一步研究是在本世纪60年代从“割裂脑”技术中进行的（R. Spery，1960）。正常人的脑是作为一个整合的整体起作用的。两个半球各自获得的外界信息，均可立即通过脑中心的胼胝体内连接两半球的神经互相传送到对边半球。但是在患某癫痫发作的病人中，由于胼胝体连接桥的作用，使一边半球的神经发作引起对边半球放电，从而导致两个半球的普遍放电，加剧了癫痫发作。通过割裂脑手术——割断胼胝体在两个半球之间的连接侨，可有效地制止癫痫发作的严重情况。

2.大脑两半球功能差异性

割裂脑的研究为证明大脑两半球功能之差异提供了许多证据，但仍不能认为已经十分清楚。已经明确知道的是，左半球支配着言语表达能力，数学运算以及连续的分析综合思维活动，并符合逻辑；右半球能理解简单的语言，如摸出一个螺母表明对“螺母”词作出了反应。但是右半球不能理解抽象的语言形式和进行抽象思维。从语言功能上说，对右利手者，左半球为优势半球，右半球为非优势半球。

许多研究也证明了右半球有着它的特殊功能。右半球支配着空间方位定向和图形认知。它比左半球更好地完成三度空间辨认和绘画立体图形，在按照图案构造立体模型上，比左半球显示更有效的形象构思和形象透视能力。由此推论右半球有着方位知觉、触摸觉、绘画、雕刻等艺术活动方面的优势。还有些研究者认为右半球比左半球更多地支配情绪和梦，从而把与情绪活动密切联系的艺术才能归结为右半球优势。这需要作更多的研究才能予以确定。

两个半球的专门化在个体发展中有一个明显的发展过程，而且它是随着个体掌握语言和言语能力完善化而显示。在儿童时期，左半球受损伤，右半球代偿语言功能将没有多大困难。然而，成年人左半球受损伤，随其受损程度，语言缺陷将是不可避免的和无可取代的。

本节阐述了大量的有关大脑皮层结构的机能定位问题。但必须具有这样一种认识，即有关机能定位的知识大多数来自脑损伤引起的功能缺陷。但确切的损伤定位在病人活着的时候很难十分确切地予以鉴定，同时一处损伤，有时与不同的功能缺陷联系着，而许多种心理功能又完全由某一脑区所掌管。因此模糊不清和模棱两可的情况时常出现，这些困难只能靠大量的神经外科手术资料的积累来加以分析。这个问题即使得到克服，也还有另外一个问题需要对之具有明确的认识，即脑是心理的器官，了解心理活动要依靠脑科学知识；但这只是真理的一半。对脑这一物质基础的依赖，首先需要对心理本身的一定认识。换句话说，不了解情绪的性质，就无从解释脑皮质、皮下多部位与情绪的关系；不了解思维和知觉的区别，也难以分辨皮层不同级区与它们之间的定位关系；刺激额叶一定部位可引起某些回忆，但在对记忆知道更多之前，对此不能作出任何解释。神经生理学和心理学的知识是互相作用和互相促进其研究进展的。

5. 记忆在人脑中以什么形式存在，脑细胞神经结构神经突触节点

记忆是人脑对过去发生过的事情的反应。我们在日常生活中经历过的事情，思考过的问题，都会给大脑留下痕迹。这些痕迹在日后也许会被激活，我们重现当时的体验。
作为一个数据储存系统，大脑接收了无数的映像，将它们分解成不同的部分，并将这些部分分别储存在专门的脑细胞中。日常生活中所发生的事情被转化成记忆临时保存到人脑的海马体中，再由海马体将记忆转移到新大脑皮层储存为长期记忆。
每一个脑细胞都有能力储存许多记忆的片段。这些关于自然界的记忆或特征就会被分解成许多最基本的部分，如光线的光子。气味的分子和声波的振动等存储起来———当一个特别的连接网络被即或时，这些记忆即被唤醒。大脑是由灰质、白质、大脑皮层构成的。大脑皮层又分很多部分，海马区就是其中一部分，海马求主要负责记忆活动，区域内的神经细胞突触主要负责存储记忆，海马区在记忆的过程中，充当转换站的功能。当大脑皮质中的神经元接收到各种感官或知觉讯息时，它们会把讯息传递给海马区。假如海马区有所反应，神经元就会开始形成持久的网络。一旦大脑受到刺激，收到调取记忆的指令，海马区就会自动筛选该信息，存储该信息指令的区域就会被连同，进而以神经冲动的形式传导，最后以人的各种活动形式表现出来。

6. 卷积神经网络（CNN）基础

在七月初七情人节，牛郎织女相见的一天，我终于学习了CNN（来自CS231n），感觉感触良多，所以赶快记下来，别忘了，最后祝大家情人节快乐5555555.正题开始!

CNN一共有卷积层（CONV）、ReLU层（ReLU）、池化层（Pooling）、全连接层（FC（Full Connection））下面是各个层的详细解释。

卷积，尤其是图像的卷积，需要一个滤波器，用滤波器对整个图像进行遍历，我们假设有一个32*32*3的原始图像A，滤波器的尺寸为5*5*3，用w表示，滤波器中的数据就是CNN的参数的一部分，那么在使用滤波器w对A进行滤波的话，可以用下面的式子表示：

其中x为原始图像的5*5*3的一部分，b是偏置项置为1。在对A进行滤波之后，产生的是一个28*28*1的数据。那么假设我们存在6个滤波器，这六个滤波器之间彼此是独立的，也就是他们内部的数据是不同的且没有相关性的。可以理解为一个滤波器查找整幅图像的垂直边缘，一个查找水平边缘，一个查找红色，一个查找黑色这样。那么我就可以产生6个28*28*1的数据，将它们组合到一起就可以产生28*28*6的数据，这就是卷积层主要做的工作。

CNN可以看作一系列的卷积层和ReLU层对原始数据结构进行处理的神经网络，处理的过程可以用下面这幅图表示

特别要注意的是滤波器的深度一定要与上一层传来的数据的深度相同，就像上图的第二个卷积层在处理传来的28*28*6的数据时要使用5*5*6的滤波器.

滤波器在图像上不断移动对图像滤波，自然存在步长的问题，在上面我们举的例子都是步长为1的情况，如果步长为3的话，32*32*3的图像经过5*5*3的滤波器卷积得到的大小是（32-5）/3+1=10， 注：步长不能为2因为（32-5）/2+1=14.5是小数。

所以当图像大小是N，滤波器尺寸为F时，步长S，那么卷积后大小为（N-F）/S+1

我们从上面的图中可以看到图像的长和宽在逐渐的减小，在经过超过5层之后极可能只剩下1*1的空间尺度，这样是十分不好的，而且也不利于我们接下来的计算，所以我们想让卷积层处理完之后图像在空间尺度上大小不变，所以我们引入了pad the border的操作。pad其实就是在图像周围补0，扩大图像的尺寸，使得卷积后图像大小不变。在CNN中，主要存在4个超参数，滤波器个数K，滤波器大小F，pad大小P和步长S，其中P是整数，当P=1时，对原始数据的操作如图所示：

那么在pad操作后卷积后的图像大小为：（N-F+2*P）/S+1
而要想让卷积层处理后图像空间尺度不变，P的值可以设为P=（F-1）/2

卷积层输入W ₁ *H ₁ *D ₁ 大小的数据，输出W ₂ *H ₂ *D ₂ 的数据，此时的卷积层共有4个超参数：
K：滤波器个数
P：pad属性值
S：滤波器每次移动的步长
F：滤波器尺寸
此时输出的大小可以用输入和超参计算得到：
W ₂ =（W ₁ -F+2P）/S+1
H ₂ =（H ₁ -F+2P）/S+1
D ₂ =D ₁

1*1的滤波器也是有意义的，它在深度方向做卷积，例如1*1*64的滤波器对56*56*64的数据卷积得到56*56的数据

F通常是奇数，这样可以综合考虑上下左右四个方向的数据。

卷积层从神经元的角度看待可以有两个性质： 参数共享和局域连接 。对待一个滤波器，例如5*5*3的一个滤波器，对32*32*3的数据卷积得到28*28的数据，可以看作存在28*28个神经元，每个对原图像5*5*3的区域进行计算，这28*28个神经元由于使用同一个滤波器，所以参数相同，我们称这一特性为 参数共享 。

针对不同的滤波器，我们可以看到他们会看到同一区域的图像，相当于在深度方向存在多个神经元，他们看着相同区域叫做 局域连接

参数共享减少了参数的数量，防止了过拟合
局域连接为查找不同特征更丰富的表现图像提供了可能。
卷积就像是对原图像的另一种表达。

激活函数，对于每一个维度经过ReLU函数输出即可。不改变数据的空间尺度。

通过pad操作，输出图像在控件上并没有变化，但是深度发生了变化，越来越庞大的数据给计算带来了困难，也出现了冗余的特征，所以需要进行池化操作，池化不改变深度，只改变长宽，主要有最大值和均值两种方法，一般的池化滤波器大小F为2步长为2，对于最大值池化可以用下面的图像清晰的表示：

卷积层输入W ₁ *H ₁ *D ₁ 大小的数据，输出W ₂ *H ₂ *D ₂ 的数据，此时的卷积层共有2个超参数：
S：滤波器每次移动的步长
F：滤波器尺寸
此时输出的大小可以用输入和超参计算得到：
W ₂ =（W ₁ -F）/S+1
H ₂ =（H ₁ -F）/S+1
D ₂ =D ₁

将最后一层（CONV、ReLU或Pool）处理后的数据输入全连接层，对于W ₂ *H ₂ *D ₂ 数据，我们将其展成1*1*W ₂ *H ₂ *D ₂ 大小的数据，输入层共有W ₂ *H ₂ *D ₂ 个神经元，最后根据问题确定输出层的规模，输出层可以用softmax表示。也就是说，全连接层就是一个常见的BP神经网络。而这个网络也是参数最多的部分，是接下来想要去掉的部分。完整的神经网络可以用下面的图表示：

[(CONV-ReLU)*N-POOL?]*M-(FC-RELU)*K,SoftMax

1.更小的滤波器与更深的网络
2.只有CONV层而去掉池化与全链接

最早的CNN，用于识别邮编，结构为：
CONV-POOL-CONV-POOL-CONV-FC
滤波器大小5*5，步长为1，池化层2*2，步长为2

2012年由于GPU技术所限，原始AlexNet为两个GPU分开计算，这里介绍合起来的结构。

输入图像为227*227*3

1.首次使用ReLU
2.使用Norm layers，现在已经抛弃，因为效果不大
3.数据经过预处理（例如大小变化，颜色变化等）
4.失活比率0.5
5.batch size 128
6.SGD Momentum 参数0.9（SGD和Momentum见我的其他文章）
7.学习速率 0.01，准确率不在提升时减少10倍，1-2次后达到收敛
8.L2权重减少0.0005
9.错误率15.4%

改进自AlexNet，主要改变：
1.CONV1的滤波器从11*11步长S=4改为7*7步长为2.
2.CONV3,4,5滤波器数量有384，384，256改为512，1024，512（滤波器数量为2的n次幂有利于计算机计算可以提高效率）
错误率：14.8%后继续改进至11.2%

当前最好的最易用的CNN网络，所有卷积层滤波器的大小均为3*3，步长为1，pad=1，池化层为2*2的最大值池化，S=2。

主要参数来自全连接层，这也是想要去掉FC的原因。

具有高度的统一性和线性的组合，易于理解，十分方便有VGG-16，VGG-19等多种结构。
错误率7.3%

完全移除FC层，参数只有500万，使用Inception模块（不太理解，有时间继续看）
准确率6.67%

准确率3.6%
拥有极深的网络结构，且越深准确率越高。是传统CNN不具备的特点，传统CNN并非越深越准确。需要训练时间较长但是快于VGG

1.每个卷积层使用Batch Normalization
2.Xavier/2初始化
3.SGD+Momentum（0.9）
4.Learning rate:0.1,准确率不变减小10倍（因为Batch Normalization所以比AlexNet大）
5.mini-batch size 256
6.Weight decay of 0.00001
7.不适用失活（因为Batch Normalization）

具体的梯度过程学完ResNet再说吧。

7. 神经系统的组成

神经系统（nervous system）是机体内起主导作用的系统。内、外环境的各种信息，由感受器接受后，通过周围神经传递到脑和脊髓的各级中枢进行整合，再经周围神经控制和调节机体各系统器官的活动，以维持机体与内、外界环境的相对平衡。神经系统是由神经细胞（神经元）和神经胶质所组成。神经系统分为中枢神经系统和周围神经系统两大部分。

人体各器官、系统的功能都是直接或间接处于神经系统的调节控制之下，神经系统是整体内起主导作用的调节系统。人体是一个复杂的机体，各器官、系统的功能不是孤立的，它们之间互相联系、互相制约；同时，人体生活在经常变化的环境中，环境的变化随时影响着体内的各种功能。这就需要对体内各种功能不断作出迅速而完善的调节，使机体适应内外环境的变化。实现这一调节功能的系统主要就是神经系统。属于结缔组织。

神经系的基本结构
神经系统是由神经细胞（神经元）和神经胶质所组成。

1．神经元（神经细胞）

神经元neuron是一种高度特化的细胞，是神经系统的基本结构和功能单位，它具有感受刺激和传导兴奋的功能。神经元由胞体和突起两部分构成。胞体的中央有细胞核，核的周围为细胞质，胞质内除有一般细胞所具有的细胞器如线粒体、内质网等外，还含有特有的神经原纤维及尼氏体。神经元的突起根据形状和机能又分为树突dendrite和轴突axon。树突较短但分支较多，它接受冲动，并将冲动传至细胞体，各类神经元树突的数目多少不等，形态各异。每个神经元只发出一条轴突，长短不一，胞体发生出的冲动则沿轴突传出。

根据突起的数目，可将神经元从形态上分为假单极神经元、双极神经元和多极神经元三大类。

根据神经元的功能，可分为感觉神经元、运动神经元和联络神经元。感觉神经元又称传入神经元，一般位于外周的感觉神经节内，为假单极或双极神经元，感觉神经元的周围突接受内外界环境的各种刺激，经胞体和中枢突将冲动传至中枢；运动神经元又名传出神经元，一般位于脑、脊髓的运动核内或周围的植物神经节内，为多极神经元，它将冲动从中枢传至肌肉或腺体等效应器；联络神经元又称中间神经元，是位于感觉和运动神经元之间的神经元，起联络、整合等作用，为多极神经元。

2．神经胶质

神经胶质neuroglia数目是神经元10~50倍，突起无树突、轴突之分，胞体较小，胞浆中无神经原纤维和尼氏体，不具有传导冲动的功能。神经胶质对神经元起着支持、绝缘、营养和保护等作用，并参与构成血脑屏障。

3．突触

神经元间联系方式是互相接触，而不是细胞质的互相沟通。该接触部位的结构特化称为突触synapse，通常是一个神经元的轴突与另一个神经元的树突或胞体借突触发生机能上的联系，神经冲动由一个神经元通过突触传递到另一个神经元。

神经系统的构成
神经系统分为中枢神经系统和周围神经系统两大部分。中枢神经系统包括脑和脊髓。脑和脊髓位于人体的中轴位，它们的周围有头颅骨和脊椎骨包绕。这些骨头质地很硬，在人年龄小时还富有弹性，因此可以使脑和脊髓得到很好的保护。脑分为端脑、间脑、小脑和脑干四部分。大脑还分为脊左右两个半球,分别管理人体不同的部位.髓主要是传导通路，能把外界的刺激及时传送到脑，然后再把脑发出的命令及时传送到周围器官，起到了上通下达的桥梁作用。周围神经系统包括脑神经、脊神经和植物神经。脑神经共有12对，主要支配头面部器官的感觉和运动。人能看到周围事物，听见声音，闻出香臭，尝出滋味，以及有喜怒哀乐的表情等，都必须依靠这12对脑神经的功能。 脊神经共有31对，其中包括颈神经8对，胸神经12对，腰神经5对，骶神经5对，尾神经 1对。脊神经由脊髓发出，主要支配身体和四肢的感觉、运动和反射。植物神经也称为内脏神经，主要分布于内脏、心血管和腺体。心跳、呼吸和消化活动都受它的调节。植物神经分为交感神经和副交感神经两类，两者之间相互桔抗又相互协调，组成一个配合默契的有机整体，使内脏活动能适应内外环境的需要。 脑是按对侧支配的原则来发挥功能的,此外,左,右侧脑还有各自侧重的分工.如左脑主要负责语言和逻辑思维,右脑负责艺术思维,等等.

8. 神经系统是什么意思

神经系统是指人体最精细，且结构和功能最为复杂的系统。神经系统按照解剖结构，可以分为中枢神经系统和周围神经系统，其中中枢神经系统包括脑和脊髓，周围神经系统包括脑神经、脊神经、神经肌肉接头、肌肉等。
中枢神经系统主要负责分析、综合体内外环境传来的信息，并且使机体作出适当的反应，周围神经系统主要管理传递神经冲动。按照神经系统的功能，又可以把神经系统分为调整人体适应外界环境变化的躯体神经系统，还有稳定内环境的自主神经系统。