什么是神经网络

它是什么

不是大脑的复制品，而是一组可微分的函数：给定输入，算出一个输出。

「神经」只是历史名称。真正起作用的是加权求和、非线性变换和层层堆叠。

一层里发生什么

1. 加权求和：每个输入乘一个权重，加起来，再加一个偏置。
2. 非线性变换：过一遍激活函数。没有这一步，堆多少层都等价于一层。
3. 输出给下一层：重复。

它怎么学

• 损失函数衡量「输出和正确答案差多少」。
• 反向传播算出每个参数该往哪个方向改。
• 梯度下降按这个方向改一点点，重复很多次。

训练结束后，参数固定；推理就是一次前向计算。

三个常见误解

• 「神经元对应生物神经元」：只是借了个名字，机制不同。
• 「参数越多越聪明」：参数量是容量，不是能力。数据和方法决定它能不能用好这个容量。
• 「训练就是存答案」：不是。它调的是数值，学到的是一种压缩后的规律。

三个词的区分

词	指什么
参数	模型里可训练的数值
层	一组参数构成的变换
激活函数	层与层之间的非线性

延伸阅读

• 多层堆起来叫什么：什么是深度学习
• 今天最常见的结构：什么是 Transformer