⑴ 神经网络复习笔记
神经网络（ANN）是深度学习的基础，随着计算机计算能力的增强和大数据的获取，神经网络的重要性日益显着。神经网络主要由输入层、隐藏层和输出层组成，每一层包含多个节点，通过节点之间的连接和权重进行信息的传递。
在神经网络中，使用符号表示数据和参数，如d表示特征数，m表示样本数。每个样本x是一个d维向量，y是一个实数（标签值）。参数w对应特征，整个参数矩阵W是一个d维列向量。b表示常数项（偏置项）。
神经网络的训练过程是通过梯度下降法对参数w和b进行估计，以获得预测函数，用于估计y。在logistic回归中，输出y是通过sigmoid函数转换得到的，而在神经网络中，输出层使用sigmoid函数，而隐藏层使用修正线性单元（ReLU）等激活函数。
神经网络相比logistic回归主要增加了隐层，使得网络能够处理非线性分类问题。网络的层数、节点数和激活函数的选择对网络性能有重要影响。通常使用反向传播算法（Back-Propagation）来计算梯度，以优化参数。
神经网络模型具有灵活性高、可以处理冗余特征等优点，但对噪声敏感、参数多、存在局部极小值问题，以及计算速度相对较慢。在实际应用中，需要通过交叉验证、正则化等技术来避免过拟合问题。
学习神经网络时，可以参考相关课程和书籍，如优达学城的机器学习课程、网易云课堂的Python数据分析与机器学习实战、吴恩达的机器学习课程、周志华的《机器学习》、李航的《统计学习方法》以及图领版的《数据挖掘导论》等。
⑵ 什么是神经网络
深度学习是机器学习的一种，以深度计算为特征。神经网络因其强大与可扩展性，成为深度学习的标准模型。本文带你了解神经网络。
神经网络的基础是神经元，由神经元组成复杂连接，每个神经元执行简单线性计算。神经元接收参数x，权重w决定参数x对神经元的影响程度，偏置b允许神经元独立调整输出。神经元最终输出值y，由所有接收到值的求和计算得到。通过组合神经元形成神经网络层，每个层执行相对简单的转换。神经元数量巨大，实现复杂数据转换。
神经网络通过引入激活函数将线性单元转换为非线性单元。激活函数如ReLU，通过计算输入值，将线性单元转换为非线性，实现更复杂的数据拟合。堆叠层通过多层转换，实现更复杂的转换，最终计算结果。
神经网络训练通过随机梯度下降算法，不断调整各因子权重，最小化损失，提升预测准确率。损失函数衡量模型预测值与真实值之间的差距。优化器指导权重调整以最小化损失。学习率和批量大小影响训练过程。
过拟合与欠拟合是神经网络训练中常见的问题。过拟合意味着模型过于关注噪声，欠拟合意味着模型学习不足。通过调整模型容量、使用提前停止策略，可以解决这些问题。Dropout层随机丢弃部分输入单元，防止学习噪声；批量归一化层确保数据在共同尺度上，优化训练过程。
神经网络在二元分类任务中，通过准确率和交叉熵衡量性能。准确率衡量正确预测数量与总预测数量的比例，交叉熵衡量概率分布之间的距离。Sigmoid激活函数将密集层输出转化为概率，用于分类预测。
神经网络由基础单元到复杂层构建，通过优化调整实现高效数据转换。理解神经网络的工作机制与优化策略，对于掌握深度学习至关重要。本文仅作为入门参考，更多知识体系有待进一步学习与探索。