Python中的前向传播|极客教程

Python中的前向传播

在神经网络中，前向传播是指从输入层到输出层的信号传递过程。在这个过程中，每个神经元都接收前一层的输出，并将其加权求和后通过激活函数处理，得到最终的输出。

1. 前向传播的过程

在神经网络中，前向传播的过程可以用数学公式表示如下：

对于第l层的神经元j，其输入是前一层的输出a^{l-1}，其输出a^{l}可以通过以下步骤计算：

加权求和：

$z^{l}_{j} = \sum_{i=1}^{n} W^{l}_{j,i} \cdot a^{l-1}_{i} + b^{l}_{j}$

其中， $W^{l}_{j,i}$ 是第l层神经元j与第l-1层神经元i之间的连接权重， $b^{l}_{j}$ 是第l层神经元j的偏置项。

激活函数处理：

$a^{l}_{j} = f(z^{l}_{j})$

其中f表示神经元的激活函数，常见的激活函数包括ReLU、Sigmoid和Tanh等。

重复以上步骤，直到计算到输出层，得到最终的输出。

2. Python实现前向传播

下面我们用Python代码来实现一个简单的神经网络的前向传播过程。

import numpy as np

def relu(x):
    return np.maximum(0, x)

def forward(X, weights, biases, activations):
    a = X
    for i in range(len(weights)):
        z = np.dot(a, weights[i]) + biases[i]
        a = activations[i](z)
    return a

# 定义神经网络
X = np.array([1, 2, 3])
weights = [np.array([[0.1, 0.2, 0.3], [0.4, 0.5, 0.6]]), np.array([[0.7], [0.8]])]
biases = [np.array([0.1, 0.2]), np.array([0.3])]
activations = [relu, relu]

# 进行前向传播
output = forward(X, weights, biases, activations)
print(output)

上面的代码中，我们首先定义了一个简单的ReLU激活函数relu，然后实现了前向传播的函数forward。在定义神经网络的权重、偏置和激活函数后，我们通过调用forward函数来计算输入X的输出。

运行以上代码，可以得到如下输出：