Python深度学习 实现
在这个深度学习的实现中,我们的目标是预测某家银行的客户流失率,即哪些客户可能会离开这家银行的服务。使用的数据集相对较小,包含10000行,14列。我们使用Anaconda分布,以及Theano、TensorFlow和Keras等框架。Keras是建立在Tensorflow和Theano之上的,TensorFlow和Theano是其后端。
第1步:数据预处理
第2步
我们将数据集的特征和目标变量建立矩阵,即第14列,标记为 “退出”。
数据的初始外观如下图所示
输出
第3步
输出
第4步
我们通过对字符串变量进行编码,使分析更加简单。我们使用ScikitLearn函数’LabelEncoder’来自动编码列中不同的标签,其值在0到n_classes-1之间。
输出
在上述输出中,国名被替换为0、1和2;而男性和女性被替换为0和1。
第5步
给编码数据贴标签
我们使用相同的 ScikitLearn 库和另一个名为 OneHotEncoder 的函数,只是传递列号创建一个虚拟变量。
现在,前两栏代表国家,第四栏代表性别。
输出
我们总是将数据分为训练和测试部分;我们在训练数据上训练我们的模型,然后我们在测试数据上检查模型的准确性,这有助于评估模型的效率。
第6步
我们使用ScikitLearn的 train_test_split 函数将我们的数据分成训练集和测试集。我们保持训练–测试分割的比例为80:20。
有些变量的值是以千为单位的,而有些变量的值是以十或一为单位的。我们对数据进行缩放,使其更具代表性。
第7步
在这段代码中,我们使用 StandardScaler 函数对训练数据进行拟合和转换。我们将我们的缩放比例标准化,这样我们就可以使用相同的拟合方法来转换/缩放测试数据。
输出
数据现在被正确地缩放了。最后,我们完成了数据的预处理。现在,我们将开始建立我们的模型。
第8步
我们在这里导入所需的模块。我们需要顺序模块来初始化神经网络,密集模块来添加隐藏层。
第9步
我们将模型命名为分类器,因为我们的目的是对客户流失率进行分类。然后我们使用顺序模块进行初始化。
第10步
我们使用密集函数逐一添加隐藏层。在下面的代码中,我们会看到许多参数。
我们的第一个参数是 output_dim 。 init 是随机梯度衰减器的初始化。在一个神经网络中,我们给每个节点分配权重。在初始化时,权重应该接近于零,我们使用均匀函数随机地初始化权重。 input_dim 参数只在第一层需要,因为模型不知道我们输入变量的数量。这里的输入变量总数为11。在第二层中,模型会自动知道第一隐藏层的输入变量的数量。
执行下面这行代码,添加输入层和第一隐藏层
Execute the following line of code to add the second hidden layer −
Execute the following line of code to add the output layer −
第11步
编译ANN
到目前为止,我们已经向我们的分类器添加了多个层。现在我们将使用 编译 方法对它们进行编译。在最后的编译控制中添加的参数完成了神经网络。因此,我们需要在这一步中小心谨慎。
下面是对这些参数的简要解释。
第一个参数是 优化器 ,这是一个用来寻找最佳权重集的算法。这种算法被称为 随机梯度下降(SGD)。 这里我们使用的是几种类型中的一种,称为 “亚当优化器”。SGD取决于损失,所以我们的第二个参数是损失。如果我们的因变量是二进制,我们使用对数损失函数,称为 “二进制_交叉熵 “,如果我们的因变量在输出中有两个以上的类别,那么我们使用 “分类_交叉熵 “。我们想根据 准确性 来提高我们的神经网络的性能,所以我们增加了准确性的 指标 。
第12步
在这一步中需要执行一些代码。
拟合ANN到训练集
我们现在在训练数据上训练我们的模型。我们使用 拟合 方法来拟合我们的模型。我们还优化权重以提高模型效率。为此,我们必须更新权重。 批量大小 是我们更新权重后的观测值的数量。 Epoch 是迭代的总次数。批量大小和历时的值是通过试验和错误的方法选择的。
进行预测和评估模型
预测一个新的观察结果
第13步
预测测试集的结果
预测结果将给你客户离开公司的概率。我们将把这个概率转换为二进制的0和1。
第14步
这是最后一步,我们评估我们的模型性能。我们已经有了原始结果,因此我们可以建立混淆矩阵来检查我们模型的准确性。
制作混淆矩阵
输出
根据混淆矩阵,我们模型的准确率可以计算为 −
我们取得了85.8%的准确率 ,这很好。
前向传播算法
在本节中,我们将学习如何编写代码来对一个简单的神经网络进行前向传播(预测) −
每个数据点都是一个客户。第一个输入是他们有多少个账户,第二个输入是他们有多少个孩子。该模型将预测该用户在下一年的交易量。
输入数据被预装为输入数据,而权重则在一个叫做权重的字典中。隐蔽层中第一个节点的权重数组分别在weights[‘node_0’],隐蔽层中第二个节点的权重数组在weights[‘node_1’]。
送入输出节点的权重在weights中可用。
整理过的线性激活函数
一个 “激活函数 “是一个在每个节点上工作的函数。它将节点的输入转化为某种输出。
整流线性激活函数(称为 ReLU )被广泛用于高性能网络中。这个函数将一个单一的数字作为输入,如果输入为负数,则返回0,如果输入为正数,则返回输入作为输出。
这里有一些例子–
- relu(4) = 4
- relu(-2) = 0
我们填入relu()函数的定义–
- 我们使用max()函数来计算relu()的输出值。
- 我们将relu()函数应用于node_0_input来计算node_0_output。
- 我们将relu()函数应用于node_1_input来计算node_1_output。
输出
将网络应用于许多观察值/数据行中
在本节中,我们将学习如何定义一个名为predict_with_network()的函数。这个函数将为多个数据观测值生成预测结果,这些数据来自上述网络,作为输入数据。上述网络中给出的权重正在被使用。relu()函数的定义也正在被使用。
让我们定义一个名为predict_with_network()的函数,它接受两个参数–input_data_row和weights–并将网络的预测值作为输出返回。
我们计算每个节点的输入和输出值,将它们存储为:node_0_input、node_0_output、node_1_input和node_1_output。
为了计算一个节点的输入值,我们将相关数组相乘并计算它们的总和。
为了计算一个节点的输出值,我们对节点的输入值应用relu()函数。我们使用一个 “for循环 “来迭代input_data —
我们还使用predict_with_network()为输入数据的每一行生成预测值–input_data_row。我们还将每个预测结果附加到结果中。
输出
这里我们使用了relu函数,其中relu(26)=26,relu(-13)=0,以此类推。
深度多层神经网络
在这里,我们正在编写代码,为一个有两个隐藏层的神经网络做前向传播。每个隐藏层有两个节点。输入数据已经被预装为 input_data 第一个隐藏层的节点被称为node_0_0和node_0_1。
它们的权重分别被预装为weights[‘node_0_0’]和weights[‘node_0_1’]。
第二个隐藏层的节点被称为 node_1_0和node_1。 它们的权重分别被预装为 weights[‘node_1_0’] 和 weights[‘node_1_1’ ]。
然后,我们使用预先加载的权重作为 weights[‘output’] 从隐藏节点创建一个模型输出。
我们使用其权重weights[‘node_0_0’]和给定的输入数据来计算node_0_input。然后应用relu()函数来获得node_0_0_output。
我们对node_0_1_input进行上述同样的操作,得到node_0_1_output。
我们使用其权重weights[‘node_1_0’]和第一个隐藏层的输出–hidden_0_outputs,计算node_1_0_input。然后我们应用relu()函数来得到node_1_0_output。
我们对node_1_1_input进行上述同样的操作,得到node_1_1_output。
我们使用weights[‘output’]和第二个隐藏层hidden_1_outputs数组的输出来计算model_output。我们不对这个输出应用relu()函数。
输出