极客教程R语言 不使用caret包交叉验证
交叉验证是一种评估机器学习模型性能的技术，它在一个数据子集上进行训练，并在其余数据上进行评估。当你没有单独的测试集时，或者当你想获得比单一的训练/测试分割更好的模型性能估计时，它是一种有用的方法。
有几种方法可以在R中进行交叉验证。
- 手动将数据分割成褶皱。你可以使用e1071库中的创建折叠函数，或者自己编写代码将数据分成所需数量的折叠。然后你可以循环浏览这些折子，把每个折子作为测试集，把剩余的折子作为训练集，并在每个测试集上评估模型。
- 使用caret包中的train函数。caret包提供了一个方便的函数train，它可以用来训练和评估机器学习模型，使用各种交叉验证方法。它还提供了一些生成折叠的函数，如createFoldDummyVars和createMultiFolds。
- 使用boot包中的cv.glm函数。boot包提供了一个函数，cv.glm，可以用来对广义线性模型进行交叉验证。它允许你指定褶皱的数量和交叉验证的类型（如分层或非分层）。
- 使用boot包中的cv.lm函数。与cv.glm类似，boot包也提供了一个函数cv.lm，它可以用来对线性模型进行交叉验证。
- 使用mlr包中的kfoldCV函数。mlr包提供了一个函数，kfoldCV，可以用来对各种机器学习模型进行k-fold交叉验证。它允许你指定折叠的数量和交叉验证的类型（如分层或非分层）。
不使用caret包的R语言交叉验证
在R编程语言中，有几种方法可以对数据集进行交叉验证。但在这个例子中，我们将使用tidyverse和e1071库。加载tidyverse和e1071库。tidyverse库对于交叉验证来说并不是必须的，但在本例中它被用来将数据分成几折。e1071库是用来训练SVM模型的。
# Load the required libraries
library(tidyverse)
library(e1071)
使用e1071库中的createFolds函数，将数据分成10个折页。该函数将数据作为第一个参数，将折叠的数量作为第二个参数。它返回一个向量的列表，每个向量包含属于一个折叠的行的索引。初始化一个空向量来存储交叉验证的结果。
# Split the data into 10 folds
folds <- createFolds(iris$Species, k = 10)
# Initialize a vector to store the results
results <- c()
循环浏览褶皱。使用当前褶皱中的指数将数据分成训练集和测试集。使用e1071库中的SVM函数在训练数据上训练SVM模型。使用predict函数对测试数据进行预测。通过将预测与真实标签进行比较并取其平均值来计算预测的准确性。将准确率追加到结果向量中。
# Loop through the folds
for (i in 1:10)
# Split the data into training and test sets
train <- iris[-folds[[i]],]
test <- iris[folds[[i]],]
# Train the model on the training data
model <- svm(Species ~ ., data = train)
# Make predictions on the test data
predictions <- predict(model, test)
# Calculate the accuracy
accuracy <- mean(predictions == test$Species)
# Store the result
results <- c(results, accuracy)
循环结束后，用平均值计算出结果的平均值。
# Calculate the mean and standard
# deviation of the results
mean(results)
输出
0.933333333333333
第一条线是平均准确率，第二条线是准确率的标准偏差。在这种情况下，平均准确率为0.9，这表明模型在所有褶皱中平均能够对90%的测试样本进行正确分类。标准差为0.0，表明所有褶皱的准确率都是一样的。
这段代码使用e1071库中的createFolds函数，将数据分成10个折页。然后，它在每个折叠上训练支持向量机（SVM）模型，使用剩余的折叠作为训练数据，并在作为测试数据的折叠上评估模型。最后，它计算在每个折叠上获得的准确性分数的平均值和标准偏差，以了解模型的性能。