R语言贝叶斯优化：高斯过程实现超参数自动调优

使用高斯过程代理模型高效搜索超参数空间，比网格搜索和随机搜索更智能更高效。 · 难度：入门 · +10XP

R语言贝叶斯优化：高斯过程实现超参数自动调优

超参数调优是机器学习中的关键步骤。本教程使用DiceKriging和mlrMBO包实现基于高斯过程的贝叶斯优化。从建立初始设计开始，通过期望改进(EI)采集函数选择下一个评估点，实现高效的全局优化。通过XGBoost和随机森林的调优案例，对比贝叶斯优化与网格搜索的效率差异。

library(mlrMBO)
library(DiceKriging)
# 定义目标函数：XGBoost交叉验证误差
obj_fun <- function(x) {
  params <- list(eta = x["eta"], max_depth = round(x["depth"]))
  # 简化的交叉验证模拟
  - (x["eta"] * 0.1 + (x["depth"] - 6)^2 * 0.01)
}
# 设置参数空间
par.set <- makeParamSet(
  makeNumericParam("eta", lower = 0.01, upper = 0.3),
  makeIntegerParam("depth", lower = 3, upper = 10)
)
# 运行贝叶斯优化
ctrl <- makeMBOControl()
ctrl <- setMBOControlTermination(ctrl, iters = 20)
result <- mbo(obj_fun, par.set, ctrl)
print(result)