超参优化

超参优化

超参数：超参通常指在算法或模型开始之前必须确定，无法在计算过程中更新的参数。如在深度学习中的优化器、迭代次数、激活函数、学习率等；在运筹优化算法中的编码方式、迭代次数、目标权重、用户偏好等，另外算法类型可作为更高层面的一种超参。 超参优化：超参数优化是指不是依赖人工调参，而是通过一定算法找出优化算法/机器学习/深度学习中最优/次优超参数的一类方法。HPO的本质是生成多组超参数，一次次地去训练，根据获取到的评价指标等调节再生成超参数组再训练。 超参这个概念是相对参数提出来的。在某些领域其参数也满足上述的超参定义，广义上讲也可以纳入超参的定义中，如遗传算法（Genetic Algorithm， GA）中的种群数量，控制器的控制参数等。 而HPO是在超参空间中的搜索算法，优化的结果是模型/算法的一组超参，这组超参在我们的数据集上取得了最优的效果。值得一提的是HPO通常是一种黑盒优化。需要搜索超参数的最佳配置以实现最佳性能。

数据源

超参调优的运行数据需要保存在数据文件/数据库等数据源中,以便分类与可视化分析. 您可以在安装超参优化插件后,点击右上角的"+创建",输入自定义文件名称,创建数据源文件.稍后,您可以在列表看到创建的对应数据源卡片显示.

启动数据源Backend

点击数据源卡片上的启动按钮以启用超参数优化后端服务,随即将会跳转到超参优化的dashboard界面,在这里,您将可以执行各种超参优化的相关配置与操作.

注意:同时只能存在一个超参优化后端服务,想要打开另一个数据源对应的backend,需要手动关闭当前运行的其他数据源的超参优化backend.关闭操作下方有说明.

关闭数据源Backend

也许你想要切换到其他数据源的超参优化后端服务与dashboard,或者想要关闭超参优化服务以节省资源.您可以点击数据源卡片上的关闭按钮,二次确认后即可关闭.接下来您就可以启动其他的数据源超参优化服务了.

超参优化Dashboard

点击启动数据源超参优化服务后,您将会跳转到Dashboard主页面.

主题切换

您可以通过点击dashboard右上角的 skin 齿轮状按钮在日间与夜间主题模式切换,选择你喜欢的风格.

Study列表

主页面将会显示您创建的Study列表.您也可以通过上方的搜索输入框输入StudyName的关键字快速筛选到指定的Study.

创建Study

点击切换主题旁边的添加Study按钮以添加Study Item.您可以输入自定义Study名称,Objective函数代码(我们提供了一些示例代码可供您选择修改),设置objective的direction(求最大值/最小值).点击'CREATE'即可创建,创建成功后您将可以在Study列表看到它.(请注意,StudyName,direction值创建后就不可修改了.)

删除Study

同样您也可以点击列表项的'delete'图标删除对应Study(⚠️警告:删除后数据无法找回,请谨慎操作!)

修改StudyObjective函数代码

同样您可以点击'edit'按钮修改Study的Objective函数代码,修改后下一次运行将会使用最新的代码(请勿在Optimize任务运行中修改),请注意,StudyName,direction值创建后就不可修改了.

运行Study Optimize任务

要运行Study的Optimize任务,点击'run'按钮即可开始,同时按钮将会转变为不可再次点击的运行中的图标,等到图标转变回'run'按钮,即代表任务运行结束.运行结束时,将会弹出'运行成功'或'运行失败'.同时您可以查看运行日志.

查看超参优化任务运行日志

在某些时候,您可能需要查看代码的标准输出或错误输出,以定位任务失败的原因或获取其他信息,您可以通过点击第三个'日志'按钮查看任务代码的运行输出(包括stdout与stderror).注意,日志只会保存最新一次的运行结果.

查看超参优化任务可视化数据

可视化查看运行历史数据,是超参调优任务不可缺少且十分有用的功能,您可以直接点击列表项进入Study详情界面,这里包含运行历史数据可视化交互界面,超参数重要性,每次训练数据等等你需要的信息.您还可以通过升降序查看数据,筛选出bestvalue,best hyoperparameter等等...(可右上角下拉列表指定数据更新时间间隔以便在任务运行中观察数据变化)