《Vega 是诺亚方舟实验室自研的 AutoML 算法工具链》

2021-04-21 06:28

阅读:472

标签:content   下载   pip   优化   答复   via   for   使用   高效   

Vega 简介

Vega 是诺亚方舟实验室自研的 AutoML 算法工具链,有主要特点:

  1. 完备的 AutoML 能力:涵盖 HPO(超参优化, HyperParameter Optimization)、Data-Augmentation、NAS(网络架构搜索, Network Architecture Search)、Model Compression、Fully Train 等关键功能,同时这些功能自身都是高度解耦的,可以根据需要进行配置,构造完整的 pipeline。
  2. 业界标杆的自研算法:提供了诺亚方舟实验室自研的业界标杆算法,并提供 Model Zoo 下载 SOTA(State-of-the-art) 模型。
  3. 高并发模型训练能力:提供高性能 Trainer,加速模型训练和评估。

算法列表

分类 算法 说明 参考
NAS SM-NAS: Structural-to-Modular NAS 两阶段物体检测架构搜索算法 开发中
NAS CARS: Continuous Evolution for Efficient Neural Architecture Search 基于连续进化的多目标高效神经网络结构搜索方法 参考
NAS SR-EA 适用于轻量级网络的自动网络架构搜索方法 参考
NAS ESR-EA: Efficient Residual Dense Block Search for Image Super-resolution 基于网络架构搜索的多目标图像超分方法 参考
NAS Adelaide-EA: SEGMENTATION-Adelaide-EA-NAS 图像分割网络架构搜索算法 参考
NAS SP-NAS: Serial-to-Parallel Backbone Search for Object Detection 面向物体检测及语义分割的高效主干网络架构搜索算法 参考
NAS Auto-Lane: CurveLane-NAS 一种端到端的车道线架构搜索算法 开发中
Model Compression Quant-EA: Quantization based on Evolutionary Algorithm 自动混合比特量化算法,使用进化策略对 CNN 网络结构每层量化位宽进行搜索 参考
Model Compression Prune-EA 使用进化策略对 CNN 网络结构进行自动剪枝压缩算法 参考
HPO ASHA: Asynchronous Successive Halving Algorithm 动态连续减半算法 参考
HPO TPE: Tree-structured Parzen Estimator Approach 一种基于树状结构 Parzen 估计方法的超参优化算法 参考
HPO BO: Bayesian Optimization 贝叶斯优化算法 参考
HPO BOHB: Hyperband with Bayesian Optimization 动态连续减半算法 参考
HPO BOSS: Bayesian Optimization via Sub-Sampling 基于贝叶斯优化框架下的一种针对计算资源受限,需要高效搜索的,具有普适性的超参优化算法 参考
Data Augmentation PBA: Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules 基于 PBT 优化算法搜索数据增广策略时刻表的数据增广算法 参考
Data Augmentation cyclesr: CycleGAN + SR 底层视觉的无监督风格迁移算法 参考
Fully Train FMD 基于特征图扰动的神经网络训练方法 参考

获取和安装

请获取最新版本,参考安装指导完成安装,若希望在集群中部署 Vega,请参考部署指导。

使用指导

Vega 高度模块化,可通过配置可完成搜索空间、搜索算法、pipeline 的构建,运行 Vega 应用就是加载配置文件,并根据配置来完成 AutoML 流程。 同时 Vega 提供了详细的操作示例供大家参考,可参考示例参考,如运行 CARS 算法示例:

cd examples
python3 ./run_example.py ./nas/cars/cars.yml

在使用 Vega 前,有必要充分了解配置项的含义,请参考配置指导。

注意:

在运行示例前,需要在算法配置文件中配置数据集和预训练模型目录,缺省目录请参考示例参考。

开发者指导

Vega 框架组件解耦,并采用注册机制来组合各个功能组件,便于扩充功能和算法,可参考开发者指导,了解 Vega 架构和主要机制。

同时可参考快速入门指导,通过实现一个简单的 CNN 网络搜索功能,通过实战快速进入 Vega 应用开发。

在 Vega 应用的开发中,最先遇到的问题就是,如何引入业务数据集到 Vega 中,可参考数据集指导。

针对不同的算法,可参考算法开发指导,可根据文中提供的示例,一步步的将新算法添加到 Vega 中。

在 Automl 的大多数算法中搜索空间和网络是强相关强耦合的,我们尝试统一搜索空间的定义方式,使得同一种搜索空间能够适配不同的搜索算法,我们称之为细粒度搜索空间指导,欢迎大家尝试使用。

当然文档解决不了所有的疑问和问题,若你在使用中遇到任何问题,请及时通过 issue 反馈,我们会及时答复和解决。

参考列表

对象 参考
用户 安装指导、部署指导、配置指导、示例参考、任务参考 (分类、检测、分割、超分)
开发者 API 参考、开发者指导、快速入门指导、数据集指导、算法开发指导、细粒度搜索空间指导

合作和贡献

欢迎大家使用 Vega,有任何疑问、求助、修改 bug、贡献算法、完善文档,请在社区提交 issue,我们会及时回复沟通交流。 欢迎大家加入我们的 QQ 群: 833345709。

《Vega 是诺亚方舟实验室自研的 AutoML 算法工具链》

标签:content   下载   pip   优化   答复   via   for   使用   高效   

原文地址:https://www.cnblogs.com/cx2016/p/13282293.html


评论


亲,登录后才可以留言!