NAS专栏

自动化机器学习(AutoML)最近变得越来越火,是机器学习下个发展方向之一。其中的神经网络结构搜索(NAS)是其中重要的技术之一。人工设计网络需要丰富的经验和专业知识,神经网络有众多的超参数,导致其搜索空间巨大。NAS即是在此巨大的搜索空间里自动地找到最优的网络结构,实现深度学习的自动化。自2017年谷歌与MIT各自在ICLR上各自发表基于强化学习的NAS以来,已产出200多篇论文,仅2019年上半年就有100多篇论文。此专栏以求尽可能多地汇集NAS相关的资料,帮助大家学习NAS。欢迎一起交流,也欢迎在留言板)或邮件给我提供相关资料,更欢迎提出批评指正~

一、论文解读

经典论文

此部分是我对一些经典方法的论文解读,基本是翻译+自己的一些理解,目前已写7篇,后续还会继续写,欢迎关注~笔者也是刚接触NAS不久,有错误的地方欢迎批评指正!

  • 基于强化学习的开创性工作
    • Neural Architecture Search with Reinforcement Learning
    • Designing Neural Network Architectures Using Reinforcement Learning
  • 基于遗传算法的开创性工作

    • Large-Scale Evolution of Image Classifiers
    • Finding Better Topologies for Deep Convolutional Neural Network by Evolution
  • 基于层或块的搜索

    • Learning Transferable Architectures for Scalable Image Recognition
    • Practical Block-wise Neural Network Architecture Generation
  • 权值共享的搜索
    • Efficient Neural Architecture Search via Parameter Sharing
    • You Only Search Once: Single Shot Neural Architecture Search via Direct Sparse Optimization
  • 可微分方法
    • DARTS:Differentiable Architecture Search
  • 基于代理模型
    • Progressive Neural Architecture Search
  • 基于one-shot模型
    • SMASH: One-Shot Model Architecture Search through HyperNetworks
    • Understanding and Simplifying One-Shot Architecture Search
    • Single Path One-Shot Neural Architecture Search with Uniform Sampling

新论文

此部分是读的一些新论文的记录

二、综述文献

阅读综述文献可以快速了解当下相关领域的经典方法、最新方法、未来发展方向等,是非常值得一读的。关于NAS的综述目前我找到的有以下几篇:

三、相关网站、博客