机器学习基础笔记

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言,谢谢

引言

  机器学习也学习了一段时间了,本文总结一些机器学习经常用的知识,做一些笔记。

NAS 学习笔记(六)- Evolution NAS

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言,谢谢

引言

  最近读了一篇在 NAS 中应用Evolutionary Algorithm 的论文 [1],也是 Google Brain 提出的,它利用 NAS 搜出一个网络来解决图像分类的问题,实验效果接近达到了当时的 STOA。它用简单的构建模块和常用的初始条件设置了一个进化过程,主要思想是剔除掉人的参与,让进化算法自动的大规模构建网络架构,从非常简单的网络开始,逐渐找到越来越复杂的网络,到最后这个过程可以找到与手动设计模型性能相当的分类器。

NAS 学习笔记(五)- DARTS

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言,谢谢

引言

  DARTS [1] 是 ICLR 2019 上的一篇关于 NAS 的论文,如我们前几篇文章提到的,大多数 NAS 算法是使用 RL 算法或 Evolution 算法进行结构搜索,把它们当做 black box 优化问题,然而这样的话的 search space 是离散的,搜索非常耗时了。DARTS 试图解决这个问题,提出了一种新的网络搜索算法,它的 search space 是连续的,在搜索过程中它通过在验证集上验证,然后使用梯度下降算法来完成搜索。实验也表明了 DARTS 进行网络架构搜索的计算开销要比普通网络架构算法小几个量级,但搜索得到的网络结构却仍能和之前 SOTA 算法几乎持平。同时它的泛化能力也很好,不仅可以用于 CNN 结构的搜索,还可以用于 RNN 结构的搜索。本文对它作一个简单的记录。

NAS 学习笔记(四)- One-Shot Architecture Search

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言,谢谢

引言

  最近看了 Google Brain 关于 One-Shot Architecture Search [1],这里的 One-Shot 和人脸识别里的 One-Shot 网络 Siamese 还不太一样,这里的 One-Shot model 指的主要是 weights sharing。我们之前提到的 SMASH 和 ENAS 都是 One-Shot 的,这篇论文也就是解释了为什么 One-Shot model 中的 weights 能被众多不同的 architecture 共享,并且是有效的。

NAS 学习笔记(三)- ENAS

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言,谢谢

引言

  ENAS[1] 是一种由 Google 提出的 NAS 算法,与之前我们所说的 NAS 和 SMASH 相比,它进一步了算力成本,将算力成本减少 1000 倍以上,仅用一块英伟达 GTX 1080Ti 显卡,就能在 16 个小时之内完成搜索。其中主要用到的思想是利用 policy gradient 去寻找 subgraph,这个 subgraph 会在验证集上最大化 expected reward,同时在训练时这些 subgraph 的优化目标是最小化一个 canonical cross entropy loss,除此之外,ENAS 还用到了 sharing parameters 的思想。

NAS 学习笔记(二)- SMASH

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言,谢谢

引言

  SMASH[1] 也是一种 NAS 算法,它可以加速 architecture 的搜索的过程,主要用到的技术就是一个辅助的 HyperNet,它会根据 architecture 动态的生成特定的 weights,而不是 random weights。同时,论文中还提出了一种基于 memory read-writes 的灵活机制,它可以定义各种网络连接模式。

NAS 学习笔记(一)- NASNet

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言,谢谢

引言

  最近开始学习 NAS,看了谷歌在 ICLR 2017 上提出的一篇 NAS[1] 算法的论文,它主要利用了通过 RNN 来生成网路模型结构,然后使用 RL 来训练这个 RNN,以此来在验证集上最大化预期的准确性。算法整体还是比较容易理解的,本文简单的记录下它的思想。

AutoML HPO 学习笔记(四)- Hyeperband

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言,谢谢

引言

  最近阅读了提出 Hyperband[1] 算法的论文,它解决的问题主要是在 hyperparameter optimization 中如何加快 random search,途径是通过一个自适应的资源分配机制和 early-stopping 的机制,本文对它们做一些简单的记录,原文中有许多章节在进行数学推理,这里我们这边就不介绍了,主要还是记录下它的思想。

您是第 位小伙伴 | 本站总访问量 | 已经写了 605.5k 字啦

载入天数...载入时分秒...