NAS 学习笔记(二)- SMASH

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言, 谢谢

引言

  SMASH[1] 也是一种 NAS 算法,它可以加速 architecture 的搜索的过程,主要用到的技术就是一个辅助的 HyperNet,它会根据 architecture 动态的生成特定的 weights,而不是 random weights。同时,论文中还提出了一种基于 memory read-writes 的灵活机制,它可以定义各种网络连接模式。

NAS 学习笔记(一)- Google NAS

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言, 谢谢

引言

  最近开始学习 NAS,看了谷歌在 ICLR 2017 上提出的一篇 NAS[1] 算法的论文,它主要利用了通过 RNN 来生成网路模型结构,然后使用 RL 来训练这个 RNN,以此来在验证集上最大化预期的准确性。算法整体还是比较容易理解的,本文简单的记录下它的思想。

AutoML HPO 学习笔记(四)- Hyeperband

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言, 谢谢

引言

  最近阅读了提出 Hyperband[1] 算法的论文,它解决的问题主要是在 hyperparameter optimization 中如何加快 random search,途径是通过一个自适应的资源分配机制和 early-stopping 的机制,本文对它们做一些简单的记录,原文中有许多章节在进行数学推理,这里我们这边就不介绍了,主要还是记录下它的思想。

AutoML HPO 学习笔记(三)- SMAC

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言, 谢谢

引言

  最近阅读了提出 SMAC[1] 算法的论文,本文简单的对 SMAC 做一些记录,SMAC 是一种基于 SMBO 的参数选择算法,它也是第一个可以处理类别参数的算法,很适合 CASH 算法。与 TPE 等算法不同的是,它是基于 random forest regression 的。

AutoML HPO 学习笔记(二)- Hyperopt 和 TPE

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言, 谢谢

引言

  Hyperopt[2] 是一个可以自动挑选模型和超参的 python 库,最近看了它的开发者在2011发表的原始论文[1],Hyperopt挑选模型和参数主要利用了 random search 和 TPE 两种搜索方法,前者很简单,本文就不说了,这篇文章记录记录 TPE 的思想,它主要也是基于 GP 和 Bayes optimization 的。

Ensemble Selection 笔记

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言, 谢谢

引言

  最近参加了一个AutoML的比赛,在集成的地方花了挺多的功夫,没想到集成方法居然和康奈尔大学2004年发表的一篇论文有点类似,其中提出了 Ensemble Selection 的集成方法,和我想的有异曲同工之处,但是人家想的要比我完善的多,所以记录下,这篇康奈尔大学的论文也可以说是集成学习的入门之作了。

AutoML HPO 学习笔记(一)- 贝叶斯优化

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言, 谢谢

引言

  最近开始入门AutoML,说到AutoML,就要说到调参,说到调参,就要说到贝叶斯优化,本文记录了一些关于贝叶斯优化的知识点,主要通过了Refer中的三篇论文来进行学习。

读《自私的基因》--父母为啥总是无私的

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言, 谢谢

  读完了理查德·道金斯的《自私的基因》,作者是英国著名的演化理论学者,很显然他也是个达尔文主义者。这本书著于1976年,书中的某些观点到现在似乎已经成了常识,但是阅读完了整本书还是感觉挺醍醐灌顶,振聋发聩的。

您是第 位小伙伴 | 本站总访问量 | 已经写了 646.6k 字啦

载入天数...载入时分秒...