Spark Shuffle调研笔记

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言, 谢谢

引言

  我们都知道shuffle是Spark的一个性能瓶颈,shuffle的性能高低直接影响了整个程序的性能和吞吐量,本文就记录下Spark Shuffle的相关实现思想,并记录下与Hadoop Shuffle的区别。

常见连续随机变量的概率密度函数,均值和方差

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言, 谢谢

引言

  之前写过常见离散随机变量的分布列,均值和方差,今天记录下一些常见的连续随机变量的概率密度函数(Probability Density Function,PDF),期望(mean)和方差(variance)。

主成分分析(Principle Component Analysis, PCA)浅谈

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言, 谢谢

引言

  PCA,Principle Component Analysis,即主成分分析法,是特征降维的最常用手段,PCA能从冗余特征中提取主要成分,在不太损失模型质量的情况下,提升了模型训练速度,与LDA同样有降维的功能,本文主要记录一些它的知识点。

常见离散随机变量的分布列,均值和方差

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言, 谢谢

引言

  最近学概率论,看到了之前学到的许多离散随机变量,但是都忘记它们的均值和方差是怎么推导出来的,本文来记录一下它们的分布列(Probability Mass Function, PMF,也称概率质量函数),期望(mean)和方差(variance)。

一些有趣的概率问题

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言, 谢谢

引言

  最近在看国外概率论的教材,书中提到很多有趣的概率问题,其中很对是和我的直观感受不相符的,概率真的挺有趣的,所以记录一下。

读《荒诞医学史》--医学的进步

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言, 谢谢

  读完了莉迪亚•康和内特•彼得森的《荒诞医学史》,两个作者一个是医学博士,一个是历史作家,可以说这本书还是比较客观的,从专业和历史的角度来说都是如次,内容详实,考证有据,读完这本书可以说让我大开眼界了,惊讶于以前人类的愚昧,更惊讶于如今医学的进步之快。

读《清教徒的礼物》--工程师文化是清教徒的精神吗

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言, 谢谢

  读完了肯尼斯·霍博的《清教徒的礼物》,这本书追溯了美国管理文化在三个世纪的时间内的起源及特性,美国在这三个世纪的取得的成功众所周知,作者试图找到这个成功的源头,第一批从欧洲移民的美国殖民者,同时他们也是清教徒,而作者看来成功的原因也就是这个民族他们的纪律及精神特质。

读《穷查理宝典》--跨学科的知识

  |  

版权声明:本文原创,转载请留意文尾,如有侵权请留言, 谢谢

  读完了《穷查理宝典》,是查理·芒格的一些思想和语录的摘录解读,这本书里面实际上芒格谈投资的部分很少,谈到投资的地方往往一针见血,强调的是功夫在课外,谈了很多历史、文学、哲学方面,强调了我们需要跨学科的多元思维模型。

您是第 位小伙伴 | 本站总访问量 | 已经写了 609.8k 字啦

载入天数...载入时分秒...