机器学习中有哪些形式简单却很巧妙的 idea？

↑↑↑点击上方蓝字，回复资料，10个G的惊喜

来源：机器学习与大数据挖掘

本文约1600字，建议阅读5分钟
本文介绍了几种企业中简单而适用的算法。

1. 异常检查算法Isolation Forest(孤立森林）

作者：桔了个仔

https://www.zhihu.com/question/347847220/answer/836019446

原理超简单，但检测效果可以说是state of the art. 对一个空间进行二分，早划分「孤立」出来的就是很可能异常的。「孤立」指的是这一边只有这一个数据点。因为是二分，我们可以构建一颗二叉树。例如下图的一棵树，第一次二分，左边有数据的a,b,c,右边只有d，那么d大概率就是异常点。为啥？想想你画一条线，把一把米分成了两边，左边只有一粒，那左边那粒很可能是离其他米粒很远。 

为了更直观，有更多一步了解，请看下图，直觉上我们就知道 [公式] 是普通点， [公式] 是异常点。那么用Isolation tree怎么解释呢？

如果要把xi孤立出来，需要很11次划线，而x0需要的次数要少很多。所以x0比xi更可能是异常点。一棵树不够可信？没事，记得随机森林random forest不？没错，这里也引进一堆树。如果多数的树都在前几次分割时分出同一个点，那么这个点是异常点的概率就非常高了。

可以看到，树的数量（横轴）超过10时，平均分割次数（纵轴）就收敛了。从这个图我们可以看出，某个点x0 被「孤立」前，平均分割次数低于5，那么x0就是异常点。

原理是不是超级简单呢。如果想了解更多数学上的原理，可以参考下面的参考文献。

参考文献：

https://cs.nju.edu.cn/zhouzh/zhouzh.files/publication/icdm08b.pdf

2. word2vec

作者：苘郁蓁

https://www.zhihu.com/question/347847220/answer/881216785 

2013年Mikolov的神作word2vec，目前两篇paper的引用量已经达到15669和12670了！这个工作属于nlp预训练和graph embedding的里程碑，而且思想还贼好理解。

word2vec的思想可以简单的归结为一句话：利用海量的文本序列，根据上下文单词预测目标单词共现的概率，让一个构造的网络向概率最大化优化，得到的参数矩阵就是单词的向量。

具体来说，对于Skip-Gram模型，就是给定句子中一个特定的词（input word），随机选它附近的一个词，网络的目标是预测选到这个附近词的概率。而对于CBOW模型则相反。而对于一个单词，先作one-hot，乘以参数矩阵，就得到了单词的向量表示，一图胜千言： 

更加细致的negative sampling和hierarchical softmax都是针对训练问题的优化，但这一思想的本质就是很简单优雅。

举个简单的例子：词表大小为9的一段文本序列one-hot，乘以一个参数矩阵（蓝色部分），做均值pooling，乘以一个参数矩阵然后经过softmax层得到对应目标单词的概率向量（最后的红色部分），向量维度为词表大小，再根据ground truth反向传播优化参数矩阵，最后得到的就是类似图1的参数矩阵，列为词表大小9，行为词向量的维度4（注意：参数矩阵方向跟图1反过来了）。 

word2vec在nlp领域的应用就不用说了，目前已经成为所有nlp模型的标配步骤。

更令我吃惊的是它在其他领域的遍地开花。这里整理一下最近几年在其他领域的embedding工作合集，全部是顶会！全部都有落地！就是这么简单粗暴而优雅！

3. 成分分析（Principal components analysis，PCA）

作者：Evan

https://www.zhihu.com/question/347847220/answer/871450361

4. Residual learning

作者：我爱吃三文鱼  

https://www.zhihu.com/question/347847220/answer/854604632

Kaiming大神的Residual learning： 

形式：y = f(x) + x

影响了后续的3万份研究工作。

5. SVM

作者：Cuute

https://www.zhihu.com/question/347847220/answer/874707947

我不知道svm的形式算不算简单，但是从图上来讲很直观。

这个小东西是上个世纪六七十年代就已经提出来的一个想法。通过不同类别分界的某些点来画出一个分割面，进而实现了分类。很像夹逼定理。

svm的精巧在于这个想法，是一个很自然的方法，不用数学光看图就能看出来的一个方法。并且能很自然的去发散。

比如说，图中的两个类别的边界极其明显，是一个线性的边界。但是一定会存在这样的两类点，不能在当前的平面上使用一个线性的分类来解决。那么如果这些点只是三维向二维平面的投影呢？

如果这两类点是有高度差的，那么是不是有可能还会找到一个分界面在三维空间进行分类？

三维找不到，那会不会是四维……

于是，我们引出了核方法。

最后，你觉得机器学习中有哪些形式简单却又很巧妙的 idea？欢迎留言评论~

原文链接：

https://www.zhihu.com/question/347847220

也可以加一下老胡的微信
围观朋友圈~~~

推荐阅读
（点击标题可跳转阅读）
我爱线代，线代使我快乐
麻省理工学院计算机课程【中文版】
【清华大学王东老师】现代机器学习技术导论.pdf
机器学习中令你事半功倍的pipeline处理机制
机器学习避坑指南：训练集/测试集分布一致性检查
机器学习深度研究：特征选择中几个重要的统计学概念
老铁，三连支持一下，好吗？↓↓↓