集成算法(Ensemble Algorithms)
决策树算法(Decision Tree Algorithm)
回归(Regression)
人工神经网络(Artificial Neural Network)
深度学习(Deep Learning)
支持向量机(Support Vector Machine)
降维算法(Dimensionality Reduction Algorithms)
聚类算法(Clustering Algorithms)
基于实例的算法(Instance-based Algorithms)
贝叶斯算法(Bayesian Algorithms)
关联规则学习算法(Association Rule Learning Algorithms)
图模型(Graphical Models)
一、正则化算法(Regularization Algorithms)
它是另一种方法(通常是回归方法)的拓展,这种方法会基于模型复杂性对其进行惩罚,它喜欢相对简单能够更好的泛化的模型。
例子:
岭回归(Ridge Regression)
最小绝对收缩与选择算子(LASSO)
GLASSO
弹性网络(Elastic Net)
最小角回归(Least-Angle Regression)
优点:
其惩罚会减少过拟合
总会有解决方法
缺点:
惩罚会造成欠拟合
很难校准
二、集成算法(Ensemble algorithms)
该算法主要的问题是要找出哪些较弱的模型可以结合起来,以及结合的方法。这是一个非常强大的技术集,因此广受欢迎。
Boosting
Bootstrapped Aggregation(Bagging)
AdaBoost
层叠泛化(Stacked Generalization)(blending)
梯度推进机(Gradient Boosting Machines,GBM)
梯度提升回归树(Gradient Boosted Regression Trees,GBRT)
随机森林(Random Forest)
优点:
当先最先进的预测几乎都使用了算法集成。它比使用单个模型预测出来的结果要精确的多
缺点:
需要大量的维护工作
三、决策树算法(Decision Tree Algorithm)
决策树学习使用一个决策树作为一个预测模型,它将对一个%20item(表征在分支上)观察所得映射成关于该%20item%20的目标值的结论(表征在叶子中)。
树模型中的目标是可变的,可以采一组有限值,被称为分类树;在这些树结构中,叶子表示类标签,分支表示表征这些类标签的连接的特征。
例子:
分类和回归树(Classification%20and%20Regression%20Tree,CART)
Iterative%20Dichotomiser%203(ID3)
C4.5%20和%20C5.0(一种强大方法的两个不同版本)
优点:
容易解释
非参数型
缺点:
趋向过拟合
可能或陷于局部最小值中
没有在线学习
四、回归(Regression)算法
回归算法是统计学中的主要算法,它已被纳入统计机器学习。
例子:
普通最小二乘回归(Ordinary Least Squares Regression,OLSR)
线性回归(Linear Regression)
逻辑回归(Logistic Regression)
逐步回归(Stepwise Regression)
多元自适应回归样条(Multivariate Adaptive Regression Splines,MARS)
本地散点平滑估计(Locally Estimated Scatterplot Smoothing,LOESS)
优点:
直接、快速
知名度高
缺点:
要求严格的假设
需要处理异常值
五、人工神经网络
它是一种模式匹配,常被用于回归和分类问题,但拥有庞大的子域,由数百种算法和各类问题的变体组成。
例子:
感知器
反向传播
Hopfield 网络
径向基函数网络(Radial Basis Function Network,RBFN)
优点:
在语音、语义、视觉、各类游戏(如围棋)的任务中表现极好
算法可以快速调整,适应新的问题
缺点:
需要大量数据进行训练
训练要求很高的硬件配置
模型处于「黑箱状态」,难以理解内部机制
元参数(Metaparameter)与网络拓扑选择困难。
六、深度学习(Deep Learning)
众多研究者目前的方向主要集中于构建更大、更复杂的神经网络,目前有许多方法正在聚焦半监督学习问题,其中用于训练的大数据集只包含很少的标记。
例子:
深玻耳兹曼机(Deep Boltzmann Machine,DBM)
Deep Belief Networks(DBN)
卷积神经网络(CNN)
Stacked Auto-Encoders
优点/缺点:见神经网络
七、支持向量机(Support Vector Machines)
SVM 模型将训练事例表示为空间中的点,它们被映射到一幅图中,由一条明确的、尽可能宽的间隔分开以区分两个类别。
随后,新的示例会被映射到同一空间中,并基于它们落在间隔的哪一侧来预测它属于的类别。
优点:
在非线性可分问题上表现优秀
缺点:
非常难以训练
很难解释
八、降维算法(Dimensionality Reduction Algorithms)
和集簇方法类似,降维追求并利用数据的内在结构,目的在于使用较少的信息总结或描述数据。
这一算法可用于可视化高维数据或简化接下来可用于监督学习中的数据。许多这样的方法可针对分类和回归的使用进行调整。
例子:
主成分分析(Principal Component Analysis (PCA))
主成分回归(Principal Component Regression (PCR))
偏最小二乘回归(Partial Least Squares Regression (PLSR))
Sammon 映射(Sammon Mapping)
多维尺度变换(Multidimensional Scaling (MDS))
投影寻踪(Projection Pursuit)
线性判别分析(Linear Discriminant Analysis (LDA))
混合判别分析(Mixture Discriminant Analysis (MDA))
二次判别分析(Quadratic Discriminant Analysis (QDA))
灵活判别分析(Flexible Discriminant Analysis (FDA))
优点:
可处理大规模数据集
无需在数据上进行假设
缺点:
难以搞定非线性数据
难以理解结果的意义
九、聚类算法(Clustering Algorithms)
例子:
K-均值(k-Means)
k-Medians 算法
Expectation Maximi 封层 ation (EM)
十、最大期望算法(EM)
优点:
让数据变得有意义
缺点:
结果难以解读,针对不寻常的数据组,结果可能无用。
十一、基于实例的算法(Instance-based Algorithms)
之所以叫基于实例的算法是因为它直接从训练实例中建构出假设。这意味这,假设的复杂度能随着数据的增长而变化:最糟的情况是,假设是一个训练项目列表,分类一个单独新实例计算复杂度为%20O(n)
例子:
K%20最近邻(k-Nearest%20Neighbor%20(kNN))
学习向量量化(Learning%20Vector%20Quantization%20(LVQ))
自组织映射(Self-Organizing%20Map%20(SOM))
局部加权学习(Locally%20Weighted%20Learning%20(LWL))
优点:
算法简单、结果易于解读
缺点:
内存使用非常高
计算成本高
不可能用于高维特征空间
十二、贝叶斯算法(Bayesian%20Algorithms)
例子:
朴素贝叶斯(Naive Bayes)
高斯朴素贝叶斯(Gaussian Naive Bayes)
多项式朴素贝叶斯(Multinomial Naive Bayes)
平均一致依赖估计器(Averaged One-Dependence Estimators (AODE))
贝叶斯信念网络(Bayesian Belief Network (BBN))
贝叶斯网络(Bayesian Network (BN))
优点:
快速、易于训练、给出了它们所需的资源能带来良好的表现
缺点:
如果输入变量是相关的,则会出现问题
十三、关联规则学习算法(Association Rule Learning Algorithms)
例子:
Apriori 算法(Apriori algorithm)
Eclat 算法(Eclat algorithm)
FP-growth
图模型(Graphical Models)
图模型或概率图模型(PGM/probabilistic graphical model)是一种概率模型,一个图(graph)可以通过其表示随机变量之间的条件依赖结构(conditional dependence structure)。
例子:
贝叶斯网络(Bayesian network)
马尔可夫随机域(Markov random field)
链图(Chain Graphs)
祖先图(Ancestral graph)
优点:
模型清晰,能被直观地理解
缺点:
确定其依赖的拓扑很困难,有时候也很模糊。