提升树（Boosting tree）算法总结
本文是综合了之前的以往多个笔记汇总而成，内容包含：
一、Boosting基本概念
二、前向分步加法模型
1. 加法模型
2. 前向分步算法
三、AdaBoost
1. 算法解析
2. 模型构建
3. 算法缺点
四、二叉分类树
五、回归分类树
1. 算
...
XGBoost算法学习总结
发表于
|
分类于
Algorithm
一、XGBoost原理详解前面介绍了提升树算法，其实 XGBoost 就是一种特殊的提升树算法，准确的说它是一种梯度提升决策树（GBDT ，Gradient Boosting Decision Trees）。GBDT 与前面介绍的提升树方法主要的区别就是利用损失函数的负梯度在当前模型的值作为回归问
...
XGBoost简单案例实现
发表于
|
分类于
MachineLearning
XGBoost案例本文中，我们用到印第安人发病的糖尿病数据集。右键点击下载
该数据集由8个描述患者医疗细节的输入变量和一个输出变量组成，以指示患者是否会在5年内发生糖尿病。
对于第一个XGBoost模型来说，这是一个很好的数据集，因为所有的输入变量都是数值型的，是一个简单的二元分类问题。
1pip3
...
AdaBoost提升树学习笔记
发表于
|
分类于
Algorithm
提升方法-AdaBoost提升树学习笔记作为非数学专业出身看到密密麻麻的数学公式刚开始真的是非常头疼。算法的物理逻辑的时候尚能理解，但是涉及到具体的数学公式实现就开始懵逼了：为什么要用这个公式，这个公式是怎么推到的，这个公式达到什么样的效果？这里结合自己的理解和画图，用最直白的语言对每个公式作用进
...
牛顿法、拟牛顿法、高斯-牛顿法、共轭梯度法推导总结
发表于
|
分类于
Algorithm
前言：线性最小二乘问题，我们可以通过理论推导可以得到其解析解，但是对于非线性最小二乘问题，则需要依赖迭代优化的方法，牛顿算法是解决非线性最优的常见算法之一。最近整理了几篇关于牛顿法及其优化算法都不甚满意，网上大多相关技术博客很多是拼凑起来的，多数不全面（某些推导中间过程被省略），或者数学公式的符号
...
梯度下降、随机梯度下降、批量梯度下降
发表于
|
分类于
Algorithm
引言李航老师在《统计学习方法》中将机器学习的三要素总结为：模型、策略和算法。其大致含义如下：
模型：其实就是机器学习训练的过程中所要学习的条件概率分布或者决策函数。
策略：就是使用一种什么样的评价，度量模型训练过程中的学习好坏的方法，同时根据这个方法去实施的调整模型的参数，以期望训练的模型将来对未
...
KNN——不需要学习的算法
发表于
|
分类于
Algorithm
KNN——不需要学习的算法概述KNN（K-Nearest Neighbor）算法是机器学习中算法中最基础和简单的算法之一。它既能用于分类，也能用于回归。本文将在不同的小节详细地介绍 KNN 算法在分类和回归两种任务下的运用原理。
KNN 算法的思想非常简单：对于任意的 n 维输入向量，其对应于特征
...
Spark SQL 基础框架和核心组件
发表于
|
分类于
Spark
Spark SQL 基础框架和核心组件今天被问到Spark Sql和Dataframe的关系，当时没有描述好。事后脑海中关于它们的一些细节才一一涌现出来。还是理解的不够深刻，所以这里重新做下相关概念知识的整理也算是一种复习。
1. Spark SQL发展史在Spark的早期版本，为什么解决Hive
...
Spark ML - 聚类算法
发表于
|
分类于
MachineLearning
Spark ML - 聚类算法1.KMeans快速聚类首先到UR需要的包：
12import org.apache.spark.ml.clustering.{KMeans,KMeansModel}import org.apache.spark.ml.linalg.Vectors
...