基于改进随机森林算法的智能环境活动识别

$019年5月May $019

第45卷第5期Vol 45 No. 5-人工智能及识别技术-

计算机工程Compute Engine e ring

文章编号：1000-3428(2019)05-0149-06

文献标志码：A

中图分类号：TP391

基于改进随机森林算法的智能环境活动识别

薛铭龙，李一博

(天津大学精密仪器与光电子工程学院，天津300072)

摘要：为使智能家居系统从传感器网络返回的数据中自动识别用户行为并生成个性化服务策略，提出一种引入 惩罚项的随机森林算法$对每次迭代过程中使用的属性集设置不同的惩罚项因子,生成尽可能不同的决策树,从 而兼顾集成算法的多样性与分类精度$在UCI 、CASAS 数据集上的实验结果表明，与传统集成分类算法Bagging 、 Adaboost 相比，该算法具有更高的分类精度与噪声鲁棒性$

关键词：自动识别；集成学习；惩罚项因子；分类精度；噪声鲁棒性

中文引用格式：薛铭龙,李一博.基于改进随机森林算法的智能环境活动识别］J ］.计算机工程,$019 ,45 (5) ：149-154. 英文弓丨用格式：XUE Minglong ,LI Yibo. Intelligent environmental activity recognition based on improved random forest

algorithm ( J ). Computer Engineering ,2019 ,45 (5) : 149-154.

Intelligent Environmental Activity Recognition Based on

Improved Random Forest Algoritim

XUE Minglong ,LI Yibo

(School of Precision Insiuments and Opto-Elactronics Engineering & Tianjin University & Tianjin 300072 & China )

+ Abstract] In order to enable smart home systems to automaticdly identify user behavior and generate personalized service strategys from data returned by sensor networks , a random forest algorithm with penalty items it proposed. Different penalty factors are set to the attribute set used in each iteration to generate as different decision trees as possible , keeping the diversity and classificction accuracy of the ensemble algorithm. Experimental result on UCI and CASAS datasets show that compared with the traditional integrated classificction algorithms , Bagging and Adaboost , this algorithm has higher classificction accuracy and noise robustness.

+ Key words ] automatic recognition ； ensemble learning ； penalty factor ； classificction accuracy ； noise robustness DOI ： 10. 19678/j. issn. 1000-3428.0049940

0概述

随着智能家居系统的发展，家庭环境中出现了 越来越多的智能化设备⑴。使用合适的识别算法来

处理由传感器网络返回的大量数据，已成为当今模 式识别领域的研究热点之一$

近年来，机器学习算法中的集成学习算法受到 人们的广泛关注,如基于特征空间的随机森林 (Random Forest )算法(2)、快速旋转森林算法［3)等$ 集成学习算法较符合人们长久以来解决问题所采用 的哲学思想,即汇总多专家的意见并采取多数投票 的方式来确定最终结果$而对于集成学习算法本身 而言，“专家”的角色由各自独立的分类器所扮演$ 每个分类器自身可能不具有很高的分类精度,且容 易受到噪音的影响，但将这些个体分类器进行集成

并使用其投票结果作为最终的运行结果，往往能得 到一个精度较高、噪声鲁棒性较强的分类器,在上述 过程中，本文称其中的各分类器为基分类器$如果 “专家”能从多个角度分析问题,其投票结果相对而 言更可信，因此,多样性也是评价集成学习算法性能 优劣的标准之一$

使用决策树算法作为基分类器的集成算法又称 为决策森林算法$本文在随机森林算法的基础上，

引入惩罚项因子，提出一种PRF ( Penalized Random Forest )算法，以对智能环境中的用户活动进行分类 识别$

1相关工作

决策森林是一种集成算法［4 ］,其目的是在每次 迭代中建立精确度高、多样性强(互相关指数低)的

基金项目：天津市自然科学基金(17JCYBJC 19300)。

作者简介：薛铭龙(1994%)，男，硕士研究生，主研方向为模式识别、人工智能；李一博，副教授、博士生导师 收稿日期：2018-01-02

修回日期：2018-03-21 E-maiI ：592038647@ https://www.wendangku.net/doc/801026038.html,

生存分析-随机森林实验与代码

随机森林模型在生存分析中的应用 【摘要】目的：本文探讨随机森林方法用于高维度、强相关、小样本的生 存资料分析时，可以起到变量筛选的作用。方法：以乳腺癌数据集构建乳腺癌转 移风险评估模型为实例进行实证分析， 使用随机森林模型进行变量选择，然后拟 合cox 回归模型。 结果：随机森林模型通过对变量的选择，有效的解决数据维 度高且强相关的情况，得到了较高的 AUC 值。 一、数据说明 该乳腺癌数据集来自于NCBI ,有77个观测值以及22286个基因变量。通过 筛选选取454个基因变量。将数据随机分为训练集合测试集，其中2/3为训练集, 1/3为测试集。绘制K-M 曲线图： 二、随机森林模型 随机森林由许多的决策树组成，因为这些决策树的形成采用了随机的方法， 因此也叫做随机决策树。随机森林中的树之间是没有关联的。当测试数据进入随 机森林时，其实就是让每一颗决策树进行分类，最后取所有决策树中分类结果最 多的那类为最终的结果。因此随机森林是一个包含多个决策树的分类器， 并且其 输出的类别是由个别树输出的类别的众数而定 使用randomForestSRC 包得到的随机森林模型具有以下性质： Kaplan-Meker estlmaie wHh 95% conndence bounds S ?2 S

Number of deaths: 27 Number of trees: 800 Mini mum term inal node size: 3 Average no. of term inal no des: 14.4275 No. of variables tried at each split: 3 Total no. of variables: 452 Analysis: RSF Family: surv Splitting rule: logrank Error rate: 19.87% 发现直接使用随机森林得到的模型，预测误差很大，达到了19.8%进一步考虑使用随机森林模型进行变量选择，结果如下： > our.rf$rfsrc.refit.obj Sample size: 52 Number of deaths: 19 Number of trees: 500 Minimum terminal node size: 2 Average no. of term inal no des: 11.554 No. of variables tried at each split: 3 Total no. of variables: 9 Analysis: RSF Family: surv Splitting rule: logrank *random* Number of random split points: 10 Error rate: 11.4% > our.rf$topvars [1] "213821_s_at" "219778_at" "204690_at" "220788_s_at" "202202_s_at" [6] "211603_s_at" "213055_at" "219336_s_at" "37892_at" 一共选取了9个变量，同时误差只有11.4% 接下来，使用这些变量做cox回归，剔除模型中不显著(>0.01 )的变量，最终 参与模型建立的变量共有4个。模型结果如下： exp(coef) exp(-coef) lower .95 upper .95 '218150_at' 1.6541 0.6046 0.11086 24.6800 '200914_x_at' 0.9915 1.0086 0.34094 2.8833 '220788_s_at' 0.2649 3.7750 0.05944 1.1805 '201398_s_at' 1.7457 0.5729 0.33109 9.2038 '201719 s at' 2.4708 0.4047 0.93808 6.5081

随机森林

学习算法 根据下列算法而建造每棵树： 1. 用N 来表示训练例子的个数，M表示变量的数目。 2. 我们会被告知一个数m ，被用来决定当在一个节点上做决定时，会使用到多少个变量。m应小于M 3. 从N个训练案例中以可重复取样的方式，取样N次，形成一组训练集（即bootstrap取样）。并使用这棵树来对剩余预测其类别，并评估其误差。 4. 对于每一个节点，随机选择m个基于此点上的变量。根据这m 个变量，计算其最佳的分割方式。 5. 每棵树都会完整成长而不会剪枝（Pruning）（这有可能在建完一棵正常树状分类器后会被采用）。 优点 随机森林的优点有： 1. 对于很多种资料，它可以产生高准确度的分类器。 2. 它可以处理大量的输入变量。 3. 它可以在决定类别时，评估变量的重要性。 4. 在建造森林时，它可以在内部对于一般化后的误差产生不偏差的估计。 5. 它包含一个好方法可以估计遗失的资料，并且，如果有很大一部分的资料遗失，仍可以维持准确度。 6. 它提供一个实验方法，可以去侦测variable interactions 。 7. 对于不平衡的分类资料集来说，它可以平衡误差。 8. 它计算各例中的亲近度，对于数据挖掘、侦测偏离者（outlier）和将资料视觉化非常有用。 9. 使用上述。它可被延伸应用在未标记的资料上，这类资料通常是使用非监督式聚类。也可侦测偏离者和观看资料。 10. 学习过程是很快速的。 缺点 1. 随机森林已经被证明在某些噪音较大的分类或回归问题上会过拟 2. 对于有不同级别的属性的数据，级别划分较多的属性会对随机森林产生更大的影响，所以随机森林在这种数据上产出的属性权值是不可信的。

随机森林

随机森林 定义：随机森林是一个分类器，它有一系列的单株树决策器{h （X,，θk ）；k=1，......} 来组成,其中{θk }是独立同分布的随机变量。再输入X 时，每一棵树只投一票给它认为最合适的类。在机器学习中，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定,构成随机森林的基础分类器称为决策树。 Leo Breiman 和Adele Cutler 发展出推论出随机森林的算法。 这个术语是1995年由贝尔实验室的Tin Kam Ho 所提出的随机决策森林（random decision forests ）而来的。这个方法则是结合 Breimans 的 "Bootstrap aggregating" 想法和 Ho 的"random subspace method"" 以建造决策树的集合。 随机森林是一个组合分类器，构成随机森林的基础分类器是决策树。 决策树算法 决策树可以视为一个树状预测模型，它是由结点和有向边组成的层次结构。树中包含3个节点：根节点。内部节点，终节点（叶子节点）。决策树只有一个根节点，是全体训练集的结合。树中的每个内部节点都是一个分裂问题，它将到达该节点的样本按某个特定的属性进行分割，可以将数据集合分割成2块或若干块。每个终结点（叶子节点）是带有分裂标签的数据集合，从决策树的根节点到叶子节点的每一条路径都形成一个类；决策树的算法很多，例如ID3算法，CART 算法等。这些算法均采用自上而下的贪婪的算法，每个内部节点选择分类效果最好的属性进行分裂节点，可以分为两个或若干个子节点，继续此过程到这可决策树能够将全部训练数据准确的分类，或所有属性都被用到为止。具体步骤如下： 1)假设T 为训练样本集。 2)选择一个最能区分T 中样本的一个属性。 3)创建一个数的节点，它的值是所选择的属性，创建此节点的子节点，每个子链代表所选属性的唯一值，适用子链的值进一步将样本细分为子类。 对于3)创建的三个子类 （1）如果子类的样本满足预定义的标准，或者树的这条路的剩余可选属性集为空，为沿此路径的新的样本指定类别。 （2）如果子类不满足于定义的标准，或者至少有一个属性能细分树的路径，设T 为当前子类样本的集合，返回步骤2），以下简单的给出二分树的结构图示： 根节点 中间节点 叶节点 规则1 叶节点 规则2 中间节点

随机森林算法

随机森林算法 1.算法简介 随机森林由LeoBreiman（2001）提出，它通过自助法（bootstrap）重采样技术，从原始训练样本集N中有放回地重复随机抽取k个样本生成新的训练样本集合，然后根据自助样本集生成k个分类树组成随机森林，新数据的分类结果按分类树投票多少形成的分数而定。其实质是对决策树算法的一种改进，将多个决策树合并在一起，每棵树的建立依赖于一个独立抽取的样品，森林中的每棵树具有相同的分布，分类误差取决于每一棵树的分类能力和它们之间的相关性。特征选择采用随机的方法去分裂每一个节点，然后比较不同情况下产生的误差。能够检测到的内在估计误差、分类能力和相关性决定选择特征的数目。单棵树的分类能力可能很小，但在随机产生大量的决策树后，一个测试样品可以通过每一棵树的分类结果经统计后选择最可能的分类。 2.算法原理 决策树（decision tree）是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。 随机森林模型的基本思想是：首先，利用bootstrap抽样从原始训练集抽取k 个样本，且每个样本的样本容量都与原始训练集一样；其次，对k个样本分别建立k个决策树模型，得到k种分类结果；最后，根据k种分类结果对每个记录进行投票表决决定其最终分类，如下图所示。 在建立每一棵决策树的过程中，有两点需要注意采样与完全分裂。首先是两个随机采样的过程，random forest对输入的数据要进行行、列的采样。对于行采样，采用有放回的方式，也就是在采样得到的样本集合中，可能有重复的样本。

随机森林原理解释与其中各个参数地含义中文解释

一、RF原理解释： 首先，从给定的训练集通过多次随机的可重复的采样得到多个bootstrap 数据集。接着，对每个 bootstrap 数据集构造一棵决策树，构造是通过迭代的将数据点分到左右两个子集中实现的，这个分割过程是一个搜 索分割函数的参数空间以寻求最大信息增量意义下最佳参数的过程。然后，在每个叶节点处通过统计训练 集中达到此叶节点的分类标签的直方图经验的估计此叶节点上的类分布。这样的迭代训练过程一直执行到 用户设定的最大树深度（随机森林提出者Breiman采用的是 ntree=500 ）或者直到不能通过继续分割获取更 大的信息增益为止，网上的代码中作者都是对树的最大深度设置了最大值。 二、函数，参数的中文解释 function model = classRF_train(X,Y,ntree,mtry, extra_options) 随机森林中模型的训练 X, 表示输入的数据矩阵 Y 输出 Ntree 设置的树的数目 Mtry 的默认值为 floor(sqrt(size(X,2)) ，表示不超过矩阵X列数的二次开根值的整数。 extra_options 包含很多控制RF的项 取值为 1或0，默认值为1，表示是否做变量替换 表示预先知道的类，函数首先得到一个升序排列的标签然后给先前的类 同样的排序。 只在分类器中使用的一个向量，长度等于类的数目。对类的观察值是取 对cutoff 投票占的的最大比例的一个。 用于分层抽样 样本的长度 表示终端节点的最小值，这个参数设置得越大会使更小的树生长，耗 时更少。 判断是否需要对预测器的importance 进行评估 决定是否对casewise 的重要性度量进行计算 判别是否计算行之间的距离 判断是否计算out-of-bag 如果设定为TRUE，当随机森林运行的时候输出更多冗长的数据。如果 设置为一些整数，输出每个追踪树。 通过树的数目矩阵跟踪每个样本在树上的in-bag 。 norm_votes 统计每一类的投票数 importance 对于分类器来说是一个列数等于类别数加二，第一列计算精度下降值。在ncalss+1列表示所有类平均精度减少值。最后一列表示Gini 指数平均减小值。在随机森林用于回归的应用 中importance 表示的含义又不一样，我们只用到分类的作用，所以对回归的含义不做介绍。importanceSD 标准差 localImp 包含importance 标准化残差测量值的矩阵 ntree 生长的树的数目 mtry 在每一个分裂节点处样本预测器的个数。 Votes 一个矩阵，行表示每一个输入数据点，列表示每一类，记录投票数。 Proximity 如果proximity=TRUE 表示随机森林被调用。

随机森林原理解释及其中各个参数的含义中文解释

随机森林原理解释及其中各个参数的含义中文 解释 The document was finally revised on 2021

一、RF原理解释： 首先，从给定的训练集通过多次随机的可重复的采样得到多个 bootstrap 数据集。接着，对每个bootstrap 数据集构造一棵决策树，构造是通过迭代的将数据点分到左右两个子集中实现的，这个分割过程是一个搜索分割函数的参数空间以寻求最大信息增量意义下最佳参数的过程。然后，在每个叶节点处通过统计训练集中达到此叶节点的分类标签的直方图经验的估计此叶节点上的类分布。这样的迭代训练过程一直执行到用户设定的最大树深度（随机森林提出者Breiman采用的是ntree=500）或者直到不能通过继续分割获取更大的信息增益为止，网上的代码中作者都是对树的最大深度设置了最大值。 二、函数，参数的中文解释 function model = classRF_train(X,Y,ntree,mtry, extra_options) 随机森林中模型的训练 X,表示输入的数据矩阵 Y输出 Ntree 设置的树的数目 Mtry的默认值为 floor(sqrt(size(X,2))，表示不超过矩阵X列数的二次开根值的整数。 extra_options 包含很多控制RF的项 取值为1或0，默认值为1，表示是否做变量替换 表示预先知道的类，函数首先得到一个升序排列的标签然后给先前的类同样的排序。 只在分类器中使用的一个向量，长度等于类的数目。对类的观察值是取对cutoff投票占的的最大比例的一个。 用于分层抽样 样本的长度 表示终端节点的最小值，这个参数设置得越大会使更小的树生长，耗时更少。 判断是否需要对预测器的importance进行评估 决定是否对casewise的重要性度量进行计算 判别是否计算行之间的距离 判断是否计算out-of-bag 如果设定为TRUE，当随机森林运行的时候输出更多冗长的数据。如果设置为一些整数，输出每个追踪树。 通过树的数目矩阵跟踪每个样本在树上的in-bag。 norm_votes 统计每一类的投票数 importance 对于分类器来说是一个列数等于类别数加二，第一列计算精度下降值。在ncalss+1列表示所有类平均精度减少值。最后一列表示Gini指数平均减小值。在随机森林用于回归的应用中importance表示的含义又不一样，我们只用到分类的作用，所以对回归的含义不做介绍。importanceSD 标准差 localImp 包含importance标准化残差测量值的矩阵 ntree 生长的树的数目 mtry 在每一个分裂节点处样本预测器的个数。 Votes 一个矩阵，行表示每一个输入数据点，列表示每一类，记录投票数。 Proximity 如果proximity=TRUE表示随机森林被调用。 Combine 把树结合起来

随机森林

随机森林 基础内容： 这里只是准备简单谈谈基础的内容，主要参考一下别人的文章，对于随机森林与GBDT，有两个地方比较重要，首先是information gain，其次是决策树。这里特别推荐Andrew Moore大牛的Decision Trees Tutorial，与Information Gain Tutorial。Moore的Data Mining Tutorial系列非常赞，看懂了上面说的两个内容之后的文章才能继续读下去。 决策树实际上是将空间用超平面进行划分的一种方法，每次分割的时候，都将当前的空间一分为二，比如说下面的决策树： 就是将空间划分成下面的样子： 这样使得每一个叶子节点都是在空间中的一个不相交的区域，在进行决策的时候，会根据输入样本每一维feature的值，一步一步往下，最后使得样本落入N个区域中的一个（假设有N个叶子节点） 随机森林(Random Forest):

随机森林是一个最近比较火的算法，它有很多的优点： ?在数据集上表现良好 ?在当前的很多数据集上，相对其他算法有着很大的优势 ?它能够处理很高维度（feature很多）的数据，并且不用做特征选择 ?在训练完后，它能够给出哪些feature比较重要 ?在创建随机森林的时候，对generlization error使用的是无偏估计 ?训练速度快 ?在训练过程中，能够检测到feature间的互相影响 ?容易做成并行化方法 ?实现比较简单 随机森林顾名思义，是用随机的方式建立一个森林，森林里面有很多的决策树组成，随机森林的每一棵决策树之间是没有关联的。在得到森林之后，当有一个新的输入样本进入的时候，就让森林中的每一棵决策树分别进行一下判断，看看这个样本应该属于哪一类（对于分类算法），然后看看哪一类被选择最多，就预测这个样本为那一类。 在建立每一棵决策树的过程中，有两点需要注意- 采样与完全分裂。首先是两个随机采样的过程，random forest对输入的数据要进行行、列的采样。对于行采样，采用有放回的方式，也就是在采样得到的样本集合中，可能有重复的样本。假设输入样本为N个，那么采样的样本也为N个。这样使得在训练的时候，每一棵树的输入样本都不是全部的样本，使得相对不容易出现over-fitting。然后进行列采样，从M 个feature中，选择m个(m << M)。之后就是对采样之后的数据使用完全分裂的方式建立出决策树，这样决策树的某一个叶子节点要么是无法继续分裂的，要么里面的所有样本的都是指向的同一个分类。一般很多的决策树算法都一个重要的步骤- 剪枝，但是这里不这样干，由于之前的两个随机采样的过程保证了随机性，所以就算不剪枝，也不会出现over-fitting。 按这种算法得到的随机森林中的每一棵都是很弱的，但是大家组合起来就很厉害了。我觉得可以这样比喻随机森林算法：每一棵决策树就是一个精通于某一个窄领域的专家（因为我们从M个feature中选择m让每一棵决策树进行学习），这样在随机森林中就有了很多个精通不同领域的专家，对一个新的问题（新的输入数据），可以用不同的角度去看待它，最终由各个专家，投票得到结果。 随机森林的过程请参考Mahout的random forest。这个页面上写的比较清楚了，其中可能不明白的就是Information Gain，可以看看之前推荐过的Moore的页面。

数据挖掘之随机森林算法实验报告

太原师范学院 实验报告 Experimentation Report of Taiyuan Normal University 系部计算机系年级大三课程大数据分析 姓名XXX 同组者日期 项目数据挖掘之随机森林算法 一、实验目的 1.了解随机森林。随机森林就是通过集成学习的思想将多棵树 集成的一种算法，它的基本单元是决策树，而它的本质属于 机器学习的一大分支——集成学习（Ensemble Learning）方 法。 2.掌握随机森林的相关知识，信息、熵、信息增益等的概念。 3.掌握随机森林中数据分析的几种基本方法，决策树算法， CART算法等。 4.了解集成学习的定义和发展。 5.掌握随机森林的生成规则，随机森林的生成方法，随机森林 的特点等相关知识。 二、实验内容 1.结合老师上课所讲内容及课本知识，通过查找相关资料，

学习与决策树，随机森林相关的知识。 2.查找相关例题，深入理解随机森林的各种算法。 3.找一个数据集，利用随机森林的相关算法训练随机森林， 对样本进行判段并计算其判断的准确度。 三、实验仪器及平台 计算机一台MATLAB 2018a 四、实验原理 1.随机森林的基本概念： 通过集成学习的思想将多棵树集成的一种算法，它的基本单 元是决策树，而它的本质属于机器学习的一大分支——集成 学习（Ensemble Learning）方法。随机森林的名称中有两个 关键词，一个是“随机”，一个就是“森林”。“森林”我们 很好理解，一棵叫做树，那么成百上千棵就可以叫做森林了， 这样的比喻还是很贴切的，其实这也是随机森林的主要思想 --集成思想的体现。 2.决策树 2.1信息、熵、信息增益 这三个基本概念是决策树的根本，是决策树利用特征来分类 时，确定特征选取顺序的依据。 2.2决策树算法 决策树算法是一种逼近离散函数值的方法。它是一种典型的分类方法，首先对数据进行处理，利用归纳算法生成可

随机森林算法介绍及R语言实现

随机森林算法介绍及R语言实现 随机森林算法介绍 算法介绍： 简单的说，随机森林就是用随机的方式建立一个森林，森林里面有很多的决策树，并且每棵树之间是没有关联的。得到一个森林后，当有一个新的样本输入，森林中的每一棵决策树会分别进行一下判断，进行类别归类（针对分类算法），最后比较一下被判定哪一类最多，就预测该样本为哪一类。 随机森林算法有两个主要环节：决策树的生长和投票过程。 决策树生长步骤： 1.从容量为N的原始训练样本数据中采取放回抽样方式(即bootstrap取样) 随机抽取自助样本集，重复k（树的数目为k）次形成一个新的训练集N，以此生成一棵分类树； 2.每个自助样本集生长为单棵分类树，该自助样本集是单棵分类树的全部训 练数据。设有M个输入特征，则在树的每个节点处从M个特征中随机挑选m(m < M)个特征，按照节点不纯度最小的原则从这m个特征中选出一个特征进行分枝生长，然后再分别递归调用上述过程构造各个分枝，直到这棵树能准确地分类训练集或所有属性都已被使用过。在整个森林的生长过程中m将保持恒定； 3.分类树为了达到低偏差和高差异而要充分生长，使每个节点的不纯度达到 最小，不进行通常的剪枝操作。 投票过程： 随机森林采用Bagging方法生成多个决策树分类器。 基本思想： 1.给定一个弱学习算法和一个训练集，单个弱学习算法准确率不高，可以视 为一个窄领域专家； 2.将该学习算法使用多次，得出预测函数序列，进行投票，将多个窄领域专 家评估结果汇总，最后结果准确率将大幅提升。 随机森林的优点： ?可以处理大量的输入变量; ?对于很多种资料，可以产生高准确度的分类器; ?可以在决定类别时，评估变量的重要性; ?在建造森林时，可以在内部对于一般化后的误差产生不偏差的估计;

利用地表反射信号和随机森林回归算法预测土壤水分的方法与制作流程

本技术属于土壤含水量预测技术领域，具体涉及一种利用地表反射信号和随机森林回归算法预测土壤水分的方法，通过根据获取的不同土壤样本区域的地表反射率和卫星高度角，以及样本区域的土壤湿度数据，训练并建立随机森林算法模型；获取待检测区域的土壤类型以及地表反射率和卫星高度角，将待检测区域地表反射率和卫星高度角输入随机森林算法模型，获取待检测区域的预测土壤湿度。本技术提供的利用卫星反射信号和随机森林回归算法的土壤湿度检测方法，其能够通过卫星提供的全天候，广覆盖，持续稳定的信号源，结合机器学习中的随机森林算法，对大面积以及遥感数据缺失的未知区域进行的较为精确的土壤湿度预测。 权利要求书 1.一种利用地表反射信号和随机森林回归算法预测土壤水分的方法，其特征在于，包括以下步骤： 获取多个不同土壤样本区域的地表反射率、卫星高度角和土壤湿度数据； 根据获取的不同土壤样本区域的地表反射率和卫星高度角，以及样本区域的土壤湿度数据，训练并建立随机森林算法模型； 获取待检测区域的土壤类型以及地表反射率和卫星高度角，将待检测区域地表反射率和卫星高度角输入随机森林算法模型，获取待检测区域的预测土壤湿度。 2.根据权利要求1所述的利用地表反射信号和随机森林回归算法预测土壤水分的方法，其特

征在于，所述样本区域地表反射率和卫星高度角作为训练随机森林算法模型的输入样本，所述样本区域的土壤湿度数据作为训练随机森林算法模型的输出样本。 3.根据权利要求1所述的利用地表反射信号和随机森林回归算法预测土壤水分的方法，其特征在于，样本区域的地表反射率和卫星高度角的获取方法为：采用卫星信号接收系统同时接收直接信号和来自于地面的反射信号，以及卫星的高度角信息，并根据接收到的直接信号和来自与地面的反射信号计算出地表反射率。 4.根据权利要求2所述的利用地表反射信号和随机森林回归算法预测土壤水分的方法，其特征在于，对所述地表反射率进行进一步校正，所述校正方法为采用接收从湖面或者河流反射来的卫星信号进行校正。 5.根据权利要求2所述的利用地表反射信号和随机森林回归算法预测土壤水分的方法，其特征在于，若搭建的接收系统只接收了地面的反射信号，则输入的用来训练并建立随机森林算法模型的变量为：地表反射信号功率，卫星高度角，系统噪声功率，接收增益。 6.根据权利要求1-5任一项所述的利用地表反射信号和随机森林回归算法预测土壤水分的方法，其特征在于，用来训练及建立随机森林预测模型的数据均为来自样本区域的实地数据。 7.根据权利要求 1所述的利用地表反射信号和随机森林回归算法预测土壤水分的方法，其特征在于，采用自行仿真建立的土壤数据库训练及建立随机森林预测模型，包括如下步骤： 生成地表反射率的仿真数据，模拟区间为（0，0.8），生成卫星高度角的模拟区间为（45°，90°）； 求解仿真数据对应的土壤介电常数，将生成的地表反射率和卫星高度角两组仿真数据输入公式一，并联合菲涅尔方程进行求解获得相应的土壤介电常数： 公式一： 公式一中，代表地表反射率，是左旋极化地表反射系数，是水平极化反射系数，是垂直极

随机森林实验报告

随机森林实验报告 实验目的 实现随机森林模型并测试。 实验问题 Kaggle第二次作业Non-linear classification 算法分析与设计 一．算法设计背景: 1.随机森林的原子分类器一般使用决策树，决策树又分为拟合树和分类树。这两者的区别在于代价估值函数的不同。 2.根据经验，用拟合树做分类的效果比分类树略好。 3.对于一个N分类问题,它总是可以被分解为N个2分类问题，这样分解的好处是其决策树更加方便构造，更加简单，且更加有利于用拟合树来构建分类树。对于每一个2分类问题，构造的树又叫CART树，它是一颗二叉树。 4.将N个2分类树的结果进行汇总即可以得到多分类的结果。 树构造：

6.随机森林构造： 二．算法思路： 将一个N分类问题转化为N个二分类问题。转化方法是：构造N棵二叉拟合树，这里假设N为26，然后我们给N棵二叉树依次标号为1，2，3...26。1号树的结果对应于该条记录是不是属于第一类，是则输出1，否则输出号树的结果对应于该条记录是不是属于第二类，是则1否则0，依此类推。这样，我们的26棵二叉树的结果就对应了26个下标。 例如对于某条记录，这26个二叉树的结果按序号排列为{0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，...1,0}，那么这条记录的分类应该为25。要将一个26维的0，1序列变回

一个索引，我们只需要找出这个序列中值最大的元素的索引，这个索引即是序列号。 我们将上面的26棵分别对26个索引做是否判断的二分类树视为一个整体，在多线程的环境下，构造多个这样的整体，然后进行求和运算，最后取出每个结果序列中值最大的元素的下标作为分类值，那么久得到了我们想要的结果，随机森林完成。 三．算法流程： 1.读入训练集trainset,测试集testset 2.将训练集分割为输入trainIn,输出trainOut 3.这里假设类别数N为26，将trainOut[记录条数] 映射为 transformTrainOut[训练记录数][26] 4.初始化transformTestOut[测试记录数][26]全部为0 i = 1 : ForestSize: 策树 在这里，我们每一次26分类是由26棵CART共同完成的，CART的cost function采用的是gini系数，CART的最大层数为7，分裂停止条件为当前节点GINI为0或者当前节点所在层数到达了7. 2.随机森林 a.随机森林每次循环的训练集采样为原训练集的. b.对于森林中每一棵决策树每一次分割点的选取，对属性进行了打乱抽样，抽样数为25，即每次分割只在25个属性中寻找最合适的值。并且对于每个选取的属性，我们进行了行采样。即如果这个属性所拥有的属性值数大于30，我们选取其中30个作为分割候选，如果小于30，则全部纳入分割候选。 四．代码详解 1.训练集/测试集的读入 a.在中定义了：

随机森林与逻辑回归模型在违约预测中的应用

2016年第21期 信息与电脑 China Computer&Communication 计算机工程应用技术 随机森林与逻辑回归模型在违约预测中的应用 刘开元 （广州大学 计算机科学与教育软件学院，广东 广州 510006） 摘　要：近几年来随着国家经济以及汽车消费信贷市场的发展，贷款违约问题逐渐成为各家信贷机构关注的焦点。目前，汽车信贷违约预测的方法还不够完善，为了建立起一套行之有效的模型，笔者通过将随机森林组合算法与逻辑回归相结合，对某商业银行的汽车信贷数据进行分析，构建了一个易于解释且实用的违约判别模型。 关键词：随机森林；逻辑回归；违约预测；汽车贷款 中图分类号：P642.22 文献标识码：A 文章编号：1003-9767（2016）21-111-02 １　引言 21世纪初，车辆信贷市场在国内打开，许多银行预感汽车信贷的获利机遇，纷纷开始进入车贷市场。在接下来的几年里，车辆信贷业务发展迅猛，仅仅两年多的时间里，银行车辆信贷业务增加了数倍，据统计，仅2003年车贷额就增加30亿左右，平均每月增加2亿至3亿，最多的月增加达到6亿多。2003年底，上海一个市的银行发放汽车贷款超过80亿。然而在车贷市场迅猛发展的同时，车贷违约问题逐渐暴露出来，因为车贷风险要比房贷来得快而高，车贷风险释放使银行违约率上升的同时，车贷坏账最终的受害者也是银行本身。为了降低坏账率，构建一个适用的违约判别模型就成为了各家信贷机构关注的重大点。本文在传统决策树模型的基础上引入随机森林组合算法，使得模型在易于解释的同时能得到更好的预测结果。 ２　随机森林与逻辑回归组合模型 2.1　决策树与随机森林 决策树是一个贪婪算法，它代表的是对象属性与对象值之间的一种映射关系。决策树通过熵增益率或Gini 系数下降幅度对对象属性进行分组判断，理想的分组应尽量使两组输出变量值的Gini 系数下降幅度或熵增益率最大。 Gini 系数表达式为：2 1i Gini p =?∑。信息熵表达式为：2log ()i i info p p =∑。 其中为样本类别在当前分类样本下出现的频率。 随机森林最早起源于贝尔实验室Tin Kam Ho 提出的随即决策森林（Random Decision Forests ）算法，后由Leo Breiman 和Adele Cutler 提出。随机森林实际上由许多决策树组成，最后分类结果取决于各个决策树分类器的简单多数选举。 随机森林是一个由一组决策树分类器(h (X ,f k (θ)),k =1~K )组成的分类器集合，其中为输入向量集， f (x )表示单个决策树，θk 是服从独立同分布的输入向量集的子集，K 表示随机森林中决策树的个数，在给定自变量X 的情况下，每个决策树通 过投标来决定最优的分类结果。 随机森林算法构造如下： （1）对给定的训练样本，随即可重复取样，形成新的子样本数据； （2）对新的子样本数据中的M 个特征变量随机抽取m (m ＜M )个特征，构造完整的决策树； （3）重复前两个步骤得到K 个决策树，形成随机森林；（4）每个决策树投票，选出最优的分类。随机森林模型如图1 所示。 图１　随机森林模型 2.2　逻辑回归 逻辑回归是一种广义线性回归（Generalized Linear Model ），因此与多元线性回归分析有很多相同之处。它们的模型形式基本上相同，都具有βx+β0，其中β为权重，β0为阈值，区别在于它们的因变量不同，多元线性回归直接将βx+β0作为因变量，即y =βx+β0，而逻辑回归则通过逻辑函数对表达式进行logit 变换，然后根据阈值设定大小决定因变量的值。 逻辑回归算法构造如下。 （1）对给定的训练样本X 进行多元线性回归得到逻辑回归的输入向量h (x )： 011() i n n h x βββ=+x +...+x （2）对h (x )进行logit 变换，得到预测向量集P ： () 1 1i i h x p e ?= +作者简介：刘开元（1991-），男，安徽宣城人，研究生。研究方向：数据挖掘与算法。 — １１１ —

决策树和随机森林

前言： 决策树这种算法有着很多良好的特性，比如说训练时间复杂度较低，预测的过程比较快速，模型容易展示（容易将得到的决策树做成图片展示出来）等。但是同时，单决策树又有一些不好的地方，比如说容易over-fitting，虽然有一些方法，如剪枝可以减少这种情况，但是还是不够的。 美国金融银行业的大数据算法：随机森林模型+综合模型 模型组合（比如说有Boosting，Bagging等）与决策树相关的算法比较多，这些算法最终的结果是生成N(可能会有几百棵以上）棵树，这样可以大大的减少单决策树带来的毛病，有点类似于三个臭皮匠等于一个诸葛亮的做法，虽然这几百棵决策树中的每一棵都很简单（相对于C4.5这种单决策树来说），但是他们组合起来确是很强大。 在最近几年的paper上，如iccv这种重量级的会议，iccv 09年的里面有不少的文章都是与Boosting与随机森林相关的。模型组合+决策树相关的算法有两种比较基本的形式–随机森林与GBDT((Gradient Boost Decision Tree)，其他的比较新的模型组合+决策树的算法都是来自这两种算法的延伸。本文主要侧重于GBDT，对于随机森林只是大概提提，因为它相对比较简单。 在看本文之前，建议先看看机器学习与数学(3)与其中引用的论文，本文中的GBDT主要基于此，而随机森林相对比较独立。 基础内容： 这里只是准备简单谈谈基础的内容，主要参考一下别人的文章，对于随机森林与GBDT，有两个地方比较重要，首先是information gain，其次是决策树。这里特别推荐Andrew Moore大牛的Decision Trees Tutorial，与Information Gain Tutorial。Moore的Data Mining Tutorial系列非常赞，看懂了上面说的两个内容之后的文章才能继续读下去。 决策树实际上是将空间用超平面进行划分的一种方法，每次分割的时候，都将当前的空间一分为二，比如说下面的决策树：

随机森林

随机森林 为了克服决策树容易过度拟合的缺点，Breiman（2001）提出了一种新的组合分类器算法——随机森林算法（Random Forests , RF）。他把分类决策树组合成随即森林，即在变量（列）的使用和数据（行）的使用上进行随机化，生成很多分类树，再汇总分类树的结果。随机森林在运算量没有显著提高的前提下提高了预测精度，对多元共线性不敏感，可以很好地预测多达几千个解释变量的作用，被称为当前最好的算法之一。 基本原理 1.随机森林的定义 随机森林是一个由决策树分类器集合{} θ构成的组合分类器模 x ,2,1 k h (= ), , k 型，其中参数集{} θ是独立同分布的随机向量，x是输入向量。当给定输入向量 k 时每个决策树有一票投票权来选择最优分类结果。每一个决策树是由分类回归树（CART）算法构建的未剪枝的决策树。因此与CART相对应，随机森林也分为随机分类森林和随机回归森林。目前，随机分类森林的应用较为普遍，它的最终结果是单棵树分类结果的简单多数投票。而随机回归森林的最终结果是单棵树输出结果的简单平均。 2.随机森林的基本思想 随机森林是通过自助法（Bootstrap）重复采样技术，从原始训练样本集N 中有放回地重复随机抽取k个样本生成新的训练集样本集合，然后根据自助样本生成k决策树组成的随机森林。其实质是对决策树算法的一种改进，将多个决策树合并在一起，每棵树的建立依赖一个独立抽取的样本，森林中的每棵树具有相同的分布，分类误差取决于每一棵树的分类能力和它之间的相关性。 3.随机森林的生成过程 根据随机森林的原理和基本思想，随机森林的生成主要包括以下三个步骤：首先，通过Bootstrap方法在原始样本集S中抽取k个训练样本集，一般情况下每个训练集的样本容量与S一致； 其次，对k个训练集进行学习，以此生成k个决策树模型。在决策树生成过

R软件实现随机森林算法(带详细代码操作)

R软件实现随机森林算法（带详细代码操作） 随机森林算法是我们经常要用到的机器学习，本文我们将使用随机森林模型，根据鲍鱼的一系列特征来预测鲍鱼是否“新鲜”。鲍鱼数据来自UCI机器学习存储库（我们将数据分为训练和测试集）。 目录如下： 1、数据准备（输入，数据已处理等） 2、数据分割（把数据分割为测试集和训练集） 3、变量选择 4、模型拟合结果及评估（混淆矩阵，ROC曲线等） 首先，我们将数据加载到R中： # 加载需要的安装包 library(caret) library(ranger) library(tidyverse) library(e1071) # 读入数据 abalone_data <- read.table("../data/abalone.data", sep = ",") # 读入变量名称 colnames(abalone_data) <- c("sex", "length", "diameter", "height", "whole.weight", "shucked.weight", "viscera.weight", "shell.weight", "age") # 对预测变量进行划分 abalone_data <- abalone_data %>% mutate(old = age > 10) %>% # remove the "age" variable select(-age) # 把数据分割成训练集合测试集 set.seed(23489) train_index <- sample(1:nrow(abalone_data), 0.9 * nrow(abalone_data)) abalone_train <- abalone_data[train_index, ] abalone_test <- abalone_data[-train_index, ] # remove the original dataset rm(abalone_data) # view the first 6 rows of the training data head(abalone_train) 可以看到，输出结果如下：

随机森林(精)

随机森林 θk）；k=1，......}定义：随机森林是一个分类器，它有一系列的单株树决策器{h（X,， θk}是独立同分布的随机变量。再输入X时，每一棵树只投一票给来组成,其中{ 它认为最合适的类。在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定,构成随机森林的基础分类器称为决策树。Leo Breiman和Adele Cutler发展出推论出随机森林的算法。这个术语是1995年由贝尔实验室的Tin Kam Ho所提出的随机决策森林（random decision forests）而来的。这个方法则是结合Breimans 的"Bootstrap aggregating" 想法和Ho 的"random subspace method"" 以建造决策树的集合。随机森林是一个组合分类器，构成随机森林的基础分类器是决策树。 决策树算法 决策树可以视为一个树状预测模型，它是由结点和有向边组成的层次结构。树中包含3个节点：根节点。内部节点，终节点（叶子节点）。决策树只有一个根节点，是全体训练集的结合。树中的每个内部节点都是一个分裂问题，它将到达该节点的样本按某个特定的属性进行分割，可以将数据集合分割成2块或若干块。每个终结点（叶子节点）是带有分裂标签的数据集合，从决策树的根节点到叶子节点的每一条路径都形成一个类；决策树的算法很多，例如ID3算法，CART算法等。这些算法均采用自上而下的贪婪的算法，每个内部节点选择分类效果最好的属性进行分裂节点，可以分为两个或若干个子节点，继续此过程到这可决策树能够将全部训练数据准确的分类，或所有属性都被用到为止。具体步骤如下： 1)假设T为训练样本集。 2)选择一个最能区分T中样本的一个属性。 3)创建一个数的节点，它的值是所选择的属性，创建此节点的子节点，每个子链代表所选属性的唯一值，适用子链的值进一步将样本细分为子类。 对于3)创建的三个子类 （1）如果子类的样本满足预定义的标准，或者树的这条路的剩余可选属性集为空，为沿此路径的新的样本指定类别。 （2）如果子类不满足于定义的标准，或者至少有一个属性能细分树的路径，设T为当前子类样本的集合，返回步骤2），以下简单的给出二分树的结构图示：

随机森林原理解释及其中各个参数的含义中文解释

取值为1或0,默认值为1，表示是否做变量替换 表示预先知道的类，函数首先得到一个升序排列的标签然后给先前的类 extra_opti on s.cutoff 对cutoff 投票占的的最大比例的一个。 extra_opti on s.strata extra_optio ns.sampsize extra_opti ons.no desize 时更少。 extra_optio ns.importa nce extra_opti ons.lo calImp extra_opti on s.proximity extra_opti on s.oob_prox extra_opti on s.do_trace 一、RF 原理解释： 首先，从给定的训练集通过多次随机的可重复的采样得到多个 bootstrap 数据集。接着，对每个bootstrap 数据集构造一棵决策树，构造是通过迭代的将数据点分到左右两个子集中实现的，这个分割过程是一个搜 索分割函数的参数空间以寻求最大信息增量意义下最佳参数的过程。然后，在每个叶节点处通过统计训练 集中达到此叶节点的分类标签的直方图经验的估计此叶节点上的类分布。这样的迭代训练过程一直执行到 用户设定的最大树深度(随机森林提出者 Breiman 采用的是ntree=500 )或者直到不能通过继续分割获取更 大的信息增益为止，网上的代码中作者都是对树的最大深度设置了最大值。 二、函数，参数的中文解释 fun cti on model = classRF_tra in (X,Y, ntree,mtry, extra_optio ns) 随机森林中模型的训练 X,表示输入的数据矩阵 丫输出 Ntree 设置的树的数目 Mtry 的默认值为 floor(sqrt(size(X,2)) ，表示不超过矩阵X 歹列数的二次开根值的整数。 extra_optio ns 包含很多控制RF 勺项 extra_opti on s.replace extra_optio ns.classwt 同样的排序。 只在分类器中使用的一个向量， 长度等于类的数目。对类的观察值 是取 用于分层抽样 样本的长度 表示终端节点的最小值，这个参数设置得越大会使更小的树生长，耗 判断是否需要对预测器的 importance 进行评估 决定是否对casewise 的重要性度量进行计算 判别是否计算行之间的距离 判断是否计算out-of-bag 如果设定为TRUE 当随机森林运行的时候输岀更多冗长的数据。如果 设置为一些整数，输出每个追踪树。 extra_optio ns.keep 」nbag 通过树的数目矩阵跟踪每个样本在树上的 in-bag norm_votes 统计每一类的投票数 importa nce 对于分类器来说是一个列数等于类别数加二，第一列计算精度下降值。在 n calss+1 列表示所有类平均精度减少值。 最后一列表示Gini 指数平均减小值。在随机森林用于回归的应用 中importance 表示的含义又不一样，我们只用到分类的作用，所以对回归的含义不做介绍。 importa nceSD 标准差 localimp 包含importance 标准化残差测量值的矩阵 ntree 生长的树的数目 mtry 在每一个分裂节点处样本预测器的个数。 Votes 一个矩阵，行表示每一个输入数据点，列表示每一类，记录投票数。 Proximity 如果proximity=TRUE 表示随机森林被调用。 Combine 把树结合起来 getTree(rfobj, k=1, labelVar=FALSE) ，这个函数的作用是从随机森林中提取树的结构， rfob 表示对应的随机森林， k 表示要提取的那棵树，，labelVar 表示是否是最好的标签用于变量分离