bootstrap方法

【www.shanpow.com--通用挽联】

bootstrap方法一:Bootstrap 自助法

一、简介博客栏目
Bootstrap是一个很通用的算法，用来估计标准误差、置信区间和偏差。由Bradley Efron于1979年提出，用于计算任意估计的标准误差。术语“Bootstrap”来自短语“to pull oneself up by one’s bootstraps” （源自西方神话故事“TheAdventures of Baron Munchausen”，男爵掉到了深湖底，没有工具，所以他想到了拎着鞋带将自己提起来）。
在统计学中，自助法（BootstrapMethod，Bootstrapping或自助抽样法）可以指任何一种有放回的均匀抽样，也就是说，每当选中一个样本，它等可能地被再次选中并被再次添加到训练集中。自助法能对采样估计的准确性（标准误差、置信区间和偏差）进行比较好的估计，它基本上能够对任何采样分布的统计量进行估计。
Bootstrap有两种形式：非参数bootstrap和参数化的bootstrap，但基本思想都是模拟。参数化的bootstrap假设总体的分布已知或总体的分布形式已知，可以由样本估计出分布参数，再从参数化的分布中进行再采样，类似于MC。非参数化的bootstrap是从样本中再抽样，而不是从分布函数中进行再抽样。
二、非参数化Bootstrap
基本思想是：假设是我们的估计量为，样本大小为N，从样本中有放回的再抽样N个样本，原来每一个样本被抽中的概率相同，均为1/N，得到新的样本我们称为Bootstrap样本，重复B次之后我们得到B个bootstrap样本集，在每一个样本集上都有对应的估计量，对于B个，我们可以计算得到标准误，置信区间，偏置等。 三、参数化Bootstrap
和非参数化Bootstrap不同的地方在于总体分布函数的形式是已知的，需要根据样本估计参数  （参数估计），这样得到经验分布函数，从经验分布函数中再采样得到Bootstrap样本，非参数化Bootstrap是从原始样本中再抽样，得到的Bootstrap样本与原始样本有重合。
四、Matlab实例
假设我们的整体（population）来自与Bernouli分布（掷硬币），参数theta等于0.7，即投一次有0.7的概率出现1。为了考察采样点对估计的影响，我们分别采样了10和100个样本，采用了参数和非参数方法。
[plain] view plain copy
%%  Bootstrap demo for the MLE for a Bernoulli  
  
  
close all;  
clear all;  
  
  
%统计量或估计量，这里是均值  
estimator = @mean;  
  
%Bernoulli分布的参数theta  
theta = 0.7;  
  
%样本数目分别为10和100  
Ns = [10 100];  
  
for Ni=1:length(Ns)  
      
    %当前的样本数  
    N = Ns(Ni);  
      
    %再采样次数B  
    B = 2000;  
      
    %参数为theta的Bernoulli分布的采样  
    X = rand(1,N) < theta;  
      
    %MLE参数估计  
    bmle = estimator(X);  
      
    %参数化Bootstrap方法对应的B次再采样的统计量  
    mleBoot = zeros(1,B);  
    %非参数化Bootstrap方法对应的B次再采样的统计量  
    mleBootNP=zeros(1,B);   
      
    for b=1:B  
          
        %参数化Bootstrap对应的分布函数就是Bernoulli分布，其参数为Mle估计的参数，参数化Bootstrap再采样得到样本  
        Xb = rand(1,N) < bmle;  
          
        %对再采样的Bootstrap样本求统计量  
        mleBoot(b) = estimator(Xb);  
          
          
        %非参数化Bootstrap方法再采样，从原来的样本中再采样  
        ndx = unidrnd(N,1,N);  
        Xnonparam = X(ndx);  
          
        %求统计量  
        mleBootNP(b) = estimator(Xnonparam);  
    end  
      
      
    %% 绘图  
      
    %参数化Bootstrap绘图  
    figure;  
    hist(mleBoot)  
    set(gca,"xlim",[0 1]);  
      
    %标准误  
    se=std(mleBoot)/sqrt(B);  
    ttl = sprintf("Boot: true = %3.2f, n=%d, mle = %3.2f, se = %5.3f\n", ...  
        theta, N,mean(mleBoot), se);  
    title(ttl);  
     
      
    %非参数化Bootstrap绘图  
      
    figure;  
    hist(mleBootNP)  
    set(gca,"xlim",[0 1])  
    nonParaSe=std(mleBootNP)/sqrt(B);  
    ttl = sprintf("NP boot: true = %3.2f, n=%d, mle = %3.2f, se = %5.3f\n", theta, N, mean(mleBootNP),nonParaSe);  
    title(ttl);     
end  
[plain] view plain copy
function [out] = bootstrap(data,B)  
%  
%   Bootstrap method -produce B dataSet  
%  
%   Inputs:  
%       data:origianl data set whose size is [M,N],which means feature Dimens is M and the original dataset contains N samples    
%       B：number of dataSet   
%    Outputs:  
%       out:B bootstrap resamples of the input data  whose size is [M,N,B]  
  
[M,N]=size(data);  
  
% by default B=N;  
if (exist("B")~=1), B=N;  end;  
  
out=zeros(M,N,B);  
index=unidrnd(N,N,B);  
out=reshape(data(:,index),M,N,B);  
  
end   对于参数化Bootstrap方法，假设我们已知总体是Bernouli分布，先从样本中做MLE估计，得出参数theta,这样我们就可以从分布函数中直接抽样，而不是像非参数Bootstrap一样从样本中再采样。
to be continued....

bootstrap方法二:统计中的 Bootstrap 方法是指什么？与 Monte Carlo 方法有什么联系与区别？

【JackDiamond的回答(73票)】:
风马牛不相及，举个简单的例子(关于一个分布的平均值)来帮你理解bootstrap和Monte Carlo，
比如现在有一个分布F...
1. Bootstrap: 如果我无法知道F的确切分布，手上仅有一组从F中iid抽样的样本(X_1, ..., X_n)，我想检验“F的均值是否为0”。看起来这个不可能，因为我只有一个ar{X}的点估计，而并不知道ar{X}的分布。Bootstrap的魔术是现在我把(X_1, ..., X_n)这个样本当做总体，从中(有放回地)重新抽样，重抽样样本大小仍为n，那么每一次重抽样就可以得到一个“样本均值”，不断地重抽样我就得到了一个ar{X}的“分布”。这样接下来我就可以构造confidence interval并做检验了。
虽然实践中bootstrap的重抽样步骤都是用Monte Carlo方法来模拟重抽样样本统计量的分布，但是严格地说这个分布原则上可以精确计算。而如果待估统计量比较简单，bootstrap的结果有时甚至可以直接用(X_1, ..., X_n)的某种统计量表示出来，从而并不需要真正地“重抽样”。当然实际应用中绝大多数时候重抽样分布的解析表达式都会太复杂，所以用模拟代替计算。
(关于bootstrap的更多讨论见此答案下的评论，特别是Lee Sam提的问题)
2. Monte Carlo: 如果我知道F的确切分布，现在想计算mean(F)，但是F的形式太复杂(或者我这人太懒)；另一方面我又知道如何从F中抽样，于是就抽一个样本出来，拿样本均值充数。
一般来说bootstrap干的事大都跟这个例子中干的事差不多，而Monte Carlo的应用要广泛和多元化得多了。
所以两者连“区别”都谈不上，就是两码事。
【赵卿元的回答(20票)】:
谢邀。
Monte Carlo是一个更基础的想法。在很多数学、物理或者工程问题种有很多无法写出closed form的表达式，为了能得到数值上的一个解，需要通过随机采样的方法去估计。
Bootstrap是重新改变统计学的一个想法。统计推断的主体总是一个的随机变量分布。在这个分布很复杂无法假设合理的参数模型时，bootstrap提供了一种非参数的推断方法，依靠的是对观测到的样本的重新抽样（resampling），其实是用empirical distribution去近似真正的distribution。
这两种方法从目的到用法都完全不同，有联系的话就是都涉及到计算机抽样。
==============================================================
@豆豆叶 觉得“bootstrap是对empirical distribution的monte carlo”的说法更合理，我保留意见。我认为monte carlo和sampling还是不能互为替换的。我认为Monte Carlo和Bootstrap更多的是两种思想，都是基于random sampling去近似某一目标。Monte Carlo的目标一般是一个难以计算的积分，bootstrap的目标一般是统计推断。
【马拉轰的回答(6票)】:
这个问题又该邀请 @赵卿元了，我先抛砖引玉吧。
Bootstrap的中文翻译是“自助法”，由后来成为斯坦福统计系主任的Bradley Efron在70年代提出。中心思想是通过从样本中重抽样（resample是这么翻的么？），构建某个估计的置信区间。抽象的说，通过样本得到的估计并没有榨干样本中的信息，bootstrap利用重抽样，把剩余价值发挥在了构建置信区间上。
Bootstrap因为其通用性的和简便性而被广泛使用（只要有样本就可以resampling，就可以bootsrap，任何分布都能做，只是消耗一些计算资源）。特别是在各种统计（机器）学习算法大大复杂了“估计”，bootstrap的实用性太明显了。
至于Bootstrap和Monte Carlo有什么联系与区别，这两个本身不是对应的概念，怎么个区别法呢？Bootstrap在重抽样的时候，一般采用sample with replacement而不是穷尽所有组合，也可以认为用到了Monte Carlo吧。
详情还是看Efron&Tibshirani那本An Intro to Bootstrap，没有更好的参考了。
【EdisonChen的回答(6票)】:
来简单讲讲Bootstrap，（Monte Carlo法在中文维基上有了还不错的解答，题主可以参考，蒙地卡羅方法）。
Bootstrap，即“拔靴法”（不知道翻得对不对），是用小样本来估计大样本的统计方法。举个栗子来说明好了，（我不会贴一个举栗子的图片的放心！）
你要统计你们小区里男女比例，可是你全部知道整个小区的人分别是男还是女很麻烦对吧。
于是你搬了个板凳坐在小区门口，花了十五分钟去数，准备了200张小纸条，有一个男的走过去，你就拿出一个小纸条写上“M”，有一个女的过去你就写一个“S”。
最后你回家以后把200张纸条放在茶几上，随机拿出其中的100张，看看几个M，几个S，你一定觉得这并不能代表整个小区对不对。
然后你把这些放回到200张纸条里，再随即抽100张，再做一次统计。
…………
如此反复10次或者更多次，大约就能代表你们整个小区的男女比例了。
你还是觉得不准？没办法，就是因为不能知道准确的样本，所以拿Bootstrap来做模拟而已。
【知乎用户的回答(3票)】:
bootstrap是对empirical distribution的monte carlo
【梁世超的回答(2票)】:
parametric vs non-parametric
Monte Carlo 对distribution有 assumption 两者都是在simulate
bootstrap只要有sample就是可以simulate
具体的话还是读书吧 不同model simulate的方法都各不一样
【DeniseFan的回答(1票)】:
Bootstrap是我们在对一个样本未知的情况下，只能抽取其中一部分数据集，然后对其进行n的反复抽样，来对样本进行点估计什么的。
而Mote Carlo则是从simulation的角度出发，当我们对一个distribution已知时，通过一些参数，如均值，方差来对整个distribution进行估计。
【JinguoGao的回答(0票)】:
Bootstrap是对现有的数据，不断再随机取小的样本，对每个小样处理数据,得到estimator.从而来了解estimator 的variation or distribution.
Monte Carlo 是用一个algorithm, 依次输出数组，然后对这些数组处理，得到想要的结果。数组之间的关系由algorithm来决定。Monte Carlo 的概念更广泛。Bootstrap 其实是一种Monte Carlo.
通常Monte Carlo 用来求最优解，平衡值等。
--- Richard Sperling <[email protected]> wrote:
> I would appreciate it if someone could clarify the distinction
> between Monte Carlo simulation and the parametric bootstrap. If I"m
> not mistaken, one use of Monte Carlo simulation is to assess the
> sampling distribution of an estimator. In contrast, the parametric
> bootstrap is used to estimate the variance of a statistic and its
> sampling distribution.
>
> But don"t both the Monte Carlo method and parametric bootstrap
> require specifying a data generating process? It is at this point
> where I"m a little confused and fail to see the distinction between
> the two methods.
>
> Also note that I am not talking about the non-parametric bootstrap.
In principle both the parametric and the non-parametric bootstrap are
special cases of Monte Carlo simulations used for a very specific
purpose: estimate some characteristics of the sampling distribution.
Remember that the sampling distribution of statistic could be obtained
if we could draw many samples from the population and compute a
statistic in each sample. The idea behind the bootstrap is that the
sample is an estimate of the population, so an estimate of the sampling
distribution can be obtained by drawing many samples (with replacement)
from the observed sample, compute the statistic in each new sample. In
case of the parametric bootstrap you add some extra restrictions while
sampling from the data, but that does not change the point here.
Monte Carlo simulations are more general: basically it refers to
repeatedly creating random data in some way, do something to that
random data, and collect some results. This strategy could be used to
estimate some quantity, like in the bootstrap, but also to
theoretically investigate some general characteristic of an estimator
which is hard to derive analytically.
In practice it would be pretty safe to presume that whenever someone
speaks of a Monte Carlo simulation they are talking about a theoretical
investigation, e.g. creating random data with no empirical content what
so ever to investigate whether an estimator can recover known
characteristics of this random `data", while the (parametric) bootstrap
refers to an emprical estimation. The fact that the parametric
bootstrap implies a model should not worry you: any empirical estimate
is based on a model.
Hope this helps,
Maarten
-----------------------------------------
Maarten L. Buis
Department of Social Research Methodology
Vrije Universiteit Amsterdam
Boelelaan 1081
1081 HV Amsterdam
The Netherlands
visiting address:
Buitenveldertselaan 3 (Metropolitan), room Z434
+31 20 5986715
http://home.fsw.vu.nl/m.buis/
-----------------------------------------
__________________________________________________________
Sent from Yahoo! Mail.
A Smarter Email http://uk.docs.yahoo.com/nowyoucan.html
*
* For searches and help try:
* http://www.stata.com/support/faqs/res/findit.html
* http://www.stata.com/support/statalist/faq
* http://www.ats.ucla.edu/stat/stata/
【知乎用户的回答(0票)】:
都是统计模拟方法
【TJZhou的回答(0票)】:
无法完全认同高票回答。Monte Carlo确实是一个更广泛的想法，而bootstrap过程中确实是用到了Monte Carlo的。我比较赞同@豆豆叶的想法
“bootstrap是对empirical distribution的monte carlo” 首先看bootstrap的wiki定义
In statistics,bootstrapping can refer to any test or metric that relies on random sampling with replacement. 它的定义中就包含了“需要重抽样”。高票答案这段话很对：
虽然实践中bootstrap的重抽样步骤都是用Monte Carlo方法来模拟重抽样样本统计量的分布，但是严格地说这个分布原则上可以精确计算。而如果待估统计量比较简单，bootstrap的结果有时甚至可以直接用(X_1, ..., X_n)的某种统计量表示出来，从而并不需要真正地“重抽样”。当然实际应用中绝大多数时候重抽样分布的解析表达式都会太复杂，所以用模拟代替计算。 我们需要估计一个统计量，统计量是样本的函数。而关于样本，我们能利用的信息只有样本的empirical distribution。所以当然我们的代估计值可以用empirical distribution表示（本来应该用真实分布表示，但只能用empirical distribution近似）。但是绝大多数时候解析表达式太复杂，所以要用模拟代替计算，而bootstrap肯定是包含这个模拟过程的。
高票答案好像是认为把估计值的表达式写出来就算bootstrap了，而和Monte Carlo没关系，这是不对的。如果这样理解，那么贝叶斯的后验估计也应该和Monte Carlo完全没关系了。按这样的思路，贝叶斯就是拿prior和likelihood一乘再一标准化就行了，反正标准化常数也是积分能积出来的，只是有时候很难显式积出来。然后得到后验，就能解析地求出所有待估计值了，虽然大部分情况后验是不知道什么的乱七八糟一堆。MCMC (Markov Chain Monte Carlo) 从后验抽样是可以省去的。但是这样的想法肯定不对。
-------------------------------------------------
下面基于贝叶斯派的观点来看看Bootstrap。如果大家同意贝叶斯和 Monte Carlo 有紧密联系，那么bootstrap 也应该和 Monte Carlo 有紧密联系。
假设我们有独立同分布的样本 ，样本的分布形式完全不知道，假设它们都是从分布 里抽取出来的， 按贝叶斯派的观点，应该给未知的 赋一个先验。 是一个分布，所以常用的先验就是分布的分布：Dirichlet Process 那么后验就是 当 时，此后验趋于empirical distribution。要估计某统计量，此统计量是 的函数，不妨记为 。我们可以通过从 的后验抽样来估计 注意这个过程就是 Monte Carlo。而此方法和bootstrap的联系就在于，从 的后验中抽得的样本 ，其形式就是一次bootstrap得到的resample样本的empirical distribution。我们可以通过从 的后验中尽可能多地抽样来使估计准确，就像我们在bootstrap中可以尽可能多地resample来使估计准确。从后验中抽样，或是resample（从empirical distribution 抽样），就是Monte Carlo method。
【陈无左的回答(0票)】:
bootstrap可以看作非参Monte Carlo
再次重申非参不是没有参数，非参是无穷维参数空间，是无法想到合适参数模型时的默认模式。
bootstrap看作对样本经验分布作随机数生成，产生模拟样本。
Monte carlo的解释是依赖随机数生成而产生新样本对其进行模拟。bootstrap完全符合这个定义。
原文地址:知乎

bootstrap方法三:!!!!!向现有项目增加bootstrap的步骤 RAILS 3.2

向现有项目增加bootstrap的步骤
bootstrap步骤 
有一个项目，前台有专门的美工。本着网站后台是内部人员使用， “将就能用就行”的原则（呵呵，不是我说的，是软件教主JOEY说的），我打算在管理界面上使用bootstrap. 起码是现成的，而且里面有很多优秀的元素。
 
考察了几个 gem,  ( rails-bootstrap啥的）， 感觉对里面的东西理解的不到位。另外哥赶时间，不如自己动手，丰衣足食啊。 就那么几个CSS/JS文件。。。所以。。。
 
步骤记录如下：
 
1. 下载，然后解压缩。可以看到有这么几个文件夹：  docs,  img, js, less....  其中重要的东西都在docs里。
 
2. 在你的浏览器中（例如FIREFOX）打开  docs/examples/starter-template.html， 可以通过FIREBUG查看里面的结构。
 
3. 把它的源代码复制到你的 rails 布局  ( 例如 app/views/layouts/admin_layout.html.erb) 文件中。 
 
4. 把该替换的替换，例如在header中：
 
 3 <head>  4   <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />  5   <title>你好~xx的后台管理界面</title>  6   <!-- Le HTML5 shim, for IE6-8 support of HTML elements -->  7   <!--[if lt IE 9]>  9   <%= javascript_include_tag "google_html5.js" %> 10   <![endif]--> 11 12   <%= stylesheet_link_tag    "admin_layout", :media => "all" %> 13   <%= javascript_include_tag "admin_layout" %> 14   <%= csrf_meta_tags %> 15 </head>
 
这样就定义了 对应的JS， 和CSS。 而他们对应的文件（我用的RAILS 3.2），在app/assets/ 下面. 
p.s. 记得 13行的JS 声明还是暂时放在 <head>中比较好，如果放在最下面， 有些jquery(document).ready()会在执行时发生错误。
 
5.  实现对应的 admin_layout.js.erb: 
 
  1 //  2 //= require jquery  3 //= require jquery_ujs  4 //= require jquery-ui-1.8.18.custom.min.js  5 //= require bootstrap/bootstrap-transition  6 //= require bootstrap/bootstrap-alert  7 //= require bootstrap/bootstrap-modal  8 //= require bootstrap/bootstrap-dropdown  9 //= require bootstrap/bootstrap-scrollspy 10 //= require bootstrap/bootstrap-tab 11 //= require bootstrap/bootstrap-tooltip 12 //= require bootstrap/bootstrap-popover 13 //= require bootstrap/bootstrap-button 14 //= require bootstrap/bootstrap-collapse 15 //= require bootstrap/bootstrap-carousel 16 //= require bootstrap/bootstrap-typeahead 17 //= require my_utilities
 
记得这16个文件的顺序很重要，同时确保你把   对应的js 文件都从 docs/assets/js  复制到了 本地的 app/assets/javascripts/bootstrap中。 
 
6. 实现对应的 admin_layout.css.erb
 
  1 /*  2  *= require jquery-ui-1.8.18.custom  3  *= require bootstrap  4  *= require bootstrap-responsive  5  */  6  7 body {  8   padding-top: 60px; /* 60px to make the container go all the way to the bottom of the topbar */  9 }
 
这里两个bootstrap文件都要包含（话说我还没弄清楚它俩的区别的用法，时间太赶了。。。） ， 同时， 修改bootstrap.css.erb， 把里面出现的两处 图片，替换成 asset_path ，同时也要把图片复制过去。: 
 
1398   background-image: url("<%= asset_path "glyphicons-halflings.png" %>");......1407 .icon-white {1408   background-image: url("<%= asset_path "glyphicons-halflings-white.png" %>");
 
 
7. 最后， 修改布局文件： 向里面加入对应的 <%= yield %> 就欧了。
 
 36     <div class="container"> 37       <div class="content"> 38         <div class="row"> 39            <div class="span9"> 40               <%= yield %> 41             </div> 42             <div class="span3"> 43               <div class="well sidebar-nav"> 44                 <h3>Sidebar</h3> 45                 <ul class="nav nav-list"> 46                   <li class="nav-header">Sidebar</li> 47                     <li><%= link_to "Link1", "/path1"  %></li> 48                     <li><%= link_to "Link2", "/path2"  %></li> 49                     <li><%= link_to "Link3", "/path3"  %></li> 50                 </ul> 51               </div><!--/.well --> 52             </div><!--/span--> 53         </div><!--/row--> 54       </div><!--/content-->
 
 
8. 修改对应的action ， 使用   render :layout => "admin_layout"
 
9. 在 config/environments/production.rb ，修改 需要在生产环境下预编译的东东：
49   config.assets.precompile += %w( admin_layout.css, admin_layout.js.erb )
10. 最后的最后， 看一眼提交的代码：
 
gisg552@sg552:/sg552/workspace/bubu$ git status# On branch master# Changes to be committed:#   (use "git reset HEAD <file>..." to unstage)##       new file:   app/assets/images/glyphicons-halflings-white.png#       new file:   app/assets/images/glyphicons-halflings.png#       new file:   app/assets/javascripts/admin_layout.js.erb#       new file:   app/assets/javascripts/bootstrap/bootstrap-alert.js#       new file:   app/assets/javascripts/bootstrap/bootstrap-button.js#       new file:   app/assets/javascripts/bootstrap/bootstrap-carousel.js#       new file:   app/assets/javascripts/bootstrap/bootstrap-collapse.js#       new file:   app/assets/javascripts/bootstrap/bootstrap-dropdown.js#       new file:   app/assets/javascripts/bootstrap/bootstrap-modal.js#       new file:   app/assets/javascripts/bootstrap/bootstrap-popover.js#       new file:   app/assets/javascripts/bootstrap/bootstrap-scrollspy.js#       new file:   app/assets/javascripts/bootstrap/bootstrap-tab.js#       new file:   app/assets/javascripts/bootstrap/bootstrap-tooltip.js#       new file:   app/assets/javascripts/bootstrap/bootstrap-transition.js#       new file:   app/assets/javascripts/bootstrap/bootstrap-typeahead.js#       new file:   app/assets/javascripts/google_html5.js#       new file:   app/assets/stylesheets/admin_layout.css#       new file:   app/assets/stylesheets/bootstrap-responsive.css#       new file:   app/assets/stylesheets/bootstrap.css.erb#       modified:   app/controllers/categories_controller.rb#       new file:   app/views/layouts/admin_layout.html.erb#       modified:   config/environments/production.rb

本文来源：https://www.shanpow.com/dl/432859/