大数据统计与分析论文

摘要：本文用模特卡罗模拟方法研究了样本容量在54以下的DW统计量的分布特征，并给出小样本DW检验临界值表。同时用DW检验提出了一个判别最小二乘估计中是否存在虚假回归的有效方法。关键词：模特卡罗模拟，DW分布，非平稳性，协整　　Distribution of Small Sample DW Statistic　　Zhang Xiaotong1 Zhao Chuxiao2　　( Institute of International Economics, Nankai University, Tianjin 300071)　　( Management School, Tianjin University, Tianjin 300072)　　Abstract In this paper we investigated the DW distribution with sample size under 54 by Monte Carlo simulation method and gave a critical table for small sample DW Based on that we proposed a method for recognizing spurious regression in ordinary least squares Keywords: Monte Carlo simulation, DW distribution, nonstationary, cointegration　　1．概述　　八十年代以来，Engle-Granger (1987), Engle-Yoo (1987) 和Sargan-Bhargava (1983)都曾提及用DW统计量检验非平稳变量间的协整性问题。在Sargan-Bhargava (1983)中还专门给出一个DW协整检验用表。但在这些论文中均未对小样本DW统计量的分布特征给与研究。　　本文采用蒙特卡罗模拟方法对小样本DW统计量的分布特征进行了充分、详细的研究。样本容量分别取为10，20，30，40和50。变量的设定分为三种情形：一 所涉及的两个变量都取自I(1)过程；二 所涉及的两个变量中一个取自I(1)过程，一个取自I(0)过程；三 所涉及的两个变量都取自I(0)过程。　　在有些国家以年为单位的时间序列的最大可观测值个数并不是很大，所以对小样本DW统计量分布特征的研究有着非常重要的理论与现实意义。　　本文结构如下。第二节推导两个I(1)变量进行最小二乘回归后，由残差计算的DW统计量的极限分布表达式，第三节介绍蒙特卡罗模拟结果及其分析，第四节给出实例，第五节给出结论。　　2．DW统计量的极限分布　　给定如下随机数据生成系统，　　yt = yt-1 + ut , y1 = 0, （1）　　xt = xt-1 + vt , x1 = 0, （2）　　其中ut, vt ~ I(0), E(ut) = E(vt) = 0; E(ui uj) = 0, i ¹ j," i, j。则yt和xt为相互独立的两个I(1)过程。　　建立如下回归模型：　　yt = b0 + b1xt + wt （3）　　当对上式进行最小二乘估计时，会产生虚假回归问题。用随机误差wt的最小二乘估计值 构造DW统计量，　　（4）　　因为当T ® µ 时， 必然接近于零，上式中分子为Op(1)，而分母T -1sw2也是Op(1)，所以DW统计量是Op(T -1)的。当T ® µ 时，有　　DW Þ 　　即当用两个I(1)变量进行如模型(3)形式的回归时，DW统计量的极限分布为零。　　3．小样本DW分布的蒙特卡罗模拟及其结果分析　　当样本为有限样本，特别是小样本时，DW统计量的分布与其极限分布有着很大不同。由于上述条件下的DW统计量的分布无法用解析的方法求解，本文用蒙特卡罗模拟方法对DW统计量的小样本分布特征进行了研究。　　以模型(3)为基础，除了以yt，xt ~ I(1)为条件对DW分布（记为DW(1,1)）进行模拟外，还分别以yt ~ I(1)，xt ~ I(0) 和yt，xt ~ I(0)为条件进行了模拟（分别记为DW(1,0) 和DW(0,0)）。　　由于DW(0,0)就是通常意义的DW统计量，所以只模拟样本容量T = 10, 40两种情形。对于DW(1,1)和DW(1,0)，分别取T = 10, 20, 30, 40和50进行了模拟。在每个样本容量条件下各模拟1000次。所得结果见表一。　　首先见表一的第三部分，先分析DW(0,0) 的分布特征。由于DW(0,0) 就是通常意义的DW统计量，所以模拟结果表明，一 DW(0,0)分布的均值为2，不受样本容量大小的影响；二分布是对称的，相应JB值（表中最后一列）说明小样本DW(0,0)统计量的分布与正态分布相当近似。三 随着样本容量的增大，分布的标准差逐步减小。　　见表一的第一、二部分。小样本DW(1,1)和DW(1,0)统计量有着相似的分布特征。一 分布均为右偏态，分布左侧有端点，端点为零；二 随着样本容量的增大，DW(1,1)和DW(1,0)分布的右偏倚程度越来越大，分布均值逐步相左移动，90、95、99百分位数也逐步向左移动，同时分布的标准差逐步减小，分布的峰值越来越大，DW取值向零集中；三 在样本容量相同的条件下，DW(1,0)分布总是位于DW(1,1)分布的左侧，即DW(1,0)分布的均值、百分位数以及方差都比DW(1,1)分布的相应量小。T = 50模拟1000次的DW(1,1)和DW(1,0)分布的结果分别见图一和图二。　　表一 DW分布的蒙特卡罗模拟结果　　类 型 样本容量 百 分 位 数 均 值 标准差 偏 度 JB统计量　　1 90 95 99　　10 22 18 45 81 28 62 50 74　　DW(1,1) 20 11 28 49 80 75 39 68 61　　30 09 90 04 39 51 29 07 73　　40 06 77 88 16 41 25 06 10　　50 05 59 71 98 33 20 16 31　　10 18 73 02 38 98 53 73 59　　20 09 02 21 59 56 34 22 61　　DW(1,0) 30 06 70 83 18 38 24 27 43　　40 04 54 66 91 30 19 25 68　　50 04 45 54 71 24 15 12 84　　DW(0,0) 10 31 75 97 24 02 57 00 17　　40 72 41 53 70 00 31 03 06　　注： DW(1,1)表示由两个I(1)变量进行回归，计算得到的DW值　　 DW(1,0)表示由一个I(1)变量和一个I(0)变量进行回归，计算得到的DW值。　　 DW(0,0)表示由两个I(0)变量进行回归，计算得到的DW值。　　 在每个样本容量条件下各模拟1000次。　　图一 T = 50模拟1000次的DW(1,1)分布直方图 图二 T = 50模拟1000次的DW(1,0)分布直方图　　在相同样本容量条件下，DW(1,0)分布之所以位于DW(1,1)分布左侧，可作如下解释。随着T ® µ，DW(1,0)和DW(1,1)的分布都趋近于零。由于DW(1,0)来自于一个I(1) 变量和一个I(0)变量之间的回归，所以残差序列wt ~ I(1)。由于DW(1,1)来自于两个I(1)变量之间的回归，一般来说残差序列wt&nb　　1、统计范围　　GDDS将国民经济活动划分为五大经济部门：实际部门、财政部门、金融部门、对外部门和社会人口部门。对每一部门各选定一组能够反映其活动实绩和政策以及可以帮助理解经济发展和结构变化的最为重要的数据类别。系统提出了五大部门综合框架和相关的数据类别以及指标编制和公布的目标，鼓励以适当的、反映成员国需要和能力的频率和及时性来开发和公布指标。选定的数据类别和指标分为规定的和受鼓励的两类。　　规定的数据类别包括：（1）来自综合框架中的核心部分，如实际部门的国民帐户总量、财政部门的中央政府预算总量、金融部门的广义货币和信贷总量、对外部门的国际收支总量；（2）追踪分析统计类目，如实际部门的各种生产指数、财政部门的中央政府财政收支和债务统计、金融部门的中央银行分析帐户、对外部门的国际储备和商品贸易统计；（3）与该部门相关的统计指标，如实际部门的劳动市场和价格指数统计；（4）社会人口数据，包括人口、保健、教育、卫生等方面统计。　　除规定的数据类别以外，GDDS鼓励成员国发布更多的统计信息，以增强成员国经济实绩和政策的透明度。如实际部门列出储蓄、国民总收入指标，财政部门列出利息支付和偿债预计数据等。　　GDDS认为，系统所包括的大多数数据类别都是由各国官方机构编制的。将私人部门编制的数据包括进去将更有助于观察经济的全貌，并使各国数据的范围更加一致。但是，将一些由私人机构编制的数据包括在系统内会增加工作的复杂性，比如由官方转发这些数据隐含着对这些数据质量的认可，官方必须对在公众获得、数据完整性和数据质量方面的责任做出调整。　　2、公布频率　　公布频率是指统计数据编制发布的时间间隔。某项统计数据的公布频率需要根据调查、编制的工作难度和使用者的需要来决定。系统鼓励改进数据的公布频率。GDDS对列出的数据类别的公布频率作了统一规定。例如， GDDS要求国民帐户、国际收支平衡表按年公布，广义货币概览按月公布，汇率则每日公布。　　3、公布及时性　　公布及时性是指统计数据公布的速度。统计数据公布的及时性受多种因素制约，如资料整理和计算手续的繁简、数据公布的形式等。GDDS规定了间隔的最长时限，如按季度统计的GDP数据规定在下一季度内发布，按月度统计的生产指数规定在6周至3个月内公布。　　GDDS将选定的数据类别分为规定性和鼓励性两类，目的是给予参加国公布统计数据一定的灵活性。鼓励性一类是要成员国争取发布的，条件不具备的可以暂不发布。有些数据类别下构成要素后面注明“视具体情况”，即成员国认为该项统计不符合本国实际的，可以不编制发布。GDDS规定的发布周期和发布及时性也列出一些灵活处理和变通的办法。　　GDDS有关数据方面的内容及要求如下：　　GDDS的数据规范　　A、综合框架　　核心框架　　范围、分类和分析框架　　受鼓励的扩展　　频率　　及时性　　国民帐户　　编制和公布全套的名义和实际国民帐户总量和平衡项目，得出国内生产总值、国民总收入、可支配总收入、消费、储蓄、资本形成、净贷款、净借款。编制和公布有关的部门帐户以及国家和部门的资产负债表　　年度　　10-14个月　　中央政府操作　　编制和公布交易和债务的综合数据，需强调：1）包括所有的中央政府单位；2）使用适当的分析框架；3）建立一整套详细的分类标准（税收和非税收收入、经常性和资本性支出、国内及国外融资），并适当细分（根据债务持有人、债务工具和币种）。　　广义政府或公共部门操作数据，在那些地方政府或公共企业操作具有重要分析或政策意义的国家尤其鼓励。　　年度　　6-9个月　　广义货币概览　　编制和公布综合的数据，需强调：1）包括所有的存款公司（银行机构）；2）使用适当的分析框架；3）建立对外资产和负债、按部门分类的国内信贷以及货币（流动性）和非货币债务构成的分类标准。　　月度　　2-3个月　　国际收支　　编制和公布综合的国际收支主要总量数据和平衡项目，包括：货物和服务的进口和出口、贸易差额、收入和转移、经常项目差额、储备和其他金融交易、总余额，并适当进行细分。　　国际投资头寸和总体经济外债数据（如果这些数据具有重要的分析和政策意义）　　年度　　6-9个月　　GDDS的数据规范　　B、数据类别和指标　　数据类别　　核心指标　　受鼓励的总量及构成　　频率　　及时性　　实际部门　　国民帐户总量　　国内生产总值（名义和实际）　　国民总收入、资本形成、储蓄　　年度（鼓励季度）　　6-9个月　　生产指数　　制造业或工业　　初级产品、农业或其他指标　　视具体情况　　月度　　视具体情况　　所有指标都为6周-3个月　　价格指数　　消费者价格指数　　生产者价格指数　　月度　　1-2个月　　劳动力市场指标　　就业、失业，工资/收入，视具体情况　　年度　　6-9个月　　财政部门　　核心指标　　受鼓励的指标　　频率　　及时性　　中央政府预算总量　　收入、支出、差额和融资，视具体情况进行细分（根据债务持有人、债务工具和币种）　　利息支付　　季度　　1个季度　　中央政府债务　　内债和外债，视具体情况适当细分（按币种、期限、债务持有人和债务工具）　　政府担保债务　　年度（鼓励季度）　　1-2个季度　　金融部门　　核心指标　　受鼓励的指标　　频率　　及时性　　广义货币和信贷总量　　净对外头寸、国内信贷、广义或狭义货币　　月度　　1-3个月　　中央银行总量　　储备货币　　月度　　1-2个月　　利率　　短期和长期政府债券利率，政策可变利率　　货币或银行间市场利率及一套存贷款利率　　月度　　高频率（如月度）　　股票市场　　股票价格指数，视具体情况　　月度　　对外部门　　核心指标　　受鼓励的指标　　频率　　及时性　　国际收支总量　　货物和服务的进口和出口、经常帐户差额、储备、总差额　　总体经济的外债和偿债数据，视具体情况　　年度（十分鼓励季度）　　6个月　　国际储备　　以美元标价的官方储备总额　　与储备有关的负债　　月度　　1-4周　　商品贸易　　总进口和总出口　　较长时间的主要商品的分类　　月度　　8周-3个月　　汇率　　即期汇率　　每日　　高频率（如月度）　　社会-人口数据　　核心指标　　频率　　人口　　人口；人口增长率；城市人口；农业人口；人口性别；人口的年龄构成　　各国公布频率会各不相同；及时性　　保健　　每个医生照顾人口数；预期寿命；婴儿/儿童/产妇死亡率　　也不尽相同　　教育　　成年人文盲率、学生-教师比率、小学/中学入学率　　贫困状况　　获得洁净水的情况、卫生；每个房间居住的人数；收入分配；最低收入标准以下的家庭数　　二、公布数据的质量　　GDDS从两个方面的内容来评估公布的统计数据质量，即：提供统计数据的文字说明和提供统计数据的交叉检验。　　统计数据质量是个难以界定、因而不易评估的概念。为了便于检查，GDDS选定两条规则作为评估统计数据质量的标准。一是参加国提供数据编制方法和数据来源方面的资料。资料可以采取多种形式，包括公布数据时所附的概括性说明、单独出版物和可从编制者得到的有关说明。同时也鼓励成员国准备并公布重要的关于数据质量特征的说明（例如，数据可能存在的误差类型、不同时期数据之所以不可比的原因、数据调查的范围或调查数据的样本误差等）。二是提供统计类目核心指标的细项内容、及与其相关的统计数据的核对方法，以及支持数据交叉复核并保证合理性的统计框架。为了支持和鼓励使用者对数据进行核对和检验，规定在统计框架内公布有关总量数据的分项，公布有关数据的比较和核对。统计框架包括核算等式和统计关系。比较核对主要针对那些跨越不同框架的数据，例如，作为国民帐户一部分的进出口和作为国际收支一部分的进出口的交叉核对。　　与数据质量密不可分的是制定和公布改进数据的计划。所准备和公布的改进计划应包含所有数据不全的部门。统计当局应表明下述立场中的一个：（1）针对已发现不全的改进计划；（2）最近实施的改进措施；或（3）国家认定不　　四、公众获取　　GDDS规定要提前公布数据发布日期，并向各方同时发送。　　官方统计数据的公布是统计数据作为一项公共产品的基本特征之一，及时和机会均等地获得统计数据是公众的基本要求。GDDS对此制定了两项规划：一是参加国要预先公布各项统计的发布日历表。预先公布统计发布日程表既可方便使用者安排利用数据，又可显示统计工作管理完善和表明数据编制的透明度。GDDS规定对于以年度为频率公布的综合框架和指标，时间表表明不迟于某个既定时间；对于公布频率更高的数据，则可确定一个日期范围，如3-5天。鼓励成员国向公众公布发布最新信息的机构或个人的名称或地址。二是统计发布必须同时发送所有有关各方。由于数据是有价值的商品，因此GDDS规定应向所有有关方同时发布统计数据，以体现公平的原则。发布时可先提供概括性数据，然后再提供详细的数据，当局应至少提供一个公众知道并可以进入的地方，数据一经发布，公众就可以公平地获得。

一、统计方法在医学中的应用有：　　1、明确研究目的和研究设计　　正确的统计学分析一定要建立在明确的研究目的和研究设计的基础之上，那些事先没有研究目的和研究设计，事后找来一堆数据进行统计分析都是不可取的。 在医学论文的撰、编、审、读过程中经常遇到的问题是研究的题目与课题设计、论文内容不符，包括文章的方法解决不了论文的目的、文章的结果说明不了论文的题目、文章的讨论偏离了论文的主题；还有是目的不明确、设计不合理。如题目过小，论文不够字数，而一些无关紧要的变量指标或结果被分析被讨论；又如题目过大，论文的全部内容不足以说明研究的目的，使论文的论点难以立足。 所以，合理明确的论文题目或目的以及研究设计方案是撰、编、审、读者应当关注的首要问题。此外，样本含量是否满足，抽样是否随机，偏倚是否控制等，也是不可忽视的问题。　　2、建好分析用的数据库　　建好数据库是正确统计分析的前提和基础，甚至决定了论文分析结果的成败。对于编、审、读者来讲，一般由于篇幅的限制，往往得不到数据库数据，而只有作者在数据库数据基础上经统计描述计算后给出的诸如各指标均数 x、标准差 s 或中位数 M、百分位数 Px 的“二手”数据，或将研究对象的某一指标按其数值大小或特征属性分组，清点各组观察单位出现的个数或频数的频数表数据等。 无论是否能够得到数据库数据，作者在统计分析过程中一定依据数据库数据进行计算，得出结果。如果对“二手”数据或频数表数据的结果等存在疑惑，编辑、审稿专家或读者有权要求作者提供数据库数据以检查其完整性、准确性和真实性，确保研究数据的质量。假若在投稿须知中对数据库数据作出必要的要求，无疑对于保证刊物的发表质量有着积极的意义　　3、分清楚指标（或变量）的性质和类型　　很多研究表明，掌握好统计分析的应用条件，正确选择统计分析方法是学习并应用统计学的一个突出难点。 对于医学论文作者而言，分清楚数据库中变量的性质（影响变量与结果变量）、类型（数值变量、多项有序分类变量、多项无序分类变量、二项分类变量）以及它们之间的降级转化关系（数值变量一多项有序分类变量一多项无序分类变量一二项分类变量）是学好用好应用统计分析的基础，可以有效避免张冠李戴、缺乏原则地选错统计分析方法；对于文章的编审和读者来说，这是判断作者正确选择统计学分析方法与否的一个简单有效的途径。　　二、常用的统计分析软件：　　统计分析软件是统计分析的必备工具，常用的统计分析软件有：统计分析系统 SAS、社会学统计程序包 SPSS、微软公司电子表格系统 Microsoft Office Excel 等。

要数据分析，对论文很有作用，那是比较仔细的证明你这个论文非常靠谱，大家可知道幸福

"大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 "大数据"首先是指数据体量(volumes)?大，指代大型数据集，一般在10TB?规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。　　从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？　　大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。　　大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。　　大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。　　大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输入语义，分析，判断用户需求，从而实现更好的用户体验和广告匹配。　　大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。 大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。　　当下我国大数据研发建设应在以下四个方面着力　　一是建立一套运行机制。大数据建设是一项有序的、动态的、可持续发展的系统工程，必须建立良好的运行机制，以促进建设过程中各个环节的正规有序，实现统合，搞好顶层设计。　　二是规范一套建设标准。没有标准就没有系统。应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准，为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。　　三是搭建一个共享平台。数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类指挥信息系统的数据交换和数据共享。　　四是培养一支专业队伍。大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。

学术堂整理了十五个和大数据有关的毕业论文题目，供大家进行参考：　　1、大数据对商业模式影响　　2、大数据下地质项目资金内部控制风险　　3、医院统计工作模式在大数据时代背景下改进　　4、大数据时代下线上餐饮变革　　5、基于大数据小微金融　　6、大数据时代下对财务管理带来机遇和挑战　　7、大数据背景下银行外汇业务管理分析　　8、大数据在互联网金融领域应用　　9、大数据背景下企业财务管理面临问题解决措施　　10、大数据公司内部控制构建问题　　11、大数据征信机构运作模式监管　　12、基于大数据视角下我国医院财务管理分析　　13、大数据背景下宏观经济对微观企业行为影响　　14、大数据时代建筑企业绩效考核和评价体系　　15、大数据助力普惠金融

一般来说进行这个数据分析，对我们的这个认为会有一个特别大的意义，也会让我们的这个另有认为有一个更好的印象。