怎么数据分析

【www.shanpow.com--科学/班会/信息】

怎么数据分析一:如何进行大数据分析及处理？ | 36大数据

大数据的分析
从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？
 
1. 可视化分析。大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。
2. 数据挖掘算法。大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。
3. 预测性分析。大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。
4. 语义引擎。非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。
5.数据质量和数据管理。大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。
 
大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。
 
大数据的技术
数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
数据存取：关系数据库、NOSQL、SQL等。
基础架构：云存储、分布式文件存储等。
数据处理：自然语言处理(NLP，Natural Language Processing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机”理解”自然语言，所以自然语言处理又叫做自然语言理解(NLU，Natural Language Understanding)，也称为计算语言学(Computational Linguistics。一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。
统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。
数据挖掘：分类 （Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)
模型预测：预测模型、机器学习、建模仿真。
结果呈现：云计算、标签云、关系图等。
 
大数据的处理
1. 大数据处理之一：采集
大数据的采集是指利用多个数据库来接收发自客户端（Web、App或者传感器形式等）的数据，并且用户可以通过这些数据库来进行简单的查询和处理工作。比如，电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据，除此之外，Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。
在大数据的采集过程中，其主要特点和挑战是并发数高，因为同时有可能会有成千上万的用户来进行访问和操作，比如火车票售票网站和淘宝，它们并发的访问量在峰值时达到上百万，所以需要在采集端部署大量数据库才能支撑。并且如何在这些数据库之间进行负载均衡和分片的确是需要深入的思考和设计。
 
2. 大数据处理之二：导入/预处理
虽然采集端本身会有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些来自前端的数据导入到一个集中的大型分布式数据库，或者分布式存储集群，并且可以在导入基础上做一些简单的清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。
导入与预处理过程的特点和挑战主要是导入的数据量大，每秒钟的导入量经常会达到百兆，甚至千兆级别。
 
3. 大数据处理之三：统计/分析
统计与分析主要利用分布式数据库，或者分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总等，以满足大多数常见的分析需求，在这方面，一些实时性需求会用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。
统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是I/O会有极大的占用。
 
4. 大数据处理之四：挖掘
与前面统计和分析过程不同的是，数据挖掘一般没有什么预先设定好的主题，主要是在现有数据上面进行基于各种算法的计算，从而起到预测（Predict）的效果，从而实现一些高级别数据分析的需求。比较典型算法有用于聚类的Kmeans、用于统计学习的SVM和用于分类的NaiveBayes，主要使用的工具有Hadoop的Mahout等。该过程的特点和挑战主要是用于挖掘的算法很复杂，并且计算涉及的数据量和计算量都很大，常用数据挖掘算法都以单线程为主。
整个大数据处理的普遍流程至少应该满足这四个方面的步骤，才能算得上是一个比较完整的大数据处理。
End.
可能感兴趣的内容
专稿：大数据简史 社交关系+大数据=？ 大数据处理应遵循的原则 面向大社交数据的深度分析与挖掘（附pdf下载） 司法大数据，2148份裁定得到的大数据报告是怎么来的？
无觅关联推荐[?]
转载请注明来自36大数据（36dsj.com)：36大数据 ? 如何进行大数据分析及处理？

怎么数据分析二:手把手教你做一份数据分析报告

报告是项目的结果展示，是数据分析结果的有效承载形式。一份思路清晰，言简意赅地数据分析报告能直戳问题痛点，提高沟通效率，获得领导赏识。
对于数据分析报告，首先要有一个概念性的认识，按照报告陈述的思路，可分为四类：
这四类报告由浅入深，分析难度递增，对企业决策的支持程度也递增，尤其是当企业面临某个决策难题时，分析工作要做得足够系统和深刻。
这四类报告我们可以做个比喻。
描述类报告类似记叙文，像个扫描仪一样描绘市场轮廓，不求最深但求最全。
因果类报告类似议论文，像打水井，集中一点，一直探到底。
预测类报告类似科幻小说，像个预言家，根据市场的过去推断市场的未来。
咨询类报告类似推理小说，像小马过河，投石问路，根据分析结论指导企业一路前行。
报告结构
撰写报告前先理清楚三个问题：
写什么内容？用什么结构？如何论述？
写什么内容由决策难题决定，是投资？战略？营销还是其他，相应的报告也就有了相应的内容。
好的报告要求重点突出、主次分明、层次清晰。报告要依附内容的分析以及领导或其他人的阅读习惯，但最重要的是遵循一定的结构化思维。
报告的常见构成
举个例子，比如我用PPT展示一个网民调查的报告
1、标题页：标题页用于写报告题目，为了方便归档，日夜也应当注明，还有报告撰写者和其单位所在部门。
2、目录页：目录页将报告的各模块呈现给读者，方便阅读和了解报告结构。
3、分析背景和项目说明：用于阐述项目需求、分析目的、市场情况、以让读者了解项目的前因后果。项目说明用于注明假设、数据来源等。
4、分析思路页：这是整个报告的灵魂，便于理解报告的逻辑思路。
5、结论建议页：结论建议页放在主题前，主要是为了给高层看时，结论建议可大幅度节省时间，简明扼要。
6、分析主体页面：这里就要搬上你的各种数据表，数据分析图。与表之间，图与图之间的联系如何阐述，反映出的问题如何表达，这些都是在做数据分析图表就要弄明白的。很多细心的领导及专门会针对你的数据分析以及结论来提问，因为现状和未来是他们最关心的。所以你的数据展示一定要体现你的分析思路。
小编曾经就被怼过一次，原因是数据分析结果展示于思路脱节，导致领导一直个为什么，那个怎么来，这个数据缺乏依据等等。因为当初的分析报告只是在展示数据，分析不透彻，表之间切换太过生硬，至今记忆犹新。后来，在做数据分析时，我制作一个表，或者一个图，每个表或者图都对不同维度做了深入的数据分析表，领导一问为什么，我就点击进去展示给他看明细，这用的就是FineBI的联动钻取和螺旋式分析功能，在展示时也能实时分析(以往的文章有提过)。
7、附录页：附录页目的是透明分析过程，常防止受访者的基本资料。
报告的论述
一份好的报告，光有好的结构还不够，还要有好的论述，关于论述，有几个注意事项。
1、数据可靠，界定严谨
报告的数据来源一定要可靠。写一份报告，获取和整理数据往往会占据 6成以上的时间。要规划数据协调相关部门组织数据采集、搭建体系平台、导出处理数据，最后才是写报告，为了结论准确有效，你要保证数据的可靠性，否则一切都可能会变成误导决策的努力。
界定是指报告中要对数据的来源、计算、概念做说明。不同的界定，有不同的结论。比如什么是高端微波炉，不同的界定，得到的数据肯定是不同的。
2、概念一致，标准统一
一些名词的解释和定义，前后要一致，不要让人不知所云。
3、直观呈报，通俗易懂
我们写得报告还是金亮图标话，用生动的图表代替数字和文字的大量对切往往更形象直观地理解你的分析和结论。

怎么数据分析三:数据分析之如何用数据？

光知道怎么看数据，还是不成，你得熟悉这些数据拿到手上之后怎么去用它，怎么让数据显示出来它本身的威力来。最后总结下来有这么几个部分。
第一个部分，是看历史数据，发现规律。以社区中的活动和电商中的促销为例，这些都是常见的活动，活动做得好的话有意想不到的效果。在做这样的活动，最好是拿到前一个月或者两个月的历史数据。对电商来说，从这里面要去分析各个品类的销售情况，那个品类销量最大，那个品类销量最小，每月或者每周的平均增长率和符合增长率是多少。通过原始数据把上面的这些指标分析出来之后，就可以看到哪些品类是优势品类，不用促销就可有很大的量，哪些是弱势的品类等等，这样可以确定出来拿那个品类出来做促销。对于内容社区也是一样，我们要从内容分类，和内容类型两个维度上去看，找到数量少类型单一的分类，对于这些分类下的内容数量及质量都需要提高。
第二部分，是从历史数据和现有数据中，发现端倪，找出问题所在。我们在工作中，每天都会接触到大量的数据，但是大部分看数据就流于表面了。例如对于社区来说，很关注总注册用户数，每日登录用户数，每日新用户注册数。这些数据不能说不可以看，但是更要看到最重要的数据点：每天有多少老用户登录、每天发布的内容中有多少能够称得上是优质的精品内容，这两个数据决定着说这个社区的质量怎么样，对于内容社区来说，初期如果不重视质量建设，那么等用户到50W、100W之后再去看质量，已经有点晚了。还有一个是市场部门用的会很多，在市场宣传过程中，我们会有很多广告和链接放出去，每天要监测这些链接数据量，当出现数据波动非常大的时候我们应该怎么去做，是要看到链接放置的媒体出现了问题，是不是对方做活动突然吸引了大量的人来，还要去看到我们的着陆页面，是不是吸引用户点击等等。数据就是我们的助手，帮助我们发现问题，同时顺藤摸瓜找到问题的根源所在。这个能力是非常重要的，不管是不是做数据相关工作的人，都要能够掌握。
第三部分，数据预测。通过分析数据，发现其中的规律，那么则可实现数据驱动运营，驱动产品，驱动市场。例如，对电商来说，知道一年内每个月的各个品类的增长率，也清楚各月之间的影响情况，那么按照这个量就可预测未来月度里面交易量的增长情况，我们能够达到什么样的水平。同时，在某个大型活动完结之后，不是立即看数据，要看活动结束后一个月后的数据，这样才能看到多少用户是因为活动的奖品过来，活动结束之后就走了，为什么选一个月，因为在一个月内流失率什么的就一目了然了。
第四部分，学会拆解数据。这个拆解数据在我看来有两方面的维度一个是每年的数据指标怎么去分拆到每个季度，或者每个月，这个有点绩效驱动的意思了。另外一个就是说每天产品的运营数据，推广数据或者销售数据有很多，要会对这些数据进行拆分，知道每个数据都是来自哪些方面，增高或者降低的趋势是什么。
近几年数据分析在互联网领域非常受到重视，无论是社区型产品，工具类产品，还是电子商务，都越来越把数据作为核心资产。确实数据分析的越深，越能够是在精细化的运营，在很多时候工作的重点才有据可依。但是要注意两方面的问题：
1，不能唯数据论，数据有时候能够反馈一些问题，但是也要注意到在有些时候数据并不能说明所有问题，也需要综合各方面的情况整体来看。同时要有数据分析的思维，不仅仅是互联网行业几乎所有的行业每天都会产生大量的数据。所以最重要的是有这种数据粉丝的思维，知道怎么通过数据分析找出规律，发现问题，对将来做出预测及拆解。
2、找到适合自己产品的数据指标来。不同的产品特性，用户使用习惯也都不一样的，需要找到适合自己产品的指标参数而不是随大流，不是简单的PV、UV就可以了。例如对于内容型产品来说，每天的PV，UV是一个非常重要的指标。对于社区型网站来说，每天的登陆数据和进行有效操作的用户则是需要关注的。而对于电子商务网站来说，订单数及客单价是核心，但是于此同事转化率和重复购买率则是需要同样关注的。在移动互联网上这种的数据参数更是多样，最重要的是我们要学会通过自己用户行为特征来找出界定产品健康程度的标准，这样能让我们更好地观察自己产品的好坏。

本文来源：https://www.shanpow.com/jx/381503/