【www.shanpow.com--企业对联】
第一篇数据建设:畅谈数据中心建设与数据处理
畅谈数据中心建设与数据处理
2009-11-20 15:50 来源:Watchstor.com 佚名 我要评论(0)
摘要:这里介绍数据中心建设在不同情况下,它的作用是不完全一样的。于是企业内部建设的数据中心基本是数据仓库,为准确查询和分析服务。
标签:数据中心建设
数据中心还是比较常用的,于是我研究了一下数据中心建设,现在可能各大IT新闻都会提到"数据中心",看起来是很庞大的家伙,IT巨头google,MS等耗资巨头投入到数据中心建设中。
那么什么是数据中心?从字面意思,非IT人可能人认为是放数据的计算机中心。其实这只是表面,数据中心建设在不同情况,它的作用是不完全一样的。
在数据处理中,分为两大类。一是事务处理,二是数据查询和分析。数据处理或者分析,一般是在数据库中处理,而数据查询现在分为两大类,一是数据库查询,二是搜索技术。而目前随着各种技术的互相作用,搜索技术和数据分析也越来越有“合作”的意思。
搜索技术目前还处于“模糊查询”阶段,也就是从数亿计互联网信息中模糊搜索出你想要的信息,但由于是模糊查询,所以绝大多数信息都不是你想要的,于是目前几大巨头都在把数据挖掘技术容入搜索技术中,缩小客户搜索到准确信息的时间。
但由于搜索技术其“模糊特点”,在企业内部的信息化中,暂时还不适合,因为企业查询的需要是准确的信息,老板可没那么多时间一个个排除。于是企业内部建设的数据中心基本是数据仓库,为准确查询和分析服务。
那么何为数据仓库?前面提到的企业/单位投资信息化,他们不停上信息化系统,比如ERP、CRM、CallCenter、OA或者计费等。但上了这些系统后,会产生大量数据,客户首先的需求是查询和报表。但很多报表和查询是需要跨系统,而且复杂查询和报表很耗资源,可能影响各个系统的正常运行。于是80年代人们专门建设一个数据库系统,把各个系统的数据拿到那里进行准确的查询和报表制作,这样既方便又准备,而且不会影响业务系统。那么从这点说,数据仓库是全数据的集合。
而后来查询和报表已不能满足人们的需求了,他们想知道这些数据里到底有什么有用的信息,会给决策者什么有用的帮助。于是90年代人们把OLAP和数据挖掘加入数据仓库应用之中。为了更好地分析,人们从数据仓库里还会按照业务需要提出N多数据集市为查询、分析服务,这样会更方便,因为不同部门的需求不同,业务定义也可能不同,所以再把数据仓库的信息分到各个数据集市是很有必要的了,这样才好个性化服务嘛。
但有一定要申明,数据仓库和OLAP、数据挖掘以及查询、报表没有必然关系,他们是不同的逻辑事物,但相互作用很密切。正如前面提到,数据挖掘现在已经结合搜索技术,更方便地给人们提供互联网搜索服务。而数据挖掘在数据仓库的作用,就是更好地分析,比如著名的沃尔玛尿布和啤酒的案例就是数据挖掘的结果,它把数据中很多潜罪责找出一定联系的几率,这样帮助企业决策。
那么数据中心是何物?如果是针对具体的企业或者单位,其实就是业务系统数据存储技术+数据仓库,当然有的单位干脆只有数据仓库,比如科研单位,他们又不作业务处理,只有分析需求。但如果是互联网公司,就和普通企业和单位的数据中心不同,因为互联网的信息实在庞大,不可能包罗所有信息到数据库,也处理不了那么多信息,所以他们的数据中心的其中作用就是加强互联网数据的处理速度和效果;另一个作用也是数据仓库,但他们的数据仓库就不会包含所有互联网信息,而是企业本身关心的信息,当然数据量也非常大,一般十TB以上。
目前我国信息化其实还在初级阶段,可能很多人认为有了PC,可以上网,有很多软件用,信息化就好了?其实不然。信息化的高级阶段应该是准确快速处理、查询、分析数据!就我所知,美国几乎所有国家级政府部门、科研机构都上了数据仓库系统,不信可以搜索下他们各个部门的信息化新闻。而我们国家很多部门的普通业务系统还不够完善,更不要说建设数据仓库了。
其实最有意义的一个项目,应该是农业部数据仓库建设。数据中心建设后,全国各乡镇级以上都可以作为其用户,查询具体信息和分析信息。好处就不说了,还会出现农民种的东西买不出去,买不起价格么?不会!因为各个地方适合种什么,当年什么物种卖钱,市场需求等都在眼里。当然信息化并不是万能的,还要有配套措施,比如农业技术指导、专门的采购、物流、销售公司等配套等。
【编辑推荐】
深入讲解新一代数据中心
全面详谈数据中心新技术
分析企业数据中心系统
全面描述IDC数据中心
长篇描述新一代数据中心
第二篇数据建设:中国将建设哪些“大数据工程”?
中国将建设哪些“大数据工程”?
2015-09-10 11:15:12
大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合。国务院日前印发《促进大数据发展行动纲要》,对大数据发展工作作出系统的部署。
关键词:大数据
来源:新华网
编辑:王履冰(实习)
设计:张桢
近期推荐
中国将建设哪些“大数据工程”?
健康解码|一图了解微创手术
教师节,给老师的最好礼物
西藏50年 · 回顾与展望
栏目推荐
图解财经
图解大科技
道听途说
壹周一世界
应用推荐
新华炫闻
扫描下载
新华炫闻是新华网为用户量身打造的免费新闻资讯类软件,为用户传播最及时、权威的新闻资讯。
Copyright ? 2000 - 2014 XINHUANET.com All Rights Reserved. 制作单位:新华网版权所有 新华网股份有限公司
010020050640000000000000011199541116520789
分享到百度一下
分享到:
第三篇数据建设:构建数据指标-摘抄
数据的日常监测、功能上线的数据验证、通过数据分析定位问题,用户画像等,都离不开数据分析。而构建数据指标是其中重要的组成部分,对于产品尤其如此。我们一般先定位需要解决的问题类型,据此选择指标类型,通过类型下单个指标或复合指标(多个指标)的对比,揭示出线索或答案。
常用的数据指标类型有
1、基本指标:新增、活跃、留存、流失等(参考AARRR模型)
2、用户行为:访问路径、访问深度、访问频率和页面停留时长等
3、用户特征:性别,年龄,地域,手机型号,网络型号,职业收入,兴趣爱好等(可进一步转化成用户画像)
4、关键行为转化率:电商的交易转化率、游戏的付费转化率等
5、渠道推广:下载、安装、激活、推广费用、渠道质量(在关键行为转化率中加入渠道维度)
如何选择单个指标或复合指标进行对比?目前的能力还总结不出成体系的方法论,就几个关键词吧:时点、时段、比率、频率、分类、区间……




