【www.shanpow.com--简历制作】
(1) [地图数据质量]不足1%人会用excel制作空气质量分布地图
之前分享给大家一篇文章《震惊！90%的人都不知道excel的一键数据爬虫技能》，介绍如何抓取空气质量数据。有网友问如何用制作空气质量分布地图，这次分享如何把空气质量数据放在中国地图上。
这次不给大家详细介绍如何抓取数据了，可以翻看我之前写的文章，里面有详细介绍如何操作，这次直接制作三维地图。
Step1.首先打开数据表，然后选择插入三维地图。
Step2.设置城市的类型选择“县市”
Step3.值添加字段AQI，并选择“无聚合”
Step4.然后设置图层，我选择按照值设置颜色
以上设置完成就显示出我们想要的空气质量全国分布图
预告：下次分享随着时间变化的动态数据地图制作，例如未来一年的国民经济指数的变化或者未来一年的国家空气质量变化等。（具体案例未定）
(2) [地图数据质量]地图服务网站
地图服务网站
(2007-08-05 12:26:26)
标签：
校园生活
分类： 工作篇
Google正春风得意，百度也终于花上了美国股民的钱。搜狐砸了一个亿去整合Go2Map，推自己的搜狗。新浪研发了两年的新一代搜索引擎爱问也于6月底正式浮出水面，其中包含了local search。微软加大搜索引擎的研发力度，在中国推出msn门户。我们惊奇的发现，2005年过去一半了，而这段时间内最耀眼的还是搜索引擎。我们必须承认，2005年依然是“搜索年”。除了搜索本身，还有什么？地图！忽然地，网络地图成为了搜索网站的焦点。一个没有地图的搜索引擎俨然是跟不上时代的土包子。一夜间，所有的搜索网站都披上了地图的外衣。有专业公司预计，全球GPS(全球定位系统)市场收入有望从从2003年的130亿美元增长到2008年的215亿美元。到2010年，我国卫星导航定位应用市场的产值将超过100亿元，而由它带动的相关产业产值将是这一数字的5倍至10倍。
一． Go2Map 图行天下(http://www.go2map.com)优势：1.老牌子；2.在基于MapX应用开发商中排行老大，将Mapinfo的开发技术发挥到几乎尽至了；3.原企业以基于Mapinfo－Mapx开发的项目开发为主，而这些项目开发给他们带来地图资源和网站租用的机会；4.POI丰富劣势：1.数据老旧；地图来源来自国家地理信息中心与中科院，数据更新困难；2.网站性能低下；3.底层技术MapX的低端性质限制了一些高级应用的开发：如很难与用户交互；4.被sohu收购，也应是排他性合作；详细功能分析：地图功能：比较详细，可以分层显示地图显示的元素，图层，工具也比较多，有放大，缩小，全图，测距，平移，打印，存盘，删除，及地图标点的功能。点位查询：网站首页提供最基本的点位查询功能：选择城市，输入点位名称，进行搜索，结果在地图上显示。公交查询：网站首页提供最基本的公交查询功能：选择城市，输入起点和终点的名称进行查询，结果显示在地图上。驾车导航：点击首页上方菜单：驾车出行＞再点击菜单：自驾车地图黄页：首页提供相关功能，输入关键词和选择城市，找到搜索结果列表手机地图：提供wap地图服务，提供服务有：公交查询，找地方，打车助手专题地图：分类详细，有美食：(簋街 花园路 特色火锅店 月坛喝汤) 娱乐：(主题酒吧 音乐吧 特色咖啡店 什刹海) 体育场 体育馆 体育中心 健身俱乐部 溜冰场 游泳场 游泳馆 垂钓场所 花卉市场 服装市场 汽车交易 电器城 眼镜店 药店 书店 图书馆 家居建材：家具城 建材城 灯具市场 石材市场 连锁店 珠宝店 综合商场 超市房产： 各类楼盘(写字楼别墅 山庄 公寓 居民小区) 宾馆饭店(普通宾馆 星级宾馆 招待所) 场馆会所(展览馆 博物馆 展览中心 会议中心) 交通：立交桥 复杂路口 快速路出入口 拥堵违章多发 加油站 收费网点 停车场 航片：交叉路口 小区 景点 俯瞰北京 繁华闹市 旅游： 旅行浏览 餐饮：美食 麦当劳 肯德基 教育： 小学 中学 中专 大学 职高 技校 驾校医疗： 医院 综合医院 中医院 专科医院 社区医院 金融： ATM、银行、自助银行地图博客：无此项功能地图名片：无此项功能企业地图：推出美食天地，休闲娱乐相关频道来与企业合作的方式，分类极为详细，但局限于北京；自助标点：无此项功能地图打印：点击地图上的打印图标即可打印邮寄地图：无此功能，但可以保存地图后用户自己邮寄地图地图***：无此项功能打车助手：计算某点打车到某点的打车费用网站速度：非常慢，通常一个页面打开需1分钟左右，打开地图更慢，通常需10分钟不一定能打开。首页完全打开也需要40秒左右数据质量：比较旧，北京的数据比较全面，其它城市数据不全，给人感觉是针对北京做的网站网站内容：内容繁杂，各个频道都有相当众多的文章新闻，网站界面：有门户网站的感觉，栏目众多，内容繁杂，导航不够清淅，同时网站速度慢，给用户很差的使用感觉。
二． MAPABC(http://www.mapabc.com)优势：1．03年开始崭露头角，采用Java技术；有很深的技术含量2．产品线非常齐全：Kjava，Brew地图应用，地图名片；企业地标；导航地图等等3．与Google,Tom等企业进行合作，在企业地图服务租赁方面业务非常成熟(http://bendi.google.com 采用mapabc技术）；4．推出不长的时间里，口碑非常好，现在已经是国内地图服务行业内的老大位置了；5．数据合作伙伴是“北京高德”，该公司在北京市郊拥有300多人的制图团队，有甲级测绘及电子地图生产资质；在全国各地许多城市拥有调查队伍；有许多GPS车采集数据；6．提供在线260多个城市地图查询7．地图引擎功能强大，很精悍；8．它们公布了自己的技术白皮书，有稳定的技术开发团队和拥有知识产权的地图开发的相关技术和产品；9．在市场开拓中占居先机劣势：1．没有自己的数据团队和数据产品，依赖于合作伙伴的数据；2．网站地图服务有排他性（google注入了200万美元的启动资金）。详细功能分析：点位查询：网站首页提供的点位查询功能集成黄页查询功能，关键字中可以是点位名称也可以是某关键词如景点，餐饮之类，选择城市，输入点位名称，进行搜索，结果在地图上显示。公交查询：将公交换乘和驾车出行集成在一个界面上，选择城市，输入起点和终点的名称进行查询，结果显示在地图上。手机地图：提供K-java服务，MMS服务，Brew服务和WAP服务专题地图：无此项功能地图博客：无此项功能地图名片：首页提供此项功能，做得比较完美，提供各式的名片模板选择，用户先注册后申请名片功能。企业地图：提供企业地标服务，通过企业地址的文字链接方便快捷地调出标有企业位置的电子地图，然后利用先进的地图缩小、放大、浏览等功能快速查看企业位置，了解企业的经营特色。地图打印：地图可以保存，可以打印邮寄地图：可以通过发送地图链接来发送地图。地图***：无此功能网站速度：快，平均查询时间不超过两秒数据质量：新网站内容：导航清淅，功能明确，网站界面：简洁明快
三． Map666----MapBar( http://www.mapbar.com )优势：通过发展代理商，市场开拓的不错，后起之秀也；开始实施搜索排名收费制；与连锁商家合作发展这方面的专题图，做的也不错；现在百度地图：http://map.baidu.com 采用的就是mapbar的地图技术。劣势：知名度还不是很高；详细功能分析：地图功能：工具功能比较简单。点位查询：网站首页提供的点位查询功能集成黄页查询功能，关键字中可以是点位名称也可以是某关键词如景点，餐饮之类，选择城市，输入点位名称，进行搜索，结果在地图上显示。如果输入是关键词，则地图为浮动显示，且搜索结果溶入排名服务，通过付费多少决定排名的先后：公交查询：将公交换乘和驾车出行集成在一个界面上，选择城市，输入起点和终点的名称进行查询，结果显示在地图上。右边是列表结果，左边为地图显示手机地图：无此项功能专题地图：与众多的网站合作，提供吃喝玩乐 宾馆住宿 旅游地图 婚庆地图房产地图 银行地图 一卡通地图 医疗地图 汽车服务 京城电子眼 家居装饰求职地图 教育培训 宠物地图等专题地图服务地图博客：第一个有博客地图的网站，为博客提供地图位置，同时还可以显示在此博客附近的博客数量。地图名片：集成于会员功能服务中，做得比较完美，提供各式的名片模板选择，用户先注册后申请名片功能。企业地图：提供企业地图服务，注册用户可以有一个有地图的网页地图打印：地图可以保存，可以打印邮寄地图：可以通过发送地图链接来发送地图。地图***：无此功能网站速度：快，平均查询时间不超过两秒数据质量：新网站内容：导航清淅，功能明确，网站界面：简洁明快
四．ChinaQuest城市通 (http://www.chinaquest.com )优势：可谓瘦死的骆驼比马大，当年网络泡沫时代造就的声势余威尚存，但是受陆续的官司影响，在同行中口碑不佳；采用SVG发布技术，在地图表现形式方面（表现形式更加生动活泼），在与以后的手机矢量地图的应用服务方面处于市场的先机，多于其他几个网站30多个城市的黄页数据；劣势：数据老旧，尤其是BaseMap,虽与Go2Map持平，但比后起的几家更旧；详细功能分析：点位查询：网站首页提供的点位查询功能，选择城市名称，输入查找点，可以定位到点位。结果显示到地图上。公交查询：将公交换乘和驾车出行集成在一个界面上，选择城市，输入起点和终点的名称进行查询，结果显示在地图上。右边是列表结果，左边为地图显示手机地图：无此项功能专题地图：与众多的网站合作，提供吃喝玩乐 宾馆住宿 旅游地图 婚庆地图房产地图 银行地图 一卡通地图 医疗地图 汽车服务 京城电子眼 家居装饰求职地图 教育培训 宠物地图等专题地图服务地图博客：第一个有博客地图的网站，为博客提供地图位置，同时还可以显示在此博客附近的博客数量。企业地图：提供企业地图服务，注册用户可以有一个有地图的网页地图打印：地图可以保存，可以打印邮寄地图：可以通过发送地图链接来发送地图。地图***：每个查询结果都可以通过******发送。网站速度：-数据质量：旧网站内容：导航清淅，功能明确网站界面：两种界面，简洁明快
(2) [地图数据质量]地图服务网站
(3) [地图数据质量]高德交通大数据在城市交通分析方面的应用
点击上方“蓝色字体”可快捷关注。
讲座选自高德地图陈水平数据分析师于2015年4月16日在 RONG 系列论坛之三——大数据与未来人居研讨会上所做的题为《高德交通大数据在城市交通分析方面的应用》的演讲。
主讲人：
清华大学管理科学与工程硕士，德国亚琛工业大学生产系统工程硕士，清华大学工业工程学士。现任高德地图交通信息事业部数据分析师，参与构建了高德交通信息的数据仓库和数据开发平台，是高德交通报告项目的核心研发工程师。
演讲全文：
陈水平：大家好，很高兴今天有机会跟大家交流一下高德在应用大数据研究方面的收获。我叫陈水平，也叫追兵，每一个阿里员工在进入公司的时候都要自己给自己起一个名字，我给自己起这个名字，希望自己向遇到的每一位大师学习，奋起直追。
我在高德地图交通信息事业部，核心产品是路况信息的实时发布。GPS点有三个字段组成：时间、经度、纬度。我们数据的组成分为两个大类：第一，公众数据，也就是我们从用户身上拿到的数据，这里面分为两个来源：第一，手机地图APP的导航回传；第二，车载导航设备给我们传回的GPS点，目前这两类占到54%。第二，行业数据，行业数据通过置换和购买的方式主要是出租车数据，我们大概有全国80%以上的出租车的数据，还有一部分是物流车和长途客车。90%以上的车辆都会实时向我们回传他们的GPS信息，每月有100亿公里驾驶历程覆盖，70多万件交通事件向我们上报。我们对全国的高速路网进行交通信息的发布，高速路我们可以发布90%，主干路可以发布50%以上。
拿到这些数据以后我们处理的流程遵循这样一个逻辑：最基础的格式是GPS点，这个点跟普通的定位点不一样，一般每隔几秒钟、一分钟，它是连续的点的序列的信息，能够完整的复现一个用户出行的轨迹。我们从这些点中做一些切分，得到具有明确的出发地和目的地的轨迹，基于此，我们根据拥有的地图数据把他匹配到地图上，再做一些数据挖掘方面的研究。
对于我们一个依赖于交通大数据运营的企业，做到这些是不够的。前面有很多朋友抱怨获得数据是非常困难的事情，这件事情在我们这边并不困难，我们困难的是怎么样管理数据。管理数据在我看来可以分为四个部分：存储、运营、挖掘、应用。如果用武功来比的话，挖掘和应用是一个招式。更重要的是存储和运营，这是内功方面的修为。
GPS回传数据是我们最重要的数据，我们内部搭建一个实时处理的系统，把这些分布式消息列队，我们会把这些数据拿到做实时的处理，计算每条道路当前速度信息，结合道路等级发布他的拥堵状态，这是我们核心产品。
我们还会把离线的数据导入到我们的平台。我们现在也会把数据传到阿里云
的平台上，包括ODPS和其他的数据处理系统。我们还会对这些东西做一个实时的评测和监控，这对于我们保证数据的管理和质量是非常重要的。
下面讲一下存储和运营。最主要对实时数据的管理和监控，首先你要监控你的数据的量是不是发生最大的变化，一旦有异常就报警。你要保证你核心产品发布的路况信息的准确性，如果用传统方式来看，你只能开一辆车到路上，看是不是堵，跟我们发布的信息比较，这种方式成本非常高。我们内部开发了一个自己的自动化评测的系统，它通过挑选一些非常可信的GPS回传的终端样本，通过经过道路的状态和我们发布的状态做一个比较和自我校验，如果不一样的话，我们会自动的报警。
你怎么样能够快速的响应用户的抱怨，迅速的定位问题，并修复问题，这是一个非常大的考验。因为我们每两分钟就会发布一个全国路网交通信息情况，两分钟大概会有六七十万条的记录，你要达到实时的检索是很困难的事情。通过设计出一套非常复杂的索引技术，基于HBase搭建一个系统，比如说某个客户说我们哪条路报的不对。我们选中这条路，绿色的格子标注的是他的速度，红色的是状态。右侧就会复现所有经过这个道路原始数据的情况，从这个地方来看，是我们的算法有问题，还是我们在去噪的过程中有不好的噪点没有去掉，导致我们交通信息发布的错误。因为这个数据部门运营的人数就和我们研发部门的人数是一样的，说明了我们公司对这个问题的重视程度。
下面讲一下我们基于这些数据掌握的应用。第一，交通报告，针对全国40多个城市做交通的数据挖掘，它的道路拥堵情况，道路拥堵的成因。北京2014年Q3季度每日拥堵的曲线图，横轴是日期，纵轴是拥堵指标。如果指数是2，你在高峰期出行，你所花费的时间是在你畅通时间的两倍。红色点表示周一，蓝色点表示周五。周五是最堵的，经过这条绿线，转化成了最堵的是周一，周一就变成了一周里面最拥堵的一天。考虑到中国尾号为4的车辆比较少，所以限号4的车比较少，出现在路上的车就多了。
对比北京不同特征日出行的模式，灰色的是正常工作日的情况，早晚都要堵两个小时左右；黄色的是周末线，早高峰会推一些，晚高峰还是比较高的。十一大家都出去玩，所以北京的畅通是比较好的。APEC还是比较畅通的，但是它还是有比较明显的上下班的高峰。
这是我们实时查询一个城市最堵的道路，同时也可以查到昨天最堵和今天最堵的道路。这是我们和清华大学和戴姆勒公司研究出来的一个模型，这是北京二三四五环，纵轴是时间，西二环和东二环、东三环这几个地区是北京快速路上最堵的几个区域，北边道路拥堵情况肯定比南边要剧烈很多。北四环中路，红色的地方拥堵的概率是非常大的，工作日早晚高峰的时候，主要堵点位于保福寺的出口，拥堵概率90%。拥堵最先开始是出现在一个什么样的地方，我们去看横轴，7：30到8：00之间，第一个红色的点发生在学院桥的东入口，这条道路上拥堵最先发生的地点就在这个地方，如果你想治理拥堵，你要到这个地方实地考察一下，并进行相应措施的改进。
我们还有一个很重要的功能，把我们的交通信息，路况信息和导航合在一起。躲避拥堵，我们可以发现三环上整体的拥堵情况是比较明显的，如果使用了躲避拥堵功能，我们自动会为你推荐走四环的路。因为你从一个起点到终点，有很多不同方案，如果你只凭经验去走，不如用信息的手段得到最优的方案。今天我来如果没有用躲避拥堵这个功能的话，我可能就会迟到了。
规避事故也是一样，如果前方发生了一个事故，用户上报并通过我们的系统检测这是一个很可信的事件，我们也会改变我们的导航路线。我们根据你使用高德地图的情况挖掘你的家和工作地，这并不是我们最完美的一个案例，并不是很准，这两个点离工作地和家比较近，如果精确不到小区，可以精确到交通规划概念上的小区。我们可以获得比较好的指数信息，基于这些做城市规划，相信对指数平衡方面也是有一些帮助。
我们利用大数据反哺我们自己产品的功能，左边的有些点不在路网功能之上，一个是噪点，一个是新的路。我们跟清华大学另外一位教授合作，得到了这样一个结果：通过一些特征的抽取，把可能是新路的东西由点连成线，提供给地
图的更新部门，提高线路更新的频率。
右边是通车量的信息，对于通车量比较少的路，我们有理由认为这条路不太好走，我们会降低它在路线规划中的权重，保证我们提供路线规划的质量会得到提升。我们发现有一条路通车量非常少，你用街景一看，可以看到是这样的路。我们避免在导航规划的时候给你规划处这样的路线，因为用户也不太相信这样的路线。
简单总结一下。
第一，大数据。数据来源手机、汽车、物流车、出租车。
第二，交通大数据的处理。道路和数据结合在一起，进行了大数据的挖掘，我们提供一种响应度非常高的数据质量运营的产品。
介绍我们几个应用，交通报告主要是用于对这个城市的交通情况做定量的分析，分析出一些道路拥堵的原因，也可以对限号和天气影响做分析。动态导航，帮助大家找到触达目的地，对于不是特别堵的路线，加大目的地的功能，我们主要是想对个性化路线信息的推荐做一些帮助，反哺高德产品。新路识别和小路识别。
地图数据和业务反馈的日志的数据都没有包括在我这个演讲当中，因为很多专家朋友抱怨获得数据很难，我们今年部门一个重大的项目是要做一个数据开放平台，希望明年的时候能够向公众开放可以免费获得大数据。只要你可以拿出让我们眼前一亮的方案，我们可以签订协议，提供一次性大数据给大家，如果您无法处理一次大数据，我们能够分配我们的工程师帮助您处理成您所需要的格式，所以一次大数据、二次大数据都没有问题；而且我们还可以提供必要的项目经费支持。
整理：祁德力
校对：祁德力
转载自：软件定义世界
扫描下方“二维码”欢迎关注。
