干部学习讲稿：大数据在交通方面的应用

干部学习讲稿：大数据在交通方面的应用
周琦
高德交通信息事业部数据架构师

课程前言
大家好，非常荣幸能来这个大会跟各位同仁分享高德软件在大数据交通方面应用的成果和经验。我下面就几个问题，就是说高德软件目前拥有哪些数据，以及高德交通现在怎么实时处理大数据、分析大数据和交通报告、数据挖掘的一些经验。
一、高德交通拥有哪些数据
先说高德，高德本身是一家地图软件起家的，一家是纯粹的传统测绘企业，我们是中国最早一批获得测绘资质的公司。开始我们做全国地图数据的采集，然后我们开始是面向行业用户，后来慢慢面向公众服务，包括现在的高德地图几乎是我们在手机终端上最常用的几种导航软件之一。因为我们为公众提供导航服务的话就离不开对交通信息数据的使用。高德开始从事交通信息比较早，在2007年的时候就开始投入资源，来做全国交通信息的采集和发布。当时城市还没有现在这么堵，但是我们发现交通日益成为对公众出行体验影响很大的方面，所以我们就和全国很多大厂商进行合作。我们采用置
……（新文秘网https://www.wm114.cn省略686字，正式会员可完整阅读）……　
了，所以说进入了阿里集团之后，我们对大数据的处理和基础架构的能力也得到了提升，现在高德所有用户的回传数据都已经进入了阿里的云系统，包括ODPS和实时计算平台，已经应用到了我们的业务之中。
然后我们能够对这些用户回传的数据，我们可以提取什么样的价值呢？目前我们一看到导航，第一想到的是打开地图软件，看到路上有红、黄、绿，包括之前很多同仁都介绍了一些路况的探测和实时采集的信息，这些目前是高德最典型的应用。但是用户打开地图不是为了看红黄绿，而是要指导出行，所以我们重要的是要结合交通路况，给用户定制，节约他的出行成本的方案。我们的交通路况是怎么得到的呢？我们交通路况是实时回传，通过每秒钟回传数万的GPS，再实时的进行快速的流转，进行实时计算，我们还要迅速的把交通信息发布到用户的终端，由终端感知到，并且能够在导航中进行应用，然后才能创造出价值。大家可以看这两个示例，这是三环路比较拥堵的时候，现高德有个导航方案，我们会建议他走另外的方案，可以为他节省更多的时间。
而且我们也有实时的一些路况事件的结合，有多元的数据，除了回传GPS数据，还有交通实践，用户上传的和大数据采购的一些事件，如果突然间前方发生了道路的封闭，或者说有车辆碰撞，我们也会在导航中尽量为用户规避这种不便。
这是我们通过从大数据的采集到处理、计算，到最后的应用，可以说我们已经初步为解决中国城市地面道路拥堵问题做出了我们企业的贡献。可以说我们通过这种动态的导航，其实我们不光解决实时交通信息，在导航的时候我们还会做一定的预测，结合实时加预测的方案，我们更加智能的引导着用户的出行，让他尽量规避拥堵的路段，以免加剧城市的拥堵。
三、如何运营分析大数据
刚才提到了我们还有一个问题，就是数据如何去运营，去管理，如何保证数据的准确性其实是很大的难题。我们有这么海量的数据，对我们的管理能力提出了新的挑战，我们不仅要发布交通信息，还要有实时验证数据的质量，和已经发布出来的路况准确性。以前我们去进行验证，实际上是很痛苦的事情，最传统的方式是我们开一辆车出去，我们看是不是拥堵，这种传统的方式耗费的成本极大。我们现在基本上已经是自动化的测试了，偶尔有人工的路测，我们可以提取最有效的样本，自动化的根据现时发布的路况进行自我的验证，然后监控，一旦发现质量极大的下降，或者说数据表极大的下降，可以实时提供对运营人员进行报警。
而且对于地面交通其实我们要解决好几个问题，离不开人、车、路。我们未来解决我们的运营，每天数十亿的数据，每天下载有数百GP的数据，还要建立非常庞大的索引系统。这是我们调查这些问题分析原因的系统，我们的运营人员也会接到投诉，某某路用户拥堵了，但是我们发布的是畅通。这时候就要调查什么原因，是不是程序员写的程序有漏洞，还是有什么特殊的原因就要去分析。所以我们就把每一条道路，可以计算出在每一条道路在当时发布的一个情况，还有每一条道路上经过哪些车，每一条车经过这条道路的速度，我们都可以实时回调出来，供分析人员分析，到底是什么原因导致了这样的结果。我们基本上是把人、车、路三者结合起来，而且还不是一个时间点，我们还要考虑在整个时间上，我们发布路况是每两分钟就要更新，更新全国路网的交通信息状态。大家知道全国路网，地图行业一般是以路段进行发布的，我们每2分钟发布的路段是数十万个，索伊美两三分钟就会产生数十万个记录，我们要解决人、车、路的索引问题，还要解决时空上的索引的一个关心，便于我们回溯调查历史上任何一个实时的状况。
四、如何进行数据挖掘
除了实时的一些应用，我们还有一些要基于历史数据的挖掘产 ……（未完，全文共3815字，当前仅显示1927字，请阅读下面提示信息。收藏《干部学习讲稿：大数据在交通方面的应用》）