内容2017年8月12日，滴滴实时计算平台负责人梁立银在“网易学习日：大数据与人工智能技术大会”上分享了“滴滴海量数据的实时计算实践”讲座。 ”。 IT大咖表示（ID：itdakashuo）是独家视频合作伙伴，由组织者和发言人在经过审查和授权后发布。阅读字数：1260 |阅读4分钟即可获得嘉宾演讲视频的回放和PPT，请单击：该演讲主要是与您分享Didi的应用场景和实时计算的一些实践。滴滴大数据系统的主要特点是数据是实时的，数据收集可以收集90％以上的数据。数据源有三种类型，一种是Binlog数据，终端上的所有数据都收集在数据库中，通过Binlog进行实时收集。另外，还有publiclog，服务器端的所有日志也都是实时收集的。并在最后报告数据。因为我们所有的数据都是实时收集的，所以客户级处理过程也广泛使用了实时技术。实时存储中使用了三种产品。一种是ES，主要用于日志检索和实时分析。另一个是Druid，用于实时报告和实时监控。 HBase用于查询和数据扫描。离线部分当前使用Hive和Spark。 Hive主要负责ETL工作，Spark负责数据分析和分析后查询。对于流计算，我们使用了Spark流和Flink流。在规模上，我们的实时存储和离线规模已达到国内领先水平。实时计算，ETL，实时报告，实时监控和实时业务有四种主要方案。因为我们90％的数据是实时收集的，所以收集之后的第一个链接是进行ETL，因此现在ETL的规模最大。实时报告可用于显示运营和客户服务报告。实时监控的规模仅次于ETL。内部有两种监视要求。一种是在机器级别，另一种是使用技术解决方案。其余的是对业务类型的实时监控，例如每日订单量，余额率等。两者都使用实时计算系统。实时业务是我们今年突破的一部分。最后，我们想在流计算的场景中取得一些突破。为了促进ETL的使用，我们将其平台化，当前的清理量可以达到每秒约350万个数据，并且每天将清理大约几P的数据。这完全基于Spark Streaming的云计算。用于实时报告的主要实时技术是Spark Streaming和Druid。 Spark Streaming仍在进行数据清理。德鲁伊可以实时使用Kafka数据，但是数据是必需的，因此它需要经过一轮清理和转换。还有许多实时报告场景，包括大型客户服务屏幕，异常统计信息和订单热图。大客户服务屏幕是一个可以显示诸如客户服务呼叫的响应率，投诉热点和排队条件之类的信息的屏幕。异常统计信息包括监视从服务器向服务器发起的请求。可以通过这种方式监视请求的成功率，失败率和请求数。订单热图可以查看某个区域的订单数量，乘客数量和驾驶员数量，并通过地图进行显示。我们选择Druid是因为它具有一些特性，例如灵活的查询。为了提高以后的监控效率，我们搭建了一个一站式的自助监控平台，并进行了全链接平台建设。在此平台的基础上，滴滴内部访问了大约200个数据源，以及大约4到500个监控指标。 Flink Streaming是今年刚刚推出的引擎。我们希望针对实时业务中的高延迟，数据丢失和数据重复的问题提出更好的解决方案。降低实时计算的开发成本：与Hive等相比，实时计算的开发仍然相对困难，我们也在探索更简单的开发方法。实时业务发展与挑战：我们在实时ETL，实时报告和实时监控领域的技术非常成熟，基本上涵盖了滴滴的所有内部业务场景。实时服务对延迟和容错性有很高的要求，这是我们现在面临的重要挑战。合理分配业务高峰和低谷资源：我们现在要做的是如何合理分配资源，以便可以更合理地使用资源并为公司节省成本。今天我在这里分享，谢谢！