苏宁云商IT总部技术总监,主要负责苏宁物流大数据系统的开发工作,其中主要主导了物流大数据从传统数据仓库到分布式数据仓库的架构升级,主导了苏宁物流实时大数据系统的搭建和升级等工作,致力于推广大数据在企业生产运营各领域的应用。
演讲主题 Spark Streaming在苏宁物流天眼全流程监控系统中的应用
Spark Streaming是基于Spark的实时计算框架,它通过将输入数据流以时间片为单位拆分成一个个小的RDD,从而支持流式、批处理和交互试查询应用。本次演讲将以苏宁天眼全流程监控系统为案例,介绍如何通过spark streaming与kafka、redis等技术整合,解决实时数据采集、计算、展示的问题。
听众受益
了解spark streaming流式计算的特点和实现原理;掌握如何通过spark streaming与kafka,redis等技术的整合,构建数据采集、计算、展示的整体解决方案。