Hadoop Summit 2016会场回顾(二)
2016-04-20 16:03:55 来源:李扬 评论:0 点击:
2016年4月13日,都柏林的Liffey河畔,Hadoop Summit 2016在Convention会展中心盛大开幕。大会主要议程历时2天,有100多场演讲,与会者超过1400人。主要内容包括Apache Committer洞察、数据科学、运营管理、开发技术、数据商务、物联网、Hadoop未来几大系列。本文就数据科学、数据商务、物联网这三方面的一些内容做一个简单回顾。
It's Not the Size of Your Cluster, It's How You Use It演讲
由Big Fish Games的David Darden和Don Smith带来。介绍Big Fish从零开始上线Hadoop的过程,尤其是如何获得业务支持,启动庞大的技术工程。对那些受困于大数据项目启动成本的听众很有启发。在Big Fish,Hadoop集群主要用于入口分析、用户行为探索、以及分流计算压力。如何获得初始投资一直是个大问题。经验是保持良好沟通,明确地告知用户技术能做到什么(不能做到什么),然后等待,直到大量业务需求积累,推动技术项目启动。尽量用业务项目预算来覆盖技术基础设施投资。专注关键业务,高速迭代开发,尽早展示商业价值,获得用户认可从而推动下一轮投资。另外试图预测外来是行不通的,Hadoop技术的发展常常快于公司的计划,试图满足所有的用户需求也是不可能的,目前还没有能搞定一切需求的万能大数据技术。
MLLeap: Or How to Productionize Data Science Workflows using Spark演讲
由TrueCar的Mikhail Semeniuk和Hollin Wilkins带来。MLeap的关键特性是能在Spark上训练机器学习模型,但又没有对Spark API的依赖,做到了模型和运行库的轻量化,能在物联网的各种微小设备上运行。MLeap包括核心、运行库、Spark集成和序列化几个部分。核心包含线性代数、特征提取、线性回归、分类器等通用工具。运行库包含LeapFrame(类似DataFrame)和MLeap Transformer。MLeap Transformer(非常类似Spark Transformer,有一对一的关系)用核心提供的类库转换LeapFrame,完成训练。Spark集成提供从Spark Transformer到MLeap Transformer的方便转换。序列化相当灵活,支持JSON或者Protobuf。提供了一个测试报告,显示MLeap Transform比Spark Transform快1000倍。这个比较有明显的不公平,因为逐条记录运行,Spark Transform对每一条记录都会重复一个初始化的过程,好比每个微批次都只有一条记录。当场演示了从简单的模型训练到部署的全过程,训练后的模型可以方便的发布在MLeap API Rest Server上使用。未来工作包括核心类库向Spark全面靠拢,统一API,支持所有的Spark Transformer,支持Python/R的接口,以及部署在非JVM的嵌入式设备运行。
Hadoop and Friends as Key Enabler of the IoE – Continental's Dynamic eHorizon演讲
来自Dr. Thomas Beer, Continental Automotive。这是非常有趣的一个大数据、机器学习和汽车一体的应用。Thomas博士介绍了他们的Learning Map原型,利用每一辆汽车作路况信息采集,汇总到云端做机器学习,最后汇总生成精确的路况地图发送回每一辆汽车,从而实现自动驾驶。数据采集从每辆汽车开始,采集的数据不是原始图片,而是经过简单特征提取和加工的数据包,每条采集的信息大约100KB左右,通过安全网关送到云端。云端的数据导入用Storm和Kafka完成,数据验证和清洗用Spark,结果数据仓库保存为Hadoop Sequence文件。地图学习运行在Spark上,暂时每天执行两次,生成的地图保存在Amazon S3,再通过安全网关发还给每辆汽车。基础架构方面,现在原型系统主要是在Amazon上自行搭建的Hadoop,正在考虑向PaaS过度,比如使用Elastic MapReduce执行机器学习任务,将大大减少机器上线时间从而节省成本。
Hadoop and Other Animals演讲
来自Matthew Aslett, 451 Research。演讲从到底什么是Hadoop说起,有狭义和广义两种理解。狭义指Apache Hadoop开源项目本身,由HDFS、YARN、MapReduce三部分组成的核心。而广义来说,Hadoop生态系统不仅仅是那只黄色的小象,而是以它为中心的整个动物园!Hadoop生态系统经过多年的发展,俨然已经成为大数据平台的事实标准,被世界范围内几乎所有的高科技公司一致采用(Google大概是唯一的例外)。其底层由HDFS和YARN组成集群操作系统,之上有如MapReduce和Spark的运算框架,有如HBase和Phoenix的数据管理,有如Zookeeper和Oozie的协作模块,有如Hive和Kylin的数据分析,有如Storm和Spark Streaming的流式处理,有如Mahout和Spark ML的机器学习,有如Ranger和Eagle的安全监控等等。其覆盖大数据从采集到存储,从运算到分析,从安全到监控,无所不包,无所不有。如此强大的生态系统,已经完成了对大数据技术的事实垄断。与其从功能上来细分Hadoop的各种模块(如核心、流处理、数据库、分析工具等等),倒不如从用户角度来看整个Hadoop家族能提供什么样的解决方案,也许是个更好的方法。
作者介绍:李扬,Kyligence联合创始人兼CTO,Apache Kylin联合创建者及项目管理委员会成员(PMC), 主创团队架构师和技术负责人,专注于大数据分析,并行计算,数据索引,关系数学,近似算法,压缩算法等前沿技术。曾任eBay全球分析基础架构部大数据资深架构师、IBM InfoSphere BigInsights的技术负责人,负责Hadoop开源产品架构,“杰出技术贡献奖”的获奖者、摩根士丹利副总裁,负责全球监管报表基础架构。
相关热词搜索:Hadoop Summit 2016 part2 数据科学 文化 & 方法 架构 & 设计 语言 & 开发 Hadoop 大数据 架构 数据库