百度马小龙:Spark在百度的工程实践分享

原标题:百度马小龙:Spark在百度的工程实践分享

2015年4月16-18日,由CSDN主办、CSDN专家顾问团支持的 OpenCloud 2015大会将在北京国家会议中心拉开帷幕。为期三天的大会,以推进行业应用中的云计算核心技术发展为主旨,聚焦技术创新与应用实践,设置了“2015 OpenStack技术大会”、“2015 Spark技术峰会”、“2015 Container技术峰会”三大技术峰会及多场深度行业实战培训。

本次大会将邀请近40位国内外云计算技术领域顶尖专家与一线实践者,深入讨论OpenStack、Spark、Docker、Kubernetes等开源技术的最新进展,各个核心项目/组件的演进趋势,以及它们的最新业界应用。

在“2015 Spark技术峰会”,我们邀请到了百度资深软件工程师马小龙担任演讲嘉宾, 他将带来的分享主题为《Spark在百度的工程实践分享》,主要讲述Spark在百度的使用情况以及Spark在BMR中的支持情况。

马小龙

百度资深软件工程师

2008年毕业于清华大学自动化系,先后就职于Yahoo和Zynga等公司,在Yahoo!北研参与搜索广告系统的优化,获得Yahoo! You Rock奖项;在Zynga中国参与游戏服务器性能优化,提升游戏服务器性能超过60%,所用技术方案被Zynga各大游戏广泛采用,获得CTO Award奖项;2012年底加入百度,目前在百度基础架构部从事大数据处理相关产品的研发工作。

以下为CSDN针对马小龙的会前采访实录:CSDN:首先请介绍下您自己,以及您在Spark 技术方面所做的工作。

马小龙:我叫马小龙,目前在百度基础架构部做大数据处理平台,我主要关注Spark在公有云环境下的使用、优化。

CSDN:您所在的企业是如何使用Spark 技术的?带来了哪些好处?

马小龙:我们主要结合业务需求来对Spark进行优化,带来的好处是作业的处理速度有明显提升。

CSDN:您认为Spark 技术最适用于哪些应用场景?

马小龙:我个人认为Spark比较适合有迭代需求的大规模作业,比如机器学习等领域。

CSDN:企业在应用Spark 技术时,需要做哪些改变吗?企业如果想快速应用Spark 应该如何去做?

马小龙:Spark和现有的Hadoop生态整合得很好,所以数据方面没有迁移成本,但是业务算法需要重新实现,因此建议先评估现有的业务是否适合放在Spark上,然后再做迁移。企业如果想快速应用Spark,可以选择BMR,BMR提供了Spark镜像,可快速按需创建Spark集群:)

CSDN:您所在的企业在应用Spark 技术时遇到了哪些问题?是如何解决的?

马小龙:主要是需要和企业现有的生态打通,需要做一些适配工作。

CSDN:作为当前流行的大数据处理技术,您认为Spark 还有哪些方面需要改进?

马小龙:Spark目前的发展势头很好,可以在稳定性方面逐渐改进。

CSDN:您在本次演讲中将分享哪些话题?

马小龙:主要分享Spark在百度的使用情况以及Spark在BMR中的支持情况。

CSDN:哪些听众最应该了解这些话题?您所分享的主题可以帮助听众解决哪些问题?

马小龙:对Spark感兴趣的用户都可以了解一下。BMR中的Spark有助于听众快速使用Spark集群。

除了马小龙,2015 Spark技术峰会已经邀请Spark Streaming负责人Tathagata Das来华,和国内用户分享Spark的技术细节,探讨Spark未来的发展方向,此外还有Databricks、IBM、Intel、微软、百度、阿里、腾讯、亚信等公司的Spark技术实践者,也将同台分享Spark及其相关项目的实战经验。

附:2015 Spark技术峰会全日程(Updating)

“2015 OpenStack技术大会”、“2015 Spark技术峰会”、“2015 Container技术峰会”4月17-18日在北京召开。日程全部公开!OpenCloud 2015,懂行的人都在这里!更多讲师和日程信息请关注OpenCloud 2015介绍和官网。返回搜狐,查看更多

责任编辑:

    THE END
    喜欢就支持一下吧
    点赞15 分享
    评论 抢沙发
    头像
    欢迎您留下宝贵的见解!
    提交
    头像

    昵称

    取消
    昵称表情代码图片

      暂无评论内容