百度马小龙：Spark在百度的工程实践分享

原标题：百度马小龙：Spark在百度的工程实践分享

2015年4月16-18日，由CSDN主办、CSDN专家顾问团支持的 OpenCloud 2015大会将在北京国家会议中心拉开帷幕。为期三天的大会，以推进行业应用中的云计算核心技术发展为主旨，聚焦技术创新与应用实践，设置了“2015 OpenStack技术大会”、“2015 Spark技术峰会”、“2015 Container技术峰会”三大技术峰会及多场深度行业实战培训。

本次大会将邀请近40位国内外云计算技术领域顶尖专家与一线实践者，深入讨论OpenStack、Spark、Docker、Kubernetes等开源技术的最新进展，各个核心项目/组件的演进趋势，以及它们的最新业界应用。

在“2015 Spark技术峰会”，我们邀请到了百度资深软件工程师马小龙担任演讲嘉宾， 他将带来的分享主题为《Spark在百度的工程实践分享》，主要讲述Spark在百度的使用情况以及Spark在BMR中的支持情况。

马小龙

百度资深软件工程师

2008年毕业于清华大学自动化系，先后就职于Yahoo和Zynga等公司，在Yahoo!北研参与搜索广告系统的优化，获得Yahoo! You Rock奖项；在Zynga中国参与游戏服务器性能优化，提升游戏服务器性能超过60%，所用技术方案被Zynga各大游戏广泛采用，获得CTO Award奖项；2012年底加入百度，目前在百度基础架构部从事大数据处理相关产品的研发工作。

以下为CSDN针对马小龙的会前采访实录：CSDN：首先请介绍下您自己，以及您在Spark 技术方面所做的工作。

马小龙：我叫马小龙，目前在百度基础架构部做大数据处理平台，我主要关注Spark在公有云环境下的使用、优化。

CSDN：您所在的企业是如何使用Spark 技术的？带来了哪些好处？

马小龙：我们主要结合业务需求来对Spark进行优化，带来的好处是作业的处理速度有明显提升。

CSDN：您认为Spark 技术最适用于哪些应用场景？

马小龙：我个人认为Spark比较适合有迭代需求的大规模作业，比如机器学习等领域。

CSDN：企业在应用Spark 技术时，需要做哪些改变吗？企业如果想快速应用Spark 应该如何去做？

马小龙：Spark和现有的Hadoop生态整合得很好，所以数据方面没有迁移成本，但是业务算法需要重新实现，因此建议先评估现有的业务是否适合放在Spark上，然后再做迁移。企业如果想快速应用Spark，可以选择BMR，BMR提供了Spark镜像，可快速按需创建Spark集群：）

CSDN：您所在的企业在应用Spark 技术时遇到了哪些问题？是如何解决的？

马小龙：主要是需要和企业现有的生态打通，需要做一些适配工作。

CSDN：作为当前流行的大数据处理技术，您认为Spark 还有哪些方面需要改进？

马小龙：Spark目前的发展势头很好，可以在稳定性方面逐渐改进。

CSDN：您在本次演讲中将分享哪些话题？

马小龙：主要分享Spark在百度的使用情况以及Spark在BMR中的支持情况。

CSDN：哪些听众最应该了解这些话题？您所分享的主题可以帮助听众解决哪些问题？

马小龙：对Spark感兴趣的用户都可以了解一下。BMR中的Spark有助于听众快速使用Spark集群。

除了马小龙，2015 Spark技术峰会已经邀请Spark Streaming负责人Tathagata Das来华，和国内用户分享Spark的技术细节，探讨Spark未来的发展方向，此外还有Databricks、IBM、Intel、微软、百度、阿里、腾讯、亚信等公司的Spark技术实践者，也将同台分享Spark及其相关项目的实战经验。

附：2015 Spark技术峰会全日程（Updating）

“2015 OpenStack技术大会”、“2015 Spark技术峰会”、“2015 Container技术峰会”4月17-18日在北京召开。日程全部公开！OpenCloud 2015，懂行的人都在这里！更多讲师和日程信息请关注OpenCloud 2015介绍和官网。返回搜狐，查看更多

责任编辑：