spark性能调优总结

spark性能调优总结
  • 文档评分: 66.4 (0 个有效评分
  • 文档语言: 中文
  • 章节数量:0
  • 阅读人次:38
  • 收藏数量:0
  • 整理分享:管理员
  • 文档标签
  • 文档概述
    Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

相关书籍