相关文档

• 028_Spark核心编程_Spark基本工作原理与RDD.ppt

  北风网项目实战培训第28讲-Spark核心编程：Spark基本工作原理与RDD讲师：中华石杉Spark从入门到精通（案例实战、高级特性、内核源码、性能调优）画图讲解Spark的基本工作原理1、分布式2、主要基于内存（少数情况基于磁盘）3、迭代式计算 Spark基本工作原理1、RDD是Spark提供的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集。2

• 031_Spark核心编程_Spark架构原理.ppt

  北风网项目实战培训第31讲-Spark核心编程：Spark架构原理讲师：中华石杉Spark从入门到精通（案例实战、高级特性、内核源码、性能调优）1、Driver2、Master3、Worker4、Executor5、Task Spark架构原理欢迎访问我们的官方

• 029_Spark核心编程_使用JavaScala和spark-shell开发wordcount程序.ppt

  北风网项目实战培训第29讲-Spark核心编程：使用Java、Scala和spark-shell开发wordcount程序讲师：中华石杉Spark从入门到精通（案例实战、高级特性、内核源码、性能调优）1、用Java开发wordcount程序11 配置maven环境12 如何进行本地测试13 如何使用spark-submit提交到spark集群进行执行（spark-submit常用参数说明，spar

• 148_Spark核心编程进阶-实验_local模式提交spark作业.ppt

  北风网大数据实战培训第148讲-Spark核心编程进阶-实验：local模式提交spark作业讲师：中华石杉Spark从入门到精通：Scala编程、案例实战、高级特性、Spark内核源码剖析、Hadoop高端欢迎访问我们的官方

• 030_Spark核心编程_wordcount程序原理深度剖析.ppt

  北风网项目实战培训第30讲-Spark核心编程：wordcount程序原理深度剖析讲师：中华石杉Spark从入门到精通（案例实战、高级特性、内核源码、性能调优）val conf = new SparkConf()setAppName(WordCount)val sc = new JavaSparkContext(conf)val lines = (hdfs://spark1:9000/)val w

• 161_Spark核心编程进阶-实验_spark-submit最简单版本提交spark作业.ppt

  北风网大数据实战培训第161讲-Spark核心编程进阶-实验：spark-submit最简单版本提交spark作业讲师：中华石杉Spark从入门到精通：Scala编程、案例实战、高级特性、Spark内核源码剖析、Hadoop高端欢迎访问我们的官方

• 040_Spark核心编程_高级编程之topn.ppt

  北风网项目实战培训第40讲-Spark核心编程：高级编程之topn讲师：中华石杉Spark从入门到精通（案例实战、高级特性、内核源码、性能调优）1、对文本文件内的数字，取最大的前3个。2、对每个班级内的学生成绩，取出前3名。（分组取topn）3、课后作用：用Scala来实现分组取topn。 案例需求欢迎访问我们的官方

• 034_Spark核心编程_transformation操作开发实战.ppt

  北风网项目实战培训第34讲-Spark核心编程：transformation操作开发实战讲师：中华石杉Spark从入门到精通（案例实战、高级特性、内核源码、性能调优）1、map：将集合中每个元素乘以22、filter：过滤出集合中的偶数3、flatMap：将行拆分为单词4、groupByKey：将每个班级的成绩进行分组5、reduceByKey：统计每个班级的总分6、sortByKey：将学生分数

• 035_Spark核心编程_action操作开发实战.ppt

  北风网项目实战培训第35讲-Spark核心编程：action操作开发实战讲师：中华石杉Spark从入门到精通（案例实战、高级特性、内核源码、性能调优）1、reduce：2、collect：3、count：4、take：5、saveAsTextFile：6、countByKey：7、foreach： action操作开发实战欢迎访问我们的官方

• 038_Spark核心编程_高级编程之基于排序机制的wordcount程序.ppt

  北风网项目实战培训第38讲-Spark核心编程：高级编程之基于排序机制的wordcount程序讲师：中华石杉Spark从入门到精通（案例实战、高级特性、内核源码、性能调优）1、对文本文件内的每个单词都统计出其出现的次数。2、按照每个单词出现次数的数量，降序排序。 案例需求欢迎访问我们的官方