相关文档

• 029_Spark核心编程_使用JavaScala和spark-shell开发wordcount程序.ppt

  北风网项目实战培训第29讲-Spark核心编程：使用Java、Scala和spark-shell开发wordcount程序讲师：中华石杉Spark从入门到精通（案例实战、高级特性、内核源码、性能调优）1、用Java开发wordcount程序11 配置maven环境12 如何进行本地测试13 如何使用spark-submit提交到spark集群进行执行（spark-submit常用参数说明，spar

• 030_Spark核心编程_wordcount程序原理深度剖析.ppt

  北风网项目实战培训第30讲-Spark核心编程：wordcount程序原理深度剖析讲师：中华石杉Spark从入门到精通（案例实战、高级特性、内核源码、性能调优）val conf = new SparkConf()setAppName(WordCount)val sc = new JavaSparkContext(conf)val lines = (hdfs://spark1:9000/)val w

• 038_Spark核心编程_高级编程之基于排序机制的wordcount程序.ppt

  北风网项目实战培训第38讲-Spark核心编程：高级编程之基于排序机制的wordcount程序讲师：中华石杉Spark从入门到精通（案例实战、高级特性、内核源码、性能调优）1、对文本文件内的每个单词都统计出其出现的次数。2、按照每个单词出现次数的数量，降序排序。 案例需求欢迎访问我们的官方

• 031_Spark核心编程_Spark架构原理.ppt

  北风网项目实战培训第31讲-Spark核心编程：Spark架构原理讲师：中华石杉Spark从入门到精通（案例实战、高级特性、内核源码、性能调优）1、Driver2、Master3、Worker4、Executor5、Task Spark架构原理欢迎访问我们的官方

• 159_Spark核心编程进阶-spark工程打包以及spark-submit详解.ppt

  北风网大数据实战培训第159讲-Spark核心编程进阶-spark工程打包以及spark-submit详解讲师：中华石杉Spark从入门到精通：Scala编程、案例实战、高级特性、Spark内核源码剖析、Hadoop高端欢迎访问我们的官方

• 039_Spark核心编程_高级编程之二次排序.ppt

  北风网项目实战培训第39讲-Spark核心编程：高级编程之二次排序讲师：中华石杉Spark从入门到精通（案例实战、高级特性、内核源码、性能调优）1、按照文件中的第一列排序。2、如果第一列相同，则按照第二列排序。 案例需求欢迎访问我们的官方

• 034_Spark核心编程_transformation操作开发实战.ppt

  北风网项目实战培训第34讲-Spark核心编程：transformation操作开发实战讲师：中华石杉Spark从入门到精通（案例实战、高级特性、内核源码、性能调优）1、map：将集合中每个元素乘以22、filter：过滤出集合中的偶数3、flatMap：将行拆分为单词4、groupByKey：将每个班级的成绩进行分组5、reduceByKey：统计每个班级的总分6、sortByKey：将学生分数

• 035_Spark核心编程_action操作开发实战.ppt

  北风网项目实战培训第35讲-Spark核心编程：action操作开发实战讲师：中华石杉Spark从入门到精通（案例实战、高级特性、内核源码、性能调优）1、reduce：2、collect：3、count：4、take：5、saveAsTextFile：6、countByKey：7、foreach： action操作开发实战欢迎访问我们的官方

• 028_Spark核心编程_Spark基本工作原理与RDD.ppt

  北风网项目实战培训第28讲-Spark核心编程：Spark基本工作原理与RDD讲师：中华石杉Spark从入门到精通（案例实战、高级特性、内核源码、性能调优）画图讲解Spark的基本工作原理1、分布式2、主要基于内存（少数情况基于磁盘）3、迭代式计算 Spark基本工作原理1、RDD是Spark提供的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集。2

• 091_Spark_Streaming_实时wordcount程序开发.ppt

  北风网大数据实战培训Spark Streaming：实时wordcount程序开发讲师：中华石杉Spark从入门到精通（案例实战、高级特性、内核源码、性能调优）1、安装nc工具：yum install nc2、开发实时wordcount程序 实时wordcount程序开发欢迎访问我们的官方