本文共 868 字，大约阅读时间需要 2 分钟。
quickstart 将英文单词基数 简单 整个过程比起hadoop快很多
package com.zhiyou100import org.apache.spark.{SparkConf, SparkContext}object WordCount { def main(args: Array[String]): Unit = { //创建分布式运行平台 和appname //使用master制定运行平台 yarn staandalong mesos(生产坏境) local（开发调试） //local(单线程) local[N]（多线程） local[*]（本地cpu有多少个核心就启动多少个线程）// val conf =new SparkConf().setMaster("local[2]").setAppName("word count")// val conf =new SparkConf().setMaster("spark://master:7077").setAppName("word count") val conf = new SparkConf()//.setAppName("word count") conf.set("spark.testing.memory", "2147480000")//后面的值大于512m即可 // 构建SparkContect对象 val sc =new SparkContext(conf) //加载数据源 获取RDD对象 val fileRdd =sc.textFile("/reversetext/LICENSE.txt").flatMap(line=>line.split("\\s")).map(x=>(x,1)).reduceByKey((v1,v2)=>v1+v2) println("这是一个Driver 输出") fileRdd.foreach(println) }} 转载地址：http://iqagx.baihongyu.com/