分类:Spark

Spark踩过的坑—-spark-submit

Spark踩过的坑—-spark-submit
记一次心塞的启动过程: 今天在集成流比对引擎到linux上运行的时候,发现提交的spark-submit一直报java.lang.ClassNotFoundException: com.sinobest.sdap.stream.compare.StreamCompare 仔细检查...

天涯孤鸟 12个月前 (11-21) 1937℃ 0评论 1喜欢

Spark入门(一)—核心概念简介

Spark入门(一)—核心概念简介
一、Spark是什么 Spark是一个用来实现快速而通用的集群计算的平台。 在速度方面,Spark扩展了广泛使用的MapReduce计算模型,而且高效的支持更多计算模式,包括交互式查询和流处理。Spark的一个主要特点就是能够在内存中计算,因此速度更快。不过即使是必须在磁盘上进...

天涯孤鸟 2年前 (2016-12-10) 1867℃ 0评论 0喜欢