天涯孤鸟的文章

Spark

Spark操作Hbase之写数据

Spark操作Hbase之写数据
上篇已经介绍了如何从Hbase中读取数据,这次介绍如下向Hbase写数据 使用接口:saveAsNewAPIHadoopDataset(jobConf) /** * 将RDD写入Hbase * @p...

2年前 (2017-11-30) 2988℃ 1评论 2喜欢

Spark

Spark操作Hbase之读数据

Spark操作Hbase之读数据
Spark操作Hbase有两个接口: 1、newAPIHadoopRDD(conf,TableInputFormat.class, ImmutableBytesWritable.class, Result.class);读取数据 2、 saveAsNewAPIHadoopDa...

2年前 (2017-11-30) 2019℃ 0评论 1喜欢

Spark

Spark踩过的坑—-Spark on YARN

Spark踩过的坑—-Spark on YARN
测试环境: CDH-5.7.1-1 CentOS6.5 Spark1.6 Kafka_2.10-0.9.0.1 最近在做Spark on Yarn 遇到了诸多问题,下面就遇到的问题及解决方法做一个记录: 一、没有认证 ...

2年前 (2017-11-21) 9006℃ 1评论 2喜欢

Spark

Spark踩过的坑—-spark-submit

Spark踩过的坑—-spark-submit
记一次心塞的启动过程: 今天在集成流比对引擎到linux上运行的时候,发现提交的spark-submit一直报java.lang.ClassNotFoundException: com.sinobest.sdap.stream.compare.StreamCompare 仔细检查...

2年前 (2017-11-21) 3926℃ 0评论 1喜欢

Kafka

Spring Boot 中使用@KafkaListener批量接收消息

Spring Boot 中使用@KafkaListener批量接收消息
之前介绍了如何在SpringBoot中集成Kafka,但是默认情况下,@KafkaListener都是一条一条消费,如果想要一次消费一个批量的话,我们都知道,在kafka原生的API可以通过poll(num)来获取一次获取num条消息: 那么使用在Springboot中使用@K...

2年前 (2017-10-11) 38401℃ 10评论 24喜欢

Kafka

Spring Boot中使用Kafka

Spring Boot中使用Kafka
SpringBoot就像一个大的容器,可以集成各种各样的框架,而且使用也很方便,这篇介绍如何在SpringBoot中使用Kafka 添加依赖: <dependency> <groupId>...

2年前 (2017-10-02) 5836℃ 0评论 0喜欢

SpringBoot

Spring Boot 快速入门

Spring Boot 快速入门
一、框架介绍 Spring Boot是由Pivotal团队提供的全新框架,其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置,从而使开发人员不再需要定义样板化的配置。通过这种方式,Spring Boot致力于在蓬勃发展的快速应用开发领域...

2年前 (2017-10-01) 1521℃ 0评论 0喜欢

Kafka

Kafka源码解读—-key为nulll时Kafka如何选择分区(Partition)

Kafka源码解读—-key为nulll时Kafka如何选择分区(Partition)
我们都知道,kafka producer发送消息的时候,可以指定key,这个key的作用是为消息选择存储分区,key可以为空,当指定key且不为空的时候,kafka是根据key的hash值与分区数取模来决定数据存储到那个分区,那么当key为null的时候,kafka又是如何存储的...

2年前 (2017-09-30) 6539℃ 0评论 0喜欢