标签：kafka
介绍一位分布式流处理新贵：Kafka Stream
摘要： 本文介绍了 Kafka Stream的背景，如 Kafka Stream是什么，什么是流式计算，以及为什么要有 Kafka Stream。接着介绍了 Kafka Stream的整体架构，并行模型，状态存储，以及主要的两种数据集 KStream和 KTable。本文介绍了 Kafka Stream的背景，如 Kafka Stream……
《kafka中文手册》- 构架设计（一）
4. DESIGN 设计4.1 Motivation 目的4.2 Persistence 存储Don’t fear the filesystem! 不要对文件系统感到恐惧Constant Time Suffices 常量耗时需求4.3 Efficiency 效率End-to-end Batch C……
kafka之七 sinkTask
使用kafka connector 功能实现一个数据从kafka到 MySQL 的sinkTask一：实现 JdbcSinkConnector 类public class JdbcSinkConnector extends SinkConnector{ private String url; private String d……
Kafka的定时消息/任务服务
基于kafka的定时消息/任务服务 前言定时任务,在很多业务场景中都会存在.一般,我们简单解决的话,就是使用数据库来存储数据供服务端周期获取执行.显然,对于数据库处理,如果多线程或者多机器处理,就会存在扩展的问题.比如:现在一个任务记录到时间了需要执行,同时被多个 executor 抓取来执行,就会浪费不必要的资源;并且,这种场景……
kafka connect简介以及部署
1、什么是kafka connect？ 根据官方介绍，Kafka Connect 是一种用于在 Kafka 和其他系统之间可扩展的、可靠的流式传输数据的工具。它使得能够快速定义将大量数据集合移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以获取整个数据库或从所有应……
zookeeper 和 kafka 集群搭建
1、Kafka 使用背景在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：我们想分析下用户行为（pageviews），以便我们设计出更好的广告位我想对用户的搜索关键词进行统计，分析出当前的流行趋势有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点：数据是由上游模块产生，上游模块，使用……
