1. Kafka Stream 背景1.1 Kafka Stream 是什么Kafka Stream是 Apache Kafka 从 0.10 版本引入的一个新 Feature。它是提供了对存储于 Kafka 内的数据进行流式处理和分析的功能。Kafka Stream的特点如下：Kafka Stream提供了一个非常简单而轻……继续阅读 » dewbay 6年前 (2019-04-12) 2147浏览 0评论0个赞
昨天在写一个 java 消费kafka数据的实例，明明设置auto.offset.reset为 earliest，但还是不从头开始消费，官网给出的含义太抽象了。 earliest: automatically reset the offset to the earliest offset，自动将偏移量置为最早的。难道不是 topic 中各分区的开始？结果……继续阅读 » dewbay 6年前 (2019-04-12) 5521浏览 0评论6个赞
最近工作中遇到需要使用kafka的场景，测试消费程序启动后，要莫名的过几十秒乃至几分钟才能成功获取到到topic的 partition 和 offset，而后开始消费数据，于是学习了一下查看 kafka broker 里topic和consumer group状态的相关命令，这里记录一下。命令参考自《Kafka: The Definitive Gu……继续阅读 » dewbay 6年前 (2019-04-12) 2954浏览 0评论0个赞
数据的每一个字节都有故事，他们预示着未来。在数据驱动的企业中，数据迁移几乎变得和数据一样重要。数据的速度和敏捷性决定了数据的价值。Kafka 的前世今生众所周知，Kafka 是一种高吞吐量的分布式发布订阅消息系统，是不同系统间消息传输的纽带，是一著名的消息处理中间件。Kafka 最初产生于 LinkedIn，用于支撑……继续阅读 » dewbay 6年前 (2019-04-12) 3094浏览 0评论0个赞
一：介绍 kafka Connect 是一个kafka和其他系统交互稳定的流处理。它使kafka和其他系统的数据交互变的十分容易。它可以把其他系统的数据导入到kafka中，也可以把kafka的数据导到其他系……继续阅读 » dewbay 6年前 (2019-04-12) 3511浏览 0评论1个赞
1.Kafka Stream？Kafka Streams 是一套处理分析 Kafka 中存储数据的客户端类库，处理完的数据或者写回 Kafka，或者发送给外部系统。它构建在一些重要的流处理概念之上：区分事件时间和处理时间、开窗的支持、简单有效的状态管理等。Kafka Streams 入门的门槛很低：很容易编写单机的示例程序，然后通过在多台机器上运行多个实……继续阅读 » dewbay 6年前 (2019-04-12) 2175浏览 0评论0个赞
Kafka 视频教程同步首发，欢迎观看！Kafka Producer APIs新版的 Producer API 提供了以下功能：可以将多个消息缓存到本地队列里，然后异步的批量发送到 broker，可以通过参数 producer.type=async 做到。缓存的大小可以通过一些参数指定：queue.time 和 batch.size。一个后台线……继续阅读 » dewbay 6年前 (2019-04-12) 2264浏览 0评论0个赞
一、Kafka 简介本文综合了我之前写的kafka相关文章，可作为一个全面了解学习kafka的培训学习资料。1转载请注明出处 : 本文链接1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：如何收集这些巨大的信息如何分析它如何及时做到如上两点以……继续阅读 » dewbay 6年前 (2019-04-12) 2306浏览 0评论0个赞
摘要： 本文介绍了 Kafka Stream的背景，如 Kafka Stream是什么，什么是流式计算，以及为什么要有 Kafka Stream。接着介绍了 Kafka Stream的整体架构，并行模型，状态存储，以及主要的两种数据集 KStream和 KTable。本文介绍了 Kafka Stream的背景，如 Kafka Stream……继续阅读 » dewbay 6年前 (2019-04-12) 2108浏览 0评论0个赞
4. DESIGN 设计4.1 Motivation 目的4.2 Persistence 存储Don’t fear the filesystem! 不要对文件系统感到恐惧Constant Time Suffices 常量耗时需求4.3 Efficiency 效率End-to-end Batch C……继续阅读 » dewbay 6年前 (2019-04-12) 2436浏览 0评论0个赞
