1.pom 文件 com.alibaba.rocketmq rocketmq-client 3.2.6 生产者 ：package com.sun.rocketmq.qs;import com.alibaba.rocketmq.client.exception.MQClientExcept……继续阅读 » dewbay 6年前 (2019-04-12) 3101浏览 0评论1个赞
淘宝内部的交易系统使用了淘宝自主研发的 Notify 消息中间件，使用 Mysql 作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011 年初，Linkin 开源了 Kafka 这个优秀的消息中间件，淘宝中间件团队在对 Kafka 做过充分 Review 之后，Kafka 无限消息堆积，高效的持久化速度吸引了我们，……继续阅读 » dewbay 6年前 (2019-04-12) 2000浏览 0评论0个赞
普通消息普通消息也叫做无序消息，简单来说就是没有顺序的消息，producer 只管发送消息，consumer 只管接收消息，至于消息和消息之间的顺序并没有保证，可能先发送的消息先消费，也可能先发送的消息后消费。举个简单例子，producer 依次发送 order id 为 1、2、3 的消息到 broker，consumer 接到的消息顺序……继续阅读 » dewbay 6年前 (2019-04-12) 2317浏览 0评论0个赞
最近 RocketMQ 刚刚上生产环境，闲暇之时在这里做一些分享，主要目的是让初学者能快速上手RocketMQ。RocketMQ 是什么Github 上关于 RocketMQ 的介绍：RcoketMQ 是一款低延迟、高可靠、可伸缩、易于使用的消息中间件。具有以下特性：支持发布/订阅（Pub/Sub）和点对点（P2P）消息模型在一个……继续阅读 » dewbay 6年前 (2019-04-12) 1892浏览 0评论0个赞
一、整体介绍 在 RocketMQ 里，有以下几个核心的模块：Producer，Consumer，Broker，NameSrv。他们之间的关系如下： 先简单了解一下各个模块的功能，下面会有章节详细介绍各个模块的功能。Producer 和 Consumer 很好理解，顾名思义就是生产者和消费者，生产者负责生产消息，消费者负责消费消息……继续阅读 » dewbay 6年前 (2019-04-12) 3415浏览 0评论0个赞
Step 8: 使用 Kafka Stream 来处理数据Kafka Stream是kafka的客户端库，用于实时流处理和分析存储在kafka broker 的数据，这个快速入门示例将演示如何运行一个流应用程序。一个 WordCountDemo 的例子（为了方便阅读，使用的是 java8 lambda 表达式）KTable wordCoun……继续阅读 » dewbay 6年前 (2019-04-12) 3259浏览 0评论1个赞
1. Kafka Stream 背景1.1 Kafka Stream 是什么Kafka Stream是 Apache Kafka 从 0.10 版本引入的一个新 Feature。它是提供了对存储于 Kafka 内的数据进行流式处理和分析的功能。Kafka Stream的特点如下：Kafka Stream提供了一个非常简单而轻……继续阅读 » dewbay 6年前 (2019-04-12) 2114浏览 0评论0个赞
昨天在写一个 java 消费kafka数据的实例，明明设置auto.offset.reset为 earliest，但还是不从头开始消费，官网给出的含义太抽象了。 earliest: automatically reset the offset to the earliest offset，自动将偏移量置为最早的。难道不是 topic 中各分区的开始？结果……继续阅读 » dewbay 6年前 (2019-04-12) 5479浏览 0评论6个赞
最近工作中遇到需要使用kafka的场景，测试消费程序启动后，要莫名的过几十秒乃至几分钟才能成功获取到到topic的 partition 和 offset，而后开始消费数据，于是学习了一下查看 kafka broker 里topic和consumer group状态的相关命令，这里记录一下。命令参考自《Kafka: The Definitive Gu……继续阅读 » dewbay 6年前 (2019-04-12) 2916浏览 0评论0个赞
数据的每一个字节都有故事，他们预示着未来。在数据驱动的企业中，数据迁移几乎变得和数据一样重要。数据的速度和敏捷性决定了数据的价值。Kafka 的前世今生众所周知，Kafka 是一种高吞吐量的分布式发布订阅消息系统，是不同系统间消息传输的纽带，是一著名的消息处理中间件。Kafka 最初产生于 LinkedIn，用于支撑……继续阅读 » dewbay 6年前 (2019-04-12) 3036浏览 0评论0个赞
