使用kafka connector 功能实现一个数据从kafka到 MySQL 的sinkTask一：实现 JdbcSinkConnector 类public class JdbcSinkConnector extends SinkConnector{ private String url; private String d……继续阅读 » dewbay 6年前 (2019-04-12) 2783浏览 0评论2个赞
基于kafka的定时消息/任务服务 前言定时任务,在很多业务场景中都会存在.一般,我们简单解决的话,就是使用数据库来存储数据供服务端周期获取执行.显然,对于数据库处理,如果多线程或者多机器处理,就会存在扩展的问题.比如:现在一个任务记录到时间了需要执行,同时被多个 executor 抓取来执行,就会浪费不必要的资源;并且,这种场景……继续阅读 » dewbay 6年前 (2019-04-12) 2462浏览 0评论0个赞
1、什么是kafka connect？ 根据官方介绍，Kafka Connect 是一种用于在 Kafka 和其他系统之间可扩展的、可靠的流式传输数据的工具。它使得能够快速定义将大量数据集合移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以获取整个数据库或从所有应……继续阅读 » dewbay 6年前 (2019-04-12) 3735浏览 0评论1个赞
Centos升级到 7 之后，内置的防火墙已经从 iptables 变成了 firewalld。所以，端口的开启还是要从两种情况来说明的，即 iptables 和 firewalld。更多关于 CentOs防火墙的最新内容，请参考 Redhat 官网。一、iptables1.打开/关闭/重启防火墙开启防火墙(重启后永久生效)：chk……继续阅读 » dewbay 6年前 (2019-04-12) 2454浏览 0评论0个赞
1、Kafka 使用背景在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：我们想分析下用户行为（pageviews），以便我们设计出更好的广告位我想对用户的搜索关键词进行统计，分析出当前的流行趋势有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点：数据是由上游模块产生，上游模块，使用……继续阅读 » dewbay 6年前 (2019-04-12) 2054浏览 0评论0个赞
上周小数羞涩出镜，和数人云架构师春明一起为大家进行了在线直播的干货分享，今天小数抱来了实录，大家可以一睹为快啦！本文从 Mesos 的基础概念讲起，不懂 Mesos 的小伙伴也完全没有问题，一步一步教你写出优雅的Framework，让 Mesos 更加强大好用：）今天主要和大家聊一聊 Mesos、Marathon，以及数人云刚刚开源不久的一个 Me……继续阅读 » dewbay 6年前 (2019-04-12) 2070浏览 0评论0个赞
本文是 Mesos 专家Timothy Chen 在 7 月 23 日数人云对话 Docker&Mesos 沙龙活动上做的分享实录，Tim畅谈了 Mesos 架构的设计特点。无独有偶，2016 年 7 月 27 日 Apache 社区发布了 Apache Mesos 1.0.0。 1.0.0 版本的推出，印证了Tim在分享中提到的很多改进： Doc……继续阅读 » dewbay 6年前 (2019-04-12) 2487浏览 0评论0个赞
最近一直在纠结 mesos/marathon 中 isolation cgroups/cpu是如何工作的，为什么明明设置了 cpus 限制， 但是任务用的 cpu还是会超过阈值呢？最近偶然看到了 cgruops cfs相关介绍才明白，设置cgroups/cpu 的同时还要设置cgroups cfs, 这样 cpu才是独占的， 而默认情况下 cpu ……继续阅读 » dewbay 6年前 (2019-04-12) 2373浏览 0评论0个赞
最近在啃mesos源码，mesos用cgroup做资源隔离，由于之前没有接触 linux container，所以写了一些小代码做了一些小试验来学习一下cgroup。/proc/mounts 文件是以/etc/mtab 文件的格式给出当前系统所挂载的文件系统信息，这个文件也能反映出任何手工安装从而在/etc/mtab 文件中没有包含的文件系统。当挂……继续阅读 » dewbay 6年前 (2019-04-12) 2068浏览 0评论1个赞
Mesos 配置(丰富中。。。)转自 http://blog.csdn.net/yeasy/article/details/46683297 .。基本项–ip 监听的 IP 地址–port 监听的端口，Master 默认为 5050，slave 默认为 5051–firewall_rule&n……继续阅读 » dewbay 6年前 (2019-04-12) 2496浏览 0评论0个赞
