2019年04月12日的内容
《kafka中文手册》- 构架设计（一）
4. DESIGN 设计4.1 Motivation 目的4.2 Persistence 存储Don’t fear the filesystem! 不要对文件系统感到恐惧Constant Time Suffices 常量耗时需求4.3 Efficiency 效率End-to-end Batch C……
kafka之七 sinkTask
使用kafka connector 功能实现一个数据从kafka到 MySQL 的sinkTask一：实现 JdbcSinkConnector 类public class JdbcSinkConnector extends SinkConnector{ private String url; private String d……
Kafka的定时消息/任务服务
基于kafka的定时消息/任务服务 前言定时任务,在很多业务场景中都会存在.一般,我们简单解决的话,就是使用数据库来存储数据供服务端周期获取执行.显然,对于数据库处理,如果多线程或者多机器处理,就会存在扩展的问题.比如:现在一个任务记录到时间了需要执行,同时被多个 executor 抓取来执行,就会浪费不必要的资源;并且,这种场景……
kafka connect简介以及部署
1、什么是kafka connect？ 根据官方介绍，Kafka Connect 是一种用于在 Kafka 和其他系统之间可扩展的、可靠的流式传输数据的工具。它使得能够快速定义将大量数据集合移入和移出 Kafka 的连接器变得简单。 Kafka Connect 可以获取整个数据库或从所有应……
Centos防火墙设置与端口开放的方法
Centos升级到 7 之后，内置的防火墙已经从 iptables 变成了 firewalld。所以，端口的开启还是要从两种情况来说明的，即 iptables 和 firewalld。更多关于 CentOs防火墙的最新内容，请参考 Redhat 官网。一、iptables1.打开/关闭/重启防火墙开启防火墙(重启后永久生效)：chk……
zookeeper 和 kafka 集群搭建
1、Kafka 使用背景在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：我们想分析下用户行为（pageviews），以便我们设计出更好的广告位我想对用户的搜索关键词进行统计，分析出当前的流行趋势有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点：数据是由上游模块产生，上游模块，使用……
由浅入深 | 如何优雅地写一个Mesos Framework
上周小数羞涩出镜，和数人云架构师春明一起为大家进行了在线直播的干货分享，今天小数抱来了实录，大家可以一睹为快啦！本文从 Mesos 的基础概念讲起，不懂 Mesos 的小伙伴也完全没有问题，一步一步教你写出优雅的Framework，让 Mesos 更加强大好用：）今天主要和大家聊一聊 Mesos、Marathon，以及数人云刚刚开源不久的一个 Me……
Mesos大神Tim实录分享 | 解读Mesos 1.0 + 更长久的Mesos Containerizer
本文是 Mesos 专家Timothy Chen 在 7 月 23 日数人云对话 Docker&Mesos 沙龙活动上做的分享实录，Tim畅谈了 Mesos 架构的设计特点。无独有偶，2016 年 7 月 27 日 Apache 社区发布了 Apache Mesos 1.0.0。 1.0.0 版本的推出，印证了Tim在分享中提到的很多改进： Doc……
Mesos isolation cgroups/cpu & cgroups/mem
最近一直在纠结 mesos/marathon 中 isolation cgroups/cpu是如何工作的，为什么明明设置了 cpus 限制， 但是任务用的 cpu还是会超过阈值呢？最近偶然看到了 cgruops cfs相关介绍才明白，设置cgroups/cpu 的同时还要设置cgroups cfs, 这样 cpu才是独占的， 而默认情况下 cpu ……
mesos学习之cgroup
最近在啃mesos源码，mesos用cgroup做资源隔离，由于之前没有接触 linux container，所以写了一些小代码做了一些小试验来学习一下cgroup。/proc/mounts 文件是以/etc/mtab 文件的格式给出当前系统所挂载的文件系统信息，这个文件也能反映出任何手工安装从而在/etc/mtab 文件中没有包含的文件系统。当挂……
