DBILITY

kafka를 flume channel로 이용해 보자. 먼저 channel을 만든다. 순서보장을 위해 parition은 1개만 선언하고, ha용 replication factor는 2로 실행 [kafka@big-slave4 ~]$ kafka-topics.sh \ --zookeeper big-master:2181,big-slave1:2181,big-slave2:2181/kafka-cluster \ --topic flume-channel --partitions 1 --replication-factor 2 --create Created topic "flume-channel". leader 확인 [kafka@big-slave4 ~]$ kafka-topics.sh \ --zookeeper big-master:218..

kafka-manager를 설치해 보자. 할 건 많고, 시간과 체력, 나의 뇌 성능으론 버겁다. 우리나라에선 철수한 Yahoo!!에서 만들었다. 이것도 철수네.철수가 참.. https://github.com/yahoo/kafka-manager/releases sbt build다. 2년전에 써보고 오랜만이다. 시간이 꽤 걸린다. [root@big-master ~]# adduser kafka; echo 'kafka' | passwd --stdin kafka; usermod -G datagroup kafka Changing password for user kafka. passwd: all authentication tokens updated successfully. [root@big-master ~]# cd ..

kafka cluster 로 big-slave2, big-slave3, big-slave4 에 3개를 설치해 본다. ssh인증부분은 없어도 될거 같은데...일단 복사문제, systemd 실행시 실행유저가 필요하니 추가함. #kafka cluster가 될 3대에 모두 추가 [root@big-slave2 ~]# useradd kafka ; echo 'kafka' | passwd --stdin kafka ; usermod -G datagroup kafka Changing password for user kafka. passwd: all authentication tokens updated successfully. [root@big-slave2 ~]# ssh big-slave3 "useradd kafka ; e..