728x90

목록kafka sink (1)

DBILITY

flume kafka sink test ( 풀럼 카프카 싱크 테스트 )

이전에 테스트했던 source에 sink를 추가해 보자. http://www.dbility.com/269 flume doc의 그림을 보고 memoryChannel2를 추가하고, kafkaSink에 연결하였다. kafka-manager에서도 Topic은 추가할 수 있다. Stream이 들어오는 중에 Topic에 partition을 하나씩 추가하고 reassign해보니 잘 된다.broker3개에 모두 할당했다. partition이 하나일때는 순서가 보장된다.그러나 partition이 늘어나면 당연한 얘기지만 partition내에서만 보장된다. kafka-console-consumer에서 확인해 보니, seq가 뒤죽박죽이다. collector나 server agent의 channel로 file도 테스트 해보니..
bigdata/kafka 2018. 5. 7. 19:15
Prev 1 Next
728x90