Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Eclipse
- Sqoop
- tomcat
- MSSQL
- Python
- hadoop
- NPM
- Java
- react
- 정렬
- JavaScript
- window
- GIT
- mybatis
- IntelliJ
- mapreduce
- SQL
- maVen
- Spring
- Kotlin
- 보조정렬
- SPC
- Android
- vaadin
- 공정능력
- table
- xPlatform
- R
- Express
- es6
Archives
- Today
- Total
반응형
목록kafka sink (1)
DBILITY
독거 가능성 100% 노후에 라면값이라도 하게 센스를 발휘합시다!😅
Please click on the ad so that I can pay for ramen in my old age!
点击一下广告,让老后吃个泡面钱吧!
老後にラーメン代だけでもするように広告を一回クリックしてください。
flume kafka sink test ( 풀럼 카프카 싱크 테스트 )
이전에 테스트했던 source에 sink를 추가해 보자. http://www.dbility.com/269 flume doc의 그림을 보고 memoryChannel2를 추가하고, kafkaSink에 연결하였다. kafka-manager에서도 Topic은 추가할 수 있다. Stream이 들어오는 중에 Topic에 partition을 하나씩 추가하고 reassign해보니 잘 된다.broker3개에 모두 할당했다. partition이 하나일때는 순서가 보장된다.그러나 partition이 늘어나면 당연한 얘기지만 partition내에서만 보장된다. kafka-console-consumer에서 확인해 보니, seq가 뒤죽박죽이다. collector나 server agent의 channel로 file도 테스트 해보니..
bigdata/kafka
2018. 5. 7. 19:15
반응형