728x90

목록부분정렬 (3)

DBILITY

hadoop partial sort exercise include search ( 부분 정렬 실습 3 )

2번째 실습에서 보였던 결과 저장 파일의 맨 앞줄은 PrintWriter로 write하니 이상한 문자가 사라졌다. 윈도 환경 eclipse에서 실행하였다. 리눅스 환경의 완전 분산 모드에선 Codec을 GzipCodec으로 변경했고, Configuration property 설정 부분을 주석처리 후 테스트했다. hadoop3이 나오는 마당에 hadoop2환경까진 공부하고. 이후엔 SQL on Hadoop인 tajo까지 사용 가능해야 한다. 그때쯤엔 spring+mybatis환경에서 tajo jdbc driver를 통해 RIA UI에 hdfs 데이터를 리스트업 하는 것까지 해보고 싶다. 4.0.0 com.dbility.hadoop execise 1.0.0 1.7 UTF-8 hadoop hadoop big-..
bigdata/hadoop 2017. 3. 12. 00:35
hadoop partial sort exercise 2 ( 부분 정렬 실습 2 )

윈도 환경 eclipse에서 테스트했는데, 결과 파일 맨 앞이 이상하다.. 왜일까? 책 없이 타이핑(?)했다는데 만족해야 하나보다^^; MRUnit으로 테스트를 해봐야겠군... 기억이 안나지만... package com.dbility.hadoop.execise; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.LocalFileSystem; imp..
bigdata/hadoop 2017. 3. 8. 23:07
hadoop partial sort exercise ( 부분 정렬 실습 )

부분정렬(Partial Sort)은 매퍼출력을 MapFile로 변경해 데이터를 검색하는 방법이다. 맵태스크 실행시 파티셔너는 매퍼의 출력데이터가 전달될 리듀서를 결정하고,파티셔닝된 데이터는 키에 따라 정렬된다. 특정키에 대한 데이터 검색시 키가 저장된 맴파일에 접근해 조회한다. 부분정렬 3단계는 아래와 같다. 1.입력데이터를 시퀀스파일로 생성 2.시퀀스파일을 맵파일로 변경 3.맵파일에서 데이터 검색 ※ org.apache.hadoop.mapred 패키지를 사용해 작성해야 함. 다음은 윈도우 환경 Eclipse상에서 테스트 되었습니다. package com.dbility.hadoop.execise; import java.io.IOException; import org.apache.hadoop.conf.Co..
bigdata/hadoop 2017. 2. 16. 20:12
Prev 1 Next
728x90