728x90

목록mapreduce (7)

DBILITY

hadoop secondary sort and multiple outputs exercise

항공지연통계 보조정렬+다중출력 적용 실습을 그냥 해 보았습니다. package com.dbility.hadoop.sort.secondary; import java.io.DataInput; import java.io.DataOutput; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.LocalFileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.fs.perm..
bigdata/hadoop 2017. 2. 8. 20:42
성별,연령대별 최고연봉 구하기

3개의 Partition으로 나눠 output이 3개 생성되므로, FileUtil.copyMerge를 사용해 결과를 합쳐 보았다. 물론,이게 정상적인 방법인지는 공부를 더 해봐야 확인이 가능하겠다. package com.dbility.hadoop.partitioner; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.FileUtil; import org.apache.hadoop.fs.Path; import org.apache.ha..
bigdata/hadoop 2016. 11. 29. 15:47
tutorialpoint-mapreduce

Combiner와 Partitioner 이해에 도움이 됩니다.https://www.tutorialspoint.com/map_reduce/index.htm
reference 2016. 11. 28. 22:28
M/R 동작특성

당연하게 하나 이상 입력 경로를 지정할 수 있다. 입력경로가 디렉토리일 경우 하위 파일을 모두 읽어 드리는 것을 확인하였습니다. addInputPath(Job job, Path path) , addInputPaths(Job job, String commaSeparatedPaths), setInputPaths(Job job, String commaSeparatedPaths) , setInputPaths(Job job, Path[] inputPaths)꼭 Reducer를 써야 하는 것은 아니다. org.apache.hadoop.mapreduce.Job.class setNumReduceTasks(int tasks)Reducer를 이용하면 SQL의 group by 효과를 볼 수 있다. Map = Transfor..
bigdata/hadoop 2016. 10. 8. 16:16
hadoop WordCount 예제

maven dependency 설정 pom.xml 4.0.0 com.dbility.hadoop example02 0.0.1 1.7 1.2.1 1.4.3 hadoop hadoop big-master home/hadoop/ org.apache.hadoop hadoop-core ${hadoop.version} org.slf4j slf4j-api ${slf4j.version} ${project.artifactId} org.apache.maven.plugins maven-compiler-plugin 3.5.1 ${java.version} ${java.version} org.apache.maven.plugins maven-antrun-plugin 1.8 org.apache.ant ant-jsch 1.9.7 com...
bigdata/hadoop 2016. 9. 9. 14:09
Prev 1 2 Next
728x90