728x90

목록bigdata/hadoop (42)

DBILITY

apache hadoop HA 설치

아래 매뉴얼과 [시작하세요! 하둡프로그래밍 - 정재화지음] 책을 참고하여 열심히 해보자. 사내 또는 사설 mvn repository가 있다면 pom에 추가하면, 빌드시간이 좀 줄어든다. https://zookeeper.apache.org/doc/r3.4.11/zookeeperStarted.html#sc_RunningReplicatedZooKeeper https://zookeeper.apache.org/doc/r3.4.11/zookeeperAdmin.html#sc_advancedConfiguration http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/SingleCluster.html#Setup_passphraseless_ssh ..
bigdata/hadoop 2018. 4. 17. 22:34
hadoop mapreduce - Container killed on request. Exit code is 143

Job fail일 발생했다. AM이 죽었다는건가? 안되는 영어독해를 해보니 물리메모리 제한을 넘어서 실행을 했다고? reduce시작하고 저러는 걸 보니 그쪽문제인가.. container physical memory check를 비활성화하고 해봤다. 그래도 죽는다.. 연습도 할겸 며칠 후 2.7.6으로 재설치를 했다. 테스트 당시는 2.7.5였다. 뭥미 container physical memory check나 기타 한게 없다....정상이다.. jdk1.8때문이라는 내용도 있다.상세한 설명이 없지만.. 18/04/14 17:41:07 INFO mapreduce.Job: Task Id : attempt_1523694716869_0001_r_000000_0, Status : FAILED Container [p..
bigdata/hadoop 2018. 4. 14. 17:48
hadoop 2.7.5 compile

선행설치 되어야 할 것 1.Java 1.7 or higher 2.Maven 3.3 or higher 3.Protocol buffer 2.5.0 [hadoop@big-master ~]$wget http://apache.tt.co.kr/hadoop/common/hadoop-2.7.5/hadoop-2.7.5-src.tar.gz [hadoop@big-master ~]$tar -zxvpf hadoop-2.7.5-src.tar.gz [hadoop@big-master hadoop-2.7.5-src]$mvn clean package -Pdist,native -DskipTests -Dtar -Dmaven.javadoc.skip=true ~한참 열심히 일하는 콤푸타를 구경 함~ [INFO] Executing tasks m..
bigdata/hadoop 2018. 4. 11. 14:06
hadoop job control

순차적으로 실행 JobConf job1=new JobConf(getConf()); ... JobClient.run(job1); JobConf job2=new JobConf(getConf()); ... JobClient.run(job2); JobConf job3=new JobConf(getConf()); ... JobClient.run(job3); 의존관계의 연결 JobConf job1=new JobConf(getConf()); ... JobConf job2=new JobConf(getConf()); ... JobConf job3=new JobConf(getConf()); ... JobConf job4=new JobConf(getConf()); ... JobControl con=new JobControl(..
bigdata/hadoop 2017. 4. 16. 12:17
hadoop 2.6.4 window 10 pseudo distribution mode 설치

hadoop 2.6.4 binary 다운로드 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz winutils 다운로드 https://github.com/steveloughran/winutils eclipse hadoop 2.x plugin 다운로드 https://github.com/winghc/hadoop2x-eclipse-plugin eclipse > dorpins에 hadoop-eclipse-plugin-2.6.0.jar 복사 HADOOP_HOME 환경변수 설정 ( E:/hadoop-2.6.4 ) hadoop-2.6.4.tar.gz 압축해제 후 %HADOOP_HOME% 에 복사 winutils-mas..
bigdata/hadoop 2017. 4. 1. 09:33
Prev 1 2 3 4 ··· 9 Next
728x90