728x90

목록bigdata/sqoop (4)

DBILITY

sqoop2 etl hdfs to oracle

staging에서 target table로는 프로세스가 하나만 도는가 보다. extracter는 mapper, loader가 0이 아닌경우 reduce task도 실행이 되네. extracter 8, loader 0일때가 extractor 4, loader 4보다 빠르네. 아마도 loader를 설정하면 reduce task로 sort,shuffle하는 시간이 많이 걸리나 보다. 거기다 heap oom이 발생하기도 한다. 메모리를 늘려야겠다.... 테스트환경마다 다르겠지. oracle parallel load랑 비교해 봐야겠다. bulk load형태로 rdb table의 storage param중 logging을 off하고 해보는것도 좋겠다. 약 700M 크기의 csv 파일을 로드하는데 paritioner..
bigdata/sqoop 2018. 5. 1. 20:54
sqoop2 etl java API 테스트

sqoop shell에서 생성한 job을 메뉴얼을 참고하여 java api로 실행해 보았다. uber-jar로 packaging해서 실행. package com.dbility.bigdata.sqoop.oracle2hdfs; import java.util.List; import org.apache.sqoop.client.SqoopClient; import org.apache.sqoop.model.MJob; import org.apache.sqoop.model.MLink; import org.apache.sqoop.model.MSubmission; import org.slf4j.Logger; import org.slf4j.LoggerFactory; /** * * Description * * * @author..
bigdata/sqoop 2018. 4. 30. 20:00
sqoop2 etl oracle to hdfs

Sqoop 5 Minutes Demo를 참고하여 oracle etl 테스트를 해보았다. link를 생성, job을 생성할때 from link, to link 지정, job을 기술한다. 테스트할 ETL UseCase는 oracle db의 테스트용 임시 데이터를 생성하고, 이 데이터를 sqoop job을 통해 hdfs에 저장한다. SQOOP_SERVER_EXTRA_LIB에 oracle jdbc driver가 설치되어 있어야 한다. link생성시 비밀번호에 특수문자가 포함되어 있으니 안된다..shell에서만 안되는 것일까? oracle-jdbc-connector를 썼더니,mapper에서 oralce.jdbc.OracleDriver를 load하지 못하였다. sqoop2는 서버기반이라 서버쪽에만 jdbc driv..
bigdata/sqoop 2018. 4. 22. 21:57
apache sqoop2 설치

설치 및 테스트는 oracle2hdfs를 테스트하기 위해서 2016년에 실시해 봤다. 머리속에 기록이 안되는 관계로 매뉴얼에 따라 정리한다. 아키텍쳐는 아래와 같다. https://blogs.apache.org/sqoop/mediaresource/a04e8f6f-4d1e-4ee9-b726-af4e078599cf [root@big-master ~]# adduser sqoop2 ; echo 'sqoop2' | passwd --stdin sqoop2 ; usermod -G datagroup sqoop2 Changing password for user sqoop2. passwd: all authentication tokens updated successfully. [root@big-master ~]# cd /u..
bigdata/sqoop 2018. 4. 20. 17:09
Prev 1 Next
728x90