728x90

목록sequncefile (1)

DBILITY

hadoop Mapper이용 text파일을 SequenceFileFormat으로 저장

아무 이유 없이 그냥 한번 해봤다. 윈도 환경이라 압축코덱을 설정하기 어려워 DefaultCodec은 사용이 되길래 사용하였고, eclipse에서 테스트되었습니다. Txt2SequenceFileConverter는 csv형태의 Text파일을 Mapper를 통해 SequenceFile로 변환 후 저장하고, SequenceFileRead는 SequenceFIle경로를 읽어 각 파일의 압축 정보를 출력하고, 데이터는 한 라인만 출력. 결과에 CompressorType을 보니 BuiltInZlibDeflater네요. zlib를 사용하나 보네요. 분명 native-zlib library 로딩이 안된다고 나왔는데... 누군가에겐 당연한 얘기겠지만, CompressionType에 따라 헤더가 달라지나 봅니다. Enum..
bigdata/hadoop 2017. 3. 6. 21:28
Prev 1 Next
728x90