DEV BLOG

MapReduce Compression ##MapReduce intermediate compression 맵리듀스 중간 압축을 사용하면 애플리케이션 변경없이 작업을 빠르게 할 수 있다. 셔플 단계에서 생성되는 중간 임시 파일만 압축된다. 전체 클러스터에 적용하려면 mapred-site.xml 에 아래와 같은 속성을 추가하면 중간 단계 압축이 가능하다. For YARN <property> <name>mapreduce.map.output.compress</name> <value>true</value> </property> <property> <name>mapred.map.output.compress.codec</name> <value>org.apache.hadoop.io.compress.SnappyCodec</value> </property> 위 속성은 잡 별로...

Chapter2 - 맵리듀스 이 글은 “하둡 완벽 가이드” 책 내용을 정리한 글입니다. 저작권에 문제가 있는 경우 “gunjuko92@gmail.com”으로 연락주시면 감사하겠습니다. 1. 맵리듀스란? 데이터 처리를 위한 프로그래밍 모델 하둡은 다양한 언어로 작성된 맵리듀스 프로그램을 구동시킬 수 있음 병행성을 고려해서 설계되었음 하둡의 특성상 소수의 큰 파일이 처리하기 쉽고 효율적이다. 2. 병렬처리의 어려움 일을...

이 글은 “하둡 완벽 가이드” 책 내용을 정리한 글입니다. 저작권에 문제가 있는 경우 “gunjuko92@gmail.com”으로 연락주시면 감사하겠습니다. Chapter1 하둡과의 만남 1.1 데이터! 빅데이터를 저장하고 분석하는것은 매우 어려운일이다. 1.2 데이터 저장소와 분석 하드 디스크 용량은 수년간 엄청나게 증가했지만 데이터를 읽는 속도는 그에 미치지 못한다. 단일 디스크의 데이터를 읽는데 너무 많은 시간이 걸리고...

JPA 프로그래밍 입문 - chapter 12 연관 잘 쓰기 1. 연관의 복잡성 1.1 로딩 설정의 어려움 일관적으로 모든 연관에 즉시 로딩을 적용하진 않는다. 엔티티를 어떤 식으로 사용할지 미리 고민해서 지연로딩과 즉시로딩을 적절하게 적용해야 한다. 상황에 따라 필요한 연관 객체가 다르기 때문에 특정 연관을 지연 로딩이나 즉시 로딩으로 한정할 수 없다....

JPA 프로그래밍 입문 - chapter10 엔티티 콜렉션 매핑 1. 엔티티 콜렉션 매핑과 연관 관리 엔티티 콜렉션 매핑은 가능하면 사용을 자제하는게 좋다. 코드를 복잡하게 만들고 얻을 수 있는 장점은 많지 않기 때문이다. 게다가 잘못 사용하면 성능에 영향을 줄 수 있다. 양방향 연관은 서로 올바르게 연관을 유지하도록 코드를 작성해야한다. M:N 연관은 1:N...