DEV BLOG

이 글은 Understanding-pagination-rest-graphql-and-relay 에 있는 글을 정리한 글입니다. Understanding pagination : REST, GraphQL, Relay Pagination : What is it for? 노출시킬 데이터가 너무 많은 경우엔 일부 데이터만 노출시키는게 사용자 입장에서 더 좋을 수 있다. 조회할 데이터가 너무 많은 경우엔 서버에 부담이 될 수 있다. 클라이언트 입장에서도 한번에 너무 많은 데이터를...

AttributeConverter 이 글은 “JPA 프로그래밍 입문 - 최범균저”에 있는 내용을 정리한 글 입니다. AttributeConverter는 주로 다음과 같은 상황에서 사용된다. JPA가 지원하지 않는 타입을 매핑 두 개 이상의 속성을 갖는 밸류 타입을 한 개 칼럼에 매핑 1. JPA가 지원하지 않는 타입을 매핑 public interface AttributeConverter<X,Y> { public Y convertToDatabaseColumn (X attribute);...

Handling Data Skew in Apache Spark 이 글인 Handling Data Skew In Apache Spark 글을 정리한 글입니다. Introduction 병렬 시스템에서 가장 잘 알려진 문제 중 하나는 data skewness 이다. Apache Spark에선 join, groupBy, orderBy와 같은 데이터 파티션을 변경하는 트랜스포메이션에 의해 data skewness가 발생한다. data skewness를 해결하는 여러가지 방법이 존재한다. Broadcast...

이 글은 “스파크 완벽 가이드” 책 내용을 정리한 글입니다. 저작권에 문제가 있는 경우 “gunjuko92@gmail.com”으로 연락주시면 감사하겠습니다. Chapter3. 스파크 기능 둘러보기 스파크는 기본 요소인 저수준 API와 구조적 API 그리고 추가 기능을 제공하는 일련의 표준 라이브러리로 구성되어 있다. 1. 운영용 애플리케이션 실행하기 spark-submit 명령은 애플리케이션 코드를 클러스터에 전송해 실행시키는 역할을 한다. 스파크...

이 글은 “스파크 완벽 가이드” 책 내용을 정리한 글입니다. 저작권에 문제가 있는 경우 “gunjuko92@gmail.com”으로 연락주시면 감사하겠습니다. 스파크 완벽 가이드 - 스파크 간단히 살펴보기 1. 스파크의 기본 아키텍쳐 클러스터 : 여러 컴퓨터의 자원을 모아 하나의 컴퓨터처럼 사용할 수 있게 만든다. 스파크 : 클러스터의 데이터 처리 작업을 관리하고 조율 스파크가 연산에 사용할...