DEV BLOG

이 글은 “스파크 완벽 가이드” 책 내용을 정리한 글입니다. 저작권에 문제가 있는 경우 “gunjuko92@gmail.com”으로 연락주시면 감사하겠습니다. 스파크 완벽 가이드 - 아파치 스파크란 아파치 스파크란? 통합 컴퓨팅 엔진 클러스터 환경에서 데이터를 병렬로 처리하는 라이브러리 집합 병렬 처리 오픈소스 엔진 파이썬, 자바, 스칼라, R를 지원 SQL, 스트리밍, 머시러닝 등 넓은 범위의 라이브러리를...

Rest API 디자인 가이드 이 글은 5 Basic Rest API Design Guidelines 을 정리한 글 입니다. API를 디자인할 때 다음 사항을 고려해보면 좋다. 문헌에 설명된 RESTful API 원칙 구글, 마이크로 소프트 및 IT 대기업에서 사용하고 있는 관행 RESTful API를 만드는 5가지 기본 설계 지침이 있다. Resources HTTP Method HTTP Headers...

MVVM 패턴 이 글은 Level up your React architecture with MVVM 을 정리한 글 입니다. MVVM 패턴을 React 프로젝트에 적용하면 코드 퀄러티를 향상 시킬 수 있다. MVVM 패턴은 아키텍쳐 패턴이기 때문에 아키텍처를 구성하는 요소들이 있고 각 요소들은 역할과 책임을 가진다. MVVM 구성 요소 MVVM은 4개의 요소로 구성된다. The View :...

Spring Cloud Slueth Spring Cloud Slueth는 분산 트레이싱을 위한 Spring Cloud 프로젝트이다. 공식문서는 spring-cloud-slueth를 참고하길 바란다. 용어 Spring Cloud Slueth는 Dapper’s 용어를 사용한다. Span : 작업의 기본 단위. 예를 들어 RPC의 경우 요청을 보내고 받는것이 하나의 Span이 된다. Span은 64비트의 유니크한 ID를 가지며, 64비트의 TraceId를 가진다. Span은 description, timestamp, tag...

Apache Spark Job이 시작하지 못할때 아래와 같은 에러가 발생하면서 Spark Job이 시작하지 못할 경우가 있다. Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 원인 및 해결 방법 이 에러는 Spark Job을 실행할 때 executor memory와 executor core를...