• 스파크 완벽 가이드 - 아파치 스파크란

    이 글은 “스파크 완벽 가이드” 책 내용을 정리한 글입니다. 저작권에 문제가 있는 경우 “gunjuko92@gmail.com”으로 연락주시면 감사하겠습니다. 스파크 완벽 가이드 - 아파치 스파크란 아파치 스파크란? 통합 컴퓨팅 엔진 클러스터 환경에서 데이터를 병렬로 처리하는 라이브러리 집합 병렬 처리 오픈소스 엔진 파이썬, 자바, 스칼라, R를 지원 SQL, 스트리밍, 머시러닝 등 넓은 범위의 라이브러리를...


  • Rest API 디자인 가이드

    Rest API 디자인 가이드 이 글은 5 Basic Rest API Design Guidelines 을 정리한 글 입니다. API를 디자인할 때 다음 사항을 고려해보면 좋다. 문헌에 설명된 RESTful API 원칙 구글, 마이크로 소프트 및 IT 대기업에서 사용하고 있는 관행 RESTful API를 만드는 5가지 기본 설계 지침이 있다. Resources HTTP Method HTTP Headers...


  • MVVM 패턴

    MVVM 패턴 이 글은 Level up your React architecture with MVVM 을 정리한 글 입니다. MVVM 패턴을 React 프로젝트에 적용하면 코드 퀄러티를 향상 시킬 수 있다. MVVM 패턴은 아키텍쳐 패턴이기 때문에 아키텍처를 구성하는 요소들이 있고 각 요소들은 역할과 책임을 가진다. MVVM 구성 요소 MVVM은 4개의 요소로 구성된다. The View :...


  • Spring Cloud Slueth

    Spring Cloud Slueth Spring Cloud Slueth는 분산 트레이싱을 위한 Spring Cloud 프로젝트이다. 공식문서는 spring-cloud-slueth를 참고하길 바란다. 용어 Spring Cloud Slueth는 Dapper’s 용어를 사용한다. Span : 작업의 기본 단위. 예를 들어 RPC의 경우 요청을 보내고 받는것이 하나의 Span이 된다. Span은 64비트의 유니크한 ID를 가지며, 64비트의 TraceId를 가진다. Span은 description, timestamp, tag...


  • Apache Spark Job이 시작하지 못할때

    Apache Spark Job이 시작하지 못할때 아래와 같은 에러가 발생하면서 Spark Job이 시작하지 못할 경우가 있다. Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources 원인 및 해결 방법 이 에러는 Spark Job을 실행할 때 executor memory와 executor core를...