소켓통신이란?Network Layer 에서 Application Layer(응용계층)과 Transport Layer(전송계층) 사이에 존재하는 인터페이스입니다.소켓을 사용하면 Application Layer에서 Network를 통해 다른 End Point와 통신을 할 수 있습니다.소켓은 하위 Layer의 이해없이도 Application 계층에서 프로그래밍이 가능하다는 장점이 있습니다. 소켓통신의 essential typeSOCK_STREAM - 채택한 방식a.k.a TCP안정적인 전송연결 순서를 보장 해줌연결 지향적 (server ↔ client 1:1 연결)채팅, 이메일, HTTP 통신 등 에 사용SOCK_DGRANa.k.a UDP전송이 안정적이지 않음연결 순서를 보장해주지 않음패킷이 연결상대(목적..

Presto * Jvm.config -Xmx448G * Config.properties query.max-memory= 10752GB # value is set more than 42% of physical memory (448 * 0.42 = 188) query.max-memory-per-node= 188GB # value of this parameter should be greater than query.max-memory-per-node (448 * 0.50 = 224) query.max-total-memory-per-node= 224GB 각 설정값 설명 : * Jvm.config -Xmx : 코디네이터/ 워커가 jvm에 올리는 최대 힙 메모리입니다. 아래설정값들은 Xmx 값을 기준으로 설정되어야합..

mysql 재기동 명령어sudo service mysql [stop/start/restart] DB(Maria DB) M-S 재구성이 내용은 M-S 구조가 깨졌을때 재구성 하는 작업입니다.slave 재기동 후 IO Thread, SQL Thread 가 yes로 나오면 수행 할 필요 없습니다. Maria DB는 binary log를 통한 replication만 지원하기 때문에, 마스터의 내용을 복사 후 binary log 포지션을 기입해 주어 따라가게끔 해주어야 합니다.bin log는 로컬파일을 사용한다는 장점이 있지만 Active - Standby 개념이 아닌 Master- Slave 관계여서 수동으로 작업해야할 게 많습니다. #1~4과정은 데이터를 새로 엎어치는 내용입니다. 데이터의 보존을 위해 lo..

Intro Presto는 Facebook의 넘쳐나는 페타바이트급 데이터를 효율적으로 분석하기 위해 2012년도에 kickoff 된 프로젝트 입니다. 2013년 가을 Facebook에서 apache 라이선스를 적용하여 Presto 오픈소스를 공개하였습니다. [FE 발표] 즉, 기업이든 연구기관이든 큰 문제없이 무료로 사용할 수 있지요. [아파치 라이선스 2.0 FAQ ] Presto란 ? Presto는 Facebook kickoff 프로젝트의 내용처럼 TB, PB급 데이터를 효율적으로 처리하기 위해 만들어졌습니다. 대용량의 데이터를 빠르게 추출하기 원하면 Hive 보다는 Presto를 사용하는 것이 적합합니다. Presto의 핵심은 두가지입니다. 다양한 소스 지원 - Hive 메타스토어, RDBMS, 아마..

개요 하둡 저장소에 저장된 hive warehouse 디렉토리별 용량을 확인하기 위해 아래 명령어를 사용하였다. hadoop fs -du -h /user/hive 하지만 아래와 같이 권한 문제로 일부 경로에 접근이 불가하였다. du: Permission denied: user=username, access=READ_EXECUTE, inode="/user/hive/.staging":hive:hive:drwx------ 원인 대부분의 현업에서, 엔지니어의 경우 root 계정이 아닌 superuser do(sudo) 실행이 가능한 계정을 받을 것 이다. 그렇기 때문에, hdfs는 user 권한에 따라 탐색이 불가능 할 수 있다. 해결 특정유저로 명령어 실행(sudo -u username "명령어") sudo ..