개요 하둡 저장소에 저장된 hive warehouse 디렉토리별 용량을 확인하기 위해 아래 명령어를 사용하였다. hadoop fs -du -h /user/hive 하지만 아래와 같이 권한 문제로 일부 경로에 접근이 불가하였다. du: Permission denied: user=username, access=READ_EXECUTE, inode="/user/hive/.staging":hive:hive:drwx------ 원인 대부분의 현업에서, 엔지니어의 경우 root 계정이 아닌 superuser do(sudo) 실행이 가능한 계정을 받을 것 이다. 그렇기 때문에, hdfs는 user 권한에 따라 탐색이 불가능 할 수 있다. 해결 특정유저로 명령어 실행(sudo -u username "명령어") sudo ..

ResourceManager YARN 클러스터의 Master 서버로 하나 또는 이중화를 위해 두개의 서버에만 실행됨 클러스터 전체의 리소스를 관리 YARN 클러스터의 리소스를 사용하고자 하는 다른 플랫롬으로부터 요청을 받아 리소스 할당(스케줄링) NodeManager YARN 클러스터의 Worker 서버로 ResourceManager를 제외한 모든 서버에 실행 사용자가 요청한 프로그램을 실행하는 Container를 fork 시키고 Container를 모니터링 Container 장애 상황 또는 Container가 요청한 리소스보다 많이 사용하고 있는지 감시(요청한 리소스보다 많이 사용하면 해당 Container를 kill 시킴) Yarn Architecture 1) 리소스매니저는 글러볼 스케줄러라고 정의할..

HADOOP 이란? 분산 환경에서 빅데이터를 “저장”하고 관리할 수 있는 자바 기반의 오픈소스 프레임워크. 무결성 원칙때문에, 이동 삭제 복사는 가능하나 수정은 불가능. 병렬로 접근하기 때문에 대용량데이터 I/O가 빠름 Hadoop은 데몬 자체를 뜻하고, HDFS는 Hadoop클러스터로 이루어진 File System 지칭합니다. 통상 같은 의미로 사용합니다 HDFS(Hadoop Distributed File System) 동작 과정 Data Write 과정 애플리케이션이 HDFS 클라이언트에 파일저장 요청 HDFS 클라이언트가 네임노드에 사용자가 요청한 파일경로 생성 요청 네임노드가 데이터노드들(파이프라인) 반환 (복제개수만큼) 첫번째 데이터노드에 저장, 첫번째 데이터노드는 두번째 데이터노드로 전송, 로..

[빅데이터] 얀 리소스 매니저 API 호출 Command #cmd GET "[ResourceManagerHost]/ws/v1/cluster/apps?param1=value1&param2=value2&param3=value3..." # ex) if you want to return "states Running" by limit 20 GET "http://ResourceManager.host.net:8088/ws/v1/cluster/apps?limit=20&states=RUNNING" Return Example You can Return JSON Type 예 ) {"apps":{"app":[{"id":"application_1579679167074_XXXX","user":"hive","name":"SELEC..

HDFS 데이터 저장 방식 1. 애플리케이션이 HDFS 클라이언트에 파일저장 요청 2. HDFS 클라이언트가 네임노드에 사용자가 요청한 파일경로 생성 요청 3. 네임노드가 데이터노드들(파이프라인) 반환 (복제개수만큼) 4. 첫번째 데이터노드에 저장, 첫번째 데이터노드는 두번째 데이터노드로 전송, 로컬 저장 후 세번쨰로 전송... 완료 후 첫번 째 데이터노드에 완료 사실 반환 5. 데이터노드장애 시 파이프라인에서 제거 후 네임노드가 다른 데이터노드 배치 6. 첫번째 데이터노드가 클라이언트에게 저장완료 응답 7. 클라이트가 애플리케이션에 완료 응답 HDFS 데이터 읽기 1. 네임노드에게 요청한 파일의 블록 위치 정보 요청 2. 클라이언트에 가까운 순서대로 정렬하여 데이터노드 목록 반환. 3. 클라이언트는 데..