티스토리

Damat - Idea Factory

검색하기

블로그 홈

Damat - Idea Factory

data-wiki.tistory.com/m

Computer Science Engineer를 위한 tiStory

구독자: 1

방명록 방문하기

주요 글 목록

Presto Worker, Cordinator 튜닝 / 메모리 설정 Presto * Jvm.config -Xmx448G * Config.properties query.max-memory= 10752GB # value is set more than 42% of physical memory (448 * 0.42 = 188) query.max-memory-per-node= 188GB # value of this parameter should be greater than query.max-memory-per-node (448 * 0.50 = 224) query.max-total-memory-per-node= 224GB 각 설정값 설명 : * Jvm.config -Xmx : 코디네이터/ 워커가 jvm에 올리는 최대 힙 메모리입니다. 아래설정값들은 Xmx 값을 기준으로 설정되어야합.. 공감수 0 댓글수 0 2022. 5. 2.
[Bigdata] 실시간 데이터 모니터링 방법 - 2. Kafka 2.2. kafka 모니터링 2.2.1. 토픽 스냅샷 활용 Kafka는 broker를 통해서 중재되는 pub-sub (발급-구독) 모델의 메세지 큐 입니다. 발급자(producer)가 데이터를 보내줄때 남기는 로그를 관찰하거나, consumer를 통해 적재된 데이터를 확인하여 모니터링을 할 수 있습니다. 하지만 앞선 방법들로는 토픽의 실시간 흐름을 확인하기 어렵습니다. 카프카내에서 흘러가는 데이터를 뜰채로 건져(스냅샷) 컬럼값을 파싱 한 후, 현재시간과 비교 한다면 아주 좋은 모니터링이 될 수 있습니다. [KAFKA TOPIC 리스트 확인 하는법] kafka의 모든 토픽 리스트들은 아래 명령어를 통해 확인 할 수 있습니다. CLI ) /usr/lib/kafka/bin/kafka-topics.sh --li.. 공감수 0 댓글수 0 2022. 5. 2.
[Bigdata] 실시간 데이터 모니터링 방법 - 1. ActiveMQ 1. 개요 빅데이터 클러스터에서 실시간 데이터 모니터링은 어렵습니다. 제가 운영중인 빅데이터분석플랫폼들은 엄청나게 많은 데이터를 처리하고 있습니다. 크기는 무려 페타급 규모이며 어떤 테이블은 모든 파티션의 row가 수십조개나 됩니다. 이런 데이터들을 실시간으로 모니터링한다면 ? 생각만해도 참 숨이 막혀옵니다. 그 규모가 절대 작지 않습니다. 실시간데이터라고 규모가 작지 않습니다. 운영중인 클러스터는 수 십 PB급 규모이며, 수십 개 종류의 데이터를 TB단위로 실시간 적재/전송/처리/제공 하고있습니다. File System대신 memory 친화적이다. 실시간데이터는 대부분 메모리를 통해 빠른전송방식을 택하고있다는것이 일반적이죠. 메모리를 활용하는 Software들은 File System에 제한적인 정보만 .. 공감수 0 댓글수 0 2022. 5. 2.
[빅데이터]What is Facebook Presto? 프레스토 란? - 개요, 동작과정, 아키텍쳐 Intro Presto는 Facebook의 넘쳐나는 페타바이트급 데이터를 효율적으로 분석하기 위해 2012년도에 kickoff 된 프로젝트 입니다. 2013년 가을 Facebook에서 apache 라이선스를 적용하여 Presto 오픈소스를 공개하였습니다. [FE 발표] 즉, 기업이든 연구기관이든 큰 문제없이 무료로 사용할 수 있지요. [아파치 라이선스 2.0 FAQ ] Presto란 ? Presto는 Facebook kickoff 프로젝트의 내용처럼 TB, PB급 데이터를 효율적으로 처리하기 위해 만들어졌습니다. 대용량의 데이터를 빠르게 추출하기 원하면 Hive 보다는 Presto를 사용하는 것이 적합합니다. Presto의 핵심은 두가지입니다. 다양한 소스 지원 - Hive 메타스토어, RDBMS, 아마.. 공감수 0 댓글수 0 2020. 5. 18.
[Hadoop] hadoop 커맨드 실행시 Permission denied 해결.(root 계정 없이 실행) 개요 하둡 저장소에 저장된 hive warehouse 디렉토리별 용량을 확인하기 위해 아래 명령어를 사용하였다. hadoop fs -du -h /user/hive 하지만 아래와 같이 권한 문제로 일부 경로에 접근이 불가하였다. du: Permission denied: user=username, access=READ_EXECUTE, inode="/user/hive/.staging":hive:hive:drwx------ 원인 대부분의 현업에서, 엔지니어의 경우 root 계정이 아닌 superuser do(sudo) 실행이 가능한 계정을 받을 것 이다. 그렇기 때문에, hdfs는 user 권한에 따라 탐색이 불가능 할 수 있다. 해결 특정유저로 명령어 실행(sudo -u username "명령어") sudo .. 공감수 0 댓글수 0 2020. 3. 9.
[빅데이터]요약 - Resource Manager ? Node Manager? ResourceManager YARN 클러스터의 Master 서버로 하나 또는 이중화를 위해 두개의 서버에만 실행됨 클러스터 전체의 리소스를 관리 YARN 클러스터의 리소스를 사용하고자 하는 다른 플랫롬으로부터 요청을 받아 리소스 할당(스케줄링) NodeManager YARN 클러스터의 Worker 서버로 ResourceManager를 제외한 모든 서버에 실행 사용자가 요청한 프로그램을 실행하는 Container를 fork 시키고 Container를 모니터링 Container 장애 상황 또는 Container가 요청한 리소스보다 많이 사용하고 있는지 감시(요청한 리소스보다 많이 사용하면 해당 Container를 kill 시킴) Yarn Architecture 1) 리소스매니저는 글러볼 스케줄러라고 정의할.. 공감수 1 댓글수 0 2020. 3. 9.
[빅데이터] 요약 - 하둡 이란?, HDFS 동작과정 HADOOP 이란? 분산 환경에서 빅데이터를 “저장”하고 관리할 수 있는 자바 기반의 오픈소스 프레임워크. 무결성 원칙때문에, 이동 삭제 복사는 가능하나 수정은 불가능. 병렬로 접근하기 때문에 대용량데이터 I/O가 빠름 Hadoop은 데몬 자체를 뜻하고, HDFS는 Hadoop클러스터로 이루어진 File System 지칭합니다. 통상 같은 의미로 사용합니다 HDFS(Hadoop Distributed File System) 동작 과정 Data Write 과정 애플리케이션이 HDFS 클라이언트에 파일저장 요청 HDFS 클라이언트가 네임노드에 사용자가 요청한 파일경로 생성 요청 네임노드가 데이터노드들(파이프라인) 반환 (복제개수만큼) 첫번째 데이터노드에 저장, 첫번째 데이터노드는 두번째 데이터노드로 전송, 로.. 공감수 0 댓글수 0 2020. 3. 9.
[Bigdata] Yarn Resource Manager API Call [빅데이터] 얀 리소스 매니저 API 호출 Command #cmd GET "[ResourceManagerHost]/ws/v1/cluster/apps?param1=value1&param2=value2&param3=value3..." # ex) if you want to return "states Running" by limit 20 GET "http://ResourceManager.host.net:8088/ws/v1/cluster/apps?limit=20&states=RUNNING" Return Example You can Return JSON Type 예 ) {"apps":{"app":[{"id":"application_1579679167074_XXXX","user":"hive","name":"SELEC.. 공감수 1 댓글수 0 2020. 2. 26.
[빅데이터]데이터 엔지니어 - 하둡 에코 시스템의 이해(요약 본) HDFS 데이터 저장 방식 1. 애플리케이션이 HDFS 클라이언트에 파일저장 요청 2. HDFS 클라이언트가 네임노드에 사용자가 요청한 파일경로 생성 요청 3. 네임노드가 데이터노드들(파이프라인) 반환 (복제개수만큼) 4. 첫번째 데이터노드에 저장, 첫번째 데이터노드는 두번째 데이터노드로 전송, 로컬 저장 후 세번쨰로 전송... 완료 후 첫번 째 데이터노드에 완료 사실 반환 5. 데이터노드장애 시 파이프라인에서 제거 후 네임노드가 다른 데이터노드 배치 6. 첫번째 데이터노드가 클라이언트에게 저장완료 응답 7. 클라이트가 애플리케이션에 완료 응답 HDFS 데이터 읽기 1. 네임노드에게 요청한 파일의 블록 위치 정보 요청 2. 클라이언트에 가까운 순서대로 정렬하여 데이터노드 목록 반환. 3. 클라이언트는 데.. 공감수 0 댓글수 0 2020. 2. 18.
[Redis] In memory DB Redis 설치 (CentOS 6.9, NoSQL, Master - Slave 구조) Redis 란 ? Redis는 NO Sql의 일종으로 기존 MySQL, Maria DB와는 다르게 In Memory를 사용하여 많은 장점이 있다. 처리 속도가 빠르다. 당연히 데이터가 메모리+Disk에 저장된다. 그러나, 속도는 Memcached와 큰 차이가 없다. 데이터가 메모리+Disk에 저장된다. 프로세스가 죽거나 장비가 Shutdown되더라도 Data의 복구가 가능하다 만료일을 지정하여 만료가 되면 자동으로 데이터가 사라진다. 동일한 기능을 지원한다. 저장소 메모리 재사용 하지 않는다. 명시적으로만 데이터를 제거할 수 있다. Redis 설치 과정 :: 내부 IP에 대해선 10.xxx.xxx.xxx 로 마스킹 처리 하였습니다. 서버에 맞게 수정 바랍니다. 1 . Redis 설치 redis를 /hom.. 공감수 0 댓글수 0 2020. 2. 14.
[CDH] 클라우데라 Hadoop - Open JDK 교체(oracle jdk -> open jdk) 개요 2019년 1월 1일 부터 Oracle JDK의 라이센스 정책변경으로 Oracle JDK를 OpenJDK 로 교체가 필요해짐. openjdk는 zulu 등 여러가지 종류가 있지만 내부결정으로 adoptOpenJDK로 결정됨. 고려사항 기준 운용중인 JDK와 호환되는지 확인. 특별한 클래스를 사용하지 않는한 버전 일치시 큰 이슈 없음 ( ex. oracle jdk 7 --> AdoptOpenJDK 1.7) 작업내용 JDK 설치 mkdir -p /home1/username/stage ; mkdir -p /home1/username/apps ; wget https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u192-b12/Open.. 공감수 0 댓글수 0 2020. 2. 14.
[CDH] Cloudera Manager 클라우데라 매니저 버전 업그레이드 Introduction Cloudera Manager ? 하둡 에코 시스템 관리를 편하게 하기위해 만들어진 Cloudera GUI 오픈소스 왜 업그레이드를 해야하는가? 관리하는 DMP의 버전이 5.6로, 하이브 접속시 auth방식이 5.7과 상이함 auth 방식 추가를 위해, DMP Cloudera Manager 버전을 5.6 --> 5.7로 업그레이드를 진행함. 참고 document URL : [링크 이동] Step 1 - 기본 정보 수집. Cloudera manager가 설치된 서버의 sudo 권한 계정 확인. Cloudera Manager > 지원 > 정보 에서 JDK 버전 확인 각 호스트별로 OS 버전 확인 (클러스터 -> 호스트 ) Step 2 - 업그레이드 전 사전 준비 업그레이드 대상 버전이.. 공감수 1 댓글수 0 2020. 2. 10.
[Apache Impala] c++ 을 이용하여 urldecoder UDF 작성 하기 개요 임팔라는 hive에서 쓰던 java UDF 뿐만 아니라 C++로 UDF가 등록 가능합니다. Hive에서 쓰던 UDF를 Impala에 사용하면 구글에 오픈소스가 많을 뿐더러, Java기반이기에 친숙하여 손쉽게 등록이 가능합니다. 단, 문제점이 하나 있는데, python(내부적으로 unicode 사용) 기반의 impala와 한글 호환이 정상적으로 이루어지지 않는것입니다. 1. Impala UDF 개발을 위한 환경 패키지 구축 Impala에 정상적으로 UDF 등록을 위해서는 선행작업 - 즉 개발을 위한 환경패키지를 구축해야합니다. Version 정보를 정확하게 파악 후 진행하여줍니다. http://archive.cloudera.com/cdh5 에서 버전에 맞는 impala-udf-devel 패키지를 다운.. 공감수 0 댓글수 0 2020. 2. 7.
[Apache Impala]임팔라에 Hive UDF를 (User Defined Function) 등록하기 impala 에 hive udf를 등록하기 위한 가이드 포스트. 임팔라에 하이브-HIVE UDF 등록 1. java로 쓰여진 Hive UDF 파일을 준비. Location : hdfs://my.namenode.com:8020/user/username/lib/my-udf.jar 2. impala-shell 실행 impala-shell 3. impala-shell에서 함수 등록 hive와 다르게 function parameter와 return 타입을 명시해줘야 합니다. location 경로는 local 경로가 아닌 hdfs 경로로 지정해주셔야 합니다. create function my_urldecode(string, string) returns string location 'hdfs://my.namenode.. 공감수 0 댓글수 0 2020. 2. 6.
[CDH] 클라우데라 로그 확인 - cloudera log check Server log: tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log Agent log: tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log or tail -f /var/log/messages 공감수 0 댓글수 0 2020. 2. 4.
[Apache Impala]impala-shell 임팔라 쉘 구동 소스 코드 분석/수정 on Cloudera 개요 impala-shell 소스 분석을 위한 포스트. 개인 연구/분석 목적으로 포스트를 작성하였으며, 참고용으로만 활용 할 것. Cloudera / Python 2.6.6 기반에서 설치된 impala-shell을 분석함. impala-shell 경로 메인소스 : /opt/cloudera/parcels/CDH/lib/impala-shell/impala_shell.py client/ data driven : /opt/cloudera/parcels/CDH/lib/impala-shell/lib/ 메인 Source(impala_shell.py) Location : /opt/cloudera/parcels/CDH/lib/impala-shell/impala_shell.py select 처리 메소드. impala_sh.. 공감수 0 댓글수 0 2020. 2. 4.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.