Redis 란 ? Redis는 NO Sql의 일종으로 기존 MySQL, Maria DB와는 다르게 In Memory를 사용하여 많은 장점이 있다. 처리 속도가 빠르다. 당연히 데이터가 메모리+Disk에 저장된다. 그러나, 속도는 Memcached와 큰 차이가 없다. 데이터가 메모리+Disk에 저장된다. 프로세스가 죽거나 장비가 Shutdown되더라도 Data의 복구가 가능하다 만료일을 지정하여 만료가 되면 자동으로 데이터가 사라진다. 동일한 기능을 지원한다. 저장소 메모리 재사용 하지 않는다. 명시적으로만 데이터를 제거할 수 있다. Redis 설치 과정 :: 내부 IP에 대해선 10.xxx.xxx.xxx 로 마스킹 처리 하였습니다. 서버에 맞게 수정 바랍니다. 1 . Redis 설치 redis를 /hom..

개요 2019년 1월 1일 부터 Oracle JDK의 라이센스 정책변경으로 Oracle JDK를 OpenJDK 로 교체가 필요해짐. openjdk는 zulu 등 여러가지 종류가 있지만 내부결정으로 adoptOpenJDK로 결정됨. 고려사항 기준 운용중인 JDK와 호환되는지 확인. 특별한 클래스를 사용하지 않는한 버전 일치시 큰 이슈 없음 ( ex. oracle jdk 7 --> AdoptOpenJDK 1.7) 작업내용 JDK 설치 mkdir -p /home1/username/stage ; mkdir -p /home1/username/apps ; wget https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u192-b12/Open..

Introduction Cloudera Manager ? 하둡 에코 시스템 관리를 편하게 하기위해 만들어진 Cloudera GUI 오픈소스 왜 업그레이드를 해야하는가? 관리하는 DMP의 버전이 5.6로, 하이브 접속시 auth방식이 5.7과 상이함 auth 방식 추가를 위해, DMP Cloudera Manager 버전을 5.6 --> 5.7로 업그레이드를 진행함. 참고 document URL : [링크 이동] Step 1 - 기본 정보 수집. Cloudera manager가 설치된 서버의 sudo 권한 계정 확인. Cloudera Manager > 지원 > 정보 에서 JDK 버전 확인 각 호스트별로 OS 버전 확인 (클러스터 -> 호스트 ) Step 2 - 업그레이드 전 사전 준비 업그레이드 대상 버전이..

개요 임팔라는 hive에서 쓰던 java UDF 뿐만 아니라 C++로 UDF가 등록 가능합니다. Hive에서 쓰던 UDF를 Impala에 사용하면 구글에 오픈소스가 많을 뿐더러, Java기반이기에 친숙하여 손쉽게 등록이 가능합니다. 단, 문제점이 하나 있는데, python(내부적으로 unicode 사용) 기반의 impala와 한글 호환이 정상적으로 이루어지지 않는것입니다. 1. Impala UDF 개발을 위한 환경 패키지 구축 Impala에 정상적으로 UDF 등록을 위해서는 선행작업 - 즉 개발을 위한 환경패키지를 구축해야합니다. Version 정보를 정확하게 파악 후 진행하여줍니다. http://archive.cloudera.com/cdh5 에서 버전에 맞는 impala-udf-devel 패키지를 다운..

impala 에 hive udf를 등록하기 위한 가이드 포스트. 임팔라에 하이브-HIVE UDF 등록 1. java로 쓰여진 Hive UDF 파일을 준비. Location : hdfs://my.namenode.com:8020/user/username/lib/my-udf.jar 2. impala-shell 실행 impala-shell 3. impala-shell에서 함수 등록 hive와 다르게 function parameter와 return 타입을 명시해줘야 합니다. location 경로는 local 경로가 아닌 hdfs 경로로 지정해주셔야 합니다. create function my_urldecode(string, string) returns string location 'hdfs://my.namenode..