개요 2019년 1월 1일 부터 Oracle JDK의 라이센스 정책변경으로 Oracle JDK를 OpenJDK 로 교체가 필요해짐. openjdk는 zulu 등 여러가지 종류가 있지만 내부결정으로 adoptOpenJDK로 결정됨. 고려사항 기준 운용중인 JDK와 호환되는지 확인. 특별한 클래스를 사용하지 않는한 버전 일치시 큰 이슈 없음 ( ex. oracle jdk 7 --> AdoptOpenJDK 1.7) 작업내용 JDK 설치 mkdir -p /home1/username/stage ; mkdir -p /home1/username/apps ; wget https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u192-b12/Open..

Introduction Cloudera Manager ? 하둡 에코 시스템 관리를 편하게 하기위해 만들어진 Cloudera GUI 오픈소스 왜 업그레이드를 해야하는가? 관리하는 DMP의 버전이 5.6로, 하이브 접속시 auth방식이 5.7과 상이함 auth 방식 추가를 위해, DMP Cloudera Manager 버전을 5.6 --> 5.7로 업그레이드를 진행함. 참고 document URL : [링크 이동] Step 1 - 기본 정보 수집. Cloudera manager가 설치된 서버의 sudo 권한 계정 확인. Cloudera Manager > 지원 > 정보 에서 JDK 버전 확인 각 호스트별로 OS 버전 확인 (클러스터 -> 호스트 ) Step 2 - 업그레이드 전 사전 준비 업그레이드 대상 버전이..

개요 임팔라는 hive에서 쓰던 java UDF 뿐만 아니라 C++로 UDF가 등록 가능합니다. Hive에서 쓰던 UDF를 Impala에 사용하면 구글에 오픈소스가 많을 뿐더러, Java기반이기에 친숙하여 손쉽게 등록이 가능합니다. 단, 문제점이 하나 있는데, python(내부적으로 unicode 사용) 기반의 impala와 한글 호환이 정상적으로 이루어지지 않는것입니다. 1. Impala UDF 개발을 위한 환경 패키지 구축 Impala에 정상적으로 UDF 등록을 위해서는 선행작업 - 즉 개발을 위한 환경패키지를 구축해야합니다. Version 정보를 정확하게 파악 후 진행하여줍니다. http://archive.cloudera.com/cdh5 에서 버전에 맞는 impala-udf-devel 패키지를 다운..

impala 에 hive udf를 등록하기 위한 가이드 포스트. 임팔라에 하이브-HIVE UDF 등록 1. java로 쓰여진 Hive UDF 파일을 준비. Location : hdfs://my.namenode.com:8020/user/username/lib/my-udf.jar 2. impala-shell 실행 impala-shell 3. impala-shell에서 함수 등록 hive와 다르게 function parameter와 return 타입을 명시해줘야 합니다. location 경로는 local 경로가 아닌 hdfs 경로로 지정해주셔야 합니다. create function my_urldecode(string, string) returns string location 'hdfs://my.namenode..

1.의존 라이브러리 설치. php 설치에 앞서 필요한 의존 라이브러리들을 설치합니다. yum -y install gcc* make libtool-ltdl-devel openssl-devel pcre-devel ncurses-devel libxml2-devel bzip2-devel curl-devel gdbm-devel libjpeg-devel libpng-devel freetype-devel imap-devel libc-client-devel krb5-devel libmcrypt libmcrypt-devel libmhash-devel flex icu libicu libicu-devel gd gd-devel openldap-devel php-devel 2. Libiconv 등 필수 라이브러리 설치 php ..