Introduction Cloudera Manager ? 하둡 에코 시스템 관리를 편하게 하기위해 만들어진 Cloudera GUI 오픈소스 왜 업그레이드를 해야하는가? 관리하는 DMP의 버전이 5.6로, 하이브 접속시 auth방식이 5.7과 상이함 auth 방식 추가를 위해, DMP Cloudera Manager 버전을 5.6 --> 5.7로 업그레이드를 진행함. 참고 document URL : [링크 이동] Step 1 - 기본 정보 수집. Cloudera manager가 설치된 서버의 sudo 권한 계정 확인. Cloudera Manager > 지원 > 정보 에서 JDK 버전 확인 각 호스트별로 OS 버전 확인 (클러스터 -> 호스트 ) Step 2 - 업그레이드 전 사전 준비 업그레이드 대상 버전이..

개요 임팔라는 hive에서 쓰던 java UDF 뿐만 아니라 C++로 UDF가 등록 가능합니다. Hive에서 쓰던 UDF를 Impala에 사용하면 구글에 오픈소스가 많을 뿐더러, Java기반이기에 친숙하여 손쉽게 등록이 가능합니다. 단, 문제점이 하나 있는데, python(내부적으로 unicode 사용) 기반의 impala와 한글 호환이 정상적으로 이루어지지 않는것입니다. 1. Impala UDF 개발을 위한 환경 패키지 구축 Impala에 정상적으로 UDF 등록을 위해서는 선행작업 - 즉 개발을 위한 환경패키지를 구축해야합니다. Version 정보를 정확하게 파악 후 진행하여줍니다. http://archive.cloudera.com/cdh5 에서 버전에 맞는 impala-udf-devel 패키지를 다운..

impala 에 hive udf를 등록하기 위한 가이드 포스트. 임팔라에 하이브-HIVE UDF 등록 1. java로 쓰여진 Hive UDF 파일을 준비. Location : hdfs://my.namenode.com:8020/user/username/lib/my-udf.jar 2. impala-shell 실행 impala-shell 3. impala-shell에서 함수 등록 hive와 다르게 function parameter와 return 타입을 명시해줘야 합니다. location 경로는 local 경로가 아닌 hdfs 경로로 지정해주셔야 합니다. create function my_urldecode(string, string) returns string location 'hdfs://my.namenode..

Server log: tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log Agent log: tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log or tail -f /var/log/messages

개요 impala-shell 소스 분석을 위한 포스트. 개인 연구/분석 목적으로 포스트를 작성하였으며, 참고용으로만 활용 할 것. Cloudera / Python 2.6.6 기반에서 설치된 impala-shell을 분석함. impala-shell 경로 메인소스 : /opt/cloudera/parcels/CDH/lib/impala-shell/impala_shell.py client/ data driven : /opt/cloudera/parcels/CDH/lib/impala-shell/lib/ 메인 Source(impala_shell.py) Location : /opt/cloudera/parcels/CDH/lib/impala-shell/impala_shell.py select 처리 메소드. impala_sh..