[CDH] 클라우데라 로그 확인 - cloudera log check
·
Bigdata Engineering
Server log: tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log Agent log: tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log or tail -f /var/log/messages
[Apache Impala]impala-shell 임팔라 쉘 구동 소스 코드 분석/수정 on Cloudera
·
Bigdata Engineering
개요 impala-shell 소스 분석을 위한 포스트. 개인 연구/분석 목적으로 포스트를 작성하였으며, 참고용으로만 활용 할 것. Cloudera / Python 2.6.6 기반에서 설치된 impala-shell을 분석함. impala-shell 경로 메인소스 : /opt/cloudera/parcels/CDH/lib/impala-shell/impala_shell.py client/ data driven : /opt/cloudera/parcels/CDH/lib/impala-shell/lib/ 메인 Source(impala_shell.py) Location : /opt/cloudera/parcels/CDH/lib/impala-shell/impala_shell.py select 처리 메소드. impala_sh..
[System] 리눅스 Screen 명령어 window 탭 page number 설정
·
System Engineering
방법1) screenrc 이용 sudo vi /etc/screenrc #맨 아랫 줄 아래 내용 추가 ... ... ... caption always "%{= kw}%-w%{= gW}%n %t%{-}%+w %-= %Y-%m-%d %C:%s" 방법 2) 화면 명령 입력 모드 이용 1. screen 명령어 이용하여 세션 접속. screen -S test 2. 화면 명령 입력 모드 Ctrl + a + : 3. 화면 명령 입력 모드 상태에서 캡션 추가 caption always "%{= kw}%-w%{= gW}%n %t%{-}%+w %-= %Y-%m-%d %C:%s" # window tab 커맨드 설명 caption always : 창 캡션 표시를 화면 맨 아래에 한 줄로 표시. %{= kw} : 모든 현재 속성..
[Linux Server] CentOS php composer 설치
·
Linux Server
컴포저란 ? centos에는 yum, rpm 등 패키지 관리 도구 등이 있다. php 라이브러리를 자동으로 선언해주는 점에서 composer 또한 패키지 관리 도구로 착각 하기 쉽지만, 엄연히 따지고보면 composer는 php 프로젝트에서 사용하는 의존성 관리 도구이다. 1. composer 설치 curl -sS https://getcomposer.org/installer | php 2. 전역사용을 위하여 bin에 등록. sudo mv composer.phar /usr/bin/composer 3. composer install(라이브러리 선언) cd /path/to/project composer install
[Linux Server] Nginx 설치 하기 - CentOS 6.7 소스 컴파일 설치
·
Linux Server
패키지 설치 대신 소스 설치 해야 하는 이유 ? 여러가지 이유가 있지만, 실 업무를 진행하며 느낀 개인적인 견해로는.... 1. 버전 변경에 용이) apps 전용 폴더 설정 후, S-링크만 연결하여주면 기존 버전 변동없이 바로 버전 up/down 가능. (ex: ln -s ~/apps/nginx-1.0.1 ~/apps/nginx ln -s ~/apps/nginx-1.1.1 ~/apps/nginx) 2. 루트 권한 없이도 유저 or 그룹 단위로 엔지니어링 가능) 패키지 설치와 달리 지정한 폴더로 설치되기 때문에 root 권한이 필요하지 않음. 3. 새로운 환경의 서버로 이동할 경우 복구가 용이) 초기 설치한 옵션을 init.sh로 만들면 쉽게 새로운 서버에서 손쉽고 빠르게 재 설정 가능. 4. 의존성 문제..