Presto
* Jvm.config
-Xmx448G
* Config.properties
query.max-memory= 10752GB
# value is set more than 42% of physical memory (448 * 0.42 = 188)
query.max-memory-per-node= 188GB
# value of this parameter should be greater than query.max-memory-per-node (448 * 0.50 = 224)
query.max-total-memory-per-node= 224GB
각 설정값 설명 :
* Jvm.config
-Xmx : 코디네이터/ 워커가 jvm에 올리는 최대 힙 메모리입니다. 아래설정값들은 Xmx 값을 기준으로 설정되어야합니다. 서버의 리소스가 많이부족하면 Xmx를 낮추고, 성능향상을 위해서는 Xmx값을 상승시켜 줍니다.
* Config.properties
query.max-memory : 프레스토 상에서 구동되는 모든 쿼리의 메모리의 최대값입니다. 아래 query.max-total-memory-per-node 설정값 * 총 워커노드수로 계산하면 됩니다.
query.max-memory-per-node : 워커노드에 단일 쿼리당 최대로 할당할 수 있는 메모리 값입니다. 아래 query.max-total-memory-per-node 의 42%로 지정하시면 됩니다.
query.max-total-memory-per-node= 프레스토 워커가 쿼리구동을 위해 최대로 가져갈 수 있는 메모리의 최대값입니다.Xmx의 50%수준이 적당합니다. 이 파라미터는 query.max-memory-per-node 값 보다 무조건 높아야합니다
'Bigdata Engineering' 카테고리의 다른 글
[Bigdata] 실시간 데이터 모니터링 방법 - 2. Kafka (0) | 2022.05.02 |
---|---|
[Bigdata] 실시간 데이터 모니터링 방법 - 1. ActiveMQ (0) | 2022.05.02 |
[빅데이터]What is Facebook Presto? 프레스토 란? - 개요, 동작과정, 아키텍쳐 (0) | 2020.05.18 |
[Hadoop] hadoop 커맨드 실행시 Permission denied 해결.(root 계정 없이 실행) (0) | 2020.03.09 |
[빅데이터]요약 - Resource Manager ? Node Manager? (0) | 2020.03.09 |