Presto Worker, Cordinator 튜닝 / 메모리 설정

Presto

 

*  Jvm.config

                     -Xmx448G

*  Config.properties

                     query.max-memory= 10752GB 

                     # value is set more than 42% of physical memory (448 * 0.42 = 188)

                     query.max-memory-per-node= 188GB

                     # value of this parameter should be greater than query.max-memory-per-node (448 * 0.50 = 224)

                     query.max-total-memory-per-node= 224GB

 

각 설정값 설명 :  

*  Jvm.config

-Xmx : 코디네이터/ 워커가 jvm에 올리는 최대 힙 메모리입니다. 아래설정값들은 Xmx 값을 기준으로 설정되어야합니다. 서버의 리소스가 많이부족하면 Xmx를 낮추고, 성능향상을 위해서는 Xmx값을 상승시켜 줍니다.

*  Config.properties

query.max-memory : 프레스토 상에서 구동되는 모든 쿼리의 메모리의 최대값입니다. 아래  query.max-total-memory-per-node 설정값 * 총 워커노드수로 계산하면 됩니다.

 query.max-memory-per-node :  워커노드에 단일 쿼리당 최대로 할당할 수 있는 메모리 값입니다. 아래 query.max-total-memory-per-node 의 42%로 지정하시면 됩니다.

query.max-total-memory-per-node= 프레스토 워커가 쿼리구동을 위해 최대로 가져갈 수 있는 메모리의 최대값입니다.Xmx의 50%수준이 적당합니다. 이 파라미터는   query.max-memory-per-node 값 보다 무조건 높아야합니다