Ao investigarem o por que o OOM<\/a> estava interrompendo o bancos de dados, descobriram consultas que estavam usando uma quantidade enorme de recursos para gerar blocos de 50 a 100 vezes maiores do que deveriam (a recomenda\u00e7\u00e3o \u00e9 menor que 500 KB). <\/p>\n Neste caso, o mau design de extrair todas as colunas do conjunto de dados foi agravado pelo fato de estar sendo aplicado a um grande conjunto de dados; esse paralelismo do PostgreSQL disparou, exigindo recursos extras para gerar blocos em paralelo e posteriormente mescl\u00e1-los. <\/p>\n No PostGIS 3.1 foi ent\u00e3o introduzidas v\u00e1rias mudan\u00e7as para melhorar o desempenho dessas 2 etapas: o processamento paralelo e a fus\u00e3o de resultados intermedi\u00e1rios.<\/p>\n 1. As mudan\u00e7as<\/strong><\/p>\n Sem entrar em muitos detalhes, o principal benef\u00edcio veio de alterar o bloco de vetor da forma .proto, para que um recurso possa conter apenas um valor de cada vez. Isso \u00e9 o que a especifica\u00e7\u00e3o diz, mas n\u00e3o o que .proto obriga, portanto, a biblioteca interna estava alocando mem\u00f3ria que nunca usou.<\/p>\n Existem outras mudan\u00e7as adicionais, como melhorar a forma como os valores s\u00e3o mesclados entre os workers paralelos, portanto, fique \u00e0 vontade para dar uma olhada no pr\u00f3prio commit final<\/a> se quiser mais detalhes.<\/p>\n 2. Compara\u00e7\u00e3o de desempenho<\/strong><\/p>\n A melhor maneira de ver o impacto dessas mudan\u00e7as \u00e9 por meio de alguns exemplos. Em ambos os casos foi gerado o mesmo bloco, no mesmo servidor e com as mesmas depend\u00eancias; a \u00fanica mudan\u00e7a foi substituir a biblioteca PostGIS, que de 3.0 para 3.1.<\/p>\n No primeiro exemplo, o bloco cont\u00e9m todas as colunas dos 287 mil pontos nele. Como mencionado antes, n\u00e3o \u00e9 recomend\u00e1vel fazer isso, mas \u00e9 a consulta mais simples de gerar.<\/p>\n E para o segundo exemplo foi gerado o mesmo bloco, mas agora incluindo apenas as colunas m\u00ednimas para a visualiza\u00e7\u00e3o:<\/p>\n Podemos ver, tanto no PostGIS 3.0 quanto no 3.1, que adicionar apenas as propriedades necess\u00e1rias torna as coisas 10 vezes mais r\u00e1pidas do que com os dados completos, e tamb\u00e9m que o Postgis 3.1 \u00e9 30-40% mais r\u00e1pido em ambas as situa\u00e7\u00f5es.<\/p>\n 3. Uso de mem\u00f3ria<\/strong><\/p>\n Al\u00e9m da velocidade, essa mudan\u00e7a tamb\u00e9m reduz muito a quantidade de mem\u00f3ria usada para gerar um bloco.<\/p>\n Para v\u00ea-lo em a\u00e7\u00e3o, foi monitorado o processo PostgreSQL enquanto ele est\u00e1 gerando o bloco com todas as propriedades. No 3.0, observamos na linha azul que o uso de mem\u00f3ria aumenta com o tempo at\u00e9 atingir cerca de 2,7 GB no final da transa\u00e7\u00e3o.<\/p>\n Agora foi monitorada a mesma solicita\u00e7\u00e3o em um servidor usando Postgis 3.1. Neste caso, o servidor usa cerca de um ter\u00e7o da mem\u00f3ria como no 3.0 (1GB vs 2.7GB) e, em vez de ter um aumento linear, a mem\u00f3ria \u00e9 devolvida ao sistema o mais r\u00e1pido poss\u00edvel.<\/p>\n Para resumir tudo: PostGIS 3.1 \u00e9 mais r\u00e1pido e usa menos mem\u00f3ria ao gerar grandes blocos vetoriais.<\/p>\n Este post foi escrito originalmente escrito por Ra\u00fal Mar\u00edn<\/a>, e traduzido e adaptado livremente por este blog.<\/em><\/p>\n Fonte: Clever Elephant Blog<\/a><\/p>\n","protected":false},"excerpt":{"rendered":" Cada dias mais v\u00e1rias empresas e pessoas est\u00e3o usando as fun\u00e7\u00f5es Vector Tile do PostGIS como backend para mapas vetoriais din\u00e2micos, dessa forma qualquer melhoria ter\u00e1 um grande impacto. \u00c9 por isso que, desde o aparecimento das fun\u00e7\u00f5es MVT no… Continue Reading →<\/a><\/p>\n","protected":false},"author":275,"featured_media":8738,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[24],"tags":[212],"class_list":["post-9011","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-gis","tag-postgis"],"_links":{"self":[{"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/posts\/9011","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/users\/275"}],"replies":[{"embeddable":true,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/comments?post=9011"}],"version-history":[{"count":4,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/posts\/9011\/revisions"}],"predecessor-version":[{"id":9019,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/posts\/9011\/revisions\/9019"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/media\/8738"}],"wp:attachment":[{"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/media?parent=9011"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/categories?post=9011"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/tags?post=9011"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
\n![\"\"](\"https:\/\/www.fernandoquadro.com.br\/html\/wp-content\/uploads\/2021\/01\/mvt_01.png\")
\n<\/center><\/p>\n
\n![\"\"](\"https:\/\/www.fernandoquadro.com.br\/html\/wp-content\/uploads\/2021\/01\/mvt_02.png\")
\n<\/center><\/p>\n
\n![\"\"](\"https:\/\/www.fernandoquadro.com.br\/html\/wp-content\/uploads\/2021\/01\/mvt_03.png\")
\n<\/center><\/p>\n
\n![\"\"](\"https:\/\/www.fernandoquadro.com.br\/html\/wp-content\/uploads\/2021\/01\/mvt_04.png\")
\n<\/center><\/p>\n