{"id":6997,"date":"2018-01-15T14:37:38","date_gmt":"2018-01-15T17:37:38","guid":{"rendered":"http:\/\/www.fernandoquadro.com.br\/html\/?p=6997"},"modified":"2018-01-16T08:05:26","modified_gmt":"2018-01-16T11:05:26","slug":"testando-softwares-para-big-spatial-data-parte-1","status":"publish","type":"post","link":"https:\/\/www.fernandoquadro.com.br\/html\/2018\/01\/15\/testando-softwares-para-big-spatial-data-parte-1\/","title":{"rendered":"Testando softwares para Big Data Spatial – Parte 1"},"content":{"rendered":"

O objetivo deste artigo \u00e9 mostrar os resultados testando a integra\u00e7\u00e3o de uma plataforma Big Data com outras ferramentas geoespaciais. \u00c9 necess\u00e1rio salientar que a integra\u00e7\u00e3o de componentes usados, todos eles de c\u00f3digo aberto, nos permite publicar servi\u00e7os WEB compat\u00edveis com padr\u00f5es OGC (WMS, WFS, WPS).<\/p>\n

\"\"<\/a><\/p>\n

Este artigo descreve as etapas de instala\u00e7\u00e3o, as configura\u00e7\u00f5es e o desenvolvimento feito para obter um aplicativo de mapeamento que mostre medidas de NO2 de aproximadamente 4k esta\u00e7\u00f5es europ\u00e9ias durante quatro meses (Observa\u00e7\u00f5es foram registradas por hora), resultado em torno de 5 milh\u00f5es de registros. Sim, eu sei, esses dados n\u00e3o parecem um armazenamento “Big Data”, mas parece grande o suficiente para verificar o desempenho quando as aplica\u00e7\u00f5es o l\u00eaem usando filtros espaciais e \/ ou temporais (clique na imagem acima para ver o v\u00eddeo).<\/p>\n

O artigo n\u00e3o se concentra em ensinar um conhecimento mais profundo dos softwares usados, todos eles j\u00e1 tem publicado boa documenta\u00e7\u00e3o do ponto de vista do usu\u00e1rio ou do desenvolvedor, simplesmente quero oferecer experi\u00eancias e um guia simples para coletar recursos de componentes de software. Por exemplo, coment\u00e1rios sobre o GeoWave e sua integra\u00e7\u00e3o com o GeoServer<\/a> s\u00e3o uma c\u00f3pia do conte\u00fado do guia do produto em seu site.<\/p>\n

1. Esquema de dados<\/strong><\/p>\n

Os dados de teste foram baixados da European Environment Agency (EEA)<\/a>. Voc\u00ea pode pesquisar aqui<\/a> informa\u00e7\u00f5es ou visualizadores de mapas desta ou de outras fontes, ou melhor, voc\u00ea pode usar seus pr\u00f3prios dados. GDELT<\/a> \u00e9 outro projeto interessante que oferece dados maci\u00e7os.<\/p>\n

O esquema dos dados do teste \u00e9 simples, a entrada \u00e9 um grupo de arquivos CSV (arquivos de texto com seus atributos separados com v\u00edrgulas) com coordenadas geogr\u00e1ficas do tipo ponto (Latitude \/ Longitude) que georreferenciam o sensor, a data da medida e a concentra\u00e7\u00e3o de NO2 no ar. Existem outros atributos secund\u00e1rios, mas n\u00e3o s\u00e3o importantes para o nosso teste.<\/p>\n

\"\"<\/p>\n

2. Arquitetura de software<\/strong><\/p>\n

O teste consiste na cadeia de um conjunto de ferramentas, todos eles oferecem dados e funcionalidade ao pr\u00f3ximo componente de software na arquitetura do aplicativo. O fluxo de trabalho do aplicativo come\u00e7a com o Hadoop e seu HDFS, HBase para mape\u00e1-lo como um banco de dados, o \u00f3timo GeoWave trabalhando como um conector entre ele e o popular GeoServer que implementa v\u00e1rios padr\u00f5es OGC e, finalmente, um aplicativo de cliente web que busca dados para mostrar mapas como usual (por exemplo, usando Leaflet e Heatmap.js biblioteca).<\/p>\n

\"\"<\/p>\n

No pr\u00f3ximo post<\/a> iremos falar detalhadamente de cada um dos softwares apresentados na imagem acima! N\u00e3o Perca!<\/p>\n","protected":false},"excerpt":{"rendered":"

O objetivo deste artigo \u00e9 mostrar os resultados testando a integra\u00e7\u00e3o de uma plataforma Big Data com outras ferramentas geoespaciais. \u00c9 necess\u00e1rio salientar que a integra\u00e7\u00e3o de componentes usados, todos eles de c\u00f3digo aberto, nos permite publicar servi\u00e7os WEB compat\u00edveis… Continue Reading →<\/a><\/p>\n","protected":false},"author":275,"featured_media":7009,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[24],"tags":[311,208,314,313],"class_list":["post-6997","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-gis","tag-big-data","tag-geoserver","tag-geowave","tag-hadoop"],"_links":{"self":[{"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/posts\/6997","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/users\/275"}],"replies":[{"embeddable":true,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/comments?post=6997"}],"version-history":[{"count":7,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/posts\/6997\/revisions"}],"predecessor-version":[{"id":7026,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/posts\/6997\/revisions\/7026"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/media\/7009"}],"wp:attachment":[{"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/media?parent=6997"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/categories?post=6997"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/tags?post=6997"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}