{"id":7011,"date":"2018-01-16T07:59:16","date_gmt":"2018-01-16T10:59:16","guid":{"rendered":"http:\/\/www.fernandoquadro.com.br\/html\/?p=7011"},"modified":"2018-01-17T09:35:26","modified_gmt":"2018-01-17T12:35:26","slug":"testando-softwares-para-big-data-spatial-parte-2","status":"publish","type":"post","link":"https:\/\/www.fernandoquadro.com.br\/html\/2018\/01\/16\/testando-softwares-para-big-data-spatial-parte-2\/","title":{"rendered":"Testando softwares para Big Data Spatial – Parte 2"},"content":{"rendered":"

Neste post iremos falar um pouco dos software que iremos utilizar no nosso teste, iniciando pelo Hadoop e passando por HBase.<\/p>\n

1. Apache Hadoop<\/strong><\/p>\n

O Apache Hadoop<\/a> \u00e9, quando buscamos um pouco no Google… uma estrutura que permite o processamento distribu\u00eddo de grandes conjuntos de dados em clusters de computadores usando modelos de programa\u00e7\u00e3o simples. Ele \u00e9 projetado para ampliar de servidores individuais para milhares de m\u00e1quinas, cada uma oferecendo processamento e armazenamento local. Ao inv\u00e9s de confiar no hardware para oferecer alta disponibilidade, a pr\u00f3pria biblioteca \u00e9 projetada para detectar e lidar com falhas na camada do aplicativo, oferecendo assim um servi\u00e7o altamente dispon\u00edvel em um cluster de computadores, cada um dos quais podendo ser propenso a falhas.<\/p>\n

O HDFS \u00e9 um sistema de arquivos distribu\u00eddos que fornece acesso de alto desempenho aos dados em todos os clusters Hadoop. Como o HDFS normalmente \u00e9 implantado em hardware de baixo custo, as falhas do servidor s\u00e3o comuns. O sistema de arquivos foi projetado para ser altamente tolerante a falhas, no entanto, facilitando a transfer\u00eancia r\u00e1pida de dados entre os n\u00f3s e permitindo que os sistemas Hadoop continuem sendo executados se um n\u00f3 falhar. Isso diminui o risco de falha catastr\u00f3fica, mesmo no caso de falhas em in\u00fameros n\u00f3s.<\/p><\/blockquote>\n

Nosso teste usar\u00e1 o Hadoop e seu HDFS como reposit\u00f3rio de dados onde vamos salvar e, finalmente, publicar para o aplicativo do usu\u00e1rio final. Voc\u00ea pode ler os recursos do projeto aqui<\/a>, ou mergulhar na Internet para aprender profundamente sobre isso.<\/p>\n

Utilizei o Windows para os meus testes. Os lan\u00e7amentos oficiais do Apache Hadoop n\u00e3o incluem bin\u00e1rios do Windows, mas voc\u00ea pode facilmente cri\u00e1-los com este \u00f3timo guia<\/a> (Ele usa o Maven<\/a>) e configurar os arquivos necess\u00e1rios pelo menos para executar um \u00fanico cluster de n\u00f3s. Claro, um ambiente de produ\u00e7\u00e3o exigir\u00e1 que configuremos um cluster multi-n\u00f3 distribu\u00eddo ou use uma distribui\u00e7\u00e3o “apenas para uso” (Hortonworks) ou salte para a Nuvem ( Amazon S3 , Azure, etc…).<\/p>\n

Continuamos com este guia; Depois que o Hadoop foi constru\u00eddo com Maven, os arquivos de configura\u00e7\u00e3o foram editados e as vari\u00e1veis \u200b\u200bde ambiente foram definidas, podemos testar se tudo est\u00e1 bem executando no console …<\/p>\n

\r\n> hadoop version\r\n<\/pre>\n
\"\"<\/p>\n
Em seguida, come\u00e7amos os “daemons” dos objetos namenode e datanode, e o gerenciador de recursos “yarn”.<\/p>\n
\r\n> call \".\\hadoop-2.8.1\\etc\\hadoop\\hadoop-env.cmd\"\r\n> call \".\\hadoop-2.8.1\\sbin\\start-dfs.cmd\"\r\n> call \".\\hadoop-2.8.1\\sbin\\start-yarn.cmd\" \r\n<\/pre>\n
Podemos ver o aplicativo de administra\u00e7\u00e3o Hadoop rodando na porta HTTP configurada, 50070 no meu caso:<\/p>\n
\"\"<\/p>\n
2. Apache HBase<\/strong><\/p>\n
O Apache HBase<\/a> \u00e9, procurando novamente no Google…  um banco de dados NoSQL que \u00e9 executado no topo do Hadoop como um grande armazenamento de dados distribu\u00eddo e escal\u00e1vel. Isso significa que o HBase pode alavancar o paradigma de processamento distribu\u00eddo do sistema de arquivos distribu\u00eddos Hadoop (HDFS) e se beneficiar do modelo de programa\u00e7\u00e3o MapReduce do Hadoop. Ele destina-se a hospedar tabelas grandes com bilh\u00f5es de linhas com potencialmente milh\u00f5es de colunas e executados em um cluster de hardware de commodities. <\/p>\n
Voc\u00ea pode ler aqui <\/a>para iniciar e instalar o HBase. Mais uma vez, verificamos a vers\u00e3o do produto executando:<\/p>\n
\r\n> hbase version\r\n<\/pre>\n
\"\"<\/p>\n
Inicie o HBase:<\/p>\n
\r\n> call \".\\hbase-1.3.1\\conf\\hbase-env.cmd\"\r\n> call \".\\hbase-1.3.1\\bin\\start-hbase.cmd\"\r\n<\/pre>\n
Veja o aplicativo de administra\u00e7\u00e3o HBase na porta 16010, no meu caso:<\/p>\n
\"\"<\/p>\n
Ok, neste momento, temos o grande ambiente de dados funcionando, \u00e9 hora de preparar algumas ferramentas que acrescentam capacidades geoespaciais; GeoWave e GeoServer, vamos em frente no pr\u00f3ximo post<\/a>…<\/p>\n","protected":false},"excerpt":{"rendered":"
Neste post iremos falar um pouco dos software que iremos utilizar no nosso teste, iniciando pelo Hadoop e passando por HBase. 1. Apache Hadoop O Apache Hadoop \u00e9, quando buscamos um pouco no Google… uma estrutura que permite o processamento… Continue Reading →<\/a><\/p>\n","protected":false},"author":275,"featured_media":7023,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[24],"tags":[311,208,314,313],"class_list":["post-7011","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-gis","tag-big-data","tag-geoserver","tag-geowave","tag-hadoop"],"_links":{"self":[{"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/posts\/7011","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/users\/275"}],"replies":[{"embeddable":true,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/comments?post=7011"}],"version-history":[{"count":10,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/posts\/7011\/revisions"}],"predecessor-version":[{"id":7040,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/posts\/7011\/revisions\/7040"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/media\/7023"}],"wp:attachment":[{"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/media?parent=7011"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/categories?post=7011"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.fernandoquadro.com.br\/html\/wp-json\/wp\/v2\/tags?post=7011"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}