Big Data, seu novo paradigma para anlise de dados e seus mitos

  • Published on
    24-Jan-2017

  • View
    38

  • Download
    6

Transcript

PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC www.armazemdedados.rio.rj.gov.br Big Data, seu novo paradigma para anlise de dados e seus mitos PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Alinhando alguns conceitos chaves sobre o valor do dado! Os dados so hoje elementos essenciais para promover conhecimento, governana e capital. Robert Kitchin no livro The Data Revolution (2013) PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Alinhando alguns conceitos chaves sobre o valor do dado! O dado fruto de nossas mentes e para as nossas mentes; Quando falamos de dados, falamos de um produto da cognio humana! PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br MITO 1 Dado retrata a realidade Qualquer dado possui um contexto tcnico, social, tnico, cultural, temporal e espacial que no podem ser desassociados; O dado no reflete a realidade, mas a crena na verdade; O dado sempre precisa ser posto em sua perspectiva social, mesmo no caso do Big Data. PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Alinhando alguns conceitos chaves sobre o valor do dado! A comunicao do dado o que estabelece o seu maior valor: quando o dado chega a outra mente, gerando informao e conhecimento. PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Alinhando alguns conceitos chaves sobre o valor do dado! A ferramenta computador expande nossa capacidade de registro, anlise, compartilhamento e visualizao de dados; PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Desafio! A natural entropia na produo de dados PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Se desorganizado, menos uso! PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Cad aquele arquivo? Se mal formatado, menos uso! PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br No consigo usar esse dado MITO 2 No basta colocar o dado em um site O valor do dado se concretiza quando ele reutilizado, gerando nova informao e conhecimento no leitor do dado. No basta disponibilizar os dados, necessrio que o dado esteja em um formato apropriado s necessidades do pblico-alvo. Por exemplo, dados do censo demogrfico do IBGE. Dados so gerados por pessoas e para pessoas... PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Big Data, o que ? Inicialmente designava base de dados massivas o conceito foi sendo rediscutido... O termo se popularizou e surgiram evangelistas e cticos sobre os reais potenciais do big data; Um fato que coletar, armazenar e analisar um volume indito de dados fez surgir novos mtodos e tcnicas; Cresce tambm o entendimento que o big data um novo plat de produtividade, uma nova forma de agregar valor a partir dos dados. PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br O volume de dados sempre grande (terabyte, petabyte)... PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Dados de usurio de smartphone, e-mails, imagens de satlite, contedo em mdias sociais... Exaustividade dos dados! Geralmente no se trabalha com amostras, mas com toda a populao de pessoas/objetos/eventos PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Alta resoluo (granularidade) e indexvel (pode ser rotulado, individualizado) PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br relacionvel para que possa ser associado com outros dados a fins de responder novas questes. PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br dinmico, a velocidade de atualizao alta. Captura de dados intensos no espao e tempo. PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Possuem estrutura flexvel: novos campos podem ser adicionados e a base escalvel. PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Variado: combina diferentes tipos de dados (textos, imagens, vdeos, udios). PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Small Data, o que ? Termo para fazer antagonismo ao big data; Alguns autores colocam um lado social dizendo que o big data pertence a big companies e o small data democrtico; Tambm possui o seu valor, a maioria das bases de dados so small data. PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Big Data X Small Data PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Small Data Big Data Volume Limitado a grande Muito grande Exaustividade Amostras Toda a populao Resoluo e identificao Limitado a grande Grande a muito grande Velocidade Congelado ou lento Rpido, contnuo Variedade Limitada a larga Larga Flexibilidade e escalabilidade Baixa a mediana Alta MITO 3 Big Data um conceito absoluto O Big est nos olhos de quem v. H certas caractersticas descritas no quadro anterior que depende do interesse do analisador. Por exemplo, exaustividade e resoluo. A fronteira entre Small Data e Big Data nem sempre clara. Por exemplo, dados do censo demogrfico. PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Anlise de Dados Objetivo gerar novos dados que no eram evidentes a partir da observao da base de dados original; O Big Data traz novos paradigmas de anlise at ento o foco era analisar bases estticas, especficas, amostrais e aderentes a hipteses rgidas (independncia, estacionariedade, normalidade...); bases produzidas para responder questes especficas. Hoje h um conjunto de tcnicas desenvolvidas para se trabalhar com Big Data: Machine Learning, Data Mining, entre outros. A Anlise de Dados responde basicamente a 4 questes... PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Descrio: O que e quando algo aconteceu? Com que frequncia? PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Explicao: Por que algo acontece? Qual seu impacto? PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Predio: O que se espera que acontea depois? O acontece se ns fizermos isso ou aquilo? PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Prescrio: Qual a melhor resposta ou resultado? Como ele pode ser alcanado? PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Grupos de Tcnicas de Anlise de Dados Aprendizado de mquina (machine learning) reconhecimento de padres complexos, construo de modelos para explicar e predizer padres; otimizar respostas. Pode supervisionado ou no supervisionado. Minerao de dados e reconhecimento de padres parte da premissa que toda a base de dados volumosa possui informao no aleatria, vlida, descritvel e compreensvel. Aplica mtodos de aprendizado de mquina, estatstica, rvores de deciso, processamento de linguagens naturais, entre outros. Visualizao de dados e visual analytics mtodos de apresentao visual (grficos, diagramas, mapas, ...) para apresentar estruturas e relaes da base de dados; PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Grupos de Tcnicas de Anlise de Dados Anlise estatstica estatstica descritiva e inferencial buscam a descrio e explicao de padres e relaes dentro da base de dados; so tcnicas mais difundidas entre os analistas. Simulaes anlises que almejam modelos prximos aos processos do mundo real para predio e otimizao de sistemas a partir de diferentes cenrios. PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br MITO 4 - Anlises aperta boto Anlises, modelos, sistemas e afins no capturam a total complexidade do mundo real. Alm disso, os dados tambm no e sempre possuem um aspecto social. Mesmo no Big Data, as anlises devem ser validadas, criticadas e devem possuir um escopo terico que guie a sua interpretao. Um modelo que funcione em um cenrio, no necessariamente funcionar em outro. Cuidado com a abduo (abduction) inferncia para a melhor explicao; premissas no consideradas na concluso (diferente de deduo ou induo). PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Concluses A boa compreenso do que o Big Data se trata auxilia na sua melhor utilizao; O Big Data possui tcnicas de anlises, processos de captura e de armazenamento especializados, entretanto detm caractersticas do Small Data como, por exemplo, seus contextos sociais; O desafio organizar e cruzar dados ainda grande, inclusive na gesto pblica; O principal valor do Big Data pode ser associado a novas capacidade de extrair novos dados para gerar mais conhecimento, governana e capital. PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Dica de bibliografia The Data Revolution Big Data, Data Infrastructures & Their Consequences Autor: Rob Kitchin | Ano: 2014 Obs: o Centro de Operaes da Prefeitura do Rio de Janeiro citado como exemplo de Big Data na gesto pblica. Pgina 125. PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br Jos Augusto Sapienza Ramos Coordenador Acadmico do Sistema Labgis Ncleo de Geotecnologias da UERJ sapienza@labgis.uerj.br

Recommended

View more >