Big Data, seu novo paradigma para anlise de dados e seus mitos

  • Published on
    24-Jan-2017

  • View
    38

  • Download
    6

Transcript

  • PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC

    www.armazemdedados.rio.rj.gov.br

  • Big Data, seu novo paradigma para anlise de dados e seus mitos

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Alinhando alguns conceitos chaves sobre o valor do dado! Os dados so hoje elementos essenciais para promover conhecimento,

    governana e capital. Robert Kitchin no livro The Data Revolution (2013)

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Alinhando alguns conceitos chaves sobre o valor do dado! O dado fruto de nossas mentes e para as nossas mentes;

    Quando falamos de dados, falamos de um produto da cognio humana!

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • MITO 1 Dado retrata a realidade Qualquer dado possui um contexto tcnico, social, tnico, cultural,

    temporal e espacial que no podem ser desassociados;

    O dado no reflete a realidade, mas a crena na verdade;

    O dado sempre precisa ser posto em sua perspectiva social, mesmo no caso do Big Data.

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Alinhando alguns conceitos chaves sobre o valor do dado! A comunicao do dado o que estabelece o seu maior valor: quando o

    dado chega a outra mente, gerando informao e conhecimento.

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Alinhando alguns conceitos chaves sobre o valor do dado! A ferramenta computador expande nossa capacidade de registro, anlise,

    compartilhamento e visualizao de dados;

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Desafio! A natural entropia na produo de dados

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Se desorganizado, menos uso!

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

    Cad aquele arquivo?

  • Se mal formatado, menos uso!

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

    No consigo usar esse

    dado

  • MITO 2 No basta colocar o dado em um site O valor do dado se concretiza quando ele reutilizado, gerando nova

    informao e conhecimento no leitor do dado.

    No basta disponibilizar os dados, necessrio que o dado esteja em um formato apropriado s necessidades do pblico-alvo. Por exemplo, dados do censo demogrfico do IBGE.

    Dados so gerados por pessoas e para pessoas...

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Big Data, o que ? Inicialmente designava base de dados massivas o conceito foi sendo

    rediscutido...

    O termo se popularizou e surgiram evangelistas e cticos sobre os reais potenciais do big data;

    Um fato que coletar, armazenar e analisar um volume indito de dados fez surgir novos mtodos e tcnicas;

    Cresce tambm o entendimento que o big data um novo plat de produtividade, uma nova forma de agregar valor a partir dos dados.

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • O volume de dados sempre grande (terabyte, petabyte)...

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

    Dados de usurio de smartphone, e-mails, imagens de satlite, contedo em mdias sociais...

  • Exaustividade dos dados! Geralmente no se trabalha com amostras, mas com toda a populao de pessoas/objetos/eventos

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Alta resoluo (granularidade) e indexvel (pode ser rotulado, individualizado)

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • relacionvel para que possa ser associado com outros dados a fins de responder novas questes.

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • dinmico, a velocidade de atualizao alta. Captura de dados intensos no espao e tempo.

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Possuem estrutura flexvel: novos campos podem ser adicionados e a base escalvel.

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Variado: combina diferentes tipos de dados (textos, imagens, vdeos, udios).

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Small Data, o que ? Termo para fazer antagonismo ao big data;

    Alguns autores colocam um lado social dizendo que o big data pertence a

    big companies e o small data democrtico;

    Tambm possui o seu valor, a maioria das bases de dados so small data.

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Big Data X Small Data

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

    Small Data Big Data

    Volume Limitado a grande Muito grande

    Exaustividade Amostras Toda a populao

    Resoluo e identificao Limitado a grande Grande a muito grande

    Velocidade Congelado ou lento Rpido, contnuo

    Variedade Limitada a larga Larga

    Flexibilidade e escalabilidade

    Baixa a mediana Alta

  • MITO 3 Big Data um conceito absoluto O Big est nos olhos de quem v.

    H certas caractersticas descritas no quadro anterior que depende do

    interesse do analisador. Por exemplo, exaustividade e resoluo.

    A fronteira entre Small Data e Big Data nem sempre clara. Por exemplo, dados do censo demogrfico.

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Anlise de Dados Objetivo gerar novos dados que no eram evidentes a partir da

    observao da base de dados original;

    O Big Data traz novos paradigmas de anlise at ento o foco era analisar bases estticas, especficas, amostrais e aderentes a hipteses rgidas (independncia, estacionariedade, normalidade...); bases produzidas para responder questes especficas.

    Hoje h um conjunto de tcnicas desenvolvidas para se trabalhar com Big Data: Machine Learning, Data Mining, entre outros.

    A Anlise de Dados responde basicamente a 4 questes...

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Descrio: O que e quando algo aconteceu? Com que frequncia?

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Explicao: Por que algo acontece? Qual seu impacto?

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Predio: O que se espera que acontea depois? O acontece se ns fizermos isso ou aquilo?

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Prescrio: Qual a melhor resposta ou resultado? Como ele pode ser alcanado?

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Grupos de Tcnicas de Anlise de Dados Aprendizado de mquina (machine learning) reconhecimento de

    padres complexos, construo de modelos para explicar e predizer padres; otimizar respostas. Pode supervisionado ou no supervisionado.

    Minerao de dados e reconhecimento de padres parte da premissa que toda a base de dados volumosa possui informao no aleatria, vlida, descritvel e compreensvel. Aplica mtodos de aprendizado de mquina, estatstica, rvores de deciso, processamento de linguagens naturais, entre outros.

    Visualizao de dados e visual analytics mtodos de apresentao visual (grficos, diagramas, mapas, ...) para apresentar estruturas e relaes da base de dados;

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Grupos de Tcnicas de Anlise de Dados Anlise estatstica estatstica descritiva e inferencial buscam a descrio

    e explicao de padres e relaes dentro da base de dados; so tcnicas mais difundidas entre os analistas.

    Simulaes anlises que almejam modelos prximos aos processos do mundo real para predio e otimizao de sistemas a partir de diferentes cenrios.

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • MITO 4 - Anlises aperta boto Anlises, modelos, sistemas e afins no capturam a total complexidade do

    mundo real. Alm disso, os dados tambm no e sempre possuem um aspecto social.

    Mesmo no Big Data, as anlises devem ser validadas, criticadas e devem possuir um escopo terico que guie a sua interpretao.

    Um modelo que funcione em um cenrio, no necessariamente funcionar em outro.

    Cuidado com a abduo (abduction) inferncia para a melhor explicao; premissas no consideradas na concluso (diferente de deduo ou induo).

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Concluses A boa compreenso do que o Big Data se trata auxilia na sua melhor

    utilizao;

    O Big Data possui tcnicas de anlises, processos de captura e de armazenamento especializados, entretanto detm caractersticas do Small Data como, por exemplo, seus contextos sociais;

    O desafio organizar e cruzar dados ainda grande, inclusive na gesto pblica;

    O principal valor do Big Data pode ser associado a novas capacidade de extrair novos dados para gerar mais conhecimento, governana e capital.

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • Dica de bibliografia The Data Revolution Big Data, Data Infrastructures & Their Consequences Autor: Rob Kitchin | Ano: 2014 Obs: o Centro de Operaes da Prefeitura do Rio de Janeiro citado como exemplo de Big Data na gesto pblica. Pgina 125.

    PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

  • PREFEITURA DA CIDADE DO RIO DE JANEIRO | Instituto Pereira Passos | Diretoria de Informaes da Cidade . DIC | www.armazemdedados.rio.rj.gov.br

    Jos Augusto Sapienza Ramos

    Coordenador Acadmico do Sistema Labgis Ncleo de Geotecnologias da UERJ

    sapienza@labgis.uerj.br

Recommended

View more >