Pular para o conteúdo principal

SBBD 2021 - Minicurso 01: Ciência de Dados com Reprodutibilidade usando Notebook Jupyter

Parte 1 - https://youtu.be/XiCplPUW0tM

Parte 2 - https://youtu.be/66_FRyi7iBI

Material - https://linktr.ee/uffjupyter

Ciência de Dados:  Dados >> transformação >> Informação / Conhecimento

Engenharia de Dados para tratar a entrada

Aprendizado de Máquina, Mineração de Dados, Estatísticas, Visualização para transformação e insights

Ciclo de Vida de Ciência de Dados

Reprodutibilidade

Jupyter Notebook: Programação Literária Interativa composto de Texto (Documentação), Trecho de Código e Saída

Exemplos de Data Frames (tabelas) ... df.describe() exibe estatísticas interessantes, comando para histograma

Exemplos de Gráficos com seaborn.pydata.org/examples ... é só copiar e colar 

JupyterLab -> https://jupyterlab.readthedocs.io/en/stable/getting_started/installation.html

pandas - Panel Data

formato tabular (dataframe) e séries temporáis (array de uma dimensão)

no dataframe cada coluna é do tipo série e tem um tipo de dados, criado de modo integrado um índice (nome ou valor) , pode ser criado a partir de um dicionário (chave e valor)

Parte prática

Importando Dados: CSV, TSV, Excel, JSON, SGBDs
Limpeza de Dados: ausentes, ruidosos, outliers e duplicados
Integração de Dados: merge por colunas
Transformação: Seleção de variáveis numéricas, Escalonamento com Normalização [0..1] ou Padronização (centralização na média)  
Engenharia de Características em variáveis categóricas (não numéricas): categorias para booleanos e classes, conversão de campos data (que podem gerar novas classes)
Balanceamento das classes: distribuição para classificadores, 


Análise Exploratória


Obter registros aleatórios com df.sample, várias funções de agregação, df.describe para funções estatísticas básicas
Distribuição de frequência de variáveis categóricas
Boxplot !!! e histogramas, coeficientes de correlação

Visualização de Dados: comunicar. Bibliotecas: matplotlib e seaborn. Vários tipos de gráficos, usar como um templates, substituindo as variáveis. 

IPython: é um kernel do jupyter, 
ipywidgets para tornar o jupyter mais interativo... @interact para criar botões e formulários

Ciência Aberta: distribuição, pode usar o Git ou Zenodo / Figshare, nas plataformas de Ciência Aberta é obtido um DOI para ser citado. Boas Práticas para reprodução, usar ferramentas para verificação. 




Comentários

Postar um comentário

Sinta-se a vontade para comentar. Críticas construtivas são sempre bem vindas.

Postagens mais visitadas deste blog

Aprendizado de Máquina Relacional

 Extraído de -> https://www.lncc.br/~ziviani/papers/Texto-MC1-SBBD2019.pdf   Aprendizado de máquina relacional (AMR) destina-se à criação de modelos estatísticos para dados relacionais (seria o mesmo que dados conectados) , isto é, dados cuja a informação relacional é tão ou mais impor tante que a informação individual (atributos) de cada elemento.    Essa classe de aprendizado tem sido utilizada em diversas aplicações, por exemplo, na extração de informação de dados não estruturados [Zhang et al. 2016] e na modelagem de linguagem natural [Vu et al. 2018].   A adoção de técnicas de aprendizado de máquina relacional em tarefas de comple mentação de grafo de conhecimento se baseia na premissa de existência de regularidades semânticas presentes no mesmo . Modelos grafos probabilísticos  Baseada em regras / heurísticas que não podem garantir 100% de precisão no resultado da inferência mas os resultados podem ser explicados. Modelos de características de ...
Postar um comentário
Leia mais

Defesa de Doutorado de Grettel Monteagudo Garcia

A última atividade presencial que fiz na PUC-Rio foi assistir a defesa de tese da Grettel Monteagudo Garcia , em 13/03/2020 (uma sexta-feira 13 !!!!). O título da tese é “ A Keyword-based Query Processing Method for Datasets with Schemas ” e me interessou por causa do projeto do NIMA. A proposta parte do cenário onde usuários possam consultar dados, armazenados em bancos de dados relacionais e TripleStores, de maneira semelhante ao Google, ou seja, digitando palavras-chave, e deixando para o sistema recuperar os dados que melhor correspondem ao conjunto de palavras-chave.  Na tese estão descritos um algoritmo e um framework projetados para processar consultas baseadas em palavras-chave para bases de dados com esquema, especificamente bancos relacionais e bases de dados em RDF. A primeira etapa do algoritmo é a conversão do conjunto de palavras chaves em uma consulta abstrata explorando um esquema abstrato . Nesta etapa o principal desafio é achar onde a informação está (os matches...
4 comentários
Leia mais

Metodologia Científica II - continuação

No primeiro post  foram detalhados os 6 primeiros vídeos do canal do Youtube do professor Eduardo Ogasawara do CEFET/RJ   Mais 3 vídeos foram disponibilizados e estão comentados a seguir: Gráficos, Figuras e Tabelas (33 minutos) - como apresentar os resultados das avaliações experimentais. Gráficos: associar análises dos resultados a cada gráfico apresentado, problemas comuns na montagem de gráficos (não usar todo eixo X ou Y, não usar área útil com uma escala adequada a ver o comportamento dos números, não marcar os pontos de observação da série, inconsistência no uso de cores ), escala logarítmica x linear, eixo X para a variável independente e Y para a dependente (resposta), escrever boas legendas para os gráficos, observar se diferenças entre variáveis apresentadas em gráficos separados podem atrapalhar a interpretação dos resultados. Diagramas devem ser pensados de acordo com o propósito, trata-se de uma abstração e cada elemento deve ser explicado no texto, rótulos...
1 comentário
Leia mais