Pré-processamento de Dados (Data Preprocessing)

Nível do curso:Intermediário

Duração: 80h

Descrição

– Pré-processamento: (representação e a qualidade dos dados)

passo importante no processo de tratar dados. A frase “garbage in, garbage out” é particularmente aplicável aos projetos da trilha de IA (data mining, data science e machine learning). Os métodos de coleta de dados geralmente são poucamente controlados, resultando em valores de intervalo out-of-range (por exemplo, renda: −100), combinações de dados impossíveis (por exemplo, sexo: masculino, grávidas: sim), missing values, etc. As análise de dados que não foram cuidadosamente selecionados para tais problemas pode produzir resultados enganosos. Assim, a representação e a qualidade dos dados são antes de tudo uma análise.

Plano Pedagógico

Visualizar

Pré-requisito

Python

Aprendizado Teórico Complementar

Playlist do PhD Francisco A. Rodrigues – USP

Preparando o Ambiente

Para saber sobre as ferramentas, público alvo, e outras informações, acesse nossas Perguntas Frequentes (itens H e I).

Certificação

Após a conclusão do curso, ficará disponível o botão para a emissão do certificado.

Course Curriculum

Nivelamento

Python…para quem está começando
Fundamentos básicos de computação
Introdução à Teoria das Probabilidades
Métodos baseados em árvores
Regularização
Reamostragem
Classificação

Preparação, Organização e Estruturação dos Dados

01 – Como carregar dados de habitação, via sklearn (Boston)
02 – Como criar dados simulados para regressão
03 – Como criar dados simulados para classificação
04 – Como criar dados simulados para armazenamento em cluster
05 – Como preparar um fluxo de trabalho de aprendizado de máquina
06 – Como converter recursos categóricos em recursos numéricos
07 – Como imputar rótulos de classe ausentes
08 – Como imputar rótulos de classes ausentes usando método “vizinho próximo”
09 – Como excluir instâncias com valores ausentes
10 – Como fazer operações numéricas
11 – Como encontrar outliers
12 – Como codificar recursos categóricos ordinais
13 – Como lidar com classes de desequilíbrio com redução da resolução
14 – Como trabalhar com classes de desbalanceadas
15 – Como lidar com outliers
16 – Como imputar valores ausentes com médias
17 – Codificação com vários rótulos
18 – Codificação com recursos nominais categóricos
19 – Como processar recursos categóricos
20 – Como redimensionar recursos
21 – Como padronizar recursos
22 – Como padronizar dados “IRIS”
23 – Como dividir dados DateTime (“features”) para criar vários recursos
24 – Como calcular a diferença entre datas
25 – Como codificar os dias da semana
26 – Como tratar valores ausentes em uma série temporal
27 – “lagged time-series” (tempo de latência, muito usadas em análises econômicas)
28 – Como selecionar DateTime dentro de um intervalo
29 – Como lidar com “Janelas de Tempo”
30 – Como selecionar DateTime dentro de um intervalo (AM, PM)
31 – Como trabalhar itens em uma lista

Trabalhando com Dados

01 – Como converter STRING para DateTime
02 – Como usar “CONTINUE e BREAK”
03 – Como criar e deletar arquivos
04 – Como trabalhar conceitos de data e hora
05 – Como trabalhar dicionários
06 – Como encontrar MIN, MAX em um dicionário
07 – Como indexar e fatiar matrizes
08 – Como iterar uma lista usando “if-else”
09 – Como iterar em múltiplas listas
10 – Como usar a função “Lambda”
11 – Como fazer operações matemáticas
12 – Como aplicar funções de Grupo em um DataFrame
13 – Como fazer análise de dados em um DataFrame
14 – Como pré-processar dados “string” em um DataFrame
15 – Como converter variáveis categóricas em variáveis numéricas
16 – Como converter variáveis categóricas “string” em variáveis numéricas
17 – Como inserir uma nova coluna com base na condição
18 – Como criar uma nova coluna com base em uma condição
19 – Como criar tabulações cruzadas a partir de um dicionário
20 – Como deletar duplicatas em um DataFrame
21 – Como obter estatísticas descritivas de um DataFrame
22 – Como apagar “ROW” – linha e “COLUMN” – coluna em um DataFrame
23 – Como filtrar num DataFrame
24 – Como encontrar o maior valor em um DataFrame
25 – Como agrupar “linhas” num DataFrame
26 – Como criar listas partindo de um Dicionário
27 – Como apresentar os dados de forma hierárquica
28 – Como fazer “JOIN” e “MERGE” num DataFrame
29 – Como listar valores únicos (unique) num DataFrame
30 – Como mapear valores em um DataFrame
31 – Como lidar com valores ausentes em um DataFrame
32 – Como calcular a MÉDIA MÓVEL em um DataFrame
33 – Como normalizar uma coluna de DataFrame
34 – Como criar um “Pivot table” usando DataFrame
35 – Como formatar dados “string” numa coluna DataFrame
36 – Como tornar “randômico” um DataFrame

5.00(1 Ratings)

R$550,00

Level

Intermediário
Total Enrolled

44
Duration

80 horas
Last Updated

29 de janeiro de 2025
Certificate

Certificate of completion

Categorias

Categorias Data Frame, Pandas, Preprocessing

Compartilhe

5.0

Total 1 Rating

1 Ratings

0 Rating

João

2 anos atrás

Ótimo curso!