Pré-processamento de Dados (Data Preprocessing)

Pré-Processamento de Dados (Data Processing)

Pré-processamento: (representação e a qualidade dos dados)

Passo importante no processo de tratar dados. A frase “garbage in, garbage out” é particularmente aplicável aos projetos da trilha de IA (data mining, data science e machine learning). Os métodos de coleta de dados geralmente são poucamente controlados, resultando em valores de intervalo out-of-range (por exemplo, renda: −100), combinações de dados impossíveis (por exemplo, sexo: masculino, grávidas: sim), missing values, etc. As análise de dados que não foram cuidadosamente selecionados para tais problemas pode produzir resultados enganosos. Assim, a representação e a qualidade dos dados são antes de tudo uma análise.

Plano Pedagógico

Visualizar

Pré-requisito

Python

Aprendizado Teórico Complementar

Playlist do PhD Francisco A. Rodrigues – USP

Preparando o Ambiente

Para saber sobre as ferramentas, público alvo, e outras informações, acesse nossas Pergu ntas Frequentes (itens H e I).

Certificação

Após a conclusão do curso, ficará disponível o botão para a emissão do certificado.

Course Curriculum

Nivelamento

Python…para quem está começando
Fundamentos básicos de computação
Introdução à Teoria das Probabilidades
Métodos baseados em árvores
Regularização
Reamostragem
Classificação

Preparação, Organização e Estruturação dos Dados

01 – Como carregar dados de habitação, via sklearn (Boston)
02 – Como criar dados simulados para regressão
03 – Como criar dados simulados para classificação
04 – Como criar dados simulados para armazenamento em cluster
05 – Como preparar um fluxo de trabalho de aprendizado de máquina
06 – Como converter recursos categóricos em recursos numéricos
07 – Como imputar rótulos de classe ausentes
08 – Como imputar rótulos de classes ausentes usando método “vizinho próximo”
09 – Como excluir instâncias com valores ausentes
10 – Como fazer operações numéricas
11 – Como encontrar outliers
12 – Como codificar recursos categóricos ordinais
13 – Como lidar com classes de desequilíbrio com redução da resolução
14 – Como trabalhar com classes de desbalanceadas
15 – Como lidar com outliers
16 – Como imputar valores ausentes com médias
17 – Codificação com vários rótulos
18 – Codificação com recursos nominais categóricos
19 – Como processar recursos categóricos
20 – Como redimensionar recursos
21 – Como padronizar recursos
22 – Como padronizar dados “IRIS”
23 – Como dividir dados DateTime (“features”) para criar vários recursos
24 – Como calcular a diferença entre datas
25 – Como codificar os dias da semana
26 – Como tratar valores ausentes em uma série temporal
27 – “lagged time-series” (tempo de latência, muito usadas em análises econômicas)
28 – Como selecionar DateTime dentro de um intervalo
29 – Como lidar com “Janelas de Tempo”
30 – Como selecionar DateTime dentro de um intervalo (AM, PM)
31 – Como trabalhar itens em uma lista

Trabalhando com Dados

01 – Como converter STRING para DateTime
02 – Como usar “CONTINUE e BREAK”
03 – Como criar e deletar arquivos
04 – Como trabalhar conceitos de data e hora
05 – Como trabalhar dicionários
06 – Como encontrar MIN, MAX em um dicionário
07 – Como indexar e fatiar matrizes
08 – Como iterar uma lista usando “if-else”
09 – Como iterar em múltiplas listas
10 – Como usar a função “Lambda”
11 – Como fazer operações matemáticas
12 – Como aplicar funções de Grupo em um DataFrame
13 – Como fazer análise de dados em um DataFrame
14 – Como pré-processar dados “string” em um DataFrame
15 – Como converter variáveis categóricas em variáveis numéricas
16 – Como converter variáveis categóricas “string” em variáveis numéricas
17 – Como inserir uma nova coluna com base na condição
18 – Como criar uma nova coluna com base em uma condição
19 – Como criar tabulações cruzadas a partir de um dicionário
20 – Como deletar duplicatas em um DataFrame
21 – Como obter estatísticas descritivas de um DataFrame
22 – Como apagar “ROW” – linha e “COLUMN” – coluna em um DataFrame
23 – Como filtrar num DataFrame
24 – Como encontrar o maior valor em um DataFrame
25 – Como agrupar “linhas” num DataFrame
26 – Como criar listas partindo de um Dicionário
27 – Como apresentar os dados de forma hierárquica
28 – Como fazer “JOIN” e “MERGE” num DataFrame
29 – Como listar valores únicos (unique) num DataFrame
30 – Como mapear valores em um DataFrame
31 – Como lidar com valores ausentes em um DataFrame
32 – Como calcular a MÉDIA MÓVEL em um DataFrame
33 – Como normalizar uma coluna de DataFrame
34 – Como criar um “Pivot table” usando DataFrame
35 – Como formatar dados “string” numa coluna DataFrame
36 – Como tornar “randômico” um DataFrame

Avaliações:

5.0

Total 1 Rating

1 Ratings

0 Rating

João

2 anos atrás

Ótimo curso!

Course Curriculum

Nivelamento

Python…para quem está começando

Fundamentos básicos de computação

Introdução à Teoria das Probabilidades

Métodos baseados em árvores

Regularização

Reamostragem

Classificação

Preparação, Organização e Estruturação dos Dados

01 – Como carregar dados de habitação, via sklearn (Boston)

02 – Como criar dados simulados para regressão

03 – Como criar dados simulados para classificação

04 – Como criar dados simulados para armazenamento em cluster

05 – Como preparar um fluxo de trabalho de aprendizado de máquina

06 – Como converter recursos categóricos em recursos numéricos

07 – Como imputar rótulos de classe ausentes

08 – Como imputar rótulos de classes ausentes usando método “vizinho próximo”

09 – Como excluir instâncias com valores ausentes

10 – Como fazer operações numéricas

11 – Como encontrar outliers

12 – Como codificar recursos categóricos ordinais

13 – Como lidar com classes de desequilíbrio com redução da resolução

14 – Como trabalhar com classes de desbalanceadas

15 – Como lidar com outliers

16 – Como imputar valores ausentes com médias

17 – Codificação com vários rótulos

18 – Codificação com recursos nominais categóricos

19 – Como processar recursos categóricos

20 – Como redimensionar recursos

21 – Como padronizar recursos

22 – Como padronizar dados “IRIS”

23 – Como dividir dados DateTime (“features”) para criar vários recursos

24 – Como calcular a diferença entre datas

25 – Como codificar os dias da semana

26 – Como tratar valores ausentes em uma série temporal

27 – “lagged time-series” (tempo de latência, muito usadas em análises econômicas)

28 – Como selecionar DateTime dentro de um intervalo

29 – Como lidar com “Janelas de Tempo”

30 – Como selecionar DateTime dentro de um intervalo (AM, PM)

31 – Como trabalhar itens em uma lista

Trabalhando com Dados

01 – Como converter STRING para DateTime

02 – Como usar “CONTINUE e BREAK”

03 – Como criar e deletar arquivos

04 – Como trabalhar conceitos de data e hora

05 – Como trabalhar dicionários

06 – Como encontrar MIN, MAX em um dicionário

07 – Como indexar e fatiar matrizes

08 – Como iterar uma lista usando “if-else”

09 – Como iterar em múltiplas listas

10 – Como usar a função “Lambda”

11 – Como fazer operações matemáticas

12 – Como aplicar funções de Grupo em um DataFrame

13 – Como fazer análise de dados em um DataFrame

14 – Como pré-processar dados “string” em um DataFrame

15 – Como converter variáveis categóricas em variáveis numéricas

16 – Como converter variáveis categóricas “string” em variáveis numéricas

17 – Como inserir uma nova coluna com base na condição

18 – Como criar uma nova coluna com base em uma condição

19 – Como criar tabulações cruzadas a partir de um dicionário

20 – Como deletar duplicatas em um DataFrame

21 – Como obter estatísticas descritivas de um DataFrame

22 – Como apagar “ROW” – linha e “COLUMN” – coluna em um DataFrame

23 – Como filtrar num DataFrame

24 – Como encontrar o maior valor em um DataFrame

25 – Como agrupar “linhas” num DataFrame

26 – Como criar listas partindo de um Dicionário

27 – Como apresentar os dados de forma hierárquica

28 – Como fazer “JOIN” e “MERGE” num DataFrame

29 – Como listar valores únicos (unique) num DataFrame

30 – Como mapear valores em um DataFrame

31 – Como lidar com valores ausentes em um DataFrame

32 – Como calcular a MÉDIA MÓVEL em um DataFrame

33 – Como normalizar uma coluna de DataFrame

34 – Como criar um “Pivot table” usando DataFrame

35 – Como formatar dados “string” numa coluna DataFrame

36 – Como tornar “randômico” um DataFrame

Student Ratings & Reviews