Manipulando Dataframe do Pandas | Análise de dados #5
ฝัง
- เผยแพร่เมื่อ 20 ก.ย. 2024
- Nesse vídeo, Kizzy avança na análise exploratória dos microdados do #ENEM olhando para as primeiras duas questões do questionário socioeconômico respondido pelos candidatos do ENEM de 2018. O resultado ficou incrível!
Para fazer isso, utilizamos Python, claro, jupyter notebook, o pacote pandas e um dicionário Python.
O que você vai aprender de novo no quinto vídeo da série de análise de dados?
- Dicionário Python
- Como inserir uma nova coluna em um DataFrame pandas
- Como criar essa coluna a partir da informação de uma coluna existente e um dicionário correspondente
- Aprofundar no uso do groupby
Link mencionado no vídeo:
*O que é esse tal de NAN? Saiba mais em: pandas.pydata....
📚 Livros recomendados de Data Science: amzn.to/2XZyxUr
📚 Livros de Algoritmos e Estruturas de Dados: amzn.to/3d5wK4m
SetUp - Equipamentos: amzn.to/37Cg3N2
Cortes do Programação Dinâmica: / @alforriah
🟣 Canal na Twitch para lives: / pgdinamica
🟦 Canal do Telegram para receber todos os vídeos: t.me/pgdinamica
🥰 Se você gosta do nosso trabalho e acha relevante a nossa atuação no TH-cam, considere nos apoiar se tornando membro do canal: www.youtube.co...
✉️ E-mails:
- Propostas comerciais: pgdinamica@brunch.ag
- Demais assuntos: contato@programacaodinamica.com.br
👩🏾💻👨🏾💻 Confira mais conteúdo em nosso blog: / programacaodinamica
🔥 Faça parte da comunidade gratuita Programação Mais Dinâmica: bit.ly/pgsparkle (baixe o app e entre na comunidade)
TikTok: @pgdinamica
📸 Nos siga no Instagram: / pgdinamica
📸 @kizzy_terra @hallpaz
🐦 Nos siga no Twitter: / pgdinamica
🐦 @kizzy_terra @hallpaz
* Curta a Programação Dinâmica no facebook: pgdinamica
* Nosso repositório no Github: github.com/programacaodinamica
* Confira os artigos no Python Café: pythoncafe.com.br
Só tenho uma dúvida:
Pq eu não conhecia esse canal antes?
Conheci somente hj e já sou um fã.
Continuem com o excelente trabalho.
😍😍
Eu to apaixonado por este canal. É muito maravilhoso ver, pela primeira vez para mim, uma ferramenta poderosa como o Pandas ser usada para falar de um dado extremamente necessário. Eu gostaria de deixar não só os meus parabéns aqui, mas dizer também que é graças a pessoas como você que eu acredito que o ser humano pode ser bom. Continue este excelente trabalho, usando a cultura analítica de forma precisamente crítica e política. Muito amor.
Muito obrigada!
Parabéns Kizzy! Que aula fantástica!
Interessante que em 2023 ao analisar a escolaridade pela nota de matemática temos o mesmo comportamento que em 2021 com uma pequena baixa na média de notas nos para inscritos que tem pais com menores níveis de escolaridade ou que marcaram "não sei" (do pai e da mãe).
Porém em redação a média de notas aumentou em todas os níveis de escolaridades (do pai e da mãe).
Legal! Obrigada por compartilhar 😉
Mds, que coisa incrível. Fiquei triste pela análise comprovar como a desigualdade social é horrível, mas achei incrível demais o método pra chegar nesses resultados. Tô viciada nessa playlist kkkkkkkkk
👏🏾👏🏾
Esse canal é maravilhoso! A didática boa, pausada, mostrando tudo que é feito e ensinando muito mais que muito curso. Ganhou uma inscrita!
Só te digo uma coisa. Você é sensacional!!!!! Mulher maravilhosa
Obrigada!
Menina tu manja d+! Obg pelo conteúdo
De nada! 🙌🏾
Kizzy, meus parabéns. Você de fato tem domínio do assunto e ministra suas aulas de forma muito segura.
Valeu Leonardo!
Esse canal é perfeito!! Introduzindo ciência de dados didaticamente e com conjuntos de dados que já estimulam o pensamento crítico e engajamento socioeconômico! Parabéns pela iniciativa e pelas aulas! 😁
😊 obrigada!
Hola, Kizzy muito bom teu trabalho aqui agradecido!
valeu!
Meu Deus Kizzy isso me ajuda de mais! Continue com esse trabalho incrível!!!
Bons estudos!
Muito obrigada, Kizzy
Oii, que demais, obrigada!
Que trabalho top, Kizzy. Descobri o canal faz pouco tempo, mas olha, tem me ajudado muito. Vocês estão de parabéns mesmo pelo conteúdo e didática! :)
Nós que agradecemos!
esse canal é excfelente manda berm demais
Provando com números uma realidade que nem todos querem ver.
Mas está aí desenhado. Parabéns!
😉😉
DEMAAAAAiiiiiiissss!!!! muito obrigado mesmo pela paciência de poder explicar passo a passo o processo...
e o melhor, diferencial, nota 1000, é q vc discuti a interpretação dos dados. valeu, linda!!!! tmj.
Vamo q vamo! 💪🏾 a ideia é trazer conteúdo da melhor qualidade para vocês 😉
Que vídeo PERFEITO!!!!! Obrigada Kizzy por compartilhar todos esses conhecimentos. Já segui pelo linkedin, agora vou devorar o canal do YT! Entendam: vcs são maravilhosos!!!
Muito obrigada!
Maaanoooo, isso não foi uma aula. Foi um show de ciência de dados. Obrigado por isso. Muito grato
🤩🤩 obrigadaa!
Melhor canal pra aprender Pandas que eu achei, parabens pelo trabalho!!
Obrigada!
Assistido ✔️
Muito top Kizzy. Acho fantástico que só algumas linhas de código fazem tudo isso, realmente muito bom analisar dados.
muito bom o conhecimento passado nesse video
Obrigada!
Excelente!!!
Amando esse projeto! Aprendendo demais! Obrigado!
o áudio desse vídeo esta bem melhor q os anteriores, esta mais alto!!!
Valeu 🤙🏾
Parabéns!!! ótimo teu vídeo!!! estou estudando esse assunto e exatamente esse conjunto de dados... Maravilhoso teu vídeo!
Aula show! Programação e sociologia tudo junto
Valeeeu!
Olá, Kizzy! Que aula show! Estou adorando.
Me ajuda com algo:
Como faço para conseguir plotar duas variáveis no mesmo gráfico, por exemplo q001redacao e q002redacao? Para conseguir analisar a linearidade entre os dois.
Um forte abraço
Primeiro, obrigado e parabéns por mais uma aula maravilhosa!!
Notadamente, aula feita com paixão, inteligência, habilidade e conhecimento!
A tua explanação a partir dos dados dos pais foi magnífica, contudo são apenas suposições às quais somos levados a fazer racionalmente e também intuitivamente. Não correspondem à realidade. Dados preenchidos sem validação e tratados por governos nunca são confiáveis rsrs.
Uma grande parte dos candidatos fornecem esses dados por achismo, vergonha, ou o que eles acham que é melhor de informar. Dei aula pro ensino técnico por 20 anos: conheço isso de trás pra frente.
Se pais graduados tivessem filhos graduados, em centenas de milhares, seria outro Brasil!! E não é.
Talvez tenha faltado uma análise de interseção: pai e mãe, de um mesmo candidato, graduados.
Essa série é animal!! Estou amando 😍
Que legal! Bons estudos!
Mds como só conheci este canal agora. Excelente!
Seja bem vindo! Obrigada!
Sensacional 👏👏👏👏👏
Valeu!
INCRIVEL!!!! A aula a discussão social!!!! Parabéns.
Muito obrigada!
Ah velho vc é perfeita! Muito boa mesmo sua didática!
Achei inspiradora sua análise. Gostei muito das inferências que fez com base nas informações extraídas destes dados.
Fico imaginando se faixa etária dos pais ( caso exista no dataset ) poderia identificar ( por exemplo ) qual(is) a(s) década(s) onde os pais "tiveram mais acesso ao estudo", por conseguinte refletindo nesta notória influência no resultados dos candidatos, como você mostrou.
Parabéns, explica bem de forma simples e clara. Vai longe esse canal.
Valeu!!
Muito show a aula, parabéns. Continue com esse conteúdo! Parabéns
"... não cai em argumentos falaciosos...". De fato. Somente com dados de qualidade, podemos ter ciência da real face da realidade.
Como disse antes: Inspirador.
Alguns métodos do pandas permitem que se passe o parâmetro inplace=True. Desta forma vc não precisa atribuir o resultado à variável existente. O método dropna é um deles. São duas formas de fazer a mesma coisa, aí cabe a cada um escolher qual prefere. Muito legal seu canal
😉😉 sim, é verdade! Inclusive já ensinei isso em alguns vídeo aqui no canal
Muito bom os vídeos dessa playlist, fiz as mesma e mais outras analises usando a linguagem R para um relatório valendo a nota da matéria de introdução ao software R, e quero saber como faço a referência devida. Você me ajudou muito, e essa foi minha primeira análise de um banco de dados e estou muito feliz, gratidão
Legal demais, citação:
dos Reis, Kizzy. Programação Dinâmica. Manipulando Dataframe do Pandas. 2019. Disponível em: . Acesso em: .
Essa série de vídeos é sensacional!
:))))
Adoro todos os vídeos. Vcs são demais!!!
Obrigada!
Muito Bom !
Porem muito corrido, algumas informações surgiram, e não ficou claro por exemplo: o método .mean () aos 15"42 e. q002Redação.plot() aos 18':15 ''
Boa tarde, Wilton! To aprendendo ainda, mas vou tomar a liberdade de tentar ajudar. rs rs
Esses dois itens foram explicados melhor em outros vídeos. Mas deixa ver se eu consigo clarificar:
No caso do mean(), se refere à média e pode ser usado com todas as info numéricas. Basta acrescentar o .mean() no final da linha (as vezes, quando você usa mais um método, o mean() termina ficando no meio do código, como no exemplo da Kizzy):
O código completo usado no vídeo é esse abaixo onde ela usa 5 métodos concatenados (filter(), groupby(), mean(), sort_values() e plot():
```microdadosEnemSelecionado.filter(items = ['NO_Q002','NU_NOTA_MT']).groupby('NO_Q002').mean().sort_values(by='NU_NOTA_MT', ascending=False).plot()```
Detalhando:
1. microdadosEnemSelecionado.filter(items = ['NO_Q002','NU_NOTA_MT']) ==> aqui selecionamos as colunas com as quais queremos trabalhar.
2. '.groupby('NO_Q002').mean()' ==> aqui informamos que vamos agrupar pela coluna NO_Q002 e na sequencia, vamos querer a média (você poderia usar o max(), min(), sum() etc no lugar do mean().
.3. '.sort_values(by='NU_NOTA_MT', ascending=False).plot()' ==> aqui informamos que queremos listar pela coluna NU_NOTA_MT de forma decrescente e por último, informamos que queremos usar um gráfico do PANDAS.
Ele está contido por exemplo no método describe(), que apresenta também informações como máximo (que tambem pode ser obtido usando 'max()' ) e mínimo (que também pode ser obtido usando 'min()' ), por exemplo.
Da uma olhada nesses links:
pandas.pydata.org/pandas-docs/stable/reference/api/pandas.core.groupby.GroupBy.mean.html?highlight=mean#pandas.core.groupby.GroupBy.mean
pandas.pydata.org/pandas-docs/stable/reference/api/pandas.core.groupby.DataFrameGroupBy.plot.html?highlight=plot#pandas.core.groupby.DataFrameGroupBy.plot
Espero ter ajudado.
Abs.,
Grato pela ajuda !
esse video foi simplesmente lindo!
muito obrigado. Tenho interesse na área e voce está me ajudando muito.
de verdade, muito obrigado!!!!
Obrigada ☺️
Muito grato, metodologia excelente.
Essa aula poderia ser muito bem o TCC de um curso de pedagogia, ou qualquer area de licenciatura
Muito obrigada 😊
Vocês são demais!!! Podiam fazer uma série sobre o R tb!!
Fala Arthur, obrigada! Ainda temos muito a explorar do Python, R fica de dever de casa :D
Baita conteúdo, parabéns Izzy!!
é Kizzy 😅
@@pgdinamica Isso! foi o corretor kkkkk
Estou muito feliz com essa aula. Eu voltei a me dedicar ao data science, e você me ajuda muito. Vc tem algum material de pandas, numpy e matplotlib em pt para recomendar?
Sobre Pandas e Matplotlib tem aqui no canal :)
Serie maravilhosa!
Valeu!
Agora o meu domingo ficou mais interessante!!
😂😂 boa Lucas!
Boa tarde !
como criar um dataframe com as linhas referente aos estados de MG e SP com as colunas
'SG_UF_RESIDENCIA','TP_ESCOLA','NU_NOTA_MT'
Muito bom!! Tive trabalhos nesse estilo
😊👏🏾👏🏾
Muito massa o vídeo
Queria saber como poderia ser criado um novo dataframe com o resultado de filtros
EX:
Criar um dataframe com a contagem de todos as pessoas que possuem sobrenome Cavalcante, Albuquerque, Oliveira ..... etc
Sobrenome; Cont
Albuquerque; 100
Cavalcante; 200
Oliveira; 300
etc
legal a sugestão.
@@pgdinamica Eu acabei conseguindo fazer com os nomes dos candidatos a vereadores no RN
O áudio desse vídeo ficou melhor, mais alto.
😁
Cruzei a nota geral do ENADE 2018 com a formação dos pais e encontrei uma distribuição é muito parecida. Obs: no ENADE não há a resposta "não sei" , apenas a "nenhuma", mas o que me chamou a atenção é que acadêmicos em que o pai ou mãe não tem formação, obtém a segunda menor nota.
pai nota_geral
Ensino Fundamental: 1º ao 5º ano (1ª a 4ª série). 39.454535
Ensino Fundamental: 6º ao 9º ano (5ª a 8ª série). 41.101529
Ensino Médio. 42.387544
Ensino Superior - Graduação. 45.040738
Nenhuma. 39.494762
Pós-graduação. 48.567807
mae nota_geral
Ensino Fundamental: 1º ao 5º ano (1ª a 4ª série). 39.179260
Ensino Fundamental: 6º ao 9º ano (5ª a 8ª série). 40.688031
Ensino Médio. 42.074204
Ensino Superior - Graduação. 44.973254
Nenhuma. 39.408247
Pós-graduação. 46.730050
Sensacional.
Obrigada!
Parabens
Kizzy, eu preciso extrair alguns dados do enem.....Será que consigo???
. Tenho noções de programção.....
consegue sim 😉
Adorei, Kizzy. Me passa esses dados inbox?
Esse vídeo foi o único que esclareceu minhas dúvidas sobre como resolver um problema no meu trabalho. Só que estou com dificuldades no erro que está ocorrendo. Criei o dicionário de acordo com o que vou procurar na planilha Excel. O dicionário só tem 8 pares "chave/valor". Preciso buscar somente esses valores e jogar na nova coluna. Só que na primeira comparação que não está no dicionário, já dá um erro. Como posso corrigir isso?
1. Você pode tratar a exceção com try…catch;
2. Você pode usar o método get e passar um valor padrão quando a chave não estiver presente. Exemplo:
x = dicio[chave] #erro se chave não estiver em dicio.
x = dicio.get(chave, 0) # se chave não estiver em dicio, x recebe o valor 0 (pode usar qualquer valor de qualquer tipo como padrão).
@@pgdinamica
MUITO OBRIGADO! Salvou a lavoura! rsrsrsrsrs
Deu tudo certo aqui com suas dicas!
Achei um canal bacana que tem uma pessoa muito simpática e sabe ensinar, que é você Kizzy! PARABÉNS pela disposição de ajudar e sucesso para o seu canal!
Hi, Kizzy! Help-me, please... How do I merge df1 and df2 by two columns (fiels) at clausula on? For example: dfUltStatus = pd.merge(dfUltStatus, dfDescStatus, on=['CODIGO_STATUS','SUB_CODIGO_STATUS'], how = 'left')
The object is merge the two data frames through these two fields to bring the description field. Tks by your help. God bless you.
conseguiu resolver?
Nossa. Gostei do pandas, é meio que um SQL com umas coisinhas a mais kkk... muito firme
😊😊😊 são bem diferentes, mas entendi onde você encontrou semelhanças 😅
Você poderia disponibilizar os notebooks que você usa nos vídeos?
Oii, poderia sim, estou disponibilizando aos poucos lá no github :)
@@pgdinamica como eu acesso o seu github?
Kizzy e Alisson, gostaria de saber, para selecionar os dados de obitos novos na base do covid por mes, e selecionar os dados de obitos novos, quando na coluna estado está valores ausentes, desde ja agradeço demais as ajudas.
oi Helvio, para selecionar os obitovos novos por mês, você pode transformar o tipo da coluna data para datetime, criar uma coluna com mes-ano e depois agrupas os obitos novos por essa nova coluna usando group by. Em relação a selecionar as colunas em que o valor de estado está ausente, você pode usar o isna passando a coluna estado, veja aqu formas de filtra dados com pandasi: pandas.pydata.org/docs/getting_started/intro_tutorials/03_subset_data.html
Queria pedir uma ajuda.
Na hora de criar um data frame, gostaria de alinhar todas as informações das colunas a esquerda. Procurei pela internet mas não consegui solucionar até hoje, alguma boa alma pode me ajudar?
stackoverflow.com/questions/17232013/how-to-set-the-pandas-dataframe-data-left-right-alignment
Boa noite, poderia me ajudar em uma questão sobre o replace?
df['modelo'] = df['modelo'].replace('\','', regex=False)
df
eu tenho a coluna modelo cujo a qual inseri uma \ no meio da string e eu estou tentando remover essa barra porém parece que quando eu uso o replace da forma que coloquei ele utiliza a \ como um operador e não como um caracter.
Qual seria o macete para alterar esse tipo de caracter?
A barra "\" é o caractere de escape em Python. Isto significa que ela é usada como um símbolo para atribuir um significado especial ao caractere que a sucede. Por exemplo "
" significa "quebra de linha" (pular linha) ao invés de uma barra e a letra *n*. Para usar a "\" com o significado de um caractere, você precisa usar 2 barras seguidas: "\\". A primeira funciona como escape para mudar o significado da segunda, que será lida como um caractere comum.
@@pgdinamica Obrigado
Kizzy, tenho uma dúvida:
É possível criar uma nova coluna no dataframe com a média da nota de cada aluno nas 4 provas objetivas? Como faço isso?
Obrigado pelo excelente vídeo!
Oi, é sim. Você consegue fazer operações entre colunas, por exemplo: df[col3] = df[col1]/df[col2]. Sendo assim vc pode criar uma nova coluna de média: somando as outras e dividindo pelo número de colunas.
@@pgdinamica Perfeito, consegui! Muito obrigado!
@@pgdinamica Boa essa dica. Nao conhecia. Valeu!
Como eu consigo fazer um filtro baseado em uma string :
ex:
filtrar a linhas diferente de "TESTE"
onde o teste ele vem na string XXXXX(TESTE), (TESTE) XXXXX,XXXX(TESTE)XXXX
Procura pelo metódo str.contains( ) 👍
@@pgdinamica passei assim ..
df[df['LOGRADOURO'].str.contains("TESTE",regex=True)]
não filtrou .
não estou conseguindo fazer essa parte do [q001e002Dicionario[resp] for resp in microdadosEnemSelecionados.Q001]
aparece key error '*'
Verifique os valores do dicionário. Eu chuto que você acabo colocando as alternativas em minúsculo xD
Segue a dica do Jose :)
Olá Kizzy! Ajuda-me, por favor ... Como mesclar df1 e df2 por duas colunas (campos) na clausula? Por exemplo: dfUltStatus = pd.merge (dfUltStatus, dfDescStatus, on = ['CODIGO_STATUS', 'SUB_CODIGO_STATUS'], como = 'esquerda')
O objeto é mesclar os dois quadros de dados através desses dois campos para trazer o campo de descrição. Tks por sua ajuda. Deus te abençoê.
Oi Luciana, está quase certo, no seu exemplo seria assim:
dfUltStatus = dfUltStatus.merge(dfDescStatus, on=['CODIGO_STATUS','SUB_CODIGO_STATUS'], how = 'left')
@@pgdinamica Muito obrigada!!! ;-)
Very good!
Obrigada Karinne!
Oi Kizzy, tudo bem ? To com uma dúvida por aqui. Queria criar uma coluna pra inserir a média das notas 'NU_NOTA_MT','NU_NOTA_REDACAO', 'NU_NOTA_CN', 'NU_NOTA_CH', 'NU_NOTA_LC'. Assim como você criou uma coluna pra inserir a resposta da Q001 e Q002 queria criar uma coluna que recebesse a média das notas obtidas. É possível?
É possível sim. É bem simples inclusive. Dá uma olhada: stackoverflow.com/questions/48366506/calculate-new-column-as-the-mean-of-other-columns-pandas/48366525
@@pgdinamica Putz, tentei aqui e nada.
microdados[media] = microdados[['NU_NOTA_LC', 'NU_NOTA_CH', 'NU_NOTA_CN', 'NU_NOTA_REDACAO', 'NU_NOTA_MT']].mean(axis=1)
Esse comando pede pra criar uma coluna com a média das colunas listadas, não?
Python não tem fatores como na linguagem R, né?
Não tem… mas é possível trabalhar com dados categóricos no Pandas.
Boa noite Kizzy. Excelente vídeo, como sempre. Mas eu tenho uma dúvida:
Você menciona que escolheu algumas colunas de interesse para analisá-las. Mas como se dá a escolha dessas colunas? Por exemplo, se eu tiver um dataset com inúmeras colunas das mais variadas informações, em que eu quero analisar as chances do preço do Bitcoin aumentar. A minha coluna alvo é o preço do Bitcoin. Como eu defino as minhas colunas de interesse, haja vista que eu tenho inúmeras colunas completamente inúteis para essa análise? É no feeling mesmo? Ou existe alguma técnica específica para isso? Utilizar a técnica da biblioteca sk-learn chamada "corr" para verificar a correlação entre as colunas de interesse e a variável alvo, poderia ser uma tática que você utilizaria para descobrir isso ( mesmo sendo uma técnica muito lenta)?
Acho que fui extenso demais, mas toda a pergunta se resume na maneira que você escolhe as variáveis de interesse mesmo.
Obrigado pela paciência.
Oi! Isso é algo sobre o qual ainda vou falar em vídeo agora que comecei os tópicos de machinho learning. Não é chute, mas investigação. Tem como usar por exemplo o Select K Best do sklearn, corr, também como vc mencionou... tem alguns recursos que podem nortear essa escolha sim 😉
@@pgdinamica Opa. Excelente. E obrigado por responder. Ficarei no aguardo do vídeo. Abraços.
@@rockinriobrazil na economia existe uma disciplina chamada "econometria" que estuda a relação entre variáveis, é um bom jeito de começar buscando informação
Acho que preciso conhecer bastante Python antes, embora esteja compreendendo toda lógica.
Sim, é importante já conhecer a linguagem para fluir melhor nos estudos. Uma opção é estudar esta playlist: th-cam.com/play/PL5TJqBvpXQv6AEfVymby32MinHdxZA-8J.html&si=o5I6lvNHfyl79Nro
Acho o canal muito legal, mas queria passar um feedback e espero que não se ofenda, Kizzy. Acho que vc podia se preocupar com os detalhes quando estiver ensinando. Por exemplo, vc acelera o video quando está escrevendo os códigos e força quem vê tentar entender de forma acelerada, e isso, na prática, traz é confusão. Eu me sinto confuso vendo os seus videos e acho e, somente acho, que vc poderia pensar para quem é feito o video: para pessoas que já dominam o processo ou para quem está aprendendo. Se for para quem está aprendendo, acho que vc está pecando um pouco no que eu comentei. Vejo que aprendo mais com outros modelos de ensino de outros influenciadores...mas claro, isso é apenas a minha opinião...
Oi, Chico, entendo e agradeço o feedback! Depois, dá uma olhadinha nos vídeos mais recentes do canal pra ver se a sensação se mantém a mesma, porque este é um dos meus primeiros vídeos (agosto/2019) e aprendi muitas coisas nesses últimos dois anos.
Ótimo vídeo!! Uma dúvida, quando o nome da coluna é separado, ele diz que a sintax é invalida, sabe como resolver?
Nesse caso, vc tem que usar a notação seu-dataframe[‘nome da coluna’]