Boa Filipe, obrigado por mais essa aula, infelizmente ainda estou tendo alguns problemas para conectar ao SQL Server, mas ao Postgres funcionou perfeitamente. Conectando direto ao banco nos poupa bastante trabalho. Muito obrigado mesmo!!!
Sensacional mano parabéns pela aula incrível e detalhada. Concordo com o Rafael G. Poderia fazer um vídeo ensinando como conectar varios bancos em uma consulta como se fosse um UNION ALL. Ou seja, eu tenho um Servidor com vários bancos com uma mesma estrutura e quero consulta se existe um dado em uma tabela de todos os bancos. Isso ajudaria muita gente.
Boa Felipe. Difícil encontrar vídeos como este mostrando como se conecta à bases relacionais. Para mim é muito mais fácil fazer os joins desta forma do que usando arquivos textos ou csv´s, a sintaxe do pandas ainda não está no sangue. Abraço.
Muito bom o vídeo. Consegui conectar no Microsoft SQL Server e acompanhar o vídeo até o momento que cria um DF a partir de várias tabelas. Não consegui criar um DF utilizando parâmetro dinâmicos =(
@@marcelocostati Oi Marcelo tudo bem?! Meu amigo eu sou noobie nessa área. Tanto que perguntei se posso usar o Colab ou o PyCharm para fazer isso...rsss Conecto os Bancos de Dados através de OpenVPNs e esse modo pelo Python me ajudaria muito. Então se pudesse me dar uma luz sobre o dirver de conexão e a engine para o SQL me ajudaria pra caramba... acho que dali pra frente eu caminho... E já abusando da sua ajuda se puder elucidar essas minhas dúvidas sobre o PyChar eu seria muitíssimo grato. De qualquer modo Obrigado meu caro! Abraço!
@@marcelocostati também estou tendo problema. O banco que eu acesso está em um servidor e ele n reconhece os comando quando volto os mesmo para o Server. InterfaceError: (pyodbc.InterfaceError) ('IM002', '[IM002] [Microsoft][ODBC Driver Manager] Nome da fonte de dados não encontrado e nenhum driver padrão especificado (0) (SQLDriverConnect)') (Background on this error at: sqlalche.me/e/13/rvf5)
@@deboracorrea3605 Ei! Joia Debora? Tem como compartilhar o trecho do código de conexão? Qual o driver está utilizando? Se quiser, pode compartilhar o código lá no GIST (gist.github.com/). Abraço!
Oi Leandro, obrigado pelo comentário. Para acessar o script sql segue o link com os arquivos sample do mysql: github.com/datacharmer/test_db. Um abraço!
@@dhevictor Não. Você pode conectar a sua fonte de dados com o Pymysql, consultar as tabelas com o SQL e aí já fazer as junções necessárias e trazer isso como um dataframe Pandas. Ou pode consultar as tabelas que vai precisar, trazer cada uma delas como um dataframe separado e depois fazer o merge dos dados pelo pandas. Só tome cuidado se estiver em um ambiente com um grande volume de dados.
Mano, faz um vídeo utilizando os microdados do ENEM de 2018, um arquivo .csv com mais de cem colunas e mais de cinco milhões de linhas, realizando o filtro de variáveis de interesse com o SQL para tratamento e manipulação das variáveis selecionadas no Jupyter Notebook. Por exemplo, eu gostaria de extrair dos microdados do ENEM de 2018 (arquivo que contém os dados de todos municípios do Brasil), por meio do SQL, somente os dados do meu município. Para fazer uma Análise Exploratória de Dados no Jupyter Notebook.
Oi Alex, tudo bem? Para trabalhar com o Postgree funciona da mesma forma o que você precisa alterar é a biblioteca que irá atuar como o driver de conexão. Ao invés de usar a pymysql, você pode usar a py-postgresql. Espero ter ajudado, um abraço!
Que tal PostgreSQL? Com PostgreSQL você pode inclusive programar em Python dentro dele utilizando linguagem procedural PL/Python para functions e procedures. www.postgresql.org/docs/current/plpython.html
eu executei e me voltou esse erro File "C:\Users\Estagiario-TI\Documents\Gabriel elatoriosql\venv\lib\site-packages\sqlalchemy\engine\url.py", line 725, in make_url return _parse_rfc1738_args(name_or_url) File "C:\Users\Estagiario-TI\Documents\Gabriel elatoriosql\venv\lib\site-packages\sqlalchemy\engine\url.py", line 781, in _parse_rfc1738_args components["port"] = int(components["port"]) ValueError: invalid literal for int() with base 10: 'port' é como se a porta especificada estivesse errada, mais tentei em português como portas e não deu certo volta o mesmo erro porque será?
Cara que vídeo bom, obrigado. Vai me ajudar muito no trabalho.
Boa Filipe, obrigado por mais essa aula, infelizmente ainda estou tendo alguns problemas para conectar ao SQL Server, mas ao Postgres funcionou perfeitamente. Conectando direto ao banco nos poupa bastante trabalho. Muito obrigado mesmo!!!
Excelente!!! Vocês sempre produzindo muito conteúdo bom!!! Já indiquei para o pessoal do curso de data science que estou fazendo :)
Que bom que você gostou Gisele. Obrigado por compartilhar :)
Me encontrei como iniciante nas suas palavras.
Sensacional mano parabéns pela aula incrível e detalhada. Concordo com o Rafael G. Poderia fazer um vídeo ensinando como conectar varios bancos em uma consulta como se fosse um UNION ALL. Ou seja, eu tenho um Servidor com vários bancos com uma mesma estrutura e quero consulta se existe um dado em uma tabela de todos os bancos.
Isso ajudaria muita gente.
é possivel colocar uma consulta de bullk isert aonde vc colocou query= ?
Que didática, meu amigo...
Se possível, depois faz um vídeo explicando como vc deixou o seu workbench com esse tema!
Boa Felipe. Difícil encontrar vídeos como este mostrando como se conecta à bases relacionais. Para mim é muito mais fácil fazer os joins desta forma do que usando arquivos textos ou csv´s, a sintaxe do pandas ainda não está no sangue.
Abraço.
Muito bom Cid. Obrigado pelo comentário. Um abraço.
Muito bom! Como sempre, excelente didática e excelente conteúdo.
Olá! Muito massa! Teria como disponibilizar o notebook utilizado? Valeu!
Olá Alex, tudo bem? esse notebook, bem como todos os outros se encontram neste link: t.me/minerandodados
Ei Felipe, aula top, excelente. Parabéns e sucesso!
Obrigado Lourival!
Adorei! Aula Top e de fácil entendimento.
Antes das instalações, não se deve criar um ambiente de desenvolvimento?
Muito bom o vídeo. Consegui conectar no Microsoft SQL Server e acompanhar o vídeo até o momento que cria um DF a partir de várias tabelas. Não consegui criar um DF utilizando parâmetro dinâmicos =(
O Marcelo tudo bem?! Poderia me ajudar com o script de acesso ao SQL server?
@@claudineitaiacolo5131 Claro!! Em que ponto vc está? Conseguiu conectar na base de dados ou não?
@@marcelocostati Oi Marcelo tudo bem?! Meu amigo eu sou noobie nessa área. Tanto que perguntei se posso usar o Colab ou o PyCharm para fazer isso...rsss Conecto os Bancos de Dados através de OpenVPNs e esse modo pelo Python me ajudaria muito. Então se pudesse me dar uma luz sobre o dirver de conexão e a engine para o SQL me ajudaria pra caramba... acho que dali pra frente eu caminho... E já abusando da sua ajuda se puder elucidar essas minhas dúvidas sobre o PyChar eu seria muitíssimo grato. De qualquer modo Obrigado meu caro! Abraço!
@@marcelocostati também estou tendo problema. O banco que eu acesso está em um servidor e ele n reconhece os comando quando volto os mesmo para o Server.
InterfaceError: (pyodbc.InterfaceError) ('IM002', '[IM002] [Microsoft][ODBC Driver Manager] Nome da fonte de dados não encontrado e nenhum driver padrão especificado (0) (SQLDriverConnect)') (Background on this error at: sqlalche.me/e/13/rvf5)
@@deboracorrea3605 Ei! Joia Debora? Tem como compartilhar o trecho do código de conexão? Qual o driver está utilizando? Se quiser, pode compartilhar o código lá no GIST (gist.github.com/). Abraço!
E onde eu olho a documentação para poder saber o driver preciso conectar o python no servidor da minha empresa
?
Boa noite, conheci o seu canal e já estou me inscrevendo!!! Como consigo pegar o sql tabela employe? Não achei dentro do zip!
Oi Leandro, obrigado pelo comentário. Para acessar o script sql segue o link com os arquivos sample do mysql: github.com/datacharmer/test_db. Um abraço!
Parabéns pelo material, Consigo fazer o processo usando o PyCharm ou somente no Jupyter?
Ou ainda posso usar através do Colab do Google?
Uma dúvida, da para usar o pymysql para fazer alimentação de um banco de dados?
Por streamlit?
Perfeitamente, Yanni. Pode inserir dados assim como fazer leituras.
@@Stack_tecnologias que bom saber, vou procurar na documentação. Muito obrigado pela ajuda.
Mais uma dúvida, com relação ao relacionamento entre tabelas do banco, isso só seria possível pelo sgbd do SQL mesmo como o Microsoft SQL server?
@@dhevictor Não. Você pode conectar a sua fonte de dados com o Pymysql, consultar as tabelas com o SQL e aí já fazer as junções necessárias e trazer isso como um dataframe Pandas. Ou pode consultar as tabelas que vai precisar, trazer cada uma delas como um dataframe separado e depois fazer o merge dos dados pelo pandas. Só tome cuidado se estiver em um ambiente com um grande volume de dados.
@@Stack_tecnologias certo muito obrigado. 😄🙏
Por que vc usa essa biblioteca de mysql em vez da mysql-conect? Algum motivo específico? Vlw
Olá to como uma dificuldade preciso transferir um
Corpo de email
Automaticamente para o banco de dados sql
queria o codigo entrei no telegram mas nao disponibiliza la so o video.
Show !!
Valeu Davi!
Mano, faz um vídeo utilizando os microdados do ENEM de 2018, um arquivo .csv com mais de cem colunas e mais de cinco milhões de linhas, realizando o filtro de variáveis de interesse com o SQL para tratamento e manipulação das variáveis selecionadas no Jupyter Notebook.
Por exemplo, eu gostaria de extrair dos microdados do ENEM de 2018 (arquivo que contém os dados de todos municípios do Brasil), por meio do SQL, somente os dados do meu município. Para fazer uma Análise Exploratória de Dados no Jupyter Notebook.
awesome video! It was really, so really helpful!
Bom dia, e pra quem quem o postgres, funciona da mesma forma??? Se não, qual seria a biblioteca???
Oi Alex, tudo bem? Para trabalhar com o Postgree funciona da mesma forma o que você precisa alterar é a biblioteca que irá atuar como o driver de conexão. Ao invés de usar a pymysql, você pode usar a py-postgresql. Espero ter ajudado, um abraço!
@@felipesantana795 Amigo, o nome do banco é Postgres ou PostgreSQL. "Postgree" não existe e o driver mais utilizado é o psycopg2.
não existe esse canal do telegram
O canal agora se chama stack amigo!
Que tal PostgreSQL?
Com PostgreSQL você pode inclusive programar em Python dentro dele utilizando linguagem procedural PL/Python para functions e procedures.
www.postgresql.org/docs/current/plpython.html
Aparentemente está dando um erro de encoding='utf8' na engine
Partiu fazer um ETL locao com jupyter hahaha
hahaha boa
Faça uma com o Banco Oracle!! PFF!!!!
Obrigado pela sugestão amigo.
Pessimo para iniciantes
eu executei e me voltou esse erro File "C:\Users\Estagiario-TI\Documents\Gabriel
elatoriosql\venv\lib\site-packages\sqlalchemy\engine\url.py", line 725, in make_url
return _parse_rfc1738_args(name_or_url)
File "C:\Users\Estagiario-TI\Documents\Gabriel
elatoriosql\venv\lib\site-packages\sqlalchemy\engine\url.py", line 781, in _parse_rfc1738_args
components["port"] = int(components["port"])
ValueError: invalid literal for int() with base 10: 'port'
é como se a porta especificada estivesse errada, mais tentei em português como portas e não deu certo volta o mesmo erro porque será?