Cara, parabéns seu conteúdo e sua dinâmica são espetaculares. Se puder , por favor, faça aula demonstrando como usar o Dask, vai ajudar muito, principalmente se mostrar como usar por exemplo com sqlserver ou postgree.
Interessante... eu fiz isso com zigbee.... podem em rede mesh.... o ideal ai seria tbm com rede mesh... pois assim podemos amplicar o alcance da rede.... oelo que entendi.... me corrija se eu estiver errado... eles estao comunicando em padrao estrela (ponto a ponto) com esse mini gateway?
Uma questão que me surgiu. É possível eu como programador, realizar o agendamento das minhas tarefas (tasks) ou o próprio DASK quando se utiliza task, ele que faz o agendamento destas tarefas?
Muito legal, ontem mesmo estava fazendo testes com esse framework. Tenho um "dúvida" que ainda não consegui solucionar: - Montei um cluster dask com 1 scheduler e 3 workers (com máquinas diferentes!!!) - Abri um servidor jupyter (jupyterlab normal) na mesma maquina do scheduler conectei ao cluster. - Tenho um CSV de 7GB armazenado localmente. - Ao ler com dask.dataframe ( df = dd.read_csv('file.csv) ) o 'lazy dataset' aparece - Ao fazer df.head().compute() ou client.compute(df.head()) sempre dá erro. (FileNotFound) - De alguma forma os workers não tem acesso a esse arquivo Não sei se é tão simples trabalhar conectado a um cluster dask a medida que você tem arquivos armazenados localmente. Já li várias coisas sobre o fsspec da documentação, já fiz client.update_file('file.csv')... mas ainda não consegui pensar em uma forma simples de ter dados locais para serem analisados e conectar em um cluster (seja na rede local ou remoto) Se alguém puder ajudar, fico grato =D
Esse erro aí é porque não encontrou os arquivos. Pode ser o mapeamento que você fez... Todo método que você executa no dataframe ele dá isso ou só para esse arquivo? Fez algum teste de variável e conexão entres os elementos do sistema?
@@nickssonarrais5816 O que eu tentei fazer foi abrir um simple http server em uma das maquinas e apontar pra lá. Mesmo assim não encontra os arquivos... Sempre dá esse erro em qualquer método que tente executar no dataframe. A unica coisa que aparece é o lazy dataset... Tem alguma leitura pra indicar pra trabalhar com dados locais (large csv's) e cluster dask remoto?
Valeu galera...
Obrigado pelo feedback...
Vou arroxar e gravar mais aulas sobre dask 🤝
Muito bom.
e o melhor realista, usando máquinas normais para processamento
Show
Muito bom, Faz a aula!
Muito bacana o assunto, manda mais!
Bacana. Se fizer um treinamento seria muito interessante.
Muito bacana esta introdução. Seria muito legal ter uma aula para explorar esta biblioteca.
Que TOP! Só dicas valiosas! Obrigado.
Parabens, tem fazer a aula.
Cara, parabéns seu conteúdo e sua dinâmica são espetaculares. Se puder , por favor, faça aula demonstrando como usar o Dask, vai ajudar muito, principalmente se mostrar como usar por exemplo com sqlserver ou postgree.
conheci o seu video hoje. Gostaria de saber se houve a aula, você explicou muito bem para quem precisava de introdução do Dask
Obrigado!
E essa aula prática sai quando?
Interessante... eu fiz isso com zigbee.... podem em rede mesh.... o ideal ai seria tbm com rede mesh... pois assim podemos amplicar o alcance da rede.... oelo que entendi.... me corrija se eu estiver errado... eles estao comunicando em padrao estrela (ponto a ponto) com esse mini gateway?
Ótimo..Seria bom aula pratica , o que acha ?
Queria uma aula pratica de dask
Obrigado pela sugestão, Saulo. Faremos uma aula prática.
Uma questão que me surgiu. É possível eu como programador, realizar o agendamento das minhas tarefas (tasks) ou o próprio DASK quando se utiliza task, ele que faz o agendamento destas tarefas?
No curso fechado poderia add um módulo de dask
Ótima sugestão, Heliton. Faremos isso.
Muito legal, ontem mesmo estava fazendo testes com esse framework.
Tenho um "dúvida" que ainda não consegui solucionar:
- Montei um cluster dask com 1 scheduler e 3 workers (com máquinas diferentes!!!)
- Abri um servidor jupyter (jupyterlab normal) na mesma maquina do scheduler conectei ao cluster.
- Tenho um CSV de 7GB armazenado localmente.
- Ao ler com dask.dataframe ( df = dd.read_csv('file.csv) ) o 'lazy dataset' aparece
- Ao fazer df.head().compute() ou client.compute(df.head()) sempre dá erro. (FileNotFound)
- De alguma forma os workers não tem acesso a esse arquivo
Não sei se é tão simples trabalhar conectado a um cluster dask a medida que você tem arquivos armazenados localmente.
Já li várias coisas sobre o fsspec da documentação, já fiz client.update_file('file.csv')...
mas ainda não consegui pensar em uma forma simples de ter dados locais para serem analisados e conectar em um cluster (seja na rede local ou remoto)
Se alguém puder ajudar, fico grato =D
Esse erro aí é porque não encontrou os arquivos. Pode ser o mapeamento que você fez... Todo método que você executa no dataframe ele dá isso ou só para esse arquivo? Fez algum teste de variável e conexão entres os elementos do sistema?
@@nickssonarrais5816 O que eu tentei fazer foi abrir um simple http server em uma das maquinas e apontar pra lá. Mesmo assim não encontra os arquivos... Sempre dá esse erro em qualquer método que tente executar no dataframe. A unica coisa que aparece é o lazy dataset...
Tem alguma leitura pra indicar pra trabalhar com dados locais (large csv's) e cluster dask remoto?
@@bonixl melhor leitura é a documentação da biblioteca... Lá tem tudo atualizado e bem explicado 😄