O que é DASK e como Manipular Grandes Bases de Dados?

แชร์
ฝัง
  • เผยแพร่เมื่อ 19 ธ.ค. 2024

ความคิดเห็น • 23

  • @nickssonarrais5816
    @nickssonarrais5816 3 ปีที่แล้ว +4

    Valeu galera...
    Obrigado pelo feedback...
    Vou arroxar e gravar mais aulas sobre dask 🤝

  • @salomaolilos
    @salomaolilos ปีที่แล้ว

    Muito bom.
    e o melhor realista, usando máquinas normais para processamento
    Show

  • @israelmendes9780
    @israelmendes9780 3 ปีที่แล้ว +2

    Muito bom, Faz a aula!

  • @ramone2117
    @ramone2117 3 ปีที่แล้ว +2

    Muito bacana o assunto, manda mais!

  • @cr6315
    @cr6315 3 ปีที่แล้ว +2

    Bacana. Se fizer um treinamento seria muito interessante.

  • @tiagorsa12
    @tiagorsa12 3 ปีที่แล้ว +1

    Muito bacana esta introdução. Seria muito legal ter uma aula para explorar esta biblioteca.

  • @humbertoluzoliveira
    @humbertoluzoliveira ปีที่แล้ว

    Que TOP! Só dicas valiosas! Obrigado.

  • @rogeriodelfim5071
    @rogeriodelfim5071 3 ปีที่แล้ว +2

    Parabens, tem fazer a aula.

  • @welbertjosedasilva4220
    @welbertjosedasilva4220 3 ปีที่แล้ว

    Cara, parabéns seu conteúdo e sua dinâmica são espetaculares. Se puder , por favor, faça aula demonstrando como usar o Dask, vai ajudar muito, principalmente se mostrar como usar por exemplo com sqlserver ou postgree.

  • @edlinux
    @edlinux 10 หลายเดือนก่อน

    conheci o seu video hoje. Gostaria de saber se houve a aula, você explicou muito bem para quem precisava de introdução do Dask

  • @wesleyroseno4339
    @wesleyroseno4339 ปีที่แล้ว

    Obrigado!

  • @Edu-jv1ps
    @Edu-jv1ps 3 ปีที่แล้ว

    E essa aula prática sai quando?

  • @dsa_of_things
    @dsa_of_things ปีที่แล้ว

    Interessante... eu fiz isso com zigbee.... podem em rede mesh.... o ideal ai seria tbm com rede mesh... pois assim podemos amplicar o alcance da rede.... oelo que entendi.... me corrija se eu estiver errado... eles estao comunicando em padrao estrela (ponto a ponto) com esse mini gateway?

  • @PauloRibeiro-he3lz
    @PauloRibeiro-he3lz หลายเดือนก่อน

    Ótimo..Seria bom aula pratica , o que acha ?

  • @sauloeduardo8352
    @sauloeduardo8352 3 ปีที่แล้ว +1

    Queria uma aula pratica de dask

    • @Stack_tecnologias
      @Stack_tecnologias  3 ปีที่แล้ว

      Obrigado pela sugestão, Saulo. Faremos uma aula prática.

  • @Beners11
    @Beners11 3 ปีที่แล้ว

    Uma questão que me surgiu. É possível eu como programador, realizar o agendamento das minhas tarefas (tasks) ou o próprio DASK quando se utiliza task, ele que faz o agendamento destas tarefas?

  • @helitonribeiroferreira6948
    @helitonribeiroferreira6948 3 ปีที่แล้ว +1

    No curso fechado poderia add um módulo de dask

  • @bonixl
    @bonixl 3 ปีที่แล้ว

    Muito legal, ontem mesmo estava fazendo testes com esse framework.
    Tenho um "dúvida" que ainda não consegui solucionar:
    - Montei um cluster dask com 1 scheduler e 3 workers (com máquinas diferentes!!!)
    - Abri um servidor jupyter (jupyterlab normal) na mesma maquina do scheduler conectei ao cluster.
    - Tenho um CSV de 7GB armazenado localmente.
    - Ao ler com dask.dataframe ( df = dd.read_csv('file.csv) ) o 'lazy dataset' aparece
    - Ao fazer df.head().compute() ou client.compute(df.head()) sempre dá erro. (FileNotFound)
    - De alguma forma os workers não tem acesso a esse arquivo
    Não sei se é tão simples trabalhar conectado a um cluster dask a medida que você tem arquivos armazenados localmente.
    Já li várias coisas sobre o fsspec da documentação, já fiz client.update_file('file.csv')...
    mas ainda não consegui pensar em uma forma simples de ter dados locais para serem analisados e conectar em um cluster (seja na rede local ou remoto)
    Se alguém puder ajudar, fico grato =D

    • @nickssonarrais5816
      @nickssonarrais5816 3 ปีที่แล้ว

      Esse erro aí é porque não encontrou os arquivos. Pode ser o mapeamento que você fez... Todo método que você executa no dataframe ele dá isso ou só para esse arquivo? Fez algum teste de variável e conexão entres os elementos do sistema?

    • @bonixl
      @bonixl 3 ปีที่แล้ว +1

      @@nickssonarrais5816 O que eu tentei fazer foi abrir um simple http server em uma das maquinas e apontar pra lá. Mesmo assim não encontra os arquivos... Sempre dá esse erro em qualquer método que tente executar no dataframe. A unica coisa que aparece é o lazy dataset...
      Tem alguma leitura pra indicar pra trabalhar com dados locais (large csv's) e cluster dask remoto?

    • @SynapseDataScience
      @SynapseDataScience 3 ปีที่แล้ว

      @@bonixl melhor leitura é a documentação da biblioteca... Lá tem tudo atualizado e bem explicado 😄