Fala Leonardo! Cara, com todo essa avanço na área, tanto no caso do uso de paralelismo e nas melhorias de GPU/CPU/TPU, você poderia comentar sobre como está sendo considerado o retorno marginal decrescente (law of diminishing returns)? Por que imagino que em certo ponto a própria comunicação de orquestramento em um cluster pode ser grande o suficiente para atrapalhar o objetivo final.
Olá Victor! Obrigado pelo interessante comentário! Eu não conheço todos os avanços de hardware que estão sendo feitos em GPUs/TPUs. Porém posso comentar um pouco. Um problema é o aquecimento que pode ocorrer devido à computação intensa. Pelo que sei, os sistemas do google usam fluídos líquidos para esfriar os servidores com TPUs. Eu sei também que eles usam alta largura de banda para comunicação entre TPUs (por exemplo, usam TPU Pods, cloud.google.com/tpu/docs/system-architecture ) e isso permite paralelizar a computação de forma eficiente. Bibliotecas, como o pytorch, também possuem módulos que podem ser usados para paralelismo, usando diferentes GPUs. Mas, de fato, eu concordo contigo. Em alguns casos, o ganho de performance pode não ser tão bom/grande comparado ao custo de expansão do paralelismo. Por enquanto o seguinte geralmente funciona: quando mais dados e quanto maior um modelo de Deep Learning, melhores são os resultados. No entanto, relacionado com o que você mencionou, o ganho geralmente não é linear, ou seja, você precisa de muito mais parametros (e poder de processamento) para ganhar um pouco mais de performance. Alguns pesquisadores sugerem que, ao invés de fazer modelos cada vez maiores, temos que tentar buscar arquiteturas mais eficientes (i.e., que consomem menos dados e menos processamento) para a mesma performance. Um abraço! 🚀🚀
@@AprendizdoFuturo Muito obrigado pela resposta! Esse tópico tange na minha linha de estudo (IC) em otimização de rotinas com Spark, sou aluno da UFF. Além disso, gostaria de parabenizar pelo canal e ótimo conteúdo.
Olá Alef. Obrigado pelo comentário! De fato, eu uso GPUs Tesla v100 em meus experimentos e é uma ótima GPU para experimentos com Deep Learning. Um abraço!
Obrigado .
Fala Leonardo!
Cara, com todo essa avanço na área, tanto no caso do uso de paralelismo e nas melhorias de GPU/CPU/TPU, você poderia comentar sobre como está sendo considerado o retorno marginal decrescente (law of diminishing returns)? Por que imagino que em certo ponto a própria comunicação de orquestramento em um cluster pode ser grande o suficiente para atrapalhar o objetivo final.
Olá Victor! Obrigado pelo interessante comentário! Eu não conheço todos os avanços de hardware que estão sendo feitos em GPUs/TPUs. Porém posso comentar um pouco. Um problema é o aquecimento que pode ocorrer devido à computação intensa. Pelo que sei, os sistemas do google usam fluídos líquidos para esfriar os servidores com TPUs. Eu sei também que eles usam alta largura de banda para comunicação entre TPUs (por exemplo, usam TPU Pods, cloud.google.com/tpu/docs/system-architecture ) e isso permite paralelizar a computação de forma eficiente. Bibliotecas, como o pytorch, também possuem módulos que podem ser usados para paralelismo, usando diferentes GPUs. Mas, de fato, eu concordo contigo. Em alguns casos, o ganho de performance pode não ser tão bom/grande comparado ao custo de expansão do paralelismo. Por enquanto o seguinte geralmente funciona: quando mais dados e quanto maior um modelo de Deep Learning, melhores são os resultados. No entanto, relacionado com o que você mencionou, o ganho geralmente não é linear, ou seja, você precisa de muito mais parametros (e poder de processamento) para ganhar um pouco mais de performance. Alguns pesquisadores sugerem que, ao invés de fazer modelos cada vez maiores, temos que tentar buscar arquiteturas mais eficientes (i.e., que consomem menos dados e menos processamento) para a mesma performance. Um abraço! 🚀🚀
@@AprendizdoFuturo Muito obrigado pela resposta! Esse tópico tange na minha linha de estudo (IC) em otimização de rotinas com Spark, sou aluno da UFF. Além disso, gostaria de parabenizar pelo canal e ótimo conteúdo.
Faz um video sobre as placas da Nvidia.
Conteúdo de qualidade!
qual a diferença de TPU e GPU ?
Tesla v100 no nividia capaz 100 teráflow ser capaz processar muito rápido, supercomputador 2 petaflow
Olá Alef. Obrigado pelo comentário! De fato, eu uso GPUs Tesla v100 em meus experimentos e é uma ótima GPU para experimentos com Deep Learning. Um abraço!
eu estudando essa porra so para melhorar meu aimbolt kkkkk e foda o tal do curioso