Os PROBLEMAS do BIG DATA
![Cortes do Ciência Sem Fim [OFICIAL]](http://yt3.ggpht.com/C9dsLwvkeFPai7PpWeUQD--c7YSqugsrJd6H3p-VBhL0ez_kGmKBzw9Jc6A9Ux5K1gAlbswK=s48-c-k-c0x00ffffff-no-rj)
ฝัง
- เผยแพร่เมื่อ 27 ส.ค. 2024
- 12% DE DESCONTO EM QUALQUER COMPRA NA INSIDER COM O CUPOM CIENCIA12 👕
www.goldenpill...
---------------------------
Matricule-se na maior escola de tecnologia do Brasil com 15% de desconto e tenha acesso a mais de 1.450 cursos completos que vão alavancar a sua carreira!
www.goldenpill...
-----------------------------------------------------------------------------------
CARLOS MELO - Ciência Sem Fim #228
• CARLOS MELO - Ciência ...
![[TH] VALORANT Champions Seoul - Grand Final - EDG vs TH](http://i.ytimg.com/vi/WvObMc9VelI/mqdefault.jpg)
Sugestão para quem faz as thumbs, evita utilizar o vermelho na borda inferior. Pois pode dar a impressão que o vídeo já foi visualizado para alguns usuários.
Ótima sugestão.
Essa bordazinha vermelha é péssima
Verdade
O cara tem tantas ideias e conceitos que quer repassar que é nítido o esforço pra explicar de forma coerente pra gente entender. Muito massa!
Tenho orgulho em ser amigo do Serjao
Gente, quando ele diz que é tanto dado que não dá pra armazenar não é que Google e Amazon não tem recurso pra isso. A questão é que armazenamento tem um custo, e processamento deles um custo maior ainda. A maioria das organizações que trabalham no campo da astronomia são governamentais, e não geram um lucro alto como empresas privadas. Ou seja, é custo pro governo, não se tem um orçamento infinito. Digo isso porque trabalhei com imagens de patologia (lâminas de biópsias escaneadas digitalmente a nível celular). Cada lâmina contém de 200Mb a 2GB, e milhares de biópsias são feitas todos os dias. Ou seja, o armazenamento disso pra uma empresa privada já era custoso e sem muito retorno, e por lei você só precisa ter esse dado digitalizado por 3 meses (a lâmina física 5 anos e o bloco da biópsia mais ainda). Resultado? Descarte dos dados assim que se vence o prazo, porque é inviável manter o armazenamento. Imagino que pela grandeza e quantidade dos dados o problema da astronomia seja parecido.
Existiria a possibilidade de precisar reprocessar a lâmina depois desse prazo?
Fui SysAdmin em um Hospital no Porto, Portugal. Um exame de TAC de um paciente de cerca de 2 min tem cerca de 145Gb e somos obrigados a armazenar o exame por 5 anos e pela lei, não podemos colocar o arquivo em um servidor cloud fora de Portugal. O custo para armazenar isso era gigantesco. No tempo que estava lá o hospital já chegou a gastar mais de 12 Milhões de Euros em Storage só para armazenamento de imagens de exames.
@@x.X.x_. Caraca 12 milhões, você viu o Project Silica da Microsoft?
@@eduardovinicius743612 milhões é significativo quando você olha isoladamente, mas pro hospital não é tanto. Aliás, não queira discutir com diretor de hospital mudanças na diretriz de orçamento. KKKK
@@x.X.x_. Cacilda, rpz se não evoluirmos tanto como ultimamente eu creio que esses dados atuais de tudo que temos na internet vai ser quase tudo apagado daqui há uns 100 anos
Em 7:45 ele cita o Censipam! Em breve serei servidor nessa casa. Passei para analista em sensoriamento remoto e vou trabalhar nessa área de monitoramento com imagens de satélite. Serjão, sou seu Fã, muito importante esse trabalho de divulgação da ciência que vc está fazendo.
como faz pra entrar nessa área ?
Parabéns cara!
Queima pestana@@GlauberSilva333
@@GlauberSilva333 Para este órgão em específico é via concurso público. Mas para entrar na aérea vc pode estudar cursos de geotecnologias, sensoriamento remoto ou geoprocessamento. Não necessariamente graduação, existem cursos de pós, mas tbm há cursos profissionalizantes.
@@marcelovictor2928 Obrigado!
Caramba! o Serjao conseguiu conversar com o Elon Musk e ele ainda aprendeu português pra falar com Serjao, muito brabo
Ainda pegou um bronze no nordeste
Correção : 3:26 é tempo polinomial e não exponencial. NP significa que você consegue verificar uma solução em tempo polinomial. Logo os algoritmos mais rapidos (P) tambem estão dentro de NP. Importante salientar que verificar uma solução é diferente de achar uma solução, os problemas que estão em P são os problemas que você consegue *achar* uma solução em tempo polinomal, logo se você acha em tempo polinomial você tambem verifica.
eu sempre comentei em roda de amigos de TI justamente isso, desde 4 anos atrás. Que as tecnologias de processamento de CPU e GPUs estava evoluindo a passos que as tecnologias de armazenamento não estavam, e ia ter uma escassez de armazenamento. O mercado precisa reinventar os HDs e SSDs para algo que armazene na casa dos Petabytes e não só em Terabytes.
para quem fala que esse não é o problema é porque não entende o gasto energético para manter esses equipamentos e consequentemente o valor final para o usuário por GB armazenado. Com o modelo atual a produção de HDs no mundo não está acompanhando a produção de informação, o que faz necessário o uso de uma nova tecnologia que produza em maior velocidade que os HDS/SSDs e armazene mais dados.
@@GameDevCompleteProcura sobre o Project Silica da Microsoft, acho que até hoje é o que vi de mais revolucionário para armazenar informação que nunca será alterada.
@@eduardovinicius7436 eu vi, ideia muuito boa, é uma direção para ideias melhores. Mas ainda achoq ue precisamos de tecnologias para armazenar em Petabytes e não Terabytes. Por exemplo, dessas placas de Silica, precisariam de 1000 placas dessa para 1 petabyte, ai complica ainda, porque não está acompanhando ainda a produção de dados no mundo. A curva de geração de dados é mais acentuada que o de desenvolvimento de armazenamento capaz de acompanhar.
@@GameDevComplete Realmente, mas até agora esse Project Silica é o que mais faz sentido que vi, é aprimorar e levar para Petabytes, mas o fato de consumir nada enquanto armazenado e não ter risco de corromper é incrivel.
@@eduardovinicius7436 sim, a microssoft sabe o caminho
Acho que o problema de armazenamento de dados está num passo atrás de como o dado é armazenado.
Pela quantidade de dados que hoje temos, é extremamente importante identificarmos novos meios de armazenamento com capacidades extremamente grandes e baratas e com alta velocidades de escrita e leitura. Então o campo de pesquisas precisa correr.
Depois disso, aí sim podemos pensar no modo de armazenar o dado, se necessário.
Que qualidade de conversa. Sensacional 👏🏻👏🏻👏🏻
Trabalho na Confluent, a empresa por trás do que temos hoje de principal em stream de dados. La no 2:40, o Sacani fala algo muito legal e real: processamento de dados como tendência. Por exemplo, você já da uma limpa em tempo real quando ele sai do produtor, deixando a base muito mais leve.
Então voltamos ao paradigma de antes, como o Datawharehouse, de preparar o dado após extração? Trabalhei como DBA fazendo isso. Hoje no mundo do cloud não manjo muito, mas aprendi que em Data Lake você teoricamente só deposita os dados num storage e trata ele quanto precisar. Interessante isso.
Esse cara conversando com o saudoso Éneas Carneiro (Dr Éneas), seria bem interessante.
Gpu não minera BTC faz TEMPO, hj compram GPUs aos montes para prover poder para as IAs
Exatamente. Só pra expandir um pouco mais o assunto, a gente pode ver isso com o movimento da Nvdia de dizer que é uma empresa de hardware de IA, por exemplo. Na epoca do bitcoin ela lutava contra a mineração, mas na era da IA ela meteu os dois pés na lama.
Foi-se a epoca que gpu era pra jogo e mineração.
bah esse cara é excelente explicando, muito brabo
SERGIO SACCANI, THE BESTH OFF, TRANSMITINDO DA QUANTICA PARA OS ,NÃO NÍVELÁVEIS...SEM PALAVRAS....
esse é o Juliano Barata* do mundo da informática? até a voz é parecida!
Estava procurando na mente de onde eu conhecia ele kkk é isso aí, parece muito
Nao daria pra tratar o sdados com maior qualidade possível? Tipo uma compactação, talvez mais apurada do que o WinRAR?
Joga no winzip
serjao pergunta uma coisa, o cara responde outra kkkkkkkkkkkkkkk
É aí que a computação quântica vai entrar. Só um hiper computador consegue realizar esse tipo de feito.
Nao seria uma nova forma de renda usuários comuns usarem seus gagets ou seus hds para criar sua própria empresa de armazenamento?
Imagina o tanto de harwares ociosos que poderiam ser usados?
PRa resolver armazenamento é só passar no ARJ - a
Passa o Winrar que é sucesso!!
Gpu pra minerar btc? já tem anos que não se usam mais gpus para este fim.
processamento de IA é que inflacionou o preço das gpus depois do boom da mineração.
Realmente, o cara falou bosta aí...
Não tão usando como antes, mas ainda existem grandes fazendas de gpu operando
@@JoseHenriques97 Sim, mas não minerando btc, hj btc só se minera com Asic. Com gpu é só shitcoin.
Ele obviamente disse como uma brincadeira, até pq depois que o boom de mineração acabou, as GPU's tiveram uma boa queda de preços, junto da disponibilidade de chips novamente.
Cara tu entendeu e ta se fazendo
Muito bom 👍🏻
Não é Bitcoin que demanda GPUs. É economicamente inviável minerar Bitcoin com GPUs.
O cara parece especialista, falou de conceitos que só se estudam em cursos de computação, entretanto aí ele falou merda.
Fui criador da Fundação Bitcoin Brasil, e desde 2014 quando ela foi criada, já não era apropriado ou mesmo rentável usar GPUS pra mineirar Bitcoin, desde aquela época já existiam ASICs e eram usados em larga escala no mercado de mineração.
Tem um jeito de não perder os dados: compartilhar na rede pública por algumas horas. Deixar que interessados no mundo usem e trabalhem nestas informações. Abcs
Pra compartilhar tem que guardar em algum servidor
e aqueles novos HDs em crystais?
Big deita
Ou seja, o negocio do futuro vai ser compactacao de dados
Por isso que está estudando python, C++ ou C# vai ganhar dinheiro que nem água.
Muitos dados e pouca reflexão, qualidade e compreensão.
big data tem veracidade,volume ,valor,variedade,velocidade
Se 20 mil pessoas filmam o mesmo show tao gerando 19.999 dados desnecessarios.
A pronúncia é "big deite", tem certeza?
Esse cara parece versao low cost do elon kkkkk
Esse convidado lembra o Musk
Como assim Google e Amazon não conseguem armazenar os dados???? Quantos quettabytes pesa essa coisa toda??? Quantos zetabytes pesa um segundo de vídeo do espaço? kkkkkk
Tá duvidando do cara? Ele trabalha com isso cara
Não duvidei do Sacani. É uma dúvida real sobre o que ele disse... Não sobre ele.
@@Ecologist_STALKER achei que vc estava tirando sarro kkk
Mano eu não sei te responder mas pra vc ter noçao os dados gerados na producao da imadem do buraco negro foram transportados de aviao pq saia mais barato e rapido do que transferir pela rede online. tem isso explicado certinho em um video no canal do sacani.
@@rafaelgermano9360valeu
Garimpe a conversa, voce vai perceber que o Sacani não entende nada do assunto, a não ser fica patinado nas mesmas frases!! hehehe....!!! Como em muitos outros assuntos, preste atenção, pense e reflita!
Aqui o povo vem pra babar ovo
Ele não fala nada com nada, mas o burros são tão burros q acham incrível
Eu assistindo sem entender nada do que estão falando 😅😂😂
serjao cabeludo
Pi pi
Podia ser: o problema do Big Globo.
O menos denso abaixo vai pegar vocês 😂❤
Acabou pra vocês da bola giratória 🌍
Como um eng de dados, só consigo imaginar que o problema seja outro, e não de armazenamento
Perguntas de leigo: qual é o problema? E computadores quânticos dariam conta de tudo isso?
Seria o processamento? Porque quando se adquire muita informação fica difícil processar tudo. Também sou leiga no assunto
rs.. todo mundo hoje em dia é engenheiro de dados, e o trabalho principal é motorista de APP.. uahahaha..
@@gepetovovo2509 Sacanagem...kk Mas essa área dele tem muito emprego, não acho que seja o caso.
@@stronks100 nada amigo, tá dificil, hoje todo mundo é engenheiro de dados, arquiteto.. etc.. só ver ai os grandes layoffs das bigtechs.. Python, ReactJS até gari de mendigo sabem e estão oferecendo agora 2 salários minimos pra JR.. e 10k pra baixo pra SR.. negócio tá bem feio de verdade, os unicos que estão festejando é os vendedores de cursos prometendo 18k de salário.. kk
Papo de quem nao manja de tecnologia tecnicamente, boa oratória nao faz uma boa conversa
Bóa
o chat gpt estava prono em 1970 👏👏👏👏👏👏👏
👇👇👇👇👇👇❤❤❤❤❤❤
primeiro
🧐
Obrigado
meta dado é mais forte que big data