Um podcast sobre tecnologias de linguagem

Joined November 2019
A maior versão do GPT-2, lançada em 2019, já era difícil de usar pelo simples tamanho do modelo e requerimentos de hardware. O GPT-3 é mais de 100x maior. Isso o torna simplesmente inviável, mesmo para quem tem uma boa verba para gastar com IA.
1
1
2
Este tipo de pesquisa com modelos gigantescos pode ser interessante como showcasing e explorar até onde se chega com "machine learning brute force", mas a IA na prática precisa de modelos mais realistas e eficientes.
1
1
Já tem algumas resenhas interessantes sobre a ACL, interessantes para quem não pôde ver a conferência!
Hey #acl2020nlp. Want to keep having valuable conversations even after Rocket Chat is gone? We do too! This week we launched discuss.huggingface.co/c/res…, a section of our online forum dedicated specifically to research discussions. We'd love to see you there! 🤗🔬🚀 #openscience
2
Essa semana, está acontecendo a ACL 2020, maior conferência mundial de NLP. Cada vez mais, análises críticas dos modelos neurais "superpoderosos" estão ganhando espaço, tentando entender melhor como funcionam e pq falham.
1
8
O Facebook disponibilizou seu novo chatbot, treinado para otimizar o engajamento nas conversas, soar mais natural e mais humano: ai.facebook.com/blog/state-o…
1
2
Quem é você na quarentena de NLP?
1
6
1
14
A ideia do GPT-3 é ambiciosa: um modelo que aprenda linguagem humana tão bem que realize tarefas de NLP sem treinamento explícito, só com uma instrução simples, tipo "traduza do inglês para francês". E até certo ponto, funciona!
No episódio 2, falamos sobre o GPT-2, um modelo de língua gigante da OpenAI. Pois bem, agora já existe o GPT-3, com "apenas" 175 bilhões de parâmetros. É difícil até encontrar hardware para rodar esse modelo! github.com/openai/gpt-3
1
No episódio 2, falamos sobre o GPT-2, um modelo de língua gigante da OpenAI. Pois bem, agora já existe o GPT-3, com "apenas" 175 bilhões de parâmetros. É difícil até encontrar hardware para rodar esse modelo! github.com/openai/gpt-3
1
1
1
4
Até o paper é grande: quase 7 MB de PDF: arxiv.org/abs/2005.14165
1
Nova bibilioteca em python de NLP da Hugging Face, para facilitar o trabalho com diversos datasets. Parece bem interessante!
Surviving every AI wave, two kernels have consistently been the beating hearts of Natural Language Processing: Datasets and Metrics Today we release "nlp", a library to easily share & load data/metrics already providing access to 99+ datasets! Try it👉 colab.research.google.com/gi…
1
Participação minha falando sobre NLP no @iConfPod !
Episódio novo no ar! Intervalo de Confiança 15 - Como as máquinas aprendem a falar? intervalodeconfianca.com.br/…
3
Teste de Turing Podcast retweeted
Episódio novo no ar! Conversa Inferencial 04 - The Corona's Plague Edition intervalodeconfianca.com.br/…
1
2
1
E já tem um desafio no Kaggle para extrair informação de artigos científicos sobre o coronavírus: kaggle.com/allen-institute-f… #nlproc #machinelearning #AI #coronavirus
1
Resumindo: treinam um modelo mini-BERT, que tenta prever palavras ocultas de uma frase (substituídas por [MASK]), e dão o resultado para a Electra. Já ela tenta predizer quais palavras são originais e quais que o mini-BERT recuperou.