Sumarizacao de Textos com Processamento de Linguagem Natural
What you’ll learn
Entender a teoria e os cálculos matemáticos dos algoritmos de sumarização de textos
Implementar passo a passo com o Python os seguintes algoritmos de sumarização: baseado em frequência, baseado em distância e o clássico algoritmo de Luhn
Utilizar as seguintes bibliotecas para sumarização de textos: sumy, pysummarization e BERT summarizer
Sumarizar artigos extraídos de páginas web e feed de notícias
Gerar resumos de textos no idioma português
Utilizar as bibliotecas NLTK e spaCy e o Google Colab para suas implementações de processamento de linguagem natural
Criar visualizações em HTML para apresentação dos resumos dos textos
Requirements
Lógica de programação, principalmente estruturas condicionais e de repetição
Básico da linguagem Python
Description
A área de Processamento de Linguagem Natural – PLN (Natural Language Processing – NLP) é uma subárea da Inteligência Artificial que tem como objetivo tornar os computadores capazes de entender a linguagem humana, tanto escrita quanto falada. Alguns exemplo de aplicações práticas são: tradutores entre idiomas, tradução de texto para fala ou fala para texto, chatbots, sistemas automáticos de perguntas e respostas, geração automática de descrições para imagens, adição de legendas em vídeos, classificação de sentimentos em frases, dentre várias outras! Outro exemplo importante de aplicação é a sumarização automática de documentos, que consiste em gerar resumos de textos. Vamos supor que você precise ler um artigo com 50 páginas, porém, não possui tempo suficiente para ler o texto integral. Nesse caso, você pode utilizar um algoritmo de sumarização para gerar um resumo deste artigo. O tamanho deste resumo pode ser configurável, ou seja, você pode transformar 50 páginas em um texto com somente 20 páginas que contenha somente os pontos mais importantes do texto!Baseado nisso, este curso apresenta a teoria e principalmente a prática de três algoritmos de sumarização de textos: (i) baseado em frequência, (ii) baseado em distância e o (iii) famoso e clássico algoritmo de Luhn, que foi um dos primeiros esforços nessa área. Durante as aulas, implementaremos passo a passo cada um desses algoritmos utilizando tecnologias modernas, como a linguagem de programação Python, as bibliotecas NLTK (Natural Language Toolkit) e spaCy e o Google Colab, o que garantirá que você não terá problemas com instalações ou configurações de softwares na sua máquina local.Além de implementar os algoritmos, você também aprenderá como extrair notícias de blogs e de feed de notícias, bem como gerar visualizações interessantes dos resumos utilizando HTML! Após a implementação manual dos algoritmos, temos um módulo adicional no qual você utilizar bibliotecas específicas para sumarizar documentos, como por exemplo: sumy, pysummarization e BERT summarizer. Ao final do curso, você saberá tudo o que precisa para criar seus próprios algoritmos de sumarização!
Overview
Section 1: Introdução
Lecture 1 Boas-vindas e conteúdo do curso
Lecture 2 Introdução a processamento de linguagem natural
Lecture 3 Mais sobre Inteligência Artificial
Lecture 4 Recursos para download
Section 2: Algoritmo baseado em frequência
Lecture 5 Introdução
Lecture 6 Teoria
Lecture 7 Pré-processamento do texto 1
Lecture 8 Pré-processamento do texto 2
Lecture 9 Frequência das palavras
Lecture 10 Frequência proporcional das palavras
Lecture 11 Tokenização de sentenças
Lecture 12 Geração do resumo
Lecture 13 Visualização do resumo com HTML
Lecture 14 Extração de texto da internet
Lecture 15 Função para sumarizar os textos
Lecture 16 Função para visualização do resumo
Lecture 17 Sumarização de vários textos
Lecture 18 EXERCÍCIO
Lecture 19 Solução para o exercício
Lecture 20 Conclusão
Section 3: Algoritmo de Luhn
Lecture 21 Introdução e teoria básica
Lecture 22 Preparação do ambiente
Lecture 23 Implementação 1
Lecture 24 Implementação 2
Lecture 25 Implementação 3
Lecture 26 Implementação 4
Lecture 27 Implementação 5
Lecture 28 Extração de texto da internet
Lecture 29 Leitura de feed de notícias
Lecture 30 Nuvem de palavras
Lecture 31 Extração de entidades nomeadas
Lecture 32 Sumarização de artigos de feed de notícias
Lecture 33 Arquivo HTML com os resultados
Lecture 34 EXERCÍCIO
Lecture 35 Solução para o exercício
Lecture 36 Conclusão
Section 4: Sumarização com similaridade do cosseno
Lecture 37 Introdução
Lecture 38 Preparação do ambiente
Lecture 39 Similaridade entre sentenças 1
Lecture 40 Similaridade entre sentenças 2
Lecture 41 Matriz de similaridade
Lecture 42 Sumarização dos textos
Lecture 43 Extração de texto da internet
Lecture 44 EXERCÍCIO
Lecture 45 Solução para o exercício
Lecture 46 Conclusão
Section 5: Bibliotecas para sumarização de textos
Lecture 47 Introdução
Lecture 48 Preparação do ambiente
Lecture 49 Biblioteca sumy
Lecture 50 Biblioteca pysummarization
Lecture 51 Biblioteca BERT summarizer
Lecture 52 EXERCÍCIO
Lecture 53 Solução o exercício
Lecture 54 Avaliação de algoritmos de sumarização
Lecture 55 Conclusão
Lecture 56 Aula adicional: sumarização abstrativa
Section 6: Considerações finais
Lecture 57 Considerações finais
Lecture 58 AULA BÔNUS
Pessoas interessadas em processamento de linguagem natural e sumarização de textos,Pessoas interessadas nas bibliotecas spaCy e NLTK,Alunos de graduação e pós-graduação que estão estudando disciplinas ligadas a área de Inteligência Artificial,Cientistas de Dados que queiram aumentar seus conhecimentos em processamento de linguagem natural,Profissionais interessados em desenvolver soluções profissionais de sumarização de textos
Course Information:
Udemy | Português | 5h 16m | 3.18 GB
Created by: Jones Granatyr
You Can See More Courses in the Developer >> Greetings from CourseDown.com