Inteligencia Artificial Buscas em Textos com Python
What you’ll learn
Aprenda a construir um crawler do zero para buscar o conteúdo de páginas web
Entenda como funcionam as bibliotecas urllib e BeautifulSoup do Python para processar páginas web
Aprenda a indexar o conteúdo de páginas web utilizando o MySql
Aprenda como classificar documentos por conteúdo, utilizando métricas como frequência de palavras, posição da palavra no documento e distância entre palavras
Entenda e implemente o algoritmo PageRank para classificação de documentos utilizando links externos
Requirements
É recomendado conhecimento sobre lógica de programação, principalmente estruturas condicionais e de repetição
Conhecimentos básicos em Python são desejáveis, embora seja possível acompanhar o curso sem saber essa linguagem com profundidade
É necessário conhecer comandos SQL básicos, principalmente o “select” e o “insert”
É importante entender o modelo entidade-relacionamento para a construção de bases de dados, principalmente chaves primárias e estrangeiras
É recomendável que você saiba as principais tags HTML existentes em páginas web, embora seja possível acompanhar o curso sem esse conhecimento
Não são necessários conhecimentos prévios sobre Inteligência Artificial
Description
Os sistemas de busca em texto representam uma importante área da Inteligência Artificial. Eles consistem em analisar grande volume de texto para retornarem para o usuário uma lista dos principais documentos encontrados de acordo com os parâmetros de busca. Os exemplos práticos mais comuns deste tipo de sistema são os motores de busca, como Google, Bing ou Yahoo; nos quais o usuário pode informar um conjunto de palavras e o sistema apresenta as páginas web mais relevantes. Para que isso seja possível, são utilizados uma série de algoritmos e/ou métricas que tem a função de indicar a ordem pela qual os documentos serão apresentados, ou seja, as páginas mais importantes serão mostradas no topo da pesquisa enquanto que as menos relavantes serão mostradas por último.
Baseado nisso, neste curso você vai aprender na teoria e principalmente na prática como desenvolver do zero um sistema para buscas em textos utilizando vários algoritmos para ordenação dos resultados. Você desenvolverá passo a passo todas as etapas de um sistema de busca, iniciando pelo crawler que buscará as páginas web utilizando o Python e as bibliotecas urllib3 e BeautifulSoup. Logo após passaremos para a fase da indexação, na qual o conteúdo das páginas web serão analisadas e faremos a gravação em uma base de dados no MySql. Por fim, implementaremos as seguintes pesquisas: consultas com uma ou múltiplas palavras, frequência de palavras, posição das palavras no documento e distância entre as palavras. Também veremos a classificação dos documentos utilizando o texto do link e por fim implementaremos o uso de links externas que é caracterizado pelo famoso algoritmo PageRank, que é considerado o algoritmo que ajudou muito na grande ascensão do Google e que hoje em dia é utilizado nos principais motores de busca. É importante enfatizar que o objetivo do curso é mostrar passo a passo a implementação do zero, portanto, não utilizaremos nenhuma biblioteca específica para esse cenário. Também não é objetivo do curso desenvolver uma interface web para a realização das pesquisas, ou seja, todos os testes serão realizados via prompt. Por fim, este material pode ser considerado de nível iniciante para quem está entrando tanto na área de Inteligência Artificial quanto na área de desenvolvimento de motores de busca.
Preparado(a) para dar um importante passo na sua carreira? Aguardo você no curso! 🙂
Overview
Section 1: Introdução e conteúdo do curso
Lecture 1 Introdução e conteúdo do curso
Lecture 2 Mais sobre Inteligência Artificial
Section 2: Crawler e indexador de documentos
Lecture 3 Instalação do Anaconda
Lecture 4 Carregamento de páginas web com urllib3
Lecture 5 Extração de dados de HTML com BeautifulSoup
Lecture 6 Crawler – busca de documentos I
Lecture 7 Crawler – busca de documentos II
Lecture 8 Crawler – busca de documentos III
Lecture 9 Crawler – busca de documentos IV
Lecture 10 Pré-processamento dos textos – remoção das tags HTML
Lecture 11 Instalação do MySql
Lecture 12 Indexação – criação da base de dados
Lecture 13 Indexação – entendimento das tabelas
Lecture 14 Pré-processamento dos textos – separação das palavras
Lecture 15 Pré-processamento dos textos – extração do radical
Lecture 16 Indexação – verificação de páginas já indexadas
Lecture 17 Indexação – inclusão das urls no índice
Lecture 18 Indexação – verificação de palavras já indexadas
Lecture 19 Indexação – inclusão de palavras no índice
Lecture 20 Indexação – inclusão das palavras do documento
Lecture 21 Indexação – indexador completo
Lecture 22 Indexação – execução passo a passo
Lecture 23 Base de dados completa
Section 3: Pesquisa nos documentos
Lecture 24 Introdução ao módulo
Lecture 25 Exploração dos dados
Lecture 26 Consultas com uma palavra I
Lecture 27 Consultas com uma palavra II
Lecture 28 Consultas com mais palavras I
Lecture 29 Consultas com mais palavras II
Lecture 30 Consultas com mais palavras III
Lecture 31 Lista com scores
Lecture 32 Frequência de palavras
Lecture 33 Posição no documento
Lecture 34 Distância entre palavras
Lecture 35 Indexação – criação de tabelas para o PageRank
Lecture 36 Indexação – entendimento das tabelas do PageRank
Lecture 37 Indexação – inclusão da ligação entre urls e palavras
Lecture 38 Indexação – verificação da ligação entre urls e palavras
Lecture 39 Pré-processamento dos textos – extração das palavras da url
Lecture 40 Indexação – gravação da ligação entre urls e palavras
Lecture 41 Indexação – execução passo a passo
Lecture 42 Contagem simples de links I
Lecture 43 Contagem simples de links II
Lecture 44 PageRank – teoria I
Lecture 45 PageRank – teoria II
Lecture 46 PageRank – implementação I
Lecture 47 PageRank – implementação II
Lecture 48 PageRank – depuração
Lecture 49 PageRank – pesquisa
Lecture 50 Texto do link
Lecture 51 Normalização I
Lecture 52 Normalização II
Lecture 53 Pesquisa por peso
Section 4: Considerações finais
Lecture 54 Considerações finais
Lecture 55 Código fonte completo
Lecture 56 AULA BÔNUS
Pessoas interessadas em Inteligência Artificial,Pessoas interessadas na área de recuperação de informação de documentos textuais
Course Information:
Udemy | Português | 9h 13m | 4.46 GB
Created by: Jones Granatyr
You Can See More Courses in the Developer >> Greetings from CourseDown.com