Machine Learning com Spark e Pyspark o Curso Completo 2022

Machine Learning com Spark e Pyspark o Curso Completo 2022

What you’ll learn

Aprenda Otimização de Hiper Parâmetros de Modelos
Saiba Criar Pipelines de Machine Learning
Domine Técnicas de Pré-Processamento de dados
Veja na Prática a Criação de Modelos de Regressão, Classificação e Clusters
Produza Assobiadores Robustos
Avalie a Performance de Modelos
Importe Dados
Persista Modelos
Utilize Técnicas como MultiLayer Perceptron, Random Forest e Regressão Logística

Requirements

Conhecimentos Básicos de Python

Description

Faça uma super imersão em Machine Learning com Spark utilizando bibliotecas nativas! Na era “Big Data” o Spark se tornou a principal ferramenta de processamento de dados no mundo devido a sua capacidade de processar volumes massivos de dados com alta performance, se tornando uma ferramenta essencial para Cientistas e Engenheiros de Dados. Sua arquitetura distribuída permite processar dados utilizando paralelismo e memória, persistindo dados quando necessário. Além disso o Spark é capaz de importar dados de praticamente qualquer fonte, bem como também exportar dados processados para os principais formatos e bancos de dados utilizados.Do ponto de vista profissional, conhecer Spark é uma das habilidades mais importantes ao lado de Machine Learning e Python. E o melhor disso é o que Spark já traz tudo isso. Você pode utilizar Spark com Python, através do Pyspark, e você pode criar modelos de Machine Learning utilizando as próprias bibliotecas do Spark.Neste curso prático, você vai dominar o uso do Spark para Machine Learning:Aprenda os conceitos gerais de Machine LearningConheça o Processo de Importação de DadosDomine técnicas de pré-processamento, como substituição de valores faltantesAprenda técnicas de engenharia de atributos, como normalização de dados e codificação de categoriasCrie modelos de Regressão e Classificação, utilizando Redes Neurais, Random Forest e outrasAvalie a performance de seus modelosCrie Clusters e avalia a performanceProduza regras de associação com itens frequentesFaça o tunning de Hiper Parâmetros de ModelosCria fluxos de processamento de Machine Learning utilizando Pipelinese muito mais!Você ainda vai encontrar material do curso para baixar: scripts, slides e dados de exemplo.

Overview

Section 1: Introdução

Lecture 1 Apresentação

Lecture 2 Introdução

Lecture 3 Por que Machine Learning com Spark?

Section 2: Conceitos Gerais de Machine Learning

Lecture 4 Introdução

Lecture 5 Introdução Parte II

Lecture 6 Classificação

Lecture 7 Regressão

Lecture 8 Agrupamentos

Lecture 9 Sistemas de Recomendação

Lecture 10 Regressão Linear

Lecture 11 Regressão Logística

Lecture 12 Categorical Encoding

Lecture 13 Feature Scalling

Section 3: Preparação de Ambiente

Lecture 14 Atenção: sobre o ambiente para executar o curso!

Lecture 15 Escolhendo o Ambiente

Lecture 16 LINUX: Introdução sobre Instalação com VM Linux

Lecture 17 Downloads Necessários

Lecture 18 Instalando VM Ubuntu

Lecture 19 Instalando Spark

Lecture 20 Bibliotecas Adicionais

Lecture 21 Rodando Exemplos na Linha de Comando

Lecture 22 Instalando e Configurando Jupyter Notebooks

Lecture 23 WINDOWS: Orientações de Instalação e Configuração

Lecture 24 NUVEM: Databricks Community Edition

Section 4: Importação de Dados

Lecture 25 Dados Utilizados Durante o Curso

Lecture 26 Material para Download

Lecture 27 Introdução a Importação de Dados no Spark

Lecture 28 Formato LIBSVM

Lecture 29 Exemplos de Importações Diversas

Lecture 30 Importando LIBSVM

Section 5: Engenharia de Atributos e Pré-Processamento

Lecture 31 Vetorização de Atributos com VectorAssembler

Lecture 32 Geração de Características com PCA (Principal component analysis)

Lecture 33 Binarização de Atributos

Lecture 34 Indexação de Texto com StringIndexer

Lecture 35 Índice para Texto com IndexToString

Lecture 36 Categorical Encoding com One Hot Encoding

Lecture 37 Tratando Valores Ausentes com Imputer

Lecture 38 Expansão de Atributos com PolynomialExpansion

Lecture 39 Normalização de Dados com Normalizer

Lecture 40 Padronização de Dados com StandarScaler

Lecture 41 Padronização de Dados com RobustScaler

Lecture 42 Padronização de Dados com MinMaxScaler

Lecture 43 Padronização de Dados com MaxAbsScaler

Lecture 44 Discretização de Dados

Lecture 45 Transformação com RFormula

Lecture 46 Divisor de Vetores com VectorSlicer

Lecture 47 Seleção de Atributos com ChiSqSelector (qui-quadrado)

Lecture 48 Seleção de Atributos com UnivariateFeatureSelector

Section 6: Regressão com Spark

Lecture 49 Regressão Linear Múltipla com Spark

Lecture 50 Métodos Diversos de Regressão

Lecture 51 Regressão com RandomForest (Florestas Aleatórias)

Section 7: Classificação Binária e Multi Classe com Spark

Lecture 52 Classificação Logística

Lecture 53 Classificação com NaiveBayes

Lecture 54 Classificação com Rede Neural Artificial (Multi Layer Perceptron)

Section 8: Agrupamentos com Spark

Lecture 55 Agrupamentos com Kmeans

Lecture 56 Agrupamento Hierárquico com HierarchicalBisecting

Section 9: Associadores com Spark

Lecture 57 Associadores com FP-Growth

Section 10: Construindo Pipelines de Machine Learning

Lecture 58 Construindo Pipelines com Spark

Section 11: Ajuste de Hiper Parâmetros (Tunning)

Lecture 59 Ajuste com Cross-Validation

Lecture 60 Ajuste com Train-Validation Split

Section 12: Aula Bônus

Lecture 61 Para Saber Mais e Carreira na Área de Dados

Cientistas de Dados,Engenheiros de Dados,Engenheiros de Machine Learning,Analistas de Dados

Course Information:

Udemy | Português | 9h 51m | 3.29 GB
Created by: Fernando Amaral

You Can See More Courses in the Developer >> Greetings from CourseDown.com