Formacao Spark com Pyspark o Curso Completo 2022

Domine a mais importante ferramenta para Cientistas de Dados e Engenheiros de Dados para processamento de dados massivos
Formacao Spark com Pyspark o Curso Completo 2022
File Size :
3.21 GB
Total length :
11h 0m

Category

Instructor

Fernando Amaral

Language

Last update

Última atualização em 7/2022

Ratings

4.6/5

Formacao Spark com Pyspark o Curso Completo 2022

What you’ll learn

Conhecer a Arquitetura e Detalhes do Spark
Criação de DataFrames
SparkSQL: Crie tabelas e consulta utilizando SQL
Conecte com outras fontes de Dados, como Postgres e MongoDB
Cria Aplicações Spark
Desenvolva modelos preditivos Utilizado Machine Learnig e Spark ML
Cria aplicações próximas ao tempo real com Spark Streaming
Conheça Técnicas de Otimização do Spark
Aprenda a Construir um Cluster com Spark!

Formacao Spark com Pyspark o Curso Completo 2022

Requirements

Conhecimento básicos de Python
Computador capaz de rodar uma VM com Linux

Description

Bem vindo ao melhor e mais atualizado curso de Spark!Na era “Big Data” o Spark se tornou a principal ferramenta de processamento de dados no mundo devido a sua capacidade de processar volumes massivos de dados com alta performance, se tornando uma ferramenta essencial para Cientistas e Engenheiros de Dados. Sua arquitetura distribuída permite processar dados utilizando paralelismo e memória, persistindo dados quando necessário. Além disso o Spark é capaz de importar dados de praticamente qualquer fonte, bem como também exportar dados processados para os principais formatos e bancos de dados utilizados.Do ponto de vista profissional, conhecer Spark é uma das habilidades mais importantes ao lado de Machine Learning e Python. E o melhor disso é o que Spark já traz tudo isso. Você pode utilizar Spark com Python, através do Pyspark, e você pode criar modelos de Machine Learning utilizando as próprias bibliotecas do Spark.Neste curso prático, você vai começar do zero e aprender todas as principais características desta ferramenta. Entre outras coisas você vai:Aprender a instalar e configurar o SparkConhecer o principal objeto de dados: DataFrames do SparkProcessar DataFrames através de transformações e açõesConsultar Dados no Spark com Sintaxe SQLCriar Views e fazer JoinsPersistir dados em disco, criando tabelas em formatos como Parquet e ORCImportar dados de fontes como Mongodb, PostgreSQL e arquivos como Json e ParquetCriar aplicações que você pode rodar na linha de comendoMachine Learning com Spark: crie modelos e faça previsõesConstrua Pipelines de Marchine LearningProcesse dados em tempo real com Spark Structured StreamingOtimize o Spark com Cache, Persistência, Particionamento e BucketingUse Spark com Jupyter NotebooksUse Spark com Pandas e outras bibliotecas do PythonConstrua um Cluster!Você ainda vai encontrar material do curso para baixar: scripts, slides e dados de exemplo.

Overview

Section 1: Introdução

Lecture 1 Instruções Gerais

Lecture 2 Apresentação

Lecture 3 Material para Download

Lecture 4 Introdução ao Spark

Lecture 5 Arquitetura e Componentes

Lecture 6 Context e Session

Lecture 7 Formatos de Big Data

Section 2: Instalação e Primeiros Passos

Lecture 8 Atenção: sobre o ambiente para executar o curso!

Lecture 9 Introdução sobre a Instalação

Lecture 10 Downloads

Lecture 11 Instalando VM Ubuntu

Lecture 12 Instalando Spark

Lecture 13 Bibliotecas Adicionais

Lecture 14 Rodando Exemplos

Lecture 15 Baixando dados de Exemplo

Lecture 16 Opcional: Putty com SSH

Lecture 17 Putty com SSH

Section 3: DataFrames e RDDs

Lecture 18 RDD, Dataset e Dataframe

Lecture 19 RDD parte I

Lecture 20 RDD parte II

Lecture 21 DataFrames Parte I

Lecture 22 DataFrames Parte II

Lecture 23 DataFrames Parte III

Lecture 24 DataFrames Parte IV

Lecture 25 Principais Ações e Transformações

Lecture 26 Exportando dados

Lecture 27 Importando Dados

Lecture 28 Atividades: Faça você mesmo

Lecture 29 Solução do Faça você mesmo

Section 4: Spark SQL

Lecture 30 Spark SQL

Lecture 31 Bancos de Dados e Tabelas

Lecture 32 Tabelas Gerenciadas e Externas

Lecture 33 Views

Lecture 34 Comparando DataFrames com Tabelas SQL

Lecture 35 Joins

Lecture 36 Joins com DataFrames e SQL

Lecture 37 Utilizando Spark-sql

Lecture 38 Atividades: Faça você mesmo

Lecture 39 Solução do Faça você mesmo

Lecture 40 Solução do Faça você mesmo – Continuação

Section 5: Outras Fontes de Dados

Lecture 41 Conectado a Outras Fontes de Dados

Lecture 42 PostgreSQL

Lecture 43 Instalando PostgreSQL

Lecture 44 Drive JDBC

Lecture 45 Lendo e Gravando Dados no PostgreSql

Lecture 46 MongoDB

Lecture 47 Instalando MongoDB

Lecture 48 Lendo e Gravando Dados no MongoDB

Section 6: Criando Aplicações

Lecture 49 Aplicação 1: Escrevendo no Console

Lecture 50 Aplicação 2: Escrevendo no Console com Parâmetros

Lecture 51 Opção e argumentos em Linha de Comando

Lecture 52 Aplicação 3: Conversor de Formatos de Arquivos em Spark

Lecture 53 Atividades: Faça você mesmo

Lecture 54 Solução do Faça você mesmo

Section 7: Machine Learning com Spark

Lecture 55 Fundamentos de Machine Learning

Lecture 56 Machine Learning no Spark

Lecture 57 Preparando Dados para Regressão

Lecture 58 Criando um Modelo de Regressão

Lecture 59 Preparando Dados para Classificação

Lecture 60 Criando um Modelo de Classificação

Lecture 61 Pipelines

Lecture 62 Atividades: Faça você mesmo

Lecture 63 Solução do Faça você mesmo

Section 8: Spark Structured Streaming

Lecture 64 O que é “Streaming”

Lecture 65 Spark Structured Streaming

Lecture 66 Casos Práticos

Lecture 67 De JSON para o Console

Lecture 68 De JSON para PostgreSQL

Section 9: Otimização

Lecture 69 Particionamento

Lecture 70 Particionamento e Bucketing no Spark

Lecture 71 Cache

Lecture 72 Cache e Persistência no Spark

Section 10: Outros Aspectos

Lecture 73 Usando Spark com Notebooks do Jupyter

Lecture 74 Convertendo Pandas para DataFrame do Spark

Lecture 75 Usando biblioteca Koalas

Lecture 76 Spark UI

Lecture 77 Configurações do Spark

Section 11: Construindo um Cluster

Lecture 78 Introdução

Lecture 79 Clonando VMs

Lecture 80 Configurando Nó Master

Lecture 81 Configurando Workers

Lecture 82 Executando tarefas em Cluster

Section 12: Aula Bônus

Lecture 83 Para Saber Mais e Carreira na Área de Dados

Cientistas de Dados, Engenheiros de Dados, Engenheiros de Machine Learning

Course Information:

Udemy | Português | 11h 0m | 3.21 GB
Created by: Fernando Amaral

You Can See More Courses in the IT & Software >> Greetings from CourseDown.com

New Courses

Scroll to Top