Formacao Spark com Pyspark o Curso Completo 2022
What you’ll learn
Conhecer a Arquitetura e Detalhes do Spark
Criação de DataFrames
SparkSQL: Crie tabelas e consulta utilizando SQL
Conecte com outras fontes de Dados, como Postgres e MongoDB
Cria Aplicações Spark
Desenvolva modelos preditivos Utilizado Machine Learnig e Spark ML
Cria aplicações próximas ao tempo real com Spark Streaming
Conheça Técnicas de Otimização do Spark
Aprenda a Construir um Cluster com Spark!
Requirements
Conhecimento básicos de Python
Computador capaz de rodar uma VM com Linux
Description
Bem vindo ao melhor e mais atualizado curso de Spark!Na era “Big Data” o Spark se tornou a principal ferramenta de processamento de dados no mundo devido a sua capacidade de processar volumes massivos de dados com alta performance, se tornando uma ferramenta essencial para Cientistas e Engenheiros de Dados. Sua arquitetura distribuída permite processar dados utilizando paralelismo e memória, persistindo dados quando necessário. Além disso o Spark é capaz de importar dados de praticamente qualquer fonte, bem como também exportar dados processados para os principais formatos e bancos de dados utilizados.Do ponto de vista profissional, conhecer Spark é uma das habilidades mais importantes ao lado de Machine Learning e Python. E o melhor disso é o que Spark já traz tudo isso. Você pode utilizar Spark com Python, através do Pyspark, e você pode criar modelos de Machine Learning utilizando as próprias bibliotecas do Spark.Neste curso prático, você vai começar do zero e aprender todas as principais características desta ferramenta. Entre outras coisas você vai:Aprender a instalar e configurar o SparkConhecer o principal objeto de dados: DataFrames do SparkProcessar DataFrames através de transformações e açõesConsultar Dados no Spark com Sintaxe SQLCriar Views e fazer JoinsPersistir dados em disco, criando tabelas em formatos como Parquet e ORCImportar dados de fontes como Mongodb, PostgreSQL e arquivos como Json e ParquetCriar aplicações que você pode rodar na linha de comendoMachine Learning com Spark: crie modelos e faça previsõesConstrua Pipelines de Marchine LearningProcesse dados em tempo real com Spark Structured StreamingOtimize o Spark com Cache, Persistência, Particionamento e BucketingUse Spark com Jupyter NotebooksUse Spark com Pandas e outras bibliotecas do PythonConstrua um Cluster!Você ainda vai encontrar material do curso para baixar: scripts, slides e dados de exemplo.
Overview
Section 1: Introdução
Lecture 1 Instruções Gerais
Lecture 2 Apresentação
Lecture 3 Material para Download
Lecture 4 Introdução ao Spark
Lecture 5 Arquitetura e Componentes
Lecture 6 Context e Session
Lecture 7 Formatos de Big Data
Section 2: Instalação e Primeiros Passos
Lecture 8 Atenção: sobre o ambiente para executar o curso!
Lecture 9 Introdução sobre a Instalação
Lecture 10 Downloads
Lecture 11 Instalando VM Ubuntu
Lecture 12 Instalando Spark
Lecture 13 Bibliotecas Adicionais
Lecture 14 Rodando Exemplos
Lecture 15 Baixando dados de Exemplo
Lecture 16 Opcional: Putty com SSH
Lecture 17 Putty com SSH
Section 3: DataFrames e RDDs
Lecture 18 RDD, Dataset e Dataframe
Lecture 19 RDD parte I
Lecture 20 RDD parte II
Lecture 21 DataFrames Parte I
Lecture 22 DataFrames Parte II
Lecture 23 DataFrames Parte III
Lecture 24 DataFrames Parte IV
Lecture 25 Principais Ações e Transformações
Lecture 26 Exportando dados
Lecture 27 Importando Dados
Lecture 28 Atividades: Faça você mesmo
Lecture 29 Solução do Faça você mesmo
Section 4: Spark SQL
Lecture 30 Spark SQL
Lecture 31 Bancos de Dados e Tabelas
Lecture 32 Tabelas Gerenciadas e Externas
Lecture 33 Views
Lecture 34 Comparando DataFrames com Tabelas SQL
Lecture 35 Joins
Lecture 36 Joins com DataFrames e SQL
Lecture 37 Utilizando Spark-sql
Lecture 38 Atividades: Faça você mesmo
Lecture 39 Solução do Faça você mesmo
Lecture 40 Solução do Faça você mesmo – Continuação
Section 5: Outras Fontes de Dados
Lecture 41 Conectado a Outras Fontes de Dados
Lecture 42 PostgreSQL
Lecture 43 Instalando PostgreSQL
Lecture 44 Drive JDBC
Lecture 45 Lendo e Gravando Dados no PostgreSql
Lecture 46 MongoDB
Lecture 47 Instalando MongoDB
Lecture 48 Lendo e Gravando Dados no MongoDB
Section 6: Criando Aplicações
Lecture 49 Aplicação 1: Escrevendo no Console
Lecture 50 Aplicação 2: Escrevendo no Console com Parâmetros
Lecture 51 Opção e argumentos em Linha de Comando
Lecture 52 Aplicação 3: Conversor de Formatos de Arquivos em Spark
Lecture 53 Atividades: Faça você mesmo
Lecture 54 Solução do Faça você mesmo
Section 7: Machine Learning com Spark
Lecture 55 Fundamentos de Machine Learning
Lecture 56 Machine Learning no Spark
Lecture 57 Preparando Dados para Regressão
Lecture 58 Criando um Modelo de Regressão
Lecture 59 Preparando Dados para Classificação
Lecture 60 Criando um Modelo de Classificação
Lecture 61 Pipelines
Lecture 62 Atividades: Faça você mesmo
Lecture 63 Solução do Faça você mesmo
Section 8: Spark Structured Streaming
Lecture 64 O que é “Streaming”
Lecture 65 Spark Structured Streaming
Lecture 66 Casos Práticos
Lecture 67 De JSON para o Console
Lecture 68 De JSON para PostgreSQL
Section 9: Otimização
Lecture 69 Particionamento
Lecture 70 Particionamento e Bucketing no Spark
Lecture 71 Cache
Lecture 72 Cache e Persistência no Spark
Section 10: Outros Aspectos
Lecture 73 Usando Spark com Notebooks do Jupyter
Lecture 74 Convertendo Pandas para DataFrame do Spark
Lecture 75 Usando biblioteca Koalas
Lecture 76 Spark UI
Lecture 77 Configurações do Spark
Section 11: Construindo um Cluster
Lecture 78 Introdução
Lecture 79 Clonando VMs
Lecture 80 Configurando Nó Master
Lecture 81 Configurando Workers
Lecture 82 Executando tarefas em Cluster
Section 12: Aula Bônus
Lecture 83 Para Saber Mais e Carreira na Área de Dados
Cientistas de Dados, Engenheiros de Dados, Engenheiros de Machine Learning
Course Information:
Udemy | Português | 11h 0m | 3.21 GB
Created by: Fernando Amaral
You Can See More Courses in the IT & Software >> Greetings from CourseDown.com