Manual Pratico do Deep Learning Redes Neurais Profundas

Redes Neurais por debaixo dos panos
Manual Pratico do Deep Learning Redes Neurais Profundas
File Size :
4.93 GB
Total length :
13h 43m

Category

Instructor

Arnaldo Gualberto

Language

Last update

Última atualização em 4/2020

Ratings

4.7/5

Manual Pratico do Deep Learning Redes Neurais Profundas

What you’ll learn

Projetar redes neurais profundas para resolver problemas de regressão e classificação binária/multiclasse
Entender os efeitos dos hiperparâmetros no treinamento (qtde. de camadas, qtde. de nerônios, learning rate, momentum, dropout, etc)
Entender por que o treinamento de Redes Neurais não convergem em alguns casos, e como resolver esses problemas
Se tornar um Ninja em Backpropagation, aplicando na prática, e sendo capaz de calcular os gradientes de qualquer função derivável
Implementar uma Rede Neural completa do Zero (com momentum, dropout, regularização L1/L2, learning rate decay, early stopping, batch normalization e freezing)

Manual Pratico do Deep Learning Redes Neurais Profundas

Requirements

Python básico

Description

Já pensou se as Redes Neurais viessem com um Manual Prático de instruções passo-a-passo sobre como construí-las?Pois é, esse manual agora existe!Com ajuda desse Manual, você vai implementar desde os neurônios mais básicos (como o Perceptron, o Adaline e o Sigmoid) até uma Rede Neural completa com:learning ratemomentumdropoutregularização L1/L2técnicas de inicialização de pesos (normal, uniform, e glorot/xavier)mini-batch Gradiente Descendentefreezinglearning rate decayearly stoppingbatch normalizationAlém disso, esse Manual também contém segredos e dicas de especialistas pra lhe ajudar a treinar suas próprias Redes Neurais bem mais fácil, como:quais os melhores valores para cada hiperparâmetro (learning rate, qtde. de camadas, qtde. neurônios, tamanho do batch, etc)?o que fazer quando a rede não converge?como evitar os problemas de vanishing/exploding gradients?como identificar e resolver underfitting e overfitting?Esse Manual também acompanha a ferramenta essencial pra implementação de Redes Neurais: a Backpropagation.Poucas pessoas sabem utilizá-la, mas nesse Manual você encontra um método único e memorável de ensino conhecido como “deriva quem tá dentro e multiplica por quem tá fora!”.Tudo isso feito pelo autor desse Manual, que:é Google Developer Expert em Machine Learning desde 2018trabalha com Machine Learning e Deep Learning desde 2016é professor de Pós-Graduação em Machine Learningfaz doutorado em Deep Learningtem um nanodegree em Deep Learningtreina Redes Nerais desde 2015

Overview

Section 1: Introdução

Lecture 1 Apresentação do Curso

Lecture 2 Inteligência Artificial, Machine Learning e Deep Learning

Lecture 3 Por que estudar Deep Learning?

Lecture 4 Aplicações do Deep Learning

Lecture 5 Regressão, Classificação, Aprendizado Não-Supervisionado e por Reforço

Lecture 6 Instalações e código-fonte

Section 2: Perceptron

Lecture 7 Perceptron e o bebê que joga pingue-pongue

Lecture 8 Intuição sobre o Perceptron – Parte 1 (Regressão)

Lecture 9 Intuição sobre o Perceptron – Parte 2 (Classificação)

Lecture 10 Manual do Perceptron

Lecture 11 Como o Perceptron aprende?

Lecture 12 Learning Rate e seus efeitos

Lecture 13 Implementando o Perceptron: revisão

Lecture 14 Implementando o Perceptron: pseudo-algoritmo

Lecture 15 Implementando o Perceptron: classificação em python

Lecture 16 Implementando o Perceptron: classificação em numpy

Lecture 17 Exercício de classificação

Lecture 18 Implementando o Perceptron: regressão linear

Lecture 19 Learning rates diferentes pra pesos e bias? Como assim??

Lecture 20 Exercício de regressão

Section 3: Adaline

Lecture 21 Manual do Adaline

Lecture 22 Perceptron vs Adaline

Lecture 23 Como o Adaline aprende?

Lecture 24 Resumos das diferenças entre o Perceptron e o Adaline

Lecture 25 Implementando o Adaline: revisão

Lecture 26 Implementando o Adaline: regressão

Lecture 27 Implementando o Adaline: classificação

Lecture 28 Exercício de classificação

Section 4: Neurônio Sigmoid

Lecture 29 Manual do Neurônio Sigmoid

Lecture 30 Entropia Cruzada (Cross-Entropy)

Lecture 31 Implementando o Neurônio Sigmoid: revisão

Lecture 32 Implementando o Neurônio Sigmoid: scikit-learn

Lecture 33 Implementando o Neurônio Sigmoid: numpy

Lecture 34 Exercício de Regressão Logística: scikit-learn

Lecture 35 Exercício de Regressão Logística: numpy

Section 5: Funções de Ativação

Lecture 36 Características das Funções de Ativação

Lecture 37 Função de Ativação Linear

Lecture 38 Função de Ativação Sigmoid

Lecture 39 Função de Ativação Tanh

Lecture 40 Função de Ativação ReLU

Lecture 41 Função de Ativação Leaky ReLU

Lecture 42 Função de Ativação eLU

Lecture 43 Qual função de ativação utilizar na prática?

Lecture 44 Função Softmax

Lecture 45 Implementando as funções de ativação: linear

Lecture 46 Implementando as funções de ativação: sigmoid

Lecture 47 Implementando as funções de ativação: tanh

Lecture 48 Implementando as funções de ativação: ReLU

Lecture 49 Implementando as funções de ativação: leaky ReLU

Lecture 50 Implementando as funções de ativação: eLU

Section 6: Backpropagation

Lecture 51 O que vamos aprender nesse módulo?

Lecture 52 Circuitos de valores reais e o Alpinista Cego

Lecture 53 Estratégia 1: Busca Aleatória

Lecture 54 Estratégia 2: Busca Aleatória Local

Lecture 55 Estratégia 3: Gradiente Numérico

Lecture 56 A definição de derivadas

Lecture 57 Implementando o Gradiente Numérico

Lecture 58 Estratégia 4: Gradiente Analítico (implementação)

Lecture 59 Resumos das Estratégias

Lecture 60 Múltiplas Portas

Lecture 61 Regra da Cadeia: introdução

Lecture 62 Regra da Cadeia: aplicação

Lecture 63 Regra da Cadeia: implementação

Lecture 64 Interpretando as derivadas

Lecture 65 Verificando as derivadas pelo Gradiente Analítico – parte 1

Lecture 66 Verificando as derivadas pelo Gradiente Analítico – parte 2

Lecture 67 Derivando o Neurônio Sigmoid

Lecture 68 Neurônio Sigmoid como um Circuito – Parte 1

Lecture 69 Se tornando um Ninja em Backpropagation – Parte 1

Lecture 70 Se tornando um Ninja em Backpropagation – Parte 2

Lecture 71 Se tornando um Ninja em Backpropagation – Parte 3

Lecture 72 Se tornando um Ninja em Backpropagation – Parte 4

Lecture 73 Se tornando um Ninja em Backpropagation – Parte 5

Lecture 74 Se tornando um Ninja em Backpropagation – Parte 6

Lecture 75 Se tornando um Ninja em Backpropagation – Parte 7

Lecture 76 Resumo dos Padrões de Backpropagation

Lecture 77 Derivando o Neurônio Sigmoid como um Ninja!

Lecture 78 Derivando o Neurônio Sigmoid como um Ninja no Código – Forward

Lecture 79 Derivando o Neurônio Sigmoid como um Ninja no Código – Backprop

Lecture 80 Exercício de Backpropagation

Lecture 81 Exercício de Backpropagation – Resposta

Section 7: Redes Neurais Profundas

Lecture 82 Introdução ao módulo

Lecture 83 Dimensões das Matrizes – Parte 1

Lecture 84 Dimensões das Matrizes – Parte 2

Lecture 85 Exercício de Dimensões de Matrizes e Bias Trick

Lecture 86 Funções de Custo: Regressão

Lecture 87 Funções de Custo: Classificação Binária

Lecture 88 One-hot Encoding

Lecture 89 Função Softmax

Lecture 90 Funções de Custo: Classificação Multiclasse

Lecture 91 O vídeo mais importante desse curso!

Lecture 92 Intuição sobre Redes Neurais – Exemplo 1 (setup)

Lecture 93 Intuição sobre Redes Neurais – Exemplo 1 (forward)

Lecture 94 Intuição sobre Redes Neurais – Exemplo 1 (backprop)

Lecture 95 Intuição sobre Redes Neurais – Exemplo 2 (implementando a softmax)

Lecture 96 Intuição sobre Redes Neurais – Exemplo 2 (neg log-likelihood)

Lecture 97 Intuição sobre Redes Neurais – Exemplo 2 (softmax + neg log-likelihood)

Lecture 98 Intuição sobre Redes Neurais – Exemplo 2 (feedforward)

Lecture 99 Intuição sobre Redes Neurais – Exemplo 2 (backprop)

Lecture 100 Intuição sobre Redes Neurais – Padrões de Implementação

Lecture 101 Implementando Rede Neural do Zero – Introdução

Lecture 102 Implementando Rede Neural do Zero – Funções de Custo MAE e MSE

Lecture 103 Implementando Rede Neural do Zero – Funções de Custo Cross-Entropy

Lecture 104 Implementando Rede Neural do Zero – Classes Layer e NeuralNetwork

Lecture 105 Implementando Rede Neural do Zero – Parâmetros dos métodos

Lecture 106 Implementando Rede Neural do Zero – fit

Lecture 107 Implementando uma Rede Neural do Zero – feedforward

Lecture 108 Implementando uma Rede Neural do Zero – backprop

Lecture 109 Conferindo a Implementação Básica da Nossa Rede – Exemplo 1

Lecture 110 Conferindo a Implementação Básica da Nossa Rede – Exemplo 2

Lecture 111 Resolvendo Problemas de Regressão: Linear e Multivariada

Lecture 112 Resolvendo Problemas de Regressão: Quadrática

Lecture 113 Resolvendo Problemas de Regressão: Cúbica

Lecture 114 Resolvendo Problemas de Regressão: Logarítmicia

Lecture 115 Resolvendo Problemas de Regressão: Exponencial

Lecture 116 Resolvendo Problemas de Classificação Binária: Porta AND/OR

Lecture 117 Resolvendo Problemas de Classificação Binária: Porta XOR

Lecture 118 Resolvendo Problemas de Classificação Binária: Clusters

Lecture 119 Resolvendo Problemas de Classificação Binária: Moons, Círculos e Espiral

Lecture 120 Resolvendo Problemas de Classificação Multiclasse: 3 Clusters

Lecture 121 Resolvendo Problemas de Classificação Multiclasse: 4 clusters + Espiral

Lecture 122 Resolvendo Problemas de Classificação Multiclasse: 5 classes + Iris

Lecture 123 Métodos de Inicialização de Pesos

Lecture 124 Implementando uma Rede Neural do Zero – Inicialização de Pesos (Parte 2)

Lecture 125 Implementando uma Rede Neural do Zero – Inicialização de Pesos (Parte 3)

Lecture 126 Dropout

Lecture 127 Implementando uma Rede Neural do Zero – Dropout (Feedforward)

Lecture 128 Implementando uma Rede Neural do Zero – Dropout (Backprop)

Lecture 129 Teste da Implementação do Dropout

Lecture 130 Regularização L1

Lecture 131 Regularização L1 (derivada)

Lecture 132 Regularização L2

Lecture 133 Regularização L2 (derivada)

Lecture 134 Implementando uma Rede Neural do Zero – Regularização L1 e L2 (Parte 1)

Lecture 135 Implementando uma Rede Neural do Zero – Regularização L1 e L2 (Parte 2)

Lecture 136 Teste de Implementação da Regularização L1/L2

Lecture 137 Momentum

Lecture 138 Implementando uma Rede Neural do Zero: Momentum

Lecture 139 Teste da Implementação do Momentum

Lecture 140 Mini-batch Gradiente Descendente

Lecture 141 Implementando uma Rede Neural do Zero: Mini-batch Grad. Descendente (Parte 1)

Lecture 142 Implementando uma Rede Neural do Zero: Mini-batch Grad. Descendente (Parte 2)

Lecture 143 Learning Rate Decay

Lecture 144 Implementando uma Rede Neural do Zero: Learning Rate Decay (Parte 1)

Lecture 145 Implementando uma Rede Neural do Zero: Learning Rate Decay (Parte 2)

Lecture 146 Teste da Implementação das Learning Rate Decays

Lecture 147 Early Stopping

Lecture 148 Implementando uma Rede Neural do Zero: Early Stopping

Lecture 149 Teste da Implementação da Early Stopping

Lecture 150 [hotfix] Imprimindo a Perda da Regularização

Lecture 151 Batch Normalization

Lecture 152 Derivada da Batch Norm – Parte 1

Lecture 153 Derivada da Batch Norm – Parte 2

Lecture 154 Implementando uma Rede Neural do Zero: Batch Norm – Parte 1

Lecture 155 Implementando uma Rede Neural do Zero: Batch Norm – Feedforward

Lecture 156 Implementando uma Rede Neural do Zero: Batch Norm – Backprop

Lecture 157 Implementando uma Rede Neural do Zero: Batch Norm

Lecture 158 Teste da Implementação da Batch Normalizaition

Lecture 159 Freezing, Fine-tuning e Transferência de Conhecimento

Lecture 160 Implementando uma Rede Neural do Zero: Freezing

Lecture 161 Teste da Implementação do Freezing

Lecture 162 Implementando uma Rede Neural do Zero: Salvando e Restaurando a Nossa Rede

Lecture 163 Teste da Implementação do Save & Load

Lecture 164 Parabéns!

Section 8: [Opcional] Gradient Checking

Lecture 165 [Opcional] Checagem dos Gradientes

Lecture 166 [Opcional] A Fórmula da Checagem dos Gradientes

Lecture 167 [Opcional] Calculando os Gradientes Aproximados

Lecture 168 [Opcional] Verificando os Gradientes Aproximados

Lecture 169 [Opcional] Verificando os Gradientes na Regressão

Lecture 170 [Opcional] A Regularização L1 e L2 afeta o Gradient Checking?

Lecture 171 [Opcional] Terminando a nossa implementação do Gradient Checking

Lecture 172 [Opcional] Verificando os Gradientes na Classificação Binária e Multiclasse

Section 9: Ajustando Hyperparâmetros – Dicas e Truques

Lecture 173 Introdução

Lecture 174 Inicialização de Pesos, Quantidade de Camadas e Número de Neurônios

Lecture 175 Otimizadores, Funções de Ativação e Dropout

Lecture 176 Regularização e Momentum

Lecture 177 Batch Size

Lecture 178 Funções de Custo, Ativação e Número de Neurônios da Última Camada

Lecture 179 Quantidade de Epochs, Learning Rate e a Dica de Ouro para o Treinamento

Lecture 180 Transfer Learning: quando aplicar?

Lecture 181 O que fazer quando não converge, fica presa no mínimo local ou deu overfitting?

Lecture 182 E se minha rede estiver excelente?

Section 10: Por que Minha Rede Neural Não Funciona?

Lecture 183 Introdução

Lecture 184 Problemas com os dados

Lecture 185 Problemas de Implementação

Lecture 186 Problemas no Treinamento

Lecture 187 Como identificar Underfitting e Overfitting em Gráficos de Perda?

Lecture 188 Como tratar Underfitting e Overfitting?

entusiastas de Machine Learning e Deep Learning que desejam ir além de frameworks como Keras, Tensorflow, PyTorch, etc, entendendo como eles funcionam,curiosos interessados em implementar uma Rede Neural do zero (somente com python e numpy) com taxa de aprendizagem, momentum, dropout, regularização L1/L2, learning rate decay, early stopping, batch normalization, etc..

Course Information:

Udemy | Português | 13h 43m | 4.93 GB
Created by: Arnaldo Gualberto

You Can See More Courses in the Developer >> Greetings from CourseDown.com

New Courses

Scroll to Top