Manual Pratico do Deep Learning Redes Neurais Profundas
What you’ll learn
Projetar redes neurais profundas para resolver problemas de regressão e classificação binária/multiclasse
Entender os efeitos dos hiperparâmetros no treinamento (qtde. de camadas, qtde. de nerônios, learning rate, momentum, dropout, etc)
Entender por que o treinamento de Redes Neurais não convergem em alguns casos, e como resolver esses problemas
Se tornar um Ninja em Backpropagation, aplicando na prática, e sendo capaz de calcular os gradientes de qualquer função derivável
Implementar uma Rede Neural completa do Zero (com momentum, dropout, regularização L1/L2, learning rate decay, early stopping, batch normalization e freezing)
Requirements
Python básico
Description
Já pensou se as Redes Neurais viessem com um Manual Prático de instruções passo-a-passo sobre como construí-las?Pois é, esse manual agora existe!Com ajuda desse Manual, você vai implementar desde os neurônios mais básicos (como o Perceptron, o Adaline e o Sigmoid) até uma Rede Neural completa com:learning ratemomentumdropoutregularização L1/L2técnicas de inicialização de pesos (normal, uniform, e glorot/xavier)mini-batch Gradiente Descendentefreezinglearning rate decayearly stoppingbatch normalizationAlém disso, esse Manual também contém segredos e dicas de especialistas pra lhe ajudar a treinar suas próprias Redes Neurais bem mais fácil, como:quais os melhores valores para cada hiperparâmetro (learning rate, qtde. de camadas, qtde. neurônios, tamanho do batch, etc)?o que fazer quando a rede não converge?como evitar os problemas de vanishing/exploding gradients?como identificar e resolver underfitting e overfitting?Esse Manual também acompanha a ferramenta essencial pra implementação de Redes Neurais: a Backpropagation.Poucas pessoas sabem utilizá-la, mas nesse Manual você encontra um método único e memorável de ensino conhecido como “deriva quem tá dentro e multiplica por quem tá fora!”.Tudo isso feito pelo autor desse Manual, que:é Google Developer Expert em Machine Learning desde 2018trabalha com Machine Learning e Deep Learning desde 2016é professor de Pós-Graduação em Machine Learningfaz doutorado em Deep Learningtem um nanodegree em Deep Learningtreina Redes Nerais desde 2015
Overview
Section 1: Introdução
Lecture 1 Apresentação do Curso
Lecture 2 Inteligência Artificial, Machine Learning e Deep Learning
Lecture 3 Por que estudar Deep Learning?
Lecture 4 Aplicações do Deep Learning
Lecture 5 Regressão, Classificação, Aprendizado Não-Supervisionado e por Reforço
Lecture 6 Instalações e código-fonte
Section 2: Perceptron
Lecture 7 Perceptron e o bebê que joga pingue-pongue
Lecture 8 Intuição sobre o Perceptron – Parte 1 (Regressão)
Lecture 9 Intuição sobre o Perceptron – Parte 2 (Classificação)
Lecture 10 Manual do Perceptron
Lecture 11 Como o Perceptron aprende?
Lecture 12 Learning Rate e seus efeitos
Lecture 13 Implementando o Perceptron: revisão
Lecture 14 Implementando o Perceptron: pseudo-algoritmo
Lecture 15 Implementando o Perceptron: classificação em python
Lecture 16 Implementando o Perceptron: classificação em numpy
Lecture 17 Exercício de classificação
Lecture 18 Implementando o Perceptron: regressão linear
Lecture 19 Learning rates diferentes pra pesos e bias? Como assim??
Lecture 20 Exercício de regressão
Section 3: Adaline
Lecture 21 Manual do Adaline
Lecture 22 Perceptron vs Adaline
Lecture 23 Como o Adaline aprende?
Lecture 24 Resumos das diferenças entre o Perceptron e o Adaline
Lecture 25 Implementando o Adaline: revisão
Lecture 26 Implementando o Adaline: regressão
Lecture 27 Implementando o Adaline: classificação
Lecture 28 Exercício de classificação
Section 4: Neurônio Sigmoid
Lecture 29 Manual do Neurônio Sigmoid
Lecture 30 Entropia Cruzada (Cross-Entropy)
Lecture 31 Implementando o Neurônio Sigmoid: revisão
Lecture 32 Implementando o Neurônio Sigmoid: scikit-learn
Lecture 33 Implementando o Neurônio Sigmoid: numpy
Lecture 34 Exercício de Regressão Logística: scikit-learn
Lecture 35 Exercício de Regressão Logística: numpy
Section 5: Funções de Ativação
Lecture 36 Características das Funções de Ativação
Lecture 37 Função de Ativação Linear
Lecture 38 Função de Ativação Sigmoid
Lecture 39 Função de Ativação Tanh
Lecture 40 Função de Ativação ReLU
Lecture 41 Função de Ativação Leaky ReLU
Lecture 42 Função de Ativação eLU
Lecture 43 Qual função de ativação utilizar na prática?
Lecture 44 Função Softmax
Lecture 45 Implementando as funções de ativação: linear
Lecture 46 Implementando as funções de ativação: sigmoid
Lecture 47 Implementando as funções de ativação: tanh
Lecture 48 Implementando as funções de ativação: ReLU
Lecture 49 Implementando as funções de ativação: leaky ReLU
Lecture 50 Implementando as funções de ativação: eLU
Section 6: Backpropagation
Lecture 51 O que vamos aprender nesse módulo?
Lecture 52 Circuitos de valores reais e o Alpinista Cego
Lecture 53 Estratégia 1: Busca Aleatória
Lecture 54 Estratégia 2: Busca Aleatória Local
Lecture 55 Estratégia 3: Gradiente Numérico
Lecture 56 A definição de derivadas
Lecture 57 Implementando o Gradiente Numérico
Lecture 58 Estratégia 4: Gradiente Analítico (implementação)
Lecture 59 Resumos das Estratégias
Lecture 60 Múltiplas Portas
Lecture 61 Regra da Cadeia: introdução
Lecture 62 Regra da Cadeia: aplicação
Lecture 63 Regra da Cadeia: implementação
Lecture 64 Interpretando as derivadas
Lecture 65 Verificando as derivadas pelo Gradiente Analítico – parte 1
Lecture 66 Verificando as derivadas pelo Gradiente Analítico – parte 2
Lecture 67 Derivando o Neurônio Sigmoid
Lecture 68 Neurônio Sigmoid como um Circuito – Parte 1
Lecture 69 Se tornando um Ninja em Backpropagation – Parte 1
Lecture 70 Se tornando um Ninja em Backpropagation – Parte 2
Lecture 71 Se tornando um Ninja em Backpropagation – Parte 3
Lecture 72 Se tornando um Ninja em Backpropagation – Parte 4
Lecture 73 Se tornando um Ninja em Backpropagation – Parte 5
Lecture 74 Se tornando um Ninja em Backpropagation – Parte 6
Lecture 75 Se tornando um Ninja em Backpropagation – Parte 7
Lecture 76 Resumo dos Padrões de Backpropagation
Lecture 77 Derivando o Neurônio Sigmoid como um Ninja!
Lecture 78 Derivando o Neurônio Sigmoid como um Ninja no Código – Forward
Lecture 79 Derivando o Neurônio Sigmoid como um Ninja no Código – Backprop
Lecture 80 Exercício de Backpropagation
Lecture 81 Exercício de Backpropagation – Resposta
Section 7: Redes Neurais Profundas
Lecture 82 Introdução ao módulo
Lecture 83 Dimensões das Matrizes – Parte 1
Lecture 84 Dimensões das Matrizes – Parte 2
Lecture 85 Exercício de Dimensões de Matrizes e Bias Trick
Lecture 86 Funções de Custo: Regressão
Lecture 87 Funções de Custo: Classificação Binária
Lecture 88 One-hot Encoding
Lecture 89 Função Softmax
Lecture 90 Funções de Custo: Classificação Multiclasse
Lecture 91 O vídeo mais importante desse curso!
Lecture 92 Intuição sobre Redes Neurais – Exemplo 1 (setup)
Lecture 93 Intuição sobre Redes Neurais – Exemplo 1 (forward)
Lecture 94 Intuição sobre Redes Neurais – Exemplo 1 (backprop)
Lecture 95 Intuição sobre Redes Neurais – Exemplo 2 (implementando a softmax)
Lecture 96 Intuição sobre Redes Neurais – Exemplo 2 (neg log-likelihood)
Lecture 97 Intuição sobre Redes Neurais – Exemplo 2 (softmax + neg log-likelihood)
Lecture 98 Intuição sobre Redes Neurais – Exemplo 2 (feedforward)
Lecture 99 Intuição sobre Redes Neurais – Exemplo 2 (backprop)
Lecture 100 Intuição sobre Redes Neurais – Padrões de Implementação
Lecture 101 Implementando Rede Neural do Zero – Introdução
Lecture 102 Implementando Rede Neural do Zero – Funções de Custo MAE e MSE
Lecture 103 Implementando Rede Neural do Zero – Funções de Custo Cross-Entropy
Lecture 104 Implementando Rede Neural do Zero – Classes Layer e NeuralNetwork
Lecture 105 Implementando Rede Neural do Zero – Parâmetros dos métodos
Lecture 106 Implementando Rede Neural do Zero – fit
Lecture 107 Implementando uma Rede Neural do Zero – feedforward
Lecture 108 Implementando uma Rede Neural do Zero – backprop
Lecture 109 Conferindo a Implementação Básica da Nossa Rede – Exemplo 1
Lecture 110 Conferindo a Implementação Básica da Nossa Rede – Exemplo 2
Lecture 111 Resolvendo Problemas de Regressão: Linear e Multivariada
Lecture 112 Resolvendo Problemas de Regressão: Quadrática
Lecture 113 Resolvendo Problemas de Regressão: Cúbica
Lecture 114 Resolvendo Problemas de Regressão: Logarítmicia
Lecture 115 Resolvendo Problemas de Regressão: Exponencial
Lecture 116 Resolvendo Problemas de Classificação Binária: Porta AND/OR
Lecture 117 Resolvendo Problemas de Classificação Binária: Porta XOR
Lecture 118 Resolvendo Problemas de Classificação Binária: Clusters
Lecture 119 Resolvendo Problemas de Classificação Binária: Moons, Círculos e Espiral
Lecture 120 Resolvendo Problemas de Classificação Multiclasse: 3 Clusters
Lecture 121 Resolvendo Problemas de Classificação Multiclasse: 4 clusters + Espiral
Lecture 122 Resolvendo Problemas de Classificação Multiclasse: 5 classes + Iris
Lecture 123 Métodos de Inicialização de Pesos
Lecture 124 Implementando uma Rede Neural do Zero – Inicialização de Pesos (Parte 2)
Lecture 125 Implementando uma Rede Neural do Zero – Inicialização de Pesos (Parte 3)
Lecture 126 Dropout
Lecture 127 Implementando uma Rede Neural do Zero – Dropout (Feedforward)
Lecture 128 Implementando uma Rede Neural do Zero – Dropout (Backprop)
Lecture 129 Teste da Implementação do Dropout
Lecture 130 Regularização L1
Lecture 131 Regularização L1 (derivada)
Lecture 132 Regularização L2
Lecture 133 Regularização L2 (derivada)
Lecture 134 Implementando uma Rede Neural do Zero – Regularização L1 e L2 (Parte 1)
Lecture 135 Implementando uma Rede Neural do Zero – Regularização L1 e L2 (Parte 2)
Lecture 136 Teste de Implementação da Regularização L1/L2
Lecture 137 Momentum
Lecture 138 Implementando uma Rede Neural do Zero: Momentum
Lecture 139 Teste da Implementação do Momentum
Lecture 140 Mini-batch Gradiente Descendente
Lecture 141 Implementando uma Rede Neural do Zero: Mini-batch Grad. Descendente (Parte 1)
Lecture 142 Implementando uma Rede Neural do Zero: Mini-batch Grad. Descendente (Parte 2)
Lecture 143 Learning Rate Decay
Lecture 144 Implementando uma Rede Neural do Zero: Learning Rate Decay (Parte 1)
Lecture 145 Implementando uma Rede Neural do Zero: Learning Rate Decay (Parte 2)
Lecture 146 Teste da Implementação das Learning Rate Decays
Lecture 147 Early Stopping
Lecture 148 Implementando uma Rede Neural do Zero: Early Stopping
Lecture 149 Teste da Implementação da Early Stopping
Lecture 150 [hotfix] Imprimindo a Perda da Regularização
Lecture 151 Batch Normalization
Lecture 152 Derivada da Batch Norm – Parte 1
Lecture 153 Derivada da Batch Norm – Parte 2
Lecture 154 Implementando uma Rede Neural do Zero: Batch Norm – Parte 1
Lecture 155 Implementando uma Rede Neural do Zero: Batch Norm – Feedforward
Lecture 156 Implementando uma Rede Neural do Zero: Batch Norm – Backprop
Lecture 157 Implementando uma Rede Neural do Zero: Batch Norm
Lecture 158 Teste da Implementação da Batch Normalizaition
Lecture 159 Freezing, Fine-tuning e Transferência de Conhecimento
Lecture 160 Implementando uma Rede Neural do Zero: Freezing
Lecture 161 Teste da Implementação do Freezing
Lecture 162 Implementando uma Rede Neural do Zero: Salvando e Restaurando a Nossa Rede
Lecture 163 Teste da Implementação do Save & Load
Lecture 164 Parabéns!
Section 8: [Opcional] Gradient Checking
Lecture 165 [Opcional] Checagem dos Gradientes
Lecture 166 [Opcional] A Fórmula da Checagem dos Gradientes
Lecture 167 [Opcional] Calculando os Gradientes Aproximados
Lecture 168 [Opcional] Verificando os Gradientes Aproximados
Lecture 169 [Opcional] Verificando os Gradientes na Regressão
Lecture 170 [Opcional] A Regularização L1 e L2 afeta o Gradient Checking?
Lecture 171 [Opcional] Terminando a nossa implementação do Gradient Checking
Lecture 172 [Opcional] Verificando os Gradientes na Classificação Binária e Multiclasse
Section 9: Ajustando Hyperparâmetros – Dicas e Truques
Lecture 173 Introdução
Lecture 174 Inicialização de Pesos, Quantidade de Camadas e Número de Neurônios
Lecture 175 Otimizadores, Funções de Ativação e Dropout
Lecture 176 Regularização e Momentum
Lecture 177 Batch Size
Lecture 178 Funções de Custo, Ativação e Número de Neurônios da Última Camada
Lecture 179 Quantidade de Epochs, Learning Rate e a Dica de Ouro para o Treinamento
Lecture 180 Transfer Learning: quando aplicar?
Lecture 181 O que fazer quando não converge, fica presa no mínimo local ou deu overfitting?
Lecture 182 E se minha rede estiver excelente?
Section 10: Por que Minha Rede Neural Não Funciona?
Lecture 183 Introdução
Lecture 184 Problemas com os dados
Lecture 185 Problemas de Implementação
Lecture 186 Problemas no Treinamento
Lecture 187 Como identificar Underfitting e Overfitting em Gráficos de Perda?
Lecture 188 Como tratar Underfitting e Overfitting?
entusiastas de Machine Learning e Deep Learning que desejam ir além de frameworks como Keras, Tensorflow, PyTorch, etc, entendendo como eles funcionam,curiosos interessados em implementar uma Rede Neural do zero (somente com python e numpy) com taxa de aprendizagem, momentum, dropout, regularização L1/L2, learning rate decay, early stopping, batch normalization, etc..
Course Information:
Udemy | Português | 13h 43m | 4.93 GB
Created by: Arnaldo Gualberto
You Can See More Courses in the Developer >> Greetings from CourseDown.com