Curso de Verão LNCC 2021 - Deep Learning

Estrutura do curso -> https://eic.cefet-rj.br/~ebezerra/deep-learning-short-course-2021/

Vídeo 1 -> 

Slides -> https://www.dropbox.com/s/uk31znt4gxbmqz2/2021-LNCC-MC04-CD.DL1%20%28ANN%20basics%29.pptx?dl=0

Sobre função de ativação: Nonlinearities are necessary so that the network can learn complex representations of the data.

Sigmoid, tanh, ReLU  

tanh = hiperbólica tangente

Sigmoide: Se os pesos de uma camada se tornarem grandes, a pré-ativação pode abranger um intervalo grand

Vídeo 2 -> https://youtu.be/fk6jzj_53mA

Slides -> https://www.dropbox.com/s/05ymek6zd2ukaml/2021-LNCC-MC04-CD.DL2%20%28Training%20Neural%20Nets%29.pptx?dl=0

Exemplo com pyTorch

Tarefa de Regressão visa inferir/predizer um número real

Quando o propósito de uma RNA é realizar a tarefa de classificação, é comum usar a função softmax na camada de saída. Permite interpretar os valores da camada de saída como uma distribuição de probabilidades (se somar os valores para cada classe o total deve ser 1). 

SIGMOID x ReLU: Durante anos, foi um consenso usar sigmoides mas sua saturação prejudica o cálculo dos gradientes durante o SGD! Atualmente, o consenso é utilizar ReLUs (Rectified Linear Units) pq são mais eficientes para o treinamento (rapidez na convergência) e apresentam menos problemas de saturação. ReLU retorna o máximo entre 0 e o argumento, se o argumento for negativo retorna 0.

Sobre GD: Para muitos algoritmos de aprendizado, precisamos definir uma função de custo e utilizar algum otimizador para minimizar essa função (e.g., GD).- Regressão linear, Regressão logística, Redes Neurais, SVM. Pode ser caro se a quantidade de exemplos de treinamento é muito grande. São algoritmos de otimização numéricas pq dados os parâmetros de uma função encontra o mínimo (ou o máximo) dessa função.

Em cada iteração, para computar o gradiente: o BGD usa todos os exemplos, o SGD usa 1 exemplo (uma amostra do conjunto de treinamento e possui variância grande) e o Mini batch GD: usa b exemplos, onde b pode estar entre 10 e 500 por isso Mini batch GD pode ser melhor em qualidade preditiva e em convergência (mais usados).

Regularização visa evitar que no processo de aprendizado o modelo entre em overfitting (muito ajustado ao conjunto de treinamento, é uma amostra que pode ter outliers), penalizar explicações/modelos complexos demais pq podem não ser generalizáveis. 

Técnicas de regularização: 

Early stopping - dividir o dataset em treinamento, validação e teste. Monitorar o desempenho preditivo com o conjunto de validação de tempos em tempos - "snapshots", época do processo de treinamento. Se a performance diminuir é indício que o aprendizado entrou em overfitting. ; 

L1 regularization; 

L2 regularization; 

Dropout - Abordagem de regularização específica para RNAs que ajuda a reduzir a co-dependência entre os neurônios. 

(Durante o treinamento) para cada camada oculta: 

para cada amostra de treinamento: 

para cada iteração: 

ignorar (zerar) uma fração aleatória, p, de nós (e ativações correspondentes).

O Backpropagation (não é um otimizador) calcula os gradientes. 

Algoritmos genéticos (NAS) para definir qual o número de camadas, quantos neurônios e a melhor função de ativação (hiper parâmetros) ... abordagens para modelar uma rede?

Vídeo 3 -> https://youtu.be/iY3tJJZJDKY

Slides -> https://www.dropbox.com/s/r17rbd8wk2ist0p/2021-LNCC-MC04-CD.DL3%20%28convnets%29.pptx?dl=0

Convolutional Neural Nets (convnets) - A kind of feedforwardnet (FFN), but not entirely fully connected. An RGB image is a tridimensional structure. 

Em uma CNN, encontramos um ou mais estágios, cada qual composto por camadas:(1) de convolução (CONV), (2) de subamostragem(POOL), (3) de normalização de contraste, Ao final, é comum encontrar uma ou mais camadas completamente conectadas seguida de camada softmax (módulo de classificação).

Uma camada de pooling tem o objetivo de compactar o volume de entrada e reduzir o número de parâmetros a serem treinados pela rede. Por exemplo: max pooling, avg pooling, ... Se faz necessário testar mais de uma opção para identificar qual pooling e até mesmo se é necessário.

As camadas iniciais são de convolução, depois pooling e no final as camadas completamente conectadas são lineares. 

Para diferentes tamanhos de entrada é possível incluir camadas para normalizar diferentes tamanhos de largura e altura das imagens antes das camadas convolucionais de treinamento. 

Modelo MLP com backpropagation pode requer one-hot encoding

Os datasets devem estar rotulados sempre ... Existem diversas técnicas de inicialização de pesos ....

Vídeo 4 ->https://youtu.be/TCMiyk026yA

Slides ->https://www.dropbox.com/s/eqhbchllpucn8bx/2021-LNCC-MC04-CD.DL4%20%28apps%2C%20final%20remarks%29.pptx?dl=0

Otimização de hyper parâmetros para ML: grid (testar todas as opções) e random (testar algumas combinações)

Taxa de regularização (Dropout) e Taxa de aprendizado são exemplos de hiper parâmetros (números reais)

No grid são testadas todas as N x M combinações, Random as combinações são geradas aleatoriamente

Trabalhos do grupo de pesquisa do CEFET: Astronomia, Previsão do Tempo, Realidade Virtual (Imersiva ... o vídeo é separado em imagem e audio para extrair features), Aprendizado por Reforço (ML e recentemente é Deep) em Finanças (Ações), Detecção de plágio (Graph structured data usando BERT para embeddings de frases e GNN como a rede de convolução),  Visual Question Answering (Imagem e Pergunta em Texto - Multimodal), 

RNN para geração de texto, Geração de legenda para imagens (bi modal), GANs

LSTM é voltado para sequência de dados mas está caindo em desuso

Transformers são redes MLP com mecanismos de atenção que permitem focar em algum parâmetro de entrada 

BERT (Google) para embeddings de frases para converter objetos em vetores e ser manipulado através de álgebra linear, GPT3 (Microsoft) ... não supervisionado

A maior parte dos modelo DL/ML precisam de exemplos com o sinal associado em grande volume. "Não basta ser Big Data, é preciso ser Big Labelled Data" pq o aprendizado é supervisionado

 Questões Éticas