Redes Neurais (Artificiais)

Conteúdo disponível:

• Introdução à redes neurais (Dissertação Mestrado de 1995)
• Teoria sobre Backpropagation 1, baseado no site da DeepAI (faltam atualizar equações, site algo "quebrado");
• "Glossário" das equações associados com backpropagation e Regra Delta
• Outros algoritmos de aprendizado além do Backpropagation (tradicional) (Adam, RMSProp, AdaGrad, Nesterov, SGD with Momentum)
• Estágios de Desenvolvimento (Produção) de Sistemas baseado em ML.
• Montagem de Conjuntos de Treinamento
• Exemplo de Heurística para treino de Redes MLP (1995)
• Métodos para Inicialização dos pesos de uma rede MLP [Xavier (2010), He (2015)]
• Transferência do Aprendizado (Transfer Learning)

Mais específicos, direcionados com códigos usando Keras/TensorFlow:

• Funções de Ativação (as principais, com gráficos e comentários)

  • Funções de ativação (mais completo, extenso)

• Funções de Custo (Loss Functions)

• Funções de Custo vs Funções de Ativação

• Rede MLP do Chapeuzinho Vermelho:

  • Parte 1 (início, considerações iniciais)
  • Parte 2: Rede MLP, primeiro teste.

• Opções no Algoritmo de Aprendizado (no Keras)

• Examinando Evolução no Treinamento de uma Rede (MSE sobre conjunto de treino)

  • Evolução no Treino da Rede usando R² ou MSE?

• Inicializando de Pesos de uma rede MLP (Xavier, He, LeCun) (lembrando que já passamos por uma "introdução" à esta parte).

• Opções para Ler/Recuperar arquivos de dados para treino/teste de RNs (Parte 1);

• Lendo dados usando Pandas (Parte 2).

  • Como instalar Pandas e Scikit-Learn.
  • Lendo dados de planilhas Excel (Parte 3)
  • Métodos para Validação de Dados
  • Importância de dados com média zero e desvio padrão unitário
  • "Data Food" e "Data Folding"

• Tentando visualizar os pesos de uma rede MLP ➡︎ grafo de um rede #1

• Treinando uma rede:

  • O que são Épocas, Batches e mini-batches?;
  • Keras: controlando ciclos de treino, batches, variando taxas de aprendizado, etc;
  • Usando TensorBoard (dashboards) para acompanhar um treinamento.

• Rede MLP do Chapeuzinho Vermelho - Parte 3 (incorporando heurística customizada para treino "automático" baseado em MSEtre e MSEtst)

Algo sobre Python:

• Intro ao Python.
• Como organizar Módulos e Pacotes Python.
• Uso do Jupyter
• Tentando uso eficaz de Python & Jupyter para desenvolvimento de RNs.
• Bibliotecas Avançadas para ML no Python (SciPy, CuPy, PyTorch, TensorFlow)
• Bibliotecas Avançadas para ML no C++.
• NumPy para usuários MATLAB.
• TensorFlow vs TensorFlow Lite.
• Como instalar TensorFlow (em CPUs sem GPUs Nvidia e CPUs mais antigas: TensorFlow 2.10 + Python 3.8.20).
• Comparativo Keras vs PyTorch.

Videos e Páginas WEB recomendadas

• 3Blue1Brown: Canal YouTube | Site (problemas matemáticos diversos):

  • Para entender graficamente algoritmo backpropagation ➠

    • YouTube: But what is a neural network? | Deep learning chapter 1, 18:39 (em inglês), publicado em 05/10/2017. ★★★★★
    • YouTube: Gradient descent, how neural networks learn | DL2, 20:33 (em inglês), publicado em 16/10/2017. ★★★★★

  • Playlist (YouTube) sobre Redes Neurais do 3Blue1Brown (última atualização: 18/02/2025).

• MIT: 6.S191: Introduction to Deep Learning, (curso em inglês, público, última edição: Jan 6 ~ Jan 10, 2025), Slides e Videos disponíveis.. ★★★★★.

• Lex Fridman ➠ Deep Learning Basics: Introduction and Overview, 1:08:05 (em inglês), de 11/01/2019 (MIT course 6.S094: introductory lecture to Deep Learning); Slides, Website (últimate atualização: 2020). ★★★★

• Multiplicação de matrizes para IA:

  • Quanta Magazine: AI Reveals New Possibilities in Matrix Multiplication, Standard Algorithm X Strassen's Algorithm, YouTube: How AI Discovered a Faster Matrix Multiplication Algorithm, 12:59 (publicado em 22/05/2023).
  • CodEx Seminar ➠ YouTube: Discovering faster matrix multiplication algorithms with deep reinforcement learning, 46:12, Alhussein Fawzi (Google DeepMind), publicado em 20/03/2023. Artigo na Nature (2022).

Referências Bibliográficas recomendadas

➡︎ Livros bastante interessantes podem ser baixados à partir de: FreeComputerBooks.com. Em especial, sugiro uma "espiada" no tópico Top Free Books.

• François Chollet, Deep Learning with Python, 2nd Edt., 504 pp., Oct 2021. 4,8/5 ⭑⭑⭑⭑⭑ (417 avaliações).

  • GitHub de François Chollet](https://github.com/fchollet/deep-learning-with-python-notebooks) com códigos Python/Jupyter do livro . Usa TensorFlow 2.6.

• François Chollet & Matthew Watson, Deep Learning with Python, 3th Edt., 600 pp., April 2025 (estimated).

  Latest features of Keras 3, A primer on JAX, PyTorch, and TensorFlow, Image classification and image segmentation, Time series forecasting, Large Language models, Text classification and machine translation, Text and image generation—build your own GPT and diffusion models!

• Aurélien Géron, Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems, 3rd Edition, 861 pp., O'Reilly Media, Nov 2022. 4,7/5 ⭑⭑⭑⭑⭑ (628 avaliações).

  • Versão em espanhol: Aprende Machine Learning con Scikit-Learn, Keras y TensorFlow. Tercera Edición: Conceptos, herramientas y técnicas para conseguir sistemas inteligentes, June 2023. 4,6/5 ⭑⭑⭑⭑⭑ (77 avaliações).
  • Versão em pt-BR: Mãos à Obra: Aprendizado de Máquina com Scikit-Learn, Keras & TensorFlow: Conceitos, Ferramentas e Técnicas Para a Construção de Sistemas Inteligentes, 2a.Edt, Alta Book, 640 pp., Sept 2021. 4,8/5 ⭑⭑⭑⭑⭑ (628 avaliações).

• Sebastian Raschka, Yuxi (Hayden) Liu, Vahid Mirjalili, Machine Learning with PyTorch and Scikit-Learn: Develop machine learning and deep learning models with Python, Packt Publishing, 770 pp., February 2022. 4.5/5 ⭑⭑⭑⭑⭑ (409 avaliações).

  • GitHub atualizado até Feb 25, 2022.

• Marc Peter Deisenroth, A. Aldo Faisal, Cheng Soon Ong, Mathematics for Machine Learning, Cambridge University Press; 1st edition, eBook (GitHub Edition), PDF, 398pp., April 2020. 4,6/5 ⭑⭑⭑⭑⭑ (874 avaliações).

.

🌊 Fernando Passold 📬 ,