Funções de Custo $\times$ Funções de Ativação

Intro

A escolha da função de custo e da função de ativação em uma rede neural multicamadas é crucial para garantir uma convergência eficiente e estável durante o treinamento. A combinação adequada entre função de custo e função de ativação depende do tipo de problema (classificação, regressão, etc.) e da arquitetura da rede. Abaixo, segue lista das Funções de Custo mais comuns e eficientes para certo tipo de Função de Ativação.

1. Classificação Binária

• Função de Custo: BinaryCrossentropy

• Função de Ativação (camada de saída): Sigmoid

• Justificativa:

  • A função Sigmoid mapeia a saída para um valor entre 0 e 1, representando a probabilidade de pertencer à classe positiva.
  • A BinaryCrossentropy é projetada para problemas de classificação binária, onde a saída é uma probabilidade.

Exemplo:

​x
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
​
model = Sequential()
model.add(Dense(16, input_dim=20, activation='relu'))  # Camada oculta
model.add(Dense(1, activation='sigmoid'))  # Camada de saída para classificação binária
​
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

2. Classificação Multiclasse

• Função de Custo: CategoricalCrossentropy (rótulos one-hot) ou SparseCategoricalCrossentropy (rótulos inteiros)

• Função de Ativação (camada de saída): Softmax

• Justificativa:

  • A função Softmax normaliza as saídas para que representem uma distribuição de probabilidade sobre as classes.
  • A CategoricalCrossentropy é adequada para problemas com múltiplas classes, onde cada classe é representada por um vetor one-hot.

Exemplo:

xxxxxxxxxx
model = Sequential()
model.add(Dense(16, input_dim=20, activation='relu'))  # Camada oculta
model.add(Dense(10, activation='softmax'))  # Camada de saída para 10 classes
​
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])

3. Regressão

• Função de Custo: MeanSquaredError (MSE) ou MeanAbsoluteError (MAE)

• Função de Ativação (camada de saída): Nenhuma (saída linear) ou ReLU (se os valores forem positivos)

• Justificativa:

  • Para problemas de regressão, a saída é um valor contínuo, e a função de custo deve medir o erro entre o valor previsto e o valor real.
  • O MSE é sensível a outliers, enquanto o MAE é mais robusto.

Exemplo:

xxxxxxxxxx
model = Sequential()
model.add(Dense(16, input_dim=20, activation='relu'))  # Camada oculta
model.add(Dense(1))  # Camada de saída para regressão (sem ativação)
​
model.compile(optimizer='adam', loss='mean_squared_error')

4. Problemas com Outliers (Regressão)

• Função de Custo: Huber ou LogCosh

• Função de Ativação (camada de saída): Nenhuma (saída linear)

• Justificativa:

  • A função Huber combina as vantagens do MSE e do MAE, sendo menos sensível a outliers.
  • A função LogCosh é suave e menos sensível a grandes erros.

Exemplo:

xxxxxxxxxx
import tensorflow as tf
​
model = Sequential()
model.add(Dense(16, input_dim=20, activation='relu'))  # Camada oculta
model.add(Dense(1))  # Camada de saída para regressão
​
model.compile(optimizer='adam', loss=tf.keras.losses.Huber(delta=1.0))

5. Classificação com Margem Máxima (SVM-like)

• Função de Custo: Hinge

• Função de Ativação (camada de saída): Tanh ou Linear

• Justificativa:

  • A função Hinge é usada em problemas de classificação binária onde se deseja maximizar a margem entre as classes, semelhante a uma SVM (Support Vector Machine).

Exemplo:

xxxxxxxxxx
model = Sequential()
model.add(Dense(16, input_dim=20, activation='relu'))  # Camada oculta
model.add(Dense(1, activation='tanh'))  # Camada de saída para classificação binária
​
model.compile(optimizer='adam', loss='hinge', metrics=['accuracy'])

6. Problemas de Contagem (Distribuição de Poisson)

• Função de Custo: Poisson

• Função de Ativação (camada de saída): Exponential ou Softplus

• Justificativa:

  • A função Poisson é adequada para problemas onde a saída representa contagens ou eventos raros, seguindo uma distribuição de Poisson.

Exemplo:

xxxxxxxxxx
model = Sequential()
model.add(Dense(16, input_dim=20, activation='relu'))  # Camada oculta
model.add(Dense(1, activation='exponential'))  # Camada de saída para contagem
​
model.compile(optimizer='adam', loss='poisson')

7. Comparação de Similaridade

• Função de Custo: CosineSimilarity

• Função de Ativação (camada de saída): Nenhuma (saída linear)

• Justificativa:

  • A função CosineSimilarity mede a similaridade entre dois vetores, sendo útil em problemas como embedding ou recomendação.

Exemplo:

xxxxxxxxxx
model = Sequential()
model.add(Dense(16, input_dim=20, activation='relu'))  # Camada oculta
model.add(Dense(1))  # Camada de saída para similaridade
​
model.compile(optimizer='adam', loss='cosine_similarity')

Resumo das Combinações Recomendadas

Dicas Gerais

1. Inicialização de Pesos: Use inicializações adequadas (como HeNormal ou GlorotUniform) para evitar problemas de vanishing/exploding gradients.
2. Normalização dos Dados: Certifique-se de que os dados de entrada estejam normalizados ou padronizados para melhorar a convergência.
3. Monitoramento: Use métricas como accuracy para classificação ou mean_absolute_error para regressão para monitorar o desempenho.
4. Experimentação: Em problemas complexos, pode ser necessário testar diferentes combinações de funções de custo e ativação para encontrar a melhor configuração.

Essas combinações são amplamente utilizadas e comprovadas na prática, mas a escolha final pode depender das características específicas do seu problema e dos dados.

20/03/2025