Funções de Ativação no Keras
No Keras, várias funções de ativação (também conhecidas como funções de transferência) estão disponíveis para uso em redes neurais. Abaixo estão algumas das funções de ativação mais comuns, suas equações, faixas de entrada e saída, e as equações de suas derivadas.
1. Função Linear (Linear)
- Equação: ( f(x) = x )
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada: ( f'(x) = 1 )
2. Função Sigmóide (Sigmoid)
- Equação: ( f(x) = \frac{1}{1 + e^{-x}} )
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (0, 1) )
- Derivada: ( f'(x) = f(x) \cdot (1 - f(x)) )
3. Função Tangente Hiperbólica (Tanh)
- Equação: ( f(x) = \tanh(x) = \frac{e^{x} - e^{-x}}{e^{x} + e^{-x}} )
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-1, 1) )
- Derivada: ( f'(x) = 1 - \tanh^2(x) )
4. Unidade Linear Retificada (ReLU)
- Equação: ( f(x) = \max(0, x) )
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( [0, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > 0 \
0 & \text{se } x \leq 0
\end{cases}
]
5. ReLU com Vazamento (Leaky ReLU)
- Equação: ( f(x) = \max(\alpha x, x) ), onde ( \alpha ) é uma pequena constante (e.g., 0.01)
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > 0 \
\alpha & \text{se } x \leq 0
\end{cases}
]
6. ReLU Parametrizada (PReLU)
- Equação: ( f(x) = \max(\alpha x, x) ), onde ( \alpha ) é um parâmetro aprendido
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > 0 \
\alpha & \text{se } x \leq 0
\end{cases}
]
7. Exponencial Linear Unit (ELU)
- Equação:
[
f(x) =
\begin{cases}
x & \text{se } x > 0 \
\alpha (e^x - 1) & \text{se } x \leq 0
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\alpha, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > 0 \
f(x) + \alpha & \text{se } x \leq 0
\end{cases}
]
8. Softmax
- Equação: ( f(x_i) = \frac{e^{x_i}}{\sum_{j} e^{x_j}} )
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (0, 1) ), com ( \sum_{i} f(x_i) = 1 )
- Derivada: A derivada do Softmax é mais complexa e depende da entrada específica. Para uma saída ( y_i = f(x_i) ), a derivada parcial em relação a ( x_j ) é:
[
\frac{\partial y_i}{\partial x_j} = y_i (\delta{ij} - y_j)
]
onde ( \delta{ij} ) é o delta de Kronecker.
9. Softplus
- Equação: ( f(x) = \log(1 + e^x) )
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (0, +\infty) )
- Derivada: ( f'(x) = \frac{1}{1 + e^{-x}} )
10. Softsign
- Equação: ( f(x) = \frac{x}{|x| + 1} )
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-1, 1) )
- Derivada: ( f'(x) = \frac{1}{(|x| + 1)^2} )
11. Swish
- Equação: ( f(x) = x \cdot \sigma(\beta x) ), onde ( \sigma ) é a função sigmóide e ( \beta ) é um parâmetro aprendido ou fixo.
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) = \sigma(\beta x) + \beta x \cdot \sigma(\beta x) \cdot (1 - \sigma(\beta x))
]
12. GELU (Gaussian Error Linear Unit)
- Equação: ( f(x) = x \cdot \Phi(x) ), onde ( \Phi(x) ) é a função de distribuição acumulada da distribuição normal padrão.
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) = \Phi(x) + x \cdot \phi(x)
]
onde ( \phi(x) ) é a função de densidade de probabilidade da distribuição normal padrão.
13. SELU (Scaled Exponential Linear Unit)
- Equação:
[
f(x) = \lambda
\begin{cases}
x & \text{se } x > 0 \
\alpha e^x - \alpha & \text{se } x \leq 0
\end{cases}
]
onde ( \lambda ) e ( \alpha ) são constantes escalares.
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\lambda \alpha, +\infty) )
- Derivada:
[
f'(x) = \lambda
\begin{cases}
1 & \text{se } x > 0 \
\alpha e^x & \text{se } x \leq 0
\end{cases}
]
14. Hard Sigmoid
- Equação:
[
f(x) =
\begin{cases}
0 & \text{se } x \leq -2.5 \
0.2x + 0.5 & \text{se } -2.5 < x < 2.5 \
1 & \text{se } x \geq 2.5
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (0, 1) )
- Derivada:
[
f'(x) =
\begin{cases}
0 & \text{se } x \leq -2.5 \
0.2 & \text{se } -2.5 < x < 2.5 \
0 & \text{se } x \geq 2.5
\end{cases}
]
15. Exponencial (Exponential)
- Equação: ( f(x) = e^x )
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (0, +\infty) )
- Derivada: ( f'(x) = e^x )
16. Linear Unit com Limite (Hard Tanh)
- Equação:
[
f(x) =
\begin{cases}
-1 & \text{se } x \leq -1 \
x & \text{se } -1 < x < 1 \
1 & \text{se } x \geq 1
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-1, 1) )
- Derivada:
[
f'(x) =
\begin{cases}
0 & \text{se } x \leq -1 \
1 & \text{se } -1 < x < 1 \
0 & \text{se } x \geq 1
\end{cases}
]
17. Linear Unit com Limite (Hard Sigmoid)
- Equação:
[
f(x) =
\begin{cases}
0 & \text{se } x \leq -2.5 \
0.2x + 0.5 & \text{se } -2.5 < x < 2.5 \
1 & \text{se } x \geq 2.5
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (0, 1) )
- Derivada:
[
f'(x) =
\begin{cases}
0 & \text{se } x \leq -2.5 \
0.2 & \text{se } -2.5 < x < 2.5 \
0 & \text{se } x \geq 2.5
\end{cases}
]
18. Linear Unit com Limite (Hard Swish)
- Equação:
[
f(x) =
\begin{cases}
0 & \text{se } x \leq -3 \
\frac{x(x + 3)}{6} & \text{se } -3 < x < 3 \
x & \text{se } x \geq 3
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
0 & \text{se } x \leq -3 \
\frac{2x + 3}{6} & \text{se } -3 < x < 3 \
1 & \text{se } x \geq 3
\end{cases}
]
19. Linear Unit com Limite (Hard Shrink)
- Equação:
[
f(x) =
\begin{cases}
x & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
20. Linear Unit com Limite (Hard Tanh Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
21. Linear Unit com Limite (Hard Sigmoid Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
22. Linear Unit com Limite (Hard Swish Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
23. Linear Unit com Limite (Hard Tanh Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
24. Linear Unit com Limite (Hard Sigmoid Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
24. Linear Unit com Limite (Hard Sigmoid Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
25. Linear Unit com Limite (Hard Swish Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
26. Linear Unit com Limite (Hard Tanh Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
27. Linear Unit com Limite (Hard Sigmoid Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
28. Linear Unit com Limite (Hard Swish Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
29. Linear Unit com Limite (Hard Tanh Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
30. Linear Unit com Limite (Hard Sigmoid Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
31. Linear Unit com Limite (Hard Swish Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
32. Linear Unit com Limite (Hard Tanh Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
33. Linear Unit com Limite (Hard Sigmoid Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
34. Linear Unit com Limite (Hard Swish Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
35. Linear Unit com Limite (Hard Tanh Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
36. Linear Unit com Limite (Hard Sigmoid Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
37. Linear Unit com Limite (Hard Swish Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
38. Linear Unit com Limite (Hard Tanh Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
39. Linear Unit com Limite (Hard Sigmoid Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
40. Linear Unit com Limite (Hard Swish Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
41. Linear Unit com Limite (Hard Tanh Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
42. Linear Unit com Limite (Hard Sigmoid Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
43. Linear Unit com Limite (Hard Swish Shrink)
- Equação:
[
f(x) =
\begin{cases}
x - \lambda & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
x + \lambda & \text{se } x < -\lambda
\end{cases}
]
- Faixa de Entrada: ( (-\infty, +\infty) )
- Faixa de Saída: ( (-\infty, +\infty) )
- Derivada:
[
f'(x) =
\begin{cases}
1 & \text{se } x > \lambda \
0 & \text{se } -\lambda \leq x \leq \lambda \
1 & \text{se } x < -\lambda
\end{cases}
]
44. Linear Unit com Limite (Hard Tanh Shrink)