Gradient Vanishing

Gradient Vanishing é um problema em redes neurais profundas onde os gradientes se tornam muito pequenos, impedindo o aprendizado efetivo das camadas iniciais.

Exemplo: O uso da função sigmoid pode causar vanishing gradient em redes profundas.

• DeepAI - Vanishing Gradient Problem