Función de activación – Redes neuronales

Definición de función de activación

La función de activación se encarga de devolver una salida a partir de un valor de entrada, normalmente el conjunto de valores de salida en un rango determinado como (0,1) o (-1,1).

Se buscan funciones que las derivadas sean simples, para minimizar con ello el coste computacional.

 

Tipos de función de activación

Sigmoid – Sigmoide

La función sigmoide transforma los valores introducidos a una escala (0,1), donde los valores altos tienen de manera asintótica a 1 y los valores muy bajos tienden de manera asintótica a 0.

 

Función Sigmoide

Función Sigmoide

Características de la función signoide:

  • Satura y mata el gradiente.
  • Lenta convergencia.
  • No esta centrada en el cero.
  • Esta acotada entre 0 y 1.
  • Buen rendimiento en la última capa.

 

Tanh – Tangent Hyperbolic – Tangente hiperbólica

La función tangente hiperbólica transforma los valores introducidos a una escala (-1,1), donde los valores altos tienen de manera asintótica a 1 y los valores muy bajos tienden de manera asintótica a -1.

Función tangente hiperbólica

Función tangente hiperbólica

 

Características de la función tangente hiperbólica:

  • Muy similar a la signoide
  • Satura y mata el gradiente.
  • Lenta convergencia.
  • Centrada en 0.
  • Esta acotada entre -1 y 1.
  • Se utiliza para decidir entre uno opción y la contraria.
  • Buen desempeño en redes recurrentes.

 

ReLU – Rectified Lineal Unit

La función ReLU transforma los valores introducidos anulando los valores negativos y dejando los positivos tal y como entran.

Función ReLU

Función ReLU

 

Características de la función ReLU:

  • Activación Sparse – solo se activa si son positivos.
  • No está acotada.
  • Se pueden morir demasiadas neuronas.
  • Se comporta bien con imágenes.
  • Buen desempeño en redes convolucionales.

 

Leaky ReLU – Rectified Lineal Unit

La función Leaky ReLU transforma los valores introducidos multiplicando los negativos por un coeficiente rectificativo y dejando los positivos según entran.

Función Leaky ReLU

Función Leaky ReLU

 

Características de la función Leaky ReLU:

  • Similar a la función ReLU.
  • Penaliza los negativos mediante un coeficiente rectificador.
  • No está acotada.
  • Se comporta bien con imágenes.
  • Buen desempeño en redes convolucionales.

 

Softmax – Rectified Lineal Unit

La función Softmax transforma las salidas a una representación en forma de probabilidades, de tal manera que el sumatorio de todas las probabilidades de las salidas de 1.

Función Softmax

Función Softmax

 

Características de la función Softmax:

  • Se utiliza cuando queremos tener una representación en forma de probabilidades.
  • Esta acotada entre 0 y 1.
  • Muy diferenciable.
  • Se utiliza para para normalizar tipo multiclase.
  • Buen rendimiento en las últimas capas.

Otros artículos que pueden ser de interés:

Autor: Diego Calvo