Функция активации нейрона

Функция активации нейрона — нелинейная функция, которая применяется к взвешенной сумме входов искусственного нейрона в модели искусственной нейронной сети. Может быть дискретной (пороговой) или аналоговой в зависимости от модели сети.

Наиболее распространены функции класса сигмоида из-за способности сглаживать сигнал и легкости взятия производной, которая необходима во многих алгоритмах обучения нейросети.

Виды функций

Везде ниже theta — значение взвешенной суммы, поступившей на вход функции активации.

Пороговая функция

f(x) = { 0, x < theta; 1, x >= theta }

Сигмоида

f(x) = 1/(1 + e^(-theta))

Гиперболический тангенс

f(x) = (e^theta — e^(-theta))/(e^theta + e^(-theta))

Вероятностная функция

f(x) = (e^theta)/(sum(e^(theta)_i) for all i)