Функция активации нейрона — нелинейная функция, которая применяется к взвешенной сумме входов искусственного нейрона в модели искусственной нейронной сети. Может быть дискретной (пороговой) или аналоговой в зависимости от модели сети.
Наиболее распространены функции класса сигмоида из-за способности сглаживать сигнал и легкости взятия производной, которая необходима во многих алгоритмах обучения нейросети. Также нелинейность функции обеспечивает эффективность наличия в нейросети нескольких слоев из искусственных нейронов.
Виды функций
Везде ниже theta — значение взвешенной суммы, поступившей на вход функции активации.
Пороговая функция
f(x) = { 0, x < theta; 1, x >= theta }
Сигмоида
f(x) = 1/(1 + e^(-theta))
Гиперболический тангенс
f(x) = (e^theta — e^(-theta))/(e^theta + e^(-theta))
Вероятностная функция
f(x) = (e^theta)/(sum(e^(theta)_i) for all i)