Функция активации нейрона
Материал из ALL
Версия от 20:11, 17 марта 2016; Komandante (обсуждение | вклад) (Новая страница: «'''Функция активации нейрона''' — нелинейная функция, которая применяется к взвешенной…»)
Функция активации нейрона — нелинейная функция, которая применяется к взвешенной сумме входов искусственного нейрона в модели искусственной нейронной сети. Может быть дискретной (пороговой) или аналоговой в зависимости от модели сети.
Наиболее распространены функции класса сигмоида из-за способности сглаживать сигнал и легкости взятия производной, которая необходима во многих алгоритмах обучения нейросети.
Содержание
Виды функций
Везде ниже theta — значение взвешенной суммы, поступившей на вход функции активации.
Пороговая функция
f(x) = { 0, x < theta; 1, x >= theta }
Сигмоида
f(x) = 1/(1 + e^(-theta))
Гиперболический тангенс
f(x) = (e^theta — e^(-theta))/(e^theta + e^(-theta))
Вероятностная функция
f(x) = (e^theta)/(sum(e^(theta)_i) for all i)