Функция активации нейрона — различия между версиями
(Новая страница: «'''Функция активации нейрона''' — нелинейная функция, которая применяется к взвешенной…») |
|||
| Строка 1: | Строка 1: | ||
'''Функция активации нейрона''' — нелинейная [[функция]], которая применяется к взвешенной сумме входов искусственного нейрона в модели искусственной нейронной сети. Может быть дискретной (пороговой) или аналоговой в зависимости от модели сети. | '''Функция активации нейрона''' — нелинейная [[функция]], которая применяется к взвешенной сумме входов искусственного нейрона в модели искусственной нейронной сети. Может быть дискретной (пороговой) или аналоговой в зависимости от модели сети. | ||
| − | Наиболее распространены функции класса сигмоида из-за способности сглаживать сигнал и легкости взятия производной, которая необходима во многих алгоритмах обучения нейросети. | + | Наиболее распространены функции класса сигмоида из-за способности сглаживать сигнал и легкости взятия производной, которая необходима во многих алгоритмах обучения нейросети. Также нелинейность функции обеспечивает эффективность наличия в нейросети нескольких слоев из искусственных нейронов. |
== Виды функций == | == Виды функций == | ||
Текущая версия на 21:31, 17 марта 2016
Функция активации нейрона — нелинейная функция, которая применяется к взвешенной сумме входов искусственного нейрона в модели искусственной нейронной сети. Может быть дискретной (пороговой) или аналоговой в зависимости от модели сети.
Наиболее распространены функции класса сигмоида из-за способности сглаживать сигнал и легкости взятия производной, которая необходима во многих алгоритмах обучения нейросети. Также нелинейность функции обеспечивает эффективность наличия в нейросети нескольких слоев из искусственных нейронов.
Содержание
Виды функций
Везде ниже theta — значение взвешенной суммы, поступившей на вход функции активации.
Пороговая функция
f(x) = { 0, x < theta; 1, x >= theta }
Сигмоида
f(x) = 1/(1 + e^(-theta))
Гиперболический тангенс
f(x) = (e^theta — e^(-theta))/(e^theta + e^(-theta))
Вероятностная функция
f(x) = (e^theta)/(sum(e^(theta)_i) for all i)
