Donald Hebb
Tomado de: http://www.uned.es/psico-2-psicologia-general-II/links/photogallery/1pp/personajes/Donald_Hebb.jpg
El concepto de redes neuronales se inició a fines de 1800 como un esfuerzo para describir cómo funciona la mente humana. Estas ideas empezaron a aplicarse a los modelos de máquinas de tipo B de Turing y el Perceptrón.
A principios de 1950 Friedrich Hayek fue uno de los primeros en afirmar la idea de que el orden espontáneo en el cerebro se deriva de las redes descentralizadas basadas en unidades simples (neuronas). A fines de 1940, Donald Hebb realizó una de las primeras hipótesis de un mecanismo de plasticidad neuronal (es decir, de aprendizaje. El aprendizaje Hebbiano se considera un "típico" de aprendizaje sin supervisión y que la regla (y variantes de la misma) es un modelo de principios de la potenciación a largo plazo. El Perceptrón es esencialmente un clasificador lineal para la clasificación de los datos especificados por los parámetros de salida. Sus parámetros están adaptados con una norma ad hoc, similar al estocástico “gradiente de descenso”. Debido a que el producto interno es un operador lineal en el espacio de entrada, el Perceptrón sólo puede clasificar perfectamente un conjunto de datos donde distintas clases son linealmente separables en el espacio de entrada, lo que es un inconveniente ya que en muchas ocasiones las clases no son datos completamente separables. Si bien el desarrollo del algoritmo inicialmente generado cierto entusiasmo, en parte debido a su aparente relación con los mecanismos biológicos, más tarde el descubrimiento de esta insuficiencia causado tales modelos a ser abandonado hasta la introducción de modelos no lineales en el campo.
A principios de 1950 Friedrich Hayek fue uno de los primeros en afirmar la idea de que el orden espontáneo en el cerebro se deriva de las redes descentralizadas basadas en unidades simples (neuronas). A fines de 1940, Donald Hebb realizó una de las primeras hipótesis de un mecanismo de plasticidad neuronal (es decir, de aprendizaje. El aprendizaje Hebbiano se considera un "típico" de aprendizaje sin supervisión y que la regla (y variantes de la misma) es un modelo de principios de la potenciación a largo plazo. El Perceptrón es esencialmente un clasificador lineal para la clasificación de los datos especificados por los parámetros de salida. Sus parámetros están adaptados con una norma ad hoc, similar al estocástico “gradiente de descenso”. Debido a que el producto interno es un operador lineal en el espacio de entrada, el Perceptrón sólo puede clasificar perfectamente un conjunto de datos donde distintas clases son linealmente separables en el espacio de entrada, lo que es un inconveniente ya que en muchas ocasiones las clases no son datos completamente separables. Si bien el desarrollo del algoritmo inicialmente generado cierto entusiasmo, en parte debido a su aparente relación con los mecanismos biológicos, más tarde el descubrimiento de esta insuficiencia causado tales modelos a ser abandonado hasta la introducción de modelos no lineales en el campo.
Cognitron (1975) fue una de las primeras redes neuronales multicapa con un algoritmo de formación. Las redes pueden difundir información en una sola dirección, o pueden rebotar hacia atrás y hacia delante hasta que la libre de activación se produce en un nodo de la red y se instala en un estado final. La capacidad de flujo bidireccional de insumos entre neuronas / nodos fue producido con la de la red de Hopfield (1982), y la especialización de estas capas nodo para fines específicos se introdujo a través de la primera red híbrida. El paralelismo de procesamiento distribuido de mediados del decenio de 1980 se hizo popular con el nombre de conectismo.
El redescubrimiento del algoritmo backpropagation fue probablemente la razón principal por la cual las redes neuronales llamarón la atención del mundo académico y técnico, después de la publicación de "Learning Internal Representations by Error Propagation" en 1986 (Aunque backpropagation propio data de 1974). El original utilizado múltiples capas de red de unidades de peso de suma del tipo f = g (w'x + b), donde g es una función sigmoide o función logística, como las utilizadas en la regresión logística. La nueva estrategia uso una forma más empinada del gradiente estocástico ascendente. El empleo de la regla de la cadena de derivados de la diferenciación en las actualizaciones de parámetros en los resultados de un algoritmo genera 'backpropagate errors ", de ahí la nomenclatura. Sin embargo, es esencialmente una forma de descenso de gradiente.
Determinar los parámetros óptimos en un modelo de este tipo no es trivial, y los métodos más empinados del gradiente de descenso no pueden ser invocados para dar la solución sin un buen punto de partida. En los últimos tiempos, las redes con la misma arquitectura de la red backpropagation se denominan Perceptrón multicapas. Este nombre no impone ninguna limitación sobre el tipo de algoritmo usado para el aprendizaje.
La red backpropagation generado mucho entusiasmo en el momento y hay mucha controversia sobre si este aprendizaje se podría aplicar en el cerebro o no, en parte debido a un mecanismo para revertir la señalización no era evidente en el momento, pero lo que es más importante, porque no hay fuente plausible para la "enseñanza" o "destino" de señal.
No hay comentarios:
Publicar un comentario