Informational Efficiency of Sparsely Encoded Hopfield-Like Autoassociative Memory

0103280 - UIVT-O 20040021 RIV US eng J - Článek v odborném periodiku
Frolov, A. A. - Húsek, Dušan - Muraviev, I. P.
Informational Efficiency of Sparsely Encoded Hopfield-Like Autoassociative Memory.
[Informační kapacita asociativní paměti založené na řídce kódované neuronové síti Hopfieldova typu.]
Optical Memory and Neural Networks (Information Optics). Roč. 12, č. 3 (2003), s. 177-198. ISSN 1060-992X
Výzkumný záměr: CEZ:AV0Z1030915
Klíčová slova: neural networks * Hopfield network * sparse coding
Kód oboru RIV: BA - Obecná matematika

A sparsely encoded Hopfield-like attractor neural network is investigated analytically and by computer simulation. Informational capacity, recall quality and attractor basins size are evaluated. Asymptotic properties of the neural network are revealed by computer simulation for large network size (up to 150000 of neurons). It is shown that the size of attraction basins changes nonmonotonically while sparseness increases: initially it increases and then decreases. Thus in the limit case of high sparseness, it worsens the network ability to correct destroyed prototypes while it improves both informational capacity and recall quality. The gain of information provided by the network due to correction of the destroyed prototypes is used as cumulative index of the network ability to perform the functions of autoassociative memory. There exists an optimal sparseness for which the gain is maximal. The optimal sparseness happened to correspond to brain neural activity.

Asociativní paměť založená na řídce kódované atraktorové neuronové síti je analyzována jak pomocí analytického modelu jejího makroskopického chování, tak pomocí simulace Monte Carlo. Asymptotické chování neuronové sítě bylo nalezeno pomocí počítačových simulací pro velký počet neuronů (až 150000). Je ukázáno, že velikost bazénu atrakce se nemonotónně mění v závislosti na řídkosti kódování. Zpočátku se zvětšuje, potom opět klesá. To znamená v limitním případě řídkého kódování dochází ke ztrátě schopnosti sítě asociativně obnovovat poškozené prototypy, avšak stoupá její kapacita a kvalita vyhledávání. Informační zisk poskytovaný sítí daný její schopností restaurovat poškozené prototypy je použit jako kumulativní index schopnosti sítě provádět funkce asociativní paměti. Je ukázána existence optimální řídkosti kódování, kdy je tento zisk maximální. Ukázalo se, že optimální řídkost kódování odpovídá neuronální aktivitě v mozku.
Trvalý link: http://hdl.handle.net/11104/0010592