On the importance of centering in artificial neural networks

  • This thesis contributes to a deeper understanding of different types of artificial neural networks (ANNs) by pointing out that data, parameterization, learning rule, and loss function of ANNs are deeply intertwined and should therefore be treated as a unity. In particular, we show that centering is a simple and effective reparametrization of ANNs, which is also a different update direction for standard ANNS that is beneficial for various architectures, update rules, and learning paradigms. Moreover, we propose Hebbian descent as a biological plausible learning rule for single layer ANNs, which is provably convergent, does not suffer from the vanishing error term problems, can deal with correlated data, benefits form seeing patterns several times, and most importantly does not suffer from catastrophic interference.
  • Diese Arbeit trägt zu einem tieferen Verständnis verschiedener Arten von künstlichen neuronalen Netzen (KNNs) bei, indem hervorgehoben wird, dass Daten, Parametrisierung, Lernregel und Verlustfunktion von KNNs eng miteinander verflochten sind und daher als Einheit betrachtet werden sollten. Es wird insbesondere gezeigt, dass "Zentrierung" eine einfache und effektive Reparametrisierung von KNNs ist, welche auch eine andere Aktualisierungsrichtung für standard KNNs ist die für verschiedene Architekturen, Aktualisierungsregeln und Lernparadigmen von Vorteil ist. Desweiteren wird "Hebbian descent" als biologisch plausible Lernregel für einschichtige KNNs vorgeschlagen, welche nachweislich konvergent ist, nicht unter dem Problem des verschwindenden Fehlerterms leidet, mit korrelierten Mustern umgehen kann, von der mehrfachen Sichtung von Mustern profitiert und nicht unter katastrophaler Interferenz leidet.

Download full text files

Export metadata

Statistics

Number of document requests
Metadaten
Author:Jan MelchiorGND
URN:urn:nbn:de:hbz:294-77130
DOI:https://doi.org/10.13154/294-7713
Title Additional (German):Über die Wichtigkeit von Zentrierung in künstlichen neuronalen Netzen
Referee:Laurenz WiskottORCiDGND, Tobias GlasmachersGND
Document Type:Doctoral Thesis
Language:English
Date of Publication (online):2021/01/12
Date of first Publication:2021/01/12
Publishing Institution:Ruhr-Universität Bochum, Universitätsbibliothek
Granting Institution:Ruhr-Universität Bochum, Fakultät für Elektrotechnik und Informationstechnik
Date of final exam:2020/11/20
Creating Corporation:Fakultät für Elektrotechnik und Informationstechnik
GND-Keyword:Maschinelles Lernen; Neuronales Netz; Deep learning; Hebbsche Lernregel; Hippocampus
Institutes/Facilities:Institut für Neuroinformatik
Dewey Decimal Classification:Allgemeines, Informatik, Informationswissenschaft / Informatik
faculties:Fakultät für Elektrotechnik und Informationstechnik
Licence (German):License LogoKeine Creative Commons Lizenz - es gelten der Veröffentlichungsvertrag und das deutsche Urheberrecht