Bij zijn dood in 1957 was John von Neumann (JVN) bezig met een diepgaande intellectuele verschuiving. Hoewel hij beroemd was om de "von Neumann-architectuur" die moderne digitale computers definieert (scheiding van berekeningen en geheugen), waren zijn laatste jaren gewijd aan het begrijpen van de fundamentele verschillen tussen kunstmatige computers en de biologische hersenen. Hij stierf voordat hij deze synthese kon voltooien, maar zijn onvoltooide manuscripten en lezingen (specifiek de Silliman-lezingen) legden de basis voor de velden van computationele neurowetenschap en fouttolerante computing. JVN was gepland om de prestigieuze Silliman-lezingen aan Yale te geven in 1956, maar hij was te ziek om ze te presenteren. Het onvoltooide manuscript werd postuum gepubliceerd als The Computer and the Brain (1958). Het blijft zijn meest significante werk over dit onderwerp. In deze tekst voerde hij een rigoureuze vergelijkende analyse uit van het menselijke zenuwstelsel en de digitale computers van zijn tijd (zoals de EDVAC en ENIAC). * De "Gemengde" Natuur van de Hersenen: JVN betoogde dat de hersenen niet puur digitaal zijn. Terwijl het vuren van een neuron een binaire gebeurtenis is (alles-of-niets), zijn de timing en frequentie van die pulsen analoog. Hij concludeerde dat de hersenen een hybride code gebruiken—deels digitaal, deels analoog—waarbij informatie niet alleen wordt overgebracht door "aan/uit"-toestanden, maar ook door de snelheid van pulsen (frequentiemodulatie). * Precisie versus Betrouwbaarheid: Hij merkte op dat digitale computers kwetsbaar zijn; een enkele fout kan het systeem laten crashen. De hersenen daarentegen zijn robuust. Ze functioneren met een lage precisie (neuronen zijn ruisig en onnauwkeurig vergeleken met vacuümbuizen) maar bereiken een hoge betrouwbaarheid. * Parallelisme: Hij identificeerde dat terwijl computers serieel werken (één instructie tegelijk) met zeer hoge snelheden, de hersenen massaal parallel werken met relatief lage snelheden. Dit was een van de vroegste formele erkenningen van wat we nu Massively Parallel Processing noemen. Een van JVN's meest kritische bijdragen aan de theorie van neurale netwerken was zijn paper Probabilistic Logics and the Synthesis of Reliable Organisms from Unreliable Components (1956). Hij was gefascineerd door een centraal paradox van de biologie: Hoe presteren biologische organismen complexe, betrouwbare functies terwijl hun individuele componenten (neuronen) gevoelig zijn voor fouten en dood? * Het Probleem: In een standaard logische poort (zoals EN/OF), als één component faalt, is de output fout. In een hersenen met miljarden neuronen falen componenten constant, toch blijft het "systeem" gezond en functioneel. * De Oplossing (Multiplexing): JVN stelde een wiskundig model voor waarbij enkele draden worden vervangen door "bundels" draden, en enkele logische poorten worden vervangen door "organen" die de binnenkomende signalen gemiddeld. * Meerderheidslogica: Hij introduceerde het concept van meerderheidsstemmen logica. Als je een bundel van 100 draden hebt die een signaal dragen, en 70 daarvan zeggen "1" terwijl 30 "0" zeggen (door ruis/fout), interpreteert het systeem het signaal als "1". Dit bewees wiskundig dat je een systeem kunt bouwen met een willekeurig hoge mate van betrouwbaarheid, zelfs als de onderliggende componenten onbetrouwbaar zijn. JVN is ook de vader van Cellulaire Automata (CA), een discreet model van computation dat afhankelijk is van een raster van cellen die toestanden veranderen op basis van hun buren. Dit was zijn poging om de logica van leven en reproductie wiskundig te abstraheren. * De Universele Constructor: Hij ontwierp beroemd een patroon van cellulaire automata dat zichzelf kon kopiëren—de Universele Constructor. Dit was een theoretische machine ingebed in een raster die een "band" van instructies kon lezen en een kopie van zichzelf kon bouwen. * Biologische Analogie: Opmerkelijk is dat hij deze architectuur voorstelde voordat de structuur van DNA werd ontdekt. Hij voorspelde dat voor zelf-reproductie te werken, een organisme een "beschrijving" van zichzelf (software/DNA) en een "mechanisme" om die beschrijving te kopiëren (hardware/RNA & eiwitten) moest bevatten. Hij behandelde het probleem van zelf-reproductie als een logisch, computationeel probleem in plaats van een puur chemisch probleem.