På tidspunktet for sin død i 1957 var John von Neumann (JVN) midt i et dypt intellektuelt vendepunkt. Selv om han er kjent for «von Neumann-arkitekturen» som definerer moderne digitale datamaskiner (separasjon mellom beregning og minne), var hans siste år viet til å forstå de grunnleggende forskjellene mellom kunstige datamaskiner og den biologiske hjernen. Han døde før han å fullføre denne syntesen, men hans uferdige manuskripter og forelesninger (spesielt Silliman-forelesningene) la grunnlaget for feltene beregningsnevrovitenskap og feiltolerant databehandling. JVN skulle holde de prestisjetunge Silliman-forelesningene ved Yale i 1956, men han var for syk til å holde dem. Det uferdige manuskriptet ble utgitt posthumt som The Computer and the Brain (1958). Det er fortsatt hans mest betydningsfulle verk om dette emnet. I denne teksten utførte han en grundig komparativ analyse av det menneskelige nervesystemet og datidens digitale datamaskiner (som EDVAC og ENIAC). * Den "blandede" naturen til hjernen: JVN argumenterte for at hjernen ikke er rent digital. Selv om en nevron som fyrer er en binær hendelse (alt-eller-ingenting), er timingen og frekvensen av disse pulsene analoge. Han konkluderte med at hjernen bruker en hybridkode—delvis digital, delvis analog—hvor informasjon formidles ikke bare via «på/av»-tilstander, men også av pulsfrekvensen (frekvensmodulasjon). * Presisjon vs. pålitelighet: Han påpekte at digitale datamaskiner er sprø; En enkelt feil kan krasje systemet. Hjernen, derimot, er robust. Den opererer med lav nøyaktighet (nevronene er støyende og upresise sammenlignet med vakuumrør), men oppnår høy pålitelighet. * Parallellisme: Han identifiserte at mens datamaskiner opererer seriell (én instruksjon om gangen) med svært høye hastigheter, opererer hjernen i massiv parallell med relativt lave hastigheter. Dette var en av de tidligste formelle anerkjennelsene av det vi nå kaller massiv parallell prosessering. Et av JVNs mest kritiske bidrag til nevral nettverksteori var hans artikkel Probabilistic Logics and the Synthesis of Reliable Organisms from Unreliable Components (1956). Han var fascinert av et sentralt paradoks i biologien: Hvordan utfører biologiske organismer komplekse, pålitelige funksjoner når deres individuelle komponenter (nevroner) er utsatt for feil og død? * Problemet: I en standard logisk port (som AND/OR), hvis en komponent feiler, er utgangen feil. I en hjerne med milliarder av nevroner svikter komponentene konstant, men «systemet» forblir fornuftig og funksjonelt. * Løsningen (multipleksing): JVN foreslo en matematisk modell der enkeltledninger erstattes av «bunter» av ledninger, og enkeltlogikkporter erstattes av «organer» som gjennomsnitter de innkommende signalene. * Flertallslogikk: Han introduserte konseptet flertallsstemmelogikk. Hvis du har en bunt på 100 ledninger som bærer et signal, og 70 av dem sier "1" mens 30 sier "0" (på grunn av støy/feil), tolker systemet signalet som "1". Dette beviste matematisk at man kan bygge et system med en vilkårlig høy grad av pålitelighet selv om de underliggende komponentene er upålitelige. JVN er også faren til Cellular Automata (CA), en diskret beregningsmodell som baserer seg på et rutenett av celler som endrer tilstand basert på sine naboer. Dette var hans forsøk på å matematisk abstrahere livets og reproduksjonens logikk. * Den universelle konstruktøren: Han designet berømt et mønster av cellulære automater som kunne kopiere seg selv—den universelle konstruktøren. Dette var en teoretisk maskin innebygd i et rutenett som kunne lese et «bånd» med instruksjoner og bygge en kopi av seg selv. * Biologisk analogi: Merkverdig nok foreslo han denne arkitekturen før oppdagelsen av DNA-strukturen. Han forutsa at for at selvreproduksjon skal fungere, må en organisme inneholde en "beskrivelse" av seg selv (programvare/DNA) og en "mekanisme" for å kopiere denne beskrivelsen (maskinvare/RNA og proteiner). Han behandlet selvreproduksjonsproblemet som et logisk, beregningsmessig problem snarere enn et rent kjemisk problem.