На момент своєї смерті у 1957 році Джон фон Нейман (JVN) перебував у розпалі глибокого інтелектуального повороту. Хоча він був відомий своєю «архітектурою фон Неймана», що визначає сучасні цифрові комп'ютери (відокремлення обчислень від пам'яті), його останні роки він присвятив розумінню фундаментальних відмінностей між штучними комп'ютерами та біологічним мозком. Він помер, не встигнувши завершити цей синтез, але його незавершені рукописи та лекції (зокрема лекції Сіллімана) заклали основу для галузей обчислювальної нейронауки та відмовостійких обчислень. JVN мав прочитати престижні лекції Сіллімана в Єлі у 1956 році, але був надто хворий, щоб їх проводити. Незавершений рукопис був опублікований посмертно під назвою «Комп'ютер і мозок» (1958). Це залишається його найважливішою працею з цієї теми. У цьому тексті він провів ґрунтовний порівняльний аналіз нервової системи людини та цифрових комп'ютерів свого часу (таких як EDVAC і ENIAC). * «Змішана» природа мозку: JVN стверджував, що мозок не є суто цифровим. Хоча спрацьовування нейрона є бінарною подією (все або нічого), час і частота цих імпульсів є аналоговими. Він дійшов висновку, що мозок використовує гібридний код — частково цифровий, частково аналоговий — де інформація передається не лише через стани «увімкнення/вимкнення», а й за частотою імпульсів (частотна модуляція). * Точність проти надійності: Він зазначив, що цифрові комп'ютери крихкі; Одна помилка може призвести до крашу системи. Мозок, однак, міцний. Він працює з низькою точністю (нейрони шумніші та неточні порівняно з вакуумними лампами), але досягає високої надійності. * Паралелізм: Він визначив, що хоча комп'ютери працюють послідовно (одна інструкція за раз) на дуже високих швидкостях, мозок працює у масивній паралелі на відносно низьких швидкостях. Це було одне з перших формальних визнань того, що ми зараз називаємо масово паралельною обробкою. Одним із найважливіших внесків JVN у теорію нейронних мереж була його стаття «Ймовірнісна логіка та синтез надійних організмів із ненадійних компонентів» (1956). Його захоплював центральний парадокс біології: як біологічні організми виконують складні, надійні функції, коли їхні окремі компоненти (нейрони) схильні до помилок і смерті? * Проблема: У стандартному логічному елементі (наприклад, AND/OR), якщо один компонент виходить з ладу, вихід є неправильним. У мозку з мільярдами нейронів компоненти постійно виходять з ладу, але «система» залишається розсудливою і функціональною. * Розв'язок (мультиплексування): JVN запропонував математичну модель, де окремі дроти замінюються «пучками» дротів, а окремі логічні елементи — «органами», які усереднюють вхідні сигнали. * Логіка більшості: Він запровадив концепцію логіки голосування більшості. Якщо у вас є пучок із 100 проводів, що передає сигнал, і 70 з них кажуть «1», а 30 — «0» (через шум/помилки), система інтерпретує сигнал як «1». Це математично довело, що можна побудувати систему з довільно високим ступенем надійності, навіть якщо базові компоненти є ненадійними. JVN також є батьком клітинних автоматів (CA) — дискретної моделі обчислень, яка базується на сітці клітин, що змінюють стан залежно від сусідів. Це була його спроба математично абстрагувати логіку життя і відтворення. * Універсальний конструктор: Він відомий тим, що створив візерунок клітинних автоматів, які могли копіювати себе — Універсальний Конструктор. Це була теоретична машина, вбудована в сітку, яка могла читати «стрічку» інструкцій і створювати свою копію. * Біологічна аналогія: Дивовижно, але він запропонував цю архітектуру ще до відкриття структури ДНК. Він передбачив, що для саморозмноження організм повинен містити «опис» себе (програмне забезпечення/ДНК) і «механізм» копіювання цього опису (апаратне забезпечення/РНК і білки). Він розглядав проблему самовідтворення як логічну, обчислювальну, а не чисто хімічну.