Гаразд, прочитайте основні @Extropic_AI (@BasedBeffJezos), які я зміг переглянути під час тренування. TLDR: Стандартне висновування включає в себе виконання купи як послідовних, так і паралельних матричних обчислень, але в кінцевому рахунку все зводиться до імовірнісної вибірки. Extropic створює чіп, який обходить всі ці математичні механізми, а замість цього просто вбудовує вивчений розподіл ймовірностей базового тренувального набору та вибірки безпосередньо з апаратного забезпечення. Це дуже круто!

На самому фундаментальному рівні LLM беруть гігантський тренувальний набір, що складається з токенів, і вивчають структуру між словами, реченнями тощо. Вони не міркують, але насправді вивчають надзвичайно складний розподіл ймовірностей між токенами. Наприклад, якщо я запитаю «Якого кольору небо?», воно подивиться в цей вивчений ПД, а потім побачить [«The», «color», «of», «the», «the», «sky», «is», «blue»] як послідовність з найбільшою ймовірністю. Він прийшов до цього, виконавши купу матричних обчислень. Якщо ви хочете вивчити механіку цього, ви можете прочитати оригінальну статтю Transformer, але, чесно кажучи, це не так важливо. Важливо ось що: 1. Етап навчання: введення великого набору даних --> розподіл ймовірності виведення токенів. 2. Крок виведення: вхідний запит --> відображення виводу при ймовірнісній вибірці. До речі, дійсно крутий (хоча і дещо очевидний результат) заднім числом полягає в тому, що ... ЛМ є ін'єкційними та інвертованими! Це означає, що існує унікальне відображення від prompt до латентного простору і навпаки. Привіт круто!

У будь-якому випадку, дуже крута робота команди Extropic! До речі, сьогодні день ніг, і це було славно.