Нет чёрных коробок Вешн будет строить каждый слой, от механизмов внимания до тренировочного цикла. Узнайте, как на самом деле работают большие языковые модели путем создания одного с нуля в Ноде.js и TypeScript. С нуля Dataset, dateloader, внимание, трансформаторный блок, GPT и тренировочный цикл построены по главам. В каждой главе есть точка входа @node-lm/chapts, все на GitHub. Интерактивные WebGPU демо из пакета @node-lm/playground встроены по всему миру.
Показать HN: Создание LLM из Scratch в TypeScript
Я хотел понять трансформаторы на уровне, где нет ничего волшебного, поэтому я создаю модель в стиле ChatGPT из первых принципов TypeScript. Почему не Питон? Я обнаружила, что повторение концепций на другом языке заставляет меня понять нюанс осуществления. Главы охватывают погрузчики данных, встроенные устройства и механизм привлечения внимания. Отзывы приветствуются, если что-то неясно. Замечания: https://news.ycombinator.com/item?id=50085332 Пункты: 7 # Комментарии: 0
