Когда я взялся за этот небольшой эксперимент, мной двигало исключительно любопытство и желание ответить на вопрос — а что, если взять три моих старых ноутбука, объединить их вычислительные ресурсы и использовать их под инференс LLM? Идея запуска на них чего-то более-менее тяжелого выглядела заманчиво: три процессора, 52 ГБ оперативной памяти — в теории должно получиться быстрее, чем на любом из них по отдельности. Спойлер: почти никогда не быстрее. Однако выяснение причины оказалось интереснее потенциальной истории успеха. Вылезли разные неочевидные вещи: старый процессор был не самым медленным, третий узел не особо помогал, а обработка промпта вела себя противоположно генерации токенов. Сразу же оговорюсь — любой GPU средней ценовой категории сделает ту же самую работу в десятки раз быстрее. Но моя задача была увидеть узкие места в «естественной среде обитания». Приятного чтения. Читать далее
Когда я взялся за этот небольшой эксперимент, мной двигало исключительно любопытство и желание ответить на вопрос — а что, если взять три моих старых ноутбука, объединить их вычислительные ресурсы и использовать их под инференс LLM? Идея запуска на них чего-то более-менее тяжелого выглядела заманчиво: три процессора, 52 ГБ оперативной памяти — в теории должно получиться быстрее, чем на любом из них по отдельности.
Спойлер: почти никогда не быстрее. Однако выяснение причины оказалось интереснее потенциальной истории успеха. Вылезли разные неочевидные вещи: старый процессор был не самым медленным, третий узел не особо помогал, а обработка промпта вела себя противоположно генерации токенов.
Сразу же оговорюсь — любой GPU средней ценовой категории сделает ту же самую работу в десятки раз быстрее. Но моя задача была увидеть узкие места в «естественной среде обитания». Приятного чтения.
Тестовый стенд
Похожие статьи
TechCrunch
TechCrunch
Flock says its new tool will help identify police abuse, but hasn’t explained how it works
The surveillance company announced it's making a tool called "Audit Assistance" mandatory for all customers, claiming it's already helped catch abuse. But the company has yet to explain how the tool w...
Производитель iPhone заявил, что базовый iPhone 18 выйдет только в следующем году
Слухи о том, что компания Apple будет выпускать iPhone 18 и iPhone Ultra поэтапно, ходят уже давно. Как пишет GSMArena, базовая модель iPhone 18 не выйдет в этом году. Данная информация следует из зая...
ИИ-агенты Anthropic развязали междоусобную кибервойну из-за несовместимых задач, но потом помирились
Anthropic проверила, как автономные ИИ-агенты будут вести себя, столкнувшись с другими агентами, преследующими несовместимые цели. Эксперимент показал, что такая ситуация способна приводить не только ...
OpenAI снова перестраивает руководство — директора по доходам сменил экс-президент Wiz
OpenAI сменила директора по доходам Дениз Дрессер (Denise Dresser) спустя всего девять месяцев после её назначения на этот пост. На должность нового руководителя отдела продаж компании назначен бывший...
Writer introduces new AI model and upgraded harness to contain token costs
Built as a post-training variation on Z.ai's open source model GLM-5.2, Writer says the new system should provide deployment-ready capabilities at a much lower price.
