Google открыла TorchTPU: модели PyTorch теперь можно запускать на ускорителях TPU
PyTorch получил открытый стек для TPU c vLLM, SGLang и Hugging Face
Google открыла исходный код TorchTPU — программного стека, который позволяет обучать и запускать модели на тензорных процессорах TPU с использованием PyTorch. Разработка создана совместно с командой PyTorch и призвана сделать TPU полноценным вариантом ускорителя наряду с центральными и графическими процессорами. Существующие программы на PyTorch можно переносить с минимальными изменениями кода, используя привычные интерфейсы для отладки, компиляции и распределённых вычислений.
TorchTPU поддерживает пошаговый режим выполнения для отладки моделей, а также torch.compile, который компилирует вычисления для повышения производительности и эффективности использования памяти. Google также добавила поддержку в экосистему Hugging Face: в Transformers 5 запуск моделей на TPU можно указать через параметр 'device_map="tpu"', а библиотека Diffusers поддерживает выполнение и распределение вычислений между несколькими ускорителями. Для проверки совместимости Transformers с TPU компания организовала регулярные автоматические тесты.
