Google: Open-Sources TorchTPU, коренной PyTorch задней оконечности для TPU

Данный проект предусматривает использование модели PyTorch для обработки тензоров Google (TPU), что позволяет пользователям использовать модели и операции Py Torch на устройствах ТПУ. Она включает в себя индивидуальные ядра ATen для различных операций PyTorch, кэш-компиляционный тайник для оптимизации исполнения и примеры распределенной подготовки кадров и моделирования. - Внедрение ядер PyТorch Aten для TU. - Компьютерный кешок для оптимального выполнения вычислений XLA. - Поддержка распределенного обучения (параллелизм данных, параллелизма тензоров). - Примеры различных моделей (Лама, Qwen, ReSNet, DLRM, минGPT, UNet) - Интеграция с факелом.compile() для выполнения графического режима. - Utillities for debugging and сравнительный анализ. С руководством для пользователей можно ознакомиться на сайте https://torchtpu.readthedocs.io/. Это статическая версия интерактивных тетрадей. С ними можно ознакомиться в папке документов. Записные книжки Маримо (подобны Джупитеру). Они могут быть загружены файлом для редактирования маримо.py, а затем вы можете получить доступ к ним в вашем браузере. Вы должны будете прогнать это из TPU VM, случай v6e GCE проще всего. Те же инструкции содержатся в руководстве для пользователей, связанном с указанным выше. Политика поддержки Python версии ForchTPU совпадает с Матрицей совместимости выбросов PyTorch. В настоящее время поддерживается Python 3.11+. Более подробную информацию см. в Python Version Support Policy. Во-первых, создать виртуальную…