Контрольные системы хранения для машинного обучения

arXiv: 2609.05418v1 Annuaire Type: Cross Brieft: Области обучения машин создают уникальные требования к системам хранения, однако большинство существующих контрольных параметров сосредоточены на вычислительной системе, а не на поведении файловой системы I/O. Мы представляем систему контрольных параметров, Neural I/O Basic (NIO Self), которая характеризует схемы доступа к хранилищам в шести различных архитектурах моделей ML: языковые трансформаторы, Vision Transformers, Difsution Models, Spiking нейронные сети, искусственные невральные сети и усиленное обучение. В нашей системе используется двухслойный метод отслеживания, сочетающий крючки уровня Python для семантического фаза и strace Linux в целях полного охвата сизового диапазона, включая субпроцессы рабочих DataLoader. Мы оцениваем все шесть моделей в скоплении Nautilus Kubernetes с распределенной файловой системой Ceph. Наши результаты свидетельствуют о том, что И/О в значительной степени сконцентрированы на подготовке данных, загрузке моделей и контрольно-пропускных пунктах модели. Мы также обнаружили, что подготовка связана с вычислениями, а не данными b