Это история про один вечер с Ceph, в котором я сначала героически чинил одиннадцать упавших OSD, потом сам же добил один из них ещё сильнее, а потом ещё пару часов доказывал базе данных, что она умеет читать то, что сама же записала. Спойлер, данные никто не потерял, а я узнал о RocksDB больше, чем собирался узнать в этой жизни.
Кластер большой, несколько сотен OSD, почти тысяча пулов, версия Quincy 17.2.6, всё развёрнуто через cephadm. Обычный рабочий день, ничего не предвещало.
Алерт, который просил откатиться на Luminous
Прилетает алерт, на одном хосте лежат сразу одиннадцать OSD. Хост в этот день перезагружали несколько раз, так что первая мысль была банальной, диски отвалились или железо капризничает. Открываю журнал первого попавшегося OSD и вижу вот такое.
