Тихо неправильные данные хуже упавшего скрипта

#Тихо #Скрипт #FASTA #FASTQ #Почти
Тихо неправильные данные хуже упавшего скрипта

Скрипт, который упал, вы почините за пять минут. Скрипт, который отработал молча и выдал неправильный ответ, вы не почините никогда, потому что не узнаете, что он сломан. В работе с FASTA и FASTQ таких мест неприлично много. Почти все они когда‑то были задуманы как удобство. Вот три, с которыми я сталкивался чаще всего. Первое. Инструмент пишет FASTQ, а качества у записи нет. Вместо ошибки он подставляет строку из I . Файл получается валидный, парсер доволен, а фильтр по качеству дальше по пайплайну видит идеальные риды и пропускает всё подряд. Второе. R1 и R2 разъехались: один файл отфильтровали, второй забыли. На выходе абсолютно корректный FASTQ, просто риды спарены не с теми. Формат не нарушен ни в одном байте. Ни один валидатор не возразит. Третье. Определение Phred‑кодировки по образцу, который одинаково хорошо подходит и под Phred+33, и под Phred+64. Инструмент молча выбирает вариант. Иногда правильный. Общее у всех трёх одно: вместо ошибки вы получаете правдоподобный результат.

Скрипт, который упал, вы почините за пять минут. Скрипт, который отработал молча и выдал неправильный ответ, вы не почините никогда, потому что не узнаете, что он сломан.

В работе с FASTA и FASTQ таких мест неприлично много. Почти все они когда‑то были задуманы как удобство.

Вот три, с которыми я сталкивался чаще всего.

Первое. Инструмент пишет FASTQ, а качества у записи нет. Вместо ошибки он подставляет строку из I. Файл получается валидный, парсер доволен, а фильтр по качеству дальше по пайплайну видит идеальные риды и пропускает всё подряд.

Похожие статьи

Фьючерс из неликвида: почему СПБ Биржа хочет торговать заблокированными акциями Forbes Russia
Forbes Russia

Фьючерс из неликвида: почему СПБ Биржа хочет торговать заблокированными акциями

СПБ Биржа рассматривает запуск производных инструментов на заблокированные иностранные ценные бумаги. Они будут поставочными, то есть с передачей базового актива покупателю. Так биржа может реанимиров...

Forbes Russia
В литовском Вевисе завершили эксгумацию останков 81 советского солдата Life.ru
Life.ru
📈

В литовском Вевисе завершили эксгумацию останков 81 советского солдата

В городе Вевис в Литве завершились археологические работы на месте захоронения советских военнослужащих. В ходе них специалисты эксгумировали останки 81 человека. Об этом сообщил мэр муниципалитета Ге...

Life.ru · Ведомости · Московский Комсомолец Подробнее →
Акции «Башнефти» разошлись в динамике на фоне возможной продажи доли РБК
РБК

Акции «Башнефти» разошлись в динамике на фоне возможной продажи доли

В ходе торгов в среду «префы» «Башнефти» на минимуме теряли до 9%, при этом обыкновенные росли на 1%. В чем причина разной динамики — в материале «РБК Инвестиций

РБК
В Британии начнут выращивать человеческие мини-органы из клеток пациентов РБК
РБК

В Британии начнут выращивать человеческие мини-органы из клеток пациентов

Проект в Кембридже стоимостью £20 млн позволит создать библиотеку стандартизированных органоидов для разработки препаратов. Исследователи рассчитывают точнее оценивать их действие и снизить зависимост...

РБК
Goldman Sachs собирается купить Neos за $2,25 млрд для экспансии на рынке ETF Ведомости
Ведомости

Goldman Sachs собирается купить Neos за $2,25 млрд для экспансии на рынке ETF

Подробности читайте на vedomosti.ru

Ведомости
Складной Google Pixel 11 Pro Fold за 1900 долларов получил новый шарнир и меньшую батарею по сравнению с прошлогодней моделью iXBT.com
iXBT.com

Складной Google Pixel 11 Pro Fold за 1900 долларов получил новый шарнир и меньшую батарею по сравнению с прошлогодней моделью

Зато новая платформа и меньшая масса После обычных Pixel 11 и моделей Pro компания Google также анонсировала складной Pixel 11 Pro Fold. Как и моноблочные модели, эта особо не изменилась относительно ...

iXBT.com