Составление единого набора данных

[Tottoro932]

Из трех выбранных на встрече наборов данных (TBX11K Simplified - TB X-rays with bounding boxes; NIH Chest X-rays и VinBigData Chest X-ray Abnormalities Detection) необходимо составить единый набор.

Важно:

• стандартизировать наборы (чтобы изображения и описания рамок были в едином формате)
• при сборе данных выписывать, сколько изображений с какой патологией, чтобы при необходимости смогли бороться с дисбалансом классов
• разбить большой набор на части (не очень большие по весу), включающие в себя как test, так и train
• предоставить доступ к данным для всех разработчиков

P.S. возможно будет удобнее для каждого набора данных организовать отдельную папку, внутри которой уже разбить сам набор на небольшие фрагменты для скачивания

[Tottoro932]

Upd (18.10.24):

• подготовить в виде файла маленький кусочек данных (~500 изображений)
• посмотреть, можно ли подгружать данные с сервера напрямую в коллаб (+ туториал, как это делать)

[BulatVakhitov]

• Маленький датасет собран и доступен через jupyter lab.

• Данные напрямую в коллаб подгружать нельзя, колаб ругается на запросы к другим серверам через !scp. Альтернатива это загружать архив руками и распаковывать. Туториал, как начать работу с данными подготовлен, и в дальнейшем будет дополняться. Планирую добавить гайд для работы с dicom файлами, после этого планирую загрузить его в репозиторий и закрыть этот issue.

[Tottoro932]

15.11.24
Набор данных побольше собран и доступен через jupyter lab.

[Tottoro932]

22.11.24
Найдены некоторые особенности текущего набора данных, например, на одном изображении могут рядом находится три рамочки одного и того же заболевания. Также набор данных является не сбалансированным и в нем отсутствуют данные по туберкулезу.

Приняты следующая стратегия действий:

1. составление набора данных с туберкулезом (2 класса: здоров\ болен туберкулезом) - на одной картинке только одна рамочка
2. расширение предыдущего варианта, на одном изображении несколько рамочек
3. расширение первого варианта на несколько патологий