МЕТОДЫ НЕЙРОСЕТЕВОЙ ОБРАБОТКИ БИОМЕДИЦИНСКИХ ДАННЫХ МРТ

Аннотация. В статье представлен обзор существующих инструментальных средств обработки данных магнитно-резонансной томографии, направленных на изучение областей интереса при проведении биомедицинских исследований. Рассматриваются методы автоматической сегментации, в основе которых лежат искусственные нейронные сети различных типов и архитектур.

Ключевые слова: магнитно-резонансная томография, обработка данных, сегментация, области интереса, нейронные сети.

Введение

Магнитно-резонансная томография (МРТ) на сегодняшний день является одним из мощнейших инструментов при проведении биомедицинских исследований. Анализ МРТ-снимков позволяет получить информацию о состоянии внутренних органов и тканей, отследить динамику патологических процессов, что дает возможность спланировать стратегию лечения или будущих научных экспериментов. Автоматизация процесса сегментации областей интереса позволит ускорить изучение данных МРТ и улучшить качество анализа за счет вычисления различных информативных параметров (объем, расположение, динамика). Популярным методом сегментации являются искусственные нейронные сети (ИНС). В настоящей работе сделан упор на анализ и применение нейронных сетей специальной архитектуры, включая сверточные (СНС), глубокие (ГНС), клеточные (КНС), которые оказались наиболее эффективными в задачах обработки изображений и распознавания образов.

1. Применение специальных нейронных сетей для обработки данных МРТ

Задача автоматической сегментации мозга решалась с помощью глубоких нейронных сетей [1]. Структура предлагаемой сети (рис. 1) включает слои свертки и субдискретизирующие слои, выбирающие максимум (max-pooling).

Слои свертки обрабатывают 2D- и 3D-фрагменты (патчи) для определения локальных признаков на разных позициях на изображении. Слои max-pooling уменьшают размер карты признаков путем слияния групп нейронов.

Как видно из рис. 2в, полученный результат в целом приближен к ручной разметке, что говорит об эффективности предложенного нейросетевого метода.

В работе [2] предлагается применение клеточных нейронных сетей для диагностики рака молочных  желез. На рис. 3 представлена схема предлагаемого метода с использованием КНС.

Результат сегментации представлен на рис. 4.

В качестве предобработки проводится нормализация яркости исходного изображения по формуле

В основе метода лежит использование двух КНС, одна из которых применяется для определения порогов по уровню серого, другая направлена на устранение мелких объектов и на сглаживание острых углов.

1. Автоматическая сегментация МРТ-снимков с помощью сверточных нейронных сетей

В работе [6] предлагается решение задачи автоматической сегментации мозга на разные классы тканей с помощью набора СНС. Для каждого класса входное изображение разбивается на некоторое число фрагментов разного размера. Каждая СНС обучается классифицированию фрагментов определенного размера. Структура иcпользуемой сети показана на рис. 5.

Как показано в статье, качество классификации оказывается выше, чем в случае использования только одной сети. Это объясняется тем, что отдельная нейронная сеть лучше настраивается на извлечение признаков из фрагмента конкретного размера.

Количество выходных классов N задается пользователем. В проведенных экспериментах для обработки снимков новорожденных N задавалось равным 9 (8 классов тканей и фон), для снимков пожилых взрослых N=8 (7 классов тканей и фон), для снимков молодых взрослых N=7 (6 классов тканей и фон).

На рис. 6 приведены примеры результаты работы СНС при сегментации снимков мозга. Первые три столбца (слева направо) – снимки мозга новорожденных, четвертый столбец – снимки мозга пожилых взрослых, пятый столбец – снимки мозга молодых взрослых. Средняя строка – ручная сегментация, нижняя строка – автоматическая сегментация с помощью СНС. Как можно заметить, сегментация снимков с помощью СНС показывает хорошие результаты.

Сверточные нейронные сети показали эффективность в задаче выделения глиомы [8]. Общая схема предлагаемого в работе [8] метода представлена на рис. 7.

Из рисунка видно, что авторы применяют предварительную обработку входных данных. В статье показано, что она статистически значимо улучшает качество сегментации. Для предобработки последовательно применяются метод winsorizing, заменяющий выбросы яркости, и метод нормализации яркости изображения N4ITK [7]. После этого изображение преобразуется так, чтобы математическое ожидание и дисперсия яркости составляли 0 и 1 соответственно. Качество сегментации улучшается за счет увеличения количества размеченных изображений с помощью поворотов на углы, кратные 90º. Структура используемой сети представлена в таблице 1.

Табл. 1. Структура нейронной сети для обнаружения глиом высокого уровня злокачественности (High Grade Gliomas – HGG).

В архитектуре СНС, используемой в работе [8], задействованы следующие слои:

– сверточные (Conv. – Convolutional layer);

– субдискретизирующие слои, выбирающие максимум (Max-pool.);

– полносвязные (FC – Fully-Connected layer).

На рис. 8 отображены некоторые из результатов выделения зоны интереса врача-исследователя с помощью представленного в работе [8] метода.

Переход от обработки последовательности двухмерных изображений к трехмерным позволит получить больше информации об исследуемом объекте. Эффективность использования 3D-сверточных нейронных сетей при сегментации областей интереса продемонстрирована в работе [4]. Структура используемой многомасштабной трехмерной СНС (рис. 9) выделяется использованием «двух путей» (dual pathway multi-scale 3D Convolutional Neural Network) – на одном пути сеть обучается определению местоположения зоны интереса внутри мозга, на другом фиксируется внешний вид структур.

На рис. 10 приведено сравнение результатов работы многомасштабной трехмерной СНС (справа) и одномасштабной нейронной сети (посередине). В крайнем левом столбце показана ручная разметка зон интереса.



В работе показано, что сеть, обученная на одних данных, может быть дообучена на небольшом объеме других и успешно применяться. Данная сеть была применена для выделения трех типов повреждений головного мозга: ишемического инсульта, травм и опухолей. Для пост-обработки и удаления ложных срабатываний авторы работы используют расширенный метод Conditional Random Field [5].

В статье [3] получены хорошие результаты с помощью трехмерной СНС. Архитектура сети показана на рис. 11.

Данная структура интересна тем, что используются операции, обратные свертке (деконволюция), пример подобного преобразования представлен на рис. 12. Это позволяет учитывать как информацию об окрестности точки, так и о ее положении, не используя несколько сетей для фрагментов разного размера, как в других рассмотренных работах.

В работе предложено применение коэффициента Dice в качестве расстояния между полученной и эталонной сегментацией:

где  𝑁– количество вокселей, 𝑝𝑖– значение метки класса полученной сегментации, 𝑔𝑖– эталонной.

На рис. 13 представлено сравнение результатов работы СНС с использованием коэффициента Dice (зеленый цвет) и re-weighted soft-max (желтый цвет).

В работе [9], выполненной с участием одного из авторов настоящей статьи, СНС используются для нахождения ишемического поражения мозга лабораторного животного на ИКД-картах (ИКД – измеряемый коэффициент диффузии). Для решения этой задачи была подобрана оптимальная структура нейронной сети:

– входное окно 4×4 элемента (всего 16 коэффициентов интенсивности);

– слой свертки с картами признаков размером 3×3;

– maxout-слой с обучаемой активационной функцией;

– субдискретизирующий слой, выбирающий максимум (max-pooling);

– dropout-слой    с     регулируемой     вероятностью     p     отключения     связей     между     нейронами (экспериментально установлено: p = 0,05);

– слой свертки с картами признаков размером 1×1;

– слой нейронов с активационной функцией типа гиперболический тангенс. На рис. 14 отображена предлагаемая архитектура.

Слева показана экспертная разметка МРТ-снимка с ишемическим поражением, справа – результат работы СНС.

Заключение

Важной частью обработки изображений является сегментация. С данной задачей успешно справляются различные нейросетевые алгоритмы анализа данных. Выполненный обзор показал, что одним из самых мощных подходов на сегодняшний день является обработка изображений с помощью сверточных нейронных сетей.

На практике часто возникает необходимость в оценке информативных параметров сегментированных областей. Рассмотренные методы позволят точно и быстро оценивать полученные данные. Таким образом, методы нейросетевой обработки МРТ-снимков являются одним из эффективных средств экспертной поддержки принятия решений врачей-исследователей.

Поскольку сверточные нейронные сети доказали свою эффективность в выделении различных зон интереса, возможно расширение области их применения – например, в решении задачи обнаружения скоплений стволовых клеток на данных МРТ и последующего их трекинга на хронологической последовательности снимков.

*Работа выполнена при частичной финансовой поддержке проектов РФФИ №16-29-07116-офи_м,

17-37-50001-мол_нр и 17-29-07002-офи_м.

Список литературы

1. Alexandre de Brebisson, Giovanni Montana. Deep Neural Networks for Anatomical Brain Segmentation // IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2015, pages 20-28.   URL: http://openaccess.thecvf.com/content_cvpr_workshops_2015/W01/papers/Brebisson_Deep_Neural_Networ ks_2015_CVPR_paper.pdf (дата обращения: 25.01.2018).

2. Ertaş G., Gülçür H.O., Osman O., Uçan O.N., Tunaci M., Dursun M. Breast MR segmentation and lesion detection with cellular neural networks and 3D template matching // Computers in Biology and Medicine. Volume 38, Issue 1, January 2008, pp.116-126.

3. Fausto Milletari, Nassir Navab, Seyed-Ahmad Ahmadi. V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation. // Fourth International Conference on 3D Vision (3DV), 2016. URL: https://arxiv.org/pdf/1606.04797.pdf (дата обращения: 25.01.2018).

4. Konstantinos Kamnitsas, Christian Ledig, Virginia F.J. Newcombe, Joanna P. Simpson, Andrew D.   Kane, David K. Menon, Daniel Rueckert, Ben Glocker. Efficient Multi-Scale 3D CNN with fully connected CRF for Accurate Brain Lesion Segmentation. // Medical Image Analysis, Volume 36, pages 61-

78. URL: https://arxiv.org/pdf/1603.05959.pdf (дата обращения: 25.01.2018).

5. Krähenbühl P., Koltun V. Efficient inference in fully connected CRFs with gaussian edge potentials // Advances     in   Neural               Information     Processing      Systems,      24      (2011),      pp.109-117.      URL: https://arxiv.org/pdf/1210.5644.pdf (дата обращения: 25.01.2018).

6. Moeskops P. et al. Automatic segmentation of MR brain images with a convolutional neural network // IEEE transactions on medical imaging. – 2016. – Vol. 35. – No.5. – P. 1252-1261. URL: https://arxiv.org/pdf/1704.03295.pdf (дата обращения: 25.01.2018).

7. Nicholas J. Tustison, Brian B. Avants, Philip A. Cook N4ITK: Improved N3 Bias Correction // IEEE Transactions on Medical Imaging (Volume: 29, Issue: 6, June 2010).

8. Sérgio Pereira, Adriano Pinto, Victor Alves, and Carlos A. Silva. Brain Tumor Segmentation Using Convolutional Neural Networks in MRI Images // IEEE Transactions on Medical Imaging (Volume: 35, Issue: 5, May 2016).

9. Фраленко В.П., Хачумов М.В., Шустова М.В. Инструментальные средства автоматического поиска и визуализации зон интереса в данных МРТ для поддержки принятия решений врачей- исследователей. – Искусственный интеллект и принятие решений, №4, 2016, с.27-37.