Максим Виноградов

Современные средства визуализации и обработки двумерных научных данных.

Формулируются основные требования к программным средствам визуализации и обработки двумерных данных и проводится обзор существующих продуктов в той или иной степени решающих эти задачи.

     Использование вычислительной техники для визуализации и анализа научных данных стало уже традиционным. Это вполне естественно, ведь с задачей наглядного представления и анализа больших массивов числовой информации сталкиваются во многих областях. Это моделирование, обработка результатов экспериментов, анализ данных дистанционного зондирования, решении различных инженерных задач.
    Многим ученым, студентам и инженерам часто приходится иметь дело с двумерными наборами чисел. Такими наборами могут являться как результаты численного моделирования, так и данные, полученные с различных приборов. Отдельным практически важным примером таких данных являются цифровые изображения. Для получения, обработки и визуализации этих данных на компьютере требуется специальное программное обеспечение.
    На сегодняшний день существует довольно большое количество средств обработки и визуализации научных данных, предназначенных для работы под операционными системами семейства UNIX, однако в своем абсолютном большинстве такие программы имеют весьма недружелюбный интерфейс. Несмотря на то, что работа с UNIX – системами очень распространена в научном сообществе, стремление современных пользователей переходить на дружелюбный и интуитивный интерфейс Windows очевидно. Быстрые темпы развития персональных компьютеров обуславливают переход все большего числа ученых и студентов именно на эти системы. Рассказу о возможностях программного обеспечения под Windows, решающего в той или иной степени описанные выше задачи и посвящена данная статья.

Что же нужно исследователю?

     Какие же программные средства требуются для обработки и визуализации двумерных данных? Это не самый простой вопрос. Известный тезис о том, что спрос рождает предложения, можно отнести к научному программному и аппаратному обеспечению с некоторой оговоркой. Зачастую появление новой возможности у вычислительной техники ведет к более широкому применению научных методик, ранее остававшихся лишь чисто теоретическими. Однако можно указать ряд возможностей, необходимость которых для обработки описываемых данных уже на сегодняшний день является очевидной.
     Первая из таких возможностей - чтение исходных данных пользователя, которые, как правило, хранятся в виде файлов различного типа. Способ хранения данных во многом определяется способом их получения, например данные могут являться результатом работы пользовательской программы, или информацией, полученной от некого прибора. Файлы, хранящие данные, могут быть текстовыми (матрицы или списки чисел), двоичными (байтовые массивы, реализующие тот или иной тип данных), представленными в специализированном научном или техническом формате (CEOS, HDF и т.п.), стандартными графическими файлами (BMP, TIFF и т.д.).
     Второй задачей, следующей за чтением данных, является возможность их просмотра. Просмотр может осуществляться в различном виде, например в форме таблиц чисел, в форме изображений, трехмерных поверхностей, линий уровня и т.п.   Задача просмотра должна быть решена таким образом, чтобы пользователь мог охватить набор данных как в целом, так и подробно изучить их произвольный участок, вплоть до значения конкретного элемента. Желательно чтобы этот просмотр, будучи наглядным, являлся достаточно простым и быстрым, а также не замедлял работу пользователя. Корректная визуализация чрезвычайно важна, поскольку от нее часто зависит правильность интерпретации  физических явлений, лежащих в основе представленных данных. В качестве иллюстрации этой мысли приведем три изображения (Рис.1).

Рис.1а Карта высот островного участка местности (цифровая модель рельефа). Применена топографическая раскраска.	Рис.1б Карта высот островного участка местности. Применена раскраска при помощи стандартной палитры "Радуга".

Рис.1в Карта высот островного участка местности. Трехмерное (перспективное) изображение с использованием топографической раскраски.

     На них различными способами представлены одни и те же данные распределения высот на участке Земной поверхности. В первом случае данные представлены в виде изображения с топографической раскраской; во втором взято то же изображение, но использована стандартная так называемая радужная палитра; на третьем данные представлены в виде поверхности. Из примера видно, насколько различным будет восприятие увиденного в зависимости от используемого способа визуализации.
     Третья задача - это обработка и анализ данных. Не затрагивая вопросы узкоспециализированной обработки и анализа, назовем те инструменты, без которых, как правило, не обойтись. Это интерполяция, позволяющая получить массив данных большего или меньшего размера. Трансформация, позволяющая осуществлять вырезание участка, поворот, отражения и подобные преобразования массивов данных. Фильтрация, удаляющая случайные всплески или шумы аппаратуры. Спектральный анализ, позволяющий изучить данные в частотной области. Примитивный статистический анализ: вычисление среднего, дисперсии, построение гистограммы. При этом желательно чтобы как обработка, так и анализ производилась с той же точностью, с которой представлены исходные данные.
    Разумеется, каким бы широким не был набор функций, поддерживаемый программой, у пользователей всегда появится потребность в их расширении. Особенно это относится к программам, предназначенным для научных исследований, поскольку в разработке новых средств и методов как раз и состоит научный поиск. Следовательно, важной особенностью научной программы является ее расширяемость, т.е. возможность добавления пользователем собственных методов обработки и анализа.
    И последний важный аспект - возможность представление данных и результатов их анализа в виде, готовом для добавления в отчет или статью. В частности, для пользователя будет удобно, если все графики, шкалы и гистограммы, полученные в ходе анализа и визуализации, можно будет переносить в другие программы (например, Microsoft Word или CorelDraw) в векторной форме. Такая форма представления очень удобна как при печати статьи, так и при выводе результатов на большой плакат.
    Имея в виду описанные требования, рассмотрим ряд программ, в той или иной степени решающих поставленные задачи, но в начале коснемся важного вопроса о представлении данных в виде цифровых изображений.

Представление двумерных данных в форме цифровых изображений.

     Термин “цифровые изображения” имеет довольно широкую трактовку. Если художник понимает под цифровым изображением лишь картинку, записанную в память компьютера, и ее визуальное восприятие есть конечная цель, то ученый понимает под цифровым изображением набор данных, который в принципе возможно представить в виде картинки (Рис.2).

Рис.2 К пояснению природы цифрового изображения.

Разница этих двух подходов заключается в том, что при первом совершенно не важно какие цифры стоят за картинкой, а при втором именно эти цифры представляют основную ценность. Соответственно методы обработки и анализа этих двух видов изображения во многом будут различны.
     В ряде приложений естественно представлять двумерные данные в виде цифровых изображений. Наиболее часто пользуются представлениями в форме полутоновых или цветных картинок, где определенному диапазону чисел соответствует заданный цвет. Количество цветов и способы цветового сопоставления могут быть различными и зависят от личных предпочтений и имеющихся программных средств. Приведем пример. Предположим, что в результате некого численного эксперимента, получено поле распределение температур на пластине. Целью его визуализации является получение наглядной информации о физических явлениях, в результате которых оно сформировалось. Такое поле удобно представить в виде изображения, сопоставив минимальной температуре - фиолетовый цвет, а максимальной - красный (Рис.3а).

Рис.3а Изображение поля распределения температур на пластине.	Рис.3б Результат обработки изображения (рис.3а) при помощи свертки с маской.

     После такого представления для уяснения содержания данных иногда требуется дополнительная обработка, например подчеркивание деталей, удаление случайных помех и т.п. На рисунке (Рис.3б) представлен результат обработки этого изображения при помощи свертки с маской. На данном изображении четко просматривается контур нагревательного элемента.
     Целый ряд приложений уже изначально имеют дело с изображениями: например оптическими или рентгеновскими снимками, магниторезонансными или радиолокационными изображениями. Многие приборы выдают информацию в форме готовых цифровых изображений. По традиции их представляют в виде серых полутоновых изображений, в которых яркость соответствует интенсивности выданного прибором сигнала.

Системы растровой графики

     Список программного обеспечения, используемого для обработки изображений, достаточно велик. Если дело касается данных, уже представленных в форме изображений, то для этих целей в принципе можно использовать Adobe Photoshop www.adobe.com или аналогичные системы растровой графики. Они позволяют применять достаточно широкий спектр методов обработки и трансформации изображений, а также их примитивного статистического анализа. Такой подход приводит к потере точности и определенным затруднениям численной интерпретации, однако по причинам доступности систем растровой графики получил широкое распространение.
     Недостатки применения подобных систем очевидны. Во-первых, как уже было сказано, для этих систем важно в первую очередь визуальное восприятие изображений, а не численные значения его элементов. При этом отметим, что диапазон данных обычно шире диапазона доступных цветов, которыми может быть представлено изображение. По этой причине в ряде случаев обработка данных на уровне изображений может привести не только к потере полезной информации, но и к неверным результатам.
     Второй недостаток систем растровой графики заключается в том, что они как правило не обеспечивают необходимой функциональности, ведь исследователю требуется ряд специфических инструментов.
    И, наконец, третий недостаток состоит в том, что эти системы позволяют работать лишь с данными, представленными в виде файлов стандартных графических форматов, и тем самым не дают возможности непосредственной визуализации произвольных данных.

Специализированные системы обработки изображений

     Разумеется существуют программы, более специализированные для научных нужд. Это, например, такие свободно-распространяемые пакеты, как ScionImage www.scioncorp.com и Visio Pro www.dta.it или продаваемая за приличные деньги система IP Lab www.iplab.com. Для исследователя они значительно удобней систем растровой графики и позволяют производить различную специализированную обработку, такую как: фильтрация, интерполяция, сегментация, спектральный анализ. Эти системы в целом рассчитаны на изображения небольшого объема, как правило полностью умещающиеся на экране монитора.
    Программа Scion Image достаточно популярна, она позволяет получать, отображать и анализировать изображения, поддерживает широкий набор стандартных процедур обработки, имеет возможности для "схватывания" изображения с телевизионной камеры. Программа также обладает функциями растрового графического редактора. Возможности Scion Image могут быть расширены при помощи встроенного Паскаль-подобного макро-языка.

     Visio Pro также предназначен для обработки изображений и поддерживает работу с камерой. Впечатление об этой системе сильно портит "самодельный" и при этом очень медленно работающий интерфейс. Данная система, как и предыдущая, поддерживает большинство базовых функций обработки и анализа изображений. Для опытных пользователей предусмотрена возможность написания расширений на встроенном Бейсик-подобном скрипте.
     Система IP Lab относится к классу дорогостоящих систем и поддерживает различные методы обработки и анализа, позволяет захватывать изображения с различных устройств, поддерживает расширение пользователем и потоковую обработку. Особенность программы - возможность работы с комплексными числами, которая является важной в ряде приложений. К примеру, радиолокационный снимок представляет собой набор комплексных величин, модуль которых представляет собой интенсивность принятой волны, а аргумент ее фазу. К сожалению, процедура импорта, реализованная в данной программе, поддерживает недостаточное количество форматов.
    Во всех перечисленных системах примитивно реализованы возможности составления цветового соответствия, а это немаловажный момент (сравните Рис.1а и 1б). Необходимо отметить и еще один важный недостаток этих систем - непродуманность интерфейса. К сожалению, последний недостаток свойственен подавляющему большинству программного обеспечения, предназначенного для научных расчетов.

Системы обработки данных дистанционного зондирования

     Большой интерес в рассматриваемой области представляют пакеты, ориентированные на обработку данных дистанционного зондирования (ДДЗ). Это всемирно известные системы Erdas Imagine www.erdas.com , ER Mapper www.ermapper.com , Idrisi www.clarklabs.org
    Erdas Imagine очень ресурсоемкая и в то же время чрезвычайно мощная система. Она обладает как огромным набором средств обработки, анализа и визуализации, так и продвинутыми возможностями расширения. О популярности этой системы говорит тот факт, что она стала практически стандартной средой разработчика для работ с ДДЗ. Многие фирмы оформляют свои разработки как модули-расширения системы Erdas Imagine.
     Система Idrisi является университетской, а не промышленной разработкой и развивается уже более 20 лет. Она включает как возможности общей обработки изображений, так и специализированные средства, характерные для геоинформационных систем. Idrisi решает задачи анализа пространственно-распределенной информации, имеет развитые возможности ввода и импорта-экспорта данных. Кстати, это единственный из известных нам пакетов подобного рода, имеющий русскоязычный интерфейс и контекстную справку. Главный недостаток данной системы в чрезвычайной слабости интерфейса. Подчас при работе с Idrisi возникает ощущение, что вы находитесь в командной строке DOS.
     Известная система ER Mapper рассчитана на применение во всех областях науки и техники. По имеющимся средствам данная система близка к Erdas Imagine. Ее наиболее интересная возможность – концепция алгоритмов, благодаря которой нет нужды хранить промежуточные файлы при сложной многоступенчатой обработке.

    Несмотря на свое специализированное геоинформационное предназначение, указанные системы позволяют решать достаточно широкий класс задач обработки и визуализации данных различной природы. Они поддерживают работу с данными различных типов, в том числе с массивами комплексных чисел, а также обеспечивают высокую скорость работы с большими объемами информации. Говоря об этих системах, нельзя не отметить и их высокую стоимость (до нескольких тысяч долларов), а потому недоступность рядовому исследователю, не специализирующемуся на обработке ДДЗ.

Системы инженерных вычислений

     Задача обработки двумерных данных несомненно шире задачи обработки изображений. Трактуя данные в зависимости от их природы различным способом, например как алгебраические матрицы или , мы можем применять к ним ряд методов алгебры, анализа, математической статистики, решать дифференциальные и интегральные уравнения.
     Для этих целей можно использовать системы инженерных вычислений. Наиболее мощной из распространенных систем такого рода можно назвать MatLab www.mathworks.com. У указанных систем есть два ограничения: это низкая скорость, с которой подобные системы ведут свои вычисления, и необходимость писать программу на специализированном внутреннем языке. Написание программы в свою очередь требует не только специальной подготовки, но и довольно большого времени на ее разработку и отладку. Когда же необходимо просто проверить возникшую идею, подготовить промежуточный результат или быстро оформить какую либо несложную работу, желательно иметь более специализированные и мобильные средства.
    Более мобильным, но менее функциональным средством является популярный пакет MathCad www.mathsoft.com.

Он позволяет пользователю проводить достаточно сложные математические расчеты, обрабатывать и визуализировать различные числовые данные и даже писать простые программы на встроенном алгоритмическом языке. Слабость MatCad, в применении к работе с двумерными данными состоит в недостаточно удобных средствах визуализации, низкой скорости, а соответственно в плохой приспособленности к работе с большими объемами информации.

Системы, ориентированные на визуализацию двумерных данных

    Визуализация двумерных экспериментальных данных часто рассматривается как отдельная задача. Такие данные обычно представляют в виде изображений или поверхностей в перспективной проекции. Описанные выше программы позволяют с определенными ограничениями производить такую визуализацию.
     Однако для ряда приложений более полезными и удобными оказываются другие системы. Например, во многих науках о Земле возникает задача построения цифровой модели той или иной поверхности, заданной лишь в нескольких точках. При помощи методов интерполяции такие данные переводятся в двумерные наборы чисел - строится так называемая цифровая модель поверхности. Визуально такую поверхность часто представляют либо в виде трехмерного изображения, либо в виде линий уровней. Для решения подобных задач наибольшее распространение получил пакет Surfer www.goldensoftware.com, который благодаря своей компактности и удобству завоевал симпатии многих исследователей.
     Основным назначением Surfer является обработка и визуализация двухмерных наборов данных, описываемых функцией типа Пакет позволяет строить цифровую модель поверхности, выполнять ряд вспомогательных операций с этой моделью и визуализировать данные различными способами.

     Российская программа 3DField field.hypermart.net имеет аналогичное предназначение, однако меньший набор доступных средств и при этом обладает более приятным интерфейсом. Другая система научной графики TecPlot www.amtec.com , имеет широкие возможности визуализации различных (не только двумерных) данных. В частности, система позволяет строить поверхности, векторные поля, визуализировать объекты, заданные в виде конечных элементов. К сожалению, при всех своих достоинствах она имеет явно перегруженный интерфейс. При всей красоте этих систем, следует заметить, что они более полезны для подготовки к печати статьи или отчета, нежели для повседневной работы исследователя. Но работу по представлению данных в виде, готовом для печати, эти системы выполняют на высоком уровне. К сожалению, такие программы рассчитаны на сравнительно небольшие объемы данных, что ограничивает область их применения.

Система, разработанная при участии автора.

     Совсем недавно появилась отечественная универсальная система визуализации и обработки двумерных данных AM Lab Hesperus www.amlab.ru . Для русскоязычных пользователей будет интересен тот факт, что вся документация, как и интерфейс программы, выполнены на русском языке.
     Вид исходных данных, принимаемых программой, достаточно широк. Это и файлы стандартных графических форматов, и текстовые данные в виде матриц или наборов точек, и так называемые бинарные файлы (массивы целых, с плавающей точкой или комплексных чисел различного типа).

     Система Hesperus изначально ориентировалась на обработку данных произвольного типа и большого объема, по этой причине ее отличают высокая скорость работы и многопоточность, позволяющая запускать одновременно несколько процессов обработки.
     Конек программы - ее средства визуализации, позволяющие детально изучать различные данные достаточно большого объема. Существенно облегчает работу возможность гибкой настройки цветового соответствия, позволяющая сопоставлять каждому указанному диапазону данных определенный цвет или плавный цветовой переход. Для работы с изображениями, имеющими сложные гистограммы, будет полезна возможность динамического изменения диапазона отображаемых данных. В ряде приложений очень ценным окажется средство для работы в пользовательской системе координат. Система обладает мощным механизмом 3D визуализации, поддерживает параметрическое задание поверхностей и наложение на них произвольной текстуры. При этом программа обладает широким набором средства обработки и анализа, стандартным для подобных систем. Программа является расширяемой и позволяет пользователю писать собственные модули с использованием наиболее важных функций системы.
     Всякий желающий испробовать программу может скачать ее из интернета (объем программы чуть больше 4 Мб). Скачанная таким образом программа распространяется как условно-бесплатная, не имеет никаких функциональных ограничений и лишь через некоторое время начинает напоминать пользователю о необходимости зарегистрироваться.

 Заключение

     Очевидно, в силу ограниченного объема статьи, при рассмотрении каждой категории программного обеспечения, мы упомянули лишь характерные и наиболее распространенные программы. Все они имеют свое применение в области визуализации и обработки двумерных данных, но к сожалению пока ни одна из них не решает полностью даже того небольшого перечня задач, который представлен в начале статьи. Это обстоятельство вынуждает пользователей иметь несколько аналогичных систем или самостоятельно писать собственные небольшие программы. Но даже теми возможностями, которые уже реализованы в описанных системах, не всегда удается воспользоваться, поскольку большинству из них свойственны недружелюбный интерфейс и недоступность для отечественного пользователя. Последняя особенность обусловлена высокой стоимостью зарубежных систем и часто отсутствием русифицированных версий. Остается надеяться, что со временем эти проблемы уйдут в прошлое, и все желающие получат удобные инструменты для ведения научных исследований. В этом вопросе набольшие надежды мы возлагаем на отечественных производителей.

Коротко об авторе

Максим Виноградов - аспирант МГТУ им. Н.Э.Баумана, один из основателей АM Lab.

в начало