Каким образом ребенок справляется с проблемой изображения глубины и объема, то есть с третьим измерением? Очевидно, для обсуждения этого вопроса следует напомнить сначала о некоторых положениях, высказанных нами ранее. Как правило, художественное изображение не основывается на каком-то конкретном объекте, увиденном в данный момент с определенной фиксированной точки наблюдения, а базируется на трехмерном визуальном представлении об особенностях объектов, которое получается в результате восприятия предметов под различными углами зрения. Обычно восприятие не содержит перспективных изменений размера и формы, которые обнаруживаются в проекции на сетчатке глаза. Художественное изображение не есть добросовестная механическая копия объекта восприятия, а является воспроизведением с помощью конкретных средств его структурных характеристик. Детскому уму свойственно стихийное осознание необходимых формальных требований рисунка и спонтанное повиновение им. Когда изображение ограничивается двухмерными проекциями, то для каждого объекта или его части выбирается наиболее простая и наиболее характерная проекция.
В ранних детских работах пространство существует только в пределах плоскости двухмерной картины. Предметы в данной плоскости могут быть большими и маленькими, расположенными близко друг к другу и отстоящими на довольно большое расстояние. Третье измерение остается все еще не отдифференцированным, то есть в картине нет никаких различий между плоскими и объемными предметами, а также различия между глубиной и ее отсутствием. К пространственным свойствам обеденной тарелки дети в своих ранних рисунках относятся так же, как и к свойствам футбольного мяча, а все предметы располагаются на одном и том же расстоянии от воспринимающего субъекта. На стадии, когда отсутствует дифференциация, пространство воспроизводится самым простейшим путем, то есть посредством двухмерного изображения. Однако этот вид изображения для ребенка не имеет значения плоскостного. Отличие плоского от объемного еще не приходит ему на ум. Плоскость существует только в трехмерном целом.
Фактически даже выбор проекции первоначально остается недифференцированным. Объемные тела не изображаются такими, как они воспринимаются с определенной точки наблюдения. Окружность на ранней стадии развития художественных способностей ребенка не представляет собой вида спереди, вида сбоку или вообще двухмерную проекцию изображаемого объекта. Она является изобразительным эквивалентом круглого объекта, а ее контур не представляет собой одномерной горизонтальной линии, которая определяет границы перспективного взгляда, а символизирует внешнюю сплошную поверхность тела.
Для того чтобы лучше себе представить, каким образом дети изображают в своих рисунках пространство, имеет смысл ознакомиться с фантастическим романом Е. А. Эбботта “Флэтлэнд”. “Флэтлэнд” – это страна, в которой (по сравнению с нашим собственным миром) каждая вещь выступает только в одном измерении. Стены домов представляют собой всего лишь очертания фигур па плоскости, но они удовлетворяют своему назначению, потому что в мире плоских поверхностей не существует способа проникнуть вовнутрь замкнутого очертания. Обитателями этой страны являются геометрические формы. И здесь линия с успехом служит границей их тел. Пришелец из трехмерного “Спейслэнда” высказывает массу нелепостей, заявляя жителям “Флэтлэнда”, что их дома открыты, в силу того что они в одно и то же время просматриваются и изнутри и снаружи. Он также пытается им доказать, что путем прямого, непосредственного воздействия на внутренности квадратного желудка может вызвать у обитателя “Флэтлэнда” острую боль. Для жителей “Флэтлэнда” их дома не являются ни закрытыми, ни открытыми сверху, потому что они не обладают таким измерением, а внутренности жителей благодаря окружающей их контурной линии невидимы и защищены от прикосновения.
Те, кто утверждает, что дети рисуют обнаженные дома и рентгеновские снимки желудка, уподобляются несвоевременному пришельцу из “Спейслэнда”. Им недоступна замечательная логика, с которой ребенок приспосабливает свои рисунки к условиям двухмерного изображения. Недостаточно сказать, что дети изображают на своих рисунках внутреннее содержание вещей потому, что оно представляет для них большой интерес. Изображение человека с открытым желудком шокировало бы детей, несмотря на весь присущий им интерес. Дело в том, что в двухмерном изображении внутреннее содержание плоской фигуры символизирует внутреннее содержание объемного тела, которое повсеместно охватывается контурной линией. Следовательно, пища, которой наполнен желудок (рис. 114), видима, даже если он не является открытым или прозрачным. Воспринимающий извне субъект может воспользоваться измерением, которое не существует в данном изображении. Рисунок дома не является прозрачным ни спереди, ни в его поперечном сечении. Просто этот рисунок – двухмерный эквивалент данного дома. Прямоугольник символизирует пространство куба, очертание шести его пограничных поверхностей. Фигура, окруженная со всех сторон стенами, находится внутри этого куба. Только разрыв в контурной линии смог бы обеспечить “открытость” куба. Если бы ребенок мог ясно представлять все это, то он ответил бы на обычные возражения его методике рисования тем же самым способом, что и мы, если бы пришелец из четвертого пространственного измерения сообщил бы нам, что наши дома и тела являются открытыми, потому что он в одно и то же время воспринимает их внутренние и внешние стороны. “Закрытость” не абсолютный факт, она может быть определена только по отношению к конкретному числу измерений. Ребенок находит наиболее убедительное решение неразрешимой художественной проблемы – каким образом передать интерьер закрытого объекта. Изобретение ребенка проходит через века. Даже в высоко реалистических гравюрах Альбрехта Дюрера святое семейство размещается в сооружении, не имеющем передней стены и поэтому неубедительно замаскированном под развалины. Современное искусство сценической декорации без всяких колебаний принимается всеми, а вместе с тем находятся люди, которые обвиняют детей в “рентгеноподобных рисунках”.
Как показано на рис. 114, изображение волос на картинках такого рода передается рядом линий, которые касаются контура головы. Это является совершенно правильным, так как линия окружности головы символизирует ее полную, законченную поверхность. Таким образом, голова показана такой, какой ей следует быть, то есть покрытой волосами со всех сторон. Однако данному методу присуща некоторая неопределенность, которая возникает из-за того, что ребенок неизбежно пользуется этим методом для двух различных и даже несовместимых целей. На данном рисунке лицо, по всей вероятности, находится не внутри головы, а расположено на его внешней поверхности. Две наклонные линии представляют собой руки, а совсем не открытую накидку, свободно спадающую с плеч и окружающую все тело. Другими словами, двухмерные единицы рисунка являются эквивалентами объемных тел и (или) двухмерными проекциями внешней стороны этих объемных тел (в зависимости от того, что требуется). Взаимоотношение между глубиной и плоскостью не дифференцировано. Поэтому с помощью чисто визуальных средств нет никакой возможности сказать, является ли линия окружности символом кольца, диска или шара. Только в силу этой неопределенности данный метод используется главным образом на самых примитивных уровнях (например, в художественных произведениях австралийских аборигенов) и отбрасывается в сторону детьми, живущими на Западе.
Этот процесс наглядно иллюстрируется результатами экспериментов, проведенных Артуром Кларком, в которых детям различных возрастов предложили сделать рисунок яблока, насквозь проткнутого по горизонтали шпилькой и развернутого под некоторым углом к зрителю . На рис. 115, d показано то положение модели, в каком она находилась перед взором детей. Самое первое решение проблемы изображается на рис. 115, a. Весьма логично, что шпилька беспрепятственно проходит через внутреннюю часть окружности, которая означает внутренность яблока. Но невольно возникает неопределенность, заключающаяся в том, что прямая линия неизбежно символизирует одномерный объект (шпильку), а не поверхность. На следующей стадии (рис. 115, b) ребенок совершает первую уступку изображению, построенному по законам проекции, рисуя центральную часть шпильки скрытой внутри яблока. (Для детей более младшего возраста это означало бы, что две шпильки касаются яблока с двух внешних сторон.) Однако контур окружности все еще символизирует поверхность яблока в целом. На это указывает тот факт, что булавка не заходит за контурную линию окружности. На рис. 115, c контур принимает вид горизонтальной линии, а пространство окружности – вид яблока спереди. После некоторых доработок эта форма приводит к реалистическому изображению (рис. 115, d). Данное изображение имеет пространственно согласованное решение. Однако в жертву исключительной зрительно воспринимаемой ясности, с которой воспроизведена сущность объемного представления, были принесены свойства и особенности двухмерного изображения (рис. 115, a). Разграничение между двухмерным и трехмерным изображениями достигнуто, но достигнуто только сомнительным приемом, заставляющим плоскую картину выглядеть трехмерным пространством. (Сравните этот пример с нашими рассуждениями по поводу того, каким образом следует нарисовать пруд, окруженный деревьями..
Человек способен по двухмерной картинке составить весьма полное представление о расстояниях до изображенных объектов, их форме и размерах, и таким образом полностью воспринять трехмерный мир во всей его глубине. Как мы этого добиваемся?
Как известно человек с помощью глаз непосредственно видит именно двухмерную картинку. То, что мы видим можно запечатлеть, например, с помощью фотоаппарата, распечатать на листе бумаги (т.е. в двухмерной плоскости) и повесить на стену, таким образом изображение, поступающее к нам в мозг от глаз двухмерное.
Однако и глядя на реальные объекты, и на фотографии, и при просмотре видео, мы умудряемся вытянуть из данных двухмерных картинок столько информации, что они начинают нам казаться объемными, как-бы трехмерными. Мы очень хорошо воспринимаем относительное расположение объектов в пространстве только лишь за счет зрения. Вид зрения, который позволяет воспринять форму, размеры и расстояние до объектов называется – стереоскопическим зрением. Человек обладает таким зрением и добивается этого за счет следующих эффектов:
- Бинокулярное зрение. Человек имеет два глаза. На сетчатке каждого из глаз формируется слегка различное двухмерное изображение одной и той же трехмерной сцены. На основе жизненного опыта и огромных вычислительных способностей, мозг сопоставляя эти два слегка различающиеся изображения, формирует представление о трехмерности картинки. Лучше всего этот эффект срабатывает при рассматривании близких объектов, таких расстояние до которых хоть как-то сравнимо с расстоянием между глазами. При рассматривании объектов, удаленных на расстояние более пяти метров, этот эффект уже почти не сказывается. Сразу также оговоримся, что в виду того, что бинокулярное зрение – это не единственный фактор, позволяющий видеть в 3D, и так как сфера его применения ограничена несколькими метрами, то отсутствие двух глаз не стало бы катастрофой для человека. Мы тем не менее смогли бы видеть в 3D, просто нам бы понадобилось больше жизненного опыта и времени, чтобы научиться применять остальные эффекты. Это утверждение подтверждается очень легко. Просто закройте один глаз. Ну что, перестали видеть в 3D? Нет!
- Смещение объектов при движении наблюдателя. При движении наблюдателя картинка, которую он видит постоянно меняется, при этом близкие объекты меняют свое положение на этой картинке значительно быстрее, чем далекие, которые медленно изменяют свое положение в поле зрения наблюдателя. И опять-таки, большой жизненный опыт и вычислительные способности мозга, позволяют по скорости перемещения объектов в поле зрения хорошо воспринять расстояние до них. Кстати, фактически перемещением одного глаза на расстояние равное расстоянию между глазами, можно заменить бинокулярное зрение, ведь действительно, мозг в итоге сможет сопоставить те же две картинки, что и сразу от двух глаз. Однако этот метод требует больших усилий и постоянного движения, а также картинки ведь будут запечатлены не в один и тот же момент времени, т.е. могут быть уже разными. Поэтому бинокулярное зрение всё же очень полезная опция, которая очень помогает при работе с близкими объектами, чем человек обычно и занимается.
- Жизненный опыт. Большинство людей хорошо представляют размеры многих привычных объектов, таких как деревья, другие люди, автомобили, окна, двери и так далее. Обладая этими знаниями, можно неплохо оценить расстояние до одного из таких объектов (а значит и до тех объектов, которые расположены рядом), в зависимости от того, какую часть от общего поля зрения они занимают. Например, Вы сразу догадаетесь, что девочка на фото ниже, расположена значительно ближе к наблюдателю чем башня до верхушки которой она якобы дотягивается...
- Задымленность далеких объектов. Атмосфера всё же имеет определенную степень непрозрачности. Поэтому очень далекие объекты выглядят задымленными. Так по степени задымленности можно определять какой из далеких объектов расположен дальше, а какой ближе к наблюдателю. Это очень полезный эффект, ведь для далеких объектов плохо работают остальные способы построения трехмерного изображения.
- Перспектива, тени и освещение. По конфигурации теней и степени освещенности той или иной части предмета, на основе большого жизненного опыта мозг хорошо воспринимает форму объектов. Перспектива – эффект в соответствии с которым, например, две параллельные линии в пространстве сходятся в точку на изображении при большом удалении от наблюдателя. Мозг умеет очень хорошо воспринимать информацию, поступающую к нему за счет этого эффекта.
- Способность глаза сфокусироваться только на одной дальности. Глаз, как и любой оптический прибор не может видеть одинаково хорошо картинку во всей её глубине, он может сфокусироваться только на некоторой конкретной дальности. Таким образом, наиболее четкими нам видятся объекты, на которых мы в данный момент сфокусированы, а более близкие и дальние объекты кажутся слегка размытыми. Мозг владеет информацией о том, на какой дальности в данный момент сфокусированы глаза. Так фокусируя взгляд на разных дальностях мы способны как бы просканировать всё пространство во всей его глубине.
- Близкие объекты закрывают дальние. Этот очевидный эффект хотя и кажется очень простым, тем не менее вносит большой вклад в построение трехмерной картинки. Ведь нет ничего проще, чем понять, что один объект находится дальше другого, если он им частично закрыт.
Изображение поясняющее пункт №3.
Изображение поясняющее пункт №4.
Изображение поясняющее пункт №5.
Изображение поясняющее пункт №6.
После того, как мы проговорили все эффекты на основе которых наше зрение позволяет нам воспринимать трехмерную картинку можно также сделать одно небольшое замечание насчет 3D-кино.
Дело в том, что в любом кино используются все перечисленные выше эффекты, кроме самого первого – «бинокулярного зрения». Ну а в 3D-кино, за счет специальных технологий добавляется и бинокулярность. При просмотре фильмов в 3D для каждого глаза за счет очков формируется слегка различное изображение.
Однако нужно отметить, что это не вносит существенного улучшения в картинку. Ведь как уже говорилось, и с помощью одного глаза, имея большой жизненный опыт, можно фактически без потери качества видеть всю глубину картинки (за счет остальных шести эффектов, используемых в любом кино).
Кроме того, бинокулярное зрение полезно на небольших расстояниях, а в фильмах зачастую мы наблюдаем широкие сцены, а не рассматриваем маленькие объекты с близкого расстояния, поэтому данный эффект частенько вообще не заметен.
Трехмерные и двумерные изображения: модели, алгоритмы и области анализа
П.А. Чочиа
Аннотация - Рассматриваются вопросы модификации двухмасштабной модели и алгоритмов обработки при переходе от двумерных к трехмерным изображениям. Показаны изменения области анализа, алгоритмов фильтрации, декомпозиции изображений и обнаружения объектов. Предложены быстрые алгоритмы вычисления локального среднего и порядковых статистик по скользящему окну для 3Б-изображений.
Ключевые слова - Обработка изображений, трехмерное изображение, модель изображений, алгоритм обработки, область анализа, быстрые алгоритмы.
I. Введение
Когда употребляют термин «трехмерное изображение» зачастую понимают совершенно различные виды данных -, основные из которых следующие.
1. Данные, задаваемые функцией трех координат и являющиеся гомеоморфным отображением некоторого объемного участка трехмерного пространства, включая все содержащиеся в нем объекты.
2. Стереоскопическое изображение, состоящее из пары двумерных изображений, за счет диспаратности дающих наблюдателю представление о расположении объектов.
3. Изображение, являющееся проекцией трехмерной сцены (например, аксонометрической), позволяющее оценить форму и расположение объектов, но при этом остающееся двумерным.
4. Двумерное изображение, каждая точка которого соответствует некоторым координатам в трехмерном пространстве, например дальности или рельефу.
5. Особым способом сформированные изображения, создающие образы объектов, например голограммы.
6. Видеопоследовательности, содержащие набор кадров объектов. Такие данные могут представляться в виде трехмерного массива, но одна из координат при этом является не пространственной, а координатой времени.
Далее под трехмерным или ЗБ-изображением (непрерывным или дискретным) будут пониматься изображения исключительно первого типа. По существу, 3D-изображение представляет собой расширение обычного 2D-изображения путем добавления еще одного пространственного измерения.
Способы формирования трехмерного изображения могут быть различными; наиболее известным является
П.А. Чочиа, к.т.н., с.н.с., Институт проблем передачи информации РАН, г. Москва. (e-mail: [email protected])).
томографическое сканирование - рентгеновская компьютерная томография или магнитно-резонансная томография. Возможно получение 3D-изображения в результате сейсморазведки при геологических исследованиях, в микроскопии при использовании объектива с переменным фокусным расстоянием, при компьютерном моделировании трехмерных объектов и сцен, или каким-то иным образом.
Обработка и анализ трехмерных изображений играют в настоящее время существенную роль во многих областях исследований, особенно в медицине и геологии. В настоящей работе рассмотрены вопросы расширения модели двумерного изображения и применения ее к трехмерным изображениям, вопросы модификации операций частотной и пространственной фильтраций при переходе в 3D, вопросы сглаживания и декомпозиции изображений ,, фильтрации помех, обнаружения контуров и объектов, а также вычислительные аспекты реализации некоторых алгоритмов для трехмерных изображений .
Большинство алгоритмов фильтрации при переходе от двумерных к трехмерным сигналам модифицируются сравнительно просто. Это будет показано на примерах наиболее распространенных алгоритмов, основанных на частотной и пространственной фильтрациях.
II. Особенности трехмерного изображения В дискретном виде 3D-изображение представляется массивом X = размерами MxNxK. Как и в 2D, значение каждого элемента xmnk есть квантованное на (xmax+1) градаций значение логарифма яркости (энергии) 0 < xmnk < xmax, которое для краткости будем называть просто яркостью. Дискретный элемент 3D-изображения принято называть вексель. Трехмерное изображение, отображающее некоторую сцену, можно рассматривать состоящим из плотно упакованных связных трехмерных областей (объектов), соответствующих деталям сцены. Областью или объектом будем называть максимальное по размеру связное множество элементов изображения, имеющих близкие, возможно плавно меняющиеся значения яркости. Области могут соприкасаться произвольным образом, в том числе одна область может быть полностью окружена другой. На границах соседних областей значения яркости должны заметно различаться. Не соприкасающиеся области могут иметь произвольные, в том числе и совпадающие яркости. Пространственные границы между соседними областями, как объектами различающейся яркости, называют контурами. 3D-изображения характеризуются
International Journal of Open Information Technologies ISSN: 2307-8162 vol. 2, no. 11, 2014
следующими свойствами:
3D-изображение - совокупность объектов, плотно заполняющих пространство изображения;
Контуры в 3D-изображении - пространственные границы между объектами;
Сечение 3D-изображения плоскостью и проекция его на плоскость любого направления дают двумерный сигнал со всеми свойствами обычного 2D-изображения.
III. Области анализа
Область анализа - подмножество исходных данных, используемое в оценке параметров. Методы, в которых для каждой точки (или малых фрагментов) изображения используются свои параметры обработки, определяемые по ограниченной и, как правило, центрированной в данной точке области анализа, называют локальными.
Рассмотрим связное множество элементов xijle Vd(xmnk) таких, которые отстоят от центрального элемента xmnk на расстояние не далее, чем d и вместе составляют фигуру некоторой задаваемой формы. При d < 2a3 множество Vd(xmnk), окружающее центральный элемент (воксель) xmnk, будем называть окрестностью и обозначать Vmnk, а при d >>1 - фрагментом и обозначать Wmnk. Отметим, что в зависимости от выполняемых операций сам центральный элемент xmnk может как принадлежать, так и не принадлежать Vd(x). Соответственно, операции вида
ymnk = f{xijl 1 xijl e Vd(xmnk) }, (1)
в которых результат в каждой точке (m,n,k) зависит лишь от значений элементов xijl, входящих в Vd(xmnk), называются локальными операциями.
При переходе из 2D в 3D варианты симметричных окрестностей и соседства элементов претерпевают следующие изменения. Окрестность из 2x2 элементов (4 пикселя) становится окрестностью из 2x2x2 элементов (8 вокселей), в которой каждый воксель соседствует с каждым. В двумерной окрестности из 3x3 элементов (9 пикселей), как известно, можно рассматривать два варианта соседства элементов: 4-соседство (только по сторонам пикселей) и 8-соседство (по сторонам и вершинам пикселей) . Аналогом первого из них в 3D будет окрестность с 6-соседством вокселей (Рис. 1,а). Аналогом второго - окрестность с 26-соседством вокселей (Рис. 1,в). Возможен промежуточный вариант с 18-соседством вокселей (Рис. 1,б). Выбор варианта окрестности обычно определяется контекстом задачи и используемым алгоритмом.
Рис. 1. Окрестности и соседства вокселей в 3D: а) 6-соседство; б) 18-соседство; в) 26-соседство.
В некоторых случаях нас интересует не весь набор точек, попадающих в область анализа, а лишь некоторое его подмножество, включающее центральный элемент, которое будем называть областью принадлежности. Способ выбора области принадлежности зависит от
задачи; некоторые варианты рассмотрены в разделе VI.
IV. Двухмасштабная многокомпонентная модель
ТРЕХМЕРНОГО ИЗОБРАЖЕНИЯ
Для формулировки сведений об основных свойствах изображений - топологических (форм, размеров областей и контурных перепадов между ними) и статистических (взаимосвязи значений элементов) необходима соответствующая модель изображения. Чтобы быть полезной, она должна описывать свойства изображений на расстояниях, обусловленных особенностями задач, а также давать возможности для построения эффективных алгоритмов обработки и анализа изображений.
Статистические взаимосвязи элементов изображения, находящихся на больших расстояниях, существенно отличаются от аналогичных свойств близлежащих элементов и их не удается описать одними и теми же соотношениями. Для обычного двумерного изображения была разработана двухмасштабная многокомпонентная модель, достаточно хорошо описывающая взаимосвязи элементов и на малых расстояниях в несколько шагов дискретизации, и на больших - соразмерных размерам объектов изображения . Она с успехом может быть перенесена на 3D-изображения.
Значения элементов 3D-изображения X = при этом будут представляться в виде суммы статистически независимых компонент:
xmnk Smnk ^ tmnk + ^mnk (2)
Первый член суммы - кусочно-гладкая компонента Smnk, определяющая уровни яркости протяженных областей изображения; tmnk - текстурно-детальная компонента, несущая информацию о текстуре и мелких деталях; £,mnk - шумовая компонента, определяемая шумами регистратора, аналого-цифрового преобразователя и др. Все компоненты предполагаются
независимыми и аддитивными, а tmnk и £,mnk - нормально распределенными и несмещенными.
A. Масштаб малого размера
На масштабе малого размера (масштабе элементов окрестности) рассматривается сравнительно небольшое связное множество элементов, расположенных на расстоянии нескольких шагов дискретизации. Как и в двумерной модели , элементы трехмерного изображения разделяются на два непересекающихся множества: попадающие на граничные участки (контурные) и не попадающие (внутренние), составляющие вместе полное изображение. Окрестность Vmnk элемента xmnk рассматривается как группа из R элементов xrmnk e Vmnk, r = 1,...,R, ближайших к xmnk, и попадающих в то же множество (контурное или внутреннее), что и элемент xmnk (Рис. 2).
Методом наименьших квадратов проводится гиперплоскость, наиболее близкая значениям элементов из Vmnk, составляющая с гиперплоскостью, ориентированной вдоль осей координат MNK, некоторый угол, величина и направление которого в точке (m,n,k) характеризуется вектором gmnk. В точке r окрестности проведенная гиперплоскость отличается от значения
International Journal of Open Information Technologies ISSN: 2307-8162 vol. 2, no. 11, 2014
xrmnk на случайную величину yrmnk . Такое представление
позволяет связать значения элементов окрестности
XLk ^ Vmnk фоРМУлой:
Xmnk ^mnk + Р gmnk + У mnk , (3)
где pmnk - значение проведенной гиперплоскости в центральной точке окрестности (m,n,k), pr - расстояние между центральным элементом Xmnk и xrmnk, grmnk - величина проекции gmnk на вектор из Xmnk в xrmnk, а yrmnk -
случайная величина.
Вводится понятие контурной маски E = : emnk = 1 для контурных и emnk = 0 для внутренних элементов. Обозначая для контурных и внутренних элементов grmnk
через Vmnk и Vmnk , а Ymnk через Cmnk и hmnk
соответственно, представим grmnk и jrmnk в виде сумм
grmnk = emnk и Ymnk emnk Zmnk +(1 emnk)nmnk " В результате получим формулу модели трехмерной окрестности: Xmnk ^ mnk ~+emnk (ф mnk pr +C"mnkMKnWmnkpr Wmk) (4) Здесь Zmnk - стохастическое возбуждение в точке r окрестности для контурных, а nrmnk - для внутренних элементов. Случайные величины ф,^, Wmnk, Zmnk, и Pmnk считаются некоррелированными и несмещенными, а шумовые составляющие Zmnk, и pmnk - нормально распределенными. Проведенные эксперименты , показывают, что значения дисперсий компонент ф и ф различаются в 10-100 раз. B. Масштаб большого размера На масштабе большого размера (масштабе объектов фрагмента) полагается, что гладкие составляющие Sv тех частей областей uv (v = 1,...,V), которые попадают во фрагмент Wmnk, задаются полиномом степени не выше, чем ю. Тогда Sii внутри фрагмента Wmnk может быть описана формулой: V ю ю-p ю-p-q Sj (Wmnk) = Ё §Bv Ё Ё Ё аР^Р ^ (5) здесь (i,j,l) - точка области u во фрагменте Wmnk; 5 v = 1, если точка (i,j,l) e u и 5 v = 0 в остальных случаях. Добавляя в (5) текстурную tj и шумовую ^ составляющие, получим выражение для значения элементов внутри фрагмента: ^ = Ё 5uv ЁЁ Ё ^РЛГ + j + ^ v=1 у p=0 q=0 r =0 J Это общая формула модели, описывающей значения элементов областей внутри фрагмента. Компоненты tj и считаются нормально распределенными, но значения дисперсий tv вообще говоря различаются от области к области. Двумерный вариант изображения, содержащего нескольких областей, а также окрестность и фрагмент вокруг элемента Xmnk, показаны на Рис. 2. Для 3Б-изображения как окрестность с фрагментом, так и сами области будут трехмерными фигурами. На многих реальных изображениях области, в пределах типичного фрагмента анализа, имеют приблизительно постоянные яркости, не меняющиеся заметно. Поэтому во многих случаях допустимо выбрать минимальную степень полинома: ю = 0. Т огда Sj (Wmnk) = Svmnk и (6) упрощается до следующего вида: ЁЬ (S"mnk + t, +Ц) . Это формула кусочно-постоянной модели фрагмента для представления участков областей изображения, попадающих во фрагмент Wmnk. На масштабе большого размера обычно предполагается, что фрагмент Wmnk является прямоугольным параллелепипедом; это вызвано особенностями алгоритмической реализации методов обработки трехмерных изображений. Рис. 2. Участок изображения; обрабатываемый элемент окружен границами окрестности и фрагмента. V. Изменение частотных алгоритмов в 3D Одним из эффективных подходов к обработке сигналов является применение методов фильтрации, использующих ортогональные преобразования: Фурье, Уолша-Адамара, косинусное, и др. . Наиболее распространен класс преобразований, обеспечивающих разложение сигналов по гармоническим функциям, из которых важнейшим является преобразование Фурье; на его примере и покажем модификацию преобразования. При переходе от 2D- к 3D-изображениям трехмерными становятся как пространственная, так и частотная области представления данных, т.е. вместо двумерного получаем трехмерное Фурье-преобразование; основные свойства преобразования Фурье при этом сохраняются. Пусть f(x,y,z) - непрерывная функция трех переменных x, y и z. Пара трехмерных непрерывных преобразований Фурье (прямое и обратное) задается следующими выражениями: F(u, v, w) = J J J f (x, y, z)e-i2n(xu+yv+zw)dxdydz (8) и f (x,y,z) = J J J F(u,v,w)ei2n(xu+yv+zw)dudvdw, (9) где u, v и w - непрерывные частотные, а x, y и z - непрерывные пространственные переменные. Трехмерное дискретное преобразование Фурье (ДПФ) International Journal of Open Information Technologies ISSN: 2307-8162 vol. 2, no. 11, 2014 может быть записано в виде: F(u,v, w) = XXS f (m,n,k)e-nM3m,M+vn/N+wk/K> , (10) где f(m,n,k) - трехмерный массив размерами MxNxK. Обратное трехмерное дискретное преобразование Фурье будет иметь вид: f (m,n,k) = -L_Y У У F(u,v,w) e2n(um/M+vn/N+wk/K) (11) для 0 < m < M, 0 < n < N и 0 < k < K, а также 0 < u < M, 0 < v < N и 0 < w < K. Как и в двумерном случае, частотная фильтрация трехмерного сигнала осуществляется выполнением прямого преобразования Фурье (10), модификацией полученного спектра F(u,v,w), и последующим обратным преобразованием (11). По аналогии с преобразованием Фурье, другие ортогональные преобразования при переходе к трехмерному сигналу также несложно видоизменяются добавлением размерности. VI. Изменение пространственных алгоритмов в 3D Пространственная фильтрация обычно осуществляется локальными операторами согласно формуле (1) с определенными ограничениями на размеры локальной области анализа Vd(x), поскольку в случае функции f(v) в (1) общего вида, объем необходимых вычислений возрастает как минимум пропорционально числу элементов, попадающих в Vd(x). Окрестности, которые в 2D-случае содержат порядка (2d)2 пикселей, в 3D будут содержать уже порядка (2d)3 вокселей. Тем не менее для некоторых преобразований в трехмерном случае, как и в двумерном, удается построить быстрые алгоритмы. A. Алгоритмы, использующие оценку среднего по фрагменту Ряд алгоритмов обработки двумерных изображений, связанных со сглаживанием, выделением низко- или высокочастотных составляющих, улучшением изображения, обобщаются следующей формулой ,: ymn f(xmn Smn,Dmn) + bSmn + c, где xmn - значение центрального элемента, Smn - оценка сглаженного значения для точки (m,n) (например, значение арифметического среднего или медианы по фрагменту), Dmn - оценка дисперсии по фрагменту, f(u,v) - зависимость усиления контраста, b и c - параметры преобразования. Так, при f(u,v) = 0 и c = 0 получаем выделение низкочастотной составляющей (сглаживание), при f(u,v) = u, b = 0 и c = 0,5 - выделение высокочастотной составляющей, а при f(u,v) > u, b < 1 и c ~ (1-b)/2 - улучшение изображения ,. Преобразования вида (12) легко переносятся на 3D-изображения добавлением размерности, но с учетом того, что Smnk, а также u и v в f(u,v) должны определяться уже не по двумерному, а по трехмерному фрагменту (прямоугольному параллелепипеду) с центром в точке (m,n,k): ymnk f(xmnk Smnk,Dmnk) + bSmnk + c. (13) Модификации алгоритмов быстрого вычисления арифметического среднего или медианы Smnk, а также дисперсии Dmnk рассмотрены в конце статьи. B. Операторы контурных перепадов В основе большинства алгоритмов обнаружения контуров на изображении лежат операторы контурных перепадов, использующие оценки значений либо первой, либо второй производной ,. Для 2D-изображений контуры объектов суть линии, разделяющие плоские области; в случае, когда линии не имеют разрывов, получаем контурную карту изображаемой сцены. В трехмерном пространстве контурное изображение представляет собой множество разделяющих объекты поверхностей произвольной формы, и здесь возможно возникновение различных конфигураций контуров, например, становятся допустимыми самопересечения и узлы. Сечение 3D-контурного изображения плоскостью представляет собой двумерную карту контуров. Однако такая карта не обязана совпадать с картой, получаемой проведением контуров по 2D-изображению, являющемуся сечением 3D-изображения той же плоскостью. Рассмотрим модификации базовых операторов контурных перепадов на основе первой и второй производных при переходе от 2D- к 3D-изображениям в рамках рассмотренных выше трехмерных окрестностей. 1) На основе первой производной: оператор Робертса Оператор Робертса для двумерного изображения формулируется как сумма модулей разностей значений диагональных элементов по квадрату 2x2 пикселей: y(m,n)={lx(m,n)-x(m+1,n+1)l+lx(m+1,n)-x(m,n+1)l}/2. (14) Для трехмерного изображения оператор Робертса можно представить в виде суммы модулей разностей элементов в диагоналях куба из 2x2x2 пикселей: y(m,n,k) = (15) ={lx(m,n,k)-x(m+ 1,n+1,k+1)l+ lx(m+ 1,n,k)-x(m,n+ 1,k+1)l+ +lx(m,n+1,k)-x(m+1,n,k+1)l+lx(m,n,k+1)-x(m+1,n+1,k)l}/4. 2) На основе первой производной: оператор Собела Для двумерного изображения оператор Собела задается выражением: y(m,n) = {lx(m-1,n-1)+2x(m-1,n)+x(m-1,n+1) - X(m+1,n-1)-2x(m+1,n)-x(m+1,n+1)l + Lx(m-1,n-1)+2x(m,n-1)+x(m+1,n-1) - (16) X(m+ 1,n-1)-2x(m+1 ,n)-x(m+ 1,n+1) l}/8. Чтобы построить оператор Собела (и аналогичные ему) для 3D-изображения, первоначально определим частные отклики как модули разностей значений элементов для каждого из направлений m, n и k, что соответствует выражению под одним из знаков модуля в (16). Для направления m такую зависимость ym(m,n,k) с точностью до коэффициентов a, b и c можно выразить формулой: Lax(m- 1,n- 1,k-1)+bx(m- 1,n- 1,k)+ax(m-1 ,n-1 ,k+1)+ Bx(m-1,n,k-1) +cx(m-1,n,k) +bx(m-1,n,k+1)+ Ax(m- 1,n+ 1,k-1)+bx(m- 1,n+ 1,k)+ax(m-1 ,n+1 ,k+1)- Ax(m+ 1,n-1,k-1)-bx(m+ 1,n-1 ,k)-ax(m+1,n- 1,k+1)- Bx(m+1,n,k-1) -cx(m+1,n,k) -bx(m+1,n,k+1)- Ax(m+ 1,n+1,k-1)-bx(m+ 1,n+1 ,k)-ax(m+1,n+ 1,k+1)l/ /(4a+4b+c). (17) Аналогичным образом записываются модули разностей yn(m,n,k) и yk(m,n,k) для составляющих n и k. International Journal of Open Information Technologies ISSN: 2307-8162 vol. 2, no. 11, 2014 Трехмерный оператор, аналогичный оператору Собела, выразим через корень из суммы квадратов откликов по трем направлениям: y(m,n,k)= {2+ 2+2}1/2. (18) Коэффициенты a, b и c рекомендуется выбирать как 1, 2 и 3 соответственно. 3) На основе второй производной: оператор Лапласа Оператор Лапласа (лапласиан) для двумерного изображения задается следующей формулой : y(m,n) = {x(m-1 ,n-1)+x(m- 1,n)+x(m- 1 ,n+1)+x(m,n-1)+x(m,n+1) + +x(m+1,n-1)+x(m+1,n)+x(m+1,n+1)}/8 - x(m,n). (19) Для 3D-изображения модификация лапласиана может быть выражена через набор элементов окрестности: где Vmnk - окрестность точки xmnk, не включающая саму центральную точку xmnk, QV - число точек в такой окрестности, {x^} - набор элементов окрестности Vmnk. В качестве Vmnk может выступать одна из окрестностей, показанных на Рис. 1; для окрестности (а) QV = 6, для (б) Qv = 18, для (в) Qv = 26. 4) Другие контурные операторы Как и для двумерного случая, возможно построение и других детекторов, позволяющих обнаруживать контурные перепады, например, разности максимума и минимума значений элементов окрестности Vmnk: ymnk = max {xijl I xijl e Vmnk} - min{ xtji I xj e Vmnk}. C. Фильтрация импульсных помех Импульсными помехами называют сравнительно редкие искажения отдельных элементов изображения, когда значения помехи значительно отличаются от истинных значений сигнала и не коррелированны с ними. Модель искажения изображения импульсными помехами проста. Значение каждого из элементов xmnk с вероятностью p заменяется на случайное значение 4mnk независимо от значений остальных элементов. Обозначим через X’ = исходное неискаженное изображение, через X = - искаженное импульсной помехой, а через Y = - результат фильтрации. Процесс искажения представится в виде: Г xm nk с вероятностью (1 - p); с вероятностью p. Как правило полагается, что значения импульсных помех 4mnk распределены равномерно в диапазоне яркостей . Фильтрация импульсных помех сводиться к обнаружению помех и коррекции искаженных отсчетов яркости. Наиболее распространенные алгоритмы фильтрации основываются на предсказании значения элемента xmnk по окружающей его окрестности Vmnk. При этом используются локальные корреляционные связи близлежащих элементов изображения и учитывается, что шум пространственно декоррелирован. При обнаружении сравниваются наблюдаемое xmnk и предсказываемое xmnk значения. Если они отличаются более, чем на величину некоторого порога обнаружения 5, считается, что xmnk - помеха и осуществляется ее исправление на значение xmnk . Общая формула вычисления xmnk в целом повторяет формулу (1): xmnk = /{xijl 1 xijl e Vmnk}. (22) Значение функции /{ } будем находить следующим образом. Выберем из набора элементов окрестности xijle Vmnk усеченное множество {xj} путем отбрасывания 2n точек с наименьшими и наибольшими значениями (n ~ QV/8). Множество точек {x"j} будет соответствовать так называемой области принадлежности. Проведем через точки {x"j} ближайшую гиперплоскость и возьмем ее значение в точке (m,n,k). Полученная величина и будет искомым предсказываемым значением xmnk. Обобщенная формула фильтрации для большинства алгоритмов будет следующей: Гxmnk , есЛИ Knk - xmnk 1 < 5; ^ ymnk = 1 ~ , - , . с (23) если Ixmnk - xmnk 1 ^ 5. При больших p, когда вероятность искажения пары соседних вокселей достаточно высока, рекомендуется итеративный процесс фильтрации: первоначально с большим значением порога 5, затем с постепенным его уменьшением. Рекомендуется для первой итерации применять окрестность на Рис. 1,а, а для последующих - окрестности на Рис. 1,б и (в). D. Декомпозиция изображения Для двумерного изображения вопросы декомпозиции, означающей в терминах модели (2) разделение изображения на сглаженную S и текстурно-детальную компоненты (t + 4), были рассмотрены в ,,. Суть изложенного в них алгоритма заключается в том, что для каждой точки изображения (m,n) на основе последовательного анализа окрестности Vmn и фрагмента Wmn, окружающих элемент xmn, выбирается часть точек Wmn в качестве области принадлежности, и значение Smn оценивается по выбранному множеству. Алгоритм декомпозиции использует анализ распределений вероятностей значений элементов по окрестности Vmn и фрагменту Wmn. Пример фрагмента, охватывающего три области, а также распределение значений элементов по фрагменту (гистограмма) показаны на Рис. 3. Областью принадлежности в данном случае является множество точек объекта и. Рис. 3. а) Область анализа (фрагмент); б) распределение вероятностей значений элементов по фрагменту. Поскольку используемый подход основан на анализе распределений вероятностей, то он позволяет легко International Journal of Open Information Technologies ISSN: 2307-8162 vol. 2, no. 11, 2014 перейти от 2D- к 3D-изображению - достаточно лишь вместо двумерных окрестности Vmn и фрагмента Wmn подставить в формулы трехмерные окрестность Vmnk и фрагмент Wmnk. В нотации , алгоритм декомпозиции трехмерного изображения формулируется следующим образом. При заданных размерах txlxl окрестности Vmnk и LxLxL фрагмента Wmnk (l < L), центрированных в точке (m,n,k), ширине яркостных интервалов анализа А и А, а также ранговых параметрах nV < l3/2 и nW < L3/2 соответственно, значение сглаженной компоненты Smnk в (2) находится выполнением следующих операций для каждой точки (m,n,k) изображения: 1. Подсчитываются вероятности распределения (гистограммы) по трехмерным окрестности Н^ = { hVnk (i) } и фрагменту Н^к = { hWnk (i) } с центром в (m,n,k). 2. По гистограмме окрестности HmVnk и параметру nV находятся значения R = RV(nV/l3) и R = RV(1 - nV/l3); здесь ранговые значения R(x) определяются как решения уравнения £ *=0 ^k (i) = -Г где hL (i) - гистограмма значений элементов в окрестности Vmnk. Промежуточное значение x находится сравнением -mnk с R1 и R2: XV = -mnk, если R1 < -mnk < R1 "; XV = R , если -mnk < R1V ; и X = R2 , если Xmnk > R1 . 3. Из элементов Vmnk выбираются z таких xrmnk e V, (r = 1,..., z), что попадают в интервал (XV - AV, XV + AV), где AV - его полуширина. По значениям Xrmnk из данного интервала, подсчитывается среднее : Xmnk A(V mnk , Xmnk , A(Vmnk , Xmnk , n , А) = - Ё X где XV - AV < Xmnk < XV + AV. 4. Аналогично п. 2, по гистограмме фрагмента H"Wnk и W r»W r>W/ W/т 3\ заданному n находятся значения R1 = R (n /L) и rw = rw(1 - nW/L3). Значение XW находится сравнением X„„k с RW и RW: mnk, если RW < Xmrk < RV ; XW = RW , RW , если X„„k > RW если Xmnk < R1W ; и X" 5. Сглаженное значение Smnk находится как медиана по усеченной гистограмме фрагмента HmWnk - той ее части, которая расположена в интервале (X - A , X + A): Smnk = med(Wm„k, Xmnk , nW, AW). Рис. 4. Результат декомпозиции: исходное изображение (слева), сглаженная компонента S„n (справа) и графики отмеченной строки. Полученное значение Smnk считается искомой сглаженной компонентой. Упрощенный вариант данного алгоритма был позже опубликован в под названием билатеральная фильтрация. Пример декомпозиции двумерного изображения размерами 256x256 элементов с фрагментом сглаживания Wmnk размерами 15x15 элементов показан на Рис. 4. E. Обнаружение объектов заданного объема В показано, что изложенный выше алгоритм декомпозиции можно использовать для обнаружения объектов на изображении. Аналогично 2D-изображе-ниям, для которых решается задача обнаружения объектов по их площади, в трехмерной модификации ставится задача обнаружения объектов по их объему. По аналогии с двумерной, трехмерная задача также допускает формулировку в трех вариантах: обнаружение объектов с объемом (т.е. числом элементов) N j меньше заданного T1, больше заданного T2, и обнаружение объектов, имеющих объем в интервале T1 < N] < T2. 1) Обнаружение объектов с N1 > T Предполагается, что изображение состоит из достаточно ровного фона (большая область U0), на которой имеется набор небольших областей U1,...,UJ, отстоящих друг от друга достаточно далеко, и можно выбрать некоторый размер фрагмента L (L3/2 > T) такой, что в любой фрагмент Wmnk попадает не более одной области c N] > T, либо несколько меньших, но при условии EN1 < T (U1 _ W). В п. 5 алгоритма декомпозиции (25) выберем nW= T, a R"W = R(T/L3) и R2W = R(1-T/L3). Обработкой изображения с данными значениями R1W и R2W получим: т.е. сглаженную компоненту исходного изображения, на которой остались области с N] > T, обнаруживаемые детектором со значением порога S(U0) ± 5, где S(U0) - средняя яркость фона, а 5 < mini{IS(U1) - S(U 0)l}; (S(U 1) - яркости соответствующих областей). 2) Обнаружение объектов с N1 < T Сглаженная компонента Smnk, в (25) содержит лишь области с N1 > T, а области с N1 < T содержатся в разностной компоненте tmn = (Xmn - ^mn) - Smn. Детекция объектов с N1 < T достигается пороговым обнаружением в точках, где ltmnl > 5 (5 - порог обнаружения). 3) Обнаружение объектов с Tj < N] < T2 Возможны два варианта решения. В первом случае сначала выберем nW = T1. Тогда сглаженная компонента Smnk в (25) будет содержать объекты с N] > T1. Осуществим повторную ее обработку алгоритмом (25) с nW = T2 (T2 > T1). Очевидно, во вновь полученной сглаженной компоненте S’mnk будут содержаться лишь объекты с N1 > T1. Взяв разность ymnk = ISmnk - S’mnkl получим сигнал, содержащий объекты в диапазоне T1 < N] < T2. Недостаток данного решения - алгоритм получается двухпроходовым. Второй вариант. Обратим внимание, что при анализе гистограмм по окрестности и фрагменту используются два разных порога (nV и nW). Выберем размеры окрестности l и фрагмента L больше обычного - такими, чтобы l3 > 2T1 и L3 > 2T2. Задав R1V и RV, как International Journal of Open Information Technologies ISSN: 2307-8162 vol. 2, no. 11, 2014 RV = RV(T1/l2) и RV = RV(1 - ТУ/2), после операции (24) будем иметь xmnk, которое уже не содержит области с N] < Т1. Далее в п. 5 алгоритма декомпозиции, при анализе HW, зададим RW и R2W как RW = RW(T2/L3) и rw = rw(1 - t2/l3). Получив значение Smnk в (25), возьмем разность ymnk = I xmnk - Smnk\, на которой объекты выделяются пороговым обнаружением. Отметим, что как понятие площади в двумерном случае, так и понятие объема в трехмерном варианте алгоритма используются в несколько необычном смысле - как «локальный» объем, т.е. объем той части объекта, которая попадает внутрь фрагмента Wmnk. VII. Некоторые вычислительные алгоритмы A. Сумма по прямоугольному параллелепипеду Введем обозначение для суммы по фрагменту 2Б-изображения: т.е. S(j)(mn) - сумма значений элементов xuv, попадающих в прямоугольный фрагмент, диагональные точки которого имеют координаты (i,j) и (m-1,n-1). Обратим внимание, что фрагмент при этом не включает точку с координатами (m,n) и соответствующие ей строку и столбец. Аналогично для трехмерного изображения, S(ijl)(mnk) - сумма значений элементов xijl в прямоугольном параллелепипеде с координатами углов (i,j,l) и (m-1,n-1,k-1): Для двумерного изображения классический способ вычисления суммы S(mn)(m+Hn+L) по скользящему прямоугольному фрагменту размерами HxL элементов при переходе от элемента (m,n) к элементу (m,n+1) сводится к формуле S(m,n+1)(m+H,n+L+1) S (m,n)(m+H,n+L) S(m,n)(m+H,n+1) +S(m,n+L)(m+H,n+L+1), (26) где последние два члена - суммы элементов по левому (удаляемому) и правому (добавляемому) столбцам фрагмента. Алгоритм требует 4 операции независимо от размеров фрагмента - 2 операции в выражении (26) и две операции на пересчет каждой из сумм по столбцу S(m,n)(m+H,n+V) при переходе от строки m к строке m+1. Дополнительно требуется N ячеек для хранения сумм по столбцам. При переходе к 3Б-изображению, формула (26) будет модифицирована для скользящего прямоугольного параллелепипеда размерами HxLxJ: S(m,n,k+1)(m+H,n+L,k+J+1) S(m,n,k)(m+H,n+L,k+J) S(m,n,k)(m+H,n+L,k+1)+ + S(m,n,k+J)(m+H,n+L,k+J+1), (27) где последние два члена - суммы элементов по левой (удаляемой) и правой (добавляемой) граням параллелепипеда. Данный алгоритм требует уже 6 арифметических операции независимо от размеров фрагмента - 2 операции в выражении (27), две операции на пересчет каждой из сумм по граням и две на пересчет сумм по столбцам. Кроме того, требуется K ячеек для хранения массива сумм по граням и NxK ячеек для хранения сумм по столбцам. Для двумерного изображения известен и другой алгоритм вычисления суммы по прямоугольнику произвольного размера. Пусть для каждой точки (m,n) подсчитаны суммы Smn = S(0,0)(m,n) по прямоугольнику с диагональными элементами x00 и xm-1,n-1. Тогда сумма S(ij)(mn) значений элементов внутри прямоугольника с угловыми координатами (i, j) и (m-1,n-1) будет: S(ij)(mn) Smn Sm,j Si, что в среднем для каждого элемента изображения требует 2 операции для вычисления суммы Smn и 3 операции для вычислений по формуле (28). Однако для хранения сумм Smn требуется уже MxN ячеек, равное размеру изображения. Преимуществом является то, что за те же 3 операции можно вычислять S(ij)(mn) для любых значений координат, а не только по скользящему фрагменту. Алгоритм (28) также может быть модифицирован для трехмерного изображения. Пусть для каждой точки (m,n,k) подсчитаны суммы Smnk по прямоугольному параллелепипеду с диагональными элементами x000 и xm-1,n-1,k-1, т.е. Smnk = S(ooo)(mnk). Нетрудно показать, что в таком случае сумма S(ijl)(mnk) значений элементов внутри параллелепипеда с угловыми координатами (i, j, l) и (m-1,n-1,k-1) вычисляется при помощи следующей операции: S(ijl)(mnk) = Smnk -Smjk -Smnl -Sink +Smjl +Sijk +Sinl -Sijl. (29) Таким образом с учетом того, что для вычисления каждого из значений Smnk требуется 3 арифметических операции, для вычисления суммы S(ijl)(mnk) для каждого элемента трехмерного изображения потребуется в среднем 10 арифметических операций. Объем дополнительно требуемой памяти составит MxNxK ячеек с разрядностью, достаточной для значений сумм Smnk. Аналогично можно находить дисперсии по фрагменту D(ijl)(mnk), вычисляя значения сумм квадратов S(mnk)(x2) для каждой из точек (m,n,k) и для прямоугольного параллелепипеда S(ijl)(mnk)(x2), и затем пользуясь формулой D(ijl)(mnk) = {S(ijl)(mnk)(x) - (S(ijl)(mnk)) }/N(ijl)(mnk), (30) где S(ijl)(mnk)(x2) - сумма квадратов значений элементов, попадающих в параллелепипед, а общее число точек в параллелепипеде равно N(ijl)(mnk) = (m-i)x(n-j)x(k-l). B. Порядковые статистики по прямоугольному параллелепипеду Основой для вычисления порядковых статистик по фрагменту W как 2D- так и 3Б-изображения служит гистограмма распределения значений яркости по этому фрагменту hW(x), а также ее интегральная характеристика FW(x): FW (x) = Z hW (i) ; FW(xmax) = NW, (3 1) где xmax - максимально возможное значение яркости, а NW - число точек во фрагменте W. Порядковые статистики вида RW(n), где 0 < n < NW, представляют собой зависимость: RW(n) = z, если FW(z-1) < n < FW(z). (32) Алгоритм скользящего вычисления гистограммы по International Journal of Open Information Technologies ISSN: 2307-8162 vol. 2, no. 11, 2014 фрагменту строится аналогично формулам (26) и (27), т.е. при смещении фрагмента к следующей точке производится удаление точек на одной грани фрагмента и добавление точек на противоположной грани . В двумерном случае алгоритм скользящего вычисления гистограммы по фрагменту при переходе от точки (m,n) к соседней точке (m,n+1) требует в среднем 2H числа операций (H - число строк во фрагменте). В трехмерном случае при переходе от точки (m,n,k) к точке (m,n,k+1) потребуется уже 2HxL операций, где HxL - число точек в грани параллелепипеда, перпендикулярной направлению смещения K. В трехмерном случае число требуемых операций растет пропорционально произведению HxL. Однако, если (HxL) > (xmax+1), то вместо операций со значениями отдельных точек выгодно заранее сформировать гистограммы для граней параллелепипеда hj)(mnk+1)(x), а затем осуществлять операции вычитания и прибавления таких гистограмм: hW (x) = hW (x) - hF (x) + h(i,j,k+1Xm,n,k+J+1)(x) h(ijk)(m,n,k+J)(X) h(ijk)(m,n,k+1)(x) H(i,j,k+J)(m,n,k+J+1)(X) , где J - размер фрагмента в направлении смещения K. Действия по формуле (33) требуют в среднем 2(xmax+1) арифметических операций на одну точку изображения независимо от размера параллелепипеда. Для пересчета гистограмм по граням параллелепипеда hfjk)(mnk+1)(x) нужно дополнительно в среднем 2L операций на точку и (xmax+1)xK ячеек памяти для хранения K гистограмм. Число операций (xmax+1), требуемое для прибавле-ния/вычитания каждой из гистограмм по граням параллелепипеда hFjk)(mnk +1)(x), можно уменьшить, если воспользоваться пространственной корреляцией обрабатываемых данных. На участках с медленным изменением яркости, которых на реальных изображениях обычно большинство, размах значений элементов сравнительно невелик - в несколько раз меньше полного диапазона в (xmax+1) градаций. Добавив к каждой из гистограмм hFjk)(mnk +1)(x) по 2 ячейки для запоминания минимального и максимального значений распределения, и, соответственно, обрабатывая лишь указываемый диапазон градаций, удается дополнительно в несколько раз сократить общее число операций. VIII. Заключение Рассмотрены вопросы модификации двумерных модели и алгоритмов обработки изображений в применении к трехмерным изображениям. Показаны варианты изменения области анализа, алгоритмов фильтрации, декомпозиции изображений и обнаружения объектов, которые сравнительно несложно модифицируются при переходе от 2D- к 3Б-изображениям. Предложены вычислительные алгоритмы, сокращающие количество операций при определении значений среднего и порядковых статистик по скользящему фрагменту для 3D- изображения. Библиография Toriwaki J., Yoshida H. Fundamentals of Three-Dimensional Digital Image Processing. New York: Springer, 2009. Красильников Н. Цифровая обработка 2D и 3D изображений. СПб.: BHV-Петербург, 2011. Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2012. Чочиа П.А. “Двухмасштабная модель изображения”. В кн. Кодирование и обработка изображений. М.: Наука, 1988, С. 69-87. Чочиа П.А. Обработка и анализ изображений на основе двухмасштабной модели: Препринт ИППИ АН СССР. М.: ВИНИТИ, 1986. Ахмед Н., Рао К. Ортогональные преобразования при обработке цифровых сигналов. М.: Связь, 1980. Chochia P.A. “Image Enhancement Using Sliding Histograms”. Computer Vision, Graphics, Image Processing, 1988, vol. 44, no. 2, pp. 211-229. Прэтт У. Цифровая обработка изображений. М.: Мир, 1982. Т. 1, 2. Робертс Л. “Автоматическое восприятие трехмерных объектов”. В кн. Интегральные роботы. М.: Мир, 1973, С. 162-208. Чочиа П.А. “Цифровая фильтрация импульсных помех на телевизионных изображениях”. Техника средств связи: сер. Техника телевидения, 1984, вып.1, C. 26-36. Чочиа П.А. “Сглаживание изображения при сохранении контуров”. В кн. Кодирование и обработка изображений. М.: Наука, 1988, С. 87-98. Чочиа П.А. “Некоторые алгоритмы обнаружения объектов на основе двухмасштабной модели изображения”. Информационные процессы, 2014, Т. 14, № 2, С. 117-136. Lee J.S. “Digital Image Smoothing and the Sigma Filter”. Computer Vision, Graphics, Image Processing, 1983, vol. 24, no. 2. pp. 255-269. Tomasi C., Manduchi R. “Bilateral filtering for gray and color images”. Proc. IEEE 6th Int. Conf. on Computer Vision, Bombay, India, 1998, pp. 839-846 Чочиа П.А. “Параллельный алгоритм вычисления скользящей гистограммы”. Автометрия, 1990, № 2, С. 40-44. Чочиа П.А. “Модификация модели и алгоритмов обработки при переходе от двумерных к трехмерным изображениям.” В кн. IX Международная научно-практическая конференция “Современные информационные технологии и ИТ-образование." Сборник избранных трудов. М.: МГУ, 2014, С. 820-833. International Journal of Open Information Technologies ISSN: 2307-8162 vol. 2, no. 11, 2014 Three-dimensional and two-dimensional images: modification of image model, analysis area processing algorithms Abstract - The specificities of three dimensional images are formulated. The adaptation of analysis area and two-scale image model to 3D-images is studied. The modifications of various image processing algorithms to 3D-images are demonstrated. Fast algorithms for calculating local average and order statistics in the moving window for 3D-images are proposed. Keywords - Image processing, three-dimensional image, image model, image processing algorithm, analysis area, fast algorithms. Стандартное ультразвуковое исследование позволяет получить двухмерную картинку — изображение среза тканей плода в области воздействия ультразвука. Этого достаточно для определения состояния плода и возможных аномалий развития. Дополнительное использование допплерографии позволяет оценить качество кровообращения между матерью и плодом. В некоторых ситуациях обычного двухмерного исследования недостаточно. Речь идет, в первую очередь, о визуализации дефектов лица, точном определении количества пальчиков на руках и ногах, выявлении аномалий половых органов, незаращения спинного мозга, врожденных аномалий кожи. В этом случае на помощь приходит трехмерное . Помогает оно и в точном определении пола ребенка. Объемное изображение позволяет увидеть плод целиком и по частям, хорошо визуализируется лицо ребенка. Эти возможности методики и привлекают родителей. Получить фотоальбом малыша еще до его рождения, а при использовании УЗИ 4D при беременности — настоящий видеофильм, желают многие. Двухмерная процедура выдает на экран плоскую картинку, разобраться в которой среди скопления точек и черточек может только врач ультразвуковой диагностики. При трехмерном исследовании изображение становится объемным и цветным, хотя и статичным, при четырехмерном — объект движется в реальном времени, позволяя делать видеозапись. Такой эффект получается при использовании особого датчика, сканирующего плод маятникообразно. Полученные срезы тканей подвергаются компьютерной обработке, в результате чего изображение становится объемным. Важным плюсом трехмерного исследования (кроме вышеперечисленных диагностических возможностей и мощного эмоционального воздействия) является сохранение тех же параметров ультразвуковой волны (частоты сканирования, мощности и интенсивности воздействия), что и при двухмерном обследовании. Если же говорить о минусах, то для трехмерной процедуры это продолжительность воздействия: обычное длится около 15 минут, тогда как 3D — 45−50 минут. Кроме того, трехмерное исследование имеет ряд ограничений, связанных со сроком беременности и тем положением, которое занимает плод во время процедуры. Так, оптимальный срок для выполнения 3D исследования — 24 недели беременности и не раньше. Именно к этому времени сформированы все поверхностные структуры плода и можно более точно распознать разнообразные внешние аномалии. Затруднения зачастую возникают, если при проведении малыш повернется спиной к датчику. Вместо лица остается созерцать только спинку ребенка. Двухмерное же УЗИ позволяет в любой ситуации провести полноценную диагностику всех внутренних органов и правильно интерпретировать полученную информацию. Ультразвуковое исследование, применяемое в акушерстве, безопасно для матери и плода. Многолетний клинический опыт использования методики доказал это. Трехмерное обследование — не исключение. Кстати, продолжительность воздействия ультразвука на организм матери и ребенка не превышает одного процента от общего времени процедуры. Остальное время происходит прием и обработка поступающей информации. Однако любое воздействие на плод должно быть обоснованно и продолжаться ровно столько, сколько это необходимо. 3D УЗИ плода — это высокое качество диагностики и полная безопасность обследования. Когда мы смотрим на двумерное изображение какой-либо трехмерной сцены (на
картине, фотографии, экране монитора), нам кажется, что там непосредственно
присутствуют все те предметы, которые мы могли бы увидеть, если бы
непосредственно наблюдали ту же сцену в жизни. Между тем, все, что нам на
самом деле дано в двумерном изображении, это $\textit{видимое поле}$, представляющее собой лишь
некоторую $\textit{функцию распределения яркости}$ или $\textit{цвета}$ на двумерной плоскости: $f(x,y)$, где $x$ и $y$ - декартовы координаты,
описывающие плоскость изображения.} Более того, если приблизиться вплотную к экрану компьютерного монитора,
можно увидеть, что изображение на экране на самом деле не гладкое и
непрерывное, а представляет собой дискретную "мозаику", состоящую из
отдельных цветных прямоугольников, расположенных в виде регулярной
прямоугольной матрицы. Это и есть цифровое изображение. С математической
точки зрения $\textit{цифровое изображение}$ представляет собой двумерную матрицу Im$$ размера $ \textrm{DimX} \times \textrm{DimY}$, где $x$ - целое число от $0$ до $ \textrm{DimX} - 1$, описывающее номер
элемента в строке матрицы, $y$ - целое число от 0 до $ \textrm{DimY} - 1$, описывающее
номер строки матрицы, в которой расположен данный элемент. При этом сам
элемент цифрового изображения (ячейка прямоугольной матрицы) носит название
$\textit{пиксел}$ (pixel, picture element). В простейшем случае каждый пиксел Im$$ имеет
скалярное целочисленное значение, пропорциональное значению функции
распределения яркости $f(x,y)$ в данной точке плоскости. На рис. 1 слева показано изображение женского лица, представленное как
изображение, а справа показан увеличенный фрагмент изображения того же лица
(правый глаз), где для каждого элемента изображения указано соответствующее
числовое значение пиксела. Светлым элементам изображения соответствуют
б {о}льшие значения матрицы, темным - меньшие значения. Никакой другой
информации цифровое изображение не содержит. Цифровое изображение как двумерная матрица интенсивностей Начиная изучать машинное зрение, необходимо четко представлять себе, что в
компьютере в качестве цифрового изображения хранится только и исключительно
двумерный массив чисел того или иного формата. Любые другие данные, которые
мы хотели бы из изображения извлечь (фигуры, линии, объекты, размеры,
содержание изображенного текста и т. д. и т. п.) - могут быть получены лишь
в результате применения ряда процедур обработки и анализа изображения,
которые мы должны либо сами запрограммировать, либо использовать готовые
процедуры, имеющиеся в известных пакетах программ для анализа изображений.
При этом для решения простых задач компьютерного зрения готовые средства
наверняка найдутся в стандартных библиотеках процедур обработки изображений,
для решения задач посложнее необходимо будет скомбинировать те или иные
готовые процедуры, а для многих вполне "обыденных" задач, которые
"биологическое" зрение человека, казалось бы, решает легко и играючи,
компьютерное машинное зрение до сих пор решений не имеет и все еще
продолжает их искать. Ведь используя свое естественное зрение, человек легко
ориентируется в любой обстановке, узнает предметы, выбирает путь, управляет
автомобилем и многое, многое другое. Почему же компьютер, получающий
изображение от видеокамеры, всего этого не может? Может быть, дело в
строении человеческого глаза? На самом деле человеческий глаз, как и видеокамера, всего лишь формирует
"видимое поле", аналогичное цифровому изображению. При этом оптическая
система, состоящая из зрачка и хрусталика, проецирует двумерное изображение
на сетчатку глаза, где фоточувствительные клетки ("палочки" и
"колбочки") преобразуют полученное изображение в нервные импульсы. И
только после этого сложный механизм обработки полученной информации,
функционирующий в соответствующем отделе нашего мозга, интерпретирует эти
импульсы как понятное нам изображение видимой сцены. Таким образом, и у
человека функцию "видения" выполняет не один только глаз, но система
"$\mbox{глаз} + \mbox{мозг}$" ("$\mbox{сенсор} + \mbox{компьютер}$"). Именно встроенные в мозг алгоритмы
обработки информации позволяют человеку понимать то, что он видит. Роль этих
встроенных алгоритмов можно пояснить на следующем примере. Когда в середине XX века хирурги-офтальмологи научились делать операции на
хрусталике глаза, у многих слепых от рождения людей появилась техническая
возможность прозреть. То есть после такой операции у человека, доселе
слепого (свет просто не проходил через хрусталик), изображение на сетчатке
начинало формироваться и соответствующие сигналы начинали поступать в мозг
совершенно так же, как это происходит у здоровых людей. К сожалению, в
данном случае "увидеть свет" не означало "начать видеть". Как показала
дальнейшая история, большинство "технически прозревших" взрослых пациентов
так никогда и не смогли достичь в области зрения более существенных
результатов, чем распознавание простых геометрических фигур - и даже это
требовало от них серьезных сознательных усилий. Узнавание же людей по лицам
и ориентирование в пространстве так и остались для них непосильными
задачами. Дело в том, что те встроенные механизмы "автоматического"
зрительного анализа, которые развиваются у людей в раннем детстве, у этих
пациентов не были своевременно развиты, и они оказались в положении
компьютера, имеющего устройство для ввода изображения, но не имеющего
необходимого программного обеспечения для его анализа. Для того чтобы окончательно убедиться в сложности стоящей перед нами задачи
анализа изображения, представляющего собой двумерный массив числовых данных,
попробуем поставить себя на место компьютерной программы, имеющей дело с
абстрактными числами. Для этого мысленно изменим модальность восприятия
изображения - переведем его из визуальной области в тактильную. Представим
двумерный массив значений интенсивности как шахматную доску, размер которой
равен размеру изображения $ \textrm{DimX} \times \textrm{DimY} $, а в центр каждой клетки
воткнут столбик, высота которого пропорциональна значению соответствующего
пиксела изображения. Иными словами, рассмотрим двумерное изображение как
некую условную трехмерную поверхность. На рис. 2 слева фрагмент женского
лица показан как изображение, а справа изображен как псевдотрехмерный
рельеф. Цифровое изображение как псевдотрехмерный рельеф Теперь представьте себе, что вы должны, не глядя на изображение, ощупать
соответствующий ему "рельеф" и постараться определить, что именно этот
"рельеф" изображает - дом, собаку или человеческий глаз? Как показывают
эксперименты, средний человек не в состоянии справиться с подобной задачей.
Даже распознавание простейших геометрических фигур в подобном "рельефном"
представлении будет связано со значительными усилиями и потребует
сознательной выработки специального навыка, стратегии и алгоритмов
ощупывания. Такова, несмотря на кажущуюся простоту объекта "цифровое
изображение", истинная сложность задач компьютерного и машинного зрения.Каковы диагностические возможности трехмерного ультразвукового исследования?
Так в чем же различие между 2D и 3D исследованиями?
Плюсы и минусы 3D исследования
Безопасность 3D УЗИ плода
Загрузка...