Введение

[Darbee Visual Presence] Автоматизированные средства коррекции изображений полностью меняют наше отношение к цифровому контенту. Современные высокотехнологические процессоры обработки позволяют нам получать изображения с высоким качеством, выходящим за узкие рамки критерия «точности передачи информации». Конечное качество и реализм изображения больше не зависят от чисто технических характеристик, от миллионов пикселей и миллиардов оттенков. Сейчас для обработки изображений используются высокопроизводительные вычислительные операции и инновационные методы, которые повышают качество цифровых изображений и – как следствие – улучшают наши впечатления от них. Это похоже на прогресс в обработке звука, который начался с технологии Dolby.

Концепция коррекции изображений

В настоящее время все программные продукты для обработки цифровых изображений включают какие-либо способы коррекции. Это, например, улучшение контрастности, улучшение глубины цвета, повышение резкости, фильтрация шумов. Современные автоматизированные методы коррекции изображений позволяют получить результаты очень высокого качества, превосходящие возможности самой передовой камеры и монитора. Созданы методы обработки изображений, основанные на тех же принципах, что и деятельность человеческого мозга. Применяя алгоритмы, полученные при изучении нейробиологических моделей человеческого зрения, мы можем получать двумерные изображения, отличающиеся невероятной глубиной и реалистичностью. Благодаря современным технологиям в цифровые изображения можно встраивать реалистичные признаки глубины, которые способствуют улучшенному восприятию форм предметов и создают эффект невероятной четкости изображения. Грамотное применение принципов обработки изображений человеческим мозгом позволяет выйти за узкие рамки «точности передачи информации».

Ограничения средств коррекции изображений

Все существующие методы ограничены или «точностью передачи информации», или обобщениями. Но реалистичность изображения не зависит от количества пикселей и оттенков цвета. Многие популярные программы коррекции изображений часто вносят помехи, усиливают шумы или повышают четкость ненужного фрагмента изображения. Принцип действия технологии DarbeeVision основан на том, что зрительное восприятие человека стереоскопично. Если не учитывать и не использовать этот факт при обработке, любая коррекция деталей двумерного изображения или добавление признаков глубины окажутся не слишком эффективными. Микропроцессоры, которые способны выполнять общую коррекцию изображений, уже давно стали частью всех систем отображения зрительной информации, предлагаемых на рынке. Теперь любые 2D телевизоры можно модифицировать до реалистичной ультра высокой четкости (Ultra HD), не заменяя экран на более дорогостоящий.

Предложение DarbeeVision: коррекция изображений с учетом особенностей человеческого восприятия

В технологиях DarbeeVision используются новаторские методы повышения реалистических изображений. В изображение добавляется больше того, что человеческий разум ожидает от него получить. Получается, что изображения, обработанные средствами Darbee Visual Presence, помогают нам лучше их воспринимать.

Методику Darbee правильнее назвать не изобретением, а открытием нового принципа. С ее помощью стало возможным решить две сложных проблемы, возникающих при работе с двумерными цифровыми изображениями.

• Проблема: найти правильный способ улучшения детализации и признаков глубины для двумерного изображения.
  • Решение: модуляция по яркости должна быть основана на параллаксном смещении.
• Проблема: избежать возникновения помех.
  • Решение: применять модуляцию избирательно, используя быструю и точную маску рельефности.

Технологии Darbee Visual Presence ™

В основе методики Darbee Visual Presence лежит открытие Пола Дарби: в двумерное изображение можно встроить информацию о стерео-глубине и получить превосходные результаты. По результатам восьмилетних исследований нейробиологических принципов человеческого зрения была разработана и запатентована высокоэффективная модель обработки цифровых изображений, в которой используются те же принципы. С ее помощью были созданы методы придания особой глубины и реализма двумерным изображениям.

Вопреки традиционным представлениям о возможном, технология Darbee позволяет совершать невероятные преобразования изображений. Обработка выполняется в реальном времени, а итоговое качество превосходит возможности HD 1080p60. Обработка изображений с помощью Darbee происходит мгновенно и с высокой точностью, потому что базовая методика коррекции и селективные параметры приложения еще на этапе разработки были оптимизированы для эффективности вычислений.

Обработка изображений осуществляется внутрикадрово, поэтому для нее не требуется большой объем буферной памяти и не возникает задержек по времени. Кроме того, обработка не зависит от разрешения, поскольку используется линейное масштабирование, зависящее от количества пикселей в кадре. Алгоритмы осуществляют синтез диспаратности, а затем применяют к полученным изображениям запатентованный метод расфокусировки и вычитания. Далее с помощью карты рельефа Perceptor™ выделяются интересующие области и алгоритмы коррекции применяются только к ним. При этой локализованной обработке яркость изображения меняется отдельно для каждого пикселя.

В результате улучшений получается реалистичное изображение, намного превосходящее возможности коррекции «точности передачи информации». Поскольку все изменения закладываются в пиксели изображения, обработку можно выполнять в любой момент существования изображения. Методику Darbee можно использовать в цифровых телевизорах, блоках приема кабельного или спутникового телевидения, видеоиграх, мобильных устройствах, компьютерах, принтерах, на этапе монтажа фильмов – другими словами, для любых цифровых изображений на любом этапе.

Darbee Visual Presence™: примеры вывода изображений

Описание технологии Darbee Visual Presence™

В начале 70-х годов XX в. Пол Дарби сконструировал аналоговый видеосинтезатор, с помощью которого провел множество экспериментов с реальными и синтезированными движущимися изображениями в реальном времени. Он работал с двумя видеокамерами, имитирующими пару глаз и искал способ соединять левое и правое стереоизображения с камер в одно двумерное телеизображение так, чтобы оно не двоилось, как современные 3D-видео без очков. К своему удивлению он обнаружил, что если настроить одну телекамеру так, чтобы изображение получалось не в фокусе, затем с помощью видеосинтезатора инвертировать несфокусированное изображение и наложить на другое, резкое, то полученное двумерная изображение приобретает поразительные свойства. Оно не двоится, но в изображении появляется заметная глубина, объекты становятся округленными, а детали становятся отчетливо различимы. Дарби применял метод расфокусировки и вычитания, открытый в 1930-х фотографами, которые инвертировали нерезкую маску. Это хорошо известный пример – в этом случае изображение расфокусировано и вычитается из самого себя. Низкие пространственные частоты размытого изображения практически полностью удаляются из итогового изображения, в результате усиливаются оставшиеся высокие пространственные частоты, благодаря чему повышается детализация. Итоговое изображение кажется более резким, но зернистость и шумы, присутствующие на изображении, тоже усиливаются, и объекты могут выглядеть неестественно обведенными по контуру.

В современных программах обработки изображений широко используется нерезкая маска, но расфокусировка одного изображения из стереопары и вычитание его из другого – это совершенно другое. В тех областях двух изображений, которые различаются вследствие параллаксного смещения, возникающего из-за разнесения точек съемки правой и левой камер, изменения в итоговом изображении воспринимаются мозгом как подлинные признаки глубины. Там, где точки зрения сходятся и смещение минимально, эффект обработки аналогичен применению нерезкой маски, подчеркивающей детали изображения. Но в естественных сценах, содержащих объемные объекты, всегда есть смещение, поэтому расфокусировка и вычитание придают изображению глубину.

Несколько лет назад художники-графики заметили, что если добавить буквам бликов и падающих теней, то текст кажется парящим над фоном, как видно на следующем примере.

Эффект хорошо заметен, и сейчас мы встречаем его повсеместно – в печати, на телевидении, на рекламных щитах и даже на боках грузовиков. В каком-то смысле стереоскопический прием расфокусировки и вычитания рассчитан на похожий результат. Наш мозг воспринимает изменения в изображении таким образом, что объекты кажутся трехмерными.

Очевидность эффекта произвела на Дарби впечатление, но в то время возможности его коммерческого использования не существовало, по двум веским причинам. Во-первых, был нужен источник 3D- контента. Даже сейчас, на волне интереса к 3D-фильмам и телевидению, подавляющее большинство новых изображений и практически все старые – двумерные (моноскопические). Во-вторых, в зависимости от композиции 3D сцены при применении расфокусировки и вычитания могут возникать странные пузыри и «крылья», которые выглядят неестественными помехами на изображении. Поэтому Дарби не стал вводить в коммерческое обращение и не опубликовал результаты своих изысканий, однако начал серию нейрологических исследований, чтобы найти объяснение эффекта. В сущности, мозг всех представителей животного царства выполняет некую разновидность расфокусировки и вычитания, известную в нейробиологии как латеральное торможение. В зрительной системе человека латеральное торможение происходит повсюду, от давно известного центрально-периферической обработки в сетчатке до доминирования одного из глаз в зрительной коре и тормозящих нейронах коры.

Через тридцать лет, когда вычислительная техника и методы создания цифровых изображений были достаточно усовершенствованы, Дарби повторил многие эксперименты, только уже не с аналоговым синтезатором, а с цифровым. Он хотел начать с одного двумерного изображения, и, зная, что второе изображение стереопары будет расфокусировано, попробовал синтезировать второе изображение с помощью различных математических методов. Ему удалось найти математически несложный способ создавать второе изображение, которое не могло служить стереопарой для создания объемного изображения, но при применении метода расфокусировки и вычитания давало такой же впечатляющий эффект, как и получаемое обычным способом.

Когда у нас имеются два изображения, возникает следующий вопрос: мы расфокусируем правое изображение и вычитаем его из левого или расфокусируем левое и вычитаем из правого? На практике особой разницы нет, субъективно удовлетворительные результаты получаются и в том, и в другом случае. Однако из-за несимметричности Дарби решил использовать свою методику, чтобы создать два новых изображения, левое и правое, начиная с двумерного среднего изображения. Оказалось, что если расфокусировать и левое, и правое изображения и вычесть их из исходного среднего, возникает еще более заметный эффект глубины и расстояния. Довольный этими результатами Дарби подал заявку, чтобы запатентовать метод расфокусировки и вычитания, оставив математическую процедуру синтеза дополнительных изображений коммерческой тайной. Патент «Метод и устройство для встраивания трехмерной информации в двумерные изображения» был выдан 9 мая 2006 г. как патент США № 7 043 074. Позднее был получен еще один патент.

Теперь можно было начинать работу с любым неподвижным двумерным изображением или последовательностью кадров. Однако оставалась нерешенной проблема избавления от помех на изображении. Благодаря знакомству с нейронауками Дарби знал, что процесс зрения в значительной степени состоит в том, чтобы решить, на каких частях поля зрения необходимо сосредоточиться, а какие можно игнорировать, – то есть в распределении внимания. В рамках научного подхода к коррекции изображений для этой цели были разработаны различные способы создания карт рельефа, но большинство из них требовали громоздких вычислений и давали недостаточно качественные результаты. Однако нейронаучные теории вдохновили Дарби на создание карты рельефа нового типа – он назвал ее Perceptor™. С помощью этой карты стало возможным избирательно применять методику расфокусировки и вычитания только к зрительно важным частям изображения. Метод создания Perceptor – коммерческая тайна, защищенная патентом, как и методл математического синтеза дополнительных стерео-видов по единственному двумерному изображению.

Ранняя версия Perceptor’а умела удалять с изображения большинство помех, но некоторые особенно стойкие все-таки сохранялись. Дарби разработал ряд частично автоматизированных приемов, с помощью которых удавалось справиться с оставшимися помехами, и создал программу, позволявшую вручную обрабатывать изображения с использованием системы средств визуализации. С помощью этой программы ему удалось успешно обработать несколько DVD с фильмами, выпущенный для кинотеатров фильм, несколько телевизионных рекламных роликов, изображения для рекламных щитов и несколько художественных репродукций в сверхвысоком разрешении. Все это доказывало, что теория применима на практике, но Дарби понимал, что для коммерческого использования необходимо полностью автоматизировать алгоритм и сделать возможным работу в реальном времени.

Последующие многолетние исследования помогли создать технологию, полностью отвечающую современным требованиям и готовую к установке в бытовую аппаратуру. Блок является объектом интеллектуальной собственности и может быть использован по лицензии вместе с чипами реального времени, которые в настоящее время используются в Blu-ray плеерах.

Возможности применения

Самая крупная сфера применения DarbeeVision – цифровые устройства воспроизведения. Производители бытовой аппаратуры устанавливают в свою продукцию экраны, то есть зависят от постоянства качества поставщиков экранов. Различия между производителями как правило обусловлены различными усовершенствованиями в области точности воспроизведения. Важными являются такие характеристики, как размер, разрешение, цветовая гамма частота обновления, яркость, насыщенность черного, усреднение и шумоподавление – и все они практически одинаковы у всех производителей экранов для воспроизведения цифровых изображений. В каждой категории основное различие заключается во внешнем виде корпуса экрана. При использовании Darbee Visual Presence станет заметна разница в качестве изображения.

Краткое описание патента

В 2006 и 2011 годах DarbeeVision получила патенты на процесс. Ряд заявок на патенты находятся в стадии рассмотрения. Компании также принадлежат права на ряд сопутствующих объектов интеллектуальной собственности. Среди основных сфер внедрения инноваций – встраивание диспаратных признаков глубины в двумерные изображения, не требующий сложных вычислений генератор параллаксного смещения, а также быстрая и точная маска рельефности.

Продукция Darbee

DarbeeVision Technology – апробированное решение, которое за прошлый год было протестировано на использование в цифровом телевидении. Технология восемь лет разрабатывалась высококлассными специалистами, совокупный опыт работы который превышает 50 лет, и полностью готова к практическому использованию.

Darbee Visual Presence Software – оптимизированная программа с унифицированным API-интерфейсом. Совместима с любым распространенным процессором обработки изображений.

Darbee Visual Presence Hardware – логическое ядро, отлично сочетаемое с LCD-контроллером или медийным сопроцессором. Visual Presence Hardware представляет собой технологически независимый аппаратный модуль, который можно интегрировать в путь обработки элементов изображения любого бытового прибора. Он отличается малым форм-фактором и не влияет на существующие контуры контактов. Покупателям предлагается ФЛИС-прототип этого логического ядра, чтобы они могли сами сравнить качество производительности дисплея.

Заключение

Спрос на коррекцию изображений в реальном времени обусловлен желанием предлагать потребителям уникальное качество изображений. Современные методы коррекции не дают ощутимых преимуществ, а самые передовые технологии не оптимизированы для практического использования или работы в реальном времени. Компания DarbeeVision разработала собственную технологию Darbee Visual Presence, с помощью которой двумерные изображения выходят на небывалый уровень глубины и реализма, ранее считавшийся невозможным. Darbee Visual Presence можно интегрировать в существующие устройства воспроизведения цифровых изображений и получить на выходе качество, намного превосходящее возможности самой передовой камеры и экрана, поскольку в ней используются методы обработки изображений, основанные на принципах работы человеческого мозга.