На видеокарте можно решать и более сложные задачи совмещения видеопоследовательностей, когда кадр собирается из большого количества слоев и фрагментов. До недавнего времени главным препятствием для массового применения GPU в видеомонтаже было низкое качество рендеринга с узким динамическим диапазоном, но сейчас и эта проблема решена.
Также в киноиндустрии применяется большое количество операций фильтрации — когда значение пиксела заменяется суммой некоторого количества соседних пикселов с определенными весовыми коэффициентами. Подобным образом решаются задачи размытия, выделения границ, увеличения контрастности… да что там говорить, практически все, что может делать Photoshop, — это операции фильтрации. При помощи пиксельных шейдеров эти операции делаются напрямую. Они нужны в первую очередь на этапе обработки изображения после рендеринга. Здесь кроме разнообразной фильтрации применяется цветокоррекция, добавляются разнообразные плоские дымы, снег и осколки. С этим делом прекрасно справляется GPU.
Подводя итог, посмотрим, что может дать GPU киноиндустрии. Во-первых, он может существенно упростить труд моделлера, позволяя интерактивно работать с достаточно сложными моделями. Во-вторых — принципиально ускорить процесс рендеринга. Что позволит или уменьшить время работы над проектом, или улучшить качество финального результата. В-третьих, GPU способен оказать существенную помощь при монтаже, причем не только на стадии проектирования, где видеоускорители обосновались давным-давно, но и при просчете финального результата.
ТЕМА НОМЕРА: Перегнать, не догоняя
Terralab.ru: Железный поток
Также в киноиндустрии применяется большое количество операций фильтрации — когда значение пиксела заменяется суммой некоторого количества соседних пикселов с определенными весовыми коэффициентами. Подобным образом решаются задачи размытия, выделения границ, увеличения контрастности… да что там говорить, практически все, что может делать Photoshop, — это операции фильтрации. При помощи пиксельных шейдеров эти операции делаются напрямую. Они нужны в первую очередь на этапе обработки изображения после рендеринга. Здесь кроме разнообразной фильтрации применяется цветокоррекция, добавляются разнообразные плоские дымы, снег и осколки. С этим делом прекрасно справляется GPU.
Подводя итог, посмотрим, что может дать GPU киноиндустрии. Во-первых, он может существенно упростить труд моделлера, позволяя интерактивно работать с достаточно сложными моделями. Во-вторых — принципиально ускорить процесс рендеринга. Что позволит или уменьшить время работы над проектом, или улучшить качество финального результата. В-третьих, GPU способен оказать существенную помощь при монтаже, причем не только на стадии проектирования, где видеоускорители обосновались давным-давно, но и при просчете финального результата.
ТЕМА НОМЕРА: Перегнать, не догоняя
Авторы: Алексей Калиниченко, Павел Воронин
В последнее время на рынке появилось множество мониторов, дающих иллюзию трехмерности изображения. Большинство из них используются в паре с очками той или иной конструкции. Однако еще в 2000 году в России был создан дисплей, не требующий никаких дополнительных средств и дающий неплохое качество объемного изображения. Мы встретились и побеседовали с его создателем, старшим научным сотрудником факультета вычислительной математики и кибернетики Московского Государственного университета Андреем Лукьяницей.
Расскажите, пожалуйста, об устройстве вашего стереодисплея.
— Аппарат состоит из двух жидкокристаллических панелей, между которыми помещена специальная маска. Панели подключены к компьютеру, и на них выводятся изображения, рассчитанные с помощью искусственной нейросети. В результате в заданной области перед дисплеем формируется световое поле, которое соответствует трехмерному объекту, находящемуся за экраном. Идея гениально проста. «Гениальна» в том смысле, что проста. Для того чтобы появилось стереоизображение, необходимо, чтобы правый и левый глаза видели разные картинки. Как этого можно добиться? Обычно используют специальные очки: с красным и синим стеклами, поляризационные, shuttering[Очки, поочередно закрывающие правый и левый глаза. При этом на монитор выводится изображение, соответствующее открытому в данный момент глазу] и т. д. А здесь у вас просто есть два изображения, разнесенных по глубине. Когда вы на них смотрите, каждый глаз видит свою картинку (для левого и правого глаза суммируются разные пикселы, так как лучи идут под разными углами).
Это могли придумать несколько веков назад. На CеBIT 2000 мы ехали еще без дисплея. Уже была готовая численная модель, и мы показывали макет: рассчитали картинки, распечатали их на струйном принтере и закрепили канцелярскими зажимами к разнесенным по глубине стеклам. Если рассматривать такую конструкцию с определенного расстояния на свет, то будет видна объемная картинка. Есть довольно смешные фотографии, как наши высокопоставленные чиновники разглядывали такой самодельный «дисплей».
Вы говорили, что между панелями установлена маска. Зачем она нужна?
— Маска — это диффузор. Она необходима для того, чтобы бороться с муаром. Муар-эффект наблюдается при наложении любых регулярных структур: заборов, сетки рабицы и т. п. Его можно наблюдать и дома: например, если посмотреть на тюль, сложенный вдвое.
На LCD-панелях есть различимая черная решетка: на экран наклеена непрозрачная пленка, в которой вырезаны маленькие отверстия по форме пикселов, а промежутки образуют сетку. И когда мы устанавливаем два экрана друг за другом, эти сетки накладываются и появляется муар. (Кстати, сейчас многие производители LCD-панелей создают трудности для нашей технологии: ради улучшения контрастности они увеличивают ширину черной маски между пикселами.) Поэтому мы и устанавливаем диффузор — это такая тонкая пленка, которая слегка размывает изображение с заднего экрана и тем самым убирает тонкие полоски черной межпиксельной решетки. В результате остается только одна сетка (на переднем экране), а значит, решается проблема муара. Кроме того, диффузор значительно увеличивает угол обзора.
А как вы рассчитываете изображения для экранов?
— Для этого решается задача, аналогичная компьютерной томографии. У нас есть стереопара — то есть два изображения, соответствующие тому, что должен видеть каждый глаз. И надо так подобрать картинки для переднего и заднего экранов, чтобы при проецировании они складывались в заданную стереопару. Решение этой задачи — сложная математическая проблема[Здесь возникает так называемое уравнение Фредгольма первого рода. Эта задача некорректна, а ее решение неустойчиво]. Поэтому было решено использовать нейронные сети. Каждому пикселу ставится в соответствие по нейрону, а связи и весовые коэффициенты вычисляются из соображения геометрии прохождения лучей. Нейроны связаны тогда и только тогда, когда через соответствующие им пикселы проходит луч, попадающий в левый или правый глаз. Коэффициенты же подбираются в соответствии с характеристиками используемых LCD-панелей и диффузора.
Такая система позволяет быстро и эффективно вычислять проекции (фактически на каждый пиксель требуется лишь несколько простейших арифметических операций). Теперь, прогоняя заданные картинки через построенную нейронную сеть и сравнивая получаемые изображения с заданной стереопарой, мы при помощи метода последовательных приближений можем с достаточной точностью построить искомые изображения.
И сколько длится просчет одного кадра?
— Сначала алгоритм был реализован на CPU, и расчет одного кадра занимал не меньше двух минут. На современных процессорах все равно будет порядка одной минуты. В любом случае, для приложений реального времени это слишком много.
Лет шесть назад мой коллега, старший научный сотрудник Института высокопроизводительных вычислительных систем РАН Евгений Епихин заметил, что графическая карта имеет более мощный процессор, чем популярный тогда Pentium. В результате мы стали думать, как использовать GPU для нашей задачи. Оказалось, что при использовании нейросети задача идеально ложится на графический процессор. Довольно быстро мы смогли добиться гораздо более высокой производительности системы (около пятнадцати кадров в секунду).
Подождите, но ведь 2000 год — это максимум второй GeForce. А значит, ни о каких шейдерах и речи не шло?
— Конечно, пиксельных шейдеров тогда еще не было. Но нам удалось обойтись и без них. Мы воспользовались структурой предложенной системы, которая позволила представить трехмерный объект в виде суперпозиции двухмерных изображений. А для работы с плоскими объектами нам хватило стандартных операций с текстурами. Таким образом, мы «подручными средствами» смоделировали действие нашей нейронной сети. При этом получается огромный выигрыш по скорости, поскольку все операции выполняются на GPU, который именно под эти операции и оптимизирован.
Получается, что при таком подходе не учитывается влияние установленной между экранами размывающей маски?
— Да, действительно, до появления пиксельных шейдеров смоделировать действие маски в реальном времени не удавалось. Мы даже пытались заказать специальный DSP-процессор для решения этой проблемы, но по ряду причин и он не подошел. А на современных карточках нам удалось смоделировать более сложную нейронную сеть, учитывающую воздействие маски, и добиться производительности в 30 fps.
А есть реальные устройства на основе вашей технологии? Где они применяются?
— Да, есть. Я тогда работал в фирме NeurOK [www.neurok.ru], и было выпущено несколько готовых дисплеев, которые демонстрировались на крупнейших международных выставках, таких как Comdex и Infocomm. Насколько мне известно, было изготовлено несколько игровых автоматов для американского казино, кажется MGM. Нам удалось скооперироваться с одной фирмой, которая производила специальные установки на основе больших параболических зеркал. Если в такую оптическую систему поместить любой монитор, то изображение трансформируется, в результате чего получается иллюзия объема. Ну а когда туда поставили наши дисплеи, объем увеличился многократно.
А почему не удалось дальше раскрутиться?
— Просто рынок пока не готов. Ну, рынка как такового нет. Однажды на Comdex’е к нашему стенду подошел пожилой японец, долго стоял и смотрел, как мы общаемся с посетителями. Потом представился. Оказалось, что он в Sony руководил группой, которая продвигала цветной телевизор. Он сказал, что столкнулся с теми же проблемами, что и мы. Качество первых цветных телевизоров было низким, и все спрашивали: а зачем это нужно? Ведь на черно-белом телевизоре все и так прекрасно видно! Прошло время. И где вы сейчас найдете черно-белый телевизор?
Нам потенциальные производители и консьюмеры говорили, что все хорошо, только глубина изображения мала. То есть хочется, чтобы изображение прямо на тебя высовывалось. Но ведь нигде в жизни такого объема нет! Большой объем мы видим только тогда, когда объект приближается к нам вплотную, а при этом мы сразу начинаем нервничать.
Я сотрудничаю с оптиками из МИИГАиК[Московский Государственный университет геодезии и картографии, www.miigaik.ru], фотограмметрия — это их хлеб, а там стереоизображение используется для восстановления трехмерной структуры. Для обработки снимков специалисты обычно используют стереосистему со специальными очками. Так вот, они мне говорили, что относительно небольшой процент людей может долго работать с такой системой. То есть человек отработал день-второй-третий — и все, жалуется на постоянные головные боли. Мозг просто не может этого выносить, и как говорят, «глаза ломаются». Страшное напряжение, зачем это нужно?
А объясняется все очень просто: в реальной жизни люди привыкли к небольшому параллаксу. Я знакомился с медицинскими исследованиями — для комфортного восприятия угол схождения глаз не должен превышать двух градусов. Если больше, начинает болеть голова.
А насколько реалистичным получается изображение на вашей системе?
— Полный реализм. Глаз четко различает, что это объем. На выставках я обычно сначала делал один экран прозрачным, и видно — картинка плоская. Включаю второй — сразу появляется объемность. Но сказать, что изображение высовывается так, что хочется его потрогать, не могу — этого, естественно, нет. Хотя можно подобрать такие исходные изображения, что глубина будет казаться больше, но в среднем — так, как мы в жизни и видим.
Насколько я знаю, кроме вашей есть еще технологии 3D-дисплеев, не требующие очков.
— Да, сейчас много разных систем выпускается. Например, Sharp производит панели с микролинзовым растром. Но они так устроены, что чуть голову в сторону сдвинешь — нет объема. Еще чуть в сторону — у вас изображение для левого глаза поменялось местами с изображением для правого. Область, в которой видно стерео, очень узкая. Причем настолько, что надо сидеть не шелохнувшись. А некоторые фирмы даже выпускают устройства для слежения за глазами зрителя. Когда наблюдатель меняет положение, то либо экран поворачивается, либо на экран выводится подстроенное изображение.
А у нашего нейродисплея допустимая зона достаточно большая. На выставках по два-три человека одновременно смотрят. Кто по центру, тот вообще классно видит, кто сбоку — чуть похуже (у границы экрана заметно, что есть два раздельных изображения). Отошел подальше — вообще видно прекрасно.
А у вас были еще какие-нибудь проекты с использованием GPU? Нейросетей на GPU?
— Были еще две задачи, связанные с 3D. Во-первых, проекционная система, в которой объем также был виден без очков. В ней использовались четыре проектора, находившиеся на расстоянии нескольких метров от специального экрана. Поскольку проекторы были разнесены по горизонтали на десятки сантиметров, при сведении в одну область экрана возникали трапецеидальные искажения. Для их компенсации был разработан специальный алгоритм. На каждый проектор по очереди выводился тестовый прямоугольник, фиксировавшийся камерой. Изображение анализировалось программой, определявшей координаты углов прямоугольника, а затем рассчитывались координаты плоскости, на которую нужно спроецировать изображение для компенсации искажений. После этого на проекторы выводились результаты наложения исходных изображений на соответствующие плоскости, полученные с помощью DirectX.
Вторая задача была связана с преобразованием обычных фильмов в объемные. В мире существует несколько компаний, которые могут это делать, но только с помощью оператора-человека. Нам удалось разработать алгоритмы, позволяющие с неплохим качеством преобразовывать 2D в 3D в реальном времени. Здесь тоже не обошлось без GPU и DirectX.
Сейчас мы разрабатываем систему для распознавания лиц. Как раз при помощи нейронных сетей на графических процессорах. От нее требуется очень высокая производительность. Аналогичные алгоритмы можно будет применять и для распознавания отпечатков пальцев, сетчатки глаза и т. п. Но это пока на стадии проектирования.
В прошлом году у меня на ВМиК была дипломница, Маша Карасева, мы с ней решали задачу восстановления структуры плазмы в установках ТОКАМАК по видеоизображению. Она, правда, использовала OpenGL, и скорость там была, конечно, не такая высокая, как в DirectX, но основные принципы те же самые.
Задача такова: по снимку плазмы, имеющей форму тора, нужно установить ее внутреннюю структуру. Задачи такого типа называются обратными: нам известен результат, и нужно узнать, при каких условиях он получен. Прямая задача проста: каждый слой плазмы светится по-разному, и если нам известно сечение плазмы, можно построить набор вложенных тороидальных поверхностей с заданной прозрачностью и потом «нарисовать» полученный объект, например с помощью OpenGL. Нас же интересовала обратная задача — получение сечения плазмы. Для ее решения сечение в начальный момент формировалось случайным образом, и по нему решалась прямая задача — получение «фотографии» плазмы. Построенное изображение сравнивалось с реальным, вычислялись отличия, сечение корректировалось, и так далее, до достижения необходимой точности.
И что смешно, мы несколько раз докладывали об этой работе, и многие не могли понять, в чем особенность предложенного алгоритма. Понимаете, это ведь очень необычно: получается, что обратная задача томографии решается прямо на видеокарте.
Кстати, я считаю, что вообще многие задачи, родственные томографии, естественным образом ложатся на карту. На кафедре математической физики факультета ВМиК группа профессора А. В. Гончарского занималась проблемами вычислительной диагностики, в том числе и контролем печатных плат. Платы уже давно стали многослойными, и если появлялся брак во внутренних слоях, его невозможно было увидеть. Платы просвечивали под разными углами и решали задачу томографии: восстанавливали структуру каждого слоя. И дальше уже смотрели, какова толщина дорожек, конфигурация и пр. Расчеты проводили еще на БЭСМ-6, и алгоритм работал часами. А на GPU можно делать контроль практически в реальном времени.
Кстати, мы с коллегами разработали венчурный проект, осуществление которого может помочь обогнать зарубежных производителей, не догоняя их. Речь идет об объемном телевизоре. Дело в том, что сейчас практически нет стереоконтента, а уж телевизионное стереовещание — дело будущего. Наш стереотелевизор сможет принимать обычные программы, преобразовывать их в реальном времени в объемные, проводить необходимые расчеты и выводить изображения на стереоэкран. Примитивный прототип такой системы был создан нами пару лет назад на обычном компьютере, в который вставили карту TV-тюнера и подключили к нейродисплею. Видеокарта вполне справлялась и с преобразованием 2D в 3D, и с расчетами изображений для нейродисплея. Дело осталось за малым — доработать алгоритмы, зашить их в чипы, а главное — найти венчурного капиталиста, кто бы все это финансировал…
В последнее время на рынке появилось множество мониторов, дающих иллюзию трехмерности изображения. Большинство из них используются в паре с очками той или иной конструкции. Однако еще в 2000 году в России был создан дисплей, не требующий никаких дополнительных средств и дающий неплохое качество объемного изображения. Мы встретились и побеседовали с его создателем, старшим научным сотрудником факультета вычислительной математики и кибернетики Московского Государственного университета Андреем Лукьяницей.
— Аппарат состоит из двух жидкокристаллических панелей, между которыми помещена специальная маска. Панели подключены к компьютеру, и на них выводятся изображения, рассчитанные с помощью искусственной нейросети. В результате в заданной области перед дисплеем формируется световое поле, которое соответствует трехмерному объекту, находящемуся за экраном. Идея гениально проста. «Гениальна» в том смысле, что проста. Для того чтобы появилось стереоизображение, необходимо, чтобы правый и левый глаза видели разные картинки. Как этого можно добиться? Обычно используют специальные очки: с красным и синим стеклами, поляризационные, shuttering[Очки, поочередно закрывающие правый и левый глаза. При этом на монитор выводится изображение, соответствующее открытому в данный момент глазу] и т. д. А здесь у вас просто есть два изображения, разнесенных по глубине. Когда вы на них смотрите, каждый глаз видит свою картинку (для левого и правого глаза суммируются разные пикселы, так как лучи идут под разными углами).
Это могли придумать несколько веков назад. На CеBIT 2000 мы ехали еще без дисплея. Уже была готовая численная модель, и мы показывали макет: рассчитали картинки, распечатали их на струйном принтере и закрепили канцелярскими зажимами к разнесенным по глубине стеклам. Если рассматривать такую конструкцию с определенного расстояния на свет, то будет видна объемная картинка. Есть довольно смешные фотографии, как наши высокопоставленные чиновники разглядывали такой самодельный «дисплей».
Вы говорили, что между панелями установлена маска. Зачем она нужна?
— Маска — это диффузор. Она необходима для того, чтобы бороться с муаром. Муар-эффект наблюдается при наложении любых регулярных структур: заборов, сетки рабицы и т. п. Его можно наблюдать и дома: например, если посмотреть на тюль, сложенный вдвое.
На LCD-панелях есть различимая черная решетка: на экран наклеена непрозрачная пленка, в которой вырезаны маленькие отверстия по форме пикселов, а промежутки образуют сетку. И когда мы устанавливаем два экрана друг за другом, эти сетки накладываются и появляется муар. (Кстати, сейчас многие производители LCD-панелей создают трудности для нашей технологии: ради улучшения контрастности они увеличивают ширину черной маски между пикселами.) Поэтому мы и устанавливаем диффузор — это такая тонкая пленка, которая слегка размывает изображение с заднего экрана и тем самым убирает тонкие полоски черной межпиксельной решетки. В результате остается только одна сетка (на переднем экране), а значит, решается проблема муара. Кроме того, диффузор значительно увеличивает угол обзора.
А как вы рассчитываете изображения для экранов?
— Для этого решается задача, аналогичная компьютерной томографии. У нас есть стереопара — то есть два изображения, соответствующие тому, что должен видеть каждый глаз. И надо так подобрать картинки для переднего и заднего экранов, чтобы при проецировании они складывались в заданную стереопару. Решение этой задачи — сложная математическая проблема[Здесь возникает так называемое уравнение Фредгольма первого рода. Эта задача некорректна, а ее решение неустойчиво]. Поэтому было решено использовать нейронные сети. Каждому пикселу ставится в соответствие по нейрону, а связи и весовые коэффициенты вычисляются из соображения геометрии прохождения лучей. Нейроны связаны тогда и только тогда, когда через соответствующие им пикселы проходит луч, попадающий в левый или правый глаз. Коэффициенты же подбираются в соответствии с характеристиками используемых LCD-панелей и диффузора.
Такая система позволяет быстро и эффективно вычислять проекции (фактически на каждый пиксель требуется лишь несколько простейших арифметических операций). Теперь, прогоняя заданные картинки через построенную нейронную сеть и сравнивая получаемые изображения с заданной стереопарой, мы при помощи метода последовательных приближений можем с достаточной точностью построить искомые изображения.
И сколько длится просчет одного кадра?
— Сначала алгоритм был реализован на CPU, и расчет одного кадра занимал не меньше двух минут. На современных процессорах все равно будет порядка одной минуты. В любом случае, для приложений реального времени это слишком много.
Подождите, но ведь 2000 год — это максимум второй GeForce. А значит, ни о каких шейдерах и речи не шло?
— Конечно, пиксельных шейдеров тогда еще не было. Но нам удалось обойтись и без них. Мы воспользовались структурой предложенной системы, которая позволила представить трехмерный объект в виде суперпозиции двухмерных изображений. А для работы с плоскими объектами нам хватило стандартных операций с текстурами. Таким образом, мы «подручными средствами» смоделировали действие нашей нейронной сети. При этом получается огромный выигрыш по скорости, поскольку все операции выполняются на GPU, который именно под эти операции и оптимизирован.
Получается, что при таком подходе не учитывается влияние установленной между экранами размывающей маски?
— Да, действительно, до появления пиксельных шейдеров смоделировать действие маски в реальном времени не удавалось. Мы даже пытались заказать специальный DSP-процессор для решения этой проблемы, но по ряду причин и он не подошел. А на современных карточках нам удалось смоделировать более сложную нейронную сеть, учитывающую воздействие маски, и добиться производительности в 30 fps.
А есть реальные устройства на основе вашей технологии? Где они применяются?
— Да, есть. Я тогда работал в фирме NeurOK [www.neurok.ru], и было выпущено несколько готовых дисплеев, которые демонстрировались на крупнейших международных выставках, таких как Comdex и Infocomm. Насколько мне известно, было изготовлено несколько игровых автоматов для американского казино, кажется MGM. Нам удалось скооперироваться с одной фирмой, которая производила специальные установки на основе больших параболических зеркал. Если в такую оптическую систему поместить любой монитор, то изображение трансформируется, в результате чего получается иллюзия объема. Ну а когда туда поставили наши дисплеи, объем увеличился многократно.
— Просто рынок пока не готов. Ну, рынка как такового нет. Однажды на Comdex’е к нашему стенду подошел пожилой японец, долго стоял и смотрел, как мы общаемся с посетителями. Потом представился. Оказалось, что он в Sony руководил группой, которая продвигала цветной телевизор. Он сказал, что столкнулся с теми же проблемами, что и мы. Качество первых цветных телевизоров было низким, и все спрашивали: а зачем это нужно? Ведь на черно-белом телевизоре все и так прекрасно видно! Прошло время. И где вы сейчас найдете черно-белый телевизор?
Нам потенциальные производители и консьюмеры говорили, что все хорошо, только глубина изображения мала. То есть хочется, чтобы изображение прямо на тебя высовывалось. Но ведь нигде в жизни такого объема нет! Большой объем мы видим только тогда, когда объект приближается к нам вплотную, а при этом мы сразу начинаем нервничать.
Я сотрудничаю с оптиками из МИИГАиК[Московский Государственный университет геодезии и картографии, www.miigaik.ru], фотограмметрия — это их хлеб, а там стереоизображение используется для восстановления трехмерной структуры. Для обработки снимков специалисты обычно используют стереосистему со специальными очками. Так вот, они мне говорили, что относительно небольшой процент людей может долго работать с такой системой. То есть человек отработал день-второй-третий — и все, жалуется на постоянные головные боли. Мозг просто не может этого выносить, и как говорят, «глаза ломаются». Страшное напряжение, зачем это нужно?
А объясняется все очень просто: в реальной жизни люди привыкли к небольшому параллаксу. Я знакомился с медицинскими исследованиями — для комфортного восприятия угол схождения глаз не должен превышать двух градусов. Если больше, начинает болеть голова.
А насколько реалистичным получается изображение на вашей системе?
— Полный реализм. Глаз четко различает, что это объем. На выставках я обычно сначала делал один экран прозрачным, и видно — картинка плоская. Включаю второй — сразу появляется объемность. Но сказать, что изображение высовывается так, что хочется его потрогать, не могу — этого, естественно, нет. Хотя можно подобрать такие исходные изображения, что глубина будет казаться больше, но в среднем — так, как мы в жизни и видим.
Насколько я знаю, кроме вашей есть еще технологии 3D-дисплеев, не требующие очков.
— Да, сейчас много разных систем выпускается. Например, Sharp производит панели с микролинзовым растром. Но они так устроены, что чуть голову в сторону сдвинешь — нет объема. Еще чуть в сторону — у вас изображение для левого глаза поменялось местами с изображением для правого. Область, в которой видно стерео, очень узкая. Причем настолько, что надо сидеть не шелохнувшись. А некоторые фирмы даже выпускают устройства для слежения за глазами зрителя. Когда наблюдатель меняет положение, то либо экран поворачивается, либо на экран выводится подстроенное изображение.
А у вас были еще какие-нибудь проекты с использованием GPU? Нейросетей на GPU?
— Были еще две задачи, связанные с 3D. Во-первых, проекционная система, в которой объем также был виден без очков. В ней использовались четыре проектора, находившиеся на расстоянии нескольких метров от специального экрана. Поскольку проекторы были разнесены по горизонтали на десятки сантиметров, при сведении в одну область экрана возникали трапецеидальные искажения. Для их компенсации был разработан специальный алгоритм. На каждый проектор по очереди выводился тестовый прямоугольник, фиксировавшийся камерой. Изображение анализировалось программой, определявшей координаты углов прямоугольника, а затем рассчитывались координаты плоскости, на которую нужно спроецировать изображение для компенсации искажений. После этого на проекторы выводились результаты наложения исходных изображений на соответствующие плоскости, полученные с помощью DirectX.
Вторая задача была связана с преобразованием обычных фильмов в объемные. В мире существует несколько компаний, которые могут это делать, но только с помощью оператора-человека. Нам удалось разработать алгоритмы, позволяющие с неплохим качеством преобразовывать 2D в 3D в реальном времени. Здесь тоже не обошлось без GPU и DirectX.
Сейчас мы разрабатываем систему для распознавания лиц. Как раз при помощи нейронных сетей на графических процессорах. От нее требуется очень высокая производительность. Аналогичные алгоритмы можно будет применять и для распознавания отпечатков пальцев, сетчатки глаза и т. п. Но это пока на стадии проектирования.
В прошлом году у меня на ВМиК была дипломница, Маша Карасева, мы с ней решали задачу восстановления структуры плазмы в установках ТОКАМАК по видеоизображению. Она, правда, использовала OpenGL, и скорость там была, конечно, не такая высокая, как в DirectX, но основные принципы те же самые.
Задача такова: по снимку плазмы, имеющей форму тора, нужно установить ее внутреннюю структуру. Задачи такого типа называются обратными: нам известен результат, и нужно узнать, при каких условиях он получен. Прямая задача проста: каждый слой плазмы светится по-разному, и если нам известно сечение плазмы, можно построить набор вложенных тороидальных поверхностей с заданной прозрачностью и потом «нарисовать» полученный объект, например с помощью OpenGL. Нас же интересовала обратная задача — получение сечения плазмы. Для ее решения сечение в начальный момент формировалось случайным образом, и по нему решалась прямая задача — получение «фотографии» плазмы. Построенное изображение сравнивалось с реальным, вычислялись отличия, сечение корректировалось, и так далее, до достижения необходимой точности.
И что смешно, мы несколько раз докладывали об этой работе, и многие не могли понять, в чем особенность предложенного алгоритма. Понимаете, это ведь очень необычно: получается, что обратная задача томографии решается прямо на видеокарте.
Кстати, я считаю, что вообще многие задачи, родственные томографии, естественным образом ложатся на карту. На кафедре математической физики факультета ВМиК группа профессора А. В. Гончарского занималась проблемами вычислительной диагностики, в том числе и контролем печатных плат. Платы уже давно стали многослойными, и если появлялся брак во внутренних слоях, его невозможно было увидеть. Платы просвечивали под разными углами и решали задачу томографии: восстанавливали структуру каждого слоя. И дальше уже смотрели, какова толщина дорожек, конфигурация и пр. Расчеты проводили еще на БЭСМ-6, и алгоритм работал часами. А на GPU можно делать контроль практически в реальном времени.
Кстати, мы с коллегами разработали венчурный проект, осуществление которого может помочь обогнать зарубежных производителей, не догоняя их. Речь идет об объемном телевизоре. Дело в том, что сейчас практически нет стереоконтента, а уж телевизионное стереовещание — дело будущего. Наш стереотелевизор сможет принимать обычные программы, преобразовывать их в реальном времени в объемные, проводить необходимые расчеты и выводить изображения на стереоэкран. Примитивный прототип такой системы был создан нами пару лет назад на обычном компьютере, в который вставили карту TV-тюнера и подключили к нейродисплею. Видеокарта вполне справлялась и с преобразованием 2D в 3D, и с расчетами изображений для нейродисплея. Дело осталось за малым — доработать алгоритмы, зашить их в чипы, а главное — найти венчурного капиталиста, кто бы все это финансировал…
Terralab.ru: Железный поток
Автор: Александр Куприянов
процессор: AMD Turion 64
оперативная память: DDR333, до 2 Гбайт
жесткий диск: от 40 до 100 Гбайт
экран: 13,3 дюйма
яркость: 280 кд/кв. м
габариты: 293х236x31 мм
вес 1,64 кг
цена: от $1300
Ноутбук явно предназначен для дела, а не для потехи: интегрированному видеоадаптеру на базе чипсета Xpress 200 все же не хватает силенок, чтобы уверенно обращаться с игровой 3D-графикой. Из остальной начинки отметим дисплей с разрешением 1024х768, изготовленный с использованием технологии Crystal View, адаптер беспроводных сетей стандарта 802.11 a/b/g от Atheros и разъемы основных интерфейсов, защищенные от пыли специальными клапанами. Предусмотрен отсек для универсальных сменных модулей, в который можно установить второй оптический накопитель или дополнительный аккумулятор, увеличив время работы до 7 часов.
стандарт: GSM 900/1800/1900 МГц
камера: 1,3 Мп
цифровой зум: 5х
встроенная память: 16 Мбайт
разъем для карт microSD
питание: Li-Ion 570 мАч
габариты: 90x46x16 мм
Новый флагман серии EL выполнен в форм-факторе «слайдер». Встроенная камера разрешением 1280х1024 пиксела может снимать и видеоролики. Встроенный проигрыватель позволяет слушать аудиофайлы формата MP3, AAC/AAC+ и смотреть видео H.263, MPEG-4 на 2-дюймовом дисплее разрешением 240х320 пикселов. Есть также FM-приемник. Для полного счастья имеется поддержка Java (MIDP 2.0), позволяющая запускать современные приложения и игры. Синхронизация с ПК осуществляется по интерфейсу Bluetooth. В качестве звонка могут использоваться MP3-файлы. Время работы в режиме разговора — 5 часов, в режиме ожидания — 300 часов. Цена пока не определена.
матрица: CCD, 1/2,5 дюйма, 6 Мп
объектив 35-105 мм (экв. 35 мм), зум 3х
цифровой зум: 4х
светочувствительность: ISO (64/100/200/400)
дисплей: 2,5 дюйма, 115 000 пикселов
габариты: 89x59x24 мм
вес: 120 г
Благодаря продуманному управлению, довольно простая фотокамера со стандартным набором функций позволит вести качественную съемку даже новичку. Яркость дисплея регулируется автоматически, в зависимости от условий освещенности. По нажатии специальной кнопки камера переходит в так называемый «зеленый» режим и осуществляет настройку всех параметров самостоятельно. Для отснятых кадров можно подобрать рамку. Встроенная память объемом 22 Мбайт может быть расширена с помощью карт памяти SD. Количество снимков от одного элемента питания АА — 220, а при использовании литиевых батареек — до 900.
стандарт: GSM 850/900/1800/1900 МГц
дисплей: TFT, 2,83 дюйма, 240х320 пикселов, 65 000 цветов
встроенная память: 128 Мбайт
питание: Li-Ion 1370 мАч
габариты: 122х60х20 мм
вес: 170 г
Смартфон, работающий под управлением Windows Mobile 5.0, включает в себя плейер (может воспроизводить файлы MP3, AAC, AAC +), оснащенный компенсатором шумов и цифровым процессором с системой объемного звучания. 1,3-мегапиксельная камера умеет снимать фото и видео (файлы формата H.264, MPEG-4). Синхронизация с ПК осуществляется через интерфейсы Wi-Fi (802.11 b/g), Bluetooth и USB. Смартфон имеет встроенный модуль GPS на чипе SiRF Star III. Интегрированный интерфейс WLAN позволяет в полной мере насладиться Интернетом, а поддержка VoIP — использовать программы IP-телефонии. Время работы в режиме разговора — 4 часа, в режиме ожидания — 150 часов.
стандарт: GSM 900/1800/1900 МГц
дисплей: 176x220 пикселов, 262 144 цвета
встроенная память: 60 Мбайт
разъем для карт памяти microSD
интерфейсы: USB, IrDA
питание: Li-Ion 650 мАч
габариты: 44x86x21мм
вес: 90 г
Аппарат оснащен 64-голосной полифонией, МР3-плейером, «понимающим» файлы формата WAV и MIDI, и диктофоном, позволяющим записывать разговор в режиме реального времени. Новинка имеет 1,3-Мп фотокамеру с возможностью записи и воспроизведения на телефоне видео в форматах MPEG-4 и 3GP. Разрешение фотографий — 1280х1024 пиксела. Светодиодная подсветка камеры переключается в режим фонарика одним нажатием клавиши. В комплекте идет диск с программным обеспечением, стереонаушники и USB-кабель, по которому телефон можно заряжать от компьютера. Время разговора — 2,5 часа, время ожидания — 120 часов.
экран: 19 дюймов
углы обзора: 160/160 градусов
яркость: 420 нит
контрастность: 700:1
время отклика: 8 мс
разрешение: 1280x1024 пиксела
габариты: 590x460x265 мм
вес: 9,5 кг
Монитор ориентирован в первую очередь на геймеров. Изюминка модели — отдельный сабвуфер мощностью 20 Вт, являющийся превосходным гарниром к 5-ваттным колонкам. Технология 3D Surround Sound придает звучанию ощутимый объем, а программное обеспечение Sound Agent 2 с простым интерфейсом наводит порядок в аудиофайлах, хранящихся на компьютере, автоматически оптимизируя звук для всех популярных форматов. Для подключения монитора можно использовать D-Sub, DVI-D, S-Video и композитный интерфейс.
стандарт: GSM 850/900/1800/1900 МГц
дисплей: 176x220 пикселов, 262 144 цвета
интерфейсы: IrDA, Bluetooth
габариты: 106x46x15 мм
Перед нами очередной мобильник с мультимедийными прибамбасами: 1,3-Мп цифровой камерой (4-кратный цифровой зум), МР3-плейером, FM-приемником и возможностью играть в 3D-игры. В качестве мелодии звонка могут использоваться МР3-файлы. К встроенной памяти объемом 32 Мбайт можно добавить карту памяти формата miniSD. Время работы от литий-ионного аккумулятора емкостью 1100 мАч — 4 часа в режиме разговора и 300 часов в режиме ожидания. Цена пока не определена.
аудио-ЦАП: 192 кГц/24 бит
видео-ЦАП: 108 МГц/12 бит
носители: CD-R/RW, DVD-R/RW, DVD+R/RW
габариты: 380x210x43 мм
DVD-плейер предназначен для использования в составе домашнего кинотеатра как со стереофонической акустической системой, через аналоговый выход, так и с многоканальной (5.1) со встроенными декодерами, через цифровой выход. Видео воспроизводится в форматах DVD-Video, Super VCD, VCD и MPEG-4, аудио — в форматах CD-DA, HDCD, MP3 и WMA. Можно также смотреть фотоальбомы форматов Kodak Picture CD и JPEG. Широкий выбор коммутационных интерфейсов позволяет подключить плейер к любой аудио— и видеоаппаратуре. Аппарат оборудован микрофонным входом, выходом для наушников и функцией караоке. Цена пока не сообщается.
стандарт: CDMA 2000 1X EVDO (800 МГц)
дисплей: 2,2 дюйма, 240x320 пикселов
разъем для карт памяти MMC micro
интерфейс: Bluetooth
Телефон может принимать передачи мобильного спутникового телевидения стандарта Satellite Digital Multimedia Broadcasting и записывать их в формате MPEG-4. Для улучшения качества съемки встроенной 10-Мп камерой при слабом освещении имеется светодиодная система подсветки автофокуса. В режиме видеосъемки камера ведет запись с разрешением QVGA на скорости 15-30 кадров в секунду. В телефоне реализована функция Anycall Band, благодаря которой несколько владельцев таких моделей могут составить небольшой оркестр, где каждый играет на собственном инструменте — причем получившуюся композицию можно записать. Встроенный МР3-плейер воспроизводит файлы MP3, AAC и AAC+. Имеется также система распознавания визитных карточек. Цена пока не определена.
тип шины: PCI-Express х16
видеопамять: 256 Мбайт
интерфейс памяти: 128 бит
частота ядра/памяти: 400/800 МГц
Карта построена на графическом процессоре nVidia GeForce 7600 GS с интерфейсом памяти DDR2 и аппаратно поддерживает Windows Vista, а также технологию второго поколения nVidia SLI, позволяющую объединять два GPU в одном ПК для получения максимальной производительности и высочайшего качества рендеринга 3D-графики. Новинка имеет HDTV-выход с поддержкой TV-выхода до 1080i. Имеется двухканальный порт DVI-I для вывода изображений на цифровые мониторы, вплоть до разрешений 2560x1600 на одном Cinema HD-дисплее. Конструкция рассчитана на установку либо вентиляторного кулера, либо бесшумной системы на основе тепловых трубок.
Ноутбук Fujitsu-Siemens Lifebook S2110
оперативная память: DDR333, до 2 Гбайт
жесткий диск: от 40 до 100 Гбайт
экран: 13,3 дюйма
яркость: 280 кд/кв. м
габариты: 293х236x31 мм
вес 1,64 кг
цена: от $1300
Ноутбук явно предназначен для дела, а не для потехи: интегрированному видеоадаптеру на базе чипсета Xpress 200 все же не хватает силенок, чтобы уверенно обращаться с игровой 3D-графикой. Из остальной начинки отметим дисплей с разрешением 1024х768, изготовленный с использованием технологии Crystal View, адаптер беспроводных сетей стандарта 802.11 a/b/g от Atheros и разъемы основных интерфейсов, защищенные от пыли специальными клапанами. Предусмотрен отсек для универсальных сменных модулей, в который можно установить второй оптический накопитель или дополнительный аккумулятор, увеличив время работы до 7 часов.
Мобильный телефон BenQ-Siemens EL71
камера: 1,3 Мп
цифровой зум: 5х
встроенная память: 16 Мбайт
разъем для карт microSD
питание: Li-Ion 570 мАч
габариты: 90x46x16 мм
Новый флагман серии EL выполнен в форм-факторе «слайдер». Встроенная камера разрешением 1280х1024 пиксела может снимать и видеоролики. Встроенный проигрыватель позволяет слушать аудиофайлы формата MP3, AAC/AAC+ и смотреть видео H.263, MPEG-4 на 2-дюймовом дисплее разрешением 240х320 пикселов. Есть также FM-приемник. Для полного счастья имеется поддержка Java (MIDP 2.0), позволяющая запускать современные приложения и игры. Синхронизация с ПК осуществляется по интерфейсу Bluetooth. В качестве звонка могут использоваться MP3-файлы. Время работы в режиме разговора — 5 часов, в режиме ожидания — 300 часов. Цена пока не определена.
Цифровой фотоаппарат Pentax M10
объектив 35-105 мм (экв. 35 мм), зум 3х
цифровой зум: 4х
светочувствительность: ISO (64/100/200/400)
дисплей: 2,5 дюйма, 115 000 пикселов
габариты: 89x59x24 мм
вес: 120 г
Благодаря продуманному управлению, довольно простая фотокамера со стандартным набором функций позволит вести качественную съемку даже новичку. Яркость дисплея регулируется автоматически, в зависимости от условий освещенности. По нажатии специальной кнопки камера переходит в так называемый «зеленый» режим и осуществляет настройку всех параметров самостоятельно. Для отснятых кадров можно подобрать рамку. Встроенная память объемом 22 Мбайт может быть расширена с помощью карт памяти SD. Количество снимков от одного элемента питания АА — 220, а при использовании литиевых батареек — до 900.
Смартфон BenQ-Siemens P51
дисплей: TFT, 2,83 дюйма, 240х320 пикселов, 65 000 цветов
встроенная память: 128 Мбайт
питание: Li-Ion 1370 мАч
габариты: 122х60х20 мм
вес: 170 г
Смартфон, работающий под управлением Windows Mobile 5.0, включает в себя плейер (может воспроизводить файлы MP3, AAC, AAC +), оснащенный компенсатором шумов и цифровым процессором с системой объемного звучания. 1,3-мегапиксельная камера умеет снимать фото и видео (файлы формата H.264, MPEG-4). Синхронизация с ПК осуществляется через интерфейсы Wi-Fi (802.11 b/g), Bluetooth и USB. Смартфон имеет встроенный модуль GPS на чипе SiRF Star III. Интегрированный интерфейс WLAN позволяет в полной мере насладиться Интернетом, а поддержка VoIP — использовать программы IP-телефонии. Время работы в режиме разговора — 4 часа, в режиме ожидания — 150 часов.
Мобильный телефон FLY SL300m
дисплей: 176x220 пикселов, 262 144 цвета
встроенная память: 60 Мбайт
разъем для карт памяти microSD
интерфейсы: USB, IrDA
питание: Li-Ion 650 мАч
габариты: 44x86x21мм
вес: 90 г
Аппарат оснащен 64-голосной полифонией, МР3-плейером, «понимающим» файлы формата WAV и MIDI, и диктофоном, позволяющим записывать разговор в режиме реального времени. Новинка имеет 1,3-Мп фотокамеру с возможностью записи и воспроизведения на телефоне видео в форматах MPEG-4 и 3GP. Разрешение фотографий — 1280х1024 пиксела. Светодиодная подсветка камеры переключается в режим фонарика одним нажатием клавиши. В комплекте идет диск с программным обеспечением, стереонаушники и USB-кабель, по которому телефон можно заряжать от компьютера. Время разговора — 2,5 часа, время ожидания — 120 часов.
ЖК-монитор Philips 190G6
углы обзора: 160/160 градусов
яркость: 420 нит
контрастность: 700:1
время отклика: 8 мс
разрешение: 1280x1024 пиксела
габариты: 590x460x265 мм
вес: 9,5 кг
Монитор ориентирован в первую очередь на геймеров. Изюминка модели — отдельный сабвуфер мощностью 20 Вт, являющийся превосходным гарниром к 5-ваттным колонкам. Технология 3D Surround Sound придает звучанию ощутимый объем, а программное обеспечение Sound Agent 2 с простым интерфейсом наводит порядок в аудиофайлах, хранящихся на компьютере, автоматически оптимизируя звук для всех популярных форматов. Для подключения монитора можно использовать D-Sub, DVI-D, S-Video и композитный интерфейс.
Мобильный телефон Sagem my700x
дисплей: 176x220 пикселов, 262 144 цвета
интерфейсы: IrDA, Bluetooth
габариты: 106x46x15 мм
Перед нами очередной мобильник с мультимедийными прибамбасами: 1,3-Мп цифровой камерой (4-кратный цифровой зум), МР3-плейером, FM-приемником и возможностью играть в 3D-игры. В качестве мелодии звонка могут использоваться МР3-файлы. К встроенной памяти объемом 32 Мбайт можно добавить карту памяти формата miniSD. Время работы от литий-ионного аккумулятора емкостью 1100 мАч — 4 часа в режиме разговора и 300 часов в режиме ожидания. Цена пока не определена.
DVD-плейер BBK In’Ergo DV317SI
видео-ЦАП: 108 МГц/12 бит
носители: CD-R/RW, DVD-R/RW, DVD+R/RW
габариты: 380x210x43 мм
DVD-плейер предназначен для использования в составе домашнего кинотеатра как со стереофонической акустической системой, через аналоговый выход, так и с многоканальной (5.1) со встроенными декодерами, через цифровой выход. Видео воспроизводится в форматах DVD-Video, Super VCD, VCD и MPEG-4, аудио — в форматах CD-DA, HDCD, MP3 и WMA. Можно также смотреть фотоальбомы форматов Kodak Picture CD и JPEG. Широкий выбор коммутационных интерфейсов позволяет подключить плейер к любой аудио— и видеоаппаратуре. Аппарат оборудован микрофонным входом, выходом для наушников и функцией караоке. Цена пока не сообщается.
Мобильный телефон Samsung SCH-B600
дисплей: 2,2 дюйма, 240x320 пикселов
разъем для карт памяти MMC micro
интерфейс: Bluetooth
Телефон может принимать передачи мобильного спутникового телевидения стандарта Satellite Digital Multimedia Broadcasting и записывать их в формате MPEG-4. Для улучшения качества съемки встроенной 10-Мп камерой при слабом освещении имеется светодиодная система подсветки автофокуса. В режиме видеосъемки камера ведет запись с разрешением QVGA на скорости 15-30 кадров в секунду. В телефоне реализована функция Anycall Band, благодаря которой несколько владельцев таких моделей могут составить небольшой оркестр, где каждый играет на собственном инструменте — причем получившуюся композицию можно записать. Встроенный МР3-плейер воспроизводит файлы MP3, AAC и AAC+. Имеется также система распознавания визитных карточек. Цена пока не определена.
Видеокарта WinFast PX7600 GS TDH
видеопамять: 256 Мбайт
интерфейс памяти: 128 бит
частота ядра/памяти: 400/800 МГц
Карта построена на графическом процессоре nVidia GeForce 7600 GS с интерфейсом памяти DDR2 и аппаратно поддерживает Windows Vista, а также технологию второго поколения nVidia SLI, позволяющую объединять два GPU в одном ПК для получения максимальной производительности и высочайшего качества рендеринга 3D-графики. Новинка имеет HDTV-выход с поддержкой TV-выхода до 1080i. Имеется двухканальный порт DVI-I для вывода изображений на цифровые мониторы, вплоть до разрешений 2560x1600 на одном Cinema HD-дисплее. Конструкция рассчитана на установку либо вентиляторного кулера, либо бесшумной системы на основе тепловых трубок.