←  Секция исследователей шумов матрицы

Форумы Пента-клуба

»

Вычислительная фотография

 фотография Николаич 18 Jun 2019

https://vas3k.ru/blo...al_photography/

Смартфоны, новые технологии и много всяких технических подробностей.
Изменить

 фотография Михайлович 18 Jun 2019

Я думаю, что уважаемая компания Sony будет лидером среди производителей фотоаппаратуры, кто широко начнет внедрять технологии вычислительной фотографии в свою технику.
И первопроходцем будет ее серия камер RX100 с дюймовой матрицей.
Изменить

 фотография Паша25 22 Jul 2019

Вчера только соседка спрашивала - хочу себе 40МРх смартфон, наверное, говорит, фотографии шикарные будут. Я сказалчто, конечно, за такие деньги ей обработчик накрутит и яркость и насыщенность, и боке нарисует, только непонятно, как они 40 МРх собираются через эту дырочку в объективе просунуть, и столько элементов на миниматрицу засунуть.
Изменить

 фотография donvostok 22 Jul 2019

Просмотр сообщенияПаша25 сказал:

только непонятно, как они 40 МРх собираются через эту дырочку в объективе просунуть
С 2013 года, ужЕ.
И 2012
Сообщение отредактировал donvostok: 22 July 2019 - 14:32
Изменить

 фотография ogre 28 Jul 2019

Просмотр сообщенияПаша25 сказал:

как они 40 МРх собираются через эту дырочку в объективе просунуть, и столько элементов на миниматрицу засунуть.
Да в чем проблема-то? Здесь речь идет о 40 миллионах измерениях.
Изменить

 фотография Паша25 10 Aug 2019

Просмотр сообщенияdonvostok (22 July 2019 - 14:31) писал:

Это были фотоаппараты с функцией телефона- толщина одного 15 другого 18 мм. ТОлщина моего 8 мм. Толщина модуля камеры- 3-4 мм
Изменить

 фотография №13 28 Dec 2019

Но ссылка интересная. Ее бы довести до всех
Изменить

 фотография donvostok 30 Dec 2019

Цитата

ребята из Дехансера, например, отлично упарываются по нелинейным фильтрам — вместо пролетарского тон-маппинга они используют более сложные нелинейные преобразования
https://vas3k.ru/blo...al_photography/
1.Это то, что Павел Косенко снимал?
2."вместо пролетарского тон-маппинга" - хорошо сказано.
Изменить

 фотография Leonid L. 14 Jan 2020

Коллеги!

Интересная статья или, как теперь говорят лонгрид:
Вычислительная Фотография - Будущее фотографии — это код
Я ее по рекомендации (заочной) Леонида Каганова прочитал. Осмысливаю, изучаю темы по ссылкам.
Рекомендую.
Для затравки несколько выдержек:

Большинство громких исследований в области вычислительной фотографии приходятся на 2005-2015 года, что в науке считается буквально вчера. Прямо сейчас на наших глазах и в наших карманах развивается новая область знаний и технологий, которой никогда не было.

Вычислительная фотография — это не только селфи с нейро-боке. Недавняя фотография черной дыры не появилась бы на свет без методов вычислительной фотографии. Чтобы снять такое фото на обычный телескоп, нам бы пришлось сделать его размером с Землю. Однако, объединив данные восьми радиотелескопов в разных точках нашего шарика и написав немного скриптов на питоне, мы получили первую в мире фотографию горизонта событий. Для селфи тоже сгодится.
........
но, несложно представить, как в следующий раз, когда вы будете делать селфи на фоне Эйфелевой Башни, телефон скажет: знаешь, твоё селфи — полное говно, я вставил на фон нормальную резкую фотку башни с того же ракурса, а тебе там пофиксил причёску и замазал прыщ под губой. Лучше всего сюда подойдет фильтр VSCO L4. Не благодари.
Дальше камера начнёт заменять траву на более зелёную, друзей на более закадычных, а сиськи на более большие или типа того. Дивный новый мир....
...
Фотографии «объективной реальности» будут казаться скучными как фотки семьи за новогодним столом с оливье. Они не умрут, но станут чем-то типа бумажных книг — увлечением эстетов, которые видят в этом особый смысл. «Кому вообще может быть интересно заморачиваться с правильным светом и композицией объектов на сцене, если мой телефон дорисовывает то же самое за меня» — будут недоумевать одни. «Ко-ко-коко-ко» — будут парировать другие.
.......
Тем не менее, технологии меняются - уходят одни, приходят другие, вместе с ними уходят одни профессии, приходят другие, но место человеку-творцу остается. Вопрос в том сколько этого места остается?

Как и театр не умер с рявлением кино, а потом телевидения и интернета, так и фотограф в каком-то новом обличье останется. В каком?

Приглашаю обсудить статью.
Изменить

 фотография feuer 04 Feb 2020

Была неплохая статья, которая просто и доступно рассказывает про Gcam и что придумали инженеры гугла в этой связи.
Сейчас она недоступна, но интернет всё хранит. Немного похоже на рекламу, но в общем и целом фактический материал познователен.

Цитата

Меня часто спрашивают почему Google Camera такая крутая и почему такой хайп вокруг нее. В этом случае я показываю как круто она снимает и вопросы отпадают. Но давайте все таки технически разберемся во всем этом и как это устроено.
В современных мобильных камерах алгоритмы обработки важнее, чем железо. Но когда начинаешь разбираться, понимаешь, что камеру Google конструировали гении.


Технология HDR+

Всё началось в 2011 году, когда глава экспериментального подразделения Google X Себастьян Трун (Sebastian Thrun) обратил внимание, что большую матрицу и оптику в очки не поставить, а снимать как-то надо. Поэтому, единственным выходом оставалось, улучшить картинку софтом. Для решения этой задачи был приглашен профессор Стэнфордского Университета, эксперт в области вычислительной фотографии — Марк Левой.
Именно он в 2011 году выпустил приложение SynthCam для iPhone 4, которое симулировало размытие фона как в зеркалках. Так себе симулировало будем честны. Марк Левой возглавил команду разработчиков, которые назвали себя Gcam(Google Camera)
При разработке алгоритма было сразу заложено 4 принципа, которые сильно повлияли на развитие вычислительной фотографии:

Быть мгновенным
  • На обработку снимка не должно тратиться более нескольких секунд и все вычисления должны проходить локально на устройстве, а не в облаке, например. А значит, алгоритм должен быть простым для вычисления.
Быть автоматическим
  • Никаких ручных настроек. Пользователь должен получать качественные снимки не задумываясь о тонкостях алгоритма.
Быть естественным
  • Эффект не должен делать изображение сюрреалистичным, мультяшным. А ночь не должна выглядеть как плохая дневная фотография. Кстати, этот принцип и сейчас заметен: например, Pixel далеко не всегда делает такой ядреный HDR, как конкуренты, хотя мог бы.
Быть консервативным
  • HDR+ должен рассматриваться как режим по умолчанию, не содержать артефактов, а результат должен быть, как минимум, не хуже чем обычная фотография.
Эти принципы побудили команду Gcam подойти к работе нестандартно, потому как все остальные решения того времени этим принципам не отвечали.

Обычно в мобильной фотографии динамический диапазон расширяют при помощи техники брекетинга (вилки). Делается несколько снимков: один нормальной яркости, один светлее, один темнее. А потом они склеиваются: тени берутся из светлого снимка, света с темного, остальное с обычного. За счёт этого мы получаем расширение динамический диапазон, то есть HDR. Сейчас это умеет любой смартфон.

Но у такого метода есть и недостатки. Во-первых, снимки с разной освещенностью и выдержкой сложно склеить между собой, и поэтому возможны артефакты, типа гоустинга. Во-вторых, совсем не решается проблема с шумами, поэтому из-за агрессивного шумоподавления теряются детали и возникает эффект мокрой губки. В-третьих, при таком методе можно сильно переборщить с компрессией теней и света и на выходе получить неестественную, мультяшную картинку. Все эти проблемы, в той или иной степени, по-прежнему встречаются в смартфонах.

Так что же придумали инженеры Gcam? Они решили, что эффективнее будет склеивать между собой снимки не с разной экспозицией, а с одинаковой, причем чуть недоэкспонированные, т.е. темные или недосвеченные. Звучит нелогично! Чем вообще может помочь склейка темных снимков? А откуда взять информацию в тенях? А как это вообще поможет избавиться от шума? И вот тут начинается магия Google.
Начнём с того, что в этом случае, снимки не склеиваются, а как бы накладываются друг на друга, усредняя информацию о цвете при каждом наложении. Из-за того что снимки делаются с более короткой выдержкой, они получаются чётче, объекты меньше размываются.

Потом, так как снимки одинаковые по яркости и размытию их становится существенно проще склеивать. И, конечно, с короткой выдержкой снимки делаются быстрее, а значит можно сохранить больше кадров за одно и то же время. За счёт усреднения значения каждого пикселя с разных фото, существенно уменьшается шум, но детали сохраняются.
Плюс ко всему, увеличивается глубина цвета с 10 до 14 бит. И это даёт возможность искусственно высветить тени без видимых артефактов. Звучит всё гениально и просто, но на самом деле алгоритм чрезвычайно сложный, потому как он должен работать во всех условиях при съёмке с рук, не сажать мгновенно батарейку и не выдавать артефактов.


Реализация в приложении

Когда вы запускаете приложение камера, оно начинает непрерывно снимать, загружая в циклический буфер от 15 до 30 фотографий, в зависимости от уровня освещённости. В момент, когда вы делаете снимок, запись прекращается и берутся последние кадры из буфера. Из первых трёх кадров выбирается самый резкий, а потом на него накладываются другие снимки исключая фрагменты которые не изменились. Каждый снимок сравнивается покадрово и все измененные области отсекаются. После получения склеенного кадра в дело вступают всякие улучшатели, убираются шумы, аберрации, дымка, виньетка, повышается контраст, резкость и прочее. В этот момент происходит автобаланс белого, дебаеризация, устранение шумов, тональная компрессия, устранение хроматических аберраций, виньетирования, дымки, сглаживание полутонов, гамма коррекция, повышение контрастности, четкости и насыщенности. И это всё автоматически. Вау
При этом для опытных фотографов и просто любителей повыкручивать фотографии в Adobe Lightroom появилась возможность сохранять RAW-файлы, полученные в результате объединения нескольких кадров. Они одновременно сочетают в себе все преимущества вычислительной фотографии и при этом остаётся полная свобода творчества.
Конечно, Google не единственный кто умеет в вычислительную фотографию. Вместе с iPhone XS Apple предоставила свою версию магического алгоритма. Со слов Фила Шиллера, технология работает следующим образом. В циклическом буфере вращается 4 кадра с нормальной экспозицией и 4 промежуточных кадра с пониженной экспозицией, а также 1 светлый кадр с более длинной выдержкой. Далее нейронный движок анализирует все кадры и склеивает удачные фрагменты между собой.
Принцип работы похож на вариант реализации от Google, но за счёт того, что нужно склеить снимки с 3 разными экспозициями, такой алгоритм гораздо сложнее реализовать на практике, не получив артефакты типа гоустинга и агрессивной компрессии цвета. Более того, такой метод теоретически должен быть более затратен для вычисления. Но стоит отдать должное Apple, потому, что они не только успешно это реализовали, но добились вычисления в реальном времени, за счёт плотной интеграции со своим железом. То есть на экране iPhone в камере вы видите то, что получится на фотографии, Google таким похвастаться не может(кроме Pixel 4, где реализована функция Live HDR)


Но Google может другое: они реализовали подобный алгоритм и в при съёмке видео вплоть до 30 кадров в секунду, что вообще взрывает мозг

Итого, преимущества алгоритма от команды Gcam:
  • Значительно уменьшаются шумы, практически без потери детализации.
  • Почти полное отсутствие артефактов.
  • Естественная цветопередача.
  • Чёткая краника даже при условии быстрого движения в кадре.
Но у такого подхода, конечно есть недостатки. Во-первых, во время съёмки непонятно, каким получится итоговый снимок, потому как в видоискателе отображается картинка прямиком с матрицы, без особых улучшений. А во-вторых, чтобы посмотреть результат придётся немного подождать пока снимок обработается, но это только в режиме расширенного HDR+ где очень большой динамический диапазон, который требует чуть больше времени



Хорошее видео, которое рассказывает о том же и так же просто .



От себя: давно пользуюсь вторым пикселем с гкамом. Менять телефон причин не вижу - да и не собираюсь. 14бит цвет это здорово. Чудес не происходит, но большего требовать от сенсора меньше ногтя и не пристало.
Сообщение отредактировал feuer: 04 February 2020 - 11:17
Изменить

 фотография S190 21 Apr 2020


Данное приложение поможет фотографам экспериментировать с различными схемами студийного света, не выходя из дома.


https://photar.ru/el...eUWmcD5hllBfves
Изменить

 фотография Колокольцев 23 Apr 2020

Вычислительная Фотография - познавательная статья.


Сообщение отредактировал KNA: 23 April 2020 - 20:56
Изменить