Перейти к содержимому


Вычислительная фотография



Сообщений в теме: 12

#1 Николаич

  • Пользователь
  • 12 727 сообщений
  • Город:Москва, с речки Неглинки

Отправлено 18 Июнь 2019 - 13:12

https://vas3k.ru/blo...al_photography/

Смартфоны, новые технологии и много всяких технических подробностей.

#2 Михайлович

  • Пользователь
  • 1 813 сообщений
  • Имя:Сергей
  • Отчество:Михайлович
  • Фамилия:Манкеев
  • Город:Москва

Отправлено 18 Июнь 2019 - 18:18

Я думаю, что уважаемая компания Sony будет лидером среди производителей фотоаппаратуры, кто широко начнет внедрять технологии вычислительной фотографии в свою технику.
И первопроходцем будет ее серия камер RX100 с дюймовой матрицей.

#3 Паша25

  • Пользователь
  • 9 сообщений

Отправлено 22 Июль 2019 - 14:08

Вчера только соседка спрашивала - хочу себе 40МРх смартфон, наверное, говорит, фотографии шикарные будут. Я сказалчто, конечно, за такие деньги ей обработчик накрутит и яркость и насыщенность, и боке нарисует, только непонятно, как они 40 МРх собираются через эту дырочку в объективе просунуть, и столько элементов на миниматрицу засунуть.

#4 donvostok

  • Пользователь
  • 14 792 сообщений
  • Имя:Евгений
  • Город:Город благих вестей

Отправлено 22 Июль 2019 - 14:31

Просмотр сообщенияПаша25 сказал:

только непонятно, как они 40 МРх собираются через эту дырочку в объективе просунуть
С 2013 года, ужЕ.
И 2012

Сообщение отредактировал donvostok: 22 Июль 2019 - 14:32


#5 ogre

  • Пользователь
  • 2 280 сообщений
  • Город:Auckland, Aotearoa

Отправлено 28 Июль 2019 - 19:44

Просмотр сообщенияПаша25 сказал:

как они 40 МРх собираются через эту дырочку в объективе просунуть, и столько элементов на миниматрицу засунуть.
Да в чем проблема-то? Здесь речь идет о 40 миллионах измерениях.

#6 Паша25

  • Пользователь
  • 9 сообщений

Отправлено 10 Август 2019 - 12:41

Просмотр сообщенияdonvostok (22 Июль 2019 - 14:31) писал:

Это были фотоаппараты с функцией телефона- толщина одного 15 другого 18 мм. ТОлщина моего 8 мм. Толщина модуля камеры- 3-4 мм

#7 №13

  • Пользователь
  • 11 287 сообщений
  • Имя:Валерий
  • Город:Одесса

Отправлено 28 Декабрь 2019 - 22:55

Но ссылка интересная. Ее бы довести до всех

#8 donvostok

  • Пользователь
  • 14 792 сообщений
  • Имя:Евгений
  • Город:Город благих вестей

Отправлено 30 Декабрь 2019 - 17:07

Цитата

ребята из Дехансера, например, отлично упарываются по нелинейным фильтрам — вместо пролетарского тон-маппинга они используют более сложные нелинейные преобразования
https://vas3k.ru/blo...al_photography/
1.Это то, что Павел Косенко снимал?
2."вместо пролетарского тон-маппинга" - хорошо сказано.

#9 Leonid L.

  • Пользователь
  • 616 сообщений

Отправлено 14 Январь 2020 - 01:05

Коллеги!

Интересная статья или, как теперь говорят лонгрид:
Вычислительная Фотография - Будущее фотографии — это код
Я ее по рекомендации (заочной) Леонида Каганова прочитал. Осмысливаю, изучаю темы по ссылкам.
Рекомендую.
Для затравки несколько выдержек:

Большинство громких исследований в области вычислительной фотографии приходятся на 2005-2015 года, что в науке считается буквально вчера. Прямо сейчас на наших глазах и в наших карманах развивается новая область знаний и технологий, которой никогда не было.

Вычислительная фотография — это не только селфи с нейро-боке. Недавняя фотография черной дыры не появилась бы на свет без методов вычислительной фотографии. Чтобы снять такое фото на обычный телескоп, нам бы пришлось сделать его размером с Землю. Однако, объединив данные восьми радиотелескопов в разных точках нашего шарика и написав немного скриптов на питоне, мы получили первую в мире фотографию горизонта событий. Для селфи тоже сгодится.
........
но, несложно представить, как в следующий раз, когда вы будете делать селфи на фоне Эйфелевой Башни, телефон скажет: знаешь, твоё селфи — полное говно, я вставил на фон нормальную резкую фотку башни с того же ракурса, а тебе там пофиксил причёску и замазал прыщ под губой. Лучше всего сюда подойдет фильтр VSCO L4. Не благодари.
Дальше камера начнёт заменять траву на более зелёную, друзей на более закадычных, а сиськи на более большие или типа того. Дивный новый мир....
...
Фотографии «объективной реальности» будут казаться скучными как фотки семьи за новогодним столом с оливье. Они не умрут, но станут чем-то типа бумажных книг — увлечением эстетов, которые видят в этом особый смысл. «Кому вообще может быть интересно заморачиваться с правильным светом и композицией объектов на сцене, если мой телефон дорисовывает то же самое за меня» — будут недоумевать одни. «Ко-ко-коко-ко» — будут парировать другие.
.......
Тем не менее, технологии меняются - уходят одни, приходят другие, вместе с ними уходят одни профессии, приходят другие, но место человеку-творцу остается. Вопрос в том сколько этого места остается?

Как и театр не умер с рявлением кино, а потом телевидения и интернета, так и фотограф в каком-то новом обличье останется. В каком?

Приглашаю обсудить статью.

#10 feuer

  • Пользователь
  • 4 220 сообщений
  • Город:на Неве

Отправлено 04 Февраль 2020 - 11:15

Была неплохая статья, которая просто и доступно рассказывает про Gcam и что придумали инженеры гугла в этой связи.
Сейчас она недоступна, но интернет всё хранит. Немного похоже на рекламу, но в общем и целом фактический материал познователен.

Цитата

Меня часто спрашивают почему Google Camera такая крутая и почему такой хайп вокруг нее. В этом случае я показываю как круто она снимает и вопросы отпадают. Но давайте все таки технически разберемся во всем этом и как это устроено.
В современных мобильных камерах алгоритмы обработки важнее, чем железо. Но когда начинаешь разбираться, понимаешь, что камеру Google конструировали гении.


Технология HDR+

Всё началось в 2011 году, когда глава экспериментального подразделения Google X Себастьян Трун (Sebastian Thrun) обратил внимание, что большую матрицу и оптику в очки не поставить, а снимать как-то надо. Поэтому, единственным выходом оставалось, улучшить картинку софтом. Для решения этой задачи был приглашен профессор Стэнфордского Университета, эксперт в области вычислительной фотографии — Марк Левой.
Именно он в 2011 году выпустил приложение SynthCam для iPhone 4, которое симулировало размытие фона как в зеркалках. Так себе симулировало будем честны. Марк Левой возглавил команду разработчиков, которые назвали себя Gcam(Google Camera)
При разработке алгоритма было сразу заложено 4 принципа, которые сильно повлияли на развитие вычислительной фотографии:

Быть мгновенным
  • На обработку снимка не должно тратиться более нескольких секунд и все вычисления должны проходить локально на устройстве, а не в облаке, например. А значит, алгоритм должен быть простым для вычисления.
Быть автоматическим
  • Никаких ручных настроек. Пользователь должен получать качественные снимки не задумываясь о тонкостях алгоритма.
Быть естественным
  • Эффект не должен делать изображение сюрреалистичным, мультяшным. А ночь не должна выглядеть как плохая дневная фотография. Кстати, этот принцип и сейчас заметен: например, Pixel далеко не всегда делает такой ядреный HDR, как конкуренты, хотя мог бы.
Быть консервативным
  • HDR+ должен рассматриваться как режим по умолчанию, не содержать артефактов, а результат должен быть, как минимум, не хуже чем обычная фотография.
Эти принципы побудили команду Gcam подойти к работе нестандартно, потому как все остальные решения того времени этим принципам не отвечали.

Обычно в мобильной фотографии динамический диапазон расширяют при помощи техники брекетинга (вилки). Делается несколько снимков: один нормальной яркости, один светлее, один темнее. А потом они склеиваются: тени берутся из светлого снимка, света с темного, остальное с обычного. За счёт этого мы получаем расширение динамический диапазон, то есть HDR. Сейчас это умеет любой смартфон.

Но у такого метода есть и недостатки. Во-первых, снимки с разной освещенностью и выдержкой сложно склеить между собой, и поэтому возможны артефакты, типа гоустинга. Во-вторых, совсем не решается проблема с шумами, поэтому из-за агрессивного шумоподавления теряются детали и возникает эффект мокрой губки. В-третьих, при таком методе можно сильно переборщить с компрессией теней и света и на выходе получить неестественную, мультяшную картинку. Все эти проблемы, в той или иной степени, по-прежнему встречаются в смартфонах.

Так что же придумали инженеры Gcam? Они решили, что эффективнее будет склеивать между собой снимки не с разной экспозицией, а с одинаковой, причем чуть недоэкспонированные, т.е. темные или недосвеченные. Звучит нелогично! Чем вообще может помочь склейка темных снимков? А откуда взять информацию в тенях? А как это вообще поможет избавиться от шума? И вот тут начинается магия Google.
Начнём с того, что в этом случае, снимки не склеиваются, а как бы накладываются друг на друга, усредняя информацию о цвете при каждом наложении. Из-за того что снимки делаются с более короткой выдержкой, они получаются чётче, объекты меньше размываются.

Потом, так как снимки одинаковые по яркости и размытию их становится существенно проще склеивать. И, конечно, с короткой выдержкой снимки делаются быстрее, а значит можно сохранить больше кадров за одно и то же время. За счёт усреднения значения каждого пикселя с разных фото, существенно уменьшается шум, но детали сохраняются.
Плюс ко всему, увеличивается глубина цвета с 10 до 14 бит. И это даёт возможность искусственно высветить тени без видимых артефактов. Звучит всё гениально и просто, но на самом деле алгоритм чрезвычайно сложный, потому как он должен работать во всех условиях при съёмке с рук, не сажать мгновенно батарейку и не выдавать артефактов.


Реализация в приложении

Когда вы запускаете приложение камера, оно начинает непрерывно снимать, загружая в циклический буфер от 15 до 30 фотографий, в зависимости от уровня освещённости. В момент, когда вы делаете снимок, запись прекращается и берутся последние кадры из буфера. Из первых трёх кадров выбирается самый резкий, а потом на него накладываются другие снимки исключая фрагменты которые не изменились. Каждый снимок сравнивается покадрово и все измененные области отсекаются. После получения склеенного кадра в дело вступают всякие улучшатели, убираются шумы, аберрации, дымка, виньетка, повышается контраст, резкость и прочее. В этот момент происходит автобаланс белого, дебаеризация, устранение шумов, тональная компрессия, устранение хроматических аберраций, виньетирования, дымки, сглаживание полутонов, гамма коррекция, повышение контрастности, четкости и насыщенности. И это всё автоматически. Вау
При этом для опытных фотографов и просто любителей повыкручивать фотографии в Adobe Lightroom появилась возможность сохранять RAW-файлы, полученные в результате объединения нескольких кадров. Они одновременно сочетают в себе все преимущества вычислительной фотографии и при этом остаётся полная свобода творчества.
Конечно, Google не единственный кто умеет в вычислительную фотографию. Вместе с iPhone XS Apple предоставила свою версию магического алгоритма. Со слов Фила Шиллера, технология работает следующим образом. В циклическом буфере вращается 4 кадра с нормальной экспозицией и 4 промежуточных кадра с пониженной экспозицией, а также 1 светлый кадр с более длинной выдержкой. Далее нейронный движок анализирует все кадры и склеивает удачные фрагменты между собой.
Принцип работы похож на вариант реализации от Google, но за счёт того, что нужно склеить снимки с 3 разными экспозициями, такой алгоритм гораздо сложнее реализовать на практике, не получив артефакты типа гоустинга и агрессивной компрессии цвета. Более того, такой метод теоретически должен быть более затратен для вычисления. Но стоит отдать должное Apple, потому, что они не только успешно это реализовали, но добились вычисления в реальном времени, за счёт плотной интеграции со своим железом. То есть на экране iPhone в камере вы видите то, что получится на фотографии, Google таким похвастаться не может(кроме Pixel 4, где реализована функция Live HDR)


Но Google может другое: они реализовали подобный алгоритм и в при съёмке видео вплоть до 30 кадров в секунду, что вообще взрывает мозг

Итого, преимущества алгоритма от команды Gcam:
  • Значительно уменьшаются шумы, практически без потери детализации.
  • Почти полное отсутствие артефактов.
  • Естественная цветопередача.
  • Чёткая краника даже при условии быстрого движения в кадре.
Но у такого подхода, конечно есть недостатки. Во-первых, во время съёмки непонятно, каким получится итоговый снимок, потому как в видоискателе отображается картинка прямиком с матрицы, без особых улучшений. А во-вторых, чтобы посмотреть результат придётся немного подождать пока снимок обработается, но это только в режиме расширенного HDR+ где очень большой динамический диапазон, который требует чуть больше времени



Хорошее видео, которое рассказывает о том же и так же просто .



От себя: давно пользуюсь вторым пикселем с гкамом. Менять телефон причин не вижу - да и не собираюсь. 14бит цвет это здорово. Чудес не происходит, но большего требовать от сенсора меньше ногтя и не пристало.

Сообщение отредактировал feuer: 04 Февраль 2020 - 11:17


#11 S190

  • Пользователь
  • 2 348 сообщений
  • Город:Vilnius

Отправлено 21 Апрель 2020 - 10:44


Данное приложение поможет фотографам экспериментировать с различными схемами студийного света, не выходя из дома.


https://photar.ru/el...eUWmcD5hllBfves

#12 Колокольцев

  • Пользователь
  • 1 757 сообщений
  • Город:СПб

Отправлено 23 Апрель 2020 - 16:14

Вычислительная Фотография - познавательная статья.


Сообщение отредактировал KNA: 23 Апрель 2020 - 20:56


#13 feuer

  • Пользователь
  • 4 220 сообщений
  • Город:на Неве

Отправлено 22 Июль 2020 - 17:33

https://www.theverge...dobe-marc-levoy





Количество пользователей, читающих эту тему: 1

0 пользователей, 1 гостей, 0 анонимных