Кто-нибудь разбирался с алгоритмами конвертации RAW файлов?
#1
Отправлено 15 December 2015 - 01:02
Снимали в студии, в темноте, освещение только пилотным светом. Я пристроился сзади, пытаясь на выдержке B "поймать" кадр, когда сработает вспышка. И допустил одну большую ошибку: не посмотрел, что стоит рядом. А рядом стояла мощная вспышка, направленная назад для создания заполняющего света. И она попала в кадр, хотя и с краю. И не спасло SMC просветление 70-го лима. И вот что получилось: https://img-fotki.ya...d_ca542f8f_orig
Но речи и не об этом. Тёмный прямоугольник -- область, которая меня заинтересовала, когда я стал рассматривать эту картинку с большим увеличением. В нём оказался странный "орнамент".вместо ожидаемого равномерного поля. Я тогда решил сконвертировать RAW файл программой dcraw. Результат оказался ещё хуже. "Орнамент" стал пятнистым. И я решил попробовать все варианты конвертации, которые позволяет делать dcraw. И оказалось, что в ряде режимов никакого "орнамента" нет. А в одном вообще был гладкий фон.
Я собрал фрагменты (отмеченного прямоугольника) из 9 вариантов конвертации в один файл. Для наглядности увеличил их в 2 раза без интерполяции. И вот что получилось:
https://img-fotki.ya...e_54ae8117_orig
Надпись в ЛВУ каждого фрагмента говорит о способе конвертации.
JPG -- внутрикамерный JPEG, полученный прямо из камеры.
ppm -- конвертация программой dcraw без параметров.
-q 3 -- конвертация с параметром -q 3 -- интерполяция AHD (Адаптивная Гомогенно-Ориентированнуя). Результат аналогичен конвертации без параметров. Явно видны пятна.
-q 2 -- конвертация с параметром -q 2 -- интерполяция PPG (Группировка Пикселей по Шаблону). Похоже на -q 3, но пятна выражены слабее
-q 1 -- конвертация с параметром -q 1 -- интерполяция VNG (по Переменному Числу Градиентов). Пятен нет, есть только сетка. Причём равномерная.
-q 0 -- конвертация с параметром -q 0 -- быстрая низкокачественная билинейная интерполяция. похоже на -q 1.
-f -- конвертация с параметром -f -- интерполирует RGB как четыре цвета. Используется, когда на полученном изображении видны искажения в виде ложной сетки 2x2 (при VNG интерполяции), или узор в виде лабиринта при AHD интерполяции.
-d -- конвертация с пармаетром -d -- показывает сырые данные как изображение в градациях серого без интерполяции.
-D -- конвертация с параметром -D -- то же, что и -d, но в полностью необработанном виде (без цветового баланса)
(описание взято из man dcraw)
И у меня появились вопросы: каким образом появляется "лабиринт" и почему он "пятнистый"?
Кстати, при внимательном рассмотрении "серых" картинок возникло впечатление, что фильтры, покрывающие матрицу не трёх цветов, а четырёх. Т.е. "зелёные" ячейки. возможно, имеют разную плотность в каждой группе из 4-х ячеек.
#2
Отправлено 15 December 2015 - 07:37
(дабы убедиться в справедливости (или опровергнуть) сказанное здесь http://traditio.wiki....86.D0.B8.D1.8F
Цитирую: "Производители цифровых фотоаппаратов и RAW-конвертеров используют собственные адаптивные алгоритмы, как правило, объявляемые производителем ноу-хау. Однако на деле содержательная часть алгоритма и настроек параметров подавляющего их большинства восходит к исходным текстам Open Source конвертера dcraw, о чём многие авторы программ-конвертеров (например, SilkyPix) честно упоминают в документации на программу.")
#3
Отправлено 15 December 2015 - 12:05
e573 (15 December 2015 - 07:37) писал:
Файл размером 32 МБ
#4
Отправлено 15 December 2015 - 12:24
$ md5sum 15* 74999f8c299a9d3254874bd40a9c86e8 151213155037_K-3_7422.DNG 74999f8c299a9d3254874bd40a9c86e8 151213155037_K-3_7422.tifБолее того:
$ file 15* 151213155037_K-3_7422.DNG: TIFF image data, little-endian 151213155037_K-3_7422.tif: TIFF image data, little-endianПрограмма file опознала его как TIFF изображение.
#5
Отправлено 15 December 2015 - 12:32
Википедия, но можно поискать и где-то еще:
"DNG является расширением формата TIFF 6.0 и совместим со стандартом TIFF-EP. Файл формата DNG может хранить в себе одно главное изображение, несколько изображений меньшего разрешения/качества для предпросмотра и метаданные. Рекомендованное расширение файлов — «.DNG»."
Переименовал скачанный в .DNG - rawtherapee его корректно открыл
#8
Отправлено 15 December 2015 - 13:36
Вот пример (из моего жж http://wayerr.livejo...106.html#cutid1 )
Один и тотже кусок с разными алгоритмами дает разную структруру, если вместо шума будет равномерный фон то можн ополучить полноценные лабиринты всеми кроме последнего алгоритма (VNG-4).
Сообщение отредактировал wayerr: 15 December 2015 - 13:36
#9
Отправлено 15 December 2015 - 14:59
Скажите, пожалуйста, на каком масштабе увеличения получаются такие артефакты демозаики? Дело в том, что в программе Photivo (использует арифметику с плавающей точкой, в отличие от PS и LR) на масштабе 400% все идеально гладко, а большего масштаба увеличения программа не дает. В Lightzone результат похуже, но гораздо лучше, чем в в dcraw.
И каким образом этот файл можно посмотреть в DXO (с DNG-файлами программа работать не хочет)?
Сообщение отредактировал e573: 15 December 2015 - 15:00
#10
Отправлено 15 December 2015 - 15:10
e573 (15 December 2015 - 14:59) писал:
Скажите, пожалуйста, на каком масштабе увеличения получаются такие артефакты демозаики? Дело в том, что в программе Photivo (использует арифметику с плавающей точкой, в отличие от PS и LR) на масштабе 400% все идеально гладко, а большего масштаба увеличения программа не дает.
e573 (15 December 2015 - 14:59) писал:
#12
Отправлено 15 December 2015 - 15:38
e573 (15 December 2015 - 15:21) писал:
Дело в том, что имеющуюся у меня rawtherapee не понимает PEF от K-3. Поэтому я в настройках указал сохранять в DNG.
Хотя раньше предпочитал PEF, Когда обнаружил, что rawtherapee для файлов PEF показывает тип объектива, а для DNG нет.
Но сейчас, вроде, и для DNG показывает.
#15
Отправлено 15 December 2015 - 16:58
#16
Отправлено 15 December 2015 - 17:59
#17
Отправлено 15 December 2015 - 18:19
По данному артифакту предъявленому ТС хочется сказать, что на лицо выход возможности матрицы за свои возможности. Если посмотреть то самый нижний левый угол полностью выбит (все пиксели вышли за свои возможности) Далее следуя по градиенту видим картину когда часть пикселей уже выбиты полностью а часть нет. Вот от сюда сей эфект и получился. И те дебайеры которые это показали получается самые честные и правильные.
На всякий случай это моё мнение.
Сообщение отредактировал АНДРЕЙ Л.: 15 December 2015 - 18:17
#18
#19
Отправлено 15 December 2015 - 19:36
И 1:1 стоит, и автообновление картинки стоит, но такого "лабиринта" и меня в Photivo нет.
Видимо, дело в еще каких-то настройках программы. Если не затруднит-пожалуйста, выложите куда-нибудь скриншот(ы) с настройками программы, на досуге посмотрю.
#23
Отправлено 16 December 2015 - 19:33
АНДРЕЙ Л. (15 December 2015 - 18:19) писал:
https://img-fotki.ya...7_d82db6b5_orig -- собственно то, что получилось
https://img-fotki.ya...8_6594f17d_orig -- применил автоуровни ко всей картинки
https://img-fotki.ya...9_7e055101_orig -- применил автоуровни отдельно к левой и правой частям.
АНДРЕЙ Л. (15 December 2015 - 18:19) писал:
Я вырезал фрагмент 50х200 пикселей из двух вариантов конвертации:
с ключём -d -- Показывает сырые данные как изображение в градациях серого без интерполяции.
с ключом -D -- То же, что и -d, но в полностью необработанном виде (без цветового баланса).
После этого объединил их в одну картинку: первые две полосы -- с ключом -d и -D, а затем -- тоже самое, но после применения автоуровней. Потом ещё увеличил эту картинку в 5 раз без интерполяции:
https://img-fotki.ya...a_7934138a_orig
Из этой картинки видно, что пиксели имеют 4 разных уровня яркости. Поэтому у меня и возникло такое предположение.
АНДРЕЙ Л. (15 December 2015 - 18:19) писал:
На всякий случай это моё мнение.
Что касается утверждения про "самые частные и правильные", тут, думаю, можно поспорить. Не потому, что есть "более правильные", а потому, что "самых правильных" не может быть в принципе. В каком-то случае может быть лучше один вариант дебайеризации, в каком-то другой. Главное -- понимать, в каких случаях какой надо применять тот или иной метод.
В dcraw можно использовать 6 методов: кроме пяти перечисленных (-q 0..3, -f) есть ещё
-h Выдает цветное изображение, уменьшенное вдвое. В два раза быстрее, чем -q 0.
Но меня в данном случае заинтересовало появление "лабиринта" (как я понял, он появляется при AHD и PPG интерполяции) и почему появились "пятна", хорошо видимые при AHD.
Но, как я понял, существуют ещё и другие методы дебайеризации.
АНДРЕЙ Л. (15 December 2015 - 18:19) писал:
Я сначала пытался вставлять эти картинки как изображения. И как только вставляю ссылку на картинку, она тут же появляется в тексте. Но когда попытался отправить текст, было выдано сообщение про некорректное расширение файла. Это какие-то особенности Яндекса. Я изображения записывал на fotki.yandex.ru, но когда смотрел ссылки на "оригинал", то в адресной строке (URL) почему-то не было расширения, имя файла заканчивается на "_orig". Поэтому я просто вставлял в текст ссылки.
#24
Отправлено 16 December 2015 - 20:40
По этому Ваше высказывание
#25
Отправлено 16 December 2015 - 21:51
АНДРЕЙ Л. (15 December 2015 - 21:11) писал:
2015-12-15 21-02-00 151213155037_K-3_7422.DNG - E foto - Photivo.png
Мне более интересно стало почему в поле "Объектив" ничего нет.
Ради интереса решил посмотреть, что покажет RawTherapee. Которой, заодно, подсунул два других PEF файла от K-5.
И вот что он выдал (кропы с экрана):
Про такой же (снятый тогда же, только другой) файл он выдал такое же название аппарата (с названием фирмы) и + "Unknown". Т.е. он не смог распознать объектив (35-й лим)
А вот у PEF с K-5 он распознал. Правда, только 18-135. Вместо 16-85 (проверял в магазине) он написал 2248
Ради интереса решил посмотреть, что скажер RawTherapee на PEF и DNG файлы от K-3.
На DNG он в качестве объектива также написал Unknown, а при попытке открыть PEF написал, что не может загрузить (хотя превью показал) и завис. Пришлось "убивать".
Может быть причина в том, что у меня Rawtherapee не последняя, а та, что входит в Debian.
Ради интереса решил посмотреть, что RawTherapee скажет на DNG и PEF файл от K-5.
На PEF она показала название объектива, а на DNG написала Unknown.
Хотя exiftool выдаёт названия объективов на все RAW файлы:
$ exiftool *.DNG *.PEF | grep -E "(File Name|Lens Type)" File Name : 151213153612_K-3_7394.DNG Lens Type : smc PENTAX-DA 35mm F2.8 Macro Limited File Name : _K_37521.DNG Lens Type : smc PENTAX-DA 18-135mm F3.5-5.6 ED AL [IF] DC WR File Name : _K_51752.DNG Lens Type : smc PENTAX-DA 18-55mm F3.5-5.6 AL File Name : 151206163552_K-5_1733.PEF Lens Type : HD PENTAX-DA 16-85mm F3.5-5.6 ED DC WR File Name : 151206163941_K-5_1737.PEF Lens Type : smc PENTAX-DA 18-135mm F3.5-5.6 ED AL [IF] DC WR File Name : 151213152314_645Z_4632.PEF Lens Type : smc PENTAX-D FA 645 55mm F2.8 AL [IF] SDM AW File Name : _K_37522.PEF Lens Type : smc PENTAX-DA 18-135mm F3.5-5.6 ED AL [IF] DC WR File Name : _K_51751.PEF Lens Type : smc PENTAX-DA 18-55mm F3.5-5.6 AL
#26
Отправлено 16 December 2015 - 22:07
Сообщение отредактировал АНДРЕЙ Л.: 16 December 2015 - 22:10
#27
Отправлено 16 December 2015 - 22:57
АНДРЕЙ Л. (16 December 2015 - 22:07) писал:
А вот программа exiftool выдаёт и то и то в двух разных строчках:
$ exiftool *.DNG *.PEF | grep -A1 Make Make : RICOH IMAGING COMPANY, LTD. Camera Model Name : PENTAX K-3 -- Make : RICOH IMAGING COMPANY, LTD. Camera Model Name : PENTAX K-3 -- Make : PENTAX Camera Model Name : PENTAX K-5 -- Make : PENTAX Camera Model Name : PENTAX K-5 -- Make : PENTAX Camera Model Name : PENTAX K-5 -- Make : RICOH IMAGING COMPANY, LTD. Camera Model Name : PENTAX 645Z -- Make : RICOH IMAGING COMPANY, LTD. Camera Model Name : PENTAX K-3 -- Make : PENTAX Camera Model Name : PENTAX K-5
АНДРЕЙ Л. (16 December 2015 - 22:07) писал:
#28
Отправлено 16 December 2015 - 23:09
MiK13 (16 December 2015 - 22:57) писал:
А вот программа exiftool выдаёт и то и то в двух разных строчках:[code]$ exiftool *.DNG *.PEF | grep -A1 Make
Make : RICOH IMAGING COMPANY, LTD.
Camera Model Name : PENTAX K-3
--
Make : PENTAX
Camera Model Name : PENTAX K-5
--
Просто до RICOH никому е приходило в голову менять название фирмы.
А вот ныне, PENTAX - это уже не фирма, но наименование линейки зеркальных камер от RICOH.
#29
Отправлено 16 December 2015 - 23:54
Альфред (16 December 2015 - 23:09) писал:
Программа exiftool показала в разных стоках название модели камеры (в строке "Camera Model Name") и название того, где была сделана (точнее, разработана) камера в строке "Make". И в случае с K-5 и в случае с K-3 в обеих этих строках присутствует информация.
Но программа rawtherapee вместе с картинкой от K-5 показывает только содержимое строки Camera Model Name, а с картинкой от K-5 перед ним добавила ещё содержимое строки Make.
Нашёл файл с 1Ds2.exiftool показал:
$ exiftool 150815152724_1Ds2_1729.CR2 | grep -A1 Make Make : Canon Camera Model Name : Canon EOS-1Ds Mark IIТ.е. и название камеры и название фирмы.
А вот rawtherapii показала только название камеры:
Количество пользователей, читающих эту тему: 1
0 пользователей, 1 гостей, 0 анонимных