Объединение пикселей — это процесс объединения считываемых значений соседних пикселей изображения после его захвата. Биннинг работает путем сложения электрических зарядов, собранных соседними пикселями одного цвета, и считывания их как одного смоделированного пикселя. В условиях низкой-освещенности это повышает чувствительность камеры и яркость изображения. Однако обратная сторона столь же очевидна: после объединения пикселей разрешение изображения значительно снижается, и этот компромисс-по большому счету неизбежен.
Компромисс «Потеря деталей»-Против
Сегодняшние основные технологии объединения пикселей включают объединение пикселей 4-в-1, 9-в-1 и даже 16-в-1. Среди них наиболее распространенным решением является объединение пикселей 4-в-1.
По сути, объединение пикселей по-прежнему во многом зависит от вычислительной обработки. Он объединяет четыре или более соседних пикселей в более крупный «виртуальный пиксель» посредством алгоритмической реконструкции. Теоретически этот более крупный пиксель ведет себя как пиксель нормального-размера со стандартным интервалом, улучшая светочувствительность и уменьшая шум изображения.
На примере относительно простого решения «4 в 1» эта технология также известна какКвад Байер.
Технология Quad Байера
В рамках одного цикла экспозиции технология Quad Bayer контролирует продолжительность экспозиции каждого светочувствительного блока в одной и той же области, позволяя сделать два брекетинга экспозиции в конфигурации L+L+S+S. На практике это означает, что функциональность, подобная HDR-, уже может быть достигнута на уровне датчика CMOS.
Массив цветных фильтров Quad Bayer от Sony впервые появился в продаже вХуавей П20 Про, выпущенный 27 марта 2018 г.
По сравнению с традиционным массивом Байера структура массива Quad Bayer совершенно другая. Когда четыре пикселя объединяются в один более крупный «виртуальный пиксель», эти более крупные пиксели эффективно воссоздают структуру обычного массива Байера. После объединения пикселей разрешение изображения снижается примерно на 75%. Например, датчик с разрешением 48 МП эффективно выводит изображение с разрешением 12 МП после биннинга 4-в-1.
Другой способ понять Quad Bayer заключается в том, что он по сути делит каждый традиционный пиксель Байера на четыре меньших блока, что позволяет более точно улавливать и обрабатывать свет.
Традиционный Байер против Квад-Байера
Обычная матрица Байера состоит из:
- 50% зеленых пикселей
- 25% красных пикселей
- 25% синих пикселей
Когда Quad Bayer работает без объединения пикселей при нормальных условиях освещения, усовершенствованные алгоритмы реконструкции все равно могут обеспечить полную-выборку цвета, эквивалентную традиционному массиву Байера, в пределах той же области датчика:
- 50% Зеленый
- 25% Красный
- 25% Синий
Почему объединение пикселей стало популярным в смартфонах
Объединение пикселей — это, прежде всего, технология обработки изображений на смартфонах. Такие функции, как прямой вывод изображения, обработка HDR и компьютерная фотография, являются основными преимуществами смартфонов перед традиционными камерами.
При подходящих условиях освещения режимы Quad Bayer действительно могут в некоторой степени улучшить эффективное разрешение. Однако по сравнению с обычными матрицами Байера улучшение динамического диапазона зачастую более заметно.
На самом деле объединение пикселей переносит традиционные методы пост-обработки, такие как наложение экспозиции, на сам этап захвата изображения. В условиях низкой-освещенности он жертвует разрешением, чтобы компенсировать недостаточное потребление света.
Хотя объединение пикселей не может одновременно максимизировать как сверх-высокое разрешение, так и сверхвысокое-динамический диапазон, объединение пикселей представляет собой практический компромисс, на который пошли производители датчиков смартфонов в рамках фиксированных ограничений физического размера CMOS-датчиков.
Объединение пикселей против сдвига пикселей
Прежде чем узнать о биннинге пикселей, многие люди, возможно, слышали о другой технологии обработки изображений, называемойПиксельный сдвиг.
Сдвиг пикселей работает путем перемещения датчика изображения с точностью до суб-между экспозициями. Это позволяет каждой позиции пикселя захватывать полную информацию о цвете RGB, преодолевая ограничения, вызванные расположением цветового фильтра Байера.
Объединение пикселей и сдвиг пикселей — это принципиально разные концепции.
Функция Pixel Shift улучшает общую детализацию изображения и соотношение-/-шум за счет передискретизации, гарантируя, что каждый пиксель содержит полную информацию RGB.
С другой стороны, объединение пикселей объединяет несколько пикселей вместе для улучшения светочувствительности и производительности при слабом-освещении, обычно за счет разрешения изображения.
Различные подходы в мобильной визуализации
Некоторые производители выбрали другое направление, сохранив разрешение сенсора в диапазоне от 10 до 20 МП вместо того, чтобы агрессивно стремиться к сверх-высокому количеству мегапикселей.
Например, и Google, и Apple в течение многих лет полагались на 12-мегапиксельные CMOS-сенсоры. Apple использовала 12-мегапиксельную матрицу от iPhone 6s до iPhone 13, а вычислительная фотография Google и технологии Pixel Shift- помогли создать одни из самых мощных в отрасли систем для смартфонов с одной-камерой, например Google Pixel 3.
По иронии судьбы, именно производители, которые не слишком активно продвигали сверхвысокое-мегапиксельное разрешение или сверхбольшие матрицы, зачастую были теми, кто поднимал фотографию на смартфонах на новую высоту.
