Когда инженеры оценивают модуль камеры, энергопотребление часто рассматривается как простая характеристика, указанная в таблице данных. На самом деле энергопотребление модуля камеры является результатом совместной работы нескольких подсистем, включая датчик изображения, интернет-провайдера, буферы памяти, высокоскоростные-интерфейсы, часы, стабилизаторы напряжения и главный процессор.
Понимание основных источников энергопотребления имеет решающее значение для встроенных систем машинного зрения, промышленных камер, периферийных устройств с искусственным интеллектом, продуктов с батарейным-питанием и приложений машинного зрения. Плохое понимание режима питания может привести к перегреву, нестабильному качеству изображения, сокращению срока службы батареи и неожиданным сбоям системы.
Что еще более важно, многие инженеры ошибочно полагают, что энергопотребление напрямую зависит от разрешения сенсора. На практике доминирующим фактором часто является общая пропускная способность изображения-объем данных изображения, которые необходимо захватывать, обрабатывать, передавать и анализировать каждую секунду.
Потребление энергии начинается с пропускной способности пикселей
На уровне датчика энергопотребление тесно связано с пропускной способностью пикселей, а не только с разрешением.
Например:
- 2 МП при 30 кадрах в секунду=примерно 60 миллионов пикселей в секунду
- 5 МП при 30 кадрах в секунду=примерно 150 миллионов пикселей в секунду
- 8 МП при 60 кадрах в секунду=примерно 480 миллионов пикселей в секунду
Каждый пиксель должен быть экспонирован, преобразован из аналоговой формы в цифровую, передан через схемы считывания датчиков, обработан интернет-провайдером, передан через интерфейс и, в конечном итоге, обработан хост-процессором.
По мере увеличения пропускной способности пикселей почти каждый блок в конвейере обработки изображений потребляет больше энергии. Вот почему 8-мегапиксельная камера, работающая с высокой частотой кадров, может потреблять в несколько раз больше энергии, чем 2-мегапиксельная камера, даже если обе используют схожие полупроводниковые технологии.
Датчик изображения — это больше, чем просто пиксели
Датчик изображения часто рассматривается как основной потребитель энергии, но понимание того, на что расходуется мощность датчика, требует более глубокого изучения его внутренней архитектуры.
Современные CMOS-датчики изображения содержат:
- Пиксельные массивы
- Драйверы строк и столбцов
- Аналоговые усилители
- Коррелированные схемы двойной выборки
- Аналого--в-цифровые преобразователи (АЦП)
- Генераторы времени
- Высокоскоростные-сериализаторы вывода
Среди этих блоков на АЦП и высокоскоростные выходные схемы часто приходится значительная часть потребляемой датчиками мощности. По мере увеличения частоты кадров эти схемы должны работать на более высоких частотах, что приводит к существенному увеличению динамического энергопотребления.
Съемка при слабом-освещении также может увеличить требования к питанию датчика. Более длительное время экспозиции, более высокий аналоговый коэффициент усиления и расширенные режимы HDR часто требуют дополнительных операций датчика, которые потребляют больше энергии, чем стандартные режимы визуализации.
Почему процессинг ISP может стать крупнейшим потребителем электроэнергии
Во многих современных системах камер процессор сигналов изображения (ISP) потребляет столько же энергии, сколько и сам датчик-, а то и больше.
Необработанные данные датчиков не могут быть использованы напрямую. Прежде чем изображение достигнет прикладного уровня, оно обычно проходит десятки этапов обработки:
- Демозаика
- Автоматическая экспозиция (AE)
- Автоматический баланс белого (AWB)
- Коррекция затенения объектива (LSC)
- Исправление пикселей дефектов (DPC)
- Шумоподавление
- Заточка
- Цветокоррекция
- Обработка HDR/WDR
- Гамма-коррекция
- Отображение тонов
Многие из этих алгоритмов работают с каждым пикселем каждого кадра. По мере увеличения разрешения и частоты кадров сложность вычислений быстро растет.
Режимы HDR и WDR особенно требовательны, поскольку необходимо захватить несколько экспозиций и объединить их в одно изображение. В некоторых приложениях включение HDR может увеличить нагрузку интернет-провайдера более чем на 50 %, что приведет к заметному увеличению общего энергопотребления системы.
Частота кадров часто важнее разрешения
Многие инженеры уделяют большое внимание мегапикселям, упуская из виду частоту кадров.
С точки зрения мощности частота кадров может иметь даже большее влияние, чем разрешение, поскольку она напрямую определяет, как часто должен работать весь конвейер обработки изображений.
Рассмотрим 2-мегапиксельную камеру:
- 2 МП при 30 кадрах в секунду
- 2 МП при 60 кадрах в секунду
- 2 МП при 120 кадрах в секунду
Удвоение частоты кадров эффективно удваивает активность считывания данных с датчиков, рабочую нагрузку интернет-провайдера, частоту доступа к памяти и требования к передаче данных по интерфейсу.
Это объясняет, почему высокоскоростным-промышленным камерам часто требуется активное охлаждение, даже если их разрешение относительно скромное.
Скрытая стоимость памяти и перемещения данных
Одним из часто упускаемых из виду источников энергопотребления является доступ к памяти.
Для многих операций обработки изображений требуются временные буферы кадров, хранящиеся в памяти DDR. Каждая операция чтения и записи потребляет энергию.
В системах машинного зрения с искусственным интеллектом данные изображения могут передаваться несколько раз:
- Датчик для интернет-провайдера
- Интернет-провайдер в память DDR
- Ускоритель DDR для искусственного интеллекта
- AI-ускоритель для процессора
- Процессор для отображения или хранения
Во многих периферийных устройствах искусственного интеллекта перемещение данных изображения через память потребляет больше энергии, чем сами алгоритмы обработки изображений.
Энергопотребление интерфейса немаловажно
Высокоскоростные-интерфейсы, такие как USB 3.0, MIPI CSI-2 и Gigabit Ethernet, требуют выделенных схем физического уровня, работающих на очень высоких частотах.
По мере увеличения пропускной способности изображения требования к пропускной способности интерфейса соответственно возрастают.
Например, передача несжатого видео 4K требует значительно большей мощности интерфейса, чем передача сжатого видео 1080P. В некоторых системах мощность интерфейса может составлять значительную долю от общего потребления модуля камеры.
Потребляемая мощность напрямую влияет на качество изображения
Потребление электроэнергии – это не просто электрическая проблема. Это напрямую влияет на термическое поведение.
По мере повышения температуры датчика:
- Темновой ток увеличивается
- Шум изображения становится более заметным
- Отношение сигнал-к-шуму уменьшается
- При слабом-освещении качество работы ухудшается.
- Долгосрочная-надежность может снизиться
Вот почему тепловой расчет часто неотделим от выбора модуля камеры. Камера, потребляющая всего лишь один дополнительный ватт, может существенно повысить рабочую температуру внутри компактного корпуса.
Советы по выбору модуля камеры
Вместо того чтобы выбирать датчик с самым высоким-разрешением, инженерам следует начать с требований приложения и системных ограничений.
- Определите фактическую плотность пикселей, необходимую на целевом расстоянии
- Определите минимально приемлемую частоту кадров
- Тщательно оцените требования HDR/WDR
- Учитывайте целевые показатели времени работы батареи
- Оценка тепловых ограничений корпуса
- Проверьте пропускную способность процессора и памяти.
- Оцените общую пропускную способность изображения перед выбором датчика
Во многих встраиваемых приложениях машинного зрения правильно оптимизированный модуль камеры с разрешением 2 или 5 МП может обеспечить требуемую производительность изображения, потребляя при этом значительно меньше энергии, чем альтернатива с более высоким-разрешением.
