Expeed

Логотип Expeed

В Nikon Expeed изображение /видеопроцессоры (часто стилизованный EXPEED) находятся медиапроцессоры за Цифровые фотоаппараты Nikon. Выполняют большое количество задач: Фильтрация Байера, демозаика, датчик изображений исправления /вычитание темной рамки, шум изображения снижение, резкость изображения, масштабирование изображения, гамма-коррекция, улучшение изображения / Активный D-Lighting, цветовое пространство преобразование субдискретизация цветности, частота кадров преобразование искажение объектива /Хроматическая аберрация исправление сжатие изображений /Кодирование JPEG, сжатие видео, отображать /видео интерфейс вождение редактирование цифровых изображений, обнаружение лица, обработка звука /сжатие /кодирование и компьютерное хранилище данных /передача данных.

Expeed's мультипроцессор система на чипе решение объединяет процессор изображений в многоядерный процессор архитектура, при которой каждое отдельное ядро процессора способно вычислять множество инструкции / операции параллельно. Хранение и отображение интерфейсы и другие модули добавлены и цифровой сигнальный процессор (DSP) увеличивает количество одновременных вычислений. На чипе 32-битный микроконтроллер инициирует и контролирует работу и передача данных всех процессоров, модулей и интерфейсов и может рассматриваться как основной устройство управления камеры.

В каждом поколении Nikon использует разные версии для своих профессиональных и потребительских Зеркалки / MILC, тогда как его компактные камеры использовать совершенно разные архитектуры. Это отличается от, например, Каноны DIGIC: профессиональные зеркалки вдвое превосходят процессоры серии потребительских зеркальных фотокамер. В Expeed является специализированная интегральная схема (ASIC), созданный Socionext специально для проектов Nikon в соответствии со спецификациями Nikon.

Nikon Expeed, включая изображение /видеопроцессор

Технологии

В Nikon Expeed основан на Соционекст Milbeaut процессоры изображений с 16 бит на пиксель^[1] многоядерный FR-V архитектура процессора, использующая высокопараллельный конвейерный архитектура, позволяющая эффективно аппаратное обеспечение использование, увеличение пропускная способность и снижение энергопотребления. Каждое ядро использует восьмипроцессорный 256-битный очень длинное командное слово (VLIW, MIMD ) и состоит из четырех частей. суперскалярный конвейерный архитектура (Целое число (ALU) -, Плавающая точка - и два медиа-процессора-блока), дающие максимальная производительность до 28 инструкций за такт и ядро. Из-за использованного четырехходового одна инструкция, несколько данных (SIMD) векторный процессор единиц, данные обрабатываются до 112 операций с данными за цикл и ядро.^[2]

На чипе 32-битный Fujitsu FR RISC Ядро микроконтроллера используется для запуска и управления всеми процессорами, модулями и интерфейсами.^[3]^[4]^[5]^[6]^[7] В Expeed версии обозначены EI-14x и Expeed 2 и 3 дополнительно включают HD видео кодек (на основе FR-V) и 16 бит DSP с отдельным встроенным 4-х блоком Гарвард баран который можно использовать, например, для дополнительных изображений и обработка звука. В Expeed 3 (FR) (EI-158/175) основан на улучшенном Expeed 2 EI-154 со значительно увеличенной скоростью обработки.

Новая архитектура в Expeed 3 (ARM) предлагает значительно увеличенную скорость своего процессора изображений (даже с двумя конвейерами на EI-160), его H.264 видеокодер и управляется двухъядерным ARM архитектура микроконтроллер на замену Fujitsu FR.^[8]^[9]

CMOS-датчик изображения с декодерами столбцов и строк (похожий на Декодеры DRAM ) интерфейс электрический заряд из фотодиоды. КМОП-сенсоры Nikon имеют дополнительно запатентованную интегрированную усилители заряда.^[10]

Интерфейс датчика изображения

CMOS /CCD датчики изображения связаны с дополнительными внешними ИС, Драйверы Nikon, за исключением Nikon D3100.^[5] Это делается смешанным аналог /цифровой интерфейс, который управляет датчиком в цифровом виде, но получает аналоговые сигналы с параллельными 14-кусочек аналого-цифровые (A / D) преобразователи. В Expeed варианты EI-142 и EI-158 используют ASIC Nikon для подключения всех полнокадровая (FX) цифровая SLR датчики и дополнительно Nikon D300 /D300s с 12 одновременными параллельными каналами считывания аналоговых сигналов. В основном из-за большего время установления это позволяет улучшить точность преобразования по сравнению с четырьмя каналами в предыдущем Nikon D2X / D2Xs, Nikon D200 или Canon EOS 5D Mark II.^[11]^[12]^[13] Шестиканальное считывание поддерживается EI-149 и EI-154, используемыми в D90, D5000, D7000 и D5100.

D3100 использует Аналоговые устройства сенсорный интерфейс со встроенными аналого-цифровыми преобразователями. В результате динамический диапазон Только на уровне конкурентов (по более высокой цене) Canon EOS 600D;^[14] ниже, чем у других зеркалок Nikon с тем же вариантом Expeed 2.

В Expeed Аналоговые преобразователи EI-15x и EI-17x позволяют увеличить тактовую частоту считывания датчика изображения с улучшенной точностью аналого-цифрового преобразователя, особенно при использовании 14-битной выборки. Expeed Для аналого-цифровых преобразователей, используемых для EI-149 или всех EI-142, необходимо значительно снизить тактовую частоту (1,8 кадра в секунду на Nikon D3X) для повышения точности, что ограничивает, например, D3s динамический диапазон при низких ISO.^[15]^[16]^[17]

В Expeed 3 (ARM), впервые использованный в Nikon 1 серия, соединяет поток данных с 24 цифровыми каналами (автобус), используя аналого-цифровые преобразователи, встроенные в микросхему датчика изображения.^[18]

Пример Группа изображений показывая I-, P- и B-кадры дополнительно используется Expeed 2 и выше для MPEG кодирование. «All-I» не имеет P- и B-кадров, подобных Motion JPEG: Рамы отдельно обрабатываются, опускание избыточность обнаружение и сжатие.

Видеопроцессор

Первый вариант EI-14x изначально включал видеокодер способен обрабатывать VGA разрешение с 30 кадров в секунду и MPEG-4 кодирование.^[4] Программное обеспечение на основе видеопроцессор реализовано с FR-V процессоры позволили перепрограммировать:^[2]^[19]^[20] Используя Motion JPEG кодирование с частотой кадров 24p, Nikon добился 720p HD видео разрешающая способность. Преимущества просты JPEG извлечение изображений, нет компенсация движения артефакты и низкая вычислительная мощность, обеспечивающая более высокое разрешение, а недостатком является больший размер файла, почти достигающий Ограничение 2 ГБ (для полной совместимости) за 5 минут. В Nikon D90 была первой зеркалкой с возможностью видеозаписи.

В Expeed 2 (вариант EI-154) значительно расширил возможности за счет 1080p H.264 / MPEG-4 AVC Кодировщик видео HD. Он также предлагает увеличенную тактовую частоту считывания аналогового сигнала датчика изображения, что снижает рольставни.^[15]^[16]^[17]^[21]

По сравнению с конкурентами из Canon (DIGIC, Сжатие «IPP» - MPEG-2^[22] эквивалент: Проанализирован только один предыдущий кадр^[23]^[24]) Expeed 2 предложения сжатие видео также на основе сложных B-кадры (двунаправленное различие между кадрами и прогнозирование движения ), которое имеет преимущество более высокого качества (более низкого Размытость основанный на лучшем компенсация движения ) даже со значительно более высокими коэффициент сжатия.^[25] Это сжатие требует значительно большей вычислительной мощности.^[26] В 2012 г. Canon 5D Mark III представил аналогичное сжатие под названием «IPB».^[23] Также был представлен «All-I», который использует более простые I-кадры (закодированные изображения) без обработки каких-либо различий между ними, но с низким уровнем сжатия (высокой скоростью передачи данных) и ведет себя также в других целях, таких как извлечение изображений, очень похоже на движение. JPEG, ранее используемый Nikon.^[27]

В Expeed 3 (FR) (варианты EI-158 и EI-175) не вносят существенных изменений, но представили первые зеркалки, предлагающие несжатое видео выход (8 бит 4: 2: 2) более HDMI: Nikon D4, Nikon D800 /D800E, Nikon D600, Nikon D7100 и Nikon D5200. В Expeed 3 (ARM) представила высокоскоростное видео (замедленная съемка ) в улучшенном видеодвижке H.264 HD.

Варианты

Соционекст определяет каждое поколение Milbeaut с разным количеством процессоров. Nikon не сообщает подробностей, но использует разные назначенные процессоры в своей профессиональной и потребительской линейках. Хотя Мильбо (Expeed) используется в различных конструкциях Nikon и другими производителями, программное обеспечение /прошивка определяет многие из его функций и деталей, а количество процессоров или включенных модулей может варьироваться в этом ASIC.

Nikon Expeed EI-142

Материнская плата Nikon D700 с Expeed EI-142

Впервые использован в Nikon D3 и Nikon D300 в 2007 году Expeed использовался позже в Nikon D3X, Nikon D700 и Nikon D300s, обозначенный EI-142, и вариант потребительской линейки с уменьшенными ядрами процессора в Nikon D90 и Nikon D5000, обозначенный EI-149. Он основан на Соционекст Процессор обработки изображений Milbeaut с видеокодером 720p Motion JPEG, DSP и ядром FR-80 (версии EI-14x). Он использует 90 нм технологический процесс.

Вариант ЭИ-137 в Nikon D60 и Nikon D3000 - дополнительно находится в Nikon D40, Nikon D40x и Nikon D80^[6] - основан на более старом Milbeaut M-3 в 180 нм Технология (как и все бывшие Expeed / Milbeaut с 2001 года) включает ядро FR-71 только с 12-битным, двухканальным считыванием изображения датчика изображения, без DSP, более медленной памятью и сокращенным набором функций.^[28]

Expeed 2

Улучшенный видеокодер 1080p H.264 / MPEG-4 HD обнаружение лица, шум изображения сокращение и искажение изображения исправление^[29] основные улучшенные функции по сравнению с EI-14x Ожидает.^[3] Используется в Nikon D7000,^[30] Nikon D3100 и Nikon D5100 и Nikon имеет маркировку EI-154.^[31] Хотя показания датчика изображения тактовая частота увеличилась в 1,75 раза, точность аналого-цифрового преобразователя улучшена, особенно при использовании 14-битного. Производительность процессора обработки изображений повышается, обеспечивая более высокую частоту кадров при непрерывной съемке, даже если активировано шумоподавление при высоких ISO или активный D-Lighting. В Expeed EI-15x управляются встроенным сердечником FR-80 / FR-81. Потребляемая мощность также снижается Соционекст 65 нм процесс.

Expeed 2 (переименованный в Expeed 1)

В Nikon D3s процессор^[32] - хотя и назван Expeed 2 - использует почти тот же процессор EI-142, что и предыдущий D3 / D3X^[33] включая, например, только видео в формате 720p в формате Motion JPEG. Он предлагает тот же интерфейс датчика изображения с одинаковой скоростью и точностью аналого-цифрового преобразователя, ограничивая динамический диапазон D3s на 200 и особенно на 100 ISO ниже, чем у D7000 / D5100.^[15]^[16]^[34]

Expeed C2

Вариант, используемый в некоторых Coolpix компактные камеры. Использование более дешевых компактных фотоаппаратов Nikon Саньо или же Зоран Коуч изображения / видео процессоры; как с совершенно другой технологией, так и с другой прошивкой по сравнению с Expeed.^[6]

Expeed 3

Expeed 3 (FR)

По сравнению с предыдущим Expeed 1 (EI-142) он предлагает те же улучшения, что и Expeed 2 EI-154 с Соционекст 65-нм техпроцесс, включая повышенную точность аналого-цифрового преобразователя и тактовую частоту считывания аналогового сигнала датчика изображения, уменьшающую роль жалюзи.^[15]^[16]^[17]^[21] Вычислительная мощность сильно увеличено. Маркированный EI-158, этот вариант используется Nikon D4 и Nikon D800.^[35]^[36] EI-158 был первым Expeed предлагать несжатое видео вывод (8 бит 4: 2: 2) через HDMI.

В Nikon D600 (срывать^[37]), Nikon D3200 и Nikon D5200 (срывать^[38]) используйте Expeed 3 (EI-175, по-разному обозначается ML-1131 на D5200), который, по словам Nikon, совпадает с используемым для серий D4 и D800.^[5]^[39] Его архитектура близка к Expeed 2 вариант EI-154 с некоторыми улучшениями, такими как DDR3 память, и с повышенной вычислительной мощностью. D5200 использует пакет на пакете с 4Гбит DDR3 SDRAM наверху.

Expeed 3 (ARM)

в Nikon 1 серия Сентябрь 2011 г. Компания Nikon представила новую, в значительной степени измененную архитектуру - в основном блоке управления используется ARM микроконтроллер который требует новой прошивки по сравнению с совершенно другим микроконтроллером Fujitsu FR, используемым во всех бывших Milbeaut и Expeed процессоры. Это тоже первый Expeed с использованием считывания цифрового датчика изображения - интерфейс аналогового датчика изображения не требуется. В камерах Nikon 1, представленных в сентябре 2011 года, он быстро использует 1 ГБ. DDR2 баран упакован в 2 микросхемы по 4 Гбит. Nikon имеет маркировку EI-160, произведенную в Соционекст 65 нм процесс.

Высокоскоростные двухъядерные процессоры обработки изображений с мировым рекордом (по заявлению Nikon) 600 мегапикселей в секунду, улучшенная H.264 HD видео движок и управляемый двухъядерным микроконтроллером ARM - основные улучшения.^[9]^[18]^[40] Его высокая скорость обеспечивает самую высокую скорость в мире (по заявлению Nikon) - 60. кадров в секунду (10 кадров в секунду с полным автофокус ).

Expeed 3A

В Expeed 3A, преемник Expeed 3 EI-160, используемый в серии Nikon 1, был впервые выпущен в Nikon 1 V2 и в основном отличается повышенной скоростью обработки изображений до 850 мегапикселей в секунду.^[41] Это обеспечивает 60 кадров в секунду (15 кадров в секунду с полным автофокус ) скорость даже с новой 14 мегапиксель датчик изображений. Он разработан исключительно для фотоаппаратов Nikon 1.^[42]

Nikon D70S 6 мегапикселей CCD датчик изображений

Expeed 4

Expeed 4 использует процессор с РУКА центральный контролер, и используется в Nikon D810, Nikon D750, Nikon D5300, Nikon D5500, Nikon D5600, Nikon D3300, Nikon D3400, Nikon D3500 и Nikon D7200. Он предлагает захват видео в формате Full HD (1080p) со скоростью 50/60 кадров в секунду с улучшенным автофокус с обнаружением контраста и предварительный просмотр в реальном времени автофокус. Он включает в себя все функции Expeed 3 (FR) и более старые версии Expeed, плюс он потребляет меньше энергии.

В Nikon D4S Процессор идентичен процессору Nikon D4 с маркировкой EI-158, он использует свою вычислительную мощность с улучшенным программным обеспечением, обеспечивающим захват видео 1080p со скоростью 50/60 кадров в секунду, 11 кадров в секунду фото с улучшенным автофокусом, новые подавление шума с алгоритмом переменной содержимого изображения (контекстно-адаптивный)^[43]^[44] и другие улучшения.^[45]^[46]

Expeed 4A

Версия 4A используется в Nikon 1 V3, Nikon 1 J4 и Nikon 1 S2.

Expeed 5

Nikon анонсировала процессор EXPEED 5 в своих новых флагманских камерах DX и FX Nikon D500 и Nikon D5 на выставке CES 2016 (Лас-Вегас, 5 января 2016 г.)^[47] а также используется в Nikon D7500 и D850.^[48]

Expeed 5A

Механизм обработки изображений EXPEED 5A впервые представлен в Nikon 1 J5, о котором было объявлено 2 апреля 2015 года.^[49] В Nikon 1 J5 он поддерживает 4k Ultra HD (3840 * 2160) при 15 кадрах в секунду, Full-HD (1920 * 1080) при 60 кадрах в секунду, HD (1280 * 720) при 120 кадрах в секунду, 800 x 296 при 400 кадрах в секунду и 400 x 144 при 1200 кадрах в секунду. Он может обрабатывать 20-мегапиксельные серийные фотографии со скоростью 20 кадров в секунду с автофокусом на каждом кадре и даже 60 кадров в секунду с автофокусом, фиксированным на первом кадре, но обратите внимание, что размер буфера еще неизвестен и, вероятно, очень мал.

Expeed 6

Логотип EXPEED 6

Компания Nikon анонсировала процессор Expeed 6 23 августа 2018 года.^[50] Оказывается в их Nikon Z 7, Nikon Z 6, Nikon Z 50, Nikon D780 и Nikon D6 камеры.^[50] ^[51]

Pre-Expeed

Неофициальные зеркалки Expeed

В Expeed Вариант процессора EI-137 встречается в Nikon D40, Nikon D40x и Nikon D80 - так же, как он официально используется в выпущенных позже Nikon D60 и Nikon D3000.

Ранние зеркалки

Nikon D70 / D70S автофокус (AF) приводной двигатель не нужен для Объективы, совместимые с байонетом F, со встроенными моторами. Он управляется сопроцессором (здесь: H8S ), которая сама контролируется Expeed / Milbeaut.

Зеркалки объявленные до августа 2006 г., не содержат процессоров с именами Expeed (Например Nikon D70 / D70s processor: EI-118), хотя это не означает, что эти процессоры используют другую архитектуру.^[52] Или Nikon D200 Процессор (EI-126) использует ту же, но сильно расширенную прошивку, что и D80 (неофициальная «Expeed»).

Дополнительные (сопроцессоры)

В качестве ввод, вывод (I / O) процессор Nikon использует внешние 32-битные микроконтроллеры подключить дополнительные датчики и отображает: Видоискатель, верх-отображать, вспышка (Вспышка )/горячий башмак, ставня /отверстие моторы, измерение /автофокус датчики и линза /аккумуляторная ручка /аккумулятор контроль. Используемые варианты - это Fujitsu FR в Expeed Серии EI-14x, которая изменилась на Архитектура MIPS в Expeed Серии EI-15x и EI-17x. В профессиональной серии используются два или более Hitachi /Renesas H8SX контроллеры. Использовались бывшие зеркалки H8S микроконтроллеры.^[53]

На базе ARM Expeed в Nikon 1 серия благодаря двойному ядру ARM не требует дополнительных процессоров ввода / вывода.^[54] Серия Nikon 1 также включает Epson графический процессор.

Альтернативная прошивка

Как и с ЧДК или же Волшебный Фонарь модифицированные цифровые фотоаппараты Canon на базе DIGIC процессоров, группа программистов под названием «Nikon Hacker» разрабатывает нестандартные прошивка,^[5] недавний прогресс, включая эмулятор FR для некоторых зеркальных фотокамер.^[55]^[56]^[57] Было показано, что Nikon использует Softune интегрированная среда развития вместе с µITRON в реальном времени ядро.^[52] В настоящее время доступно несколько модифицированных прошивок, в основном снимающих ограничения на видео по времени и несжатые файлы NEF,^[58] но стабильной альтернативной прошивки нет, так как проект все еще находится на ранней стадии.

Поставляемые Nikon обновления прошивки обычно включают прошивку A для процессора ввода-вывода и прошивку B для управления Ожидает встроенными микроконтроллерами FR (разные для ARM на базе Expeed 3).

Задачи проекта

Помимо общего анализа аппаратного и программного обеспечения камер D7000, D5100 и D3100 и более новых камер,^[59] в центре внимания проекта:

Снятие ограничений на 5-минутное видео: доступны некоторые модифицированные прошивки^[58]
Видео высокого качества 1080p с разрешением до 64Мбит / с
Несжатое видео (Чистый выход HDMI) для D5100 и других
Несжатые файлы NEF^[58]
Модификации беспроводного мобильного адаптера WU-1a для использования с другими камерами
Анализ и расшифровка связи батареи Nikon
Анализ беспроводного передатчика WT-3 и его связи
Удаление сторонней блокировки батареи, которую Nikon представила в некоторых из последних версий прошивки
Разработка эмулятора Nikon^[60]

Журнал изменений^[61] показывает прошивку также для более новых вариантов, таких как D800, D610, D5200 и D3200.

DIAG необработанный взлом

Это был не взлом прошивки, а метод (Photopc - управление цифровой камерой^[62]) вызов уже реализованного режима диагностики на некоторых старых Nikon Coolpix камеры с Fujitsu Спарклит процессоры. Используя этот режим, они могли писать необработанные изображения.

Expeed - Expeed

Содержание