Автоматическая съемка на ESP32 CAM с пироэлектрическим датчиком движения

 Недорогие и доступные по цене модули ESP32-CAM можно использовать в качестве камеры с автоматической съемкой при наличии движения каких нибудь теплых объектов напр. людей или животных, если дополнить такой модуль пироэлектрическим инфракрасным PIR сенсором. Такой способ съемки хорош тем что т.о. экономиться место в постоянной памяти и т.о. камера может работать дольше, без необходимости перезаписи старых снимков. Также т.о. время работы продлевается за счет более низкого потребления т.к. камера работает только при наличии движения, пропуская те промежутки времени когда не происходит ничего интересного. Для организации такой системы даже не обязательно писать новый скетчь. Можно взять скетчь для фотоаппарата (который находиться на странице по ссылке https://electe.blogspot.com/2023/07/esp32-cam.html), записать его в модуль (если он ещё не записан) и дополнить систему ПИР сенсором с инверторои на транзисторе

подпаять выход транзистора нужно к пину кнопки на плате который соединен с пином reset микроконтроллера т.к. отдельно выведенного пиа Reset на плате нет. 

Таким нехитрым способом можно получить недорогое полезное устройство для автоматической съемки при наличии движения и сохранения фотографий на SD карту. Однако если например добавить возможность отправки изображения по WIFI (что данный модуль позволяет реализовать) то можно напр. организовать отправку фотографий на какой нибудь сервер или в телеграм через бота. Чтобы даже в случае поломки камеры, сохранить результаты её работы. Но для этого естественно поблизости д.б. работающий WIFI роутер (маршрутизатор который раздает интернет). Если же например есть какая то ситуация когда такого нет (ну напр. нужно выяснить какой медведь ворует мёд из улья в лесу) то возможно подойдет такая простая система с SD картой. Результат можно посмотреть на видео:

Адрес биткоин кошелька для поддержки блога - bc1qlhrmmkh77x2lzhqe4lt9qwkglswj64tsqt2l5g

Тепловизор на AMG88xx модуле тепловой инфракрасной матрице

 Тепловизионные камеры или, по другому, тепловизоры бывают полезными во многих областях т.к. позволяют визуализировать тепловое инфракрасное излучение недоступное человеческому глазу и т.о. как бы увидеть распределение температуры на какой либо поверхности какого либо тела, рассматриваемого в тепловизор. Однако такие камеры, как правило, очень не дешёвые но недорогими бывают модули на основе которых можно сделать тепловизор. Рассмотрим модуль тепловой инфракрасной матрицы AMG8833 это, на момент написания данной статьи, самый дешевый модуль тепловизора. Его матрица состоит из 8 на 8 тепловых датчиков. Т.е. всего 64 штуки. Это не очень много и разрешение данной матрицы не очень велико. Однако же всё таки некоторое подобие изображения можно получить используя данный модуль. Данный модуль можно подключить по I2C к Arduino, ESP32 и другим подобным. Я выбрал ESP32 чтобы можно было использовать смартфон как дисплей. Проще всего написать скетчь будет используя библиотеку. Заходим в менеджер библиотек среды Ардуино и вписываем AMG. Нажимаем кнопку "установка"

а в следующем окне "Install all"

После окончания установки можно открыть пример 

с получением данных пикселей матрицы

В данном примере мы видим инициализацию, 

запуск, 

получение пикселей в матрицу

и вывод данных в последовательный порт.

Если откомпилировать и загрузить скетч

то можно увидеть эти данные в мониторе последовательного порта среды Ардуино.

Чтобы было удобнее пользоваться модулем как тепловизором

можно сделать вывод изображение на экран смартфона в привычном для тепловизоров виде.

Для этого я написал специальный скетч на основе рассмотренного в одном

из предыдущих видео и рассмотренного только что примера.

В начале подключаются заголовочные файлы библиотек,

задается идентификатор и пароль, 

настройки айпи адреса. Далее есть код HTML страницы которая будет отображаться на экране смартфона

На этой странице есть canvas для изображения из камеры,

поле для вывода максимальной и минимальной температуры,

кнопка смены кадра или кнопка "сдлеать снимок",

меню для выбора диапазона температур чтобы видеть отличия в цветах на разных разницах температур

В скрипте есть прием данных в формате json

а также отрисовка разноцветных квадратиков в цикле.

В функции инициализации есть инициализация модуля и WIFI точки доступа

а также выдача клиенту HTML страницы и данных в формате json и в конце запуск сервера. 

В основном цикле сбор данных с модуля и вывод на uart на всякий случай.

Полный код можно скопировать здесь:

  #include <Wire.h> #include <Adafruit_AMG88xx.h> #include <ESPAsyncWebServer.h> #ifdef ESP32 #include <WiFi.h> #include <AsyncTCP.h> #else #include <ESP8266WiFi.h> #include <ESPAsyncTCP.h> #endif Adafruit_AMG88xx amg; float pixels[AMG88xx_PIXEL_ARRAY_SIZE]; const char* ssid = "id"; const char *password = "987654321"; // пароль обязательно должен быть длиннее 8ми символов // Настройки IP адреса IPAddress local_IP(192,168,4,22); IPAddress gateway(192,168,4,9); IPAddress subnet(255,255,255,0); // Создаем объект AsyncWebServer на порту 80 AsyncWebServer server(80); const char index_html[] PROGMEM = R"rawliteral( <!DOCTYPE HTML><html> <head> <meta charset="Windows-1251"> <meta name="viewport" content="user-scalable=no, width=device-width, initial-scale=1.0" /><meta name=\"apple-mobile-web-app-capable\" content=\"yes\" />\ <style> body{overflow:hidden;width:100%;} .stk{transform: rotate(-90deg);} /*минус-чтобы начало было внизу*/ .stk::-webkit-slider-thumb{padding:20px;} .stk::-moz-range-thumb{padding:20px;} /*for Firefox*/ .body{padding:45px;display:flex;flex-direction:row;align-items:center;} </style> </head> <body> <canvas id="canvas" width="120" height="120"></canvas> <br> <span id="data_temp"></span> <br> <button id="get_map">get_termal_map</button> range <select id="sel_range" onchange="selRange()"> <option value="1">1</option> <option value="3">3</option> <option value="6">6</option> <option value="9">9</option> <option value="12">12</option> </select> <br> <script> var SQ_SIZE = 15; // высота, ширина одного квадрата изображения var SQ_NUMBER = 64; // колличество кважратов в изображении var AREA_SIZE = 120-15; var x = 0; var y = 0; var canvas = document.getElementById("canvas"); var ctx = canvas.getContext("2d"); var k_temp = 1; function selRange() { k_temp = parseInt(document.getElementById("sel_range").value); } //document.getElementById("sel_range").addEventListener('click',function (){ //}); var get_map = document.getElementById('get_map'); get_map.addEventListener('click',function (){ fetch('/update') .then(function(response){return response.json();}) .then(function(result){ x=0; y=AREA_SIZE; //get_map.innerHTML = result.termal_map;//.length; var max_temp = 0; var min_temp = 255; for(i=0; i<SQ_NUMBER; i++) { if(result.termal_map[i] < min_temp) min_temp = result.termal_map[i]; if(result.termal_map[i] > max_temp) max_temp = result.termal_map[i]; } document.getElementById('data_temp').innerHTML = "max temp="+max_temp+" min temp="+min_temp; //var d_temp = max_temp - min_temp; //var k_temp = 255/d_temp; //var k_temp = 3; //for(i=1; i<=result.termal_map.length; i++) for(i=1; i<=SQ_NUMBER; i++) { ctx.fillStyle = "rgb("+parseInt((result.termal_map[i-1] - min_temp)*k_temp)+" 0 "+parseInt((255-(result.termal_map[i-1] - min_temp))*k_temp)+")"; ctx.fillRect(x, y, SQ_SIZE, SQ_SIZE); x+=SQ_SIZE; if( i%8 == 0 ) { x=0; y-=SQ_SIZE; } } }); }); </script> </body> </html> )rawliteral"; void setup() { Serial.begin(9600); Serial.println(F("AMG88xx pixels")); bool status; // default settings status = amg.begin(); if (!status) { Serial.println("Could not find a valid AMG88xx sensor, check wiring!"); while (1); } Serial.println("-- Pixels Test --"); Serial.println(); delay(100); // let sensor boot up // для точки доступа WiFi.softAPConfig(local_IP, gateway, subnet); WiFi.softAP(ssid, password); //WiFi.softAP(ssid); delay(100); IPAddress IP = WiFi.softAPIP(); Serial.print("AP IP address: "); Serial.println(IP); // Маршрут для корневой / веб-страницы server.on("/", HTTP_GET, [](AsyncWebServerRequest *request) { request->send(200, "text/html", index_html); }); server.on("/update", HTTP_GET, [] (AsyncWebServerRequest *request) { String response = ""; // ответ клиенту response += "{\"termal_map\":"; response += "["; for(int i=1; i<AMG88xx_PIXEL_ARRAY_SIZE; i++) { response += String(pixels[i-1]); response += ","; } response += String(pixels[AMG88xx_PIXEL_ARRAY_SIZE-1]);//чтобы не было запятой в конце response += "]}"; request->send(200, "application/json", response); }); // Запустить сервер server.begin(); } void loop() { //read all the pixels amg.readPixels(pixels); Serial.print("["); for(int i=1; i<=AMG88xx_PIXEL_ARRAY_SIZE; i++) { Serial.print(pixels[i-1]); Serial.print(", "); if( i%8 == 0 ) Serial.println(); } Serial.println("]"); Serial.println(); //delay a second delay(1000); }

Результат можно посмотреть на видео:

Адрес биткоин кошелька для поддержки блога - bc1qlhrmmkh77x2lzhqe4lt9qwkglswj64tsqt2l5g

Получение координат с GPS модуля GY-GPS6mv2

 Обычному человеку, обычно не составляет труда определить свое местоположения по виду который он определяет глазами и подсознательно сверяет с "картой" в своей голове и тем не менее иногда человек может заблудиться. Такой способ определения своего местоположения - очень не просто реализовать для электронного устройства т.к. будет нужен большой объем памяти, для хранения карты, и высокая производительность процессора для работы эмулятора нейронной сети или какого либо другого сопоставителя информации с камеры и внутренней карты. К тому же понадобиться камера что уже само по себе сильно увеличивает требования к аппаратному обеспечению а если используется искусственная нейронная сеть то удовлетворительный результат её работы, на самом деле, не гарантируется даже при очень хорошем её обучении. К счастью есть более простой и надежный способ определения своих координат в пространстве. Они могут быть определены по искусственным спутникам земли системы GPS. Есть также система beidou и ГЛОНАСС но, на практике, сигналы со спутников GPS ловятся лучше, хотя тоже не всегда так хорошо как хотелось бы. Для приема сигналов от спутников системы глобального позиционирования GPS существуют недорогие модули GY-GPS6mv2. Такой модуль взаимодействует с внешними приборами по интерфейсу UART.

 Чтобы проверить его работу можно использовать USB-UART переходник увидеть данные, которые он передает, можно в мониторе последовательного порта среды Arduino IDE. Или же можно скачать специальную программу от производителя по ссылке  https://www.u-blox.com/en/product/u-center

Для подключения к модулю, есть кнопочка слева вверху.

Чтобы программа показала координаты и точку расположения модуля нужно сначала дождаться пока модуль поймает сигналы с хотя бы 4х спутников, если вообще поймает. Без этого модуль не сможет определить координаты. Если модуль поймал сигналы то на нем начнет периодически мигать светодиод. Также координаты можно определить из сообщений которые он присылает в монитор порта. Координаты находятся в строке начинающейся с $GPGGA

перед запятой с буквой N находиться широта т.е. градус угла между плоскостью экватора и линией от центра земли до модуля, перед запятой с буквой E находиться востоная долгота т.е. градус угла между линией от Гринвича до центра и линией от модуля до центра земли т.е. широта ориентирует вдоль оси земли и параллельно экватору и говорит  насколько далеко мы от него в градусах от 0 до 90 а долгота показывает насколько далеко мы от полукруга с концами на полюсах и проходящего через Гринвич тоже в градусах. 

Обычно настройки модуля по умолчанию таковы что им можно пользоваться, для получения координат, не выполняя дополнительных настроек. На многих микроконтроллерах имеется интерфейс UART поэтому проблем с подключением модуля быть не должно. Его можно подключить например к Ардуино или ESP32. Рассмотрим далее скетч для робота, с модулем ESP32, которым можно управлять со смартфона и получить координаты местоположения робота на экран смартфона, по нажатию кнопки.

  #include <ESPAsyncWebServer.h> #ifdef ESP32 #include <WiFi.h> #include <AsyncTCP.h> #else #include <ESP8266WiFi.h> #include <ESPAsyncTCP.h> #endif #define LED_PIN1 13 // пин первый выхода #define LED_PIN2 12 // пин второй выхода #define LED_PIN3 14 #define LED_PIN4 27 #define BUF_SIZE 256 #define DATA_BUF_SIZE 16 // задаём свойства ШИМ-сигнала const int freq = 5000; const int ledChannel1 = 0; const int ledChannel2 = 1; const int ledChannel3 = 2; const int ledChannel4 = 3; const int resolution = 8; const char* ssid = "id"; const char *password = "987654321"; // пароль обязательно должен быть длиннее 8ми символов int counter = 0; char key_out = 0; char mes[BUF_SIZE+1]; char byte_buf; int bytes; char latitude[DATA_BUF_SIZE]; // широта char longitude[DATA_BUF_SIZE]; // долгота int comma_counter = 0; // счетчик запятых int data_counter = 0; // счетчик цифр данных долготы и широты // Настройки IP адреса IPAddress local_IP(192,168,4,22); IPAddress gateway(192,168,4,9); IPAddress subnet(255,255,255,0); // Создаем объект AsyncWebServer на порту 80 AsyncWebServer server(80); const char index_html[] PROGMEM = R"rawliteral( <!DOCTYPE HTML><html> <head> <meta charset="Windows-1251"> <meta name="viewport" content="user-scalable=no, width=device-width, initial-scale=1.0" /><meta name=\"apple-mobile-web-app-capable\" content=\"yes\" />\ <style> body{overflow:hidden;width:100%;} .stk{transform: rotate(-90deg);} /*минус-чтобы начало было внизу*/ .stk::-webkit-slider-thumb{padding:20px;} .stk::-moz-range-thumb{padding:20px;} /*for Firefox*/ .body{padding:45px;display:flex;flex-direction:row;align-items:center;} </style> </head> <body> <div class="body"> <div> <input class="stk" type="range" id="stick1" min="-255" max="255" value="0"> <div id="stick1_out"></div> </div> <div > <input class="stk" type="range" id="stick2" min="-255" max="255" value="0"> <div id="stick2_out"></div> </div> </div> <button id="get_coords">get_coords</button><br> <textarea_ id="report1" rows="15">report1</textarea_><br> <span id="report2">report2</span> <script> var stick1 = document.getElementById('stick1'); stick1.addEventListener('input',function (){ document.getElementById('stick1_out').innerHTML = stick1.value; fetch('/update?stick1='+stick1.value); }); stick1.addEventListener('change',function (){ stick1.value = 0; document.getElementById('stick1_out').innerHTML = stick1.value; fetch('/update?stick1=0'); }); var stick2 = document.getElementById('stick2'); stick2.addEventListener('input',function (){ document.getElementById('stick2_out').innerHTML = stick2.value; fetch('/update?stick2='+stick2.value); }); stick2.addEventListener('change',function (){ stick2.value = 0; document.getElementById('stick2_out').innerHTML = stick2.value; fetch('/update?stick2=0'); }); var res_string; // get coords button var get_coords = document.getElementById('get_coords'); get_coords.addEventListener('click',function (){ document.getElementById('report1').value = ' '; fetch('/update') .then(function(response){return response.json();}) .then(function(result){ var res_string = result.report1; document.getElementById('report1').value += res_string; var latitude_clear = parseFloat(res_string.split(',N')[0].split(',').pop()); var longitude_clear = parseFloat(res_string.split(',E')[0].split(',').pop()); document.getElementById('report2').innerHTML = 'latitude= '+latitude_clear+' longitude= '+longitude_clear+' '; }); }); </script> </body> </html> )rawliteral"; void setup() { Serial.begin(9600); for(int i=0;i<BUF_SIZE;i++) { mes[i] = ' '; } counter = 0; while(counter < 2) { if (Serial.available() > 0) { mes[counter] = Serial.read(); counter++; } } counter = 0; ledcSetup(ledChannel1, freq, resolution); ledcSetup(ledChannel2, freq, resolution); ledcSetup(ledChannel3, freq, resolution); ledcSetup(ledChannel4, freq, resolution); // привязываем канал к портам светодиодов ledcAttachPin(LED_PIN1, ledChannel1); ledcAttachPin(LED_PIN2, ledChannel2); ledcAttachPin(LED_PIN3, ledChannel3); ledcAttachPin(LED_PIN4, ledChannel4); // для точки доступа WiFi.softAPConfig(local_IP, gateway, subnet); WiFi.softAP(ssid, password); //WiFi.softAP(ssid); delay(100); // для обычного Wi-Fi //WiFi.begin(ssid, password); //while (WiFi.status() != WL_CONNECTED) //{ // delay(1000); // Serial.println("Connecting to WiFi.."); //} IPAddress IP = WiFi.softAPIP(); Serial.print("AP IP address: "); Serial.println(IP); // Распечатать локальный IP-адрес //Serial.println(WiFi.localIP()); // Маршрут для корневой / веб-страницы server.on("/", HTTP_GET, [](AsyncWebServerRequest *request) { request->send(200, "text/html", index_html); }); server.on("/update", HTTP_GET, [] (AsyncWebServerRequest *request) { String stick1; int stick1_val=0; String stick2; int stick2_val=0; if(request->hasParam("stick1")) { stick1 = request->getParam("stick1")->value(); stick1_val = stick1.toInt(); if(stick1_val>0) { ledcWrite(ledChannel1, stick1_val); } else if(stick1_val<0) { ledcWrite(ledChannel3, -stick1_val); } else { ledcWrite(ledChannel1, 0); ledcWrite(ledChannel3, 0); } } if(request->hasParam("stick2")) { stick2 = request->getParam("stick2")->value(); stick2_val = stick2.toInt(); if(stick2_val>0) { ledcWrite(ledChannel2, stick2_val); } else if(stick2_val<0) { ledcWrite(ledChannel4, -stick2_val); } else { ledcWrite(ledChannel2, 0); ledcWrite(ledChannel4, 0); } } counter = 0; bytes = Serial.available(); if(bytes>BUF_SIZE)bytes=BUF_SIZE; for(int i=0;i<bytes;i++) //while(Serial.available() > 0 && counter < BUF_SIZE) { byte_buf = static_cast<char>(Serial.read()); if(byte_buf != '\n' && byte_buf != '\r') // для отсечения символов конца т.к. с ними не работает { mes[counter] = byte_buf; counter ++; } else if(byte_buf == '\n') { counter = 0; if(mes[0]=='$' && mes[1]=='G' && mes[2]=='P' && mes[3]=='G' && mes[4]=='G' && mes[5]=='A') { break; } } } request->send(200, "application/json", "{ \"report1\": \""+String(mes)+"\" }"); }); // Запустить сервер server.begin(); } void loop(){}

Данный код можно скопировать в Arduino IDE но textarea_ надо заменить на textarea т.к. с textarea данный код сюда нормально не вставляется, поэтому пришлось сделать такую замену.

В отличии от ESP8266, нужно использовать функцию ledcWrite() вместо analogWrite(). Прием от модуля осуществляется функцией Serial.read() после байт нужно преобразовать к типу char, отсечь спецсимволы конца строки и затолкать данные в массив символов далее этот массив можно обработать выделив нужную строку т.к. строку начинающуюся с $GPGGA т.к. в ней содержаться координаты. Строку можно распарсить на стороне сервера и лучше сделать именно так чтобы сам робот мог принимать какие то решения на основе своего положения но я пока решил не заморачиваться, передал данные клиенту где парсинг на джаваскрипте осуществляется гораздо проще. А именно двоиным разбиением строки сначала по символу 'N' потом на запятые

и выделением нужных концов для широты и также для долготы только в начале разбиаение по 'E'  с запятой естественно чтобы в результатах её не было. Испытания робота можно посмотреть на видео:

Адрес биткоин кошелька для поддержки блога - bc1qlhrmmkh77x2lzhqe4lt9qwkglswj64tsqt2l5g 

КАРТА БЛОГА (содержание)

Фотоаппарат на ESP32 CAM

 Популярный и недорогой (на момент написания данной статьи) модуль ESP32-CAM (http://alii.pub/69872w) имеет на своей плате разъем для подключения камеры и слот для подключения SD карты а также мощный микроконтроллер и кнопку т.е. имеет всё необходимое для постройки, на его основе, компактного, недорогого малогабаритного фотоаппарата. Также для того чтобы записать прошивку в модуль нужен USB-UART конвертер который нужно соединить с модулем по схеме:

О том как настроить среду Arduino и загрузить скетч в данный модуль можно почитать статью на странице: https://electe.blogspot.com/2022/03/esp32-cam.html. Готовый скетч фотоаппарата также уже существует поэтому не обязательно "изобретать велосипед"  и писать его заново. Можно просто скачать на странице: https://randomnerdtutorials.com/esp32-cam-take-photo-save-microsd-card/ после разобраться как он работает и возможно в последствии переделывать его под свои нужды. Резисторы в схеме выше нужны для ограничения тока на случай перепутывания выводов при подключении. Их можно заменить перемычками если защита от ошибок подключения не нужна. В скетче всю самую сложную работу с камерой и SD картой, на низком уровне, делают библиотеки поэтому скетч получается просто и короткий:

#include "esp_camera.h" #include "Arduino.h" #include "FS.h" // SD Card ESP32 #include "SD_MMC.h" // SD Card ESP32 #include "soc/soc.h" // Disable brownour problems #include "soc/rtc_cntl_reg.h" // Disable brownour problems #include "driver/rtc_io.h" #include <EEPROM.h> // read and write from flash memory // define the number of bytes you want to access #define EEPROM_SIZE 1 // Pin definition for CAMERA_MODEL_AI_THINKER #define PWDN_GPIO_NUM 32 #define RESET_GPIO_NUM -1 #define XCLK_GPIO_NUM 0 #define SIOD_GPIO_NUM 26 #define SIOC_GPIO_NUM 27 #define Y9_GPIO_NUM 35 #define Y8_GPIO_NUM 34 #define Y7_GPIO_NUM 39 #define Y6_GPIO_NUM 36 #define Y5_GPIO_NUM 21 #define Y4_GPIO_NUM 19 #define Y3_GPIO_NUM 18 #define Y2_GPIO_NUM 5 #define VSYNC_GPIO_NUM 25 #define HREF_GPIO_NUM 23 #define PCLK_GPIO_NUM 22 int pictureNumber = 0; void setup() { WRITE_PERI_REG(RTC_CNTL_BROWN_OUT_REG, 0); //disable brownout detector Serial.begin(115200); //Serial.setDebugOutput(true); //Serial.println(); camera_config_t config; config.ledc_channel = LEDC_CHANNEL_0; config.ledc_timer = LEDC_TIMER_0; config.pin_d0 = Y2_GPIO_NUM; config.pin_d1 = Y3_GPIO_NUM; config.pin_d2 = Y4_GPIO_NUM; config.pin_d3 = Y5_GPIO_NUM; config.pin_d4 = Y6_GPIO_NUM; config.pin_d5 = Y7_GPIO_NUM; config.pin_d6 = Y8_GPIO_NUM; config.pin_d7 = Y9_GPIO_NUM; config.pin_xclk = XCLK_GPIO_NUM; config.pin_pclk = PCLK_GPIO_NUM; config.pin_vsync = VSYNC_GPIO_NUM; config.pin_href = HREF_GPIO_NUM; config.pin_sscb_sda = SIOD_GPIO_NUM; config.pin_sscb_scl = SIOC_GPIO_NUM; config.pin_pwdn = PWDN_GPIO_NUM; config.pin_reset = RESET_GPIO_NUM; config.xclk_freq_hz = 20000000; config.pixel_format = PIXFORMAT_JPEG; if(psramFound()){ config.frame_size = FRAMESIZE_UXGA; // FRAMESIZE_ + QVGA|CIF|VGA|SVGA|XGA|SXGA|UXGA config.jpeg_quality = 10; config.fb_count = 2; } else { config.frame_size = FRAMESIZE_SVGA; config.jpeg_quality = 12; config.fb_count = 1; } // Init Camera esp_err_t err = esp_camera_init(&config); if (err != ESP_OK) { Serial.printf("Camera init failed with error 0x%x", err); return; } //Serial.println("Starting SD Card"); if(!SD_MMC.begin()){ Serial.println("SD Card Mount Failed"); return; } uint8_t cardType = SD_MMC.cardType(); if(cardType == CARD_NONE){ Serial.println("No SD Card attached"); return; } camera_fb_t * fb = NULL; // Take Picture with Camera fb = esp_camera_fb_get(); if(!fb) { Serial.println("Camera capture failed"); return; } // initialize EEPROM with predefined size EEPROM.begin(EEPROM_SIZE); pictureNumber = EEPROM.read(0) + 1; // Path where new picture will be saved in SD Card String path = "/picture" + String(pictureNumber) +".jpg"; fs::FS &fs = SD_MMC; Serial.printf("Picture file name: %s\n", path.c_str()); File file = fs.open(path.c_str(), FILE_WRITE); if(!file){ Serial.println("Failed to open file in writing mode"); } else { file.write(fb->buf, fb->len); // payload (image), payload length Serial.printf("Saved file to path: %s\n", path.c_str()); EEPROM.write(0, pictureNumber); EEPROM.commit(); } file.close(); esp_camera_fb_return(fb); // Turns off the ESP32-CAM white on-board LED (flash) connected to GPIO 4 pinMode(4, OUTPUT); digitalWrite(4, LOW); rtc_gpio_hold_en(GPIO_NUM_4); delay(2000); Serial.println("Going to sleep now"); delay(2000); esp_deep_sleep_start(); Serial.println("This will never be printed"); } void loop() { }

В начале скетча имеются подключения заголовочных файлов библиотек. Константа EEPROM_SIZE должна быть равна единице для того чтобы данный скетч исправно работал. Следующие константы задают пины для камеры. Переменная pictureNumber нужна для того чтобы фотографии имели названия с разными порядковыми номерами. строка

WRITE_PERI_REG(RTC_CNTL_BROWN_OUT_REG, 0);

блокирует датчик понижения напряжения. Serial.begin(115200) -включает последовательный порт для отладки.

Далее заполняется структура config настройки камеры. Далее в строке

esp_err_t err = esp_camera_init(&config);

происходит инициализация камеры, после инициализируется SD карта функцией SD_MMC.begin(). Строкой

fb = esp_camera_fb_get();

делается фотография. Строки:

EEPROM.begin(EEPROM_SIZE);

  pictureNumber = EEPROM.read(0) + 1;

нужны для чтения текущего номера фотографии чтобы название следующей фотографии было иным нежели название текущей. В переменную path записывается путь на SD карте для хранения фотографии. Далее открывается файл, в него записывается фотография и файл закрывается. В строке: esp_camera_fb_return(fb);  освобождается переменная для хранения фотографии. Далее выключается светодиод и осуществляется перевод модуля в режим сна до следующей перезагрузки. 

Посмотреть видеорассказ о том как сделать фотоаппарат на модуле ESP32-CAM можно на видео:

ESP32-CAM выделение границ на изображении перекресным оператором Робертса

Одной из задач машинного зрения является отделение одних объектов, на изображении, от других. А одним из путей решения данной задачи может быть например выделение границ путем определения переходов цветов на изображении. Одним из ранних алгоритмов для этого является выделение границ перекресным оператором робертса. Существуют более современные алгоритмы (оператор Собеля, оператор Айверсона и т.д.) но оператор Робертса является простым и быстрым по этому используется поныне и подходит для недорогой платы за 5 долларов. Реализовывать алгоритмы машинного зрения можно проще, используя например javascript библиотеку opencv. Но такой подход работает только если есть связь модуля с компьютером т.к. opencv слишком тяжелая и ресурсозатратная библиотека для модуля ESP32-CAM если нужна автономность (которая может быть важна для автоматизации) то алгоритмы машинного зрения нужно реализовывать на стороне сервера. В данном блоге уже есть статья о том как получить массив пикселей с фотографии модуля ESP32 CAM. (см. датчик цвета на ESP32-CAM -> https://electe.blogspot.com/2022/11/esp32-cam.html). Далее, после того как массив пикселей получен, можно подвергать его воздействию всевозможных алгоритмов с целью их исследования. Массив пикселей содержит 3 байта на каждый пиксель. Один байт для яркости синей составляющей, один для зеленой и один для красной. Именно в таком порядке, как было выяснено ранее, компоненты располагаются в получаемом массиве.

Однако для понимания работы алгоритма порядок не важен. Предположим что каждый пиксель имеет всего одну компоненту яркости т.е. изображение не цветное. В таком случае для определения границы какого либо объекта в какой либо точке на изображении из 4х пикселей можно найти корень из суммы квадратов разностей двух пикселей находящихся на разных диагоналях:

или сумму модулей разностей яркостей пикселей на диагоналях. Будут ли использоваться модули или корень - не важно с точки зрения результата абстрактного алгоритма но для работы на реальном процессоре, вариант с модулями более предпочтителен т.к. его быстродействие будет больше. Суть метода заключается в том что с какой бы стороны на какую не менялся цвет, в этом перекрестии, это изменение будет выражено положительным значением результата вычисления данной формулы. Для того чтобы увидеть границы объектов, на изображении, нужно пройтись данной формулой по всем этим точкам из 4 пискелей со смещением на один пиксель на каждой итерации не затрагивая крайние справа и снизу пиксели всего изображения т.к. они сильно не повлияют на результат какой либо реальной фотографии с не очень низким разрешением. Прелесть этого метода (помимо быстродействия) также заключается в том что результат вычисления можно записывать в ту же самую матрицу из которой берутся яркости пикселей изображения, что не требует дополнительного выделения оперативной памяти чем её экономит. Прежде чем применить данный алгоритм к цветному изображению, можно сначала пройтись по всей матрице и усреднить значение трех компонент яркости каждого пикселя или же пройтись оператором Робертса по каждым компонентам в отдельности. Как будет показано в видео, внизу страницы, на практике визуально результат получается практически одинаковым.

Код скетча можно скопировать из текстового поля:

#include "esp_camera.h" #include <WiFi.h> #include "esp_http_server.h" #include "esp_timer.h" #include "img_converters.h" #include "Arduino.h" #include "fb_gfx.h" #include "fd_forward.h" #include "fr_forward.h" #define ENROLL_CONFIRM_TIMES 5 #define FACE_ID_SAVE_NUMBER 7 #define FACE_COLOR_WHITE 0x00FFFFFF #define FACE_COLOR_BLACK 0x00000000 #define FACE_COLOR_RED 0x000000FF #define FACE_COLOR_GREEN 0x0000FF00 #define FACE_COLOR_BLUE 0x00FF0000 #define FACE_COLOR_YELLOW (FACE_COLOR_RED | FACE_COLOR_GREEN) #define FACE_COLOR_CYAN (FACE_COLOR_BLUE | FACE_COLOR_GREEN) #define FACE_COLOR_PURPLE (FACE_COLOR_BLUE | FACE_COLOR_RED) // // WARNING!!! PSRAM IC required for UXGA resolution and high JPEG quality // Ensure ESP32 Wrover Module or other board with PSRAM is selected // Partial images will be transmitted if image exceeds buffer size // const char* ssid = "моя айди";//your id const char* password = "моя пароль";//your password char nul = 0; char serial_buf[2]; #define PWDN_GPIO_NUM 32 #define RESET_GPIO_NUM -1 #define XCLK_GPIO_NUM 0 #define SIOD_GPIO_NUM 26 #define SIOC_GPIO_NUM 27 #define Y9_GPIO_NUM 35 #define Y8_GPIO_NUM 34 #define Y7_GPIO_NUM 39 #define Y6_GPIO_NUM 36 #define Y5_GPIO_NUM 21 #define Y4_GPIO_NUM 19 #define Y3_GPIO_NUM 18 #define Y2_GPIO_NUM 5 #define VSYNC_GPIO_NUM 25 #define HREF_GPIO_NUM 23 #define PCLK_GPIO_NUM 22 //void startCameraServer(); typedef struct { size_t size; //number of values used for filtering size_t index; //current value index size_t count; //value count int sum; int * values; //array to be filled with values } ra_filter_t; typedef struct { httpd_req_t *req; size_t len; } jpg_chunking_t; #define PART_BOUNDARY "123456789000000000000987654321" static const char* _STREAM_CONTENT_TYPE = "multipart/x-mixed-replace;boundary=" PART_BOUNDARY; static const char* _STREAM_BOUNDARY = "\r\n--" PART_BOUNDARY "\r\n"; static const char* _STREAM_PART = "Content-Type: image/jpeg\r\nContent-Length: %u\r\n\r\n"; static ra_filter_t ra_filter; httpd_handle_t stream_httpd = NULL; httpd_handle_t camera_httpd = NULL; static mtmn_config_t mtmn_config = {0}; static int8_t detection_enabled = 0; static int8_t recognition_enabled = 0; static int8_t is_enrolling = 0; static face_id_list id_list = {0}; static ra_filter_t * ra_filter_init(ra_filter_t * filter, size_t sample_size){ memset(filter, 0, sizeof(ra_filter_t)); filter->values = (int *)malloc(sample_size * sizeof(int)); if(!filter->values){ return NULL; } memset(filter->values, 0, sample_size * sizeof(int)); filter->size = sample_size; return filter; } static int ra_filter_run(ra_filter_t * filter, int value){ if(!filter->values){ return value; } filter->sum -= filter->values[filter->index]; filter->values[filter->index] = value; filter->sum += filter->values[filter->index]; filter->index++; filter->index = filter->index % filter->size; if (filter->count < filter->size) { filter->count++; } return filter->sum / filter->count; } static size_t jpg_encode_stream(void * arg, size_t index, const void* data, size_t len){ jpg_chunking_t *j = (jpg_chunking_t *)arg; if(!index){ j->len = 0; } if(httpd_resp_send_chunk(j->req, (const char *)data, len) != ESP_OK){ return 0; } j->len += len; return len; } static esp_err_t capture_handler(httpd_req_t *req){ // 4 пикселя для расчета оператора робертса byte x0y0; byte x1y0; byte x0y1; byte x1y1; camera_fb_t * fb = NULL; esp_err_t res = ESP_OK; int64_t fr_start = esp_timer_get_time(); fb = esp_camera_fb_get(); if (!fb) { Serial.println("Camera capture failed"); httpd_resp_send_500(req); return ESP_FAIL; } httpd_resp_set_type(req, "image/jpeg"); httpd_resp_set_hdr(req, "Content-Disposition", "inline; filename=capture.jpg"); httpd_resp_set_hdr(req, "Access-Control-Allow-Origin", "*"); size_t out_len, out_width, out_height; uint8_t * out_buf; bool s; bool detected = false; int face_id = 0; dl_matrix3du_t *image_matrix = dl_matrix3du_alloc(1, fb->width, fb->height, 3); if (!image_matrix) { esp_camera_fb_return(fb); Serial.println("dl_matrix3du_alloc failed"); httpd_resp_send_500(req); return ESP_FAIL; } out_buf = image_matrix->item; out_len = fb->width * fb->height * 3; out_width = fb->width; out_height = fb->height; s = fmt2rgb888(fb->buf, fb->len, fb->format, out_buf); esp_camera_fb_return(fb); if(!s){ dl_matrix3du_free(image_matrix); Serial.println("to rgb888 failed"); httpd_resp_send_500(req); return ESP_FAIL; }else{ //проход по всем пикселям кроме последних по строкам и столбцам и расчет оператора робертса for(int i=0;i<out_height-1;i++){ for(int j=0;j<out_width-1;j++){ x0y0 = (byte)(out_buf[(j+i*out_width)*3] + out_buf[(j+i*out_width)*3+1] + out_buf[(j+i*out_width)*3+2])/3; x1y0 = (byte)(out_buf[(j+1+i*out_width)*3] + out_buf[(j+1+i*out_width)*3+1] + out_buf[(j+1+i*out_width)*3+2])/3; x0y1 = (byte)(out_buf[(j+(i+1)*out_width)*3] + out_buf[(j+(i+1)*out_width)*3+1] + out_buf[(j+(i+1)*out_width)*3+2])/3; x1y1 = (byte)(out_buf[(j+1+(i+1)*out_width)*3] + out_buf[(j+1+(i+1)*out_width)*3+1] + out_buf[(j+1+(i+1)*out_width)*3+2])/3; out_buf[(j+i*out_width)*3] = (byte)((x0y0>x1y1?x0y0-x1y1:x1y1-x0y0)+(x1y0>x0y1?x1y0-x0y1:x0y1-x1y0)); out_buf[(j+i*out_width)*3+1] = out_buf[(j+i*out_width)*3]; out_buf[(j+i*out_width)*3+2] = out_buf[(j+i*out_width)*3]; } } } jpg_chunking_t jchunk = {req, 0}; s = fmt2jpg_cb(out_buf, out_len, out_width, out_height, PIXFORMAT_RGB888, 90, jpg_encode_stream, &jchunk); dl_matrix3du_free(image_matrix); if(!s){ Serial.println("JPEG compression failed"); return ESP_FAIL; } int64_t fr_end = esp_timer_get_time(); Serial.printf("FACE: %uB %ums %s%d\n", (uint32_t)(jchunk.len), (uint32_t)((fr_end - fr_start)/1000), detected?"DETECTED ":"", face_id); return res; } static esp_err_t stream_handler(httpd_req_t *req){ camera_fb_t * fb = NULL; esp_err_t res = ESP_OK; size_t _jpg_buf_len = 0; uint8_t * _jpg_buf = NULL; char * part_buf[64]; dl_matrix3du_t *image_matrix = NULL; bool detected = false; int face_id = 0; int64_t fr_start = 0; int64_t fr_ready = 0; int64_t fr_face = 0; int64_t fr_recognize = 0; int64_t fr_encode = 0; static int64_t last_frame = 0; if(!last_frame) { last_frame = esp_timer_get_time(); } res = httpd_resp_set_type(req, _STREAM_CONTENT_TYPE); if(res != ESP_OK){ return res; } httpd_resp_set_hdr(req, "Access-Control-Allow-Origin", "*"); while(true){ detected = false; face_id = 0; fb = esp_camera_fb_get(); if (!fb) { Serial.println("Camera capture failed"); res = ESP_FAIL; } else { fr_start = esp_timer_get_time(); fr_ready = fr_start; fr_face = fr_start; fr_encode = fr_start; fr_recognize = fr_start; if(!detection_enabled || fb->width > 400){ if(fb->format != PIXFORMAT_JPEG){ bool jpeg_converted = frame2jpg(fb, 80, &_jpg_buf, &_jpg_buf_len); esp_camera_fb_return(fb); fb = NULL; if(!jpeg_converted){ Serial.println("JPEG compression failed"); res = ESP_FAIL; } } else { _jpg_buf_len = fb->len; _jpg_buf = fb->buf; } } else { image_matrix = dl_matrix3du_alloc(1, fb->width, fb->height, 3); if (!image_matrix) { Serial.println("dl_matrix3du_alloc failed"); res = ESP_FAIL; } else { if(!fmt2rgb888(fb->buf, fb->len, fb->format, image_matrix->item)){ Serial.println("fmt2rgb888 failed"); res = ESP_FAIL; } else { } dl_matrix3du_free(image_matrix); } } } if(res == ESP_OK){ res = httpd_resp_send_chunk(req, _STREAM_BOUNDARY, strlen(_STREAM_BOUNDARY)); } if(res == ESP_OK){ size_t hlen = snprintf((char *)part_buf, 64, _STREAM_PART, _jpg_buf_len); res = httpd_resp_send_chunk(req, (const char *)part_buf, hlen); } if(res == ESP_OK){ res = httpd_resp_send_chunk(req, (const char *)_jpg_buf, _jpg_buf_len); } if(fb){ esp_camera_fb_return(fb); fb = NULL; _jpg_buf = NULL; } else if(_jpg_buf){ free(_jpg_buf); _jpg_buf = NULL; } if(res != ESP_OK){ break; } int64_t fr_end = esp_timer_get_time(); int64_t ready_time = (fr_ready - fr_start)/1000; int64_t face_time = (fr_face - fr_ready)/1000; int64_t recognize_time = (fr_recognize - fr_face)/1000; int64_t encode_time = (fr_encode - fr_recognize)/1000; int64_t process_time = (fr_encode - fr_start)/1000; int64_t frame_time = fr_end - last_frame; last_frame = fr_end; frame_time /= 1000; uint32_t avg_frame_time = ra_filter_run(&ra_filter, frame_time); } last_frame = 0; return res; } static esp_err_t cmd_handler(httpd_req_t *req){ char* buf; size_t buf_len; char variable[32] = {0,}; char value[32] = {0,}; buf_len = httpd_req_get_url_query_len(req) + 1; if (buf_len > 1) { buf = (char*)malloc(buf_len); if(!buf){ httpd_resp_send_500(req); return ESP_FAIL; } if (httpd_req_get_url_query_str(req, buf, buf_len) == ESP_OK) { if (httpd_query_key_value(buf, "var", variable, sizeof(variable)) == ESP_OK && httpd_query_key_value(buf, "val", value, sizeof(value)) == ESP_OK) { } else { free(buf); httpd_resp_send_404(req); return ESP_FAIL; } } else { free(buf); httpd_resp_send_404(req); return ESP_FAIL; } free(buf); } else { httpd_resp_send_404(req); return ESP_FAIL; } int val = atoi(value); sensor_t * s = esp_camera_sensor_get(); int res = 0; if(!strcmp(variable, "led")) { pinMode(4,OUTPUT); digitalWrite(4,!digitalRead(4)); } else { res = -1; } if(res){ return httpd_resp_send_500(req); } httpd_resp_set_hdr(req, "Access-Control-Allow-Origin", "*"); return httpd_resp_send(req, NULL, 0); } static esp_err_t index_handler(httpd_req_t *req){ httpd_resp_set_type(req, "text/html"); httpd_resp_set_hdr(req, "Content-Encoding", "html"); sensor_t * s = esp_camera_sensor_get(); return httpd_resp_sendstr(req, (const char *)"<html><head><meta charset=\"Windows-1251\"><meta name=\"viewport\" content=\"user-scalable=no, width=device-width, initial-scale=1.0\" /><meta name=\"apple-mobile-web-app-capable\" content=\"yes\" />\ <style>body{overflow:hidden;width:100%;}</style>\ </head><body> \ <img src=\"capture\">\ <br> <button id=\"captureon\">capture</button>\ <br> <button id=\"ledon\">led toggle</button>\ <br> <a href=\"capture\">photo</a>\ <script>document.addEventListener('DOMContentLoaded', function (event) {var baseHost=document.location.origin; var streamUrl=baseHost+':81'; \ function sendCommand(el,val){fetch(baseHost+'/control?var='+el+'&val='+val);} \ document.getElementById('ledon').addEventListener('click',function(){ sendCommand('led',1); }); \ document.getElementById('captureon').addEventListener('click',function(){ document.images[0].src='capture?'+Math.random(); }); \ });</script>\ </body></html>"); } void startCameraServer(){ httpd_config_t config = HTTPD_DEFAULT_CONFIG(); httpd_uri_t index_uri = { .uri = "/", .method = HTTP_GET, .handler = index_handler, .user_ctx = NULL }; httpd_uri_t cmd_uri = { .uri = "/control", .method = HTTP_GET, .handler = cmd_handler, .user_ctx = NULL }; httpd_uri_t capture_uri = { .uri = "/capture", .method = HTTP_GET, .handler = capture_handler, .user_ctx = NULL }; httpd_uri_t stream_uri = { .uri = "/stream", .method = HTTP_GET, .handler = stream_handler, .user_ctx = NULL }; ra_filter_init(&ra_filter, 20); mtmn_config.type = FAST; mtmn_config.min_face = 80; mtmn_config.pyramid = 0.707; mtmn_config.pyramid_times = 4; mtmn_config.p_threshold.score = 0.6; mtmn_config.p_threshold.nms = 0.7; mtmn_config.p_threshold.candidate_number = 20; mtmn_config.r_threshold.score = 0.7; mtmn_config.r_threshold.nms = 0.7; mtmn_config.r_threshold.candidate_number = 10; mtmn_config.o_threshold.score = 0.7; mtmn_config.o_threshold.nms = 0.7; mtmn_config.o_threshold.candidate_number = 1; face_id_init(&id_list, FACE_ID_SAVE_NUMBER, ENROLL_CONFIRM_TIMES); Serial.printf("Starting web server on port: '%d'\n", config.server_port); if (httpd_start(&camera_httpd, &config) == ESP_OK) { httpd_register_uri_handler(camera_httpd, &index_uri); httpd_register_uri_handler(camera_httpd, &cmd_uri); httpd_register_uri_handler(camera_httpd, &capture_uri); } config.server_port += 1; config.ctrl_port += 1; Serial.printf("Starting stream server on port: '%d'\n", config.server_port); if (httpd_start(&stream_httpd, &config) == ESP_OK) { httpd_register_uri_handler(stream_httpd, &stream_uri); } } void setup() { Serial.begin(115200); Serial.setDebugOutput(true); Serial.println(); camera_config_t config; config.ledc_channel = LEDC_CHANNEL_0; config.ledc_timer = LEDC_TIMER_0; config.pin_d0 = Y2_GPIO_NUM; config.pin_d1 = Y3_GPIO_NUM; config.pin_d2 = Y4_GPIO_NUM; config.pin_d3 = Y5_GPIO_NUM; config.pin_d4 = Y6_GPIO_NUM; config.pin_d5 = Y7_GPIO_NUM; config.pin_d6 = Y8_GPIO_NUM; config.pin_d7 = Y9_GPIO_NUM; config.pin_xclk = XCLK_GPIO_NUM; config.pin_pclk = PCLK_GPIO_NUM; config.pin_vsync = VSYNC_GPIO_NUM; config.pin_href = HREF_GPIO_NUM; config.pin_sscb_sda = SIOD_GPIO_NUM; config.pin_sscb_scl = SIOC_GPIO_NUM; config.pin_pwdn = PWDN_GPIO_NUM; config.pin_reset = RESET_GPIO_NUM; config.xclk_freq_hz = 20000000; config.pixel_format = PIXFORMAT_JPEG; // if PSRAM IC present, init with UXGA resolution and higher JPEG quality // for larger pre-allocated frame buffer. if(psramFound()){ config.frame_size = FRAMESIZE_UXGA; config.jpeg_quality = 10; config.fb_count = 2; } else { config.frame_size = FRAMESIZE_SVGA; config.jpeg_quality = 12; config.fb_count = 1; } // camera init esp_err_t err = esp_camera_init(&config); if (err != ESP_OK) { Serial.printf("Camera init failed with error 0x%x", err); return; } sensor_t * s = esp_camera_sensor_get(); // drop down frame size for higher initial frame rate s->set_framesize(s, FRAMESIZE_QVGA); //WiFi.begin(ssid, password); //while (WiFi.status() != WL_CONNECTED) { // delay(500); // Serial.print("."); //} //Serial.println(""); //Serial.println("WiFi connected"); WiFi.softAP(ssid, password); IPAddress IP = WiFi.softAPIP(); Serial.print("AP IP address: "); Serial.println(IP); startCameraServer(); Serial.print("Camera Ready! Use 'http://"); Serial.print(WiFi.localIP()); Serial.println("' to connect"); } void loop() { // put your main code here, to run repeatedly: }

Данный код является переделкой примера который скачивается вместе с библиотекой для данного модуля для среды Arduino. Код длинный а его полный разбор будет ещё длиннее поэтому лучше сосредоточиться на более интересных вещах. А разбор работы именно с аппаратными возможностями данного модуля, возможно будут выделены в отдельные статьи в данном блоге. Код алгоритма Робертса помещен в функцию capture_handler т.к. она вызывается после того как делается снимок, который можно разобрать на пиксели и обработать данным алгоритмом, после чего отправить результат по WIFI для просмотра на каком либо устройстве типа смартфона. Для того чтобы не было необходимости в роутере для получения результата. Добавлена возможность работы модуля в режиме точки доступа. В переменную ssid нужно записать название WIFI сети которую создаст модуль и к которой нужно будет подключиться для получения результата. В переменную password нужно записать пароль который нужно будет ввести при подключении к WIFI сети которую создаст модуль. IP адрес который нужно будет ввести в адресной строке браузера, после подключения к сети, можно посмотреть в мониторе последовательного порта среды Arduino IDE после запуска которого на модуле нужно будет нажать кнопку "reset" (единственная кнопка которая имеется на данном модуле) чтобы этот адрес появился. Модуль, при этом, должен быть подключен к компьютеру через usb-uart переходник. Схему такого подключения а также то как загрузить скетчь в данный модуль, можно посмотреть на странице  https://electe.blogspot.com/2022/03/esp32-cam.html. 

В функцию cmd_handler можно добавить возможность включать и выключать светодиод чтобы влиять на способность модуля распознавать границы объектов путем изменения освещения этих объектов остальные возможности из этой функции можно удалить чтобы  не занимали место в коде и не заставляли тратить много времени на его вертикальный скролинг.

В функции index_handler нужно найти вызов функции httpd_resp_set_hdr и поменять там строку GZIP на html чтобы можно было делать клиентскую часть на обычном html не конвертируя его в GZIP это удобнее и к томуже GZIP имеет меньший размер чем html только при больших размерах кода, при малых получается обратный эффект. Строка с HTML кодом клиентской части передается вторым параметром в функцию httpd_resp_sendstr. Чтобы текст можно было продолжить на следующей строке, можно ставить разделители обратные слеши. На фронтэнде т.е. клиентской стороне будет картинка с результатом обработки фотографии, кнопка чтобы сделать фотографию и выполнить обработку, кнопка чтобы включить/выключить освещение светодиодом и ссылка для перехода на страницу с результатом обработки фотографии. Также видно что в коде есть конструкция для того чтобы картинка бралась из сервера а не из кэша.

Алгоритм робертса в функции capture_handler будет реализовываться только в случае успешной конвертации фотографии в формат RGB888. Изображение состоит из пикселей, пиксель состоит из 3х составляющих красной, зеленой и синей на каждую состаляющую выделено 8 байт если усреднить составляющие то можно получить черно-белое изображение в данной реализации это делается на каждой итерации цикла для 4х соседних пикселей поэтому циклы проходят по всем пикселям кроме тех что в последней строке и последнем столбце для определения границы из правого нижнего пикселя вычитается левый верхний и из этой разницы берется модуль. Далее тоже самое производиться с оставшимися диагональными пикселями. Если берется модуль то, на самом деле, не важно какой из какого вычитаются главное чтобы это вычитание было перекресным в данной же реализации используется тренарный оператор для большей переносимости кода. После чего эти разницы по модулю складываются и получается результат, чем светлее пиксель тем резче переход цветов. Вот примерно такие получаются результаты обработки фотографий данным модулем с данным скетчем:

Это результаты обработки фотографий после усреднения всех пикселей, результаты обработки по пикселям каждой компоненты выглядят немного по другому и если присмотреться то можно увидеть отдельные цвета но в целом видно что в основном компоненты складываясь дают, как бы, просто переход по уровню яркоти:

Посмотреть результат работы также можно на видео:

КАРТА БЛОГА (содержание)

Датчик цвета на ESP32-CAM

 Модуль ESP32-CAM (http://alii.pub/69872w) может быть не только обычной дистанционной камерой для просмотра области пространства на которую она направлена но и также выполнять некоторые манипуляции с визуальными данными которые этот модуль получает и также самостоятельно принимать некоторые решения на основе этих данных. Микроконтроллер ESP32 имеет достаточно неплохую производительность (по сравнению с другими микроконтроллерами рассматриваемыми ранее в данном блоге) что позволяет использовать его для обработки изображений и машинного зрения. Ранее, в данном блоге, появилась статья про датчик цвета на основе Raspberry pi 3 и USB камеры - https://electe.blogspot.com/2020/05/usb-raspberry-pi.html. Датчик цвета сделать получилось но работал от крайне медленно. На получение снимка, его обработку, сохранение, конвертирование и всё стальное в сумме уходило более одной секунды что было видно без специальных таймеров замера времени. Если к этой задержке прибавить время более сложной операции, нежели просто усреднение цветов пикселей, то скорость работы наверняка также не порадует. Более быстрой работы устройства можно добиться исключив ненужные действия из процесса. Добиться этого на Raspberry pi c USB камерой будет не просто т.к. придется работать с камерой на более низком программном уровне + добавляются ограничения по скорости передачи данных по USB. Эти проблемы можно было решить применением специальной камеры для Raspberry pi но на тот момент такие камеры стоили гораздо дороже чем USB камеры. Модуль же ESP32-CAM сам по себе не дорогой, имеет небольшие размеры и используя его и среду разработки Arduino IDE можно получить доступ к пикселям изображений делаемых камерой без больших сложностей. Конечно на данный модуль нельзя установить такую тяжёлую библиотеку как opencv но в большинстве случаев её функционал избыточен по тому что не всегда необходимо делать с изображениями все преобразования которые может данная библиотека. Чтобы модуль ESP32-CAM мог показать что он правильно поработал с пикселями и определил цвет, можно дополнить его например RGB светодиодом который будет показывать какой цвет обнаружил модуль. Конечно можно использовать имеющийся в модуле WIFI или bluetooth или даже uart (если совсем лень) но светодиод кажется нагляднее. При этом его не следует направлять в ту сторону куда смотрит камера, иначе модуль будет определять тот цвет который сам же и создает что приведет к положительной обратной связи всей системы и более трудному выводу её из устойчивого состояния. Схема может выглядеть например так:

Рисунок 1 - Схема датчика цвета на ESP32-CAM

Модуль может питаться автономно от пауэрэнка даже без отключения программатора - это может быть удобно т.к. для перепрограммироания нужно делать только одно пересоединение. Скетч не сильно сложный и может быть такой:

#include "esp_camera.h" #include "img_converters.h" #include "Arduino.h" #include "fb_gfx.h" #include "fd_forward.h" #include "fr_forward.h" #define PWDN_GPIO_NUM 32 #define RESET_GPIO_NUM -1 #define XCLK_GPIO_NUM 0 #define SIOD_GPIO_NUM 26 #define SIOC_GPIO_NUM 27 #define Y9_GPIO_NUM 35 #define Y8_GPIO_NUM 34 #define Y7_GPIO_NUM 39 #define Y6_GPIO_NUM 36 #define Y5_GPIO_NUM 21 #define Y4_GPIO_NUM 19 #define Y3_GPIO_NUM 18 #define Y2_GPIO_NUM 5 #define VSYNC_GPIO_NUM 25 #define HREF_GPIO_NUM 23 #define PCLK_GPIO_NUM 22 void setup() { Serial.begin(115200); Serial.setDebugOutput(true); Serial.println(); camera_config_t config; config.ledc_channel = LEDC_CHANNEL_0; config.ledc_timer = LEDC_TIMER_0; config.pin_d0 = Y2_GPIO_NUM; config.pin_d1 = Y3_GPIO_NUM; config.pin_d2 = Y4_GPIO_NUM; config.pin_d3 = Y5_GPIO_NUM; config.pin_d4 = Y6_GPIO_NUM; config.pin_d5 = Y7_GPIO_NUM; config.pin_d6 = Y8_GPIO_NUM; config.pin_d7 = Y9_GPIO_NUM; config.pin_xclk = XCLK_GPIO_NUM; config.pin_pclk = PCLK_GPIO_NUM; config.pin_vsync = VSYNC_GPIO_NUM; config.pin_href = HREF_GPIO_NUM; config.pin_sscb_sda = SIOD_GPIO_NUM; config.pin_sscb_scl = SIOC_GPIO_NUM; config.pin_pwdn = PWDN_GPIO_NUM; config.pin_reset = RESET_GPIO_NUM; config.xclk_freq_hz = 20000000; config.pixel_format = PIXFORMAT_JPEG;//YUV422,GRAYSCALE,RGB565,JPEG // if PSRAM IC present, init with UXGA resolution and higher JPEG quality // for larger pre-allocated frame buffer. if(psramFound()){ config.frame_size = FRAMESIZE_UXGA; config.jpeg_quality = 10; config.fb_count = 2; } else { config.frame_size = FRAMESIZE_SVGA; config.jpeg_quality = 12; config.fb_count = 1; } // camera init esp_err_t err = esp_camera_init(&config); if (err != ESP_OK) { Serial.printf("Camera init failed with error 0x%x", err); return; } sensor_t * s = esp_camera_sensor_get(); //понизить разрешение для увеличения скорости s->set_framesize(s, FRAMESIZE_QQVGA); //увеличить насыщенность для лучшего распознавания цвета s->set_saturation(s, 2); pinMode(12, OUTPUT); pinMode(13, OUTPUT); pinMode(15, OUTPUT); } void loop() { camera_fb_t * fb = NULL; // Take Picture with Camera fb = esp_camera_fb_get(); if(!fb) { Serial.println("Camera capture failed"); } size_t out_len, out_width, out_height; uint8_t * out_buf; bool s; dl_matrix3du_t *image_matrix = dl_matrix3du_alloc(1, fb->width, fb->height, 3); if (!image_matrix) { esp_camera_fb_return(fb); Serial.println("dl_matrix3du_alloc failed"); } out_buf = image_matrix->item; out_len = fb->width * fb->height * 3; out_width = fb->width; out_height = fb->height; s = fmt2rgb888(fb->buf, fb->len, fb->format, out_buf); esp_camera_fb_return(fb); if(!s){ dl_matrix3du_free(image_matrix); Serial.println("to rgb888 failed"); } else{ double r_average = 0; double g_average = 0; double b_average = 0; double r_row = 0; double g_row = 0; double b_row = 0; for(int i=0;i<out_len;i+=3){ r_row+=out_buf[i+2]; g_row+=out_buf[i+1]; b_row+=out_buf[i]; } r_average = r_row/(out_len/3); g_average = g_row/(out_len/3); b_average = b_row/(out_len/3); Serial.printf("r=%d g=%d b=%d len=%d w=%d h=%d\n",(int)r_average,(int)g_average,(int)b_average,out_len,out_width,out_height); if( r_average > g_average && r_average > b_average ) { digitalWrite(12,LOW); digitalWrite(13,HIGH); digitalWrite(15,HIGH); } if( g_average > r_average && g_average > b_average ) { digitalWrite(12,HIGH); digitalWrite(13,LOW); digitalWrite(15,HIGH); } if( b_average > r_average && b_average > g_average ) { digitalWrite(12,HIGH); digitalWrite(13,HIGH); digitalWrite(15,LOW); } } dl_matrix3du_free(image_matrix); }

В начале, как всегда, подключаются заголовочные файлы. После нужно добавить константы которые копируются из файла с константами примера для камеры. Константы нужно скопировать из блока для используемого модуля, в данном случае для ai thinker. В функции setup() включается последовательный порт для отладки. Далее заполняется структура для настройки и инициализации камеры. После чего имеется необходимая для запуска устройства последовательность строк скопированная из скетча примера. Далее делается инициализация камеры функцией esp_camera_init и проверка этой инициализации. После совершаются настройки. Снижается разрешение кадра чтобы сделать его быстрее и увеличивается насыщенность цвета чтобы датчик лучше различал цвета. Далее пины к которым подключен светодиод настраиваются на выход. В начале основного цикла объявлен указатель на структуру типа camera_fb_t который заполняется функцией esp_camera_fb_get после взятия фотографии от камеры. Если оно прошло неудачно то в последовательный порт передается соответствующее сообщение. Далее обявляются некоторые специальные переменные суть которых отражена в их названиях. Функцией dl_matrix3du_alloc выделяется память для матрицы изображения. Если этого сделать не получилось то оригинальное изображение возвращается функцией esp_camera_fb_return и в последовательный порт передается сообщение о неудаче. Далее заполняются специальные переменные. После чего функцией fmt2rgb888 изображение из камеры преобразуется из формата jpeg в формат rgb888 т.е. в обычный набор пикселей в котором на каждую компоненту цвета выделено по 8 бит. После успешного конвертирования набор пикселей будет доступен через указатель out_buf из которого можно извлекать пиксели так же как из обычного массива (такие особенности языка си) через квадратные скобки. Несмотря на то что в аббревиатуре RGB буква R, обозначающая красный, стоит на первом месте. Извлекать компоненты цвета из out_buf следует в обратном порядке т.е. синяя компонента первого пикселя будет в out_buf[0], зеленая в out_buf[1], красная в out_buf[2], синяя компонента второго пикселя будет в out_buf[3] и т.д. Конец этого хранилища записан в переменной out_len которую можно использовать для завершения цикла перебора пикселей. Для каждой компоненты цвета находиться среднее арифметическое после чего, обычным сравнением, определяется какая компонента преобладает и в соответствии с ней загорается нужный свет RGB светодиода. В конце выделенная память освобождается функцией dl_matrix3du_free. Результат работы датчика можно посмотреть на видео:

КАРТА БЛОГА (содержание)

Управляемый по wifi автомобиль с камерой на ESP32-CAM

 Дистанционно управляемое транспортное средство с камерой передающей изображение на экран может иметь много применений а также это весьма интересная штука. Такую штуку можно сделать на основе модуля ESP32-CAM (http://alii.pub/69872w) для чего его нужно дополнить самим транспортным средством и драйверами для его управления через данный модуль. В простейшем случае транспортным средством может быть какая либо колесная платформа поворачивающаяся по танковой схеме. Если исключить возможность заднего хода то электрическая схема всей конструкции может быть очень простой:

Рисунок 1 - Схема радиоуправляемого автомобиля с камерой

В схеме имеется гальваническая развязка силовой и логической части для защиты модуля ESP32-CAM. Используются оптроны 4N33 с током коллектора до 100мА. Это не очень большой ток поэтому моторы должны быть соответственно не очень мощными или оптроны должны быть мощнее в случае использования мощных двигателей. Модуль следует подготовить, об этом есть статья https://electe.blogspot.com/2022/03/esp32-cam.html. После того как пароль от wifi вписан нужно найти то ветвление (во вкладке app_httpd.cpp) в котором прописывалось включение светодиода но только теперь добавить строки для управления пинами 12 и 13 например так:

    else if(!strcmp(variable, "left")) 

    {

      pinMode(12,OUTPUT);

      digitalWrite(12,HIGH);

      pinMode(13,OUTPUT);

      digitalWrite(13,LOW);

    } 

    else if(!strcmp(variable, "right"))

    {

      pinMode(12,OUTPUT);

      digitalWrite(12,LOW);

      pinMode(13,OUTPUT);

      digitalWrite(13,HIGH);

    }

    else if(!strcmp(variable, "forward"))

    {

      pinMode(12,OUTPUT);

      digitalWrite(12,HIGH);

      pinMode(13,OUTPUT);

      digitalWrite(13,HIGH);

    }

    else if(!strcmp(variable, "stop"))

    {

      pinMode(12,OUTPUT);

      digitalWrite(12,LOW);

      pinMode(13,OUTPUT);

      digitalWrite(13,LOW);

      pinMode(12,INPUT);

      pinMode(13,INPUT);

    }  

Теперь чтобы модуль заработал осталось поменять соответствующим образом фронтенд который накодится по вкладке camera_index.h. В коде на этой вкладке есть 2 массива для разных камер. Нужно выбрать массив с камерой которая используется и заменить его содержимое. Для этого можно например скопировать его содержимое в программу для разархивации из формата .gz в .html потом изменить html код, после чего сжать его программой архиватором в формат .gz и содержимое переместить в выбранный массив. html код который будет работать с кодом выше может выглядеть например так:

<!doctype html> <html> <head> <meta charset="utf-8"> <meta name="viewport" content="width=device-width,initial-scale=1"> <title>ESP32 OV2460</title> </head> <body> <figure> <img id="stream" src=""><br> <button id="left">left</button>_____ <button id="right">right</button><br><br> <button id="forward">forward</button>__ <button id="stop">stop</button> </figure> <script> document.addEventListener('DOMContentLoaded', function (event) { var baseHost = document.location.origin; var streamUrl = baseHost + ':81'; document.getElementById('stream').src = ''+streamUrl+'/stream'; document.getElementById('left').addEventListener('click',function(){ sendCommand('left',1) }); document.getElementById('right').addEventListener('click',function(){ sendCommand('right',1) }); document.getElementById('forward').addEventListener('click',function(){ sendCommand('forward',1) }); document.getElementById('stop').addEventListener('click',function(){ sendCommand('stop',1) }); function sendCommand(el,val){fetch(baseHost+'/control?var='+el+'&val='+val);} }) </script> </body> </html>

Это довольно минималистичный веб интерфейс без излишеств, только с изображением для вывода потокового видео и кнопками для управления автомобилем. Основная функция в данном коде -fetch() для отправки get запроса с командами управления моторами. А также тег img для отображения видео. В сжатом виде данный код будет выглядеть так:

0x1F, 0x8B, 0x08, 0x00, 0x00, 0x00, 0x00, 0x00, 0x00, 0x03, 0x9D, 0x54, 0x5D, 0x6B, 0xDB, 0x30, 0x14, 0x7D, 0x4E, 0x20, 0xFF, 0x41, 0xD3, 0xC3, 0x14, 0x93, 0xAF, 0xA5, 0x1B, 0xA3, 0xAC, 0xB6, 0x07, 0xEB, 0x02, 0x1B, 0x74, 0x74, 0x30, 0xB6, 0xD7, 0xA1, 0x48, 0xD7, 0xB1, 0x98, 0x6C, 0x05, 0xF9, 0x26, 0x21, 0x84, 0xFC, 0xF7, 0x5E, 0xD9, 0x8E, 0x97, 0xB5, 0xA3, 0x94, 0xE8, 0x41, 0xBA, 0x92, 0xCE, 0x39, 0xD7, 0xBA, 0x1F, 0x8E, 0x5F, 0x69, 0xA7, 0x70, 0xBF, 0x06, 0x96, 0x63, 0x61, 0xD3, 0x41, 0x3F, 0x6E, 0x57, 0x46, 0x23, 0xCE, 0x41, 0xEA, 0xD6, 0xAE, 0xF7, 0x05, 0xA0, 0x64, 0x2A, 0x97, 0xBE, 0x02, 0x4C, 0xF8, 0x06, 0xB3, 0xC9, 0x35, 0x7F, 0x72, 0x5F, 0xCA, 0x02, 0x12, 0xBE, 0x35, 0xB0, 0x5B, 0x3B, 0x8F, 0x9C, 0x29, 0x57, 0x22, 0x94, 0x84, 0xDF, 0x19, 0x8D, 0x79, 0xA2, 0x61, 0x6B, 0x14, 0x4C, 0xEA, 0xCD, 0xD8, 0x94, 0x06, 0x8D, 0xB4, 0x93, 0x4A, 0x49, 0x0B, 0xC9, 0xFC, 0x1F, 0x31, 0x34, 0x68, 0x21, 0x5D, 0xFC, 0xF8, 0xFE, 0xF6, 0x8A, 0xDD, 0xFF, 0xBA, 0x7A, 0xF7, 0xFE, 0x4D, 0x3C, 0x6B, 0xCE, 0x06, 0xFD, 0x5E, 0x3C, 0x6B, 0xBF, 0xAD, 0x17, 0x2F, 0x9D, 0xDE, 0xD7, 0x46, 0x66, 0x56, 0x1B, 0x0F, 0xE7, 0x12, 0xA6, 0x58, 0x31, 0xA3, 0x13, 0x5E, 0xA1, 0x07, 0x59, 0x70, 0x56, 0x79, 0x95, 0x70, 0x9E, 0xC6, 0x4B, 0x1F, 0x08, 0x44, 0xDD, 0x20, 0xBA, 0xB2, 0x86, 0x58, 0xC8, 0x90, 0xA7, 0x61, 0x8E, 0x67, 0xCD, 0x71, 0xFA, 0x3B, 0x8C, 0xC7, 0x38, 0x6F, 0x56, 0x39, 0x01, 0xEB, 0xA5, 0x43, 0x06, 0xC1, 0xFF, 0x89, 0x66, 0xCE, 0xEF, 0xA4, 0xD7, 0x3C, 0x6D, 0x8D, 0x33, 0xE9, 0xC7, 0xD0, 0x0A, 0xDD, 0x9A, 0xA7, 0x61, 0xEE, 0x40, 0x6D, 0x12, 0x66, 0xDD, 0xBB, 0x7A, 0x71, 0xA5, 0xBC, 0x59, 0x23, 0x99, 0x94, 0xB5, 0x4D, 0x41, 0x51, 0x9D, 0x4A, 0xAD, 0x17, 0x5B, 0x32, 0xEE, 0x4C, 0x45, 0x51, 0x06, 0x3F, 0x14, 0x9F, 0xEF, 0xBF, 0xDD, 0x36, 0x21, 0xBF, 0x73, 0x52, 0x83, 0x16, 0x63, 0x96, 0x6D, 0x4A, 0x85, 0x86, 0x3C, 0x0D, 0x21, 0x60, 0x23, 0x76, 0x20, 0xB1, 0xAD, 0xF4, 0x6C, 0x29, 0x2B, 0xF8, 0xE2, 0x2A, 0x64, 0x09, 0xEB, 0x14, 0xAD, 0x53, 0x32, 0x80, 0xA7, 0x8E, 0x1E, 0x69, 0xCA, 0x9B, 0x16, 0xDA, 0xC4, 0xF0, 0xA7, 0xB7, 0x84, 0xED, 0x68, 0x23, 0x26, 0x3E, 0x5C, 0xCF, 0x45, 0xC0, 0x74, 0xFC, 0x15, 0xE0, 0xC2, 0x42, 0x30, 0x3F, 0xED, 0xBF, 0xEA, 0xA1, 0x68, 0x88, 0x22, 0x9A, 0x52, 0xF4, 0x89, 0x2B, 0xC4, 0xA8, 0x93, 0x1A, 0x89, 0x59, 0x7B, 0xFB, 0xAC, 0x42, 0xC8, 0x0A, 0xF1, 0x9F, 0x3E, 0x55, 0x59, 0xA3, 0xFE, 0x88, 0xF1, 0xE9, 0x79, 0xC3, 0xE8, 0xC0, 0x2A, 0x28, 0xF5, 0xAD, 0x2B, 0x0A, 0x59, 0x9E, 0x88, 0xE3, 0x79, 0xC4, 0x8E, 0xD1, 0xB3, 0x0E, 0xEA, 0x6C, 0x5E, 0xE4, 0xA1, 0x61, 0xBE, 0xC0, 0x45, 0x5B, 0x01, 0x17, 0x39, 0x39, 0x71, 0x5F, 0xE0, 0x26, 0x14, 0xD0, 0x45, 0x3E, 0x6A, 0xE2, 0x5F, 0x07, 0x5D, 0xC5, 0x9C, 0x83, 0xC0, 0x8E, 0xB7, 0xD2, 0x46, 0x87, 0x0C, 0x50, 0xE5, 0xC3, 0x53, 0x11, 0x50, 0x12, 0x43, 0x8B, 0x7B, 0x67, 0x3F, 0x52, 0x9D, 0x24, 0x62, 0x04, 0x94, 0xD7, 0xD7, 0x04, 0x24, 0x33, 0xC0, 0x6F, 0x8E, 0x83, 0xFE, 0x31, 0xAA, 0x7B, 0xB6, 0x2B, 0x5F, 0xB2, 0xDB, 0xB6, 0xA5, 0x46, 0x0E, 0x3F, 0x9C, 0x07, 0xB9, 0x48, 0x2C, 0x8A, 0x88, 0x04, 0x00, 0x00

Удивительно, но после сжатия размер занимаемой памяти увеличился. Возможно сжатие начнет работать нормально при больших html кодах поэтому тут можно не экономить и сделать большую и красивую веб страницу. Но конечно же в разумных пределах т.е. не стоит например подключать react или другой большой фреймворк. Модуль может этого не потянуть даже со сжатием. В результате после внесения данных поправок в стандартный скетч и загрузки его в автомобиль, получается интересная радиоуправляемая по wifi со смартфона или компьютера машинка, тест драйв которой можно посмотреть на видео:

КАРТА БЛОГА (содержание)