Привет! На этой неделе с вами C++ embedded dev в Imaging (digital cameras) Сергей Даниельян @gahcep. Недавно еще и PTL одного из проектов.

Попробую в паре твитов о компании и чем занимаемся: но хотелось бы шире описать область (для буд. вопросов и обсужд.)

Основное направление деятельности компании - разработка решений в сфере Imaging - по сути это digital cameras для разл. игроков на рынке ...

... (Action Cameras, Car DVR и VR). Фишка - нетривиальные решения ( одновременные видео стримы, взаимод. между камерой и моб. устройствами)

Мы являемся оф. партнером Ambarella и на базе SoC от нее и собственного SDK в разумные сроки стараемся дать законченное решение под ключ.

Для примера, есть даже своя IQ (Image Quality) лаборатория, Computer Vision отдел, а также Electrical и Mechanical инженеры.

Я же в системной разработке кроссплатф. компонент на С++ (входят в наш SDK). Участвую в различного рода задачах связанных с Linux/RTOS

Рассказ будет о разном, в том числе о С++ (как же без него), ARM архитектуре (если будет интересно), Linux (конечно же), кросс-компиляции...

... коснемся нашего dev env, различных policy (код и процесс разработки), нашей билд системе (в рамках NDA) и что будет вам интересно.

Наибольший интерес, я надеюсь, вызовут описания проблем (технических, организ.) связанных с миром embedded разработки именно в нашей сфере.

К сожалению, я жестко связан NDA и самые вкусности не смогу рассказать, но, думаю все равно будет интересно.

Фух, с intro закончил ;) В общем, давайте знакомится, пишите вопросы. Как раз определимся с тем кому что интересно и интересно ли вообще.

Что будет наиболее интересно?

Note: прошу не заменять равнозначно #embedded в Imaging на понятие IoT. Это все же разные области, хотя IoT в некоторых проектах есть.

Кстати, следили за CES недавней? Что больше всего порадовало? Как вам Snapdragon 835?

Кстати, относительно новая штучка для Code Investigate появилась - несколько человек у нас вроде пощупали даже coati.io

Расшифрую немного: TL - team lead; PTL - project team lead; PM - program manager; SSP - System Support Package; BSP - Board Support Package

3/3. Есть PM. Он рулит проектами и PTL'ми. Отдельно QA - но там похожий принцип. Ну и я не касаюсь топ менеджмента. Тут думаю у всех одно.

2/3. Есть другие инженеры, они в camera application домене - пилят конечное приложение. У них свой руководитель (PTL).

1/3. Немного по инж. организации: есть инженеры заточенные на SDK и они делятся на домены (still, video, etc). У них есть руководитель (TL).

7/7. Есть также термин #MSP (Middleware SP) - набор специфичных либ/API/примеров, например, все что связано с медиа либо периферией

6/7. #SSP также часто может включать примеры работы с API от вендора, какие-нибудь законченные приложения, тесты.

5/7. #SSP (System SP) - сложнее. Обычно включает в себя гораздо больше. В нашем случае, это системные либы (IPC, USB stack, DSP microcode).

4/7. Или например, работаешь с DMA_CHANNEL_CNT и на одной борде это макс. 4 канала, на другой - 2, хотя сам чип может 16 максимум.

3/7. Грубо, подключив #BSP, ты юзаешь, BASE_PERIPH_ADDR как есть, не придавая значения, что на борде А - это 0xABC, а на борде B - это 0xFED

2/7. То есть ты не паришься конкретным адресом вот той шины либо смещением UART0 (который на разном железе может быть разным).

1/7. #BSP (Board SP) - поддержка конкретного железа/борды. Абстракция от самого низкого уровня либо уровня перед ним.

Вообще в плане BSP и библиотек для работы с чипами, меня реально вставил ASF (#Atmel Software Framework) asf.atmel.com/docs/latest/cm…

#ASF имеет гармоничное и разумное разделение по уровням функционала (boards,drivers,components и т.п.). Легко юзать в том же Atmel Studio.

Только внимательно, тот же слой DMA в ATF немножко бажный ;) pic.twitter.com/ek9b7YwsEN

4/4. Отличия между системами сборки в том, что одна акцентирует внимание на доступносте и простоте, другая - на мощи кастомизации.

3/4. Что можно кастомизировать? Да что угодно: 1) cross toolchain 2) libstd: newlib вместо glibc 3) тип rootfs или свой пакет/rule добавить

2/4. То есть X собирает для вас: cross-toolchain, rootfs, kernel, bootloader. cross-toolchain чтобы на x86 собрать OS для ARM.

1/4. Совсем крако про buildroot/openembedded/yocto. Позже - подробнее. Все перечисленное позволяет вам собрать ваш собственный образ OS.

Итак, первый день закончен (сорри, мне бай-бай скоро :). Не переключайтесь.

Ну и напоследок, ссылочке на youtube канал одного интересного перца - там про дизайн PCB, немного про DDR, и разное youtube.com/user/matarofe

Всем доброго! Поскольку вчера закончили тяжелыми темами, начну этот день с тем полегче. Прежде всего, итог голосования

Так, потер случайно poll :). На первом месте C++, затем процесс, затем ARM/GCC и совсем неинтересно про buildroot. В целом пропорция ясна

Про инж. орг.: часть инженеров заточены под что-то спец. Кто-то саппортит и поднимает сенсора, кто-то работает NAND, кто-то эксперт в USB

С одной стороны это круто, всегда есть реальные специалисты которые точно знают свою область и всегда смогут ответить на твои вопросы ...

... c другой стороны, слишком узкая специализация порой влияет на скорость разрешения проблем лежащих на стыке разных доменов

Ну что, все проснулись? :) Давайте немного о процессе и тулах. А чуть позже расскажу про всякие EVT/PVT и этапы разработки embedded

Как у вас с коммуникациями в команде? У нас Skype - чаты разной направленности. Ну и ножками иногда, если вопрос серьезный.

Пробовал продвинуть Slack, но он не вписался в требования менеджеров (флоу общения с клиентами). С заказчиками - GoTo Meeting или кастомное

Кратко по нашему CM,CI. Да есть, нет, не устраивает во многом, но "так исторически сложилось".

CI: QuickBuild/Proofbuild с кастомной надстройкой (верификация HW/SW билдов - regression, unit-testing, sanity, boot).

Repo: SVN (когда то был Perforce), люди разбавляют #git локально. Пробовали уйти, пока не решились.

Wiki на базе redmine, review board для ревью, тикеты в JIRA. Кстати, ничего удобнее Atlassian не видел. Дорого, но стоит своих денег.

Кстати, меня тут на модный wire.com переманивают. Но что-то сыроват, хотя ребята активно работают судя по github.

3/3. Управление доступом очень примитивно, неудобство отслеживания интеграций , скучаем по P4 shelve perforce.com/perforce/r15.1…

2/3. Неконсистентность: одни и те же вещи ведут себя по-разному в разных контекстах. Проблем. области: externals, eol-style, symlinks, patch

1/3. Для тех кому интересны причина того что нас не устраивает svn (разных - разное, но в целом солянка такая):

@backendsecret тариф бесплатный интеграций полторы (kapacitor двум людям в личку гадит), на историю пофиг, видеозвонки не котируются особо.

Неб. оффтопик: несколько каналов для slack польз. : dist-sys.slack.com hangops.slack.com devopschat.slack.com #devops #DistSys

Кстати, печаль и ужас, так и не нашел вменяемых каналов по embedded/fpga/pcb/c++. Подсобите, если знаете...

@backendsecret slack, hipchat + helpdesk для несрочных вопросов

@__pewpew__ @strizhechenko @backendsecret встряну в тред. Есть такой зверь как about.mattermost.com типа self-hosted слацк

Всем спасибо за ответы, давайте двинемся дальше ;)

Стадии которые проходит устройство от закл. договора и до выпуска (generic пример с оглядкой на #Imaging область)

@backendsecret ST1. Заинтересованность: понравились заказчику (конферен.), референс (или редирект) от вендора, продолж. сотрудничества

@backendsecret ST2. SOW: оценки, подписание конктракта, согласование требований, milestone schedule, evaluation. In charge: RM, разработчики

@backendsecret ST3. Подписание контракта и начало работ. Начальная фаза на железе вендора, постепенно получаем кастомерское. Всегда мало HW

@backendsecret ST4. Кастомерское HW. Итерируемый цикл: DevBoard/EVT/DVT/PVT с разработкой и постоян. тестированием (ручное, автоматизация)

@backendsecret ST5. Наладка сборки, Mass Production. Доставка первых образцов VIP кастомерам.

В теории EVT (engin. valid.) - обкатка HW, DVT (design VT) - проверка на соответствие требов., PVT (prod. VT) - стабилизация и фикс багов.

@backendsecret На практике, все формал. Часто на фазе PVT могут вносить изм. в PCB, а на MP менять линзу. Или на PVT вдруг материал на зам.

Беря во внимание набор HW что присутствует на типичной #action #camera (GNSS, Wi-Fi, Bluetooth, IMU) ...

@backendsecret можете представить в какой ад может превратиться отладка и стабилизация всего разнооборазия (перегрев, повыш. частота DRAM)

Посоветую довольно подробную и интересную статью как раз с обзором всего #embedded #LifeCycle blog.bolt.io/the-illustrate…

Отдельным вопросом стоит QA. Здесь и классика (sanity, regression, ручное) и board-specific (boot, stress-тестирование подсистем) и HW-spec.

Как тестируют Wifi, GNSS, IQ камеры и прочее железо? Тут NDA, но для любозн. ищите по keywords: Chamber (audio/gps), Light Box/ Black Box.

В общем, про процесс очень кратко расписал. Если (и что) интересно, задавайте вопросы. Завтра по C++, GCC, а то приуныли что-то ;)

Напоследок, пара ссылочек. blog.acolyer.org - автор выделяет интересные с его точки зрения paper и описывает их на plain english

Канал на youtube - PapersWeLove. Авторы наиболее рульных paper приглашаются для презентации своей работы youtube.com/user/PapersWeL…

Всем доброго утра. Буду делиться разным, пишите любые вопросы, комментарии. Касаемо и не очень C++!

Про нас. Юзаем и С и С++. Также есть небольшие части на perl, python. Ну и bash/BAT куда без них. #cpp #cpp11 #embedded

Ядро и все базовое пишется либо на C, либо на C++03 либо C++11. Преобладает уже C++11.

Если что-то кастомное и специфическое для проекта, то пишут на С++14. Сам сижу на С++11.

Свой Code Style, ревью проходит в том числе и на соответствие ему. Не всем по духу, но лучше чем не иметь вовсе.

Для embedded C/C++ советую посмотреть на #MISRA C и MISRA C++ стандарты programmingresearch.com/coding-standar… #cpp

Из С++11 юзаем почти все, кроме atomics, regexp, threads. Любим move semantics, lambda. #cpp11

Для потоков/локов юзаем свою кросс-платформ. имплементацию - там три части: #POSIX (#Linux), #RTOS примитивы и Win

Кстати, по поводу #GDB и удаленной отладки, советую вот эту статью коллеги: habrahabr.ru/post/274179/ #debugging

@backendsecret Поскольку это платный стандарт, коллеги посоветовали глянуть на codingstandard.com/section/index/ #cpp #cpp11

Касаемо шаблонов - пользуем довольно активно, но без фанатизма. Да, variadic template юзаем #cpp #dev

Касаемо шаблонов - если надо скрыть код, приходится явно специализации прописывать в ущерб размеру. Но это редко, сам сталкивался.

Хорошие C++ FAQ лежат тут: isocpp.org/faq github.com/isocpp/CppCore… #cpp

Частые баги/косяки на ревью - инвалидация итераторов, велосипеды когда можно заюзать <algorithm>. Неверная испол. erase/remove идиомы

Сам недав. сглупил - const map в хедере прописал. Хедер включается далеко не один раз ;) Как следствие, копирование и аллокации в разные TU

На некоторых проектах юзаем #PlantUML - для генерации схем и диаграмм. Кстати, весьма удобно для #Doxygen документации.

Плюс #PlantUML в том что он текст. - можно дифы генерить и наблюдать развитие проекта. В vim плагин github.com/aklt/plantuml-… например

Хорошая тема: #const #correctness Ставим везде где reasonable. Дает защиту от изменений + документирование. Bitwise vs. Logical constness

На тему логической vs битовой константности #cpp можно почитать тут isocpp.org/wiki/faq/const…

У комп. есть свои extensions. gcc.gnu.org/onlinedocs/gcc… Чтобы строить ANSI C, напр., можно заюзать '-pedantic' флаг. То есть C99 vs GNU99 #GCC

Да, важный момент! C и C++ - два разных языка. Факт. На эту тему отличнейшая! презен. от Dan Saks youtube.com/watch?v=D7Sd8A…

То что допиливать Open Source приходится, наверное и так понятно. Например: habrahabr.ru/post/249991/ #OpenOCD #baremetal

online compilers: мне нравится godbolt.org, коллега пощупал разные: htrd.su/wiki/zhurnal/2…

Подвожу под более хардкорные вещи. Для начала моя статья (базовое) о memory layout codingfail.com/cpp-internals-… как строить, что на выходе.

Оффтоп: сейчас с вот этим чудом разбираюсь: ATSAMB11 - Cortex-M0. Если есть коллега по "счастью", отзовись ;) Погов… twitter.com/i/web/status/8…

Важно! Есть фичи языка, есть compiler-specific поведение, есть особенности платформы, а есть #ABI (Application Binary Interface)

Если кратко, ABI - low-level интерфейс взаимодействия app и OS: objects aligment/size, functions calling conventions, object files layout

#ABI делится на две "части": общая (generic/common) и Processor Supplement (ps, учитывающая конкретную арх.) - Intel 386 / AMD64

Продолжу по #ABI. System V ABI - является как бы базой которую юзают Linux/BSD и от которой отрастают ps. Не относится к Win.

#ABI. Было довольно гиморно в свое время разобрать что актуальное, что нет и с чего начать и читать так чтобы было последовательно. Ловите:

@backendsecret 1. Generic Old System V ABI :: Generic Part (gABI) --- sco.com/developers/dev…

@backendsecret 2. Latest updates --- sco.com/developers/gab…

@backendsecret 3.1. Intel 386 psABI --- sco.com/developers/dev…

@backendsecret 3.2. Intel 386 psABI supplement --- github.com/hjl-tools/x86-…

@backendsecret 4. AMD64 (x86-64) psABI --- github.com/hjl-tools/x86-…

Читайте, комментируйте, задавайте вопросы! А я все. Завтра будет интересно. Не переключайтесь, я спать.

Напоследок, акки людей на которые стоит подписаться точно: worth reading: @arne_mertz @meetingcpp @supahvee1234 awesome accounts #dev #cpp

@ru_Parallels @habrahabr а вы считали сколько пришло с @backendsecret ?

Да, кстати, всем привет. Сегодня я запозднился из-за работы. И первая ласточка будет вопросом.

Кто нибудь юзал атрибут/секцию ramfunc при работе с #embedded? Интересны реальные кейсы. Нужна чтобы положить функ. из ROM в RAM.

@backendsecret Сам если честно вообще ни разу не юзал. Вроде как TI, IAR и GCC саппортят. Для #ARM можно #Interrupt vector table перекинуть

Старый добрый main, который entry point (на самом деле нет) содержит не только argc и argv, но еще что-то... #cpp #dev

@backendsecret но и не portable, но присутствующий envp (environment) ине очень явный auxv - #ELF #Auxiliary Vectors

С помощью #ELF Auxiliary Vectors процессы получают инфу от ядра: смотрим #VDSO (дальше станет яснее зачем я это упомянул)

Как смотрим зависимости бинарей или либ? ldd -v или readelf -d #linux #cpp #dev pic.twitter.com/oDiZiuigpd

Строим простой C++, смотрим через ldd зависимости. Видим разное. Всякие libstdc++ libm libc пропускаем (C/C++ runtime), а вот дальше круче

@backendsecret libgcc_s - это #GCC имплементит ариф. операции типа умн. или деление + работа с floating points + разное.

@backendsecret /lib64/ld-linux-x86-64.so - собственно, сам ELF линкер (ld.so для a.out). На моей оси ссылка на /lib64/ld-2.21.so

@backendsecret Ну и linux-vdso.so (на некоторых системах linux-gate.so) - инфа бинарю передается через уже упомянутый auxv, а суть в ...

@backendsecret ... уменьшении оверхеда когда app очень часто вызывает какой-гибудь syscall (чаще всего речь о получении тек. времени).

@backendsecret Делается это самим ядром - каждый процесс получает этот виртуальный *.so к себе в память + адреса рандомятся (security)

Пару ссылочек на эту тему: man7.org/linux/man-page… 0xax.gitbooks.io/linux-insides/… #vdso #linux #ld #gcc

Кстати, советую вот эту книгу github почитать - пишет awesome @0xAX 0xax.gitbooks.io/linux-insides/ #linux

Давайте попробуем собрать наш app "каноническими" командами cpp (preprocessor), cc1 (compiler), as (assembler) и ld (loader) #gcc

@backendsecret
#preprocessor: cpp -time -v example.c > example.i
#compiler: cc1 -ansi example.i
#assembler: as --64 -o example.o example.s

@backendsecret #linker ld -dynamic-linker ld-linux-x86-64.so.2 -o example crt1.o crti.o crtbegin.o -lc example.o crtend.o crtn.o

@backendsecret Ну вот и все, на выходе работ. app. Note: пути должны быть верные. Подробнее о последней стадии позже.

Напоследок мысля. undefined behavior типа i = ++i; (ну спрашивали вас такое ведь?) выявлять легко если знать про Sequence Points #cpp

Чуть не забыл. C++ Weekly with Jason Turner youtube.com/user/lefticus1 Выпуски не однотипные и все интересные #cpp

Всем привет. Давайте немного в сторону сегодня. По существующим платам для того чтобы начать играться и изучать мир #embedded

Хочется чего-то универсального? Конкуренцию #Raspberry сложно составить. Третий еще не заказал. Cortex-A53. Ням raspberrypi.org/products/raspb…

@backendsecret Очень давно работал с такой бордой - тоже популярная: beagleboard.org Строил на OpenEmbedded для нее.

Начать просто. Куча tutorial от производителя (точно для Raspberry есть). Читаем, строим, заливаем образ (+ядро) на flash, прошиваемся

Себе недавно купил вот эту железку (Cortex-A9), свободы не супер много. Тот же uboot сложно последней версии взять. starterkit.ru/html/index.php…

@backendsecret @Raspberry_Pi orange pi же, если графика сильно не нужна.

@backendsecret @Raspberry_Pi java для неё в каком состоянии сейчас?

Важно понять чего хочется. Если поиграться, то самый простой и популяр. Если с AV - мощнее + in/out специф. Если экзотики - FPGA борду

А, ну и мой perfecto: parallella.org #FPGA + Cortex. Второй удобен для "позапускать ОСи"

@backendsecret у меня такая, но глубоко не копаюсь. Надо бы ядро пересобрать чтобы LXC заработал, но я пока не знаю… twitter.com/i/web/status/8…

@backendsecret мощный CPU, гиг eth и не на шине usb, 2 Гб ОЗУ и разъем под eMMC (быстро читает и пишет), вот только ядро 3.14

Кстати, очень важный (если не самый) момент - выбор батареи. Понять что это, зачем и как можно тут batteryuniversity.com/learn/

Тви, а кто подскажет плату на которой периферия классная? GNSS, IMU разные (acceler., gyro)? Или строго модулями к сущест. добивать?

@backendsecret начать то ясно. А чем закончить можно?

Для Raspberry можно спокойно тестить на qemu, так как почти все раскопано и зареверс. Один минус - GPU binary blob.

Raspberry интересен наличием GPU, но вроде нет борды с GPU но без закрытых blob'ов.

@backendsecret @astarasikov конечно есть бинарник и всегда можно почитать асм ... как вариант. Касаемо GPU, сталкивались с чем-то похожим?

Попытка сделать open source firware для VideoCore чипа rasp pi news.ycombinator.com/item?id=127429…

@backendsecret не смотрел конкретно rPI. но такая проблема есть много где-что делают стартовые бутлодеры.на многих SoC их и сдампить нельзя.

Кто что думает про Эльбрус? То тут то там ведомственные службы совершают переезд с IBM на Эльбрус.

Для тех кто не в теме: elbrus.ru/arhitektura_el… youtube.com/channel/UC6pnR… (акк разраба)

@backendsecret Обеспечение защищенного исполнения программ на языках С и С++ #cpp mcst.ru/files/511cea/8… страницф 200

Позволю себе немного основ. Дополняйте если что. Обобщенно boot sequence выглядит так (каждая "ступень" может быть опц. либо многосоставной)

@backendsecret microcode (тот самый binary blob) -> bootstrap (bst) -> bootloader (bld) -> user binary (u-boot для дальн. инита, kernel)

@backendsecret И bst и bld могут иметь stages. На одной из стадий инит DDR/SDRAM, на другой может инит network для загрузки очер. бинаря

@backendsecret Специфика у каждой борды/вендора, читаем доки на чип + мануал к борде. Прим. boot sequence для R-Pi: elinux.org/RPi_Software#O…

Ссылочка на неплохой гайд по #GCC от Brian Gough: tfetimes.com/wp-content/upl… также не забываем про gcc.gnu.org/onlinedocs/gcc…

Микро-гайд как отстроить свой kernel, rootfs, cross-toolchain используя (или нет) #buildroot (легко заменяем на аналоги, но принцип тот же).

@backendsecret Кратко, кросс-компиляция: строим компил. (BUILD system) который на HOST сис-ме будет строить для TARGET платформы.

@backendsecret Звучит сложно, но чаще всего BUILD равно HOST. Подробнее на отлич. ресурсе - en.wikipedia.org/wiki/Cross_com…

@backendsecret При исп. buildroot можно отстроить дефолтный кросс-комп., можно добавить внешний (как из репо, так и вручную отстроенный)

@backendsecret Для #ARM я советую оптимизированный и performance-improved от Linaro. linaro.org/downloads/

@backendsecret Разницу между arm-linux-gnueabihf и, напр., aarch64-linux-gnu читаем в оф. FAQ wiki.linaro.org/WorkingGroups/…

@backendsecret Строим кросс-компилятор Linaro с помощью wiki.linaro.org/ABE pic.twitter.com/QhryAf9vpx

@backendsecret Качаем buildroot c buildroot.org/download.html, распаковываем. Строим для, скажем, versatile ARM (arm926).

@backendsecret Надо дать знать ядру и buildroot конфигурацию борды и misc настроек pic.twitter.com/lXhLomQVYi

@backendsecret На выходе, zImage (ядро), и rootfs. Может быть слиш. кратко и непонятно, но пути обозначены. Читаем команды, меняем опции

Подходит к концу моя неделя тут. К сожалению, не успел про многое. Несколько ответов должен. Помню. Отвечу обяз-но. Надеюсь что-то зацепило.

Спасибо @dcromster за предоставленную возможность. Спасибо всем кто был заинтересован. Не забываем подписываться на @gahcep

Напоследок, неоднозначная, но жизненная статья про нас, embedded разрабов. (Автор НЕ я, маты +18) medium.com/russian/%D0%BF…