Всем привет! На этой неделе с вами @mogilnikov. Занимаюсь разработкой давно, приходилось писать продакшн код на Delphi, С#, Erlang и Ruby.

Работаю в компании Artec (artec3d.com), где занимаюсь софтом и облаками для сканеров.

Последние 1,5 года был вынужден переключиться на менеджмент, но скоро это кончится и я вернусь обратно на Светлую Сторону, в разработку.

Сегодня я расскажу про то, как устроено 3D-сканирование и связанные с ним технологии. Интересно?

Вот для затравки ролик как чуваки отсканировали микроавтобус: youtube.com/watch?v=XfQx4J…

Зачем нужно 3D-сканирование? Кратко: оцифровка объектов реального мира, чтобы затем с ними работать "в цифре". Применяется очень много где.

Немало голивудских блокбастеров сделаны с артековскими сканерами, Terminator: youtube.com/watch?v=bB8KO6…, Jurassic Wrd: youtube.com/watch?v=jfcqQf…

Парк Юрского Периода: youtube.com/watch?v=jfcqQf…

Археология: artec3d.com/cases/archeolo… artec3d.com/cases/homo-nal…, Архитектура, сохранение культурного наследия: youtube.com/watch?v=fyhkkt…

Медицина youtube.com/watch?v=DgyPx4…, реверс-инжиниринг, криминалистика, контроль качества: youtube.com/watch?v=dyqlY6…

Ну и люди, конечно: youtube.com/watch?v=4GiLAO…

Короче говоря, применения широчайшие. Уже понятно, что скорее всего связка VR + 3D printing + 3D scanning - это The Next Big Thing.

И там топчатся практические все крупные компании. Из этой тройки VR и 3D printing уже становятся массовыми, но 3D scanning еще нет, т.к...

хорошие сканеры пока еще слишком дороги. Но и тут есть прогресс, скоро 3D сенсоры будут в массовых ноутах и планшетах.

Такое случается, каждый год на радарах появляется 3 - 4 новых языка, мало кто выживает.

Как устроены оптические 3D-сканеры. Вот тут есть картинка: artecgroup.zendesk.com/hc/en-us/artic…. На сканере расположены: 1) проектор, проецирующий ...

специальный паттерн на объект; 2) камера, которая снимает текстуру (цвет), вспышка чтобы текстура была хорошо освещена;

3) камера, которая снимает объект, на который спроецирован паттерн

На выходе работы сканера множество картинок (сотни, тысячи, десятки тысяч), на которых видно спроецированный паттерн.

Глазами паттерн почти никогда не видно, т.к. он проецируется импульсно и виден только в течении 50мс.

Софт по искажению паттерна вычисляет «глубину» объекта в каждой точке на почти каждой фотографии. Исходя из этого получается «облако точек».

Это множество точек в 3х-мерном пространстве, которые задают поверхность объекта. Затем по этим точкам восстанавливается сама поверхность

И затем она текстурируется (раскрашивается). Если интересно, то тут процесс подробнее: youtube.com/watch?v=al7hVk…

Данных много, алгоритмы сложные (С++ / CPU + GPU), поэтому для большой модели обсчёт может идти часами.

Продукт, в котором все это делается называется Artec Studio artec3d.com/software/artec…, это десктопный клиент, написанный на С++.

Собственно, разработкой последней версии Студии я руководил как менеджер :)

Кстати, можно взять бюджетный сенсор, например Intel RealSense и при помощи Студии получить модель дома. Можно использовать даже MS Kinect.

Если у вас дома есть Kinect, то можете попробовать воспользоваться такой штукой (shapify.me/scan-at-home) и отсканировать себя.

Качество будет так себе, т.к. дешевые сенсоры. Только пожалуйста не сканируйтесь голым.

Модель обсчитывается в облаке и наши модераторы постоянно вычищают оттуда обнаженку, пожалейте их 😃

Казалось бы, сканеры довольно простая штука. Но не все так просто. Например Spider имеет точность (artec3d.com/artec-spider) 50 микрон.

Если взять ж/д рельсу длиной 2м и нагреть её всего на 3 градуса, то сканер увидит изменение длины в результате теплового расширения.

Теперь представьте на сколько это сложно: сканер держит человек в руках (дрожат), сам сканер довольно сильно греется при работе (вспышка),

даже дорогая оптика вносит искажения, параметры электроники «плывут». Т.о. образом современные hi-end сканеры - это такой суровый хайтек

Самая важная часть которого - алгоритмы. Поэтому их берегут как зеницу ока и всячески защищают от дизассемблирования и реверс-инжиниринга.

А чего все молчат? :) Смежные ИТ темы не очень интересны? Завтра будет про то, как устроен бэкэнд.

@backendsecret очень интересно. просто я даже не знаю, какие вопросы задавать, флуди побольше этим всем.

%username%, а тебе интересно послушать и поговорить с организатором конференций PyCon, RailsClub, FPConf? Бывал тут кто-нибудь на них? :)

Расскажу про Shapify, это кабины для сканирования человеков shapify.me. В кабину заходит человек и его сканируют за 15 секунд.

Через через 10-15 минут, человек получает превью модели на сайте, может выбрать размер, подставку и отправить на печать.

Потом получает по почте фигурку себя, напечатанную на 3D-принтере. Кабина генерирует 2-3 Гб исходных данных.

Они сжимаются до 20-30 Мб, бьются на чанки и загружаются через REST HTTP API (Rails) на сервер. Рельсы складывают все в S3 и запускают

Delayed::Job’ы, которые распаковывают данные, проверяют целостность, готовят WebGL плеер для просмотра модели. Дальше уходит задача RMQ.

Длина очередей репорится через CloudWatch и в зависимости от нее AutoScaling, запускает или останавливает воркеры. Интересные моменты:

Мы очень активно используем spot-инстансы aws.amazon.com/ru/ec2/spot/ и сервера с мощными граф-картами (g2.2xlarge).

С балансировкой есть нюансы, один воркер тратит на обработку запроса примерно 40 минут, а нагрузка резко выраженная пиковая.

Языки: Ruby, C#, C++, хранилища: S3, MySQL, Postgres. Спрашивайте, если интересно что-то ещё :)

Сейчас в системе полные сканы примерно 30 000 человек. Это уникальный на мировом уровне набор данных, больше ни у кого такого нет.

Мы с ними делаем всякий хитрый ML, чтобы улучшать сканирование людей.

Если интересно про WebGL и 3D-графику в вебе, то можно поспрашивать красавицу и умницу @Lik04ka , у ней сегодня день рождения. Поздравляем!

@backendsecret pic.twitter.com/7FKhbLxIAS

Если интересно как выглядит человек в 3D, то вот я в январе сканировался в Люксе: sketchfab.com/models/efe044a…

@backendsecret Сейчас работаем над стримингом видео с картами глубины (с кинекта прямо сейчас, хотим ещё software.intel.com/ru-ru/realsens… добавить)

Сегодня про PyCon Russia 2016 pycon.ru/2016/. Эту крупнейшая конференция по питону в России. Раньше проходила рядом с Екб, но

переехала в «Москву». Мне очень нравится выездной формат: за городом, когда можно взять семью или пару и совместить конфу и отдых.

Вчера выложили видео всех докладов с Pycon Russia 2016: youtube.com/playlist?list=… Угадаете какой доклад самый крутой по оценке участников? :)

И самый крутой доклад Pycon: "Знай и люби свой CPython во имя луны и великой справедливости» от Александра Кошкина youtube.com/watch?v=0_5_zE…

Не знаю как вы, но я был удивлен. Я бы поставил на Реймонда Хеттингера.

На втором месте по крутости Raymond Hettinger «Thinking about Concurrency» youtube.com/watch?v=Bv25Dw…

Реймонд - Python core developer и он очень-очень крутой. Давно в программировании, был когда-то даже членом комитета по стандартизации C++.

Он приехал с семьей (женой и сыном) на месяц (!). Посетили Москву, Суздаль (!), Сочи, Питер. Устроил себе семейный трип в мазер раша.

Твиттер Реймонда Хеттингира - @raymondh, если вы питонист, то стоит фолловить :)

На третьем месте Martin Gorner из Гугла: "Tensorflow and deep learning, without a PhD» youtube.com/watch?v=sEciSl…

Реймонд ещё провел мастер-класс «Descriptors and Context Managers», который получил восторженные отзывы.

Мастер-классы не записывали. Может кто-то из читателей был на нем и может рассказать?

Реймонд за ужином рассказывал, что когда он был молод, пришел на одну IT-конференцию, где выставлялись всякие гранды типа IBM.

Там был подвальчик для тех, кому не хватило денег на стенд. Он туда зашел и увидел пару человек за столом и картонкой, на которой было

написано название компании, рукой, т.к. этим даже на табличку денег не хватило. И он там поболтал с патлатым юнцом про их Бейсик.

На табличке было накарябано «Microsoft», а это был Билл :)

Когда я встречал докладчиков, чтобы посадить их в автобус до базы, мне подумалось что нужно надеть что-нибудь яркое, привлекающее внимание.

Решил, что это будет лучшем вариантом чтобы встретить питонистов :) pic.twitter.com/znxtJPLRsd

Я лично серверный JS не одобряю, не для серверов этот язык. Но, может я старый пердун, который ничего не понимает?

Ребята, а вот те, кто хочет выпилить, не могли бы в в реплаях отвечать почему? С другими-то вариантами все ясно.

Как у Толстого, все счастливые семьи счастливы одинаково, несчастливые каждая по своему. Хочется понимать почему. :)

К слову об умирающих языках, может кто-то на dart'е пишет? Помните такой был у гугла?

@backendsecret знакомый пишет и фанатеет от него)

@backendsecret недавно на HolyJS выступал докладчик, который говорил, что Dart еще жив

@backendsecret сам виноват, надо было выпустить ВСЕХ миньонов с мухобойками (читай: оркестр контейнеров докера), тогда забороли бы проблему.

Я тут уговариваю @vorona_karabuta сделать конференцию по Rust в России. А она говорит: «Rust - не нужен». Что на конференцию никто не пойдет

И докладчиков не будет, т.к., ну он же не нужен :)

В связи с этим чуть более серьезный вопрос, интересен ли вам Rust и пойдете ли вы на конференцию по нему.

Кстати, на грядущий RailsClub приедет Клабник, он один из разработчиков Раста. Так что можно будет поболтать с ним. railsclub.ru/en/main.html

А кто-нибудь писал продакшен на Расте? Как вам? Мучения с компилятором и лайфтаймами не мешают?

@backendsecret либу на 5000 строк для рубишного проекта писал. за 2 недели дня не прошло без нервных срывов "да ну его в баню напишу на си"

@backendsecret снова-таки знакомый (уже другой). после пары дней мучений забил и переписал за пару часов на плюсах.

@backendsecret не нашел применения :(

@backendsecret Пользую серверный JS под предлогом «Сейчас быстро накидаю, а как упрётся, перепишу на другом языке». Ни разу не упёрлось ещё.

@backendsecret @vorona_karabuta злая она. Так ей и передай.

Пора прощаться. Всем спасибо за внимание! С вами был @mogilnikov и немного @vorona_karabuta. Надеюсь, удалось вас немного развлечь без спама

А то обычно в подобных твиттерах на сотый раз обсуждают хороший код, инструменты и прочее :)

На этот раз зарезали мою идею про конференцию по Расту - отличный практический результат 😀