Как се печели Grand Stevie® – Scalefocus за иновацията SoundVision, която променя живота на незрящите

*Текстът е предоставен от Scalefocus

Преди 2 месеца на Stevie® Awards – едни от най-престижните бизнес награди в света, се случи нещо безпрецедентно. В категория Healthcare Technology Solution не само златото, но и ексклузивното Grand Stevie®, което се връчва на една шепа лауреати, отиде за първи път при компания от България – IT компанията Scalefocus.

Продуктът, който заслужи изключителното признание, се казва SoundVision и представлява иновативно решение, което комбинира хардуерно устройство с мобилно приложение и самообучаваща се ML-услуга за разпознаване на обекти, за да помага на хората с увредено зрение да водят по-пълноценен и независим начин на живот. Проектът е поредно постижение на Scalefocus, което доказва тяхната експертиза в сферата на здравеопазването, а срещата с Николай Шекеров (Портфолио Мениджър) и Боян Мошелов (Проектен Мениджър) ни даде шанса да разберем всичко по-важно за SoundVision.

„Проектът SoundVision е интересен с това, че започна с вътрешно обсъждане на идеи за иновации, което се случи по време на един хакатон“, разкрива Ники. „Това е и идеята, която спечели хакатона. След това компанията се ангажира с търсене на финансиране на идеята, вдъхновена от начина, по който китовете се ориентират с ехолокация под водата. Първата презентация, която направи авторът на идеята, беше с кашалоти.“

Не всичко обаче тръгва по вода и минава около година преди Scalefocus да намерят финансиране и партньори за изпълнение на проекта. Сред партньорите е реномираният Норвежки Компютърен Център (където е измислено обектно-ориентираното програмиране), а към тях се присъединява и най-големият норвежки магазин, специализиран в продукти за хора с увредено зрение. Финансирането идва от програмата за иновации Norway Grants, а партньор в България е асоциацията на хора с увредено зрение Синергиа.

„Норвежкият Компютърен Център ни помогна с ML моделите, които използваме за разпознаване на обекти“, продължава Ники. „През връзката с мобилното приложение, което сме разработили, могат да се разпознават обекти, да се различават различни продукти и валути, да се чете текст, който потребителят с увредено зрение да чува.“

А в какво се състои цялото решение? Хардуерното устройство е с размера на малко фенерче. То предоставя основни функционалности, например измерване на дистанция или разпознаване на цвят. Меренето на осветеност също е много важно – един напълно незрящ човек не знае кога лампите са светнати и често плаща много повече ток, защото не ги гаси с месеци. Също така може да се използва за компас – когато човек с увредено зрение ползва Google Maps и му се каже да се обърне на северозапад, това не му говори нищо. Устройството му помага да се ориентира и след това да следва инструкциите.

„Разбрахме, че трябва да сме независими от конкретен модел на смарт устройство, върху което се използва приложението, защото всички устройства работят различно добре в зависимост от това с какъв телефон ги използваш“, продължава Ники. „Оттам валидирахме нуждата да има отделно хардуерно устройство, понеже там знаеш с какви сензори работиш и как да обработиш данните от тях, за да дадеш правилната информация на потребителя.“

“Телефоните използват компас, за да се ориентират, но е много важно каква марка и какъв модел е телефонът, защото частите им са различни“, включва се и Боян. „Това е проблем, с който се сблъскахме в хода на разработката и е валиден при Android, но не и при iOS, защото там частите са по-универсални. Също така в процеса на работа установихме, че за измерване на дистанция лидарът е оптималното и най-удобно за потребителя решение. Разбира се, мощността му е прекалено ниска, за да предизвика смущения в други устройства.“

Вторият компонент от решението е мобилното приложение, което предоставя още повече функционалности. През мобилното приложение са достъпни всички функционалности, които се предоставят от този ML engine за разпознаване на обекти, валути и т.н. Друга ключова функционалност е навигацията в затворени пространства. Отклоненията, които GPS-ът дава в такава среда, налагат повече експерименти и добавяне на функционалност за ориентиране, базирана на Bluetooth beacons.

„Колегите имплементираха технологията с Bluetooth beacons, които ползват триангулация, за да те водят в пространството“, разяснява Боян. „Целият офис беше снабден с такива Bluetooth beacons и си мислехме, че ще бъде лесно – просто пишем кода и оттам нататък той те води на база триангулация. Оказа се обаче, че от огромно значение е начинът, по който е построена сградата. Прозорците и вратите спираха сигнала и това беше сред предизвикателствата, които преодоляхме, за да постигнем оптимална точност на триангулацията.“

Предизвикателствата не се изчерпват само с функционалността за навигация в сгради, както дава да се разбере и Николай Проданов, iOS Technology Team Lead: „При iOS е относително лесно да направиш приложението използваемо за незрящи. Предизвикателството беше менютата и функционалностите да бъдат изговаряни при заключено приложение. Това го постигнахме с допълнителен гласов помощник, който синхронизирахме с вграденото API.

Друг проблем се оказа комуникацията и непрекъснатият обмен на команди между bluetooth устройство и мобилен телефон. Решихме да ползваме реактивния подход посредством Combine Future Publishers, за да менажираме по-коректно потока от команди. Нуждата от контрол на приложението чрез джойстика на bluetooth устройството при заключен мобилен телефон беше друго предизвикателство. За целта имплементирахме Background режим със State машина, за да репликираме навигацията на приложението и да навигираме в него.“

„За разпознаване на силата на светлината, когато приложението не е свързано към устройството, използвахме задната камера на телефона и CameraX API“, намесва се и Боян Лозановски, Android Software Engineer. “Деактивирахме всички автоматични настройки на камерата и настроихме ръчно чувствителността и стойностите на излагане на сензорите. Целта ни беше да постигнем максимална разлика в яркостта на уловените изображения в помещението при различно осветление. Стойността на яркостта след това се извежда в звук, там си поиграхме с честотите на звука в background-a. Освен звука използвахме и персонализирания изглед, за да покажем същата информация в прост визуален формат. За да направим прехода между различните размери по-гладък, ние анимирахме тези промени, като калкулирахме в реално време колко кадъра анализираме в секунда, като продължителността на анимацията се променя динамично.“

SoundVision може да се похвали и с комплекти за разработка на софтуер SDK, които позволяват интеграция с други външни решения. Това означава, че екосистемата е отворена и позволява в следваща фаза, когато се пристъпи към масово производство, да се използва връзка с други готови приложения и външни ML енджини. Това дава възможност на външни разработчици, които имат желание да допринесат към разнообразието от услуги, да го направят сравнително свободно.

„Идеята идва отвътре, от хората. Това прави проекта различен“, обобщава Ники. „Ние като компания сме подкрепили тази идея, намерили сме финансиране и даваме възможност на хората да работят по нещо, което е интересно, различно и идва от техните идеи. Наистина научихме страшно много, открихме един нов свят. Вече правим разлика между хора, които са се родили незрящи, и хора, които са се родили със зрение, но след това са го загубили. Всъщност по-голямата част от нашата целева група е с увредено зрение, не са напълно незрящи, имат нужда от частична помощ, а не пълна. Много е важно, че успяхме да работим по наши идеи за нещо, което би имало голямо обществено влияние и значимост, нещо важно, благородна кауза.“

Проучванията на конкурентни производители показват, че като цялостно решение – комбинация на устройство с мобилно приложение, SoundVision е без аналог по брой и диапазон на функционалности и възможности.

“На всички в Scalefocus ни се иска да видим SoundVision като продукт на пазара. За целта е необходимо да намерим партньор, който да се заеме с масовото производство и дистрибуция. Ние разработихме решение, което е достъпно и може да има разумна цена за крайния потребител, за разлика от други подобни решения. Целевата стойност е няколко десетки евро, като естествено цената пада драстично спрямо произведените бройки. Когато се произведат хиляди, цената ще бъде много, много по-ниска и ще ни позволи и използването на още по-добри сензори и други компоненти“, завършва Ники.

Норвежките партньори на Scalefocus вече заявиха, че SoundVision ще бъде изтъкнат като добър пример пред Европейската Комисия и един от най-знаковите проекти, финансирани от Norway Grants. Успешното изпълнение е нещо, което не се случва с всеки проект, особено при R&D проекти и най-вече такива, в които са ангажирани университети и хора на науката, които са с доста по-ниска бизнес дисциплина и не толкова търговски ориентирани. Но за компания с бизнес опита на Scalefocus е нормално да се поставят цели, които се изпълняват и да се предоставят завършени продукти и услуги със световно качество. Международното признание, което носят престижни награди като Grand Stevie®, е поредното доказателство в подкрепа на това твърдение, а ние сме сигурни, че иновациите, които подобряват качеството на живот на хората, няма да приключат със SoundVision.