Inspiration
Sterowanie domem za pomocą rozpoznawania głosu (np. Asystent Google) jest obecnie bardzo popularne. Co natomiast w przypadku gdy ktoś tego głosu nie chce lub nie może użyć? Sytuacji może być wiele. Najbardziej oczywistą są ludzie niemi. Ale także zawody które pracują regularnie głosem po całym dniu pracy mogą woleć machnąć do kamery ręką zamiast wydawać głosowo polecenia. W codziennym życiu każdej osoby jest także wiele sytuacji gdzie rozpoznawanie gestów ma znaczną przewagę nad rozpoznawaniem głosu. Przede wszystkim może być hałas w mieszkaniu (czy to z powodu remontu u sąsiada czy zwyczajnych prac domowych jak odkurzanie), albo ktoś inny może np. Z kimś rozmawiać co zakłóci rozpoznawanie mowy.
What it does
Celem projektu było użycie kamery wraz z technologią rozpoznawania gestów w technologii IoT. W domu mogą być w różnych miejscach umieszczone Raspberry pi zero (lub inny mikrokontroler) z pre-trained modelem rozpoznającym dłonie. Następnie dane są po sieci lokalnej wysyłane do komputera sterującym oświetleniem drzwiami albo sprzętem AGD. Sieć takich urządzeń umożliwia stworzenie prostego systemu do sterowania urządzeniami IoT bez konieczności używania jakiegokolwiek sprzętu na potencjalnym użytkowniku.
How we built it
Napisaliśmy aplikację na komputer w języku python (którą można prosto przenieść na RPi) która może wysyłać lub odbierać pakiety z pozycją dłoni względem kamery. Program ma też możlwisoć wysyłanie komend za pomocą USB do arduina które może sterować fizycznymi elementami takimi jak Serwami diodami lub przekaźnikami
Challenges we ran into
Słaba przepustowość sieci wifi w miejscu organizacji hackatonu oraz wolny python który nie wyrabiał z przetwarzaniem danych na czas
Accomplishments that we're proud of
Jesteśmy dumni z tego że udało nam się osiągnąć większość naszych celów i zbudować wersję którą można łatwo przenieść na faktyczną instalacje ktora mogłaby się znaleźć w czyimś domu.
What we learned
Nauczyliśmy się sieciowych protokołów komunikacyjnych oraz praktycznego zastosowania ML w codziennym życiu.
What's next for Hand Something
Następnym krokiem jest połączenie danych z wielu kamer w celu polepszenia jakości rozpoznawania dłoni oraz możliwość uczenia sieci własnych gestów oraz ich korekcja “w biegu”
Log in or sign up for Devpost to join the conversation.