Blockbrain

Tests de distribución con unos nodos de prueba desplegados en AWS

Inspiration

Las empresas actualmente están cada más integrando IA predictiva para predicción de tendecias o eventos en los procesos operativos en el que la confidencialidad de los datos es relevante, por ejemplo, ventas, mentenimiento de equipos industriales, salud, finanzas, etc. Sin embargo, desplegar este tipo de modelos de IA en la nube, acarrea problemas de seguridad de la información y consumo de recursos computacionales aumentando los costos y la de huella de carbono de la IA.

What it does

Ejecuta el modelo de IA (Deep Learning) previamente entrenado y distribuido en una red de nodos desplegados tanto en la nube ICP que es donde se coordina la distribución y se asegura la inmutabilidad y privacidad de la información; tanto desplegados localmente utilizando tecnologías edge como raspberry pi, a fin de optimizar el despliegue de los modelos en un hardware de ultra bajo consumo y otorgar un incentivo económico a los propietarios de los mismos que decidan unirse a la red para prestar sus servicios de procesamiento y memoria.

How we built it

Utilizando la infra de ICP para alli llevar a cabo la planificación de la distribución de los modelos y la distribución en sí, donde se gestiona la disponibilidad de los nodos que forman parte de la red de una forma dinámica. Los nodos locales son scripts programados en Python, que están a la escucha de las órdenes que reciban del cánister coordinador en la red ICP. Los clientes que desean consumir de un modelo de IA desplegado en Blockbrain, deben hacer uso de un endpoint el cual estaría llamando a los procesos de ICP.

Challenges we ran into

Para poder distribuir un modelo de IA es necesario desarrollar un conversor de modelo creados con TensorFlow o Pytorch para obtener un json que sea entendido por el proceso de ICP correspondiente, para que esto sea posible es necesario comprender la arquitectura y el funcionamiento de los diferentes tipos de modelos de Deep Learning. Posteriormente, se debe desarrollar una serie de criterios de distribución que permitan encontrar la óptima forma, es decir la distribución que obtenga el menor tiempo de predicción. Todos estos aspectos coherentemente codificados en el canister haciendo uso de Rust representan también un reto.

Accomplishments that we're proud of

La reducción de costos para correr el modelo de IA al usar dispositivos más pequeños, haciendo también posible que se reduzca el impacto de la huella de carbono.

What we learned

Por medio de la distribuición, se pueden correr modelos de una forma más eficiente in situ sin necesidad de estar enviando toda la información a la nube, y asegurando la privacidad de los datos.