SentinelMesh

Zero Trust Security Gateway for AI Agents

Comment

💡 Inspirasi

AI agents are becoming capable of doing more than answering questions. They can read emails, process documents, call APIs, control smart-home devices, and take actions on behalf of users.

But this creates a new security problem:

What happens when an AI agent receives a malicious instruction from something it should not trust?

A phishing email, fake administrator, malicious document, SMS, or voice message could manipulate an AI agent into unlocking a door, disabling an alarm, turning off a camera, or changing a device setting.

Dari masalah tersebut lahirlah SentinelMesh, sebuah zero-trust security gateway untuk AI agents yang memastikan setiap tindakan AI diperiksa sebelum dapat memengaruhi dunia nyata.

🎯 Latar Belakang Masalah

AI agents memiliki kemampuan untuk mengambil tindakan secara otomatis, tetapi kemampuan tersebut juga menciptakan risiko baru.

  • AI agent dapat menerima instruksi dari email, SMS, dokumen, atau voice message yang tidak terpercaya.
  • Prompt injection dapat mencoba memanipulasi AI agar menjalankan tindakan berbahaya.
  • Phishing dan social engineering dapat membuat AI percaya bahwa permintaan berasal dari administrator atau pengguna yang sah.
  • AI agent yang terhubung langsung ke perangkat fisik dapat menyebabkan konsekuensi nyata jika melakukan kesalahan.
  • Sistem keamanan tradisional belum dirancang khusus untuk mengontrol AI-generated tool calls.

Masalah utamanya bukan hanya apakah AI dapat mengambil keputusan yang benar, tetapi:

Siapa yang memastikan AI benar-benar diizinkan melakukan tindakan tersebut?

🚀 Solusi yang Ditawarkan

SentinelMesh bertindak sebagai lapisan keamanan antara AI agent dan perangkat yang dapat dikontrolnya.

AI agent tidak pernah berkomunikasi langsung dengan perangkat.

Setiap tool call harus melewati SentinelMesh terlebih dahulu:

Untrusted Content → AI Agent → SentinelMesh → Risk Analysis → Security Policy → Allow / Deny / Block / Human Approval → Device

SentinelMesh kemudian:

  1. Intercept setiap AI tool call sebelum dijalankan.
  2. Menganalisis risiko berdasarkan sumber, konteks, tindakan, dan target perangkat.
  3. Memeriksa security policies yang telah ditentukan.
  4. Memblokir tindakan berbahaya secara otomatis.
  5. Meminta human approval untuk tindakan sensitif.
  6. Mengizinkan tindakan aman yang memenuhi seluruh aturan.
  7. Mencatat security events untuk monitoring dan audit.

Prinsip utama SentinelMesh adalah:

The AI is not trusted just because it is the AI.

🛡️ Attack Lab

Untuk membuktikan cara kerja sistem, kami membuat Attack Lab yang mensimulasikan berbagai serangan terhadap AI agent.

Attack Contoh Ancaman
Phishing Email palsu mencoba membuat AI membuka pintu dan mematikan alarm
Fake Administrator Penyerang menyamar sebagai IT administrator untuk mematikan kamera
AI Social Engineering SMS meyakinkan AI untuk membuka garage
Hidden Prompt Injection Dokumen berisi instruksi tersembunyi untuk membajak AI
Fake Emergency Override Voice message palsu mengaku sebagai petugas pemadam kebakaran
Unsafe Device Command Permintaan eksternal mencoba mengatur thermostat di luar batas aman

⚙️ Cara Kerja SentinelMesh

Setiap tindakan AI menghasilkan sebuah tool call.

Contohnya:

AI Agent
   ↓
"unlock_front_door"
   ↓
SentinelMesh
   ↓
Risk Analysis
   ↓
Policy Check
   ↓
BLOCKED
   ↓
Front Door remains LOCKED

SentinelMesh menggunakan beberapa lapisan perlindungan:

  • Risk Scoring
  • Zero-Trust Policies
  • Prompt Injection Detection
  • Human-in-the-Loop Approval
  • Threat Detection
  • Security Event Logging

Contohnya, sistem dapat menerapkan aturan:

  • Unknown sender tidak boleh membuka front door.
  • External email/SMS tidak boleh langsung membuka perangkat keamanan.
  • AI tidak boleh mematikan alarm tanpa human approval.
  • External request tidak dapat melakukan emergency override.
  • Camera tidak dapat dimatikan oleh external request.
  • Thermostat harus tetap berada pada rentang aman 16–28°C.
  • Tool call dengan indikasi prompt injection yang kuat dapat langsung diblokir.

🤖 Penggunaan AI

SentinelMesh menggunakan OpenAI GPT-5.4-mini sebagai AI agent dalam demonstrasi.

AI agent diberikan kemampuan untuk berinteraksi dengan simulated smart-home environment.

Namun, AI tidak memiliki akses langsung ke perangkat.

Setiap tindakan AI terlebih dahulu dikirim ke SentinelMesh untuk dianalisis dan divalidasi.

Dengan pendekatan ini, AI tetap dapat bertindak secara otomatis tetapi berada di bawah security boundary yang dapat ditegakkan secara deterministik.

🏠 Simulated Smart Home

Demo SentinelMesh menggunakan beberapa perangkat virtual:

  • 🔒 Front Door
  • 🚗 Garage
  • 🚨 Alarm
  • 📹 Security Camera
  • 💡 Lights
  • 🌡️ Thermostat

Dashboard menampilkan status perangkat secara real-time serta menunjukkan bagaimana setiap AI action diproses oleh SentinelMesh.

📊 Monitoring & Security Dashboard

SentinelMesh menyediakan dashboard untuk melihat:

  • Jumlah threat yang terdeteksi
  • Jumlah action yang diblokir
  • Human approval requests
  • Safe actions yang berhasil dijalankan
  • Risk timeline
  • Security event logs
  • Live interception trace
  • Zero-trust policies

Demo juga menunjukkan perbedaan antara tindakan trusted dan tindakan yang berasal dari sumber eksternal yang mencurigakan.

🔄 User Flow Aplikasi

  1. AI agent menerima informasi dari user atau external content.
  2. AI menganalisis informasi dan menghasilkan tool call.
  3. Tool call dikirim ke SentinelMesh.
  4. SentinelMesh melakukan risk analysis.
  5. Sistem memeriksa zero-trust security policies.
  6. Jika aman, action diizinkan.
  7. Jika berisiko, action dapat ditolak atau diblokir.
  8. Untuk tindakan sensitif, sistem meminta human approval.
  9. Hanya action yang lolos security checks yang dapat mencapai simulated device.
  10. Semua aktivitas dicatat dalam security event log.

🛠️ Teknologi yang Digunakan

  • AI: OpenAI GPT-5.4-mini
  • AI Agents: Autonomous tool-calling agent architecture
  • Security: Zero-trust security model
  • Threat Detection: Risk scoring dan security policy evaluation
  • AI Security: Prompt injection detection
  • Human-in-the-Loop: Approval system untuk tindakan sensitif
  • Frontend / Dashboard: Web-based interactive interface
  • Deployment: Vercel

📚 Yang Kami Pelajari

  • AI agent security membutuhkan pendekatan yang berbeda dari aplikasi tradisional.
  • AI sebaiknya tidak menjadi satu-satunya pihak yang menentukan apakah sebuah tindakan aman.
  • Risk scoring dan deterministic policies dapat digunakan bersama AI untuk meningkatkan keamanan.
  • Prompt injection bukan hanya masalah output AI, tetapi dapat menjadi masalah ketika AI memiliki kemampuan untuk mengambil tindakan.
  • Human approval tetap penting untuk tindakan dengan dampak tinggi.
  • Autonomous AI membutuhkan batasan yang jelas ketika terhubung dengan dunia nyata.

🧗 Tantangan

  • Mendesain sistem agar AI tetap dapat melakukan tindakan berguna tanpa mendapatkan akses tidak terbatas.
  • Membedakan antara legitimate requests dan malicious instructions.
  • Membuat attack scenarios yang realistis untuk mensimulasikan phishing, social engineering, dan prompt injection.
  • Menentukan kapan sebuah action harus allowed, denied, blocked, atau membutuhkan human approval.
  • Membuat security policies yang cukup ketat untuk mencegah serangan tetapi tidak membuat AI menjadi tidak berguna.
  • Menyelesaikan prototype dan interactive attack lab dalam waktu hackathon yang terbatas.

💡 Inovasi

Kebanyakan sistem keamanan berfokus pada melindungi user, application, API, atau network.

SentinelMesh berfokus pada security boundary baru:

AI Agent → Real-World Action

Setiap tindakan yang dibuat AI diperlakukan sebagai sesuatu yang harus diverifikasi terlebih dahulu.

Dengan menggabungkan:

AI Agent + Risk Scoring + Zero Trust + Prompt Injection Defense + Human Approval

SentinelMesh menciptakan security gateway khusus untuk era autonomous AI.

🌍 Dampak

Konsep SentinelMesh dapat digunakan bukan hanya untuk smart homes, tetapi juga untuk sistem yang lebih kompleks seperti:

  • Smart buildings
  • Industrial automation
  • Robotics
  • Enterprise AI agents
  • IoT systems
  • Cloud infrastructure
  • Autonomous systems

Semakin banyak kemampuan yang diberikan kepada AI agent, semakin penting pula adanya security layer yang mengontrol tindakan tersebut.

🔮 Selanjutnya

  • Integrasi dengan perangkat IoT dan smart-home nyata.
  • Authentication berbasis hardware key dan cryptographic identity.
  • Policy engine yang lebih fleksibel untuk perusahaan.
  • Behavioral monitoring untuk mendeteksi AI agent yang mulai bertindak tidak normal.
  • Integrasi dengan enterprise AI agents dan APIs.
  • Multi-agent security untuk mengontrol komunikasi antar AI agents.
  • Real-time security monitoring dan alerting.
  • Dukungan untuk berbagai AI models dan agent frameworks.

🎯 Visi Kami

AI agents akan semakin banyak mengambil keputusan dan melakukan tindakan di dunia nyata.

Kami percaya masa depan AI tidak seharusnya memilih antara autonomy dan security.

Dengan SentinelMesh:

Let AI act. But never let AI act without a security boundary.

Built With

  • artificial-intelligence
  • human-in-the-loop
  • iot
  • javascript
  • risk-scoring
  • security
  • threat-detection
  • zero-trust-security
Share this project:

Updates

Submission history