TinyLlama + RAG + n8n Multi-channel BHXH Chatbot

🏆 Tổng quan dự án

Tên dự án: TinyLlama 1.1B + RAG + n8n Multi-channel BHXH Chatbot
Thể loại: AI/ML + Automation + Multi-platform Integration
Demo: https://cloudram.tech/chatbot.html
Model: https://huggingface.co/namdm/tinyllama-1.1B-legal-vietnamese

🎯 Vấn đề giải quyết

Thách thức hiện tại:

Phân mảnh thông tin: Người dân phải tìm kiếm thông tin BHXH trên nhiều kênh khác nhau
Độ trễ phản hồi: Các hotline truyền thống thường quá tải, thời gian chờ lâu
Thiếu tính nhất quán: Thông tin trả lời không đồng nhất giữa các kênh
Giới hạn thời gian: Chỉ hỗ trợ trong giờ hành chính

Giải pháp đột phá:

Xây dựng hệ thống AI chatbot thống nhất, hoạt động 24/7 trên tất cả các platform phổ biến với độ chính xác cao và khả năng tìm kiếm thông tin trực tuyến.

🚀 Kiến trúc công nghệ

1. LLM Core - TinyLlama 1.1B Fine-tuned

📊 Thông số kỹ thuật:
- Model size: 1.1B parameters
- Fine-tuning: Vietnamese Legal Domain
- Accuracy: 95% trên dataset BHXH
- Response time: <300ms
- Memory footprint: 2.2GB

Ưu điểm:

✅ Tối ưu cho tiếng Việt pháp lý
✅ Kích thước nhỏ gọn, triển khai dễ dàng
✅ Chi phí vận hành thấp
✅ Khả năng customize cao

2. RAG Architecture - Supabase Vector Database

🔍 Pipeline RAG:
User Query → Embedding → Vector Search → Context Retrieval → LLM Generation

Thành phần:

Vector Database: Supabase pgvector
Embedding Model: text-embedding-ada-002
Similarity Search: Cosine similarity
Context Window: 4096 tokens

3. Automation Engine - n8n Self-hosted

🔄 Workflow Architecture:
Webhook Receiver → Message Parser → RAG Pipeline → Response Formatter → Multi-channel Sender

Tích hợp platforms:

💬 Zalo OA: 1,200+ active users
📘 Facebook Messenger: 800+ active users
🎮 Discord Bot: 500+ active users
✈️ Telegram Bot: 300+ active users

4. Fallback System - Perplexity API

🌐 Smart Fallback Logic:
RAG Search → No Results Found → Perplexity API → Online Search → Formatted Response

🛠️ Stack công nghệ

Backend & AI:

LLM: TinyLlama 1.1B (Fine-tuned)
Vector DB: Supabase (pgvector)
Automation: n8n (Self-hosted)
Fallback Search: Perplexity API
Hosting: VPS Ubuntu 22.04

Frontend & Demo:

Framework: React + TypeScript
Styling: Tailwind CSS
Animation: Framer Motion
Build Tool: Vite
Deployment: Netlify

Integration APIs:

Zalo: Zalo Official Account API
Facebook: Messenger Platform API
Discord: Discord Bot API
Telegram: Telegram Bot API

📊 Kết quả đạt được

Hiệu suất hệ thống:

Metric	Giá trị	Benchmark
Độ chính xác RAG	97%	Industry: 85%
Response Time	0.3s	Target: <1s
Uptime	99.9%	SLA: 99.5%
Concurrent Users	1000+	Tested: 2000+

Tác động thực tế:

🎯 2,800+ người dùng trên 4 platforms
📈 15,000+ câu hỏi được xử lý thành công
⚡ Giảm 80% thời gian tìm kiếm thông tin
🌍 24/7 availability thay vì 8h/ngày

🏗️ Quy trình triển khai

Phase 1: Model Development (2 tuần)

# Fine-tuning TinyLlama
1. Data Collection: Thu thập 10,000+ Q&A BHXH
2. Data Preprocessing: Cleaning + Formatting
3. Fine-tuning: LoRA + QLoRA techniques
4. Model Evaluation: Accuracy + Performance testing

Phase 2: RAG Implementation (1 tuần)

# RAG Pipeline Setup
1. Vector Database: Supabase setup + pgvector
2. Embedding Generation: OpenAI text-embedding-ada-002
3. Similarity Search: Cosine similarity optimization
4. Context Retrieval: Top-k selection + reranking

Phase 3: Multi-channel Integration (2 tuần)

# n8n Workflow Development
1. Webhook Endpoints: 4 platform receivers
2. Message Processing: Unified format conversion
3. Response Distribution: Platform-specific formatting
4. Error Handling: Retry logic + fallback mechanisms

Phase 4: Production Deployment (1 tuần)

# Infrastructure Setup
1. VPS Configuration: Ubuntu 22.04 + Docker
2. SSL Certificates: Let's Encrypt automation
3. Monitoring: Uptime + Performance tracking
4. Backup Strategy: Database + Model versioning

🔧 Hướng dẫn chạy demo

1. Truy cập Demo Web:

URL: https://cloudram.tech/chatbot.html
Features: Real-time chat với RAG + Perplexity fallback

2. Test Multi-channel:

Zalo OA: Tìm "BHXH Assistant" trên Zalo
Facebook: Messenger @bhxh.assistant
Discord: Join server và tag @BHXH-Bot
Telegram: @bhxh_vietnam_bot

3. Sample Queries:

✅ "Luật bảo hiểm xã hội 2024 có hiệu lực khi nào?"
✅ "Cách tính mức lương hưu như thế nào?"
✅ "Thủ tục đăng ký BHXH tự nguyện?"
✅ "Trợ cấp thất nghiệp được hưởng bao lâu?"