Gate & Ledger: End-to-End Agentic Cinema Pipeline

An 11-stage agentic film pipeline enforcing ClickHouse invariant gates from script breakdown and 5-pose asset passports to Veo video generation, ACEScc color, and DCI master.

Comment

Inspiration

Membuat video dengan generative AI sering kali berakhir dengan masalah besar: inkonsistensi visual (visual drift). Wajah karakter berubah-ubah, detail properti menghilang, dan pencahayaan melompat antarcut. Akibatnya, pembuat film harus melakukan reshoot prompt berulang kali yang menghabiskan waktu dan biaya komputasi.

Kami terinspirasi dari alur kerja produksi film profesional dan database gating di software engineering. Kami ingin membangun pipeline di mana AI tidak boleh melakukan render video sebelum semua detail aset, kamera, dan keputusan sutradara terkunci rapi di database.

What it does

Gate & Ledger adalah sistem pipeline produksi film 11 tahap yang memandu proyek dari naskah awal hingga master siap tayang di bioskop:

  1. Pre-Production (Tahap 1–3): Memecah naskah menjadi shot list kamera, menyusun papan referensi visual dengan Gemini, dan mencatat persetujuan sutradara.
  2. Gate A: Sistem mengecek aturan invarian di ClickHouse: $$\text{unassigned_count} == 0$$ Jika ada shot yang belum disetujui sutradara, pipeline berhenti.
  3. Asset Sheets & Stress Test (Tahap 4–5): Membuat lembar perputaran model 5-sudut ($0^\circ, 45^\circ, 90^\circ, 315^\circ, 180^\circ$) dengan latar abu-abu 18% dan menguji ketahanan visual karakter pada pencahayaan ekstrem.
  4. Gate B ("No row, no render"): Memastikan semua aset berstatus locked di database sebelum video di-generate: $$\text{unlocked_count} == 0$$
  5. Production (Tahap 6–8): Generate video via Google Veo menggunakan kontrak prompt 15-blok, perakitan timeline editing paralel, dan digital cleanup/inpainting.
  6. Finishing (Tahap 9–11): Penataan warna standar teater (ACEScc), desain suara 5.1 surround dengan standar $-23\text{ LUFS}$, dan validasi paket master DCI DCP.

How we built it

Kami membangun aplikasi full-stack menggunakan:

  • Frontend: React 18, Tailwind CSS, Lucide Icons, dan Web Audio API untuk synthesizer audio spasial 5.1.
  • Backend: Node.js dan Express.
  • AI & Video: Google Gemini API untuk analisis visual & breakdown prompt, serta Google Veo untuk generasi video.
  • Database & Telemetri: ClickHouse sebagai Single Source of Truth untuk menyimpan paspor aset, riwayat keputusan, kalkulasi ekonomi reshoot, dan verifikasi invarian gerbang.

Challenges we ran into

  • Menjaga Konsistensi Karakter: AI sering mengubah detail kecil (seperti implan mata sibernetik Dr. Elena). Kami mengatasinya dengan merancang kontrak prompt 15-blok yang mengikat tag aset permanen (@elena) ke setiap shot.
  • Audio Spasial di Browser: Kami memanfaatkan Web Audio API bawaan agar pengguna bisa menguji panning dan radar 5.1 surround langsung tanpa perlu plugin tambahan.
  • Penerapan Gate yang Ketat: Memastikan UI memberi tahu pengguna secara jelas dan intuitif mengapa sebuah tahap belum bisa dilanjutkan saat aturan database belum terpenuhi.

Accomplishments that we're proud of

  • Berhasil memadukan 11 tahap produksi film nyata ke dalam satu platform yang bersih dan mudah digunakan.
  • Menerapkan aturan "No row, no render" yang terbukti menghemat biaya dan mencegah kegagalan render visual.
  • Antarmuka responsif dengan dukungan dua bahasa (Inggris dan Indonesia) serta fitur multi-role login.

What we learned

  • Kunci utama pembuatan film dengan AI bukanlah seberapa panjang prompt-nya, melainkan seberapa ketat tahap pra-produksinya. Mengunci paspor aset sejak awal memangkas waktu revisi hingga lebih dari 70%.
  • Tahap finishing seperti color grading dan audio mixing tetap membutuhkan sentuhan dan kontrol manusia agar layak tayang di bioskop.

What's next for Gate & Ledger: 11-Stage Agentic Cinema Pipeline

  • Fitur ekspor timeline langsung ke format FCPXML / EDL untuk dibuka di DaVinci Resolve dan Adobe Premiere Pro.
  • Integrasi agen AI otonom khusus untuk departemen tata kamera dan pencahayaan.
  • Peningkatan format audio dari 5.1 surround ke format Dolby Atmos ADM BWF.

Built With

Share this project:

Updates

Submission history