Langsung ke konten
ShinyQ HQ: Kembali ke HQ

← Kembali ke Labs

L3:fraud-review-platform · AI Wing · Unggulan

Review Dokumen Fraud Berbasis AI

OCR dan review LLM dua tahap untuk paket dokumen pengadaan, dengan risk engine yang wajib lolos gate evaluasinya sendiri.

Peran
Pembuat dan satu-satunya engineer: saya merancang, mengarahkan, me-review, dan merilisnya bersama AI coding agent
Periode
Mei 2026 hingga Okt 2026

Hasil

  • 90.9% to 36.4%

    False-positive rate pada paket bersih yang noisy

    Evaluasi offline pada gold set development.

    Terverifikasi

  • 76.2% to 0%

    Tingkat fail-open

    Evaluasi offline pada gold set development yang sama.

    Terverifikasi

  • 0 of 3,780

    Run produksi yang output-nya berubah karena engine di shadow mode

    Engine hybrid menurunkan false positive menjadi 9,1% secara offline, tetapi recall turun ke 0,841. Karena gagal di gate, engine ini hanya berjalan di shadow mode.

    Terverifikasi

  • 11.1% to 3.7%

    Tingkat keberhasilan serangan prompt injection

    Run evaluasi live setelah pergantian model (false positive juga turun dari 26,1% menjadi 21,7%); ini hasil evaluasi, bukan hasil produksi.

    Terverifikasi

Masalah

Tim pengadaan butuh review fraud yang cepat dan bisa dipercaya untuk paket dokumen. Versi awal sering memberi alarm pada paket yang bersih, dan itu menggerus kepercayaan lebih cepat daripada satu flag yang terlewat.

Yang saya kerjakan

  • Membangun pipeline dua tahap (temuan per dokumen, lalu verdict lintas dokumen) di atas hasil OCR, dengan progres yang di-stream secara live.
  • Memindahkan prompt ke YAML agent deklaratif di Microsoft Agent Framework.
  • Menyusun gold set dan CI gate untuk false-positive rate, recall, dan fail-open, lalu mengganti guardrail berbasis majority vote dan safe pattern yang terlalu longgar.
  • Merancang risk engine hybrid yang memadukan rules deterministik dan LLM (katalog rules, severity floor, evidence verifier, fingerprint duplikat), lalu menahannya di shadow mode karena gagal di recall gate.
  • Menangani insiden secret yang terekspos: membersihkan git history, rotasi dua key tanpa downtime, dan beralih ke Key Vault reference.

Arsitektur

  1. ManusiaProcurement reviewerMengunggah paket dokumen
  2. KlienNext.js web appUpload, progres live, laporan
  3. LayananFastAPI backendPipeline dua tahap, progres live
  4. AIDocument IntelligenceOCR: Read, lalu Layout
  5. AIAgent Framework YAML agentsPer dokumen, lalu lintas dokumen
  6. AIAzure OpenAIInput disaring Prompt Shields
  7. LayananHybrid risk engineRules plus LLM, shadow mode
  8. DataCosmos DB and BlobRiwayat dan laporan

Alur data

  • Procurement reviewer to Next.js web app (document packet)
  • Next.js web app to FastAPI backend (REST, live progress)
  • FastAPI backend to Document Intelligence (OCR)
  • FastAPI backend to Agent Framework YAML agents (findings, verdict)
  • Agent Framework YAML agents to Azure OpenAI (model calls)
  • FastAPI backend sends asynchronously to Hybrid risk engine (shadow run)
  • Hybrid risk engine sends asynchronously to Cosmos DB and Blob (shadow results)
  • FastAPI backend to Cosmos DB and Blob (history, reports)

Stack

  • Next.js
  • FastAPI
  • Azure OpenAI
  • Document Intelligence
  • Microsoft Agent Framework
  • Azure AI Content Safety
  • Cosmos DB
  • Blob Storage
  • App Service
  • Bicep
  • GitHub Actions
  • Azure Managed Applications

L2 · Di perjalanan karierTechnical Consultant, Software & AI · Metrodata (PT Mitra Integrasi Informatika)