AI CV screening dan evaluasi

• ~45%

  Tingkat kegagalan screening yang dihilangkan lewat perbaikan

  Teramati pada run evaluasi 22 pasang, dengan perbaikan diuji melalui 7 regression test dari pesan error asli. Rerun evaluasi yang persis sama tidak tercatat.

  Terverifikasi

• 0.13%

  Tingkat parse failure pada baseline berikutnya (1 dari 800 panggilan)

  Diukur pada baseline evaluasi berikutnya menggunakan model dan prompt yang lebih baru.

  Terverifikasi

• 270+

  File test ditambahkan dari kondisi tanpa test, dengan evaluation gate yang memblokir deploy

  Berdasarkan riwayat repositori.

  Terverifikasi

• 21.1 s to 12.1 s

  Latensi p95 screening dengan reasoning effort medium, bukan high

  Diukur dalam putaran evaluasi terkontrol; pengaturan yang dipilih tetap lolos gate fairness dan injection.

  Terverifikasi

Screening berbasis LLM sering gagal dan memberikan keputusan terima atau tolak tanpa bukti. Belum ada test atau release gate untuk mendeteksi regresi akibat perubahan prompt maupun model.

• 01Saya menemukan bahwa dua error produksi disebabkan token yang habis di tengah JSON dan newline mentah dalam string, lalu mengatasinya dengan JSON mode, batas output, extractor yang mengenali tanda kutip, dan retry.
• 02Saya menambahkan test suite pertama dan evaluation harness dengan CI gate, menggunakan golden set 40 pasang (37,5% berbahasa Indonesia), pengecekan fairness counterfactual, dan 20+ kelas prompt injection.
• 03Saya menghapus keputusan terima atau tolak dari AI, serta menambahkan AI disclosure, system card, dan redaksi identitas sebelum pemanggilan model.
• 04Saya menerapkan managed identity tanpa password dan panggilan bertanda tangan HMAC antara web tier dan backend.

• Next.js
• FastAPI
• Durable Functions
• Azure OpenAI
• Azure AI Foundry
• Document Intelligence
• Cosmos DB
• Key Vault
• Managed Identity
• Entra ID
• GitHub Actions
• Bicep