AI Benchmark Engineer, Bahasa Indonesia (freelance)
LILT AI (United States, remote)
- Okt 2026 hingga Sekarang
- L2:lilt-ai-2026
Saya merancang task berbahasa Indonesia untuk Terminal-Bench, benchmark agentic coding yang mengevaluasi model AI frontier pada pekerjaan terminal dan pemrograman yang realistis dengan bahasa dan konvensi Indonesia.
Poin utama
- Membangun setiap task secara end-to-end: dataset berbahasa Indonesia, environment Docker, solusi referensi Python, dan verifier pytest
- Memperkuat verifier dengan data held-out, rerun dalam sandbox, dan pemeriksaan tamper
- Mengukur tingkat kesulitan lewat probe run agentic pada beberapa LLM sebelum submit
- Memakai analisis kegagalan untuk memisahkan celah pemahaman bahasa dari error coding umum
Tech stack
Python
Docker
pytest- LLM evaluation