Microsoft ASSERT: Evaluasi AI Spesifik Aplikasi untuk Uji Kepatuhan
ORBITINDONESIA.COM – Microsoft ASSERT menandai babak baru evaluasi AI spesifik aplikasi, saat perusahaan makin butuh memastikan sistem AI bertindak sesuai kebijakan produk. Kerangka open source ini mengubah deskripsi tujuan dalam bahasa alami menjadi rangkaian tes terstruktur, lengkap dengan skor dan jejak langkah untuk mengusut kegagalan.
Peneliti dan lab AI sudah melompat jauh dalam mengevaluasi model, dari aspek keselamatan, kepatuhan, hingga sycophancy dan alignment. Namun kebutuhan yang kini menonjol lebih sempit dan praktis, yakni memastikan AI berperilaku tepat untuk konteks layanan tertentu.
Di banyak organisasi, risiko terbesar bukan sekadar “modelnya berbahaya,” melainkan “agen AI melakukan hal yang tidak pernah diizinkan.” Celah ini sering muncul ketika kebijakan internal, alat yang terhubung, dan batasan domain bertemu dalam satu sistem produksi.
Microsoft pada Selasa memperkenalkan ASSERT, singkatan dari Adaptive Spec-driven Scoring for Evaluation and Regression Testing. Perusahaan menyebutnya sebagai cara sederhana untuk menguji perilaku AI yang spesifik aplikasi dengan pendekatan berbasis spesifikasi.
Terjemahan akurat isi artikel sumber menegaskan poin utama ini. Evaluasi umum yang luas sering tidak cukup ketika perilaku model “dibentuk” oleh konteks aplikasi, kebijakan, dan tool yang tersedia.
ASSERT bekerja dari input yang terdengar sederhana, yaitu deskripsi tujuan, kebijakan, atau perilaku yang diinginkan dalam bahasa natural. Sistem lalu mengubahnya menjadi daftar perilaku yang boleh dan tidak boleh, kemudian membangkitkan skenario masalah serta kasus uji.
Setelah itu, ASSERT menjalankan tes terhadap sistem target dan memberi skor pada hasilnya. Yang penting, ia juga dapat merekam jalur yang ditempuh sistem AI, termasuk tindakan perantara dan panggilan tool, sehingga pengembang bisa melihat titik kegagalan secara forensik.
Microsoft menekankan bahwa pengembang dapat menambahkan konteks sistem, daftar tool, dan constraint untuk mempersempit cakupan evaluasi. Fitur ini membuat ASSERT berbeda dari sekadar “benchmark,” karena ia menempel pada realitas implementasi produk.
Contoh yang diberikan sangat konkret untuk dunia korporat. Pengembang bisa menetapkan bahwa agen riset dokumen tidak boleh mengirim email ke pihak luar, hanya boleh membagikan informasi rahasia kepada eksekutif C-level, dan harus membuat ringkasan singkat dengan mempertimbangkan konteks sebelumnya.
ASSERT kemudian membuat tes yang memeriksa kepatuhan aturan itu secara berkelanjutan. Dengan kata lain, ia mendorong evaluasi menjadi proses regresi, bukan audit sekali jadi.
Sarah Bird, Chief Product Officer of Responsible AI di Microsoft, menegaskan nilai evaluasi untuk pengambilan keputusan. “Jika Anda tidak memahami perilaku sistem AI, sangat sulit mengetahui apakah ia memenuhi standar organisasi,” katanya, seraya menambahkan bahwa sistem tepercaya perlu dievaluasi pada lebih banyak dimensi yang spesifik aplikasi.
Bird juga menyebut ASSERT bisa dipakai saat sistem dibangun, setelah deployment, dan untuk pemantauan kontinu. Ini menggeser evaluasi dari aktivitas lab menjadi kebiasaan operasional, mirip pengujian keamanan pada software modern.
Rilis ini hadir di tengah pergeseran industri AI yang lebih luas menuju pengujian yang dapat diulang dan pemeriksaan regresi. Artikel sumber menyebut inisiatif seperti Stanford HELM, MLCommons AILuminate, serta kelompok evaluasi seperti METR sebagai bagian dari tren tersebut.
Dari sisi praktik, ASSERT tampak menjawab pertanyaan yang sering diabaikan dalam proyek AI. “Apakah model pintar” tidak sama dengan “apakah sistem patuh,” terutama ketika agen AI diberi akses email, dokumen internal, atau tool eksekusi.
ASSERT memperlihatkan perubahan fokus yang realistis, dari debat abstrak tentang alignment menuju disiplin rekayasa perilaku di level produk. Ini bukan berarti masalah keselamatan global selesai, tetapi menunjukkan bahwa risiko paling dekat sering berasal dari detail operasional.
Namun ada jebakan yang perlu diwaspadai. Jika spesifikasi awal ditulis kabur atau bias, ASSERT hanya akan mengotomatisasi kekaburan itu menjadi tes yang tampak ilmiah.
Kerangka ini juga dapat mendorong “teater kepatuhan” bila organisasi mengejar skor tanpa menguji skenario ekstrem yang tidak nyaman. Evaluasi yang baik harus memaksa sistem menghadapi kasus abu-abu, bukan hanya memvalidasi aturan yang mudah.
Di sisi lain, kemampuan merekam jejak tindakan dan panggilan tool adalah langkah penting untuk akuntabilitas. Transparansi proses sering lebih berguna daripada sekadar nilai akhir, karena tim bisa memperbaiki desain prompt, kebijakan tool, atau guardrail yang lemah.
Secara strategis, open source membuat ASSERT berpotensi menjadi bahasa bersama lintas vendor. Jika komunitas mengadopsinya, standar “AI siap produksi” bisa bergeser dari klaim pemasaran menjadi bukti uji yang dapat direplikasi.
Microsoft ASSERT menawarkan jawaban praktis untuk kebutuhan yang makin mendesak, yaitu evaluasi AI spesifik aplikasi yang bisa dijalankan berulang dan diaudit. Ia menerjemahkan kebijakan organisasi menjadi tes, lalu mengubah pengujian menjadi rutinitas yang hidup bersama sistem.
Tetapi keandalan tetap bergantung pada kualitas spesifikasi manusia dan keberanian menguji skenario yang tidak menyenangkan. Pada akhirnya, pertanyaannya bukan hanya apakah AI bisa lulus tes, melainkan apakah kita menulis tes yang benar untuk melindungi manusia, bisnis, dan kepercayaan publik. (Orbit dari berbagai sumber, 9 Juni 2026)
