Temuan belum nyata sampai model kedua setuju

Review kode oleh AI punya masalah derau. Model peninjau akan menandai hal yang bukan bug, dan tim yang belajar mengabaikan bot itu kehilangan alasan memakainya. MythosReview menganggap derau sebagai cacat utama yang harus dirancang keluar.

Tahap verifikasi

Tidak ada yang diposting ke pull request sebelum model kedua mengonfirmasinya. Model kedua harus berasal dari keluarga yang berbeda dari yang pertama. Memakai satu keluarga untuk dua peran adalah salah konfigurasi dan proses tidak memposting apa pun, sebab dua salinan titik buta yang sama tidak saling memeriksa.

Setiap temuan kandidat dikonfirmasi atau dibuang, dan alasannya disimpan di laporan proses. Temuan juga bisa membawa prediksi: perintah pengecekan yang diatur seharusnya gagal, atau lolos, bila temuan itu nyata. Bila perintah pengecekan diatur, perintah itu dijalankan sekali di direktori kerja pull request, dan temuan yang prediksinya tidak cocok dengan hasil dibuang.

Diukur, bukan diklaim

Bila sebuah proses membawa label tentang temuan mana yang nyata, laporan menampilkan tingkat false positive sebelum dan sesudah verifikasi. Pada fixture berlabel di suite tes, separuh temuan model adalah temuan palsu sebelum verifikasi dan tidak ada yang tersisa sesudahnya.

Kalimat itu sengaja kecil. Fixture-nya hanya sejumlah kecil temuan yang dibuat untuk menguji mekanismenya. Ia membuktikan mekanisme bekerja dan angkanya bisa dihitung. Ia bukan tingkat false positive produksi. Angka itu akan datang dari riwayat berlabel pada pull request nyata setelah produk live punya cukup banyak, dan akan kami terbitkan bersama metodenya.

Yang masih dikerjakan manusia

Agen merangkum dan berkomentar. Ia tidak melakukan merge, dan chat di pull request tidak pernah mengubah kode. Pengecekan gagal hanya bila ada P0 atau P1 yang terverifikasi.

Pegangan untuk menagih kami

Bila MythosReview pernah memposting temuan yang tidak terverifikasi, itu bug produk dan kami ingin laporannya.