Kenapa Jumlah Kutipan Tidak Cukup untuk Mengukur Visibilitas Brand di AI Search

HELLOCHANDRA – Laporan AI search bulan ini menunjukkan angka yang berbeda dari bulan lalu, padahal tidak ada satu pun yang berubah di sisi brand. Visibilitas brand di AI search adalah tingkat kemunculan sebuah brand pada jawaban mesin AI generatif, dan karena jawaban itu bersifat non-deterministik, angkanya baru bisa dipakai mengambil keputusan kalau diukur berulang dengan prosedur yang dibekukan, bukan diambil sekali lalu dilaporkan sebagai fakta.

Yang membuat situasi ini sulit bukan angkanya, melainkan bahwa angka itu terlihat meyakinkan. Ia keluar dari alat berbayar, disajikan dalam grafik yang rapi, dan dibandingkan antar bulan seolah selisihnya bermakna.

Sepanjang 2026 muncul empat riset independen yang mengukur langsung seberapa jauh angka itu bisa meleset. Hasilnya cukup untuk mengubah cara laporan AI search sebaiknya dibaca.

Kenapa Angka Visibilitas Brand di AI Search Berubah Tanpa Ada yang Diubah?

Angka visibilitas brand di AI search berubah karena mesin yang menghasilkannya tidak deterministik, artinya pertanyaan yang sama bisa menghasilkan jawaban dan daftar sumber yang berbeda pada percobaan yang berbeda, tanpa ada perubahan apa pun di sisi brand maupun di sisi konten.

Ada tiga lapis penyebab yang bekerja bersamaan.

Lapis pertama, sampling di dalam model. Setiap jawaban disusun kata demi kata dengan proses yang mengandung keacakan. Dua percobaan berurutan bisa mengambil jalan berbeda sejak kalimat pertama, dan begitu jalannya berbeda, sumber yang dipanggil ikut berbeda.

Lapis kedua, indeks yang bergerak. Korpus yang dipakai sistem AI search untuk mencari rujukan diperbarui terus, sering tanpa pengumuman. Halaman kompetitor yang terbit kemarin bisa menggeser posisi Anda hari ini.

Lapis ketiga, cara orang bertanya. Satu kebutuhan bisa diungkapkan dalam puluhan kalimat berbeda, dan tiap variasi membawa hasil yang berbeda. Ini yang paling sering luput, karena pengujian internal biasanya memakai daftar pertanyaan yang itu-itu saja.

Ketiganya membuat satu kali pengukuran visibilitas brand di AI search hanya menangkap satu titik dari sebaran yang lebar. Melaporkannya sebagai angka tunggal sama dengan melaporkan satu lemparan dadu sebagai karakteristik dadunya.

Seberapa Besar Sebenarnya Perbedaan Antar Pengukuran?

Perbedaan antar pengukuran jauh lebih besar dari yang diasumsikan kebanyakan laporan, dan sepanjang 2026 ada empat riset yang mengukurnya langsung dengan metode dan skala yang berbeda-beda.

Keempatnya masih berstatus preprint di arXiv dan belum melewati peer review, jadi angkanya dibaca sebagai indikasi arah, bukan kesimpulan final.

Riset 1: Satu Pengukuran Punya Rentang Kepercayaan yang Terlalu Lebar

Julius Schulte, Malte Bleeker, dan Philipp Kaufmann dari University of St. Gallen (preprint arXiv, April 2026) menemukan satu kali pengukuran menghasilkan standard error 0,370 dengan interval kepercayaan 95 persen sebesar plus minus 0,724.

Rentang selebar itu membuat satu angka tunggal praktis tidak informatif. Standard error baru turun di bawah 0,10 pada pengulangan ketujuh. Tim yang sama juga menemukan hanya sekitar 35 persen sumber yang dikutip bertahan dari satu hari ke hari berikutnya.

Riset 2: Prompt Identik di Hari yang Sama Pun Berubah

Will Jack, Noah Lehman, Keller Maloney, dan Sarah Xu dari Unusual.ai (preprint arXiv, Mei 2026) menjalankan sekitar 12.000 API run.

Temuan mereka yang paling mengganggu: prompt yang persis sama, diulang 30 kali dalam satu hari kalender yang sama, menghasilkan kesamaan daftar rekomendasi hanya 0,50 sampai 0,61. Tanpa jeda waktu, tanpa pembaruan model, tanpa konten baru dari siapa pun. Separuh daftarnya sudah berganti.

Temuan ini mematikan pembelaan yang paling sering dipakai, yaitu bahwa perubahan angka itu wajar karena jaraknya sudah sebulan.

Riset 3: Satu Jawaban Tidak Memberi Informasi Apa Pun

Dmitrij Żatuchin (preprint arXiv, Juli 2026) menguji 12.933 respons di 20 brand, 8 bahasa, dan 3 model.

Reliabilitas peringkat brand yang diukur dari satu jawaban hanya 0,01, dan naik ke 0,36 pada desain pengukuran penuh. Angka 0,01 secara praktis berarti satu jawaban tidak memberi informasi apa pun tentang posisi brand yang sesungguhnya.

Temuannya yang lain sama pentingnya: reliabilitas naik lebih cepat dengan mendiversifikasi model dan bahasa daripada dengan mengulang prompt yang sama di satu tempat.

Riset 4: Butuh Tujuh sampai Delapan Pengulangan

Olivier Martinez (preprint arXiv, Juli 2026) meninjau 45 studi GEO periode 2023 sampai 2026 dalam sebuah survei kritis.

Ia merekomendasikan tujuh sampai delapan pengulangan per pertanyaan sebagai titik awal. Survei ini juga mengutip temuan Grossman dan rekan (2026) atas 11.500 query: kesamaan daftar URL antara Google organik, AI Overview, dan Gemini hanya 0,11 sampai 0,18.

Pengujian hellochandra atas visibilitas brand di AI search pada brand sendiri menemukan angka yang lebih ekstrem lagi. Overlap sumber antar platform berada di bawah 2,4 persen. Dua platform yang ditanya hal yang sama praktis sedang membaca dua internet yang berbeda.

Apa yang Salah dari Laporan Berbasis Jumlah Kutipan?

Laporan berbasis jumlah kutipan tidak salah, tapi ia menjawab pertanyaan yang berbeda dari yang dikira pembacanya, dan tiga hal penting hilang saat visibilitas brand di AI search diringkas menjadi satu angka.

Yang pertama hilang adalah ketidakpastian. Angka 18 dan angka 11 terlihat seperti penurunan 39 persen. Padahal kalau rentang kepercayaan pengukurannya selebar temuan St. Gallen, keduanya bisa berasal dari kondisi yang sama persis. Keputusan anggaran yang diambil dari selisih itu berarti bereaksi terhadap derau.

Yang kedua hilang adalah perbedaan antar platform. Skor 90 di satu platform dan 10 di platform lain punya rata-rata yang identik dengan skor 50 di keduanya. Angka gabungannya sama, tapi pekerjaan yang dibutuhkan sama sekali berbeda. Dengan overlap sumber di bawah 2,4 persen, merata-ratakan platform sama dengan menjumlahkan hal yang tidak sebanding.

Yang ketiga hilang adalah akurasi. Muncul dengan informasi yang keliru dihitung sebagai kemunculan, sama nilainya dengan muncul dengan informasi yang benar. Padahal brand yang tidak muncul kehilangan peluang, sedangkan brand yang muncul dengan informasi keliru sedang mendistribusikan kesalahan itu dalam skala mesin.

Perlu ditegaskan, penyedia alat ukur sendiri terbuka soal batasan ini. Semrush menyatakan di dokumentasi resminya bahwa tidak ada platform yang bisa memberi angka pasti soal visibilitas, dan metrik yang mereka sediakan paling tepat dibaca sebagai sinyal arah. Masalahnya bukan pada alatnya, melainkan pada cara angkanya dibaca di ruang rapat.

Empat Syarat Pengukuran yang Bisa Dipertanggungjawabkan

Visibilitas brand di AI search bisa dipertanggungjawabkan kalau pengukurannya memenuhi empat syarat: diulang beberapa kali dalam satu siklus, dijalankan dengan prosedur yang dibekukan, dicatat terpisah per platform, dan memisahkan pertanyaan bermerek dari pertanyaan kategori.

Pengulangan menjawab masalah sebaran. Satu titik tidak memberi tahu apa pun tentang lebar sebarannya, dan literatur saat ini menunjuk tujuh sampai delapan pengulangan sebagai titik awal yang masuk akal.

Prosedur beku menjawab masalah perbandingan. Daftar pertanyaan yang sama, platform yang sama, cara mencatat yang sama, tanggal yang berdekatan tiap siklus. Begitu satu variabel berubah, selisih antar bulan berhenti punya arti.

Pencatatan per platform menjawab masalah rata-rata. Setiap platform punya korpus sendiri, jadi setiap platform punya angka sendiri.

Pemisahan jenis pertanyaan menjawab masalah diagnosis. Pertanyaan yang menyebut nama brand mengukur apakah sistem AI mengenali brand. Pertanyaan kategori tanpa nama mengukur apakah brand ditemukan saat orang belum tahu harus mencari siapa. Keduanya masalah yang berbeda, dengan penanganan yang berbeda, dan menggabungkannya jadi satu skor menyembunyikan keduanya.

Keempat syarat itu yang saya bakukan jadi kerangka pengukuran bernama Citation Stability Score. Definisi lengkapnya, kelima komponennya, aturan penilaiannya, dan contoh perhitungan penuhnya ada di halaman Citation Stability Score.

Satu peringatan supaya ekspektasinya jujur. Pengukuran yang lebih ketat memperbaiki kualitas keputusan, bukan memprediksi pendapatan. Survei Martinez memberi label kepercayaan sangat rendah untuk klaim bahwa skor kutipan memprediksi klik, konversi, atau revenue. Siapa pun yang menjanjikan hubungan itu sedang menjual sesuatu yang belum ditopang bukti.

FAQ Seputar Visibilitas Brand di AI Search

Berapa kali sebaiknya saya mengukur dalam satu siklus?
Literatur saat ini menunjuk tujuh sampai delapan pengulangan per pertanyaan sebagai titik awal, berdasarkan temuan Schulte dan rekan yang dikutip survei Martinez. Angka itu bukan standar baku, melainkan titik di mana standard error mulai cukup kecil untuk dibaca. Kalau sumber daya terbatas, lebih baik mengukur sedikit pertanyaan dengan banyak pengulangan daripada banyak pertanyaan sekali jalan.

Apakah laporan dari alat berbayar tidak bisa dipakai sama sekali?
Bisa, selama dibaca sebagai sinyal arah dan bukan sebagai angka pasti. Penyedia alatnya sendiri menyatakan demikian soal visibilitas brand di AI search. Yang bermasalah adalah saat angka tunggal dari alat itu dipakai membenarkan keputusan anggaran, atau dibandingkan antar bulan seolah selisihnya bermakna. Pakai untuk membaca tren, jangan untuk membaca selisih.

Kenapa hasil antar platform tidak boleh dirata-ratakan?
Karena tiap platform menarik dari korpus sumber yang nyaris tidak beririsan. Pengujian hellochandra menemukan overlap sumber antar platform di bawah 2,4 persen, dan riset Grossman dan rekan menemukan kesamaan daftar URL 0,11 sampai 0,18 antar Google organik, AI Overview, dan Gemini. Merata-ratakan angka dari korpus yang berbeda menghasilkan bilangan yang tidak mewakili kondisi mana pun.

Apakah ini berarti visibilitas brand di AI search tidak bisa diukur?
Bisa diukur, tapi tidak bisa diukur sekali. Yang tidak bisa dipertanggungjawabkan adalah pengukuran tunggal, bukan pengukurannya secara keseluruhan. Dengan pengulangan yang cukup, prosedur yang dibekukan, dan pencatatan terpisah per platform, angkanya cukup stabil untuk membandingkan satu brand dengan dirinya sendiri dari siklus ke siklus.

Artikel Terkait:

• Apa itu GEO (Generative Engine Optimization)? Panduan Lengkap untuk Brand Indonesia
• Perbedaan SEO, AEO, dan GEO
• Citation Stability Score: kerangka pengukuran lengkap
• Citation Gap: Kenapa Brand Besar Justru Paling Rentan di AI Search

Tentang Penulis:

Chandra Purnama adalah AI Search Strategist dan Co-Founder Medialab Strategi Nusantara. Ia memimpin transformasi SEO ke GEO untuk Samsung Electronics Indonesia dan menjadi Media & Communications Advisor di DPR RI. Fokusnya: membantu brand Indonesia mendapatkan visibilitas dan sitasi di platform AI seperti ChatGPT, Perplexity, dan Google AI Overview.