Tuesday, April 14, 2009

Wisdom of the Crowds

Wisdom of the Crowds (WOC) adalah suatu terminologi yang diperkenalkan oleh Jim Surowiecki. Secara sederhana, terminologi ini menyatakan bahwa pendapat banyak orang lebih baik daripada pendapatan individual yang ahli sekalipun (makanya diskusi bungs).

Terminologi ini juga diadaptasi oleh Ian Ayres dalam bukunya Super Crunchers untuk mendeksripsikan peristiwa hipotesis berikut ini:
Jika diambil suatu angka random, dan mahasiswa dalam suatu kelas dipersilahkan untuk menebak angka random tersebut. Sesuai dengan WOC, tebakan terbaik untuk angka random tersebut adalah angka rata-rata dari seluruh tebakan individual mahasiswa dalam kelas.

Dengan mengikuti alur pikir yang sama, WOC saya aplikasikan untuk kasus hasil quick count pemilu legislatif oleh beberapa lembaga survey. Dengan tidak mempertimbangkan perbedaan metode sampling dan margin of errors, maka prediksi terbaik dari hasil pemilu legislatif adalah rata-rata dari hasil quick count lembaga survey tersebut.

Apakah WOC ini terbukti atau tidak untuk kasus quick count? ada baiknya kita tunggu (atau gak?) hasil perhitungan riil KPU.

Cinta tidak bisa menunggu, katanya. Oleh sebab itu, saya melakukan excercise terhadap data yang bertujuan untuk mengetahui adakah hasil quick count dari suatu lembaga survey yang bersifat “tidak biasa” (outliers) relatif terhadap distribusi hasil quick count keseluruhan lembaga survey.

Dari hasil pada tabel di atas, tidak ada data hasil quick count yang bersifat extreme outliers. Namun setidaknya ada empat hasil estimasi yang bersifat mild outliers, yaitu LP3ES pada Demokrat yang underestimate, LeSI pada Golkar yang underestimate, CIRUS pada PPP yang overestimate, dan LSN pada PKB yang bersifat underestimate.

Apakah hasil ini bisa menunjukkan adanya gejala yang lain, semisal membuktikan adanya “pesanan politik” terhadap lembaga survey? Apakah “pesanan politik” ini jikapun ada, justru dilakukan bukan dengan menambah jumlah suara parpol yang memesan namun mengurangi jumlah suara parpol saingannya? Atau, tidak ada kesimpulan yang sedemikian seperti itu dapat diambil?

Saya pribadi memilih menjawab ya untuk pertanyaan ketiga, oleh karena hasilnya memang tidak cukup kuat secara statistik untuk merujuk pada kesimpulan yang lain. Namun setidaknya, excercise ini akan berguna bagi saya untuk merevisi ketepatan dari prediksi WOC nantinya. Data yang bersifat mild outliers ini, mungkin akan jadi kandidat untuk saya exclude dalam pembentukan rata-rata hasil estimasi WOC.

9 comments:

Luthfi said...

dalam hal ini saya sangat salut dengan tulisan bung Chaikal.

angkat topi bung. selama ini saya memikirkan bagaimana caranya mengidentifikasi perbedaan survei beneran dengan survei pesanan.

sedikit curhat, waktu itu kompetitornya prof dari Fisip UI. Hasil dia mengatakan bahwa Bang Yos itu berada di urutan ketiga setelah SBY dan Mega. sungguh sangat tidak masuk akal.

Hanya saja saya tidak kepikiran untuk melakukan analisa menggunakan outlier seperti ini.

bravo bung

Letjes said...

sepakat dg bung luthfi. menarik bung.

cm emang klo ingin mengidentifikasi pesanan ato bukan, sesuai dg kesimpulan bung chaekal, rasanya emang agak gk mgkn klo pake data quickcount.

spt orang2 lembaga survei bilang, dlm quickcount susah utk berbohong, krn kredibilitas lembaga diuji disana.

klo ingin mengidentifikasi pesanan ato bukan, lebih tepat ke hasil survei. cuma ketika waktu survei beda, apakah woc tetap berlaku ya bung?

anw, posting ini setidaknya mampu membungkam para parpol2 yg aku bingung kok takut dan skeptis bgt sm quickcount.

tp aku sepakat sm mereka soal keanehan smnya hasil quickcount dg realcount KPU. realcount br berapa %, dan belum merata data yg masuk kok bs sama?

KPU yg satu ini emang harus diberantas.

Anonymous said...

Menarik....

tapi bagaimana menghubungkan WOC dengan pendapat bahwa pendapat awam itu subjektif, sedangkan pendapat expert objektif (AHP method)...

alin

Letjes said...

alin, sy akan cb menjawab pertanyaanmu. mgkn bung chaekal bs melengkapi.

pendapat 1 orang awam mgkn subjektif. tp ketika ada 100 orang awam menjawab suatu pertanyaan dg subjektivitasnya masing2, maka rata2 dari jawaban tsb adalah jawaban yg akan mendekati ketepatan. itu WOC

pendapat expert objektif? anda harus baca buku ian ayres yg dikutip bung chaekal di posting ini (super crunchers). di buku ini ditunjukkan klo expert malah cenderung byk slhnya. compare tu statisical analysis mcm regresi, dll.

Berly said...

Menarik sekali metodenya.

tapi mungkin juga karena tidak ada extreme outlier maka perbedaan hanya karena sampling error. Apalagi tidak semuanya dilakukan pada saat yang sama

Sudah dilakukan tes serupa pada popularitas capres?

Chaikal said...

@luthfi: "angkat topi bung", sayangnya bung gak pernah pake topi kayaknya he3..

@letjes: kesimpulan KPU harus diberantas kayaknya ndak bisa dari situ deh.. kenapa KPu bisa sama ama quick count meskipun data masih sedikit cukup memiliki probabilitas, sama hal-nya mengapa hasil quick count koq bisa mirip2? saya sih ingin mengenyampingkan teori konspirasi apapun yang tidak didukung metode pengujian uyang ilmiah.

@mba alin: sepertinya sudah dijawab oleh bung letjes.

@berly: betul mas, dan belum dilakukan untuk capres,, mungkin bung luthfi mau mencoba?

thanks all for the comments..

Gaffari said...

Kal..minta bahan bacaan untuk metode ini duonks....

Kayaknya oke juga nih untuk gw pake sama hasil2 survei yg lain....

Luthfi said...

ada di buku statistik far.
kalo gak salah di lind ada deh. kalo gak ada di lind, coba cari di mcclave.

Chaikal said...

yang cepet mah googling aja, "outliers", ok,, lagipula tabel-nya kurang jelas apa?

cari Q1 (P25) dan Q3 (P75).

IQ = Q3-Q1.

L1 = Q1-1.5*IQ.
L2 = Q1-3*IQ

U1 = Q3+1.5*IQ.
U2 = Q3+3*IQ

Sederhanakan.. jadi intinya jangan pernah melupakan data analysis sederhana seperti statistic descriptive''