Chapter 6 Multivariate Analysis of Variance MANOVA

1. Chapter 6 Multivariate Analysis of Variance MANOVA

2. PENDAHULUAN • Dikembangkan sebagai konstruk teoritis oleh S.S. Wilks pada tahun 1932 dan dipublikasikan dalam Biometrika. • Manova merupakan multivariate perluasan dari konsep dan teknik univariate ANOVA digunakan untuk menganalisis perbedaan antara rata-rata (mean) kelompok.

3. ANOVA vs MANOVA • ANOVA (Analysis of Variance) adalah bagian dari prosedur satistika yang digunakan untuk menganalisis perbedaan mean dari beberapa populasi dengan menggunakan data yang diperoleh yang diambil dari populasi yang diamati. • Pengujian ANOVA hanya melibatkan satu variabel dependen metrik dengan variabel independen non metrik. • Manova menguji dua atau lebih variable dependen metrik dengan variable independent non metric.

4. MANOVA • Pada kasus univariate, ukuran variable dependen tunggal diuji untuk kesamaan diantara kelompok. • Pada MANOVA, peneliti sebenarnya mempunyai dua variate, satu untuk variabel dependent dan yang lain variabel independen. Variabel variabel dependen lebih menarik karena ukuran dependen metrik dapat dikombinasikan pada satu kombinasi linier, seperti pada multiple regresi dan analisis discriminan. Aspek unik dari MANOVA adalah variate secara optimal mengkombinasikan ukuran multiple dependen ke dalam nilai tunggal yang memaksimalkan perbedaan antar kelompok.

5. Prosedur univariate • t Test • untuk menguji perbedaan antara dua kelompok • t-statistik merupakan rasio dari perbedaan antara mean sample (u1 – u2) terhadap standar errornya. Standar error merupakan estimasi perbedaan antara mean yang diharapkan karena kesalahan sample, bukan perbedaan sesungguhnya antara mean • Jika nilai absolut t lebih besar dari nilai kritis t, maka kita dapat menolak Ho yang mengatakan tidak ada perbedaan. Hal ini berarti perbedaan aktual secara statistik lebih besar dari perbedaan yang diharapkan dari kesalahan sample.

6. Prosedur univariate • Analysis of Variance (ANOVA) • untuk menguji perbedaan antara tiga kelompok atau lebih terhadap dua atau lebih variabel independen menggunakan uji F • ANOVA digunakan untuk menentukan probabilitas bahwa perbedaan dalam mean antar beberapa kelompok adalah berdasarkan kesalahan sample. • Pengujian ANOVA secara langsung membandingkan dua estimasi independen dari variance untuk variabel dependen. Yang pertama mewakili variabilitas umum dari responden dalam kelompok (MSW) dan yang lainnya mewakili perbedaan antar kelompok yang mempunyai pengaruh treatment (MSB).

7. PROSEDUR MANOVA • Jika pada t test dan ANOVA, pengujian hipotesis nol adalah kesamaan mean dari variable dependen antar kelompok. Pada MANOVA pengujian hipotesis nol adalah kesamaan mean dari vector multiple variable dependen antar kelompok

8. PROSEDUR MANOVA • The Two-Group Case:   Hotelling's T2 • bentuk yang merupakan perluasan khusus dari univariate t test. • Hotelling’s T2 menyediakan pengujian statistik variabel yang dibentuk dari variabel dependen yang menghasilkan perbedaan kelompok terbesar. Hotelling’s T2 juga digunakan untuk masalah “inflating” jenis kesalahan I yang timbul ketika membuat serangkaian t test mean kelompok pada beberapa ukuran dependen. Hal ini mengendalikan inflasi dari jenis kesalahan I dengan menyediakan pengujian keseluruhan secara tunggal dari perbedaan kelompok diantara semua variabel dependen pada level a yang ditetapkan.

9. Hotelling’s T2 • C = W1Y1 + W2Y2 +...... + WiYi Dimana • C = komposit atau skor variate untuk responden • Wi = bobot untuk variabel dependen i • Yi = variabel dependen i • Untuk bobot tertentu, kita harus menghitung skor komposit untuk setiap responden dan kemudian menghitung t statistik biasa untuk perbedaan antar kelompok atas skor komposit. Kita dapat menemukan serangkaian bobot yang memberi nilai maksimum untuk t statistik bagi data ini.

10. Hotelling’s T2 • Bobot ini dapat sama dengan fungsi diskriminan antar dua kelompok. Nilai t statistik maksimum yang dihasilkan dari skor komposit yang dihasilkan oleh fungsi diskriminan di kuadratkan untuk menghasilkan nilai Hotelling’s T2. Perhitungan formula Hotelling’s T2 mewakili hasil derivasi matematika yang di gunakan untuk menyelesaikan t statistik maksimum (dan secara implisit diskriminasi kombinasi linear terhadap variabel dependen). Hal ini sama dengan jika kita dapat menemukan fungsi diskriminan untuk dua kelompok yang menghasilkan T2 yang signifikan, kedua kelompok dipertimbangkan berbeda diantara mean vektor.

11. nilai kritis bagi Hotelling’s T2 • P(N1+N2-2) • T2crit = ----------------- x Fcrit • N1+N2-p-1

12. PROSEDUR MANOVA • The k-Group Case:   MANOVA • Manova dapat dianggap sebagai perluasan dari prosedur Hotelling’s T2 dimana kita menemukan bobot variabel dependen untuk menghasilkan skor variate bagi setiap responden. • Dengan MANOVA kita akan mendapatkan seperangkat bobot yang memaksimumkan nilai F hitung ANOVA atas skor variate bagi seluruh kelompok. Namun MANOVA juga dianggap sebagai perluasan dari analisis diskriminan dengan multiple variate ukuran dependen yang dapat dibentuk jika jumlah kelompok tiga atau lebih. Variate yang pertama disebut fungsi diskriminan, menspesifikasi seperangkat bobot yang memaksimalkan perbedaan antar kelompok sehingga akan memaksimumkan nilai F.

13. PROSEDUR MANOVA • Nilai maksimum F sendiri memungkinkan kita untuk menghitung secara langsung apa yang disebut the greatest characteristic root(gcr) statistic yang memungkinkan untuk pengujian statistik atas fungsi diskriminan pertama. The greatest characteristic root(gcr) statistic dapat dihitung sebagai gcr = (k-1)Fmax/(N-K). • Untuk mendapatkan pengujian tunggal terhadap hipotesis dari tidak ada perbedaan antar kelompok pada vector pertama dari skor mean, kita dapat mengacu pada table distribusi gcr. Sama halnya dengan statistic F mengikuti distribusi yang diketahui atas hipotesis nol dari kesamaan mean kelompok atas variable dependen tunggal, gcr statistic mengikuti distribusi yang diketahui atas hipotesis nol dari kesamaan mean vector kelompok(mean kelompok sama dengan seperangkat ukuran dependen). Perbandingan gcr yang diobservasi dan gcrcrit memberi kita dasar untuk menolak seluruh hipotesis nol dari kesamaan mean vector kelompok.

14. PROSEDUR MANOVA • Fungsi diskriminan selanjutnya adalah orthogonal, yang memaksimalkan perbedaan antar kelompok berdasarkan variance sisa yang tidak dijelaskan oleh fungsi sebelumnya. Dengan demikian dalam beberapa hal pengujian untuk perbedaan antar kelompok melibatkan tidak hanya skor variate pertama tetapi juga seperangkat skor variate yang dievaluasi secara simultan. Sejumlah pengujian multivariate(Wilks’ lambda,Pillai’s criterion) yang masing-masingnya tepat untuk situasi terhadap pengujian multiple variate.

15. hubungan antara prosedur univariate dan multivariate

16. MANOVA dan Discriminant Analysis • MANOVA dan Discriminant Analysis merupakan suatu hubungan seperti gambar dalam cermin dimana variabel dependen dalam MANOVA (variabel metrik) merupakan independen variabel dalam Discriminant Analysis dan variabel dependen nonmetrik tunggal dalam Discriminant Analysis menjadi variabel independen dalam MANOVA. Lebih lagi keduanya menggunakan metode yang sama dalam membentuk variate dan menguji signifikansi statistik antar kelompok. • Perbedaan pada intinya adalah pada tujuan analisis dan peran dari variabel nonmetrik. Discriminant Analysis menggunakan variabel nonmetrik tunggal sebagai variabel dependen. Kategori variabel dependen diasumsikan given dan variabel independen digunakan untuk membentuk variate yang memaksimalkan perbedaan antar kelompok yang dibentuk oleh variabel dependen kategori. Pada MANOVA seperangkat variabel metrik bertindak sebagai variabel dependen dan tujuan untuk menemukan kelompok reponden yang menampilkan perbedaan pada perangkat variabel dependen. • Kelompok responden tidak dispesifikasikan sebelumnya, peneliti menggunakan satu atau lebih variabel independen non metrik untuk membentuk kelompok. MANOVA selain dapat membentuk kelompok tersebut tetap memiliki kemampuan untuk menganalisis pengaruh setiap variabel non metrik secara terpisah.

17. Kapan seharusnya menggunakan MANOVA? • Karena kemampuannya untuk menganalisis beberapa pengukuran dependen secara simultan, MANOVA memiliki keunggulan: • Menyediakan Kontrol tingkat kesalahan eksperimen ketika terjadi beberapa derajat inter-korelasi diantara variabel dependen. • Menyediakan statistik yang lebih kuat dari ANOVA ketika jumlah variabel dependen 5 atau kurang.

18. Proses Keputusan untuk MANOVA • Tahap 1: Tujuan MANOVA • Untuk menganalisis hubungan dependensi yang diwakili sebagai perbedaan dalam seperangkat ukuran dependen lintas seri kelompok yang dibentuk oleh satu atau lebih ukuran independent kategorial. • Untuk menyediakan pengertian yang mendalam mengenai sifat dan kekuatan sifat prediksi dari ukuran independen seperti juga keterkaitan dan perbedaan dalam ukuran multiple dependen.

19. Proses Keputusan untuk MANOVA • Tiga jenis pertanyaan yang cocok diajukan untuk MANOVA: • Multiple Univariate Questions. • Peneliti yang mempelajari pertanyaan-pertanyaan multiple univariate mengidentifikasi sejumlah variabel dependen secara terpisah yang akan dianalisis secara terpisah tetapi memerlukan beberapa kontrol terhadap kesalahan eksperimen dalam kejadian ini, MANOVA digunakan untuk menguji apakah perbedaan menyeluruh ditemukan di antara kelompok, dan kemudian pengujian univariate yang terpisah dilakukan untuk mendapatkan setiap isu untuk masing-masing variable dependen • Structured Multivariate Questions. • Peneliti berurusan dengan pertanyaan multivariate terstruktur mengumpulkan dua atau lebih ukuran dependen yang memiliki hubungan khusus diantaranya. Situasi yang umum dalam kategori ini adalah ukuran yang berulang dimana ada multiple respon dari setiap subjek yang mungkin selama atau setelah pretest-posttest memberikan stimulus seperti iklan. Disini MANOVA menyediakan metode terstruktur untuk menspesifikasi perbandingan perbedaan antar kelompok terhadap seperangkat ukuran dependen dalam menjaga efisiensi secara statistic. • Intrinsically Multivariate Questions. • Pertanyaan ini meliputi sejumlah ukuran dependen dimana mempertimbangkan prinsip bagaimana mereka berbeda sebagai keseluruhan lintas kelompok. Perbedaan ukuran dependen secara individual kurang menarik dibandingkan pengaruh kolektif. Keunggulan MANOVA tidak hanya dapat menguji perbedaan keseluruhan tetapi juga perbedaan antara kombinasi dari ukuran dependen yang tidak dapat muncul. Jenis pertanyaan ini bisa diselesaikan oleh MANOVA karena kemampuannya mendeteksi perbedaan multivariate walaupun pengujian univariate tunggal tidak menunjukkan perbedaan.

20. Proses Keputusan untuk MANOVA • Tahap 2: Disain Riset MANOVA • Membutuhkan ukuran sample yang lebih besar dibandingkan univariate ANOVA dan harus melebihi batasan khusus pada setiap sel (kelompok) analisis yang direkomendasikan adalah minimal ukuran sel 20 observasi. Sample pada setiap sel harus lebih besar dari jumlah variable dependen. • Disain Faktorial – Analisis dengan dua treatmen atau lebih. • Pemilihan Treatments, penggunaan yang umum dari disain faktorial meliputi pertanyaan riset yang berhubungan dengan dua atau lebih variable independent nonmetrik terhadap seperangkat variable dependen. Dalam masalah ini variabel independen dispesifikasikan dalam disain eksperimen atau termasuk dalam disain eksperimen lapangan atau survey menggunakan kuesioner. Namun beberapa hal treatmen ditambahkan setelah disain analisis. Treatment tambahan yang sering digunakan adalah blocking factor dimana karakteristik nonmetrik digunakan post hoc untuk segmentasi responden untuk mendapatkan homogenitas kelompok yang lebih besar dan mengurangi sumber variance MSW. Dengan demikian kemampuan uji statistik untuk mengidentifikasi perbedaan dapat ditingkatkan. Sebagai contoh misalnya pada contoh iklan sebelumnya laki-laki dianggap akan mempunyai reaksi yang berbeda dengan perempuan terhadap tampilan iklan dan jika gender ditambahkan sebagai blocking factor, perbedaan setiap pesan menjad lebih jelas, sedangkan perbedaan akan menjadi samar jika laki-laki dan perempuan di asumsikan akan bereaksi dengan berbeda dan tidak terpisah. Pengaruh jenis pesan dan gender kemudian di evaluasi secara terpisah, menyediakan lebih pengujian tepat terhadap pengaruh individual.

21. Contoh dua treatment sederhana disain faktorial • Sebuah perusahaan manufaktur cereal ingin menganalisis kemungkinan pengaruh tiga warna (merah, biru, hijau) dan tiga bentuk yang berbeda (bintang, kotak, bulat). • Akan diuji pengaruh kedua variabel independent secara simultan dengan disain faktorial 3 x 3. Responden secara random ditugaskan untuk mengevaluasi satu dari sembilan kemungkinan kombinasi warna dan bentuk menggunakan misalnya skala 10 poin.

22. Contoh dua treatment sederhana disain faktorial • perbedaan tiga pengaruh dapat diuji dengan ANOVA: • Pengaruh utama dari warna : apakah ada perbedaan antara rating mean terhadap warna merah (termasuk rating merah bintang, merah kotak, dan merah bulat), biru dan hijau? • Pengaruh utama dari bentuk : apakah ada perbedaan antara rating mean terhadap bentuk bintang (termasuk rating merah bintang, merah kotak, dan merah bulat), kotak dan bulat? • Pengaruh interaksi warna dengan bentuk sebagaimana perbedaan antara warna keseluruhan apakah perbedaan yang sama terjadi jika pengujian dilakukan secara terpisah untuk bintang, kotak dan bulat. Misalnya jika merah mempunyai rating yang tertinggi secara keseluruhan tetapi menerima rating yang sangat rendah jika di rating sebagai bulat (terhadap biru dan hijau) hasil ini membuktikan adanya pengaruh interaksi yaitu pengaruh warna tergantung bentuknya. Kita dapat mempertanyakan sebaliknya apakah pengaruh bentuk tergantung pada warnanya.

23. Contoh dua treatment sederhana disain faktorial • Dalam disain faktorial ANOVA pengaruh masing-masing dari ketiganya akan diuji dengan F statistik. Disain faktorial MANOVA merupakan perluasan dari ANOVA. Untuk setiap F statistic di ANOVA yang mengevaluasi pengaruh variable dependen tunggal dikaitkan dengan statistic multivariate (gcr atau Wilks’ lambda) yang mengevaluasi pengaruh yang sama dari mean variable dependen. • Istilah interaksi mewakili pengaruh bersama dari dua treatment dan pengaruh ini yang harus diuji lebih dulu. Jika pengaruh interaksi tidak signifikan secara statistic maka pengaruh dari treatment adalah independent. Independensi dalam disain faktorial berarti bahwa pengaruh dari satu treatment adalah sama untuk setiap level terhadap treatment lainnya dan bahwa pengaruh utama dapat diinterpretasi secara langsung. Jika interaksi signifikan maka jenis interaksi harus ditentukan. Interaksi dapat secara ordinal atau disordinal. Interaksi ordinal muncul ketika pengaruh treatment tidak sama pada semua level terhadap treatment lainnya namun besarnya selalu pada arah yang sama, dalam interaksi disordinal pengaruh satu treatment adalah positif untuk beberapa level dan negative untuk level lainnya terhadap treatment lainya.

24. Contoh dua treatment sederhana disain faktorial • Perbedaan antar interaksi dapat di lihat secara jelas pada gambar 6.4 yang merupakan contoh bentuk dan warna sereal. Garis vertikal mewakili evaluasi mean setiap kelompok responden diantara level kombinasi garis horizontal mewakili tiga kategori untuk warna. Garis menghubungkan mean katagori untuk setiap bentuk terhadap tiga warna misalnya gambar yang atas nilai merah bulat adalah 4, nilai biru bulat 5 dan nilainya meningkat menjadi 5.5 untuk hijau bulat.

25. Contoh dua treatment sederhana disain faktorial • Tiga bentuk interaksi di tunjukkan pada gambar tersebut. gambar a. Tidak ada interaksi terlihat setiap garis paralel mewakili perbedaan berbagai bentuk untuk setiap level warna. Pengaruh setiap treatment adalah konstan pada setiap level dan garisnya paralel pada gambar b terlihat bahwa pengaruh setiap treatment tidak konstan sehingga garisnya tidak parallel. Perbedaan untuk merah besar tetapi menurun secara tajam untuk biru sereal demikian juga untuk hijau.sehingga perbedaan setiap warna bervariasi antar bentuk. Namun urutan relatif antar level bentuk adalah sama dengan bintang selalu lebih tinggi diikuti kotak kemudian bulat. Pada gambar c perbedaan dalam warna bervariasi tidak hanya besaran tetapi juga arah. Hal ini digambarkan dengan garis yang tidak paralel dan saling berpotongan antar level yaitu kotak mempunyai evaluasi yang lebih tinggi dari pada bintang jika warnanya merah tetapi evaluasi jadi terendah jika warnanya biru dan hijau.

26. Contoh dua treatment sederhana disain faktorial • Jika interkasi signifikan ordinal peneliti harus menginterpretasikan interaksi dan memastikan bahwa hasilnya sesuai dengan konsep. Kemudian pengaruh setiap treatment dapat dijelaskan. Tetapi jka interaksi signifikan disordinal maka pengaruh utama dari treatment tidak dapat diinterpretasikan dan penelitian harus didisain ulang hal ini juga berlaku untuk interaksi disordinal pengaruh bervariasi tidak hanya pada level treatment tetapi juga dalam arah (positip atau negatip) sehingga treatment tidak mewakili pengaruh yang konsisten.

27. Menggunakan covariate-ANCOVA dan MANCOVA • ANCOVA. Covariate metrik umumnya dimasukkan dalam disain eksperimental untuk menghilangkan pengaruh extraneous dari variable dependen sehingga dapat meningkatkan varian dalam kelompok (MSW). Hal ini sama dengan mengunakan blocking factor hanya saja variablenya metrik. Prosedurnya sama dengan regresi linier yang digunakan untuk menghilangkan variasi dalam variable dependen yang berhubungan dengan satu atau lebih covariate kemudian ANOVA konvensional dilakukan pada variable dipenden yang disesuaikan.

28. Menggunakan covariate-ANCOVA dan MANCOVA • MANCOVA merupakan perluasan dari prinsip ANCOVA untuk multivariate (multipel variable dipenden) analisis yaitu MANCOVA dipandang sebagai MANOVA terhadap regresi residual atau varian dalam variabel dependen tidak dapat dijelaskan oleh covariate

29. Tujuan dari Covariance Analysis • Untuk mengeliminasi pengaruh: • yang hanya mempengaruhi sebagian responden atau • yang bervariasi antar responden • Sama halnya dalam menggunakan blocking factor, covariates dapat mencapai dua tujuan khusus yaitu: • mengeliminasi beberapa kesalahan sistematis diluar kontrol dari peneliti yang dapat membuat hasil yang bias, dan • mengakomodasi perbedaan respon terkait karakteristik unik dari responden.

30. Proses Keputusan untuk MANOVA • Tahap 3: Asumsi dalam Multiple MANOVA • Untuk prosedur pengujian multivariate menggunakan MANOVA yang valid obeservasi harus independent, variance-covariance matriks harus sama (atau dapat diperbandingkan) untuk setiap kelompok treatment. Variable dependen harus memiliki distribusi normal multivariate. • Normalitas multivariate dapat diasumsikan tetapi sulit dalam pengujian. Normalitas univariate tidak menjamin normalitas multivariate, namun jika seluruh variable memenuhi normalitas univariate maka kemencengan dari normalitas multivariate tidak konsekuensial. Criteria lainnya adalah Linearitas dan multicollinearity diantara variable dependen serta sensitivitas terhadap outliers.

31. Proses Keputusan untuk MANOVA • Tahap 4: Estimasi Model MANOVA dan Menguji Fit keseluruhan • Saat analisis MANOVA telah diformulasikan dan uji asumsi telah terpenuhi, pengujian terhadap signifikansi perbedaan antar kelompok yang dibentuk dengan treatment dapat dilakukan. Dalam melakukan pengujian ini peneliti harus memilih pengujian statistic yang tepat untuk tujuan penelitiannya. Namun dalam situasi tertentu khususnya jika analisis menjadi lebih kompleks, peneliti harus mengevaluasi kekuatan dari pengujian statistic untuk menyediakan perspektif yang lebih informatif dan memperoleh hasil yang diharapkan.

32. Proses Keputusan untuk MANOVA • Empat pengukuran yang banyak digunakan untuk menguji signifikansi secara statistic antar kelompok terhadap variable independent adalah: • Roy’s Greatest Characteristic Root • Wilk’s Lambda • Pillai’s Criterion • Hotelling’s Trace • Dalam beberapa situasi hasil/kesimpulan bisa sama antar keempat pengukuran, namun dalam situasi yang unik hasil dapat berbeda diantara keempat pengukuran.

33. Proses Keputusan untuk MANOVA • Tahap 5: Interpretasi Hasil MANOVA • Jika covariates termasuk dalam model GLM, maka lakukan analisis model baik dengan maupun tanpa covariates. Jika covariates tidak meningkatkan kekuatan statistic atau tidak mempengaruhi secara signifikan terhadap pengaruh treatment, maka dapat didrop dari analisis final.

34. Proses Keputusan untuk MANOVA • Jika dua atau lebih variable independent (treatments) termasuk dalam analisis, interaksi harus diuji sebelum mengambil kesimpulan mengenai pengaruh utama dari variable independent: • Jika interaksi tidak signifikan secara statistik, maka pengaruh utama dapat diinterpretasi langsung karena perbedaan antar treatments dipertimbangkan konstan antar level kombinasi. • Jika interaksi signifikan secara statistik, dan perbedaan tidak konstan antar level kombinasi, maka interaksi harus ditentukan apakah ordinal atau disordinal:

35. Proses Keputusan untuk MANOVA • Jika variable independent memiliki dua atau lebih kelompok, dua jenis prosedur dapat digunakan untuk mengisolasi sumber perbedaan: • Post-hoc tests menguji perbedaan potensial secara statistic antar seluruh mean kombinasi yang mungkin. Post-hoc tests memiliki kekuatan yang terbatas dan sangat cocok untuk mengidentifikasi pengaruh yang besar. • Post Hoc Methods • Scheffe • Tukey’s honestly significant difference (HSD) • Tukey’s extension of the Fisher least significant difference (LSD) • Duncan’s multiple-range test • Newman-Kuels test

36. Proses Keputusan untuk MANOVA • Planned comparisons adalah cocok jika a priori theoretical reasons menyatakan bahwa kelompok tertentu akan berbeda dari satu kelompok dengan kelompok lainnya. Kesalahan Type I akan bertambah sebagaimana jumlah planned comparisons meningkat.

37. Proses Keputusan untuk MANOVA • Tahap 6: Validasi terhadap Hasil • Teknik analisis varian (ANOVA dan MANOVA) dikembangkan untuk situasi eksperimen, dengan replikasi sebagai pengertian utama terhadap validasi. Ketegasan perlakuan treatment eksperimen memungkinkan penggunaan yang luas dari eksperimen yang sama pada multiple populasi untuk menguji generalizability dari hasil. Dalam penelitian ilmu pengetahuan sosial dan bisnis, bagaimanapun, eksperimen kerap kali digantikan dengan uji statistik dengan keadaan nonexperimental seperti survei penelitian. Kemampuan untuk memvalidasi hasil dalam keadaan ini adalah berdasarkan kemampuan replikasi dari treatment.

38. Proses Keputusan untuk MANOVA • Dalam beberapa hal karakteristik demografi seperti umur, gender, income dan sejenisnya di gunakan sebagai treatment. Treatment ini harus memenuhi kriteria comparability, namun peneliti harus memastikan bahwa penambahan elemen terhadap pengujian random terhadap sel juga harus terpenuhi namun kadang kadang dalam riset survey hal ini tidak terpenuhi. Misalnya umur dan gender sebagai variable independen merupakan contoh umum penggunaan ANOVA atau MNOVA didalam riset survey. Dalam validasi peneliti harus berhati hati menganalisis multiple populasi dan membandingkan hasil sebagai pembuktian validitas tunggal karena responden dipilih secara sederhana treatment dalam kasus ini tidak dapat diuji oleh peneliti karena tidak random, sehingga peneliti mempertimbangkan penggunakan covariate untuk mengontrol fitur lain yang menjadi karakteristik umur atau gender yang dapat mempengaruhi variable dependen tetapi tidak termasuk dalam analisis.