Zorla Seçmeli Sistemler: İş Performansı Değerlendirmelerini Elde Etmek İçin Kullanılan

Performans değerlendirmelerinin elde edilmesinde en popüler yöntemlerden biri “zorunlu seçim” olarak bilinen tekniktir. Kişilik ölçme araçlarının geliştirilmesinde karşılaşılan olağan sorunların bir çıkıntısı olan bu derecelendirme yöntemi, performansta kullanılmak üzere hızla uyarlanmıştır. değerlendirme.

Tarihsel olarak, yöntem 1940'ların başlarında Horst'la ortaya çıkmış görünüyor ve aynı zamanda Wherry tarafından da kullanılıyordu. Yöntem, çok çeşitli durumlarda ve çok çeşitli amaçlar için kullanılmıştır. Zorla seçim yönteminin mükemmel bir eleştirisinde, Zavala (1965, s. 117) şöyle özetlemektedir:

FC tekniği, Hava Kuvvetleri memurları ve askerler (Gough, 1958; Wherry, 1959), karayolu devriyeleri ve polis memurları (Peres, 1959; Stander, 1960), mühendisler (Lepkowski, 1963), öğretmenler gibi profesyonel personeli derecelendirmek için kullanılmıştır. (Leftwich, 1962; Tolle ve Murray, 1958) ve doktorlar (Newman ve Howell, 1961; Newman, Howell ve Harris, 1957). FC kavramı ayrıca, ilgi alanlarını derecelendirmek veya ölçmek için testler (Bendig, 1958; Peel, 1961), liderlik ve denetim (Izard ve Rosenberg, 1958; Wollack, 1959) ve çalışan tutumları (Miller ve Gekoski, 1959) geliştirmek için kullanılmıştır. .

Gordon (1951), Denton (1954) ve Hatch (1962) kişilik ölçümünde kullanmak ve empati ölçütleri elde etmek için FC tekniklerini kullandılar. FC yaklaşımı ayrıca sinyal tespit edilebilirliği ve işitsel eşiklerle ilgili problemlerde de kullanılmıştır (Lukaszewski ve Elliott, 1962; Swets, 1959). Blackwell (1952), duyusal fonksiyonların psikofiziksel ölçümü için FC yöntemini kullanmıştır. Webster (1959), FC tekniği kullanılarak bir şekil tercihi testi geliştirdi.

Zorunlu Seçim Derecelendirme Ölçeği İnşaatı:

Guilford (1954, s. 275) zorla seçmeli bir enstrüman geliştirmede izlenecek uygun adımları çok net bir şekilde ortaya koymuştur; bu nedenle burada tekrarlanmaya değer.

Aşağıdaki sekiz adımı önerir:

1. Derecelendirilecek belirli bir grup için performans sürekliliğinin en yüksek ve en düşük uçlarında bulunanlar hakkında açıklamalar yapılmıştır.

2. Tanımlar, çok kısa cümleler veya cümlelerle ifade edilen basit davranış nitelikleri ile analiz edilir veya öğeleri oluşturmak için kullanılan eleman adı olarak nitelendirilir.

3. Her öğe için ampirik olarak iki değer belirlenir: ayrımcılık değeri ve tercih değeri. Ayrımcılık değeri bir geçerlilik endeksidir ve tercih edilen değer, enstrümanı kullanacak puanlayıcılar gibi insanlar tarafından kalitenin değerinin derecesinin bir endeksidir.

4. Bir öğe oluştururken, öğeler eşleştirilir. Yaklaşık aynı yüksek tercih değerine sahip iki ifade veya terim, biri geçerli, diğeri geçerli olmayan eşleştirilmiştir. Her ikisi de puanlayıcı için “yüz geçerliliğine” sahip olmalıdır, yani puanlayıcı, her ikisinin de gruptaki üstün performans için elverişli olduğunu düşünmelidir. Yaklaşık eşit derecede düşük tercih değerine sahip olan iki ifade veya terim de biri geçerli, diğeri geçerli olmayan eşleştirilmiştir.

5. Bir tanesi yüksek tercih değerine sahip, diğeri düşük tercih değerine sahip olan iki çift ifade, bir öğe oluşturmak için bir tetrad içinde birleştirilir. Bu tür bir kombinasyonun nedeni, ortalama puanlayıcının tanıdığı bir kişi için iki olumlu tanımdan birini seçmeye itiraz etmemesine rağmen, bazen kötü olan iki tanımdan birini seçmekte sıkıntı çekiyor. Bazen beşinci, tarafsız bir açıklama pentad oluşturmak için eklenir, ancak bu daha az yaygındır.

Bir tetrad örneği şöyledir:

Dikkatsiz

Ciddi düşünen

Enerjik

Snob

“Ciddi fikirli” ve “enerjik” özelliklerin eşit tercih değerine sahip olduğu bulunmuştur, çünkü ölçeğin geliştirildiği personel tipini tanımlarken eşit derecede sıkça uygun özellikler olarak uygulanmıştır. Bununla birlikte, “ciddi düşünce” özelliğinin geçerli olduğu bulundu, çünkü yüksek kriter grubuna, düşük kriter grubundan önemli ölçüde daha sık uygulandı. “Dikkatsiz” ve “züppe” özellikleri eşit derecede popüler değildi, ancak “dikkatsiz” yüksek kriter grubundan alçakları ayırt ediyor.

6. Değerlendiricinin talimatı hazırlanır. Değerlendirici, her dört tetrale bir madde olarak tepki göstererek, dördünden hangisinin değerlendiriciye en uygun olduğunu ve dördünden hangisinin en uygun olduğunu söyler.

7. Aletin deneysel bir şekli, açıklamaları bu formda yer aldığında verilen yanıtları doğrulamak amacıyla dış kriterlerin bulunduğu bir numunede denenir. Ayırt edici yanıtlar belirlenir ve istenirse diferansiyel ağırlıklar atanır.

8. Adım 7'deki sonuçlara dayanarak bir puanlama anahtarı oluşturulmuştur. Normal olarak, puanlayıcıya en açıklayıcı olarak işaretlenmiş geçerli bir olumlu özellik pozitif bir ağırlık alır, ayrıca en az açıklayıcı olarak değerlendirilen geçerli, olumsuz bir özelliktir.

Gerekçe:

Tabii ki, yukarıdaki açıklamadan "zorla" seçim "adının mantığı hemen anlaşılır, çünkü puanlayıcı sürekli olarak eşit derecede elverişli (veya elverişsiz) alternatifler arasından seçim yapmaya zorlanır. Bu, söz konusu kişinin, bir dereceye kadar iyilikçiliği göstermek isteyebileceği çalışanları derecelendirirken yalnızca en uygun özellikleri kasıtlı olarak kontrol etmesini önlüyor.

Eğer cevaplarını kesin olarak ne kadar olumlu göründüklerine dayanarak seçerse, o zaman teoride, bu temelde eşitlendiğinden beri, herhangi bir çiftteki bir özelliği diğerinden seçmek için hiçbir neden yoktur. Bu nedenle, seçimi rastgele bir seçim olacaktır ve şans eseri, zamanın yarısını ayırt edici özellik seçerek bitirecektir.

Her tetrad, bir olumlu çift (içinde pozitif bir ayırımcı ile) ve bir olumsuz çift (içinde bir negatif ayırımcı ile) bulunduğundan, her çiftte rastgele bir seçim, puanlayıcının yarının yaklaşık yarısı için uygun bir ayırımcı seçme eğiliminde olacağı anlamına gelir. zaman ve yaklaşık yarısı da olumsuz bir ayrımcı.

Bu nedenle, rastgele veya şanslı bir puan sıfır olacaktır (her pozitif ayrımcı için +1 ve kontrol edilen her olumsuz ayrımcı için -1 verdiğimizi varsayalım). Değerlendiricinin gerçekten işçinin doğru bir değerlendirmesini yapmaya çalıştığı ölçüde, pozitif çiftte ayrımcılık yapan özellikleri seçme ve negatif çiftte ayrımcılık yapan özellikleri seçme (iyi bir işçiye puan verme yetkisi varsayarak) seçme eğiliminde olacaktır. .

Fakir bir işçiyi derecelendiriyorsa, ayırt edici özelliği, negatif çift arasındaki şanstan daha sık seçme ve ayrımcı olmayan özelliği pozitif çiftteki şanstan daha sık seçme eğiliminde olacağı için düzeni tersine çevrilecektir. Bu nedenle, iyi çalışanlar, yüksek pozitif puanlar elde etmeli ve düşük negatif puanlı yoksul işçilerle sonuçlanmalıdır.

Zorunlu Seçim Endeksleri:

Başarılı bir zorunlu seçim ölçeğinin anahtarı, derecelendirme ölçeğinin son halini oluşturmadan önce her özellik için elde edilen çeşitli endeks tiplerinde yatmaktadır.

Farklı endeksler aşağıdaki gibidir:

A. Ayrımcı endeksler

B. Eşitlik endeksleri

1. Tercih endeksi

2. Uygunluk endeksi

3. Önem endeksi

4. Arzu edilebilirlik endeksi

Ayrımcı Endeksler:

Ayrımcılık endeksi, iyi ve fakir işçiler arasında ayrım yapan bir özelliğin derecesinin bir ölçüsüdür. Normalde madde analizinde kullanılan tüm endeksler, özellik suçluluğunun ölçütleri olarak kullanım için potansiyel olarak uygundur çünkü bir çalışanın ne kadar iyi olabileceğini tahmin etmek için sadece her bir özelliğin ne kadar geçerli olacağı ile ilgilenmektedir. Madde analizi yöntemlerinin bir tartışması için, psikolojik testlerde herhangi bir temel metne bakın.

Eşitlik Endeksleri:

Zorla seçim sisteminin gerekçesi, özelliklerin puanlayıcı için eşit derecede “çekici” olacak şekilde eşleştirilmesini gerektirir. Başka bir deyişle, bir özellik, diğer özellik üzerinde, yanıtlarını önyargı arzusu olan bir puanlayıcı tarafından seçilmesine yol açacak herhangi bir özelliğe sahip olmamalıdır. Herhangi bir çiftteki özelliklerin seçimi, özelliklerin kendileri hakkındaki herhangi bir popülasyon klişesinden ziyade, yalnızca ayırt edici güçlerine dayandırılmalıdır.

Derhal, cevaplarının önyargısını almak isteyen bir puanlayıcının yanıtını etkilemek için ne tür özellik özelliklerinin uygun olduğunu belirlemeye çalışmak sorununa yol açıyoruz.

Bu tür dört özellik potansiyel olarak önemli olarak kabul edilebilir:

1. Bir özellik için tercih:

Bu, en iyi veya fakir işçi olup olmadıklarına bakılmaksızın, değerlendiricilerin bu özelliği tüm insanlarla kullanma eğilimi olarak tanımlanabilir. Sisson (1948), bu özelliği “genel olarak insanların diğer insanları tarif etmede ne ölçüde kullanma eğiliminde olduğu” olarak tanımlamıştır. Bir anlamda, özellik tercihi, bir özelliğin, puanlayıcıların tanımlayıcı sözlüğündeki ortaklığının bir ölçüsüdür. Özellik çiftlerini genel tercihleri ​​ile eşitlemek, bir puanlayıcı seçimini etkilemesi muhtemel olan yabancı madde özelliklerini kaldırmaya çalışırken, kesinlikle mantıklı bir adım gibi görünecektir.

2. Bir özelliğin tercih edilebilirliği:

Özellikler, insanların tanımlayıcısı olarak kullanıldığında belirgin yararları bakımından açıkça farklılık gösterir. Daha önce de belirtildiği gibi, zorunlu seçim formatı genellikle iki uygun özelliği olan iki olumlu özelliği eşleştirir. İki uygun özelliğin eşit derecede elverişli görünmesi ve iki olumsuz özelliğin eşit derecede elverişsiz olması da önemlidir, veya puanlayıcı, oranın olabildiğince iyi görünmesi için her çifte en uygun olanı seçmeye özendirilebilir.

Özellik tercih edilebilirliği muhtemelen zorunlu seçim çiftlerini eşitlemek için en sık kullanılan endekstir. Ortalama ölçek ölçeğini uygunluk endeksi olarak tanımlamak ve kullanmak için kullanılacak her bir kişiyi, her özelliği her bir özelliği değerlendiren birkaç yargıç değerlendirerek elde edilmesi nispeten kolay olan bir endekstir.

3. Önem endeksi:

Bu endekste Zavala (1965) tarafından bahsedilmiştir ve “ifadenin söz konusu pozisyon için bir nitelik olarak öneminin” bir ölçüsüdür (Zavala, 1965, s. 118). Bu endeks, önyargı eğilimine sahip bir kişinin belirli bir durumu referans çerçevesi olarak kullanmaktan daha genel bir referanstan daha uygun olduğunu kabul eder. Başka bir deyişle, iyi bir görünüme kavuşmak isteyen bir puanlayıcı, söz konusu iş için en önemli olduğunu düşündüğü özel özelliği, en elverişli genel tanımlayıcı olan özelliği seçmekten daha uygun bulabilir.

Bu nedenle, hangi özelliği kullanmanın en iyi olduğu seçicisinin seçimi, işe özgü olması muhtemeldir. Özelliklerini önemleri için başarılı bir şekilde eşitlemek için, her farklı derecelendirme durumu için önem ölçeği değerlerinin elde edilmesi (genellikle aynı şekilde uygunluk ölçeği değerleri elde edilmesi) gereklidir - bir zaman zaman zor olabilir. başarmak.

4. Arzu edilebilirlik endeksi:

Sosyal arzu edilebilirlik kavramı, bireylerin kişilik envanterlerine verdiği yanıtların belirlenmesinde bir etki olarak ele alınmıştır. Bu özellik karakteristiğinin etkisi, derecelendirme durumlarında muhtemelen eşit derecede önemlidir. Tercih edilebilirlik ile sosyal tercih edilebilirlik arasında ayrım yapmak her zaman kolay bir şey değildir.

Kuşkusuz, olumlu olarak değerlendirilen özellikler, sosyal olarak da arzu edilir olarak kabul edilebilir. Bu ayrım, oldukça yüksek olabilen bir zekâ gibi özelliğin avantajlılığı göz önünde bulundurularak gösterilebilirken, sosyal arzu edilebilirliği, “egghds” vb. A karşı genel kültürel reaksiyon nedeniyle bir miktar daha düşük olma eğiliminde olabilir.

Referans çerçeveleri:

Sadece zorla seçilmiş bir formattaki özellik çiftlerini eşitlemek için kullanılabilecek çeşitli endeksler yoktur, aynı zamanda denkleştirme amaçları için ölçek değerleri elde ederken hakimlere verilebilecek birkaç eğitim seti veya referans çerçevesi de vardır. . Sonuç olarak, farklı talimatlar oldukça kritik olmaya uygundur.

Örneğin, kişi önem endeksleri almakla ilgileniyorsa, hakimlere aşağıdaki talimat gruplarından birini verebilir:

(I) Her özelliğe, işin başarılı bir iş performansı için ne kadar önemli olduğunu düşündüğünüze dayanan bir puan verir ya da

(2) Her özelliğe, ölçeği kullanarak en çok puan alan değerlendiricinin, işin başarılı bir iş performansı için olduğunu hissedeceğini düşündüğünüze dayanan bir puan verin.

İlk örnekte, hakemlerin kendi referans çerçevelerine dayanan ölçek değerleri elde edilir. İkinci örnekte, hakimlerden kendilerini, sonunda performans değerlendirme aracını kullanmaları ve o kişiymiş gibi yargılarda bulunmaları istenecek kişinin “ayakkabılarına” yerleştirmeleri istenir. Bu iki koşul kümesi altında elde edilen önem ölçeği değerleri oldukça farklı olabilir.

“İdeal Adam” Stratejisi:

Referans soru çerçevesiyle ilgili bir problem, “ideal-insan” stratejisi olarak adlandırılan puanlayıcı stratejisidir. Zorla seçim derecelendirme ölçeğine verilen yanıtları çok tipik bir önyargı yolu, derecelendiricinin en iyi çalışanını seçmesi ve gerçekten derecelendirdiği ve iyi puan almak istediği çalışanın özellikleri için zihinsel olarak özelliklerini değiştirmesidir.

Eğer derecelendirmede bir rehber olarak kullanılacak kadar iyi bir çalışanı yoksa, puanlayıcı ideal bir çalışanın zihinsel bir görüntüsünü çizebilir ve bunu derecelendirmesini yaparken referans çerçevesi olarak kullanabilir. Bu tür kasıtlı önyargılarla baş etmek oldukça zordur, çünkü, bir anlamda, puanlayıcı, zorla seçilmekte olan ölçeğin korumaya meyilli olduğu özellik özelliklerine dikkat etmemektedir.

Yani, puanlayıcı “dürüst” bir derecelendirme işi yapmaya meyillidir; ölçeği tamamladığı sırada derecelendirdiği “adam”, derecelendirme olması gerekenden oldukça farklı bir kişidir. Bir puanlayıcı, bu derecelendirme stratejisini arkadaşlarının performans puanlarını yükseltmek için bir yöntem olarak benimsemek için yeterince akıllı olduğunda, zorla seçimle bile sonuçta ortaya çıkan önyargıdan kaçınmak için yapılabilecek çok az şey vardır.

Zorla Seçim Yöntemi Üzerine Araştırmalar:

Zorla seçim yöntemi, 1940'lı yıllardan bu yana tanıtılmasından bu yana çok sayıda araştırmanın konusu olmuştur. Yeni yöntemlerin çoğunda olduğu gibi, birçoğunun umduğundan çok daha az bir tedavinin olduğu ortaya çıktı, ancak yine de endüstriyel psikolog için mevcut olan derecelendirici önyargıyı azaltmanın en etkili yollarından biri olduğu görülüyor. Zorla seçim yönteminin çeşitli yönleriyle ilgilenen bulguların bazılarına kısa bir bakış, yöntemin genel durumu hakkında bir fikir verecektir.

Zorla Seçilmiş Öğe Biçimi:

Zorla seçim yöntemi üzerine yapılan klasik çalışmalardan biri olarak kabul edilenler arasında Highland ve Berkshire (1951), (1) garip çift güvenilirliklerine, (2) duyarlılıklarına göre altı farklı öğe formatını karşılaştırmıştır. Not verenlere yüksek puan almaları talimatı verildiğinde önyargı, (3) öğretmenlerin öğrencilerin sıra sıralarından oluşan bir kritere karşı geçerlilikleri ve (4) puanlayıcılar tarafından belirlenen genel popülariteleri.

Kullanılan altı farklı öğe formatı şunlardı:

1. Öğe başına iki ifade, hem olumlu, hem de olumsuzdur. Oylayıcıdan ifadeler çiftinin en açıklayıcısını seçmesi istendi.

2. Öğe başına üç ifade, tümü olumlu ya da olumsuzdur. Evden en çok ve en az betimleyici ifadeyi seçmesi istenmiştir.

3. Öğe başına dört ifade, hepsi uygun. Rater'den en açıklayıcı iki ifadeyi seçmesi istenmiştir.

4. Öğe başına dört ifade, hepsi uygun. Evden en açıklayıcı ve en az açıklayıcı seçmesi istenmiştir.

5. Öğe başına dört ifade, iki olumlu ve iki olumsuzdur. Evden en çok ve en az betimleyici ifadeleri seçmesi istenmiştir.

6. Öğe başına beş ifade, iki olumlu, iki olumsuz ve bir nötr. Evden en çok ve en az betimleyici ifadeleri seçmesi istenmiştir.

Çalışmanın sonuçları, Highland ve Berkshire'ı aşağıdaki sonuçlara götürdü:

Güvenilirlik:

Tüm formatlar yüksek güvenilirlik katsayılarına yol açsa da, 5 ve 6 formatları bu kritere en iyi şekilde gösterdiği düşünülebilir.

Geçerlik:

Format 4 genel olarak en geçerli bulundu; format 3 güçlü bir saniye yayınladı. Bu, yalnızca uygun alternatiflerin kullanımının geçerliliği etkilediğini göstermektedir.

Değerlendirici tercihi:

Altı format için puanlayıcıların tercihi (en çok en az tercih edilen) 3, 1, 6, 5, 4 ve 2'dir.

Önyargıya duyarlılık:

Formlar, önyargılı kasıtlı girişimlere karşı ne derece dirençli olduklarına göre önemli ölçüde farklılık gösterdi. Önyargı direnci sırası (en azından en azından), 3, 2, 1, 4, 5 ve 6 idi.

Highland ve Berkshire, yukarıda listelenen dört kriter göz önüne alındığında format 3'ün çalışılan altı alandan en iyisi olduğunu öne sürüyor.

Zorunlu Seçimin Karşılaştırmalı Geçerliliği:

Highland ve Berkshire çalışması, kendi aralarında farklı zorunlu seçim biçimlerini inceledi. Eşit derecede önemli bir soru, diğer performans değerlendirme prosedürleriyle karşılaştırıldığında yöntemin geçerliliği ve güvenilirliği ile ilgilidir.

Zavala (1965), zorla seçimin geçerlilik açısından avantajını incelemeyi iddia eden çalışmaları incelerken, aşağıdaki noktaları ortaya koymaktadır:

1. Zorla seçmenin geçerliliği ile ilgili çok sayıda çalışma, diğer derecelendirme biçimlerini bir kriter olarak kullanma eğilimindedir. Bu muhtemelen bir geçerlilik ölçütünden çok bir güvenilirlik ölçütüdür.

2. Karşılaştırmalı çalışmaların çoğu, geleneksel puanlama yöntemlerine göre zorunlu seçim için hafif bir üstünlük göstermektedir.

3. Derecelendirme ölçekleri ne kadar uzun olursa, zorunlu seçim yöntemi o kadar uygun olur.

4. Zorla seçim ölçeğinin geçerliliği, aynı zamanda maddelerin oluşturulmasında kullanılan eşit denklem türünün bir fonksiyonu olarak da kullanılabilir.

Önyargıya Duyarlılık:

Geçerlilik sorunu muhtemelen zorunlu seçim yöntemini değerlendirmek için kullanılabilecek en önemli soru olsa da, yöntemin yanlılığa veya kasıtlı çarpıtmaya maruz kaldığı derece sorusu da önemlidir. Aslında, yöntem, yanıt yanlılığının geçerliliği azaltma eğiliminde olduğundan, yanıt yanlılığını azaltmak için özel olarak tasarlanmıştır.

Zorunlu seçim prosedürünün yanlılık azaltıcı olarak etkinliğine dair kanıtlar biraz eşdeğerdir. Sisson (1948), Howe (1960) ve Howe ve Silverstein (1960) tarafından belirtildiği gibi, sahte seçimin zor bir seçim biçiminde yapılabileceğinden şüphe yok gibi görünüyor.

Bununla birlikte, zorunluluk seçimine bağlı olarak, sahte olma derecesinin azaldığına dair somut kanıtlar olduğu görülmektedir. Karr (1959), Taylor ve Wherry (1951) ve Izard ve Rosenberg (1958), diğer ölçeklerin tipini aşan zorla seçilmeye zorlanmaya karşı direnç gösteren üç araştırma çalışması örneği sunar.

Waters (1965) kısa süre önce, zorla seçilmenin sahtekarlığı konusundaki araştırmalarla ilgili en büyük zorluklardan birinin, kurulan testi sahtekarlık yapmanın “denklem endekslerinin altında olduğu” kümeden farklı olduğunu söyledi. başlangıçta elde edildi. Dolayısıyla, endeksler gerçek değerlendirme durumu için hiçbir zaman tam olarak uygun değildir. Eşit indekslerin elde edilebileceği üç farklı cevap seti olduğunu öne sürüyor (hangi indeksin kullanıldığına bakılmaksızın).

1. Dürüst değerlendirme:

Katılımcı olarak yanıt vermek, ifadenin değerlendirilen kişi için geçerli olduğuna gerçekten inanmaktadır.

2. Sosyal kabul edilebilirlik:

Kendisine ve genel olarak başkalarına kabul edilebilir görünecek şekilde cevap vermek

3. Başarı görünümü:

Kişinin belirli bir iş veya faaliyet ile ilgili olarak gerekli veya arzu edilen özelliklere sahip görünmesini sağlamak için cevap vermek.

Waters tarafından, yanılgılılık çalışmalarının, yanıt setinin ve grup kompozisyonunun nasıl çeşitlendirildiğine bağlı olarak üç genel sınıfa ayrılabileceği önerilmektedir.

Waters'tan alıntı yapmak için (1965, s. 189), biz:

1. Fakability çalışmaları:

Çekicilik endekslerinin elde edildiği ve ölçeğin uygulandığı durumlarda en azından benzer kümeler ve gruplar.

2. Genelleme çalışmaları:

Kümeler veya gruplar, ancak her ikisi de değil, çekicilik endekslerinin alındığı durumdan ölçeğin uygulandığı duruma göre değişti.

3. Eklenti çalışmaları:

Hem kümeler hem de gruplar, çekicilik endekslerinin alındığı durumdan ölçeğin uygulandığı duruma değişmiştir.

Faktivite çalışmaları, bu tür çalışmalarla karıştırılmamalıdır. Eşdeğer endekslerin işlerini yaparken ne kadar yeterli olduklarını doğrudan test eden tek tip onlar. Son iki, endeksin diğer durumlara genelliğini değerlendirir. Maalesef, Waters'a göre, bugüne kadar yapılan en fazla etkenlik çalışmaları ya genelleme ya da genişletme çalışmaları olmuştur; Sahte olma sorusuna doğrudan saldıran bazı araştırmalara güçlü bir ihtiyaç vardır.

Norman Çalışması:

Zorla seçim faktoringi ve tespiti problemi konusundaki daha ilginç çalışmalardan biri Norman'ın (1963) yaptığı çalışmadır. Normal şartlar altında ve sahte şartlar altında madde popülerliğinin dinamikleri ve madde ayrımcılığı endeksleriyle ilgileniyordu. Ek olarak, eğer gerçekleştiyse, ne kadar sahtekarlığın kontrol edilebileceğini ve / veya tespit edilebileceğini belirlemekle ilgilendi.

Araştırmanın popülerlik endekslerinin davranışına ve ayrımcılığa ilişkin başlıca bulguları aşağıda verilmiştir:

1. Normal ve sahte koşullar altındaki ayrımcılık endeksleri yaklaşık olarak ilişkilendirildi.

2. Normal ve sahte koşullar altındaki popülerlik endeksleri düşük (0, 24 ve 0, 23) ile korele idi.

3. Sahte koşullar altında ayrımcılık endekslerinin güvenilirliği sıfırdı.

4. Normal koşullar altında ayrımcılık endekslerinin güvenilirliği orta derecede yüksekti.

5. Popülerlik endekslerinin güvenilirliği hem normal hem de sahte koşullar altında neredeyse mükemmeldi (0, 97 ve 0, 98).

Bu sonuçların sonuncusu (sayı 5'i bulmak), normal ve sahte koşullar arasındaki popülerlik farkının da çok güvenilir olması gerektiği anlamına gelir (önemli farklılıklar olduğunu söyleyen 2 numarayı bulmak, bu farklılıkların güvenilir olduğunu ima etmek için değiştirilebilir) tutarlı). Ancak, bu doğrudan çalışmada değerlendirilmedi.

Norman, daha sonra, normal şartlar altında olduğu gibi sahte şartlar altında aynı ortama sahip olacak, sahte şartlar altında daha küçük bir varyansa sahip olacak ve faktörü tanımlamak için oldukça hassas bir algılama ölçeğine sahip olacak şekilde zorla seçmeli bir enstrüman geliştirme prosedürünü önerir.

Bunu başarmak için aşağıdaki adımları ana hatlarıyla belirtir:

1. Normal şartlarda yüksek ayırım indeksine sahip öğeleri seçin (nihayetinde gerekenden fazlasını seçin).

2. Normal ve sahte şartlar altında seçilen öğelerin popülaritesindeki farklılıklarının boyutlarına göre sıralama düzeni (yukarıdaki listedeki 2 numaralı maddeye bakın).

3. Sıfırın her iki tarafındaki öğeleri seçin (istediğiniz kadar), popülerlik farklarının cebirsel toplamının tamamlandığında sıfıra eşit olduğundan emin olun.

3. Adım (popülerlik farklılıklarının güvenilir olduğunu bildiğimiz için) normal şartlar altındaki kişilerin ortalama test puanının sahte şartlar altında olacağına emin olacaktır. Bu, test puanlarının dağılımının ortalamanın madde popülerliğinin toplamına eşit olması nedeniyle oluşur. Böylece normal ve sahte şartlar altında ortalama puanlar eşittir. Bu prosedürle yapılan testler ayrıca sahte olarak ayarlandıklarında test puanlarının dağılımını da değiştirecektir. Bu, sahte olmaya çalışan kişilerin kabul edilmek için yeterince yüksek puan alma ihtimalini azaltma eğiliminde olan bir sonuçtur.

Örnek olarak, normal koşullarda alınan test puanlarının dağılımına sahip olduğumuz aşağıda gösterilen şemayı (Şekil 7.4) göz önünde bulundurun. (7.4a), bir küme altında alınan test puanlarının sahte (7.4b) dağılımı ve sahte ve sahte olmayanlardan oluşan bileşik bir dağılımı (7.4c).

Şekil 7.4c'nin incelenmesi, bu yöntemin kasıtlı faktörler üzerinde uyguladığı kontrol etkisinin bir göstergesidir. Her zamanki performans değerlendirme ortamında, zorunlu seçim formunda yüksek puan alanlara ödül vermek istiyoruz. Sahte dağılımın varyansının azalması nedeniyle, seçilen veya ödüllendirilen grup içinde çok fazla faktörü alma riski olmadan en iyi puan alan kişileri (7.4c'deki kesme çizgisinin sağında olanlar) seçebilir.

Şekil 7.5, Norman çalışmasında elde edilen varyanstaki bu kısıtlamanın beş farklı ampirik gösterimini göstermektedir.

Norman yönteminin son bir özelliği, kimin sahte olup olmadığını belirlemek için bir “algılama” ölçeği oluşturmanın çok kolay olmasıdır.

Bunlardan sadece birkaçı, aşağıdaki gereklilikleri karşılayan bir dizi maddeyi içerir:

1. Kriter değişkenleri için sıfıra yakın geçerliliği olmalıdır.

2. Normalden sahte duruma popülerlikte büyük bir değişim göstermiş olmalılar.

3. Normal şartlar altındaki popülerlikleri ya çok yüksek ya da çok düşük olmalıdır.

Biri daha sonra her madde için normal koşul altında nadir yanıtı (yani sahte koşul altında sık cevap) puanlayan bir anahtar oluşturur, çünkü bir cevap faktoringi gösterirken diğer cevap normal yanıtı gösterir.

Bu tespit maddelerini tarif etmenin bir başka yolu, popülerliklerinin sahte olma eğilimi ile ilişkili olduğudur. Şekil 7.6, Norman tarafından normal ve sahte koşullar altında elde edilen dedektör ölçeğinde puan dağılımlarını göstermektedir. İnsanlardan sahte olmaları istendiğinde puanların büyük değişimine dikkat edin. Yaklaşık 20'lik bir kesme noktası, pek çok normları hatalı şekilde suçlamadan faktörlerin çoğunu belirleme eğiliminde olacaktır.