-
Notifications
You must be signed in to change notification settings - Fork 0
/
Bakatoo_Vootele_Rotov.tex
2445 lines (1807 loc) · 113 KB
/
Bakatoo_Vootele_Rotov.tex
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808
809
810
811
812
813
814
815
816
817
818
819
820
821
822
823
824
825
826
827
828
829
830
831
832
833
834
835
836
837
838
839
840
841
842
843
844
845
846
847
848
849
850
851
852
853
854
855
856
857
858
859
860
861
862
863
864
865
866
867
868
869
870
871
872
873
874
875
876
877
878
879
880
881
882
883
884
885
886
887
888
889
890
891
892
893
894
895
896
897
898
899
900
901
902
903
904
905
906
907
908
909
910
911
912
913
914
915
916
917
918
919
920
921
922
923
924
925
926
927
928
929
930
931
932
933
934
935
936
937
938
939
940
941
942
943
944
945
946
947
948
949
950
951
952
953
954
955
956
957
958
959
960
961
962
963
964
965
966
967
968
969
970
971
972
973
974
975
976
977
978
979
980
981
982
983
984
985
986
987
988
989
990
991
992
993
994
995
996
997
998
999
1000
\documentclass[a4paper,12pt,oneside]{article}
\usepackage[a4paper]{geometry}
\usepackage{amssymb,amsmath}
\usepackage{amsthm}
\usepackage[utf8]{inputenc}
\usepackage{enumerate}
\usepackage{color}
\usepackage{graphicx}
\usepackage[estonian]{babel}
\usepackage[usenames,dvipsnames]{xcolor}
\usepackage{float}
\usepackage{cite}
\usepackage{etoolbox}
\usepackage{theoremref}
\usepackage[hidelinks]{hyperref}
\usepackage{tikz}
\usepackage{framed}
\usepackage[framemethod=tikz]{mdframed}
\usepackage{diagbox}
\usepackage{pifont}
\usepackage{colortbl}
\usepackage{minted}
\usepackage{caption}
\usepackage[parfill]{parskip}
\usepackage{verbatim}
\usepackage{tocbibind}
\usepackage[toc,titletoc]{appendix}
\usepackage{afterpage}
\renewcommand{\appendixtocname}{Lisad}
\renewcommand{\appendixtocname}{Lisad}
\renewcommand{\setthesubsection}{\Alph{subsection}}
\DeclareCaptionType{mytype}[Typename][List of mytype]
\newenvironment{customFloatWrap}{}{}
\newfloat{Programm}{thp}{prog}
% replace minted@colorbg definition
% also, remove minted@bgbox definition
% or replace all usages with mdframed directly
\renewenvironment{minted@colorbg}[1]{%
% may want to leave out "style=default" to allow users some control
% instead set linewidth=0 as the default, and leave only bgcolor setting
\begin{mdframed}[style=default,linewidth=0,backgroundcolor=#1]}
{\end{mdframed}}
\renewcommand\thefootnote{\ding{\numexpr171+\value{footnote}}}
\renewcommand{\thempfootnote}{$\mathsection$}%
\allowdisplaybreaks
\makeatletter
\patchcmd{\HyField@FlagsRadioButton}{\HyField@SetFlag{Ff}{Radio}}{}{}{}
\makeatother
\def\DefaultOptionsofRadio{print}
\definecolor{background_example}{HTML}{EDEDED}
\definecolor{table_red}{HTML}{c8c8c8}
\definecolor{table_blue}{HTML}{d2d2d2}
%E0DCDE
\newcommand{\nocontentsline}[3]{}
\newcommand{\tocless}[2]{\bgroup\let\addcontentsline=\nocontentsline#1{#2}\egroup}
%\setlength\parindent{0pt}
\newenvironment{tightcenter}{%
\setlength\topsep{0pt}
\setlength\parskip{0pt}
\begin{center}
}{%
\end{center}
}
\newsavebox{\thisOne}
\newenvironment{meeldetuletus}{
\begin{lrbox}{\thisOne}
\begin{minipage}{0.95\textwidth} \vspace{0.25em} {\scriptsize \textsc{meeldetuletuseks}} \linebreak \vspace{-0.5em}
}
{
\end{minipage}\end{lrbox}{
\begin{mdframed}[tikzsetting={draw=black,dashed,line width=0.5pt, dash pattern = on 10pt off 3pt},%
linecolor=background_example,backgroundcolor=background_example,outerlinewidth=1pt]
\usebox{\thisOne}
\end{mdframed}
}
}
\newsavebox{\boxTwo}
\newenvironment{naide}{
\begin{lrbox}{\boxTwo}
\begin{minipage}{\textwidth}
}
{\end{minipage}\end{lrbox}
\colorbox{background_example}{\usebox{\boxTwo}}
}
\author{Vootele Rõtov}
\title{Valikvastustega küsimustike reliaabluse hindamine}
\newcounter{lemma}[section]
\numberwithin{equation}{section}
\theoremstyle{definition}
\newtheorem*{elementaarsyndmus}{Definitsioon}
\newtheorem*{toenaosus}{Definitsioon}
\newtheorem*{juhuslik_suurus}{Definitsioon}
\newtheorem*{jaotus}{Definitsioon}
\newtheorem*{keskvaartus}{Definitsioon}
\newtheorem*{dispersioon}{Definitsioon}
\newtheorem{keskvaartus_konstant}[equation]{Lause}
\newtheorem{dispersioon_konstant}[equation]{Lause}
\newtheorem*{kovariatsioon}{Definitsioon}
\newtheorem*{korrelatsioon}{Definitsioon}
\newtheorem{summa_dispersioon}[equation]{Lause}
\newtheorem{summa_kovariatsioon}[equation]{Lause}
\newtheorem*{mittenegatiivselt_maaratud}{Definitsioon}
\newtheorem{konstant_kovariatsioon}[equation]{Lause}
\newtheorem{lambda_1}[lemma]{Lemma}
\newtheorem{ii_times_jj}[lemma]{Lemma}
\newtheorem{helper_2}[lemma]{Lemma}
\newtheorem{lambda_2}[lemma]{Lemma}
\newtheorem{lambda_3}[lemma]{Lemma}
\newtheorem{lambda_4}[lemma]{Lemma}
\newtheorem{glb}[lemma]{Lemma}
\begin{document}
\makeatletter
\begin{titlepage}
\begin{center}
{\large TARTU ÜLIKOOL}\\[0.3cm]
{\large MATEMAATIKA-INFORMAATIKATEADUSKOND}\\[0.3cm]
{\large Matemaatika instituut}\\[0.3cm]
{\large Matemaatika eriala} %\\[3cm]
\vfill
{\large \@author}\\[0.3cm]
{\huge \textbf{\@title}}\\[0.3cm]
{\large Bakalaureusetöö (6 EAP)} %\\[3cm]
\vfill
\begin{flushright}
{\large Juhendaja: Margus Niitsoo}
\end{flushright}
\vfill
{\large TARTU \the\year}
\end{center}
\end{titlepage}
\makeatother
\pagebreak
\makeatletter
\tocless{\subsection*{\@title}}
\tocless{\subsubsection*{\@author}}
\tocless{\subsubsection*{Lühikokkuvõte}}
\makeatother
Käesolevas bakalaureusetöös vaadeldakse erinevaid võimalusi valikvastustega kü\-si\-mus\-tike reliaabluse hindamiseks küsimustiku ühekordse läbiviimise põhjal.
Töö käigus antakse lugejale vajaminevad taustteadmised valikvastustega küsimus\-tike ning nende karakteristikute kohta, defineeritakse reliaablus klassikalise testiteooria raamistikus ja antakse vajalik matemaatiline baas reliaabluse hinnangute tuletamiseks. Seejärel tuletatakse viis reliaabluse hinnangut, analüüsitakse nende \linebreak kasutatavust praktikas ja tutvustatakse autori loodud programmiteeki, mis sisaldab programme tuletatud hinnangute leidmiseks küsimustiku läbiviimisel saadud \linebreak andmete põhjal. Töö viimases osas tutvustab autor üht võimalikku viisi küsimustike arvulise tõlgenduse parandamiseks.
Töö annab eestikeelse ülevaate klassikalise testiteooria alustest matemaatilisest vaatepunktist lähtudes, ning tutvustab praktikule erinevaid võimalusi testi reliaabluse hindamiseks, sealjuures tutvustatake meetodeid, millest osad annavad täpsemaid tulemusi, kui hetkel enamlevinud meetodid.
\textsc{võtmesõnad:} psühhomeetria, klassikaline testiteooria, valikvastustega kü\-si\-mus\-tikud, reliaablus, reliaabluse hindamine, Cronbachi alfa, Guttmani lambdad, glb.
\pagebreak
\makeatletter
\tocless{\subsection*{On the Reliability of Likert Scale Questionnaires}}
\tocless{\subsubsection*{\@author}}
\tocless{\subsubsection*{Abstract}}
\makeatother
This bachelor's thesis gives an overview of different possibilities of estimating the reliability of the Likert scale questionnaires based on a single admission.
The thesis contains a short overview of the necessary background information about the Likert scales and their characteristics, definition of reliability in the context of the Classical Test Theory and mathematical basis for deriving estimations of reliability. Also, five estimates are derived and their usability in practise is discussed. Afterwards, the author gives a short overview of a programming library that implements methods for finding derived estimates based on data gathered with the questionnaire. Finally, the author proposes an approach for improving the quantitative interpretation of a questionnaire.
The thesis gives an overview of the foundations of the Classical Test Theory in Estonian from a mathematical viewpoint and introduces different possibilities for estimating the reliability of a questionnaire, some of which give more exact estimates than the ones in widespread use today.
\textsc{keywords:} psychometrics, Classical Test Theory, Likert scale questionnaires, reliability, estimating reliability, Cronbach's alfa, Guttman's lambdas, glb.
\pagebreak
\tableofcontents
\pagebreak
\section*{Sissejuhatus}
\addcontentsline{toc}{section}{Sissejuhatus}
Käesolev bakalaureusetöö on ajendatud psühholoogide probleemist -- kuidas \linebreak hinnata nende töövaldkonnas tihti kasutatavate valikvastustega küsimustike usaldusväärsust.
Sellest lähtuvalt on töö peamiseks eesmärgiks uurida valikvastustega küsimustike hindamiseks lihtsasti kasutatavaid kvantitatiivseid meetodeid. Lisaks sellele loodab autor pakkuda eestikeelset ülevaadet ühest valikvastustega testidega seotud matemaatiliselt raamistikust. Olemasolevad käsitlused on pigem praktilised abivahendid psühholoogidele.
Töö esimeses osas esitame vajaliku taustinfo, definitsioonid ja probleemipüstituse. Seejärel ehitame üles meile vajamineva osa probleemi vaatlemiseks sobivast matemaatilisest teooriast -- defineerime testi usaldusväärsuse ning rajame vundamendi selle hindamiseks. Järgnevalt tuletame mõningad erinevad usaldusväärsuse hinnangud. Seejärel tutvustame autori loodud programmiteeki, mis sisaldab eelnevalt tutvustatud hinnangute implementatsioone. Töö viimases osas pakub autor välja alternatiivse lähenemise küsimustiku vastuste arvulisele tõlgendamisele.
Autori eesmärgiks on, et antud tekst oleks lihtsasti jälgitav keskmisele bakalaureuseõppe läbinud matemaatikatudengile -- meeldetuletuseks on valdkonnaspetsiifilised matemaatilised definitsioonid ja tulemused töö käigus jooksvalt ära \linebreak toodud.
Lisaks loodab autor, et loodud programmiteek pakkub huvi ka psühholoogidele.
Autor soovib tänada Margus Niitsood konstruktiivse juhendamise eest ning Timo Aavat ja Kadi Kähär-Petersoni abi eest käesolevas bakalaureusetöös kasutatud artiklite kättesaadavaks tegemisel.
\pagebreak
\section{Taustinfo ja probleemipüstitus}
Järgnevalt anname probleemi mõtestamiseks vajalikud taustateadmised ning pea\-tüki lõpetuseks püstitame käesoleva töö keskse probleemi.
\subsection{Küsimustik, küsimus ja Likerti skaala}
Käesolev uurimus tegeleb k\"usimustikega (\textit{Likert scale}), milles soovitakse hinnan\-guid teatud arvule küsimustele (\textit{Likert item}) $n$-pallisel Likerti skaalal \cite{Edmondson}, kus $n$ jääb enamasi kahe ja kümne vahele. Käsitleme Likerti skaalasid, mis on sümmeetrilised, see tähendab, et positiivsete ja negatiivsete vastusevariantide arv on sama. Näiteks:\footnote{ Terviklike k\"usimustike näited on esitatud lisades, \hyperref[likert1]{joonisel \ref*{likert1}} ja \hyperref[likert2]{\ref*{likert2}}}
\vspace{10pt}
\begin{figure}[H]
\colorbox{background_example}{\parbox{\textwidth}{
\vspace{1mm}
Käesoleva bakalaureusetöö \"ulesehitus on loogiline.
\vspace{5pt}
\begin{Form}
\def\DefaultWidthofChoiceMenu{12pt}%
\small{
\CheckBox[bordercolor = gray,name=optionE]{\mbox{}} Ei nõustu
\CheckBox[bordercolor = gray,name=optionD]{\mbox{}} Ei nõustu osaliselt
\CheckBox[bordercolor = gray,name=optionC]{\mbox{}} Nii ja naa
\CheckBox[bordercolor = gray,name=optionC]{\mbox{}} Nõustun osaliselt
\CheckBox[checked,bordercolor = gray,name=optionC]{\mbox{}} Nõustun
}
\end{Form}}}
\caption{Näide väitest, millele palutakse hinnangut Likerti skaalal}
\label{likert_question}
\end{figure}
\subsection{Likerti skaala tõlgendamine intervallskaalana}
Likerti skaala tõlgendamisel intervallksaalana on välja kujunenud tava seada valikvastustele vastavusse järjestatud täisarvud, kusjuures mida positiivsem on vastuse variant, seda suurem on temale vastavusse seatud arv. Reeglina kasutatakse arve alates ühest kuni valikvastuste arvuni või valitakse välja täisarvud nii, et neutraalsele vastusevariandile vastab null.
\begin{figure}[H]
\colorbox{background_example}{\parbox{\textwidth}{
\vspace{1mm}
Käesoleva bakalaureusetöö \"ulesehitus on loogiline.
\vspace{5pt}
\begin{tikzpicture}
\node at (0,0) {};
\draw[very thick, ->] (0.625em,0em) -- (0.625em,1.5em) node[label=above: -2] {};
\draw[very thick, ->] (6.375em,0em) -- (6.375em,1.5em) node[label=above: -1] {};
\draw[very thick, ->] (15.75em,0em) -- (15.75em,1.5em) node[label=above: 0] {};
\draw[very thick, ->] (21.625em,0em) -- (21.625em,1.5em) node[label=above: 1] {};
\draw[very thick, ->] (30.5em,0em) -- (30.5em,1.5em) node[label=above: 2] {};
\end{tikzpicture}
\begin{Form}
\def\DefaultWidthofChoiceMenu{12pt}%
\small{
\CheckBox[bordercolor = gray,name=optionE1]{\mbox{}} Ei nõustu
\CheckBox[bordercolor = gray,name=optionD1]{\mbox{}} Ei nõustu osaliselt
\CheckBox[bordercolor = gray,name=optionC1]{\mbox{}} Nii ja naa
\CheckBox[checked,bordercolor = gray,name=optionC1]{\mbox{}} Nõustun osaliselt
\CheckBox[bordercolor = gray,name=optionC1]{\mbox{}} Nõustun
}
\end{Form}
\begin{tikzpicture}
\node at (0,0) {};
\draw[very thick, ->] (0.625em,0em) -- (0.625em,-1.5em) node[label=below: 1] {};
\draw[very thick, ->] (6.375em,0em) -- (6.375em,-1.5em) node[label=below: 2] {};
\draw[very thick, ->] (15.75em,0em) -- (15.75em,-1.5em) node[label=below: 3] {};
\draw[very thick, ->] (21.625em,0em) -- (21.625em,-1.5em) node[label=below: 4] {};
\draw[very thick, ->] (30.5em,0em) -- (30.5em,-1.5em) node[label=below: 5] {};
\end{tikzpicture}}}
\caption{Näide kahest levinumast Likerti skaala tõlgendusest intervallskaalana }
\label{likert_question}
\end{figure}
Lugejal võib tekkida õigustatud k\"usimus, kuidas põhjendab autor Likerti skaala käsitlemist intervallskaalana, kui Likerti skaala on olemuselt järjestikskaala ning selle tõlgendamine intervallskaalana on vastuoluline küsimus (vt näiteks \cite{Jamieson2004}). Siinkohal tõdeme, et Likerti skaala tõlgendamine intervallksaalana on praktikas piisavalt levinud, et selle valdkonna uurimine oleks õigustatud, olenemata selle teoreetilisest põhjendatusest. Siinkohal väärib autori silmis esile toomist kriitikute \"uks levinumaid argumente: "`hea"' ja "`väga hea"' keskmine ei ole loomulikul viisil tõlgendatav kui "`hea + pool"' ehk alati pole põhjust eeldada, et kõikide küsimuste omavaheline kaugus on mingil põhjusel võrdne.
\subsection{Küsimustiku valiidsus}
Küsimustiku \textbf{valiidsus} on küsimustiku karakteristik, mis iseloomustab küsimustiku võimet mõõta seda, mida see kujundati mõõtma. Enamikes käsitlustes vaadeldakse valiidsust kui väärtust intervallskaalal nulli ja ühe vahel.
Näitena olgu meil küsimustikuks kaal, mille näitu vaatleme kui küsimustiku tulemust kaalutava isiku puhul. Kaal, mis näitab 75 kilo kaaluva inimese kaaluks 74,5 kilo, omab kõrgemat valiidsust, kui kaal, mis sama inimese puhul näitab kaaluks 65 kilo.
Küsimustiku valiidsuse mõtestamisel võime kasutada analoogiat täpsuslaskmisega. Kui vaatleme küsimustikke kui laskureid, siis tähendab see, et laskuri $A$ valiidus on kõrgem kui laskuri $B$ oma seda, et tema tabamused asuvad märklaua keskkohale lähemal. Olukorda illustreerib järgnev joonis:
\begin{figure}[H]
\begin{naide}
\begin{tikzpicture}
\path[use as bounding box] (-6em,7.5em) rectangle (30em,-8em);
\filldraw[fill=red!80, draw=red!80] (5em,0) circle [radius=5.5em];
\filldraw[fill=white!80, draw=white!80] (5em,0) circle [radius=5em];
\filldraw[fill=red!80, draw=red!80] (5em,0) circle [radius=4.5em];
\filldraw[fill=white!80, draw=white!80] (5em,0) circle [radius=4em];
\filldraw[fill=red!80, draw=red!80] (5em,0) circle [radius=3.5em];
\filldraw[fill=white!80, draw=white!80] (5em,0) circle [radius=3em];
\filldraw[fill=red!80, draw=red!80] (5em,0) circle [radius=2.5em];
\filldraw[fill=white!80, draw=white!80] (5em,0) circle [radius=2em];
\filldraw[fill=red!80, draw=red!80] (5em,0) circle [radius=1.5em];
\filldraw[fill=white!80, draw=white!80] (5em,0) circle [radius=1em];
\filldraw[fill=red!80, draw=red!80] (5em,0) circle [radius=0.5em];
\filldraw[fill=red!80, draw=red!80] (20em,0) circle [radius=5.5em];
\filldraw[fill=white!80, draw=white!80] (20em,0) circle [radius=5em];
\filldraw[fill=red!80, draw=red!80] (20em,0) circle [radius=4.5em];
\filldraw[fill=white!80, draw=white!80] (20em,0) circle [radius=4em];
\filldraw[fill=red!80, draw=red!80] (20em,0) circle [radius=3.5em];
\filldraw[fill=white!80, draw=white!80] (20em,0) circle [radius=3em];
\filldraw[fill=red!80, draw=red!80] (20em,0) circle [radius=2.5em];
\filldraw[fill=white!80, draw=white!80] (20em,0) circle [radius=2em];
\filldraw[fill=red!80, draw=red!80] (20em,0) circle [radius=1.5em];
\filldraw[fill=white!80, draw=white!80] (20em,0) circle [radius=1em];
\filldraw[fill=red!80, draw=red!80] (20em,0) circle [radius=0.5em];
\foreach \x/\y in {5/0.75, 3.8/-0.45, 3.5/0, 5/0, 3.75/0.75, 4/1.25}
\filldraw[fill=black, draw=black] (\x em,\y em) circle [radius=0.2em];
\foreach \x/\y in {17/0.75, 15.8/-0.45, 15.5/0, 17/0, 15.75/0.75, 16/1.25}
\filldraw[fill=black, draw=black] (\x em,\y em) circle [radius=0.2em];
\node[label=below: A] at (5em,-6em) {};
\node[label=below: B] at (20em,-6em) {};
\end{tikzpicture}
\end{naide}
\caption{Kahe küsimustiku valiidsuse võrdlus}
\end{figure}
Arusaadavatel põhjustel on testi valiidsus äärmiselt oluline ning psühholoogiliste testide valiidsuse hindamine on olnud üks psühhomeetria põhilistest uurimisobjektidest. Sellega seoses on tehtud palju tööd ka valiidsuse definitsiooni täpsemaks muutmisega, võrreldes selle paragrahvi alguses antud väga intuitiivse definitsiooniga. Kuna valiidsus on käesoleva töö raames vajalik vaid taustinfona probleemi mõtestamiseks, tundub antud lihtne definitsioon aga sobivaim.
\subsection{Küsimustiku reliaablus}
Küsimustiku \textbf{reliaablus} on küsimustiku karakteristik, mis kirjeldab, kui järje\-pidevad on subjekti erinevad mõõtmised sama küsimustikuga. Nii nagu valiidsus, on ka reliaablus reeglina määratud intervallskaalal nulli ja ühe vahel.
Näiteks kaal, mis näitab igal kaalumisel 75 kilo kaaluva inimese kaaluks 74,5 kilo, omab kõrgemat reliaablust, kui kaal, mis näitab juhuslikult kas 74,5 kilo või 75,5 kilo.
Ka küsimustiku reliaabluse mõtestamisel saame kasutada analoogiat täpsus\-lask\-misega. Sellisel juhul tähendab see, et laskuri $A$ reliaablus on suurem kui laskuri $B$ oma seda, et laskuri $A$ tabamused asuvad teineteisele lähemal, kui laskuri $B$ tabamused. Olukorda illustreerib järgnev joonis:
\begin{figure}[H]
\begin{naide}
\begin{tikzpicture}
\path[use as bounding box] (-6em,7.5em) rectangle (30em,-8em);
\filldraw[fill=red!80, draw=red!80] (5em,0) circle [radius=5.5em];
\filldraw[fill=white!80, draw=white!80] (5em,0) circle [radius=5em];
\filldraw[fill=red!80, draw=red!80] (5em,0) circle [radius=4.5em];
\filldraw[fill=white!80, draw=white!80] (5em,0) circle [radius=4em];
\filldraw[fill=red!80, draw=red!80] (5em,0) circle [radius=3.5em];
\filldraw[fill=white!80, draw=white!80] (5em,0) circle [radius=3em];
\filldraw[fill=red!80, draw=red!80] (5em,0) circle [radius=2.5em];
\filldraw[fill=white!80, draw=white!80] (5em,0) circle [radius=2em];
\filldraw[fill=red!80, draw=red!80] (5em,0) circle [radius=1.5em];
\filldraw[fill=white!80, draw=white!80] (5em,0) circle [radius=1em];
\filldraw[fill=red!80, draw=red!80] (5em,0) circle [radius=0.5em];
\filldraw[fill=red!80, draw=red!80] (20em,0) circle [radius=5.5em];
\filldraw[fill=white!80, draw=white!80] (20em,0) circle [radius=5em];
\filldraw[fill=red!80, draw=red!80] (20em,0) circle [radius=4.5em];
\filldraw[fill=white!80, draw=white!80] (20em,0) circle [radius=4em];
\filldraw[fill=red!80, draw=red!80] (20em,0) circle [radius=3.5em];
\filldraw[fill=white!80, draw=white!80] (20em,0) circle [radius=3em];
\filldraw[fill=red!80, draw=red!80] (20em,0) circle [radius=2.5em];
\filldraw[fill=white!80, draw=white!80] (20em,0) circle [radius=2em];
\filldraw[fill=red!80, draw=red!80] (20em,0) circle [radius=1.5em];
\filldraw[fill=white!80, draw=white!80] (20em,0) circle [radius=1em];
\filldraw[fill=red!80, draw=red!80] (20em,0) circle [radius=0.5em];
\foreach \x/\y in {6/4, 5.5/4.4, 6.4/3.5, 5.7/3.6, 6.7/4, 6.5/4.5}
\filldraw[fill=black, draw=black] (\x em,\y em) circle [radius=0.2em];
\foreach \x/\y in {18/4, 17/3, 18/2, 19/4, 18.75/1.25, 21/2.25}
\filldraw[fill=black, draw=black] (\x em,\y em) circle [radius=0.2em];
\node[label=below: A] at (5em,-6em) {};
\node[label=below: B] at (20em,-6em) {};
\end{tikzpicture}
\end{naide}
\caption{Kahe küsimustiku reliaabluse võrdlus}
\end{figure}
Paneme tähele, et kõrgem reliaablus ei tähenda tingimata seda, et testi valiidsus on suurem.
Reliaabluse täpsema, matemaatilise definitsiooni anname edaspidi.
\subsection{Valiidsuse ja reliaabluse suhe}
Valiidsuse ja reliaabluse suhestamisel kerkib kiiresti üles loomulik küsimus -- kas test võib olla samaaegselt suure valiidsuse ja väikse reliaablusega? Eespool antud definitsioonid jätavad selle küsimuse lahtiseks. Vaatleme järgmist olukorda:
\begin{figure}[H]
\colorbox{background_example}{\parbox{\textwidth}{
\begin{tikzpicture}
\draw (0,0) -- (35em,0);
\foreach \x/\xtext in {2.5/74,10/\text{74,5},17.5/75,25/\text{75,5},32.5/76}
\draw (\x em,0.75em) -- (\x em,-0.75em) node [anchor=north] {$\xtext$};
\filldraw[fill=red!60,draw=red!80!black] (17.5em,0) circle [radius = 0.6em];
\foreach \y in {2.5,17.5,32.5}
\filldraw[fill=green!75,draw=green!30!black] (\y em, 0) circle [radius = 0.4em];
\filldraw[fill=blue!100,draw=blue!80] (10em,0) circle [radius = 0.5em];
\filldraw[fill=blue!60,draw=blue!70] (10em,0) circle [radius = 0.4em];
\filldraw[fill=blue!20,draw=blue!60] (10em,0) circle [radius = 0.3em];
\filldraw[fill=green!75,draw=green!30!black] (1.5 em, -3em) circle [radius = 0.4em];
\node[label=right: Kaalu $1$ tulemused] at (1.5 em, -3em) {};
\filldraw[fill=blue!60,draw=blue!70!black] (15em,-3em) circle [radius = 0.4em];
\node[label=right: Kaalu $2$ tulemused] at (15 em, -3em) {};
\filldraw[fill=red!60,draw=blue!80!black] (27.5em,-3em) circle [radius = 0.4em];
\node[label=right: Tegelik kaal] at (27.5 em, -3em) {};
\end{tikzpicture}
}}
\caption{Kaalumiste tulemused kahe erineva kaaluga kolmel katsel}
\end{figure}
Kui mõista valiidsust kui küsimustiku keskmist tulemust, siis võime väita, et esimene kaal on väiksema reliaabluse, aga suurema valiidsusega. Selline valiidsuse mõtestamine ei ole aga küsimustike modelleerimise korral otstarbekas -- katsete kordamine on enamasti keeruline ning väheste mõõtmistulemuste põhjal ei ole võimalik tegeliku väikese reliaablusega testi tulemust välja selgitada.
Alternatiivselt võime ka siin vaadelda olukorda täpsuslaskmise analoogiat kasutades. Olgu meil laskur $A$, kelle lasud paiknevad märklaua erinevates punktides, kuid nende geomeetriline keskpunkt asub märklaua keskel. Intuitiivselt on selge, et kui laskude arv on piiratud, ei ole selline definitsioon, mille korral laskuri $A$ valiidsus oleks suur, otstarbekas. Kirjeldatud olukorda illustreerib järgnev joonis:
\begin{figure}[H]
\begin{naide}
\begin{tikzpicture}
\path[use as bounding box] (-12.5em,6em) rectangle (30em,-7.5em);
\filldraw[fill=red!80, draw=red!80] (5em,0) circle [radius=5.5em];
\filldraw[fill=white!80, draw=white!80] (5em,0) circle [radius=5em];
\filldraw[fill=red!80, draw=red!80] (5em,0) circle [radius=4.5em];
\filldraw[fill=white!80, draw=white!80] (5em,0) circle [radius=4em];
\filldraw[fill=red!80, draw=red!80] (5em,0) circle [radius=3.5em];
\filldraw[fill=white!80, draw=white!80] (5em,0) circle [radius=3em];
\filldraw[fill=red!80, draw=red!80] (5em,0) circle [radius=2.5em];
\filldraw[fill=white!80, draw=white!80] (5em,0) circle [radius=2em];
\filldraw[fill=red!80, draw=red!80] (5em,0) circle [radius=1.5em];
\filldraw[fill=white!80, draw=white!80] (5em,0) circle [radius=1em];
\filldraw[fill=red!80, draw=red!80] (5em,0) circle [radius=0.5em];
\foreach \x/\y in {7/4, 3/-4, 3/0, 7/0, 4/1, 6/-1}
\filldraw[fill=black, draw=black] (\x em,\y em) circle [radius=0.2em];
\node[label=below: A] at (5em,-6em) {};
\end{tikzpicture}
\end{naide}
\caption{Küsimistik, mille reliaablus on väike ja "`valiidsus"' suur}
\end{figure}
Seega, meie vaadeldava olukorra -- psühholoogiliste küsimustike -- puhul on mingi valiidsuse taseme jaoks tarvilik tingimus mingi reliaabluse tase.
\subsection{Sisemine järjepidevus}
Reliaabluse kui termini probleemiks on tema mitmetähenduslikkus. Toome siinkohal ära ühe mõiste, mida tihti samuti reliaablusena või sisemise järjepidevuse reliaablusena tuntakse.
Sisemine järjepidavus (\textit{internal consistency}) on küsimustiku karakteristik, mis iseloomustab küsimustiku erinevate k\"usimuste vastuste järjepidevust ehk seda, kui hästi on vastused \"uhist konstruktsiooni hindavatele k\"usimustele kooskõlas \cite[177] {Henson2001}. Paneme tähele, et erinevalt eelnevalt toodud reliaabluse definitsioonist, on sisemine järjepidevus ühe küsimustiku läbiviimise keskne. Piltlikult väljendudes olgu meil järgnev k\"usimustik:
\begin{figure}[H]
\colorbox{background_example}{\parbox{\textwidth}{
\vspace{1mm}
Käesoleva bakalaureusetöö \"ulesehitus on loogiline.
\vspace{5pt}
\begin{Form}
\def\DefaultWidthofChoiceMenu{12pt}%
\small{
\CheckBox[bordercolor = gray,name=optionE1]{\mbox{}} Ei nõustu
\CheckBox[bordercolor = gray,name=optionD1]{\mbox{}} Ei nõustu osaliselt
\CheckBox[bordercolor = gray,name=optionC1]{\mbox{}} Nii ja naa
\CheckBox[bordercolor = gray,name=optionC1]{\mbox{}} Nõustun osaliselt
\CheckBox[bordercolor = gray,name=optionC1]{\mbox{}} Nõustun
}
\end{Form}
\vspace{10pt}
Mulle meeldib käesoleva bakalaureusetöö ülesehitus.
\vspace{5pt}
\begin{Form}
\def\DefaultWidthofChoiceMenu{12pt}%
\small{
\CheckBox[bordercolor = gray,name=optionE1]{\mbox{}} Ei nõustu
\CheckBox[bordercolor = gray,name=optionD1]{\mbox{}} Ei nõustu osaliselt
\CheckBox[bordercolor = gray,name=optionC1]{\mbox{}} Nii ja naa
\CheckBox[bordercolor = gray,name=optionC1]{\mbox{}} Nõustun osaliselt
\CheckBox[bordercolor = gray,name=optionC1]{\mbox{}} Nõustun
}
\end{Form}
\vspace{10pt}
Käesolevat bakalaureusetööd on lihtne lugeda.
\vspace{5pt}
\begin{Form}
\def\DefaultWidthofChoiceMenu{12pt}%
\small{
\CheckBox[bordercolor = gray,name=optionE1]{\mbox{}} Ei nõustu
\CheckBox[bordercolor = gray,name=optionD1]{\mbox{}} Ei nõustu osaliselt
\CheckBox[bordercolor = gray,name=optionC1]{\mbox{}} Nii ja naa
\CheckBox[bordercolor = gray,name=optionC1]{\mbox{}} Nõustun osaliselt
\CheckBox[bordercolor = gray,name=optionC1]{\mbox{}} Nõustun
}
\end{Form}
\vspace{2pt}
}}
\caption{K\"usimustik bakalaureusetöö \"ulesehituse kohta }
\label{quiz_consistency}
\end{figure}
\begin{comment}
\begin{figure}[H]
\colorbox{background_example}
{\parbox
{\textwidth}
{
\setlength{\unitlength}{1mm}
\begin{picture}(148,55)
\put(0,52){Käesolevat bakalaureusetööd on lihte lugeda.}
\put(0,47){\line(1,0){14}}
\put(8,41){Ei nõustu}
\put(16,47){\circle{4}}
\put(16,47){\circle*{2}}
\put(18,47){\line(1,0){25}}
\put(32,41){Ei nõustu osaliselt}
\put(45,47){\circle{4}}
\put(45,47){\circle*{2}}
\put(47,47){\line(1,0){25}}
\put(67,41){Nii ja Naa}
\put(74,47){\circle{4}}
\put(74,47){\circle*{2}}
\put(76,47){\line(1,0){25}}
\put(92,41){Nõustun osaliselt}
\put(103,47){\circle{4}}
\put(103,47){\circle*{2}}
\put(105,47){\line(1,0){25}}
\put(126,41){Nõustun}
\put(132,47){\circle{4}}
\put(132,47){\circle*{2}}
\put(134,47){\vector(1,0){14}}
\put(0,32){Mulle meeldib käesoleva bakalaureusetöö \"ulesehitus.}
\put(0,27){\line(1,0){14}}
\put(8,21){Ei nõustu}
\put(16,27){\circle{4}}
\put(16,27){\circle*{2}}
\put(18,27){\line(1,0){25}}
\put(32,21){Ei nõustu osaliselt}
\put(45,27){\circle{4}}
\put(45,27){\circle*{2}}
\put(47,27){\line(1,0){25}}
\put(67,21){Nii ja Naa}
\put(74,27){\circle{4}}
\put(74,27){\circle*{2}}
\put(76,27){\line(1,0){25}}
\put(92,21){Nõustun osaliselt}
\put(103,27){\circle{4}}
\put(103,27){\circle*{2}}
\put(105,27){\line(1,0){25}}
\put(126,21){Nõustun}
\put(132,27){\circle{4}}
\put(132,27){\circle*{2}}
\put(134,27){\vector(1,0){14}}
\put(0,12){Käesoleva bakalaureusetöö \"ulesehitus on loogiline.}
\put(0,7){\line(1,0){14}}
\put(8,1){Ei nõustu}
\put(16,7){\circle{4}}
\put(16,7){\circle*{2}}
\put(18,7){\line(1,0){25}}
\put(32,1){Ei nõustu osaliselt}
\put(45,7){\circle{4}}
\put(45,7){\circle*{2}}
\put(47,7){\line(1,0){25}}
\put(67,1){Nii ja Naa}
\put(74,7){\circle{4}}
\put(74,7){\circle*{2}}
\put(76,7){\line(1,0){25}}
\put(92,1){Nõustun osaliselt}
\put(103,7){\circle{4}}
\put(103,7){\circle*{2}}
\put(105,7){\line(1,0){25}}
\put(126,1){Nõustun}
\put(132,7){\circle{4}}
\put(132,7){\circle*{2}}
\put(134,7){\vector(1,0){14}}
\end{picture}
}
}
\caption{K\"usimustik bakalaureusetöö \"ulesehituse kohta }
\label{quiz_consistency_bak}
\end{figure}
\end{comment}
Siin on mõõdetavaks konstruktsiooniks käesoleva bakalaureusetöö \"ulesehitus ning kõrgeks sisemiseks reliaabluseks on vajalik kolmele näites toodud k\"usimusele antud vastuste kooskõla.
Selleks, et sisemine järjepidavus oleks mõtestatud, peavad meil küsimustikus olema mingi kindla konstruktsiooni mõõtmiseks rohkem kui üks küsimus -- vastasel juhul on iga küsimus täielikus kooskõlas kõikide sama konstruktsiooni mõõtvate küsimustega, ehk iseendaga. Rõhutame, et see nõue ei laiene eelnevalt defineeritud reliaablusele.
Sisemise järjepidavuse mõõtmiseks on võimalik kasutada sisemise järjepidavuse teste. Segadust suurendab veelgi see, et üks nendest testidest leiab kasutamist ka meie poolt defineeritud reliaabluse hindamisel. Loodame, et nende kahe karakteristiku eristamine aitab lugejal käesolevas töös kergemini orienteeruda.
Märgime, et lisaks siintoodud kahele definitsioonile on ka teisi reliaabluse käsitlusi \cite{Cronbach1947}, mis aga selle töö kontekstis ei tohiks segadust tekitada ning mille äratoomist ei ole autor pidanud siinkohal vajalikus.
\subsection{Probleemi püstitus}
Käesoleva tööga üritame pakkuda lahendust järgmisele praktilisele probleemile: kas on võimalik leida paremat hinnangut küsimustiku reliaabluse kohta, kui seda on tihti kasutatav Guttmani $\lambda_3$ (rohkem tuntud kui Cronbachi $\alpha$)?
Küsimusele vastamiseks on meil vaja rangemat lähenemist reliaablusele ning selleks vaatleme reliaablust ühe matemaatilise raamistiku -- klassikalise testiteooria -- kontekstis.
\pagebreak
\section{Reliaablus klassikalises testiteoorias}
Järgnevas käsitluses võtame aluseks Melvin Novicki klassikalise testiteooria \cite{Novick1966a}\cite{Lord1968} ja selle tõlgenduse Klaas Sijtsma poolt \cite[109]{Sijtsma2009}.
\subsection{Reliaabluse definitsioon}
\begin{meeldetuletus}
\begin{elementaarsyndmus}
\textit{Elementaarsündmuseks} nimetatakse juhusliku katse võimalikku tulemust.\footnote{ Siin ja edaspidi toetume tõenäosusteooria definitsioonide ja tulemuste sõnastamisel Kalev Pärna õpikule \cite{Parna2013}.}
\end{elementaarsyndmus}
\begin{toenaosus}
\textit{Tõenäosuseks} nimetatakse funktsiooni $P$, mis igale sündmusele $A \in 2^{\Omega}$, kus $\Omega$ on mingi juhusliku katse kõikvõimalike elementaarsündmuste hulk, seab vastavusse arvu $P(A)$, nii et on täidetud järgmised nõuded:
\begin{enumerate}
\item $P(A) \geq 0, \forall A \in 2^{\Omega}$,
\item $P(\Omega) =1$, $P(\emptyset) = 0$,
\item Kui sündmused $A_1,A_2,...$ on teineteist välistavad, siis
\begin{equation*}
P\left( \bigcup \limits_{i=1}^{\infty} A_i \right) = \sum \limits_{i=1}^{\infty}P \left( A_i \right) \text{.}
\end{equation*}.
\end{enumerate}
\end{toenaosus}
\begin{juhuslik_suurus}
\textit{Diskreetseks juhuslikuks suuruseks} nimetatakse funktsiooni $X : \Omega \to \mathbb{R}$, mis võtab kas lõpliku või loenduva arvu erinevaid väärtusi $x_1,x_2,\ldots,(x_n)$.
\end{juhuslik_suurus}
\end{meeldetuletus}
Olgu meil mingi testile vastajate kogum $I$ ning küsimustik, milles on $k$ k\"usimust, kus iga küsimus on $l$-pallisel Likerti skaalal. Nummerdame küsimused naturaalarvudega $1$ kuni $k$. On loomulik eeldada, et nii vastajate arv, küsimuste arv kui ka Likerti skaala suurus on lõplikud. Me võime vaadelda testi läbiviimist kui juhuslikku katset ning kõiki erinevaid võimalike vastuste kombinatsioone küsimustikule kui elementaarsündmusi, tähistades saadud elementaarsündmuste hulga kui $\Omega$ ning elementaarsündmuse kui $\omega$. Eeldame ka tõenäosuste $P_i : 2^{\Omega} \to \mathbb{R}$ olemasolu, mida tõlgendame kui testi tulemuste esinemissagedust vastaja $i$ korral.
\begin{figure}[H]
\begin{naide}
\begin{center}
\begin{tabular}{ | c | c c c |}
\hline
\diagbox{$\omega$}{Küsimus} & I & II & II \\
\hline
A & Nõustun osaliselt & Nii ja naa & Nõustun \\
B & Ei nõustu osaliselt & Nõustun & Nii ja naa \\
C & Ei nõustu & Nõustun osaliselt & Nii ja naa \\
\hline
\end{tabular}
\end{center}
\end{naide}
\caption{Näited elementaarsündmustest }
\end{figure}
Olgu $X_{i}^{j}$ hulgal $\Omega$ määratud juhuslik suurus, mille võimalikke väärtusi vaatleme kui vastaja $i$ poolt k\"usimusele $j$ antud vastuse arvulist tõlgendust. On selge, et sellise tõlgenduse korral on juhusliku suuruse $X_{i}^{j}$ muutumispiirkond lõplik. Selle hulga võimsus ei ole suurem kui $l$ ning järelikult on juhuslik suurus $X_{i}^{j}$ diskreetne. Defineerime vastaja $i$ testi tulemuse $X_{i}$ kui
\begin{equation*}
X_{i} = \sum \limits_{j=1}^k X_{i}^{j} \text{.}
\end{equation*}
Paneme tähele, et $X_{i}$ on samuti diskreetne juhuslik suurus. Tõepoolest, kuna tegemist on diskreetsete juhuslike suuruste summaga, siis on ta funktsioon hulgast $\Omega$ hulka $\mathbb{R}$. Lisaks, kuna kõikide liidetavate muutumispiirkond on tõkestatud arvuga $l$ ning liidetavaid on $k$, siis ei saa funktsiooni muutumispiirkonna võimsus olla suurem kui $l^k$.
\begin{meeldetuletus}
\begin{jaotus} Diskreetse juhusliku suuruse $X$ \textit{jaotuseks} nimetatakse paaride komplekti $\left(x_i,p_i \right), i=1,2,...$, kus $x_i$ on juhusliku suuruse võimalik väärtus ning $p_i = P(\left\lbrace \omega | X(\omega) = x_i, \omega \in \Omega \right\rbrace)$.
\end{jaotus}
\begin{keskvaartus}
Diskreetse juhusliku suuruse $X$, mille jaotuseks $K$ on paaride komplekt $k_i = \left(x_i,p_i \right), i=1,2,...$, \textit{keskväärtuseks} nimetatakse arvu
\begin{equation*}
\epsilon X = \sum \limits_{\lbrace i | k_i \in K \rbrace} x_i p_i
\end{equation*}
eeldusel, et see rida koondub absoluutselt.
\end{keskvaartus}
\begin{dispersioon}
Juhusliku suuruse $X$ \textit{dispersiooniks} nimetatakse arvu $DX = \epsilon \left[ (X-\epsilon X)^2 \right]$.
\end{dispersioon}
\end{meeldetuletus}
Triviaalse juhu vältimiseks eeldame edaspidi, et juhuslike suuruste $X_{i}$ dispersioonid on nullist erinevad. Defineerime küsimustiku tegeliku tulemuse vastaja $i$ jaoks kui testi tulemuse oodatava keskväärtuse ehk
\begin{equation*}
t_i = \epsilon \left[ X_{i} \right] \text{.}\footnote{ Tähistame keskväärtuse tähega $\epsilon$, kuna tavapärane tähistus $E$ omab antud käsitluses teistsugust tähendust.}
\end{equation*}
Kuna juhusliku suuruse $X_{i}$ võimalike väärtuste arv on lõplik, on ka tema kesk\-väärtus $t_i$ lõplik.
Tõlgendame vastaja $i$ testi tulemuse ja tegeliku tulemuse vahet mõõtmisveana, tähistame seda kui $E_i$. Seega $X_{i} = t_i + E_i$.
\begin{meeldetuletus}
\begin{keskvaartus_konstant}
\thlabel{keskvaartus_konstant}
Kui $X$ on diskreetne juhuslik suurus, jaotusega $K$, kus $K$ on paaride komplekt $k_i =(x_i,p_i), i=1,2,...$ ning $c$ on mingi konstant, siis \linebreak $\epsilon(X+c) = \epsilon(X)+c$.
\end{keskvaartus_konstant}
\begin{proof}
\begin{gather*}
\epsilon(X+c) = \sum \limits_{\lbrace i | k_i \in K \rbrace} (x_i + c) p_i = \sum \limits_{\lbrace i | k_i \in K \rbrace} x_i p_i + \sum \limits_{\lbrace i | k_i \in K \rbrace} c p_i = \\ = \sum \limits_{\lbrace i | k_i \in K \rbrace} x_i p_i + c \sum \limits_{\lbrace i | k_i \in K \rbrace} p_i = \sum \limits_{\lbrace i | k_i \in K \rbrace} x_i p_i + c = \epsilon(X) + c \text{.}
\end{gather*}
\end{proof}
\begin{dispersioon_konstant}
\thlabel{dispersioon_konstant}
Juhuslikule suurusele konstandi liitmine ei muuda dispersiooni: $D(X + c) = DX$.
\end{dispersioon_konstant}
\begin{proof}
\begin{equation*}
D(X+c) = \epsilon[X+c - \epsilon(X+c)] \overset{\text{\thref{keskvaartus_konstant}}}{=} \epsilon[X+c - \epsilon(X) + c ] = \epsilon[X - \epsilon(X)] = DX \text{.}
\end{equation*}
\end{proof}
\end{meeldetuletus}
Paneme tähele, et eelneva põhjal on vastaja $i$ mõõtmisvea keskväärtus võrdne nulliga. Tõepoolest, kuna tegeliku tulemuse definitsiooni põhjal $\epsilon \left[ X_{i} \right] = t_i$, siis saame mõõtmisvea definitsiooni arvesse võttes
\begin{equation*}
t_i = \epsilon \left[ X_{i} \right] = \epsilon \left[ t_i + E_i \right] \overset{\text{\thref{keskvaartus_konstant}}}{=} t_i + \epsilon \left[ E_i \right] \implies \epsilon \left[ E_i \right] = 0 \text{.}
\end{equation*}
Lisaks on lihtne märgata, et $D \left[ X_{i} \right] = D \left[ E_i \right]$, sest
\begin{equation*}
D \left[ X_{i} \right] = D \left[ E_i + t_i \right] \overset{\text{\thref{dispersioon_konstant}}}{=} D \left[ E_i \right] \text{.}
\end{equation*}
Eelnevates definitsioonides keskendusime testi tulemuste mõtestamisele fikseeritud vastaja korral. Kuna reeglina mõtestatakse teste praktikas mingi vastajate kogumi raames, siis keskendume ka meie edaspidi sellele.
Vaatleme elementaarsündmustena hulga $I \times \Omega$ elemente ning eeldame, et eksisteerib tõenäosus
\begin{equation*}
P_p : 2^{I \times \Omega} \to \mathbb{R} \text{,}
\end{equation*}
kus funktsiooni $P_p$ tõlgendame kui isiku $i \in I$ ja testi tulemuse $\omega \in \Omega$ koosesinemise sagedus.
Paneme tähele, et sellel elementaarsündmuste hulgal võime määrata diskreetse juhusliku suuruse $T$, nii et
\begin{equation*}
T\left((i, \omega)\right) = t_i, i \in I \text{.}
\end{equation*}
Seda juhulikku suurust tõlgendame kui küsimustiku tegelikku tulemust. Defineerime testi vaadeldava tulemuse kui diskreetse juhusliku suuruse $X$, nii et
\begin{equation*}
X \left( ( i, \omega ) \right) = X_i (\omega)
\end{equation*}
ja testi vea kui diskreetse juhusliku suuruse $E$, nii et
\begin{equation*}
E \left( (i, \omega) \right) = E_i (\omega) \text{.}
\end{equation*}
Paneme tähele, et kehtib $X = E + T$. Tõepoolest, olgu meil suvaline paar $\left(i, \omega \right) \in I \times \Omega$, siis
\begin{equation*}
X \left( ( i, \omega ) \right) = X_i (\omega) \overset{def}{=} t_i + E_i(\omega) = T \left( (i, \omega) \right) + E \left( ( i, \omega ) \right) \text{.}
\end{equation*}
\begin{meeldetuletus}
\begin{kovariatsioon}
Juhusliku suuruste $X$ ja $Y$ \textit{kovariatsiooniks} nimetatakse suurust
\begin{equation*}
cov(X,Y) = \epsilon \left[ \left( X - \epsilon X \right)\left(Y - \epsilon Y \right) \right] \text{.}
\end{equation*}
\end{kovariatsioon}
\begin{korrelatsioon}
Juhusliku suuruste $X$ ja $Y$ \textit{korrelatsioonikordajaks} nimetatakse suurust
\begin{equation*}
\rho (X,Y) = \frac{cov(X,Y)}{\sqrt{DX}\sqrt{DY}} \text{.}
\end{equation*}
\end{korrelatsioon}
\end{meeldetuletus}
Esitame nüüd meie poolt üles ehitatud mudeli omaduse, mis osutub väga kasulikus. Olgu meil kaks suvalist küsimustikku, mille vaadeldavad tulemused on vastavalt $X = T + E$ ja $X' = T' + E'$. Saab näidata, et siis kehtib
\begin{equation}
\label{eq:cov_zero}
cov(T,E') = 0 \text{.}
\end{equation}
Teisisõnu, küsimustiku tegeliku tulemuse ja küsimustiku mõõtmisvea vahel ei ole korrelatsiooni. Paneme tähele, et kuna me ei kitsendanud $X$ ja $X'$ valikut, siis ka $cov(T,E) = 0$. See omadus muudab mudeli rakendamise palju lihtsamaks, kuna me ei pea eeldama, et meie koostatud küsimustikul on selline omadus.
Selle omaduse, mille kehtimine ei ole intuitiivne, tõestus on mittetriviaalne ning ei mahu käesoleva töö raamidesse. Rangest tõestusest huvitatutele soovitame tutvuda Donald Zimmermani mudeli ülesehitusega \cite{Zimmerman1976}. Lugejale võib olla huvipakkuv see, et kõnealune omadus järeldub väga üldistest Hilberti ruumides kehtivatest omadustest \cite{Zimmerman1975}.
Küll aga peame tegema järgmise eelduse -- olgu meil kaks erinevat küsimustikku, mille mõõtmisvead on vastavalt $E$ ja $E'$, siis
\begin{equation}
\label{eq:error_cov_0}
cov(E,E') = 0 \text{.}
\end{equation}
Tehtud eeldus tähendab seda, et mõõtmisvead ei tohi olla süstemaatilised. Näiteks, jagades küsimustiku pooleks ning vaadeldes mõlemat osa kui eraldi küsimustikku, siis esimese mõõtmisviga teades ei tohiks see meile midagi öelda teise osa mõõtmis\-vea kohta. Paneme tähele, et see eeldus on siiamaani tehtutest praktikas kõige raskemini tagatav ning on potentsiaalne ohukoht testiteooria kasutamisel mingi küsimus\-tiku mõtestamiseks.
\begin{meeldetuletus}
\begin{summa_dispersioon}
\thlabel{summa_dispersioon}
Juhuslike suuruste $X$ ja $Y$ puhul kehtib
\begin{equation*}
D(X + Y) = D(X) + D(Y) + 2cov(X,Y) \text{.}
\end{equation*}
\begin{proof}
\begin{gather*}
D(X + Y) \overset{def}{=}\epsilon[X + Y - \epsilon(X + Y)]^2\overset{\text{$\epsilon$ lin.} }{=} \epsilon [X - \epsilon X + Y + \epsilon Y]^2 = \\
= \epsilon(X - \epsilon X)^2 + 2\epsilon (X - \epsilon X)(Y - \epsilon Y) + \epsilon (Y - \epsilon Y)^2
\overset{\text{cov def}}{=} \\ = D(X) + D(Y) + 2cov(X,Y) \text{.}
\end{gather*}
\end{proof}
\end{summa_dispersioon}
\end{meeldetuletus}
Järgnevalt tutvume paralleelse küsimustiku mõistega, mida võime tõlgendada kui sama küsimustiku sõltumatut kordusmõõtmist samades tingimustes. Kaks küsimus\-tikku, mille vaadeldavad tulemused üle kõigi vastajate kogumi $I$ on $X = T + E$ ja $X' = T' + E'$ ning mille vaadeldavad tulemused vastaja $i \in I$ jaoks on $X_i = t_i + E_i$ ja $X_i' = t_i' + E_i'$, on paralleelsed parajasti siis, kui kehtivad järgmised väited:
\begin{enumerate}
\item $t_i = t_i' ~ \forall i \in I $,
\item $D \left[ E \right] = D \left[ E' \right] $.
\end{enumerate}
Eelnevast järeldub lihtsalt, et
\begin{equation}
\label{eq:true_scores_eq}
T = T' \text{.}
\end{equation} Tõepoolest, olgu $(i,\omega)$ suvaline paar hulgast $I \times \Omega$. Siis kehtib
\begin{equation*}
T \left( \left( i, \omega \right) \right) \overset{\text{def}}{=} t_i = t_i' = T'((i,\omega)) \text{.}
\end{equation*}
Seega nõuame, et kahe paralleelse küsimustiku korral vastajate tegelikud tulemused alati ühtiksid ning vea dispersioonid oleksid võrdsed -- need nõudmised sobivad hästi kirjeldama sama küsimustikuga sooritatud kordusmõõtmist.
Paneme tähele, et kahe paralleelse küsimustiku, mille vaadeldavad tulemused on $X$ ja $X'$, korral kehtib
\begin{equation}
\label{eq:par_dispersioon}
D[X] = D[X'] \text{,}
\end{equation}
kuna
\begin{gather*}
D[X] = D[T + E] \overset{\text{\thref{summa_dispersioon}}}{=} D[T] + D[E] + 2cov(T,E) \overset{(\ref{eq:cov_zero})}{=} D[T] + D[E] = \\
= D[T'] + D[E'] = D[T'] + D[E'] + 2cov(T',E') = D[T' + E'] = D[X'] \text{.}
\end{gather*}
\begin{meeldetuletus}
\begin{summa_kovariatsioon}
\thlabel{summa_kovariatsioon}
Olgu meil juhuslikud suurused $X$, $Y$ ja $Z$. Siis
\begin{equation*}
cov(X+Y,Z) = cov(X,Z) + cov(Y,Z) \text{.}
\end{equation*}
\end{summa_kovariatsioon}
\begin{proof}
\begin{gather*}
cov(X+Y,Z) \overset{def}{=} \epsilon \left[(X+Y - \epsilon \left[ X + Y \right])(Z - \epsilon \left[ Z \right] ) \right] \overset{\text{$\epsilon$ lin.}}{=} \\
= \epsilon \left[ (X+Y - \epsilon \left[ X \right] + \epsilon \left[ Y \right])(Z - \epsilon \left[ Z \right] ) \right] = \\
= \epsilon \left[ ( \left( X - \epsilon \left[ X \right] \right) + \left( Y -\epsilon \left[ Y \right]) \right) \left(Z - \epsilon \left[ Z \right] \right) \right] = \\
=\epsilon [ \left( X - \epsilon \left[ X \right] \right) \left( Z - \epsilon \left[ Z \right] \right) +
\left( Y -\epsilon \left[ Y \right] \right) \left(Z - \epsilon \left[ Z \right] \right) ] = \\
=\epsilon \left[ \left( X - \epsilon \left[ X \right] \right) \left( Z - \epsilon \left[ Z \right] \right) \right] +
\epsilon \left[ \left( Y -\epsilon \left[ Y \right] \right) \left(Z - \epsilon \left[ Z \right] \right) \right] + \\
= cov(X,Z) + cov(Y,Z) \text{.}
\end{gather*}
\end{proof}
\end{meeldetuletus}
Paralleelse küsimustiku abil saame klassikalise testiteooria raames defineerida reliaabluse. Olgu meil kaks paralleelset küsimustikku, mille vaadeldavad tulemused \"ule vastajate kogumi $I$ on vastavalt $X = T + E$ ja $X' = T' + E'$. Küsimustiku, mille vaadeldav tulemus on $X$, reliaablus \"ule vastajate kogumi $I$ on võrdne $X$ ja $X'$ korrelatsioonikordajaga, mida tähistame $\rho_{XX'}$, teisisõnu
\begin{equation*}
\rho_{XX'} = corr \left( X,X' \right) \text{.}
\end{equation*}
Eelneva põhjal saame näidata, et kehtib
\begin{equation}
\label{eq:corr_equals_var_over_var}
\begin{gathered}
\rho_{XX'} \overset{def}{=} \frac{cov(X,X')}{\sqrt{D \left[ X \right] D \left[ X' \right]}} \overset{(\ref{eq:par_dispersioon})}{=}
\frac{cov(X,X')}{\sqrt{D \left[ X \right] D \left[ X \right]}} =
\frac{cov(T+ E,T'+E')}{D \left[ X \right]} \overset{\text{\thref{summa_kovariatsioon}}}{=} \\ =
\frac{ cov(T,T') + cov(T,E') + cov(E,T') + cov(E,E')}{D \left[ X \right]} \overset{(\ref{eq:cov_zero})}{=} \\
= \frac{ cov(T,T') + cov(E,E')}{D \left[ X \right]} \overset{eeldus \, (\ref{eq:error_cov_0})}= \frac{ cov(T,T')}{D \left[ X \right]} \overset{(\ref{eq:true_scores_eq})}{=} \frac{cov(T,T)}{D \left[ X \right]} \overset{def}{=} \\
= \frac{\epsilon \left[\left( X - \epsilon \left[X \right] \right) \left( X - \epsilon \left[X \right] \right) \right]}{D \left[ X \right]} \overset{def}{=} \frac{D \left[T \right]}{D \left[ X \right]} \text{.}
\end{gathered}
\end{equation}
Tõestatud tulemus on huvitav -- ilmneb, et saame öelda midagi küsimustiku ja sellega paralleelse küsimustiku korrelatsiooni kohta, teadmata midagi paralleelse küsimustiku kohta.
Samuti märgime, et kuna $T = X - E$, siis kehtib
\begin{equation}
\label{eq:reliability}
\begin{gathered}
\rho_{XX'} = \frac{D \left[ T \right]}{D \left[ X \right] } \overset{\text{\thref{summa_dispersioon}}}{=} \frac{D \left[ T + E \right] - 2cov(T,E) - D\left[ E \right] }{D \left[ X \right]} \overset{(\ref{eq:cov_zero})}{=} \\ \overset{(\ref{eq:cov_zero})}{=} \frac{D \left[ T + E \right] - D \left[ E \right]}{D \left[ X \right] } = \frac{D \left[X \right] - D \left[ E \right]}{D \left[ X \right]} = 1 - \frac{D \left[ E \right]}{D \left[ X \right]} \text{.}
\end{gathered}
\end{equation}
Paneme tähele, kuna $D[X] = D[T] + D[E]$, siis eelneva põhjal $\rho_{XX'} \in \left[0,1 \right]$.
Eelneva põhjal on selge, et väide "`küsimustiku reliaablus on suurem"' on samaväärne järgmise kolme väitega:
\begin{enumerate}
\item küsimustiku korrelatsioon paralleelse küsimustikuga on suurem,
\item küsimustiku tegeliku tulemuse dispersioon on suurem võrreldes küsimustiku vaadeldava tulemuse dispersiooniga,
\item küsimustiku mõõtmisvea dispersioon on väiksem võrreldes küsimustiku vaadeldava tulemuse dispersiooniga.
\end{enumerate}
Märgime, et klassikalise testiteooria raames defineeritud reliaablus sobib kokku eelmises peatükis antud mitteformaalse definitsiooniga, kui võtta arvesse paralleelse küsimustiku semantilist tähendust.
Paneme tähele, et tegemist on suhteliselt nõrku eeldusi vajava teooriaga, kõige raskem on praktikas tagada süstemaatiliste vigade puudumine.
Kuna küsimustiku korduvmõõtmiste läbiviimine ei ole tihti võimalik, on kasutusele võetud erinevad meetodid testi reliaabluse hindamiseks küsimustiku ühekordse läbiviimise käigus saadud informatsiooni põhjal, kus kasutatakse punktides (\ref{eq:corr_equals_var_over_var}) ja (\ref{eq:reliability}) toodud omadusi. Järgnevalt vaatleme, kuidas need meetodid on tuletatud.
\subsection{Vajalikud taustteadmised reliaabluse hindamiseks}
Järgnev käsitlus tugineb Jacksoni ja Anguwamba 1977. aasta artiklile \cite{Jackson1977}.
Olgu meil vastajate populatsioon $I$, üle mille vaatleme $k$ k\"usimusest koosnevat küsimustikku. Vaatleme seda küsimustikku klassikalise testiteooria raames ning olgu $X$ küsimustiku vaadeldav tulemus, $T$ küsimustiku tegelik tulemus ning $E$ küsimustiku mõõtmisviga. Vaatleme iga küsimust kui ühest küsimusest koosnevat alamküsimustikku ja tähistame fikseeritud k\"usimuse $ i \in \left\lbrace 1,2,\ldots,k \right\rbrace$ vaadeldava tulemuse kui $X_i$, tegeliku tulemuse kui $T_i$ ning mõõtmisvea $E_i$. Seega $X = \sum \limits_{i=1}^{k} X_i$, $T = \sum \limits_{i=1}^{k} T_i$ ja $E = \sum \limits_{i=1}^{k} E_i$. Paneme tähele, et kui eelnevas peatükis tähistasime alaindeksiga küsimusele vastajat, siis edaspidi tähistame sellega kindlat küsimust.