Sie sind auf Seite 1von 85

0: ,,; <

, -.%/"-%.-0 /1%-"-

! " # $ %# & ""% '


& "" "" (
) ' ! * + %# , ,- . / 0 + 1 2
0 '3 " " " 4 15" %# % " " "" !
6 #1- * 1 7 !"# . ,$8
9 " 0 1"
9 ! :
; <1"<="4/88> !
9 9 6 9 ! 6 9 ! 6 9
;?@A ""81/4"--< 0
@ B + 2
2B C D D D D :
E ! F ! G G ; <1"<="4/88> ! !
) G 9 F D D!D 6 D ! 6 D
6 ;?@A ""81/4"--< 0
@ B

2 2, 3 ) & * * 4
) * & 5 6 %

+ #<
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Nationales Vorwort
Dieses Dokument enthlt die deutsche bersetzung von ISO/TR 22971:2005, das vom Technischen Komitee
ISO/TC 69, Applications of statistical methods, Unterkomitee 6, Measurement methods and results, erarbeitet
wurde. Das zustndige deutsche Gremium ist der Arbeitsausschuss NA 147-00-02 AA, Angewandte Statistik,
im Normenausschuss Qualittsmanagement, Statistik und Zertifizierungsgrundlagen (NQSZ).

Es wird auf die Mglichkeit hingewiesen, dass einige Texte dieses Dokuments Patentrechte berhren knnen.
Das DIN [und/oder die DKE] sind nicht dafr verantwortlich, einige oder alle diesbezglichen Patentrechte zu
identifizieren.

Fr den Erwartungswert und fr seinen Schtzwert, den (arithmetischen) Gesamtmittelwert, wird im vor-
liegenden Dokument dasselbe Formelzeichen verwendet m.

Im vorliegenden Dokument wird durchgngig die Benennung Gesamtmittelwert, m, verwendet als ber-
setzung von general mean, overall mean, general average und overall average im zugrunde liegenden
Dokument ISO/TR 22971:2005 (siehe auch ISO 5725-2).

2
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Leerseite

3
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Inhalt
Seite

Nationales Vorwort ........................................................................................................................................ 2


Einleitung ........................................................................................................................................................ 6
1 Anwendungsbereich ...................................................................................................................... 10
2 Organisation eines Ringversuchs................................................................................................. 10
2.1 Anforderungen an die Przision eines Experiments .................................................................. 10
2.2 Zustndigkeiten der in ein Przisions-Experiment eingebundenen Mitarbeiter ...................... 12
2.2.1 Allgemeines ..................................................................................................................................... 12
2.2.2 Der Leiter des Ringversuchs ......................................................................................................... 12
2.2.3 Das Labor ........................................................................................................................................ 12
2.2.2 Executive officer ............................................................................................................................. 13
2.2.4 Statistiker......................................................................................................................................... 14
3 Kritische berprfung der Messergebnisse ................................................................................ 14
3.1 Beschreibung der Messergebnisse .............................................................................................. 14
3.1.1 Rohdaten ......................................................................................................................................... 14
3.1.2 Graphische Darstellung der Messergebnisse ............................................................................. 16
3.2 Ausreier-Tests............................................................................................................................... 24
3.2.1 Allgemeine Gesichtspunkte........................................................................................................... 24
3.2.2 Cochran-Test ................................................................................................................................... 26
3.2.3 Grubbs-Test..................................................................................................................................... 28
3.3 Folgerungen .................................................................................................................................... 28
4 Schtzung von Wiederhol- und Vergleichstandardabweichungen ........................................... 32
4.1 Varianzanalyse ................................................................................................................................ 32
4.2 Beschreibung des Modells ............................................................................................................ 32
4.3 Beispiele .......................................................................................................................................... 36
4.3.1 Beispiel 1 ......................................................................................................................................... 36
4.3.2 Beispiel 2 ......................................................................................................................................... 40
4.4 Anwendung von Wiederhol- und Vergleichgrenzen ................................................................... 42
5 Ausgearbeitete Beispiele unter Verwendung von Statistik-Software ....................................... 44
5.1 Allgemeines ..................................................................................................................................... 44
5.2 Ermittlung des Schwefelgehalts von Kohle ................................................................................. 44
5.2.1 Originaldaten ................................................................................................................................... 44
5.2.2 Tabelle der Zellenmittelwerte und -standardabweichungen ...................................................... 52
5.2.3 Untersuchung auf Vereinbarkeit und Ausreier.......................................................................... 54
5.2.4 Berechnung des Gesamtmittelwertes fr ein Merkmalsniveau sowie der Wiederhol-
und Vergleichstandardabweichungen .......................................................................................... 54
5.2.5 Abhngigkeit der Przision von m ................................................................................................ 58
5.3 Thermometrische Titration von Kreosotl ................................................................................... 60
5.3.1 Originaldaten ................................................................................................................................... 60
5.3.2 Untersuchung auf Vereinbarkeit und Ausreier.......................................................................... 64
5.3.3 Berechnung des Gesamtmittelwertes fr ein Merkmalsniveau sowie der Wiederhol-
und Vergleichstandardabweichungen .......................................................................................... 66
5.3.4 Abhngigkeit der Przision von m ................................................................................................ 68
Anhang A (normativ) Formelzeichen und Abkrzungen.......................................................................... 76
Literaturhinweise ......................................................................................................................................... 84

4
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Contents
Page

Introduction ..................................................................................................................................................... 7
1 Scope ................................................................................................................................................ 11
2 Organization of an inter-laboratory programme .......................................................................... 11
2.1 Requirements for a precision experiment .................................................................................... 11
2.2 The responsibilities of the personnel involved in a precision experiment ............................... 13
2.2.1 General ............................................................................................................................................. 13
2.2.3 Laboratory ........................................................................................................................................ 13
2.2.4 Statistician ....................................................................................................................................... 15
3 Critical examination of the data .....................................................................................................15
3.1 Description of the data.................................................................................................................... 15
3.1.1 Raw data ........................................................................................................................................... 15
3.1.2 Graphical representation of the data............................................................................................. 17
3.2 Tests for outliers ............................................................................................................................. 25
3.2.1 General points .................................................................................................................................25
3.2.2 Cochran's test ..................................................................................................................................27
3.2.3 Grubbs' test...................................................................................................................................... 29
3.3 Conclusions .....................................................................................................................................29
4 Estimation of repeatability and reproducibility standard deviations ......................................... 33
4.1 Analysis of variance ........................................................................................................................ 33
4.2 Description of the model ................................................................................................................ 33
4.3 Examples .......................................................................................................................................... 37
4.3.1 Example 1 ......................................................................................................................................... 37
4.3.2 Example 2 ......................................................................................................................................... 41
4.4 Use of repeatability and reproducibility limits ............................................................................. 43
5 Worked examples using statistical software ................................................................................ 45
5.1 General ............................................................................................................................................. 45
5.2 Determination of sulfur content in coal ........................................................................................ 45
5.2.1 Original data .....................................................................................................................................45
5.2.2 Table of cell means and standard deviations ............................................................................... 53
5.2.3 Scrutiny for consistency and outliers ........................................................................................... 55
5.2.4 Computation of the general mean and of the repeatability and reproducibility
standard deviations......................................................................................................................... 55
5.2.5 Dependence of precision on m ....................................................................................................... 59
5.3 Thermometric titration of creosote oil .......................................................................................... 61
5.3.1 Original data .....................................................................................................................................61
5.3.2 Scrutiny for consistency and outliers ........................................................................................... 65
5.3.3 Computation of the overall mean and of the repeatability and reproducibility
standard deviations......................................................................................................................... 67
5.3.4 Dependence of precision on m ....................................................................................................... 69
Annex A (normative) Symbols and abbreviations ..................................................................................... 77
Bibliography .................................................................................................................................................. 85

5
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Genauigkeit (Richtigkeit und Przision) von Messverfahren und Messergebnissen


Leitfaden zur Verwendung von ISO 5725-2:1994 bei der Entwicklung, Einfhrung und
statistischen Analyse von Ringversuchsergebnissen zur Wiederhol- und
Vergleichprzision

Einleitung
ISO 5725 besteht aus sechs Teilen; die allgemeine Struktur der Norm ist in Bild 1 dargestellt.

ISO 5725-2 ist als ein Leitfaden fr die Technischen Komitees der ISO und fr andere Organisationen, die fr
die Durchfhrung von Ringversuchen zur Charakterisierung der Variabilitt von vereinheitlichten Mess-
verfahren verantwortlich sind, entwickelt worden. Zwei Messgren fr die Variabilitt, Wiederholprzision
und Vergleichprzision, werden in vielen Disziplinen als reprsentativ fr die in Messprozessen erfassten
Daten angesehen.

Wiederholprzision bezieht sich auf die Variabilitt zwischen Messungen, die an nominell identischen
Stichproben oder Materialien unter identischen Bedingungen gemacht wurden. Es ist bekannt, dass
wiederholte Messungen aufgrund unbekannter oder nicht beherrschbarer Faktoren, die den Messprozess
beeinflussen, normalerweise nicht bereinstimmen werden. Das Ausma dieser Variabilitt kann durch eine
Standardabweichung der Ergebnisse von Wiederholungsmessungen innerhalb eines Labors ausgedrckt
werden, die Wiederholstandardabweichung genannt wird.

Vergleichprzision bezieht sich auf die Variabilitt zwischen Messungen, die an identischen Stichproben oder
Materialien unter unterschiedlichen Bedingungen von verschiedenen Labors nach demselben
vereinheitlichten Messverfahren durchgefhrt wurden. Vergleichprzision beinhaltet die durch Unterschiede
bei den Gerten, Reagenzien, Bearbeitern, Labors und Umweltbedingungen bewirkten Effekte. Die Variabilitt
der Ergebnisse unter diesen Bedingungen kann durch eine Standardabweichung beschrieben werden, die
Vergleichstandardabweichung genannt wird.

Dieser Leitfaden besteht aus vier Abschnitten sowie dem Anwendungsbereich (Abschnitt 1):

Abschnitt 2, Organisation eines Ringversuchs, behandelt die Organisation des Ringversuchs und
beschreibt die Aufgaben des Leiters des Ringversuchs, des Laborpersonals und des Statistikers bei
Vorbereitung und Durchfhrung der Prfung, die Wahl der Materialien und der Merkmalsniveaus fr die
Prfung sowie die Auswahl von Labors. Er beschreibt auch, wie die Anzahl der Wiederholungs-
messungen (die an jeder Stichprobe durchzufhren sind) statistisch zu behandeln ist, und die Art und
Weise, auf welche die Ergebnisse zu berichten sind.
Abschnitt 3, Kritische berprfung der Messergebnisse, beschftigt sich unter Verwendung graphischer
und numerischer Verfahren mit den Messergebnissen. Es wird Anleitung gegeben fr den Fall, dass
Messwerte ungewhnlich zu sein scheinen, das heit wenn sie mit anderen Messwerten der
Untersuchung nicht vereinbar sind, und fr Ausreiertests, die verwendet werden, das Vorliegen oder
Nicht-Vorliegen ungewhnlicher Messwerte zu erkennen.
Abschnitt 4, Schtzung von Wiederhol- und Vergleichstandardabweichungen, behandelt die Schtzung
und Interpretation von Wiederhol- und Vergleichstandardabweichungen. Auerdem ist ein Vergleich der
relativen Beitrge der Wiederhol- und Vergleichstandardabweichungen zur Gesamtvariabilitt des
Prfverfahrens enthalten.
Abschnitt 5, Ausgearbeitete Beispiele unter Verwendung von Statistik-Software, enthlt ausgearbeitete
Beispiele, anhand derer die verschiedenen Techniken, die verwendet werden knnen, demonstriert
werden.

Es wird empfohlen, diesen Leitfaden zusammen mit ISO 5725-2 zu lesen, und ihn nicht als Ersatz fr
ISO 5725-2 zu verwenden.

6
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Accuracy (trueness and precision) of measurement methods and results


Practical guidance for the use of ISO 5725-2:1994 in designing, implementing and
statistically analysing interlaboratory repeatability and reproducibility results

Introduction
ISO 5725 consists of six parts, the general structure of which is shown in Figure 1.

ISO 5725-2 was developed as a guidance document for ISO Technical Committees and other organizations
responsible for undertaking inter-laboratory studies for characterizing the variability of standard measurement
methods. Two measures of variability, repeatability and reproducibility, are accepted in many disciplines as
representative of data encountered in measurement processes.

Repeatability refers to the variability among measurements made on nominally identical samples or materials
under identical circumstances. It is recognized that, because of unknown or uncontrollable factors which
influence the measurement process, repeated measurements will usually not agree. The extent of this
variability can be expressed by a standard deviation, called the repeatability standard deviation, of the results
of within-laboratory comparisons.

Reproducibility refers to the variability among measurements made on identical samples or materials under
differing conditions by different laboratories following the same standard measurement method.
Reproducibility includes effects caused by differences among instruments, reagents, operators, laboratories,
and environmental conditions. The variability of results under these conditions may be described by a
standard deviation called the reproducibility standard deviation.

This guidance document is divided into four clauses in addition to the Scope (Clause 1):

Clause 2, Organization of an inter-laboratory programme, deals with the organization of the inter-
laboratory test and covers the roles of the executive officer, laboratory personnel, and statistician in
preparing for and administering the test; the choice of materials and levels of interest for the test; and the
selection of laboratories. It also describes how the number of replicate measurements (to be made on
each sample) is to be statistically treated and the manner in which the resulting data are to be reported.
Clause 3, Critical examination of the data, deals with data using graphical and numerical procedures.
Guidance is given as to when data are anomalous, i.e. if they are inconsistent with other data from the
study, and for outlier tests that are used to identify the presence or absence of anomalous data.
Clause 4, Estimation of repeatability and reproducibility standard deviations, deals with the estimation and
interpretation of repeatability and reproducibility standard deviations. Also included is a comparison of the
relative contributions of the repeatability and reproducibility standard deviations to the total variability of
the test method.
Clause 5, Worked examples using statistical software, deals with worked examples that highlight various
techniques that can be used.

It is recommended that this guidance document be read in conjunction with ISO 5725-2 and should not be
used as a replacement for ISO 5725-2.

7
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Bild 1 Struktur von ISO 5725 Anwendung eines vereinheitlichten Prfverfahrens fr die
Untersuchungen einer Stichprobe oder eines Produktes in verschiedenen LaborsN1)

N1) Nationale Funote: Im englischen Original ist fr die Formelzeichen versehentlich nicht die richtige Schrifttype
verwendet worden; dies ist in der deutschen bersetzung richtiggestellt worden.

8
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Figure 1 Structure of ISO 5725 Application of a standardized test method to the analyses
of a sample or product in different laboratories

9
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

1 Anwendungsbereich
Dieser Technische Bericht bietet Anwendern praktische Hilfe bei der Anwendung von ISO 5725-2:1994 und
prsentiert vereinfachte, Schritt fr Schritt durchzufhrende Verfahren fr die Planung, die Durchfhrung und
die statistische Auswertung von Ringversuchen zur Bestimmung der Variabilitt eines vereinheitlichten
Messverfahrens und zur Ermittlung von Wiederhol- und Vergleichprzision der im Ringversuch erhaltenen
Messwerte.

2 Organisation eines Ringversuchs

2.1 Anforderungen an die Przision eines Experiments

Das gesamte Experiment wird geplant, um

a) einen vollstndigen Satz von Ergebnissen zu liefern, mit

pLab Anzahl von Labors, die zeigen, dass das Prfverfahren gut beherrscht wird, und fr die
Quantifizierung der beobachteten Streuung, die durch die Vergleichprzision geschtzt wird;

ANMERKUNG Das in diesem Technischen Bericht verwendete Formelzeichen pLab hat dieselbe Bedeutung
wie das in ISO 5725-2:1994 verwendete Formelzeichen p. Diese nderung wurde vorgenommen, um dieses
Formelzeichen deutlich von dem Formelzeichen P zu unterscheiden, das fr Wahrscheinlichkeit (en: probability)
verwendet wird. Klein- und grogeschriebene Buchstaben P sind manchmal schwer voneinander zu
unterscheiden, besonders als tiefgestellte Zeichen.

q Anzahl von Stichproben oder Produkten, die fr die Anzahl unterschiedlicher Niveaus steht, auf
denen Befunde oder Leistungen erhoben werden. Der kleinste Wert fr q ist zwei, aber Werte
zwischen fnf und zehn sind geeigneter fr den Nachweis, dass das Prfverfahren in der Lage ist,
zwischen Niveaus klar zu unterscheiden;

n Anzahl der Wiederholungen pro Zelle, die belegen, dass das Prfverfahren in einem einzelnen
Labors gut beherrscht wird. Wenn die Anzahl von Labors und Niveaus hinreichend gro ist, werden
mindestens zwei Werte bentigt;

b) eine Tabelle von Ergebnissen statistisch auszuwerten zu knnen (siehe Abschnitte 2 und 3), die aus pLab
Labors stammen, die q Stichproben untersucht haben, die jeweils n-mal unter den Bedingungen der
Wiederholprzision geprft worden sind.

Die tabellarische Zusammenstellung der Ergebnisse, die dem Leiter des Ringversuchs vorgelegt wird, ist in
Tabelle 1 gezeigt (siehe ISO 5725-2:1994, 7.2.8).

10
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

1 Scope
This Technical Report provides users with practical guidance to the use of ISO 5725-2:1994 and presents
simplified step-by-step procedures for the design, implementation, and statistical analysis of inter-laboratory
studies for assessing the variability of a standard measurement method and on the determination of
repeatability and reproducibility of data obtained in inter-laboratory testing.

2 Organization of an inter-laboratory programme

2.1 Requirements for a precision experiment

The whole experiment is organized

a) to provide a complete set of results for:

pLab number of laboratories demonstrating that the test procedure is well controlled and for
quantifying the observed scatter, estimated by the reproducibility;

NOTE The symbol pLab used in this Technical Report has the same meaning as the symbol p used in
ISO 5725-2:1994. The change was made to clearly distinguish this symbol from the symbol, P, used for
probability. The lowercase and uppercase P's are sometimes difficult to distinguish, particularly as subscripts.

q number of samples or products representing different levels of results or performance. A minimum


value for q is two, but from five to ten is more appropriate for demonstrating that the test procedure is
able to discriminate correctly between levels;

n number of replications cell demonstrating that the test procedure is well controlled within a single
laboratory. When the number of laboratories and of levels is sufficient, at least two determinations
are required;

b) to analyse statistically (see Clauses 2 and 3) a table of results reported by pLab laboratories analysing q
samples, tested n times under conditions of repeatability.

The table of the results submitted to the executive officer is shown in Table 1 (see ISO 5725-2:1994, 7.2.8).

11
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

2.2 Zustndigkeiten der in ein Przisions-Experiment eingebundenen Mitarbeiter

2.2.1 Allgemeines

Ein Ringversuch ist sehr aufwendig, sowohl was seine Koordination als auch die Beteiligung daran betrifft.
Daher sollte er gut geplant und gut koordiniert werden. Bei jedem Ringversuch sollten, wie in Bild 2 gezeigt,
drei Arten von Ttigkeiten betrachtet werden.

Bild 2 Die Zustndigkeiten der beteiligten Funktionen

2.2.2 Der Leiter des Ringversuchs

Die Hauptaufgaben des Leiters des Ringversuchs sind

den Ringversuch zu organisieren, mit dem Auftrag an den Statistiker, den Versuchsplan zu entwerfen,

den Fortschritt zu koordinieren,

die Ergebnisse zu berichten.

Die Aufgaben des Leiters des Ringversuchs drfen von mehr als einer Person wahrgenommen werden.
Allerdings sollte nur eine einzige Person fr das gesamte Programm verantwortlich sein. Der Leiter des
Ringversuchs sollte mit dem vereinheitlichten Messverfahren vertraut, aber nicht in den Messprozess
eingebunden sein.

2.2.3 Das Labor

Die Mitarbeiter des Labors sollten mit dem Messverfahren fr die Prfung voll vertraut sein.

Das Labor muss die Untersuchung durchfhren und dabei die vom Leiter des Ringversuchs vorgegebenen
Prfverfahren befolgen. Alle Anmerkungen des Labors zur Anwendung des Prfverfahrens sollten dem Leiter
des Ringversuchs bermittelt werden. Dennoch sollten die vom Labor angewendeten Verfahren diejenigen
sein, die der Leiter des Ringversuchs vorgegeben hat.

12
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

2.2 The responsibilities of the personnel involved in a precision experiment

2.2.1 General

An inter-laboratory programme is very expensive, both in terms of its co-ordination and its participation.
Hence, the performance testing should be well co-ordinated and planned. In any inter-laboratory programme,
it is necessary to consider three types of activity as shown in Figure 2.

Figure 2 The responsibilities of executive functions

2.2.2 Executive officer

The executive officer's main tasks are

to organize the inter-laboratory programme, with the advice of the statistician for the construction of the
experimental design;

to co-ordinate the progress;

to state the conclusions.

The duties of the executive officer may be undertaken by more than one person. However, only one person
should be responsible for the entire programme. The executive officer should be familiar with the standard
method, but should not participate in the measurement process.

2.2.3 Laboratory

The laboratory personnel should be fully experienced with the test measurement method.

The laboratory shall undertake the analysis, adhering to the test procedures received from the executive
officer. Any comments by the laboratory on the use of the test method should be reported to the executive
officer. However, the procedures carried out by the laboratory should be those provided by the executive
officer.

13
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Das Labor muss alle vom Leiter des Ringversuchs vorgegebenen Anforderungen erfllen, einschlielich

der Lagerung der Stichproben;

der Erfassung von Datum und Reihenfolge bei der Untersuchung.

Das Labor muss dem Leiter des Ringversuchs die Ergebnisse in der von ihm vorgeschriebenen Form zur
Verfgung stellen.

2.2.4 Statistiker

Der Statistiker muss vom Leiter des Ringversuchs die auf die festgelegte Art und Weise erfassten Rohdaten
erhalten, wie sie in Tabelle 1 dargestellt sind.

Der Statistiker muss die Daten prfen und geeignete statistische Prfverfahren anwenden, vorzugsweise die
in ISO 5725-2 beschriebenen, um mgliche Ausreier zu erkennen. Ausreier mssen dem Leiter des
Ringversuchs zur Kenntnis gebracht werden. Der Leiter des Ringversuchs muss eine geeignete Abklrung
durchfhren, um herauszufinden, ob die Daten beibehalten, zurckgewiesen oder modifiziert werden sollen.

Der Statistiker muss die statistischen Analysen durchfhren, graphische Darstellungen anfertigen und
Schtzwerte fr die Mittelwerte und Varianzen zur Verfgung stellen (ISO 5725-2:1994, 7.1.2). Der Statistiker
muss alle Ergebnisse seiner statistischen Analysen fr den Leiter des Ringversuchs in einem Bericht
zusammenfassen.

3 Kritische berprfung der Messergebnisse

3.1 Beschreibung der Messergebnisse

3.1.1 Rohdaten

Die Messergebnisse werden, wie in Tabelle 1 gezeigt, dargestellt. Die Tabellen 2 und 3 sind aus Tabelle 1
abgeleitet. Es kann sein, dass einige der validierten Statistik-Softwarepakete unterschiedliche Darstellungs-
formen fr dieselbe Information anbieten.

Tabelle 1 Zusammenstellung aller Rohdaten

Merkmalsniveau
Labor
1 2 ... j ... q!1 q

1
2
...
yij1
i yij2
yijn
...
pLab

14
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

The laboratory shall comply with any requirements prescribed by the executive officer, including

storage of the samples;

date and order of carrying out the analysis.

The laboratory shall provide the executive officer with the results of analysis in a manner prescribed by the
executive officer.

2.2.4 Statistician

The statistician shall receive from the executive officer the raw data obtained using the stated method and as
reported in Table 1.

The statistician shall examine the data and apply any statistical test, preferentially the tests described in
ISO 5725-2, to identify potential outliers. Statistical outliers shall be brought to the attention of the executive
officer. The executive officer shall undertake an appropriate investigation to ascertain whether to retain, reject
or modify any data.

The statistician shall carry out the statistical analyses, prepare graphical plots, and provide estimates of the
means and variances (ISO 5725-2:1994, 7.1.2). The statistician shall summarize all the results of the
statistical analyses in a report that shall be sent to the executive officer.

3 Critical examination of the data

3.1 Description of the data

3.1.1 Raw data

The data are presented as shown in Table 1. Tables 2 and 3 are derived from Table 1. Some validated
statistical software packages may provide different presentations of the same information.

Table 1 Collation of all raw data

Level
Laboratory
1 2 ... j ... q!1 q

1
2
...
yij1
i yij2
yijn
...
pLab

15
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Tabelle 2 Zusammenstellung der Mittelwerte fr jede Zelle in Tabelle 1

Merkmalsniveau
Labor
1 2 ... j ... q 1 q

1
2
...
i mij
...
pLab

Tabelle 3 Zusammenstellung der Werte, die die Streubreitea der Werte in jeder Zelle
von Tabelle 1 angeben

Merkmalsniveau
Labor
1 2 ... j ... q 1 q
1
2
...
i sij
...
pLab
a Das gebruchlichste Ma fr die Streubreite ist die Standardabweichung.

3.1.2 Graphische Darstellung der Messergebnisse

3.1.2.1 Ergebnisse aufgetragen ber der Nummer des Labors (graphische Darstellung der
Rohdaten)

Bevor irgendwelche Tests zur Ermittlung von mglichen Ausreiern durchgefhrt werden, wird empfohlen,
dass graphische Darstellungen der Rohdaten angefertigt werden. Auf diese Art und Weise kann ein sofortiges
Bild der Ergebnisse erzeugt werden, wie beispielsweise in Bild 3 gezeigt (das auf ISO 5725-2:1994,
Bilder B.1 bis B.4 beruht). Ein Groteil der Informationen kann durch visuelle Prfung einer graphischen
Darstellung der Rohdaten gewonnen und eine sofortige Beurteilung der Streubreite der Daten vorgenommen
werden. Daraus kann sich ein Hinweis auf das Vorliegen von Ausreiern ergeben, oder ungewhnliche
Abweichungen auf bestimmten Merkmalsniveaus knnen, einfach durch eine visuelle Prfung der
entsprechenden graphischen Darstellung der Messergebnisse, sichtbar werden. So kann beispielsweise in
Bild 3 die graphische Darstellung der Ergebnisse von Labor 3 auf eine Streubreite hinweisen, die im Vergleich
zu allen anderen Labors grer als erwartet ist. Folglich wird die Gesamtwiederholprzision beeintrchtigt
sein. Diese Vermutung kann mit dem Cochran-Test berprft werden. Weiterhin knnten die Ergebnisse von
Labor 9 bezglich des Mittelwertes dieses Labors auf einen Ausreier hindeuten, wenn er mit den
Mittelwerten aller anderen Labors verglichen wird. Folglich knnte die Gesamtvergleichprzision beeintrchtigt
sein, und dies kann mit dem Grubbs-Test berprft werden.

16
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Table 2 Collation of the mean values for each cell in Table 1

Level
Laboratory
1 2 ... j ... q 1 q

1
2
...
i mij
...
pLab

Table 3 Collation of values indicating the spreada of the values for each cell in Table 1

Level
Laboratory
1 2 ... j ... q 1 q
1
2
...
i sij
...
pLab
a The most common measure of spread is the standard deviation.

3.1.2 Graphical representation of the data

3.1.2.1 Results plotted versus laboratory number (raw data plot)

Before carrying out any tests to determine potential outliers, it is recommended that graphical plots of the raw
data be made. In this way, an instant picture of the results can be depicted, for example, as shown in
Figure 3 (which is based on ISO 5725-2:1994, Figures B.1 to B.4). A great deal of information can be obtained
by a visual inspection of a graphical plot of the raw data, and an instant appraisal of the spread of data
ascertained. Hence, an indication of the presence of outliers might be suggested, or unusual differences might
become apparent, at particular levels of interest, simply by a visual inspection of the appropriate plot of data.
For example, in Figure 3, the plot of results for laboratory 3 might suggest a larger-than-expected spread of
results compared to all the other laboratories; hence, the overall repeatability will be affected. This possibility
can be confirmed by Cochran's test. In addition, the results for laboratory 9 might suggest an outlier with
respect to the mean value of the laboratory when compared to the other mean values for all the other
laboratories. Hence, reproducibility might be affected and this can be confirmed by Grubbs' test.

17
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Legende
X Kennzeichnung des Labors
Y Ergebnisse des jeweiligen Labors

Bild 3 Graphische Darstellung der Rohdaten fr ein bestimmtes Merkmalsniveau

3.1.2.2 Schachteldiagramm (en: boxplot bzw. box-and-whisker-plot)

Wenn viele Ergebnisse berichtet werden, insbesondere fr ein bestimmtes Merkmalsniveau, kann ein
Schachteldiagramm Informationen hnlich denen in 3.1.2.1 sichtbar werden lassen; vergleiche das Beispiel in
Bild 4. Allerdings wird diese Art graphischer Darstellung, die auf robusten Kennzahlen, wie dem Median,
beruht, nicht in ISO 5725-2 beschrieben. Sie wird dennoch in den Beispielen in Abschnitt 4 erklrt und
veranschaulicht, da diese Diagramme von den meisten Statistiksoftware-Paketen angeboten werden.

Legende
X Kennzeichnung des Labors
Y Ergebnisse des jeweiligen Labors
a + bezeichnet den Mittelwert

Bild 4 Schachteldiagramm (Box-and-whisker-plot)

18
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Key
X Laboratory identification
Y Results per laboratory

Figure 3 Graphical representation of raw data for a particular level of interest

3.1.2.2 Boxplot (box-and-whiskers plot)

Where many results are reported, especially for a particular level of interest, a box-and-whiskers plot can
reveal information similar to that in 3.1.2.1; for an example, see Figure 4. However, this type of plot, which is
based on robust statistics including the determination of the median value, is not described in ISO 5725-2. It
is, however, defined and illustrated in the examples in Clause 4, since these graphs are available in most
statistical software packages.

Key
X Laboratory identification
Y Results per laboratory
a indicates the average

Figure 4 Box-and-whiskers plot

19
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

3.1.2.3 Mandel-Diagramme von h- und k-Prfgren

3.1.2.3.1 Mandels h-Diagramm

Fr ein bestimmtes Merkmalsniveau werden die erhaltenen Mittelwerte aller Labors zur Berechnung eines
Gesamtmittelwertes verwendet. Dieser Wert wird dann benutzt, um Mandels h-Prfgre fr dieses
Merkmalsniveau fr alle Labors zu berechnen. Diese Kenngre ist in ISO 5725-2:1994, Gleichung (6),
definiert. Diese Kenngre ist der Quotient aus der Differenz des Mittelwertes eines bestimmten Datensatzes
und dem Gesamtmittelwert aller Datenstze und aus der Standardabweichung der Mittelwerte aller
Datenstze. Der Wert dieses Quotienten wird dann graphisch dargestellt und mit den zu einem
Vertrauensniveau von 95 % und 99 % berechneten oder tabellierten Werten dieses Quotienten verglichen.
Dasselbe Verfahren wird dann angewendet, um Mandels h-Prfgre fr alle anderen Merkmalsniveaus fr
alle Labors zu berechnen (siehe Bild 5). Es sollte beachtet werden, dass sowohl positive als auch negative
Werte aufgetragen werden knnen.

Legende
X Kennzeichnung des Labors
Y Mandels h
a Vertrauensniveau 99 %
b Vertrauensniveau 95 %

Bild 5 Mandels h-Diagramm

20
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

3.1.2.3 Mandel's plots of h and k tests statistics

3.1.2.3.1 Mandel's h plot

For a particular level of interest, the mean values obtained for all the laboratories are used to calculate a
single overall mean value. This value is then used to calculate Mandel's h statistic for all the laboratories for
this level. This statistic is defined in ISO 5725-2:1994, Equation (6). This statistic is the ratio of the difference
between the mean for a particular set of data and the mean of all sets of data, and the standard deviation of
the means from all the sets of data. This quotient value is then plotted and compared with computed or
tabulated ratio values obtained for 95 % and 99 % confidence levels. The same procedure is then used to
calculate Mandel's h statistic for all the laboratories for all the other levels of interest (see Figure 5). It should
be noted that both positive and negative values can be plotted.

Key
X Laboratory identification
Y Mendel's h
a 99 % confidence level
b 95 % confidence level

Figure 5 Mandel's h plot

21
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

3.1.2.3.2 Mandels k-Diagramm

Fr ein bestimmtes Merkmalsniveau werden die fr alle Labors erhaltenen Standardabweichungen


verwendet, um eine mittlere oder zusammengefasste einzelne Standardabweichung zu berechnen. Dieser
Wert wird dann benutzt, um Mandels k-Prfgre fr alle Labors dieses Niveaus zu berechnen. Diese
Kenngre ist in ISO 5725-2:1994, Gleichung (7), definiert. Sie ist der Quotient aus der Standardabweichung
der Ergebnisse und aus der mittleren oder zusammengefassten Standardabweichung. Der Wert dieses
Quotienten wird dann graphisch dargestellt und mit den zu einem Vertrauensniveau von 95 % und 99 %
berechneten oder tabellierten Werten dieses Quotienten verglichen. Dasselbe Verfahren wird dann
angewendet, um fr alle anderen Merkmalsniveaus Mandels k-Prfgre fr alle Labors zu berechnen (siehe
Bild 6). Es sollte beachtet werden, dass nur positive Werte aufgetragen sind.

Legende
X Kennzeichnung des Labors
Y Mandels k
a Vertrauensniveau 99 %
b Vertrauensniveau 95 %

Bild 6 Mandels k-Diagramm

3.1.2.3.3 Graphische Prfung

In den graphischen Darstellungen knnen fr jedes Labor einzelne Ergebnisse erkannt werden, die von der
erwarteten Verteilung der Ergebnisse abzuweichen scheinen. Beispielsweise knnte sich fr bestimmte
Merkmalsniveaus der fr jedes Labor aufgetragene h-Wert dem zu einem Vertrauensniveau von 95 % oder
99 % berechneten Wert von Mandels h-Prfgre annhern oder diesen berschreiten, falls der Grubbs-Test
zeigt, dass Ausreier vorliegen. Auerdem knnte sich fr bestimmte Merkmalsniveaus der fr jedes Labor
aufgetragene k-Wert dem zu einem Vertrauensniveau von 95 % oder 99 % berechneten Wert von Mandels
k-Prfgre annhern oder diesen berschreiten, falls der Cochran-Test zeigt, dass Ausreier vorliegen.

22
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

3.1.2.3.2 Mandel's k plot

For a particular level of interest, the standard deviations obtained for all the laboratories are used to calculate
a mean standard deviation or pooled single standard deviation. This value is then used to calculate Mandel's
k statistic for all the laboratories for this level. This statistic is defined in ISO 5725-2:1994, Equation (7). It is
the quotient of the standard deviation of results and the mean or pooled standard deviation. This quotient
value is then plotted and compared with computed or tabulated ratio values obtained for 95 % and 99 %
confidence levels. The same procedure is then used to calculate Mandel's k statistic for all the laboratories for
all the other levels of interest (see Figure 6). It should be noted that only positive values are plotted.

Key
X Laboratory identification
Y Mendel's k
a 99 % confidence level
b 95 % confidence level

Figure 6 Mandel's k plot

3.1.2.3.3 Graphical inspection

From the plots, individual results can be identified for each laboratory that might be considered different from
the expected distribution of results. For example, the h plot for particular levels of interest for each laboratory
might approach or exceed the computed Mandel's h statistic value at the 95 % or 99 % confidence level if the
Grubbs' test shows outliers to be present. In addition, the k plot for particular levels of interest for each
laboratory might approach or exceed the computed Mandel's k statistic value at the 95 % or 99 % confidence
level if Cochran's test shows outliers to be present.

23
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

3.2 Ausreier-Tests

3.2.1 Allgemeine Gesichtspunkte

3.2.1.1 Vertrauensniveau

Der Umgang mit Ausreiern wird in ISO 5725-2:1994, Abschnitt 7, behandelt, vor allem in 7.1 bis 7.3. Ein
Ausreier kann als ein Ergebnis angesehen werden, dass von allen anderen Ergebnissen hinreichend
verschieden ist, um weitere Untersuchungen zu rechtfertigen. Abhngig vom Typ der Verteilung, dem die
Ergebnisse folgen, knnte ein Ergebnis, das ein Ausreier zu sein scheint, in Wirklichkeit ein gltiges
Ergebnis sein. ISO 5725-2:1994, 7.3.2.1 und 7.3.3.2, empfiehlt Vertrauensniveaus von 95 % fr
Fastausreier (en: straggler) genannte Ausreier und 99 % fr statistische Ausreier (en: (statistical)
outliers) genannte Ausreier. Fr die individuelle Situation bedeutet die Wahl eines Vertrauensniveaus von
95 % und 99 %, dass 1 Ergebnis aus 20, bzw. 1 Ergebnis aus 100, flschlicherweise fehlinterpretiert werden
knnte. Folglich knnte zufllig dieses eine Ergebnis eintreten und das in ISO 5725-2 verwendete
Vertrauensniveau knnte fr die individuellen Bedrfnisse ungeeignet sein. Dies knnte einen Grad von
Akzeptanz bedeuten, der fr bestimmte Zwecke nicht ausreichend ist. Das wrde bedeuten, dass individuelle
Situationen einer individuellen berlegung wert sein knnten, ob ISO 5725-2, was die verwendeten
Vertrauensniveaus betrifft, angewendet werden sollte.

3.2.1.2 Zugrundeliegende Annahmen

In den Tests, die verwendet werden, um zu entscheiden, ob Ausreier vorliegen oder nicht, wird
angenommen, dass die Ergebnisse Gauss-verteilt sind (blicherweise als normalverteilt bezeichnet;
ISO 5725-2:1994, 1.4) oder zumindest einer einzigen unimodalen Verteilung folgen (ISO 5725-2:1994,
7.3.1.7.) Daher sollte, bevor irgendein Test durchgefhrt wird, insbesondere einer, der eine groe Anzahl von
Ergebnissen umfasst, eine Prfung zur Besttigung dieser Annahme durchgefhrt werden. Es wird auch
davon ausgegangen (ISO 5725-2:1994, 1.3 und 5.1.1), dass die Anzahl der Ergebnisse innerhalb jedes
Datensatzes (aus jedem Labor) gleich ist, und dass die Anzahl der Ergebnisse fr jedes Merkmalsniveau,
bzw. die Anzahl verschiedener Stichproben, gleich ist. Folglich sind die Ergebnisse ausbalanciert (en:
balanced). Wenn dies nicht der Fall ist, wird empfohlen (ISO 5725-2:1994, 7.2.2), aus den betroffenen
Datenstzen solange Ergebnisse zufllig zu streichen, bis eine ausbalancierte Situation erreicht ist. Obwohl
eine ausbalancierte Situation bevorzugt wird, wird (selbst in den Beispielen von ISO 5725-2) anerkannt, dass
nicht ausbalancierten Situationen Rechnung getragen werden kann. Es wird weiter angenommen
(ISO 5725-1:1994, 4.4, und ISO 5725-2:1994, 7.3.3.3), dass die Ergebnisse unter Wiederholbedingungen
gewonnen werden. Also kann angenommen werden, dass die Stichproben fr ein bestimmtes
Merkmalsniveau homogen sind, gleichartig in jeder Hinsicht, und innerhalb einer kurzen Zeitspanne, unter
Verwendung derselben Reagenzien und derselben Kalibrierlsungen, untersucht wurden. Theoretisch
mssten diese Kriterien erfllt sein, bevor irgendein Test, das Vorhanden- oder Nichtvorhandensein von
Ausreiern festzustellen, angewendet werden kann.

3.2.1.3 Feststellung von Ausreiern

Die Durchfhrung von Ausreier-Tests sollte so verstanden werden, dass Ausreier nicht allein aus
statistischen Gesichtspunkten gestrichen oder verworfen werden sollten. Fr jede Stichprobe sollten die
Grnde, warum sich ein Ergebnis von allen anderen unterscheidet, untersucht und geklrt werden. Ausreier-
Tests (auf der Basis der verwendeten Annahmen) zeigen, ob es ausreichend statistische Grnde fr einen
Ausreier gibt; sie werden nicht erkennen lassen, warum er aufgetreten ist. Daher sollten Messwerte nur nach
der Durchfhrung sorgfltiger Untersuchungen zur Erkennung mglicher Ursachen als Ausreier bezeichnet
und verworfen werden.

Wenn ein bestimmtes Merkmalsniveau mit dem Cochran-Test, dem Grubbs-Test oder einem anderen Test
geprft worden ist, und sich keine oder keine weiteren Ausreier ergeben haben, dann knnen andere
Merkmalsniveaus auf hnliche Art und Weise berprft werden. Wenn dagegen mehrere Ausreier auf
verschiedenen Merkmalsniveaus fr einen gegebenen Satz von Messwerten gefunden worden sind, die von
einem einzigen Labor stammen, kann es notwendig sein, zu prfen, ob alle Datenstze fr alle
Merkmalsniveaus weitergehend untersucht werden sollten.

24
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

3.2 Tests for outliers

3.2.1 General points

3.2.1.1 Level of confidence

The treatment of outliers is dealt with in ISO 5725-2:1994, Clause 7, particularly 7.1 to 7.3. An outlier can be
considered as a result which is sufficiently different from all other results to warrant further investigation.
Depending on the type of distribution into which the results fit, a result that appears to be an outlier could, in
reality, be a valid result. ISO 5725-2:1994, 7.3.2.1 and 7.3.3.2, recommends confidence levels of 95 % for
outliers termed stragglers, and 99 % for outliers termed statistical outliers. For individual circumstances, the
selection of 95 % and 99 % confidence levels means that one result in 20, and one result in 100, respectively,
might be erroneously misinterpreted. Hence, this one result could occur by chance and the degree of
confidence stated in ISO 5725-2 might not be appropriate for individual needs. This might represent a degree
of acceptability that is not sufficient for certain purposes. This would mean that individual circumstances would
merit individual consideration as to whether ISO 5725-2, in terms of the confidence levels used, should be
applied.

3.2.1.2 Basic assumptions

In the tests used to determine the presence or absence of outliers, it is assumed that the results are
distributed in a Gaussian manner (commonly referred to as a normal distribution; ISO 5725-2:1994, 1.4) or at
least a single unimodal distribution (ISO 5725-2:1994, 7.3.1.7). Hence, before undertaking any test, especially
one that involves a large number of results, a check to confirm this assumption should be made. It is also
assumed (ISO 5725-2:1994, 1.3 and 5.1.1) that the number of results within each set of data (from each
laboratory) is the same and that the number of results for each level of interest, or number of different
samples, is the same. Thus, the results are balanced. If the results are not balanced, then it is
recommended (ISO 5725-2:1994, 7.2.2) that results from appropriate sets of data be randomly discarded until
a balanced situation is created. Although a balanced situation is preferred, it is recognized (even within the
examples illustrated in ISO 5725-2) that unbalanced situations can be accommodated. It is further assumed
(ISO 5725-1:1994, 4.4, and ISO 5725-2:1994, 7.3.3.3) that results are obtained under repeatability conditions.
Hence, it can be assumed that the samples for a specific level of interest are homogeneous, identical in all
respects, and analysed within a short period of time using the same reagents and calibration solutions. In
theory, these criteria have to be satisfied before any tests can be used to establish the presence or absence
of outliers.

3.2.1.3 Declaration of outliers

When carrying out the outlier tests, it should be understood that outliers should not be discarded or rejected
purely from a statistical point of view. For each sample, the reason why the result is different from all the
others should be investigated and identified. Outlier tests (based on the assumptions used) indicate whether
there is sufficient statistical cause for an outlier; it will not indicate why it has occurred. It is only after thorough
investigations have been undertaken to identify likely causes that data should be declared outliers and
discarded.

When a particular level of interest has been analysed by Cochran's test, Grubbs' test or some other test and
no outliers or further outliers are identified, then other levels of interest are similarly tested. If several outliers
are identified in different levels of interest for a given set of data produced by a single laboratory, it may be
necessary to consider whether all the data sets for all the levels of interest should be further investigated.

25
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Auerdem sollte geprft werden, ob nur die erkannten Ausreier aus diesem Labor verworfen werden oder ob
der gesamte Satz von Messwerten aus diesem Labor verworfen wird. Erfahrung mit solchen Situationen wird
die notwendigen Manahmen bestimmen, die auf individueller Basis und in Kenntnis der durchgefhrten
Untersuchungen zur Ermittlung mglicher Ursachen ergriffen werden.

Die Prfung graphischer Darstellungen kann ber die von den (numerischen) Ausreiertests gelieferten
Anhaltspunkte hinaus weitere liefern. Mandels h- und k-Diagramme knnen verwendet werden, um diese
Entscheidungen zu erleichtern. Es sollte in Erwgung gezogen werden, alle Ergebnisse eines Labors
zurckzuweisen, wenn ein bestimmter Satz von Daten (beispielsweise aus Labor 9 in Bild 5 oder aus Labor 3
in Bild 6) zeigt, dass alle berechneten Werte positiv sind und sich den tabellierten Werten fr die
Vertrauensniveaus von 95 % und 99 % nhern oder diese berschreiten. Es knnte sein, dass, wie in dem
gewhlten Beispiel, alle Mittelwerte fr dieses Labor grer sind als die entsprechenden Werte aller anderen
Labors. Dieser Tatbestand knnte ein Grund zur Beunruhigung sein. Wie zuvor sollte die Entscheidung,
Daten zurckzuweisen oder zu verwerfen, nur im Licht geeigneter Untersuchungen, die zur Ermittlung der
wahrscheinlichen Ursache der Ausreier durchgefhrt werden, getroffen werden.

3.2.1.4 Wahl des Testverfahrens

Fr jedes Labor oder Merkmalsniveau oder fr eine bestimmte Stichprobe vergleichen die meisten
Ausreiertests irgendein Ma fr den relativen Abstand eines verdchtigen Ergebnisses vom Mittelwert aller
Ergebnisse und beurteilen diesen Vergleich, um festzustellen, ob sich das Ergebnis zufllig habe ergeben
knnen. Es gibt viele Tests, aber aus praktischen Grnden sind nicht alle vollstndig in ISO 5725-2:1994
beschrieben, wie in ISO 5725-2:1994, 7.1.3, erwhnt wird. Das heit zustzlich zu den in ISO 5725-2:1994,
7.1 bis 7.3, genannten Testverfahren knnen auch andere Tests zur Bestimmung mglicher Ausreier
verwendet werden. Deshalb bleibt es dem einzelnen Statistiker berlassen zu entscheiden, ob Ausreiertests,
die nicht in ISO 5725-2 beschrieben werden, verwendet werden. Genaue Einzelheiten ber den verwendeten
Test mssen zusammen mit den Ergebnissen festgehalten werden.

3.2.2 Cochran-Test

3.2.2.1 Grundgedanke

Der Cochran-Test wird verwendet um zu prfen, ob es Standardabweichungen fr die Zellen in Tabelle 3 gibt,
die auergewhnlich gro sind und den Schtzwert fr die Wiederholstandardabweichung in die Hhe treiben
wrden, wenn sie beibehalten wrden. Die beim Cochran-Test verwendete Prfgre ist eng verwandt mit
Mandels k-Prfgre.

3.2.2.2 Interpretierung

Ausgehend von Tabelle 3 kann der Cochran-Test verwendet werden um zu prfen, ob die grte Streuung fr
einen gegebenen Datensatz mit den Streuungen der Daten aller Datenstze dieses Merkmalsniveaus
vereinbar ist. Dieser Test ermglicht, den Quotienten aus der grten fr ein bestimmtes Labor erhaltenen
Varianz und aus der Summe aller fr alle Labors erhaltenen Varianzen zu berechnen. Dieser berechnete Wert
wird dann verglichen mit dem berechneten oder tabellierten Wert der Prfgre, und das Vorhandensein von
Fastausreiern oder Ausreiern wird beurteilt.

Der Cochran-Test wird alle diejenigen Varianzen ermitteln, die grer als die fr dieses Merkmalsniveau
erwarteten Varianzen sind. So gesehen, ist der Test ein einseitiger Test, da das Labor mit der kleinsten
Varianz (im Vergleich zu den anderen Labors) nicht diesem Test unterworfen wird. Die Entscheidung, den
Cochran-Test zu wiederholen, wird davon abhngen, ob ein Ausreier gefunden wird, und von der Anzahl der
Datenstze, die fr dieses betrachtete Merkmalsniveau zu prfen sind. Wenn nichts auf einen Ausreier
hindeutet, dann wird der Test nicht wiederholt. Wenn dagegen etwas auf einen Ausreier hindeutet, dann
sollte Vorsicht dabei walten, ob der Cochran-Test fr die verbleibenden Datenstze dieses Merkmalsniveaus
wiederholt wird. Diese Vorsicht gilt vor allem bei geringen Datenmengen, besonders, wenn letztendlich etwa
20 % der Daten als Ausreier zurckgewiesen werden.

26
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Furthermore, it should be considered whether to discard only the outliers identified for that laboratory or
whether to reject the entire set of data for that laboratory. Experience in this matter will dictate the necessary
course of action and should be undertaken on an individual basis and with knowledge of the investigations
carried out to identify the possible causes.

Inspection of graphical outlier plots may provide additional evidence to that provided by the (numerical) outlier
tests. Hence, Mandel's h and k plots can be used to facilitate these decisions. Consideration should be given
to rejecting all results from a laboratory if a particular set of data (for example, for laboratory 9 in Figure 5 or
for laboratory 3 in Figure 6) shows that all the calculated values are positive and approach or exceed the
tabulated values at the 95 % and 99 % confidence levels. It might be that, in the example chosen, all mean
values for this laboratory are greater than the corresponding values for all the other laboratories. This fact may
be a cause for concern. As before, the decision to reject or discard data should be taken only in light of
appropriate investigations undertaken to ascertain the likely cause of the outliers.

3.2.1.4 Choice of tests

For each laboratory or level of interest or particular sample, most outlier tests compare some measure of the
relative distance of a suspect result to the mean of all the results, and assess this comparison to ascertain if
the result could have occurred by chance. Many tests are available but, for practical purposes, not all are fully
described in ISO 5725-2:1994, as stated in ISO 5725-2:1994, 7.1.3. Thus, in addition to those tests referred to
in ISO 5725-2:1994, 7.1 to 7.3, it should be understood that other tests may also be used for determining
potential outliers. Hence, whether to use outlier tests that are not described in ISO 5725-2 is left to the
individual statistician to decide. Full details of the test used must be recorded with the results.

3.2.2 Cochran's test

3.2.2.1 Principle

Cochran's test is used to check if there are standard deviations for cells in Table 3 that are exceptionally large
and that would inflate the estimate of the repeatability standard deviation if retained. The statistic used in
Cochran's test is closely related to Mandel's k statistic.

3.2.2.2 Interpretation

From Table 3, Cochran's test can be used to identify whether the largest variation for a given set of data is
consistent with the variations in data from all the sets of data, for that level of interest. This test enables the
quotient of the largest variance obtained for a particular laboratory and the sum of all the variances obtained
for all laboratories to be calculated. This calculated value is then compared with the computed or tabulated
(critical) ratio and the presence of stragglers or outliers is assessed.

Cochran's test will identify those variances that are greater than the expected variances for that level of
interest. In this respect, the test is a one-sided test, as that laboratory with the smallest variance (in relation to
the other laboratories) is not subjected to this test. The decision to repeat Cochran's test will depend on
whether an outlier is identified and on the number of data sets to be tested for that particular level of interest. If
an outlier is not indicated, then the test is not repeated. If an outlier is indicated, then caution should be
exercised whether to repeat Cochran's test on the remaining sets of data for that level of interest. This caution
is particularly relevant for small quantities of data, especially if approximately 20 % of the data are eventually
rejected as outliers.

27
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

3.2.2.3 Weitere Tests

Alternativen zum Cochran-Test sind der Bartlett-Test, der Levene-Test und der Hartley-Test. Es kann aber
Situationen geben, insbesondere in Grenzfllen, dass ein Test auf Ausreier erkennt, ein anderer aber nicht.
Daher ist es wichtig, dass der Statistiker angibt, welche Tests verwendet worden sind und welche
Schlussfolgerungen gezogen wurden.

3.2.3 Grubbs-Test

3.2.3.1 Grundgedanke

Der Grubbs-Test wird verwendet um zu prfen, ob es Zellenmittelwerte in Tabelle 2 gibt, die auergewhnlich
hoch oder niedrig sind und den Schtzwert fr die Vergleichstandardabweichung in die Hhe treiben wrden,
wenn sie beibehalten wrden. Die im Grubbs-Test verwendete Prfgre ist eng verwandt mit Mandels h-
Prfgre.

3.2.3.2 Interpretierung

Nach Durchfhrung des Cochran-Tests werden die tabellierten Mittelwerte fr jedes in Tabelle 2 enthaltene
Merkmalsniveau in nicht-absteigender Folge angeordnet. Dann werden mehrere Grubbs-Tests durchgefhrt.
Zunchst wird der Test durchgefhrt, um festzustellen, ob der hchste oder der niedrigste Mittelwert als ein
einzelner Ausreier erkannt werden kann. Wenn ein Ausreier gefunden wird, wird dieser entfernt, und der
Test wird mit dem anderen Extremwert wiederholt. Der Ausreiertest nach Grubbs ermglicht fr ein
bestimmtes Merkmalsniveau die Berechnung des Quotienten aus der Differenz zwischen dem verdchtigen
Wert und dem Mittelwert aller Werte dieses Niveaus und aus der Standardabweichung aller Werte. Dieser
Quotient wird dann verglichen mit den zu den Vertrauensniveaus von 95 % und 99% berechneten oder
tabellierten Werten der Prfgre.

Wenn kein einzelner Ausreier gefunden wird, wird ein weiterer Grubbs-Test durchgefhrt, um das Vorliegen
(oder Nicht-Vorliegen) von zwei extremen Ausreiern festzustellen. Beispielsweise werden die beiden
niedrigsten Mittelwerte berprft, und wenn sich kein Ausreier zeigt, werden die beiden hchsten Werte
berprft. Wenn in diesem Test der berechnete Quotient grer als der berechnete Wert der Prfgre bei
dem festgelegten Vertrauensniveau ist, knnen die Mittelwerte als zufriedenstellend angesehen werden.

3.2.3.3 Weitere Tests

Eine Alternative zum Grubbs-Test ist der Dixon-Test. Auch hier kann es Situationen geben, insbesondere in
Grenzfllen, dass ein Test auf Ausreier erkennt, der andere aber nicht. Daher ist es wichtig, dass der
Statistiker angibt, welcher Test verwendet worden ist.

3.3 Folgerungen

Das Ablaufdiagramm in Bild 7 zeigt die wesentlichen Schritte, die durchzufhren sind.

Die Daten, die als statistische Ausreier erkannt worden sind, werden dem Leiter des Ringversuchs mitgeteilt.
Der Leiter des Ringversuchs muss eine geeignete Untersuchung durchfhren, um herauszufinden, welche
Daten beibehalten und welche zurckgewiesen oder modifiziert werden sollen. Wenn diese Untersuchung
abgeschlossen ist, und in Abhngigkeit ihres Ergebnisses, kann es sein, dass der Statistiker einen
berarbeiteten Satz von Daten in der Form von Tabelle 1 erhlt. Falls dies zutrifft, mssen die Tabellen 2 und
3 berarbeitet werden.

Der Statistiker kann dann fr jedes Merkmalsniveau die Wiederhol- und die Vergleichstandardabweichungen
schtzen.

28
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

3.2.2.3 Alternative tests

Alternative to Cochran's test are Bartlett's test, Levene's test and Hartley's test. However, there may be
occasions, particularly with borderline cases, when outliers are identified using one test but are not identified
using another test. Hence, it is important for the statistician to report which tests have been used and the
conclusions reached.

3.2.3 Grubbs' test

3.2.3.1 Principle

Grubbs' test is used to check if there are cell means in Table 2 that are exceptionally high or low and would
inflate the estimate of the reproducibility standard deviation if retained. The statistic used in Grubbs' test is
closely related to Mandel's h statistic.

3.2.3.2 Interpretation

After Cochran's test has been carried out, the tabulated mean values for each particular level of interest
shown in Table 2 are then arranged in non-decreasing order. Several Grubbs' tests are then carried out.
Firstly, the test is carried out to establish whether the highest or lowest mean value can be identified as a
single outlier. If an outlier is indicated, it is discarded and the test is repeated for the other extreme value. For
a particular level of interest, a Grubbs' test for one outlier enables the calculation of the quotient of the
difference between the suspect value and the mean of all the values for that level, and the standard deviation
of all values. This ratio is then compared with computed or tabulated (critical) ratio values at 95 % and 99 %
confidence levels.

If no single outlier is identified, a further Grubbs' test is carried out to establish the presence (or absence) of
two extreme outliers. For example, the two lowest mean values are tested and if no outlier is shown, the two
highest mean values are tested. In this test, if the calculated quotient is more than the computed ratio at the
stated level of confidence, the means can be regarded as satisfactory.

3.2.3.3 Alternative tests

An alternative to Grubbs' test is Dixon's test. Again, however, there may be occasions, particularly with
borderline cases, when an outlier is identified using one test but is not identified using the other test. Hence, it
is important for the statistician to report which tests have been used.

3.3 Conclusions

The flow diagram in Figure 7 highlights the main procedures that need to be undertaken.

The data that have been identified as statistical outliers are reported to the executive officer. The executive
officer shall undertake an appropriate investigation to ascertain whether to retain, reject or modify any data.
When this investigation is completed and depending on its outcome, the statistician may receive a revised set
of data in the same format as Table 1. If appropriate, this enables additional tables similar to Tables 2 and 3 to
be recalculated.

The statistician can then estimate, for each level of interest, the repeatability and reproducibility standard
deviations.

29
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Bild 7 Schematischer Ablauf der statistischen Behandlung von Ausreiern 2)

N2) Nationale Funote: Im englischen Original versehentlich SR; dies (sowie die Schrifttype) ist in der deutschen
bersetzung richtiggestellt worden.

30
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Figure 7 Schematic flow chart for statistical treatment of outliers

31
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

4 Schtzung von Wiederhol- und Vergleichstandardabweichungen

4.1 Varianzanalyse

Bei einem Ringversuch fhrt eine groe Anzahl von Labors wiederholte Untersuchungen an derselben
Stichprobe von Material durch. Der Plan kann wie in Bild 8 gezeigt dargestellt werden.

Bild 8 Plan fr einen Ringversuch

Wenn die Stichprobe in verschiedenen Labors je einmal geprft wird, dann wird die Streuung der Werte y des
untersuchten Merkmals eine Kombination der Variabilitt aus der Streuung innerhalb des Labors und der
Variabilitt, die von der Streuung zwischen den Labors herrhrt, sein. Zur Erluterung, wie die einzelnen
Ergebnisse y zustande kommen, wird das in 4.2 beschriebene Modell verwendet.

4.2 Beschreibung des Modells

Die Przision (Wiederholprzision und Vergleichprzision) eines Messverfahrens kann durch die Analyse von
Messwerten geschtzt werden, die aus einer Gruppe von Labors stammen, die aus einer Gesamtheit von
Labors, die dasselbe Verfahren verwenden, ausgewhlt wurde. Jedes Labor liefert einen Satz von
Ergebnissen, der statistisch mit anderen Stzen von Ergebnissen verglichen wird.

ANMERKUNG Diese (Analyse-)Verfahren knnen auch verwendet werden, um die Werte der Parameter einer Gruppe
von Analytikern oder Laboranten anstelle einer Gruppe von Labors zu schtzen.

Die statistische Bearbeitung beruht auf dem Folgenden:

mehrere Stichproben unterschiedlicher Ergebnis- oder Leistungsniveaus werden von mehreren Labors
untersucht;

jedes Labor fhrt das Prfverfahren durch und berichtet die Ergebnisse aus den Versuchs-
wiederholungen;

auf jedem Niveau wird die gesamte Streuung der Ergebnisse in Zufallsstreuungen zerlegt.N3)

N3) Nationale Funote: Vergleiche dazu den letzten Absatz von 4.2.

32
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

4 Estimation of repeatability and reproducibility standard deviations

4.1 Analysis of variance

In an inter-laboratory programme, a large number of laboratories perform repeated tests on the same sample
of material. The design can be depicted as shown in Figure 8.

Figure 8 Design of the inter-laboratory programme

If the sample is tested once in different laboratories, the variation of the resulting characteristic, y, will reflect
some combination of the variability arising from within-laboratory variation and of the variability arising from
between-laboratory variation. The model described in 4.2 is used to explain the generation of the individual
results, y.

4.2 Description of the model

The precision (repeatability and reproducibility) of a measurement method can be estimated from the analysis
of data from a group of laboratories selected from a population of laboratories using the same method. Each
laboratory provides a set of results that is statistically compared with other sets of results.

NOTE These procedures can also be used to estimate the parameters of a group of analysts or operators in place of
a group of laboratories.

The statistical treatment is based on the following:

several samples, at different levels of results or performances, are analysed by several laboratories;

each laboratory carries out the test method and reports replicate results;

at each level, the total scatter of the results is broken down into random variations.

33
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Das Vorgehen wird in ISO 5725-2:1994, 4.1, durch die folgende Gleichung festgelegt:

y m!B!e

Dabei ist

m der Gesamtmittelwert aus den Einzelwerten aller beteiligten Labors (als Schtzwert fr den
Erwartungswert der Messgre);

B die systematische Abweichungskomponente des Labors unter Wiederholbedingungen;

e die zufllige Abweichung, die bei jeder Messung unter Wiederholbedingungen vorkommt.

Der beste Schtzwert fr den wahren Wert des untersuchten Merkmals ist der Gesamtmittelwert m aller
Ergebnisse des Merkmalsniveaus. Ein einzelner beobachteter Wert y wird im Allgemeinen nicht gleich m sein.

Die Gesamtabweichung (y " m) besteht aus zwei Teilen: e und B, wobei e die Abweichung von y vom
Erwartungswert einer groen Anzahl von Ergebnissen ist, die aus dem jeweiligen Labor kommen knnten, in
dem y erzeugt wurde, und B die Abweichung (oder Differenz) zwischen diesem gedachten (Labor-) Mittelwert
und dem Gesamtmittelwert ist. Die Zerlegung y m ! B ! e wird in Bild 9 veranschaulicht.

Legende
1 Labor 1
2 Labor 2
3 Labor j
4 Erwartungswert von Labor 2
a Streuung der durch das Labor bedingten Abweichung
b Streuung der Ermittlungsergebnisse innerhalb eines Labors

Bild 9 Zerlegung der Gesamtabweichung

34
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

This process is defined in ISO 5725-2:1994, 4.1 by the equation:

y m!B!e

where

m is the mean of the results;

B is the laboratory component of the bias under repeatability conditions;

e is the random variability occurring during any measurement, under repeatability conditions.

The best available estimate of the true value of the characteristic under study is m, the overall mean of all
results. A single reported value, y, will not, in general, be equal to m.

The overall error (y " m) contains two parts: e and B, where e is the deviation of y from the mean of a large
number of results that could come from the particular laboratory where y was generated, and B is the deviation
(or difference) between this conceptual mean and the overall mean. This partition, y m ! B ! e, is depicted in
Figure 9.

Key
1 lab 1
2 lab 2
3 lab j
4 lab 2 mean

a Variation of the laboratory component of the bias.


b Variation of test results within one laboratory.

Figure 9 Partition of the overall error

35
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Es wird erwartet, dass e und B nahe bei null liegen, und der Gegenstand von ISO 5725-2 ist zu beschreiben,
2
wie ihre Varianzen zu schtzen sind. Die Varianz von e ist die Varianz innerhalb der Labors, r , und die
2
Varianz von B ist die Varianz zwischen den Labors, L.

Die Varianz innerhalb der Labors ist bekannt als Wiederholvarianz.

Die Summe aus der Varianz zwischen den Labors und der Varianz innerhalb der Labors, R2 " L2 ! r2 , steht
fr die Varianz von Ergebnissen, die unter Bedingungen gewonnen wurden, die nennenswert unterschiedlich
2
sind (wie etwa ein Wechsel von Labors), und ist als Vergleichvarianz R bekannt.

Die in Bild 8 beschriebene Struktur wird eingebettetes (en: nested) oder hierarchisches Design genannt. Um
2 2
die Varianzen von e und B zu schtzen, ist es daher notwendig, r und L zu schtzen.

Statistisch gesprochen, wird der Labor-Effekt B zufllig genannt. Im eigentlichen Sinne bedeutet das, dass der
Satz von Labors, die an dem Ringversuch teilnahmen, eine zufllige Auswahl aus einer theoretisch unendlich
groen Anzahl von Labors ist, die dieses Prfverfahren anwenden knnten. Es muss beurteilt werden, wie
weit diese Labors miteinander vergleichbar sind.

4.3 Beispiele

4.3.1 Beispiel 1

Um zu erlutern, wie beide Varianzkomponenten r2 und L2 geschtzt werden knnen, sei angenommen,
dass es vier teilnehmende Labors gibt, von denen jedes Ergebnisse aus drei Wiederholmessungen an
derselben Stichprobe liefert, ohne fehlende Daten und ohne Ausreier. Beispielsweise seien die berichteten
Daten, wie in Bild 10 gezeigt.

Legende
1 Labor 1
2 Labor 2
3 Labor 3
4 Labor 4

Bild 10 Versuchsplan von Beispiel 1

36
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

It is expected that e and B are close to zero and it is the purpose of the ISO 5725-2 to specify how to estimate
2
their variances. The variance of e is the within-laboratory variance, r, and the variance of B is the between-
2
laboratory variance, L.

The within-laboratory variance is known as the repeatability variance.

The sum of the between-laboratory variance and the within-laboratory variance R2 ! L2 " r2 represents the
variance of results obtained under conditions that are appreciably different (such as a change of laboratories)
2
and is known as the reproducibility variance, R.

The structure described in Figure 8 is called a nested or hierarchical design. It is, therefore, necessary to
2 2
estimate r and L in order to assess the variance of e and B.

Statistically speaking, the laboratory effect, B, is said to be random. As such, this means that the set of
laboratories that participated to the inter-laboratory programme is a random choice from a conceptual infinite
by number of laboratories that might use the test method. It is necessary to estimate how consistent these
laboratories are with one another.

4.3 Examples

4.3.1 Example 1

2 2
To explain how both variance components, r and L , can be estimated, suppose there are four
participating laboratories, each providing three repeats of the same sample, with no missing data and no
outliers. For example, the reported data are as shown in Figure 10.

Key
1 lab 1
2 lab 2
3 lab 3
4 lab 4

Figure 10 Design of example 1

37
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

2
Fr Labor 1 ergibt sich ein Schtzwert s r2(Lab1) fr r als Varianz der drei Ergebnisse, also:

s r2(Lab1) ! var(15, 16, 17) ! 1,00 mit zwei Freiheitsgraden.

2
Fr Labor 2 ergibt sich ein Schtzwert s r2(Lab2) fr r als Varianz der drei Ergebnisse, also:

s r2(Lab2) ! var(16, 13, 15) ! 2,33 mit zwei Freiheitsgraden.

2
Fr Labor 3 ergibt sich ein Schtzwert s r2(Lab3) fr r als Varianz der drei Ergebnisse, also:

s r2(Lab3) ! var(13, 15, 15) ! 1,33 mit zwei Freiheitsgraden.

2
Fr Labor 4 ergibt sich ein Schtzwert s r2(Lab4) fr r als Varianz der drei Ergebnisse, also:

s r2(Lab4) ! var(15, 14, 16) ! 1,00 mit zwei Freiheitsgraden.

Ein besserer Schtzwert s r2 der unbekannten wahren Wiederholvarianz 2


r ergibt sich durch Mittelung von
s r2(Lab1) , s r2(Lab2) , s r2(Lab3) und s r2(Lab4) unter der Annahme, dass alle vier Varianzen gleich sind. Diese
Hypothese kann beispielsweise mit dem in Abschnitt 3.2.2 beschriebenen Cochran-Test berprft werden.N4)
Mit einer maximalen Varianz von 2,33 und einer Summe aller Varianzen von 5,66 ergibt sich als beobachtete
Prfgre (2,33/5,66) ! 0,41. Verglichen mit dem Tabellenwert von 0,768 bei 5 % fr vier Labors mit je drei
Wiederholungen kann die Hypothese nicht abgelehnt werden. Folglich gilt s r2 ! 1,42 mit acht Freiheitsgraden.

Es gibt vier Mittelwerte (16,00, 14,67, 14,33 und 15,00), einen fr jedes Labor, und jeder ist ein Schtzwert fr
das gemessene Merkmal. Der Gesamtmittelwert m ist 15,00 und die Varianz ist 0,52 mit drei Freiheitsgraden.
Weil in diesem Beispiel jeder Labormittelwert auf drei Einzelergebnissen beruht, ist die Varianz zwischen den
2
Mittelwerten kein Schtzwert fr L allein, sondern enthlt zustzlich einen Teil der Wiederholvarianz (ein
Drittel in diesem Fall).

Dieser Sachverhalt kann wie in Tabelle 4 dargestellt zusammengefasst werden:

Tabelle 4 Schtzung von Varianzkomponenten

Geschtzte Gre Schtzwert


2 2
L "( r )/3 0,52
2
r 1,42

Nach Gleichsetzung der Schtzwerte mit den entsprechenden zu schtzenden Gren werden s r2 und s L2 als
2 2
Schtzwerte fr r und fr L verwendet.

N4) Nationale Funote: Im englischen Original wird versehentlich auf Abschnitt 2 verwiesen; dies ist in der deutschen
bersetzung richtiggestellt worden.

38
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

2
Within Lab 1, an estimate, s r2(Lab1) , of r is given by the variance of the three results, hence:

s r2(Lab1) ! var (15, 16, 17) ! 1,00 with two degrees of freedom.

2
Within Lab 2, an estimate, s r2(Lab2) , of r is given by the variance of the three results, hence

s r2(Lab2) ! var (16, 13, 15) ! 2,33 with two degrees of freedom.

2
Within Lab 3, an estimate, s r2(Lab3) , of r is given by the variance of the three results, hence:

s r2(Lab3) ! var (13, 15, 15) ! 1,33 with two degrees of freedom.

2
Within Lab 4, an estimate, s r2(Lab4) , of r is given by the variance of the three results, hence:

s r2(Lab4) ! var (15, 14, 16) ! 1,00 with two degrees of freedom.

A better estimate, s r2 , of the true unknown repeatability variance, r2 , is obtained by averaging s r2(Lab1) ,
s r2(Lab2) , s r2 (Lab3) and s r2 (Lab4) under the hypothesis of equality of the four variances. This hypothesis can be
tested by Cochran's test, for instance as in Clause 2. For a maximum variance of 2,33 and a sum of all
variances of 5,66, the Cochran's statistic is (2,33/5,66) ! 0,41. Compared to the critical value 0,768 at 5 % for
the four laboratories and three replicates, the equality of the variance cannot be rejected. Hence, s r2 ! 1,42
with eight degrees of freedom.

There are four means (16,00, 14,67, 14,33 and 15,00), one for each laboratory, each mean being an estimate
of the measured characteristic. The overall average, m, is 15,00 and the variance is 0,52 with three degrees of
freedom. Because in this case each laboratory mean is an average of three single results, the variance
between means is not an estimate of L2 alone but contains in addition part of the repeatability variance (one
third, in this example).

This information can be summarized as in Table 4:

Table 4 Estimation of variance components

Quantity estimated Estimate


2 2
L "( r )/3 0,52
2
r 1,42

By equating the estimates to the corresponding quantities estimated, s r2 and s L2 are derived as estimates of
2 2
r and L

39
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Dabei ist

s r2 gleich 1,42;

s L2 gleich 0,05 ( 0,52 1,42/3).

Der Schtzwert s R2 fr die Vergleichvarianz ist gegeben durch s L2 ! s r2 und ergibt sich zu 1,47
( 0,05 ! 1,42).

Die meisten Software-Pakete bieten die folgende gleichwertige Tabelle (Tabelle 5):

Tabelle 5 Schtzung von Varianzkomponenten

Geschtzte Gre Schtzwert


3" L2 ! " r2 1,56 ( 3 # 0,52)
2
" r 1,42

Die Rechnung wird komplizierter, wenn die Anzahl der Ergebnisse je Labor nicht gleich ist. Fr diesen Fall
wird die Verwendung eines Software-Paketes empfohlen. Das Prinzip bleibt allerdings das gleiche. Es wird in
den ausgearbeiteten Beispielen veranschaulicht.

4.3.2 Beispiel 2

Tabelle 6 zeigt die Rohdaten fr verschiedene Labors sowie die zugehrigen Mittelwerte und Varianzen.

Tabelle 6 Mittelwerte und Varianzen zu Beispiel 1

Parameter Labor 1 Labor 2 Labor 3 Labor 4


Ergebnisse 63 44 50 53
57 51 40 57
54 43 42 46
Mittelwert 58 46 44 52

s r2,i a 21 19 28 31

Freiheitsgrade 2 2 2 2
a Index i bezeichnet das i-te Labor.

Aus diesen Ergebnissen folgt

$ Gesamtmittelwert m 50,00 [ (58 ! 46 ! 44! 52) / 4];

$ Varianz der Mittelwerte 40,00;

$ Wiederholvarianz s R2 24,75 [ (21 ! 19 ! 28! 31) / 4];

40
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

where

s r2 is equal to 1,42;

s L2 is equal to 0,05 (e.g. 0,52 1,42/3).

The estimate, s R2 , of the reproducibility variance is given by s L2 ! s r2 , and is equal to 1,47 (e.g. 0,05 ! 1,42).

Most software packages will report the following equivalent table (Table 5):

Table 5 Estimation of variance components

Quantity estimated Estimate


3" L2 ! " r2 1,56 (# 3 $ 0,52)
2
" r 1,42

The calculations become more complicated when the numbers of results per laboratory are not equal and the
use of a software package is recommended in this case. However, the principle remains the same. It will be
presented in the worked examples.

4.3.2 Example 2

Table 6 shows the raw data for different laboratories and the associated means, variances.

Table 6 Example 1 means and variances

Parameter Lab 1 Lab 2 Lab 3 Lab 4


Results 63 44 50 53
57 51 40 57
54 43 42 46
Mean 58 46 44 52

s r2,i a 21 19 28 31

Degrees of freedom 2 2 2 2
a Subscript i indicates the ith laboratory.

From these results, it follows:

% overall mean, m # 50,00 [i.e. (58 ! 46 ! 44 ! 52) / 4];

% variance of the means # 40,00;

% repeatability variance, s r2 # 24,75 [i.e. (21 ! 19 ! 28 ! 31) / 4].

41
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

und damit

Varianz zwischen den Labors, s L2 ! 31,75 (! 40 24,75 / 3);

Vergleichvarianz, s R2 ! s L2 " s r2 ! 56,50 (! 31,75 " 24,75).

4.4 Anwendung von Wiederhol- und Vergleichgrenzen

Die Schtzung von Wiederhol- und Vergleichstandardabweichungen kann dazu verwendet werden, Werte fr
die Wiederhol- und Vergleichgrenzen abzuleiten. Diese Grenzen werden in der Praxis dazu verwendet zu
beurteilen, ob das Messverfahren ohne signifikante nachteilige Auswirkungen durchgefhrt worden sein kann,
und bzw. oder um zu beurteilen, ob sich zwei Produkte signifikant unterscheiden.

Die Wiederhol- und Vergleichgrenzen stellen die absolute Differenz zwischen zwei einzelnen Ergebnissen
dar, die unter den Bedingungen der Wiederhol- bzw. Vergleichprzision gewonnen wurden, die in 95 % der
Flle nicht berschritten werden. Eine grobe Schtzung fr die Wiederhol- und Vergleichgrenzen ergibt sich
durch Multiplikation der Wiederhol- bzw. Vergleichstandardabweichungen jeweils mit dem Faktor 2,8
(ISO 5725-6:1994, 4.1) unter Beachtung der folgenden Regeln.

a) Wenn sich zwei Ergebnisse, die von demselben Produkt unter Wiederholbedingungen (oder Vergleich-
bedingungen) gewonnen wurden, um mehr als die Wiederhol- bzw. Vergleichgrenze unterscheiden, dann
ist es wahrscheinlich, dass bei der Anwendung des Messverfahrens und bzw. oder bei der Stichproben-
erhebung ein Problem aufgetreten ist. Es wird empfohlen, dies genauer zu untersuchen. Mglicherweise
werden dazu mehr Ergebnisse bentigt.

b) Wenn sich zwei Ergebnisse, die von zwei verschiedenen Produkten unter Wiederholbedingungen (oder
Vergleichbedingungen) gewonnen wurden, um mehr als die Wiederhol- bzw. Vergleichgrenze unter-
scheiden, dann ist es vernnftig, der Frage nachzugehen, ob sich diese zwei Produkte unterscheiden.

ANMERKUNG Die Wiederhol- und Vergleichstandardabweichungen und -grenzen sind Schtzwerte fr die Przision
und unterliegen daher Schtzabweichungen. Sie sind dafr gedacht, als Anhaltspunkte benutzt zu werden, die Gltigkeit
oder Relevanz von durch das Messverfahren produzierten Ergebnissen zu beurteilen, und nicht als starres numerisches
Kriterium, um Ergebnisse zu verwerfen oder zu validieren. Insbesondere der Wert 2,8 des bei der Ableitung der
Wiederhol- und Vergleichgrenzen verwendeten Faktors beruht auf der Annahme, dass eine Normalverteilung vorliegt.
Dies ist in vollem Umfang festzustellen, bevor ein einziges Ergebnis erhalten wurde, was in der Praxis selten zutrifft. Viele
Anwender halten es daher fr angebracht, ohne Verlust von Information den Wert 3,0 fr diese Konstante zu verwenden.
Gesunder Menschenverstand sollte in allen Fllen ausschlaggebend sein.

Die Ergebnisse der Anwendung dieser Beurteilungsmethode auf Beispiel 2 sind die Folgenden:

Wiederholgrenze: r ! 2,8 # sr ! 13,93;

Vergleichgrenze: R ! 2,8 # sR ! 21,05.

Der Differenz zwischen zwei Ergebnissen, die am selben Produkt unter Wiederhol- oder Vergleich-
bedingungen gewonnen werden, wird in 95 von 100 Fllen 13,93 (oder 21,05) nicht berschreiten.

42
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Hence,

between-laboratory variance, s L2 ! 31,75 (i.e. 40 " 24,75 / 3);

reproducibility variance, s R2 ! s L2 # s r2 ! 56,50 (i.e. 31,75 # 24,75).

4.4 Use of repeatability and reproducibility limits

Estimation of the repeatability and reproducibility standard deviations can be used to derive values for the
repeatability and reproducibility limits. These limits are used in practice to judge whether the measurement
method is likely to have been carried out without significant adverse effects and/or to assess if two products
differ significantly.

The repeatability and reproducibility limits represent the absolute difference between two single results
obtained under repeatability and reproducibility conditions, respectively, that will not be exceeded more than
95 % of the time. A rough estimation of the repeatability and reproducibility limits can be obtained by
multiplying the repeatability and reproducibility standard deviations, respectively, by 2,8 (ISO 5725-6:1994,
4.1) and applying the following rules.

a) If two results obtained from the same product under repeatability conditions (or reproducibility conditions)
differ by more than the repeatability (or reproducibility) limit, it is likely that a problem occurred during the
application of the method and/or the sampling. Further investigation is recommended. Possibly more
results will be needed.

b) if two results obtained each from two different products under repeatability conditions (or reproducibility
conditions) differ by more than the repeatability (or reproducibility) limit, it is reasonable to question
whether these two products are of different quality.

NOTE The repeatability and reproducibility standard deviations and limits are precision estimates, and therefore are
subject to estimation errors. They are meant to be used as guides to assess the validity or relevance of results produced
by the measurement method and not as rigid numerical criteria to discard or validate results. In particular, the value of the
factor 2,8 used in the derivation of the repeatability and reproducibility limits is based on the assumption of a normal
distribution, entirely determined before any result is obtained, which rarely happens in practice. Many practitioners have
found it adequate to use the value of three for this constant, without loss of information. Common sense should prevail in
all cases.

The results of the application of this evaluation estimate to example 2 are as follows:

repeatability limit: r ! 2,8 $ sr ! 13,93;

reproducibility limit: R ! 2,8 $ sR ! 21,05.

The difference between the two results obtained from the same product under repeatability (or reproducibility)
conditions will not exceed 13,93 (or 21,05) in 95 cases out of 100.

43
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

5 Ausgearbeitete Beispiele unter Verwendung von Statistik-Software

5.1 Allgemeines

Dieser Abschnitt veranschaulicht das Ausma, inwieweit mit Hilfe von Statistiksoftware-Programmen
Diagramme automatisch erzeugt und Kenngren berechnet werden knnen. Zielsetzung ist nicht, bestimmte
Pakete anzubieten oder zu empfehlen, sondern die hauptschlichen Vorteile automatisierter Berechnung
herauszustellen, vor allem Genauigkeit, Geschwindigkeit und die Fhigkeit, Verfahren einzusetzen, die mit
einem Taschenrechner allein kaum zu bewltigen wren.

Dennoch gibt es gewisse Einschrnkungen bei der Verwendung von Software-Paketen. Nicht alle Pakete
besitzen die Fhigkeit, alle geforderten statistischen Parameter zu berechnen, beispielsweise Werte fr
Mandels h- und k-Prfgren oder die kritischen Werte fr den Grubbs-Test.

Zwei der Beispiele aus ISO 5725-2:1994, Anhang B, werden hier vorgestellt: ISO 5725-2:1994, B.1,
Beispiel 1, Bestimmung des Schwefelgehalts von Kohle, und ISO 5725-2:1994, B.3, Beispiel 3,
Thermometrische Titration von Kreosotl. Wo angebracht, wird auf spezielle Abschnitte dieses Anhangs
verwiesen.

5.2 Ermittlung des Schwefelgehalts von Kohle

5.2.1 Originaldaten

Im Allgemeinen knnen die Daten in eine Tabelle der Form von Tabelle B.1 aus ISO 5725-2:1994 eingetragen
werden. Die Randspalte enthlt die Nummer des Labors und, in diesem Fall, vier Spalten, eine pro
Merkmalsniveau, enthalten die Daten. Siehe Tabelle 7.

44
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

5 Worked examples using statistical software

5.1 General

This clause illustrates the extent to which graphs and statistics can be derived automatically using statistical
software programs. The objective is not to advertise or endorse specific packages, but to emphasise the major
advantages of automated computation, namely accuracy, speed and the ability to use procedures that might
be too complicated for the use of a pocket calculator alone.

There are certain limitations, however, to using software packages. Not all packages possess the ability to
calculate all the statistical parameters required, for example, Mandel's h and k statistic values or Grubbs'
statistic values.

Two of the examples from ISO 5725-2:1994, Annex B, are presented here: ISO 5725-2:1994, B.1, example 1,
Determination of sulfur content in coal, and ISO 5725-2:1994, B.3, example 3, Thermometric titration of
creosote oil. When applicable, reference to specific sections of this annex will be highlighted.

5.2 Determination of sulfur content in coal

5.2.1 Original data

In general, the data can be entered following the layout of Table B.1 of ISO 5725-2:1994. One column
contains the laboratory number and, in this case, four columns, one per level, contain the data. See Table 7.

45
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Tabelle 7 Zusammenstellung der Daten (Schwefelgehalt von Kohlea,b)

Merkmalsniveau
Labor
1 2 3 4

1 0,71 1,20 1,68 3,26


1 0,71 1,18 1,70 3,26
1 0,70 1,23 1,68 3,20
1 0,71 1,21 1,69 3,24
2 0,69 1,22 1,64 3,20
2 0,67 1,21 1,64 3,20
2 0,68 1,22 1,65 3,20
3 0,66 1,28 1,61 3,37
3 0,65 1,31 1,61 3,36
3 0,69 1,30 1,62 3,38
4 0,67 1,23 1,68 3,16
4 0,65 1,18 1,66 3,22
4 0,66 1,20 1,66 3,23
5 0,70 1,31 1,64 3,20
5 0,69 1,22 1,67 3,19
5 0,66 1,22 1,60 3,18
5 0,71 1,24 1,66 3,27
5 0,69 1,68 3,24
6 0,73 1,39 1,70 3,27
6 0,74 1,36 1,73 3,31
6 0,73 1,37 1,73 3,29
7 0,71 1,20 1,69 3,27
7 0,71 1,26 1,70 3,24
7 0,69 1,26 1,68 3,23
8 0,70 1,24 1,67 3,25
8 0,65 1,22 1,68 3,26
8 0,68 1,30 1,67 3,26
a Originaldaten aus ISO 5725-2:1994, B.1.2.
b Einheit der Konzentration ist Massenanteil in Prozent.

Alternativ knnen die Daten in drei Spalten dargestellt werden, eine fr das Labor, eine fr das
Merkmalsniveau und eine fr die Daten selbst, also den Schwefelgehalt, angegeben als Massenanteil in
Prozent. Ein Beispiel fr diese Anordnung findet sich in Tabelle 8, ausgefhrt nur fr die Labors 1 und 2. Der
vollstndige Datensatz setzt sich in dieser Form fort und enthlt die Daten der Labors 3 bis 8.

46
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Table 7 Presentation of data (representing the sulfur content of coala,b)

Level
Laboratory
1 2 3 4

1 0,71 1,20 1,68 3,26


1 0,71 1,18 1,70 3,26
1 0,70 1,23 1,68 3,20
1 0,71 1,21 1,69 3,24
2 0,69 1,22 1,64 3,20
2 0,67 1,21 1,64 3,20
2 0,68 1,22 1,65 3,20
3 0,66 1,28 1,61 3,37
3 0,65 1,31 1,61 3,36
3 0,69 1,30 1,62 3,38
4 0,67 1,23 1,68 3,16
4 0,65 1,18 1,66 3,22
4 0,66 1,20 1,66 3,23
5 0,70 1,31 1,64 3,20
5 0,69 1,22 1,67 3,19
5 0,66 1,22 1,60 3,18
5 0,71 1,24 1,66 3,27
5 0,69 1,68 3,24
6 0,73 1,39 1,70 3,27
6 0,74 1,36 1,73 3,31
6 0,73 1,37 1,73 3,29
7 0,71 1,20 1,69 3,27
7 0,71 1,26 1,70 3,24
7 0,69 1,26 1,68 3,23
8 0,70 1,24 1,67 3,25
8 0,65 1,22 1,68 3,26
8 0,68 1,30 1,67 3,26
a Original data from ISO 5725-2:1994, B.1.2.
b Concentration units are % mass fraction.

Alternatively, the data can be entered using three columns, one for laboratory, one for level, one for the data,
in this case the sulfur content, expressed in % mass fraction. An example of this layout is given in Table 8 for
laboratories 1 and 2 only. The whole file continues in a similar fashion to include data from laboratories 3 to 8.

47
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Tabelle 8 Alternative Zusammenstellung der Daten (Schwefelgehalt von Kohlea,b)


fr die Labors 1 und 2

Labor Merkmalsniveau Schwefelgehalt


1 1 0,71
1 1 0,71
1 1 0,70
1 1 0,71
1 2 1,20
1 2 1,18
1 2 1,23
1 2 1,21
1 3 1,68
1 3 1,70
1 3 1,68
1 3 1,69
1 4 3,26
1 4 3,26
1 4 3,20
1 4 3,24
2 1 0,69
2 1 0,67
2 1 0,68
2 2 1,22
2 2 1,21
2 2 1,22
2 3 1,64
2 3 1,64
2 3 1,65
2 4 3,20
2 4 3,20
2 4 3,20
a Originaldaten aus ISO 5725-2:1994, B.1.2.
b Einheit der Konzentration ist Massenanteil in Prozent.

Wie bereits festgestellt, wird empfohlen, vor der Durchfhrung von Tests die Daten graphisch darzustellen,
um mgliche Ausreier zu erkennen. Nachfolgend finden sich zwei Beispiele fr solche Diagramme. Die
Streuung der Rohdaten fr Merkmalsniveau 1 ist in Bild 11 dargestellt, das hnlich ist zu den Bildern B.1 bis
B.4 in ISO 5725-2:1994. Diese Diagramme zeigen die Ergebnisse je Labor mit einer waagerechten Linie
durch den Gesamtmittelwert.N5) Das Schachteldiagramm in Bild 12, das aus Schachteln (en: box), soge-
nannten Whiskern (en: whisker) und Ausreiern besteht, fasst die Ergebnisse von Labor 1 zusammen und
ist ntzlich fr eine erste Beurteilung hinsichtlich mglicher Ausreier. Es ist eine interessante und sehr
informative Darstellung des Datenmaterials.

N5) Nationale Funote: In den Bildern B.1 bis B.4 von ISO 5725-2:1994 sind die Achsen gegenber Bild 11 vertauscht.

48
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Table 8 Alternate presentation of data (representing the sulfur content of coala,b)


for laboratories 1 and 2

Laboratory Level Sulfur


1 1 0,71
1 1 0,71
1 1 0,70
1 1 0,71
1 2 1,20
1 2 1,18
1 2 1,23
1 2 1,21
1 3 1,68
1 3 1,70
1 3 1,68
1 3 1,69
1 4 3,26
1 4 3,26
1 4 3,20
1 4 3,24
2 1 0,69
2 1 0,67
2 1 0,68
2 2 1,22
2 2 1,21
2 2 1,22
2 3 1,64
2 3 1,64
2 3 1,65
2 4 3,20
2 4 3,20
2 4 3,20
a Original data from ISO 5725-2:1994, B.1.2.
b Concentration units are % mass fraction.

As already stated, it is recommended to plot the data before performing tests to detect potential outliers.
Below are two examples of such plots. The scatter of the raw data for level 1 is demonstrated in Figure 11,
which is similar to ISO 5725-2:1994, Figures B.1 to B.4. These plots show the results by laboratory, with a
horizontal line drawn at the value of the overall mean. The box-and-whiskers plot of Figure 12, consisting of
a box, whiskers and outliers, summarizes results by laboratory for level 1 and is useful for obtaining an initial
assessment of potential outliers. It is an interesting and very informative display of the data.

49
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Der Mittelwert und der Median jedes Labors sind durch ein Kreuz bzw. eine dunklere Linie gekennzeichnet.
Die Unterseite der Schachtel befindet sich beim ersten Quartil (Q1), die Oberseite liegt beim dritten Quartil
(Q3). Die ungefhre Spannbreite der Daten wird angedeutet durch "Whisker" genannte Linien von der
Oberseite und der Unterseite der Schachtel, die sich bis zum grten bzw. kleinsten Beobachtungswert
erstrecken, die noch innerhalb des durch folgende Grenzen festgelegten Bereichs liegen:

unterer Grenzwert: Q1 1,5 (Q3 Q1);

oberer Grenzwert: Q3 ! 1,5 (Q3 Q1).

Bei einer Gaussschen Normalverteilung entspricht dies mehr als 99,30 % der Flche unter der
Wahrscheinlichkeitsdichte. John Tukey, der Begrnder der Schachteldiagramme, nannte diese Grenzen die
inneren Zune (en: inner fences). Er definierte darber hinaus die ueren Zune (en: outer fences), die
sich ergeben, wenn anstelle des Faktors 1,5 der Faktor 3 verwendet wird. Ergebnisse, die zwischen dem
inneren und dem ueren Zaun liegen, sind mgliche Ausreier. Daten auerhalb des ueren Zaunes sind
aufgrund der Tatsache, dass der Bereich zwischen den ueren Zunen 99,99 % der Flche unterhalb der
Wahrscheinlichkeitsdichte enthlt, hchst ausreierverdchtig. Manche Statistiksoftware-Pakete verwenden
unterschiedliche Symbole fr diese zwei Klassen von Ausreiern, wie etwa * fr die Daten zwischen den
inneren und den ueren Zunen und 0 fr Daten auerhalb der ueren Zune.

Beide Diagramme zeigen, dass alle Werte fr Labor 6 hher liegen als die entsprechenden Werte der
anderen Labors. Auerdem gibt es einen in Bild 12 leicht erkennbaren Wert von Labor 5, der weiterer
Untersuchungen wert ist.

Legende
X Nummer des Labors
Y Konzentration [Massenanteil in Prozent]
m1 " 0,69

Bild 11 Streudiagramm der Daten von Merkmalsniveau 1

50
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

The average and the median for each laboratory are represented by a cross and a darker line, respectively.
The bottom of the box is at the first quartile (Q1), the top is at the third quartile (Q3). The approximate range of
the data is indicated by the lines from the top and the bottom of the box, called whiskers, which extend from
the top and bottom of the box to the the highest and the lowest observations, respectively, that are still inside
the region defined by the following limits:

lower limit: Q1 ! 1,5 (Q3 ! Q1);

upper limit: Q3 " 1,5 (Q3 ! Q1).

For a Gaussian or normal distribution, this corresponds to about 99,30 % of the area under the probability
curve. John Tukey, inventor of the box-and-whiskers plot, called these limits the inner fences. He further
defined the outer fences obtained by using a multiplier of 3 instead of 1,5. Data points that are between the
inner and outer fences are defined as possible outliers. Data that fall beyond the outer fence are highly
suspicious due to the fact that the area within the outer fences encompasses 99,99 % of the area under the
curve. Some statistical software packages use different symbols for these two classes of outliers, such as *
for the data between the inner and outer fences and 0 for data beyond the outer fences.

Both graphs show that all the results for laboratory 6 are higher than corresponding values for the other
laboratories. In addition, there is a value for laboratory 5, easily identified on Figure 12, that might merit further
investigation.

Key
X Laboratory number
Y Concentration, percent mass fraction
m1 # 0,69.

Figure 11 Scatter plot of the level-1 data

51
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Legende
X Nummer des Labors
Y Konzentration [Massenanteil in Prozent]

Median
Mittelwert
Whisker

Bild 12 Schachteldiagramm der Daten von Merkmalsniveau 1

5.2.2 Tabelle der Zellenmittelwerte und -standardabweichungen

Tabelle 9 zeigt die Ergebnisse aus ISO 5725-2:1994, B.1 bis B.3, die fr einen Ringversuch mit einem
typischen Software-Paket berechnet worden sind.

Tabelle 9 Tabelle von Zellenmittelwerten und -standardabweichungen

Nummer des Labors Anzahl Mittelwert Standardabweichung

Insgesamt
27 0,690 37 0,025 49
Fr die einzelnen Labors
1 4 0,707 50 0,005 00
2 3 0,680 00 0,010 00
3 3 0,666 67 0,020 82
4 3 0,660 00 0,010 00
5 5 0,690 00 0,018 71
6 3 0,733 33 0,005 77
7 3 0,703 33 0,011 55
8 3 0,676 67 0,025 17

52
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Key
X Laboratory number
Y Concentration, percent mass fraction

is the median
is the average
is a whisker

Figure 12 Box and whiskers plot of the level-1 data

5.2.2 Table of cell means and standard deviations

Table 9 shows results from ISO 5725-2:1994, B.1.3 and B.1.4, calculated for an inter-laboratory trial as for a
typical software package.

Table 9 Table of cell means and standard deviations

Laboratory number Count Mean Standard deviation

Overall
27 0,690 37 0,025 49
For individual laboratories
1 4 0,707 50 0,005 00
2 3 0,680 00 0,010 00
3 3 0,666 67 0,020 82
4 3 0,660 00 0,010 00
5 5 0,690 00 0,018 71
6 3 0,733 33 0,005 77
7 3 0,703 33 0,011 55
8 3 0,676 67 0,025 17

53
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Wie in den Tabellen 2 und 3 in ISO 5725-2:1994 gezeigt, werden diese Werte bentigt, um Mandels h-und k-
Prfgren zu berechnen, ebenso wie den Grubbs-Test. Diese Prfgren sind nicht in allen Software-
Paketen enthalten.

5.2.3 Untersuchung auf Vereinbarkeit und Ausreier

Viele Pakete bieten mehrere Tests zur Beurteilung der Homogenitt von Varianzen an, einschlielich der von
Cochran, Bartlett, Hartley und Levene. Die Ergebnisse dieser Tests bezglich der Daten fr den
Schwefelgehalt werden in Tabelle 10 gezeigt.

Tabelle 10 Untersuchung auf Vereinbarkeit und Ausreier

Test Prfgre P-Wert


Cochrans C 0,350 0,308
Bartlett-Test 1,679 0,296
Levene-Test 1,679 0,332
Hartley-Test 25,333

Der P-Wert gibt die Wahrscheinlichkeit an, mit der der berechnete Wert der Prfgre bei Vorliegen
homogener Varianzen berschritten wird. Ein niedriger P-Wert, kleiner oder gleich 0,05, ist hinreichend fr die
Annahme, dass sich die Varianzen innerhalb der Labors unterscheiden.N6) Folglich gibt es beim Cochran-Test
keinen Anlass fr die Annahme, dass sich die Varianzen innerhalb der Labors unterscheiden.

5.2.4 Berechnung des Gesamtmittelwertes fr ein Merkmalsniveau sowie der Wiederhol- und
Vergleichstandardabweichungen

Wie in ISO 5725-2 und in ISO 5725-3 beschrieben, kann die Technik der Varianzanalyse fr jedes
Merkmalsniveau j zur Berechnung von srj und sRj, den Wiederhol- bzw. Vergleichstandardabweichungen,
verwendet werden.

Die meisten Software-Pakete knnen die Varianzkomponenten direkt berechnen. Diese Fhigkeit kann
normalerweise bei den anderen statistischen Hilfsmitteln gefunden werden, indem nach einer Option mit dem
Titel Varianzkomponenten (en: Variance Components) bzw. Hierarchisches Design (en: Hierarchical
Design) oder Eingebettetes Design (en: Nested Design) gesucht wird.

Das Einbetten ergibt sich daraus, dass sich die untersuchten Stichproben von Labor zu Labor
unterscheiden, obwohl sie aus einem einzigen Los oder einer einzigen Charge stammen. Das heit, die
Stichproben sind im Faktor Labor eingebettet, oder, gleichwertig, die Labors sind hierarchisch ber den
Stichproben.

Falls es keine solche Option gibt, ist eine andere Mglichkeit, eine sogenannte Einfache Varianzanalyse (en:
one-way analysis of variance) zu verwenden, bei der der Faktor Labor als zufllig angesehen wird.

N6) Nationale Funote: Bei der manuellen Durchfhrung eines statistischen Tests wird der beobachtete Wert der
Prfgre verglichen mit dem zu vorgegebenem Signifikanzniveau (meist 0,05) tabellierten Wert der Verteilung
der Prfgre. Ablehnung der Hypothese bei berschreitung des Tabellenwertes.
Bei rechnergesttzter Durchfhrung eines statistischen Tests wird die dem beobachteten Wert der Prfgre
entsprechende berschreitungswahrscheinlichkeit verglichen mit dem vorgegebenen Signifikanzniveau. Ablehnung
der Hypothese, wenn diese Wahrscheinlichkeit kleiner als das Signifikanzniveau ist.
Fr einen gegebenen Datensatz fhren beide Vorgehensweisen zum selben Ergebnis.

54
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

As shown in ISO 5725-2:1994, Tables 2 and 3, these values are required to calculate Mandel's h and
k statistics, as well as the Grubbs' test, statistics which are not available in all software packages.

5.2.3 Scrutiny for consistency and outliers

In many packages, several tests for assessing the homogeneity of variances are available, including those of
Cochran, Bartlett, Hartley and Levene. The results of these tests on the data for the sulfur content are shown
in Table 10.

Table 10 Scrutiny for consistency and outliers

Test Statistic P-value


Cochran's C 0,350 0,308
Bartlett's 1,679 0,296
Levene's 1,679 0,332
Hartley's 25,333

The P-value represents the probability of observing a statistic as large as that which would be computed if the
variances are homogeneous. A low P-value, 0,05 or below, is sufficient to conclude that the within-laboratory
variances differ. Hence, for Cochran's test, there is insufficient evidence to conclude that the intra-laboratory
variances differ.

5.2.4 Computation of the general mean and of the repeatability and reproducibility
standard deviations

As described in ISO 5725-2 and in ISO 5725-3, the analysis of variance technique can be used to compute srj
and sRj, the repeatability and the reproducibility standard deviations, respectively, for level j.

Most packages have the ability to compute the variance components directly. This ability can usually be found
among other statistical tools by looking for an option entitled Variance Components or equivalently
Hierarchical Designs or Nested Designs.

The nesting occurs in that the samples analysed differ from laboratory to laboratory, even though they
originate from one single lot or batch of product. Therefore, samples are nested within laboratory, or
equivalently, laboratories are hierarchically above samples.

If no such option exists, another choice is to use a one-way analysis of variance where the factor laboratory
(the one-way factor) is declared random.

55
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Die Varianzkomponenten nehmen Bezug auf die Zerlegung der Gesamtvarianz in zwei Teile, in die Varianz
2
zwischen den Labors und in die Varianz innerhalb der Labors, s Lj bzw. s rj2 . Ein Beispiel fr die sich
ergebende Einfache Varianzanalyse ist fr Merkmalsniveau 1 (j 1) in Tabelle 11 enthalten.

Tabelle 11 Analyse von Varianzkomponenten Varianzanalyse fr den Schwefelgehalt


Merkmalsniveau 1

Summe der Mittelwert der


Streuungs- Varianz-
quadrierten Freiheitsgrade quadrierten Prozent
ursache komponente
Abweichungen Abweichungen

Labor 0,012 554 6 7 0,001 793 5 0,000 466 5 67,1


Rest 0,004 341 7 19 0,000 228 5 0,000 228 5 32,8
Gesamt
0,016 896 3 26
(korrigiert)

Die Wiederholstandardabweichung sr1 ergibt sich als Quadratwurzel aus der Varianzkomponente Rest, also

s r1 0,000 228 5 0,015 .

Die Vergleichstandardabweichung sR1 ergibt sich als Quadratwurzel aus der Summe Varianzkomponenten
Rest und Labor, also

s R1 0,000 228 5 ! 0,000 466 5 0,026 .

Das relative Anteil der Varianzkomponenten Labor und Rest an der Vergleichvarianz wird in der Spalte
Prozent angegeben.

Wenn diese Option nicht vorhanden ist, dann wird die Tabelle der Varianzanalyse mglicherweise die
Varianzkomponenten nicht direkt ausweisen, und die Ergebnisse knnten so dargestellt sein, wie in
Tabelle 12 gezeigt. Die Varianzkomponenten knnen dann mittels manueller Berechnung unter Verwendung
der in ISO 5725-2:1994, 7.4.5.2, angegebenen Formel wie unten gezeigt berechnet werden.

Tabelle 12 ANOVA-TabelleN7) fr den Schwefelgehalt Merkmalsniveau 1 Varianzanalyse

Summe der Mittelwert der


Streuungsursache quadrierten Freiheitsgrade quadrierten F-Wert P-Wert
Abweichungen AbweichungenN8)

Zwischen den Labors 0,012 554 6 7 0,001 793 5 7,85 0,000 2


innerhalb der Labors (Rest) 0,004 341 7 19 0,000 228 5
Gesamt (korrigiert) 0,016 896 3 26

N7) Nationale Funote: Eine ANOVA(Analysis of variance)-Tabelle wird im Deutschen meist Zerlegungstafel genannt.
N8) Nationale Funote: In der deutschsprachigen Fachliteratur Varianz genannt (als Quotient aus der Summe der
quadrierten Abweichungen (S. d. q. A.) und den zugehrigen Freiheitsgraden).

56
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

The variance components refer to partitioning the total variance into two parts, the between- and the within-
2
laboratory variances, s Lj and s rj2 , respectively. An example of the resulting one-way analysis of variance is
given in Table 11, for level 1 (j 1).

Table 11 Variance components analysis Analysis of variance for sulfur content Level 1

Source Sum of squares Degrees of freedom Mean square Variance component Percent

laboratory 0,012 554 6 7 0,001 793 5 0,000 466 5 67,1


error 0,004 341 7 19 0,000 228 5 0,000 228 5 32,8
total (corrected) 0,016 896 3 26

The repeatability standard deviation, sr1, is obtained by taking the square root of the variance component
error. Hence:

s r1 0,000 228 5 0,015 .

The reproducibility standard deviation, sR1, is obtained by taking the square root of the sum of the variance
component error and variance component laboratory. Hence:

s R1 0,000 228 5 ! 0,000 466 5 0,026 .

The relative weight of the variance component laboratory and of the variance component error for the
reproducibility variance is indicated in the column Percent.

Should this option not be available, then the analysis of variance table might not display the variance
components directly and results might appear as shown in Table 12. These values can be derived by manual
calculation, using the formula given in ISO 5725-2:1994, 7.4.5.2, as shown below:

Table 12 ANOVA table for sulfur content Level 1 Analysis of variance

Source Sum of squares Degrees of freedom Mean square F-ratio P-value

between-laboratory 0,012 554 6 7 0,001 793 5 7,85 0,000 2


within-laboratory (error) 0,004 341 7 19 0,000 228 5
total (corrected) 0,016 896 3 26

57
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Die Wiederholvarianz s r21 ist durch den Mittelwert der quadrierten Abweichungen innerhalb der Labors
gegeben: s r21 0,000 228 5.

Wie in ISO 5725-2, 7.4.5.2, Gleichung (21), gezeigt wird, gilt fr die Vergleichvarianz:

sd21 ! sr21
s L21 N9)
n1

mit

s d21 Mittelwert der quadrierten Abweichungen zwischen den Labors, gleich 0,001 793 52;

s r21 = 0,000 228 5 (siehe oben);

1 "
( n i21 #%
n1 $
( n i1 ! [ISO 5725-2:1994, 7.4.5.2, Gleichung (23)]
p Lab !1$
& ( n i1 '%

1
"
$ )
42 + 32 + 32 + 32 + 52 + 32 + 32 + 32 * #%
7 $ 27 ! 27 % 3,35 .
$ %
& '

ANMERKUNG Eine Nherung fr n j ist die mittlere Anzahl der Ergebnisse je Labor (das heit 27/8 3,375).

Folglich ergibt sich:

0,001 793 5 ! 0,000 228 5


s L21 0,000 467 2 .
3,35

Wegen s R21 s L21 + s r21 folgt:

s R1 0,000 228 59 + 0,000 467 2 0,026.

5.2.5 Abhngigkeit der Przision von m

Wenn die statistische Auswertung fr alle anderen Merkmalsniveaus wiederholt wird, knnen entsprechende
Wiederhol- und Vergleichstandardabweichungen ermittelt werden.

Die Ergebnisse knnen so wie in Tabelle 13 zusammengefasst werden:

N9) Nationale Funote: Im englischen Original versehentlich S L21 ; dies wurde in der deutschen bersetzung richtig-
gestellt.

58
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

The parameter s r21 is given by the value of the within-laboratory mean squared: s r21 0,000 228 5.

As is shown in ISO 5725-2, 7.4.5.2, Equation (21):

s d21 ! s r21
S L21
n1

where

s d21 is the between-laboratory mean squared equal to 0,001 793 52;

s r21 0,000 228 5 (see above);

1 "
( n i21 #%
n1 $
( n i1 ! [ISO 5725-2:1994, 7.4.5.2, Equation (23)]
p Lab !1$
& ( n i1 '%

1
"
$ )
42 + 32 + 32 + 32 + 52 + 32 + 32 + 32 * #%
7 $ 27 ! 27 % 3,35
$ %
& '

NOTE An approximation of n j is given by the mean number of results per laboratory (i.e. 27/8 3,375).

Hence:

0,001 793 5 ! 0,000 228 5


s L21 0,000 467 2
3,35

Since s R21 s L21 + s r21 , then:

s R1 0,000 228 59 + 0,000 467 2 0,026.

5.2.5 Dependence of precision on m

When the statistical analysis is repeated for all other levels, analogous repeatability and reproducibility
standard deviations are determined.

The data can be presented as in Table 13:

59
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Tabelle 13 Wiederhol- und Vergleichstandardabweichungen fr mehrere Merkmalsniveaus

Merkmals- Gesamtmittelwert je Wiederhol- Vergleich-


niveau Merkmalsniveau standardabweichung standardabweichung

1 0,690 0,015 0,026


2 1,252 0,029 0,061
3 1,667 0,017 0,035
4 3,250 0,026 0,058

Die Abhngigkeit der Przision von den Gesamtmittelwerten je Merkmalsniveau (siehe auch ISO 5725-2,
B 1.7) kann anhand des untenstehenden Streudiagramms beurteilt werden. Die gemittelten Wiederhol- und
Vergleichstandardabweichungen, 0,022 bzw. 0,045, werden berechnet und knnen so aufgetragen werden,
wie in Bild 13 gezeigt.

Legende
X Gesamtmittelwert je Merkmalsniveau [Massenanteil in Prozent]
Y Massenanteil in Prozent

Wiederholprzision
Vergleichprzision
Mittelwert sR

Mittelwert sr

Bild 13 Diagramm von sr und sR ber dem Gesamtmittelwert je Merkmalsniveau

5.3 Thermometrische Titration von Kreosotl

5.3.1 Originaldaten

Diagramme der Rohdaten aus ISO 5725-2:1994, B.3.2, fr die thermometrische Titration von Kreosotl
zeigen, dass Labor 1 immer Ergebnisse liefert, die durchweg hher sind als die aller anderen Labors. Diese
Tatsache knnte zu weiteren Untersuchungen auffordern. Auerdem knnten Ausreiertests nahelegen zu
erwgen, diese Ergebnisse zurckzuweisen.

60
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Table 13 Repeatability and reproducibility standard deviations for multiple levels

Repeatability Reproducibility
Level Overall mean
standard deviation standard deviation

1 0,690 0,015 0,026


2 1,252 0,029 0,061
3 1,667 0,017 0,035
4 3,250 0,026 0,058

The dependence of precision on the level overall means (see also ISO 5725-2, B.1.7) can be assessed by
observing the scatter plot below. The averaged repeatability and reproducibility standard deviations, 0,022
and 0,045, respectively, are calculated and can be plotted as shown in Figure 13.

Key
X Overall mean, in percent mass fraction
Y Percent mass fraction

repeatability
reproducibility
average sR

average sr

Figure 13 Plot of sr and sR versus overall mean

5.3 Thermometric titration of creosote oil

5.3.1 Original data

Plots of the raw data from ISO 5725-2:1994, B.3.2, for the thermometric titration of creosote oil show that
laboratory 1 always produces data that are consistently higher than all the other laboratories. This fact might
invite further investigation. In addition, outlier tests might suggest whether these data should be considered for
rejection.

61
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

a) Prfung auf Gleichheit der Varianzen fr b) Prfung auf Gleichheit der Varianzen fr
Merkmalsniveau 1 Merkmalsniveau 2

Cochrans C: 0,566 474 P-Wert 0,218 148 Cochrans C: 0,449 912 P-Wert 0,383 8
Bartlett-Test: 3,839 36 P-Wert 0,337 881 Bartlett-Test: 2,274 14 P-Wert 0,686 763
Hartley-Test: 784,0 Hartley-Test: 256,0

c) Prfung auf Gleichheit der Varianzen fr d) Prfung auf Gleichheit der Varianzen fr
Merkmalsniveau 3 Merkmalsniveau 4

Cochrans C: 0,492 417 P-Wert 0,366 708 Cochrans C: 0,666 703 P-Wert 0,057 952 4
Bartlett-Test: 2,171 5 P-Wert 0,686 072 Bartlett-Test: 3,271 86 P-Wert 0,439 721
Hartley-Test: 39,062 5 Hartley-Test: 121,0

(fortgesetzt)

62
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

a) Variance Check Level 1 b) Variance Check Level 2

Cochran's C test: 0,566 474 P-value 0,218 148 Cochran's C test: 0,449 912 P-value 0,383 8
Bartlett's test: 3,839 36 P-value 0,337 881 Bartlett's test: 2,274 14 P-value 0,686 763
Hartley's test: 784,0 Hartley's test: 256,0

c) Variance Check Level 3 d) Variance Check Level 4

Cochran's C test: 0,492 417 P-value 0,366 708 Cochran's C test: 0,666 703 P-value 0,057 952 4
Bartlett's test: 2,171 5 P-value 0,686 072 Bartlett's test: 3,271 86 P-value 0,439 721
Hartley's test: 39,062 5 Hartley's test: 121,0

(continued)

63
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Bild 14 (fortgesetzt)

e) Prfung auf Gleichheit der Varianzen fr Merkmalsniveau 5

Cochrans C: 0,635 778 P-Wert 0,080 422 1


Bartlett-Test: 2,485 46 P-Wert 0,623 743
Hartley-Test: 50,005 1

Legende
X Nummer des Labors
Y Kreosotl [Massenanteil in Prozent]
Mittelwert aus allen Labormittelwerten
a systematisch hherer Wert

Bild 14 Schachteldiagramme und Tests auf Gleichheit der Varianzen

Die Darstellung der Schachteldiagramme zeigt deutlich, dass Labor 1 einen systematisch hheren Wert als
die anderen Labors aufweist, wenn auch die Labors 6 und 7 auf einigen Merkmalsniveaus eine hhere
Variabilitt zeigen.

5.3.2 Untersuchung auf Vereinbarkeit und Ausreier

Die Daten knnen in der Form von Tabelle 14 dargestellt werden, um die Vereinbarkeit und das Vorhanden-
sein von Ausreiern zu beurteilen; siehe auch ISO 5725-2, B.3.2 und B.3.5.

64
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Figure 14 (continued)

e) Variance Check Level 5

Cochran's C test: 0,635 778 P-value 0,080 422 1


Bartlett's test: 2,485 46 P-value 0,623 743
Hartley's test: 50,005 1

Key
X Laboratory number
Y Creosote, percent mass fraction
average of all laboratory averages
a systematically high value

Figure 14 Box-and-whiskers plots and variance tests

The box and whiskers plots clearly show that laboratory 1 exhibits a systematic higher value than the other
laboratories, although laboratories 6 and 7 show a higher variability at some specific levels.

5.3.2 Scrutiny for consistency and outliers

The data can be presented in the form of Table 14 in order to assess the consistency and the identification of
outliers; see also ISO 5725-2, B.3.2 and B.3.5.

65
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Tabelle 14 Untersuchung auf Vereinbarkeit und Ausreier je Labor und Merkmalsniveau

Labor Bemerkung Labormittelwert je Merkmalsniveau


Merkmals- Merkmals- Merkmals- Merkmals- Merkmals-
niveau 1 niveau 2 niveau 3 niveau 4 niveau 5

1 hoch ? 4,415 9,340 17,150 19,230 24,140

2 4,130 8,375 14,460 16,140 20,155


3 3,700 7,500 13,600 14,800 19,500
4 4,100 8,865 14,400 15,550 20,300
5 4,005 8,005 13,825 15,660 20,700
6 3,890 9,000 13,980 16,500 17,570
7 3,750 8,150 14,150 15,450 20,100
8 3,905 8,055 14,840 15,315 20,940
9 4,045 8,305 14,170 15,290 21,185
Kenngre Wert je Merkmalsniveau

Mittelwert 3,993 8,399 14,508 15,993 20,511

Standardabweichung 0,216 0,572 1,056 1,310 1,727


mittlerer Standardfehler 0,072 0,191 0,352 0,437 0,576

BEISPIEL Fr Merkmalsniveau 3 und Labor 1 ist der beobachtete Wert der Prfgre Gb fr den Grubbs-Test auf
einen einzelnen oberen Ausreier gegeben durch

17,15 ! 14,508
Gb 2,50
1,056

Die kritischen Werte auf dem 5-%- und dem 1-%-Signifikanzniveau sind 2,215 bzw. 2,387 fr jedes der neun
Labors. Folglich knnen die Daten von Merkmalsniveau 3 aus Labor 1 auf dem 99 %-Konfidenzniveau als
Ausreier angesehen werden.

5.3.3 Berechnung des Gesamtmittelwertes fr ein Merkmalsniveau sowie der Wiederhol- und
Vergleichstandardabweichungen

Auf dieser Basis werden alle Ergebnisse von Labor 1 sowie die Ergebnisse aus Labor 6 fr Merkmalsniveau 5
verworfen. Danach werden die Varianzanalyse fr Merkmalsniveau 5 (j 5) und die Berechnungen fr die
Wiederhol- und die Vergleichstandardabweichungen sr bzw. sR durchgefhrt, wie in Tabelle 15 und den
nachfolgenden Gleichungen gezeigt; siehe auch ISO 5725-2, B.3.6.

66
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Table 14 Scrutiny for consistency and outliers by laboratory and level

Lab Observation Mean by level


Level 1 Level 2 Level 3 Level 4 Level 5

1 high ? 4,415 9,340 17,150 19,230 24,140

2 4,130 8,375 14,460 16,140 20,155


3 3,700 7,500 13,600 14,800 19,500
4 4,100 8,865 14,400 15,550 20,300
5 4,005 8,005 13,825 15,660 20,700
6 3,890 9,000 13,980 16,500 17,570
7 3,750 8,150 14,150 15,450 20,100
8 3,905 8,055 14,840 15,315 20,940
9 4,045 8,305 14,170 15,290 21,185
Parameter Value by level

Mean 3,993 8,399 14,508 15,993 20,511

Std Dev 0,216 0,572 1,056 1,310 1,727


Sdt Error Mean 0,072 0,191 0,352 0,437 0,576

EXAMPLE For level 3 and laboratory 1, the single high Grubbs' statistic, Gb, is given by

17,15 14,508
Gb ! ! 2,50
1,056

The critical values at the 5 % and 1 % significance level are 2,215 and 2,387, respectively, for the nine
laboratories. Hence, with 99 % confidence, the data for level 3 and laboratory 1 can be considered as outliers.

5.3.3 Computation of the overall mean and of the repeatability and reproducibility
standard deviations

On this basis, all data from laboratory 1, together with data from laboratory 6 at level 5 are rejected. Following
this, the analysis of variance for level 5 ( j ! 5) and the calculations for the repeatability and reproducibility
standard deviations, sr and sR, respectively, are given as shown in Table 15 and the following equations; see
also ISO 5725-2, B.3.6.

67
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Tabelle 15 Varianzanalyse der Ergebnisse der thermometrischen Titration


von Kreosotl fr Merkmalsniveau 5

Varianzanalyse Schtzwertea fr die


Varianzkomponenten
Streuungs- Freiheits- Summe der Mittelwert der F -Wert Wahrschein- Komponente Schtzwert
ursache grade quadrierten quadrierten lichkeit
Abweichungen Abweichungen (F 4,24)

Modell 6 3,939 686 0,656 614 4,241 1 0,040 1 Labor 0,250 896
Rest 7 1,083 750 0,154 821 Rest 0,154 821
Gesamt 13 5,023 436
a Diese Schtzwerte ergeben sich aus der Gleichsetzung der Mittelwerte der quadrierten Abweichungen mit den jeweiligen
Erwartungswerten.

s r 5 ! 0,154 821 ! 0,393;

s R5 ! 0,154 821 " 0,250 896 ! 0,637.

Der Mittelwert der quadrierten Abweichungen Modell ist ein Schtzwert fr 2# L2 " # r2 .

Der Mittelwert der quadrierten Abweichungen Rest ist ein Schtzwert fr # r2 .

5.3.4 Abhngigkeit der Przision von m

Nach Eliminierung der Ausreier werden die Gesamtmittelwerte je Merkmalsniveau neu berechnet und mit
diesen die Wiederhol- und Vergleichstandardabweichungen ermittelt; sie sind in Tabelle 16 zusammen-
gestellt; siehe auch ISO 5725-2, B.3.7.

Tabelle 16 Przision als Funktion des Gesamtmittelwertes je Merkmalsniveau fr die Daten der
thermometrischen Titration von Kreosotl

Gesamtmittelwert je Wiederholstandard- Vergleichstandard-


Merkmalsniveau
Merkmalsniveau abweichung abweichung

1 3,94 0,092 0,171


2 8,28 0,179 0,498
3 14,18 0,127 0,400
4 15,59 0,337 0,579
5 20,41 0,393 0,637

Die Abhngigkeit der Przision von den Gesamtmittelwerten je Merkmalsniveau kann anhand des
Streudiagramms in Bild 15 beurteilt werden.

In diesem Fall ist eine lineare Regressionsanalyse geeigneter (der Anstieg unterscheidet sich signifikant von
null) als die gemittelten Wiederhol- und Vergleichstandardabweichungen. Der Zusammenhang ist in Bild 15
veranschaulicht.

68
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Table 15 Analysis of variance of level 5 for data from the thermometric


titration of creosote

Analysis of variance Variance component


estimatesa
Source Degrees of Sum of Mean square F Ratio Probability Component Estimate
freedom squares (F 4,24)

model 6 3,939 686 0,656 614 4,241 1 0,040 1 Laboratory 0,250 896
residual 7 1,083 750 0,154 821 Residual 0,154 821
total 13 5,023 436
a These estimates are based on equating mean squares to the expected value.

s r 5 ! 0,154 821 ! 0,393;

s R5 ! 0,154 821 " 0,250 896 ! 0,637.

The model mean square is an estimate of 2# L2 " # r2 .

The residual mean square is an estimate of # r2 .

5.3.4 Dependence of precision on m

After rejecting the outliers, new overall means are recalculated and from these, the repeatability and
reproducibility standard deviations calculated as shown in Table 16; see also ISO 5725-2, B.3.7.

Table 16 Precision as a function of overall mean for data from the thermometric
titration of creosote

Repeatability Reproducibility standard


Level Overall mean
standard deviation deviation

1 3,94 0,092 0,171


2 8,28 0,179 0,498
3 14,18 0,127 0,400
4 15,59 0,337 0,579
5 20,41 0,393 0,637

The dependence of precision on the level overall means can be assessed by observing the scatter plot
Figure 15.

In this case, a linear regression analysis is more appropriate (the slope is significantly different from 0) than
the averaged repeatability and reproducibility standard deviations, and the relationship is as indicated in
Figure 15:

69
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Legende
X Gesamtmittelwert m je Merkmalsniveau, ausgedrckt als Massenanteil
Y Standardabweichung, ausgedrckt als Massenanteil
1 Vergleichstandardabweichung sR 0,034 m
2 Wiederholstandardabweichung sr 0,018 m

Bild 15 Diagramm von sr und sR fr die Daten der thermometrischen Titration von Kreosotl

Tabellen 17 und 18 zeigen die Ergebnisse der Regression fr die Wiederhol- bzw. Vergleichstandard-
abweichungen. Aus Grnden der Veranschaulichung, auch wenn die Beziehung aus physikalisch-chemischer
Sicht keinen Sinn macht, ist eine Ausgleichsgerade durch den Ursprung gelegt worden, wie in Bild 15 gezeigt.
Die Ermittlung einer Ausgleichsgeraden wird durch die Tatsache verkompliziert, dass die Mittelwerte und die
Przisionswerte Schtzwerte mit Abweichungen behaftet sind. Eine gute Schtzung der Werte der Parameter
der Regressionsgeraden erfordert eigentlich eine gewichtete Regression, die nicht durchgefhrt worden ist, da
der Anstieg der Ausgleichsgeraden meistens gering ist.

70
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Key
X Overall mean, m, expressed as a mass fraction
Y Standard deviation, expressed as a mass fraction
1 reproducibility standard deviation sR 0,034 m
2 repeatability standard deviation sr 0,018 m

Figure 15 Plot of sr and sR for data from the thermometric titration of creosote

Tables 17 and 18 display results from the regression for the repeatability and the reproducibility standard
deviations, respectively. For illustration purpose, although this relationship makes no sense from a physical-
chemical point of view, a straight line through the origin has been fitted, as shown on Figure 15. The fitting of a
straight line is complicated by the fact that the mean and the precision values are estimates and thus subject
to error. A good estimate of the parameters of the regression line requires a weighted regression, which has
not been performed because most of the time the slope of the straight line is small.

71
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Tabelle 17 Wiederholstandardabweichung fr die Daten der


thermometrischen Titration von Kreosotl

Regressionsanalysea, N10)
Wahrscheinlichkeit
Parameter Schtzwert Standardabweichung Prfgre t
t 7,49

SteigungsfaktorN11) 0,017 909 6 0,002 391 7 7,488 62 0,001 7

Varianzanalyse
Summe der Mittelwert der
Streuungs- Wahrscheinlichkeit
quadrierten Freiheitsgrade quadrierten F-Wert
ursache (F 56,08)
Abweichungen Abweichungen
Modell 0,303 037 1 0,303 037 56,08 0,001 7
Rest 0,021 615 4 0,005 404
Gesamt 0,324 652 5
Abweichung des quadratischen Mittelwerts ! 0,073 510
Mittlere absolute Abweichung ! 0,052 872
a Abhngige Variable ist die Wiederholstandardabweichung.

Tabelle 18 Vergleichstandardabweichung fr die Daten der thermometrischen Titration


von Kreosotl

Regressionanalysea
Wahrscheinlichkeit
Parameter Schtzwert Standardabweichung Prfgre t
t 8,60

SteigungsfaktorN12) 0,034 396 7 0,004 000 1 8,599 0,001 0

Varianzanalyse
Summe der Mittelwert der
Streuungs- Wahrscheinlichkeit
quadrierten Freiheitsgrade quadrierten F -Wert
ursache F 73,94
Abweichungen Abweichungen
Modell 1,117 790 1 1,117 790 73,94 0,001 0
Rest 0,060 468 4 0,015 117
Gesamt 1,178 258 5
Abweichung des quadratischen Mittelwerts ! 0,122 951
Mittlere absolute Abweichung ! 0,088 842
a Abhngige Variable ist die Vergleichstandardabweichung.

N10) Nationale Funote: Von der Regressionsanalyse wird hier nur der Test der Hypothese Der Steigungsfaktor der
Ausgleichsgeraden ist gleich null gezeigt.
N11) Nationale Funote: Im englischen Original steht irrtmlicherweise mean-by-level; dies wurde in der deutschen
bersetzung richtiggestellt.
N12) Nationale Funote: Im englischen Original steht irrtmlicherweise mean-by-level; dies wurde in der deutschen
bersetzung richtiggestellt.

72
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Table 17 Repeatability standard deviation for data from the thermometric titration
of creosote

Regression analysisa
Probability
Parameter Estimate Standard error t statistic
t 7,49
mean-by-level 0,017 909 6 0,002 391 7 7,488 62 0,001 7
Analysis of variance
Probability
Source Sum of Squares Degrees of freedom Mean square F-ratio
(F 56,08)
model 0,303 037 1 0,303 037 56,08 0,001 7
residual 0,021 615 4 0,005 404
total 0,324 652 5
Root mean square residual ! 0,073 510
Mean absolute residual ! 0,052 872
a The dependent variable is the repeatability standard deviation.

Table 18 Reproducibility standard deviation for data from the thermometric titration
of creosote

Regression analysisa
Probability
Parameter Estimate Standard error t statistic
t 8,60
mean-by-level 0,034 396 7 0,004 000 1 8,599 0,001 0
Analysis of variance
Probability
Source Sum of squares Degrees of freedom Mean square F ratio
F 73,94
model 1,117 790 1 1,117 790 73,94 0,001 0
residual 0,060 468 4 0,015 117
total 1,178 258 5
Root mean square residual ! 0,122 951
Mean absolute residual ! 0,088 842
a The dependent variable is the reproducibility standard deviation.

73
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Da die P-Werte kleiner als 0,05 sind, darf die Abhngigkeit der Przision vom Gesamtmittelwert eines
bestimmten Merkmalsniveaus vernnftigerweise ausgedrckt werden durch

sr 0,018 m;

sR 0,034 m.

Diese Beziehungen knnen verwendet werden, um die Wiederhol- und Vergleichstandardabweichungen


innerhalb des untersuchten Bereichs der Merkmalsniveaus zu interpolieren.

Wenn beispielsweise die Wiederhol- und Vergleichstandardabweichungen fr einen Gesamtmittelwert m eines


bestimmten Merkmalsniveaus bestimmt werden sollen, wobei m 12 ist, dann gelten

sr 0,018 ! 12 0,22

und

sR 0,034 ! 12 0,41.

74
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Since the P-values are lower than 0,05, the dependence of the precision on the overall mean for a particular
level may reasonably be expressed by

sr 0,018 m;

sR 0,034 m.

These relationships can be used to estimate the repeatability and the reproducibility standard deviations at
intermediate levels within the range of levels studied.

For example, if the repeatability and the reproducibility standard deviations are required for an overall mean,
m, where m 12, then

sr 0,018 ! 12 0,22

and

sR 0,034 ! 12 0,41.

75
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Anhang A
(normativ)

Formelzeichen und Abkrzungen

Alle in diesem Dokument verwendeten Formelzeichen und Abkrzungen sind die gleichen wie in ISO 5725
(alle Teile) mit Ausnahme des folgenden Formelzeichens:

pLab steht anstelle von p, um es deutlich von P, dem Formelzeichen fr Wahrscheinlichkeit, zu unter-
scheiden.

a Achsenabschnitt in der Beziehung s a ! bm

A Faktor zur Berechnung der Unsicherheit eines Schtzwertes

b Steigungsfaktor in der Beziehung s a ! bm

B die Abweichung eines Labors vom Gesamtmittelwert kennzeichnende Komponente


in einem Ermittlungsergebnis (Laboranteil der systematischen Abweichungs-
komponente)N13)

B0 Komponente von B, die fr alle jene Faktoren steht, die sich bei Zwischenbedin-
gungen der Przision nicht ndern

B(1), B(2), usw. Komponenten von B, die fr alle jene Faktoren stehen, die sich bei
Zwischenbedingungen der Przision ndern

c Achsenabschnitt in der Beziehung lg s c ! d lg m

C, C', C'' Prfgren

Ccrit, C'crit, C''crit kritische Werte fr statistische Tests

CDP kritische Differenz zur Wahrscheinlichkeit P

CRP kritischer Bereich zur Wahrscheinlichkeit P

d Steigungsfaktor in der Beziehung lg s c ! d lg m

e in jedem Ermittlungsergebnis vorkommende Komponente der zuflligen Abweichung

f kritischer Spannweitenfaktor

N13) Nationale Funote: Im vorliegenden Dokument wird allerdings auf das Modell II der Einfachen Varianzanalyse (das
Modell mit Zufallskomponente) abgestellt, siehe dazu Bild 9 und die Erluterungen am Ende von Abschnitt 4.2:
Statistisch gesprochen, wird der Labor-Effekt B zufllig genannt. Im eigentlichen Sinne bedeutet das, dass der
Satz von Labors, die an dem Ringversuch teilnahmen, eine zufllige Auswahl aus einer theoretisch unendlich
groen Anzahl von Labors ist,

76
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Annex A
(normative)

Symbols and abbreviations

All symbols and abbreviations used in this document are the same as those in ISO 5725 (all parts) with the
exception of the following:

pLab has replaced p in order to clearly distinguish it from P, the symbol for probability.

a intercept in the relation s a ! bm

A factor used to calculate the uncertainty of an estimate

b slope in the relation s a ! bm

B component in a test result representing the deviation of a laboratory from the


general average (laboratory component of bias)

B0 component of B representing all factors that do not change in intermediate precision


conditions

B(1), B(2), etc. Component of B representing factors that vary in intermediate precision conditions

c intercept in the relation lg s c ! d lg m

C, C", C"" test statistics

Ccrit, C"crit, C""crit critical values for statistical tests

CDP critical difference for probability P

CRP critical range for probability P

d slope in the relation lg s c ! d lg m

e component in a test result representing the random error occurring in every test
result

f critical range factor

77
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Fp( 1, 2) p-Quantil der F-Verteilung mit den Freiheitsgraden 1 und 2

G Prfgre nach Grubbs

h Prfgre nach Mandel zur Prfung der Vereinbarkeit zwischen den Labors

k Prfgre nach Mandel zur Prfung der Vereinbarkeit innerhalb eines Labors

LCL untere berwachungsgrenze (Eingriffs- oder Warngrenze)

m Gesamtmittelwert des untersuchten Merkmals; Merkmalsniveau

M Anzahl der bei Zwischenbedingungen betrachteten Faktoren

n Anzahl der in einem Labor auf einem Merkmalsniveau (das heit je Zelle) gewonnenen
Ermittlungsergebnisse

N Anzahl der Wiederholungen

pLab Anzahl der am Ringversuch beteiligten Labors

ANMERKUNG Das in den Normen der Reihe ISO 5725 verwendete Formelzeichen ist p.

P Wahrscheinlichkeit

q Anzahl der bei einem Ringversuch untersuchten Merkmalsniveaus

r Wiederholgrenze

R Vergleichgrenze

RM Referenzmaterial

s Schtzwert einer Standardabweichung

vorhergesagte Standardabweichung

t Anzahl der Untersuchungsobjekte oder -gruppen N14)

T Gesamtbetrag oder Summe eines Ausdrucks

UCL obere Steuerungsgrenze (Eingriffs- oder Warngrenze)

w Spannweite eines Satzes von Ermittlungsergebnissen

W Gewichtungsfaktor zur Durchfhrung einer gewichteten Regression

x im Grubbs-Test benutzte Gre

y Ermittlungsergebnis

y arithmetischer Mittelwert von Ermittlungsergebnissen

N14) Nationale Funote: Im vorliegenden Dokument die einer t-Verteilung folgende Prfgre fr Hypothesentests.

78
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Fp( 1, 2) p-quantile of the F-distribution with 1 and 2 degrees of freedom

G Grubbs' test statistic

h Mandel's between-laboratory consistency test statistic

k Mandel's within-laboratory consistency test statistic

LCL lower control limit (either action limit or warning limit)

m general mean of the test property; level

M number of factors considered in intermediate precision conditions

n number of test results obtained per laboratory at one level (i.e. per cell)

N number of iterations

pLab Number of laboratories participating in a between-laboratory experiment

NOTE The symbol used in the ISO 5725 series is p.

P probability

q number of levels of test property in a between-laboratory experiment

r repeatability limit

R reproductibility limit

RM reference material

s estimate of a standard deviation

s predicted standard deviation

t number of test objects or groups

T total or sum of some expression

UCL upper control limit (either action limit or warning limit)

w range of a set of test results

W weighting factor used in calculating a weighted regression

x datum used for Grubbs' test

y test result

y arithmetic mean of test results

79
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

y Gesamtmittelwert von Ermittlungsergebnissen

Signifikanzniveau

Wahrscheinlichkeit des Fehlers 2. Art

Quotient aus Wiederhol- und Vergleichstandardabweichung ( R/ r)

systematische Abweichung eines Labors

! Schtzwert fr !

" systematische Abweichung des Messverfahrens#

" Schtzwert fr "

$ nachweisbare Differenz zwischen der systematischen Abweichung zweier Labors oder


zweier Messverfahren

% wahrer Wert oder anerkannter Referenzwert eines untersuchten Merkmals

Anzahl von Freiheitsgraden

wahrer Wert einer Standardabweichung

&# nachweisbares Verhltnis zwischen den Wiederholstandardabweichungen der


Messverfahren B und AN15)

' Komponente eines Ermittlungsergebnisses, die fr die Vernderung seit der letzten
Kalibrierung steht

nachweisbares Verhltnis zwischen den Quadratwurzeln aus dem jeweiligen Mittelwert der
quadrierten Abweichungen zwischen den Labors fr die Messverfahren B und A

) 2p (( ) p-Quantil der 2-Verteilung mit Freiheitsgraden

Als Indizes verwendete Formelzeichen

C unterschiedlich bezglich Kalibrierung

E unterschiedlich bezglich Gerteausstattung

i Kennung fr ein bestimmtes Labor

I() Kennung fr Zwischenprzisionsmae, wobei in Klammern die Bezeichnung der


Zwischenbedingungen angegeben wird

N15) Nationale Funote: Im englischen Original versehentlich vergessen; dies wurde in der deutschen bersetzung
richtiggestellt.

80
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

y Frand mean of test results

significance level

! type II error probability

" ratio of the reproductibility standard deviation to the repeatability standard deviation (#R/#r)

$ laboratory bias

$ estimate of $

% bias of measurement method

% estimate of %

& detectable difference between two laboratory biases or the biases of two measurement
methods

' true value or accepted reference value of a test property

( number of degrees of freedom

# true value of a standard deviation

) component in a test result representing the variation due to time since last calibration

* detectable ratio between the square roots of the between-laboratory mean squares of
method B and method A.

+ 2p (( ) p-quantile of the +2-distribution with ( degrees of freedom.

Symbols used as subscripts


C calibration-different

E equipment-different

i identifier for a particular laboratory

I() identifier for intermediate measures of precision; in brackets, identification of the type of
intermediate situation

81
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

j Kennung fr ein bestimmtes Merkmalsniveau (ISO 5725-2)

Kennung fr eine Gruppe von Untersuchungen oder einen Faktor (ISO 5725-3)

k Kennung fr ein bestimmtes Ermittlungsergebnis in einem Labor i auf dem


Merkmalsniveau j

L zwischen den Labors

m Kennung fr eine nachweisbare systematische Abweichung

M Zwischenuntersuchungsprobe

O unterschiedlich bezglich Bearbeiter

P Wahrscheinlichkeit

r Wiederhol-

R Vergleich-

T unterschiedlich bezglich Zeitabstand

W innerhalb eines Labors

1,2,3, zur Nummerierung von Ermittlungsergebnissen in der Reihenfolge, in der sie gewonnen
wurden

(1), (2), (3), zur Nummerierung von Ermittlungsergebnissen in der Reihenfolge ihrer aufsteigenden
Zahlenwerte

82
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

j identifier for a particular level (ISO 5725-2).

identifier for a group of tests or for a factor (ISO 5725-3)

k identifier for a particular test result in a laboratory i at level j

L between-laboratory (interlaboratory)

m identifier for detectable bias

M between-test-sample

O operator-different

P probability

r repeatability

R reproducibility

T time-different

W intralaboratory

1,2,3, for test results, numbering in the order in which they were obtained

(1), (2), (3), for test results, numbering in the order of increasing magnitude

83
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Literaturhinweise

[1] ISO 5725-1:1994, Accuracy (trueness and precision) of measurement methods and results Part 1:
General principles and definitions

[2] ISO 5725-2:1994, Accuracy (trueness and precision) of measurement methods and results Part 2:
Basic method for the determination of repeatability and reproducibility of a standard measurement
method

[3] ISO 5725-3:1994, Accuracy (trueness and precision) of measurement methods and results Part 3:
Intermediate measures of the precision of a standard measurement method

[4] P. DAGNELIE, 1975, Thorie et mthodes statistiques, Les Presses Agronomiques de Gembloux.

[5] SHAYLE R. SEARLE, George CASELLA, Charles E. MCCULLOCH, 1992, Variance Components, Wiley-
Interscience.

[6] MILLIKEN and JOHNSON, Analysis of messy data, Vol I Design Experiments, Van Nostrand Reinhold
Company.

[7] George E.P. BOX, William G. HUNTER, J. STUART Hunter, Statistics for Experimenters. An introduction
to design, data analysis and model building. John Wiley and Sons.

[8] Vic BARNETT and Toby LEWIS, Outliers in statistical data, John Wiley and Sons.

Statistiksoftware-Programme 1)

S[1] SAS SAS Institute Inc,


SAS Campus Drive, Cary, NC 27513.

S[2] Statgraphics, Manugistics Inc.,


2115 East Jefferson St, Rockville, MD 20852

S[3] Statistica Statsoft


2300 East 14th St, Tulsa, OK 74104.

S[4] Minitab Minitab Inc.


3081 Enterprise Drive, State College, PA 16801-3008

S[5] SPSS SPSS Inc.


444N Michigan Ave., Chicago, IL 60611

S[6] S-Plus Insightful Corp.


1700 Westlake Avenue North, Suite 500, Seattle, WA 98109

1) Diese Auflistung ist weder vollstndig, noch bedeutet sie eine Empfehlung der aufgefhrten Produkte.

84
DIN ISO/TR 22971 (DIN SPEC 55318):2012-02

Bibliography

[1] ISO 5725-1:1994, Accuracy (trueness and precision) of measurement methods and results Part 1:
General principles and definitions

[2] ISO 5725-2:1994, Accuracy (trueness and precision) of measurement methods and results Part 2:
Basic method for the determination of repeatability and reproducibility of a standard measurement
method

[3] ISO 5725-3:1994, Accuracy (trueness and precision) of measurement methods and results Part 3:
Intermediate measures of the precision of a standard measurement method

[4] P. DAGNELIE, 1975, Thorie et mthodes statistiques, Les Presses Agronomiques de Gembloux.

[5] SHAYLE R. SEARLE, George CASELLA, Charles E. MCCULLOCH, 1992, Variance Components, Wiley-
Interscience.

[6] MILLIKEN and JOHNSON, Analysis of messy data, Vol I Design Experiments, Van Nostrand Reinhold
Company.

[7] George E.P. BOX, William G. HUNTER, J. STUART Hunter, Statistics for Experimenters. An introduction to
design, data analysis and model building. John Wiley and Sons.

[8] Vic BARNETT and Toby LEWIS, Outliers in statistical data, John Wiley and Sons.

Statistical software programs 1)

S[1] SAS SAS Institute Inc,


SAS Campus Drive, Cary, NC 27513.

S[2] Statgraphics, Manugistics Inc.,


2115 East Jefferson St, Rockville, MD 20852

S[3] Statistica Statsoft


2300 East 14th St, Tulsa, OK 74104.

S[4] Minitab Minitab Inc.


3081 Enterprise Drive, State College, PA 16801-3008

S[5] SPSS SPSS Inc.


444N Michigan Ave., Chicago, IL 60611

S[6] S-Plus Insightful Corp.


1700 Westlake Avenue North, Suite 500, Seattle, WA 98109

1) This bibliography is neither fully comprehensive nor constitutes an endorsement of the products listed.

85