valuation de laptitude des organisations dvelopper du logiciel

pierre-alain.muller@uha.fr

Normes, dmarches, mthodes

ISO

9000 CMMI SPICE NF Logiciel DoD 2167a DO 178B

Certification ISO 9000

Rfrences

de qualit incontestes Large place la notion de processus Linformatique prenant une part prpondrante dans la gestion des processus, il est donc normal que les directions informatiques soient concernes en premier chef par la dmarche ISO 9000

Principe dISO 9000

"Dire ce qu'on fait, crire ce qu'on a dit,
Fournir

faire et prouver ce qu'on a crit."

rgulirement des produits ou des services qui rpondent aux besoins des clients sur le plan de la qualit.
Etude des processus, c'est--dire la manire de travailler de l'entreprise, et non sur ses produits, en considrant qu'une bonne pratique doit conduire de bons rsultats.

La

norme impose que :

chaque processus soit dcrit en dtail chaque point dcrit soit vrifi lors d'un audit.

La famille ISO 9000 - Qualit gnrale

ISO

qualit Principes essentiels et vocabulaire qualit Exigences

9000:2000 - Systmes de management de la 9001:2000 - Systmes de management de la

ISO

publie le 15 dcembre 2000 annule et remplace les ditions 1994 des normes ISO 9001, ISO 9002 et ISO 9003. Intgre les obligations que doit satisfaire un entreprise dont l'activit va de la conception et du dveloppement la production, l'installation et aux prestations associes.

La famille ISO 9000 - Qualit gnrale

ISO

de la qualit Lignes directrices pour l'amlioration des performances

9004:2000 - Systmes de management

Cette norme de lignes directrices fournit des conseils pour une amlioration continue du systme de management de la qualit.

La famille ISO 10000 - Plan de qualit, gestion de projet

ISO

Lignes directrices pour les plans qualit

10005:1995 - Management de la qualit

pour aider la prparation, la revue, l'acceptation et la rvision des plans qualit.

ISO

Lignes directrices pour la qualit en management de projet

aide garantir la qualit des processus et du produit final du projet.

10006:1997 - Management de la qualit

ISO

Lignes directrices pour la gestion de configuration

assure qu'un produit complexe continue de fonctionner lorsque l'on change des composants individuellement.

10007:1995 - Management de la qualit

La famille ISO 10000 - Plan de qualit, gestion de projet

ISO

l'laboration des manuels qualit

10013:1995 - Lignes directrices pour

prparation et matrise des manuels qualit.

ISO

10015:1999 - Lignes directrices pour la formation

formations affectant la qualit des produits.

ISO 12207
rfrentiel du cycle de vie d'un dveloppement logiciel (1995) Cette norme pour objectif de poser les base du processus logiciel pris dans sa gnralit avec des processus de base, des processus supports et des processus organisationnels.
Le

Processus de base
Acquisition

pour l'organisme lui mme Activits du fournisseur Dveloppement du logiciel Exploitation du systme informatique et des services associs Maintenance du logiciel

Les processus support

Documentation du logiciel Gestion de configuration Assurance

et de son cycle de vie,

qualit avec les revues, audit et vrification Vrification Validation Revue conjointe Audit pour la vrification de la conformit aux exigences Rsolution de problmes et de non conformits en cours de dveloppement et l'exploitation

Les processus organisationnels

de toutes les activits, y compris la gestion de projet Infrastructure ncessaire un processus Pilotage et amlioration du cycle de vie Formation du personnel
Management

CMM et CMMI
1980

- Bonnes pratiques du gnie logiciel

Une demande du DoD Rfrentiel de critres pour valuer les fournisseurs de logiciel
1991

- CMM (Capability Maturity Model)

SEI (Software Engineering Institute) financ par le DoD http://www.sei.cmu.edu/cmmi/

Variantes du CMM
SW-CMM

(Software Engineering) SE-CMM (System Engineering) SA-CMM (Software Acquisition) IPD-CMM (Integrated Product Development) P-CMM (Ressources Humaines) SS-CMM (Supplier Sourcing)

CMMI
En

2001, le SEI a propos une nouvelle version de son modle, le CMMI (Capability Maturity Model Integration) qui englobe les bonnes pratiques des autres modles (sauf la gestion des ressources humaines qui n'est pas encore considre).

CMM : 5 niveaux de maturit

1 - Initial : Procdures et autorit mal dfinies. La russite des projets dpend du savoir-faire de quelques personnes cls. Aucune ou mauvaise application des principes du gnie logiciel. Difficult matriser les cots et les dlais. 2 - Reproductible : Utilisation de mthodes standards pour grer les activits de dveloppement. Le dveloppement est planifi et suivi. Lquipe matrise et applique des rgles. Bonne gestion des cots et des dlais.

CMM : 5 niveaux de maturit

3 - Dfini : Utilisation des mthodes du gnie logiciel et application des normes. L'efficacit de chacun des processus est vrifie et les meilleures pratiques sont mises en avant. Processus bien dfinis et raisonnablement compris. 4 - Matris : Collecte et analyse systmatique des donnes sur les processus. Les processus sont mesurs, les risques calculs et devancs. Processus bien compris, quantifis, mesurs et raisonnablement matriss.

CMM : 5 niveaux de maturit

5

- Optimis : Utilisation des donnes pour l'amlioration itrative des processus, capitalisation de l'exprience. Tous les processus sont optimiss. Toutes les volutions sont apprhendes. Matrise des processus.

Principe de CMMI
Description

des diffrentes phases de l'valuation des processus 25 domaines de processus

Dcoupage de l'environnement de dveloppement (Gestion des exigences, Planification de projet, Validation...).
Chaque

domaine de processus contient des objectifs atteindre, ainsi que la description des pratiques auxquelles on fera appel
Planifier les processus, Fournir les ressources, Assigner les responsabilits, Former les personnes...

valuation de la maturit
Le

niveau de maturit permet dvaluer l'entreprise.

Niveau 1 est le niveau de dpart. Niveaux 2 et 3, organisations bien rodes, le 3 attestant de processus jugs gnralement suffisamment optimiss et scuriss. Niveaux 4 et 5, structures trs ractives, capables de surveiller et d'amliorer en permanence leur activit.

SCAMPI
Mthode

facultative pour valuer le niveau de maturit SCAMPI (Standard CMMI Appraisal Method for Process Improvement). Il existe des certifications dcernes par le SEI, mais il s'agit de certifier l'aptitude des tiers former aux mthodes CMMI et SCAMPI, ainsi qu' fournir des services d'valuation.

Diffrences ISO 9000 et CMMI

Le

domaine d'application de l'ISO 9001 est plus large que celui du CMMI
CMMI s'applique principalement aux pratiques de dveloppement et de maintenance. ISO 9001 s'applique l'ensemble des activits d'une organisation.

Le

CMMI fait 729 pages, contient normment d'exemples. ISO 9001 contient 23 pages, l'ensemble des normes de la famille ISO 9000 contient 146 pages.

niveau d'abstraction est galement diffrent :

Le

CMMI est donc moins sujet interprtation, chaque pratique du modle tant largemment commente.

Diffrences de pratiques dvaluation

CMMI

Une organisation se fait valuer par une quipe constitue d'un valuateur certifi par le SEI, accompagn d'une quipe d'valuation, typiquement constitue de membres de l'organisation value et ventuellement d'valuateurs extrieurs l'organisation value.
ISO

9001

Une organisation se fait auditer par un auditeur abilit par l'ISO effectuer des audits ISO 9001.
En

pratique, l'valuation CMMI dure plus longtemps et va plus en profondeur qu'un audit ISO.

Diffrences de pratiques dvaluation

CMMI

Le rsultat de l'valuation est une liste de forces et de faiblesses destine entamer une dmarche d'amlioration. Eventuellement lquipe dvaluation donne un niveau de maturit lorganisation value.
ISO

9001

Le rsultat de l'audit ISO 9001 est un certificat, preuve que lorganisation audite rpond aux exigence de la norme.

Complmentarit ISO 9000 - CMMI

Le

niveau 2 du CMMI couvre une grande partie des exigences de l'ISO 9001, mme si certaines exigences de la norme se retrouvent plus spcifiquement au niveau 3 du modle CMMI. Certains chapitres de l'ISO ne se retrouvent pas dans le CMMI : par exemple le chapitre 7.6 concernant les appareils de mesure. Inversement, le CMMI traite de la gestion des risques, contrairement l'ISO 9001 qui n'aborde pas ce sujet.

SPICE
SPICE

(Software Process Improvement and Capability dEtermination) Norme ISO (ISO/CEI 15504) pour standardiser l'valuation des processus logiciels SPICE est cohrent avec CMMI, mais aussi ISO 9000 et ISO 12207.

SPICE
d'valuation de la matrise de conduite du projet. Rfrentiel des pratiques cls destin tout projet de dveloppement ou de maintenance du logiciel Deux grands axes dtude
Outil

Processus (5 thmes) Maturit (6 niveaux)

valuation du processus
1. 2. 3. 4. 5.

relations client-fournisseur ingnierie support

interface avec les autres processus

relations avec le client dveloppement du logiciel

gestion organisation

administration du dveloppement environnement d'exploitation

valuation de la maturit
0.

incomplet
le processus n'est pas ralis, ou bien il n'atteint son objectif que partiellement ou bien le rsultat nest pas facilement identifiable. Rptabilit des processus,

1.

effectu
les objectifs du processus sont atteints, les pratiques de base sont employes, les produits en fournissent la preuve. Le processus est gr au niveau de l'individu

Pertinence par rapport aux objectifs de l'entreprise

valuation de la maturit
2.

gr
les produits sont vrifis et conformes aux standards. La planification s'effectue au niveau projet et est respecte, aussi bien au niveau du processus lui-mme que des produits issus du processus,

3.

tabli
les activits s'effectuent suivant un processus standard dfini au niveau de l'organisation. Le processus est bas sur des pratiques documentes standards adaptes aux besoins de chacun. Comparaison face un rfrentiel.,

Evaluation de la maturit
4

prvisible
le droulement du processus et de la qualit des produits sont quantifis et les performances sont prvisibles

Obtention dun niveau de qualit prdfini

5

optimis
l'organisation est capable d'amliorer de faon continue ses processus pour les adapter suivant les objectifs

Soutien de lamlioration de la productivit

SPICE en 9 documents
1.

les concepts fondamentaux 2. l'ingnierie des processus 3. l'valuation du niveau d'aptitude 4. la conduite de l'valuation 5. les outils, le guide des indicateurs dvaluation 6. la qualification des valuateurs 7. l'amlioration des processus 8. les aptitudes des fournisseurs 9. la terminologie (rfrentiel)

SPICE en images

SPICE en images

NF Logiciel
marque NF Logiciel est applicable tout type de logiciel auquel elle apporte une garantie de qualit (certification norme ISO/CEI 12119) Assure le client de la conformit la ficheproduit, de la prennit des caractristiques du logiciel ainsi que du service aprs-vente. Complmentaire de ISO 9000 qui s'intresse plutt aux mthodes qu'au rsultat
La

NF Logiciel
Le

dossier de certification est ralis avec l'entreprise et il inclut :

les documentations commerciales et techniques du produit le dossier de test la description de l'organisation qualit de l'entreprise

NF Logiciel
La

certification porte sur :

la conformit la norme ISO/CEI 12119 l'analyse des documentations et la conformit du produit cette description un audit du systme qualit, pour vrifier le respect des exigences d'assurance qualit

DOD-STD-2167A
DOD-STD-2167A

(Department of Defense Standard 2167A),

titled "Defense Systems Software Development" a United States defense standard published on February 29, 1988

Established

"uniform requirements for the software development that are applicable throughout the system life cycle.
Designed to be used with DOD-STD-2168, "Defense System Software Quality Program".

2167a criticisms
Biased

toward the Waterfall Model Required "formal reviews and audits" that seemed to lock the vendor into designing and documenting the system before any implementation began

MIL-STD-498
On

December 5th, 1994 DOD-STD-2167A was superseded by MIL-STD-498, which merged DOD-STD-2167A, DOD-STD-7935A, and DOD-STD-2168 into a single document, and addressed some vendor criticisms.

DO-178B
Standard

pour le dveloppement de logiciels dans le domaine aronautique

Software Considerations in Airborne Systems and Equipment Certification (Rglementation pour le dveloppement de logiciels dans le secteur aronautique)

DO-178B-Levels
Consquences

logiciels

des ventuelles erreurs de

catastrophiques (niveau A) dangereuses / difficiles (niveau B) majeures (niveau C) mineures (niveau D) sans effet sur la scurit (niveau E).

Couvertures de tests
DO-178B

Niveau A

Modified Condition Decision Coverage : MC/DC Branch/Decision Coverage Statement Coverage

DO-178B

Niveau B Niveau C

Branch/Decision Coverage Statement Coverage

DO-178B

Statement Coverage

Et bien dautres
ISO

90003

Normes pour le management de la qualit et l'assurance de la qualit

ITIL

Information Technology Infrastructure Library Qualit de service pour un centre informatique

BS

15000

(Best Practices) pour la fourniture et le management de service IT

Et bien dautres
ISO

20000

Management de la Qualit de Service pour un centre de production informatique

eSCM-SP

Rfrentiel de l'infogrance informatique

COBIT

L'audit de la gouvernance des SI

NF

X 50-151 (AFNOR)

Elaboration d'un Cahier des Charges Fonctionnel

Et bien dautres
ISO ISO ISO ISO

17799 27001 9126 12119

grer la scurit d'un systme d'information Management de la Scurit de l'Information Les caractristiques qualits pour le logiciel Le rfrentiel pour le label NF Logiciel