MÉTRICAS PARA LA ESTIMACIÓN DE LOS … para predecir y controlar los defectos esperados, la...

1

MÉTRICAS PARA LA ESTIMACIÓN DE LOS DEFECTOS DEL SOFTWARE

Ramiro Carballo (GESEIN) [email protected] y 22 Abril 2005II Jornadas sobre Testeo de Software – ITI – UPV – Valencia

© Ramiro Carballo . GESEIN. Métricas de Defectos.JTS2005 – Valencia . Abril 2005

Asociación Española de Métricas de los Asociación Española de Métricas de los Sistemas InformáticosSistemas Informáticos

www.aemes.org

Hasta un total de 50 miembros...Hasta un total de 50 miembros...

2


Como en otras fases del ciclo de vida, también la fase de pruebas debe formar parte de un proceso definido, documentado y medido para poder ser gestionada. Las métricas utilizadas durante la fase depruebas, junto con las técnicas de estimación adecuadas, nos darán soporte para predecir y controlar los defectos esperados, la duración de las pruebas, los recursos dedicados, el tiempo medio entre defectos en distintos momentos de la entrega, los defectos remanentes, etc. Ante la incapacidad para entregar un producto 100% libre de defectos, durante el seguimiento del progreso de la fase de pruebas podremos predecir las desviaciones y determinar las acciones correctivas más convenientes para entregar el nivel calidad tolerado por el cliente en los plazos de tiempo acordados.

Métricas de Defectos


Incapacidad para:Estimar y planificar realístamente (sólo opiniones).Determinar el progreso (98%).Evaluar la calidad (núm. defectos).Reconocer mejoras.

En definitiva: pérdida de la posición competitiva.

Mediendo los ProcesosCostes de no medir

3


GESTIONAR LA FASE DE PRUEBAS:Imposibilidad para entregar software sin defectos¿Cuántos recursos necesitamos para probar?¿Cuánto costará la garantía del proyecto? ¿y el mantenimiento correctivo?Alto y desconocido coste de detección y corrección de defectos¿Cuándo acaban las pruebas?Las pruebas pagan la imposibilidad de cumplir los plazos¿Cuantos defectos estoy entregando?Imposible determinar la calidad tolerada por el clienteImposibilidad de gestionar el riesgo de un paso a produccíón

Necesidad de Predecir Defectos


DISCLAIMER: ;-)Cualquier parecido con un proceso software real es pura coincidenciaCiclos de Vida: ISO 12.207Libros de Ingeniería del Software o Gestión de ProyectosFaltan procesos imprescindiblesSuficiente para planteamiento de problemática y solución mediante medidas.

PROCESOS Y MEDIDAS

NECESIDAD DE PROCESO DEFINIDO Y MEDIDO para PODER GESTIONAR

Demming: “In God we trust. All others bring data!”

4


Un modelo teórico

Qué hacerQué hacer CómoCómo ConstruirConstruir ProbarProbar


Un modelo teóricoQué hacerQué hacer

REQUISITOS E.R.S.

ESTUDIO DE COSTES:

Oferta

Recursos

Gestión deCAMBIOS

5


Medidas Ciclo de VidaQué hacerQué hacer CómoCómo ConstruirConstruir ProbarProbar

ERS

REV

REV

REV

Diseño Código Result

REV

Valida

Valida

ControlControl

tamaño defectos

esfuerzo

duraciónIndice de Productividad = tamaño / esfuerzo

Tasa de defectos = defectos / tamaño


Estimación Ciclo de Vida

Qué hacerQué hacer

ERS

tamaño

Indice de Productividad

Tasa de defectos

ESTIMACIÓN

defectos

esfuerzo

duración

6


Diseño

Código

Medidas en PruebasQuéQué ProbarProbar

ERS

ControlControl

tamaño

esfuerzo

duración

0

20

40

60

80

100

120

t1 t2 t3 t4 t5 t6 t7 t8

Defectos conNiveles deCriticidad

defectos

tiempo

0

2

4

6

8

10

12

t1 t2 t3 t4 t5 t6 t7 t8

Personas

staff

progreso

Size

0

20

40

60

80

100

120S 1615141312111098765432S 65432

ESLOC

(thousands)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 *Jan'95

Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec Jan'96

Feb Mar Apr May Jun Jul

ActualInterpolatedPlanGreen CBYellow CB

S = Start 2 = G-CDR 3 = G-FCC 4 = C-CDR 5 = G-SIT 6 = C-FCC 7 = N-CDR 8 = CDR 9 = C-SIT10 = FCC11 = N-FCC12 = N-SIT13 = SIT14 = UOST15 = IOC16 = FOC

Size (ESLOC(K))PI 14.1MBI 4.1

Date 31/07/96 (19.00 mos)

Plan Actual %Diff89.92 49.03 -45.5

Size

0

20

40

60

80

100

120S 1615141312111098765432S 65432

ESLOC

(thousands)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 *Jan'95






Date 31/07/96 (19.00 mos)


Monthly MTTD Total (Hrs)<Current Solution>

6 8 10 12 14 16 18 20 22 24 26 28 30 32Jul'99

Sep Nov Jan'00

Mar May Jul Sep Nov Jan'01

Mar May Jul Sep

0

10

20

30

40

50

MTTD

Total (Hrs)

98765431

Project: Inc#2 Major capability 9...

hitoscomplejidad


Estimación en Pruebas

QuéQué

tamaño

Indice de ProductividadIndicadores de la Fase

de Pruebas

ESTIMACIÓN defectos

esfuerzo

duración

Total Defect Estimate - Inc#2 Major capability 90% functional

Monthly Defect Rate Total<Current Solution>

6 9 12 15 18 21 24 27 30Jul'99

Oct Jan'00

Apr Jul Oct Jan'01

Apr Jul

0

50

100

150

200

250

300

Defect R

ate Total

98765431

Monthly Defects Remaining Total<Current Solution>

6 9 12 15 18 21 24 27 30Jul'99

Oct Jan'00

Apr Jul Oct Jan'01

Apr Jul

0

500

1000

1500

2000

2500

3000

3500

Defects R

emaining Total

98765431


6 9 12 15 18 21 24 27 30Jul'99

Oct Jan'00

Apr Jul Oct Jan'01

Apr Jul

0

10

20

30

40

50

MTTD

Total (Hrs)

98765431

Monthly Cum Defects Total<Current Solution>

6 9 12 15 18 21 24 27 30Jul'99

Oct Jan'00

Apr Jul Oct Jan'01

Apr Jul

0

500

1000

1500

2000

2500

3000

3500

Cum

Defects Total

98765431


Diseño

Código

complejidad

ERS

7


Métricas en la Fase de PruebasTotal Defect Estimate - Inc#2 Major capability 90% functional


6 9 12 15 18 21 24 27 30Jul'99

Oct Jan'00

Apr Jul Oct Jan'01

Apr Jul

0

50

100

150

200

250

300

Defect R

ate Total

98765431


6 9 12 15 18 21 24 27 30Jul'99

Oct Jan'00

Apr Jul Oct Jan'01

Apr Jul

0

500

1000

1500

2000

2500

3000

3500

Defects R

emaining Total

98765431


6 9 12 15 18 21 24 27 30Jul'99

Oct Jan'00

Apr Jul Oct Jan'01

Apr Jul

0

10

20

30

40

50

MTTD

Total (Hrs)

98765431

Monthly Cum Defects Total<Current Solution>

6 9 12 15 18 21 24 27 30Jul'99

Oct Jan'00

Apr Jul Oct Jan'01

Apr Jul

0

500

1000

1500

2000

2500

3000

3500

Cum

Defects Total

98765431



Métricas en la Fase de PruebasDefect Discovery Rate by Severity - Inc#2 Major capability 90% functional

Monthly Defect Rate Priority 1<Current Solution>

6 8 10 12 14 16 18 20 22 24 26 28 30 32Jul'99

Sep Nov Jan'00


Mar May Jul Sep

0

10

20

30

40

50 Defect R

ate Priority 1

98765431


6 8 10 12 14 16 18 20 22 24 26 28 30 32Jul'99

Sep Nov Jan'00


Mar May Jul Sep

0

20

40

60

80

100 Defect R

ate Priority 2

98765431


6 8 10 12 14 16 18 20 22 24 26 28 30 32Jul'99

Sep Nov Jan'00


Mar May Jul Sep

0

20

40

60

80 Defect R

ate Priority 3

98765431


6 8 10 12 14 16 18 20 22 24 26 28 30 32Jul'99

Sep Nov Jan'00


Mar May Jul Sep

0

5

10

15

20

25

30 Defect R

ate Priority 4

98765431


6 8 10 12 14 16 18 20 22 24 26 28 30 32Jul'99

Sep Nov Jan'00


Mar May Jul Sep

0

5

10

15

20

25

30 Defect R

ate Priority 5

98765431


6 8 10 12 14 16 18 20 22 24 26 28 30 32Jul'99

Sep Nov Jan'00


Mar May Jul Sep

0

50

100

150

200

250

300 Defect R

ate Total

98765431


8


Métricas en la Fase de PruebasMean Time To Defect by Severity - Inc#2 Major capability 90% functional

Monthly MTTD Priority 1 (Hrs)<Current Solution>

6 8 10 12 14 16 18 20 22 24 26 28 30 32Jul'99

Sep Nov Jan'00


Mar May Jul Sep

0

50100

150

200

250

300 MTTD

Priority 1 (Hrs)

98765431


6 8 10 12 14 16 18 20 22 24 26 28 30 32Jul'99

Sep Nov Jan'00


Mar May Jul Sep

0

2040

60

80

100

120 MTTD

Priority 2 (Hrs)

98765431


6 8 10 12 14 16 18 20 22 24 26 28 30 32Jul'99

Sep Nov Jan'00


Mar May Jul Sep

0

25

50

75

100125

150 MTTD

Priority 3 (Hrs)

98765431


6 8 10 12 14 16 18 20 22 24 26 28 30 32Jul'99

Sep Nov Jan'00


Mar May Jul Sep

0

100

200

300

400

500 MTTD

Priority 4 (Hrs)

98765431


6 8 10 12 14 16 18 20 22 24 26 28 30 32Jul'99

Sep Nov Jan'00


Mar May Jul Sep

0

100

200

300

400

500 MTTD

Priority 5 (Hrs)

98765431


6 8 10 12 14 16 18 20 22 24 26 28 30 32Jul'99

Sep Nov Jan'00


Mar May Jul Sep

0

10

20

30

40

50 MTTD

Total (Hrs)

98765431



Métricas en la Fase de PruebasTotal Defects Remaining by Severity - Inc#2 Major capability 90% functional

Monthly Defects Remaining Priority 1<Current Solution>

6 8 10 12 14 16 18 20 22 24 26 28 30 32Jul'99

Sep Nov Jan'00


Mar May Jul Sep

0

100

200

300

400

500

600

Defects R

emaining Priority 1

98765431


6 8 10 12 14 16 18 20 22 24 26 28 30 32Jul'99

Sep Nov Jan'00


Mar May Jul Sep

0

200

400

600

800

1000

1200

Defects R

emaining Priority 2

98765431


6 8 10 12 14 16 18 20 22 24 26 28 30 32Jul'99

Sep Nov Jan'00


Mar May Jul Sep

0

200

400

600

800

1000

Defects R

emaining Priority 3

98765431


6 8 10 12 14 16 18 20 22 24 26 28 30 32Jul'99

Sep Nov Jan'00


Mar May Jul Sep

0

100

200

300

Defects R

emaining Priority 4

98765431


6 8 10 12 14 16 18 20 22 24 26 28 30 32Jul'99

Sep Nov Jan'00


Mar May Jul Sep

0

100

200

300

Defects R

emaining Priority 5

98765431


6 8 10 12 14 16 18 20 22 24 26 28 30 32Jul'99

Sep Nov Jan'00


Mar May Jul Sep

0

1000

2000

3000

Defects R

emaining Total

98765431


9


Métricas en la Fase de PruebasCost Plans - Inc#2 Major capability 90% functional

Monthly Cost Life Cycle ($)<Current Solution>

3 6 9 12 15 18 21 24 27 30Jan'99

Apr Jul Oct Jan'00

Apr Jul Oct Jan'01

Apr Jul

0

200

400

600

800

Cost Life C

ycle ($) (thou...

98765432

Monthly Cum Cost Life Cycle ($)<Current Solution>

3 6 9 12 15 18 21 24 27 30Jan'99

Apr Jul Oct Jan'00

Apr Jul Oct Jan'01

Apr Jul

0

4

8

12C

um C

ost Life Cycle ($)...

98765432

Cost by Skill Category - Inc#2 Major capability 90% functional<Current Solution>

Skill CategoriesRequirementsHL DesignDet DesignCodingIntegrationTestingPublication

Cost ($)125480712548072297874183830013787251838300459575

%9.899.89

18.1214.4910.8714.493.62

Cost by Skill Category<Current Solution>

RequirementsHL DesignDet Design

CodingIntegration

TestingPublication

ManagementMaintenance

Skill Categories

0 500 1000 1500 2000 2500 3000

Cost ($) (thousands)

Staffing & Cost Plans

This report shows the staffing plan both by phase and the aggregate for the project. It also shows the cumulative cost expenditure profile, monthlycash flow profile and the cost by labor category.


Métricas en la Fase de PruebasProduct Reliability Plan - Inc#2 Major capability 90% functional

Monthly Defect Rate<Current Solution>

6 9 12 15 18 21 24 27 30Jul'99

Oct Jan'00

Apr Jul Oct Jan'01

Apr Jul

0

100

200

300 Defect R

ate

98765431

Priority 1Priority 2Priority 3Priority 4Priority 5

Monthly Cum Defects<Current Solution>

6 9 12 15 18 21 24 27 30Jul'99

Oct Jan'00

Apr Jul Oct Jan'01

Apr Jul

0

1000

2000

3000

Cum

Defects

98765431


Monthly Defects Remaining<Current Solution>

6 9 12 15 18 21 24 27 30Jul'99

Oct Jan'00

Apr Jul Oct Jan'01

Apr Jul

0

1000

2000

3000

Defects R

emaining

98765431


Monthly MTTD (Hrs)<Current Solution>

6 9 12 15 18 21 24 27 30Jul'99

Oct Jan'00

Apr Jul Oct Jan'01

Apr Jul

0

400

800

1200 MT

TD

(Hrs)

98765431


Product Reliability Plan

This report shows the expected defect discovery rate and the expected Mean Time To Defect (MTTD) estimates for the recommended solution. Atthe end of the development we expect the software to run for <MTTD value> <MTTD Units>.

10


Métricas en la Fase de PruebasMTTD Probability Profile - Inc#2 Major capability 90% functional

MTTD Total (Hrs) Risk Profile<Current Solution>

0 10 20 30 40 50 60 70 80 90 100

Assurance Level (%)

0

20

40

60

80

100

MT

TD

Total (H

rs)

OT&EDT&EFQRTRRSTCSCIT

MTTD Total (Hrs) Risk Prof ile - Inc#2 Major capability 90% functional<Current Solution>

MTTD Total (Hrs)AssuranceLevel (%)

15

10152025303540455055606570758085909599

CSCIT5.8575.1624.7914.5414.3424.1714.0183.8763.7423.6123.4843.3563.2263.0912.9492.7962.6262.4272.1771.8061.111

ST7.8286.8996.4036.0695.8035.5755.3715.1815.0014.8274.6564.4854.3124.1323.9423.7373.5093.2442.9092.4141.485

TRR13.20511.63810.80210.2389.7909.4059.0608.7408.4378.1437.8557.5677.2736.9706.6506.3055.9205.4724.9084.0722.505

FQR18.73316.51015.32414.52413.88813.34212.85212.39811.96811.55211.14310.73410.3189.8889.4348.9448.3987.7626.9625.7763.553

MTTD Probability Profile

This report shows the MTTD probability for the overall project and the key major milestones. The expected MTTD estimate is positioned at the50% probability level. High assurance MTTD estimate would be in the 75% to 99% range.


EL REPOSITORIO

REPOSITORIOREPOSITORIO

la información almacenada en un repositorio de proyectos se puede considerar de variostipos:• datos fundamentales para la estimación, son aquellos cuyas relaciones determinan los

indicadores de productividad y otros ratios,• datos de búsqueda, utilizados para clasificar el proyecto y detectar situaciones

similares en el pasado,• datos de entrada al proceso de estimación, que pueden estar incluidos en los datos de

búsqueda o en los fundamentales, y que se utilizan como datos de origen para elcálculo,

• y datos de salida, los estimados, constituidos por el resto de información almacenadaen cada proyecto del repositorio que es susceptible de repetirse en nuevos proyectos.

11


EL REPOSITORIO DEL MODELO DE PUTNAM (SLIM)

REPOSITORIOREPOSITORIODatos Fundamentales:

TamañoEsfuerzoDuraciónDefectos

Datos de Búsqueda:TamañoTipo de Proyecto (Gestión, Telecomunicaciones, Tiempo Real, etc.) (Infiere Ratios del Grupo o Métricas : Productividad PI, Presión de tiempo MBI)

Datos de Entrada:TamañoProductividad Presión de Tiempo (opcional)


EL REPOSITORIO DEL MODELO DE PUTNAM (SLIM)


Datos Salida:Esfuerzo total y por cada faseDistribución del esfuerzo en cada fase mediante curvas de RayleighDistribución de esfuerzo por categorias profesionalesNúmero máximo de personas del equipo en cada faseDuración total y distribuída por fases

• Solapamiento entre fases• Fechas estimadas de hitos predefinidos• Defectos esperados en cada fase• Tiempo medio entre defectos (MTTD) al final de cada fase

Distribución de defectos en 5 niveles de criticidad

12


Monthly Avg Sta ff (people)<Current Solution>

2 4 6 8 1 0 1 2O c t'0 0

D e c F e b'0 1

Ap r J u n A u g O c t D e c

0

1 0

2 0

3 0

4 0

5 0

6 0

Avg S

taff (people)

1 098654321

R & DD e & P rP _ M n t

M ile s to n e s 0 - C S R 1 - S R R 2 - H L D R 3 - L L D R 4 - C U T 5 - IC 6 - S T C 7 - U A T 8 - FC R 9 - 9 7 R 1 0 - 9 9 R

Pr o je c t : G O M

GESTIÓN CUANTITATIVA DEL SOFTWARE

TAMAÑOTAMAÑO

PRODUCTIVIDADPRODUCTIVIDAD

TIPO DE PROYECTO

TIPO DE PROYECTO



Size

0

20

40

60

80

100

120S 1615141312111098765432S 65432

ESLOC

(thousands)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 *Jan'95






Date 31/07/96 (19.00 mos)


Size

0

20

40

60

80

100

120S 1615141312111098765432S 65432

ESLOC

(thousands)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 *Jan'95






Date 31/07/96 (19.00 mos)


Evalúa el Progreso respecto del Plan

Los datos actuales estánfuera de las bandas de controlde la desviación

Los semáforos avisan cuando se necesita replanificar

13

Size

0

20

40

60

80

100

120S 1615141312111098765432S 1615141312111098765432

ESLOC

(thousands)

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 *Jan'95



ActualInterpolatedForecastPlanGreen CBYellow CB


Size (ESLOC(K))PI 14.1 11.5 -18.2MBI 4.1 3.1 -13.7

Date 31/07/96 (19.00 mos)

PlanActual/

Forecast %Diff89.92 89.57 -0.4

Si la predicción es mala . . . se replanifica

QSM ajusta una curva a los datos actuales para encontrar la nueva fecha de finalización


Seguimiento del Progreso contra Estimación inicial: Estimar, Controlar, y Predecir el finalusando SLIM Control

Gantt Chart

Maint

MB

S 742S 742

3 9 15 21 27 *Jan'96

Jul Jan'97

Jul Jan'98

Jul

Aggregate Staffing Rate

050100150

S 742S 742

People

3 9 15 21 27 *Jan'96

Jul Jan'97

Jul Jan'98

Jul

Total Cum Effort

0

1000

2000

S 742S 742

PM

3 9 15 21 27 *Jan'96

Jul Jan'97

Jul Jan'98

Jul

Total Defect Rate

0100200300

S 742S 742

Defects

3 9 15 21 27 *Jan'96

Jul Jan'97

Jul Jan'98

Jul

Total Cum Normalized Defects

0

1000

2000

S 742S 742

Defects

3 9 15 21 27 *Jan'96

Jul Jan'97

Jul Jan'98

Jul

Total MTTD

0

40

80

S 742S 742

Days

3 9 15 21 27 *Jan'96

Jul Jan'97

Jul Jan'98

Jul

Size

0

200

400

600S 742S 742

ES

LOC

(thousands)3 9 15 21 27 *Jan'96

Jul Jan'97

Jul Jan'98

Jul

Total Cum Cost

0

20

40

60S 742S 742 $ (m

illions)

3 9 15 21 27 *Jan'96

Jul Jan'97

Jul Jan'98

Jul

Elapsed MonthsAgg. StaffTotal Cum Effort (PM)Total Defect RateTotal Cum Normal DefectsTotal MTTD (Days)Size (ESLOC(K))Total Cum Cost ($ M)PI 18.6 16.8 -9.7

Date 12/6/97 (19.18 mos)

PlanActual/

Forecast %Diff18.52 18.52 0.024.17 81.45 237.0

1338.99 1746.07 30.44 9 96.4

1622 1044 -35.65.06 2.53 -50.0

398.54 443.40 11.330 39 30.4

Current Plan Actual Interpolated Current Forecast Green Control Bound Yellow Control Bound Life Cycle includes MB, MaintS = Start, 2 = DDES, 4 = CUT, 7 = DEL

14


SOFTWARE ENGINEERING INSTITUTE (SEI) Universidad Carnegie Mellon http://www.sei.cmu.edu/cmmi

www.AEMES.org

Personalmente: [email protected]

El portal www.CalidaddelSoftware.com(lista de distribución de correos)

MAS INFORMACIÓN:


MÉTRICAS PARA LA ESTIMACIÓN DE LOS … para predecir y controlar los defectos esperados, la...

Documents

Transcript of MÉTRICAS PARA LA ESTIMACIÓN DE LOS … para predecir y controlar los defectos esperados, la...