Evaluación de

Impacto de la

Reforma

SISTEMA NACIONAL

DE CONTRATACIÓN

PÚBLICA

(y Modelo Econométrico)

INCOP / HEXAGON GROUP

2007-2008 VS 2009-2010

Quito, Abril 2012

LÍDER CONSULTOR

ECON. ROBERTO SALAZAR C.

INDICE

Contexto Estratégico

Objetivos

Hipótesis

Metodología

Resultados

Conclusiones

Recomendaciones

Tiempo Estimado de Presentación: 60 minutos

Preguntas y Discusión: 30 minutos

Contexto

Estratégico

Fuente: Plan Estratégico INCOP 2009-2012 (Dic, 2008)

Objetivos Presentar el Informe Final de Evaluación

Internacional Independiente realizado por Hexagon Group en términos cuanti y cualitativos

Presentar información primaria levantada con INCOP, proveedores del Estado, y Entidades Públicas.

Mostrar análisis y conclusiones sobre el Sistema Nacional y el Portal de Compras Públicas y su impacto socio-económico observable.

Hipótesis

Metodología Revisión de evaluaciones previas (OECD-DAC/BID) e

informes (INCOP) y Diseño Cuasi Experimental (situación antes vs después del portal de compras públicas: 2007/2008 vs 2009/2010)

Contrastación Cuanti-Cualitativa: Cuantitativa:

Marco muestral: proveedores y entidades permanentes (cruce Contratanet/Portal);

Encuestas a proveedores y entidades;

Modelización econométrica (modelos tipo logit).

Cualitativa: Talleres con proveedores y entidades (por separado);

Estudios de caso de herramientas permanentes: consultoría (cd, lc, cp), cotización y licitación

Resultados tras contraste de

información cuanti y cualitativa

ITEM IMPACTO

POSITIVO

IMPACTO

NEUTRO

IMPACTO

NEGATIVO

INDETERMINADO

Institucionalidad+

Ahorro +

Transparencia + + + +

Calidad + + + +

Oportunidad +

Equidad + + +

Crecimiento + + +

Otros (Varios) + + +

Diseño Muestral

MUESTREO ENTIDADES

TOT TOTAL Gr Me Mi+Pe Gr+Me TOTAL Sect. Prior. Otro

185 717 519 1631 1236 2867 1714 1153

a 95% 95% 95% 95% 95% 95% 95% 95%

k 1.96 1.96 1.96 1.96 1.96 1.96 1.96 1.96

N 185 717 519 1,631 1,236 2,867 1,714 1,153

p 15% 15.0% 15.0% 15.0% 15.0% 15.0% 15.0% 15.0%

q 85% 85.0% 85.0% 85.0% 85.0% 85.0% 85.0% 85.0%

e 5.3% 6.6% 7.9% 6.0% 5.0% 3.9% 5.6% 5.3%

n 91 98 69 126 167 293 141 152

dif 0 0 0 0 0 0 0 0

n para 10% 39 46 45 48 47 139 48 47

MODELO 0 MODELO 1 MODELO 2 MODELO 3 MODELO 4 MODELO 5

PROVEEDORES

Resultados: Cuadros Entidades

OPORTUNIDAD

Resultados: Cuadros Entidades

AHORRO

Resultados: Cuadros Entidades

EFICACIA Y EFICIENCIA

Resultados: Cuadros EntidadesEFECTIVIDAD: AHORRO, TIEMPO Y CALIDAD

Calidad

Frecuencia PorcentajeVálidos

Porcentaje

Acumulado

Porcentaje

Sí ha disminuido la calidad 47 51.1 51.1 51.1

No ha disminuido la calidad 36 39.1 39.1 90.2

Al contrario, ha mejorado la calidad 9 9.8 9.8 100.0

Total 92 100.0 100.0

PROBIT p21 (Institucionalidad) = f ( dp8(0 1):

dummy de sector estratégico; dp33: dummy

de mejora de calidad; p16_15: dummy de

Ahorro con subasta inversa)

/LOG NONE /MODEL LOGIT (ENTIDADES)

SECTOR LB E[] UB LB E[] UB

NO EST. NAC. 0 0 1 0 1 2

EST. NAC 0 1 1 0 1 3

B0+B1B0

Donde: LB=Mínimo; UB=Máximo; E[]: Valor Esperado. En Intervalo de Confianza

B0: Situación sin ningún atributo=1; B0+B1: Situación con todos los atributos =1 (todas las dummies).

Números representan saltos positivos o nulos (categóricos) e.g. 3 saltos sería un paso desde nulo,

pasando por bajo y medio, a alto…

Resultados: Cuadros Proveedores

AHORRO, POR TAMAÑO

¿Ahorro o Gasto? MiPe MeGr PROM.

Insumo de oficinas (papel, copias, tinta, etc) 6% -2% 2%

Movilización y visitas a entidades 10% 13% 11%

Comunicación (llamadas, conferencias, correos, otros) 51% 33% 42%

Compras de bases 81% 72% 77%

gastos legales (notarización de documentos requeridos, y otros) 44% 13% 29%

gastos de representación y presupuesto de relaciones públicas 70% 40% 55%

TOTAL 54% 23% 39%

Resultados: Cuadros Proveedores ATRIBUTOS VARIOS POR TAMAÑO Y SECTOR

ATRIBUTO EVALUADO EN PROVEEDORES MiPe y No Est MiPe y Est MeGr y No Est MeGr y EstPROMEDIO

SIMPLE

TRANSPARENCIA -1% 4% 19% 16% 9%

ETICA 13% -2% 16% 13% 10%

OPORTUNIDAD 25% 39% 51% 44% 40%

EQUIDAD -5% 2% 8% 2% 2%

AHORRO 19% 39% 34% 38% 32%

CALIDAD 5% 20% 1% 4% 8%

No Elusión de Procedimientos 19% 25% 30% 38% 28%

Coordinación Interinstitucional (Entre Entidades) 21% 37% 32% 33% 31%

TOTAL (PROMEDIO SIMPLE) 12% 21% 24% 24% 20%

Resultados: Cuadros Proveedores

OPORTUNIDAD

PROVEEDORES Cross Tabs

Ahorro/ Calidad/Equidad

Negativo Neutro Positivo

Negativo 9.9% 5.1% 2.0% 17.1%Neutro 7.5% 20.5% 5.8% 33.8%Positivo 10.2% 12.6% 26.3% 49.1%

27.6% 38.2% 34.1% 100.0%

P31: El uso del portal como parte del

SNCP ¿qué tipo de resultados ha dado En

cuanto a: CALIDAD?

P31: El uso del portal como parte

del SNCP ¿qué tipo de resultados

ha dado En cuanto a:AHORRO?

TOTAL

FILA

TOTAL COLUMNA

Negativo Neutro Positivo

Negativo 12.6% 3.4% 1.0%

17.1%Neutro 9.2% 20.1% 4.4% 33.8%Positivo 7.2% 16.7% 25.3% 49.1%

29.0% 40.3% 30.7% 100.0%

TOTAL

FILA

P31: El uso del portal como parte del

SNCP ¿qué tipo de resultados ha dado En

cuanto a: EQUIDAD?

P31: El uso del portal como parte del

SNCP ¿qué tipo de resultados ha

dado En cuanto a:AHORRO?

TOTAL COLUMNA

Negativo Neutro Positivo

Negativo 11.3% 2.7% 1.4%

15.4%Neutro 12.3% 22.5% 5.8% 40.6%Positivo 5.5% 15.0% 23.5% 44.0%

29.0% 40.3% 30.7% 100.0%

P31: El uso del portal como parte del

SNCP ¿qué tipo de resultados ha dado En

cuanto a: EQUIDAD?

P31: El uso del portal como parte del SNCP

¿qué tipo de resultados ha dado En cuanto

a: Cumplimiento de normas vigentes (no

elusión de procedimientos)?

TOTAL

FILA

TOTAL COLUMNA

Negativo Neutro Positivo

Negativo 18.4% 4.4% 1.4%

24.2%Neutro 7.8% 26.3% 7.2% 41.3%Positivo 2.7% 9.6% 22.2% 34.5%

29.0% 40.3% 30.7% 100.0%

P31: El uso del portal como parte del

SNCP ¿qué tipo de resultados ha dado En

cuanto a: EQUIDAD? TOTAL

FILAP31: El uso del portal como

parte del SNCP ¿qué tipo de

resultados ha dado En cuanto a:

TRANSPARENCIA?

TOTAL COLUMNA

PROVEEDORES Cross Tabs

No Elusión/Equidad/Transparencia

Negativo Neutro Positivo

Negativo 8.2% 4.1% 2.4%

14.7%Neutro 3.1% 16.0% 11.3% 30.4%Positivo 5.8% 13.7% 35.5% 54.9%

17.1% 33.8% 49.1% 100.0%

P31: El uso del portal como parte del

SNCP ¿qué tipo de resultados ha dado En

cuanto a:AHORRO? TOTAL

FILAP31: El uso del portal como

parte del SNCP ¿qué tipo de

resultados ha dado En

cuanto a: OPORTUNIDAD?

TOTAL COLUMNA

PROVEEDORES Cross Tabs

Oportunidad/Ahorro

Modelo de

Probabilidad

de Aumento

de Ventas

Variable Estimador

Transform.

No Estrat.

Transform.

Estrat.

Sig.

(Prob. Error)

Aumento L 0.350 23% 24% 0%

Aumento K 0.092 21% 23% 2%

Mayor Especialización 0.292- 20% 21% 0%

Acceso a Oportunidades 0.248 22% 24% 0%

Precio 0.113- 21% 22% 0%

Calidad 0.138 22% 23% 0%

TOTAL 129% 136%

En este caso, se concluye que lasempresas que manifiestan haberaumentado sus factores de trabajo ocapital, su especialización, observadooportunidades de acceso, ajustado sus

precios como respuesta a la reforma, asícomo realizado cambios estratégicos entérminos de calidad, podrían tenerretornos de entre 20% a 23% enincrementos en su probabilidad de vendermás con la reforma, si son proveedores desectores no estratégicos, mientras quepodrían haber incrementado entre 21% a24% si proveen a sectores estratégicos delEstado. En cada variable.En su conjunto, una empresa que ha respondido positivamente en todos los puntos anteriores, podría haber incrementado su probabilidad de ventas, en la situación “con” versus la situación “sin” portal en un 129%, si es proveedor de sectores no estratégicos, y de 136% si es proveedor de sectores estratégicos.

ANALISIS ADICIONALESCuantitativos

Oferta y Demanda: P5¿Qué porcentaje de sus ventas totales se dirige al sector público?

Frecuencia Porcentaje % Válidos % Acumulado

0 a 20% 74 25.3 25.3 25.3

21 a 40% 49 16.7 16.7 42.0

41 a 60% 45 15.4 15.4 57.3

61 A 80% 69 23.5 23.5 80.9

Más de 80% 56 19.1 19.1 100.0

Total 293 100.0 100.0

P10: Cuál fue el presupuesto asignado a su Entidad en estos años (en millones de US$) 2007 al 2010

PRESUPUESTO

ASIGNADOMILLONES US$

2007 2008 2009 2010

Diferencia PP

2010 – 2007

0 a 5 46 37.0 33.7 27.2 -18.5

6 a 10 11 16.3 14.1 14.1 3.3

11 a 20 7 4.3 7.6 13.0 6.5

21 a 50 12 15.2 15.2 10.9 -1.1

51 a 100 9 10.9 12.0 14.1 5.4

101 a 200 2 2.2 3.3 4.3 2.2

201 a 500 4 2.2 2.2 3.3 -1.1

Más de 500 10 12.0 12.0 13.0 3.3

Total 100 100.0 100.0 100 0.0

VENTAS EMPRESAS: Sin Portal

(07/08)

Con Portal

(09/10)

Con vs Sin

(Difer. PP)

TAC Ventas Gral. 2.46 2.76 0.30

TAC Vtas Sec.Pub. 2.26 2.58 0.32

Diferencial (%) 7%

P19: % del total de ventas realizado al sector público de Ecuador (en

particular): 2007/2008 vs 2009/2010

VENTAS AL S. PUBLICO 2007/2008 2009/2010 Diferencia PP

0 a 20% 43.0 37.5 -5.5

21 a 40% 13.3 16.7 3.4

41 a 60% 18.8 13.7 -5.1

61 a 80% 10.9 16.75.8

Más de

80%

14.0 15.4

1.4

Total 100.0 100.0 0.0

P14.2: # Días(cal) para realizar CCPP (Licitación): 2007/08 vs 2009/10

DIAS

CALENDARIO2007/2008 2009/2010

Difer. PP

Con vs Sin

Portal

No Usa Esta

Herramienta

64.1 50.0 -14.1

Entre 7 y 15 1.1 1.1 0.0

Entre 16 y 30 8.7 22.8 14.1

Entre 31 y 45 6.5 18.5 12.0

Entre 46 y 60 7.6 3.3 -4.3

Más de 60 12.0 4.3 -7.6

Total 100.0 100.0 0.0

P21: ¿Con qué frecuencia participó su empresa en procesos de contratación pública?

(2007-2010)

PARTICIPACION EN SNCP:

2007 2008 2009 2010

Difer. PP:

2010-2007

Alta 14.7 17.7 30.0 38.6 23.9

Media 27.3 37.9 38.9 30.4 3.1

Baja 33.4 32.4 27.6 28.7 -4.8

NO ha

Participado

24.6 11.9 3.4 2.4 -22.2

Total 100.0 100.0 100.0 100.0 0.0

P22: Grado de crecimiento de sus oportunidades de participar en procesos

de contratación pública: 2007-2010

OPORTUNIDADES

SNCP 2007 2008 2009 2010 2010-2007

muy alto 2.0 2.4 1.7 3.4 1.4

alto 9.6 10.9 18.8 23.5 14.0

medio 20.1 30.0 39.6 35.2 15.0

bajo 36.5 41.6 33.1 31.7 -4.8

nulo 31.7 15.0 6.8 6.1 -25.6

Total 100.0 100.0 100.0 100.0 0.0

P23: Con respecto al total de procesos en que participó,

¿% de procesos adjudicados? 07-08 vs 09-10

2007-2008 2009-2010

Diferencia

PP

Más de

60%

6 7

0.68

46 a 60% 9 101.37

31 a 45% 9 101.02

16 a 30% 15 21 6.48

0 a 15% 62 52-9.56

Total 100 1000.00

CUALITATIVO

TALLERES Y CASOS

TEMA PUNTAJE (%)

1. 4.1 esquema normativo para la Contratación Pública 59 (94%)

2. 6.2 Sistemas para mejorar la calidad de los bienes, servicios y obras (garantías técnicas, pliegos claros, etc.)

59 (94%)

3. 1.3 Se observa ahorro por una optimización del presupuesto institucional (mejores precios)

57 (90%)

4. 6.1 calidad de los bienes y servicios provistos 56 (89%)

5. 2.1 La reforma institucional ha generado oportunidades para micro, pequeños y medianos oferentes

56 (89%)

6. 2.4 La introducción del portal ha contribuido al incremento en el número de proveedores (más ofertas = más alternativas para contratar)

56 (89%)

TOOLKIT ENTIDADES

951955940954941944952953957946948956949950942943947945964958939962961963960938

INTERESES ENTIDADESPARA/DESDE EL INTERES DEL PAIS

3.2 Mejora en el nivel de Transparencia por calidad de

información

75%

2.3 La reforma institucional ha promovido las oportunidad para

las ofertas de origen nacional

75%

6.3 Criterios de adjudicación (calidad/precio) 74%

5.2 Procesos culminados exitosamente (tiempo/costo/calidad) 73%

2.4 La introducción del portal ha contribuiddo al incremento en

el número de proveedores (mas ofertas = mas alternativas para

contratar)

72%

3.3 Mejorar la ética por vía del desarrollo de capacidades en

departamentos y funcionarios

71%

1.2 El ahorro depende dela Reducción / aumento en Tiempo

(elaboración de pliegos, búsqueda de ofertantes, pasos del

proceso de contratación, firma de contratos, etc.)

71%

2.1 La reforma institucional ha generado oportunidades para

micro, pequeños y medianos oferentes

70%

3.6 Transparencia se da por igualdad de trato de partícipes 70%

2.10 Sectorialización Territorial de Proveedores 69%

3.5 La transparencia se ha visto mejorado por la existencia de

modelos obligatorios de pliegos (bases)

68%

1.1 El ahorro obedece a una reducción (o aumento) en costos

administrativos (publicaciones, bases de proveedores propias,

comunicación, insumos y movilización)

68%

6.1 calidad de los bienes y servicios provistos 67%

5.1 Mejoras en el proceso por uso de herramientas electrónicas

(cumplir con los plazos establecidos)

67%

3.4 El portal ha contribuido a reducir los niveles de

discrecionalidad institucional del contratante

67%

3.1 La transparencia es producto de la disponibilidad de

información completa para todos los partícipes del mercado

67%

2.11 Asegurar que proveedores sorteados participen

efectivamente

67%

6.2 Sistemas para mejorar la calidad de los bienes, servicios y

obras (garantías técnicas, pliegos claros, etc.)

66%

2.2 Existe un incremento en oportunidades para oferentes

locales (mismo cantón)

66%

4.1 esquema normativo para la Contratación Pública 65%

1.3 Se observa ahorro por una optimización del presupuesto

institucional (mejores precios)

65%

7.2 Aumento / disminución de RR.HH. para dedicado a compras

públicas

64%

5.12 Capacitación en manejo de normativa 64%

2.13 Capacitación a proveedores para generar oferta 63%

5.11 Disponibilidad de Items 62%

5,10 Calendario inflexible 62%

7.1 departamentos especializados de compras públicas (mejor

perfil de RR.HH.)

56%

TOOLKIT PROVEEDORES

TEMA PUNTAJE (%)

1. 4.10 Agregado Nacional comprobable y exigible 32 (59%)

2. 4.1 Menos espacios para actos de corrupción 32 (59%)

3. 2.2 Estrategias de oferta (precios / calidad / servicio) 31 (57%)

4. 2.4 Igualdad de condiciones 31 (57%)

5. 3.4 ahorro por procesos más éticos y transparentes 30 (56%)

6. 4.4 Reglas de juego claras (criterios de evaluación y adjudicación de ofertas)

30 (56%)

INTERESES PROVEEDORES

RECOMENDACIONES FINALES

OBTENIDAS A PARTIR DE ESTUDIOS DE

CASO:

En la elaboración de pliegos.

Preguntas y respuestas.

Reglamentos de calificación claros y

conocidos por todos.

Publicar obligatoriamente en el portal

los resultados completos de los

procesos.

Publicar obligatoriamente el texto de

los contratos suscritos.

Negociación en consultoría

Resoluciones

Recomendaciones Finales Se puede ver que existe aumento de proveedores, por lo tanto aumento de oportunidades

de negociación con el estado principalmente de las micro y pequeñas empresas. Los proveedores utilizan estrategias de precio y calidad con la finalidad de aumentar sus ventas.

Existen en todos las herramientas evidencia de transparencia. Existe apertura de los procesos y esto permite que todos puedan ver cómo y en qué se invierten los recursos del Estado.

Es necesario desarrollar un control de calidad por parte de INCOP, para asegurarse que las rebajas en los presupuestos no estén ligados a la reducción de calidad de los productos ofertados.

La capacitación junto con la consultoría son herramientas básicas para poder seguir desarrollando la institucionalidad y normativa de la entidad en función de las falencias encontradas.

Un potencial camino puede ser el desarrollo de la cadena de valor, y el premio a proveedores responsables, así como un refuerzo de la capacitación a pequeños y micro proveedores, con la finalidad de brindar apertura a proveedores locales que permitan minimizar los costos de contratación.

La evidencia muestra una valoración positiva del sistema por sus actores permanentes, sobre todo en términos de apreciación de la reforma, y de las oportunidades que esta brinda, tanto para mejorar la eficacia en las entidades, como las ventas en los proveedores, es primordial continuar trabajando en función de dar un servicio diferenciado y eficiente por medio del portal y así encontrar beneficios netos para el país y lo proveedores del estado.

Implementación de estrategias que permitan desarrollar el resto de herramientas que el portal ofrece, para obtener un porcentaje de ahorro en términos nominales y medidos en tiempo.

Establecer un precio base, con respecto a los costos reales de bienesy no utilizar los Presupuesto Referencial en base a cotizaciones enviadas por proveedores, que muchas veces no participan en el proceso y que rebajan costos por medio de la disminución de calidad de sus productos y que a largo plazo termina siendo un gasto mayor para la entidad que los contrata.

Las nuevas herramientas que brinda el portal han causado un mayor impacto, este cambio se ha podido evaluar por las experiencias antes y después del portal. Ya que existe un incremento en el uso de la herramienta de Subasta Inversa, y esta ha proporcionado ahorro en términos económicos, es importante recalcar que la disminución en la calidad de los productos no se ha podido evidenciar, la calidad se ha mantenido, aunque INCOP no posee controles rigurosos respecto a la calidad de los productos.

Los Resultados muestran que existe impacto en institucionalidad al comparar los datos del modelo econométrico, los talleres que se realizaron y la información con la que cuenta INCOP en su portal de compras públicas, existe un incremento en el uso del portal y en la disponibilidad de este mismo, aumentando así la agilidad de los procesos.

La parte normativa ha permitido que el sistema de contratación pública se desarrolle con eficiencia lo que nos demuestra que esta fase está superada y que ha tenido un impacto en el sistema de compras públicas de INCOP.

Se observa un sistema joven, que muestra posibles impactos a mediano y largo plazo generados debido al cambio en la tecnología de compras públicas, probablemente aún no son observables y lo cual, los cambios reales, netos, en ahorro, crecimiento económico, y desarrollo social deberían ser aun constantes, debido al proceso de consolidación. Se mostraran diferenciales posiblemente positivos, pero no explicables por relaciones claras de dependencia de los elementos de la reforma.

No se observa diferencias significativas entre entidades pertenecientes a sectores estratégicos vs no estratégicos en función de lo que determina el modelo econométrico.

Al parecer, la evidencia podría sugerir que en el caso de empresas medianas y grandes, el portal tiene un efecto neutro, mientras que en micro y pequeñas empresas, hay efectos en términos de especialización y aumento de personal para servir procesos de compra pública que conducirían, a la final, a un cambio en ventas.