TopCoder (A): Desarrollo de Software a través de Crowdsourcing

En diciembre de 2009, Jack Hughes, CEO y fundador de TopCoder Inc., entró en la sede de su empresa en Glastonbury, Connecticut, con ganas de revisar un proyecto de desarrollo de software especialmente complejo para el sistema de fijación de precios dinámica de poder de una firma de energía. Ocho años después de la fundación de TopCoder, Hughes todavía disfrutaba comentarios detallados del proyecto. Él estaba particularmente orgulloso de que su compañía podría producir soluciones de software de alta calidad para que sus propios empleados no tenían que escribir una sola línea de código. En lugar de ello, la firma nutre una comunidad global de más de 225.000 programadores que compitió para diseñar y crear módulos de software para clientes de TopCoder, un proceso que la prensa popular llamado crowdsourcing.1

Hughes sonrió el éxito del proyecto. El código de software resultante era libre de errores y en funcionamiento en su primer día, una rareza en la industria del software. Especialmente impresionante a Hughes fue que en cuatro meses, 65 participantes de 11 países en 6 continentes habían competido en 57 concursos para crear esta sistema de precios crítico para el cliente (ver Anexo 1).

A partir de 2009, TopCoder produce rutinariamente soluciones de software para más de 45 clientes, incluyendo AOL, Best Buy, Eli Lilly, ESPN, GEICO, y el Royal Bank of Scotland.

En los últimos ocho años, Hughes había refinado modelo de negocio de TopCoder a ccommodate cambios en curso en la industria del software, a la vez que el cumplimiento de su enfoque único de desarrollo de software basado en la competencia. Él había hecho la transición de su negocio a partir de un modelo que ayudó a otras empresas de software se identifican "top codificadores" a una empresa que desarrolla software a medida a través de una combinación de servicios tradicionales de consultoría de TI y concursos, enfrentando a los desarrolladores de todo el mundo para resolver los problemas de los clientes.

El cambio hacia un mayor énfasis en las competiciones, que abarca todos los aspectos del desarrollo de software, sin embargo, significa que el volumen de proyecto fue un problema "creciente" - para TopCoder. Hughes tenía que pensar en cómo un modelo de negocio basado en la competencia, que cada vez más hincapié en concursos como una organización, así como enfoque de hacer dinero, podía manejar los aumentos en el número de soluciones. Pero, fue de $ 200 millones en los ingresos de un objetivo razonable? ¿Acaso sus supuestos tienen sentido? Si es así, ¿qué haría falta para aumentar los ingresos en más de un orden de magnitud?

Antecedentes y actuales de Operaciones

Antes de que él fundó en 2001 TopCoder, Hughes había construido una empresa desarrollo2 software personalizado, negocios de servicios de datos, en 1985; Tallan rebautizado en 1991. Tallan emplea unas 600 personas antes de ser vendida a CMGI en 2000.3 Mientras completaba la transacción, Hughes reflexionó sobre lo que había aprendido de sus experiencias en Tallan - estas experiencias podrían inspirar a los principios básicos del modelo de negocio TopCoder . Aunque Hughes disfrutó su tiempo en Tallan, había áreas en las que la empresa luchó. Por ejemplo, el reclutamiento era un proceso costoso y frustrante porque encontrar programadores calificados era mucho tiempo y talento era difícil de evaluar. Debido a la constante evolución de las tecnologías, sistemas de la habilidad de los programadores a menudo se convirtieron en obsoletos a los pocos años de servicio productivo, lo que lleva a altos niveles de rotación de personal. Por otra parte, a pesar de la meta de Tallan de maximizar las horas facturables, Hughes creía que había oportunidades para ahorrar clientes tiempo y dinero, por ejemplo, la reutilización de los componentes básicos de los programas de ordenador "en lugar de construir cada aplicación desde cero.

Basándose en estos y otros puntos de vista, Hughes se dedicó a la creación de un nuevo tipo de organización que construir una "comunidad" de los programadores para ayudar a resolver los problemas que había identificado. Estos programadores competirían -, así como afiliados, mediante la construcción y el uso de componentes que ya había sido probado y viable. La idea de reutilizar los componentes de software para los nuevos proyectos se convertiría en el núcleo de las soluciones de la nueva compañía, llamada TopCoder, proporcionado. Hughes prevé la compañía como una

"plataforma de dos caras" para el desarrollo de software. Uno de los lados de la plataforma sería clientes, firmas que necesitaba el software desarrollado, que trabajaría con su personal para especificar retos de programación. La otra cara sería miembros de la comunidad que competirían en los concursos para crear soluciones a los desafíos para el dinero y la habilidad calificaciones. TopCoder sería en el medio como el anfitrión plataforma, el diseño y la aplicación de las reglas de enfrentamiento entre los clientes y los miembros de la comunidad. Pete Bourdon, Director Financiero de TopCoder, explicó la compañía necesaria para sobresalir en cinco tareas principales: romper grandes proyectos de software cliente en componentes, teniendo en y especificaciones del proyecto del cliente de procesamiento, la determinación de los premios del concurso proceda, teniendo una forma coherente e imparcial de seleccionar a los ganadores del concurso, y corrigiendo errores en el extremo posterior de desarrollo.

Partiendo de amasar una colección inicial de programadores altamente cualificados, 2001-2003 TopCoder preguntó establecido empresas de desarrollo de software para patrocinar concursos de programación basados en la web en todo el mundo. Los patrocinios aumentaron la popularidad y legitimidad de la plataforma de la competencia de TopCoder y siempre que la empresa con acceso a los programadores con talento de todo el mundo. A cambio, los patrocinadores, entre ellos Sun Microsystems y Google, utilizan los concursos para anunciar y reclutar nuevos talentos. Tanya Horgan, V.P. de TopCoder de Finanzas, explicó que durante la fase de patrocinio, TopCoder ofreció inusualmente grandes premios-tanto como $ 5.000 a $ 10.000 por partido para los ganadores del torneo-a atraer a los competidores y ampliar la comunidad. Además, cada concursante que participó se le dio una calificación numérica objetiva de su desempeño contra la cantera de talento global, proporcionando una señal clara a TopCoder y otros sobre el talento en la comunidad.

Inicialmente, TopCoder adoptó un modelo para crear soluciones para los clientes mediante la contratación de miembros de la comunidad, corriendo las competiciones, y la prestación de servicios de consultoría. La compañía se rompió el proceso de desarrollo de software en siete tareas distintas pero relacionadas entre sí; 1) Conceptualización, 2) Especificación, 3) Arquitectura, 4) Producción de componentes, 5) de ensamblaje de aplicaciones, 6) Certificación, y 7) de despliegue. La mayoría de los ingresos provino de los servicios de consultoría: TopCoder facturó los clientes por el momento, los administradores de la plataforma de la compañía pasaron la conceptualización y la especificación de los problemas del cliente, el establecimiento de diseño y desarrollo de las competiciones de componentes, montaje de componentes, y la entrega de soluciones acabadas.

Poco después de TopCoder comenzó a desarrollar software para los clientes, la empresa identificó los componentes reutilizables del software que estaba creando y recogió los componentes en un catálogo. Estos componentes de software se convirtió en una parte importante de la propuesta de valor de TopCoder a sus clientes. Muchas de las aplicaciones personalizadas podría ser producido por la combinación de componentes de catálogo existentes con nuevos componentes construidos a través de la competencia.

Modelo de consultoría híbrida de TopCoder llevó a un gran aumento en los ingresos. Sin embargo, Hughes estaba aún satisfecho: ". Vi el enfoque de los servicios de horas basado en un modelo roto, ineficiente" En 2007 y 2008, TopCoder produjo cerca de $ 20 millones en costos de ingresos sino gestor de la plataforma se mantuvo alta (ver Anexo 2 para obtener información sobre los ingresos y los costes del gestor de la plataforma). El intento de aliviar los costos, en 2007 TopCoder introdujo pistas de competición de arquitectura de componentes y montaje. Con estas nuevas pistas de competencia en el lugar, el trabajo tradicionalmente realizado por los administradores de la plataforma ahora se haría por la comunidad. En 2008, la compañía también añadió competiciones en las tareas de desarrollo de software, tales como conceptualización y especificaciones, así como el despliegue y la corrección de errores.

A principios de 2009, TopCoder había movido cada vez más lejos del modelo de consultoría híbrida. Se centra ahora en completar todas las tareas en el desarrollo de software a través de concursos. En lugar de pagar por el tiempo y los materiales para los administradores de la plataforma de TopCoder, los clientes pagan una cuota mensual plataforma, basada en la complejidad de sus requisitos de software y el número estimado de las competiciones que se ejecutan a través de la plataforma de TopCoder cada mes. La cuota de plataforma también proporciona a los clientes acceso ilimitado a la más de 1400 componentes en el catálogo de TopCoder. Aproximadamente el 60% de los proyectos de la mayoría de los clientes podría lograrse a través de la reutilización de los componentes del catálogo. El paso de la modelo

de consultoría híbrida a un modelo de competencia se acopló con la reducción de los muchos puestos de gerente de la plataforma, dejando a la empresa con 16 directores de proyectos de mantenimiento de 35 clientes a finales de 2009.

A finales de 2009, TopCoder corrió dos tipos diferentes de competiciones en su plataforma: el algoritmo y el desarrollo de software de cliente. Algoritmo competiciones sirven como el medio principal para la captación de nuevos miembros y retener a los miembros existentes. Estas competencias requeridas a los miembros a desarrollar soluciones de software creativas desafíos de programación relativamente difíciles. Todos los miembros se evaluaron unos contra otros a través de un sistema de puntuación de equipo automatizado; que luego recibieron una calificación de TopCoder por su desempeño. Algunas competiciones algoritmo también tuvieron premios en efectivo para los ganadores.

El segundo tipo de competencia se dirige a desarrollar aplicaciones de software para las necesidades específicas de los clientes. Un administrador de la plataforma TopCoder inicialmente trabajó con el personal del cliente para desarrollar un "plan de juego" (ver Anexo 3 para un plan de juego representante) o una hoja de ruta del proyecto para la construcción de software. El primer paso que suelen participar en un concurso en el que el problema general del cliente se presentó a la comunidad TopCoder en un concurso de conceptualización. Aquí concursantes públicamente interrogado al personal del cliente en cuanto a sus necesidades reales y luego presentó un documento de requisitos de negocio y casos de uso de alto nivel. El cliente eligió la sumisión (s) que mejor representa sus necesidades como la base para un mayor desarrollo. A continuación, se llevaron a cabo una serie de concursos de especificación para crear las aplicaciones de documentos de requisitos, wireframes de aplicación (es decir, el flujo lógico de la aplicación) y guiones gráficos (casos detallados de la experiencia del usuario). A continuación, la salida de los concursos de especificación se alimenta en varios concursos de arquitectura, donde se creó el sistema en su conjunto y diseños a nivel de componentes. En este punto, el gestor de la plataforma TopCoder trabajaría con el cliente a cualquiera de los componentes seleccionados del catálogo o encargar la creación de nuevos componentes a través de concursos de diseño y desarrollo. Después de la fase de producción de componentes, todos los componentes relevantes fueron reunidos a través de un concurso de montaje con el objetivo de crear un sistema de trabajo. A continuación, la Asamblea fue seguido por la certificación y concursos de ensayo y luego con el tiempo de implementación. A lo largo de la ejecución del plan de juego, TopCoder retiene la flexibilidad en el desarrollo mediante la ejecución de "Carreras de errores" para dar cabida a cambiar las especificaciones del cliente o errores imprevistos. TopCoder también había emitido ocho patentes de Estados Unidos sobre diversos aspectos de la ejecución de concursos de programación en línea en un entorno comunitario distribuida y tenía otras patentes pendientes a nivel nacional e internacional.

Para determinar los ganadores y evaluar la calidad en el desarrollo de software de cliente, TopCoder utiliza un sistema de revisión por pares basada en la comunidad. En particular, expertos y miembros de la comunidad TopCoder experimentados fueron pagados a grado y hacer comentarios sobre todas las presentaciones del concurso utilizando cuadros de mando detalladas, en última instancia, escoger a los ganadores del concurso. Los competidores ganadores de cada concurso fueron otorgados premios en metálico y todos los participantes se les dio calificaciones actualizadas para su desempeño. TopCoder también corrió concursos Studio si logotipos o gráficos de una aplicación requiere; en esos casos, los clientes eligieron a los ganadores.

Evolución de la Comunidad TopCoder

Crecimiento y Composición

De 2001 a 2009, TopCoder agregó un promedio de 25.000 nuevos programadores informáticos a su comunidad cada año. Después de llenar un formulario de registro en línea corta, nadie en el mundo podía participar en un concurso de desarrollo de software; en la primavera de 2009, la comunidad TopCoder tenía más de 200.000 miembros (ver Anexo 4 para el crecimiento de la comunidad). Aunque el tamaño de la comunidad en general era grande, el número de personas dentro de la comunidad que participaron activamente en concursos y publicados en foros era mucho más pequeña. La mayoría de los miembros de la comunidad en TopCoder registrado como miembros de la comunidad, pero nunca compitió en ningún concurso. De hecho, antes de 2009, sólo 35.000 individuos únicos habían competido en concursos. Para Mike Lydon, Director de Tecnología de TopCoder, el 82,5% restante de la comunidad era la "reserva latente": personas que

fueron lo suficientemente interesado en la plataforma TopCoder registrar y tenían el potencial de proporcionar con TopCoder un mayor desarrollo en las condiciones adecuadas.

Un segundo grupo dentro de la comunidad TopCoder compone aquellos miembros que en algún momento participaron en concursos de TopCoder, pero luego dejó de participar. Lydon señaló que, después de TopCoder disminuyó valores de los premios en el 2008, muchos competidores de los Estados Unidos y Canadá dejaron la comunidad TopCoder. Sin embargo, otro grupo incluyó a las personas que participaron en concursos de TopCoder, pero no ganaron. TopCoder vio esos competidores como la "larga cola" -personas que compitió principalmente por el bien de aprendizaje. Uno de los principales objetivos de TopCoder era cultivar la larga cola para que los competidores cualificados menores podrían mejorar con el tiempo y aumentar sus niveles de contribución. Por último, lo más valioso grupo de competidores de TopCoder incluyó a los ganadores de todos los días. El talento de los programadores de élite de TopCoder era igual a los mejores del mundo, pero tales miembros sólo representó el 0,5% de la población total TopCoder.

El núcleo de la comunidad de TopCoder estaba compuesto por hombres solteros, altamente competitivos en sus 20 años. Según Michael Paweska, un veterano de seis años en TopCoder: "Para tener éxito en TopCoder, usted debe preguntarse, ¡Tienes que ser capaz de prosperar en la competencia;" ¿Es usted un competidor? no se puede tener miedo de él. Usted también necesita la flexibilidad para trabajar largas horas. TopCoder es el deporte un título de:. El momento en que se involucra con otra persona, se convierte en un punto de fricción "TopCoder atrajo a competidores de países desarrollados como Estados Unidos, Canadá, Corea del Sur y Japón, así como de las economías emergentes, como china, Rusia, Polonia, India y Ucrania. Wu Yanbo, un miembro de la comunidad china TopCoder estudiar en el extranjero en Australia, explicó que la mayoría de los competidores en los concursos con salarios bajos eran de países en desarrollo. Según Wu, los premios no eran lo suficientemente grandes para muchas personas de los países desarrollados para competir, ya que podrían pasar su tiempo mejor en otro lugar.

Justin Gasper, miembro desde 2001, comenzó a experimentar con la plataforma de TopCoder, mientras trabajaba para una empresa de ingeniería de software tradicional. Después de ganar dinero significativa con TopCoder, Gasper decidió dejar su trabajo en 2005 y dedicar cuarenta a cincuenta horas a la semana a TopCoder. Gasper explicó: "TopCoder es mi trabajo de tiempo completo; Yo no tengo un trabajo de día. "Gasper fue uno de los ganadores regulares de TopCoder, un miembro de la" elite global "de los programadores. En concursos de arquitectura, Gasper llegó en segundo lugar, al menos, el 95% de las veces y tuvo un porcentaje de victorias del 69,23%. Los competidores en TopCoder podían elegir que impugna y qué tipo de concursos para unirse (ver Anexo 5 de participación y premio de datos por tipo de concurso).

Perfiles y Clasificaciones

Cada programador en la comunidad TopCoder mantuvo un perfil público que aparezca su nombre de usuario, la historia del concurso, y la información personal básica. Otra parte del perfil de un usuario visualiza calificación numérica de un competidor para cada tipo de concurso. El sistema de clasificación fue modelado en el que se utiliza para clasificar a los jugadores de ajedrez de grandes maestros que participan en la competencia a nivel mundial. A "color rojo", o una calificación de más de 2200, representaban el estatus de elite dentro de la comunidad y un alto nivel de habilidad. Las calificaciones de color amarillo, azul, y verde representados descendiendo los niveles de habilidad. Rango de cada país competidor, el rango total de la comunidad, las tasas de éxito de los concursos, y la fiabilidad-o el porcentaje de veces que el concursante se unieron a un concurso y presentaron un paso solución se presentaron en sus perfiles. TopCoder miembros podrían también elegir si desea o no que querían mostrar sus ganancias totales en sus perfiles (ver Anexo 6 para un perfil de miembro ejemplo).

Miembros Motivar

Entre 2001 y 2009, TopCoder pagó más de $ 20 millones de dólares en premios y la revisión por pares de dinero a su comunidad de desarrolladores. Sin embargo, el premio de dinero no se distribuye de manera uniforme en toda la comunidad TopCoder. La parte superior del 5% de los perceptores de premios recibió aproximadamente el 80% del

premio total, mientras que la mayoría de los miembros de la comunidad TopCoder ganó poco o ningún dinero de las competiciones. Algunos competidores fueron un gran éxito. Por ejemplo, de 2006 a 2008, Paweska ganó $ 200.000 a $ 300.000 por año, mientras Gasper un promedio de más de $ 100.000 al año. Wu comentó: "Tengo que decir que el dinero es lo más atractivo. El premio es muy bueno en comparación con el los ingresos de mis amigos que están trabajando en algunas empresas locales en China. A pesar de que la economía no es muy buena y TopCoder redujo sus premios, todavía puedo ganar alrededor de $ 1000 por mes en mi tiempo libre. "TopCoder típicamente otorgó premios a los dos mejores trabajos en cada carrera, con la parte del león de las ganancias va para el mejor desempeño.

Además de los premios otorgados en forma concurso por concurso, otra principal fuente de ingresos para los socios fue el Run digital. En el sistema de ejecución digital, los cinco principales competidores clasificados para cada concurso se otorgaron puntos basado en rango concurso y el rendimiento. Al final de cada mes, TopCoder anotó puntos totales de los competidores y premió a los Asalariados punto superior miles de dólares en premios de bonificación. Paweska explicó que el éxito en la ejecución digital no era todo acerca de quién era el mejor programador, pero más sobre quién podría manejar la mayoría de todas las noches en vela. Otros competidores, como Gasper, también hicieron dinero a través de los proyectos contratados que TopCoder asignado.

Además de sus ingresos en efectivo, muchos miembros de la comunidad informaron que su calificación TopCoder era muy importante, ya que proporciona una evaluación objetiva de la capacidad. Wu comentó que no era fácil de mantener una calificación muy alta, ya que requiere la familiaridad con muchos tipos de tecnologías, el pensamiento rápido, la capacidad de aprender de forma independiente, una fuerte ética de trabajo, y la atención al detalle. Según Wu, una calificación de TopCoder podría ser importante para el futuro de la carrera de un programador. Por ejemplo, una alta calificación TopCoder ayudó a uno de los amigos de Wu ganan un trabajo en Google. Gasper señaló que las calificaciones de TopCoder eran también símbolos de estatus y prestigio para muchos programadores: "Si usted tiene calificaciones rojas, la gente mirar hacia arriba para usted." De hecho, muchas empresas de software de prestigio preguntó reclutas potenciales para obtener una calificación de TopCoder antes de solicitar un puesto de trabajo. Para otros, sin embargo, el sistema de calificación fue menos importante. Gasper, por ejemplo, explicó que ganar y ganar dinero significaba más para él que las calificaciones.

Aunque hubo diferencias de opinión en cuanto a la importancia de las calificaciones, casi todos los miembros de la comunidad de acuerdo en que la competencia en TopCoder proporciona numerosas oportunidades para aprender y mejorar. De hecho, para muchos programadores, una carrera TopCoder menudo comenzó con el fracaso, pero la evaluación post-concurso y la revisión por pares de cada presentación ayudó a crecer y mejorar. Gasper señaló: "Estoy totalmente fallé en mi primera competición. Pero las críticas eran realmente buenos en señalarme en la dirección correcta, decir 'aquí está en qué se equivocó' .... Usted no puede fingir, porque usted está recibiendo revisado por la gente que es mejor en la programación de lo que eres. Los revisores no les importa si lastiman tus sentimientos; que son directa. Si ven a un mal diseño, que rasgar aparte. "Paweska acordó que conocer la opinión de los colaboradores fue crucial y ha añadido que los miembros de la comunidad también podrían aprender de actuar como revisor para concursos. Para los científicos y desarrolladores, Wu cree que los concursos de algoritmos fueron particularmente útiles en afilar las habilidades de investigación y la mejora de habilidades de pensamiento crítico. En todos los casos, las oportunidades de aprendizaje continuo de sus compañeros eran una razón importante para la participación.

Gasper describe el atractivo de trabajar en casa en una plataforma basada en la web en lugar de en un entorno tradicional "granja cubículo": "Me gusta la flexibilidad que TopCoder me da. Yo no necesito para conducir una media hora a trabajar cada día y puedo hacer el mismo trabajo en el hogar. Si quiero despegar un día para jugar al golf, yo sólo hago. Yo también no tengo que trabajar de 2 a 6 de la tarde, mis horas más productivas. "Compartiendo sentimientos similares, Paweska gustado que mientras trabajaba en TopCoder no tenía un supervisor mirando por encima de su hombro.

Configuración de una hora era conveniente, sino también un reto, ya que los competidores tuvieron que gestionar activamente sus niveles individuales de participación. Gasper esfuerzo constantemente equilibrado y recompensa para maximizar los ingresos, mientras que aún viven un estilo de vida sostenible. "Si hay algo que es demasiado trabajo para el pago, no voy a hacerlo ... eso es un super poder que he desarrollado. Sé que cuando la especificación está limpio y que vale la pena resolver. Es una habilidad que viene de hacer toneladas y toneladas de concursos ".

Una "Comunidad" de Competidores

Wu señaló que, aunque la empresa era competitiva en espíritu, la competencia en TopCoder nunca fue irrespetuoso o desagradable y que la gente le gusta ayudar a los demás, incluso cuando competían en la misma arena. Los foros de TopCoder eran la principal fuente para la colaboración. En los foros, miembros de la comunidad con menos experiencia pidieron ayuda en ciertos problemas y recibieron retroalimentación instantánea de más competidores experimentados.

En TopCoder, las conversaciones y las relaciones se extendieron más allá del ámbito del desarrollo de software. Hughes se refleja en una particularmente notable exhibición de fuerza comunal y el cuidado de los miembros de la comunidad fuera de los compañeros de desarrollo de software. "Cuando uno de los miembros de la comunidad murieron", dijo, "el gran apoyo fue tal que un número de los miembros de la comunidad se llevó todas sus ganancias por unas semanas y se lo dio a la esposa del fallecido. Terminó siendo decenas de miles de dólares ".

Una vez al año, TopCoder pagó por todos los mejores talentos de la comunidad para viajar a Las Vegas, Nevada, para competir en el Abierto de TopCoder (TCO). En adicional de servir como campo de pruebas para los mejores programadores del mundo, el coste total de propiedad proporcionó a los miembros de la comunidad con la oportunidad de relacionarse profesionalmente y socialmente.

La comunidad TopCoder tenía una cultura distintiva, con personalidades identificables. Wu explicó: "Creo que esta comunidad, al igual que todos los demás, tiene su propia cultura. Claramente, los miembros de la construyeron de forma continua. Cuando me uní a la comunidad, ya había algunos miembros destacados que estuvieron activos en concursos y foros, llevaron a cabo buenas sugerencias, y comenzaron las discusiones interesantes e importantes. "En algunos casos, la fama de líderes comunitarios extendieron mucho más allá de TopCoder. Por ejemplo, Tomasz Czajka, de Polonia, alcanzó la categoría de "estrella de rock", y había pegado su imagen en vallas publicitarias a lo largo de Varsovia después de que ganó el Abierto de TopCoder en 2006.

Perspectiva del Cliente

Los clientes llegaron a TopCoder tener un software de alta calidad desarrollado de una manera eficiente y rentable el tiempo. TopCoder posicionó a servir tanto a las empresas grandes y medianas y de tamaño pequeño negocio que quería ver a los sistemas desarrollados. Keith Moore, un cliente TopCoder y ex vicepresidente senior de LendingTree.com, cree que, independientemente de su tamaño, cualquier empresa podría aprovecharse de TopCoder, si se trataba de una operación de cinco hombre o grande proveedor de outsourcing. Para muchos directores de TI, el proceso de desarrollo de software y la captación de talento fue un gran dolor de cabeza, y se perdió los plazos y las grandes sobrecostos eran preocupaciones comunes. De acuerdo con Stephen Laster, el CIO de la Harvard Business School y un cliente TopCoder, "Una tienda de TI típica se volverán más del 48% de sus empleados cada tres años. Este proceso es muy costoso. El mismo problema existe con nuestros consultores de outsourcing. Al seleccionar equipos de consultores, probamos 60 programadores antes de encontrar nuestro equipo de 20. Con TopCoder, pago por rendimiento y el CIO ve el Nirvana ".

A partir de 2009, TopCoder había desarrollado una fuerte relación con los clientes existentes para la entrega de soluciones de software de alta calidad y un servicio al cliente superior. Después de completar su primer proyecto con TopCoder, el 82% de los clientes se inscribió en una segunda ronda de concursos. Citaron varias ventajas.

Beneficios

Mejores ideas antes de hundirse miles de dólares en un proyecto, un cliente podría ejecutar un concurso de conceptualización a través del cual los miembros de TopCoder ayudaron a identificar las malas ideas y generar mejores enfoques temprano en el ciclo de desarrollo. Cuando el cliente introduce un problema de negocio a la comunidad, los miembros preguntaron cientos de preguntas. Nic Pérez, ex director técnico de AOL, explicó que las preguntas de la comunidad "nos dieron ideas sobre los problemas que ni siquiera sabía que tenía realmente" y "nos salvó dinero haciendo todas esas preguntas por adelantado." El uso de los foros en línea, los clientes respondió a las preguntas de todos los competidores sola vez, evitando esfuerzos repetidos. En algunos casos, los clientes ideas de productos desechados por

completo después de que la comunidad expresó su preocupación por el éxito o el uso probable del producto en el mercado.

Sistema de desarrollo basado en el concurso de TopCoder produce constantemente ideas y soluciones altamente creativas. Según Darren Smith, un arquitecto de soluciones para la división de comercio electrónico en Ferguson Enterprises, más grande Plomería mayorista y distribuidor de América del Norte: "La comunidad vuelve con muchas opciones. Realmente nos ha sorprendido. Nunca se sabe lo que vas a conseguir. El lado creativo nos permite ir al equipo de gestión de marketing y decimos: 'Podríamos hacer x, y, z que puede no haber considerado previamente.' Están agregando valor a nuestro negocio, ya que nos traen soluciones que francamente que no hemos considerado o no estábamos recursos para entregar "....

Calidad Superior, costo, velocidad y flexibilidad clientes elogiaron riguroso proceso de evaluación y documentación de TopCoder por estar muy por encima de los estándares del sector. Reflexionando sobre su experiencia de trabajo en la interfaz de Google Talk para AOL Instant Messenger, Pérez declaró que TopCoder y su comunidad tenían un fuerte deseo de entregar código libre de errores y que hasta los sistemas más complejos siempre tenían menos de 100 errores identificados. Según Pérez, los mismos proyectos de tamaño, desarrolladas internamente, en AOL habrían tenido 5-8 veces ese número de errores.

Otro cliente TopCoder, un negocio de inicio basada en la web, se señaló que habría tenido que pagar $ 350.000 a una gran empresa de consultoría de TI, $ 200,000 para una pequeña empresa de consultoría de TI, o $ 80.000 a los contratistas individuales para construir el sitio web de la empresa. El uso de TopCoder, el cliente sólo gastó $ 35.000. Este mismo cliente proclamó: "A partir de $ 35,000, no tiene precio. No hay otro juego por ahí. "Un cliente diferente señaló que con base en su experiencia de trabajo con casi todo tipo de desarrollo de software empresa, TopCoder cargada aproximadamente la mitad de la cuota de un nivel empresa de consultoría de TI de un grande.

El uso de la comunidad para la resolución de problemas paralelos, TopCoder comercializa como más rápido que otras tiendas de desarrollo de software. Esto era cierto para las carreras de errores de back-end y comprobaciones del sistema, como TopCoder tomó 72 horas para completar el mismo error que las pruebas de una empresa de desarrollo tradicional acabado en 10 días hábiles. Sin embargo, para otros pasos en el proceso de desarrollo de software, informes sobre la velocidad se mezclaron como algunos clientes dijeron que TopCoder trabajó aproximadamente a la misma velocidad que una gran empresa de consultoría de TI, mientras que otros alabaron TopCoder para la velocidad de avance.

Especialmente atractivo para los clientes fue la capacidad de TopCoder para suministrar la capacidad de desarrollo de software flexible. En particular, un cliente TopCoder podría ampliar o reducir sus requisitos de negocio y capacidades de desarrollo sin tener que contratar programadores o bomberos. De acuerdo con un cliente, un programador básico de la casa computadora cuesta $ 120.000 al año, después de la contabilidad para los beneficios, el tiempo de enfermedad y vacaciones. Trabajar con TopCoder, los clientes no tienen que gastar tanto en los beneficios y el tiempo de inactividad de los empleados.

preocupaciones

A pesar de que los directores de TI estaban impresionados por TopCoder de las capacidades técnicas y el potencial de ahorro de costes, muchas veces tenía reservas iniciales acerca de cómo trabajar con el modelo de desarrollo de software de TopCoder inusual.

Propiedad Intelectual y Seguridad De acuerdo con Ira Heffan, Jefe Asesor Jurídico de TopCoder, "Para los nuevos clientes no están familiarizados con el modelo de TopCoder, IP y los problemas de seguridad pueden ser un punto inicial de la resistencia. Hasta que no entienden la documentación y los procesos que tenemos en su lugar con los miembros de la comunidad, que ven la propiedad intelectual y la seguridad como barreras potenciales de trabajar con una comunidad. "Por ejemplo, algunos clientes estaban preocupados de que un miembro de la comunidad TopCoder podría divulgar las ideas de propiedad, planes de negocios u operaciones a sus competidores. Además, algunos clientes preocupados de que una vez que un componente se convirtió en una parte integral de sus sistemas de TI, el miembro de la comunidad que

construyó el componente podría intentar prohibir su uso o pedir al cliente que pagar regalías considerables. Por último, algunos clientes estaban preocupados de que una solución presentada por un miembro de la comunidad puede ser robado, derechos de autor, o tomado de los proyectos de software de código abierto, lo que podría abrir la puerta para que las disputas de propiedad intelectual.

TopCoder tenía en marcha una serie de iniciativas dirigidas a hacer frente a estas preocupaciones y reducir el nivel de riesgo de los clientes, y también tomó medidas para comunicar sus procesos. Para aliviar la propiedad y seguridad preocupaciones intelectuales del cliente, TopCoder produjo un documento que detalla las políticas de confidencialidad, las normas de asignación de propiedad intelectual, y el enfoque modular de TopCoder al desarrollo de software. Además, TopCoder permitió a los clientes a mantener sus nombres en el anonimato de la empresa durante las competiciones y ayudó a clientes a generar datos de prueba establece para evitar la exposición de la información sensible. A petición del cliente, antes de que un miembro de la comunidad se le permitió la entrada en un concurso, todos los competidores podrían ser obligados a firmar un Acuerdo de Confidencialidad Competencia estándar.

El proceso de revisión por pares fue otro medio para garantizar la seguridad y la calidad del código. Se seleccionaron los revisores y examinados por los empleados TopCoder en función de su rendimiento superior en las competiciones anteriores. TopCoder clientes también tuvieron la opción de ejecutar las competiciones de prueba en la parte final de la producción de software, sirviendo como un medio adicional de control de la seguridad y la calidad de código. Proceso de desarrollo de software de TopCoder compartimentada también hizo difícil para un solo competidor para insertar código dañino en un programa, ya que los concursos individuales dirigidas sólo una pequeña pieza del programa general.

Cambio Cultural Muchos clientes se dieron cuenta de que el trabajo con TopCoder sería difícil culturalmente para su empresa. En particular, los CIOs cree que los empleados internos verían TopCoder como una amenaza a su seguridad en el empleo. Un cliente nuevo observó: "TopCoder es el sueño de un CIO, pero la peor pesadilla de un programador. Estoy totalmente de esperar que si esto va bien y si mis programadores ven el trabajo de buena calidad que sale de TopCoder, el miedo va a explotar rápidamente por todo el edificio. "Aunque el uso de TopCoder podría ayudar a una escala de empresa y reducir los gastos de personal de programación, las empresas aún tenían que retener las personas las "pensar en grande" los empleados que podrían guiar el proceso de desarrollo TopCoder. Los directivos de los clientes TopCoder también tuvieron que adaptarse a una pérdida de la percepción de control sobre el proceso de desarrollo de software. Smith comentó: "Nos pusimos en las competiciones, sino que gestionamos todo el proceso. Nuestro grupo de gestión del proyecto trabaja con el administrador de TopCoder para asegurar la entrega de acuerdo con los SLA predeterminados (Service Level Agreement). "Algunos clientes incluso encontraron un par de miembros de la comunidad para ser agresivo y grosero durante pregunta previa a la competencia y responder a las sesiones.

Codificación Desafíos Aunque TopCoder hizo todo el trabajo de desarrollo interno de una empresa, la compañía todavía se necesita para tener un personal interno para integrar la entrega en los sistemas existentes de los clientes, revisar el código para problemas de seguridad, y ajustar y fijar el código como los sistemas cambian con el tiempo . Por ejemplo, el equipo de Smith en Ferguson pasó una cantidad significativa de tiempo de la inspección, las pruebas y el procesamiento de la obra de TopCoder para asegurarse de que no había amenazas de seguridad o bugs. En algunos concursos, TopCoder clientes también pasaron tiempo a evaluar las ideas y enfoques de múltiples soluciones ganadoras.

Otra de las cuestiones en curso para los clientes era encontrar el tipo correcto de los problemas y proporcionar la cantidad adecuada de detalle problema para la comunidad TopCoder. Como Moore describió, "Usted quiere ni demasiado ni demasiado poco detalle. Usted no quiere sofocar la innovación, pero también quiere una solución que tenga sentido en su sistema "Los clientes descubrieron que la participación disminuyó concurso si no estaban claros sobre cuáles son los problemas que querían resolver problemas o que eran demasiado compleja o vasto alcance presentada.; en esos casos, la comunidad TopCoder luchó para producir una solución aceptable. Los clientes también encontraron que los miembros de la comunidad trabajaron mejor cuando concursos duraron menos de dos semanas. Si los proyectos tomaron demasiado tiempo para completar, los concursantes perderían interés y no hacer presentaciones.

La gestión de TopCoder

El lado de la oferta

Un trabajo de gestión en TopCoder era único. Junto con la supervisión de los empleados internos de TopCoder, los directivos de la empresa tuvieron que supervisar una comunidad de más de 200.000 miembros y dirigir el proceso de desarrollo de software basado en la competencia. Según Senior Vice Presidente George Tsipolitis, la clave del éxito fue la gestión eficaz proceso: "Cuando uno está la gestión de una comunidad, ya no es la gestión de las personas es, usted está manejando en su conjunto. No podemos controlar a los individuos. Sólo podemos controlar el proceso de su participación. "Los clientes y los empleados creían por igual que el valor sostenible de la empresa dependía de la capacidad de TopCoder para facilitar la participación de la comunidad y el crecimiento de la comunidad de acogida. Lydon describe los riesgos: "Desde el principio, nos hemos centrado en la comunidad. Sabíamos que podían ser implacable. Si usted hizo algo equivocado, usted consiguió crucificado ".

Atracción Para ejecutar muchas competiciones simultáneamente y producir soluciones para muchos clientes, al mismo tiempo, TopCoder necesaria para tener acceso a una masa crítica de talento y la capacidad de codificación. Principal medio de TopCoder de atraer nuevos miembros a la comunidad era el atractivo y el reto de los retos del algoritmo. Además, de vez en cuando TopCoder anuncia su plataforma de competencia en línea mediante el pago de búsquedas de palabras clave de Google que utilizan términos como "concursos de diseño." Un tercer mecanismo de atracción de talento era "días de desarrollo del miembro." Organizado por un pequeño equipo de TopCoder empleados, días de desarrollo del miembro se llevaron a cabo en las universidades internacionales de China y otros. En un día de desarrollo miembro, un representante de los estudiantes sería colocar carteles alrededor de la escuela y explicar el sistema de TopCoder. Una meta principal de estos días de desarrollo del miembro era fomentar la participación en la producción de un mayor ingreso de desarrollo y diseño de los concursos. Durante un día de desarrollo socio en China, TopCoder registrado más de mil nuevos miembros de la comunidad. Bourdon señaló que TopCoder había alcanzado una masa crítica, una vez que cruzó el umbral de 200.000 miembros, ya que había ahora muchos miembros con conocimientos profundos y estrechos sobre una gama de desafíos de desarrollo de software (Ver Anexo 7 para el número de participantes por tipo de concurso).

Normas A medida que la comunidad creció, TopCoder prestaron mucha atención al establecimiento de normas de la comunidad. Como administrador del concurso, la empresa tuvo que mantener los más altos estándares de integridad del concurso, la equidad, la transparencia, y la calidad. Por ejemplo, el personal de TopCoder monitoreados estrictamente competiciones y toleran ninguna forma de engaño. Miembros de la comunidad que se asomaban a las soluciones de otros competidores, compartieron ideas durante la competencia, o código no autorizado utilizado fueron eliminados inmediatamente del concurso. A menudo fueron expulsados de la comunidad en su totalidad.

Si cualquier incertidumbre o desacuerdo sobre el cual surgieron competidor ganó un concurso en particular, TopCoder gastaría el dinero extra para volver a ejecutar la competencia. Otra parte de la integridad del concurso, Tsipolitis explicó, fue el énfasis de TopCoder en el mantenimiento de la coherencia de las normas y procedimientos: "La segunda que los participantes no pueden encontrar la manera de ganar, van a dejar de participar. Así que no podemos cambiar las reglas de una competencia a mitad de camino. "TopCoder también garantizada la transparencia del concurso completo mediante el almacenamiento de todas las estadísticas del concurso y de la competencia, los exámenes por homólogos y las soluciones en un almacén de datos. Estaban a disposición del público a miembros de la comunidad registrados, los que se accede a través de la página web de TopCoder los datos.

La integridad y la equidad también se extendieron a TopCoder de motivaciones corporativas y filosofía de compensación de la comunidad. En particular, TopCoder era sincero con la comunidad sobre su intención de hacer dinero. Cuando TopCoder tomó la decisión de cambiar de dirección o de competencia procedimientos corporativos, Hughes ha publicado la información en los foros y explicó las razones de negocios detrás de sus decisiones. Hughes también cree que, desde que la compañía se benefició de duro trabajo de la comunidad, compensando adecuadamente miembros de la comunidad fue esencial.

Gobernanza Aunque los ejecutivos de TopCoder eran responsables de las decisiones finales, que con frecuencia incorporan vistas miembros de la comunidad en el proceso. Lydon explicó: "Tratamos a la comunidad como al conductor

para todo lo que hacemos. Si tenemos suficiente disentir de los miembros, siempre que tomar en cuenta. El problema es que cuando no sabemos qué hacer, nuestros miembros también serán divididos "Miembro de la comunidad Gasper, compartió el punto de vista similar:". TopCoder tiende a empujar a cabo las ideas en los foros para obtener retroalimentación. El setenta y cinco por ciento de las veces, se escucha a la comunidad. Pero TopCoder también tiene sus propios intereses comerciales a tener en cuenta. A veces los intereses de la comunidad y de negocios no se alinean en marcha ".

Del mismo modo, si los competidores no estaban contentos con el resultado de puntuación de revisión por pares, TopCoder les permitió apelar la decisión. Más del 90% de los concursos contó con al menos un recurso de casación. Si un miembro de un llamamiento, revisores tuvieron que proporcionar razones específicas por las cuales la apelación fue aceptada o rechazada. Si el desacuerdo se mantuvo entre concursante y revisor, los empleados a menudo TopCoder investigados. Los concursantes también pueden apelar directamente y en privado con el personal de TopCoder o enviar quejas públicamente en los foros TopCoder.

Gerentes TopCoder hicieron inevitablemente las decisiones que a veces perturban y alteran la comunidad TopCoder. Por ejemplo, frente a un entorno económico muy difícil en el verano y otoño de

2008, TopCoder reduce las cantidades de los premios del concurso, corte los pagos para mirar los colaboradores, y redujo el número de competiciones de algoritmo. Durante este período, algunos competidores TopCoder dejaron la comunidad en su totalidad y otros redujeron drásticamente sus niveles de participación. Gasper argumentó que los recortes de pago también dieron lugar a muchos comentarios superficiales porque los mejores revisores ya no estaban haciendo el trabajo, que a su vez requiere ciclos adicionales para lograr una calidad aceptable.

Asignación de Recursos Otra parte de la función administrativa TopCoder estaba asignando recursos de la comunidad y el control de la participación del concurso. Lydon se explica, "Tenemos que encontrar la manera de distribuir el número de personas que quieran participar a través de la serie de concursos que tienen que ser resueltos." A diferencia de una empresa típica de desarrollo de software, TopCoder no podía asignar a personas específicas a una tarea o proyecto . Como gestor de la participación, la meta de TopCoder era reducir al mínimo los costos de la evaluación, estimular el esfuerzo a través de la competencia, y obtener al menos una solución que sea aceptable para el cliente. Para alcanzar el número ideal de participantes y las presentaciones, TopCoder ajustar el importe del premio, la duración y el momento de la contienda, el número de otros concursos correr simultáneamente, y la complejidad y el alcance del problema. Al decidir sobre el número ideal de competidores, TopCoder también consideró fiabilidad concursantes. Como último recurso, los empleados TopCoder contactaron directamente a los miembros individuales de la comunidad si otros métodos no condujeron a los niveles de participación deseados.

A pesar de que los administradores de TopCoder podrían tirar muchas palancas para influir en la participación del concurso, que creían que era importante no actuar como el jefe de la comunidad. Hughes explicó su filosofía de gestión de la comunidad: "No somos dueños de esta comunidad. Queremos que la gente sea aquí cuando quieren estar aquí. Usted sólo se va a conseguir resultados mucho mejores cuando dejas que las personas hacen lo que realmente quieren hacer ".

Retención Al mismo tiempo, los ejecutivos de TopCoder trabajó para retener a los miembros de la comunidad y fomentar la participación futura concurso. En un cliente menos preocupaciones planteadas en esta área: "Creo que las comunidades son volubles. Miembros de la comunidad podrían empezar a preguntar, ¿por qué los necesito? Por ejemplo, ¿qué pasa si un imitador viene y ofrece 2x la cantidad de premios? "Para evitar estos problemas, TopCoder intentó suministrar miembros de la comunidad con los flujos de trabajo consistentes y premios. TopCoder también alentó a los miembros de la comunidad a participar en la comunidad tanto como sea posible, dedicando importantes recursos para facilitar las discusiones del foro e invitar a los concursantes para participar en los exámenes por homólogos, escribir problemas de concursos, y desarrollar sistemas internos de TopCoder.

Miembros de la comunidad TopCoder diferían en su nivel de lealtad a la comunidad TopCoder. Paweska, agradecida por todas las oportunidades TopCoder había proporcionado, que se refleja, "Tengo un poco de lealtad. Creo que se necesitaría mucho para que me vaya. Sólo si no hay proyectos tendrían que irse. "Gasper vio su posición en la comunidad bajo una luz

diferente. "Yo no soy súper leal a TopCoder o nada", dijo. "Para desertar, el pago y el trabajo tendrían que compensar el pago y la flexibilidad que tengo en TopCoder."

El lado de la demanda

Los administradores de la plataforma El otro lado de la gestión en TopCoder estaba guiando clientes a través del proceso de desarrollo de software basado en concurso. Esta era la responsabilidad de los administradores de la plataforma de la compañía, cuyo trabajo consistía en inducir la cantidad apropiada de participación de la comunidad, hacer sugerencias para cantidades de los premios del concurso, el intercambio de ideas entre los concursos, y proporcionar actualizaciones de estado del proyecto a los clientes. Antes de iniciar el siguiente paso en el plan de juego, los administradores de la plataforma también ajustar los requisitos del concurso con base en el trabajo ya realizado. Una vez que el producto fue entregado al cliente, se requirieron los administradores de la plataforma TopCoder para actuar en un papel de apoyo y servicio. Si había un problema técnico con una solución, el gestor de la plataforma a menudo en contacto con los miembros de la comunidad que han desarrollado el componente y trabajaron con los miembros de la comunidad para solucionar el problema.

La mayoría de los clientes de nivel empresarial creían que el gestor de la plataforma fue fundamental para el éxito de un proyecto. En un gran cliente como LendingTree, el gestor de la plataforma era el lugar tres o cuatro días a la semana, la realización de reuniones diarias con los equipos internos. Una gran parte de la función del administrador de la plataforma estaba gestionando las expectativas de los clientes y servir de caja de resonancia de las preocupaciones del cliente. En el back-end de los proyectos, aunque la comunidad a menudo monta componentes de un proyecto a través de la competencia, el gestor de la plataforma era también un experto en la combinación de las pequeñas piezas de software. El papel integración de componentes salvó las horas de trabajo de los clientes tratando de averiguar cómo todas las piezas encajan. A Ferguson, Smith considera el personal TopCoder trabajo in situ para ser una parte integral de su equipo.

TopCoder Directo Sin embargo, cada gestor de plataforma añadido a los gastos generales de TopCoder y los márgenes de beneficio se estrecharon. A partir de 2009, un administrador de la plataforma típica en TopCoder costó 100.000 dólares al año, incluyendo beneficios. Para Tsipolitis, tiempo del administrador de la plataforma no siempre fue bien gastado. "Nuestros directores de proyectos pasan mucho tiempo de niñera", dijo.

Para evitar un posible gran incremento en los gastos como TopCoder añadido clientes y proyectos, Hughes se le ocurrió el concepto de "TopCoder directa", en la que el cliente utiliza la plataforma de la compañía con poca o ninguna intervención de sus empleados. Bajo este modelo de auto-servicio, los administradores de la plataforma sería educar a los clientes sobre el uso de la plataforma TopCoder para gestionar el proceso de desarrollo de software basado en concurso de sí mismos. Hughes prevé desplazar las responsabilidades del gestor de la plataforma a un miembro de la comunidad con experiencia o un consultor externo familiarizado con alguien plataforma- de TopCoder que serviría como un "copiloto" para ayudar al personal del cliente. Con copilotos tomando el papel de los administradores de la plataforma, Hughes estima que el tiempo semanal del gestor de la plataforma en un proyecto se reduciría de cuarenta horas a dos, ahorrando así el cliente y TopCoder mucho tiempo y dinero.

El Futuro

A diciembre de 2009, no hay competidores habían elegido para copiar el modelo de negocio de TopCoder, ofreciendo el desarrollo de software de servicio completo a través de un enfoque basado en la competencia. En lugar de ello, empresas como RentACoder, Elance, oDesk y sirven como enlaces en línea entre los clientes y los desarrolladores de software independientes. A diferencia de TopCoder, cuyos clientes sólo pagan por las soluciones, los clientes de estas empresas utilizan un enfoque de "comprar talento": se seleccionan uno o más programadores a resolver su problema. Más similar a TopCoder, uTest utiliza el crowdsourcing para encontrar errores y comprobar la utilidad funcional de la web, móvil, de escritorio y aplicaciones de juegos, pero no participó en el desarrollo de software. Según Hughes, esta falta de competencia directa refleja las dificultades técnicas y los costos asociados con la construcción de una comunidad de pleno derecho y de la plataforma.

Después de un descenso significativo en la economía mundial en 2008 y 2009, Hughes cree que TopCoder se cebó para el crecimiento. Personal de venta pronosticaban metas agresivas para el volumen de las competiciones y los ingresos y hubo varias asociaciones estratégicas que se consideran. Sin embargo, los desafíos y las incertidumbres significativas se mantuvieron. En particular, Hughes se preguntó si la comunidad, así como la empresa, podrían crecer para satisfacer la creciente demanda.

Las partes interesadas tuvieron opiniones divergentes. Mike Morris, Vice-Presidente de Ventas, vio un potencial ilimitado: "Si crecen las ventas a un ritmo lineal, la afiliación crece a un ritmo exponencial. El suministro de los miembros de la comunidad no se va a limitar el crecimiento. Si usted lanza suficiente dinero por ahí, obtendrá suficientes programadores. "Miembros de la comunidad Paweska y Wu acordaron que ofrecer más dinero por concurso sería aumentar la participación entre los miembros existentes. Paweska también cree, sin embargo, que la celebración de muchos más concursos de lo habitual en una semana daría lugar a los competidores sin experiencia compitiendo activamente por los premios, posiblemente reduciendo la calidad del código. Por otra parte, señaló que Lydon que durante la última gran escala hasta de TopCoder en 2007, la calidad del examen sufrieron durante un período transitorio de unos pocos meses. A medida que se disponga de más concursos, los revisores habituales querían competir en los concursos, en lugar de revisarlos, dejando TopCoder luchando para encontrar reemplazos. Además, algunos clientes preocupados de que a medida que el número de vías de la competencia en TopCoder creció, atrayendo al mismo grupo de competidores resultaría mucho más difícil, la reducción de la coherencia y la continuidad del concurso, que eran especialmente crítico para hacer frente a los sistemas de legado.

Hughes también se preocupaba por el servicio al cliente. Si el número de clientes se expandió significativamente TopCoder, personal de TopCoder podría enfrentar dificultades cada vez mayores que respondieron a las preguntas y preocupaciones de todos los clientes. Para los grandes clientes, la expansión podría requerir la adición de más administradores de la plataforma, pero Rob Hughes, director de operaciones de TopCoder, le preocupa que demasiados gerentes de la plataforma podrían hacer que la empresa parecen ser como cualquier otra empresa de consultoría de TI grande, con el riesgo de perder su modelo de negocio único .

Aunque Hughes tuvo éxito al creciente TopCoder, que no estaba seguro acerca de la posición competitiva de la empresa. En particular, Hughes se preguntó si los miembros de la comunidad se pegarían con TopCoder si una nueva empresa de desarrollo de software basado en la competencia surgió. ¿Qué pasaría si una empresa como Accenture comenzó a desarrollar el software de la misma manera como TopCoder? ¿La comunidad TopCoder permanecer intacto?