Understanding the complementary nature of paid and volunteer crowds for content creation

Abstract

Crowdsourced content creation like articles or slogans can be powered by crowds of volunteers or workers from paid task markets. Volunteers often have expertise and are intrinsically motivated, but are a limited resource, and are not always reliably available. On the other hand, paid crowd workers are reliably available, can be guided to produce high-quality content, but cost money. How can these different populations of crowd workers be leveraged together to power cost-effective yet high-quality crowdpowered content-creation systems? To answer this question, we need to understand the strengths and weaknesses of each. We conducted an online study where we hired paid crowd workers and recruited volunteers from social media to complete three content creation tasks for three real-world non-profit organizations that focus on empowering women. These tasks ranged in complexity from simply generating keywords or slogans to creating a draft biographical article. Our results show that paid crowds completed work and structured content following editorial guidelines more effectively. However, volunteer crowds provide content that is more original. Based on the findings, we suggest that crowdpowered content-creation systems could gain the best of both worlds by leveraging volunteers to scaffold the direction that original content should take; while having paid crowd workers structure content and prepare it for real world use. RESUMEN La creación de contenido colaborativo, como artículos o eslóganes, puede ser impulsada por multitudes de voluntarios o trabajadores de mercados de tareas remuneradas. Los voluntarios a menudo tienen experiencia y están intrínsecamente motivados, pero son un recurso limitado y no siempre son fiables. disponible. Por otro lado, los trabajadores de multitud pagados están disponibles de manera confiable, pueden ser guiados para producir contenido de alta calidad, pero cuestan dinero. ¿Cómo pueden estas diferentes poblaciones de trabajadores de multitudes ser ¿Apalancados juntos para impulsar sistemas de creación de contenido de alta calidad y rentables? Para responder a esta pregunta, necesitamos entender las fortalezas y debilidades de cada uno. Realizamos un estudio en línea en el que contratamos trabajadores colectivos remunerados y reclutó voluntarios de las redes sociales para completar tres tareas de creación de contenido para tres organizaciones sin fines de lucro del mundo real que se enfocan en empoderar a las mujeres. La complejidad de estas tareas varió desde la simple generación de palabras clave o eslóganes hasta la creación de un borrador artículo biográfico. Nuestros resultados muestran que las multitudes pagadas completaron el trabajo y estructuraron el contenido siguiendo las pautas editoriales de manera más efectiva. Sin embargo, las multitudes de voluntarios brindan contenido que es mas originales Con base en los hallazgos, sugerimos que los sistemas de creación de contenido impulsados ​​por la multitud podrían obtener lo mejor de ambos mundos al aprovechar a los voluntarios para orientar la dirección que debe tomar el contenido original; mientras que los trabajadores de multitud remunerados estructuran el contenido y lo preparan para su uso en el mundo real.