P T 	 A U 	 B A 	 B E 	 G P 	 A F 	 B F 	 C A 	 T I 	 S O 	 S E 	 B S 	 L A 	 D T 	 C T 	 C Y 	 C L 	 S P 	 H O 	 D E 	 I D 	 A B 	 C 1 	 R P 	 E M 	 R I 	 O I 	 F U 	 F X 	 C R 	 N R 	 T C 	 Z 9 	 P U 	 P I 	 P A 	 S N 	 E I 	 B N 	 J 9 	 J I 	 P D 	 P Y 	 V L 	 I S 	 P N 	 S U 	 S I 	 M A 	 B P 	 E P 	 A R 	 D I 	 D 2 	 P G 	 W C 	 S C 	 G A 	 U T 	 P M 
 J 	 K h a s r a g h i ,   H J ;   A g h a i e ,   A 	 	 	 	 K h a s r a g h i ,   H a n i e h   J a v a d i ;   A g h a i e ,   A b d o l l a h 	 	 	 C r o w d s o u r c i n g   c o n t e s t s :   u n d e r s t a n d i n g   t h e   e f f e c t   o f   c o m p e t i t o r s '   p a r t i c i p a t i o n   h i s t o r y   o n   t h e i r   p e r f o r m a n c e 	 B E H A V I O U R   &   I N F O R M A T I O N   T E C H N O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g   c o n t e s t s ;   p a r t i c i p a t i o n   h i s t o r y ;   c o m p e t i t o r s '   p e r f o r m a n c e ;   p a r t i c i p a t i o n   f r e q u e n c y ;   p a r t i c i p a t i o n   r e c e n c y ;   w i n n i n g   f r e q u e n c y ;   w i n n i n g   r e c e n c y ;   l a s t   p e r f o r m a n c e ;   t e n u r e ;   T o p C o d e r 	 S E L F - E F F I C A C Y ;   J O B - P E R F O R M A N C E ;   V I R T U A L   C O M M U N I T I E S ;   E M P I R I C A L - A N A L Y S I S ;   K N O W L E D G E ;   T E C H N O L O G Y ;   I N C E N T I V E S ;   A C C E P T A N C E ;   G E N E R A T I O N ;   M O T I V A T I O N 	 C r o w d s o u r c i n g   c o n t e s t s   h a v e   b e c o m e   i n c r e a s i n g l y   i m p o r t a n t   a n d   p r e v a l e n t   w i t h   t h e   u b i q u i t y   o f   t h e   I n t e r n e t .   D e s i g n i n g   e f f i c i e n t   c r o w d s o u r c i n g   c o n t e s t s   i s   n o t   p o s s i b l e   w i t h o u t   t h e   d e e p   u n d e r s t a n d i n g   o f   t h e   f a c t o r s   a f f e c t i n g   i n d i v i d u a l s '   c o n t i n u o u s   p a r t i c i p a t i o n   a n d   t h e i r   p e r f o r m a n c e .   P r i o r   s t u d i e s   h a v e   m a i n l y   f o c u s e d   o n   i d e n t i f y i n g   t h e   e f f e c t   o f   t a s k - s p e c i f i c ,   e n v i r o n m e n t - s p e c i f i c ,   o r g a n i s a t i o n - s p e c i f i c ,   a n d   i n d i v i d u a l - s p e c i f i c   f a c t o r s   o n   i n d i v i d u a l s '   p e r f o r m a n c e   i n   c r o w d s o u r c i n g   c o n t e s t s .   A n d   t o   o u r   k n o w l e d g e ,   t h e r e   a r e   n o   o r   v e r y   f e w   s t u d i e s   o n   e v a l u a t i n g   t h e   e f f e c t   o f   i n d i v i d u a l s '   p a r t i c i p a t i o n   h i s t o r y   o n   t h e i r   p e r f o r m a n c e .   T h i s   p a p e r   a i m s   t o   a d d r e s s   t h i s   r e s e a r c h   g a p   u s i n g   a   d a t a   s e t   f r o m   T o p C o d e r .   T h i s   s t u d y   d e r i v e s   c o m p e t i t o r s '   p a r t i c i p a t i o n   h i s t o r y   f a c t o r s ,   s u c h   a s   p a r t i c i p a t i o n   f r e q u e n c y ,   p a r t i c i p a t i o n   r e c e n c y ,   w i n n i n g   f r e q u e n c y ,   w i n n i n g   r e c e n c y ,   t e n u r e ,   a n d   l a s t   p e r f o r m a n c e   t o   c o n s t r u c t   m o d e l s   d e p i c t i n g   e f f e c t s   o f   t h e s e   f a c t o r s   o n   c o m p e t i t o r s '   p e r f o r m a n c e   i n   o n l i n e   c r o w d s o u r c i n g   c o n t e s t s .   T h e   r e s e a r c h   f i n d i n g s   d e m o n s t r a t e   t h a t   m o s t   o f   c o m p e t i t o r s '   p a r t i c i p a t i o n   h i s t o r y   f a c t o r s   h a v e   s i g n i f i c a n t   e f f e c t   o n   t h e i r   p e r f o r m a n c e .   T h i s   p a p e r   a l s o   i n d i c a t e s   t h a t   c o m p e t i t o r s '   p a r t i c i p a t i o n   f r e q u e n c y   a n d   w i n n i n g   f r e q u e n c y   m o d e r a t e   t h e   r e l a t i o n s h i p   b e t w e e n   l a s t   p e r f o r m a n c e   a n d   p e r f o r m a n c e ,   a n d   r e l a t i o n s h i p   b e t w e e n   t e n u r e   a n d   p e r f o r m a n c e   p o s i t i v e l y .   O n   t h e   o t h e r   h a n d ,   i n d i v i d u a l s '   p a r t i c i p a t i o n   r e c e n c y   a n d   w i n n i n g   r e c e n c y   m o d e r a t e   r e l a t i o n s h i p   b e t w e e n   l a s t   p e r f o r m a n c e   a n d   p e r f o r m a n c e   n e g a t i v e l y ,   b u t   h a v e   n o   s i g n i f i c a n t   e f f e c t   o n   t h e   r e l a t i o n s h i p   b e t w e e n   t e n u r e   a n d   p e r f o r m a n c e . 	 [ K h a s r a g h i ,   H a n i e h   J a v a d i ;   A g h a i e ,   A b d o l l a h ]   K N   T o o s i   U n i v   T e c h n o l ,   D e p t   I n d   E n g n ,   T e h r a n ,   I r a n 	 K h a s r a g h i ,   H J   ( r e p r i n t   a u t h o r ) ,   K N   T o o s i   U n i v   T e c h n o l ,   D e p t   I n d   E n g n ,   T e h r a n ,   I r a n . 	 h a n i e h . j a v a d i @ g m a i l . c o m 	 	 	 	 	 A r i e l y   D ,   2 0 0 9 ,   A M   E C O N   R E V ,   V 9 9 ,   P 5 4 4 ,   D O I   1 0 . 1 2 5 7 / a e r . 9 9 . 1 . 5 4 4 ;   B o n g a r d   J . ,   2 0 1 2 ,   I E E E   T   S Y S T   M A N   C Y B ,   V 4 3 ,   P 1 7 6 ,   D O I   1 0 . 1 1 0 9 / T S M C A . 2 0 1 2 . 2 1 9 5 1 6 8 ;   B o u d r e a u   K J ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 8 4 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 2 2 ;   B O U F F A R D B O U C H A R D   T ,   1 9 9 0 ,   J   S O C   P S Y C H O L ,   V 1 3 0 ,   P 3 5 3 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C h a w l a   S . ,   2 0 1 2 ,   P   2 3   A N N   A C M   S I A M   S ,   P 8 5 6 ;   C h i u   C M ,   2 0 0 6 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 2 ,   P 1 8 7 2 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 6 . 0 4 . 0 0 1 ;   C O M P E A U   D R ,   1 9 9 5 ,   M I S   Q U A R T ,   V 1 9 ,   P 1 8 9 ,   D O I   1 0 . 2 3 0 7 / 2 4 9 6 8 8 ;   C O N N O L L Y   T ,   1 9 9 0 ,   M A N A G E   S C I ,   V 3 6 ,   P 6 8 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 3 6 . 6 . 6 8 9 ;   D a u g h e r t y   T . ,   2 0 0 5 ,   J   C O M P U T E R   M E D I A T E D ,   V 1 0 ;   D a v i s   J G ,   2 0 1 1 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 5 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 1 . 6 1 ;   D o k k o   G ,   2 0 0 9 ,   O R G A N   S C I ,   V 2 0 ,   P 5 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 8 0 . 0 3 5 7 ;   E a s l e y   R F ,   2 0 0 3 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 1 9 ,   P 2 4 7 ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F o r t   K ,   2 0 1 1 ,   C O M P U T   L I N G U I S T ,   V 3 7 ,   P 4 1 3 ,   D O I   1 0 . 1 1 6 2 / C O L I _ a _ 0 0 0 5 7 ;   G a o   X ,   2 0 1 2 ,   P   2 6   A A A I   T O R   C A N ;   G i r o t r a   K ,   2 0 1 0 ,   M A N A G E   S C I ,   V 5 6 ,   P 5 9 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 9 0 . 1 1 4 4 ;   H O G A R T H   R M ,   1 9 9 2 ,   C O G N I T I V E   P S Y C H O L ,   V 2 4 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / 0 0 1 0 - 0 2 8 5 ( 9 2 ) 9 0 0 0 2 - J ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H s u   M H ,   2 0 0 4 ,   D E C I S   S U P P O R T   S Y S T ,   V 3 8 ,   P 3 6 9 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 3 . 0 8 . 0 0 1 ;   H s u   M H ,   2 0 0 7 ,   I N T   J   H U M - C O M P U T   S T ,   V 6 5 ,   P 1 5 3 ,   D O I   1 0 . 1 0 1 6 / j . i j h c s . 2 0 0 6 . 0 9 . 0 0 3 ;   I p e i r o t i s   P ,   2 0 1 0 ,   D E M O G R A P H I C S   M E C H   T U ;   J o h n s o n   R D ,   2 0 0 0 ,   I N F O R M   S Y S T   R E S ,   V 1 1 ,   P 4 0 2 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 1 . 4 . 4 0 2 . 1 1 8 6 9 ;   K a c m a r   K M ,   2 0 0 3 ,   J   A P P L   P S Y C H O L ,   V 8 8 ,   P 7 6 4 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 1 - 9 0 1 0 . 8 8 . 4 . 7 6 4 ;   K h a j v a n d   M ,   2 0 1 1 ,   P R O C E D I A   C O M P U T   S C I ,   V 3 ,   D O I   1 0 . 1 0 1 6 / j . p r o c s . 2 0 1 0 . 1 2 . 0 1 1 ;   K i m   M ,   2 0 1 2 ,   B E H A V   I N F O R M   T E C H N O L ,   V 3 1 ,   P 1 1 4 7 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 4 9 2 9 X . 2 0 1 0 . 5 1 0 2 0 9 ;   L a k h a n i   K . ,   2 0 0 3 ,   P E R S P E C T I V E S   F R E E   O P ,   P 3 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   L i u   D R ,   2 0 0 5 ,   I N F O R M   M A N A G E - A M S T E R ,   V 4 2 ,   P 3 8 7 ,   D O I   1 0 . 1 0 1 6 / j . i m . 2 0 0 4 . 0 1 . 0 0 8 ;   L i u   T X ,   2 0 1 1 ,   P   A M   S O C   I N F O R M   S C I ,   V 4 8 ,   P 1 ;   L o c k e   E A ,   2 0 0 2 ,   A M   P S Y C H O L ,   V 5 7 ,   P 7 0 5 ,   D O I   1 0 . 1 0 3 7 / / 0 0 0 3 - 0 6 6 X . 5 7 . 9 . 7 0 5 ;   L u   Y . ,   2 0 1 1 ,   R E T A I N   S M A R T   C U S T O M E ;   M u n   Y . Y . ,   2 0 0 3 ,   I N F O R M   S Y S T   R E S ,   V 1 4 ,   P 1 4 6 ,   D O I   D O I   1 0 . 1 2 8 7 / I S R E . 1 4 . 2 . 1 4 6 . 1 6 0 1 6 ;   M U R D O C K   B B ,   1 9 6 2 ,   J   E X P   P S Y C H O L ,   V 6 4 ,   P 4 8 2 ,   D O I   1 0 . 1 0 3 7 / h 0 0 4 5 1 0 6 ;   N g   T W H ,   2 0 1 0 ,   J   M A N A G E ,   V 3 6 ,   P 1 2 2 0 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 9 2 0 6 3 0 9 3 5 9 8 0 9 ;   N g a i   E W T ,   2 0 0 9 ,   E X P E R T   S Y S T   A P P L ,   V 3 6 ,   P 2 5 9 2 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 0 8 . 0 2 . 0 2 1 ;   R i c h t e r   L ,   1 9 9 8 ,   J   E X P   S O C   P S Y C H O L ,   V 3 4 ,   P 3 1 3 ,   D O I   1 0 . 1 0 0 6 / j e s p . 1 9 9 8 . 1 3 5 4 ;   S C H M I D T   F L ,   1 9 8 6 ,   J   A P P L   P S Y C H O L ,   V 7 1 ,   P 4 3 2 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 1 - 9 0 1 0 . 7 1 . 3 . 4 3 2 ;   S P A R R O W   P R ,   1 9 8 8 ,   P S Y C H O L   A G I N G ,   V 3 ,   P 3 0 7 ,   D O I   1 0 . 1 0 3 7 / / 0 8 8 2 - 7 9 7 4 . 3 . 3 . 3 0 7 ;   S t o n e - R o m e r o   E F ,   2 0 0 2 ,   R E S   P E R S   H ,   V 2 1 ,   P 3 3 3 ;   S u n   Y Q ,   2 0 1 2 ,   D E C I S   S U P P O R T   S Y S T ,   V 5 3 ,   P 1 2 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 1 . 1 0 . 0 0 6 ;   V e n k a t e s h   V ,   2 0 0 3 ,   M I S   Q U A R T ,   V 2 7 ,   P 4 2 5 ;   V u k o v i c   M ,   2 0 0 9 ,   2 0 0 9   I E E E   C O N G R E S S   O N   S E R V I C E S   ( S E R V I C E S - 1   2 0 0 9 ) ,   V O L S   1   A N D   2 ,   P 6 8 6 ,   D O I   1 0 . 1 1 0 9 / S E R V I C E S - I . 2 0 0 9 . 5 6 	 4 3 	 0 	 0 	 T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X O N ,   E N G L A N D 	 0 1 4 4 - 9 2 9 X 	 1 3 6 2 - 3 0 0 1 	 	 B E H A V   I N F O R M   T E C H N O L 	 B e h a v .   I n f .   T e c h n o l . 	 D E C   2 	 2 0 1 4 	 3 3 	 1 2 	 	 	 	 	 1 3 8 3 	 1 3 9 5 	 	 1 0 . 1 0 8 0 / 0 1 4 4 9 2 9 X . 2 0 1 4 . 8 8 3 5 5 1 	 	 1 3 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   E r g o n o m i c s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 A Q 9 Z V 	 W O S : 0 0 0 3 4 3 2 2 1 6 0 0 0 1 2 	 	 
 J 	 L i u ,   S B 	 	 	 	 L i u ,   S o p h i a   B . 	 	 	 C r i s i s   C r o w d s o u r c i n g   F r a m e w o r k :   D e s i g n i n g   S t r a t e g i c   C o n f i g u r a t i o n s   o f   C r o w d s o u r c i n g   f o r   t h e   E m e r g e n c y   M a n a g e m e n t   D o m a i n 	 C O M P U T E R   S U P P O R T E D   C O O P E R A T I V E   W O R K - T H E   J O U R N A L   O F   C O L L A B O R A T I V E   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A r t i c u l a t i o n   w o r k ;   C o n c e p t u a l   f r a m e w o r k ;   C r i s i s   i n f o r m a t i c s ;   C r i s i s   m a p p i n g ;   C r o w d s o u r c i n g ;   C r o w d w o r k ;   D i g i t a l   v o l u n t e e r s ;   D i s a s t e r s ;   E m e r g e n c y   m a n a g e m e n t ;   H u m a n   c o m p u t a t i o n ;   I n f o r m a t i o n   m a n a g e m e n t ;   S o c i a l   m e d i a 	 C I T I Z E N - S C I E N C E ;   D I S A S T E R ;   S U P P O R T ;   W O R K ;   A R T I C U L A T I O N ;   I N F O R M A T I O N ;   E A R T H Q U A K E ;   K N O W L E D G E ;   P R O J E C T 	 C r o w d s o u r c i n g   i s   n o t   a   n e w   p r a c t i c e   b u t   i t   i s   a   c o n c e p t   t h a t   h a s   g a i n e d   s u b s t a n t i a l   a t t e n t i o n   d u r i n g   r e c e n t   d i s a s t e r s .   D r a w i n g   f r o m   p r e v i o u s   w o r k   i n   t h e   c r i s i s   i n f o r m a t i c s ,   d i s a s t e r   s o c i o l o g y ,   a n d   c o m p u t e r - s u p p o r t e d   c o o p e r a t i v e   w o r k   ( C S C W )   l i t e r a t u r e ,   t h i s   p a p e r   f i r s t   e x p l a i n s   r e c e n t   c o n c e p t u a l i z a t i o n s   o f   c r o w d s o u r c i n g   a n d   h o w   c r o w d s o u r c i n g   i s   a   w a y   o f   l e v e r a g i n g   d i s a s t e r   c o n v e r g e n c e .   T h e   C S C W   c o n c e p t   o f   " a r t i c u l a t i o n   w o r k "   i s   i n t r o d u c e d   a s   a n   i n t e r p r e t i v e   f r a m e   f o r   e x t r a c t i n g   t h e   s a l i e n t   d i m e n s i o n s   o f   " c r i s i s   c r o w d s o u r c i n g . "   T h e n ,   a   s e r i e s   o f   v i g n e t t e s   a r e   p r e s e n t e d   t o   i l l u s t r a t e   t h e   e v o l u t i o n   o f   c r i s i s   c r o w d s o u r c i n g   t h a t   s p o n t a n e o u s l y   e m e r g e d   a f t e r   t h e   2 0 1 0   H a i t i   e a r t h q u a k e   a n d   e v o l v e d   t o   m o r e   e s t a b l i s h e d   f o r m s   o f   p u b l i c   e n g a g e m e n t   d u r i n g   c r i s e s .   T h e   b e s t   p r a c t i c e s   e x t r a c t e d   f r o m   t h e   v i g n e t t e s   c l a r i f i e d   t h e   e f f o r t s   t o   f o r m a l i z e   c r i s i s   c r o w d s o u r c i n g   t h r o u g h   t h e   d e v e l o p m e n t   o f   i n n o v a t i v e   i n t e r f a c e s   d e s i g n e d   t o   s u p p o r t   t h e   a r t i c u l a t i o n   w o r k   n e e d e d   t o   f a c i l i t a t e   s p o n t a n e o u s   v o l u n t e e r   e f f o r t s .   E x t r a c t i n g   t h e s e   b e s t   p r a c t i c e s   l e d   t o   t h e   d e v e l o p m e n t   o f   a   c o n c e p t u a l   f r a m e w o r k   t h a t   u n p a c k s   t h e   k e y   d i m e n s i o n s   o f   c r i s i s   c r o w d s o u r c i n g .   T h e   C r i s i s   C r o w d s o u r c i n g   F r a m e w o r k   i s   a   s y s t e m a t i c ,   p r o b l e m - d r i v e n   a p p r o a c h   t o   d e t e r m i n i n g   t h e   w h y ,   w h o ,   w h a t ,   w h e n ,   w h e r e ,   a n d   h o w   a s p e c t s   o f   a   c r o w d s o u r c i n g   s y s t e m .   T h e   f r a m e w o r k   a l s o   d r a w s   a t t e n t i o n   t o   t h e   s o c i a l ,   t e c h n o l o g i c a l ,   o r g a n i z a t i o n a l ,   a n d   p o l i c y   ( S T O P )   i n t e r f a c e s   t h a t   n e e d   t o   b e   d e s i g n e d   t o   m a n a g e   t h e   a r t i c u l a t i o n   w o r k   i n v o l v e d   w i t h   r e d u c i n g   t h e   c o m p l e x i t y   o f   c o o r d i n a t i n g   a c r o s s   t h e s e   k e y   d i m e n s i o n s .   A n   e x a m p l e   o f   h o w   t o   a p p l y   t h e   f r a m e w o r k   t o   d e s i g n   a   c r o w d s o u r c i n g   s y s t e m   i s   o f f e r e d   w i t h   a   d i s c u s s i o n   o n   t h e   i m p l i c a t i o n s   f o r   a p p l y i n g   t h i s   f r a m e w o r k   a s   w e l l   a s   t h e   l i m i t a t i o n s   o f   t h i s   f r a m e w o r k .   I n n o v a t i o n   i s   o c c u r r i n g   a t   t h e   s o c i a l ,   t e c h n o l o g i c a l ,   o r g a n i z a t i o n a l ,   a n d   p o l i c y   i n t e r f a c e s   e n a b l i n g   c r o w d s o u r c i n g   t o   b e   o p e r a t i o n a l i z e d   a n d   i n t e g r a t e d   i n t o   o f f i c i a l   p r o d u c t s   a n d   s e r v i c e s . 	 U S   G e o l   S u r v e y ,   S t   P e t e r s b u r g ,   F L   3 3 7 0 1   U S A 	 L i u ,   S B   ( r e p r i n t   a u t h o r ) ,   U S   G e o l   S u r v e y ,   6 0 0   4 t h   S t   S o u t h ,   S t   P e t e r s b u r g ,   F L   3 3 7 0 1   U S A . 	 s o p h i a l i u @ u s g s . g o v 	 	 	 U . S .   G e o l o g i c a l   S u r v e y 	 T h e   r e s e a r c h   r e p o r t e d   h e r e   i s   s u p p o r t e d   t h r o u g h   a   U . S .   G e o l o g i c a l   S u r v e y   M e n d e n h a l l   P o s t d o c t o r a l   F e l l o w s h i p   a w a r d e d   t o   S o p h i a   B .   L i u .   T h e   a u t h o r   w o u l d   l i k e   t o   t h a n k   P a u l   E a r l e   a n d   B a r b a r a   P o o r e   f o r   t h e i r   e a r l y   i n v o l v e m e n t   a n d   g u i d a n c e   o n   t h i s   m a n u s c r i p t ,   t h e   r e s e a r c h   p a r t i c i p a n t s   f o r   t h e i r   i n s i g h t s   a n d   f e e d b a c k ,   B e t s y   B o y n t o n   f o r   h e r   c o n t r i b u t i o n s   t o   t h e   C r i s i s   C r o w d s o u r c i n g   F r a m e w o r k   g r a p h i c ,   a n d   t h e   a n o n y m o u s   r e v i e w e r s   f o r   h e l p i n g   t o   i m p r o v e   t h e   s t r u c t u r e   a n d   c o n c e p t s   o f   t h e   p a p e r .   A n y   u s e   o f   t r a d e ,   f i r m ,   o r   p r o d u c t   n a m e s   i s   f o r   d e s c r i p t i v e   p u r p o s e s   o n l y   a n d   d o e s   n o t   i m p l y   e n d o r s e m e n t   b y   t h e   U . S .   G o v e r n m e n t . 	 B a k e r   K a r e n   S . ,   2 0 0 7 ,   P   4 0   A N N   H A W   I N T   C   S ,   p 2 4 2 a ;   B a n n o n   L i a m   J . ,   1 9 8 9 ,   E C S C W   8 9 ,   p [ 3 5 8 ,   3 ] ;   B a r r i n g t o n   L ,   2 0 1 1 ,   A N N   G E O P H Y S - I T A L Y ,   V 5 4 ,   P 6 8 0 ,   D O I   1 0 . 4 4 0 1 / a g - 5 3 2 4 ;   B o n n e y   R ,   2 0 0 9 ,   B I O S C I E N C E ,   V 5 9 ,   P 9 7 7 ,   D O I   1 0 . 1 5 2 5 / b i o . 2 0 0 9 . 5 9 . 1 1 . 9 ;   B o u l o s   M . N . K ,   2 0 1 1 ,   I N T   J   H E A L T H   G E O G R ,   V 1 0 ,   P 1 ;   B o w k e r   G .   C . ,   1 9 9 9 ,   S O R T I N G   T H I N G S   O U T ;   B o w k e r   G e o f f r e y   C . ,   1 9 9 1 ,   P   2 4   A N N   H A W   I N T   C   S ,   V 4 ,   P 7 3 ;   B o w s e r   A n n e ,   2 0 1 3 ,   N E W   V I S I O N S   C I T I Z E N ;   B r a b h a m   D a r e n   C . ,   2 0 1 2 ,   R O U T L E D G E   H D B   P A R T I C ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C a p e l o   L u i s ,   2 0 1 2 ,   G U I D A N C E   C O L L A B O R A T I ;   C l a r k e   L e e ,   2 0 0 2 ,   C O N T E X T S ,   V 1 ,   P 2 1 ,   D O I   1 0 . 1 5 2 5 / c t x . 2 0 0 2 . 1 . 3 . 2 1 ;   C o b b   C a m i l l e ,   2 0 1 4 ,   P   1 7   A C M   C   C O M P   S U P P ,   P 8 8 8 ;   C o h n   J P ,   2 0 0 8 ,   B I O S C I E N C E ,   V 5 8 ,   P 1 9 2 ,   D O I   1 0 . 1 6 4 1 / B 5 8 0 3 0 3 ;   J a c k s o n   S t e v e n   P . ,   2 0 1 3 ,   I n t e r n a t i o n a l   J o u r n a l   o f   G e o - I n f o r m a t i o n ,   V 2 ,   D O I   1 0 . 3 3 9 0 / i j g i 2 0 2 0 5 0 7 ;   D i v i t i n i   M o n i c a ,   1 9 9 6 ,   P   I R I S   1 9   G O T H   S T U D ,   P 8 2 3 ;   D o r a n   K a r a   S . ,   2 0 1 2 ,   2 0 1 3 1 1 3 1   U S   G E O L   S U R ;   D y n e s   R .   R . ,   1 9 7 0 ,   O R G   B E H A V   D I S A S T E R ;   E a r l e   P ,   2 0 1 0 ,   S E I S M O L   R E S   L E T T ,   V 8 1 ,   P 2 4 6 ,   D O I   1 0 . 1 7 8 5 / g s s r l . 8 1 . 2 . 2 4 6 ;   E a r l e   P S ,   2 0 1 1 ,   A N N   G E O P H Y S - I T A L Y ,   V 5 4 ,   P 7 0 8 ,   D O I   1 0 . 4 4 0 1 / a g - 5 3 6 4 ;   E A R L E   P S ,   1 9 9 4 ,   B   S E I S M O L   S O C   A M ,   V 8 4 ,   P 3 6 6 ;   E l w o o d   S . ,   2 0 0 8 ,   G e o J o u r n a l ,   V 7 2 ,   P 1 3 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 8 - 9 1 8 7 - z ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F i s c h e r   I I I   H e n r y   W ,   1 9 9 8 ,   R E S P O N S E   D I S A S T E R   F A ;   F j u k   A n n i t a ,   1 9 9 7 ,   1 2 0   T U C S ;   F r i t z   C h a r l e s   E . ,   1 9 5 7 ,   C O N V E R G E N C E   B E H A V   D I ;   F U J I M U R A   J H ,   1 9 8 7 ,   S O C   S T U D   S C I ,   V 1 7 ,   P 2 5 7 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 6 3 1 2 8 7 0 1 7 0 0 2 0 0 3 ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ;   G e r a l d i n e   F i t z p a t r i c k ,   1 9 9 5 ,   P   1 9 9 5   E U R   C   C O M P   S U ,   P 1 ;   G E R S O N   E M ,   1 9 8 6 ,   A C M   T   I N F O R M   S Y S T ,   V 4 ,   P 2 5 7 ,   D O I   1 0 . 1 1 4 5 / 2 1 4 4 2 7 . 2 1 4 4 3 1 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G o o d c h i l d   M F ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 3 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 7 5 9 2 5 5 ;   G r e g   L i t t l e ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 8 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 7 ;   G r i n t e r   R .   E . ,   1 9 9 6 ,   C o m p u t e r   S u p p o r t e d   C o o p e r a t i v e   W o r k   ( C S C W ) ,   V 5 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 1 3 6 7 1 4 ;   G u y   M i c h e l l e ,   2 0 1 0 ,   P   A D V   I N T   D A T   A N   9 ,   V 6 0 6 5 ,   P 4 2 ;   H a g a r   C h r i s t i n e ,   2 0 0 5 ,   J   C O M M U N I T Y   I N F O R M ,   V 1 ,   P 4 1 ;   H a k l a y   M ,   2 0 1 0 ,   E N V I R O N   P L A N N   B ,   V 3 7 ,   P 6 8 2 ,   D O I   1 0 . 1 0 6 8 / b 3 5 0 9 7 ;   H a k l a y   M o r d e c h a i   ( M u k i ) ,   2 0 0 8 ,   G E O G R A P H Y   C O M P A S S ,   V 2 ,   P 2 0 1 1 ;   H a r v a r d   H u m a n i t a r i a n   I n i t i a t i v e ,   2 0 1 1 ,   D I S   R E L   2   0   F U T   I N F ;   H e a t h   &   L u f f ,   1 9 9 2 ,   C O M P U T E R   S U P P O R T E D   C ,   V 1 ,   P 6 9 ;   H e i p k e   C ,   2 0 1 0 ,   I S P R S   J   P H O T O G R A M M ,   V 6 5 ,   P 5 5 0 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 1 0 . 0 6 . 0 0 5 ;   H e s t e r   V a u g h n ,   2 0 1 0 ,   P   1   A C M   S   C O M P   D E V   A ;   H i n e s   M e g a n ,   2 0 1 3 ,   P   U S G S   W O R K S H   C I T   S C ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H u g h e s   A m a n d a ,   2 0 0 8 ,   P   I N F   S Y S T   C R I S   R E S P ;   H u g h e s   A m a n d a ,   2 0 0 9 ,   P   2 0 0 9   I N F   S Y S T   C R I S ;   J   H e i n z e l m a n ,   2 0 1 0 ,   C R O W D S O U R C I N G   C R I S I S ;   J a c k s o n   S t e v e n   J . ,   2 0 1 4 ,   P   1 7   A C M   C   C O M P   S U P P ,   P 5 8 8 ;   K e n d r a   J M ,   2 0 0 3 ,   R E S   S O C   P R O B L   P U B L I C ,   V 1 1 ,   P 9 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 9 6 - 1 1 5 2 ( 0 3 ) 1 1 0 0 7 - 1 ;   K e n n e t h   M . A n d e r s o n ,   2 0 1 0 ,   P   2 0 1 0   A C M   B C S   V I S   C ;   K r e p s   G a r y   A . ,   1 9 9 4 ,   O R G   R O L E   E N A C T M E N T   D ;   L e w i s   C l a y t o n   H . ,   1 9 8 2 ,   9 2 6 5   I B M   R C ;   L i u   S o p h i a   B . ,   2 0 1 1 ,   T H E S I S   U   C O L O R A D O   B O ;   L i u   S o p h i a   B . ,   2 0 1 4 ,   P   C O M P   P U B L   1 7   A C M   C ,   P 1 7 ;   L i u   S o p h i a   B . ,   2 0 1 2 ,   R O U T L E D G E   H D B   P A R T I C ,   P 1 8 5 ;   L i u   S o p h i a   B . ,   2 0 1 2 ,   H E R I T A G E   S O C I A L   M E D I ;   L i u   S o p h i a   B ,   2 0 1 0 ,   U P G R A D E :   T h e   E u r o p e a n   J o u r n a l   f o r   t h e   I n f o r m a t i c s   P r o f e s s i o n a l ,   V 1 1 ;   L i u   S o p h i a   B . ,   2 0 1 0 ,   C A R T O G R   G E O G R   I N F   S C ,   V 7 ,   P 6 9 ;   L i u   S o p h i a   B ,   2 0 1 2 ,   A M   G E O P H   U N   A G U   2 0 1 2 ;   M a i s o n n e u v e   N i c o l a s   a n d   B a s t i e n   C h o p a r d ,   2 0 1 2 ,   L E C T   N O T E S   C O M P U T E R ,   V 7 4 7 8 ,   P 1 1 6 ;   M a r k   G l o r i a ,   2 0 1 2 ,   P   A C M   2 0 1 2   C   C O M P   S U ,   P 3 7 ;   M a r t i n e a u   E r i c ,   2 0 1 2 ,   T H E S I S   C O N C O R D I A   U ;   M e i e r   P . ,   2 0 1 0 ,   S A I S   R E V   I N T   A F F A I R S ,   V 3 0 ,   P 9 1 ;   M e i e r   P a t r i c k ,   2 0 1 1 ,   I R E V O L U T I O N   B L O G ;   M e n d o n c a   D ,   2 0 0 7 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 3 ,   P 9 5 2 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 5 . 0 5 . 0 2 5 ;   M u n r o   R o b e r t ,   2 0 1 2 ,   J   I N F O R M   R E T R I E V A L ;   M u n r o   R o b e r t ,   2 0 1 3 ,   P   1 0   I N T   I S C R A M   C ;   N e w m a n   G ,   2 0 1 1 ,   E C O L   I N F O R M ,   V 6 ,   P 2 1 7 ,   D O I   1 0 . 1 0 1 6 / j . e c o i n f . 2 0 1 1 . 0 3 . 0 0 2 ;   N e w m a n   G r e g ,   2 0 1 2 ,   F R O N T I E R S   E C O L O G Y   E N ,   V 1 9 ,   P 2 9 8 ;   N o u r b a k h s h   I ,   2 0 0 6 ,   N A T U R E ,   V 4 3 9 ,   P 7 8 7 ,   D O I   1 0 . 1 0 3 8 / 4 3 9 7 8 7 a ;   P a l e n   L ,   2 0 0 7 ,   P   S I G C H I   C   H U M   F A C T ,   P 7 2 7 ,   D O I   1 0 . 1 1 4 5 / 1 2 4 0 6 2 4 . 1 2 4 0 7 3 6 ;   P a l e n   L ,   2 0 0 9 ,   S O C   S C I   C O M P U T   R E V ,   V 2 7 ,   P 4 6 7 ,   D O I   1 0 . 1 1 7 7 / 0 8 9 4 4 3 9 3 0 9 3 3 2 3 0 2 ;   P l a n t   N a t h a n i e l   G ,   2 0 1 2 ,   J   G E O P H Y S   R E S ,   V 1 1 7 ,   P 2 1 5 6 ;   Q u   Y . ,   2 0 1 1 ,   P   A C M   2 0 1 1   C   C O M P   S U ,   P 2 5 ;   Q U A R A N T E L L I   E L ,   1 9 7 7 ,   A N N U   R E V   S O C I O L ,   V 3 ,   P 2 3 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . s o . 0 3 . 0 8 0 1 7 7 . 0 0 0 3 2 3 ;   R o u s e   A n n e   C ,   2 0 1 0 ,   P   2 0 1 0   A U S T R   C   I N F   S ;   S a r c e v i c   A . ,   2 0 1 2 ,   P   A C M   2 0 1 2   C   C O M P   S U ,   P 4 7 ;   S c h e n k   E r i c ,   2 0 1 1 ,   J   I N N O V A T I O N   E C ,   V 7 ,   P 9 3 ;   S c h m i d t   K . ,   1 9 9 2 ,   C o m p u t e r   S u p p o r t e d   C o o p e r a t i v e   W o r k   ( C S C W ) ,   V 1 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 7 5 2 4 4 9 ;   S C H M I D T   K ,   1 9 9 4 ,   T R A V   H U M A I N ,   V 5 7 ,   P 3 4 5 ;   S c h m i d t   K j e l d ,   1 9 9 4 ,   M O D E S   M E A C H A N I S M S   I N ;   S h a d r o c k   R o b e r t s ,   2 0 1 2 ,   C R O W D S O U R C I N G   G E O C O D ;   S h a r m a   A n k i t ,   2 0 1 0 ,   W O R K I N G   P A P E R ;   S h i r k   J L ,   2 0 1 2 ,   E C O L   S O C ,   V 1 7 ,   D O I   1 0 . 5 7 5 1 / E S - 0 4 7 0 5 - 1 7 0 2 2 9 ;   S i m o n e   C a r l a ,   1 9 9 5 ,   P   C   O R G   C O M P   S Y S T   C O ,   P 4 4 ,   D O I   1 0 . 1 1 4 5 / 2 2 4 0 1 9 . 2 2 4 0 2 4 ;   S l e t h o l t ,   2 0 1 1 ,   P   4   I N T   W O R K S H   S O F T W ,   P 1 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S T A L L I N G S   R A ,   1 9 8 5 ,   P U B L I C   A D M I N   R E V ,   V 4 5 ,   P 9 3 ,   D O I   1 0 . 2 3 0 7 / 3 1 3 5 0 0 3 ;   S T A R   S L ,   1 9 8 9 ,   S O C   S T U D   S C I ,   V 1 9 ,   P 3 8 7 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 6 3 1 2 8 9 0 1 9 0 0 3 0 0 1 ;   S t a r b i r d   K . ,   2 0 1 3 ,   P   A C M   C   C O M P   S U P P   C O ,   P 4 9 1 ;   S t a r b i r d   K . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 0 7 1 ;   S T A R B I R D   K ,   2 0 1 0 ,   P   2 0 1 0   A C M   C   C O M P   S U ,   P 2 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 7 1 8 9 1 8 . 1 7 1 8 9 6 5 ;   S t a r b i r d   K a t e ,   2 0 1 2 ,   T H E S I S   U   C O L O R A D O   B O ;   S t a r b i r d   K a t e ,   2 0 1 3 ,   P   A C M   2 0 1 2   C   H U M   F A C ,   P 8 0 1 ;   S t e p h a n e   R o c h e ,   2 0 1 1 ,   G E O W E B   C R I S I S   M A N A G E ,   V 7 8 ,   P 2 1 ;   S t o c k d o n   H .   F . ,   2 0 1 2 ,   2 0 1 2 1 0 8 4   U S   G E O L   S U R ;   S t o c k d o n   H i l a r y   F . ,   2 0 1 3 ,   2 0 1 3 1 1 3 0   U S   G E O L   S U R ;   S T R A U S S   A ,   1 9 8 5 ,   S O C I O L   Q U A R T ,   V 2 6 ,   P 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 3 3 - 8 5 2 5 . 1 9 8 5 . t b 0 0 2 1 2 . x ;   S T R A U S S   A ,   1 9 8 8 ,   S O C I O L   Q U A R T ,   V 2 9 ,   P 1 6 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 3 3 - 8 5 2 5 . 1 9 8 8 . t b 0 1 2 4 9 . x ;   S t r a u s s   A n s e l m ,   1 9 9 3 ,   C O N T I N U A L   P E R M U T A T I O ;   S u c h m a n   L .   A . ,   1 9 8 7 ,   P L A N S   S I T U A T E D   A C T I O ;   T e r a g u c h i   M a s a y o s h i ,   2 0 1 2 ,   P   C O M P   S U P P   C O O P   W O R ,   V 9 ,   P 6 1 ;   T i e r n e y   K J ,   2 0 0 1 ,   F A C I N G   U N E X P E C T E D   D I ;   T r u m b u l l   D J ,   2 0 0 0 ,   S C I   E D U C ,   V 8 4 ,   P 2 6 5 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 8 - 2 3 7 X ( 2 0 0 0 0 3 ) 8 4 : 2 < 2 6 5 : : A I D - S C E 7 > 3 . 0 . C O ; 2 - 5 ;   T u r n e r   A . ,   2 0 0 6 ,   I N T R O   N E O G E O G R A P H Y ;   V a n   d e r   W i n d t   P e t e r ,   2 0 1 2 ,   C R O W D S O U R C I N G   C R O W D S ;   V a n d e r   W a l   T h o m a s ,   2 0 0 4 ,   F O L K S O N O M Y ;   V i e w e g   S ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   D O I   [ 1 0 . 1 1 4 5 / 1 7 5 3 3 2 6 . 1 7 5 3 4 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 7 5 3 3 2 6 . 1 7 5 3 4 8 6 ] ;   V i v a c q u a   A S ,   2 0 1 2 ,   J   N E T W   C O M P U T   A P P L ,   V 3 5 ,   P 1 8 9 ,   D O I   1 0 . 1 0 1 6 / j . j n c a . 2 0 1 1 . 0 3 . 0 0 2 ;   W a c h t e n d o r f   T r i c i a ,   2 0 0 5 ,   U N D E R S T A N D I N G   K A T R I N ;   W a l d   D .   J . ,   1 9 9 9 ,   S E I S M O L   R E S   L E T T ,   V 7 0 ,   P 6 8 0 ,   D O I   D O I   1 0 . 1 7 8 5 / G S S R L . 7 0 . 6 . 6 8 0 ;   W a l d   D J ,   2 0 1 1 ,   A N N   G E O P H Y S - I T A L Y ,   V 5 4 ,   P 6 8 8 ,   D O I   1 0 . 4 4 0 1 / a g - 5 3 5 4 ;   W a l d   D a v i d   J . ,   1 9 9 9 ,   E A R T H Q   S P E C T R A ,   V 1 5 ,   P 5 3 7 ,   D O I   D O I   1 0 . 1 1 9 3 / 1 . 1 5 8 6 0 5 7 ;   W a l d   D a v i d   J . ,   2 0 0 6 ,   B   E A R T H Q   R E S   I   T O K Y O ,   V 8 1 ,   P 2 7 3 ;   W a r r e n   J e f f r e y   Y o o ,   2 0 1 0 ,   T H E S I S   M I T ;   Y a t e s   D ,   2 0 1 1 ,   I N T   J   I N F O R M   M A N A G E ,   V 3 1 ,   P 6 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 1 0 . 1 0 . 0 0 1 ;   Y o u n g   J a s o n   C . ,   2 0 1 3 ,   T R A N S F O R M I N G   E A R T H Q U ;   Z i e m k e   J ,   2 0 1 2 ,   J   M A P   G E O G R   L I B   A D V ,   V 8 ,   P 1 0 1 ;   Z o o k   M . ,   2 0 1 0 ,   W o r l d   M e d i c a l   a n d   H e a l t h   P o l i c y ,   V 2 ,   P 7 ,   D O I   1 0 . 2 2 0 2 / 1 9 4 8 - 4 6 8 2 . 1 0 6 9 	 1 2 0 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 0 9 2 5 - 9 7 2 4 	 1 5 7 3 - 7 5 5 1 	 	 C O M P U T   S U P P   C O O P   W   J 	 C o m p u t .   S u p p o r t .   C o o p .   W o r k 	 D E C 	 2 0 1 4 	 2 3 	 4 - 6 	 	 	 S I 	 	 3 8 9 	 4 4 3 	 	 1 0 . 1 0 0 7 / s 1 0 6 0 6 - 0 1 4 - 9 2 0 4 - 3 	 	 5 5 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 C o m p u t e r   S c i e n c e 	 A P 2 O F 	 W O S : 0 0 0 3 4 1 9 1 1 6 0 0 0 0 3 	 	 
 J 	 D a i l e y ,   D ;   S t a r b i r d ,   K 	 	 	 	 D a i l e y ,   D h a r m a ;   S t a r b i r d ,   K a t e 	 	 	 J o u r n a l i s t s   a s   C r o w d s o u r c e r e r s :   R e s p o n d i n g   t o   C r i s i s   b y   R e p o r t i n g   w i t h   a   C r o w d 	 C O M P U T E R   S U P P O R T E D   C O O P E R A T I V E   W O R K - T H E   J O U R N A L   O F   C O L L A B O R A T I V E   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r i s i s   i n f o r m a t i c s ;   c r o w d s o u r c i n g ;   c r o w d   w o r k ;   d i g i t a l   v o l u n t e e r i s m ;   o n l i n e   c o m m u n i t i e s ;   o p e n   j o u r n a l i s m ;   p a r t i c i p a t o r y   j o u r n a l i s m ;   s o c i a l   c o m p u t i n g ;   s o c i a l   m e d i a ;   i n f r a s t r u c t u r e 	 D E S I G N 	 W i d e s p r e a d   a d o p t i o n   o f   n e w   i n f o r m a t i o n   c o m m u n i c a t i o n   t e c h n o l o g i e s   ( I C T s )   i s   d i s r u p t i n g   t r a d i t i o n a l   m o d e l s   o f   n e w s   p r o d u c t i o n   a n d   d i s t r i b u t i o n .   I n   t h i s   r a p i d l y   c h a n g i n g   m e d i a   l a n d s c a p e ,   t h e   r o l e   o f   t h e   j o u r n a l i s t   i s   e v o l v i n g .   O u r   r e s e a r c h   e x a m i n e s   h o w   p r o f e s s i o n a l   j o u r n a l i s t s   w i t h i n   a   r u r a l   c o m m u n i t y   i m p a c t e d   b y   H u r r i c a n e   I r e n e   s u c c e s s f u l l y   n e g o t i a t e d   a   n e w   r o l e   f o r   t h e m s e l v e s ,   t r a n s f o r m i n g   t h e i r   j o u r n a l i s t i c   p r a c t i c e   t o   s e r v e   i n   a   n e w   c a p a c i t y   a s   l e a d e r s   o f   a n   o n l i n e   v o l u n t e e r   c o m m u n i t y .   W e   d e s c r i b e   a n   e m e r g e n t   o r g a n i z a t i o n   o f   m e d i a   p r o f e s s i o n a l s ,   c i t i z e n   j o u r n a l i s t s ,   o n l i n e   v o l u n t e e r s ,   a n d   c o l l a b o r a t i n g   j o u r n a l i s t i c   i n s t i t u t i o n s   t h a t   p r o v i d e d   r e a l - t i m e   e v e n t   c o v e r a g e .   I n   t h i s   r u r a l   c o n t e x t ,   w h e r e   c o m m u n i c a t i o n s   i n f r a s t r u c t u r e   i s   r e l a t i v e l y   u n e v e n ,   t h i s   a d   h o c   e f f o r t   b r i d g e d   g a p s   i n   I C T   i n f r a s t r u c t u r e   t o   u n i t e   i t s   a u d i e n c e .   I n   t h i s   p a p e r ,   w e   i n t r o d u c e   a   n e w   p e r s p e c t i v e   f o r   c h a r a c t e r i z i n g   t h e s e   i n f o r m a t i o n - s h a r i n g   a c t i v i t i e s :   t h e   " h u m a n   p o w e r e d   m e s h   n e t w o r k "   e x t e n d s   t h e   c o n c e p t   o f   a   m e s h   n e t w o r k   t o   i n c l u d e   h u m a n   a c t o r s   i n   t h e   m o v e m e n t   o f   i n f o r m a t i o n .   O u r   a n a l y s i s   s h o w s   h o w   j o u r n a l i s t s   p l a y e d   a   k e y   r o l e   i n   t h i s   n e t w o r k ,   a n d   f a c i l i t a t e d   t h e   m o v e m e n t   o f   i n f o r m a t i o n   t o   t h o s e   w h o   n e e d e d   i t .   T h e s e   f i n d i n g s   a l s o   n o t e   a   c o n t r a s t   b e t w e e n   h o w   H C I   r e s e a r c h e r s   a r e   d e s i g n i n g   c r o w d s o u r c i n g   p l a t f o r m s   f o r   n e w s   p r o d u c t i o n   a n d   h o w   c r o w d s o u r c i n g   e f f o r t s   a r e   f o r m i n g   d u r i n g   d i s a s t e r   e v e n t s ,   s u g g e s t i n g   a n   a l t e r n a t i v e   a p p r o a c h   t o   d e s i g n i n g   f o r   e m e r g e n t   c o l l a b o r a t i o n s   i n   t h i s   c o n t e x t . 	 [ D a i l e y ,   D h a r m a ;   S t a r b i r d ,   K a t e ]   U n i v   W a s h i n g t o n ,   D e p t   H u m a n   C t r   D e s i g n   &   E n g n ,   C o l l   E n g n ,   S e a t t l e ,   W A   9 8 1 9 5   U S A 	 D a i l e y ,   D   ( r e p r i n t   a u t h o r ) ,   U n i v   W a s h i n g t o n ,   D e p t   H u m a n   C t r   D e s i g n   &   E n g n ,   C o l l   E n g n ,   B o x   3 5 2 3 1 5 ,   S e a t t l e ,   W A   9 8 1 9 5   U S A . 	 d d a i l e y @ u w . e d u ;   k s t a r b i @ u w . e d u 	 	 	 	 	 A g a p i e   E l e n a ,   2 0 1 4 ,   C O L L   I N T   C   2 0 1 4   B O S T ;   A m e r i c a n   R e d   C r o s s ,   2 0 1 1 ,   S O C   M E D   D I S   E M ;   A s s o c i a t e d   P r e s s ,   2 0 1 2 ,   A S S O C I A T E D   P R E S   0 8 2 7 ;   B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B r u n s   A x e l ,   2 0 0 8 ,   M A K I N G   O N L I N E   N E W S   E ;   D a b b i s h   L a u r a ,   2 0 1 2 ,   P   2 0 1 2   A C M   A N N   C   H U M ,   P 8 7 9 ;   D a i l e y   D h a r m a ,   2 0 1 0 ,   B R O A D B A N D   A D O P T I O N   L ;   D e u z e   M . ,   2 0 0 5 ,   J O U R N A L I S M ,   V 6 ,   P 4 4 2 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 4 6 4 8 8 4 9 0 5 0 5 6 8 1 5 ;   D y n e s   R .   R . ,   1 9 7 0 ,   O R G   B E H A V   D I S A S T E R ;   F L A N A G A N   J C ,   1 9 5 4 ,   P S Y C H O L   B U L L ,   V 5 1 ,   P 3 2 7 ,   D O I   1 0 . 1 0 3 7 / h 0 0 6 1 4 7 0 ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ;   G i l l m o r   D a n ,   2 0 0 6 ,   W E   M E D I A   G R A S S R O O T S ;   H a r v a r d   H u m a n i t a r i a n   I n i t i a t i v e ,   2 0 1 1 ,   D I S   R E L   2   0   F U T   I N F ;   H E E R   J ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 3 2 6 . 1 7 5 3 3 5 7 ;   H e v e r i n   T ,   2 0 1 2 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 3 ,   P 3 4 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 6 8 5 ;   H o w e   J e f f ,   2 0 0 6 ,   W I R E D                         J U N ;   H u g h e s   A m a n d a ,   2 0 0 8 ,   P   I N F   S Y S T   C R I S   R E S P ;   H u g h e s   A L ,   2 0 1 2 ,   J   H O M E L   S E C U R   E M E R G ,   V 9 ;   I m r a n   M u h a m m a d ,   2 0 1 4 ,   P   2 3   I N T   C   W O R L D   W I D ,   P 1 5 9 ;   J o n s s o n   P a t r i c k ,   2 0 1 1 ,   C H R I S T I A N   S C I   M O N I T O ;   J u l i a   R e i s c h e l ,   2 0 1 1 ,   W A T E R S H E D   P O S T     0 9 0 9 ;   K a t e   S t a r b i r d ,   2 0 1 2 ,   C O L L   I N T   2 0 1 2   C A M B R ;   K a y   R u s s e l l ,   2 0 0 9 ,   C O M P U T E R   W O R L D ;   K e n d r a   J a m e s   M . ,   2 0 0 3 ,   S E P T E M B E R   1 1   A C C O U N T ,   P 1 2 1 ;   K i n s m a n   K a t ,   2 0 1 1 ,   C N N   T E C H                 0 8 2 9 ;   K i t t u r   A . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 4 3 ;   K i t t u r   A . ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ,   P 4 5 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 5 7 0 5 4 . 1 3 5 7 1 2 7 ;   L a t o n e r o   M ,   2 0 1 1 ,   I N T   J   I N F O R M   S Y S T E M S ,   V 3 ,   P 1 ,   D O I   D O I   1 0 . 4 0 1 8 / J I S C R M . 2 0 1 1 1 0 0 1 0 1 ;   L e   D a n t e c   C A ,   2 0 1 3 ,   S O C   S T U D   S C I ,   V 4 3 ,   P 2 4 1 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 6 3 1 2 7 1 2 4 7 1 5 8 1 ;   L e e   C P ,   2 0 0 6 ,   P   2 0 0 6   2 0   A N N   C   C O M P ,   P 4 8 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 8 0 8 7 5 . 1 1 8 0 9 5 0 ;   L e w i s   S e t h   C o r w i n ,   2 0 1 1 ,   3   B I E N N   F U T   J O U R N   C ;   M e i e r   P a t r i c k ,   2 0 1 0 ,   H A I T I   R E W I R E D ;   M e r a z   S ,   2 0 1 3 ,   I N T   J   P R E S S / P O L I T ,   V 1 8 ,   P 1 3 8 ,   D O I   1 0 . 1 1 7 7 / 1 9 4 0 1 6 1 2 1 2 4 7 4 4 7 2 ;   N e w   Y o r k   O f f i c e   o f   t h e   G o v e r n o r ,   2 0 1 2 ,   N E W   Y O R K   R E S P   H U R R   I ;   N i p   J o y c e   Y M ,   2 0 0 6 ,   J O U R N A L I S M   S T U D ,   V 7 ,   P 2 1 2 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 4 6 1 6 7 0 0 5 0 0 5 3 3 5 2 8 ;   P a l e n   L . ,   2 0 1 0 ,   P   2 0 1 0   A C M   B C S   V I S   C ,   P 1 ;   P a l e n   L ,   2 0 0 7 ,   P   S I G C H I   C   H U M   F A C T ,   P 7 2 7 ,   D O I   1 0 . 1 1 4 5 / 1 2 4 0 6 2 4 . 1 2 4 0 7 3 6 ;   P a t t o n   M . ,   2 0 0 2 ,   Q U A L I T A T I V E   R E S   E V A L ;   P a u l u s s e n   S t e v e ,   2 0 0 8 ,   W E S T M I N S T E R   P A P E R S   C ,   V 5 ,   P 2 4 ;   P a u l u s s e n   S t e v e ,   2 0 0 7 ,   O B S E R V A T O R I O ,   V 1 ,   P 1 3 1 ;   Q u   Y a n ,   2 0 0 9 ,   4 2   H A W   I N T   C   S Y S T   S C ,   P 1 ;   Q u i g l e y   R a c h e l ,   2 0 1 1 ,   D A I L Y   M A I L   U K       0 8 3 1 ;   R O S E N   J . ,   2 0 0 8 ,   M O S T   U S E F U L   D E F I N I T I ;   R o s e n b e r g   N o a h ,   2 0 1 1 ,   N Y   T I M E S ;   R o s s   J . ,   2 0 1 0 ,   C H I   E A   1 0   P   2 8   I N T   C ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 ;   S h k l o v s k i   I . ,   2 0 0 8 ,   P   A C M   2 0 0 8   C   C O M P   S U ,   P 1 2 7 ,   D O I   1 0 . 1 1 4 5 / 1 4 6 0 5 6 3 . 1 4 6 0 5 8 4 ;   S h o e m a k e r   P .   J . ,   2 0 0 9 ,   G A T E K E E P I N G   T H E O R Y ;   S i a p e r a   E u g e n i a ,   2 0 1 2 ,   H D B   G L O B A L   O N L I N E   J O ,   P 1 ;   S t a r   S L ,   1 9 9 6 ,   I N F O R M   S Y S T   R E S ,   V 7 ,   P 1 1 1 ,   D O I   1 0 . 1 2 8 7 / i s r e . 7 . 1 . 1 1 1 ;   S t a r   S u s a n   L e i g h ,   2 0 0 6 ,   H D B   N E W   M E D I A   S O C I A L ,   P 2 3 0 ;   S t a r b i r d   K . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 0 7 1 ;   S u t t o n   J e a n n e t t e ,   2 0 0 8 ,   2 0 0 8   P   C   I N F   S Y S T   C R ,   P 6 2 4 ;   V i e w e g   S a r a h ,   2 0 0 8 ,   P   I N F   S Y S T   C R I S   R E S P ;   V o l k m a r   P i p e k ,   2 0 0 9 ,   J   A S S   I N F O R M   S Y S T E M S ,   V 1 0 ,   P 1 ;   Y a r d i   S . ,   2 0 1 2 ,   P   2 0 1 2   A C M   A N N   C   H U M ,   P 3 0 4 1 ;   Z o o k   M . ,   2 0 1 0 ,   W o r l d   M e d i c a l   a n d   H e a l t h   P o l i c y ,   V 2 ,   P 7 ,   D O I   1 0 . 2 2 0 2 / 1 9 4 8 - 4 6 8 2 . 1 0 6 9 	 5 6 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 0 9 2 5 - 9 7 2 4 	 1 5 7 3 - 7 5 5 1 	 	 C O M P U T   S U P P   C O O P   W   J 	 C o m p u t .   S u p p o r t .   C o o p .   W o r k 	 D E C 	 2 0 1 4 	 2 3 	 4 - 6 	 	 	 S I 	 	 4 4 5 	 4 8 1 	 	 1 0 . 1 0 0 7 / s 1 0 6 0 6 - 0 1 4 - 9 2 0 8 - z 	 	 3 7 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 C o m p u t e r   S c i e n c e 	 A P 2 O F 	 W O S : 0 0 0 3 4 1 9 1 1 6 0 0 0 0 4 	 	 
 J 	 T a p i a ,   A H ;   M o o r e ,   K 	 	 	 	 T a p i a ,   A n d r e a   H . ;   M o o r e ,   K a t h l e e n 	 	 	 G o o d   E n o u g h   i s   G o o d   E n o u g h :   O v e r c o m i n g   D i s a s t e r   R e s p o n s e   O r g a n i z a t i o n s '   S l o w   S o c i a l   M e d i a   D a t a   A d o p t i o n 	 C O M P U T E R   S U P P O R T E D   C O O P E R A T I V E   W O R K - T H E   J O U R N A L   O F   C O L L A B O R A T I V E   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 h u m a n i t a r i a n ;   r e l i e f ;   N G O ;   d i s a s t e r ;   c r o w d s o u r c i n g ;   t r u s t 	 	 O r g a n i z a t i o n s   t h a t   r e s p o n d   t o   d i s a s t e r s   h o l d   u n r e a s o n a b l e   s t a n d a r d s   f o r   d a t a   a r i s i n g   f r o m   t e c h n o l o g y - e n a b l e d   c i t i z e n   c o n t r i b u t i o n s .   T h i s   h a s   s t r o n g   n e g a t i v e   p o t e n t i a l   f o r   t h e   a b i l i t y   o f   t h e s e   r e s p o n d i n g   o r g a n i z a t i o n s   t o   i n c o r p o r a t e   t h e s e   d a t a   i n t o   a p p r o p r i a t e   d e c i s i o n   p o i n t s .   W e   a r g u e   t h a t   t h e   l a n d s c a p e   o f   t h e   u s e   o f   s o c i a l   m e d i a   d a t a   i n   c r i s i s   r e s p o n s e   i s   v a r i e d ,   w i t h   p o c k e t s   o f   u s e   a n d   a c c e p t a n c e   a m o n g   o r g a n i z a t i o n s .   I n   t h i s   p a p e r   w e   p r e s e n t   f i n d i n g s   f r o m   i n t e r v i e w s   c o n d u c t e d   w i t h   r e p r e s e n t a t i v e s   f r o m   l a r g e   i n t e r n a t i o n a l   d i s a s t e r   r e s p o n s e   o r g a n i z a t i o n s   c o n c e r n i n g   t h e i r   u s e   o f   s o c i a l   m e d i a   d a t a   i n   c r i s i s   r e s p o n s e .   W e   f o u n d   t h a t   e m e r g e n c y   r e s p o n d e r s   a l r e a d y   o p e r a t e   w i t h   l e s s   t h a n   r e l i a b l e ,   o r   " g o o d   e n o u g h , "   i n f o r m a t i o n   i n   o f f l i n e   p r a c t i c e ,   a n d   t h a t   s o c i a l   m e d i a   d a t a   a r e   u s e f u l   t o   r e s p o n d e r s ,   b u t   o n l y   i n   s p e c i f i c   c r i s i s   s i t u a t i o n s .   A l s o ,   r e s p o n d e r s   d o   u s e   s o c i a l   m e d i a ,   b u t   o n l y   w i t h i n   t h e i r   k n o w n   c o m m u n i t y   a n d   e x t e n d e d   n e t w o r k .   T h i s   s h o w s   t h a t   t r u s t   f i r s t   b e g i n s   w i t h   p e o p l e   a n d   n o t   d a t a .   L a s t l y ,   w e   d e m o n s t r a t e   t h e   b a r r i e r s   u s e d   b y   r e s p o n d i n g   o r g a n i z a t i o n s   h a v e   g o n e   b e y o n d   d i s c u s s i o n s   o f   t r u s t w o r t h i n e s s   a n d   d a t a   q u a l i t y   t o   t h a t   o f   m o r e   o p e r a t i o n a l   i s s u e s . 	 [ T a p i a ,   A n d r e a   H . ;   M o o r e ,   K a t h l e e n ]   P e n n   S t a t e   U n i v ,   C o l l   I n f o r m a t   S c i   &   T e c h n o l ,   P h i l a d e l p h i a ,   P A   1 6 8 0 1   U S A 	 T a p i a ,   A H   ( r e p r i n t   a u t h o r ) ,   P e n n   S t a t e   U n i v ,   C o l l   I n f o r m a t   S c i   &   T e c h n o l ,   P h i l a d e l p h i a ,   P A   1 6 8 0 1   U S A . 	 a t a p i a @ i s t . p s u . e d u 	 	 	 	 	 A d l e r   B . ,   2 0 0 6 ,   P   1 6   I N T   C   W O R L D   W I D ,   P 2 6 1 ;   A l p e r n   K . ,   1 9 9 7 ,   B U S I N E S S   P R O F E S S I O N A ,   V 1 6 ,   P 2 9 ;   C a s t i l l o   C . ,   2 0 1 1 ,   W W W ,   P 6 7 5 ;   C h a r m a z   K . ,   2 0 0 6 ,   C O N S T R U C T I N G   G R O U N D E ;   C h a r m a z s   K ,   2 0 0 1 ,   H D B   E T H N O G R A P H Y ,   P 1 6 0 ;   C h e o n g   M . ,   2 0 1 0 ,   I N F O R M   S Y S T E M S   F R O N T ,   V 1 3 ,   P 4 5 ;   C o y l e   D . ,   2 0 0 9 ,   N E W   T E C H N O L O G I E S   E M E ;   C r e s w e l l   J .   W . ,   1 9 9 8 ,   Q U A L I T A T I V E   I N Q U I R Y ;   d e   l a   T o r r e   L . E . ,   2 0 1 2 ,   S O C I O E C O N O M I C   P L A N N I ,   V 4 6 ,   P 8 8 ;   D i a k o p o u l o s   N A ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 1 9 5 ;   E m e r g e n c y   S o c i a l   D a t a   S u m m i t ,   2 0 1 0 ,   C A S   I N T   C R I S   R E S P   S O ;   G a l l   M e r e d i t h   D . ,   1 9 9 6 ,   E D   R E S   I N T R O ;   G i a c o b e   N . ,   2 0 1 0 ,   I E E E   I N T   C   T E C H N   H O M ,   P 1 6 5 ;   G r a l l a   E . ,   2 0 1 3 ,   W O R K S H   F I E L D   B A S   D E C ;   G r a n g e r - H a p p   E . ,   2 0 0 8 ,   G O O D   E N O U G H   P R I N C I P L ,   P 1 ;   H u g h e s   A m a n d a   L e e ,   2 0 0 9 ,   I n t e r n a t i o n a l   J o u r n a l   o f   E m e r g e n c y   M a n a g e m e n t ,   V 6 ,   D O I   1 0 . 1 5 0 4 / I J E M . 2 0 0 9 . 0 3 1 5 6 4 ;   H u i   C . ,   2 0 1 2 ,   P   2 1   I N T   C   C O M P   W O R L ,   P 6 5 3 ;   H u r r i c a n e   S a n d y   R e b u i l d i n g   T a s k   F o r c e ,   2 0 1 3 ,   H U R R   S A N D   R E B   S T R A T ;   J a v a   A . ,   2 0 0 7 ,   N E T W O R K ,   V 4 3 ,   P 5 6 ;   J u r a n   J . M . ,   1 9 8 8 ,   J U R A N   P L A N N I N G   Q U A L I ;   K n u t h   R ,   1 9 9 9 ,   I N F O R M   S O C ,   V 1 5 ,   P 1 1 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 7 2 2 4 9 9 1 2 8 6 3 7 ;   K w a k   H . ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   V 1 1 2 ,   P 5 9 1 ;   L e r m a n   K . ,   2 0 1 0 ,   I C W S M ,   P 9 0 ;   M a z z a r e l l a   J . ,   2 0 0 9 ,   T W I T T E R   P U B L I C   S A F E T ;   M e n d o z a   M . ,   2 0 1 0 ,   P   1   W O R K S H   S O C   M E D   A ,   V 1 0 ,   P 7 1 ;   M e n d o z a   M . ,   2 0 1 0 ,   M E D I A   C R O W D S O U R C I N G ,   V 1 0 ,   P 7 1 ;   M i l n e r   M . E . ,   2 0 1 3 ,   C O L L A B O R A T I V E   I N N O V A ;   M o r r i s   M .   R . ,   2 0 1 2 ,   P   C S C W   2 0 1 2 ;   M u h r e n   W .   J . ,   2 0 1 0 ,   J   F I N A N C I A L   S T A B I L I T ,   V 1 ,   P 3 4 ;   M u n r o   R . ,   2 0 1 1 ,   C O N L L   1 1   P   1 5   C   C O M P ,   P 6 8 ;   O r i c c h i o   R ,   2 0 1 0 ,   I N C   M A G A Z I N E ;   P a l e n   L . ,   2 0 0 8 ,   P   C O M P   S U P P   C O O P   W O R ;   P a l e n   L ,   2 0 1 1 ,   I N F O R M   S O C ,   V 2 7 ,   P 5 2 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 7 2 2 4 3 . 2 0 1 1 . 5 3 4 3 7 0 ;   P a l e n   L ,   2 0 0 9 ,   S O C   S C I   C O M P U T   R E V ,   V 2 7 ,   P 4 6 7 ,   D O I   1 0 . 1 1 7 7 / 0 8 9 4 4 3 9 3 0 9 3 3 2 3 0 2 ;   P o r t s e a   L   J ,   1 9 9 2 ,   D i s a s t e r s ,   V 1 6 ,   P 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 7 7 1 7 . 1 9 9 2 . t b 0 0 3 7 0 . x ;   Q u   Y . ,   2 0 1 1 ,   P   A C M   2 0 1 1   C   C O M P   S U ,   P 2 5 ;   Q u a r a n t e l l i   E .   L ,   1 9 9 9 ,   8   I N T   S   N A T   T E C H N   H A ,   P 1 ;   S a k a k i   T a k e s h i ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 8 5 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 7 7 ;   S h k l o v s k i   I . ,   2 0 0 8 ,   P   A C M   2 0 0 8   C   C O M P   S U ,   P 1 2 7 ,   D O I   1 0 . 1 1 4 5 / 1 4 6 0 5 6 3 . 1 4 6 0 5 8 4 ;   S t a r b i r d   K . ,   2 0 1 2 ,   P   9   I N T   C   I N F   S Y S T   C ,   P 2 4 1 ;   S t r a u s s   A .   L . ,   1 9 9 0 ,   B A S I C S   Q U A L I T A T I V E   R ;   S t r a u s s   A L ,   1 9 9 7 ,   G R O U N D E D   T H E O R Y   P R A C ;   S u t t o n   J . ,   2 0 0 8 ,   P   5   I N T   C   I N F   S Y S T   C ;   T a p i a   A .   H . ,   2 0 1 1 ,   P   8   I N T   C   I N F   S Y S T   C ;   T e r p s t r a   T ,   2 0 1 2 ,   P   9   I N T   C   I N F   S Y S T   C ;   T h o m s o n   R . ,   2 0 1 2 ,   P   9   I N T   C   I N F   S Y S T   C ;   V a l e n z u e l a   S ,   2 0 0 9 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 4 ,   P 8 7 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 0 8 3 - 6 1 0 1 . 2 0 0 9 . 0 1 4 7 4 . x ;   V i e w e g   S . ,   2 0 0 8 ,   P   5   I N T   I S C R A M   C   M A Y ,   P 4 4 ;   V i e w e g   S . ,   2 0 1 0 ,   P   2 0 1 0   A C M   C   C O M P   S U ,   P 5 1 5 ;   W a l t o n   R . ,   2 0 1 1 ,   P   8   I N T   P   C   I N F   S Y S T ,   P 1 ;   W a n g   R . ,   1 9 9 3 ,   9   I N T   C   D A T   E N G   I C D E 	 5 1 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 0 9 2 5 - 9 7 2 4 	 1 5 7 3 - 7 5 5 1 	 	 C O M P U T   S U P P   C O O P   W   J 	 C o m p u t .   S u p p o r t .   C o o p .   W o r k 	 D E C 	 2 0 1 4 	 2 3 	 4 - 6 	 	 	 S I 	 	 4 8 3 	 5 1 2 	 	 1 0 . 1 0 0 7 / s 1 0 6 0 6 - 0 1 4 - 9 2 0 6 - 1 	 	 3 0 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 C o m p u t e r   S c i e n c e 	 A P 2 O F 	 W O S : 0 0 0 3 4 1 9 1 1 6 0 0 0 0 5 	 	 
 J 	 G u o ,   X T ;   W a n g ,   H Z ;   S o n g ,   Y Q ;   H o n g ,   G 	 	 	 	 G u o   X i n t o n g ;   W a n g   H o n g z h i ;   S o n g ,   Y a n g q i u ;   H o n g ,   G a o 	 	 	 B r i e f   s u r v e y   o f   c r o w d s o u r c i n g   f o r   d a t a   m i n i n g 	 E X P E R T   S Y S T E M S   W I T H   A P P L I C A T I O N S 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 D a t a   m i n i n g ;   C r o w d s o u r c i n g ;   Q u a l i t y   c o n t r o l ;   S u r v e y 	 	 C r o w d s o u r c i n g   a l l o w s   l a r g e - s c a l e   a n d   f l e x i b l e   i n v o c a t i o n   o f   h u m a n   i n p u t   f o r   d a t a   g a t h e r i n g   a n d   a n a l y s i s ,   w h i c h   i n t r o d u c e s   a   n e w   p a r a d i g m   o f   d a t a   m i n i n g   p r o c e s s .   T r a d i t i o n a l   d a t a   m i n i n g   m e t h o d s   o f t e n   r e q u i r e   t h e   e x p e r t s   i n   a n a l y t i c   d o m a i n s   t o   a n n o t a t e   t h e   d a t a .   H o w e v e r ,   i t   i s   e x p e n s i v e   a n d   u s u a l l y   t a k e s   a   l o n g   t i m e .   C r o w d s o u r c i n g   e n a b l e s   t h e   u s e   o f   h e t e r o g e n e o u s   b a c k g r o u n d   k n o w l e d g e   f r o m   v o l u n t e e r s   a n d   d i s t r i b u t e s   t h e   a n n o t a t i o n   p r o c e s s   t o   s m a l l   p o r t i o n s   o f   e f f o r t s   f r o m   d i f f e r e n t   c o n t r i b u t i o n s .   T h i s   p a p e r   r e v i e w s   t h e   s t a t e - o f - t h e - a r t s   o n   t h e   c r o w d s o u r c i n g   f o r   d a t a   m i n i n g   i n   r e c e n t   y e a r s .   W e   f i r s t   r e v i e w   t h e   c h a l l e n g e s   a n d   o p p o r t u n i t i e s   o f   d a t a   m i n i n g   t a s k s   u s i n g   c r o w d s o u r c i n g ,   a n d   s u m m a r i z e   t h e   f r a m e w o r k   o f   t h e m .   T h e n   w e   h i g h l i g h t   s e v e r a l   e x e m p l a r   w o r k s   i n   e a c h   c o m p o n e n t   o f   t h e   f r a m e w o r k ,   i n c l u d i n g   q u e s t i o n   d e s i g n i n g ,   d a t a   m i n i n g   a n d   q u a l i t y   c o n t r o l .   F i n a l l y ,   w e   c o n c l u d e   t h e   l i m i t a t i o n   o f   c r o w d s o u r c i n g   f o r   d a t a   m i n i n g   a n d   s u g g e s t   r e l a t e d   a r e a s   f o r   f u t u r e   r e s e a r c h .   ( C )   2 0 1 4   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ G u o   X i n t o n g ;   W a n g   H o n g z h i ;   H o n g ,   G a o ]   H a r b i n   I n s t   T e c h n o l ,   S c h   C o m p   S c i   &   T e c h n o l ,   H a r b i n   1 5 0 0 0 6 ,   P e o p l e s   R   C h i n a ;   [ S o n g ,   Y a n g q i u ]   U n i v   I l l i n o i s ,   D e p t   C o m p   S c i   &   T e c h n o l ,   U r b a n a ,   I L   6 1 8 0 1   U S A 	 W a n g ,   H Z   ( r e p r i n t   a u t h o r ) ,   H a r b i n   I n s t   T e c h n o l ,   S c h   C o m p   S c i   &   T e c h n o l ,   H a r b i n   1 5 0 0 0 6 ,   P e o p l e s   R   C h i n a . 	 w a n g z h @ h i t . e d u . c n 	 	 	 N G F R - C h i n a   [ 2 0 1 2 C B 3 1 6 2 0 0 ,   2 0 1 2 A A 0 1 1 0 0 4 ] ;   N S F C - C h i n a   [ 6 0 9 3 3 0 0 1 ,   6 1 0 0 3 0 4 6 ,   6 1 1 1 1 1 3 0 1 8 9 ] 	 T h i s   p a p e r   w a s   p a r t i a l l y   s u p p o r t e d   b y   N G F R - C h i n a   9 7 3   G r a n t   2 0 1 2 C B 3 1 6 2 0 0 ,   N S F C - C h i n a   G r a n t   6 0 9 3 3 0 0 1 ,   6 1 0 0 3 0 4 6 ,   6 1 1 1 1 1 3 0 1 8 9   a n d   N G F R - C h i n a   8 6 3   G r a n t   2 0 1 2 A A 0 1 1 0 0 4 . 	 A c k e r m a n   S p e n s e r ,   2 0 1 3 ,   D A T A   B O S T O N   M A R A T H O N ;   A g a r w a l   N . ,   2 0 0 8 ,   P   I N T   C   W E B   S E A R C H   W ,   P 2 0 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 4 1 5 3 1 . 1 3 4 1 5 5 ;   A l l a h b a k h s h   M . ,   2 0 1 2 ,   2 0 1 2   8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o l l a b o r a t i v e   C o m p u t i n g :   N e t w o r k i n g ,   A p p l i c a t i o n s   a n d   W o r k s h a r i n g   ( C o l l a b o r a t e C o m   2 0 1 2 ) .   P r o c e e d i n g s ,   D O I   1 0 . 4 1 0 8 / i c s t . c o l l a b o r a t e c o m . 2 0 1 2 . 2 5 0 4 9 9 ;   A l m e n d r a   V ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 6 9 2 ,   P 3 0 0 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 3 9 6 4 - 5 _ 2 8 ;   A l o n s o   O . ,   2 0 1 1 ,   P   3 4   I N T   A C M   S I G I R   C ,   P 1 2 9 9 ;   A m s t e r d a m e r   Y . ,   2 0 1 3 ,   P   V L D B   E N D O W M E N T ,   V 6 ;   A m s t e r d a m e r   Y . ,   2 0 1 3 ,   P   2 0 1 3   I N T   C   M A N   D A T ,   P 2 4 1 ;   B a r b i e r   G ,   2 0 1 2 ,   C O M P U T   M A T H   O R G A N   T H ,   V 1 8 ,   P 2 5 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 8 8 - 0 1 2 - 9 1 2 1 - 2 ;   B e r n s t e i n   M .   S . ,   2 0 1 2 ,   P   S I G C H I   C   H U M   F A C T ,   P 2 3 7 ;   B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B e r n s t e i n   M . S . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 3 3 ;   B o i m   R ,   2 0 1 2 ,   P R O C   I N T   C O N F   D A T A ,   P 1 2 6 1 ,   D O I   1 0 . 1 1 0 9 / I C D E . 2 0 1 2 . 1 2 2 ;   B r a b h a m   D . ,   2 0 0 9 ,   T R A N S P O R T A T I O N   R E S   B ;   B r a g g   J . ,   2 0 1 3 ,   1   A A A I   C   H U M   C O M P   C R ;   B u d d e   A ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   V I ,   P 6 0 0 ;   C a l l i s o n - B u r c h   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 ;   C h e n   K T ,   2 0 0 9 ,   M A T H   C O M P U T   S C I   E N G ,   P 4 9 1 ,   D O I   1 0 . 1 1 4 5 / 1 6 3 1 2 7 2 . 1 6 3 1 3 3 9 ;   C h e n   Q ,   2 0 1 2 ,   P R O C   I N T   C   T O O L S   A R T ,   P 4 1 9 ,   D O I   1 0 . 1 1 0 9 / I C T A I . 2 0 1 2 . 6 4 ;   C h i l a n a   P .   K . ,   2 0 1 2 ,   P   2 0 1 2   A C M   A N N   C   H U M ,   P 1 5 4 9 ;   C h i l t o n   L B ,   2 0 1 3 ,   P   2 0 1 3   A C M   A N N   C   H U M ,   P 1 9 9 9 ;   E i c k h o f f   C . ,   2 0 1 1 ,   P   W O R K S H   C R O W D S   S E A R ,   P 1 1 ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ;   G o m e s   R .   G . ,   2 0 1 1 ,   A D V   N E U R A L   I N F O R M   P R ,   P 5 5 8 ;   G o o l s b y   R . ,   2 0 1 0 ,   A C M   T   I N T E L   S Y S T   T E C ,   V 1 ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 5 8 9 4 8 . 1 8 5 8 9 5 5 ;   H e i m e r l   K . ,   2 0 1 2 ,   P   2 0 1 2   A C M   A N N   C   H U M ,   P 1 5 3 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 2 0 7 6 7 6 . 2 2 0 8 6 1 9 ;   H i r t h   M . ,   2 0 1 0 ,   4   U   W U R Z B ,   P 4 ;   I p e i r o t i s   P . ,   2 0 1 0 ,   B E   T O P   M E C H   T U R K   W O R ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   K a r g e r   D .   R . ,   2 0 1 1 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 4 ,   P 1 9 5 3 ;   K a z a i   G . ,   2 0 1 1 ,   P   3 4   A C M   S I G I R   C ,   P 2 0 5 ;   L e   J . ,   2 0 1 0 ,   S I G I R   2 0 1 0   W O R K S H   C R ,   P 2 1 ;   L i b e r t   B . ,   2 0 0 7 ,   W E   A R E   S M A R T E R   M E   U N ;   L i u   X . ,   2 0 1 2 ,   P   V L D B   E N D O W M E N T ,   V 5 ,   P 1 0 4 0 ;   L i u   Z . ,   2 0 1 3 ,   2 0 1 3   I E E E   I N T   C   B I G ,   P 3 3 8 ;   M a r k o w s k y   G ,   2 0 1 3 ,   2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   T E C H N O L O G I E S   F O R   H O M E L A N D   S E C U R I T Y   ( H S T ) ,   P 7 7 2 ,   D O I   1 0 . 1 1 0 9 / T H S . 2 0 1 3 . 6 6 9 9 1 0 1 ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   S o r o k i n   A ,   2 0 0 8 ,   U R B A N A ,   V 5 1 ,   P 8 2 0 ;   T a n g   W . ,   2 0 1 1 ,   S I G I R   2 0 1 1   W O R K S H   C R ;   T r a n - T h a n h   L ,   2 0 1 3 ,   P   2 0 1 3   I N T   C   A U T   A G ,   P 9 0 1 ;   V e n e t i s   P . ,   2 0 1 2 ,   P   1   I N T   W O R K S H   C R O W D ,   P 1 5 ;   v o n   A h n   L ,   2 0 0 9 ,   D E S   A U T   C O N ,   P 4 1 8 ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   W e a v e r   A .   C . ,   2 0 1 2 ,   2 0 1 2   2 1   I N T   C   C O M P   C ,   P 1 ;   W r i g h t   A ,   2 0 1 0 ,   J   B I O M E D   I N F O R M ,   V 4 3 ,   P 8 9 1 ,   D O I   1 0 . 1 0 1 6 / j . j b i . 2 0 1 0 . 0 9 . 0 0 9 ;   Z h a i   Z . ,   2 0 1 2 ,   2 0 1 2   7   I N T   C   D I G   I N F ,   P 3 5 7 	 4 6 	 0 	 0 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 9 5 7 - 4 1 7 4 	 1 8 7 3 - 6 7 9 3 	 	 E X P E R T   S Y S T   A P P L 	 E x p e r t   S y s t .   A p p l . 	 D E C   1 	 2 0 1 4 	 4 1 	 1 7 	 	 	 	 	 7 9 8 7 	 7 9 9 4 	 	 1 0 . 1 0 1 6 / j . e s w a . 2 0 1 4 . 0 6 . 0 4 4 	 	 8 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 A O 6 L C 	 W O S : 0 0 0 3 4 1 4 6 2 6 0 0 0 2 8 	 	 
 J 	 Z h o u ,   X K ;   W u ,   S ;   C h e n ,   G ;   S h o u ,   L D 	 	 	 	 Z h o u ,   X i a n k e ;   W u ,   S a i ;   C h e n ,   G a n g ;   S h o u ,   L i d a n 	 	 	 k N N   p r o c e s s i n g   w i t h   c o - s p a c e   d i s t a n c e   i n   S o L o M o   s y s t e m s 	 E X P E R T   S Y S T E M S   W I T H   A P P L I C A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 k N N ;   S o L o M o ;   S V M ;   C r o w d s o u r c i n g ;   L o c a t i o n - b a s e d   s e a r c h 	 S E A R C H 	 W i t h   t h e   i n c r e a s i n g   p o p u l a r i t y   o f   s m a r t   p h o n e s ,   S o L o M o   ( S o c i a l - L o c a t i o n - M o b i l e )   s y s t e m s   a r e   e x p e c t e d   t o   b e   f a s t - g r o w i n g   a n d   b e c o m e   a   p o p u l a r   m o b i l e   s o c i a l   n e t w o r k i n g   p l a t f o r m .   A   m a i n   c h a l l e n g e   i n   s u c h   s y s t e m s   i s   o n   t h e   c r e a t i o n   o f   s t a b l e   l i n k s   b e t w e e n   u s e r s .   F o r   e a c h   o n l i n e   u s e r ,   t h e   c u r r e n t   S o L o M o   s y s t e m   c o n t i n u o u s l y   r e t u r n s   h i s / h e r   k N N   ( k   N e a r e s t   N e i g h b o r )   u s e r s   b a s e d   o n   t h e i r   g e o - l o c a t i o n s .   S u c h   a   r e c o m m e n d a t i o n   a p p r o a c h   i s   s i m p l e ,   b u t   f a i l s   t o   c r e a t e   s u s t a i n a b l e   f r i e n d s h i p s .   I n s t e a d ,   i t   w o u l d   b e   m o r e   e f f e c t i v e   t o   t a p   o n t o   t h e   e x i s t i n g   s o c i a l   r e l a t i o n s h i p s   i n   c o n v e n t i o n a l   s o c i a l   n e t w o r k s ,   s u c h   a s   F a c e b o o k   a n d   T w i t t e r ,   t o   p r o v i d e   a   " b e t t e r "   f r i e n d   r e c o m m e n d a t i o n s .   T o   m e a s u r e   t h e   s i m i l a r i t y   b e t w e e n   u s e r s ,   w e   p r o p o s e   a   n e w   m e t r i c ,   c o - s p a c e   d i s t a n c e ,   b y   c o n s i d e r i n g   b o t h   t h e   u s e r   d i s t a n c e s   i n   t h e   r e a l   w o r l d   ( p h y s i c a l   d i s t a n c e )   a n d   t h e   v i r t u a l   w o r l d   ( s o c i a l   d i s t a n c e ) .   T h e   c o - s p a c e   d i s t a n c e   m e a s u r e s   t h e   s i m i l a r i t y   o f   t w o   u s e r s   i n   t h e   S o L o M o   s y s t e m .   W e   c o m p u t e   t h e   s o c i a l   d i s t a n c e s   b e t w e e n   u s e r s   b a s e d   o n   t h e i r   p u b l i c   i n f o r m a t i o n   i n   t h e   c o n v e n t i o n a l   s o c i a l   n e t w o r k s ,   w h i c h   c a n   b e   a c h i e v e d   b y   a   f e w   M a p R e d u c e   j o b s .   T o   f a c i l i t a t e   e f f i c i e n t   c o m p u t a t i o n   o f   t h e   s o c i a l   d i s t a n c e ,   w e   b u i l d   a   d i s t r i b u t e d   i n d e x   o n   t o p   o f   t h e   k e y - v a l u e   s t o r e ,   a n d   m a i n t a i n   t h e   u s e r s '   g e o - l o c a t i o n s   u s i n g   a n   R - t r e e .   F o r   e a c h   q u e r y   o n   f i n d i n g   p o t e n t i a l   f r i e n d s   a r o u n d   a   l o c a t i o n ,   w e   r e t u r n   k N N   n e i g h b o r s   t o   e a c h   u s e r   b a s e d   o n   t h e i r   c o - s p a c e   d i s t a n c e s .   W e   p r o p o s e   a   p r o g r e s s i v e   t o p - k   p r o c e s s i n g   s t r a t e g y   a n d   a n   a d a p t i v e - c a c h i n g   s t r a t e g y   t o   f a c i l i t a t e   e f f i c i e n t   q u e r y   p r o c e s s i n g .   E x p e r i m e n t s   w i t h   G o w a l l a   d a t a s e t ( 1 )   s h o w   t h e   e f f e c t i v e n e s s   a n d   e f f i c i e n c y   o f   o u r   r e c o m m e n d a t i o n   a p p r o a c h .   ( C )   2 0 1 4   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ Z h o u ,   X i a n k e ;   W u ,   S a i ;   C h e n ,   G a n g ;   S h o u ,   L i d a n ]   Z h e j i a n g   U n i v ,   C o l l   C o m p   S c i ,   H a n g z h o u   3 1 0 0 2 7 ,   Z h e j i a n g ,   P e o p l e s   R   C h i n a 	 W u ,   S   ( r e p r i n t   a u t h o r ) ,   Z h e j i a n g   U n i v ,   C o l l   C o m p   S c i ,   H a n g z h o u   3 1 0 0 2 7 ,   Z h e j i a n g ,   P e o p l e s   R   C h i n a . 	 x i a n k z @ z j u . e d u . c n ;   w u s a i @ z j u . e d u . c n ;   c g @ z j u . e d u . c n ;   s h o u l d @ z j u . e d u . c n 	 	 	 N a t i o n a l   K e y   T e c h n o l o g y   R & D   P r o g r a m   o f   t h e   M i n i s t r y   o f   S c i e n c e   a n d   T e c h n o l o g y   o f   C h i n a   [ 2 0 1 3 B A G 0 6 B 0 1 ] ;   N a t i o n a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   ( N S F C )   [ 6 1 2 0 2 0 4 7 ] 	 T h i s   r e s e a r c h   h a s   b e e n   s u p p o r t e d   b y   T h e   N a t i o n a l   K e y   T e c h n o l o g y   R & D   P r o g r a m   o f   t h e   M i n i s t r y   o f   S c i e n c e   a n d   T e c h n o l o g y   o f   C h i n a   ( G r a n t   N o .   2 0 1 3 B A G 0 6 B 0 1 )   a n d   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   ( N S F C   G r a n t   6 1 2 0 2 0 4 7 ) . 	 A k b a r i n i a   R ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 6 4 1 ,   P 4 8 9 ;   B a l k e   W .   - T . ,   2 0 0 5 ,   I C D E ;   B a o   J . ,   2 0 1 2 ,   P   2 0   I N T   C   A D V   G E O G R ;   B a s t   H . ,   2 0 0 6 ,   V L D B ,   P 4 7 5 ;   B u r g e s   C J C ,   1 9 9 8 ,   D A T A   M I N   K N O W L   D I S C ,   V 2 ,   P 1 2 1 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 9 7 1 5 9 2 3 5 5 5 ;   C a o   L . ,   2 0 0 9 ,   P   1 7   A C M   S I G S P A T I A L ;   C a o   P . ,   2 0 0 4 ,   P O D C ;   C h a n g   C C ,   2 0 1 1 ,   A C M   T   I N T E L   S Y S T   T E C ,   V 2 ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 6 1 1 8 9 . 1 9 6 1 1 9 9 ;   C h a n g   K .   C .   - C . ,   2 0 0 2 ,   S I G M O D   2 0 0 2 ,   P 3 4 6 ;   C h a n g   Y . - J . ,   2 0 0 6 ,   7   I N T   C   M O B   D A T   M A N ;   C h e n   L ,   2 0 1 3 ,   E X P E R T   S Y S T   A P P L ,   V 4 0 ,   P 2 8 8 9 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 2 . 1 2 . 0 0 6 ;   C o n d i e   T . ,   2 0 1 0 ,   N S D I ,   P 3 1 3 ;   C O R T E S   C ,   1 9 9 5 ,   M A C H   L E A R N ,   V 2 0 ,   P 2 7 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 2 6 2 7 4 1 1 4 1 1 ;   D a s   G . ,   2 0 0 6 ,   V L D B ,   P 4 5 1 ;   D e a n   J ,   2 0 1 0 ,   C O M M U N   A C M ,   V 5 3 ,   P 7 2 ,   D O I   1 0 . 1 1 4 5 / 1 6 2 9 1 7 5 . 1 6 2 9 1 9 8 ;   D o n g   Z .   - B . ,   2 0 0 9 ,   P   A C M   I N T   C   W O R L D   W I ,   P 1 1 7 5 ,   D O I   1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 9 1 5 ;   F a g i n   R . ,   2 0 0 1 ,   P   2 0   A C M   S   P R I N C   D A T ,   P 1 0 2 ,   D O I   1 0 . 1 1 4 5 / 3 7 5 5 5 1 . 3 7 5 5 6 7 ;   F a g i n   R . ,   1 9 9 9 ,   C O M P U T E R   S Y S T E M   S C I ,   V 5 8 ;   F a g i n   R . ,   2 0 0 3 ,   C O M P U T E R   S Y S T E M   S C I ,   V 6 6 ;   F r a n k l i n   M . J . ,   2 0 1 1 ,   S I G M O D ,   P 6 1 ;   G e t o o r   L . ,   2 0 0 5 ,   A C M   S I G K D D   E X P L O R A T I ,   V 7 ,   P 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 1 7 4 5 4 . 1 1 1 7 4 5 6 ;   H j a l t a s o n   G R ,   1 9 9 9 ,   A C M   T   D A T A B A S E   S Y S T ,   V 2 4 ,   P 2 6 5 ,   D O I   1 0 . 1 1 4 5 / 3 2 0 2 4 8 . 3 2 0 2 5 5 ;   I l y a s   I F ,   2 0 0 8 ,   A C M   C O M P U T   S U R V ,   V 4 0 ,   D O I   1 0 . 1 1 4 5 / 1 3 9 1 7 2 9 . 1 3 9 1 7 3 0 ;   K i m   H N ,   2 0 1 2 ,   E X P E R T   S Y S T   A P P L ,   V 3 9 ,   P 6 9 5 5 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 2 . 0 1 . 0 2 2 ;   K i m   J K ,   2 0 0 8 ,   E X P E R T   S Y S T   A P P L ,   V 3 4 ,   P 3 0 0 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 0 6 . 0 9 . 0 3 4 ;   L i u   F K ,   2 0 1 0 ,   E X P E R T   S Y S T   A P P L ,   V 3 7 ,   P 4 7 7 2 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 0 9 . 1 2 . 0 6 1 ;   L i u   L ,   2 0 0 7 ,   V L D B   A C M ,   P 1 4 2 9 ;   L i u   X . ,   2 0 1 2 ,   P V L D B ;   L o   S C ,   2 0 0 6 ,   2 0 0 6   I E E E / W I C / A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   W E B   I N T E L L I G E N C E ,   ( W I   2 0 0 6   M A I N   C O N F E R E N C E   P R O C E E D I N G S ) ,   P 1 2 1 ,   D O I   1 0 . 1 1 0 9 / W I . 2 0 0 6 . 2 0 2 ;   M a c h u c a   E ,   2 0 1 2 ,   E X P E R T   S Y S T   A P P L ,   V 3 9 ,   P 6 4 3 5 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 1 . 1 2 . 0 2 2 ;   M e l i n g e r   D . ,   2 0 0 4 ,   P   6   I N T   C   U B   C O M P   U B ;   M i c h e l   S . ,   2 0 0 5 ,   V L D B ;   M o r i c z   M . ,   2 0 1 0 ,   S I G M O D ,   P 9 9 9 ;   O ' M a d a d h a i n   J . ,   2 0 0 5 ,   S I G K D D   E X P L O R A T I O N S ,   V 7 ,   P 2 3 ;   O z e r   N . ,   2 0 1 0 ,   A C L U   N O   C A L I F O R N I A ;   P a r k   K ,   2 0 1 4 ,   E X P E R T   S Y S T   A P P L ,   V 4 1 ,   P 1 2 9 4 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 3 . 0 8 . 0 2 7 ;   P i e t i l a i n e n   A K ,   2 0 0 9 ,   2 N D   A C M   S I G C O M M   W O R K S H O P   O N   O N L I N E   S O C I A L   N E T W O R K S   ( W O S N   0 9 ) ,   P 4 9 ;   P o o s a l a   V . ,   1 9 9 7 ,   G A X 9 7 1 6 0 7 4 ;   P o p e s c u l   A . ,   2 0 0 3 ,   I J C A I   W O R K S H   L E A R N   S ;   R a t t i g a n   M . ,   2 0 0 5 ,   S I G K D D   E X P L O R A T I O N S ,   V 7 ;   R o m d h a n e   L .   B . ,   2 0 1 3 ,   E X P E R T   S Y S T E M S   A P P L ,   V 4 0 ,   P 5 7 0 9 ;   S i v i c   J ,   2 0 0 9 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 1 ,   P 5 9 1 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 8 . 1 1 1 ;   T s a i   F S ,   2 0 0 9 ,   E X P E R T   S Y S T   A P P L ,   V 3 6 ,   P 1 1 0 7 7 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 0 9 . 0 2 . 0 9 3 ;   W u   Z . ,   2 0 0 9 ,   A C M   M U L T I M E D I A ,   P 9 8 7 ;   Y e   M . ,   2 0 1 0 ,   P   1 8   S I G S P A T I A L   I N T ;   Y u   C . ,   2 0 0 1 ,   V L D B ,   P 4 2 1 ;   Z h a n g   J . ,   1 9 9 9 ,   P   I E E E   W O R K S H   I N T   A P ;   Z h e n g   Y ,   2 0 0 9 ,   M D M :   2 0 0 9   1 0 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   D A T A   M A N A G E M E N T ,   P 3 5 7 ;   Z h e n g   Y . ,   2 0 1 1 ,   A C M   T   W E B ,   V 5 ;   Z h o n g   R . ,   2 0 1 3 ,   P   2 2   A C M   I N T   C   C   I N F 	 5 0 	 0 	 0 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 9 5 7 - 4 1 7 4 	 1 8 7 3 - 6 7 9 3 	 	 E X P E R T   S Y S T   A P P L 	 E x p e r t   S y s t .   A p p l . 	 N O V   1 5 	 2 0 1 4 	 4 1 	 1 6 	 	 	 	 	 6 9 6 7 	 6 9 8 2 	 	 1 0 . 1 0 1 6 / j . e s w a . 2 0 1 4 . 0 6 . 0 0 8 	 	 1 6 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 A N 6 F G 	 W O S : 0 0 0 3 4 0 6 8 9 7 0 0 0 0 1 	 	 
 J 	 S h e n ,   X L ;   L e e ,   M K O ;   C h e u n g ,   C M K 	 	 	 	 S h e n ,   X i a o - L i a n g ;   L e e ,   M a t t h e w   K .   O . ;   C h e u n g ,   C h r i s t y   M .   K . 	 	 	 E x p l o r i n g   o n l i n e   s o c i a l   b e h a v i o r   i n   c r o w d s o u r c i n g   c o m m u n i t i e s :   A   r e l a t i o n s h i p   m a n a g e m e n t   p e r s p e c t i v e 	 C O M P U T E R S   I N   H U M A N   B E H A V I O R 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   C o l l e c t i v e   i n t e n t i o n ;   C o m m i t m e n t - t r u s t   t h e o r y ;   P l u r a l   s u b j e c t   t h e o r y ;   M a s s   c o l l a b o r a t i o n ;   W i l d   c o m m u n i t y 	 K N O W L E D G E - S H A R I N G   B E H A V I O R ;   T H E O R E T I C A L - M O D E L ;   T R U S T ;   W E B ;   I N T E N T I O N ;   M O T I V A T I O N S ;   C O M M I T M E N T ;   W I K I P E D I A ;   N E T W O R K S ;   C O N T E X T 	 W i t h   t h e   p o p u l a r i t y   o f   s o c i a l   m e d i a ,   c r o w d s o u r c i n g   i n n o v a t i o n   p r o v i d e s   n e w   w a y s   t o   g e n e r a t e   o r i g i n a l   a n d   u s e f u l   c o n t e n t .   I t   o f f e r s   a   u n i q u e   o p p o r t u n i t y   f o r   o n l i n e   c r o w d s   t o   c o m m u n i c a t e   a n d   c o l l a b o r a t e   o n   a   v a r i e t y   o f   t o p i c s   o f   m u t u a l   i n t e r e s t .   T h i s   s t u d y   p r e s e n t s   a n   i n i t i a l   a t t e m p t   t o   e x p l o r e   a n d   u n d e r s t a n d   o n l i n e   s o c i a l   b e h a v i o r   i n   c r o w d s o u r c i n g   c o m m u n i t i e s ,   w i t h   t h e   i n s i g h t s   f r o m   b o t h   p l u r a l   s u b j e c t   t h e o r y   a n d   c o m m i t m e n t - t r u s t   t h e o r y .   I n   p a r t i c u l a r ,   t w o   d i f f e r e n t   t y p e s   o f   c o l l e c t i v e   i n t e n t i o n   ( i . e . ,   w e - m o d e   c o l l e c t i v e   i n t e n t i o n ,   w h i c h   r e f e r s   t o   a c t i n g   a s   a   g r o u p   m e m b e r ,   a n d   I - m o d e   c o l l e c t i v e   i n t e n t i o n ,   w h i c h   r e f e r s   t o   a c t i n g   i n t e r d e p e n d e n t l y   t o   c o n t r i b u t e   t o   t h e   g r o u p   g o a l )   w e r e   p r o p o s e d .   T h e   r e s e a r c h   m o d e l   w a s   e m p i r i c a l l y   e x a m i n e d   w i t h   l o n g i t u d i n a l   d a t a   c o l l e c t e d   f r o m   2 0 2   w i l d   u s e r s .   F i n d i n g s   i n d i c a t e d   t h a t ,   a l t h o u g h   b o t h   I - m o d e   a n d   w e - m o d e   c o l l e c t i v e   i n t e n t i o n s   s i g n i f i c a n t l y   p r e d i c t e d   o n l i n e   s o c i a l   b e h a v i o r   i n   w i l d   c o m m u n i t i e s ,   w e - m o d e   c o l l e c t i v e   i n t e n t i o n   e x e r t e d   a   g r e a t e r   e f f e c t   o n   u s e r s '   b e h a v i o r .   I n   a d d i t i o n ,   r e l a t i o n s h i p - o r i e n t a t e d   f a c t o r s   ( e . g . ,   t r u s t   a n d   c o m m i t m e n t )   o n l y   a f f e c t e d   w e - m o d e ,   i n s t e a d   o f   I - m o d e ,   c o l l e c t i v e   i n t e n t i o n .   T h i s   s t u d y   f i n a l l y   y i e l d s   s e v e r a l   i m p l i c a t i o n s   f o r   b o t h   r e s e a r c h   a n d   p r a c t i c e .   ( C )   2 0 1 4   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ S h e n ,   X i a o - L i a n g ]   W u h a n   U n i v ,   E c o n   &   M a n a g e m e n t   S c h ,   D e p t   M a n a g e m e n t   S c i   &   E n g n ,   W u h a n   4 3 0 0 7 2 ,   H u b e i ,   P e o p l e s   R   C h i n a ;   [ L e e ,   M a t t h e w   K .   O . ]   C i t y   U n i v   H o n g   K o n g ,   C o l l   B u s i n e s s ,   D e p t   I n f o r m a t   S y s t ,   K o w l o o n   T o n g ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a ;   [ C h e u n g ,   C h r i s t y   M .   K . ]   H o n g   K o n g   B a p t i s t   U n i v ,   S c h   B u s i n e s s ,   D e p t   F i n a n c e   &   D e c i s   S c i ,   K o w l o o n   T o n g ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a 	 S h e n ,   X L   ( r e p r i n t   a u t h o r ) ,   W u h a n   U n i v ,   E c o n   &   M a n a g e m e n t   S c h ,   M a i l b o x   0 8 - 2 8 ,   W u h a n   4 3 0 0 7 2 ,   H u b e i ,   P e o p l e s   R   C h i n a . 	 x l s h e n @ w h u . e d u . c n ;   i s m a t l e e @ c i t y u . e d u . h k ;   c c h e u n g @ h k b u . e d u . h k 	 	 	 	 	 A J Z E N   I . ,   1 9 8 0 ,   U N D E R S T A N D I N G   A T T I T U ;   B a g o z z i   R .   P . ,   2 0 0 7 ,   J   A S S O C   I N F   S Y S T ,   V 8 ,   P 2 4 4 ;   B a g o z z i   R P ,   2 0 0 0 ,   J   C O N S U M   R E S ,   V 2 7 ,   P 3 8 8 ,   D O I   1 0 . 1 0 8 6 / 3 1 7 5 9 3 ;   B a g o z z i   R P ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 9 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 4 5 ;   B a g o z z i   R P ,   2 0 0 2 ,   S O C   P S Y C H O L   Q U A R T ,   V 6 5 ,   P 2 2 6 ,   D O I   1 0 . 2 3 0 7 / 3 0 9 0 1 2 1 ;   B a y u s   B L ,   2 0 1 3 ,   M A N A G E   S C I ,   V 5 9 ,   P 2 2 6 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 2 0 . 1 5 9 9 ;   C h e u n g   C M K ,   2 0 1 1 ,   C O M P U T   H U M   B E H A V ,   V 2 7 ,   P 1 3 3 7 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 0 . 0 7 . 0 2 8 ;   C h e u n g   C M K ,   2 0 1 0 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 9 ,   P 2 4 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 9 . 1 2 . 0 0 6 ;   C h i n   W W ,   1 9 9 8 ,   Q U A N T   M E T H   S E R ,   P 2 9 5 ;   C h o   H C ,   2 0 1 0 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 1 ,   P 1 1 9 8 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 3 1 6 ;   C o s t a   C . ,   2 0 0 3 ,   P E R S   R E V ,   V 3 2 ,   P 6 0 5 ;   D E U T S C H   M ,   1 9 6 0 ,   H U M   R E L A T ,   V 1 3 ,   P 1 2 3 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 8 7 2 6 7 6 0 0 1 3 0 0 2 0 2 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   D o n e y   P M ,   1 9 9 7 ,   J   M A R K E T I N G ,   V 6 1 ,   P 3 5 ,   D O I   1 0 . 2 3 0 7 / 1 2 5 1 8 2 9 ;   E a g l y   A .   H . ,   1 9 9 3 ,   P S Y C H O L   A T T I T U D E ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F o r n e l l   C . ,   1 9 9 4 ,   A D V   M E T H O D S   M A R K E T I N ,   P 5 2 ;   F O R N E L L   C ,   1 9 8 1 ,   J   M A R K E T I N G   R E S ,   V 1 8 ,   P 3 9 ,   D O I   1 0 . 2 3 0 7 / 3 1 5 1 3 1 2 ;   G e f e n   D . ,   2 0 0 5 ,   C O M M U N I C A T I O N S   A S S   I ,   V 1 6 ,   P 9 1 ;   G e y s k e n s   I . ,   1 9 9 6 ,   I N T   J   R E S   M A R K ,   V 1 3 ,   P 3 0 3 ,   D O I   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 8 1 1 6 ( 9 6 ) 0 0 0 0 6 - 7 ;   G i l b e r t   M . ,   1 9 9 6 ,   L I V I N G   T O G E T H E R ;   G i l b e r t   M ,   1 9 8 9 ,   S O C I A L   F A C T S ;   H a i r   J .   F . ,   1 9 9 8 ,   M U L T I V A R I A T E   D A T A   A N ;   J a r v e n p a a   S .   L . ,   1 9 9 8 ,   J o u r n a l   o f   M a n a g e m e n t   I n f o r m a t i o n   S y s t e m s ,   V 1 4 ;   J o h n s o n   D W ,   2 0 0 3 ,   A M   P S Y C H O L ,   V 5 8 ,   P 9 3 4 ,   D O I   1 0 . 1 0 3 7 / 0 0 0 3 - 0 6 6 X . 5 8 . 1 1 . 9 3 4 ;   J o r e s k o g   K .   G . ,   1 9 9 3 ,   L I S R E L   8   S T R U C T U R A L ;   K o n g   J S L ,   2 0 1 2 ,   I N F O R M   M A N A G E - A M S T E R ,   V 4 9 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . i m . 2 0 1 1 . 1 0 . 0 0 4 ;   L i   D . ,   2 0 0 5 ,   J   A S S O C   I N F   S Y S T ,   V 6 ,   P 1 0 2 ;   L i   D H ,   2 0 0 6 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 0 ,   P 1 0 5 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 0 0 4 0 4 ;   L i m a y e m   M ,   2 0 0 7 ,   M I S   Q U A R T ,   V 3 1 ,   P 7 0 5 ;   M O R G A N   R M ,   1 9 9 4 ,   J   M A R K E T I N G ,   V 5 8 ,   P 2 0 ,   D O I   1 0 . 2 3 0 7 / 1 2 5 2 3 0 8 ;   M O W D A Y   R T ,   1 9 7 9 ,   J   V O C A T   B E H A V ,   V 1 4 ,   P 2 2 4 ,   D O I   1 0 . 1 0 1 6 / 0 0 0 1 - 8 7 9 1 ( 7 9 ) 9 0 0 7 2 - 1 ;   P a p a d i m i t r i o u   F ,   2 0 0 9 ,   C O M P U T   H U M   B E H A V ,   V 2 5 ,   P 1 3 3 1 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 0 9 . 0 5 . 0 0 9 ;   S h e e h y   P . ,   2 0 0 2 ,   J   S O C I A L   P H I L O S ,   V 3 3 ,   P 3 7 7 ,   D O I   1 0 . 1 1 1 1 / 0 0 4 7 - 2 7 8 6 . 0 0 1 4 8 ;   S h e n   X L ,   2 0 1 3 ,   I N T   J   I N F O R M   M A N A G E ,   V 3 3 ,   P 7 0 7 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 1 3 . 0 4 . 0 0 5 ;   T u o m e l a   R . ,   2 0 0 5 ,   P H I L O S   S O C I A L I T Y   S H A ;   T u o m e l a   R ,   2 0 0 6 ,   M I D W E S T   S T U D   P H I L O S ,   V 3 0 ,   P 3 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 5 - 4 9 7 5 . 2 0 0 6 . 0 0 1 2 7 . x ;   T u o m e l a   R . ,   2 0 0 5 ,   M I N D   S O C ,   V 4 ,   P 4 9 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 9 9 - 0 0 5 - 0 0 0 8 - 5 ;   T u r e l   O ,   2 0 1 1 ,   I N F O R M   M A N A G E - A M S T E R ,   V 4 8 ,   P 6 2 ,   D O I   1 0 . 1 0 1 6 / j . i m . 2 0 1 0 . 1 2 . 0 0 4 ;   W a n g   E S T ,   2 0 1 2 ,   C O M P U T   H U M   B E H A V ,   V 2 8 ,   P 5 7 0 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 1 . 1 1 . 0 0 2 ;   W a n g   N ,   2 0 1 3 ,   D E C I S   S U P P O R T   S Y S T ,   V 5 4 ,   P 1 3 9 4 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 2 . 1 2 . 0 1 5 ;   W a n g   W T ,   2 0 1 1 ,   O N L I N E   I N F O R M   R E V ,   V 3 5 ,   P 7 9 9 ,   D O I   1 0 . 1 1 0 8 / 1 4 6 8 4 5 2 1 1 1 1 1 7 6 5 1 6 ;   W a s k o   M .   M . ,   2 0 0 4 ,   J   A S S O C   I N F   S Y S T ,   V 5 ,   P 4 9 3 ;   W a s k o   M M ,   2 0 0 5 ,   M I S   Q U A R T ,   V 2 9 ,   P 3 5 ;   W o l d   H . ,   1 9 8 9 ,   T H E O R E T I C A L   E M P I R I C I ;   W u   J J ,   2 0 1 0 ,   J   B U S   R E S ,   V 6 3 ,   P 1 0 2 5 ,   D O I   1 0 . 1 0 1 6 / j . j b u s r e s . 2 0 0 9 . 0 3 . 0 2 2 ;   Y a n g   H L ,   2 0 1 1 ,   B E H A V   I N F O R M   T E C H N O L ,   V 3 0 ,   P 1 3 1 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 4 9 2 9 X . 2 0 1 0 . 5 1 6 0 1 9 ;   Y a n g   Q H ,   2 0 1 4 ,   C O M P U T   H U M   B E H A V ,   V 3 7 ,   P 2 4 9 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 4 . 0 4 . 0 5 4 ;   Y a n g   S . ,   2 0 0 9 ,   C O M M U N I C A T I O N S   A S S   I ,   V 2 5 ,   P 1 8 3 	 4 9 	 0 	 0 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 7 4 7 - 5 6 3 2 	 1 8 7 3 - 7 6 9 2 	 	 C O M P U T   H U M   B E H A V 	 C o m p u t .   H u m .   B e h a v . 	 N O V 	 2 0 1 4 	 4 0 	 	 	 	 	 	 1 4 4 	 1 5 1 	 	 1 0 . 1 0 1 6 / j . c h b . 2 0 1 4 . 0 8 . 0 0 6 	 	 8 	 P s y c h o l o g y ,   M u l t i d i s c i p l i n a r y ;   P s y c h o l o g y ,   E x p e r i m e n t a l 	 P s y c h o l o g y 	 A S 7 I M 	 W O S : 0 0 0 3 4 4 4 3 0 1 0 0 0 1 5 	 	 
 J 	 K a l a n t a r i ,   M ;   R a j a b i f a r d ,   A ;   O l f a t ,   H ;   W i l l i a m s o n ,   I 	 	 	 	 K a l a n t a r i ,   M o h s e n ;   R a j a b i f a r d ,   A b b a s ;   O l f a t ,   H a m e d ;   W i l l i a m s o n ,   I a n 	 	 	 G e o s p a t i a l   M e t a d a t a   2 . 0 - A n   a p p r o a c h   f o r   V o l u n t e e r e d   G e o g r a p h i c   I n f o r m a t i o n 	 C O M P U T E R S   E N V I R O N M E N T   A N D   U R B A N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 G e o s p a t i a l   d a t a ;   M e t a d a t a ;   V G I ;   A u t o m a t i o n ;   T a g g i n g ;   F o l k s o n o m y ;   W e b   2 . 0 ;   C r o w d s o u r c i n g ;   L i n k e d   d a t a 	 O P E N S T R E E T M A P 	 T h e r e   h a s   b e e n   g r e a t e r   t e n d e n c y   t o w a r d s   e m b r a c i n g   t h e   p o t e n t i a l   o f   t h e   W e b   2 . 0   i n   k n o w l e d g e   c r e a t i o n   w i t h   u s e r   c o n t r i b u t i o n s   b e c o m i n g   s i g n i f i c a n t l y   i m p o r t a n t   i n   t h e   d e v e l o p m e n t   o f   o p e n   d a t a   s u c h   a s   V o l u n t e e r e d   G e o g r a p h i c   I n f o r m a t i o n   ( V G I ) .   A n   i n c r e a s i n g   n u m b e r   o f   v o l u n t e e r s   w h i c h   a d d   v a l u e   t o   g e o s p a t i a l   d a t a   r e q u i r e   e f f e c t i v e   w a y s   o f   o r g a n i s i n g   a n d   p r o v i d i n g   a c c e s s   t o   v a l u e - a d d e d   o r   n e w l y   c r e a t e d   d a t a .   M e t a d a t a   r e c o r d s   a r e   o f t e n   u n a v a i l a b l e   f o r   V G I ,   m a k i n g   i t   p r o b l e m a t i c   f o r   u s e r s   t o   d i s c o v e r   d a t a   i n   t h e   V G I   s y s t e m .   T h i s   p a p e r   d i s c u s s e s   p o t e n t i a l   a p p r o a c h e s   t h a t   c a n   b e   u s e d   t o   c r e a t e   m e t a d a t a   f o r   V G I .   T h i s   i n c l u d e s   L i n k e d   D a t a ,   p r o f e s s i o n a l l y   c r e a t e d   m e t a d a t a   a n d   m e t a d a t a   c r e a t e d   b y   v o l u n t e e r s .   T h e   p a p e r   t h e n   d i s c u s s e s   t h e   s h o r t c o m i n g s   o f   t h e s e   a p p r o a c h e s   a n d   p r o p o s e s   a n   u n c o n v e n t i o n a l   a l t e r n a t i v e ,   G e o s p a t i a l   M e t a d a t a   2 . 0 .   T h i s   a p p r o a c h   i n v o l v e s   V G I   u s e r s   i n   t h e   c r e a t i o n   o f   m e t a d a t a ,   a n d   b u i l d s   o n   f o l k s o n o m i e s   c r e a t e d   b y   t h e m .   T h e   p a p e r   p r e s e n t s   t h e   d e s i g n   a n d   i m p l e m e n t a t i o n   o f   t h i s   i d e a   i n   a   p r o t o t y p e   s y s t e m   a l o n g   w i t h   a n   a s s e s s m e n t   r e s u l t .   T h e   i m p l e m e n t a t i o n   i n c l u d e s   G e o s p a t i a l   M e t a d a t a   2 . 0   a d d - o n s   i n   G e o n e t w o r k ,   a n d   t h e   a s s e s s m e n t   b e n e f i t s   f r o m   t h e   i n p u t   o f   m e t a d a t a   e x p e r t s   w o r l d w i d e .   T h e   a s s e s s m e n t   o f   t h e   b e n e f i t s   r e s u l t s   i n d i c a t e   s u c h   a n   a p p r o a c h   o f   m e t a d a t a   c r e a t i o n   i s   p r o m i s i n g   a n d   h a s   t h e   p o t e n t i a l   t o   b e   e m p l o y e d   i n   V G I   s y s t e m s .   ( C )   2 0 1 4   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ K a l a n t a r i ,   M o h s e n ]   U n i v   M e l b o u r n e ,   C t r   S D I   &   L a n d   A d m ,   M e l b o u r n e ,   V i c   3 0 1 0 ,   A u s t r a l i a ;   U n i v   M e l b o u r n e ,   D e p t   I n f r a s t r u c t   E n g n ,   M e l b o u r n e ,   V i c   3 0 1 0 ,   A u s t r a l i a 	 K a l a n t a r i ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   M e l b o u r n e ,   C t r   S D I   &   L a n d   A d m ,   M e l b o u r n e ,   V i c   3 0 1 0 ,   A u s t r a l i a . 	 s a e i d k s @ u n i m e l b . e d u . a u ;   a b b a s . r @ u n i m e l b . e d u . a u ;   h . o l f a t @ p g r a d . u n i m e l b . e d u . a u ;   i a n p w @ u n i m e l b . e d u . a u 	 	 	 	 	 A n g e l e t o u   S ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 7 0 3 1 ,   P 3 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 5 0 7 3 - 6 _ 3 ;   B a l l a t o r e   A ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 5 7 4 ,   P 7 8 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 9 1 7 3 - 2 _ 8 ;   B e a r d   K . ,   2 0 1 2 ,   P   1   A C M   S I G S P A T I A L   I ,   P 5 4 ;   B e r n e r s - L e e   T . ,   2 0 0 9 ,   I N T   J   S E M A N T   W E B   I N F ,   V 5 ,   P 1 ;   B e r t o l o t t o   M . ,   2 0 1 3 ,   S P A T I A L   S T A T ;   B i n n s   A . ,   2 0 0 9 ,   S D I   C O N V E R G E N C E   R E S ,   P 1 2 1 ;   B u l t e r m a n   D C A ,   2 0 0 4 ,   I E E E   M U L T I M E D I A ,   V 1 1 ,   P 1 0 ,   D O I   1 0 . 1 1 0 9 / M M U L . 2 0 0 4 . 2 9 ;   C o l e m a n   D .   J . ,   2 0 1 0 ,   G E O M A T I C A ,   V 6 4 ,   P 3 8 3 ;   C o l e m a n   D .   J . ,   2 0 0 9 ,   I N T   J   S P A T I A L   D A T A   I ,   V 4 ,   P 3 3 2 ;   E l l u l   C . ,   2 0 1 2 ,   1 4   G S D I   S P A T   E N   G O V ,   V 1 4 ;   F l o r c z y k   A . ,   2 0 1 2 ,   I N T   J   S P A T I A L   D A T A   I ,   V 7 ,   P 1 5 1 ;   G a h e g a n   M ,   2 0 0 9 ,   C O M P U T   G E O S C I - U K ,   V 3 5 ,   P 8 3 6 ,   D O I   1 0 . 1 0 1 6 / j . c a g e o . 2 0 0 8 . 0 9 . 0 0 6 ;   G i r r e s   J F ,   2 0 1 0 ,   T   G I S ,   V 1 4 ,   P 4 3 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 0 . 0 1 2 0 3 . x ;   G o l d e r   S A ,   2 0 0 6 ,   J   I N F   S C I ,   V 3 2 ,   P 1 9 8 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 6 0 6 2 3 3 7 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G r e e n   D . ,   2 0 0 1 ,   O N L I N E   G I S   S P A T I A L   M ;   G r e e n b e r g   J . ,   2 0 0 1 ,   D I G I T A L   I N F O R M ,   V 2 ,   P 7 8 ;   H a k l a y   M . ,   2 0 1 4 ,   A S S E R T I O N S   C R O W D S O U R ;   H a k l a y   M ,   2 0 1 0 ,   C A R T O G R   J ,   V 4 7 ,   P 3 1 5 ,   D O I   1 0 . 1 1 7 9 / 0 0 0 8 7 0 4 1 0 X 1 2 9 1 1 3 0 4 9 5 8 8 2 7 ;   H a k l a y   M ,   2 0 1 0 ,   E N V I R O N   P L A N N   B ,   V 3 7 ,   P 6 8 2 ,   D O I   1 0 . 1 0 6 8 / b 3 5 0 9 7 ;   H a r t i g   O . ,   2 0 0 9 ,   P R O V E N A N C E   I N F O R M   W E ;   H o l l e n s t e i n   L i v i a ,   2 0 1 0 ,   J   S P A T I A L   I N F O R M   S C I ,   V 1 ,   P 2 1 ;   H u i s m a n   O . ,   2 0 1 2 ,   A D V   L O C A T I O N   B A S E D   S ,   P 1 8 1 ;   K a l a n t a r i   M . ,   2 0 1 0 ,   S P A T I A L L Y   E N A B L I N G   S ,   P 2 4 8 ;   K a l a n t a r i   M . ,   2 0 0 9 ,   S U R V   S P A T   S C I   I   B I E N ;   K e s s l e r   C ,   2 0 1 3 ,   L E C T   N O T E S   G E O I N F   C A ,   P 2 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 0 0 6 1 5 - 4 _ 2 ;   M a t h e s   A . ,   2 0 0 4 ,   F O L K S O N O M I E S   C O O P E R A ;   M o o n e y   P ,   2 0 1 2 ,   T   G I S ,   V 1 6 ,   P 5 6 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 2 . 0 1 3 0 6 . x ;   O ' r e i l l y   T . ,   2 0 0 7 ,   C O M M U N I C A T I O N S   S T R A T ,   P 1 7 ;   O l f a t   H . ,   2 0 1 2 ,   I N T   J   G E O G R   I N F   S Y S T ,   V 2 7 ,   P 2 3 1 ;   R o r i s s a   A ,   2 0 1 0 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 1 ,   P 2 2 3 0 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 4 0 1 ;   S h i r k y   C . ,   2 0 0 5 ,   O N T O L O G Y   I S   O V E R R A T E ;   S i n h a   R . ,   2 0 0 5 ,   C O G N I T I V E   A N A L   T A G G I ;   T h o m a s   M ,   2 0 0 9 ,   L I B R   H I   T E C H ,   V 2 7 ,   P 4 1 1 ,   D O I   1 0 . 1 1 0 8 / 0 7 3 7 8 8 3 0 9 1 0 9 8 8 5 4 0 ;   V a n   O o r t   P . ,   2 0 0 5 ,   S P A T I A L   D A T A   Q U A L I T Y 	 3 5 	 0 	 0 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 0 1 9 8 - 9 7 1 5 	 1 8 7 3 - 7 5 8 7 	 	 C O M P U T   E N V I R O N   U R B A N 	 C o m p u t .   E n v i r o n .   U r b a n   S y s t . 	 N O V 	 2 0 1 4 	 4 8 	 	 	 	 	 	 3 5 	 4 8 	 	 1 0 . 1 0 1 6 / j . c o m p e n v u r b s y s . 2 0 1 4 . 0 6 . 0 0 5 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E n g i n e e r i n g ,   E n v i r o n m e n t a l ;   E n v i r o n m e n t a l   S t u d i e s ;   G e o g r a p h y ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y ;   G e o g r a p h y ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 A Q 5 Q V 	 W O S : 0 0 0 3 4 2 8 6 4 6 0 0 0 0 4 	 	 
 J 	 A z a r i a ,   A ;   A u m a n n ,   Y ;   K r a u s ,   S 	 	 	 	 A z a r i a ,   A m o s ;   A u m a n n ,   Y o n a t a n ;   K r a u s ,   S a r i t 	 	 	 A u t o m a t e d   a g e n t s   f o r   r e w a r d   d e t e r m i n a t i o n   f o r   h u m a n   w o r k   i n   c r o w d s o u r c i n g   a p p l i c a t i o n s 	 A U T O N O M O U S   A G E N T S   A N D   M U L T I - A G E N T   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 H u m a n - c o m p u t e r   i n t e r a c t i o n ;   C r o w d s o u r c i n g ;   N e g o t i a t i o n 	 U L T I M A T U M   G A M E ;   M O D E L ;   N E G O T I A T I O N ;   M E C H A N I S M 	 C r o w d s o u r c i n g   a p p l i c a t i o n s   f r e q u e n t l y   e m p l o y   m a n y   i n d i v i d u a l   w o r k e r s ,   e a c h   p e r f o r m i n g   a   s m a l l   a m o u n t   o f   w o r k .   I n   s u c h   s e t t i n g s ,   i n d i v i d u a l l y   d e t e r m i n i n g   t h e   r e w a r d   f o r   e a c h   a s s i g n m e n t   a n d   w o r k e r   m a y   s e e m   e c o n o m i c a l l y   b e n e f i c i a l ,   b u t   i s   i n a p p l i c a b l e   i f   m a n u a l l y   p e r f o r m e d .   W e   t h u s   c o n s i d e r   t h e   p r o b l e m   o f   d e s i g n i n g   a u t o m a t e d   a g e n t s   f o r   a u t o m a t i c   r e w a r d   d e t e r m i n a t i o n   a n d   n e g o t i a t i o n   i n   s u c h   s e t t i n g s .   W e   f o r m a l l y   d e s c r i b e   t h i s   p r o b l e m   a n d   s h o w   t h a t   i t   i s   N P - h a r d .   W e   t h e r e f o r e   p r e s e n t   t w o   a u t o m a t e d   a g e n t s   f o r   t h e   p r o b l e m ,   b a s e d   o n   t w o   d i f f e r e n t   m o d e l s   o f   h u m a n   b e h a v i o r .   T h e   f i r s t ,   t h e   R e s e r v a t i o n   P r i c e   B a s e d   A g e n t   ( R P B A ) ,   i s   b a s e d   o n   t h e   c o n c e p t   o f   a   R P ,   a n d   t h e   s e c o n d ,   t h e   N o   B a r g a i n i n g   A g e n t   ( N B A )   w h i c h   t r i e s   t o   a v o i d   a n y   n e g o t i a t i o n .   T h e   p e r f o r m a n c e   o f   t h e   a g e n t s   i s   t e s t e d   i n   e x t e n s i v e   e x p e r i m e n t s   w i t h   r e a l   h u m a n   s u b j e c t s ,   w h e r e   b o t h   N B A   a n d   R P B A   o u t p e r f o r m   s t r a t e g i e s   d e v e l o p e d   b y   h u m a n   e x p e r t s . 	 [ A z a r i a ,   A m o s ;   A u m a n n ,   Y o n a t a n ;   K r a u s ,   S a r i t ]   B a r   I l a n   U n i v ,   D e p t   C o m p   S c i ,   I L - 5 2 9 0 0   R a m a t   G a n ,   I s r a e l ;   [ K r a u s ,   S a r i t ]   U n i v   M a r y l a n d ,   I n s t   A d v   C o m p   S t u d i e s ,   C o l l e g e   P k ,   M D   2 0 7 4 2   U S A 	 A z a r i a ,   A   ( r e p r i n t   a u t h o r ) ,   B a r   I l a n   U n i v ,   D e p t   C o m p   S c i ,   I L - 5 2 9 0 0   R a m a t   G a n ,   I s r a e l . 	 a m o s . a z a r i a @ g m a i l . c o m ;   a u m a n n @ c s . b i u . a c . i l ;   s a r i t @ c s . b i u . a c . i l 	 	 	 E R C   [ 2 6 7 5 2 3 ] ;   M U R I   [ W 9 1 1 N F - 0 8 - 1 - 0 1 4 4 ] ;   A R O   [ W 9 1 1 N F 0 9 1 0 2 0 6 ,   W 9 1 1 N F 1 1 1 0 3 4 4 ] ;   I S F   [ 1 4 0 1 / 0 9 ] 	 T h i s   p a p e r   h a s   e v o l v e d   f r o m   a   p a p e r   p r e s e n t e d   a t   t h e   A A A I - 2 0 1 2   c o n f e r e n c e   [ 2 7 ] .   W e   t h a n k   A v i   R o s e n f e l d   a n d   S h i r a   A b u h a t z e r a   f o r   t h e i r   h e l p f u l   c o m m e n t s .   T h i s   w o r k   i s   s u p p o r t e d   i n   p a r t   b y   t h e   f o l l o w i n g   G r a n t s :   E R C   G r a n t   # 2 6 7 5 2 3 ,   M U R I   G r a n t   # W 9 1 1 N F - 0 8 - 1 - 0 1 4 4 ,   A R O   G r a n t s   W 9 1 1 N F 0 9 1 0 2 0 6   a n d   W 9 1 1 N F 1 1 1 0 3 4 4   a n d   I S F   G r a n t   # 1 4 0 1 / 0 9 . 	 A d d a   G . ,   2 0 1 1 ,   P   5   L A N G   T E C H N   C   L T C ;   A i r i a u   S . ,   2 0 1 0 ,   P   9   I N T   C   A U T   A G   M U L ,   P 1 6 7 ;   A r i e l y   D . ,   2 0 0 6 ,   J   B U S   R E S ,   V 5 9 ,   P 1 0 5 3 ;   A R K E S   H R ,   1 9 8 5 ,   O R G A N   B E H A V   H U M   D E C ,   V 3 5 ,   P 1 2 4 ,   D O I   1 0 . 1 0 1 6 / 0 7 4 9 - 5 9 7 8 ( 8 5 ) 9 0 0 4 9 - 4 ;   A z a r i a   A . ,   2 0 1 2 ,   A A A I   C   A R T   I N T ;   B E C K E R   G M ,   1 9 6 4 ,   B E H A V   S C I ,   V 9 ,   P 2 2 6 ,   D O I   1 0 . 1 0 0 2 / b s . 3 8 3 0 0 9 0 3 0 4 ;   B y e r s   S ,   1 9 9 8 ,   J   A M   S T A T   A S S O C ,   V 9 3 ,   P 5 7 7 ,   D O I   1 0 . 2 3 0 7 / 2 6 7 0 1 0 9 ;   C a m e r o n   L A ,   1 9 9 9 ,   E C O N   I N Q ,   V 3 7 ,   P 4 7 ;   C a r n e g i e   D ,   1 9 6 4 ,   W I N   F R I E N D S   I N F L U E N C ;   C h e v a l e y r e   Y . ,   2 0 0 6 ,   I n f o r m a t i c a ,   V 3 0 ;   D A V I S   R ,   1 9 8 3 ,   A R T I F   I N T E L L ,   V 2 0 ,   P 6 3 ,   D O I   1 0 . 1 0 1 6 / 0 0 0 4 - 3 7 0 2 ( 8 3 ) 9 0 0 1 5 - 2 ;   D i   G i u n t a   F ,   2 0 0 6 ,   A N N   M A T H   A R T I F   I N T E L ,   V 4 7 ,   P 2 5 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 7 2 - 0 0 6 - 9 0 3 7 - y ;   F a r i d a n i   S . ,   2 0 1 1 ,   P   A A A I   W O R K S H   H U M   C O ;   F e r g u s o n   T .   S . ,   1 9 8 9 ,   S T A T   S C I ,   V 4 ,   P 2 8 2 ,   D O I   D O I   1 0 . 1 2 1 4 / S S / 1 1 7 7 0 1 2 4 9 3 ;   F r a l e y   C ,   1 9 9 8 ,   C O M P U T   J ,   V 4 1 ,   P 5 7 8 ,   D O I   1 0 . 1 0 9 3 / c o m j n l / 4 1 . 8 . 5 7 8 ;   F r a l e y   C ,   2 0 0 2 ,   J   A M   S T A T   A S S O C ,   V 9 7 ,   P 6 1 1 ,   D O I   1 0 . 1 1 9 8 / 0 1 6 2 1 4 5 0 2 7 6 0 0 4 7 1 3 1 ;   G a i t h   W . ,   1 9 8 2 ,   J   E C O N   B E H A V   O R G A N ,   V 3 ,   P 3 6 7 ;   G a l   Y . ,   2 0 0 7 ,   P   2 2   C   A A A I ,   P 8 1 5 ;   G a l u s c a k   K . ,   2 0 1 0 ,   W O R K I N G   P A P E R   S E R I E S ,   V 1 1 5 3 ;   G n e e z y   U ,   2 0 0 3 ,   G A M E   E C O N   B E H A V ,   V 4 5 ,   P 3 4 7 ,   D O I   [ 1 0 . 1 0 1 6 / S 0 8 9 9 - 8 2 5 6 ( 0 3 ) 0 0 1 5 1 - 9 ,   1 0 . 1 0 1 6 / S 0 8 9 9 - 8 2 5 6 ( 0 3 ) 0 0 0 1 5 1 - 9 ] ;   H o r t o n   J .   J . ,   2 0 1 0 ,   P   C R O W D C O N F   S A N   F R A N ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   K A C H E L M E I E R   S J ,   1 9 9 2 ,   A M   E C O N   R E V ,   V 8 2 ,   P 1 1 2 0 ;   K a r p   R .   M . ,   1 9 7 2 ,   R E D U C I B I L I T Y   C O M B I N A ;   K a t z   R . ,   2 0 0 6 ,   A A M A S ,   P 6 9 7 ;   L i n   R ,   2 0 0 8 ,   A R T I F   I N T E L L ,   V 1 7 2 ,   P 8 2 3 ,   D O I   1 0 . 1 0 1 6 / j . a r t i n t . 2 0 0 7 . 0 9 . 0 0 7 ;   N o u s s a i r   C ,   2 0 0 4 ,   J   E C O N   P S Y C H O L ,   V 2 5 ,   P 7 2 5 ,   D O I   1 0 . 1 0 1 6 / j . j o e p . 2 0 0 3 . 0 6 . 0 0 4 ;   O v e r s t r e e t   H ,   1 9 2 5 ,   I N F L U E N C I N G   H U M A N   B E ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   P e l e d   N . ,   2 0 1 1 ,   A A M A S ,   P 3 4 5 ;   R a i f f a   H . ,   1 9 8 2 ,   A R T   S C I   N E G O T I A T I O N ;   R a m c h u r n   S .   D . ,   2 0 0 7 ,   A R T I F   I N T E L L ,   V 1 7 1 ,   P 8 0 5 ,   D O I   1 0 . 1 0 1 6 / j . a r t i n t . 2 0 0 7 . 0 4 . 0 1 4 ;   R I L E Y   J ,   1 9 8 3 ,   Q   J   E C O N ,   V 9 8 ,   P 2 6 7 ,   D O I   1 0 . 2 3 0 7 / 1 8 8 5 6 2 5 ;   R U B I N S T E I N   A ,   1 9 8 2 ,   E C O N O M E T R I C A ,   V 5 0 ,   P 9 7 ,   D O I   1 0 . 2 3 0 7 / 1 9 1 2 5 3 1 ;   S a n d h o l m   T .   W . ,   2 0 0 6 ,   P   I N T   C   A U T   A G   M U L T ,   P 1 1 2 7 ,   D O I   1 0 . 1 1 4 5 / 1 1 6 0 6 3 3 . 1 1 6 0 8 3 9 ;   S a r n e   D . ,   2 0 0 5 ,   A A A I ,   P 1 6 4 ;   S a r n e   D . ,   2 0 0 5 ,   P   2 0   N A T   C   A R T   I N T   P ,   P 1 6 4 ;   S t a h l   I ,   1 9 7 2 ,   B A R G A I N I N G   T H E O R Y ,   P 1 5 3 ;   V I C K R E Y   W ,   1 9 6 1 ,   J   F I N A N C ,   V 1 6 ,   P 8 ,   D O I   1 0 . 2 3 0 7 / 2 9 7 7 6 3 3 ;   W a l q u e   G .   D . ,   2 0 0 9 ,   1 5 7   N A T   B A N K   B E L G ;   W E I T Z M A N   M L ,   1 9 7 9 ,   J   E C O N O M E T R I C   S O C ,   V 4 7 ,   P 6 4 1 ;   W o o l l e y   A W ,   2 0 1 0 ,   S C I E N C E ,   V 3 3 0 ,   P 6 8 6 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 9 3 1 4 7 ;   Z l o t k i n   G ,   1 9 9 6 ,   A R T I F   I N T E L L ,   V 8 6 ,   P 1 9 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 0 4 - 3 7 0 2 ( 9 5 ) 0 0 1 0 4 - 2 	 4 3 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 7 - 2 5 3 2 	 1 5 7 3 - 7 4 5 4 	 	 A U T O N   A G E N T   M U L T I - A G 	 A u t o n .   A g e n t s   M u l t i - A g e n t   S y s t . 	 N O V 	 2 0 1 4 	 2 8 	 6 	 	 	 	 	 9 3 4 	 9 5 5 	 	 1 0 . 1 0 0 7 / s 1 0 4 5 8 - 0 1 3 - 9 2 4 4 - y 	 	 2 2 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e 	 A N 4 C F 	 W O S : 0 0 0 3 4 0 5 3 4 5 0 0 0 0 3 	 	 
 J 	 C h a n g ,   D ;   C h e n ,   C H ;   L e e ,   K M 	 	 	 	 C h a n g ,   D a n n i ;   C h e n ,   C h u n - H s i e n ;   L e e ,   K a   M a n 	 	 	 A   c r o w d s o u r c i n g   d e v e l o p m e n t   a p p r o a c h   b a s e d   o n   a   n e u r o - f u z z y   n e t w o r k   f o r   c r e a t i n g   i n n o v a t i v e   p r o d u c t   c o n c e p t s 	 N E U R O C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   T a r g e t   a n a l y s i s ;   T a s k   a l l o c a t i o n ;   C h e a t i n g   c o n t r o l 	 	 A s   a n   e f f e c t i v e   w a y   t o   a g g r e g a t e   a   c r o w d ' s   w i s d o m ,   c r o w d s o u r c i n g   h a s   a t t r a c t e d   m u c h   a t t e n t i o n   i n   r e c e n t   y e a r s .   E s p e c i a l l y   f o r   p r o d u c t   i n n o v a t i o n ,   c r o w d s o u r c i n g   s h o w s   h u g e   p o t e n t i a l   f o r   g e n e r a t i n g   m o r e   c r e a t i v e   i d e a s   i n   t e r m s   o f   q u a n t i t y   a n d   i n n o v a t i v e n e s s .   H o w e v e r ,   t h e r e   a r e   s t i l l   s o m e   d e f i c i e n c i e s   i n   t h e   e x i s t i n g   c r o w d s o u r c i n g   w o r k :   i )   l a c k   o f   a   c r o w d s o u r c i n g   s y s t e m   u n d e r   a   s y s t e m a t i c   o r   u n i f i e d   f r a m e w o r k   t o   s u p p o r t   p r o d u c t   i n n o v a t i o n ;   i i )   l a c k   o f   a n   e f f e c t i v e   q u a n t i t a t i v e   m e t h o d   t o   a s s i s t   t h e   d e s i g n   o f   c r o w d s o u r c i n g   t a s k s ;   a n d   i i i )   i n s u f f i c i e n t   a n t i - c h e a t i n g   c o n c e r n s   i n   t h e   i n i t i a l   s t a g e   o f   t a s k   d e s i g n .   I n   t h i s   a r t i c l e ,   a   p r o t o t y p e   c r o w d s o u r c i n g   s y s t e m   i s   p r o p o s e d   t o   t a c k l e   t h e s e   p r o b l e m s .   T h r o u g h   t h e   e s t a b l i s h m e n t   o f   a   t a s k   d e v e l o p m e n t   m o d e l   w h i c h   c o n s i s t s   o f   i )   a n   i n n o v a t i o n   t a r g e t   a n a l y s i s   m o d u l e ,   i i )   a n   i n n o v a t i o n - o r i e n t e d   H I T   ( h u m a n   i n t e l l i g e n t   t a s k )   a l l o c a t i o n   m o d u l e ,   a n d   i i i )   a   c h e a t i n g   c o n t r o l   m o d u l e ,   t h e   p r o p o s e d   s y s t e m   i s   a b l e   t o   a n a l y z e   a n d   d e c o m p o s e   t h e   i n n o v a t i o n   t a r g e t .   I n   a d d i t i o n ,   i t   c a n   i d e n t i f y   s u i t a b l e   t a s k s   t o   f a c i l i t a t e   i n n o v a t i o n   a n d   t o   e m b e d   a n t i - c h e a t i n g   m e a s u r e s   i n   t a s k   d e s i g n .   T o   d e m o n s t r a t e   t h e   p r o p o s e d   p r o t o t y p e   s y s t e m ,   a   c a s e   s t u d y   o n   a   f u t u r e   P C   d e s i g n   i s   p r e s e n t e d .   T h r o u g h   c o n t r o l   t e s t i n g ,   i t   a p p e a r s   t h a t   t h e   p r o p o s e d   s y s t e m   i s   e f f e c t i v e   i n   g e n e r a t i n g   m o r e   v a l i d   a n d   i n n o v a t i v e   i d e a s .   ( C )   2 0 1 4   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ C h a n g ,   D a n n i ;   C h e n ,   C h u n - H s i e n ]   N a n y a n g   T e c h n o l   U n i v ,   S c h   M e c h   &   A e r o s p   E n g n ,   S i n g a p o r e   6 3 9 7 9 8 ,   S i n g a p o r e ;   [ L e e ,   K a   M a n ]   H o n g   K o n g   P o l y t e c h   U n i v ,   D e p t   I n d   &   S y s t   E n g n ,   H o n g   K o n g ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a 	 C h a n g ,   D   ( r e p r i n t   a u t h o r ) ,   N a n y a n g   T e c h n o l   U n i v ,   S c h   M e c h   &   A e r o s p   E n g n ,   S i n g a p o r e   6 3 9 7 9 8 ,   S i n g a p o r e . 	 d c h a n g 1 @ e . n t u . e d u . s g 	 	 	 	 	 A l l a h b a k h s h   M . ,   2 0 1 2 ,   A R X I V 1 2 1 1 3 2 0 0   C O R R   C ;   A l o n s o   O ,   2 0 1 2 ,   I N F O R M   P R O C E S S   M A N A G ,   V 4 8 ,   P 1 0 5 3 ,   D O I   1 0 . 1 0 1 6 / j . i p m . 2 0 1 2 . 0 1 . 0 0 4 ;   A r m s t r o n g   A W ,   2 0 1 2 ,   J   A M   A C A D   D E R M A T O L ,   V 6 7 ,   P 1 2 7 3 ,   D O I   1 0 . 1 0 1 6 / j . j a a d . 2 0 1 2 . 0 5 . 0 1 3 ;   B a c h r a c h   Y . ,   2 0 1 2 ,   P   2 9   I N T   C   M A C H   L E A R ,   P 1 1 8 3 ;   B a z i l i a n   M ,   2 0 1 2 ,   E N E R G   P O L I C Y ,   V 4 9 ,   P 1 4 9 ,   D O I   1 0 . 1 0 1 6 / j . e n p o l . 2 0 1 2 . 0 6 . 0 3 2 ;   B e r n s t e i n   M . S . ,   2 0 1 2 ,   C O L L   I N T   C   A P R   1 8   2 0 ;   B u c h h o l z   S . ,   2 0 1 1 ,   P   I N T ,   P 3 0 5 3 ;   C h a n d l e r   D ,   2 0 1 3 ,   J   E C O N   B E H A V   O R G A N ,   V 9 0 ,   P 1 2 3 ,   D O I   1 0 . 1 0 1 6 / j . j e b o . 2 0 1 3 . 0 3 . 0 0 3 ;   C h a w l a   S . ,   2 0 1 2 ,   P   A C M   S I A M   S   D I S C R   A ;   C o o k   S ,   2 0 0 8 ,   H A R V A R D   B U S   R E V ,   V 8 6 ,   P 6 0 ;   C o r n e y   J R ,   2 0 1 0 ,   A D V   E N G   I N F O R M ,   V 2 4 ,   P 2 4 3 ,   D O I   1 0 . 1 0 1 6 / j . a e i . 2 0 1 0 . 0 5 . 0 1 1 ;   D a i   Q ,   2 0 1 2 ,   N E U R O C O M P U T I N G ,   V 9 4 ,   P 1 5 2 ,   D O I   1 0 . 1 0 1 6 / j . n e u c o m . 2 0 1 2 . 0 3 . 0 1 1 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   E r t e k i n   S . ,   2 0 1 2 ,   P   C O L L   I N T   C ;   F e l l e r   J ,   2 0 1 2 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 2 1 ,   P 2 1 6 ,   D O I   1 0 . 1 0 1 6 / j . j s i s . 2 0 1 2 . 0 3 . 0 0 2 ;   F i e n e n   M N ,   2 0 1 2 ,   C O M P U T   G E O S C I - U K ,   V 4 9 ,   P 1 6 4 ,   D O I   1 0 . 1 0 1 6 / j . c a g e o . 2 0 1 2 . 0 6 . 0 1 5 ;   F l o r i d a   R . ,   2 0 0 3 ,   R I S E   C R E A T I V E   C L A S S ;   G h o s h   A . ,   2 0 1 2 ,   P   2 1   I N T   W O R L D   W I D   W ;   H e i p k e   C ,   2 0 1 0 ,   I S P R S   J   P H O T O G R A M M ,   V 6 5 ,   P 5 5 0 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 1 0 . 0 6 . 0 0 5 ;   H e y e r   S . ,   2 0 1 3 ,   R E E N G I N E E R I N G   M A N U F A ;   H i r t h   M ,   2 0 1 3 ,   M A T H   C O M P U T   M O D E L ,   V 5 7 ,   P 2 9 1 8 ,   D O I   1 0 . 1 0 1 6 / j . m c m . 2 0 1 2 . 0 1 . 0 0 6 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   J u s t e l   D . ,   2 0 0 7 ,   I N T   C   E N G   D E S   I C E D ;   K h a s r a g h i   H . J . ,   2 0 1 2 ,   I N T   J   C O M P U T   A P P L ,   V 5 2 ,   P 1 3 ;   K R O S N I C K   J A ,   1 9 9 1 ,   A P P L   C O G N I T I V E   P S Y C H ,   V 5 ,   P 2 1 3 ,   D O I   1 0 . 1 0 0 2 / a c p . 2 3 5 0 0 5 0 3 0 5 ;   K r o s n i c k   J A ,   2 0 1 0 ,   H A N D B O O K   O F   S U R V E Y   R E S E A R C H ,   2 N D   E D I T I O N ,   P 2 6 3 ;   K w o n g   C K ,   2 0 0 8 ,   I N   C   I N D   E N G   E N G   M A N ,   P 1 8 0 4 ;   L e u n g   W . - C . ,   2 0 0 1 ,   S T U D E N T   B M J ,   V 9 ,   P 1 8 7 ;   L i n   C . H . ,   2 0 1 2 ,   P   2 8   C   U N C   A R T   I N T ;   L i u   D . ,   2 0 1 2 ,   P   A M   S O C   I N F O R M   S C I ,   V 4 9 ,   P 1 ;   L i u   X . ,   2 0 1 2 ,   P   V L D B   E N D O W M E N T ,   V 5 ,   P 1 0 4 0 ;   M o r r i s   R . R . ,   2 0 1 2 ,   C O L L   I N T   C   A P R   1 8   2 0 ;   P o e t z   M K ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x ;   R a m p i n o   L ,   2 0 1 1 ,   I N T   J   D E S ,   V 5 ,   P 3 ;   R o s s e n   B ,   2 0 1 2 ,   I N T   J   H U M - C O M P U T   S T ,   V 7 0 ,   P 3 0 1 ,   D O I   1 0 . 1 0 1 6 / j . i j h c s . 2 0 1 1 . 1 1 . 0 0 4 ;   S a l o n e n   M . ,   2 0 0 5 ,   I N T   D E S   E N G   T E C H N   C ;   S h a o   B J ,   2 0 1 2 ,   E L E C T R O N   M A R K ,   V 2 2 ,   P 7 3 ,   D O I   1 0 . 1 0 0 7 / s 1 2 5 2 5 - 0 1 2 - 0 0 9 3 - 3 ;   T a k a i   S . ,   2 0 0 4 ,   I N T   D E S   E N G   T E C H N   C ;   T a y l o r - P o w e l l   E . ,   1 9 9 6 ,   Q U E S T I O N N A I R E   D E S I G N ;   W a n g   J . ,   2 0 1 2 ,   P   V L D B   E N D O W M E N T 	 4 0 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 9 2 5 - 2 3 1 2 	 1 8 7 2 - 8 2 8 6 	 	 N E U R O C O M P U T I N G 	 N e u r o c o m p u t i n g 	 O C T   2 2 	 2 0 1 4 	 1 4 2 	 	 	 	 S I 	 	 6 0 	 7 2 	 	 1 0 . 1 0 1 6 / j . n e u c o m . 2 0 1 4 . 0 3 . 0 4 4 	 	 1 3 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 A N 1 K O 	 W O S : 0 0 0 3 4 0 3 4 1 4 0 0 0 0 7 	 	 
 J 	 T a r a s o v ,   A ;   D e l a n y ,   S J ;   M a c   N a m e e ,   B 	 	 	 	 T a r a s o v ,   A l e x e y ;   D e l a n y ,   S a r a h   J a n e ;   M a c   N a m e e ,   B r i a n 	 	 	 D y n a m i c   e s t i m a t i o n   o f   w o r k e r   r e l i a b i l i t y   i n   c r o w d s o u r c i n g   f o r   r e g r e s s i o n   t a s k s :   M a k i n g   i t   w o r k 	 E X P E R T   S Y S T E M S   W I T H   A P P L I C A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S u p e r v i s e d   m a c h i n e   l e a r n i n g ;   C r o w d s o u r c i n g ;   W o r k e r   r e l i a b i l i t y ;   M u l t i - a r m e d   b a n d i t s ;   E m o t i o n   r e c o g n i t i o n 	 M U L T I P L E   D A T A   S E T S ;   S T A T I S T I C A L   C O M P A R I S O N S ;   M U L T I A R M E D   B A N D I T ;   A N N O T A T O R S ;   C L A S S I F I E R S ;   C R O W D S 	 O n e   o f   t h e   b i g g e s t   c h a l l e n g e s   i n   c r o w d s o u r c i n g   i s   d e t e c t i n g   n o i s y   a n d   i n c o m p e t e n t   w o r k e r s .   A   p o s s i b l e   w a y   o f   h a n d l i n g   t h i s   p r o b l e m   i s   t o   d y n a m i c a l l y   e s t i m a t e   t h e   r e l i a b i l i t y   o f   w o r k e r s   a s   t h e y   d o   w o r k   a n d   a c c e p t   o n l y   t h o s e   w o r k e r s   w h o   a r e   d e e m e d   t o   b e   r e l i a b l e   t o   d a t e .   A l t h o u g h   m a n y   a p p r o a c h e s   t o   d y n a m i c   e s t i m a t i o n   o f   r a t e r   r e l i a b i l i t y   e x i s t ,   t h e y   a r e   o f t e n   o n l y   a p p r o p r i a t e   f o r   v e r y   s p e c i f i c   c a t e g o r i e s   o f   t a s k s ,   f o r   e x a m p l e ,   o n l y   f o r   b i n a r y   c l a s s i f i c a t i o n .   T h e y   a l s o   c a n   m a k e   u n r e a l i s t i c   a s s u m p t i o n s   s u c h   a s   r e q u i r i n g   a c c e s s   t o   a   l a r g e   n u m b e r   o f   g o l d   s t a n d a r d   a n s w e r s   o r   r e l y i n g   o n   t h e   c o n s t a n t   a v a i l a b i l i t y   o f   a n y   r a t e r .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   n o v e l   a p p r o a c h   t o   t h e   d y n a m i c   e s t i m a t i o n   o f   r a t e r   r e l i a b i l i t y   i n   r e g r e s s i o n   ( D E R 3 )   u s i n g   m u l t i - a r m e d   b a n d i t s .   T h i s   a p p r o a c h   i s   s p e c i f i c a l l y   s u i t e d   f o r   r e a l - l i f e   c r o w d s o u r c i n g   s c e n a r i o s ,   w h e r e   t h e   t a s k   a t   h a n d   i s   l a b e l l i n g   o r   r a t i n g   c o r p o r a   t o   b e   u s e d   i n   s u p e r v i s e d   m a c h i n e   l e a r n i n g ,   a n d   t h e   a n n o t a t i o n s   a r e   c o n t i n u o u s   r a t i n g s ,   a l t h o u g h   i t   c a n   b e   e a s i l y   g e n e r a l i s e d   t o   m u l t i - c l a s s   o r   b i n a r y   c l a s s i f i c a t i o n   t a s k s .   W e   d e m o n s t r a t e   t h a t   D E R 3   p r o v i d e s   h i g h - a c c u r a c y   r e s u l t s   a n d   a t   t h e   s a m e   t i m e   k e e p s   t h e   c o s t   o f   t h e   r a t i n g   p r o c e s s   l o w .   A l t h o u g h   o u r   m a i n   m o t i v a t i n g   e x a m p l e   i s   t h e   r e c o g n i t i o n   o f   e m o t i o n   i n   s p e e c h ,   o u r   a p p r o a c h   s h o w s   s i m i l a r   r e s u l t s   i n   o t h e r   a p p l i c a t i o n   a r e a s .   ( C )   2 0 1 4   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ T a r a s o v ,   A l e x e y ;   D e l a n y ,   S a r a h   J a n e ;   M a c   N a m e e ,   B r i a n ]   D u b l i n   I n s t   T e c h n o l ,   S c h   C o m p ,   D u b l i n   8 ,   I r e l a n d 	 T a r a s o v ,   A   ( r e p r i n t   a u t h o r ) ,   D u b l i n   I n s t   T e c h n o l ,   S c h   C o m p ,   K e v i n   S t ,   D u b l i n   8 ,   I r e l a n d . 	 t a r a s o v s . a l e k s e j s @ g m a i l . c o m 	 	 	 S c i e n c e   F o u n d a t i o n   I r e l a n d   [ 0 9 - R F P - C M S 2 5 3 ] ;   D u b l i n   I n s t i t u t e   o f   T e c h n o l o g y   u n d e r   F i o s r a i g h   s c h e m e 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   S c i e n c e   F o u n d a t i o n   I r e l a n d   u n d e r   G r a n t   N o .   0 9 - R F P - C M S 2 5 3   a n d   D u b l i n   I n s t i t u t e   o f   T e c h n o l o g y   u n d e r   F i o s r a i g h   s c h e m e .   T h e   a u t h o r s   a l s o   w a n t   t o   t h a n k   D r .   R o n g   H u   f o r   p r o v i d i n g   t h e   i m p l e m e n t a t i o n   o f   a c t i v e   l e a r n i n g   s e e d i n g   a l g o r i t h m .   T h e   a u t h o r s   a l s o   e x p r e s s   t h e i r   g r a t i t u d e   t o   D r .   B e n   L e o n g ,   D r .   M a r t h a   L a r s o n ,   D r .   R a d a   M i h a l c e a   a n d   D r .   M o h a m m a d   S o l e y m a n i   f o r   k i n d l y   a l l o w i n g   t o   u s e   t h e i r   d a t a . 	 A m b a t i   V . ,   2 0 1 0 ,   P   L R E C ;   A u d h k h a s i   K ,   2 0 1 3 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 5 ,   P 7 6 9 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 1 2 . 1 3 9 ;   A u d i b e r t   J Y ,   2 0 0 9 ,   T H E O R   C O M P U T   S C I ,   V 4 1 0 ,   P 1 8 7 6 ,   D O I   1 0 . 1 0 1 6 / j . t c s . 2 0 0 9 . 0 1 . 0 1 6 ;   A u d i b e r t   J Y ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 2 7 8 5 ;   B a c h r a c h   Y . ,   2 0 1 2 ,   P   I C M L ;   B r e w   A . ,   2 0 1 0 ,   P   E C A I ;   B u r b i d g e   R . ,   2 0 0 7 ,   L N C S ,   V 4 8 8 1 ,   P 2 0 9 ;   C a e l e n   O ,   2 0 1 0 ,   A N N   M A T H   A R T I F   I N T E L ,   V 6 0 ,   P 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 7 2 - 0 1 0 - 9 1 9 0 - 1 ;   C h e n   X . ,   2 0 1 3 ,   P   I C M L ;   D a i   P ,   2 0 1 3 ,   A R T I F   I N T E L L ,   V 2 0 2 ,   P 5 2 ,   D O I   1 0 . 1 0 1 6 / j . a r t i n t . 2 0 1 3 . 0 6 . 0 0 2 ;   D a l v i   N . ,   2 0 1 3 ,   P   W W W ;   D a w i d   A . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   P 2 0 ;   D e k e l   O ,   2 0 1 2 ,   J   M A C H   L E A R N   R E S ,   V 1 3 ,   P 2 6 5 5 ;   D e k e l   O . ,   2 0 0 9 ,   P   I C M L ;   D e m s a r   J ,   2 0 0 6 ,   J   M A C H   L E A R N   R E S ,   V 7 ,   P 1 ;   D o n m e z   P . ,   2 0 0 9 ,   P   K D D ;   E r t e k i n   S . ,   2 0 1 1 ,   W O R K S H   C O M P   S O C   S C I ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F a n g   M ,   2 0 1 2 ,   I E E E   D A T A   M I N I N G ,   P 8 5 8 ,   D O I   1 0 . 1 1 0 9 / I C D M . 2 0 1 2 . 6 4 ;   G a r c i a   S ,   2 0 0 8 ,   J   M A C H   L E A R N   R E S ,   V 9 ,   P 2 6 7 7 ;   G a r i v i e r   E . ,   2 0 1 1 ,   P   C O L T ;   G I T T I N S   J C ,   1 9 7 9 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 4 1 ,   P 1 4 8 ;   G r i m m   M . ,   2 0 0 8 ,   P   I C M E ;   G r o o t   P . ,   2 0 1 1 ,   P   I C A N N ;   H a r d w i c k   J . ,   1 9 9 1 ,   C O M P U T I N G   S C I   S T A T ,   V 2 3 ,   P 4 2 1 ;   H e e r   J ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 0 3 ;   H o   C . ,   2 0 1 2 ,   P   A A A I ;   H o   C . ,   2 0 1 3 ,   P   I C M L ;   H o n d a   J . ,   2 0 1 0 ,   P   C O L T ;   H u   R . ,   2 0 1 0 ,   P   F L A I R S ;   I p e i r o t i s   P . ,   2 0 1 0 ,   P   W O R K S H   H U M   C O M P   H C ;   J u n g   H .   J . ,   2 0 1 2 ,   P   W O R K S H   H U M   C O M P   H C ;   K a j i n o   H . ,   2 0 1 2 ,   P   A A A I ;   K a j i n o   H . ,   2 0 1 3 ,   P   A A A I ;   K a m a r   E . ,   2 0 1 2 ,   P   A A M A S ;   K a r g e r   D .   R . ,   2 0 1 3 ,   P   S I G M E T R I C S ;   K h a t t a k   F . K . ,   2 0 1 1 ,   2   W O R K S H   C O M P   S O C   S C ;   L A I   T L ,   1 9 8 5 ,   A D V   A P P L   M A T H ,   V 6 ,   P 4 ,   D O I   1 0 . 1 0 1 6 / 0 1 9 6 - 8 8 5 8 ( 8 5 ) 9 0 0 0 2 - 8 ;   L a s k o w s k i   K . ,   2 0 0 6 ,   P   L R E C ;   L e o n g   C . ,   2 0 1 1 ,   P   I N T   C   S E M   C O M P ;   L i u   C . ,   2 0 1 2 ,   P   I C M L ;   L i u   Q . ,   2 0 1 2 ,   P   N I P S ;   L u c e   D u n c a n   R . ,   1 9 5 9 ,   I N D I V I D U A L   C H O I C E   B E ;   N E I B E R G   D ,   2 0 0 6 ,   P   I N T   C   S P O K   L A N G   P R ,   P 8 0 9 ;   N o w a k   S ,   2 0 1 0 ,   P   I N T   C   M U L T   I N F   R E T ,   P 5 5 7 ,   D O I   1 0 . 1 1 4 5 / 1 7 4 3 3 8 4 . 1 7 4 3 4 7 8 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   P f e i f f e r   T . ,   2 0 1 2 ,   P   A A A I ;   Q u a f a f o u   C .   W . ,   2 0 1 2 ,   L E C T   N O T E S   A R T I F   I N T ,   V 7 7 1 3 ,   P 1 7 3 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   R a y k a r   V C ,   2 0 1 2 ,   J   M A C H   L E A R N   R E S ,   V 1 3 ,   P 4 9 1 ;   R O B B I N S   H ,   1 9 5 2 ,   B   A M   M A T H   S O C ,   V 5 8 ,   P 5 2 7 ,   D O I   1 0 . 1 0 9 0 / S 0 0 0 2 - 9 9 0 4 - 1 9 5 2 - 0 9 6 2 0 - 8 ;   R o d r i g u e s   F ,   2 0 1 3 ,   P A T T E R N   R E C O G N   L E T T ,   V 3 4 ,   P 1 4 2 8 ,   D O I   1 0 . 1 0 1 6 / j . p a t r e c . 2 0 1 3 . 0 5 . 0 1 2 ;   S c h u l l e r   B . ,   2 0 0 9 ,   P   I N T E R S P E E C H ;   S c o t t   S L ,   2 0 1 0 ,   A P P L   S T O C H   M O D E L   B U S ,   V 2 6 ,   P 6 3 9 ,   D O I   1 0 . 1 0 0 2 / a s m b . 8 7 4 ;   S e t t l e s   B ,   2 0 1 0 ,   1 6 4 8   U   W I S C   M A D ;   S h e n g   V . ,   2 0 0 8 ,   P   K D D ;   S i n g l a   A . ,   2 0 1 3 ,   P   W W W ;   S m y t h   P . ,   1 9 9 5 ,   P   N I P S ,   P 1 0 8 5 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ;   S o l e y m a n i   M . ,   2 0 1 0 ,   W O R K S H   C R O W D S   S E A R C H ;   S t e i d l   S . ,   2 0 0 9 ,   T H E S I S   E R L A N G E N   N U R N ;   S u   Q . ,   2 0 0 7 ,   P   W W W ;   T a r a s o v   A . ,   2 0 1 3 ,   M A C H   L E A R N   M E E T S   C R O ;   T a r a s o v   A . ,   2 0 1 2 ,   W O R K S H   M A C H   L E A R N   H U ;   T r a n - T h a n h   L . ,   2 0 1 2 ,   P   E C A I ;   T r i a n t a p h y l l o u   E ,   2 0 0 5 ,   I E E E   T   E N G   M A N A G E ,   V 5 2 ,   P 2 1 3 ,   D O I   1 0 . 1 1 0 9 / T E M . 2 0 0 5 . 8 4 5 2 2 1 ;   V a l i z a d e g a n   H . ,   2 0 1 2 ,   A M I A   A N N   S   P ,   P 9 2 1 ;   V e r m o r e l   J ,   2 0 0 5 ,   L E C T   N O T E S   A R T I F   I N T ,   V 3 7 2 0 ,   P 4 3 7 ;   W a l l a c e   B C ,   2 0 1 1 ,   P   S I A M   I N T   C   D A T   M I N ;   W e l i n d e r   P . ,   2 0 1 0 ,   W O R K S H   A D V   C O M P   V I S ;   W e l i n d e r   P . ,   2 0 1 0 ,   P   N I P S ,   V 2 3 ,   P 2 4 2 4 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   P   C   A D V   N E U R   I N F   P R O ,   P 2 0 3 5 ;   W h i t l a   P . ,   2 0 0 9 ,   C O N T   M A N A G E M E N T   R E S ,   V 5 ,   P 1 5 ;   W u   W N ,   2 0 1 3 ,   N E U R O C O M P U T I N G ,   V 1 1 8 ,   P 2 5 3 ,   D O I   1 0 . 1 0 1 6 / j . n e u c o m . 2 0 1 3 . 0 2 . 0 3 4 ;   X i a n g   L i u   L .   L ,   2 0 1 3 ,   L N C S ,   V 7 9 8 8 ,   P 6 1 6 ;   X i a o   H . ,   2 0 1 3 ,   L N C S ,   V 7 8 1 8 ,   P 5 9 5 ;   Y a n   Y . ,   2 0 1 1 ,   P   I C M L ;   Z h a n g   P ,   2 0 1 1 ,   L E C T   N O T E S   A R T I F   I N T ,   V 6 9 1 3 ,   P 5 5 3 ;   Z h o u   D . ,   2 0 1 2 ,   P   N I P S ;   Z o u   J . ,   2 0 1 2 ,   M A C H   L E A R N   H U M   C O M P 	 8 0 	 0 	 0 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 9 5 7 - 4 1 7 4 	 1 8 7 3 - 6 7 9 3 	 	 E X P E R T   S Y S T   A P P L 	 E x p e r t   S y s t .   A p p l . 	 O C T   1 5 	 2 0 1 4 	 4 1 	 1 4 	 	 	 	 	 6 1 9 0 	 6 2 1 0 	 	 1 0 . 1 0 1 6 / j . e s w a . 2 0 1 4 . 0 4 . 0 1 2 	 	 2 1 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 A K 7 J N 	 W O S : 0 0 0 3 3 8 6 0 4 7 0 0 0 1 3 	 	 
 J 	 B r o w n ,   H R ;   Z e i d m a n ,   P ;   S m i t t e n a a r ,   P ;   A d a m s ,   R A ;   M c n a b ,   F ;   R u t l e d g e ,   R B ;   D o l a n ,   R J 	 	 	 	 B r o w n ,   H a r r i e t   R . ;   Z e i d m a n ,   P e t e r ;   S m i t t e n a a r ,   P e t e r ;   A d a m s ,   R i c k   A . ;   M c N a b ,   F i o n a ;   R u t l e d g e ,   R o b b   B . ;   D o l a n ,   R a y m o n d   J . 	 	 	 C r o w d s o u r c i n g   f o r   C o g n i t i v e   S c i e n c e   -   T h e   U t i l i t y   o f   S m a r t p h o n e s   ( v o l   9 ,   e 1 0 0 6 6 2 ,   2 0 1 4 ) 	 P L O S   O N E 	 	 	 E n g l i s h 	 C o r r e c t i o n 	 	 	 	 	 	 	 	 	 [ B r o w n ,   H a r r i e t   R . ]   U n i v   O x f o r d ,   O x f o r d   C t r   H u m a n   B r a i n   A c t ,   O x f o r d ,   E n g l a n d ;   [ M c N a b ,   F i o n a ]   U n i v   B i r m i n g h a m ,   S c h   P s y c h o l ,   B i r m i n g h a m   B 1 5   2 T T ,   W   M i d l a n d s ,   E n g l a n d ;   [ B r o w n ,   H a r r i e t   R . ;   Z e i d m a n ,   P e t e r ;   S m i t t e n a a r ,   P e t e r ;   A d a m s ,   R i c k   A . ;   M c N a b ,   F i o n a ;   R u t l e d g e ,   R o b b   B . ;   D o l a n ,   R a y m o n d   J . ]   U C L ,   W e l l c o m e   T r u s t   C t r   N e u r o i m a g i n g ,   L o n d o n ,   E n g l a n d 	 B r o w n ,   H R   ( r e p r i n t   a u t h o r ) ,   U n i v   O x f o r d ,   O x f o r d   C t r   H u m a n   B r a i n   A c t ,   O x f o r d ,   E n g l a n d . 	 	 	 	 	 	 B r o w n   H R ,   2 0 1 4 ,   P L O S   O N E ,   V 9 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 1 0 0 6 6 2 	 1 	 0 	 0 	 P U B L I C   L I B R A R Y   S C I E N C E 	 S A N   F R A N C I S C O 	 1 1 6 0   B A T T E R Y   S T R E E T ,   S T E   1 0 0 ,   S A N   F R A N C I S C O ,   C A   9 4 1 1 1   U S A 	 1 9 3 2 - 6 2 0 3 	 	 	 P L O S   O N E 	 P L o S   O n e 	 O C T   1 4 	 2 0 1 4 	 9 	 1 0 	 	 	 	 	 	 	 e 1 1 1 1 5 9 	 1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 1 1 1 1 5 9 	 	 1 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 A R 5 Z W 	 W O S : 0 0 0 3 4 3 6 6 2 5 0 0 1 2 3 	 	 
 J 	 N a r o d i t s k i y ,   V ;   J e n n i n g s ,   N R ;   V a n   H e n t e n r y c k ,   P ;   C e b r i a n ,   M 	 	 	 	 N a r o d i t s k i y ,   V i c t o r ;   J e n n i n g s ,   N i c h o l a s   R . ;   V a n   H e n t e n r y c k ,   P a s c a l ;   C e b r i a n ,   M a n u e l 	 	 	 C r o w d s o u r c i n g   c o n t e s t   d i l e m m a 	 J O U R N A L   O F   T H E   R O Y A L   S O C I E T Y   I N T E R F A C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   g a m e   t h e o r y ;   P r i s o n e r ' s   D i l e m m a 	 S O C I A L   M O B I L I Z A T I O N ;   C O O P E R A T I O N ;   G A M E ;   I N F O R M A T I O N ;   E V O L U T I O N ;   N E T W O R K S 	 C r o w d s o u r c i n g   o f f e r s   u n p r e c e d e n t e d   p o t e n t i a l   f o r   s o l v i n g   t a s k s   e f f i c i e n t l y   b y   t a p p i n g   i n t o   t h e   s k i l l s   o f   l a r g e   g r o u p s   o f   p e o p l e .   A   s a l i e n t   f e a t u r e   o f   c r o w d s o u r c i n g - i t s   o p e n n e s s   o f   e n t r y - m a k e s   i t   v u l n e r a b l e   t o   m a l i c i o u s   b e h a v i o u r .   S u c h   b e h a v i o u r   t o o k   p l a c e   i n   a   n u m b e r   o f   r e c e n t   p o p u l a r   c r o w d s o u r c i n g   c o m p e t i t i o n s .   W e   p r o v i d e   g a m e - t h e o r e t i c   a n a l y s i s   o f   a   f u n d a m e n t a l   t r a d e - o f f   b e t w e e n   t h e   p o t e n t i a l   f o r   i n c r e a s e d   p r o d u c t i v i t y   a n d   t h e   p o s s i b i l i t y   o f   b e i n g   s e t   b a c k   b y   m a l i c i o u s   b e h a v i o u r .   O u r   r e s u l t s   s h o w   t h a t   i n   c r o w d s o u r c i n g   c o m p e t i t i o n s   m a l i c i o u s   b e h a v i o u r   i s   t h e   n o r m ,   n o t   t h e   a n o m a l y - a   r e s u l t   c o n t r a r y   t o   t h e   c o n v e n t i o n a l   w i s d o m   i n   t h e   a r e a .   C o u n t e r - i n t u i t i v e l y ,   m a k i n g   t h e   a t t a c k s   m o r e   c o s t l y   d o e s   n o t   d e t e r   t h e m   b u t   l e a d s   t o   a   l e s s   d e s i r a b l e   o u t c o m e .   T h e s e   f i n d i n g s   h a v e   c a u t i o n a r y   i m p l i c a t i o n s   f o r   t h e   d e s i g n   o f   c r o w d s o u r c i n g   c o m p e t i t i o n s . 	 [ N a r o d i t s k i y ,   V i c t o r ;   J e n n i n g s ,   N i c h o l a s   R . ]   U n i v   S o u t h a m p t o n ,   S c h   E l e c t   &   C o m p   S c i ,   S o u t h a m p t o n   S O 1 7   1 B J ,   H a n t s ,   E n g l a n d ;   [ J e n n i n g s ,   N i c h o l a s   R . ]   K i n g   A b d u l a z i z   U n i v ,   D e p t   C o m p   &   I n f o r m a t   T e c h n o l ,   J e d d a h ,   S a u d i   A r a b i a ;   [ V a n   H e n t e n r y c k ,   P a s c a l ;   C e b r i a n ,   M a n u e l ]   N a t l   I n f o r m a t   &   C o m m u n   T e c h n o l   A u s t r a l i a ,   M e l b o u r n e ,   V i c   3 0 0 3 ,   A u s t r a l i a 	 N a r o d i t s k i y ,   V   ( r e p r i n t   a u t h o r ) ,   U n i v   S o u t h a m p t o n ,   S c h   E l e c t   &   C o m p   S c i ,   S o u t h a m p t o n   S O 1 7   1 B J ,   H a n t s ,   E n g l a n d . 	 v n @ e c s . s o t o n . a c . u k 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ 0 9 0 5 6 4 5 ] ;   D A R P A / L o c k h e e d   M a r t i n   G u a r d   D o g   P r o g r a m m e   u n d e r   P O   [ 4 1 0 0 1 4 9 8 2 2 ] ;   A r m y   R e s e a r c h   O f f i c e   [ W 9 1 1 N F - 1 1 - 1 - 0 3 6 3 ] ;   A u s t r a l i a n   G o v e r n m e n t ;   U K   R e s e a r c h   C o u n c i l   [ E P / I 0 1 1 5 8 7 / 1 ] 	 M .   C .   a n d   P .   V .   H .   a c k n o w l e d g e   s u p p o r t   f r o m   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   u n d e r   g r a n t   n o .   0 9 0 5 6 4 5 ,   f r o m   D A R P A / L o c k h e e d   M a r t i n   G u a r d   D o g   P r o g r a m m e   u n d e r   P O   n o .   4 1 0 0 1 4 9 8 2 2 ,   f r o m   t h e   A r m y   R e s e a r c h   O f f i c e   u n d e r   g r a n t   n o .   W 9 1 1 N F - 1 1 - 1 - 0 3 6 3   a n d   t h e   A u s t r a l i a n   G o v e r n m e n t   a s   r e p r e s e n t e d   b y   D B C D E   a n d   A R C   t h r o u g h   t h e   I C T   C e n t r e   o f   E x c e l l e n c e   p r o g r a m m e .   N . R . J .   a n d   V . N .   a c k n o w l e d g e   f u n d i n g   f r o m   t h e   U K   R e s e a r c h   C o u n c i l   f o r   p r o j e c t   O R C H I D ,   g r a n t   n o .   E P / I 0 1 1 5 8 7 / 1 . 	 A l s t o t t   J ,   2 0 1 4 ,   P L O S   O N E ,   V 9 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 9 5 1 4 0 ;   A n d e r s o n   A ,   2 0 1 3 ,   P   A C M   I N T   C   W O R L D   W I ;   A u m a n n   R J ,   1 9 8 1 ,   G E S E L L S C H A F T   R E C H T   W ,   p [ 4 ,   1 1 ] ;   A X E L R O D   R ,   1 9 8 1 ,   S C I E N C E ,   V 2 1 1 ,   P 1 3 9 0 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 7 4 6 6 3 9 6 ;   B a b a i o f f   M . ,   2 0 1 2 ,   P   1 3   A C M   C   E L   C O M M ,   P 5 6 ;   B a k s h y   E . ,   2 0 1 1 ,   P   4   A C M   I N T   C   W E B   S E ,   P 6 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 3 5 8 2 6 . 1 9 3 5 8 4 5 ;   B a r r i n g t o n   L ,   2 0 1 2 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 9 ,   P 6 4 1 1 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 0 1 4 7 4 8 1 0 9 ;   B e r n s t e i n   M S ,   2 0 1 2 ,   A N A L   M E T H O D S   O P T I M I Z ;   C e b r i a n   M . ,   2 0 1 2 ,   P   A C M   S   T H E O R   C O M P ,   P 7 7 5 ;   C e n t o l a   D ,   2 0 0 7 ,   A M   J   S O C I O L ,   V 1 1 3 ,   P 7 0 2 ,   D O I   1 0 . 1 0 8 6 / 5 2 1 8 4 8 ;   C h i t n i s   R ,   2 0 1 2 ,   G A M E   T H E O R E T I C   M O D E L ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   D r u c k e r   F A ,   2 0 1 2 ,   P   1 3   A C M   C   E L   C O M M ,   P 4 4 1 ;   F e h r   E ,   1 9 9 9 ,   Q   J   E C O N ,   V 1 1 4 ,   P 8 1 7 ,   D O I   1 0 . 1 1 6 2 / 0 0 3 3 5 5 3 9 9 5 5 6 1 5 1 ;   F o w l e r   J H ,   2 0 1 0 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 7 ,   P 5 3 3 4 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 9 1 3 1 4 9 1 0 7 ;   F o w l e r   J H ,   2 0 0 5 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 2 ,   P 7 0 4 7 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 5 0 0 9 3 8 1 0 2 ;   F U D E N B E R G   D ,   1 9 8 6 ,   E C O N O M E T R I C A ,   V 5 4 ,   P 5 3 3 ,   D O I   1 0 . 2 3 0 7 / 1 9 1 1 3 0 7 ;   F u n d e n b e r g   D ,   1 9 9 0 ,   A M   E C O N   R E V ,   V 8 0 ,   P 2 7 4 ;   G o l u b   B ,   2 0 1 0 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 7 ,   P 1 0 8 3 3 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 0 0 0 8 1 4 1 0 7 ;   G o y a l   S . ,   2 0 1 2 ,   P   4 4   S   T H E O R   C O M P ,   P 7 5 9 ;   H a n d   E ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 6 8 5 ,   D O I   1 0 . 1 0 3 8 / 4 6 6 6 8 5 a ;   H e l l e r s t e i n   J M ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 7 7 ,   D O I   1 0 . 1 1 4 5 / 1 9 6 5 7 2 4 . 1 9 6 5 7 4 4 ;   H o r o w i t z   D . ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 4 3 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 3 5 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H u b e r m a n   B A ,   2 0 0 9 ,   J   I N F   S C I ,   V 3 5 ,   P 7 5 8 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 9 3 4 6 7 8 6 ;   I p e i r o t i s   P . ,   2 0 1 1 ,   P   8   I N T   W O R K S H   I N F   I ,   P 1 ;   I p e i r o t i s   P G ,   2 0 1 1 ,   P   2 0   I N T   C   C O M P   W O R L ,   P 2 8 7 ;   I r i b a r r e n   J L ,   2 0 0 9 ,   P H Y S   R E V   L E T T ,   V 1 0 3 ,   D O I   1 0 . 1 1 0 3 / P h y s R e v L e t t . 1 0 3 . 0 3 8 7 0 2 ;   K a m a r   E ,   2 0 1 2 ,   P   1 1   I N T   C   A U T   A G   M U ,   P 1 3 2 9 ;   K a r g e r   D R ,   2 0 1 1 ,   B U D G E T   O P T I M A L   T A S K ;   K i t t u r   A ,   2 0 1 3 ,   P   2 0 1 3   C   C O M P   S U P P   C ,   P 1 3 0 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 4 4 1 7 7 6 . 2 4 4 1 9 2 3 ;   K l e i n b e r g   J ,   2 0 0 5 ,   A N N   I E E E   S Y M P   F O U N D ,   P 1 3 2 ,   D O I   1 0 . 1 1 0 9 / S F C S . 2 0 0 5 . 6 3 ;   L i b e n - N o w e l l   D ,   2 0 0 8 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 5 ,   P 4 6 3 3 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 7 0 8 4 7 1 1 0 5 ;   L o r e n z   J ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 9 0 2 0 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 0 0 8 6 3 6 1 0 8 ;   M a o   A ,   2 0 1 1 ,   P   2 5   A A A I   C   A R T   I N T ;   M a s o n   W ,   2 0 1 2 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 9 ,   P 7 6 4 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 1 1 0 0 6 9 1 0 8 ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   N a r o d i t s k i y   V ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 4 5 9 2 4 ;   N a t h   S ,   2 0 1 2 ,   2 6   A A A I   C   A R T   I N T ;   N O W A K   M ,   1 9 9 3 ,   N A T U R E ,   V 3 6 4 ,   P 5 6 ,   D O I   1 0 . 1 0 3 8 / 3 6 4 0 5 6 a 0 ;   P e n t l a n d   A . ,   2 0 1 2 ,   H A R V A R D   B U S   R E V ,   V 9 0 ,   P 6 0 ;   P f e i f f e r   T ,   2 0 1 2 ,   2 6   A A A I   C   A R T   I N T ;   P i c k a r d   G ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 4 ,   P 5 0 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 0 5 8 6 9 ;   R a h w a n   I ,   2 0 1 3 ,   C O M P U T E R ,   V 4 6 ,   P 6 8 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 1 2 . 2 9 5 ;   R a n d   D G ,   2 0 0 9 ,   S C I E N C E ,   V 3 2 5 ,   P 1 2 7 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 7 7 4 1 8 ;   R a p o p o r t   A ,   1 9 6 5 ,   P R I S I O N E R S   D I L E M M A   S ;   R u t h e r f o r d   A l e x ,   2 0 1 3 ,   P r o c   N a t l   A c a d   S c i   U   S   A ,   V 1 1 0 ,   P 6 2 8 1 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 2 1 6 3 3 8 1 1 0 ;   T a n g   J C ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 7 8 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 1 ;   T o o l e   J L ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 2 9 5 2 8 ;   T r a n - T h a n h   L ,   2 0 1 3 ,   1 2   I N T   C   A U T   A G   M U L T ;   T R I V E R S   R L ,   1 9 7 1 ,   Q   R E V   B I O L ,   V 4 6 ,   P 3 5 ,   D O I   1 0 . 1 0 8 6 / 4 0 6 7 5 5 ;   U g a n d e r   J ,   2 0 1 2 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 9 ,   P 5 9 6 2 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 1 1 6 5 0 2 1 0 9 ;   V e n a n z i   M ,   2 0 1 3 ,   1 2   I N T   C   A U T   A G   M U L T ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   W a t t s   D ,   2 0 1 3 ,   P U B L I C   R E S P O N S E   A L E R ,   P 2 2 ;   W o o l l e y   A W ,   2 0 1 0 ,   S C I E N C E ,   V 3 3 0 ,   P 6 8 6 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 9 3 1 4 7 ;   Z h a n g   H ,   2 0 1 1 ,   A C M   C H I   2 0 1 1   W O R K S H ;   Z h a n g   H ,   2 0 1 2 ,   P   1 1   I N T   C   A U T   A G   M U ,   V 2 ,   P 8 8 9 	 5 9 	 0 	 0 	 R O Y A L   S O C 	 L O N D O N 	 6 - 9   C A R L T O N   H O U S E   T E R R A C E ,   L O N D O N   S W 1 Y   5 A G ,   E N G L A N D 	 1 7 4 2 - 5 6 8 9 	 1 7 4 2 - 5 6 6 2 	 	 J   R   S O C   I N T E R F A C E 	 J .   R .   S o c .   I n t e r f a c e 	 O C T   6 	 2 0 1 4 	 1 1 	 9 9 	 	 	 	 	 	 	 2 0 1 4 0 5 3 2 	 1 0 . 1 0 9 8 / r s i f . 2 0 1 4 . 0 5 3 2 	 	 8 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 A O 1 U P 	 W O S : 0 0 0 3 4 1 1 0 0 8 0 0 0 1 0 	 	 
 J 	 K a r n f e l t ,   J 	 	 	 	 K a r n f e l t ,   J o h a n 	 	 	 K n u t   L u n d m a r k ,   M e t e o r s   a n d   a n   E a r l y   S w e d i s h   C r o w d s o u r c i n g   E x p e r i m e n t 	 A N N A L S   O F   S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 A M A T E U R S 	 M i d   t w e n t i e t h   c e n t u r y   m e t e o r   a s t r o n o m y   d e m a n d e d   t h e   l o n g - t e r m   c o m p i l a t i o n   o f   o b s e r v a t i o n s   m a d e   b y   n u m e r o u s   i n d i v i d u a l s   o v e r   a n   e x t e n s i v e   g e o g r a p h i c a l   a r e a .   S u c h   a   m a s s i v e   u n d e r t a k i n g   o b v i o u s l y   r e q u i r e d   t h e   p a r t i c i p a t i o n   o f   m o r e   t h a n   j u s t   p r o f e s s i o n a l   a s t r o n o m e r s ,   w h o   o f t e n   s o u g h t   t o   e x p a n d   t h e i r   r a n k s   t h r o u g h   t h e   u s e   o f   a m a t e u r s   t h a t   h a d   a   b a s i c   g r a s p   o f   a s t r o n o m y   a s   w e l l   a s   t h e   n i g h t   s k y ,   a n d   w e r e   t h u s   c a p a b l e   o f   g e n e r a t i n g   f i r s t - r a t e   a s t r o n o m i c a l   r e p o r t s . W h e n ,   i n   t h e   1 9 2 0 s ,   r e n o w n e d   S w e d i s h   a s t r o n o m e r   K n u t   L u n d m a r k   t u r n e d   h i s   a t t e n t i o n   t o   m e t e o r   a s t r o n o m y ,   h e   w a s   u n a b l e   t o   r e l y   e v e n   u p o n   t h i s   s o l u t i o n .   I n   c o n t r a s t   t o   m a n y   o t h e r   c o u n t r i e s   a t   t h e   t i m e ,   S w e d e n   l a c k e d   a n   o r g a n i z e d   a m a t e u r   a s t r o n o m y   a n d   t h u s   c o n t a i n e d   o n l y   a   h a n d f u l   o f   c o m p e t e n t   a m a t e u r s .   G i v e n   t h i s   s i t u a t i o n ,   L u n d m a r k   h a d   t o   d e v e l o p   w a y s   o f   e n g a g i n g   t h e   g e n e r a l   p u b l i c   i n   a s s i s t i n g   h i s   e f f o r t s .   T o   h i s   a d v a n t a g e ,   h e   w a s   a l r e a d y   a   w e l l - e s t a b l i s h e d   p u b l i c   f i g u r e   w h o   h a d   p u b l i s h e d   n u m e r o u s   p o p u l a r   s c i e n c e   a r t i c l e s   a n d   h e l d   t a l k s   f r o m   t i m e   t o   t i m e   o n   t h e   r a d i o .   D u r i n g   t h e   1 9 3 0 s ,   t h i s   p r o m i n e n c e   g r e a t l y   f a c i l i t a t e d   h i s   l a u n c h i n g   o f   a   c r o w d s o u r c i n g   i n i t i a t i v e   f o r   t h e   g a t h e r i n g   o f   m e t e o r   o b s e r v a t i o n s . T h i s   p a p e r   c o n s i s t s   o f   a   d e t a i l e d   d i s c u s s i o n   c o n c e r n i n g   t h e   m e a n s   b y   w h i c h   L u n d m a r k ' s   i n i t i a t i v e   d i s s e m i n a t e d   a s t r o n o m i c a l   k n o w l e d g e   t o   t h e   g e n e r a l   p u b l i c   a n d   e n c o u r a g e d   a   r e s p o n s e   t h a t   m i g h t   d i r e c t l y   c o n t r i b u t e   t o   t h e   a d v a n c e m e n t   o f   s c i e n c e .   M o r e   p r e c i s e l y ,   t h e   a r t i c l e   e x p l o r e s   t h e   m a n n e r   i n   w h i c h   h e   a p p r o a c h e d   t h e   S w e d i s h   p u b l i c ,   t h e   d e g r e e   t o   w h i c h   t h a t   p u b l i c   r e s p o n d e d   a n d   t h e   e x t e n t   t o   w h i c h   h i s   e f f o r t s   w e r e   s u c c e s s f u l .   T h e   p r i m a r y   a i m   o f   t h i s   e x e r c i s e   i s   t o   s h o w   t h a t   t h e   a p p a r e n t l y   r e c e n t   I n t e r n e t   p h e n o m e n o n   o f   c r o w d s o u r c i n g ' ,   e s p e c i a l l y   a s   i t   r e l a t e s   t o   s c i e n t i f i c   r e s e a r c h ,   a c t u a l l y   h a s   a   p r e - I n t e r n e t   h i s t o r y   t h a t   i s   w o r t h   s t u d y i n g .   A p a r t   f r o m   t h e   f a c t   t h a t   t h i s   h i s t o r y   i s   i n t e r e s t i n g   i n   i t s   o w n   r i g h t ,   k n o w i n g   i t   c a n   p r o v i d e   u s   w i t h   a   f r e s h   v a n t a g e   p o i n t   f r o m   w h i c h   t o   b e t t e r   c o m p r e h e n d   a n d   a p p r e c i a t e   t h e   s u c c e s s   o f   p r e s e n t - d a y   c r o w d s o u r c i n g   p r o j e c t s . 	 U n i v   G o t h e n b u r g ,   D e p t   L i t e r a t u r e   H i s t   I d e a s   &   R e l i g ,   G o t h e n b u r g ,   S w e d e n 	 K a r n f e l t ,   J   ( r e p r i n t   a u t h o r ) ,   U n i v   G o t h e n b u r g ,   D e p t   L i t e r a t u r e   H i s t   I d e a s   &   R e l i g ,   G o t h e n b u r g ,   S w e d e n . 	 J o h a n . K a r n f e l t @ l i r . g u . s e 	 	 	 U n i v e r s i t y   o f   G o t h e n b u r g ' s   L e a r n i n g   a n d   M e d i a   T e c h n o l o g y   S t u d i o   ( L E T S t u d i o ) ;   B a n k   o f   S w e d e n ' s   T e r c e n t e n a r y   F o u n d a t i o n 	 T h i s   a r t i c l e   i s   t h e   o u t c o m e   o f   a   p i l o t   s t u d y   c o n d u c t e d   i n   p r e p a r a t i o n   f o r   a   l a r g e r   r e s e a r c h   p r o j e c t   o n   t h e   h i s t o r y   o f   S w e d i s h   a m a t e u r   a s t r o n o m y   ( i n   c o l l a b o r a t i o n   w i t h   G u s t a v   H o l m b e r g ,   L u n d   U n i v e r s i t y ) .   T h e   p i l o t   s t u d y   w a s   f i n a n c e d   b y   a   g r a n t   f r o m   t h e   U n i v e r s i t y   o f   G o t h e n b u r g ' s   L e a r n i n g   a n d   M e d i a   T e c h n o l o g y   S t u d i o   ( L E T S t u d i o ) .   T h e   l a r g e r   p r o j e c t   l a t e r   r e c e i v e d   f u n d i n g   f r o m   t h e   B a n k   o f   S w e d e n ' s   T e r c e n t e n a r y   F o u n d a t i o n   a n d   w a s   i n a u g u r a t e d   i n   J a n u a r y   2 0 1 2 .   T h e   a u t h o r   w i s h e s   e x p r e s s   h i s   g r a t i t u d e   f o r   t h e   m a n y   u s e f u l   c o m m e n t s   o n   p r e v i o u s   v e r s i o n s   o f   t h i s   p a p e r   b y   t h e   a n o n y m o u s   r e v i e w e r s ,   G u s t a v   H o l m b e r g ,   m e m b e r s   o f   t h e   L E T S t u d i o ,   a n d   A g u s t i   N i e t o - G a l a n ,   t h e   c o m m e n t a t o r   a t   t h e   8 t h   S c i e n c e   a n d   T e c h n o l o g y   i n   t h e   E u r o p e a n   P e r i p h e r y   c o n f e r e n c e   a t   C o r f u   2 0 1 2 .   F i n a l l y ,   t h e   a u t h o r   a l s o   w i s h e s   t o   e x p r e s s   h i s   g r a t i t u d e   t o   E n g l i s h   l a n g u a g e   e d i t o r   A l l a n   A n d e r s o n ,   w h o s e   p a i n s t a k i n g   e f f o r t s   h a v e   g r e a t l y   c o n t r i b u t e d   t o   t h e   i n t e r n a t i o n a l   p r e s e n t a b i l i t y   o f   t h i s   a r t i c l e . 	 [ A n o n y m o u s ] ,   1 9 3 4 ,   C O M M U N I C A T I O N ;   [ A n o n y m o u s ] ,   1 9 3 8 ,   C O M M U N I C A T I O N ;   [ A n o n y m o u s ] ,   1 9 3 6 ,   C O M M U N I C A T I O N ;   [ A n o n y m o u s ] ,   1 9 4 0 ,   C O M M U N I C A T I O N ;   [ A n o n y m o u s ] ,   1 9 4 0 ,   C O M M U N I C A T I O N ;   B e e c h   M . ,   2 0 0 3 ,   J   R   A S T R O N   S O C   C A N ,   V 9 7 ,   P 7 1 ;   B e e c h   M a r t i n ,   2 0 0 9 ,   M E T E O R I T E   M A G A Z I N E ;   B e e c h   M a r t i n ,   1 9 9 5 ,   J O U R N A L   O F   T H E   I N T E R ,   P 2 3 ;   B e e c h   M a r t i n ,   2 0 0 4 ,   J O U R N A L   O F   T H E   R O Y A L ,   V 9 8 ,   P 3 4 ;   B i r o   S u s a n a ,   2 0 1 2 ,   S C I E N C E   C O M M U N I C A T I O ,   V 2 0 ,   P 1 ;   B o n n e y   R . ,   2 0 0 9 ,   P U B L I C   P A R T I C I P A T I O N ;   B R O W N   P ,   1 9 9 4 ,   N A T U R E ,   V 3 6 7 ,   P 6 2 4 ,   D O I   1 0 . 1 0 3 8 / 3 6 7 6 2 4 a 0 ;   C a r d a m o n e   C ,   2 0 0 9 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 9 9 ,   P 1 1 9 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 9 . 1 5 3 8 3 . x ;   C h a p m a n   A l a n ,   1 9 9 8 ,   T H E   V I C T O R I A N   A M A T E U ;   C o r l i n   A x e l ,   1 9 3 8 ,   S Y D S V E N S K A   D A G B L A D E T ;   C o r l i n   A x e l ,   1 9 3 8 ,   P O P   A S T R O N ,   V 4 7 ,   P 5 2 6 ;   C o r l i n   A . ,   1 9 3 9 ,   Z e i t s c h r i f t   f u r   A s t r o p h y s i k ,   V 1 8 ;   C o r l i n   A . ,   1 9 3 6 ,   Z e i t s c h r i f t   f u r   A s t r o p h y s i k ,   V 1 1 ;   E r i k s s o n   M a r t i n ,   1 9 3 0 ,   P O P U L A R   A S T R O N O M I S K ,   V 1 1 ,   P 7 5 ;   G i l l b e r g   A s a ,   2 0 0 6 ,   C U R R E N T   S W E D I S H   A R C H ,   V 1 4 ,   P 2 5 ;   G r e e n w o o d   J e r e m y   J .   D . ,   2 0 0 7 ,   J   O R N I T H O L ,   V 1 4 8 ,   P 7 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 3 3 6 - 0 0 7 - 0 2 3 9 - 9 ;   H o l m b e r g   G u s t a v ,   1 9 9 9 ,   R E A C H I N G   F O R   T H E   S T A ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   P 1 4 0 6 ;   H o w e   J e f f ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   T H ;   H u g h e s   D .   W . ,   1 9 8 2 ,   V I S T A S   A S T R O N ,   V 2 6 ,   P 3 2 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 8 3 - 6 6 5 6 ( 8 2 ) 9 0 0 1 0 - 1 ;   J o h a n s s o n   E r i k ,   1 9 3 7 ,   P O P U L A R   A S T R O N O M I S K ,   V 1 8 ,   P 9 3 ;   K a r n f e l t   J o h a n ,   2 0 0 9 ,   A L L T   M E L L A N   H I M M E L   O ;   K a r n f e l t   J o h a n ,   2 0 0 0 ,   M E L L A N   N Y T T A   O C H   N O J ;   K a r n f e l t   J o h a n ,   2 0 0 9 ,   P O P U L A R I Z I N G   S C I   T E C ,   p [ 1 7 5 ,   1 7 5 ] ;   K a r n f e l t   J o h a n ,   2 0 0 9 ,   L Y C H N O S   A R S B O K   F O R   I ,   P 2 5 5 ;   K a s p e r o w s k i   D i c k ,   2 0 1 2 ,   M I N E R V A ,   V 5 0 ,   P 6 5 ;   K e a y   C ,   1 9 9 5 ,   E A R T H   M O O N   P L A N E T S ,   V 6 8 ,   P 3 6 1 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 6 7 1 5 2 7 ;   L a t o u r   B r u n o ,   1 9 8 7 ,   S C I   A C T I O N   F O L L O W   S C ,   P 2 2 7 ;   L i n d b l a d   B e r t i l   A n d e r s ,   1 9 5 6 ,   C O M B I N E D   V I S U A L   A N D ;   L i t t m a n n   M a r k ,   1 9 9 8 ,   T H E   H E A V E N S   O N   F I R E ;   L u n d g r e n   J .   H . ,   1 9 3 2 ,   C O M M U N I C A T I O N ;   L u n d m a r k   K ,   1 9 2 6 ,   A S T R O P H Y S   J ,   V 6 3 ,   P 6 7 ,   D O I   1 0 . 1 0 8 6 / 1 4 2 9 5 1 ;   L u n d m a r k   K . ,   1 9 2 4 ,   M o n t h l y   N o t i c e s   o f   t h e   R o y a l   A s t r o n o m i c a l   S o c i e t y ,   V 8 4 ;   L u n d m a r k   K n u t ,   1 9 3 2 ,   K O R R E S P O N D E N S   H E R M O D ,   V 3 1 ,   P 1 5 6 ;   L u n d m a r k   K n u t ,   1 9 2 5 ,   M O N T H L Y   N O T I C E S   O F   T ,   V 8 ,   P 8 8 7 ;   L u n d m a r k   K n u t ,   1 9 2 7 ,   P O P U L A R   A S T R O N O M I S K ,   V 8 ,   P 1 5 6 ;   L u n d m a r k   K n u t ,   1 9 2 0 ,   T H E   R E L A T I O N S   O F   T H E ;   L u n d m a r k   K n u t ,   1 9 3 4 ,   G O T E B O R G S   H A N D E L   O C H ;   L u n d m a r k   K n u t ,   1 9 1 5 ,   T I D S K R I F T   F O R   D E T   S V ,   V 4 ,   P 2 0 7 ;   L u n d m a r k   K n u t ,   1 9 2 5 ,   M O N T H L Y   N O T I C E S   O F   T ,   V 8 5 ,   P 8 7 6 ;   L u n d m a r k   K n u t ,   1 9 3 5 ,   M A N U S C R I P T   K E P T   I N   T ;   M a r r i o t t   S t u a r t ,   2 0 0 6 ,   H I S T O R Y   O F   E D U C A T I O N ,   V 1 0 ,   P 1 6 3 ;   M c B e a t h   A . ,   2 0 0 4 ,   W G N   J O U R N A L   O F   T H E   I ,   V 3 2 ,   P 1 4 1 ;   M c C r a y   P a t r i c k   W . ,   2 0 0 8 ,   K E E P   W A T C H I N G   T H E   S K ;   M c L a i n   R J ,   1 9 9 8 ,   S O C   N A T U R   R E S O U R ,   V 1 1 ,   P 6 1 5 ,   D O I   1 0 . 1 0 8 0 / 0 8 9 4 1 9 2 9 8 0 9 3 8 1 1 0 6 ;   N i e l s e n   A x e l   V . ,   1 9 6 8 ,   C A T A L O G U E   O F   B R I G H T ;   N i e l s e n   A x e l   V . ,   1 9 3 8 ,   A S T R O N O M I S C H E   N A C H R I ,   V 2 6 5 ,   P 3 5 4 ;   N i e t o - G a l a n   A ,   2 0 0 9 ,   A N N   S C I ,   V 6 6 ,   P 4 9 7 ,   D O I   1 0 . 1 0 8 0 / 0 0 0 3 3 7 9 0 9 0 3 0 4 7 7 3 3 ;   N o r d b e r g   K a r i n ,   2 0 0 3 ,   H E A R   T H E   W O R L D   V O I C E ;   N o r t h   J .   D . ,   1 9 6 6 ,   T H E   B R I T I S H   J O U R N A L ,   V 3 ,   P 5 7 ;   R e e   J . ,   1 9 8 0 ,   H I S T O R Y   O F   E D U C A T I O N ,   V 9 ,   P 2 5 9 ;   S m i t h   R o b e r t ,   1 9 8 2 ,   T H E   E X P A N D I N G   U N I V E R ,   P 2 7 ;   S m i t h   R o b e r t   W . ,   2 0 1 1 ,   N A T U R E ,   V 4 7 9 ,   P 1 7 1 ;   S m i t h   R W ,   2 0 0 9 ,   J   H I S T   A S T R O N ,   V 4 0 ,   P 7 1 ;   S T A R   S L ,   1 9 8 9 ,   S O C   S T U D   S C I ,   V 1 9 ,   P 3 8 7 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 6 3 1 2 8 9 0 1 9 0 0 3 0 0 1 ;   S t r o m e r   C a r l ,   1 9 3 1 ,   P O P U L A R   A S T R O N O M I S K ,   V 1 2 ,   P 1 5 3 ;   W i g g i n s   A . ,   2 0 1 1 ,   P   H I C S S ,   V 4 4 ,   P 1 ;   W i l l i a m s   T h o m a s   R . ,   2 0 1 1 ,   A D V A N C I N G   V A R I A B L E   S ;   W i l l i a m s   T h o m a s   R . ,   2 0 0 0 ,   G E T T I N G   O R G A N I Z E D   A ;   W i l l i a m s   T h o m a s   R . ,   2 0 0 0 ,   G E T T I N G   O R G A N I Z E D   A ;   W i r t z   C a r l ,   1 9 2 4 ,   A S T R O N   N A C H R ,   V 2 2 2 ,   P 2 1 ,   D O I   1 0 . 1 0 0 2 / a s n a . 1 9 2 4 2 2 2 0 2 0 3 	 6 6 	 0 	 0 	 T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X O N ,   E N G L A N D 	 0 0 0 3 - 3 7 9 0 	 1 4 6 4 - 5 0 5 X 	 	 A N N   S C I 	 A n n .   S c i . 	 O C T   2 	 2 0 1 4 	 7 1 	 4 	 	 	 	 	 4 4 9 	 4 7 3 	 	 1 0 . 1 0 8 0 / 0 0 0 3 3 7 9 0 . 2 0 1 3 . 8 2 7 0 7 3 	 	 2 5 	 H i s t o r y   &   P h i l o s o p h y   O f   S c i e n c e 	 H i s t o r y   &   P h i l o s o p h y   o f   S c i e n c e 	 A Q 5 B G 	 W O S : 0 0 0 3 4 2 8 1 6 8 0 0 0 0 1 	 	 
 J 	 W i l l i a m s ,   A ;   T k a c h e n k o ,   V 	 	 	 	 W i l l i a m s ,   A n t o n y ;   T k a c h e n k o ,   V a l e r y 	 	 	 T h e   R o y a l   S o c i e t y   o f   C h e m i s t r y   a n d   t h e   d e l i v e r y   o f   c h e m i s t r y   d a t a   r e p o s i t o r i e s   f o r   t h e   c o m m u n i t y 	 J O U R N A L   O F   C O M P U T E R - A I D E D   M O L E C U L A R   D E S I G N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 D a t a   r e p o s i t o r y ;   C h e m S p i d e r ;   C r o w d s o u r c i n g ;   I n C h I ;   N o S Q L 	 	 S i n c e   2 0 0 9   t h e   R o y a l   S o c i e t y   o f   C h e m i s t r y   ( R S C )   h a s   b e e n   d e l i v e r i n g   a c c e s s   t o   c h e m i s t r y   d a t a   a n d   c h e m i n f o r m a t i c s   t o o l s   v i a   t h e   C h e m S p i d e r   d a t a b a s e   a n d   h a s   g a r n e r e d   a   s i g n i f i c a n t   c o m m u n i t y   f o l l o w i n g   i n   t e r m s   o f   u s a g e   a n d   c o n t r i b u t i o n   t o   t h e   p l a t f o r m .   C h e m S p i d e r   h a s   f o c u s e d   o n l y   o n   t h o s e   c h e m i c a l   e n t i t i e s   t h a t   c a n   b e   r e p r e s e n t e d   a s   m o l e c u l a r   c o n n e c t i o n   t a b l e s   o r ,   t o   b e   m o r e   s p e c i f i c ,   t h e   a b i l i t y   t o   g e n e r a t e   a n   I n C h I   f r o m   t h e   i n p u t   s t r u c t u r e .   A s   a   s t r u c t u r e   c e n t r i c   h u b   C h e m S p i d e r   i s   b u i l t   a r o u n d   t h e   m o l e c u l a r   s t r u c t u r e   w i t h   o t h e r   d a t a   a n d   l i n k s   b e i n g   a s s o c i a t e d   w i t h   t h i s   s t r u c t u r e .   A s   a   r e s u l t   t h e   p l a t f o r m   h a s   b e e n   l i m i t e d   i n   t e r m s   o f   t h e   t y p e s   o f   d a t a   t h a t   c a n   b e   m a n a g e d ,   a n d   t h e   f l e x i b i l i t y   o f   i t s   s e a r c h e s ,   a n d   i t   i s   c o n s t r a i n e d   b y   t h e   d a t a   m o d e l .   N e w   t e c h n o l o g i e s   a n d   a p p r o a c h e s ,   s p e c i f i c a l l y   t a k i n g   i n t o   a c c o u n t   a   s h i f t   f r o m   r e l a t i o n a l   t o   N o S Q L   d a t a b a s e s ,   a n d   t h e   g r o w i n g   i m p o r t a n c e   o f   t h e   s e m a n t i c   w e b ,   h a s   m o t i v a t e d   R S C   t o   r e a r c h i t e c t   a n d   c r e a t e   a   m o r e   g e n e r i c   d a t a   r e p o s i t o r y   u t i l i z i n g   t h e s e   n e w   t e c h n o l o g i e s .   T h i s   a r t i c l e   w i l l   p r o v i d e   a n   o v e r v i e w   o f   o u r   a c t i v i t i e s   i n   d e l i v e r i n g   d a t a   s h a r i n g   p l a t f o r m s   f o r   t h e   c h e m i s t r y   c o m m u n i t y   i n c l u d i n g   t h e   d e v e l o p m e n t   o f   t h e   n e w   d a t a   r e p o s i t o r y   e x p a n d i n g   i n t o   m o r e   e x t e n s i v e   d o m a i n s   o f   c h e m i s t r y   d a t a . 	 [ W i l l i a m s ,   A n t o n y ;   T k a c h e n k o ,   V a l e r y ]   R o y a l   S o c   C h e m ,   W a k e   F o r e s t ,   N C   2 7 5 8 7   U S A 	 W i l l i a m s ,   A   ( r e p r i n t   a u t h o r ) ,   R o y a l   S o c   C h e m ,   9 0 4   T a m a r a s   C i r c l e ,   W a k e   F o r e s t ,   N C   2 7 5 8 7   U S A . 	 t o n y 2 7 5 8 7 @ g m a i l . c o m 	 	 	 O p e n   S o u r c e   c o m m u n i t y 	 C h e m S p i d e r   i s   t h e   r e s u l t   o f   t h e   a g g r e g a t e   w o r k   o f   m a n y   c o n t r i b u t o r s   e x t e n d i n g   o u t s i d e   o f   o u r   o w n   t e a m .   O u r   R S C   p l a t f o r m s   a r e   s u p p o r t e d   b y   a   d e d i c a t e d   t e a m   o f   I T   s p e c i a l i s t s .   T h e   a u t h o r s   a c k n o w l e d g e   t h e   s u p p o r t   o f   t h e   O p e n   S o u r c e   c o m m u n i t y ,   t h e   c o m m e r c i a l   s o f t w a r e   v e n d o r s   ( s p e c i f i c a l l y   A c c e l r y s ,   A C D / L a b s ,   G G A   S o f t w a r e ,   O p e n E y e   S c i e n t i f i c   S o f t w a r e ,   D o t m a t i c s   a n d   m a n y   d a t a   p r o v i d e r s ,   c u r a t o r s   a n d   u s e r s   f o r   t h e i r   c o n t r i b u t i o n s   t o   t h e   d e v e l o p m e n t   o f   t h e   d a t a   c o n t e n t   i n   t e r m s   o f   b r e a d t h   a n d   q u a l i t y . 	 B r a d l e y   J . - C . ,   2 0 0 9 ,   J   C H E M I N F O R M A T I C S ,   V 1 ,   P 1 ;   H u n t e r   A J ,   2 0 0 8 ,   D R U G   D I S C O V   T O D A Y ,   V 1 3 ,   P 3 7 1 ,   D O I   1 0 . 1 0 1 6 / j . d r u d i s . 2 0 0 8 . 0 2 . 0 0 9 ;   P e n c e   H E ,   2 0 1 0 ,   J   C H E M   E D U C ,   V 8 7 ,   P 1 1 2 3 ,   D O I   1 0 . 1 0 2 1 / e d 1 0 0 6 9 7 w ;   W i l l i a m s   A J ,   2 0 1 2 ,   D R U G   D I S C O V   T O D A Y ,   V 1 7 ,   P 1 1 8 8 ,   D O I   1 0 . 1 0 1 6 / j . d r u d i s . 2 0 1 2 . 0 5 . 0 1 6 ;   W i l l i a m s   A J ,   2 0 1 1 ,   C O L L A B O R A T I V E   C O M P U T ,   P 3 6 3 ;   W i l l i a m s   A J ,   2 0 1 0 ,   E N H A N C I N G   L E A R N I N G   O ,   V 1 0 6 0 ,   P 2 3 ,   D O I   1 0 . 1 0 2 1 / b k - 2 0 1 0 - 1 0 6 0 . c h 0 0 2 	 6 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 0 9 2 0 - 6 5 4 X 	 1 5 7 3 - 4 9 5 1 	 	 J   C O M P U T   A I D   M O L   D E S 	 J .   C o m p u t . - A i d e d   M o l .   D e s . 	 O C T 	 2 0 1 4 	 2 8 	 1 0 	 	 	 S I 	 	 1 0 2 3 	 1 0 3 0 	 	 1 0 . 1 0 0 7 / s 1 0 8 2 2 - 0 1 4 - 9 7 8 4 - 5 	 	 8 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   B i o p h y s i c s ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   B i o p h y s i c s ;   C o m p u t e r   S c i e n c e 	 A R 8 I U 	 W O S : 0 0 0 3 4 3 8 1 9 6 0 0 0 0 7 	 2 5 0 8 6 8 5 1 	 
 J 	 S m i t h ,   M L 	 	 	 	 S m i t h ,   M o n i c a   L . 	 	 	 C I T I Z E N   S C I E N C E   I N   A R C H A E O L O G Y 	 A M E R I C A N   A N T I Q U I T Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 S E T I - A T - H O M E ;   G E O G R A P H I C   I N F O R M A T I O N ;   L A N D S C A P E ;   C O M M U N I T Y ;   C H I L D R E N ;   A M E R I C A ;   L I D A R 	 C i t i z e n   s c i e n c e ,   a s   a   p r o c e s s   o f   v o l u n t e e r   p a r t i c i p a t i o n   t h r o u g h   c r o w d s o u r c i n g ,   f a c i l i t a t e s   t h e   c r e a t i o n   o f   m a s s   d a t a   s e t s   n e e d e d   t o   a d d r e s s   s u b t l e   a n d   l a r g e - s c a l e   p a t t e r n s   i n   c o m p l e x   p h e n o m e n a .   C i t i z e n   s c i e n c e   e f f o r t s   i n   o t h e r   f i e l d   d i s c i p l i n e s   s u c h   a s   b i o l o g y ,   g e o g r a p h y ,   a n d   a s t r o n o m y   i n d i c a t e   h o w   n e w   w e b - b a s e d   i n t e r f a c e s   c a n   e n h a n c e   a n d   e x p a n d   u p o n   a r c h a e o l o g i s t s '   e x i s t i n g   p l a t f o r m s   o f   v o l u n t e e r   e n g a g e m e n t   s u c h   a s   f i e l d   s c h o o l s ,   c o m m u n i t y   a r c h a e o l o g y ,   s i t e   s t e w a r d s h i p ,   a n d   p r o f e s s i o n a l - a v o c a t i o n a l   p a r t n e r s h i p s .   A r c h a e o l o g i c a l   r e s e a r c h   c a n   b e n e f i t   f r o m   t h e   c i t i z e n   s c i e n c e   p a r a d i g m   i n   f o u r   w a y s :   f i e l d w o r k   t h a t   m a k e s   u s e   o f   w i d e l y   a v a i l a b l e   t e c h n o l o g i e s   s u c h   a s   m o b i l e   a p p l i c a t i o n s   f o r   p h o t o g r a p h y   a n d   d a t a   u p l o a d ;   s e a r c h e s   o f   l a r g e   s a t e l l i t e   i m a g e   c o l l e c t i o n s   f o r   s i t e   i d e n t i f i c a t i o n   a n d   m o n i t o r i n g ;   c r o w d f u n d i n g ;   a n d   c r o w d s o u r c e d   c o m p u t e r   e n t r y   o f   h e r i t a g e   d a t a . 	 U n i v   C a l i f   L o s   A n g e l e s ,   D e p t   A n t h r o p o l ,   L o s   A n g e l e s ,   C A   9 0 0 9 5   U S A 	 S m i t h ,   M L   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   L o s   A n g e l e s ,   D e p t   A n t h r o p o l ,   L o s   A n g e l e s ,   C A   9 0 0 9 5   U S A . 	 s m i t h @ a n t h r o . u c l a . e d u 	 	 	 	 	 A d a m s   W i l l i a m   Y . ,   1 9 9 1 ,   A R C H A E O L O G I C A L   T Y P O L ;   A l c o c k   S u s a n   E . ,   2 0 1 3 ,   A N T H R O P O L O G Y   N E W S ,   V 5 4 ,   P 2 4 ;   A n d e r s o n   D P ,   2 0 0 2 ,   C O M M U N   A C M ,   V 4 5 ,   P 5 6 ,   D O I   1 0 . 1 1 4 5 / 5 8 1 5 7 1 . 5 8 1 5 7 3 ;   A n d r e w   H o l l y ,   2 0 1 4 ,   P A P E R   P R E S E N T E D   A T   T ;   A t a l a y   S ,   2 0 1 2 ,   C O M M U N I T Y - B A S E D   A R C H A E O L O G Y :   R E S E A R C H   W I T H ,   B Y ,   A N D   F O R   I N D I G E N O U S   A N D   L O C A L   C O M M U N I T I E S ,   P 1 ;   B a l l a t o r e   A ,   2 0 1 3 ,   K N O W L   I N F   S Y S T ,   V 3 7 ,   P 6 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 1 1 5 - 0 1 2 - 0 5 7 1 - 0 ;   B l a n c o   R o i ,   2 0 1 1 ,   P   3 4   I N T   A C M   S I G I R   C ,   P 9 2 3 ;   B L M   ( B u r e a u   o f   L a n d   M a n a g e m e n t ) ,   2 0 1 3 ,   P A R T N E R S H I P S ;   B o a s t   R o b i n ,   2 0 1 1 ,   A R C H A E O L O G Y   2   0   N E W ,   P 1 1 9 ;   B o r d o g n a   G l o r i a ,   2 0 1 3 ,   I N F O R M   S C I E N C E S ,   V 2 5 8 ,   P 3 1 2 ;   B o u l o s   M N K ,   2 0 0 7 ,   H E A L T H   I N F O   L I B R   J ,   V 2 4 ,   P 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 1 - 1 8 4 2 . 2 0 0 7 . 0 0 7 0 1 . x ;   B o y t n e r   R a n ,   2 0 1 2 ,   T H E   S A A   A R C H A E O L O G I C ,   V 1 2 ,   P 2 9 ;   C h a s e   A F ,   2 0 1 1 ,   J   A R C H A E O L   S C I ,   V 3 8 ,   P 3 8 7 ,   D O I   1 0 . 1 0 1 6 / j . j a s . 2 0 1 0 . 0 9 . 0 1 8 ;   C h i l d s   S .   T e r r y ,   2 0 0 2 ,   P U B L I C   B E N E F I T S   A R C H ,   P 2 2 8 ;   C o l w e l l - C h a n t h a p h o n h   C h i p ,   2 0 0 8 ,   C O L L A B O R A T I O N   I N   A R C ;   C o n r a d   C C ,   2 0 1 1 ,   E N V I R O N   M O N I T   A S S E S S ,   V 1 7 6 ,   P 2 7 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 6 1 - 0 1 0 - 1 5 8 2 - 5 ;   C o n t r e r a s   D a n i e l   A . ,   2 0 1 0 ,   T H E   S A A   A R C H A E O L O G I C ,   V 1 0 ,   P 3 0 ;   D a n n e l l   G e o f f r e y ,   2 0 1 3 ,   S E E I N G   R E D   N E W   E C O N O ,   P 2 8 ;   D a v i e s   M a t t h e w ,   2 0 1 4 ,   A N T I Q U I T Y   P R O J E C T   G A ,   V 8 8 ,   P 3 4 0 ;   E l w o o d   S ,   2 0 1 2 ,   A N N   A S S O C   A M   G E O G R ,   V 1 0 2 ,   P 5 7 1 ,   D O I   1 0 . 1 0 8 0 / 0 0 0 4 5 6 0 8 . 2 0 1 1 . 5 9 5 6 5 7 ;   E u l e r   R o b e r t   C . ,   1 9 7 8 ,   I N V E S T I G A T I O N S   O F   T H ;   E v a n s   D H ,   2 0 1 3 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 1 0 ,   P 1 2 5 9 5 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 3 0 6 5 3 9 1 1 0 ;   F a u l k n e r   N ,   2 0 0 9 ,   P U B L I C   A R C H A E O L ,   V 8 ,   P 5 1 ,   D O I   1 0 . 1 1 7 9 / 1 7 5 3 5 5 3 0 9 X 4 0 2 7 5 4 ;   F i e l d i n g   N i g e l   G . ,   2 0 1 3 ,   G L O B A L   D I M E N S I O N S   O F ,   P 4 7 ;   F o r d   A ,   2 0 0 9 ,   A N N   A S S O C   A M   G E O G R ,   V 9 9 ,   P 4 9 6 ,   D O I   1 0 . 1 0 8 0 / 0 0 0 4 5 6 0 0 9 0 2 9 3 1 7 8 5 ;   G O L D S T E I N   D ,   1 9 9 4 ,   I S I S ,   V 8 5 ,   P 5 7 3 ,   D O I   1 0 . 1 0 8 6 / 3 5 6 9 7 8 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G o o d c h i l d   M i c h a e l   F . ,   2 0 1 2 ,   S P A T I A L   S T A T ,   V 1 ,   P 1 1 0 ,   D O I   [ D O I   1 0 . 1 0 1 6 / J . S P A S T A . 2 0 1 2 . 0 3 . 0 0 2 ,   1 0 . 1 0 1 6 / j . s p a s t a . 2 0 1 2 . 0 3 . 0 0 2 ] ;   G O O D W I N   C ,   1 9 9 4 ,   A M   A N T H R O P O L ,   V 9 6 ,   P 6 0 6 ,   D O I   1 0 . 1 5 2 5 / a a . 1 9 9 4 . 9 6 . 3 . 0 2 a 0 0 1 0 0 ;   H a k l a y   M u k i ,   2 0 1 3 ,   C R O W D S O U R C I N G   G E O G R A ,   P 1 0 5 ;   H a r r i s   T M ,   2 0 1 2 ,   W O R L D   A R C H A E O L ,   V 4 4 ,   P 5 8 0 ,   D O I   1 0 . 1 0 8 0 / 0 0 4 3 8 2 4 3 . 2 0 1 2 . 7 3 6 2 7 3 ;   H a w k i n s   A L ,   2 0 0 3 ,   J   A R C H A E O L   S C I ,   V 3 0 ,   P 1 5 0 3 ,   D O I   1 0 . 1 0 1 6 / S 0 3 0 5 - 4 4 0 3 ( 0 3 ) 0 0 0 5 1 - 7 ;   H i c k s   D a n ,   2 0 0 7 ,   E N V I S I O N I N G   L A N D S C A P ;   H o c h a c h k a   W M ,   2 0 1 2 ,   T R E N D S   E C O L   E V O L ,   V 2 7 ,   P 1 3 0 ,   D O I   1 0 . 1 0 1 6 / j . t r e e . 2 0 1 1 . 1 1 . 0 0 6 ;   H o d d e r   I ,   2 0 0 3 ,   A N T H R O P O L   Q U A R T ,   V 7 6 ,   P 5 5 ,   D O I   1 0 . 1 3 5 3 / a n q . 2 0 0 3 . 0 0 1 0 ;   H u y n h   A n d r e w ,   2 0 1 3 ,   A E R O S P A C E   C O N F E R E N C E ,   P 1 ;   J o h a n n e s d o t t i r   S i f ,   2 0 0 9 ,   T H E   K I D S   A R C H A E O L O G Y ;   K e e l   W i l l i a m   C . ,   2 0 1 2 ,   T H E   A S T R O N O M I C A L   J O U ,   V 1 4 4 ,   P 1 ;   K e n n e d y   M a e v ,   2 0 1 4 ,   V O L U N T E E R   A R M Y   S E T   U ;   K i n t i g h   K W ,   2 0 1 4 ,   A M   A N T I Q U I T Y ,   V 7 9 ,   P 5 ;   K l a s s e n   M i c h a e l   A ,   2 0 1 3 ,   T H E S I S ;   K o r p e l a   E J ,   2 0 1 2 ,   A N N U   R E V   E A R T H   P L   S C ,   V 4 0 ,   P 6 9 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v - e a r t h - 0 4 0 8 0 9 - 1 5 2 3 4 8 ;   L i t t l e   B a r b a r a   J . ,   2 0 0 2 ,   P U B L I C   B E N E F I T S   O F   A ;   L i t t l e   B a r b a r a   J . ,   2 0 0 7 ,   A R C H A E O L O G Y   A S   A   T O O ;   L o c a t e l l i   M P ,   2 0 1 0 ,   P R O C E E D I N G S   O F   C O O P   2 0 1 0 ,   P 1 6 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 8 4 9 9 6 - 2 1 1 - 7 _ 1 0 ;   M a s t o n e   V i c t o r   T . ,   2 0 1 4 ,   M E E T I N G   C H A L L E N G E S   I ,   P 6 3 ;   M a s t o n e   V T ,   2 0 0 7 ,   O U T   O F   T H E   B L U E :   P U B L I C   I N T E R P R E T A T I O N   O F   M A R I T I M E   C U L T U R A L   R E S O U R C E S ,   P 1 4 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 0 - 3 8 7 - 4 7 8 6 2 - 3 _ 1 0 ;   M a t t h e w s   C h r i s t o p h e r ,   2 0 0 7 ,   E N V I S I O N I N G   L A N D S C A P ,   P 2 2 6 ;   M c A n a n y   P A ,   2 0 1 2 ,   C U R R   A N T H R O P O L ,   V 5 3 ,   P 8 0 ,   D O I   1 0 . 1 0 8 6 / 6 6 3 6 8 7 ;   M C M A N A M O N   F P ,   1 9 9 1 ,   A M   A N T I Q U I T Y ,   V 5 6 ,   P 1 2 1 ;   M e i s e n h e l d e r   S u s a n ,   2 0 1 3 ,   T H O U G H T   A N D   A C T I O N ,   V 2 9 ,   P 7 ;   M i l l s   B J ,   1 9 9 8 ,   H U M   O R G A N ,   V 5 7 ,   P 3 0 ;   M o b b e r l y   M a r t i n ,   2 0 1 1 ,   H U N T I N G   A N D   I M A G I N G ;   M o r r i s o n   B e t h a n y   A . ,   2 0 1 2 ,   T H E   S A A   A R C H A E O L O G I C ,   V 1 2 ,   P 2 3 ;   M y t u m   H a r o l d ,   2 0 1 2 ,   G L O B A L   P E R S P E C T I V E S ,   P 3 ;   N o o r d e g r a a f   J u l i a ,   2 0 1 4 ,   M U S E U M S   A N D   T H E   W E B ,   P 2 5 ;   N o v   O d e d ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 7 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 6 6 ;   P a a r d e k o o p e r   R o e l a n d ,   2 0 1 2 ,   T H E   V A L U E   O F   A N   A R C H ;   P a z   Y ,   2 0 1 0 ,   P U B L I C   A R C H A E O L ,   V 9 ,   P 3 4 ,   D O I   1 0 . 1 1 7 9 / 1 7 5 3 5 5 3 1 0 X 1 2 6 5 7 9 8 8 5 3 5 5 4 2 ;   P e a r l s t e i n   E t h a n   O . ,   2 0 1 3 ,   T H E   S C I E N C E   C R O W D F U N ;   P e t e r s o n   C h r i s t i a n   A . ,   2 0 1 2 ,   T H E   C O M P A R A T I V E   A R C H ,   P 8 8 ;   P i s c i t e l l i   M a t t h e w ,   2 0 1 3 ,   T H E   S A A   A R C H A E O L O G I C ,   V 1 3 ,   P 3 6 ;   P o e t s c h a t   C a t h y ,   2 0 1 2 ,   T H E   S A A   A R C H A E O L O G I C ,   V 1 2 ,   P 5 ;   P r e v o s t   R u f f i n ,   2 0 1 3 ,   Y E L L O W S T O N E   C R O W D S O U ;   P r i c e   C A ,   2 0 1 3 ,   J   R E S   S C I   T E A C H ,   V 5 0 ,   P 7 7 3 ,   D O I   1 0 . 1 0 0 2 / t e a . 2 1 0 9 0 ;   R a d d i c k   M .   J o r d a n ,   2 0 1 3 ,   A S T R O N O M Y   E D U C A T I O N ,   V 1 2 ,   D O I   D O I   1 0 . 3 8 4 7 / A E R 2 0 1 1 0 2 1 ;   R e e v e s   M a t t h e w ,   2 0 1 0 ,   T H E   A F R I C A N   D I A S P O R A ,   P 1 ;   R e e v e s   M a t t h e w ,   2 0 1 3 ,   O P E N   M I N D S   C L E A R E R   S ;   R o b b i n s   J i m ,   2 0 1 3 ,   C R O W D S O U R C I N G   F O R   T H ;   R o b i n s o n   D a v i d   R . ,   2 0 1 4 ,   P A P E R   P R E S E N T E D   A T   T ;   S a b l o f f   J e r e m y   A . ,   2 0 0 8 ,   A R C H A E O L O G Y   M A T T E R S ;   S a l e   M a r t h a   L a i r ,   2 0 1 0 ,   R E S E A R C H   I N   H I G H E R   E ,   P 6 ;   S i l l i m a n   S t e v e n   W . ,   2 0 1 0 ,   V O I C E S   A M   A R C H A E O L O G ,   P 4 8 ;   S i l v e r t o w n   J ,   2 0 0 9 ,   T R E N D S   E C O L   E V O L ,   V 2 4 ,   P 4 6 7 ,   D O I   1 0 . 1 0 1 6 / j . t r e e . 2 0 0 9 . 0 3 . 0 1 7 ;   S m i t h   K e v i n   E . ,   2 0 1 3 ,   T H E   S A A   A R C H A E O L O G I C ,   V 1 3 ,   P 1 8 ;   S n e a d   J a m e s   E . ,   2 0 1 0 ,   V O I C E S   I N   A M E R I C A N   A ,   P 6 7 ;   S n e a d   J E ,   1 9 9 9 ,   A M   A N T H R O P O L ,   V 1 0 1 ,   P 2 5 6 ,   D O I   1 0 . 1 5 2 5 / a a . 1 9 9 9 . 1 0 1 . 2 . 2 5 6 ;   S t e w a r t   A M ,   2 0 0 4 ,   J   A R C H A E O L   M E T H O D   T H ,   V 1 1 ,   P 1 8 3 ,   D O I   1 0 . 1 0 2 3 / B : J A R M . 0 0 0 0 0 3 8 0 6 6 . 0 9 8 9 8 . c d ;   S t o t t m a n   M .   J a y ,   2 0 1 0 ,   A R C H A E O L O G I S T S   A S   A C ;   S T R U E V E R   S ,   1 9 7 1 ,   A M   A N T I Q U I T Y ,   V 3 6 ,   P 9 ,   D O I   1 0 . 2 3 0 7 / 2 7 8 0 1 9 ;   S u l l i v a n   A l a n   P . ,   1 9 7 8 ,   I N V E S T I G A T I O N S   S W   A N ,   P 1 6 8 ;   S u l l i v a n   B L ,   2 0 1 4 ,   B I O L   C O N S E R V ,   V 1 6 9 ,   P 3 1 ,   D O I   1 0 . 1 0 1 6 / j . b i o c o n . 2 0 1 3 . 1 1 . 0 0 3 ;   T h o r n t o n   A m a r a ,   2 0 1 3 ,   P R E S E N T   P A S T ,   V 5 ,   D O I   D O I   1 0 . 5 3 3 4 / P P . 5 5 9 : 4 8 5 - 5 0 7 ;   T o m a s k o v a   S ,   2 0 0 3 ,   J   R O Y   A N T H R O P O L   I N S T ,   V 9 ,   P 4 8 5 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 6 5 5 . 0 0 1 6 0 ;   V e r h a g e n   P ,   2 0 1 2 ,   J   A R C H A E O L   M E T H O D   T H ,   V 1 9 ,   P 4 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 8 1 6 - 0 1 1 - 9 1 0 2 - 7 ;   W a t r a l l   E t h a n ,   2 0 1 1 ,   A R C H A E O L O G Y   2   0   N E W ;   W e b b   K e v i n ,   2 0 0 9 ,   T H E   E B I R D   R E F E R E N C E ;   Y o u n g   L i s a   C . ,   2 0 1 2 ,   G L O B A L   P E R S P E C T I V E S ,   P 2 2 9 ;   Z e d e r   M e l i n d a   A . ,   1 9 9 7 ,   T H E   A M E R I C A N   A R C H A E O 	 8 9 	 0 	 0 	 S O C   A M E R   A R C H A E O L O G Y 	 W A S H I N G T O N 	 9 0 0   S E C O N D   S T . ,   N E     S T E   1 2 ,   W A S H I N G T O N ,   D C   2 0 0 0 2 - 3 5 5 7   U S A 	 0 0 0 2 - 7 3 1 6 	 2 3 2 5 - 5 0 6 4 	 	 A M   A N T I Q U I T Y 	 A m .   A n t i q . 	 O C T 	 2 0 1 4 	 7 9 	 4 	 	 	 	 	 7 4 9 	 7 6 2 	 	 1 0 . 7 1 8 3 / 0 0 0 2 - 7 3 1 6 . 7 9 . 4 . 7 4 9 	 	 1 4 	 A n t h r o p o l o g y ;   A r c h a e o l o g y 	 A n t h r o p o l o g y ;   A r c h a e o l o g y 	 A R 1 W C 	 W O S : 0 0 0 3 4 3 3 7 4 3 0 0 0 1 0 	 	 
 J 	 P e - T h a n ,   E P P ;   G o h ,   D H L ;   L e e ,   C S 	 	 	 	 P e - T h a n ,   E i   P a   P a ;   G o h ,   D i o n   H o e - L i a n ;   L e e ,   C h e i   S i a n 	 	 	 M a k i n g   w o r k   f u n :   I n v e s t i g a t i n g   a n t e c e d e n t s   o f   p e r c e i v e d   e n j o y m e n t   i n   h u m a n   c o m p u t a t i o n   g a m e s   f o r   i n f o r m a t i o n   s h a r i n g 	 C O M P U T E R S   I N   H U M A N   B E H A V I O R 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 H u m a n   c o m p u t a t i o n   g a m e s ;   M o b i l e   i n f o r m a t i o n   s h a r i n g ;   P e r c e i v e d   e n j o y m e n t ;   M o t i v a t i o n a l   n e e d s ;   P e r c e i v e d   o u t p u t   q u a l i t y ;   E v a l u a t i o n 	 S E L F - D E T E R M I N A T I O N ;   N E E D   S A T I S F A C T I O N ;   U S E R   A C C E P T A N C E ;   W E B   Q U A L I T Y ;   O N L I N E   G A M E ;   B E H A V I O R ;   S Y S T E M S ;   P L A Y ;   D E T E R M I N A N T S ;   G A M I F I C A T I O N 	 T h e   a d v e n t   o f   o n l i n e   g a m e s ,   c r o w d s o u r c i n g ,   a n d   u s e r - g e n e r a t e d   c o n t e n t   h a s   l e d   t o   t h e   e m e r g e n c e   o f   a   n e w   p a r a d i g m   c a l l e d   t h e   H u m a n   C o m p u t a t i o n   G a m e s   ( H C G s )   w h i c h   u t i l i z e   g a m e s   a s   a   m o t i v a t o r   t o   e n c o u r a g e   u s e r s '   p a r t i c i p a t i o n   i n   h u m a n   c o m p u t a t i o n .   H C G s   a r e   d i f f e r e n t   f r o m   g a m e s   f o r   p u r e   e n t e r t a i n m e n t   w h i c h   e m p h a s i z e   p l a y   a n d   f u n ,   r a t h e r   t h a n   o u t p u t   g e n e r a t i o n .   T h e r e f o r e ,   r e s e a r c h   h a s   y e t   t o   f u l l y   e x p l o r e   t h e   f a c t o r s   u n d e r l y i n g   p l a y e r s '   p e r c e p t i o n   o f   H C G   e n j o y m e n t .   I n   t h i s   p a p e r ,   w e   s t u d y   t h e   i n f l u e n c e   o f   m o t i v a t i o n a l   n e e d s   s a t i s f a c t i o n   a n d   p e r c e i v e d   o u t p u t   q u a l i t y   o n   p e r c e i v e d   H C G   e n j o y m e n t   u s i n g   a   s u r v e y   ( N   =   2 0 5 )   o f   a   l o c a t i o n - b a s e d   i n f o r m a t i o n   s h a r i n g   H C G   c a l l e d   S P L A S H ,   d e v e l o p e d   a s   p a r t   o f   o u r   r e s e a r c h .   A c c o r d i n g   t o   t h e   r e s u l t s ,   p e r c e i v e d   n e e d s   f o r   a u t o n o m y ,   c o m p e t e n c e ,   a n d   r e l a t e d n e s s   i n f l u e n c e   p e r c e i v e d   e n j o y m e n t   o f   H C G s ,   s u g g e s t i n g   t h a t   H C G s   t h a t   f u l f i l l   t h e s e   t h r e e   n e e d s   a r e   m o r e   l i k e l y   t o   b e   e n j o y a b l e ,   t h e r e b y   e n c o u r a g i n g   p l a y e r s   t o   m a k e   u s e f u l   c o m p u t a t i o n s .   T h e   r e s u l t s   a l s o   s h o w   t h a t   p a r t i c i p a n t s   w h o   p e r c e i v e   h i g h e r   l e v e l s   o u t p u t   r e l e v a n c y   r e p o r t   a   g r e a t e r   l e v e l   o f   e n j o y m e n t ,   i n d i c a t i n g   t h a t   H C G s   t h a t   a s s i s t   p l a y e r s   i n   g e n e r a t i n g   r e l e v a n t   o u t p u t s   a r e   m o r e   l i k e l y   t o   b e   p e r c e i v e d   a s   e n j o y a b l e .   ( C )   2 0 1 4   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ P e - T h a n ,   E i   P a   P a ;   G o h ,   D i o n   H o e - L i a n ;   L e e ,   C h e i   S i a n ]   N a n y a n g   T e c h n o l   U n i v ,   W e e   K i m   W e e   S c h   C o m m u n   &   I n f o r m a t ,   S i n g a p o r e   6 3 7 7 1 8 ,   S i n g a p o r e 	 P e - T h a n ,   E P P   ( r e p r i n t   a u t h o r ) ,   N a n y a n g   T e c h n o l   U n i v ,   W e e   K i m   W e e   S c h   C o m m u n   &   I n f o r m a t ,   D i v   I n f o r m a t   S t u d i e s ,   3 1   N a n y a n g   L i n k ,   S i n g a p o r e   6 3 7 7 1 8 ,   S i n g a p o r e . 	 e i 1 @ n t u . e d u . s g ;   a s h l g o h @ n t u . e d u . s g ;   l e e c s @ n t u . e d u . s g 	 	 	 	 	 A h n   T ,   2 0 0 7 ,   I N F O R M   M A N A G E - A M S T E R ,   V 4 4 ,   P 2 6 3 ,   D O I   1 0 . 1 0 1 6 / j . i m . 2 0 0 6 . 1 2 . 0 0 8 ;   A l k h a t t a b i   M . ,   2 0 1 0 ,   K N O W L E D G E   M A N A G E M E N T ,   V 2 ,   P 3 4 0 ;   B a r r i n g t o n   L . ,   2 0 0 9 ,   P   2 0 0 9   A C M   S I G K D D   W O ,   P 7 ,   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 5 2 ;   B e l l   M ,   2 0 0 9 ,   C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 2 3 ;   B o e z e m a n   E J ,   2 0 0 9 ,   J   O C C U P   O R G A N   P S Y C H ,   V 8 2 ,   P 8 9 7 ,   D O I   1 0 . 1 3 4 8 / 0 9 6 3 1 7 9 0 8 X 3 8 3 7 4 2 ;   B o s t a n   B . ,   2 0 0 9 ,   A C M   C O M P U T   E N T E R T A I N ,   V 7 ,   P 1 ;   C a s e y   S . ,   2 0 0 7 ,   P   2 0 0 7   I N T   C   A D V   C O M ,   P 9 ,   D O I   1 0 . 1 1 4 5 / 1 2 5 5 0 4 7 . 1 2 5 5 0 5 0 ;   C h e n   Y C ,   2 0 1 4 ,   C O M P U T   H U M   B E H A V ,   V 3 0 ,   P 7 8 7 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 3 . 0 5 . 0 1 9 ;   C h r i s t o u   G . ,   2 0 1 1 ,   P   M E S M   2 0 1 1   G A M E O N   A ,   P 1 4 4 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   D a v i s   D . ,   1 9 9 2 ,   J   A P P L   S O C   P S Y C H O L ,   V 2 2 ,   P 1 1 1 1 ;   D e c i   E L ,   2 0 0 0 ,   P S Y C H O L   I N Q ,   V 1 1 ,   P 2 2 7 ,   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 7 9 6 5 P L I 1 1 0 4 _ 0 1 ;   d e - M a r c o s   L ,   2 0 1 4 ,   C O M P U T   E D U C ,   V 7 5 ,   P 8 2 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e d u . 2 0 1 4 . 0 1 . 0 1 2 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   E S A   E n t e r t a i n m e n t   S o f t w a r e   A s s o c i a t i o n ,   2 0 1 4 ,   E S S   F A C T S   C O M P   V I D   G ;   F a n g   X W ,   2 0 1 0 ,   I N T   J   H U M - C O M P U T   I N T ,   V 2 6 ,   P 8 6 8 ,   D O I   1 0 . 1 0 8 0 / 1 0 4 4 7 3 1 8 . 2 0 1 0 . 4 9 6 3 3 7 ;   F a n g   X W ,   2 0 1 0 ,   C O M P U T   I N D ,   V 6 1 ,   P 3 4 2 ,   D O I   1 0 . 1 0 1 6 / j . c o m p i n d . 2 0 0 9 . 1 2 . 0 0 5 ;   F i c h m a n   P ,   2 0 1 1 ,   J   I N F   S C I ,   V 3 7 ,   P 4 7 6 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 1 4 1 5 5 8 4 ;   F l a n a g i n   A J ,   2 0 1 3 ,   C O M P U T   H U M   B E H A V ,   V 2 9 ,   P 1 6 2 6 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 3 . 0 2 . 0 0 1 ;   F o s t e r   A ,   2 0 0 3 ,   J   D O C ,   V 5 9 ,   P 3 2 1 ,   D O I   1 0 . 1 1 0 8 / 0 0 2 2 0 4 1 0 3 1 0 4 7 2 5 1 8 ;   G o b   D .   H . - L . ,   2 0 1 2 ,   P   1 2   A C M   I E E E   C S   J O I ,   P 3 9 1 ;   G o h   D H ,   2 0 1 1 ,   J   I N F   S C I ,   V 3 7 ,   P 5 1 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 1 4 1 7 7 8 6 ;   G O H   D H L ,   2 0 1 1 ,   P   3   I N T   C   S O C   I N F ,   V 6 9 8 4 ,   P 3 2 8 ;   G o h   D H L ,   2 0 1 1 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 2 ,   P 1 3 1 1 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 4 7 8 ;   G r a n o v e t t e r   M ,   1 9 8 3 ,   S O C I O L O G I C A L   T H E O R Y ,   V 1 ,   P 2 0 1 ,   D O I   D O I   1 0 . 2 3 0 7 / 2 0 2 0 5 1 ;   H o   C . - J . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 1 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 5 3 ;   H o   L A ,   2 0 1 2 ,   C O M P U T   H U M   B E H A V ,   V 2 8 ,   P 8 4 0 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 1 . 1 1 . 0 2 4 ;   H s u   C L ,   2 0 0 7 ,   C O M P U T   H U M   B E H A V ,   V 2 3 ,   P 1 6 4 2 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 0 5 . 0 9 . 0 0 1 ;   H w a n g   Y J ,   2 0 0 7 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 3 ,   P 7 4 6 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 6 . 1 2 . 0 0 8 ;   I n e s   D .   L . ,   2 0 1 1 ,   I N T   J   C O M P U T   I N F   S C I ,   V 3 ,   P 7 1 3 ;   J e g e r s   K . ,   2 0 0 7 ,   A C M   C O M P U T E R S   E N T E R T ,   V 5 ,   P 1 ;   J o h n s o n   D . ,   2 0 1 0 ,   P   2 2   C   C O M P   H U M   I N T ,   P 2 7 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 5 2 2 2 2 . 1 9 5 2 2 8 1 ;   K a u f m a n n   N . ,   2 0 1 1 ,   P   1 7   A M   C   I N F   S Y S T   D ;   K e l l a r   M . ,   2 0 0 5 ,   D I G R A   2 0 0 5   C   C H A N G   V ;   K i m   B ,   2 0 0 9 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 0 ,   P 1 0 1 2 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 0 4 1 ;   K i r r i e m u i r   J . ,   2 0 0 5 ,   D   L I B   M A G A Z I N E ,   V 1 1 ;   K l i m m t   C ,   2 0 0 7 ,   C Y B E R P S Y C H O L   B E H A V ,   V 1 0 ,   P 8 4 5 ,   D O I   1 0 . 1 0 8 9 / c p b . 2 0 0 7 . 9 9 4 2 ;   K o i v i s t o   J ,   2 0 1 4 ,   C O M P U T   H U M   B E H A V ,   V 3 5 ,   P 1 7 9 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 4 . 0 3 . 0 0 7 ;   K r a u s e   M . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 2 2 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 8 9 3 ;   L a w   E ,   2 0 0 9 ,   C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 1 9 7 ;   L e e   C S ,   2 0 1 0 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 1 ,   P 1 2 4 4 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 3 0 5 ;   L e e   Y J ,   2 0 0 9 ,   J   H E A L T H   C O M M U N ,   V 1 4 ,   P 1 6 0 ,   D O I   1 0 . 1 0 8 0 / 1 0 8 1 0 7 3 0 8 0 2 6 5 9 8 3 0 ;   L e e   Y W ,   2 0 0 2 ,   I N F O R M   M A N A G E - A M S T E R ,   V 4 0 ,   P 1 3 3 ,   D O I   1 0 . 1 0 1 6 / S 0 3 7 8 - 7 2 0 6 ( 0 2 ) 0 0 0 4 3 - 5 ;   L i   D . ,   2 0 0 5 ,   J   A S S O C   I N F   S Y S T ,   V 6 ,   P 1 0 2 ;   M a t y a s   S . ,   2 0 0 8 ,   P   2 0 0 8   I N T   C   A D V   C O M ,   P 2 4 4 ,   D O I   1 0 . 1 1 4 5 / 1 5 0 1 7 5 0 . 1 5 0 1 8 0 6 ;   M I L L E R   G A ,   1 9 7 5 ,   A N N   N Y   A C A D   S C I ,   V 2 6 3 ,   P 2 0 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 9 - 6 6 3 2 . 1 9 7 5 . t b 4 1 5 8 3 . x ;   M i l l e t t e   V ,   2 0 0 8 ,   M O T I V   E M O T I O N ,   V 3 2 ,   P 1 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 3 1 - 0 0 7 - 9 0 7 9 - 4 ;   N e l s o n   R R ,   2 0 0 5 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 1 ,   P 1 9 9 ;   N i c o l a   B . ,   2 0 0 6 ,   S P S S   P S Y C H O L ;   P e n g   W ,   2 0 1 2 ,   M E D I A   P S Y C H O L ,   V 1 5 ,   P 1 7 5 ,   D O I   1 0 . 1 0 8 0 / 1 5 2 1 3 2 6 9 . 2 0 1 2 . 6 7 3 8 5 0 ;   P e - T h a n   E .   P .   P . ,   2 0 1 2 ,   O U T R E A C H   D I G I T A L   L I B ,   P 1 2 6 ;   P o p p e r   B . ,   2 0 1 4 ,   F A C E B O O K   N O W   H A S   M O R ;   P r z y b y l s k i   A K ,   2 0 1 0 ,   R E V   G E N   P S Y C H O L ,   V 1 4 ,   P 1 5 4 ,   D O I   1 0 . 1 0 3 7 / a 0 0 1 9 4 4 0 ;   R e i n e c k e   L ,   2 0 1 2 ,   J   C O M M U N ,   V 6 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 0 - 2 4 6 6 . 2 0 1 2 . 0 1 6 4 9 . x ;   R y a n   R i c h a r d   M . ,   2 0 0 6 ,   M O T I V   E M O T I O N ,   V 3 0 ,   P 3 4 4 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 1 0 3 1 - 0 0 6 - 9 0 5 1 - 8 ;   T a m b o r i n i   R ,   2 0 1 0 ,   J   C O M M U N ,   V 6 0 ,   P 7 5 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 0 - 2 4 6 6 . 2 0 1 0 . 0 1 5 1 3 . x ;   T u i t e   K . ,   2 0 1 0 ,   P   5   I N T   C   F D N   D I G   G A ,   P 2 3 2 ,   D O I   1 0 . 1 1 4 5 / 1 8 2 2 3 4 8 . 1 8 2 2 3 7 9 ;   v a n   d e r   H e i j d e n   H ,   2 0 0 4 ,   M I S   Q U A R T ,   V 2 8 ,   P 6 9 5 ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   V o r d e r e r   P ,   2 0 0 4 ,   C O M M U N   T H E O R ,   V 1 4 ,   P 3 8 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 2 8 8 5 . 2 0 0 4 . t b 0 0 3 2 1 . x ;   W a n g   R .   Y . ,   1 9 9 6 ,   J o u r n a l   o f   M a n a g e m e n t   I n f o r m a t i o n   S y s t e m s ,   V 1 2 ;   W a t t s   S ,   2 0 0 9 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 8 ,   P 2 0 2 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 9 . 0 7 . 0 1 2 ;   W u   J . ,   2 0 0 7 ,   J   E L E C T R O N   C O M M E R   R E ,   V 8 ,   P 1 2 8 ;   W y e t h   P . ,   2 0 0 5 ,   C O M P U T E R S   E N T E R T A I N M ,   V 3 ,   P 1 ;   Y e e   N ,   2 0 0 6 ,   C Y B E R P S Y C H O L   B E H A V ,   V 9 ,   P 7 7 2 ,   D O I   1 0 . 1 0 8 9 / c p b . 2 0 0 6 . 9 . 7 7 2 ;   Y u e n   M . - C . ,   2 0 0 9 ,   P   2 0 0 9   I N T   S   S O C   C O M ,   P 7 2 3 ;   Z h o u   T ,   2 0 1 0 ,   I N D   M A N A G E   D A T A   S Y S T ,   V 1 1 0 ,   P 9 3 0 ,   D O I   1 0 . 1 1 0 8 / 0 2 6 3 5 5 7 1 0 1 1 0 5 5 1 2 6 	 6 8 	 0 	 0 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 7 4 7 - 5 6 3 2 	 1 8 7 3 - 7 6 9 2 	 	 C O M P U T   H U M   B E H A V 	 C o m p u t .   H u m .   B e h a v . 	 O C T 	 2 0 1 4 	 3 9 	 	 	 	 	 	 8 8 	 9 9 	 	 1 0 . 1 0 1 6 / j . c h b . 2 0 1 4 . 0 6 . 0 2 3 	 	 1 2 	 P s y c h o l o g y ,   M u l t i d i s c i p l i n a r y ;   P s y c h o l o g y ,   E x p e r i m e n t a l 	 P s y c h o l o g y 	 A R 5 R Q 	 W O S : 0 0 0 3 4 3 6 4 1 6 0 0 0 1 0 	 	 
 J 	 K e r a ,   D ;   S u l a i m a n ,   N L 	 	 	 	 K e r a ,   D e n i s a ;   S u l a i m a n ,   N u r   L i y a n a 	 	 	 F r i d g e M a t c h :   D e s i g n   p r o b e   i n t o   t h e   f u t u r e   o f   u r b a n   f o o d   c o m m e n s a l i t y 	 F U T U R E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 F o o d   c o m m e n s a l i t y ;   D e s i g n   p r o b e s ;   F o o d   a p p l i c a t i o n s ;   L e f t o v e r s ;   F o o d   w a s t a g e ;   F o o d   i n t e r a c t i o n ;   F o o d   s t u d i e s 	 C O O P E R A T I O N 	 T h e   F r i d g e M a t c h   p r o t o t y p e   w a s   a n   e d u c a t i o n a l   e x p e r i m e n t   i n   r e t h i n k i n g   t h e   f u t u r e   o f   s h a r i n g   f o o d   a n d   e a t i n g   t o g e t h e r   ( c o m m e n s a l i t y )   f r o m   a   d e s i g n   a n d   a   S c i e n c e   T e c h n o l o g y   S o c i e t y   s t u d i e s   ( S T S )   p e r s p e c t i v e s .   W e   d e s i g n e d   a   n e w   p r a c t i c e   o f   m e d i a t i n g   f o o d   o v e r   s o c i a l   n e t w o r k s ,   w h i c h   r e f l e c t e d   r e l a t e d   p h e n o m e n a   o f   u n d e r g r o u n d   r e s t a u r a n t s ,   c r o w d s o u r c i n g   o f   f o o d   i n f o r m a t i o n   a n d   p e r s u a s i v e   a p p s   s u p p o r t i n g   v a r i o u s   d i e t i n g   p r a c t i c e s   e t c .   W i t h   t h i s   p r o t o t y p e   w e   s u p p o r t e d   a d   h o c   i n t e r a c t i o n s   o v e r   i m p r o m p t u   d i n n e r s   b a s e d   o n   s h a r i n g   d a t a   o n   f o o d   l e f t o v e r s ,   w h i c h   e n a b l e d   c o m m e n s a l i t y   b e t w e e n   s t r a n g e r s .   T h e   p r o j e c t   w a s   p a r t   o f   a   s e r i e s   o f   w o r k s h o p s   b e t w e e n   s e v e r a l   u n i v e r s i t i e s   a n d   l o c a l   h a c k e r s p a c e s   i n   S i n g a p o r e ,   P r a g u e   a n d   A m s t e r d a m   i n   2 0 1 0 - 2 0 1 1 .   W e   i n v o l v e d   u n i v e r s i t y   s t u d e n t s ,   b u t   a l s o   l o c a l   f o o d i e s   a n d   h a c k e r s p a c e   m e m b e r s   a n d   a s k e d   t h e m   t o   r e f l e c t   u p o n   e x i s t i n g   f o o d   o n l i n e   n e t w o r k s   a n d   t h e n   c o l l e c t i v e l y   c r e a t e   a   p r o t o t y p e   f o r   a   n o v e l   f o r m   o f   c o m m e n s a l i t y .   W h i l e   a s   a n   e d u c a t i o n a l   p r o b e ,   F r i d g e M a t c h   e x a m i n e s   t h e   p o s s i b i l i t i e s   o f   i n t e r d i s c i p l i n a r y   ( d e s i g n   a n d   S T S )   c a s e   s t u d y   a p p r o a c h   t o   t e a c h i n g ,   a s   a   p r o t o t y p e   i t   s u p p o r t e d   i n t e r a c t i o n   b e t w e e n   s t r a n g e r s   o v e r   f o o d   l e f t o v e r s   i n   t h e i r   r e f r i g e r a t o r s .   W i t h   t h i s   p r o b e   a n d   p r o t o t y p e   w e   t r i e d   t o   f o l l o w   a n d   u n d e r s t a n d   t h e   e m e r g e n t   a c t o r - n e t w o r k   r e l a t i o n s   b e t w e e n   l e f t o v e r s   ( t h e i r   e t h i c s   a n d   e c o n o m y ) ,   F a c e b o o k   a p p   ( t e c h n o l o g i c a l l y   m e d i a t e d   f o r m s   o f   i n t e r a c t i o n s   b e t w e e n   s t r a n g e r s ) ,   r e f r i g e r a t o r s   ( a s   a n   i m p o r t a n t   s i t e   o f   e v e r y d a y   p r a c t i c e s ) ,   a n d   t h e   u s e r s   ( l i f e s t y l e s   i n   t h e   m o d e r n   c i t y ) .   ( C )   2 0 1 4   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ K e r a ,   D e n i s a ;   S u l a i m a n ,   N u r   L i y a n a ]   N a t l   U n i v   S i n g a p o r e ,   S i n g a p o r e   1 1 7 5 4 8 ,   S i n g a p o r e 	 K e r a ,   D   ( r e p r i n t   a u t h o r ) ,   N a t l   U n i v   S i n g a p o r e ,   C N M ,   1 1   C o m p   A S 6 - 3 ,   S i n g a p o r e   1 1 7 5 4 8 ,   S i n g a p o r e . 	 d e n i s a @ n u s . e d u . s g 	 	 	 	 	 B a r k e r   T ,   2 0 1 1 ,   H D B   T H E O R Y   R E S   S O C I O ,   V 2 2 ,   P 6 5 ;   B i l d t g A r d   T ,   2 0 0 8 ,   H D B   T H E O R Y   R E S   S O C I O ,   V 4 7 ,   P 9 9 ;   B o g o s t   I . ,   2 0 1 0 ,   H D B   T H E O R Y   R E S   S O C I O ,   P 1 ;   B o r d i e u   P . ,   1 9 8 6 ,   H D B   T H E O R Y   R E S   S O C I O ,   P 2 4 1 ;   C e n t r a l   I n t e l l i g e n c e   A g e n c y   U S A ,   2 0 1 1 ,   C I A   W O R L D   F A C T B   S I N G ;   C o o k   H e r e   a n d   N o w ,   2 0 1 1 ,   L O C A L   S E A S O N A L   S U S T A ;   D a n h o l t   P . ,   2 0 0 5 ,   P R O T O T Y P E S   P E R F O R M A T ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 0 9 4 5 6 2 . 1 0 9 4 5 6 4 ;   D o u g l a s   M . ,   1 9 6 6 ,   P U R I T Y   D A N G E R ;   D u n n e   A . ,   2 0 0 8 ,   H E R T Z I A N   T A L E S   E L E C T ;   F e h r   E ,   2 0 0 0 ,   J   E C O N   P E R S P E C T ,   V 1 4 ,   P 1 5 9 ,   D O I   1 0 . 1 2 5 7 / j e p . 1 4 . 3 . 1 5 9 ;   F i n e   B ,   2 0 0 4 ,   S O C I O L   R U R A L I S ,   V 4 4 ,   P 3 3 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 5 2 3 . 2 0 0 4 . 0 0 2 7 9 . x ;   F i s c h l e r   C ,   2 0 1 1 ,   S O C   S C I   I N F O R M ,   V 5 0 ,   P 5 2 8 ,   D O I   1 0 . 1 1 7 7 / 0 5 3 9 0 1 8 4 1 1 4 1 3 9 6 3 ;   G h a o u i   C . ,   2 0 0 5 ,   V I R T U A L   S Y S T E M S   M U L T ,   V 1 8 ,   P 7 3 8 ;   G r a h a m   C . ,   2 0 1 0 ,   V I R T U A L   S Y S T E M S   M U L T ;   G r i g n o n   C . ,   2 0 0 1 ,   F O O D   D R I N K   I D E N T I T Y ,   P 2 3 ;   G r u n e r t   K .   G . ,   2 0 1 1 ,   I n t e r n a t i o n a l   J o u r n a l   o n   F o o d   S y s t e m   D y n a m i c s ,   V 2 ,   P 2 0 7 ;   G u s s o w   J D ,   1 9 9 9 ,   J   N U T R   E D U C ,   V 3 1 ,   P 1 9 4 ;   H a r m a n   G . ,   2 0 0 9 ,   P R I N C E   N E T W O R K S   B   L A ;   H a r m a n   G . ,   2 0 0 2 ,   P R I N C E   N E T W O R K S   B   L A ,   V 4 5 ,   P 3 4 8 ;   H a r m a n   G . ,   2 0 0 5 ,   P R I N C E   N E T W O R K S   B   L A ,   V 5 6 ,   P 2 8 3 ;   H o l m e s   D .   R . ,   2 0 0 8 ,   S A G E   E N C Y   Q U A L I T A T I V ,   P 5 9 6 ;   K e i t h   L . ,   2 0 0 9 ,   V E G E T A R I A N   M Y T H   F O O D ;   K e r a   D . ,   2 0 1 1 ,   S O C I A L   S T O M A C H   P E R F O ;   K e r a   D . ,   2 0 1 1 ,   S S 1 2 0 5   A A A I ;   K e r a   D . ,   2 0 1 0 ,   P   2 2   C   C O M P   H U M   I N T ,   P 3 9 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 5 2 2 2 2 . 1 9 5 2 3 1 2 ;   K R E P S   D M ,   1 9 8 2 ,   J   E C O N   T H E O R Y ,   V 2 7 ,   P 2 4 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 2 - 0 5 3 1 ( 8 2 ) 9 0 0 2 9 - 1 ;   L a t o u r   B . ,   1 9 9 3 ,   W E   H A V E   N E V E R   B E E N   M ;   L a t o u r   B ,   2 0 0 5 ,   R E A S S E M B L I N G   S O C I A L ;   L i m   Y K ,   2 0 0 8 ,   A C M   T   C O M P U T - H U M   I N T ,   V 1 5 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 5 7 6 1 . 1 3 7 5 7 6 2 ;   L o c k i e   S ,   2 0 0 2 ,   S O C I O L   R U R A L I S ,   V 4 2 ,   P 2 7 8 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 5 2 3 . 0 0 2 1 7 ;   L o w   E . ,   2 0 1 0 ,   M I S S I N G   P R O F I T S ;   L o w   E . ,   2 0 1 0 ,   F O R G E T T I N G   F O O D ;   M a c y   M W ,   1 9 9 8 ,   A M   S O C I O L   R E V ,   V 6 3 ,   P 6 3 8 ,   D O I   1 0 . 2 3 0 7 / 2 6 5 7 3 3 2 ;   M a r s h a l l   L . ,   1 9 6 1 ,   S H A R I N G   T A L K I N G   G I V I ;   M c G r e w   W .   C . ,   1 9 7 5 ,   C O N T   P R I M   5   C ;   m e e t u p . c o m ,   2 0 1 1 ,   M E E T   U P S   N E A R   S A N   D I ;   M e s t d a g   I ,   2 0 0 9 ,   S O C I O L   R E V ,   V 5 7 ,   P 7 0 3 ;   M o l i n   L ,   2 0 0 4 ,   P   3   N O R D   C   H U M   C O M P ,   V 8 2 ,   P 4 2 5 ;   M u r d o c h   J ,   2 0 0 0 ,   E C O N   G E O G R ,   V 7 6 ,   P 1 0 7 ,   D O I   1 0 . 2 3 0 7 / 1 4 4 5 4 9 ;   N E A ,   2 0 1 0 ,   W A S T   S T A T   R E C   R A T ;   O c h s   E ,   2 0 0 6 ,   N E W   D I R   C H I L D   A D O L E S ,   V 1 1 1 ,   P 3 5 ,   D O I   1 0 . 1 0 0 2 / c a d . 1 5 3 ;   P a u l o s   E . ,   2 0 0 4 ,   C U L T U R E ,   V 6 ,   P 2 2 3 ;   S h o r e   E . ,   2 0 1 2 ,   J O U R N A L   O F   A N C I E N T   S ,   V 2 ,   P 2 4 3 ;   S i n g e l   R . ,   2 0 1 1 ,   G O O G L E   R E C I P E   S E A R C H ;   S t e e l   C . ,   2 0 0 8 ,   K I T C H E N   H U N G R Y   C I T Y ;   T e p   R . ,   2 0 0 8 ,   C O O K I N G   C L U B   2   0   P O T ;   V a u g h a n   A . ,   2 0 0 8 ,   E L I M I N A T I O N   F O O D   W A S ;   W i l k i e   A . ,   2 0 0 9 ,   M A D E   C R I T I C A L   L A N D   D ,   P 1 ;   W i l l i a m s   A . ,   2 0 0 2 ,   P   2 0   A N N   I N T   C   C O M P ,   P 2 4 8 ,   D O I   1 0 . 1 1 4 5 / 5 8 4 9 5 5 . 5 8 4 9 9 1 	 4 9 	 0 	 0 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 0 0 1 6 - 3 2 8 7 	 1 8 7 3 - 6 3 7 8 	 	 F U T U R E S 	 F u t u r e s 	 O C T 	 2 0 1 4 	 6 2 	 	 B 	 	 S I 	 	 1 9 4 	 2 0 1 	 	 1 0 . 1 0 1 6 / j . f u t u r e s . 2 0 1 4 . 0 4 . 0 0 7 	 	 8 	 E c o n o m i c s ;   P l a n n i n g   &   D e v e l o p m e n t 	 B u s i n e s s   &   E c o n o m i c s ;   P u b l i c   A d m i n i s t r a t i o n 	 A R 1 J V 	 W O S : 0 0 0 3 4 3 3 4 2 4 0 0 0 0 6 	 	 
 J 	 L e i t e r ,   A ;   S a b l i n s k i ,   T ;   D i e f e n b a c h ,   M ;   F o s t e r ,   M ;   G r e e n b e r g ,   A ;   H o l l a n d ,   J ;   O h ,   W K ;   G a l s k y ,   M D 	 	 	 	 L e i t e r ,   A m a n d a ;   S a b l i n s k i ,   T o m a s z ;   D i e f e n b a c h ,   M i c h a e l ;   F o s t e r ,   M a r c ;   G r e e n b e r g ,   A l e x ;   H o l l a n d ,   J o h n ;   O h ,   W i l l i a m   K . ;   G a l s k y ,   M a t t h e w   D . 	 	 	 U s e   o f   C r o w d s o u r c i n g   f o r   C a n c e r   C l i n i c a l   T r i a l   D e v e l o p m e n t 	 J N C I - J O U R N A L   O F   T H E   N A T I O N A L   C A N C E R   I N S T I T U T E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 P a t i e n t   a n d   p h y s i c i a n   a w a r e n e s s   a n d   a c c e p t a n c e   o f   t r i a l s   a n d   p a t i e n t   i n e l i g i b i l i t y   a r e   m a j o r   c a n c e r   c l i n i c a l   t r i a l   a c c r u a l   b a r r i e r s .   Y e t ,   t r i a l s   a r e   t y p i c a l l y   c o n c e i v e d   a n d   d e s i g n e d   b y   s m a l l   t e a m s   o f   r e s e a r c h e r s   w i t h   l i m i t e d   p a t i e n t   i n p u t .   W e   h y p o t h e s i z e d   t h a t   t h r o u g h   c r o w d s o u r c i n g ,   t h e   i n t e l l e c t u a l   a n d   c r e a t i v e   c a p a c i t y   o f   a   l a r g e   n u m b e r   o f   r e s e a r c h e r s ,   c l i n i c i a n s ,   a n d   p a t i e n t s   c o u l d   b e   h a r n e s s e d   t o   i m p r o v e   t h e   c l i n i c a l   t r i a l   d e s i g n   p r o c e s s .   I n   t h i s   s t u d y ,   w e   e v a l u a t e d   t h e   f e a s i b i l i t y   a n d   u t i l i t y   o f   u s i n g   a n   i n t e r n e t - b a s e d   c r o w d s o u r c i n g   p l a t f o r m   t o   i n f o r m   t h e   d e s i g n   o f   a   c l i n i c a l   t r i a l   e x p l o r i n g   a n   a n t i d i a b e t i c   d r u g ,   m e t f o r m i n ,   i n   p r o s t a t e   c a n c e r .   O v e r   a   s i x - w e e k   p e r i o d ,   c r o w d s o u r c e d   i n p u t   w a s   c o l l e c t e d   f r o m   6 0   p h y s i c i a n s / r e s e a r c h e r s   a n d   4 2   p a t i e n t s / a d v o c a t e s   l e a d i n g   t o   s e v e r a l   m a j o r   ( e g ,   e l i g i b i l i t y )   a n d   m i n o r   m o d i f i c a t i o n s   t o   t h e   c l i n i c a l   t r i a l   p r o t o c o l   a s   o r i g i n a l l y   d e s i g n e d .   C r o w d s o u r c i n g   c l i n i c a l   t r i a l   d e s i g n   i s   f e a s i b l e ,   a d d s   v a l u e   t o   t h e   p r o t o c o l   d e v e l o p m e n t   p r o c e s s ,   a n d   m a y   u l t i m a t e l y   i m p r o v e   t h e   e f f i c i e n c y   o f   t r i a l   c o n d u c t . 	 [ L e i t e r ,   A m a n d a ;   O h ,   W i l l i a m   K . ;   G a l s k y ,   M a t t h e w   D . ]   I c a h n   S c h   M e d   M t   S i n a i ,   T i s c h   C a n c   I n s t ,   D e p t   M e d ,   D i v   H e m a t o l   O n c o l ,   N e w   Y o r k ,   N Y   1 0 0 2 9   U S A ;   [ S a b l i n s k i ,   T o m a s z ;   F o s t e r ,   M a r c ;   G r e e n b e r g ,   A l e x ]   T r a n s p a r e n c y   L i f e   S c i ,   P l a t f o r m   D e v   D e p t ,   N e w   Y o r k ,   N Y   U S A ;   [ D i e f e n b a c h ,   M i c h a e l ]   I c a h n   S c h   M e d   M t   S i n a i ,   D e p t   U r o l ,   N e w   Y o r k ,   N Y   1 0 0 2 9   U S A ;   [ H o l l a n d ,   J o h n ]   A M C   H l t h ,   D e p t   C l i n   T r i a l s ,   N e w   Y o r k ,   N Y   U S A 	 G a l s k y ,   M D   ( r e p r i n t   a u t h o r ) ,   M t   S i n a i   S c h   M e d ,   T i s c h   C a n c   I n s t ,   1   G u s t a v e   L   L e v y   P l ,   N e w   Y o r k ,   N Y   1 0 0 2 9   U S A . 	 m a t t h e w . g a l s k y @ m s s m . e d u 	 	 	 P r o s t a t e   C a n c e r   F o u n d a t i o n   Y o u n g   I n v e s t i g a t o r   A w a r d 	 M D G   i s   s u p p o r t e d   b y   a   P r o s t a t e   C a n c e r   F o u n d a t i o n   Y o u n g   I n v e s t i g a t o r   A w a r d . 	 C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   D e n i c o f f   A n d r e a   M ,   2 0 1 3 ,   J   O n c o l   P r a c t ,   V 9 ,   P 2 6 7 ,   D O I   1 0 . 1 2 0 0 / J O P . 2 0 1 3 . 0 0 1 1 1 9 ;   G e o r g e   S L ,   1 9 9 6 ,   J   C L I N   O N C O L ,   V 1 4 ,   P 1 3 6 4 ;   L a r a   P N ,   2 0 0 1 ,   J   C L I N   O N C O L ,   V 1 9 ,   P 1 7 2 8 ;   M u r t h y   V H ,   2 0 0 4 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 9 1 ,   P 2 7 2 0 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 9 1 . 2 2 . 2 7 2 0 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S 	 6 	 0 	 0 	 O X F O R D   U N I V   P R E S S   I N C 	 C A R Y 	 J O U R N A L S   D E P T ,   2 0 0 1   E V A N S   R D ,   C A R Y ,   N C   2 7 5 1 3   U S A 	 0 0 2 7 - 8 8 7 4 	 1 4 6 0 - 2 1 0 5 	 	 J N C I - J   N A T L   C A N C E R   I 	 J N C I - J .   N a t l .   C a n c e r   I n s t . 	 O C T 	 2 0 1 4 	 1 0 6 	 1 0 	 	 	 	 	 	 	 d j u 2 5 8 	 1 0 . 1 0 9 3 / j n c i / d j u 2 5 8 	 	 3 	 O n c o l o g y 	 O n c o l o g y 	 A Q 7 Z A 	 W O S : 0 0 0 3 4 3 0 3 8 2 0 0 0 1 0 	 	 
 J 	 B o y d s t u n ,   A E ;   F e e z e l l ,   J T ;   G l a z i e r ,   R A ;   J u r k a ,   T P ;   P i e t r y k a ,   M T 	 	 	 	 B o y d s t u n ,   A m b e r   E . ;   F e e z e l l ,   J e s s i c a   T . ;   G l a z i e r ,   R e b e c c a   A . ;   J u r k a ,   T i m o t h y   P . ;   P i e t r y k a ,   M a t t h e w   T . 	 	 	 C o l l e a g u e   C r o w d s o u r c i n g :   A   M e t h o d   f o r   F o s t e r i n g   N a t i o n a l   S t u d e n t   E n g a g e m e n t   a n d   L a r g e - N   D a t a   C o l l e c t i o n 	 P S - P O L I T I C A L   S C I E N C E   &   P O L I T I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 M E T A A N A L Y S I S ;   C A M P A I G N S ;   S C I E N C E 	 S c h o l a r s   o f t e n   r e l y   o n   s t u d e n t   s a m p l e s   f r o m   t h e i r   o w n   c a m p u s e s   t o   s t u d y   p o l i t i c a l   b e h a v i o r ,   b u t   s o m e   s t u d i e s   r e q u i r e   l a r g e r   a n d   m o r e   d i v e r s e   s a m p l e s   t h a n   a n y   s i n g l e   c a m p u s   c a n   p r o v i d e .   I n   o u r   c a s e ,   w e   w a n t e d   t o   s t u d y   t h e   r e a l - t i m e   e f f e c t s   o f   p r e s i d e n t i a l   d e b a t e s   o n   i n d i v i d u a l - l e v e l   a t t i t u d e s ,   a n d   w e   s o u g h t   a   l a r g e   s a m p l e   w i t h   d i v e r s i t y   a c r o s s   c o v a r i a t e s   s u c h   a s   i d e o l o g y   a n d   r a c e .   T o   a d d r e s s   t h i s   c h a l l e n g e ,   w e   r e c r u i t e d   c o l l e g e   s t u d e n t s   a c r o s s   t h e   c o u n t r y   t h r o u g h   a   p r o c e s s   w e   c a l l   " c o l l e a g u e   c r o w d s o u r c i n g . "   A s   a n   i n c e n t i v e   f o r   c o l l e a g u e s   t o   e n c o u r a g e   t h e i r   s t u d e n t s   t o   p a r t i c i p a t e ,   w e   o f f e r e d   t e a c h i n g   r e s o u r c e s   a n d   n e x t - d a y   d a t a   s u m m a r i e s .   C r o w d s o u r c i n g   p r o v i d e d   d a t a   f r o m   a   l a r g e r   a n d   m o r e   d i v e r s e   s a m p l e   t h a n   w o u l d   b e   p o s s i b l e   u s i n g   a   s t a n d a r d ,   s i n g l e - c a m p u s   s u b j e c t   p o o l .   F u r t h e r m o r e ,   t h i s   a p p r o a c h   p r o v i d e d   c l a s s r o o m   r e s o u r c e s   f o r   f a c u l t y   a n d   o p p o r t u n i t i e s   f o r   a c t i v e   l e a r n i n g .   W e   p r e s e n t   c o l l e a g u e   c r o w d s o u r c i n g   a s   a   p o s s i b l e   m o d e l   f o r   f u t u r e   r e s e a r c h   a n d   o f f   e r   s u g g e s t i o n s   f o r   a p p l i c a t i o n   i n   v a r y i n g   c o n t e x t s . 	 [ B o y d s t u n ,   A m b e r   E . ;   J u r k a ,   T i m o t h y   P . ]   U n i v   C a l i f   D a v i s ,   D e p t   P o l i t   S c i ,   D a v i s ,   C A   9 5 6 1 6   U S A ;   [ F e e z e l l ,   J e s s i c a   T . ]   U n i v   N e w   M e x i c o ,   D e p t   P o l i t   S c i ,   A l b u q u e r q u e ,   N M   8 7 1 3 1   U S A ;   [ G l a z i e r ,   R e b e c c a   A . ]   U n i v   A r k a n s a s ,   D e p t   P o l i t   S c i ,   L i t t l e   R o c k ,   A R   7 2 2 0 4   U S A ;   [ P i e t r y k a ,   M a t t h e w   T . ]   F l o r i d a   S t a t e   U n i v ,   D e p t   P o l i t   S c i ,   T a l l a h a s s e e ,   F L   3 2 3 0 6   U S A 	 B o y d s t u n ,   A E   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   D a v i s ,   D e p t   P o l i t   S c i ,   D a v i s ,   C A   9 5 6 1 6   U S A . 	 a b o y d s t u n @ u c d a v i s . e d u ;   j f e e z e l l @ u n m . e d u ;   r a g l a z i e r @ u a l r . e d u ;   t p j u r k a @ u c d a v i s . e d u ;   m p i e t r y k a @ f s u . e d u 	 	 	 	 	 A l b e r t s o n   B ,   2 0 0 9 ,   A M   P O L I T   R E S ,   V 3 7 ,   P 2 7 5 ,   D O I   1 0 . 1 1 7 7 / 1 5 3 2 6 7 3 X 0 8 3 2 8 6 0 0 ;   B e a u m o n t   E l i z a b e t h ,   2 0 0 6 ,   J   P O L I T I C A L   S C I   E D ,   V 2 ,   P 2 4 9 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 5 5 1 2 1 6 0 6 0 0 8 4 0 4 6 7 ;   B e n n i o n   E l i z a b e t h   A . ,   2 0 1 3 ,   T E A C H I N G   C I V I C   E N G A G ;   B e n o i t   W L ,   2 0 0 3 ,   C O M M U N   M O N O G R ,   V 7 0 ,   P 3 3 5 ,   D O I   1 0 . 1 0 8 0 / 0 3 6 3 7 7 5 0 3 2 0 0 0 1 7 9 1 3 3 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r o w n   S .   W .   K .   F .   B . ,   2 0 0 0 ,   I N T   S T U D I E S   P E R S P E C T ,   V 3 ,   P 2 4 5 ;   F r i d k i n   K L ,   2 0 0 7 ,   J   P O L I T ,   V 6 9 ,   P 7 7 0 ;   G l a z i e r   R e b e c c a   A . ,   2 0 1 4 ,   P U B L I C   O P I N I O N   Q ,   V 7 8 ;   H e s s   F r e d e r i c k   M . ,   1 9 9 9 ,   B R I N G I N G   S O C I A L   S C I ;   H i l l y g u s   S D ,   2 0 0 5 ,   P O L I T I C A L   B E H A V ,   V 2 7 ,   P 2 5 ;   J a m i e s o n   K a t h l e e n   H a l l ,   1 9 9 0 ,   P R E S I D E N T I A L   D E B A T E S ;   J e r i t   J ,   2 0 1 3 ,   P U B L I C   O P I N   Q U A R T ,   V 7 7 ,   P 2 5 6 ,   D O I   1 0 . 1 0 9 3 / p o q / n f t 0 0 5 ;   K a i d   L L ,   2 0 0 7 ,   A M   B E H A V   S C I ,   V 5 0 ,   P 1 0 9 3 ,   D O I   1 0 . 1 1 7 7 / 0 0 0 2 7 6 4 2 0 7 3 0 0 0 4 0 ;   K a m   C i n d y   D . ,   2 0 1 1 ,   H D B   E X P T   P O L I T I C A L   S ;   K i n d e r   D R ,   2 0 0 7 ,   J   C O M M U N ,   V 5 7 ,   P 1 5 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 0 - 2 4 6 6 . 2 0 0 6 . 0 0 3 3 5 . x ;   M A R C U S   G E ,   1 9 9 3 ,   A M   P O L I T   S C I   R E V ,   V 8 7 ,   P 6 7 2 ,   D O I   1 0 . 2 3 0 7 / 2 9 3 8 7 4 3 ;   M c C a r t h y   J . ,   2 0 0 0 ,   I N N O V A T I V E   H I G H E R   E D ,   V 2 4 ,   P 2 7 9 ,   D O I   1 0 . 1 0 2 3 / B : I H I E . 0 0 0 0 0 4 7 4 1 5 . 4 8 4 9 5 . 0 5 ;   M c K i n n e y   M S ,   2 0 0 9 ,   C O M M U N I C A T I O N   S T U D I E ,   V 6 0 ,   P 3 9 2 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 0 5 1 0 9 7 0 9 0 3 1 1 0 0 0 1 ;   M i n t z   A ,   2 0 0 6 ,   J   C O N F L I C T   R E S O L U T ,   V 5 0 ,   P 7 5 7 ,   D O I   1 0 . 1 1 7 7 / 0 0 2 2 0 0 2 7 0 6 2 9 1 0 5 2 ;   O A K E S   W ,   1 9 7 2 ,   A M   P S Y C H O L ,   V 2 7 ,   P 9 5 9 ,   D O I   1 0 . 1 0 3 7 / h 0 0 3 3 4 5 4 ;   P a c e   D a v i d ,   1 9 9 0 ,   H I S T   T E A C H E R ,   V 2 4 ,   P 5 3 ,   D O I   1 0 . 2 3 0 7 / 4 9 4 2 0 5 ;   P e r r y   W i l l i a m   G . ,   1 9 6 8 ,   F O R M S   I N T E L L E C T U A L   E ;   P e t e r s o n   R A ,   2 0 0 1 ,   J   C O N S U M   R E S ,   V 2 8 ,   P 4 5 0 ,   D O I   1 0 . 1 0 8 6 / 3 2 3 7 3 2 ;   P f a u   M ,   2 0 0 5 ,   A M   B E H A V   S C I ,   V 4 9 ,   P 4 8 ,   D O I   1 0 . 1 1 7 7 / 0 0 0 2 7 6 4 2 0 5 2 7 9 4 2 9 ;   R u b e n   B .   D . ,   1 9 9 9 ,   S I M U L A T I O N   G A M I N G ,   V 3 0 ,   P 4 9 8 ,   D O I   1 0 . 1 1 7 7 / 1 0 4 6 8 7 8 1 9 9 0 3 0 0 0 4 0 9 ;   S E A R S   D O ,   1 9 8 6 ,   J   P E R S   S O C   P S Y C H O L ,   V 5 1 ,   P 5 1 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 5 1 . 3 . 5 1 5 ;   S m i t h   E T ,   1 9 9 6 ,   P S ,   V 2 9 ,   P 6 9 0 ,   D O I   1 0 . 2 3 0 7 / 4 2 0 7 9 4 ;   S u t r o   E d m u n d ,   1 9 8 5 ,   S O C   E D U C ,   V 4 9 ,   P 6 2 8 ;   W a s h b u s h   J . ,   2 0 0 1 ,   S I M U L A T I O N   G A M I N G ,   V 3 2 ,   P 2 8 1 ,   D O I   [ 1 0 . 1 1 7 7 / 1 0 4 6 8 7 8 1 0 1 0 3 2 0 0 3 0 1 ,   D O I   1 0 . 1 1 7 7 / 1 0 4 6 8 7 8 1 0 1 0 3 2 0 0 3 0 1 ] ;   W o l f e   J o s e p h ,   1 9 9 8 ,   S I M U L A T I O N   G A M I N G ,   V 2 9 ,   P 7 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 0 4 6 8 7 8 1 9 8 2 9 1 0 0 2 	 3 0 	 0 	 0 	 C A M B R I D G E   U N I V   P R E S S 	 N E W   Y O R K 	 3 2   A V E N U E   O F   T H E   A M E R I C A S ,   N E W   Y O R K ,   N Y   1 0 0 1 3 - 2 4 7 3   U S A 	 1 0 4 9 - 0 9 6 5 	 1 5 3 7 - 5 9 3 5 	 	 P S - P O L I T   S C I   P O L I T 	 P S - P o l i t .   S c i .   P o l i t . 	 O C T 	 2 0 1 4 	 4 7 	 4 	 	 	 	 	 8 2 9 	 8 3 4 	 	 1 0 . 1 0 1 7 / S 1 0 4 9 0 9 6 5 1 4 0 0 1 1 2 7 	 	 6 	 P o l i t i c a l   S c i e n c e 	 G o v e r n m e n t   &   L a w 	 A Q 7 L L 	 W O S : 0 0 0 3 4 2 9 9 8 3 0 0 0 1 3 	 	 
 J 	 C h e n e t t e ,   P ;   M a r t i n e z ,   C 	 	 	 	 C h e n e t t e ,   P . ;   M a r t i n e z ,   C . 	 	 	 S Y N C H R O N I Z A T I O N   O F   W O M E N ' S   C Y C L E S :   A   B I G   D A T A   A N D   C R O W D S O U R C I N G   A P P R O A C H   T O   M E N S T R U A L   C Y C L E   A N A L Y S I S . 	 F E R T I L I T Y   A N D   S T E R I L I T Y 	 	 	 E n g l i s h 	 M e e t i n g   A b s t r a c t 	 7 0 t h   A n n u a l   M e e t i n g   o f   t h e   A m e r i c a n - S o c i e t y - f o r - R e p r o d u c t i v e - M e d i c i n e 	 O C T   1 8 - 2 2 ,   2 0 1 4 	 H o n o l u l u ,   H I 	 A m e r   S o c   R e p r o d   M e d 	 	 	 	 	 [ C h e n e t t e ,   P . ]   P a c i f i c   F e r t i l   C t r ,   S a n   F r a n c i s c o ,   C A   U S A ;   [ M a r t i n e z ,   C . ]   G l o w i n g ,   S a n   F r a n c i s c o ,   C A   U S A 	 	 	 	 	 	 	 	 0 	 0 	 0 	 E L S E V I E R   S C I E N C E   I N C 	 N E W   Y O R K 	 3 6 0   P A R K   A V E   S O U T H ,   N E W   Y O R K ,   N Y   1 0 0 1 0 - 1 7 1 0   U S A 	 0 0 1 5 - 0 2 8 2 	 1 5 5 6 - 5 6 5 3 	 	 F E R T I L   S T E R I L 	 F e r t i l .   S t e r i l . 	 O C T 	 2 0 1 4 	 1 0 2 	 3 	 	 S 	 	 P - 3 3 6 	 E 2 5 0 	 E 2 5 0 	 	 	 	 1 	 O b s t e t r i c s   &   G y n e c o l o g y ;   R e p r o d u c t i v e   B i o l o g y 	 O b s t e t r i c s   &   G y n e c o l o g y ;   R e p r o d u c t i v e   B i o l o g y 	 A Q 0 V G 	 W O S : 0 0 0 3 4 2 5 0 0 2 0 1 0 9 2 	 	 
 J 	 Z e n g ,   W ;   H u a n g ,   X F ;   A r i s o n a ,   S M ;   M c L o u g h l i n ,   I V 	 	 	 	 Z e n g ,   W e i ;   H u a n g ,   X i a n f e n g ;   A r i s o n a ,   S t e f a n   M u e l l e r ;   M c L o u g h l i n ,   I a n   V i n c e 	 	 	 C l a s s i f y i n g   w a t e r m e l o n   r i p e n e s s   b y   a n a l y s i n g   a c o u s t i c   s i g n a l s   u s i n g   m o b i l e   d e v i c e s 	 P E R S O N A L   A N D   U B I Q U I T O U S   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M o b i l e   a n d   p h y s i c a l   c o m p u t i n g ;   R e a l - t i m e   s i g n a l   a n a l y s i s ;   M a c h i n e   l e a r n i n g ;   C r o w d s o u r c i n g 	 I N T E R N A L   Q U A L I T Y ;   I M P U L S E - R E S P O N S E 	 T h i s   w o r k   a d d r e s s e s   t h e   p r o b l e m   o f   d i s t i n g u i s h i n g   b e t w e e n   r i p e   a n d   u n r i p e   w a t e r m e l o n s   u s i n g   m o b i l e   d e v i c e s .   T h r o u g h   a n a l y s i n g   r i p e n e s s - r e l a t e d   f e a t u r e s   e x t r a c t e d   b y   t h u m p i n g   w a t e r m e l o n s ,   c o l l e c t i n g   a c o u s t i c   s i g n a l s   b y   m i c r o p h o n e s   o n   m o b i l e   d e v i c e s ,   o u r   m e t h o d   c a n   a u t o m a t i c a l l y   i d e n t i f y   t h e   r i p e n e s s   o f   w a t e r m e l o n s .   T h i s   i s   p o s s i b l e   i n   r e a l   t i m e ,   m a k i n g   u s e   o f   m a c h i n e   l e a r n i n g   t e c h n i q u e s   t o   p r o v i d e   g o o d   a c c u r a c y .   W e   f i r s t l y   c o l l e c t   a   t r a i n i n g   d a t a s e t   c o m p r i s i n g   a c o u s t i c   s i g n a l s   g e n e r a t e d   b y   t h u m p i n g   b o t h   r i p e   a n d   u n r i p e   w a t e r m e l o n s .   A u d i o   s i g n a l   a n a l y s i s   o n   t h i s   h e l p s   i d e n t i f y   f e a t u r e s   r e l a t e d   t o   w a t e r m e l o n   r i p e n e s s .   T h e s e   f e a t u r e s   a r e   t h e n   u s e d   t o   c o n s t r u c t   a   c l a s s i f i c a t i o n   m o d e l   f o r   f u t u r e   s i g n a l s .   B a s e d   o n   t h i s ,   w e   d e v e l o p e d   a   c r o w d s o u r c i n g   a p p l i c a t i o n   f o r   A n d r o i d   w h i c h   a l l o w s   u s e r s   t o   i d e n t i f y   w a t e r m e l o n   r i p e n e s s   i n   r e a l   t i m e   w h i l e   s u b m i t t i n g   t h e i r   r e s u l t s   t o   u s   a l l o w i n g   c o n t i n u o u s   i m p r o v e m e n t   o f   t h e   c l a s s i f i c a t i o n   m o d e l .   E x p e r i m e n t a l   r e s u l t s   s h o w   t h a t   o u r   m e t h o d   i s   c u r r e n t l y   a b l e   t o   c o r r e c t l y   c l a s s i f y   r i p e   a n d   u n r i p e   w a t e r m e l o n s   w i t h   a n   o v e r a l l   a c c u r a c y   e x c e e d i n g   8 9   % . 	 [ Z e n g ,   W e i ;   H u a n g ,   X i a n f e n g ;   A r i s o n a ,   S t e f a n   M u e l l e r ]   E T H ,   D e p t   A r c h i t e c t u r e ,   F u t u r e   C i t i e s   L a b ,   C H - 8 0 9 3   Z u r i c h ,   S w i t z e r l a n d ;   [ M c L o u g h l i n ,   I a n   V i n c e ]   U n i v   S c i   &   T e c h n o l   C h i n a ,   H e f e i   2 3 0 0 2 6 ,   P e o p l e s   R   C h i n a 	 Z e n g ,   W   ( r e p r i n t   a u t h o r ) ,   E T H ,   D e p t   A r c h i t e c t u r e ,   F u t u r e   C i t i e s   L a b ,   C H - 8 0 9 3   Z u r i c h ,   S w i t z e r l a n d . 	 z e n g @ a r c h . e t h z . c h 	 	 	 S i n g a p o r e   N a t i o n a l   R e s e a r c h   F o u n d a t i o n   ( N R F ) ;   E T H   Z u r i c h 	 T h i s   w o r k   w a s   e s t a b l i s h e d   a t   t h e   S i n g a p o r e - E T H   C e n t r e   f o r   G l o b a l   E n v i r o n m e n t a l   S u s t a i n a b i l i t y   ( S E C ) ,   c o - f u n d e d   b y   t h e   S i n g a p o r e   N a t i o n a l   R e s e a r c h   F o u n d a t i o n   ( N R F )   a n d   E T H   Z u r i c h .   W e   w o u l d   a l s o   l i k e   t o   t h a n k   d e v e l o p e r s   o f   o p e n   l i b r a r i e s   l i k e   S V M   a n d   F F T   u s e d   i n   o u r   i m p l e m e n t a t i o n .   W i t h o u t   t h e i r   w o r k ,   w e   w o u l d   s p e n d   m u c h   m o r e   t i m e   o n   i m p l e m e n t i n g   t h e s e   a l g o r i t h m s . 	 A i z e r m a n   A ,   1 9 6 4 ,   A U T O M A T   R E M   C O N T R ,   V 2 5 ,   P 8 2 1 ;   A y   C ,   1 9 9 6 ,   J   A G R   M E C H ,   V 5 ,   P 5 7 ;   B a k i   S ,   2 0 1 0 ,   P   I N T   J O I N T   C   N E U R   N ,   P 1 ;   B a l a n d i n a   E ,   2 0 0 6 ,   N O K I A   R E M O T E   S E N S I N G ;   B u t t e r w o r t h   S . ,   1 9 3 0 ,   W I R E L E S S   E N G ,   V 7 ,   P 5 3 6 ;   C a n t w e l l   M ,   1 9 9 6 ,   P E R I S H A B L E S   H A N D L I N G ,   P 1 0 ;   D i e z m a - I g l e s i a s   B ,   2 0 0 4 ,   B I O S Y S T   E N G ,   V 8 8 ,   P 2 2 1 ,   D O I   1 0 . 1 0 1 6 / j . b i o s y s t e m s e n g . 2 0 0 4 . 0 3 . 0 0 7 ;   G o u y o n   F ,   2 0 0 0 ,   P   C O S T   G   6   C   D I G   A U D ;   J u i l l e r a t   N ,   2 0 0 7 ,   P   I N T   C O M P   M U S   C   C O P ;   L u   H ,   2 0 0 9 ,   M O B I S Y S ' 0 9 :   P R O C E E D I N G S   O F   T H E   7 T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   S Y S T E M S ,   A P P L I C A T I O N S ,   A N D   S E R V I C E S ,   P 1 6 5 ;   L u   L ,   2 0 0 3 ,   M U L T I M E D I A   S Y S T ,   V 8 ,   P 4 8 2 ,   D O I   1 0 . 1 0 0 7 / s 0 0 5 3 0 - 0 0 2 - 0 0 6 5 - 0 ;   M c K i n n e y   M F ,   2 0 0 3 ,   P   I S M I R ,   V 3 ,   P 1 5 1 ;   M c L o u g h l i n   I V ,   2 0 0 9 ,   A P P L   S P E E C H   A U D I O   P R ;   M i s r a   A ,   2 0 0 8 ,   P   I N T   C   N E W   I N T   M U S ;   M i t r o v i c   D ,   2 0 1 0 ,   A D V   C O M P U T ,   V 7 8 ,   P 7 1 ,   D O I   1 0 . 1 0 1 6 / S 0 0 6 5 - 2 4 5 8 ( 1 0 ) 7 8 0 0 3 - 7 ;   P o h j a l a i n e n   J ,   2 0 0 7 ,   T H E S I S   H E L S I N I K I   U   T ;   S a u n d e r s   J ,   1 9 9 6 ,   I N T   C O N F   A C O U S T   S P E E ,   P 9 9 3 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 1 9 9 6 . 5 4 3 2 9 0 ;   Y A M A M O T O   H ,   1 9 8 0 ,   J   T E X T U R E   S T U D ,   V 1 1 ,   P 1 1 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 5 - 4 6 0 3 . 1 9 8 0 . t b 0 0 3 1 2 . x 	 1 8 	 0 	 0 	 S P R I N G E R   L O N D O N   L T D 	 L O N D O N 	 2 3 6   G R A Y S   I N N   R D ,   6 T H   F L O O R ,   L O N D O N   W C 1 X   8 H L ,   E N G L A N D 	 1 6 1 7 - 4 9 0 9 	 1 6 1 7 - 4 9 1 7 	 	 P E R S   U B I Q U I T   C O M P U T 	 P e r s .   U b i q u i t o u s   C o m p u t . 	 O C T 	 2 0 1 4 	 1 8 	 7 	 	 	 S I 	 	 1 7 5 3 	 1 7 6 2 	 	 1 0 . 1 0 0 7 / s 0 0 7 7 9 - 0 1 3 - 0 7 0 6 - 7 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 A Q 0 E B 	 W O S : 0 0 0 3 4 2 4 5 4 5 0 0 0 1 5 	 	 
 J 	 M c D u f f ,   D ;   E l   K a l i o u b y ,   R ;   S e n e c h a l ,   T ;   D e m i r d j i a n ,   D ;   P i c a r d ,   R 	 	 	 	 M c D u f f ,   D a n i e l ;   E l   K a l i o u b y ,   R a n a ;   S e n e c h a l ,   T h i b a u d ;   D e m i r d j i a n ,   D a v i d ;   P i c a r d ,   R o s a l i n d 	 	 	 A u t o m a t i c   m e a s u r e m e n t   o f   a d   p r e f e r e n c e s   f r o m   f a c i a l   r e s p o n s e s   g a t h e r e d   o v e r   t h e   I n t e r n e t 	 I M A G E   A N D   V I S I O N   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 F a c i a l   e x p r e s s i o n s ;   P r e f e r e n c e s ;   C l a s s i f i c a t i o n ;   C r o w d s o u r c i n g 	 C O M M E R C I A L S ;   P A T T E R N S 	 W e   p r e s e n t   a n   a u t o m a t e d   m e t h o d   f o r   c l a s s i f y i n g   " l i k i n g "   a n d   " d e s i r e   t o   v i e w   a g a i n "   o f   o n l i n e   v i d e o   a d s   b a s e d   o n   3 2 6 8   f a c i a l   r e s p o n s e s   t o   m e d i a   c o l l e c t e d   o v e r   t h e   I n t e r n e t .   T h e   r e s u l t s   d e m o n s t r a t e   t h e   p o s s i b i l i t y   f o r   a n   e c o l o g i c a l l y   v a l i d ,   u n o b t r u s i v e ,   e v a l u a t i o n   o f   c o m m e r c i a l   " l i k i n g "   a n d   " d e s i r e   t o   v i e w   a g a i n " ,   s t r o n g   p r e d i c t o r s   o f   m a r k e t i n g   s u c c e s s ,   b a s e d   o n l y   o n   f a c i a l   r e s p o n s e s .   T h e   a r e a   u n d e r   t h e   c u r v e   f o r   t h e   b e s t   " l i k i n g "   c l a s s i f i e r   w a s   0 . 8 2   w h e n   u s i n g   a   c h a l l e n g i n g   l e a v e - o n e - c o m m e r c i a l - o u t   t e s t i n g   r e g i m e   ( a c c u r a c y   =   8 1 % ) .   W e   b u i l d   o n   p r e l i m i n a r y   f i n d i n g s   a n d   s h o w   t h a t   i m p r o v e d   s m i l e   d e t e c t i o n   c a n   l e a d   t o   a   r e d u c t i o n   i n   m i s c l a s s i f i c a t i o n s .   C o m p a r i s o n   o f   t h e   t w o   s m i l e   d e t e c t i o n   a l g o r i t h m s   s h o w e d   t h a t   i m p r o v e d   s m i l e   d e t e c t i o n   h e l p s   c o r r e c t l y   c l a s s i f y   r e s p o n s e s   r e c o r d e d   i n   c h a l l e n g i n g   l i g h t i n g   c o n d i t i o n s   a n d   t h o s e   i n   w h i c h   t h e   e x p r e s s i o n s   w e r e   s u b t l e .   T e m p o r a l   d i s c r i m i n a t i v e   a p p r o a c h e s   t o   c l a s s i f i c a t i o n   p e r f o r m e d   m o s t   s t r o n g l y   s h o w i n g   t h a t   t e m p o r a l   i n f o r m a t i o n   a b o u t   a n   i n d i v i d u a l ' s   r e s p o n s e   i s   i m p o r t a n t ;   i t   i s   n o t   j u s t   h o w   m u c h   a   v i e w e r   s m i l e s   b u t   w h e n   t h e y   s m i l e .   T h e   t e c h n i q u e   c o u l d   b e   e m p l o y e d   i n   p e r s o n a l i z i n g   v i d e o   c o n t e n t   t h a t   i s   p r e s e n t e d   t o   p e o p l e   w h i l e   t h e y   v i e w   v i d e o s   o v e r   t h e   I n t e r n e t   o r   i n   c o p y   t e s t i n g   o f   a d s   t o   u n o b t r u s i v e l y   q u a n t i f y   a d   e f f e c t i v e n e s s .   ( C )   2 0 1 4   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ M c D u f f ,   D a n i e l ;   P i c a r d ,   R o s a l i n d ]   M I T ,   M e d i a   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A ;   [ E l   K a l i o u b y ,   R a n a ;   S e n e c h a l ,   T h i b a u d ]   A f f e c t i v a ,   W a l t h a m ,   M A   0 2 4 5 2   U S A ;   [ D e m i r d j i a n ,   D a v i d ]   M I T ,   C S A I L ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A 	 M c D u f f ,   D   ( r e p r i n t   a u t h o r ) ,   M I T ,   M e d i a   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A . 	 d j m c d u f f @ m e d i a . m i t . e d u ;   k a l i o u b y @ a f f e c t i v a . c o m ;   t h i b a u d . s e n e c h a l @ a f f e c t i v a . c o m ;   d e m i r d j i @ c s a i l . m i t . e d u ;   p i c a r d @ m e d i a . m i t . e d u 	 	 	 M e d i a   L a b   C o n s o r t i u m   M e m b e r s 	 R i c h a r d   S a d o w s k y ,   O l i v e r   W i l d e r - S m i t h ,   J a y   T u r c o t ,   Z h i h o n g   Z e n g   a n d   A f f e c t i v a   p r o v i d e d   g e n e r o u s   s u p p o r t   i n   p r o v i d i n g   a c c e s s   t o   t h e   c r o w d s o u r c i n g   p l a t f o r m .   B r i a n   S t a a t s   p r o v i d e d   a   g r e a t   f r o n t   e n d   d e s i g n   f o r   t h e   s i t e .   J o n   B r u n e r   a n d   F o r b e s   k i n d l y   p r o m o t e d   t h e   w o r k   o n   t h e i r   s i t e .   G o o g l e   p r o v i d e d   u s e   o f   t h e i r   f a c i a l   f e a t u r e   t r a c k e r .   T h i s   w o r k   w a s   f u n d e d   b y   t h e   M e d i a   L a b   C o n s o r t i u m   M e m b e r s . 	 A m b a d a r   Z ,   2 0 0 9 ,   J   N O N V E R B A L   B E H A V ,   V 3 3 ,   P 1 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 9 1 9 - 0 0 8 - 0 0 5 9 - 5 ;   B o l l s   P D ,   2 0 0 1 ,   C O M M U N   R E S ,   V 2 8 ,   P 6 2 7 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 3 6 5 0 0 1 0 2 8 0 0 5 0 0 3 ;   C h a n g   C C ,   2 0 1 1 ,   A C M   T   I N T E L   S Y S T   T E C ,   V 2 ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 6 1 1 8 9 . 1 9 6 1 1 9 9 ;   D a l a l   N ,   2 0 0 5 ,   C V P R ,   V 1 ,   p [ 8 8 6 ,   8 9 3 ] ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 0 5 . 1 7 7 ;   E k m a n   P . ,   1 9 7 7 ,   F A C I A L   A C T I O N   C O D I N G ;   H a l e y   R I ,   2 0 0 0 ,   J   A D V E R T I S I N G   R E S ,   V 4 0 ,   P 1 1 4 ;   H a z l e t t   R L ,   1 9 9 9 ,   J   A D V E R T I S I N G   R E S ,   V 3 9 ,   P 7 ;   H o q u e   M E ,   2 0 1 2 ,   I E E E   T   A F F E C T   C O M P U T ,   V 3 ,   P 3 2 3 ,   D O I   1 0 . 1 1 0 9 / T - A F F C . 2 0 1 2 . 1 1 ;   J o h o   H . ,   2 0 1 1 ,   M U L T I M E D   T O O L S   A P P L ,   P 1 ;   K a s s a m   K . S . ,   2 0 1 0 ,   T H E S I S   H A R V A R D   U ;   L a f f e r t y   J . ,   2 0 0 1 ,   C O N D I T I O N A L   R A N D O M   F ;   L u c e y   P . ,   2 0 1 0 ,   D I G   I M   C O M P   T E C H N   A P ,   P 2 5 5 ;   M c D u f f   D . ,   2 0 1 1 ,   P   1 3   I N T   C   M U L T   I N T ,   P 1 1 ;   M c D u f f   D . ,   2 0 1 3 ,   C O M P   V I S   P A T T   R E C   W O ;   M c D u f f   D ,   2 0 1 2 ,   I E E E   T   A F F E C T   C O M P U T ,   V 3 ,   P 4 5 6 ,   D O I   1 0 . 1 1 0 9 / T - A F F C . 2 0 1 2 . 1 9 ;   M c D u f f   D . ,   2 0 1 3 ,   A U T   F A C   G E S T   R E C   2 0 1 ;   M c D u f f   D . ,   2 0 1 0 ,   C O M P   S O C   C   C O M P   V I S ,   P 1 7 ;   M i c u   A C ,   2 0 1 0 ,   J   A D V E R T I S I N G   R E S ,   V 5 0 ,   P 1 3 7 ,   D O I   1 0 . 2 5 0 1 / S 0 0 2 1 8 4 9 9 1 0 0 9 1 3 0 0 ;   M o r e n c y   L .   P . ,   2 0 0 7 ,   C O N C U R R   C O M P - P R A C T   E ,   P 1 ,   D O I   D O I   1 0 . 1 0 0 2 / C P E . 1 2 3 3 ;   O j a l a   T ,   2 0 0 2 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 4 ,   P 9 7 1 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 2 . 1 0 1 7 6 2 3 ;   S h a n   C F ,   2 0 1 2 ,   I E E E   T   I M A G E   P R O C E S S ,   V 2 1 ,   P 4 3 1 ,   D O I   1 0 . 1 1 0 9 / T I P . 2 0 1 1 . 2 1 6 1 5 8 7 ;   S m i t   E G ,   2 0 0 6 ,   J   A D V E R T I S I N G   R E S ,   V 4 6 ,   P 7 3 ,   D O I   1 0 . 2 5 0 1 / S 0 0 2 1 8 4 9 9 0 6 0 6 0 0 8 9 ;   S o n g   Y . ,   2 0 1 1 ,   2 0 1 1   I E E E   I N T   C   A U T ,   P 3 8 8 ;   T e i x e i r a   T . ,   2 0 1 0 ,   J   M A R K   R E S ;   T e i x e i r a   T S ,   2 0 1 0 ,   M A R K E T   S C I ,   V 2 9 ,   P 7 8 3 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 1 0 0 . 0 5 6 7 ;   V a l s t a r   M F ,   2 0 0 7 ,   I C M I ' 0 7 :   P R O C E E D I N G S   O F   T H E   N I N T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M U L T I M O D A L   I N T E R F A C E S ,   P 3 8 ;   W a n g   S . B . ,   2 0 0 6 ,   C O M P U T E R   V I S I O N   P A T T ,   V 2 ,   P 1 5 2 1 ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 0 6 . 1 3 2 ;   W h i t e h i l l   J ,   2 0 0 9 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 1 ,   P 2 1 0 6 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 9 . 4 2 ;   Z e n g   Z H ,   2 0 0 9 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 1 ,   P 3 9 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 8 . 5 2 ;   Z h a o   S . ,   2 0 1 3 ,   N E U R O C O M P U T I N G 	 3 0 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 2 6 2 - 8 8 5 6 	 1 8 7 2 - 8 1 3 8 	 	 I M A G E   V I S I O N   C O M P U T 	 I m a g e   V i s .   C o m p u t . 	 O C T 	 2 0 1 4 	 3 2 	 1 0 	 	 	 S I 	 	 6 3 0 	 6 4 0 	 	 1 0 . 1 0 1 6 / j . i m a v i s . 2 0 1 4 . 0 1 . 0 0 4 	 	 1 1 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   O p t i c s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   O p t i c s 	 A P 7 K R 	 W O S : 0 0 0 3 4 2 2 5 6 7 0 0 0 0 2 	 	 
 J 	 B u r g e r ,   J D ;   D o u g h t y ,   E ;   K h a r e ,   R ;   W e i ,   C H ;   M i s h r a ,   R ;   A b e r d e e n ,   J ;   T r e s n e r - K i r s c h ,   D ;   W e l l n e r ,   B ;   K a n n ,   M G ;   L u ,   Z Y ;   H i r s c h m a n ,   L 	 	 	 	 B u r g e r ,   J o h n   D . ;   D o u g h t y ,   E m i l y ;   K h a r e ,   R i t u ;   W e i ,   C h i h - H s u a n ;   M i s h r a ,   R a j a s h r e e ;   A b e r d e e n ,   J o h n ;   T r e s n e r - K i r s c h ,   D a v i d ;   W e l l n e r ,   B e n ;   K a n n ,   M a r i c e l   G . ;   L u ,   Z h i y o n g ;   H i r s c h m a n ,   L y n e t t e 	 	 	 H y b r i d   c u r a t i o n   o f   g e n e - m u t a t i o n   r e l a t i o n s   c o m b i n i n g   a u t o m a t e d   e x t r a c t i o n   a n d   c r o w d s o u r c i n g 	 D A T A B A S E - T H E   J O U R N A L   O F   B I O L O G I C A L   D A T A B A S E S   A N D   C U R A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 B I O M E D I C A L   L I T E R A T U R E ;   B I O C R E A T I V E   I I I ;   D A T A B A S E ;   N O R M A L I Z A T I O N ;   V A R I A N T S ;   T A S K ;   T E X T ;   A S S O C I A T I O N ;   M E D I C I N E 	 B a c k g r o u n d :   T h i s   a r t i c l e   d e s c r i b e s   c a p t u r e   o f   b i o l o g i c a l   i n f o r m a t i o n   u s i n g   a   h y b r i d   a p p r o a c h   t h a t   c o m b i n e s   n a t u r a l   l a n g u a g e   p r o c e s s i n g   t o   e x t r a c t   b i o l o g i c a l   e n t i t i e s   a n d   c r o w d s o u r c i n g   w i t h   a n n o t a t o r s   r e c r u i t e d   v i a   A m a z o n   M e c h a n i c a l   T u r k   t o   j u d g e   c o r r e c t n e s s   o f   c a n d i d a t e   b i o l o g i c a l   r e l a t i o n s .   T h e s e   t e c h n i q u e s   w e r e   a p p l i e d   t o   e x t r a c t   g e n e - m u t a t i o n   r e l a t i o n s   f r o m   b i o m e d i c a l   a b s t r a c t s   w i t h   t h e   g o a l   o f   s u p p o r t i n g   p r o d u c t i o n   s c a l e   c a p t u r e   o f   g e n e - m u t a t i o n - d i s e a s e   f i n d i n g s   a s   a n   o p e n   s o u r c e   r e s o u r c e   f o r   p e r s o n a l i z e d   m e d i c i n e .   R e s u l t s :   T h e   h y b r i d   s y s t e m   c o u l d   b e   c o n f i g u r e d   t o   p r o v i d e   g o o d   p e r f o r m a n c e   f o r   g e n e - m u t a t i o n   e x t r a c t i o n   ( p r e c i s i o n   s i m i l a r   t o   8 2 % ;   r e c a l l   s i m i l a r   t o   7 0 %   a g a i n s t   a n   e x p e r t - g e n e r a t e d   g o l d   s t a n d a r d )   a t   a   c o s t   o f   $ 0 . 7 6   p e r   a b s t r a c t .   T h i s   d e m o n s t r a t e s   t h a t   c r o w d   l a b o r   p l a t f o r m s   s u c h   a s   A m a z o n   M e c h a n i c a l   T u r k   c a n   b e   u s e d   t o   r e c r u i t   q u a l i t y   a n n o t a t o r s ,   e v e n   i n   a n   a p p l i c a t i o n   r e q u i r i n g   s u b j e c t   m a t t e r   e x p e r t i s e ;   a g g r e g a t e d   T u r k e r   j u d g m e n t s   f o r   g e n e - m u t a t i o n   r e l a t i o n s   e x c e e d e d   9 0 %   a c c u r a c y .   O v e r   h a l f   o f   t h e   p r e c i s i o n   e r r o r s   w e r e   d u e   t o   m i s m a t c h e s   a g a i n s t   t h e   g o l d   s t a n d a r d   h i d d e n   f r o m   a n n o t a t o r   v i e w   ( e .   g .   i n c o r r e c t   E n t r e z G e n e   i d e n t i f i e r   o r   i n c o r r e c t   m u t a t i o n   p o s i t i o n   e x t r a c t e d ) ,   o r   i n c o m p l e t e   t a s k   i n s t r u c t i o n s   ( e .   g .   t h e   n e e d   t o   e x c l u d e   n o n h u m a n   m u t a t i o n s ) .   C o n c l u s i o n s :   T h e   h y b r i d   c u r a t i o n   m o d e l   p r o v i d e s   a   r e a d i l y   s c a l a b l e   c o s t - e f f e c t i v e   a p p r o a c h   t o   c u r a t i o n ,   p a r t i c u l a r l y   i f   c o u p l e d   w i t h   e x p e r t   h u m a n   r e v i e w   t o   f i l t e r   p r e c i s i o n   e r r o r s .   W e   p l a n   t o   g e n e r a l i z e   t h e   f r a m e w o r k   a n d   m a k e   i t   a v a i l a b l e   a s   o p e n   s o u r c e   s o f t w a r e . 	 [ B u r g e r ,   J o h n   D . ;   A b e r d e e n ,   J o h n ;   T r e s n e r - K i r s c h ,   D a v i d ;   W e l l n e r ,   B e n ;   H i r s c h m a n ,   L y n e t t e ]   M i t r e   C o r p ,   B e d f o r d ,   M A   0 1 7 3 0   U S A ;   [ D o u g h t y ,   E m i l y ]   S t a n f o r d   U n i v ,   B i o m e d   I n f o r m a t   P r o g r a m ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A ;   [ K h a r e ,   R i t u ;   W e i ,   C h i h - H s u a n ;   L u ,   Z h i y o n g ]   N I H ,   N a t l   C t r   B i o t e c h n o l   I n f o r m a t ,   N a t l   L i b   M e d ,   B e t h e s d a ,   M D   2 0 8 9 4   U S A ;   [ M i s h r a ,   R a j a s h r e e ;   K a n n ,   M a r i c e l   G . ]   U n i v   M a r y l a n d   B a l t i m o r e   C t y ,   B a l t i m o r e ,   M D   2 1 2 5 0   U S A 	 B u r g e r ,   J D   ( r e p r i n t   a u t h o r ) ,   M i t r e   C o r p ,   B u r l i n g t o n   R d ,   B e d f o r d ,   M A   0 1 7 3 0   U S A . 	 j o h n @ m i t r e . o r g ;   l y n e t t e @ m i t r e . o r g 	 	 	 I n t r a m u r a l   R e s e a r c h   P r o g r a m   o f   N I H ,   N a t i o n a l   L i b r a r y   o f   M e d i c i n e ;   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   ( N I H )   [ 1 K 2 2 C A 1 4 3 1 4 8 ] ;   A m e r i c a n   C a n c e r   S o c i e t y ,   A C S - I R G ;   M I T R E   C o r p o r a t i o n 	 T h i s   r e s e a r c h   h a s   b e e n   p a r t i a l l y   f u n d e d   b y   t h e   I n t r a m u r a l   R e s e a r c h   P r o g r a m   o f   N I H ,   N a t i o n a l   L i b r a r y   o f   M e d i c i n e   a n d   b y   T h e   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   ( N I H )   g r a n t   1 K 2 2 C A 1 4 3 1 4 8   t o   M .   G .   K .   ( P I )   a n d   t h e   A m e r i c a n   C a n c e r   S o c i e t y ,   A C S - I R G   g r a n t   t o   M .   G .   K .   ( P I ) .   T h e   c u r a t i o n   r e s u l t s   r e p o r t e d   i n   S u p p l e m e n t a r y   A p p e n d i x   A   ( R e t u r k i n g   o f   R a n d o m   H I T S )   w a s   p e r f o r m e d   a t   U n i v e r s i t y   o f   M a r y l a n d ,   B a l t i m o r e   C o u n t y ,   u n d e r   t h e   s u p e r v i s i o n   o f   M .   G .   K .   b y   U r o o j   A q e e l ,   V e e r   G a r i w a l a ,   M i t s u   S h a h ,   N i k h i l   Y e s u p r i y a   a n d   Y e   S o l   Y u n .   F u n d i n g   f o r   o p e n   a c c e s s   c h a r g e :   T h e   M I T R E   C o r p o r a t i o n . 	 A m b e r g e r   J ,   2 0 0 9 ,   N U C L E I C   A C I D S   R E S ,   V 3 7 ,   p D 7 9 3 ,   D O I   1 0 . 1 0 9 3 / n a r / g k n 6 6 5 ;   A r i g h i   C N ,   2 0 1 1 ,   B M C   B I O I N F O R M A T I C S ,   V 1 2 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 1 2 - S 8 - S 4 ;   B a k e r   C J O ,   2 0 0 6 ,   I N F O R M   S Y S T   F R O N T ,   V 8 ,   P 4 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 6 - 0 0 6 - 6 1 0 3 - 2 ;   B a l l   M P ,   2 0 1 2 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 9 ,   P 1 1 9 2 0 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 2 0 1 9 0 4 1 0 9 ;   B a y e s   M . ,   1 7 6 3 ,   P H I L O S   T ,   V 5 3 ,   P 3 7 0 ,   D O I   1 0 . 1 0 9 8 / r s t l . 1 7 6 3 . 0 0 5 3 ;   B e r a r d i n i   T . Z . ,   2 0 1 2 ,   D A T A B A S E   O X F O R D ,   V 2 0 1 2 ;   B u r g e r   J . D . ,   2 0 1 2 ,   D A T A   I N T E G R A T I O N   L I F ,   V 7 3 4 8 ,   P 8 3 ;   C a m o n   E B ,   2 0 0 5 ,   B M C   B I O I N F O R M A T I C S ,   V 6 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 6 - S 1 - S 1 7 ;   C a p o r a s o   J G ,   2 0 0 7 ,   B I O I N F O R M A T I C S ,   V 2 3 ,   P 1 8 6 2 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t m 2 3 5 ;   C h u t e   C G ,   2 0 1 3 ,   J A M A - J   A M   M E D   A S S O C ,   V 3 0 9 ,   P 1 4 6 7 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 0 1 3 . 1 4 1 4 ;   C O H E N   J ,   1 9 6 0 ,   E D U C   P S Y C H O L   M E A S ,   V 2 0 ,   P 3 7 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 3 1 6 4 4 6 0 0 2 0 0 0 1 0 4 ;   D o u g h t y   E ,   2 0 1 1 ,   B I O I N F O R M A T I C S ,   V 2 7 ,   P 4 0 8 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t q 6 6 7 ;   G o o d   B M ,   2 0 1 3 ,   B I O I N F O R M A T I C S ,   V 2 9 ,   P 1 9 2 5 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t t 3 3 3 ;   H a k e n b e r g   J ,   2 0 1 2 ,   J   B I O M E D   I N F O R M ,   V 4 5 ,   P 8 4 2 ,   D O I   1 0 . 1 0 1 6 / j . j b i . 2 0 1 2 . 0 4 . 0 0 6 ;   H s u   C N ,   2 0 0 8 ,   B I O I N F O R M A T I C S ,   V 2 4 ,   p I 2 8 6 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t n 1 8 3 ;   H u a n g   M L ,   2 0 1 1 ,   B I O I N F O R M A T I C S ,   V 2 7 ,   P 1 0 3 2 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t r 0 4 2 ;   L a n d r u m   M J ,   2 0 1 4 ,   N U C L E I C   A C I D S   R E S ,   V 4 2 ,   p D 9 8 0 ,   D O I   1 0 . 1 0 9 3 / n a r / g k t 1 1 1 3 ;   L e i t n e r   F ,   2 0 1 0 ,   N A T   B I O T E C H N O L ,   V 2 8 ,   P 8 9 7 ,   D O I   1 0 . 1 0 3 8 / n b t 0 9 1 0 - 8 9 7 ;   L i   D . ,   2 0 1 2 ,   D A T A B A S E   O X F O R D ,   V 2 0 1 2 ;   L u   Z Y ,   2 0 1 1 ,   B M C   B I O I N F O R M A T I C S ,   V 1 2 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 1 2 - S 8 - S 2 ;   M o r g a n   A A ,   2 0 0 8 ,   G E N O M E   B I O L ,   V 9 ,   D O I   [ 1 0 . 1 1 8 6 / g b - 2 0 0 8 - 9 - s 2 - s 3 ,   1 0 . 1 1 8 6 / g b - 2 0 0 8 - 9 - S 2 - S 3 ] ;   N a d e r i   N ,   2 0 1 2 ,   B M C   G E N O M I C S ,   V 1 3 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 6 4 - 1 3 - S 4 - S 1 0 ;   P a r i t o s h   P . ,   2 0 1 1 ,   W W W ,   V 1 1 ,   P 3 2 5 ;   P e r e r a   M A ,   2 0 1 3 ,   L A N C E T ,   V 3 8 2 ,   P 7 9 0 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 0 - 6 7 3 6 ( 1 3 ) 6 0 6 8 1 - 9 ;   S a m u e l s   M E ,   2 0 1 1 ,   N A T   R E V   G E N E T ,   V 1 2 ,   P 3 7 8 ,   D O I   1 0 . 1 0 3 8 / n r g 3 0 1 1 ;   S h e r r y   S T ,   2 0 0 1 ,   N U C L E I C   A C I D S   R E S ,   V 2 9 ,   P 3 0 8 ,   D O I   1 0 . 1 0 9 3 / n a r / 2 9 . 1 . 3 0 8 ;   S m i t h   C M ,   2 0 1 4 ,   N U C L E I C   A C I D S   R E S ,   V 4 2 ,   p D 8 1 8 ,   D O I   1 0 . 1 0 9 3 / n a r / g k t 9 5 4 ;   S m i t h   L ,   2 0 0 8 ,   G E N O M E   B I O L ,   V 9 ,   D O I   [ 1 0 . 1 1 8 6 / g b - 2 0 0 8 - 9 - s 2 - s 2 ,   1 0 . 1 1 8 6 / g b - 2 0 0 8 - 9 - S 2 - S 2 ] ;   S o h n   S ,   2 0 0 8 ,   B M C   B I O I N F O R M A T I C S ,   V 9 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 9 - 4 0 2 ;   S t e n s o n   P e t e r   D ,   2 0 0 9 ,   H u m   G e n o m i c s ,   V 4 ,   P 6 9 ;   T h o r i s s o n   G A ,   2 0 0 9 ,   N U C L E I C   A C I D S   R E S ,   V 3 7 ,   p D 7 9 7 ,   D O I   1 0 . 1 0 9 3 / n a r / g k n 7 4 8 ;   W e i   C H ,   2 0 1 3 ,   B I O I N F O R M A T I C S ,   V 2 9 ,   P 1 4 3 3 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t t 1 5 6 ;   W e i   C H ,   2 0 1 1 ,   B M C   B I O I N F O R M A T I C S ,   V 1 2 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 1 2 - S 8 - S 5 ;   W h i r l - C a r r i l l o   M ,   2 0 1 2 ,   C L I N   P H A R M A C O L   T H E R ,   V 9 2 ,   P 4 1 4 ,   D O I   1 0 . 1 0 3 8 / c l p t . 2 0 1 2 . 9 6 ;   W i e g e r s   T C ,   2 0 0 9 ,   B M C   B I O I N F O R M A T I C S ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 1 0 - 3 2 6 ;   Y e h   A ,   2 0 0 5 ,   B M C   B I O I N F O R M A T I C S ,   V 6 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 6 - S 1 - S 2 ;   Y e p e s   A . J . ,   2 0 1 4 ,   D A T A B A S E   O X F O R D ,   V 2 0 1 4 ;   Y e p e s   A . J . ,   2 0 1 4 ,   F 1 0 0 0 R E S E A R C H ,   V 3 ,   P 1 8 ;   Z h a i   H J ,   2 0 1 3 ,   J   M E D   I N T E R N E T   R E S ,   V 1 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 4 2 6 	 3 9 	 0 	 0 	 O X F O R D   U N I V   P R E S S 	 O X F O R D 	 G R E A T   C L A R E N D O N   S T ,   O X F O R D   O X 2   6 D P ,   E N G L A N D 	 1 7 5 8 - 0 4 6 3 	 	 	 D A T A B A S E - O X F O R D 	 D a t a b a s e 	 S E P   2 4 	 2 0 1 4 	 	 	 	 	 	 	 	 	 b a u 0 9 4 	 1 0 . 1 0 9 3 / d a t a b a s e / b a u 0 9 4 	 	 1 3 	 M a t h e m a t i c a l   &   C o m p u t a t i o n a l   B i o l o g y 	 M a t h e m a t i c a l   &   C o m p u t a t i o n a l   B i o l o g y 	 A P 4 M T 	 W O S : 0 0 0 3 4 2 0 5 1 8 0 0 0 0 1 	 	 
 J 	 M o u s a v i ,   H ;   A t z o r i ,   M ;   G a o ,   S ;   Z a n i o l o ,   C 	 	 	 	 M o u s a v i ,   H a m i d ;   A t z o r i ,   M a u r i z i o ;   G a o ,   S h i ;   Z a n i o l o ,   C a r l o 	 	 	 T e x t - M i n i n g ,   S t r u c t u r e d   Q u e r i e s ,   a n d   K n o w l e d g e   M a n a g e m e n t   o n   W e b   D o c u m e n t   C o r p o r a 	 S I G M O D   R E C O R D 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 W i k i p e d i a ' s   I n f o B o x e s   p l a y   a   c r u c i a l   r o l e   i n   a d v a n c e d   a p p l i c a t i o n s   a n d   p r o v i d e   t h e   m a i n   k n o w l e d g e   s o u r c e   f o r   D B p e d i a   a n d   t h e   p o w e r f u l   s t r u c t u r e d   q u e r i e s   i t   s u p p o r t s .   H o w e v e r ,   I n f o B o x e s ,   w h i c h   w e r e   c r e a t e d   b y   c r o w d s o u r c i n g   f o r   h u m a n   r a t h e r   t h a n   c o m p u t e r   c o n s u m p t i o n ,   s u f f e r   f r o m   i n c o m p l e t e n e s s ,   i n c o n s i s t e n c i e s ,   a n d   i n a c c u r a c i e s .   T o   o v e r c o m e   t h e s e   p r o b l e m s ,   w e   h a v e   d e v e l o p e d   ( i )   t h e   I B m i n e r   s y s t e m   t h a t   e x t r a c t s   I n f o B o x   i n f o r m a t i o n   b y   t e x t - m i n i n g   W i k i p e d i a   p a g e s ,   ( i i )   t h e   I K B S t o r e   s y s t e m   t h a t   i n t e g r a t e s   t h e   i n f o r m a t i o n   d e r i v e d   b y   I B m i n e r   w i t h   t h a t   o f   D B p e d i a ,   Y A G O 2 ,   W i k i D a t a ,   W o r d N e t ,   a n d   o t h e r   s o u r c e s ,   a n d   ( i i i )   S W i P E   a n d   I n f o B o x   E d i t o r   ( I B E )   t h a t   p r o v i d e   a   u s e r - f r i e n d l y   i n t e r f a c e s   f o r   q u e r y i n g   a n d   r e v i s i n g   t h e   k n o w l e d g e   b a s e .   T h u s ,   I B m i n e r   u s e s   a   d e e p   N L P - b a s e d   a p p r o a c h   t o   e x t r a c t   f r o m   t e x t   a   s e m a n t i c   r e p r e s e n t a t i o n   s t r u c t u r e   c a l l e d   T e x t G r a p h   f r o m   w h i c h   t h e   s y s t e m   d e t e c t s   p a t t e r n s   a n d   d e r i v e s   s u b j e c t - a t t r i b u t e - v a l u e   r e l a t i o n s ,   a s   w e l l   a s   d o m a i n - s p e c i f i c   s y n o n y m s   f o r   t h e   k n o w l e d g e   b a s e .   I K B S t o r e   a n d   I B E   c o m p l e m e n t   t h e   p o w e r f u l ,   u s e r - f r i e n d l y ,   b y - e x a m p l e   s t r u c t u r e d   q u e r i e s   o f   S W i P E   b y   s u p p o r t i n g   t h e   v a l i d a t i o n   a n d   p r o v e n a n c e   h i s t o r y   f o r   t h e   i n f o r m a t i o n   c o n t a i n e d   i n   t h e   k n o w l e d g e   b a s e ,   a l o n g   w i t h   t h e   a b i l i t y   o f   u p g r a d i n g   i t s   k n o w l e d g e   w h e n   t h i s   i s   f o u n d   i n c o m p l e t e ,   i n c o r r e c t ,   o r   o u t d a t e d . 	 [ M o u s a v i ,   H a m i d ;   G a o ,   S h i ;   Z a n i o l o ,   C a r l o ]   U n i v   C a l i f   L o s   A n g e l e s ,   C S D ,   L o s   A n g e l e s ,   C A   9 0 0 9 5   U S A ;   [ A t z o r i ,   M a u r i z i o ]   U n i v   C a g l i a r i ,   C a g l i a r i ,   I t a l y 	 M o u s a v i ,   H   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   L o s   A n g e l e s ,   C S D ,   L o s   A n g e l e s ,   C A   9 0 0 9 5   U S A . 	 h m o u s a v i @ c s . u c l a . e d u ;   a t z o r i @ u n i c a . i t ;   g a o s h i @ c s . u c l a . e d u ;   z a n i o l o @ c s . u c l a . e d u 	 	 	 N S F   [ I I I S - 1 1 1 8 1 0 7 ] ;   R A S   p r o j e c t   D E N I S :   D a t a s p a c e s   E n h a n c i n g   N e x t   I n t e r n e t   i n   S a r d i n i a   [ C R P - 1 7 6 1 5 ] ;   M I U R   P R I N   p r o j e c t   S e c u r i t y   H o r i z o n s 	 T h e   a u t h o r s   w o u l d   l i k e   t o   t h a n k   t h e   r e v i e w e r s   a n d   t h e   e d i t o r s   f o r   s e v e r a l   s u g g e s t e d   i m p r o v e m e n t s .   T h i s   w o r k   w a s   p a r t i a l l y   s u p p o r t e d   b y   N S F   G r a n t   I I I S - 1 1 1 8 1 0 7 ,   R A S   p r o j e c t   C R P - 1 7 6 1 5   D E N I S :   D a t a s p a c e s   E n h a n c i n g   N e x t   I n t e r n e t   i n   S a r d i n i a ,   a n d   M I U R   P R I N   2 0 1 0 - 1 1   p r o j e c t   S e c u r i t y   H o r i z o n s . 	 A t z o r i   M . ,   2 0 1 2 ,   W W W ,   P 3 0 9 ;   A t z o r i   M . ,   2 0 1 4 ,   1 4 0 0 1 7   C S D   U C L A ;   B i z e r   C ,   2 0 0 9 ,   J   W E B   S E M A N T ,   V 7 ,   P 1 5 4 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 9 . 0 7 . 0 0 2 ;   B o l l a c k e r   K .   D . ,   2 0 0 8 ,   S I G M O D ;   C a r l s o n   A . ,   2 0 1 0 ,   A A A I ;   H o f f a r t   J ,   2 0 1 3 ,   A R T I F   I N T E L L ,   V 1 9 4 ,   P 2 8 ,   D O I   1 0 . 1 0 1 6 / j . a r t i n t . 2 0 1 2 . 0 6 . 0 0 1 ;   H u a n g   R . ,   2 0 1 3 ,   S I G M O D   C ,   P 1 2 8 9 ;   L e i   Z o u ,   2 0 1 4 ,   S I G M O D   C ,   P 3 1 3 ;   M o u s a v i   H . ,   2 0 1 3 ,   P V L D B ,   V 6 ,   P 1 3 3 0 ;   M o u s a v i   H . ,   2 0 1 4 ,   I C S C ;   M o u s a v i   H . ,   2 0 1 4 ,   T H E S I S   U C L A ;   M o u s a v i   H . ,   2 0 1 3 ,   1 3 0 0 0 1   C S D   U C L A ;   M o u s a v i   H . ,   2 0 1 3 ,   3   I N T   W O R K S H   S E M   S E A ;   S i n g h   P . ,   2 0 0 2 ,   C O N F   I N T   C   D O A   C O O P I ;   S t a r k   M .   M . ,   1 9 9 8 ,   P   1 1   E U R   W O R K S H   R E N D ;   W u   W . ,   2 0 1 2 ,   S I G M O D   C 	 1 6 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 0 1 6 3 - 5 8 0 8 	 1 9 4 3 - 5 8 3 5 	 	 S I G M O D   R E C 	 S i g m o d   R e c . 	 S E P 	 2 0 1 4 	 4 3 	 3 	 	 	 	 	 4 8 	 5 4 	 	 	 	 7 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 A S 7 D J 	 W O S : 0 0 0 3 4 4 4 1 7 3 0 0 0 0 5 	 	 
 J 	 M a t s u b a r a ,   S ;   W a n g ,   M L 	 	 	 	 M a t s u b a r a ,   S h i g e o ;   W a n g ,   M e i l e 	 	 	 P r e v e n t i n g   P a r t i c i p a t i o n   o f   I n s i n c e r e   W o r k e r s   i n   C r o w d s o u r c i n g   b y   U s i n g   P a y - f o r - P e r f o r m a n c e   P a y m e n t s 	 I E I C E   T R A N S A C T I O N S   O N   I N F O R M A T I O N   A N D   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   m e c h a n i s m   d e s i g n 	 	 W e   p r o p o s e   a   m e t h o d   f o r   f i n d i n g   a n   a p p r o p r i a t e   s e t t i n g   o f   a   p a y - p e r - p e r f o r m a n c e   p a y m e n t   s y s t e m   t o   p r e v e n t   p a r t i c i p a t i o n   o f   i n s i n c e r e   w o r k e r s   i n   c r o w d s o u r c i n g .   C r o w d s o u r c i n g   e n a b l e s   f a s t   a n d   l o w - c o s t   a c c o m p l i s h m e n t   o f   t a s k s ;   h o w e v e r ,   i n s i n c e r e   w o r k e r s   p r e v e n t   t h e   t a s k   r e q u e s t e r   f r o m   o b t a i n i n g   h i g h - q u a l i t y   r e s u l t s .   I n s t e a d   o f   a   f i x e d   p a y m e n t   s y s t e m ,   t h e   p a y - p e r - p e r f o r m a n c e   p a y m e n t   s y s t e m   i s   p r o m i s i n g   f o r   e x c l u d i n g   i n s i n c e r e   w o r k e r s .   H o w e v e r ,   i t   i s   d i f f i c u l t   t o   l e a r n   w h a t   s e t t i n g s   a r e   b e t t e r ,   a n d   a   n a i v e   p a y m e n t   s e t t i n g   m a y   c a u s e   u n s a t i s f a c t o r y   o u t c o m e s .   T o   o v e r c o m e   t h e s e   d r a w b a c k s ,   w e   p r o p o s e   a   m e t h o d   f o r   c a l c u l a t i n g   t h e   e x p e c t e d   p a y m e n t s   f o r   s i n c e r e   a n d   i n s i n c e r e   w o r k e r s ,   a n d   t h e n   c l a r i f y i n g   t h e   c o n d i t i o n s   i n   t h e   p a y m e n t   s e t t i n g   i n   w h i c h   s i n c e r e   w o r k e r s   a r e   w i l l i n g   t o   c h o o s e   a   t a s k ,   w h i l e   i n s i n c e r e   w o r k e r s   a r e   n o t   w i l l i n g   t o   c h o o s e   t h e   t a s k .   W e   e v a l u a t e d   t h e   p r o p o s e d   m e t h o d   b y   c o n d u c t i n g   s e v e r a l   e x p e r i m e n t s   o n   t w e e t   l a b e l i n g   t a s k s   i n   A m a z o n   M e c h a n i c a l   T u r k .   T h e   r e s u l t s   s u g g e s t   t h a t   t h e   p a y - p e r - p e r f o r m a n c e   s y s t e m   i s   u s e f u l   f o r   p r e v e n t i n g   p a r t i c i p a t i o n   o f   i n s i n c e r e   w o r k e r s . 	 [ M a t s u b a r a ,   S h i g e o ;   W a n g ,   M e i l e ]   K y o t o   U n i v ,   D e p t   S o c i a l   I n f o r m a t ,   K y o t o   6 0 6 8 5 0 1 ,   J a p a n 	 M a t s u b a r a ,   S   ( r e p r i n t   a u t h o r ) ,   K y o t o   U n i v ,   D e p t   S o c i a l   I n f o r m a t ,   K y o t o   6 0 6 8 5 0 1 ,   J a p a n . 	 m a t s u b a r @ i . k y o t o - u . a c . j p ;   w a n g @ a i . s o c . i . k y o t o - u . a c . j p 	 	 	 J a p a n   S o c i e t y   f o r   t h e   P r o m o t i o n   o f   S c i e n c e   ( J S P S )   [ 2 4 2 2 0 0 0 2 ] 	 T h i s   r e s e a r c h   w a s   p a r t i a l l y   s u p p o r t e d   b y   a   G r a n t - i n - A i d   f o r   S c i e n t i f i c   R e s e a r c h   ( S )   ( 2 4 2 2 0 0 0 2 ,   2 0 1 2 - 2 0 1 6 )   f r o m   J a p a n   S o c i e t y   f o r   t h e   P r o m o t i o n   o f   S c i e n c e   ( J S P S ) . 	 A z a r i a   A . ,   2 0 1 2 ,   P   2 6   A A A I   C   A R T   I N T ;   D a w i d   A . P . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   V 2 8 ,   P 2 0 ;   H O L M S T R O M   B ,   1 9 8 2 ,   B E L L   J   E C O N ,   V 1 3 ,   P 3 2 4 ,   D O I   1 0 . 2 3 0 7 / 3 0 0 3 4 5 7 ;   H o r t o n   J . J . ,   2 0 1 0 ,   P   1 1   A C M   C   E L   C O M M ,   P 2 0 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 0 7 3 4 2 . 1 8 0 7 3 7 6 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H u a n g   E . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 7 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 8 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   M a s o n   W . ,   2 0 1 0 ,   S I G K D D   E X P L O R   N E W S L ,   V 1 1 ,   P 1 0 0 ;   P a r a m e s w a r a n   A . G . ,   2 0 1 2 ,   P   2 0 1 2   I N T   C   M A N   D A T ,   P 3 6 1 ;   S a l a n i e   B . ,   1 9 9 7 ,   E C   C O N T R A C T S ;   S h a w   A . D . ,   2 0 1 1 ,   P   A C M   2 0 1 1   C   C O M P   S U ,   P 2 7 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 5 8 8 2 4 . 1 9 5 8 8 6 ;   W e l i n d e r   P . ,   2 0 1 0 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 3 ,   P 2 4 2 4 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 2 ,   P 2 0 3 5 ;   W i t k o w s k i   J . ,   2 0 1 2 ,   P   1 3   A C M   C   E L   C O M M   E ,   P 9 6 4 ;   Z a i d a n   O . F . ,   2 0 1 1 ,   P   4 9   A N N   M   A S S   C O M P ,   P 1 2 2 0 	 1 5 	 0 	 0 	 I E I C E - I N S T   E L E C T R O N I C S   I N F O R M A T I O N   C O M M U N I C A T I O N S   E N G 	 T O K Y O 	 K I K A I - S H I N K O - K A I K A N   B L D G ,   3 - 5 - 8 ,   S H I B A - K O E N ,   M I N A T O - K U ,   T O K Y O ,   1 0 5 - 0 0 1 1 ,   J A P A N 	 1 7 4 5 - 1 3 6 1 	 	 	 I E I C E   T   I N F   S Y S T 	 I E I C E   T r a n s .   I n f .   S y s t . 	 S E P 	 2 0 1 4 	 E 9 7 D 	 9 	 	 	 	 	 2 4 1 5 	 2 4 2 2 	 	 1 0 . 1 5 8 7 / t r a n s i n f . 2 0 1 3 E D P 7 4 4 1 	 	 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 A Q 4 R A 	 W O S : 0 0 0 3 4 2 7 8 4 6 0 0 0 2 2 	 	 
 J 	 L a u r o ,   F M ;   S e n s t i u s ,   S J ;   C u l l e n ,   J ;   N e c h e s ,   R ;   J e n s e n ,   R M ;   B r o w n ,   M V ;   D a r l i n g ,   A E ;   G i v s k o v ,   M ;   M c D o u g a l d ,   D ;   H o e k e ,   R ;   O s t r o w s k i ,   M ;   P h i l i p ,   G K ;   P a u l s e n ,   I T ;   G r z y m s k i ,   J J 	 	 	 	 L a u r o ,   F e d e r i c o   M . ;   S e n s t i u s ,   S v e n d   J a c o b ;   C u l l e n ,   J a y ;   N e c h e s ,   R u s s e l l ;   J e n s e n ,   R a c h e l l e   M . ;   B r o w n ,   M a r k   V . ;   D a r l i n g ,   A a r o n   E . ;   G i v s k o v ,   M i c h a e l ;   M c D o u g a l d ,   D i a n e ;   H o e k e ,   R o n ;   O s t r o w s k i ,   M a r t i n ;   P h i l i p ,   G a y l e   K . ;   P a u l s e n ,   I a n   T . ;   G r z y m s k i ,   J o s e p h   J . 	 	 	 T h e   C o m m o n   O c e a n o g r a p h e r :   C r o w d s o u r c i n g   t h e   C o l l e c t i o n   o f   O c e a n o g r a p h i c   D a t a 	 P L O S   B I O L O G Y 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 C L I M A T E - C H A N G E ;   R E S P O N S E S 	 	 [ L a u r o ,   F e d e r i c o   M . ;   J e n s e n ,   R a c h e l l e   M . ;   B r o w n ,   M a r k   V . ]   U n i v   N e w   S   W a l e s ,   S c h   B i o t e c h n o l   &   B i o m o l   S c i ,   S y d n e y ,   N S W ,   A u s t r a l i a ;   [ L a u r o ,   F e d e r i c o   M . ;   G i v s k o v ,   M i c h a e l ;   M c D o u g a l d ,   D i a n e ]   N a n y a n g   T e c h n o l   U n i v ,   S C E L S E ,   S i n g a p o r e   6 3 9 7 9 8 ,   S i n g a p o r e ;   [ S e n s t i u s ,   S v e n d   J a c o b ]   T e c h   U n i v   D e n m a r k ,   D e p t   T r a n s p o r t ,   C o p e n h a g e n ,   D e n m a r k ;   [ C u l l e n ,   J a y ]   U n i v   V i c t o r i a ,   S c h   E a r t h   &   O c e a n   S c i ,   V i c t o r i a ,   B C ,   C a n a d a ;   [ N e c h e s ,   R u s s e l l ]   U n i v   C a l i f   D a v i s ,   G e n o m e   C t r ,   D a v i s ,   C A   9 5 6 1 6   U S A ;   [ D a r l i n g ,   A a r o n   E . ]   U n i v   T e c h n o l   S y d n e y ,   I t h r e e   I n s t ,   U l t i m o ,   N S W ,   A u s t r a l i a ;   [ G i v s k o v ,   M i c h a e l ]   U n i v   C o p e n h a g e n ,   F a c   H l t h   &   M e d   S c i ,   D e p t   I n t   H l t h   I m m u n o l   &   M i c r o b i o l ,   C o s t e r t o n   B i o f i l m   C t r ,   C o p e n h a g e n ,   D e n m a r k ;   [ M c D o u g a l d ,   D i a n e ]   U n i v   N e w   S   W a l e s ,   C t r   M a r i n e   B i o i n n o v a t ,   S y d n e y ,   N S W ,   A u s t r a l i a ;   [ H o e k e ,   R o n ]   C S I R O ,   C t r   A u s t r a l i a n   C l i m a t e   &   W e a t h e r   R e s ,   A s p e n d a l e ,   V i c ,   A u s t r a l i a ;   [ O s t r o w s k i ,   M a r t i n ;   P a u l s e n ,   I a n   T . ]   M a c q u a r i e   U n i v ,   D e p t   C h e m   &   B i o m o l   S c i ,   S y d n e y ,   N S W   2 1 0 9 ,   A u s t r a l i a ;   [ P h i l i p ,   G a y l e   K . ]   U n i v   M e l b o u r n e ,   V L S C I   L i f e   S c i   C o m p u t a t   C t r ,   M e l b o u r n e ,   V i c ,   A u s t r a l i a ;   [ G r z y m s k i ,   J o s e p h   J . ]   U n i v   N e v a d a ,   D e s e r t   R e s   I n s t ,   D i v   E a r t h   &   E c o s y s t   S c i ,   R e n o ,   N V   8 9 5 0 6   U S A 	 L a u r o ,   F M   ( r e p r i n t   a u t h o r ) ,   U n i v   N e w   S   W a l e s ,   S c h   B i o t e c h n o l   &   B i o m o l   S c i ,   S y d n e y ,   N S W ,   A u s t r a l i a . 	 f l a u r o @ u n s w . e d u . a u ;   j o e g @ d r i . e d u 	 	 	 	 	 A i n s w o r t h   E A ,   2 0 0 5 ,   N E W   P H Y T O L ,   V 1 6 5 ,   P 3 5 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 9 - 8 1 3 7 . 2 0 0 4 . 0 1 2 2 4 . x ;   A l l e n   T W ,   2 0 1 0 ,   S E A   T E C H N O L ,   V 5 1 ,   P 1 3 ;   A u l t   T . R . ,   2 0 1 3 ,   E O S   T   A M   G E O P H Y S   U N ,   V 9 4 ,   P 1 8 1 ,   D O I   D O I   1 0 . 1 0 0 2 / 2 0 1 3 E 0 2 0 0 0 0 1 ;   C r e s s e y   D ,   2 0 1 3 ,   U S   S C I   F L E E T S   F U T U R E ;   D a v i e s   N e i l ,   2 0 1 4 ,   G i g a s c i e n c e ,   V 3 ,   P 2 ,   D O I   1 0 . 1 1 8 6 / 2 0 4 7 - 2 1 7 X - 3 - 2 ;   E M B L ,   2 0 1 4 ,   T A R   O C   S C I   F A C T S   F I G ;   H a k l a y   M ,   2 0 1 2 ,   C R O W D S O U R C I N G   G E O G R A ,   P 1 0 5 ;   H a z e n   T C ,   2 0 1 0 ,   S C I E N C E ,   V 3 3 0 ,   P 2 0 4 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 9 5 9 7 9 ;   H o b b s   R J ,   2 0 0 7 ,   E C O L   M O N O G R ,   V 7 7 ,   P 5 4 5 ,   D O I   1 0 . 1 8 9 0 / 0 6 - 1 5 3 0 . 1 ;   I r w i n   A ,   1 9 9 5 ,   C I T I Z E N   S C I   S T U D Y   P E ;   K a l u z a   P ,   2 0 1 0 ,   J   R   S O C   I N T E R F A C E ,   V 7 ,   P 1 0 9 3 ,   D O I   1 0 . 1 0 9 8 / r s i f . 2 0 0 9 . 0 4 9 5 ;   M a l a s p i n a ,   2 0 1 0 ,   M A L   P R O J   S T R U C T ;   M c N u t t   M ,   2 0 1 4 ,   S C I E N C E ,   V 3 4 4 ,   P 9 4 7 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 5 5 9 6 3 ;   M o n t e s - H u g o   M ,   2 0 0 9 ,   S C I E N C E ,   V 3 2 3 ,   P 1 4 7 0 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 4 5 3 3 ;   S i e g a l   D A ,   2 0 0 1 ,   D E E P - S E A   R E S   P T   I I ,   V 4 8 ,   P 1 4 0 3 ,   D O I   1 0 . 1 0 1 6 / S 0 9 6 7 - 0 6 4 5 ( 0 0 ) 0 0 1 4 7 - 8 ;   T a r a   E x p e d i t i o n s ,   2 0 1 4 ,   R A P P   A C T   2 0 0 9   F O N D S ;   T a r a   E x p e d i t i o n s ,   2 0 1 4 ,   R A P P   A C T   2 0 1 0   T A R   E X ;   T a r a   E x p e d i t i o n s ,   2 0 1 4 ,   R A P P   A C T   2 0 1 1 ;   U P V   E H U ,   2 0 1 4 ,   P R O J   M A R   M I C R   R E S   G R ;   W a l t h e r   G R ,   2 0 0 2 ,   N A T U R E ,   V 4 1 6 ,   P 3 8 9 ,   D O I   1 0 . 1 0 3 8 / 4 1 6 3 8 9 a ;   W A R N E R   A J ,   1 9 9 4 ,   P R O G   O C E A N O G R ,   V 3 4 ,   P 2 3 7 ,   D O I   1 0 . 1 0 1 6 / 0 0 7 9 - 6 6 1 1 ( 9 4 ) 9 0 0 1 1 - 6 ;   W o o t t o n   J T ,   2 0 0 8 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 5 ,   P 1 8 8 4 8 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 8 1 0 0 7 9 1 0 5 	 2 2 	 0 	 0 	 P U B L I C   L I B R A R Y   S C I E N C E 	 S A N   F R A N C I S C O 	 1 1 6 0   B A T T E R Y   S T R E E T ,   S T E   1 0 0 ,   S A N   F R A N C I S C O ,   C A   9 4 1 1 1   U S A 	 1 5 4 5 - 7 8 8 5 	 	 	 P L O S   B I O L 	 P L o S .   B i o l . 	 S E P 	 2 0 1 4 	 1 2 	 9 	 	 	 	 	 	 	 e 1 0 0 1 9 4 7 	 1 0 . 1 3 7 1 / j o u r n a l . p b i o . 1 0 0 1 9 4 7 	 	 5 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   B i o l o g y 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   L i f e   S c i e n c e s   &   B i o m e d i c i n e   -   O t h e r   T o p i c s 	 A Q 6 F L 	 W O S : 0 0 0 3 4 2 9 0 5 4 0 0 0 0 9 	 	 
 J 	 C h i u ,   C M ;   L i a n g ,   T P ;   T u r b a n ,   E 	 	 	 	 C h i u ,   C h a o - M i n ;   L i a n g ,   T i n g - P e n g ;   T u r b a n ,   E f r a i m 	 	 	 I n t r o d u c t i o n   t o   t h e   S p e c i a l   I s s u e   o n   " C r o w d s o u r c i n g   a n d   S o c i a l   N e t w o r k s   A n a l y s i s " 	 D E C I S I O N   S U P P O R T   S Y S T E M S 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 C r o w d s o u r c i n g ;   C o n s u m e r   p u r c h a s e   d e c i s i o n s ;   R e c o m m e n d a t i o n ;   S o c i a l   a n a l y t i c s ;   S o c i a l   c o m m e r c e ;   S o c i a l   n e t w o r k s 	 	 	 [ C h i u ,   C h a o - M i n ;   L i a n g ,   T i n g - P e n g ]   N a t l   S u n   Y a t   S e n   U n i v ,   D e p t   I n f o r m a t   M a n a g e m e n t ,   K a o h s i u n g   8 0 4 2 4 ,   T a i w a n ;   [ L i a n g ,   T i n g - P e n g ]   N a t l   C h e n g c h i   U n i v ,   D e p t   I n f o r m a t   M a n a g e m e n t ,   T a i p e i   1 1 6 0 5 ,   T a i w a n ;   [ T u r b a n ,   E f r a i m ]   U n i v   H a w a i i ,   P a c i f   I n s t   I n f o r m a t   S y s t   M a n a g e m e n t ,   K i h e i ,   H I   9 6 7 5 3   U S A 	 C h i u ,   C M   ( r e p r i n t   a u t h o r ) ,   N a t l   S u n   Y a t   S e n   U n i v ,   D e p t   I n f o r m a t   M a n a g e m e n t ,   7 0   L i e n h a i   R d ,   K a o h s i u n g   8 0 4 2 4 ,   T a i w a n . 	 c m c h i u @ m i s . n s y s u . e d u . t w ;   t p l i a n g @ n c c u . e d u . t w ;   e f r a i m t u r @ y a h o o . c o m 	 	 	 	 	 	 0 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 1 6 7 - 9 2 3 6 	 1 8 7 3 - 5 7 9 7 	 	 D E C I S   S U P P O R T   S Y S T 	 D e c i s .   S u p p o r t   S y s t . 	 S E P 	 2 0 1 4 	 6 5 	 	 	 	 S I 	 	 1 	 2 	 	 1 0 . 1 0 1 6 / j . d s s . 2 0 1 4 . 0 5 . 0 0 1 	 	 2 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 A Q 1 M W 	 W O S : 0 0 0 3 4 2 5 4 6 5 0 0 0 0 1 	 	 
 J 	 G e i g e r ,   D ;   S c h a d e r ,   M 	 	 	 	 G e i g e r ,   D a v i d ;   S c h a d e r ,   M a r t i n 	 	 	 P e r s o n a l i z e d   t a s k   r e c o m m e n d a t i o n   i n   c r o w d s o u r c i n g   i n f o r m a t i o n   s y s t e m s   -   C u r r e n t   s t a t e   o f   t h e   a r t 	 D E C I S I O N   S U P P O R T   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   T a s k   r e c o m m e n d a t i o n ;   T a s k   m a t c h i n g ;   T a s k   r o u t i n g ;   R e c o m m e n d e r   s y s t e m ;   R e c o m m e n d e r   a g e n t 	 O N L I N E   C O M M U N I T I E S ;   P A R T I C I P A T I O N ;   M O T I V A T I O N S ;   M A N A G E M E N T ;   Q U E S T I O N S ;   Q U A L I T Y ;   D E S I G N ;   M O D E L ;   W E B 	 C r o w d s o u r c i n g   i n f o r m a t i o n   s y s t e m s   a r e   s o c i o - t e c h n i c a l   s y s t e m s   t h a t   p r o v i d e   i n f o r m a t i o n a l   p r o d u c t s   o r   s e r v i c e s   b y   h a r n e s s i n g   t h e   d i v e r s e   p o t e n t i a l   o f   l a r g e   g r o u p s   o f   p e o p l e   v i a   t h e   W e b .   I n t e r e s t e d   i n d i v i d u a l s   c a n   c o n t r i b u t e   t o   s u c h   s y s t e m s   b y   s e l e c t i n g   a m o n g   a   w i d e   r a n g e   o f   o p e n   t a s k s .   A r g u i n g   t h a t   c u r r e n t   a p p r o a c h e s   a r e   s u b o p t i m a l   i n   t e r m s   o f   m a t c h i n g   t a s k s   a n d   c o n t r i b u t o r s '   i n d i v i d u a l   i n t e r e s t s   a n d   c a p a b i l i t i e s ,   t h i s   a r t i c l e   a d v o c a t e s   t h e   i n t r o d u c t i o n   o f   p e r s o n a l i z e d   t a s k   r e c o m m e n d a t i o n   m e c h a n i s m s .   W e   c o n t r i b u t e   t o   a   c o n c e p t u a l   f o u n d a t i o n   f o r   t h e   d e s i g n   o f   s u c h   m e c h a n i s m s   b y   c o n d u c t i n g   a   s y s t e m a t i c   r e v i e w   o f   t h e   c o r r e s p o n d i n g   a c a d e m i c   l i t e r a t u r e .   B a s e d   o n   t h e   i n s i g h t s   d e r i v e d   f r o m   t h i s   a n a l y s i s ,   w e   i d e n t i f y   a   n u m b e r   o f   i s s u e s   f o r   f u t u r e   r e s e a r c h .   I n   p a r t i c u l a r ,   o u r   f i n d i n g s   h i g h l i g h t   t h e   n e e d   f o r   m o r e   s i g n i f i c a n t   e m p i r i c a l   r e s u l t s   t h r o u g h   l a r g e - s c a l e   o n l i n e   e x p e r i m e n t s ,   a n   i m p r o v e d   d i a l o g   w i t h   m a i n s t r e a m   r e c o m m e n d e r   s y s t e m s   r e s e a r c h ,   a n d   t h e   i n t e g r a t i o n   o f   v a r i o u s   s o u r c e s   o f   k n o w l e d g e   t h a t   e x c e e d   t h e   b o u n d a r i e s   o f   i n d i v i d u a l   s y s t e m s .   ( C )   2 0 1 4   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ G e i g e r ,   D a v i d ;   S c h a d e r ,   M a r t i n ]   U n i v   M a n n h e i m ,   S c h   B u s i n e s s ,   M a n n h e i m ,   G e r m a n y 	 G e i g e r ,   D   ( r e p r i n t   a u t h o r ) ,   U n i v   M a n n h e i m ,   S c h   B u s i n e s s ,   M a n n h e i m ,   G e r m a n y . 	 g e i g e r @ u n i - m a n n h e i m . d e 	 	 	 	 	 A c i a r   S ,   2 0 0 7 ,   I E E E   I N T E L L   S Y S T ,   V 2 2 ,   P 3 9 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 7 . 5 5 ;   A c k o f f   R . L . ,   1 9 9 3 ,   S Y S T   T H I N K   A C T   C ;   A l o n s o   O . ,   2 0 1 1 ,   C R O W D S   S E A R C H   D A T   M I ,   P 7 ;   A l t e r   S ,   2 0 0 8 ,   E U R   J   I N F O R M   S Y S T ,   V 1 7 ,   P 4 4 8 ,   D O I   1 0 . 1 0 5 7 / e j i s . 2 0 0 8 . 3 7 ;   A m b a t i   V . ,   2 0 1 1 ,   2 5   A A A I   C   A R T   I N T   S A ,   P 8 0 ;   A n t i k a i n e n   M a r i a ,   2 0 1 0 ,   E u r o p e a n   J o u r n a l   o f   I n n o v a t i o n   M a n a g e m e n t ,   V 1 3 ,   D O I   1 0 . 1 1 0 8 / 1 4 6 0 1 0 6 1 0 1 1 0 1 3 2 5 8 ;   M a r i n h o   L B ,   2 0 1 1 ,   R E C O M M E N D E R   S Y S T E M S   H A N D B O O K ,   P 6 1 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 0 - 3 8 7 - 8 5 8 2 0 - 3 _ 1 9 ;   B a l o g   K ,   2 0 0 9 ,   I N F O R M   P R O C E S S   M A N A G ,   V 4 5 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . i p m . 2 0 0 8 . 0 6 . 0 0 3 ;   B e c e r r a - F e r n a n d e z   I ,   2 0 0 0 ,   K N O W L - B A S E D   S Y S T ,   V 1 3 ,   P 3 1 5 ,   D O I   1 0 . 1 0 1 6 / S 0 9 5 0 - 7 0 5 1 ( 0 0 ) 0 0 0 9 1 - 5 ;   B I Z E R   C ,   2 0 0 9 ,   I N T   J   S E M A N T   W E B   I N F ,   V 5 ,   P 1 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ,   P 1 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   B u i t e l a a r   P . ,   2 0 0 8 ,   7   I N T   S E M   W E B   C   K A R L ,   P 5 5 ;   B u l u t   M   F ,   2 0 1 1 ,   2 0 1 1   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   P e r v a s i v e   C o m p u t i n g   a n d   C o m m u n i c a t i o n s   W o r k s h o p s   ( P e r C o m   W o r k s h o p s   2 0 1 1 ) .   P e r C o m - W o r k s h o p s   2 0 1 1 :   2 0 1 1   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   P e r v a s i v e   C o m p u t i n g   a n d   C o m m u n i c a t i o n s   W o r k s h o p s   ( P E R C O M   W o r k s h o p s   2 0 1 1 ) ,   D O I   1 0 . 1 1 0 9 / P E R C O M W . 2 0 1 1 . 5 7 6 6 9 4 4 ;   B u r k e   R . ,   2 0 0 7 ,   T h e   A d a p t i v e   W e b .   M e t h o d s   a n d   S t r a t e g i e s   o f   W e b   P e r s o n a l i z a t i o n ;   B u r k e   R ,   2 0 1 1 ,   R E C O M M E N D E R   S Y S T E M S   H A N D B O O K ,   P 3 6 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 0 - 3 8 7 - 8 5 8 2 0 - 3 _ 1 1 ;   B u r k e   R ,   2 0 1 1 ,   R E C O M M E N D E R   S Y S T E M S   H A N D B O O K ,   P 8 0 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 0 - 3 8 7 - 8 5 8 2 0 - 3 _ 2 5 ;   C a r i g n a n i   A . ,   2 0 1 0 ,   3 1   I N T   C   I N F   S Y S T   S T ;   C a r v a l h o   J . A . ,   2 0 0 0 ,   P   I F I P   T C 8   W G 8   1   I N T ,   P 2 5 9 ;   C a s t r o - H e r r e r a   C . ,   2 0 1 0 ,   3   I N T   M A N   R E Q   K N O W L ,   P 4 1 ;   C h i l t o n   L . B . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K   H U ;   C h u a   S . J . ,   2 0 0 7 ,   P   2 0 0 7   C   C T R   A D V   S T U ,   P 2 8 4 ,   D O I   1 0 . 1 1 4 5 / 1 3 2 1 2 1 1 . 1 3 2 1 2 5 0 ;   C h u n g   C Y ,   2 0 1 3 ,   D E C I S   S U P P O R T   S Y S T ,   V 5 5 ,   P 3 1 4 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 3 . 0 1 . 0 2 0 ;   C o r n e y   J o n a t h a n   R ,   2 0 0 9 ,   I n t e r n a t i o n a l   J o u r n a l   o f   I n n o v a t i o n   a n d   S u s t a i n a b l e   D e v e l o p m e n t ,   V 4 ,   D O I   1 0 . 1 5 0 4 / I J I S D . 2 0 0 9 . 0 3 3 0 8 3 ;   C o s l e y   D ,   2 0 0 7 ,   2 0 0 7   I N T E R N A T I O N A L   C O N F E R E N C E   O N   I N T E L L I G E N T   U S E R   I N T E R F A C E S ,   P 3 2 ;   C o s l e y   D . ,   2 0 0 6 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 0 3 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 2 4 7 7 2 . 1 1 2 4 9 2 8 ;   D e m a r t i n i   G . ,   2 0 0 7 ,   I N T   E X P   W O R K S H ,   P 3 3 ;   D e n g   H B ,   2 0 1 2 ,   I E E E   T   S Y S T   M A N   C Y   B ,   V 4 2 ,   P 9 3 ,   D O I   1 0 . 1 1 0 9 / T S M C B . 2 0 1 1 . 2 1 6 1 9 8 0 ;   D e s r o s i e r s   C ,   2 0 1 1 ,   R E C O M M E N D E R   S Y S T E M S   H A N D B O O K ,   P 1 0 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 0 - 3 8 7 - 8 5 8 2 0 - 3 _ 4 ;   D i f a l l a h   D . E . ,   2 0 1 3 ,   P   2 2   I N T   C   W O R L D   W I D ,   P 3 6 7 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   D r o r   G . ,   2 0 1 1 ,   P   1 7   A C M   S I G K D D   I N T ,   P 1 1 0 9 ;   E s t e l l e s - a r o l a s   E . ,   2 0 1 2 ,   J   I N F O R M   S C I ;   F r e y n e   J . ,   2 0 1 0 ,   C O M M U N   A C M ,   V 5 3 ,   P 1 2 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 9 6 7 6 . 1 8 3 9 7 0 1 ;   G e i g e r   D . ,   2 0 1 1 ,   1 7   A M   C   I N F   S Y S T   D E T ;   G e i g e r   D . ,   2 0 1 2 ,   3 3   I N T   C   I N F   S Y S T   O R ;   G L A S S   R L ,   1 9 9 5 ,   I E E E   S O F T W A R E ,   V 1 2 ,   P 6 3 ,   D O I   1 0 . 1 1 0 9 / 5 2 . 3 9 1 8 3 7 ;   G o p a l   R ,   2 0 1 1 ,   D E C I S   S U P P O R T   S Y S T ,   V 5 1 ,   P 7 2 7 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 1 . 0 1 . 0 0 8 ;   G u o   J . ,   2 0 0 8 ,   P   1 7   A C M   C   I N F   K N O W L ,   P 9 2 1 ,   D O I   1 0 . 1 1 4 5 / 1 4 5 8 0 8 2 . 1 4 5 8 2 0 4 ;   H a c k e r   S ,   2 0 0 9 ,   C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 2 0 7 ;   H a y e s   C ,   2 0 0 7 ,   2 0 T H   I N T E R N A T I O N A L   J O I N T   C O N F E R E N C E   O N   A R T I F I C I A L   I N T E L L I G E N C E ,   P 2 7 7 2 ;   H e r l o c k e r   J L ,   2 0 0 4 ,   A C M   T   I N F O R M   S Y S T ,   V 2 2 ,   P 5 ,   D O I   1 0 . 1 1 4 5 / 9 6 3 7 7 0 . 9 6 3 7 7 2 ;   H e v n e r   A R ,   2 0 0 4 ,   M I S   Q U A R T ,   V 2 8 ,   P 7 5 ;   H o   C - J ,   2 0 1 2 ,   2 6   A A A I   C   A R T   I N T   T O ;   H o r o w i t z   D . ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 4 3 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 3 5 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   H r a s t i n s k i   S t e f a n ,   2 0 1 2 ,   I n t e r n a t i o n a l   J o u r n a l   o f   N e t w o r k i n g   a n d   V i r t u a l   O r g a n i s a t i o n s ,   V 1 0 ,   D O I   1 0 . 1 5 0 4 / I J N V O . 2 0 1 2 . 0 4 5 2 0 8 ;   H u   D . ,   2 0 0 8 ,   P   2   I N T   C   U B   I N F   M A N ,   P 3 9 ,   D O I   1 0 . 1 1 4 5 / 1 3 5 2 7 9 3 . 1 3 5 2 8 0 3 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   X R D S   C R O S S R O A D S   A C M ,   V 1 7 ,   P 1 6 ;   J a m j o o m   H . ,   2 0 0 9 ,   I B M   J   R E S   D E V ,   V 5 3 ,   P 1 ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   J e s i c   D . ,   2 0 1 1 ,   2   A N N   A C M   W E B   S C I   C ;   K a o   W . - C . ,   2 0 1 0 ,   P   2 0 1 0   A C M   S   A P P L   C O ,   P 8 6 7 ,   D O I   1 0 . 1 1 4 5 / 1 7 7 4 0 8 8 . 1 7 7 4 2 6 6 ;   K A R A U   S J ,   1 9 9 3 ,   J   P E R S   S O C   P S Y C H O L ,   V 6 5 ,   P 6 8 1 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 6 5 . 4 . 6 8 1 ;   K a u f m a n n   N . ,   2 0 1 1 ,   1 7   A M   C   I N F   S Y S T   D E T ;   K e r n   R ,   2 0 1 2 ,   I N T   J   C O O P   I N F   S Y S T ,   V 2 1 ,   P 3 ,   D O I   1 0 . 1 1 4 2 / S 0 2 1 8 8 4 3 0 1 2 4 0 0 0 1 1 ;   K e r n   R ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 3 8 5 s ,   P 4 2 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 6 9 8 5 - 4 _ 3 9 ;   K i m   H N ,   2 0 1 1 ,   D E C I S   S U P P O R T   S Y S T ,   V 5 1 ,   P 5 1 9 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 1 . 0 2 . 0 1 5 ;   K l e e m a n n   F . ,   2 0 0 8 ,   S C I   T E C H N O L O G Y   I N N O V ,   V 4 ,   P 5 ;   K o l a r i   P . ,   2 0 0 8 ,   W O R K   F U T   C H A L L   E X P   R ;   K u l k a r n i   A ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 2 8 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 7 2 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   L e v y   Y . ,   2 0 0 6 ,   I n f o r m i n g   S c i e n c e ,   V 9 ;   L i   B . ,   2 0 1 0 ,   P   C I K M ,   P 1 5 8 5 ,   D O I   1 0 . 1 1 4 5 / 1 8 7 1 4 3 7 . 1 8 7 1 6 7 8 ;   L i   B . ,   2 0 1 1 ,   P R O C   O F   C I K M 1 1 ,   P 2 0 4 1 ;   L i n g   K ,   2 0 0 5 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 0 ;   L i u   G . ,   2 0 1 2 ,   I N T   J   I N F O R M   E D   T E C H ,   V 2 ,   P 2 4 3 ;   L i u   M R ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 1 8 4 ,   P 1 2 7 ;   L i u   X . ,   2 0 0 5 ,   P   1 4   A C M   I N T   C   I N F   K ,   P 3 1 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 0 9 9 5 5 4 . 1 0 9 9 6 4 4 ;   L o p e z   M a r i a n a ,   2 0 1 0 ,   2 0 1 0   I E E E   7 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S e r v i c e s   C o m p u t i n g   ( S C C   2 0 1 0 ) ,   D O I   1 0 . 1 1 0 9 / S C C . 2 0 1 0 . 7 4 ;   L o p s   P ,   2 0 1 1 ,   R E C O M M E N D E R   S Y S T E M S   H A N D B O O K ,   P 7 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 0 - 3 8 7 - 8 5 8 2 0 - 3 _ 3 ;   L u d f o r d   P . J . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 6 3 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 7 2 ;   L y y t i n e n   K ,   2 0 0 8 ,   E U R   J   I N F O R M   S Y S T ,   V 1 7 ,   P 5 8 9 ,   D O I   1 0 . 1 0 5 7 / e j i s . 2 0 0 8 . 5 0 ;   M a r k i n e s   B . ,   2 0 0 6 ,   A A A I   0 6   P   2 1   N A T   C   A ,   V 2 ,   P 1 3 7 5 ;   P a z z a n i   M .   J . ,   2 0 0 7 ,   T h e   A d a p t i v e   W e b .   M e t h o d s   a n d   S t r a t e g i e s   o f   W e b   P e r s o n a l i z a t i o n ;   M o r i t a   M . ,   1 9 9 4 ,   P   1 7   A N N   I N T   A C M   S I G ,   P 2 7 2 ;   N i   X L ,   2 0 1 2 ,   I N F O R M   P R O C E S S   M A N A G ,   V 4 8 ,   P 2 1 8 ,   D O I   1 0 . 1 0 1 6 / j . i p m . 2 0 1 1 . 0 9 . 0 0 2 ;   N i c k e r s o n   R . C . ,   2 0 1 2 ,   E U R O P E A N   J   I N F O R M   S Y ;   N i w a   S ,   2 0 0 6 ,   T h i r d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n f o r m a t i o n   T e c h n o l o g y :   N e w   G e n e r a t i o n s ,   P r o c e e d i n g s ,   P 3 8 8 ,   D O I   1 0 . 1 1 0 9 / I T N G . 2 0 0 6 . 1 4 0 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   P i r a m u t h u   S ,   2 0 1 2 ,   D E C I S   S U P P O R T   S Y S T ,   V 5 3 ,   P 4 1 8 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 2 . 0 2 . 0 0 6 ;   Q u   M . ,   2 0 0 9 ,   P   W W W ,   P 1 2 2 9 ,   D O I   1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 9 4 2 ;   R i a h i   F . ,   2 0 1 2 ,   P   I N T   C   W O R L D   W I D   W E ,   P 7 9 1 ;   R i c c i   F ,   2 0 1 1 ,   R E C O M M E N D E R   S Y S T E M S   H A N D B O O K ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 0 - 3 8 7 - 8 5 8 2 0 - 3 _ 1 ;   R o s s   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 . A C C E S S E D ;   R u b e n s   N ,   2 0 1 1 ,   R E C O M M E N D E R   S Y S T E M S   H A N D B O O K ,   P 7 3 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 0 - 3 8 7 - 8 5 8 2 0 - 3 _ 2 3 ;   R y a n   R M ,   2 0 0 0 ,   C O N T E M P   E D U C   P S Y C H O L ,   V 2 5 ,   P 5 4 ,   D O I   1 0 . 1 0 0 6 / c e p s . 1 9 9 9 . 1 0 2 0 ;   S a b h e r w a l   R . ,   1 9 9 5 ,   J o u r n a l   o f   M a n a g e m e n t   I n f o r m a t i o n   S y s t e m s ,   V 1 1 ;   S a t z g e r   B e n j a m i n ,   2 0 1 1 ,   B u s i n e s s   P r o c e s s   M a n a g e m e n t .   P r o c e e d i n g s   o f   t h e   9 t h   I n t e r n a t i o n a l   C o n f e r e n c e   ( B P M   2 0 1 1 ) ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 3 0 5 9 - 2 _ 9 ;   S c h e n k   E ,   2 0 1 1 ,   J   I N N O V A T I V E   E C ,   V 7 ,   P 9 3 ;   S c h r o e r   J ,   2 0 0 9 ,   M E D I A   P S Y C H O L ,   V 1 2 ,   P 9 6 ,   D O I   1 0 . 1 0 8 0 / 1 5 2 1 3 2 6 0 8 0 2 6 6 9 4 6 6 ;   S c h u l z e   T . ,   2 0 1 2 ,   3 3   I N T   C   I N F   S Y S T   O R ;   S c h u l z e   T . ,   2 0 1 1 ,   1 9   E U R   C   I N F   S Y S T   H E ;   S h a n i   G ,   2 0 1 1 ,   R E C O M M E N D E R   S Y S T E M S   H A N D B O O K ,   P 2 5 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 0 - 3 8 7 - 8 5 8 2 0 - 3 _ 8 ;   S I L V E R   M S ,   1 9 9 5 ,   M I S   Q U A R T ,   V 1 9 ,   P 3 6 1 ,   D O I   1 0 . 2 3 0 7 / 2 4 9 6 0 0 ;   S t a n k o v i c   M . ,   2 0 1 1 ,   P   7   I N T   C   S E M   S Y S T   I ,   P 4 9 ;   S t a n k o v i c   M ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 4 3 ,   P 1 0 8 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 1 0 3 4 - 1 _ 8 ;   S u   X . ,   2 0 0 9 ,   A D V   A R T I F I C I A L   I N T E L ;   S u n   Y Q ,   2 0 1 2 ,   D E C I S   S U P P O R T   S Y S T ,   V 5 3 ,   P 1 2 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 1 . 1 0 . 0 0 6 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   V u k o v i c   M ,   2 0 0 9 ,   2 0 0 9   I E E E   C O N G R E S S   O N   S E R V I C E S   ( S E R V I C E S - 1   2 0 0 9 ) ,   V O L S   1   A N D   2 ,   P 6 8 6 ,   D O I   1 0 . 1 1 0 9 / S E R V I C E S - I . 2 0 0 9 . 5 6 ;   W a n g   G A ,   2 0 1 3 ,   D E C I S   S U P P O R T   S Y S T ,   V 5 4 ,   P 1 4 4 2 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 2 . 1 2 . 0 2 0 ;   W e b s t e r   J . ,   2 0 0 2 ,   M I S   Q ,   V 2 6 ;   W u   H . ,   2 0 0 6 ,   P   1 7   C   H Y P   H Y P   O D   D E ,   P 1 1 1 ,   D O I   1 0 . 1 1 4 5 / 1 1 4 9 9 4 1 . 1 1 4 9 9 6 2 ;   Y a n   Z . ,   2 0 1 2 ,   A D V   I N F   R E T R I E V A L ,   P 1 2 1 ;   Y u a n   Y C ,   2 0 0 9 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 5 ,   P 3 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 0 8 3 - 6 1 0 1 . 2 0 0 9 . 0 1 4 9 1 . x ;   Y u e n   M . - C . ,   2 0 1 1 ,   I N T   C   I N T   T H I N G S   4   I ,   P 4 0 9 ;   Y u e n   M . - C . ,   2 0 1 2 ,   C   N E U R   I N F   P R O C   P   1 9 ,   P 5 1 6 ;   Z h a n g   H . ,   2 0 1 1 ,   A C M   C H I   2 0 1 1   W O R K   C R ;   Z h e n g   H C ,   2 0 1 1 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 5 7 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 4 0 2 ;   Z h o u   T . C . ,   2 0 1 2 ,   P   2 1   I N T   C   C O M P   W O R L ,   P 7 8 3 ;   Z h o u   Y H ,   2 0 0 9 ,   P R O C   I N T   C O N F   D A T A ,   P 7 0 0 ;   Z h u   H S ,   2 0 1 1 ,   L E C T   N O T E S   A R T I F   I N T ,   V 7 0 9 1 ,   P 1 8 3 ;   Z w a s s   V ,   2 0 1 0 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 1 1 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 1 0 1 	 1 1 7 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 1 6 7 - 9 2 3 6 	 1 8 7 3 - 5 7 9 7 	 	 D E C I S   S U P P O R T   S Y S T 	 D e c i s .   S u p p o r t   S y s t . 	 S E P 	 2 0 1 4 	 6 5 	 	 	 	 S I 	 	 3 	 1 6 	 	 1 0 . 1 0 1 6 / j . d s s . 2 0 1 4 . 0 5 . 0 0 7 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 A Q 1 M W 	 W O S : 0 0 0 3 4 2 5 4 6 5 0 0 0 0 2 	 	 
 J 	 N e v o ,   D ;   K o t l a r s k y ,   J 	 	 	 	 N e v o ,   D o r i t ;   K o t l a r s k y ,   J u l i a 	 	 	 P r i m a r y   v e n d o r   c a p a b i l i t i e s   i n   a   m e d i a t e d   o u t s o u r c i n g   m o d e l :   C a n   I T   s e r v i c e   p r o v i d e r s   l e v e r a g e   c r o w d s o u r c i n g ? 	 D E C I S I O N   S U P P O R T   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 O u t s o u r c i n g ;   C r o w d s o u r c i n g ;   M e d i a t e d   o u t s o u r c i n g   m o d e l ;   S e r v i c e   p r o v i d e r ;   V e n d o r   c a p a b i l i t i e s 	 I N F O R M A T I O N - T E C H N O L O G Y ;   P S Y C H O L O G I C A L   C O N T R A C T ;   S O F T W A R E - D E V E L O P M E N T ;   O P E N   I N N O V A T I O N ;   O F F S H O R E ;   P E R S P E C T I V E ;   S U C C E S S ;   S Y S T E M S ;   W O R K ;   Q U A L I T Y 	 C r o w d s o u r c i n g   p l a t f o r m s   t h a t   a t t r a c t   a   l a r g e   p o o l   o f   p o t e n t i a l   w o r k f o r c e   a l l o w   o r g a n i z a t i o n s   t o   r e d u c e   p e r m a n e n t   s t a f f   l e v e l s .   H o w e v e r   m a n a g i n g   t h i s   " h u m a n   c l o u d "   r e q u i r e s   n e w   m a n a g e m e n t   m o d e l s   a n d   s k i l l s .   T h e r e f o r e ,   I n f o r m a t i o n   T e c h n o l o g y   ( I T )   s e r v i c e   p r o v i d e r s   e n g a g i n g   i n   c r o w d s o u r c i n g   n e e d   t o   d e v e l o p   n e w   c a p a b i l i t i e s   t o   s u c c e s s f u l l y   u t i l i z e   c r o w d s o u r c i n g   i n   d e l i v e r i n g   s e r v i c e s   t o   t h e i r   c l i e n t s .   T o   e x p l o r e   t h e s e   c a p a b i l i t i e s   w e   c o l l e c t e d   q u a l i t a t i v e   d a t a   f r o m   f o c u s   g r o u p s   w i t h   c r o w d s o u r c i n g   l e a d e r s   a t   a   l a r g e   m u l t i n a t i o n a l   t e c h n o l o g y   o r g a n i z a t i o n .   N e w   c a p a b i l i t i e s   w e   i d e n t i f i e d   s t e m   f r o m   t h e   n e e d   o f   t h e   t r a d i t i o n a l   s e r v i c e   p r o v i d e r   t o   a s s u m e   a   " c l i e n t "   r o l e   i n   t h e   c r o w d s o u r c i n g   c o n t e x t ,   w h i l e   s t i l l   a c t i n g   a s   a   " v e n d o r "   i n   p r o v i d i n g   s e r v i c e s   t o   t h e   e n d - c l i e n t .   T h i s   p a p e r   e x p a n d s   t h e   r e s e a r c h   o n   v e n d o r   c a p a b i l i t i e s   a n d   I T   o u t s o u r c i n g   a s   w e l l   a s   o f f e r s   i m p o r t a n t   i n s i g h t s   t o   o r g a n i z a t i o n s   t h a t   a r e   e x p e r i m e n t i n g   w i t h ,   o r   c o n s i d e r i n g ,   c r o w d s o u r c i n g .   ( C )   2 0 1 4   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ N e v o ,   D o r i t ]   R e n s s e l a e r   P o l y t e c h n   I n s t ,   T r o y ,   N Y   1 2 1 8 0   U S A ;   [ K o t l a r s k y ,   J u l i a ]   A s t o n   U n i v ,   A s t o n   B u s i n e s s   S c h ,   B i r m i n g h a m   B 4   7 E T ,   W   M i d l a n d s ,   E n g l a n d 	 N e v o ,   D   ( r e p r i n t   a u t h o r ) ,   R e n s s e l a e r   P o l y t e c h n   I n s t ,   1 1 0   E i g h t h   S t ,   T r o y ,   N Y   1 2 1 8 0   U S A . 	 n e v o d @ r p i . e d u ;   j . k o t l a r s k y @ a s t o n . a c . u k 	 	 	 	 	 A f u a h   A . ,   2 0 1 2 ,   A C A D   M A N A G E M E N T   R E V ,   V 3 7 ;   B h a r a d w a j   S S ,   2 0 0 9 ,   I N D   M A N A G E   D A T A   S Y S T ,   V 1 0 9 ,   P 9 9 3 ,   D O I   1 0 . 1 1 0 8 / 0 2 6 3 5 5 7 0 9 1 0 9 8 2 3 2 8 ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   B u l l i n g e r   A . C . ,   2 0 1 0 ,   P   A M   C   I N F   S Y S T ;   C a o   L . ,   2 0 0 9 ,   E U R O P E A N   J   I N F O R M   S Y ,   V 1 8 ;   C a r m e l   E . ,   2 0 0 6 ,   M I S   Q   E X E C ,   V 5 ,   P 4 3 ;   C h e s b r o u g h   H W ,   2 0 0 3 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 4 ,   P 3 5 ;   C o r b i n   J . ,   2 0 0 8 ,   B A S I C S   Q U A L I T A T I V E   R ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   D u a n   C J ,   2 0 0 9 ,   E U R   J   I N F O R M   S Y S T ,   V 1 8 ,   P 4 4 2 ,   D O I   1 0 . 1 0 5 7 / e j i s . 2 0 0 9 . 3 8 ;   E I S E N H A R D T   K M ,   1 9 8 9 ,   A C A D   M A N A G E   R E V ,   V 1 4 ,   P 5 3 2 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 5 5 7 ;   E r i c k s o n   L . ,   2 0 1 2 ,   P   A M   C   I N F   S Y S T ;   E t h i r a j   S K ,   2 0 0 5 ,   S T R A T E G I C   M A N A G E   J ,   V 2 6 ,   P 2 5 ,   D O I   1 0 . 1 0 0 2 / s m j . 4 3 3 ;   F e e n y   D ,   2 0 0 5 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 6 ,   P 4 1 ;   F e e n y   D F ,   1 9 9 8 ,   S L O A N   M A N A G E   R E V ,   V 3 9 ,   P 9 ;   G e f e n   D ,   2 0 0 8 ,   M I S   Q U A R T ,   V 3 2 ,   P 3 6 7 ;   G i n o   F ,   2 0 1 2 ,   H A R V A R D   B U S   R E V ,   V 9 0 ,   P 9 2 ;   G l a s e r   B . ,   1 9 6 7 ,   D I S C O V E R Y   G R O U N D E D   T ;   G o l e s   T . ,   2 0 0 6 ,   I N F O R M   S Y S T E M S   O U T S O ,   P 3 4 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 3 4 8 7 7 - 1 _ 1 3 ;   G o o   J ,   2 0 0 8 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 6 ,   P 2 1 6 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 8 . 0 6 . 0 0 5 ;   H i t t   L .   M . ,   1 9 9 7 ,   J o u r n a l   o f   M a n a g e m e n t   I n f o r m a t i o n   S y s t e m s ,   V 1 4 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   P O W E R ;   J a r v e n p a a   S L ,   2 0 0 5 ,   I N F O R M   S Y S T   M A N A G E ,   V 2 2 ,   P 7 ,   D O I   1 0 . 1 2 0 1 / 1 0 7 8 . 1 0 5 8 0 5 3 0 / 4 5 5 2 0 . 2 2 . 4 . 2 0 0 5 0 9 0 1 / 9 0 0 2 6 . 2 ;   J a r v e n p a a   S L ,   2 0 0 8 ,   J   I N F   T E C H N O L ,   V 2 3 ,   P 3 ,   D O I   1 0 . 1 0 5 7 / p a l g r a v e . j i t . 2 0 0 0 1 2 5 ;   J o s h i   K   D ,   2 0 0 7 ,   I n f o r m a t i o n   T e c h n o l o g y   &   P e o p l e ,   V 2 0 ,   D O I   1 0 . 1 1 0 8 / 0 9 5 9 3 8 4 0 7 1 0 8 3 9 8 1 5 ;   K a g a n e r   E . ,   2 0 1 2 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 4 ,   P 2 3 ;   K i s h o r e   R ,   2 0 0 3 ,   C O M M U N   A C M ,   V 4 6 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 9 5 3 4 6 0 . 9 5 3 4 6 4 ;   K l a u s   T ,   2 0 1 0 ,   E U R   J   I N F O R M   S Y S T ,   V 1 9 ,   P 6 2 5 ,   D O I   1 0 . 1 0 5 7 / e j i s . 2 0 1 0 . 3 9 ;   K l e i n   H K ,   1 9 9 9 ,   M I S   Q U A R T ,   V 2 3 ,   P 6 7 ,   D O I   1 0 . 2 3 0 7 / 2 4 9 4 1 0 ;   K o h   C ,   2 0 0 4 ,   I N F O R M   S Y S T   R E S ,   V 1 5 ,   P 3 5 6 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 4 0 . 0 0 3 5 ;   K o t l a r s k y   J ,   2 0 0 5 ,   E U R   J   I N F O R M   S Y S T ,   V 1 4 ,   P 3 7 ,   D O I   1 0 . 1 0 5 7 / p a l g r a v e . e j i s . 3 0 0 0 5 2 0 ;   K o t l a r s k y   J ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 1 2 3 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 2 7 . 1 3 8 9 9 7 3 ;   K o t l a r s k y   J ,   2 0 0 7 ,   J   I N F   T E C H N O L ,   V 2 2 ,   P 1 6 1 ,   D O I   1 0 . 1 0 5 7 / p a l g r a v e . j i t . 2 0 0 0 0 8 4 ;   L a c i t y   M C ,   2 0 1 1 ,   J   I N F   T E C H N O L ,   V 2 6 ,   P 2 2 1 ,   D O I   1 0 . 1 0 5 7 / j i t . 2 0 1 1 . 2 5 ;   L e e   A S ,   2 0 0 3 ,   I N F O R M   S Y S T   R E S ,   V 1 4 ,   P 2 2 1 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 4 . 3 . 2 2 1 . 1 6 5 6 0 ;   L e e   J N ,   2 0 0 1 ,   I N F O R M   M A N A G E ,   V 3 8 ,   P 3 2 3 ,   D O I   1 0 . 1 0 1 6 / S 0 3 7 8 - 7 2 0 6 ( 0 0 ) 0 0 0 7 4 - 4 ;   L e v i n a   N ,   2 0 0 3 ,   M I S   Q U A R T ,   V 2 7 ,   P 3 3 1 ;   L e w i n   A Y ,   2 0 0 6 ,   L O N G   R A N G E   P L A N N ,   V 3 9 ,   P 2 2 1 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 0 6 . 0 7 . 0 0 9 ;   M a h n k e   V ,   2 0 0 8 ,   J   I N F   T E C H N O L ,   V 2 3 ,   P 1 8 ,   D O I   1 0 . 1 0 5 7 / p a l g r a v e . j i t . 2 0 0 0 1 2 4 ;   M i o z z o   M ,   2 0 1 1 ,   I N D   C O R P   C H A N G E ,   V 2 0 ,   P 9 0 9 ,   D O I   1 0 . 1 0 9 3 / i c c / d t r 0 1 4 ;   M o r g a n   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 7 7 ;   N i c h o l s o n   B . ,   2 0 0 1 ,   I N F O R M A T I O N   O R G ,   V 1 1 ,   P 2 5 ,   D O I   D O I   1 0 . 1 0 1 6 / S 0 9 5 9 - 8 0 2 2 ( 0 0 ) 0 0 0 0 8 - 4 ;   O S H R I   I . ,   2 0 0 7 ,   M I S   Q   E X E C ,   V 6 ,   P 5 3 ;   O s h r i   I ,   2 0 1 1 ,   H A N D B O O K   O F   G L O B A L   O U T S O U R C I N G   A N D   O F F S H O R I N G ,   2 N D   E D I T I O N ,   P 1 ;   O t o n d o   R F ,   2 0 0 9 ,   E U R   J   I N F O R M   S Y S T ,   V 1 8 ,   P 5 5 3 ,   D O I   1 0 . 1 0 5 7 / e j i s . 2 0 0 9 . 3 9 ;   P a l v i a   P C ,   2 0 1 0 ,   D E C I S I O N   S C I ,   V 4 1 ,   P 2 3 1 ;   P A R A S U R A M A N   A ,   1 9 9 1 ,   S L O A N   M A N A G E   R E V ,   V 3 2 ,   P 3 9 ;   Q i   C ,   2 0 1 2 ,   D E C I S   S U P P O R T   S Y S T ,   V 5 3 ,   P 8 5 9 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 2 . 0 5 . 0 1 8 ;   R a j k u m a r   T M ,   2 0 0 1 ,   I N F O R M   S Y S T   M A N A G E ,   V 1 8 ,   P 6 3 ;   R o s s   J . W . ,   2 0 0 6 ,   M I S   Q   E X E C ,   V 5 ,   P 1 8 1 ;   R o t t m a n   J W ,   2 0 0 6 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 7 ,   P 5 6 ;   S a n d e r s   N . ,   2 0 0 7 ,   J   S U P P L Y   C H A I N   M A N A G ,   V 4 3 ,   P 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 5 - 4 9 3 X . 2 0 0 7 . 0 0 0 3 7 . x ;   S a x e n a   K . ,   2 0 0 9 ,   B U S I N E S S   P R O C E S S   M A N ,   V 1 5 ,   P 6 8 7 ;   S a x t o n   G . D . ,   2 0 1 4 ,   I N F O R M   S Y S T E M S   M A N A G ,   V 3 0 ,   P 1 ;   S t i e g e r   D a n i e l ,   2 0 1 2 ,   C a l i f o r n i a   M a n a g e m e n t   R e v i e w ,   V 5 4 ,   D O I   1 0 . 1 5 2 5 / c m r . 2 0 1 2 . 5 4 . 4 . 4 4 ;   S w i n a r s k i   M . E . ,   2 0 0 6 ,   H A W   I N T   C   S Y S T   S C I ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   W i l l c o c k s   L P . ,   2 0 0 9 ,   P R A C T I C E   O U T S O U R C I N G ;   W i l l c o c k s   L P ,   2 0 0 6 ,   I N F O R M   S Y S T   M A N A G E ,   V 2 3 ,   P 4 9 ,   D O I   1 0 . 1 2 0 1 / 1 0 7 8 . 1 0 5 8 0 5 3 0 / 4 5 7 6 9 . 2 3 . 1 . 2 0 0 6 1 2 0 1 / 9 1 7 7 2 . 6 ;   W i l l c o c k s   L P . ,   1 9 9 6 ,   C O N F I G U R I N G   I N F O R M   S ;   W i l l c o c k s   L P . ,   2 0 0 8 ,   O U T S O U R C I N G   E N T E R P R I 	 6 1 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 1 6 7 - 9 2 3 6 	 1 8 7 3 - 5 7 9 7 	 	 D E C I S   S U P P O R T   S Y S T 	 D e c i s .   S u p p o r t   S y s t . 	 S E P 	 2 0 1 4 	 6 5 	 	 	 	 S I 	 	 1 7 	 2 7 	 	 1 0 . 1 0 1 6 / j . d s s . 2 0 1 4 . 0 5 . 0 0 8 	 	 1 1 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 A Q 1 M W 	 W O S : 0 0 0 3 4 2 5 4 6 5 0 0 0 0 3 	 	 
 J 	 R e n ,   J ;   N i c k e r s o n ,   J V ;   M a s o n ,   W ;   S a k a m o t o ,   Y ;   G r a b e r ,   B 	 	 	 	 R e n ,   J i e ;   N i c k e r s o n ,   J e f f e r y   V . ;   M a s o n ,   W i n t e r ;   S a k a m o t o ,   Y a s u a k i ;   G r a b e r ,   B r u n o 	 	 	 I n c r e a s i n g   t h e   c r o w d ' s   c a p a c i t y   t o   c r e a t e :   h o w   a l t e r n a t i v e   g e n e r a t i o n   a f f e c t s   t h e   d i v e r s i t y ,   r e l e v a n c e   a n d   e f f e c t i v e n e s s   o f   g e n e r a t e d   a d s 	 D E C I S I O N   S U P P O R T   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r e a t i v i t y ;   H u m a n   b a s e d   g e n e t i c   a l g o r i t h m s ;   A d v e r t i s e m e n t ;   C r o w d s o u r c i n g ;   D e s i g n ;   E v o l u t i o n a r y   c o m p u t i n g 	 R U G G E D   L A N D S C A P E S ;   C R E A T I V I T Y ;   P R O D U C T ;   A L G O R I T H M S ;   N E T W O R K ;   D E S I G N ;   W E B ;   I N S T R U C T I O N S ;   P E R S P E C T I V E S ;   I N T E G R A T I O N 	 C r o w d s   c a n   g e n e r a t e   i d e a s   b y   s e a r c h i n g   f o r   n e w   d e s i g n s .   A   m o d e l   f o r   s u c h   c r o w d - b a s e d   s e a r c h   i s   p r o p o s e d   c o n s i s t i n g   o f   t h r e e   m a j o r   f o r c e s :   t h e   p r o b l e m   d o m a i n ,   t h e   a c t o r s ,   a n d   t h e   p r o c e s s .   O n e   p a r t i c u l a r   p r o c e s s   t h a t   c a n   p e r f o r m   s u c h   s e a r c h   i s   t h a t   d e s c r i b e d   b y   h u m a n   b a s e d   g e n e t i c   a l g o r i t h m s ,   i n   w h i c h   c r o w d s   a r e   r e s p o n s i b l e   f o r   c r e a t i n g ,   m o d i f y i n g ,   a n d   c o m b i n i n g   d e s i g n s .   T h i s   s t u d y   l o o k s   a t   o n e   a s p e c t   o f   t h e   p r o c e s s :   t h e   a l t e r n a t i v e   g e n e r a t i o n   a l g o r i t h m .   T h r e e   s y s t e m s   w e r e   b u i l t   t h a t   p e r f o r m e d   g r e e n f i e l d ,   m o d i f i c a t i o n   a n d   c o m b i n a t i o n - b a s e d   a l t e r n a t i v e   g e n e r a t i o n .   T h e s e   w e r e   c o m p a r e d   i n   a n   e x p e r i m e n t   i n v o l v i n g   2 2 2 0   p a r t i c i p a n t s   w h o   p l a y e d   d i f f e r e n t   r o l e s   i n   c r e a t i n g   a n d   e v a l u a t i n g   a d v e r t i s e m e n t s .   T h e   r e s u l t s   f a v o r   t h e   m o d i f i c a t i o n   s y s t e m .   T h i s   s u g g e s t s   f o r   d o m a i n s   l i k e   a d v e r t i s i n g ,   c r o w d - b a s e d   d e s i g n   s y s t e m s   s h o u l d   e n c o u r a g e   a   s e r i e s   o f   m o d i f i c a t i o n s   o f   i n i t i a l   i d e a s .   F o r   d e s i g n e r s   o f   o t h e r   c r o w d - b a s e d   s y s t e m s   i n   o t h e r   p r o b l e m   d o m a i n s ,   t h i s   s t u d y   s u g g e s t s   t h a t   b o t h   m o d i f i c a t i o n   a n d   c o m b i n a t i o n   p r o c e s s e s   s h o u l d   b e   t e s t e d   a n d   t h e i r   r a t i o   o f   u s e   a d j u s t e d   a c c o r d i n g   t o   t h e   r e s u l t s   o b t a i n e d ,   m u c h   a s   t h e   r a t i o   o f   m u t a t i o n   a n d   c r o s s o v e r   a r e   a d j u s t e d   i n   g e n e t i c   a l g o r i t h m s .   ( C )   2 0 1 4   T h e   A u t h o r s .   P u b l i s h e d   b y   E l s e v i e r   B . V .   T h i s   i s   a n   o p e n   a c c e s s   a r t i c l e   u n d e r   t h e   C C   B Y   l i c e n s e   ( h t t p : / / c r e a t i v e c o m m o n s . o r g / l i c e n s e s / b y / 3 . 0 / ) . 	 [ R e n ,   J i e ]   F o r d h a m   U n i v ,   B r o n x ,   N Y   1 0 4 5 8   U S A ;   [ N i c k e r s o n ,   J e f f e r y   V . ;   M a s o n ,   W i n t e r ;   S a k a m o t o ,   Y a s u a k i ;   G r a b e r ,   B r u n o ]   S t e v e n s   I n s t   T e c h n o l ,   H o b o k e n ,   N J   U S A 	 R e n ,   J   ( r e p r i n t   a u t h o r ) ,   F o r d h a m   U n i v ,   B r o n x ,   N Y   1 0 4 5 8   U S A . 	 r e n j i e 1 2 1 8 @ g m a i l . c o m ;   j n i c k e r s o n @ s t e v e n s . e d u ;   m @ w i n t e r a m . c o m ;   y s a k a m o t @ s t e v e n s . e d u ;   b r u n o . g r a b e r . s i t @ g m a i l . c o m 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ I I S - 0 8 5 5 9 9 5 ,   I I S - 0 9 6 8 5 6 1 ] 	 T h i s   m a t e r i a l   i s   b a s e d   u p o n   w o r k   s u p p o r t e d   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   u n d e r   g r a n t s   I I S - 0 8 5 5 9 9 5   a n d   I I S - 0 9 6 8 5 6 1 . 	 A f f e n z e l l e r   M ,   2 0 0 9 ,   N U M E R   I N S I G H T ,   p X X V ;   A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   A l e x o u d a   G ,   2 0 0 5 ,   D E C I S   S U P P O R T   S Y S T ,   V 3 8 ,   P 4 9 5 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 3 . 0 9 . 0 0 2 ;   A m a b i l e   T .   M . ,   1 9 8 3 ,   S O C I A L   P S Y C H O L   C R E A T ;   A m a b i l e   T . M . ,   1 9 8 2 ,   J   P E R S   S O C   P S Y C H O L ,   V 4 3 ,   P 9 7 7 ;   A n d e r s o n   J .   R ,   1 9 8 3 ,   A R C H I T E C T U R E   C O G N I T I ;   B A E R   J ,   1 9 9 4 ,   C R E A T I V I T Y   R E S   J ,   V 7 ,   P 3 5 ;   B a e r   J . ,   1 9 9 1 ,   C R E A T I V I T Y   R E S   J ,   P 2 3 ;   B A L A K R I S H N A N   P V ,   1 9 9 5 ,   D E C I S   S U P P O R T   S Y S T ,   V 1 4 ,   P 3 1 3 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 7 - 9 2 3 6 ( 9 4 ) 0 0 0 2 6 - O ;   B a o   J . ,   2 0 1 1 ,   P   1 7   A M   C   I N F   S Y S T ;   B a r u a h   J ,   2 0 1 1 ,   J   E X P   S O C   P S Y C H O L ,   V 4 7 ,   P 1 0 7 0 ,   D O I   1 0 . 1 0 1 6 / j . j e s p . 2 0 1 1 . 0 4 . 0 0 7 ;   B a t s o n   C D ,   1 9 9 7 ,   J   P E R S   S O C   P S Y C H O L ,   V 7 3 ,   P 5 1 7 ;   B e s e m e r   S . P . ,   1 9 8 6 ,   C R E A T I V E   B E H A V ,   V 2 0 ,   P 1 1 5 ;   B E S E M E R   S P ,   1 9 8 1 ,   J   C R E A T I V E   B E H A V ,   V 1 5 ,   P 1 5 8 ;   B u x t o n   B . ,   2 0 0 7 ,   S K E T C H I N G   U S E R   E X P E R ;   C a r d o s o   M ,   2 0 0 9 ,   G R O U P   2 0 0 9   P R O C E E D I N G S ,   P 3 7 3 ;   C h a n   T . ,   2 0 0 4 ,   P   1 3   I N T   C   M A N   T E C H N ;   C h a n a l   V . ,   2 0 0 8 ,   P   1 7   C   I N T   M A N   S T R A T ;   C h e n g   C . D . ,   2 0 0 4 ,   P   G E N   E V   C O M P   C   G E C C ;   C o h e n   M . ,   1 9 9 0 ,   A D M   S C I   Q                 M A R ,   P 1 2 8 ;   C o l l i n s   M . ,   1 9 7 5 ,   P S Y C H O L   R E V ,   V 8 2 ,   P 4 0 7 ;   C y e r t   R .   M . ,   1 9 6 3 ,   B E H A V   T H E O R Y   F I R M ;   D e b   K ,   2 0 0 1 ,   M U L T I O B J E C T I V E   O P T I M ;   D e b   K . ,   2 0 0 0 ,   L N C S ,   V 1 9 1 7 ,   P 8 4 9 ;   D E W A R   R D ,   1 9 8 6 ,   M A N A G E   S C I ,   V 3 2 ,   P 1 4 2 2 ,   D O I   1 0 . 1 2 8 7 / m n s c . 3 2 . 1 1 . 1 4 2 2 ;   D o w   S . P . ,   2 0 1 2 ,   P   A C M   2 0 1 2   C   C O M P   S U ;   D o w   S P ,   2 0 1 0 ,   A C M   T   C O M P U T - H U M   I N T ,   V 1 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 7 9 8 3 1 . 1 8 7 9 8 3 6 ;   D o w   S P ,   2 0 0 9 ,   C   &   C   0 9 :   P R O C E E D I N G S   O F   T H E   2 0 0 9   A C M   S I G C H I   C O N F E R E N C E   O N   C R E A T I V I T Y   A N D   C O G N I T I O N ,   P 1 6 5 ;   D o w n s   J S ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 3 9 9 ;   E i b e n   A . E . ,   1 9 9 6 ,   M U L T I P A R E N T S   N I C H E   N ,   P 3 1 9 ;   E s t e s   Z ,   2 0 0 2 ,   C R E A T I V I T Y   R E S   J ,   V 1 4 ,   P 1 4 9 ,   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 6 9 3 4 C R J 1 4 0 2 _ 2 ;   F i n k e   R A . ,   1 9 9 6 ,   C R E A T I V E   C O G N I T I O N   T ;   F l e m i n g   L ,   2 0 0 7 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 9 ,   P 6 9 ;   F l e m i n g   L ,   2 0 0 7 ,   A D M I N   S C I   Q U A R T ,   V 5 2 ,   P 4 4 3 ;   F O G E L   D B ,   1 9 9 4 ,   I E E E   T   N E U R A L   N E T W O R ,   V 5 ,   P 3 ,   D O I   1 0 . 1 1 0 9 / 7 2 . 2 6 5 9 5 6 ;   G e r o   J S ,   1 9 9 6 ,   K N O W L - B A S E D   S Y S T ,   V 9 ,   P 4 3 5 ,   D O I   1 0 . 1 0 1 6 / S 0 9 5 0 - 7 0 5 1 ( 9 6 ) 0 1 0 5 4 - 4 ;   G o l d b e r g   D ,   1 9 8 9 ,   G E N E T I C   A L G O R I T H M S   S ;   G o l d e n b e r g   J ,   1 9 9 9 ,   M A R K E T   S C I ,   V 1 8 ,   P 3 3 3 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 8 . 3 . 3 3 3 ;   H A B E R L A N D   G S ,   1 9 9 2 ,   A D V   C O N S U M   R E S ,   V 1 9 ,   P 8 1 7 ;   H a r g a d o n   A . ,   2 0 0 3 ,   B R E A K T H R O U G H S   H A P P E N ;   H a r t m a n n   B . ,   2 0 0 6 ,   P   1 9   A N N   A C M   S   U S   I N ,   P 2 9 9 ,   D O I   1 0 . 1 1 4 5 / 1 1 6 6 2 5 3 . 1 1 6 6 3 0 0 ;   H a y e s   J . R . ,   1 9 8 9 ,   H D B   C R E A T I V I T Y   A S S E S ;   H o l l a n d   J H ,   1 9 7 5 ,   A D A P T A T I O N   N A T U R A L   A ;   H o r n b y   G S ,   2 0 0 9 ,   S C I E N C E ,   V 3 2 5 ,   P 2 7 7 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 7 4 4 0 0 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H y b s   I . ,   1 9 9 2 ,   D E S I G N   S T U D ,   V 1 3 ,   P 2 7 3 ,   D O I   1 0 . 1 0 1 6 / 0 1 4 2 - 6 9 4 X ( 9 2 ) 9 0 2 1 6 - W ;   I m   S . ,   1 9 9 9 ,   T H E S I S   U   N   C A R O L I N A ;   J A C K S O N   P W ,   1 9 6 5 ,   J   P E R S ,   V 3 3 ,   P 3 0 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 6 4 9 4 . 1 9 6 5 . t b 0 1 3 8 9 . x ;   J a n s s o n   D . G . ,   1 9 9 1 ,   D E S I G N   S T U D I E S ,   V 1 2 ,   P 3 ;   K a l o g e r a k i s   E ,   2 0 1 2 ,   A C M   T   G R A P H I C ,   V 3 1 ,   D O I   1 0 . 1 1 4 5 / 2 1 8 5 5 2 0 . 2 1 8 5 5 5 1 ;   K a r m i l o f f - S m i t h   A . ,   1 9 9 5 ,   M O D U L A R I T Y   D E V   P E R S P ;   K A U F F M A N   S ,   1 9 8 7 ,   J   T H E O R   B I O L ,   V 1 2 8 ,   P 1 1 ,   D O I   1 0 . 1 0 1 6 / S 0 0 2 2 - 5 1 9 3 ( 8 7 ) 8 0 0 2 9 - 2 ;   K i j k u i t   B ,   2 0 0 7 ,   J   M A N A G E   S T U D ,   V 4 4 ,   P 8 6 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 6 4 8 6 . 2 0 0 7 . 0 0 6 9 5 . x ;   K i m   Y ,   2 0 0 4 ,   D E C I S   S U P P O R T   S Y S T ,   V 3 7 ,   P 2 1 5 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 9 2 3 6 ( 0 3 ) 0 0 0 0 8 - 3 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K l e e m a n n   F . ,   2 0 0 8 ,   S C I   T E C H N O L O G Y   I N N O V ,   V 4 ,   P 5 ;   K o h n   N W ,   2 0 1 1 ,   J   E X P   S O C   P S Y C H O L ,   V 4 7 ,   P 5 5 4 ,   D O I   1 0 . 1 0 1 6 / j . j e s p . 2 0 1 1 . 0 1 . 0 0 4 ;   K o s o r u k o f f   A . ,   2 0 0 1 ,   P   I E E E   I N T   C   S Y S T   M A ,   V 5 ,   P 3 4 6 4 ;   K o t z i n g   T . ,   2 0 1 1 ,   P   G E C C O   1 1 ,   P 9 8 9 ;   K u o   R J ,   2 0 0 5 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 0 ,   P 3 5 5 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 4 . 0 4 . 0 1 0 ;   K y r i a k o u   H . ,   2 0 1 2 ,   W O R K S H   I N F   N E T W ;   L a z e r   D ,   2 0 0 7 ,   A D M I N   S C I   Q U A R T ,   V 5 2 ,   P 6 6 7 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   L e v i n t h a l   D A ,   1 9 9 7 ,   M A N A G E   S C I ,   V 4 3 ,   P 9 3 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 3 . 7 . 9 3 4 ;   M a h f o u d   S . W . ,   1 9 9 5 ,   T H E S I S   U   I L L I N O I S   U R ;   M a r c h   G . ,   1 9 9 1 ,   O R G A N   S C I ,   V 2 ,   P 7 1 ;   M C L E O D   P L ,   1 9 9 2 ,   A C A D E M Y   O F   M A N A G E M E N T   -   B E S T   P A P E R S   P R O C E E D I N G S   1 9 9 2 ,   P 2 2 7 ;   M e h t a   K ,   2 0 0 4 ,   D E C I S   S U P P O R T   S Y S T ,   V 3 7 ,   P 4 6 1 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 9 2 3 6 ( 0 3 ) 0 0 0 9 1 - 5 ;   N a l l a p a t i   R . ,   2 0 1 2 ,   O N L   P   T R E C ;   N i c k e r s o n   J . V . ,   2 0 1 0 ,   W O R K S H   I N F   N E T W   N E W ;   N i c k e r s o n   J . V . ,   2 0 1 3 ,   H D B   H U M A N   C O M P U T A T I O ,   P 6 4 1 ;   P a g e   S E ,   2 0 1 2 ,   K N O W L   E N G   R E V ,   V 2 7 ,   P 1 5 1 ,   D O I   1 0 . 1 0 1 7 / S 0 2 6 9 8 8 8 9 1 2 0 0 0 1 1 2 ;   P A R N E S   S J ,   1 9 5 9 ,   J   E D U C   P S Y C H O L ,   V 5 0 ,   P 1 7 1 ,   D O I   1 0 . 1 0 3 7 / h 0 0 4 7 2 2 3 ;   P a u l u s   P B ,   2 0 0 6 ,   G R O U P   D Y N - T H E O R   R E S ,   V 1 0 ,   P 2 0 6 ,   D O I   1 0 . 1 0 3 7 / 1 0 8 9 - 2 6 9 9 . 1 0 . 3 . 2 0 6 ;   P e r r y - S m i t h   J . E . ,   2 0 0 3 ,   A C A D   M A N A G E M E N T   R E V ,   V 2 8 ;   R o s s   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 . A C C E S S E D ;   S a l g a n i k   M J ,   2 0 0 9 ,   T O P   C O G N   S C I ,   V 1 ,   P 4 3 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 5 6 - 8 7 6 5 . 2 0 0 9 . 0 1 0 3 0 . x ;   S a l g a n i k   M . J . ,   2 0 1 2 ,   A R X I V 1 2 0 2 0 5 0 0 V 1 ;   S c h r a g e   M . ,   1 9 9 9 ,   S E R I O U S   P L A Y   W O R L D S ;   S c h u m p e t e r   J . A . ,   1 9 6 1 ,   F D N   E N T R E P R E N E U R S H I P ,   V 1 ,   P 1 7 8 ;   S i m o n   H A ,   1 9 5 5 ,   Q   J   E C O N ,   V 6 9 ,   P 9 9 ,   D O I   1 0 . 2 3 0 7 / 1 8 8 4 8 5 2 ;   S i m o n t o n   D K ,   2 0 0 3 ,   P S Y C H O L   B U L L ,   V 1 2 9 ,   P 4 7 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 2 9 . 4 . 4 7 5 ;   S m i t h   R . E . ,   2 0 0 4 ,   M A R K E T I N G   T H E O R Y ,   V 4 ,   P 3 1 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 0 5 9 3 1 0 4 0 4 4 0 8 6 ;   S m i t h   R E ,   2 0 0 7 ,   M A R K E T   S C I ,   V 2 6 ,   P 8 1 9 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 7 0 . 0 2 7 2 ;   S p e a r s   W . M . ,   1 9 9 3 ,   F D N   G E N E T I C   A L G O R I T H ,   V 2 ;   S R I N I V A S   M ,   1 9 9 4 ,   I E E E   T   S Y S T   M A N   C Y B ,   V 2 4 ,   P 6 5 6 ,   D O I   1 0 . 1 1 0 9 / 2 1 . 2 8 6 3 8 5 ;   S t e a d m a n   P . ,   1 9 7 9 ,   E V O L U T I O N   D E S I G N S ;   T e l l i s   G . J . ,   1 9 9 8 ,   A D V E R T I S I N G   S A L E S   P R ;   T h o m k e   S ,   2 0 0 2 ,   H A R V A R D   B U S   R E V ,   V 8 0 ,   P 7 4 ;   T h o r s o n   E . ,   1 9 9 7 ,   M E A S U R I N G   A D V E R T I S I N ,   P 2 2 1 ;   V a l a c i c h   J S ,   2 0 0 6 ,   G R O U P   D Y N - T H E O R   R E S ,   V 1 0 ,   P 1 ,   D O I   1 0 . 1 0 3 7 / 1 0 8 9 - 2 6 9 9 . 1 0 . 1 . 1 ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   v o n   H i p p e l   E ,   2 0 0 2 ,   M A N A G E   S C I ,   V 4 8 ,   P 8 2 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 8 . 7 . 8 2 1 . 2 8 1 7 ;   V O N H I P P E L   E ,   1 9 8 6 ,   M A N A G E   S C I ,   V 3 2 ,   P 7 9 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 3 2 . 7 . 7 9 1 ;   W a r d   T B ,   2 0 0 4 ,   J   B U S   V E N T U R I N G ,   V 1 9 ,   P 1 7 3 ,   D O I   1 0 . 1 0 1 6 / S 0 8 8 3 - 9 0 2 6 ( 0 3 ) 0 0 0 0 5 - 3 ;   W a r d   T B ,   2 0 0 1 ,   A M   P S Y C H O L ,   V 5 6 ,   P 3 5 0 ,   D O I   1 0 . 1 0 3 7 / / 0 0 0 3 - 0 6 6 X . 5 6 . 4 . 3 5 0 ;   W e i t z m a n   L . ,   1 9 9 8 ,   Q   J   E C O N ,   V 1 1 3 ,   P 3 3 1 ;   W e l l s   W . D . ,   1 9 8 9 ,   P L A N N I N G   R O I   E F F E C T I ;   W i n t e r   S G ,   2 0 0 7 ,   O R G A N   S C I ,   V 1 8 ,   P 4 0 3 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 7 0 . 0 2 7 3 ;   W o o d b u r y   R . F . ,   1 9 8 9 ,   D E S I G N   G E N E S   P R E P R I N ,   P 1 3 3 ;   W O O D M A N   R W ,   1 9 9 3 ,   A C A D   M A N A G E   R E V ,   V 1 8 ,   P 2 9 3 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 7 6 1 ;   Y u   L . ,   2 0 1 1 ,   C H I   1 1   P   2 0 1 1   A N N   C ,   P 1 3 9 3 ;   Y u   L . ,   2 0 1 3 ,   A C M   T   I N T E R A C T   I N T E L ,   V 3 	 1 0 3 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 1 6 7 - 9 2 3 6 	 1 8 7 3 - 5 7 9 7 	 	 D E C I S   S U P P O R T   S Y S T 	 D e c i s .   S u p p o r t   S y s t . 	 S E P 	 2 0 1 4 	 6 5 	 	 	 	 S I 	 	 2 8 	 3 9 	 	 1 0 . 1 0 1 6 / j . d s s . 2 0 1 4 . 0 5 . 0 0 9 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 A Q 1 M W 	 W O S : 0 0 0 3 4 2 5 4 6 5 0 0 0 0 4 	 	 
 J 	 C h i u ,   C M ;   L i a n g ,   T P ;   T u r b a n ,   E 	 	 	 	 C h i u ,   C h a o - M i n ;   L i a n g ,   T i n g - P e n g ;   T u r b a n ,   E f r a i m 	 	 	 W h a t   c a n   c r o w d s o u r c i n g   d o   f o r   d e c i s i o n   s u p p o r t ? 	 D E C I S I O N   S U P P O R T   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C o l l a b o r a t i v e   i n t e l l i g e n c e ;   C o l l e c t i v e   i n t e l l i g e n c e ;   C r o w d s o u r c i n g ;   I d e a   e v a l u a t i o n ;   I d e a   g e n e r a t i o n ;   O p e n   i n n o v a t i o n 	 C O L L E C T I V E   I N T E L L I G E N C E ;   I N N O V A T I O N ;   O N L I N E ;   C O N T E S T S ;   S Y S T E M S ;   I D E A S 	 C r o w d s o u r c i n g   c a n   b e   v i e w e d   a s   a   m e t h o d   o f   d i s t r i b u t i n g   w o r k   t o   a   l a r g e   n u m b e r   o f   w o r k e r s   ( t h e   c r o w d )   b o t h   i n s i d e   a n d   o u t s i d e   o f   a n   o r g a n i z a t i o n ,   f o r   t h e   p u r p o s e   o f   i m p r o v i n g   d e c i s i o n   m a k i n g ,   c o m p l e t i n g   c u m b e r s o m e   t a s k s ,   o r   c o - c r e a t i o n   o f   d e s i g n s   a n d   o t h e r   p r o j e c t s .   O f   t h e   v a r i o u s   a p p l i c a t i o n s   o f   c r o w d s o u r c i n g ,   t h e   o n e   i n v e s t i g a t e d   i n   t h i s   p a p e r   i s   t o   s u p p o r t   v a r i o u s   p h a s e s   o f   m a n a g e r i a l   d e c i s i o n - m a k i n g   a n d   p r o b l e m   s o l v i n g .   T o   e x a m i n e   t h e   r e s e a r c h   i s s u e s   r e l a t e d   t o   s u c h   s u p p o r t ,   w e   c r e a t e d   a   f r a m e w o r k   b a s e d   o n   f o u r   m a j o r   c o m p o n e n t s   o f   c r o w d s o u r c i n g :   t h e   t a s k   t h a t   i s   o u t s o u r c e d ,   t h e   c r o w d   w h i c h   c a r r i e s   o u t   t h e   t a s k ,   t h e   c r o w d s o u r c i n g   p r o c e s s ,   a n d   t h e   o u t c o m e   e v a l u a t i o n .   E a c h   c o m p o n e n t   i s   e x a m i n e d   f r o m   t h e   m a n a g e r i a l ,   b e h a v i o r a l ,   a n d   i n f o r m a t i o n   t e c h n o l o g y   a s p e c t s .   T h i s   f r a m e w o r k   e n a b l e s   u s   t o   o r g a n i z e   e x i s t i n g   l i t e r a t u r e   a n d   i d e n t i f y   k e y   r e s e a r c h   i s s u e s .   S u g g e s t e d   t o p i c s   f o r   f u t u r e   r e s e a r c h   a r e   d e s c r i b e d .   ( C )   2 0 1 4   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ C h i u ,   C h a o - M i n ;   L i a n g ,   T i n g - P e n g ]   N a t l   S u n   Y a t   S e n   U n i v ,   D e p t   I n f o r m a t   M a n a g e m e n t ,   K a o h s i u n g   8 0 4 2 4 ,   T a i w a n ;   [ L i a n g ,   T i n g - P e n g ]   N a t l   C h e n g c h i   U n i v ,   D e p t   I n f o r m a t   M a n a g e m e n t ,   T a i p e i   1 1 6 0 5 ,   T a i w a n ;   [ T u r b a n ,   E f r a i m ]   U n i v   H a w a i i ,   P a c i f   I n s t   I n f o r m a t   S y s t   M a n a g e m e n t ,   K i h e i ,   H I   9 6 7 5 3   U S A 	 L i a n g ,   T P   ( r e p r i n t   a u t h o r ) ,   N a t l   S u n   Y a t   S e n   U n i v ,   D e p t   I n f o r m a t   M a n a g e m e n t ,   7 0   L i e n h a i   R d ,   K a o h s i u n g   8 0 4 2 4 ,   T a i w a n . 	 c m c h i u @ m i s . n s y s u . e d u . t w ;   t p l i a n g @ n c c u . e d u . t w ;   e f r a i m t u r @ y a h o o . c o m 	 	 	 	 	 A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   A g a f o n o v a s   A . ,   2 0 1 3 ,   O R G   M A R K   E M E R G   E C ,   V 4 ,   P 7 2 ;   A i t a m u r t o   T . ,   2 0 1 1 ,   U S   J   P R A C T ,   V 5 ,   P 4 2 9 ;   A i t a m u r t o   T . ,   2 0 1 1 ,   P R O M I S E   I D E A   C R O W D S O ;   A n t i k a i n e n   M a r i a ,   2 0 1 0 ,   E u r o p e a n   J o u r n a l   o f   I n n o v a t i o n   M a n a g e m e n t ,   V 1 3 ,   D O I   1 0 . 1 1 0 8 / 1 4 6 0 1 0 6 1 0 1 1 0 1 3 2 5 8 ;   A r a l   S ,   2 0 1 3 ,   I N F O R M   S Y S T   R E S ,   V 2 4 ,   P 3 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 1 2 0 . 0 4 7 0 ;   B a k i c i   T . ,   2 0 1 2 ,   1 1 1 4   D R U I D ;   B j e l l a n d   O M ,   2 0 0 8 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 3 2 ;   B l o h m   I . ,   2 0 1 1 ,   E M P I R   I N V E S T   I J N V O ,   V 9 ,   P 1 0 6 ;   B l o h m   I . ,   2 0 1 1 ,   P   3 2   I N T   C   I N F   S Y S T ,   P 1 ;   B o n a b e a u   E ,   2 0 0 9 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 4 5 ;   B o u d r e a u   K e v i n   J . ,   2 0 1 3 ,   H a r v a r d   B u s i n e s s   R e v i e w ,   V 9 1 ;   B o u d r e a u   K J ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 8 4 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 2 2 ;   B o u d r e a u   K J ,   2 0 0 9 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 6 9 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ,   P 1 ;   B r a b h a m   D C ,   2 0 1 2 ,   I N T   J   C O M M U N - U S ,   V 6 ,   P 1 1 3 9 ;   B r a b h a m   D C ,   2 0 1 3 ,   M I T   P R E S S   E S S E N T ,   P 1 ;   B r a b h a m   D . C . ,   2 0 0 7 ,   S P E A K E R S   C O R N E R   D I V E ;   C h e s b r o u g h   H ,   2 0 1 1 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 2 ,   P 8 5 ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ,   P 1 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   D o w   S ,   2 0 1 2 ,   P   A C M   2 0 1 2   C   C O M P   S U ,   P 1 0 1 3 ;   D o w   S . P . ,   2 0 1 1 ,   W O R K S H   C R O W D S   H U M   C O ;   E i c k h o f f   C ,   2 0 1 3 ,   I N F O R M   R E T R I E V A L ,   V 1 6 ,   P 1 2 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 1 - 9 1 8 1 - 9 ;   E r i c k s o n   L . ,   2 0 1 2 ,   P   1 8   A M   C   I N F   S Y S T ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   G e i g e r   D . ,   2 0 1 1 ,   P   1 7   A M   C   I N F   S Y S T ;   H e t m a n k   L . ,   2 0 1 3 ,   1 1   I N T   C   W I R T S C H ;   H i r t h   M ,   2 0 1 3 ,   M A T H   C O M P U T   M O D E L ,   V 5 7 ,   P 2 9 1 8 ,   D O I   1 0 . 1 0 1 6 / j . m c m . 2 0 1 2 . 0 1 . 0 0 6 ;   H o p k i n s   R . ,   2 0 1 1 ,   G U I D E   O P E N   I N N O V A T I O ,   P 6 0 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   V 1 4 ,   P 1 7 6 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   H u a n g   Y . ,   2 0 1 2 ,   P   3 3   I N T   C   I N F   S Y S T ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   A C M   C R O S S R O A D S ,   V 1 7 ,   P 1 6 ;   J a i n   R . ,   2 0 1 0 ,   P   1 6   A M   C   I N F   S Y S T ;   J a y a n t i   E . ,   2 0 1 2 ,   H U M   R E S O U R   D E V   I N T ,   V 1 5 ,   P 3 7 5 ;   K a m a r   E . ,   2 0 1 2 ,   P   1 1   I N T   C   A U T   A G   M U ,   P 4 6 7 ;   K a u f m a n n   N . ,   2 0 1 1 ,   A A A I   W O R K S H   H U M   C O M P ;   K i t t u r   A . ,   2 0 1 3 ,   P   2 0 1 3   C   C O M P   S U P P   C ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   L i e b e r s t e i n   M . A . ,   2 0 1 2 ,   I N T E L L E C T   P R O P ,   V 3 0 ,   P 3 4 ;   L o r e n   J . K . ,   2 0 1 1 ,   G U I D E   O P E N   I N N O V A T I O ,   P 5 ;   M a l o n e   T W ,   2 0 1 0 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 1 ,   P 2 1 ;   M i d h a   V ,   2 0 1 2 ,   D E C I S   S U P P O R T   S Y S T ,   V 5 4 ,   P 2 3 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 2 . 0 3 . 0 0 2 ;   M o u s s a w i   S . ,   2 0 1 3 ,   P   3 4   I N T   C   I N F   S Y S T ;   N e v o   D . ,   2 0 1 2 ,   P   I N T   C   I N F   S Y S T ;   P i s a n o   G P ,   2 0 0 8 ,   H A R V A R D   B U S   R E V ,   V 8 6 ,   P 7 8 ;   P o e t z   M K ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x ;   P o t t e r   A . ,   2 0 1 0 ,   I N T   S   C O L L   T E C H N   S Y S ,   P 3 9 8 ;   P r a h a l a d   C K ,   2 0 0 0 ,   H A R V A R D   B U S   R E V ,   V 7 8 ,   P 7 9 ;   R i e d l   C ,   2 0 1 3 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 7 ,   P 7 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 7 0 3 0 1 ;   R o s e n   P e t e r   A . ,   2 0 1 1 ,   J o u r n a l   o f   D e c i s i o n   S y s t e m s ,   V 2 0 ,   D O I   1 0 . 3 1 6 6 / j d s . 2 0 . 3 0 9 - 3 2 4 ;   R o y   S ,   2 0 1 3 ,   A I P   C O N F   P R O C ,   V 1 5 3 6 ,   P 3 9 ,   D O I   1 0 . 1 0 6 3 / 1 . 4 8 1 0 0 8 9 ;   S a x t o n   G D ,   2 0 1 3 ,   I N F O R M   S Y S T   M A N A G E ,   V 3 0 ,   P 2 ,   D O I   1 0 . 1 0 8 0 / 1 0 5 8 0 5 3 0 . 2 0 1 3 . 7 3 9 8 8 3 ;   S c h e n k   E . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H A T   C ;   S c h e n k   E ,   2 0 1 1 ,   J   I N N O V A T I V E   E C ,   V 7 ,   P 9 3 ;   S c h u l z e   T . ,   2 0 1 2 ,   P   3 3   I N T   C   I N F   S Y S T ;   S c h w e i t z e r   F M ,   2 0 1 2 ,   R E S   T E C H N O L   M A N A G E ,   V 5 5 ,   P 3 2 ,   D O I   1 0 . 5 4 3 7 / 0 8 9 5 6 3 0 8 X 5 5 0 3 0 5 5 ;   S h e r m a n   A . ,   2 0 1 1 ,   C O M P L E T E   I D I O T S   G U I D ;   S l o a n e   P . ,   2 0 1 1 ,   G U I D E   O P E N   I N N O V A T I O ;   S U R O W I E C K I   J A M E S ,   2 0 0 4 ,   W I S D O M   C R O W D S ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   v o n   H i p p e l   E ,   2 0 1 3 ,   R E S   T E C H N O L   M A N A G E ,   V 5 6 ,   P 1 5 ,   D O I   1 0 . 5 4 3 7 / 0 8 9 5 6 3 0 8 X 6 0 3 0 0 3 ;   Y a n g   J . ,   2 0 0 8 ,   P   8   A C M   C   E L   C O M M ;   Y u e n   M . - C . ,   2 0 1 1 ,   P   3   I E E E   I N T   C   S O C   C ,   P 7 6 6 ;   Z h a o   Y X ,   2 0 1 4 ,   I N F O R M   S Y S T   F R O N T ,   V 1 6 ,   P 4 1 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 6 - 0 1 2 - 9 3 5 0 - 4 ;   Z h a o   Y . ,   2 0 1 2 ,   P   3 3   I N T   C   I N F   S Y S T ;   Z h e n g   H C ,   2 0 1 1 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 5 7 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 4 0 2 ;   Z w a s s   V ,   2 0 1 0 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 1 1 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 1 0 1 	 7 0 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 1 6 7 - 9 2 3 6 	 1 8 7 3 - 5 7 9 7 	 	 D E C I S   S U P P O R T   S Y S T 	 D e c i s .   S u p p o r t   S y s t . 	 S E P 	 2 0 1 4 	 6 5 	 	 	 	 S I 	 	 4 0 	 4 9 	 	 1 0 . 1 0 1 6 / j . d s s . 2 0 1 4 . 0 5 . 0 1 0 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 A Q 1 M W 	 W O S : 0 0 0 3 4 2 5 4 6 5 0 0 0 0 5 	 	 
 J 	 Z a d e h ,   A H ;   S h a r d a ,   R 	 	 	 	 Z a d e h ,   A m i r   H a s s a n ;   S h a r d a ,   R a m e s h 	 	 	 M o d e l i n g   b r a n d   p o s t   p o p u l a r i t y   d y n a m i c s   i n   o n l i n e   s o c i a l   n e t w o r k s 	 D E C I S I O N   S U P P O R T   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 O n l i n e   s o c i a l   n e t w o r k s ;   S o c i a l   m e d i a   m a r k e t i n g ;   C r o w d s o u r c i n g ;   B r a n d   p o s t   p o p u l a r i t y ;   B r a n d - g e n e r a t e d   c o n t e n t ;   H a w k e s   p o i n t   p r o c e s s 	 E X C I T I N G   P O I N T - P R O C E S S E S ;   M E D I A ;   T I M E 	 T o d a y ' s   s o c i a l   m e d i a   p l a t f o r m s   a r e   e x c e l l e n t   v e h i c l e s   f o r   b u s i n e s s e s   t o   b u i l d   a n d   f o s t e r   r e l a t i o n s h i p   w i t h   c u s t o m e r s .   C o m p a n i e s   c r e a t e   o f f i c i a l   f a n   p a g e s   o n   s o c i a l   n e t w o r k   w e b s i t e s   t o   p r o v i d e   c u s t o m e r s   w i t h   i n f o r m a t i o n   a b o u t   t h e i r   b r a n d s ,   p r o d u c t s ,   p r o m o t i o n s ,   a n d   m o r e .   C u s t o m e r s   c a n   b e c o m e   f a n s   o f   t h e s e   p a g e s ,   a n d   l i k e ,   r e p l y ,   s h a r e   o r   m a r k   t h e   b r a n d   p o s t   a s   f a v o r i t e .   M a r k e t i n g   d e p a r t m e n t s   a r e   u s i n g   t h e s e   a c t i v i t i e s   t o   c r o w d s o u r c e   m a r k e t i n g   a n d   i n c r e a s e   b r a n d   a w a r e n e s s   a n d   p o p u l a r i t y .   U n d e r s t a n d i n g   h o w   c r o w d s o u r c i n g   o r i e n t e d   m a r k e t i n g   a n d   p r o m o t i o n   e v o l v e s   w o u l d   b e   h e l p f u l   i n   m a n a g i n g   s u c h   c a m p a i g n s .   I n   t h i s   p a p e r ,   w e   a d o p t   a   m u l t i d i m e n s i o n a l   p o i n t   p r o c e s s   m e t h o d o l o g y   t o   s t u d y   c r o w d   e n g a g e m e n t   a c t i v i t i e s   a n d   i n t e r a c t i o n s .   S p e c i f i c a l l y ,   w e   i n v e s t i g a t e   t h e   b r a n d   p o s t   p o p u l a r i t y   a s   a   j o i n t   p r o b a b i l i t y   f u n c t i o n   o f   t i m e   a n d   n u m b e r   o f   f o l l o w e r s .   O n e - d i m e n s i o n a l   a n d   t w o - d i m e n s i o n a l   H a w k e s   p o i n t   p r o c e s s   m o d e l s   a r e   c a l i b r a t e d   t o   s i m u l a t e   p o p u l a r i t y   g r o w t h   p a t t e r n s   o f   b r a n d   p o s t   c o n t e n t s   o n   T w i t t e r .   O u r   r e s u l t s   s u g g e s t   t h a t   t h e   t w o - d i m e n s i o n a l   p o i n t   p r o c e s s   m o d e l   p r o v i d e s   a   g o o d   m o d e l   f o r   u n d e r s t a n d i n g   s u c h   c r o w d s o u r c i n g   b e h a v i o r .   ( C )   2 0 1 4   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ Z a d e h ,   A m i r   H a s s a n ;   S h a r d a ,   R a m e s h ]   O k l a h o m a   S t a t e   U n i v ,   S p e a r s   S c h   B u s i n e s s ,   S t i l l w a t e r ,   O K   7 4 0 7 8   U S A 	 Z a d e h ,   A H   ( r e p r i n t   a u t h o r ) ,   O k l a h o m a   S t a t e   U n i v ,   S p e a r s   S c h   B u s i n e s s ,   S t i l l w a t e r ,   O K   7 4 0 7 8   U S A . 	 A m i r . z a d e h @ o k s t a t e . e d u 	 	 	 	 	 A b e l   F . ,   2 0 1 0 ,   I N T   C   A D V   S O C   N E T W   A ,   P 2 7 6 ;   A D A M O P O U L O S   L ,   1 9 7 6 ,   J   I N T   A S S   M A T H   G E O L ,   V 8 ,   P 4 6 3 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 0 2 8 9 8 2 ;   A h n   Y . - Y . ,   2 0 0 7 ,   P   1 6   I N T   C   W O R L D   W I D ,   P 8 3 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 2 4 2 5 7 2 . 1 2 4 2 6 8 5 ;   A k a i k e   H . ,   1 9 9 2 ,   2   I N T   S   I N F   T H E O R ,   V 1 ,   P 6 1 0 ;   A l e x e y   S . ,   2 0 1 1 ,   I N V E R S E   P R O B L ,   V 2 7 ;   B a c r y   E . ,   2 0 1 2 ,   Q U A N T I T A T I V E   F I N A N C E ,   P 1 ;   B a e   Y . ,   2 0 1 1 ,   P R O C   O F   T H E   5 T H   I N T ,   P 7 3 2 ;   B a i r d   C a r o l y n   H e l l e r ,   2 0 1 1 ,   S t r a t e g y   &   L e a d e r s h i p ,   V 3 9 ,   D O I   1 0 . 1 1 0 8 / 1 0 8 7 8 5 7 1 1 1 1 1 6 1 5 0 7 ;   B a r n e s   N . G . ,   2 0 0 8 ,   E X P L O R I N G   L I N K   C U S T O ;   B a u w e n s   L . ,   2 0 0 9 ,   H D B   F I N A N C I A L   T I M E   S ,   P 9 5 3 ,   D O I   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 7 1 2 9 7 - 8 _ 4 1 ;   B e n e v e n u t o   F ,   2 0 0 9 ,   A C M   T   M U L T I M   C O M P U T ,   V 5 ,   D O I   1 0 . 1 1 4 5 / 1 5 9 6 9 9 0 . 1 5 9 6 9 9 4 ;   B e r t h o n   P R ,   2 0 1 2 ,   B U S   H O R I Z O N S ,   V 5 5 ,   P 2 6 1 ,   D O I   1 0 . 1 0 1 6 / j . b u s h o r . 2 0 1 2 . 0 1 . 0 0 7 ;   B e r t h o n   P . R . ,   2 0 0 7 ,   S T R A T E G I C   D I R E C T I O N ,   V 2 3 ;   B o w s h e r   C G ,   2 0 0 7 ,   J   E C O N O M E T R I C S ,   V 1 4 1 ,   P 8 7 6 ,   D O I   1 0 . 1 0 1 6 / j . j e c o n o m . 2 0 0 6 . 1 1 . 0 0 7 ;   B r a n d   D i r e c t o r y ,   2 0 1 3 ,   B R A N D F I N A N C E   B A N K   5 0 ;   C a p o z z i   L o u i s ,   2 0 1 2 ,   C o r p o r a t e   C o m m u n i c a t i o n s ,   V 1 7 ,   D O I   1 0 . 1 1 0 8 / 1 3 5 6 3 2 8 1 2 1 1 2 5 3 5 6 6 ;   C h a   M ,   2 0 0 9 ,   I E E E   A C M   T   N E T W O R K ,   V 1 7 ,   P 1 3 5 7 ,   D O I   1 0 . 1 1 0 9 / T N E T . 2 0 0 8 . 2 0 1 1 3 5 8 ;   C h a t z o p o u l o u   G . ,   2 0 1 0 ,   I N F O C O M   I E E E   C   C O M P ;   C h a v e z - D e m o u l i n   V ,   2 0 0 5 ,   Q U A N T   F I N A N C ,   V 5 ,   P 2 2 7 ,   D O I   1 0 . 1 0 8 0 / 1 4 6 9 7 6 8 0 5 0 0 0 3 9 6 1 3 ;   C H O R N O B O Y   E S ,   1 9 8 8 ,   B I O L   C Y B E R N ,   V 5 9 ,   P 2 6 5 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 3 3 2 9 1 5 ;   C h u a   A Y K ,   2 0 1 3 ,   J   K N O W L   M A N A G ,   V 1 7 ,   P 2 3 7 ,   D O I   1 0 . 1 1 0 8 / 1 3 6 7 3 2 7 1 3 1 1 3 1 5 1 9 6 ;   C o n s t a n t   C o n t a c t ,   2 0 1 1 ,   R E P   C O N S   B E H   H I G H L   N ;   C r a n e   R . ,   P   N A T L   A C A D   S C I ,   V 1 0 5 ;   D a l e y   D . J . ,   2 0 0 3 ,   I N T R O   T H E O R Y   P O I N T   P ,   P 2 1 1 ;   D a s s i o s   A ,   2 0 1 2 ,   I N S U R   M A T H   E C O N ,   V 5 1 ,   P 9 3 ,   D O I   1 0 . 1 0 1 6 / j . i n s m a t h e c o . 2 0 1 2 . 0 3 . 0 0 6 ;   d e   V r i e s   L ,   2 0 1 2 ,   J   I N T E R A C T   M A R K ,   V 2 6 ,   P 8 3 ,   D O I   1 0 . 1 0 1 6 / j . i n t m a r . 2 0 1 2 . 0 1 . 0 0 3 ;   E g e s d a l   M . ,   2 0 1 0 ,   S I A M   U N D E R G R A D U A T E   R ,   V 3 ,   P 7 2 ;   E n g l e s   R F ,   2 0 0 3 ,   J   F I N A N C I A L   E C O N O M E T ,   V 1 ,   P 1 5 9 ,   D O I   1 0 . 1 0 9 3 / j j f i n e c / n b g 0 1 1 ;   E r i k   L . ,   2 0 1 0 ,   S E L F   E X C I T I N G   P O I N T ;   F i g u e i r e d o   F . ,   2 0 1 1 ,   P   4   A C M   I N T   C   W E B   S E ,   D O I   1 0 . 1 1 4 5 / 1 9 3 5 8 2 6 . 1 9 3 5 9 2 5 ;   G u y   I ,   2 0 1 0 ,   2 0 1 0   A C M   C O N F E R E N C E   O N   C O M P U T E R   S U P P O R T E D   C O O P E R A T I V E   W O R K ,   P 4 1 ;   H a r t e   D ,   2 0 1 0 ,   J   S T A T   S O F T W ,   V 3 5 ,   P 1 ;   H A W K E S   A G ,   1 9 7 1 ,   B I O M E T R I K A ,   V 5 8 ,   P 8 3 ,   D O I   1 0 . 2 3 0 7 / 2 3 3 4 3 1 9 ;   H A W K E S   A G ,   1 9 7 4 ,   J   A P P L   P R O B A B ,   V 1 1 ,   P 4 9 3 ,   D O I   1 0 . 2 3 0 7 / 3 2 1 2 6 9 3 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H o w i s o n   J . ,   2 0 1 1 ,   M O T I V A T I O N   V I S I B I L I T ;   H u b e r m a n   B A ,   2 0 0 8 ,   C O M P U T E R ,   V 4 1 ,   P 1 0 3 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 8 . 4 5 0 ;   H y n d m a n   R . J . ,   2 0 0 7 ,   A U T O M A T I C   T I M E   S E R I E ;   J a b e u r   L . B . ,   2 0 1 2 ,   P   2 7   A N N   A C M   S   A P P L ,   P 9 4 3 ;   J a l i l i a n   A . ,   2 0 1 2 ,   E T A S   M O D E L I N G   E A R T H Q ;   J a n s e n   B J ,   2 0 0 9 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 0 ,   P 2 1 6 9 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 1 4 9 ;   J o n g   G u n   L . ,   2 0 1 0 ,   W E B   I N T   I N T   A G   T E C H N ;   K o n g   S . ,   2 0 1 2 ,   P   3 5   I N T   A C M   S I G I R   C ,   P 1 1 2 9 ;   L a w r e n c e   M . ,   2 0 1 0 ,   J   P H Y S   A ,   V 4 3 ;   L e e   C ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 1 1 3 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 8 4 2 ;   L e e   J G ,   2 0 1 2 ,   N E U R O C O M P U T I N G ,   V 7 6 ,   P 1 3 4 ,   D O I   1 0 . 1 0 1 6 / j . n e u c o m . 2 0 1 1 . 0 4 . 0 4 0 ;   L e r m a n   K . ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 6 2 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 5 4 ;   L e s k o v e c   J ,   2 0 0 8 ,   P   1 7   I N T   C   W O R L D   W I D ,   P 6 9 5 ,   D O I   [ 1 0 . 1 1 4 5 / 1 3 6 7 4 9 7 . 1 3 6 7 5 9 1 ,   D O I   1 0 . 1 1 4 5 / 1 3 6 7 4 9 7 . 1 3 6 7 5 9 1 ] ;   L o b e r   W i l l i a m   B ,   2 0 1 1 ,   S e m i n   O n c o l   N u r s ,   V 2 7 ,   P 1 6 9 ,   D O I   1 0 . 1 0 1 6 / j . s o n c n . 2 0 1 1 . 0 4 . 0 0 2 ;   M i t c h e l l   L . ,   2 0 1 0 ,   J   P H Y S   A ,   V 4 3 ;   M o h l e r   G O ,   2 0 1 1 ,   J   A M   S T A T   A S S O C ,   V 1 0 6 ,   P 1 0 0 ,   D O I   1 0 . 1 1 9 8 / j a s a . 2 0 1 1 . a p 0 9 5 4 6 ;   N o f f   A . ,   S T A R B U C K S   F O R M U L A   S O ;   N o f f   A . ,   L E A R N I N G   S T A R B U C K S   1 ;   O G A T A   Y ,   1 9 8 4 ,   S T O C H   P R O C   A P P L ,   V 1 7 ,   P 3 3 7 ,   D O I   1 0 . 1 0 1 6 / 0 3 0 4 - 4 1 4 9 ( 8 4 ) 9 0 0 0 9 - 7 ;   O G A T A   Y ,   1 9 8 8 ,   J   A M   S T A T   A S S O C ,   V 8 3 ,   P 9 ,   D O I   1 0 . 2 3 0 7 / 2 2 8 8 9 1 4 ;   O Z A K I   T ,   1 9 7 9 ,   A N N   I   S T A T   M A T H ,   V 3 1 ,   P 1 4 5 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 4 8 0 2 7 2 ;   P e n g   R . D . ,   2 0 0 2 ,   M U L T I D I M E N S I O N A L   P O I ;   R u i   H . ,   2 0 1 2 ,   A C M   T   M A N A G E M E N T   I N F ,   V 2 ,   P 1 ;   R y b s k i   D . ,   2 0 1 2 ,   S C I   R E P O R T S ,   V 2 ;   S a d i k o v   E . ,   2 0 0 9 ,   I N T   A A A I   C   W E B L   S O C ;   S A S   H a r v a r d   B u s i n e s s   R e v i e w   A n a l y t i c   S e r v i c e s ,   2 0 1 0 ,   N E W   C O N V   T A K I N G S O C I A ;   S a s h i   C M ,   2 0 1 2 ,   M A N A G E   D E C I S ,   V 5 0 ,   P 2 5 3 ,   D O I   1 0 . 1 1 0 8 / 0 0 2 5 1 7 4 1 2 1 1 2 0 3 5 5 1 ;   S z a b o   G ,   2 0 1 0 ,   C O M M U N   A C M ,   V 5 3 ,   P 8 0 ,   D O I   1 0 . 1 1 4 5 / 1 7 8 7 2 3 4 . 1 7 8 7 2 5 4 ;   V e e n   A ,   2 0 0 8 ,   J   A M   S T A T   A S S O C ,   V 1 0 3 ,   P 6 1 4 ,   D O I   1 0 . 1 1 9 8 / 0 1 6 2 1 4 5 0 8 0 0 0 0 0 0 1 4 8 ;   W a n g   T ,   2 0 1 2 ,   A N N   I   S T A T   M A T H ,   V 6 4 ,   P 5 2 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 6 3 - 0 1 0 - 0 3 2 0 - 7 ;   W i l l i n g e r   W . ,   2 0 1 0 ,   S I G M E T R I C S   P E R F O R M   E ,   V 3 7 ,   P 4 9 	 6 6 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 1 6 7 - 9 2 3 6 	 1 8 7 3 - 5 7 9 7 	 	 D E C I S   S U P P O R T   S Y S T 	 D e c i s .   S u p p o r t   S y s t . 	 S E P 	 2 0 1 4 	 6 5 	 	 	 	 S I 	 	 5 9 	 6 8 	 	 1 0 . 1 0 1 6 / j . d s s . 2 0 1 4 . 0 5 . 0 0 3 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 A Q 1 M W 	 W O S : 0 0 0 3 4 2 5 4 6 5 0 0 0 0 7 	 	 
 J 	 T s a i ,   P H ;   L i n ,   Y J ;   O u ,   Y Z ;   C h u ,   E T H ;   L i u ,   J W S 	 	 	 	 T s a i ,   P e i - H s u a n ;   L i n ,   Y i n g - J u n ;   O u ,   Y i - Z o n g ;   C h u ,   E d w a r d   T .   - H . ;   L i u ,   J a n e   W .   S . 	 	 	 A   F r a m e w o r k   f o r   F u s i o n   o f   H u m a n   S e n s o r   a n d   P h y s i c a l   S e n s o r   D a t a 	 I E E E   T R A N S A C T I O N S   O N   S Y S T E M S   M A N   C Y B E R N E T I C S - S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   m u l t i p l e   s e n s o r   f u s i o n ;   s t a t i s t i c a l   d e t e c t i o n   a n d   e s t i m a t i o n 	 T A R G E T   D E T E C T I O N ;   D E C I S I O N   F U S I O N ;   M U L T I P L E ;   N E T W O R K S ;   S Y S T E M S ;   T R U T H 	 M a n y   d i s a s t e r   w a r n i n g   a n d   r e s p o n s e   s y s t e m s   c a n   i m p r o v e   t h e i r   s u r v e i l l a n c e   c o v e r a g e   o f   t h e   t h r e a t e n e d   a r e a   b y   s u p p l e m e n t i n g   i n   s i t u   a n d   r e m o t e   p h y s i c a l   s e n s o r   d a t a   w i t h   c r o w d s o u r c e d   h u m a n   s e n s o r   d a t a   c a p t u r e d   a n d   s e n t   b y   p e o p l e   i n   t h e   a r e a .   T h i s   p a p e r   p r e s e n t s   f u s i o n   m e t h o d s   w h i c h   e n a b l e   a   c r o w d s o u r c i n g   e n h a n c e d   s y s t e m   t o   u s e   h u m a n   s e n s o r   d a t a   a n d   p h y s i c a l   s e n s o r   d a t a   s y n e r g i s t i c a l l y   t o   i m p r o v e   i t s   s e n s o r   c o v e r a g e   a n d   t h e   q u a l i t y   o f   i t s   d e c i s i o n s .   T h e   m e t h o d s   a r e   b u i l t   o n   r e s u l t s   o f   c l a s s i c a l   s t a t i s t i c a l   d e t e c t i o n   a n d   e s t i m a t i o n   t h e o r y   a n d   u s e   v a l u e   f u s i o n   a n d   d e c i s i o n   f u s i o n   o f   h u m a n   s e n s o r   d a t a   a n d   p h y s i c a l   s e n s o r   d a t a   i n   a   c o h e r e n t   w a y .   T h e y   a r e   t h e   b u i l d i n g   b l o c k s   o f   a   c e n t r a l   f u s i o n   u n i t   i n   a   c r o w d s o u r c i n g   s u p p o r t   s y s t e m   f o r   d i s a s t e r   s u r v e i l l a n c e   a n d   e a r l y   w a r n i n g   a p p l i c a t i o n s . 	 [ T s a i ,   P e i - H s u a n ;   L i n ,   Y i n g - J u n ]   N a t l   C h e n g   K u n g   U n i v ,   I n s t   M f g   I n f o r m a t   &   S y s t ,   T a i n a n   7 0 1 0 1 ,   T a i w a n ;   [ O u ,   Y i - Z o n g ;   L i u ,   J a n e   W .   S . ]   A c a d   S i n i c a ,   I n s t   I n f o r m a t   S c i ,   T a i p e i   1 1 5 ,   T a i w a n ;   [ O u ,   Y i - Z o n g ;   L i u ,   J a n e   W .   S . ]   A c a d   S i n i c a ,   C t r   I n f o r m a t   T e c h n o l   I n n o v a t ,   T a i p e i   1 1 5 ,   T a i w a n ;   [ C h u ,   E d w a r d   T .   - H . ]   N a t l   Y u n l i n   U n i v   S c i   &   T e c h n o l ,   D e p t   C o m p   S c i   &   I n f o r m a t   E n g n ,   Y u n l i n   6 4 0 2 ,   T a i w a n 	 T s a i ,   P H   ( r e p r i n t   a u t h o r ) ,   N a t l   C h e n g   K u n g   U n i v ,   I n s t   M f g   I n f o r m a t   &   S y s t ,   T a i n a n   7 0 1 0 1 ,   T a i w a n . 	 p h t s a i @ m a i l . n c k u . e d u . t w ;   j i m 3 2 3 2 y a @ h o t m a i l . c o m ;   y z o u @ i i s . s i n i c a . e d u . t w ;   e d w a r d c h u @ y u n t e c h . e d u . t w ;   j a n e l i u @ i i s . s i n i c a . e d u . t w 	 	 	 O p e n   I n f o r m a t i o n   S y s t e m s   f o r   D i s a s t e r   M a n a g e m e n t   ( O p e n I S D M )   i n   t h e   S u s t a i n a b i l i t y   R e s e a r c h   P r o g r a m   o f   A c a d e m i a   S i n i c a ,   T a i w a n 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   O p e n   I n f o r m a t i o n   S y s t e m s   f o r   D i s a s t e r   M a n a g e m e n t   ( O p e n I S D M )   i n   t h e   S u s t a i n a b i l i t y   R e s e a r c h   P r o g r a m   o f   A c a d e m i a   S i n i c a ,   T a i w a n .   T h i s   p a p e r   w a s   r e c o m m e n d e d   b y   A s s o c i a t e   E d i t o r   A .   H .   T a n . 	 A g g a r w a l   C .   C . ,   2 0 1 3 ,   M A N A G I N G   M I N I N G   S E N S ,   P 2 3 7 ;   A g g a r w a l   C C ,   2 0 1 1 ,   S O C I A L   N E T W O R K   D A T A   A N A L Y T I C S ,   P 3 7 9 ;   B a r b i e r   G ,   2 0 1 2 ,   C O M P U T   M A T H   O R G A N   T H ,   V 1 8 ,   P 2 5 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 8 8 - 0 1 2 - 9 1 2 1 - 2 ;   B e a c h   A . ,   2 0 1 0 ,   P   1 1   W O R K S H   M O B   C O M P ,   P 6 0 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 3 4 5 8 3 . 1 7 3 4 5 9 9 ;   B e k t a s   T ,   2 0 0 6 ,   O M E G A - I N T   J   M A N A G E   S ,   V 3 4 ,   P 2 0 9 ,   D O I   1 0 . 1 0 1 6 / j . o m e g a . 2 0 0 4 . 1 0 . 0 0 4 ;   B o u l o s   M . N . K ,   2 0 1 1 ,   I N T   J   H E A L T H   G E O G R ,   V 1 0 ,   P 1 ;   C H A I R   Z ,   1 9 8 6 ,   I E E E   T   A E R O   E L E C   S Y S ,   V 2 2 ,   P 9 8 ,   D O I   1 0 . 1 1 0 9 / T A E S . 1 9 8 6 . 3 1 0 6 9 9 ;   C h u   E .   T . ,   2 0 1 3 ,   W I T   T   B U I L T   E N V ,   V 1 3 3 ,   P 2 0 5 ;   C h u   E .   T .   H . ,   2 0 1 1 ,   P   1 5   I N T   C   W I R   P E R S ,   P 2 1 ;   C h u   E .   T . - H . ,   2 0 1 1 ,   W I T   T   B U I L D   E N V ,   V 1 1 9 ,   P 2 5 7 ;   C l o u q u e u r   T ,   2 0 0 4 ,   I E E E   T   C O M P U T ,   V 5 3 ,   P 3 2 0 ,   D O I   1 0 . 1 1 0 9 / T C . 2 0 0 4 . 1 2 6 1 8 3 8 ;   C o x   L P ,   2 0 1 1 ,   I E E E   S E C U R   P R I V ,   V 9 ,   P 7 4 ,   D O I   1 0 . 1 1 0 9 / M S P . 2 0 1 1 . 1 4 5 ;   D ' C o s t a   A .   M . ,   2 0 0 3 ,   P   I E E E   M I L   C O M M   C   M I ,   V 1 ,   P 5 8 5 ;   D e m i r b a s   M . ,   2 0 1 0 ,   P   2 0 1 0   I E E E   I N T   S   W O ,   P 1 ;   F e r r e l l   J . ,   2 0 1 1 ,   C R O W D S O U R C I N G   S N O W S T ;   G a l l a g e r   R .   G . ,   2 0 1 2 ,   S T O C H A S T I C   P R O C E S S E S ;   G i l b e r t   P . ,   2 0 1 1 ,   P   9   A C M   C   E M B   N E T W   S ,   P 1 7 6 ;   G u p t a   M a y a   R . ,   2 0 1 0 ,   F o u n d a t i o n s   a n d   T r e n d s   i n   S i g n a l   P r o c e s s i n g ,   V 4 ,   D O I   1 0 . 1 5 6 1 / 2 0 0 0 0 0 0 0 3 4 ;   H s u e h   P . ,   2 0 0 9 ,   P   N A A C L   H L T   2 0 0 9   W O R ,   P 2 7 ,   D O I   1 0 . 3 1 1 5 / 1 5 6 4 1 3 1 . 1 5 6 4 1 3 7 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   K a t e n k a   N ,   2 0 0 8 ,   I E E E   T   S I G N A L   P R O C E S ,   V 5 6 ,   P 3 2 9 ,   D O I   1 0 . 1 1 0 9 / T S P . 2 0 0 7 . 9 0 0 1 6 5 ;   L e   J . ,   2 0 1 1 ,   E N S U R I N G   Q U A L I T Y   C R O ;   L e a s e   M . ,   2 0 1 1 ,   3   H U M   C O M P   W O R K S H ;   M o u s t a k i d e s   G V ,   2 0 1 2 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 5 8 ,   P 4 2 1 5 ,   D O I   1 0 . 1 1 0 9 / T I T . 2 0 1 2 . 2 1 8 4 2 6 0 ;   O n c a n   T . ,   2 0 0 8 ,   I N F O R M   S Y S T   O P E R   R E S ,   V 4 5 ,   P 1 2 3 ;   O p e n C a l a i s ,   2 0 0 8 ,   T O O L K   I N C   S T A T   O F   T H ;   R o s i   A . ,   2 0 1 1 ,   P E R V   C O M P   C O M M   W O R K S ,   P 5 2 5 ;   S a e n z   A . ,   2 0 1 1 ,   J A P A N S   N U C L   W O E S   G I V ;   S a h a n a ,   2 0 0 4 ,   O P   S O U R C   D I S   M A N   S Y S ;   S c o t t   C . ,   2 0 0 4 ,   N E Y M A N   P E A R S O N   C R I T E ;   T H O M O P O U L O S   S C A ,   1 9 8 7 ,   I E E E   T   A E R O   E L E C   S Y S ,   V 2 3 ,   P 6 4 4 ,   D O I   1 0 . 1 1 0 9 / T A E S . 1 9 8 7 . 3 1 0 8 5 8 ;   U s h a h i d i ,   2 0 0 8 ,   O P   S O U R C   P R O J   C R O W D ;   W a g n e r   C . ,   2 0 1 2 ,   P   I E E E   I N T   C   F U Z Z   S Y ,   P 1 ;   W a n g   D ,   2 0 1 2 ,   I P S N ' 1 2 :   P R O C E E D I N G S   O F   T H E   1 1 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   I N F O R M A T I O N   P R O C E S S I N G   I N   S E N S O R   N E T W O R K S ,   P 2 3 3 ;   W a n g   D . ,   2 0 1 1 ,   I N T   C   I N F   F U S ;   W i l l s k y   A .   S . ,   2 0 0 5 ,   M I T   6   4 3 2   C O U R S E   N O T ;   W o r d p r e s s ,   2 0 1 0 ,   D E V   S W I F T   R I V   V A L   C R ;   X i n g   G L ,   2 0 0 9 ,   F I F T E E N T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G   ( M O B I C O M   2 0 0 9 ) ,   P 1 5 7 ;   Y i n   X X ,   2 0 0 8 ,   I E E E   T   K N O W L   D A T A   E N ,   V 2 0 ,   P 7 9 6 ;   Z h u   D . ,   2 0 1 1 ,   A N A L   A S S E S S O R   B E H A V 	 4 0 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 2 1 6 8 - 2 2 1 6 	 	 	 I E E E   T   S Y S T   M A N   C Y - S 	 I E E E   T r a n s .   S y s t .   M a n   C y b e r n .   - S y s t . 	 S E P 	 2 0 1 4 	 4 4 	 9 	 	 	 	 	 1 2 4 8 	 1 2 6 1 	 	 1 0 . 1 1 0 9 / T S M C . 2 0 1 4 . 2 3 0 9 0 9 0 	 	 1 4 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   C o m p u t e r   S c i e n c e 	 A P 7 T C 	 W O S : 0 0 0 3 4 2 2 7 8 6 0 0 0 0 9 	 	 
 J 	 B i e r m a n n ,   F M ;   N a r o d i t s k i y ,   V ;   P o l u k a r o v ,   M ;   N g u y e n ,   T D ;   R o g e r s ,   A ;   J e n n i n g s ,   N R 	 	 	 	 B i e r m a n n ,   F l o r i a n   M . ;   N a r o d i t s k i y ,   V i c t o r ;   P o l u k a r o v ,   M a r i a ;   T r i - D u n g   N g u y e n ;   R o g e r s ,   A l e x ;   J e n n i n g s ,   N i c h o l a s   R . 	 	 	 T a s k   a s s i g n m e n t   w i t h   c o n t r o l l e d   a n d   a u t o n o m o u s   a g e n t s 	 M A T H E M A T I C A L   S O C I A L   S C I E N C E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 S T A B I L I T Y ;   M A R R I A G E 	 W e   a n a l y s e   a s s i g n m e n t   p r o b l e m s   i n   w h i c h   n o t   e v e r y   a g e n t   i s   c o n t r o l l e d   b y   t h e   c e n t r a l   p l a n n e r .   T h e   a u t o n o m o u s   a g e n t s   s e a r c h   f o r   v a c a n t   t a s k s   g u i d e d   b y   t h e i r   o w n   p r e f e r e n c e   o r d e r s   o v e r   a v a i l a b l e   t a s k s .   T h e   g o a l   o f   t h e   c e n t r a l   p l a n n e r   i s   t o   m a x i m i s e   t h e   t o t a l   v a l u e   o f   t h e   a s s i g n m e n t ,   t a k i n g   i n t o   a c c o u n t   t h e   b e h a v i o u r   o f   t h e   u n c o n t r o l l e d   a g e n t s .   S u c h   o p t i m i s a t i o n   p r o b l e m s   a r i s e   i n   n u m e r o u s   r e a l - w o r l d   s i t u a t i o n s ,   r a n g i n g   f r o m   o r g a n i s a t i o n a l   e c o n o m i c s   t o   " c r o w d s o u r c i n g "   a n d   d i s a s t e r   r e s p o n s e .   W e   s h o w   t h a t   t h e   p r o b l e m   f a c e d   b y   t h e   c e n t r a l   p l a n n e r   c a n   b e   t r a n s f o r m e d   i n t o   a   m i x e d   i n t e g e r   b i l e v e l   o p t i m i s a t i o n   p r o b l e m .   T h e n   w e   d e m o n s t r a t e   h o w   t h i s   p r o g r a m   c a n   b e   r e d u c e d   t o   a   d i s j o i n t   b i l i n e a r   p r o g r a m ,   w h i c h   i s   m u c h   m o r e   m a n a g e a b l e   c o m p u t a t i o n a l l y .   ( C )   2 0 1 4   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ B i e r m a n n ,   F l o r i a n   M . ]   T b i l i s i   S t a t e   U n i v ,   I n t   S c h   E c o n ,   T b i l i s i ,   R e p   o f   G e o r g i a ;   [ N a r o d i t s k i y ,   V i c t o r ;   P o l u k a r o v ,   M a r i a ;   R o g e r s ,   A l e x ;   J e n n i n g s ,   N i c h o l a s   R . ]   U n i v   S o u t h a m p t o n ,   S o u t h a m p t o n   S O 9   5 N H ,   H a n t s ,   E n g l a n d ;   [ T r i - D u n g   N g u y e n ]   U n i v   S o u t h a m p t o n ,   S c h   M a t h ,   S o u t h a m p t o n   S O 9   5 N H ,   H a n t s ,   E n g l a n d ;   [ T r i - D u n g   N g u y e n ]   U n i v   S o u t h a m p t o n ,   S c h   M a n a g e m e n t ,   S o u t h a m p t o n   S O 9   5 N H ,   H a n t s ,   E n g l a n d 	 B i e r m a n n ,   F M   ( r e p r i n t   a u t h o r ) ,   T b i l i s i   S t a t e   U n i v ,   I n t   S c h   E c o n ,   T b i l i s i ,   R e p   o f   G e o r g i a . 	 f . b i e r m a n n @ i s e t . g e ;   v n @ e c s . s o t o n . a c . u k ;   m p 3 @ e c s . s o t o n . a c . u k ;   T . D . N g u y e n @ s o t o n . a c . u k ;   a c r @ e c s . s o t o n . a c . u k ;   n r j @ e c s . s o t o n . a c . u k 	 	 	 	 	 A l a r i e   S ,   2 0 0 1 ,   M A T H   P R O G R A M ,   V 9 0 ,   P 3 7 3 ,   D O I   1 0 . 1 0 0 7 / P L 0 0 0 1 1 4 2 8 ;   A u d e t   C ,   1 9 9 9 ,   M A T H   P R O G R A M ,   V 8 5 ,   P 5 7 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 1 0 7 0 0 5 0 0 7 2 ;   B e n k l e r   Y . ,   2 0 0 6 ,   W E A L T H   N E T W O R K S   S O C I ;   B e r t s i m a s   D . ,   1 9 9 7 ,   I N T R O   L I N E A R   O P T I M I Z ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C R A W F O R D   V P ,   1 9 8 1 ,   E C O N O M E T R I C A ,   V 4 9 ,   P 4 3 7 ,   D O I   1 0 . 2 3 0 7 / 1 9 1 3 3 2 0 ;   D U B I N S   L E ,   1 9 8 1 ,   A M   M A T H   M O N ,   V 8 8 ,   P 4 8 5 ,   D O I   1 0 . 2 3 0 7 / 2 3 2 1 7 5 3 ;   G A L E   D ,   1 9 6 2 ,   A M   M A T H   M O N ,   V 6 9 ,   P 9 ,   D O I   1 0 . 2 3 0 7 / 2 3 1 2 7 2 6 ;   G i g e r e n z e r   G ,   1 9 9 6 ,   P S Y C H O L   R E V ,   V 1 0 3 ,   P 6 5 0 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 5 X . 1 0 3 . 4 . 6 5 0 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   K E L S O   A S ,   1 9 8 2 ,   E C O N O M E T R I C A ,   V 5 0 ,   P 1 4 8 3 ,   D O I   1 0 . 2 3 0 7 / 1 9 1 3 3 9 2 ;   K O O P M A N S   T C ,   1 9 5 7 ,   E C O N O M E T R I C A ,   V 2 5 ,   P 5 3 ,   D O I   1 0 . 2 3 0 7 / 1 9 0 7 7 4 2 ;   L u o   Z Q ,   1 9 9 6 ,   M A T H   P R O G R A M S   E Q U I L I ;   M a r c o t t e   P a t r i c e ,   2 0 0 5 ,   G R A P H   T H E O R Y   C O M B I N A ,   P 1 9 1 ,   D O I   1 0 . 1 0 0 7 / 0 - 3 8 7 - 2 5 5 9 2 - 3 _ 7 ;   M C V I T I E   D G ,   1 9 7 1 ,   C O M M U N   A C M ,   V 1 4 ,   P 4 8 6 ,   D O I   1 0 . 1 1 4 5 / 3 6 2 6 1 9 . 3 6 2 6 3 1 ;   N i k o l i c   I .   A . ,   2 0 0 6 ,   P U B L I C   P R I V A T E   P A R T N ;   R i i s   J .   A . ,   2 0 0 7 ,   H E R O   T A L E S   F A R   N ;   R o t h   A . ,   1 9 9 0 ,   2   S I D E D   M A T C H I N G   S T U ;   R O T H   A E ,   1 9 8 2 ,   M A T H   O P E R   R E S ,   V 7 ,   P 6 1 7 ,   D O I   1 0 . 1 2 8 7 / m o o r . 7 . 4 . 6 1 7 ;   R O T H   A E ,   1 9 9 3 ,   M A T H   O P E R   R E S ,   V 1 8 ,   P 8 0 3 ,   D O I   1 0 . 1 2 8 7 / m o o r . 1 8 . 4 . 8 0 3 ;   R u s s e l l   S . ,   2 0 0 3 ,   A R T I F I C I A L   I N T E L L I G E ;   S i m o n   H . ,   1 9 5 7 ,   M O D E L S   M A N   S O C I A L   R A ;   T e m p l e t o n   S .   K . ,   2 0 0 7 ,   S U N D A Y   T I M E S ;   T H I E U   T V ,   1 9 8 8 ,   M A T H   P R O G R A M ,   V 4 1 ,   P 2 4 9 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 5 8 0 7 6 6 ;   V A N D E V A T E   J H ,   1 9 8 9 ,   O P E R   R E S   L E T T ,   V 8 ,   P 1 4 7 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 7 - 6 3 7 7 ( 8 9 ) 9 0 0 4 1 - 2 ;   W H I T E   D J ,   1 9 9 2 ,   M A T H   P R O G R A M ,   V 5 6 ,   P 4 5 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 5 8 0 8 9 2 	 2 6 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 1 6 5 - 4 8 9 6 	 1 8 7 9 - 3 1 1 8 	 	 M A T H   S O C   S C I 	 M a t h .   S o c .   S c i . 	 S E P 	 2 0 1 4 	 7 1 	 	 	 	 	 	 1 1 6 	 1 2 1 	 	 1 0 . 1 0 1 6 / j . m a t h s o c s c i . 2 0 1 4 . 0 4 . 0 0 7 	 	 6 	 E c o n o m i c s ;   M a t h e m a t i c s ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   S o c i a l   S c i e n c e s ,   M a t h e m a t i c a l   M e t h o d s 	 B u s i n e s s   &   E c o n o m i c s ;   M a t h e m a t i c s ;   M a t h e m a t i c a l   M e t h o d s   I n   S o c i a l   S c i e n c e s 	 A P 7 Q E 	 W O S : 0 0 0 3 4 2 2 7 1 0 0 0 0 1 4 	 	 
 J 	 L e v i n e ,   S S ;   P r i e t u l a ,   M J 	 	 	 	 L e v i n e ,   S h e e n   S . ;   P r i e t u l a ,   M i c h a e l   J . 	 	 	 O p e n   C o l l a b o r a t i o n   f o r   I n n o v a t i o n :   P r i n c i p l e s   a n d   P e r f o r m a n c e 	 O R G A N I Z A T I O N   S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 i n n o v a t i o n ;   e n t r e p r e n e u r s h i p ;   s t r a t e g y ;   p e r f o r m a n c e ;   s i m u l a t i o n ;   m o d e l ;   s o f t w a r e ;   o p e n   s o u r c e ;   c r o w d s o u r c i n g ;   W i k i p e d i a ;   c o m m u n i t y ;   e c o n o m i c s ;   p s y c h o l o g y 	 O P E N   S O U R C E   S O F T W A R E ;   P U B L I C - G O O D S   E X P E R I M E N T S ;   W O R D - O F - M O U T H ;   I N T E L L E C T U A L   P R O P E R T Y ;   T R A N S A C T I V E   M E M O R Y ;   C O O P E R A T I O N ;   C O M M O N S ;   M O D E L ;   R E C I P R O C I T Y ;   C O M M U N I T Y 	 T h e   p r i n c i p l e s   o f   o p e n   c o l l a b o r a t i o n   f o r   i n n o v a t i o n   ( a n d   p r o d u c t i o n ) ,   o n c e   d i s t i n c t i v e   t o   o p e n   s o u r c e   s o f t w a r e ,   a r e   n o w   f o u n d   i n   m a n y   o t h e r   v e n t u r e s .   S o m e   o f   t h e s e   v e n t u r e s   a r e   I n t e r n e t   b a s e d :   f o r   e x a m p l e ,   W i k i p e d i a   a n d   o n l i n e   c o m m u n i t i e s .   O t h e r s   a r e   o f f - l i n e :   t h e y   a r e   f o u n d   i n   m e d i c i n e ,   s c i e n c e ,   a n d   e v e r y d a y   l i f e .   S u c h   v e n t u r e s   h a v e   b e e n   a f f e c t i n g   t r a d i t i o n a l   f i r m s   a n d   m a y   r e p r e s e n t   a   n e w   o r g a n i z a t i o n a l   f o r m .   D e s p i t e   t h e   i m p a c t   o f   s u c h   v e n t u r e s ,   t h e i r   o p e r a t i n g   p r i n c i p l e s   a n d   p e r f o r m a n c e   a r e   n o t   w e l l   u n d e r s t o o d .   H e r e   w e   d e f i n e   o p e n   c o l l a b o r a t i o n   ( O C ) ,   t h e   u n d e r l y i n g   s e t   o f   p r i n c i p l e s ,   a n d   p r o p o s e   t h a t   i t   i s   a   r o b u s t   e n g i n e   f o r   i n n o v a t i o n   a n d   p r o d u c t i o n .   F i r s t ,   w e   r e v i e w   m u l t i p l e   O C   v e n t u r e s   a n d   i d e n t i f y   f o u r   d e f i n i n g   p r i n c i p l e s .   I n   a l l   i n s t a n c e s ,   p a r t i c i p a n t s   c r e a t e   g o o d s   a n d   s e r v i c e s   o f   e c o n o m i c   v a l u e ,   t h e y   e x c h a n g e   a n d   r e u s e   e a c h   o t h e r ' s   w o r k ,   t h e y   l a b o r   p u r p o s e f u l l y   w i t h   j u s t   l o o s e   c o o r d i n a t i o n ,   a n d   t h e y   p e r m i t   a n y o n e   t o   c o n t r i b u t e   a n d   c o n s u m e .   T h e s e   p r i n c i p l e s   d i s t i n g u i s h   O C   f r o m   o t h e r   o r g a n i z a t i o n a l   f o r m s ,   s u c h   a s   f i r m s   o r   c o o p e r a t i v e s .   N e x t ,   w e   t u r n   t o   p e r f o r m a n c e .   T o   u n d e r s t a n d   t h e   p e r f o r m a n c e   o f   O C ,   w e   d e v e l o p   a   c o m p u t a t i o n a l   m o d e l ,   c o m b i n i n g   i n n o v a t i o n   t h e o r y   w i t h   r e c e n t   e v i d e n c e   o n   h u m a n   c o o p e r a t i o n .   W e   i d e n t i f y   a n d   i n v e s t i g a t e   t h r e e   e l e m e n t s   t h a t   a f f e c t   p e r f o r m a n c e :   t h e   c o o p e r a t i v e n e s s   o f   p a r t i c i p a n t s ,   t h e   d i v e r s i t y   o f   t h e i r   n e e d s ,   a n d   t h e   d e g r e e   t o   w h i c h   t h e   g o o d s   a r e   r i v a l   ( s u b t r a c t a b l e ) .   T h r o u g h   c o m p u t a t i o n a l   e x p e r i m e n t s ,   w e   f i n d   t h a t   O C   p e r f o r m s   w e l l   e v e n   i n   s e e m i n g l y   h a r s h   e n v i r o n m e n t s :   w h e n   c o o p e r a t o r s   a r e   a   m i n o r i t y ,   f r e e   r i d e r s   a r e   p r e s e n t ,   d i v e r s i t y   i s   l a c k i n g ,   o r   g o o d s   a r e   r i v a l .   W e   c o n c l u d e   t h a t   O C   i s   v i a b l e   a n d   l i k e l y   t o   e x p a n d   i n t o   n e w   d o m a i n s .   T h e   f i n d i n g s   a l s o   i n f o r m   t h e   d i s c u s s i o n   o n   n e w   o r g a n i z a t i o n a l   f o r m s ,   c o l l a b o r a t i v e   a n d   c o m m u n a l . 	 [ L e v i n e ,   S h e e n   S . ]   C o l u m b i a   U n i v ,   N e w   Y o r k ,   N Y   1 0 0 2 7   U S A ;   [ P r i e t u l a ,   M i c h a e l   J . ]   E m o r y   U n i v ,   A t l a n t a ,   G A   3 0 3 2 2   U S A 	 L e v i n e ,   S S   ( r e p r i n t   a u t h o r ) ,   C o l u m b i a   U n i v ,   N e w   Y o r k ,   N Y   1 0 0 2 7   U S A . 	 s s l e v i n e @ s s l e v i n e . c o m ;   p r i e t u l a @ b u s . e m o r y . e d u 	 	 	 	 	 A d l e r   P S ,   2 0 0 8 ,   O R G A N   S C I ,   V 1 9 ,   P 3 5 9 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 7 0 . 0 2 9 3 ;   A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   A l e x a n d e r   R .   D . ,   1 9 8 7 ,   B I O L   M O R A L   S Y S T E M S ;   A n t h o n y   D ,   2 0 0 9 ,   R A T I O N   S O C ,   V 2 1 ,   P 2 8 3 ,   D O I   1 0 . 1 1 7 7 / 1 0 4 3 4 6 3 1 0 9 3 3 6 8 0 4 ;   A x e l r o d   R . ,   1 9 8 4 ,   E V O L U T I O N   C O O P E R A T I O ;   B a g o z z i   R P ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 9 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 4 5 ;   B a k e r   W E ,   2 0 1 3 ,   W O R K I N G   P A P E R ;   B a l d w i n   C ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 1 2 9 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 4 . 0 1 2 ;   B a l d w i n   C ,   2 0 1 1 ,   O R G A N   S C I ,   V 2 2 ,   P 1 3 9 9 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 0 0 . 0 6 1 8 ;   B a l d w i n   C Y ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 1 1 6 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 4 6 ;   B a l d w i n   C Y ,   2 0 0 8 ,   I N D   C O R P   C H A N G E ,   V 1 7 ,   P 1 5 5 ,   D O I   1 0 . 1 0 9 3 / i c c / d t m 0 3 6 ;   B a m b a u e r   D e r e k   E . ,   2 0 1 1 ,   E M O R Y   L J ,   V 6 0 ,   P 1 0 5 1 ;   B e n k l e r   Y ,   2 0 0 4 ,   S C I E N C E ,   V 3 0 5 ,   P 1 1 1 0 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 0 0 5 2 6 ;   B e n k l e r   Y ,   2 0 0 6 ,   J   P O L I T   P H I L O S ,   V 1 4 ,   P 3 9 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 7 6 0 . 2 0 0 6 . 0 0 2 3 5 . x ;   B e n k l e r   Y ,   2 0 0 2 ,   Y A L E   L A W   J ,   V 1 1 2 ,   P 3 6 9 ,   D O I   1 0 . 2 3 0 7 / 1 5 6 2 2 4 7 ;   B e n k l e r   Y . ,   2 0 0 6 ,   W E A L T H   N E T W O R K S   S O C I ;   B e n k l e r   Y ,   2 0 1 1 ,   P E N G U I N   L E V I A T H A N   T R ;   B o l t o n   G E ,   2 0 0 5 ,   J   P U B L I C   E C O N ,   V 8 9 ,   P 1 4 5 7 ,   D O I   1 0 . 1 0 1 6 / j . j p u b e c o . 2 0 0 4 . 0 3 . 0 0 8 ;   B o n a c c o r s i   A ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 8 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 4 7 ;   B o n a c c o r s i   A ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 2 4 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 5 1 - 9 ;   B u r t o n   R M ,   2 0 1 1 ,   O R G A N   S C I ,   V 2 2 ,   P 1 1 9 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 0 0 . 0 6 3 5 ;   C a s a d e s u s - M a s a n e l l   R ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 7 2 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 4 8 ;   C h a t t e r j i   A K ,   2 0 1 2 ,   O R G A N   S C I ,   V 2 3 ,   P 9 7 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 1 0 . 0 6 7 5 ;   C h a u d h u r i   A ,   2 0 0 6 ,   E C   B ,   V 3 ,   P 1 ;   C h a u d h u r i   A ,   2 0 1 0 ,   E X P T   E C ,   V 1 4 ,   P 4 7 ;   C h e n   Y B ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 4 7 7 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 7 0 . 0 8 1 0 ;   C h e v a l i e r   J A ,   2 0 0 6 ,   J   M A R K E T I N G   R E S ,   V 4 3 ,   P 3 4 5 ,   D O I   1 0 . 1 5 0 9 / j m k r . 4 3 . 3 . 3 4 5 ;   C i n y a b u g u m a   M ,   2 0 0 5 ,   J   P U B L I C   E C O N ,   V 8 9 ,   P 1 4 2 1 ,   D O I   1 0 . 1 0 1 6 / j . j p u b e c o . 2 0 0 4 . 0 5 . 0 1 1 ;   C o o l e y   C H ,   1 9 0 9 ,   S O C I A L   O R G   S T U D Y   L A R ;   C o r n e s   R ,   1 9 8 6 ,   T H E O R Y   E X T E R N A L I T I E S ;   C O R N E S   R ,   1 9 8 4 ,   E C O N   J ,   V 9 4 ,   P 5 8 0 ,   D O I   1 0 . 2 3 0 7 / 2 2 3 2 7 0 4 ;   C y e r t   R .   M . ,   1 9 6 3 ,   B E H A V   T H E O R Y   F I R M ;   D a h l a n d e r   L ,   2 0 1 1 ,   O R G A N   S C I ,   V 2 2 ,   P 9 6 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 0 0 . 0 5 7 1 ;   D a h l a n d e r   L ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 1 2 4 3 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 9 . 0 1 1 ;   D a v i d   P A ,   1 9 9 8 ,   A M   E C O N   R E V ,   V 8 8 ,   P 1 5 ;   D a v i s   J P ,   2 0 0 7 ,   A C A D   M A N A G E   R E V ,   V 3 2 ,   P 4 8 0 ;   D A W E S   R M ,   1 9 8 8 ,   J   E C O N   P E R S P E C T ,   V 2 ,   P 1 8 7 ;   D A W E S   R M ,   1 9 7 7 ,   J   P E R S   S O C   P S Y C H O L ,   V 3 5 ,   P 1 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 3 5 . 1 . 1 ;   D I M A G G I O   P J ,   1 9 9 5 ,   A D M I N   S C I   Q U A R T ,   V 4 0 ,   P 3 9 1 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 7 9 0 ;   D r e b e r   A ,   2 0 0 8 ,   N A T U R E ,   V 4 5 2 ,   P 3 4 8 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 6 7 2 3 ;   E c o n o m i d e s   N ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 5 7 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 4 9 ;   E d g e w o r t h   F .   Y . ,   1 8 8 1 ,   M A T H   P S Y C H I C S   E S S A Y ;   E k e h   P e t e r   P . ,   1 9 7 4 ,   S O C I A L   E X C H A N G E   T H E O ;   E u r o p e a n   C o m m i s s i o n ,   2 0 0 6 ,   S T U D   E C   I M P   O P   S O U R C ;   F a r a j   S ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 2 ,   P 1 4 6 4 ;   F a r a j   S ,   2 0 1 1 ,   O R G A N   S C I ,   V 2 2 ,   P 1 2 2 4 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 0 0 . 0 6 1 4 ;   F e h r   E ,   2 0 0 3 ,   N A T U R E ,   V 4 2 5 ,   P 7 8 5 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 2 0 4 3 ;   F e h r   E ,   2 0 0 0 ,   A M   E C O N   R E V ,   V 9 0 ,   P 9 8 0 ,   D O I   1 0 . 1 2 5 7 / a e r . 9 0 . 4 . 9 8 0 ;   F e l l e r   J ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ;   F i s c h b a c h e r   U ,   2 0 0 1 ,   E C O N   L E T T ,   V 7 1 ,   P 3 9 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 5 - 1 7 6 5 ( 0 1 ) 0 0 3 9 4 - 9 ;   F i s c h b a c h e r   U ,   2 0 1 0 ,   A M   E C O N   R E V ,   V 1 0 0 ,   P 5 4 1 ,   D O I   1 0 . 1 2 5 7 / a e r . 1 0 0 . 1 . 5 4 1 ;   F o w l e r   J H ,   2 0 1 0 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 7 ,   P 5 3 3 4 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 9 1 3 1 4 9 1 0 7 ;   F r a n k e   N ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 9 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 9 - 0 ;   F r a n k e   N . ,   2 0 0 9 ,   J   M A R K E T I N G   M A N A G E M E ,   V 2 5 ,   P 2 7 3 ;   F r a n k e   N ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 5 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 0 6 - 9 ;   G a c h t e r   S ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 2 ,   P 1 5 1 0 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 4 7 4 4 ;   G a c h t e r   S ,   2 0 0 5 ,   J   E U R   E C O N   A S S O C ,   V 3 ,   P 3 0 3 ,   D O I   1 0 . 1 1 6 2 / j e e a . 2 0 0 5 . 3 . 2 - 3 . 3 0 3 ;   G h o s h   R A ,   1 9 9 8 ,   1   M O N D A Y ,   V 3 ;   G i l e s   J ,   2 0 0 5 ,   N A T U R E ,   V 4 3 8 ,   P 9 0 0 ,   D O I   1 0 . 1 0 3 8 / 4 3 8 9 0 0 a ;   G l a s s   R L ,   2 0 0 0 ,   I E E E   S O F T W A R E ,   V 1 7 ,   P 1 0 4 ;   G o o d m a n   J .   D a v i d ,   2 0 1 0 ,   N Y   T I M E S ;   G r e e n s t e i n   S ,   2 0 1 2 ,   A M   E C O N   R E V ,   V 1 0 2 ,   P 3 4 3 ,   D O I   1 0 . 1 2 5 7 / a e r . 1 0 2 . 3 . 3 4 3 ;   H a f l i g e r   S ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 8 0 ;   H A R D I N   G ,   1 9 6 8 ,   S C I E N C E ,   V 1 6 2 ,   P 1 2 4 3 ;   H a r h o f f   D ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 7 5 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 6 1 - 1 ;   H a r r i s o n   J R ,   2 0 0 7 ,   A C A D   M A N A G E   R E V ,   V 3 2 ,   P 1 2 2 9 ;   H e c k s c h e r   C C ,   2 0 0 6 ,   F I R M   C O L L A B O R A T I V E   C ;   H e l f t   M ,   2 0 0 7 ,   N Y   T I M E S ;   H e n k e l   J ,   2 0 0 9 ,   N A T   B I O T E C H N O L ,   V 2 7 ,   P 1 0 9 5 ,   D O I   1 0 . 1 0 3 8 / n b t 1 2 0 9 - 1 0 9 5 ;   H e n k e l   J ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 9 5 3 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 4 . 0 1 0 ;   H e n k e l   J ,   2 0 0 7 ,   M O L   S Y S T   B I O L ,   V 3 ,   D O I   1 0 . 1 0 3 8 / m s b 4 1 0 0 1 6 1 ;   H e s s   C ,   2 0 0 6 ,   U N D E R S T A N D I N G   K N O W L E ,   P 3 ;   H o l l i n g s h e a d   A B ,   2 0 0 1 ,   J   P E R S   S O C   P S Y C H O L ,   V 8 1 ,   P 1 0 8 0 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 8 1 . 6 . 1 0 8 0 ;   H o n g   L ,   2 0 0 4 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 1 ,   P 1 6 3 8 5 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 4 0 3 7 2 3 1 0 1 ;   I s h i i   K ,   2 0 0 8 ,   H U M   N A T U R E - I N T   B I O S ,   V 1 9 ,   P 1 3 8 ,   D O I   1 0 . 1 0 0 7 / s 1 2 1 1 0 - 0 0 8 - 9 0 3 4 - 4 ;   J a r v e n p a a   S L ,   2 0 0 8 ,   O R G A N   S C I ,   V 1 9 ,   P 2 6 0 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 7 0 . 0 3 1 5 ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   K e m p   M C ,   1 9 8 7 ,   N E W   P A L G R A V E   D I C T   E C ,   P 4 5 3 ;   K o l l o c k   P . ,   1 9 9 9 ,   C O M M U N I T I E S   C Y B E R S P A ,   P 2 2 0 ;   K u k   G ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 3 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 1 ;   K u m a r   V ,   2 0 1 1 ,   M A R K E T   S C I ,   V 3 0 ,   P 1 0 6 6 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 1 1 0 . 0 6 6 9 ;   K u r z b a n   R ,   2 0 0 5 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 2 ,   P 1 8 0 3 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 4 0 8 7 5 9 1 0 2 ;   L a k h a n i   K R ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 9 2 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 9 5 - 1 ;   L a n c a s h i r e   D ,   2 0 0 1 ,   1   M O N D A Y ,   V 6 ;   L a u t e r b a c h   D . ,   2 0 0 9 ,   I N T   C   C O M P   S C I   E N G   2 ,   V 4 ,   P 3 4 6 ;   L e a c h   J ,   2 0 0 4 ,   C O U R S E   P U B L I C   E C ;   L e e   G K ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 6 3 3 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 4 . 6 . 6 3 3 . 2 4 8 6 6 ;   L e n t h   R V ,   2 0 0 1 ,   A M   S T A T ,   V 5 5 ,   P 1 8 7 ,   D O I   1 0 . 1 1 9 8 / 0 0 0 3 1 3 0 0 1 3 1 7 0 9 8 1 4 9 ;   L e r n e r   J ,   2 0 0 2 ,   J   I N D   E C O N ,   V 5 0 ,   P 1 9 7 ;   L e r n e r   J ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ,   P 4 7 ;   L e s s i g   L ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ,   P 3 4 9 ;   L e v a t i   M V ,   2 0 0 9 ,   P U B L I C   C H O I C E ,   V 1 3 8 ,   P 1 9 9 ,   D O I   1 0 . 1 0 0 7 / s 1 1 1 2 7 - 0 0 8 - 9 3 4 6 - 2 ;   L e v i n e   S S ,   2 0 1 2 ,   O R G A N   S C I ,   V 2 3 ,   P 1 7 4 8 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 1 0 . 0 6 9 7 ;   L e v i n e   S S ,   2 0 0 1 ,   B E S T   P A P   P   E I C A R   I N T ,   P 8 6 ;   L E V I N T H A L   D ,   1 9 8 1 ,   J   E C O N   B E H A V   O R G A N ,   V 2 ,   P 3 0 7 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 7 - 2 6 8 1 ( 8 1 ) 9 0 0 1 2 - 3 ;   L e w i s   K ,   2 0 0 5 ,   O R G A N   S C I ,   V 1 6 ,   P 5 8 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 4 3 ;   L i n   T ,   2 0 1 2 ,   N Y   T I M E S ,   p D 1 ;   M a c C o r m a c k   A ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 1 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 2 ;   M a c y   M W ,   2 0 0 2 ,   A N N U   R E V   S O C I O L ,   V 2 8 ,   P 1 4 3 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . s o c . 2 8 . 1 1 0 6 0 1 . 1 4 1 1 1 7 ;   M a c y   M W ,   1 9 9 8 ,   A M   S O C I O L   R E V ,   V 6 3 ,   P 6 3 8 ,   D O I   1 0 . 2 3 0 7 / 2 6 5 7 3 3 2 ;   M a d e y   G ,   2 0 0 4 ,   F R E E   O P E N   S O U R C E   S O F ,   P 2 0 4 3 ;   M a d i s o n   M J ,   2 0 1 0 ,   C O R N E L L   L A W   R E V ,   V 9 5 ,   P 6 5 7 ;   M a r e n g o   L ,   2 0 1 0 ,   W O R K I N G   P A P E R ;   M a u r e r   S M ,   2 0 0 6 ,   H A N D B   I N F O   S Y S T ,   V 1 ,   P 2 8 5 ;   M e r t o n   R K ,   1 9 6 7 ,   T H E O R E T I C A L   S O C I O L O G ;   M o c k u s   A ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ,   P 1 6 3 ;   M o l m   L D ,   2 0 0 7 ,   A M   J   S O C I O L ,   V 1 1 3 ,   P 2 0 5 ,   D O I   1 0 . 1 0 8 6 / 5 1 7 9 0 0 ;   M u d a m b i   S M ,   2 0 1 0 ,   M I S   Q U A R T ,   V 3 4 ,   P 1 8 5 ;   N e l s o n   M R ,   2 0 0 7 ,   A N N   A M   A C A D   P O L I T   S S ,   V 6 1 1 ,   P 1 4 1 ,   D O I   1 0 . 1 1 7 7 / 0 0 0 2 7 1 6 2 0 6 2 9 8 7 2 7 ;   N e l s o n   R .   R . ,   1 9 8 2 ,   E V O L U T I O N A R Y   T H E O R Y ;   N o w a k   M A ,   1 9 9 8 ,   N A T U R E ,   V 3 9 3 ,   P 5 7 3 ,   D O I   1 0 . 1 0 3 8 / 3 1 2 2 5 ;   N o w a k   M A ,   2 0 0 7 ,   P   R   S O C   B ,   V 2 7 4 ,   P 6 0 5 ,   D O I   1 0 . 1 0 9 8 / r s p b . 2 0 0 6 . 0 1 2 5 ;   N o w a k   M a r t i n ,   2 0 1 1 ,   S U P E R   C O O P E R A T O R S   A L ;   O l s o n   M a n c u r ,   1 9 6 5 ,   L O G I C   C O L L E C T I V E   A C T ;   O ' M a h o n y   S ,   2 0 0 8 ,   A D M I N   S C I   Q U A R T ,   V 5 3 ,   P 4 2 2 ,   D O I   1 0 . 2 1 8 9 / a s q u . 5 3 . 3 . 4 2 2 ;   O ' M a h o n y   S ,   2 0 0 7 ,   A C A D   M A N A G E   J ,   V 5 0 ,   P 1 0 7 9 ;   O r t i   L ,   2 0 0 9 ,   P L O S   N E G L E C T   T R O P   D ,   V 3 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p n t d . 0 0 0 0 4 1 8 ;   O U C H I   W G ,   1 9 8 0 ,   A D M I N   S C I   Q U A R T ,   V 2 5 ,   P 1 2 9 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 2 2 3 1 ;   P a g e   T ,   2 0 0 5 ,   E C O N   J ,   V 1 1 5 ,   P 1 0 3 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 0 2 9 7 . 2 0 0 5 . 0 1 0 3 1 . x ;   P a r t h a   D ,   1 9 9 4 ,   R E S   P O L I C Y ,   V 2 3 ,   P 4 8 7 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 8 - 7 3 3 3 ( 9 4 ) 0 1 0 0 2 - 1 ;   P e r l r o t h   N ,   2 0 1 1 ,   F O R B E S ;   P L A T T   J ,   1 9 7 3 ,   A M   P S Y C H O L ,   V 2 8 ,   P 6 4 1 ,   D O I   1 0 . 1 0 3 7 / h 0 0 3 5 7 2 3 ;   P o p p e r   K . ,   1 9 6 3 ,   C O N J E C T U R E S   R E F U T A T I ;   P o p p e r   K . ,   1 9 5 9 ,   L O G I C   S C I   D I S C O V E R Y ;   P o r t e r   C E ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 1 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 7 0 . 0 7 6 5 ;   P r i e t u l a   M . ,   1 9 9 8 ,   S I M U L A T I N G   O R G   C O M P U ;   P r i e t u l a   M J ,   2 0 1 1 ,   S A G E   H D B   C O M P L E X I T Y ,   P 9 3 ;   R a i   A K ,   2 0 0 5 ,   I N T E L L E C T U A L   P R O P E R T ,   P 1 3 1 ,   D O I   D O I   1 0 . 1 2 8 7 / O R S C . 1 0 6 0 . 0 2 0 0 ;   R A U B   W ,   1 9 8 8 ,   J   M A T H   S O C I O L ,   V 1 3 ,   P 3 1 1 ;   R a y m o n d   E .   S . ,   1 9 9 9 ,   C A T H E D R A L   B A Z A A R ;   R o b i n s   R W ,   2 0 0 1 ,   J   P E R S   S O C   P S Y C H O L ,   V 8 0 ,   P 3 4 0 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 8 0 . 2 . 3 4 0 ;   R u s t a g i   D ,   2 0 1 0 ,   S C I E N C E ,   V 3 3 0 ,   P 9 6 1 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 9 3 6 4 9 ;   S a n t o s   F C ,   2 0 0 8 ,   N A T U R E ,   V 4 5 4 ,   P 2 1 3 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 6 9 4 0 ;   S c h e l l i n g   T C ,   1 9 7 8 ,   M I C R O M O T I V E S   M A C R O B E ;   S c o t t   S V ,   2 0 1 2 ,   A C C O U N T   O R G   S O C ,   V 3 7 ,   P 2 6 ,   D O I   1 0 . 1 0 1 6 / j . a o s . 2 0 1 1 . 1 1 . 0 0 5 ;   S E N   A K ,   1 9 7 7 ,   P H I L O S   P U B L I C   A F F ,   V 6 ,   P 3 1 7 ;   S h a h   S K ,   2 0 0 5 ,   O P E N   S O U R C E S   2   0   C O N ,   P 3 3 9 ;   S h a h   S K ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 0 0 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 3 ;   S h e n   C ,   2 0 1 1 ,   1   M O N D A Y ,   V 1 6 ;   S i m o n   H . A . ,   1 9 7 6 ,   M E T H O D   A P P R A I S A L   E C ,   P 1 2 9 ,   D O I   D O I   1 0 . 1 0 1 7 / C B 0 9 7 8 0 5 1 1 5 7 2 2 0 3 . 0 0 6 ;   S t r a n d b u r g   K J ,   2 0 0 9 ,   W O R K I N G   B O U N D A R I E S   I ,   P 8 5 ;   S U T T O N   R I ,   1 9 9 5 ,   A D M I N   S C I   Q U A R T ,   V 4 0 ,   P 3 7 1 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 7 8 8 ;   S y d o w   J ,   2 0 0 9 ,   A C A D   M A N A G E   R E V ,   V 3 4 ,   P 6 8 9 ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   V o l l a n   B ,   2 0 1 0 ,   S C I E N C E ,   V 3 3 0 ,   P 9 2 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 9 8 3 4 9 ;   v o n   H i p p e l   E ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ,   P 2 6 7 ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   V o n   N e u m a n n   J . ,   1 9 4 4 ,   T H E O R Y   G A M E S   E C   B E H A ;   v o n   H i p p e l   E ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 2 0 9 ;   v o n   K r o g h   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 4 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 5 4 - 4 ;   v o n   K r o g h   G ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 9 7 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 6 0 ;   v o n   K r o g h   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 2 1 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 5 0 - 7 ;   W a s k o   M M ,   2 0 0 5 ,   M I S   Q ,   V 2 9 ,   P 3 3 ;   W e b e r   J M ,   2 0 0 8 ,   J   P E R S   S O C   P S Y C H O L ,   V 9 5 ,   P 1 3 4 0 ,   D O I   [ 1 0 . 1 0 3 7 / a 0 0 1 2 4 5 4 ,   1 0 . 1 0 3 7 / a 0 0 1 3 3 2 6 ] ;   W e b e r   M a x ,   1 9 4 7 ,   T H E O R Y   S O C I A L   E C   O R G ;   W e b e r   S . ,   2 0 0 4 ,   S U C C E S S   O P E N   S O U R C E ;   W e g n e r   D .   M . ,   1 9 8 6 ,   T H E O R I E S   G R O U P   B E H A V ,   P 1 8 5 ;   W e s t   J ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 2 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 5 2 - 0 ;   W e s t   J ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ,   P 8 2 ;   W i l l e r   R ,   2 0 1 2 ,   A D M I N   S C I   Q U A R T ,   V 5 7 ,   P 1 1 9 ,   D O I   1 0 . 1 1 7 7 / 0 0 0 1 8 3 9 2 1 2 4 4 8 6 2 6 ;   Y a m a g i s h i   T ,   2 0 0 0 ,   S O C   P S Y C H O L   Q U A R T ,   V 6 3 ,   P 1 1 6 ,   D O I   1 0 . 2 3 0 7 / 2 6 9 5 8 8 7 ;   Z e i t l y n   D ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 2 8 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 5 3 - 2 ;   Z h a n g   X Q ,   2 0 1 1 ,   A M   E C O N   R E V ,   V 1 0 1 ,   P 1 6 0 1 ,   D O I   1 0 . 1 2 5 7 / a e r . 1 0 1 . 4 . 1 6 0 1 ;   Z i t t r a i n   J o n a t h a n ,   2 0 0 8 ,   F U T U R E   I N T E R N E T   S T O P 	 1 6 4 	 0 	 0 	 I N F O R M S 	 C A T O N S V I L L E 	 5 5 2 1   R E S E A R C H   P A R K   D R ,   S U I T E   2 0 0 ,   C A T O N S V I L L E ,   M D   2 1 2 2 8   U S A 	 1 0 4 7 - 7 0 3 9 	 	 	 O R G A N   S C I 	 O r g a n   S c i . 	 S E P - O C T 	 2 0 1 4 	 2 5 	 5 	 	 	 	 	 1 4 1 4 	 1 4 3 3 	 	 1 0 . 1 2 8 7 / o r s c . 2 0 1 3 . 0 8 7 2 	 	 2 0 	 M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 A P 7 U G 	 W O S : 0 0 0 3 4 2 2 8 1 7 0 0 0 0 7 	 	 
 J 	 W i l m a n ,   H R ;   E b e j e r ,   J P ;   S h i ,   J Y ;   D e a n e ,   C M ;   K n a p p ,   B 	 	 	 	 W i l m a n ,   H e n r y   R . ;   E b e j e r ,   J e a n - P a u l ;   S h i ,   J i y e ;   D e a n e ,   C h a r l o t t e   M . ;   K n a p p ,   B e r n h a r d 	 	 	 C r o w d s o u r c i n g   Y i e l d s   a   N e w   S t a n d a r d   f o r   K i n k s   i n   P r o t e i n   H e l i c e s 	 J O U R N A L   O F   C H E M I C A L   I N F O R M A T I O N   A N D   M O D E L I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 T R A N S M E M B R A N E   H E L I C E S ;   S E C O N D A R Y   S T R U C T U R E ;   M E M B R A N E - P R O T E I N S ;   A L P H A - H E L I C E S ;   P R O L I N E ;   G E O M E T R Y ;   R E S I D U E ;   H I N G E S ;   M O D E L ;   G A M E 	 K i n k s   a r e   f u n c t i o n a l l y   i m p o r t a n t   s t r u c t u r a l   f e a t u r e s   f o u n d   i n   t h e   a - h e l i c e s   o f   p r o t e i n s .   S t r u c t u r a l l y ,   t h e y   a r e   p o i n t s   a t   w h i c h   a   h e l i x   a b r u p t l y   c h a n g e s   d i r e c t i o n .   C u r r e n t   k i n k   d e f i n i t i o n   a n d   i d e n t i f i c a t i o n   m e t h o d s   o f t e n   d i s a g r e e   w i t h   o n e   a n o t h e r .   H e r e   w e   d e s c r i b e   a   c r o w d s o u r c i n g   a p p r o a c h   t o   o b t a i n   a   r e l i a b l e   g o l d   s t a n d a r d   s e t   o f   k i n k s .   U s i n g   a n   o n l i n e   i n t e r f a c e ,   w e   c o l l e c t e d   m o r e   t h a n   1 0   0 0 0   c l a s s i f i c a t i o n s   o f   3 0 0   h e l i c e s   i n t o   s t r a i g h t ,   c u r v e d ,   o r   k i n k e d   c a t e g o r i e s .   W e   f o u n d   t h a t   p a r t i c i p a n t s   w e r e   b e t t e r   a t   d i s c r i m i n a t i n g   b e t w e e n   s t r a i g h t   a n d   n o t - s t r a i g h t   h e l i c e s   t h a n   b e t w e e n   k i n k e d   a n d   c u r v e d   h e l i c e s .   S u r p r i s i n g l y ,   m o r e   o b v i o u s   k i n k s   w e r e   n o t   n e c e s s a r i l y   i d e n t i f i e d   a s   m o r e   l o c a l i z e d   w i t h i n   t h e   h e l i x .   W e   p r e s e n t   a   s e t   o f   2 5 2   h e l i c e s   w h e r e   m o r e   t h a n   5 0 %   o f   t h e   p a r t i c i p a n t s   a g r e e   o n   a   c l a s s i f i c a t i o n .   T h i s   s e t   c a n   b e   u s e d   a s   a   r e l i a b l e   g o l d   s t a n d a r d   t o   d e v e l o p ,   t r a i n ,   a n d   c o m p a r e   c o m p u t a t i o n a l   m e t h o d s .   A n   i n t e r a c t i v e   v i s u a l i z a t i o n   o f   t h e   r e s u l t s   i s   a v a i l a b l e   o n l i n e   a t   h t t p : / / o p i g . s t a t s . o x . a c . u k / w e b a p p s / a h a h / p h p / e x p e r i m e n t _ r e s u l t s . p h p . 	 [ W i l m a n ,   H e n r y   R . ;   E b e j e r ,   J e a n - P a u l ;   D e a n e ,   C h a r l o t t e   M . ;   K n a p p ,   B e r n h a r d ]   U n i v   O x f o r d ,   D e p t   S t a t ,   O x f o r d   O X 1   3 T G ,   E n g l a n d ;   [ S h i ,   J i y e ]   U C B   C e l l t e c h ,   S l o u g h   S L 1   3 W E ,   B e r k s ,   E n g l a n d ;   [ S h i ,   J i y e ]   C h i n e s e   A c a d   S c i ,   S h a n g h a i   I n s t   A p p l   P h y s ,   S h a n g h a i   2 0 1 8 0 0 ,   P e o p l e s   R   C h i n a 	 K n a p p ,   B   ( r e p r i n t   a u t h o r ) ,   U n i v   O x f o r d ,   D e p t   S t a t ,   1   S o u t h   P k   R d ,   O x f o r d   O X 1   3 T G ,   E n g l a n d . 	 k n a p p @ s t a t s . o x . a c . u k 	 	 	 E P S R C   [ E P / I 0 1 7 9 0 9 / 1 ] ;   K n o w l e d g e   E x c h a n g e   S e e d   F u n d   [ H E I F   5   K E I T   D 5 0 2 6 ] ;   I n d u s t r i a l   D o c t o r a t e   C e n t r e :   S y s t e m s   A p p r o a c h e s   t o   B i o m e d i c a l   S c i e n c e   [ E P S R C   E P / G 0 3 7 2 8 0 / 1 ] ;   U C B   C e l l t e c h ,   a   b r a n c h   o f   U C B   P h a r m a ,   S . A . ;   E C   M a r i e   C u r i e   I n i t i a l   T r a i n i n g   N e t w o r k   ' S c i e n t i f i c   T r a i n i n g   i n   A n t i m i c r o b i a l   R e s e a r c h   S t r a t e g i e s '   [ P I T N - G A - 2 0 0 9 - 2 3 8 4 9 0 ] 	 T h e   a u t h o r s   t h a n k   e v e r y o n e   w h o   p a r t i c i p a t e d   t o   p r o d u c e   t h e   d a t a   f o r   t h i s   s t u d y ,   i n c l u d i n g   7 7   p u p i l s   o f   N e u e   M i t t e l s c h u l e   R o t t e n m a n n   s u p e r v i s e d   b y   E .   W .   K n a p p   a n d   s t u d e n t s   f r o m   t h e   O x f o r d   D o c t o r a l   T r a i n i n g   C e n t r e s .   T h i s   w o r k   w a s   f u n d e d   b y   2 0 2 0   S c i e n c e   ( E P S R C   C r o s s - D i s c i p l i n e   I n t e r f a c e   P r o g r a m m e   E P / I 0 1 7 9 0 9 / 1 ) ;   t h e   K n o w l e d g e   E x c h a n g e   S e e d   F u n d   ( H E I F   5   K E I T   D 5 0 2 6 ) ;   I n d u s t r i a l   D o c t o r a t e   C e n t r e :   S y s t e m s   A p p r o a c h e s   t o   B i o m e d i c a l   S c i e n c e   ( E P S R C   E P / G 0 3 7 2 8 0 / 1 ) ;   U C B   C e l l t e c h ,   a   b r a n c h   o f   U C B   P h a r m a ,   S . A . ;   a n d   E C   M a r i e   C u r i e   I n i t i a l   T r a i n i n g   N e t w o r k   ' S c i e n t i f i c   T r a i n i n g   i n   A n t i m i c r o b i a l   R e s e a r c h   S t r a t e g i e s '   ( C o n t r a c t   P I T N - G A - 2 0 0 9 - 2 3 8 4 9 0 ) . 	 A l m e i d a   D E   D e ,   2 0 1 1 ,   S E L F   N O N S E L F ,   V 2 ,   P 4 3 ;   B a n s a l   M ,   2 0 0 0 ,   J   B I O M O L   S T R U C T   D Y N ,   V 1 7 ,   P 8 1 1 ;   B a r r e t t   P J ,   2 0 1 2 ,   S C I E N C E ,   V 3 3 6 ,   P 1 1 6 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 1 9 9 8 8 ;   B e t t i n e l l i   I ,   2 0 1 1 ,   C H E M M E D C H E M ,   V 6 ,   P 1 2 1 7 ,   D O I   1 0 . 1 0 0 2 / c m d c . 2 0 1 1 0 0 0 3 7 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   D e v i l l e   J ,   2 0 0 8 ,   P R O T E I N S ,   V 7 2 ,   P 1 1 5 ,   D O I   1 0 . 1 0 0 2 / p r o t . 2 1 8 7 9 ;   F o w l e r   P .   W . ,   2 0 1 3 ,   N A T   C O M M U N ,   V 4 ;   F r i s h m a n   D ,   1 9 9 5 ,   P R O T E I N S ,   V 2 3 ,   P 5 6 6 ,   D O I   1 0 . 1 0 0 2 / p r o t . 3 4 0 2 3 0 4 1 2 ;   G o o d   B M ,   2 0 1 3 ,   B I O I N F O R M A T I C S ,   V 2 9 ,   P 1 9 2 5 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t t 3 3 3 ;   H a l l   S E ,   2 0 0 9 ,   J   M O L   G R A P H   M O D E L ,   V 2 7 ,   P 9 4 4 ,   D O I   1 0 . 1 0 1 6 / j . j m g m . 2 0 0 9 . 0 2 . 0 0 4 ;   H i s c h e n h u b e r   B ,   2 0 1 3 ,   J   C O M P U T   C H E M ,   V 3 4 ,   P 1 8 6 2 ,   D O I   1 0 . 1 0 0 2 / j c c . 2 3 3 2 8 ;   H i s c h e n h u b e r   B ,   2 0 1 2 ,   C O M P U T   P H Y S   C O M M U N ,   V 1 8 3 ,   P 1 4 8 1 ,   D O I   1 0 . 1 0 1 6 / j . c p c . 2 0 1 2 . 0 2 . 0 0 8 ;   K A B S C H   W ,   1 9 8 3 ,   B I O P O L Y M E R S ,   V 2 2 ,   P 2 5 7 7 ,   D O I   1 0 . 1 0 0 2 / b i p . 3 6 0 2 2 1 2 1 1 ;   K A H N   P C ,   1 9 8 9 ,   C O M P U T   C H E M ,   V 1 3 ,   P 1 8 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 9 7 - 8 4 8 5 ( 8 9 ) 8 5 0 0 5 - 3 ;   K a w r y k o w   A ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 3 1 3 6 2 ;   K h a t i b   F ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 1 8 9 4 9 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 1 1 5 8 9 8 1 0 8 ;   K n e i s s l   B ,   2 0 1 1 ,   J   C H E M   I N F   M O D E L ,   V 5 1 ,   P 3 0 1 7 ,   D O I   1 0 . 1 0 2 1 / c i 2 0 0 2 7 8 w ;   K u f a r e v a   I ,   2 0 1 1 ,   S T R U C T U R E ,   V 1 9 ,   P 1 1 0 8 ,   D O I   1 0 . 1 0 1 6 / j . s t r . 2 0 1 1 . 0 5 . 0 1 2 ;   K u m a r   P ,   2 0 1 2 ,   J   B I O M O L   S T R U C T   D Y N ,   V 3 0 ,   P 7 7 3 ,   D O I   1 0 . 1 0 8 0 / 0 7 3 9 1 1 0 2 . 2 0 1 2 . 6 8 9 7 0 5 ;   L a n d   K ,   2 0 0 8 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 8 8 ,   P 1 6 8 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 8 . 1 3 4 9 0 . x ;   L a n g e l a a n   D N ,   2 0 1 0 ,   J   C H E M   I N F   M O D E L ,   V 5 0 ,   P 2 2 1 3 ,   D O I   1 0 . 1 0 2 1 / c i 1 0 0 3 2 4 n ;   L i n t o t t   C . ,   2 0 1 0 ,   M N R A S ,   V 1 4 ,   P 1 ;   L i n t o t t   C .   J . ,   2 0 0 8 ,   M O N   N O T   R   A S T R O N   S O C ,   V 1 2 ,   P 1 ;   L u e n g o - O r o z   M .   A . ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ;   M e r u e l o   A D ,   2 0 1 1 ,   P R O T E I N   S C I ,   V 2 0 ,   P 1 2 5 6 ,   D O I   1 0 . 1 0 0 2 / p r o . 6 5 3 ;   N g u y e n   T B ,   2 0 1 2 ,   R A D I O L O G Y ,   V 2 6 2 ,   P 8 2 4 ,   D O I   1 0 . 1 1 4 8 / r a d i o l . 1 1 1 1 0 9 3 8 ;   N i   Z L ,   2 0 1 1 ,   B I O C H E M I S T R Y - U S ,   V 5 0 ,   P 8 0 5 7 ,   D O I   1 0 . 1 0 2 1 / b i 2 0 0 5 7 3 t ;   N u g e n t   T ,   2 0 1 1 ,   J   S T R U C T   B I O L ,   V 1 7 9 ,   P 3 2 7 ;   P a r v a n t a   C l a u d i a ,   2 0 1 3 ,   H e a l t h   P r o m o t   P r a c t ,   V 1 4 ,   P 1 6 3 ,   D O I   1 0 . 1 1 7 7 / 1 5 2 4 8 3 9 9 1 2 4 7 0 6 5 4 ;   R   C o r e   T e a m ,   2 0 1 4 ,   R   L A N G   E N V   S T A T   C O M P ;   R a n a r d   B L ,   2 0 1 4 ,   J   G E N   I N T E R N   M E D ,   V 2 9 ,   P 1 8 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 6 0 6 - 0 1 3 - 2 5 3 6 - 8 ;   R e y   J ,   2 0 1 0 ,   J   S T R U C T   B I O L ,   V 1 7 1 ,   P 2 6 6 ,   D O I   1 0 . 1 0 1 6 / j . j s b . 2 0 1 0 . 0 5 . 0 0 2 ;   R i g o u t s o s   I ,   2 0 0 3 ,   N U C L E I C   A C I D S   R E S ,   V 3 1 ,   P 4 6 2 5 ,   D O I   1 0 . 1 0 9 3 / n a r / g k g 6 3 9 ;   S a n s o m   M S P ,   2 0 0 0 ,   T R E N D S   P H A R M A C O L   S C I ,   V 2 1 ,   P 4 4 5 ;   S c h w a r t z   T W ,   2 0 0 6 ,   A N N U   R E V   P H A R M A C O L ,   V 4 6 ,   P 4 8 1 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . p h a r m t o x . 4 6 . 1 2 0 6 0 4 . 1 4 1 2 1 8 ;   S e i f e r t   T . ,   2 0 1 4 ,   B I O I N F O R M A T I C S ,   D O I   [ 1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t u 0 9 6 ,   D O I   1 0 . 1 0 9 3 / B I O I N F 0 R - M A T I C S / B T U 0 9 6 ] ;   S k i b b a   R A ,   2 0 1 2 ,   M O N   N O T   R   A S T R O N   S O C ,   V 4 2 3 ,   P 1 4 8 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 1 2 . 2 0 9 7 2 . x ;   S U C H Y N A   T M ,   1 9 9 3 ,   N A T U R E ,   V 3 6 5 ,   P 8 4 7 ,   D O I   1 0 . 1 0 3 8 / 3 6 5 8 4 7 a 0 ;   S U G E T A   H ,   1 9 6 7 ,   B I O P O L Y M E R S ,   V 5 ,   P 6 7 3 ,   D O I   1 0 . 1 0 0 2 / b i p . 1 9 6 7 . 3 6 0 0 5 0 7 0 8 ;   T i e l e m a n   D P ,   2 0 0 1 ,   P R O T E I N S ,   V 4 4 ,   P 6 3 ,   D O I   1 0 . 1 0 0 2 / p r o t . 1 0 7 3 ;   V i s i e r s   I ,   2 0 0 0 ,   P R O T E I N   E N G ,   V 1 3 ,   P 6 0 3 ,   D O I   1 0 . 1 0 9 3 / p r o t e i n / 1 3 . 9 . 6 0 3 ;   W e b e r   M ,   2 0 1 2 ,   B B A - B I O M E M B R A N E S ,   V 1 8 1 8 ,   P 2 1 0 3 ,   D O I   1 0 . 1 0 1 6 / j . b b a m e m . 2 0 1 2 . 0 4 . 0 0 3 ;   W e r n e r   T ,   2 0 1 3 ,   J   C H E M   I N F   M O D E L ,   V 5 3 ,   P 2 9 2 6 ,   D O I   1 0 . 1 0 2 1 / c i 4 0 0 2 3 6 s ;   W i l m a n   H R ,   2 0 1 4 ,   P R O T E I N S ,   V 8 2 ,   P 1 9 6 0 ,   D O I   1 0 . 1 0 0 2 / p r o t . 2 4 5 5 0 ;   Y o h a n n a n   S ,   2 0 0 4 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 1 ,   P 9 5 9 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 3 0 6 0 7 7 1 0 1 	 4 5 	 0 	 0 	 A M E R   C H E M I C A L   S O C 	 W A S H I N G T O N 	 1 1 5 5   1 6 T H   S T ,   N W ,   W A S H I N G T O N ,   D C   2 0 0 3 6   U S A 	 1 5 4 9 - 9 5 9 6 	 1 5 4 9 - 9 6 0 X 	 	 J   C H E M   I N F   M O D E L 	 J .   C h e m   I n f .   M o d e l . 	 S E P 	 2 0 1 4 	 5 4 	 9 	 	 	 	 	 2 5 8 5 	 2 5 9 3 	 	 1 0 . 1 0 2 1 / c i 5 0 0 4 0 3 a 	 	 9 	 C h e m i s t r y ,   M e d i c i n a l ;   C h e m i s t r y ,   M u l t i d i s c i p l i n a r y ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 P h a r m a c o l o g y   &   P h a r m a c y ;   C h e m i s t r y ;   C o m p u t e r   S c i e n c e 	 A P 6 I H 	 W O S : 0 0 0 3 4 2 1 8 0 4 0 0 0 1 7 	 2 5 1 4 1 7 6 7 	 
 J 	 H u a n g ,   Y ;   S i n g h ,   P V ;   S r i n i v a s a n ,   K 	 	 	 	 H u a n g ,   Y a n ;   S i n g h ,   P a r a m   V i r ;   S r i n i v a s a n ,   K a n n a n 	 	 	 C r o w d s o u r c i n g   N e w   P r o d u c t   I d e a s   U n d e r   C o n s u m e r   L e a r n i n g 	 M A N A G E M E N T   S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   s t r u c t u r a l   m o d e l i n g ;   d y n a m i c   l e a r n i n g ;   h e t e r o g e n e i t y ;   e c o n o m e t r i c   a n a l y s e s ;   u t i l i t y 	 O P E N   S O U R C E   S O F T W A R E ;   B R A N D   C H O I C E ;   I N N O V A T I O N   C O N T E S T S ;   U N C E R T A I N T Y ;   O V E R C O N F I D E N C E ;   M O D E L ;   G E N E R A T I O N ;   Q U A L I T Y ;   S E A R C H ;   P R I C E 	 W e   p r o p o s e   a   d y n a m i c   s t r u c t u r a l   m o d e l   t h a t   i l l u m i n a t e s   t h e   e c o n o m i c   m e c h a n i s m s   s h a p i n g   i n d i v i d u a l   b e h a v i o r   a n d   o u t c o m e s   o n   c r o w d s o u r c e d   i d e a t i o n   p l a t f o r m s .   W e   e s t i m a t e   t h e   m o d e l   u s i n g   a   r i c h   d a t a   s e t   o b t a i n e d   f r o m   I d e a S t o r m . c o m ,   a   c r o w d s o u r c e d   i d e a t i o n   i n i t i a t i v e   a f f i l i a t e d   w i t h   D e l l .   W e   f i n d   t h a t ,   o n   I d e a S t o r m . c o m ,   i n d i v i d u a l s   t e n d   t o   s i g n i f i c a n t l y   u n d e r e s t i m a t e   t h e   c o s t s   t o   t h e   f i r m   f o r   i m p l e m e n t i n g   t h e i r   i d e a s   b u t   o v e r e s t i m a t e   t h e   p o t e n t i a l   o f   t h e i r   i d e a s   i n   t h e   i n i t i a l   s t a g e s   o f   t h e   c r o w d s o u r c i n g   p r o c e s s .   T h e r e f o r e ,   t h e   " i d e a   m a r k e t "   i s   i n i t i a l l y   o v e r c r o w d e d   w i t h   i d e a s   t h a t   a r e   l e s s   l i k e l y   t o   b e   i m p l e m e n t e d .   H o w e v e r ,   i n d i v i d u a l s   l e a r n   a b o u t   b o t h   t h e i r   a b i l i t i e s   t o   c o m e   u p   w i t h   h i g h - p o t e n t i a l   i d e a s   a s   w e l l   a s   t h e   c o s t   s t r u c t u r e   o f   t h e   f i r m   f r o m   p e e r   v o t i n g   o n   t h e i r   i d e a s   a n d   t h e   f i r m ' s   r e s p o n s e   t o   c o n t r i b u t e d   i d e a s .   W e   f i n d   t h a t   i n d i v i d u a l s   l e a r n   r a t h e r   q u i c k l y   a b o u t   t h e i r   a b i l i t i e s   t o   c o m e   u p   w i t h   h i g h - p o t e n t i a l   i d e a s ,   b u t   t h e   l e a r n i n g   r e g a r d i n g   t h e   f i r m ' s   c o s t   s t r u c t u r e   i s   q u i t e   s l o w .   C o n t r i b u t o r s   o f   l o w - p o t e n t i a l   i d e a s   e v e n t u a l l y   b e c o m e   i n a c t i v e ,   w h e r e a s   t h e   h i g h - p o t e n t i a l   i d e a   c o n t r i b u t o r s   r e m a i n   a c t i v e .   A s   a   r e s u l t ,   o v e r   t i m e ,   t h e   a v e r a g e   p o t e n t i a l   o f   g e n e r a t e d   i d e a s   i n c r e a s e s   w h i l e   t h e   n u m b e r   o f   i d e a s   c o n t r i b u t e d   d e c r e a s e s .   H e n c e ,   t h e   d e c r e a s e   i n   t h e   n u m b e r   o f   i d e a s   g e n e r a t e d   r e p r e s e n t s   m a r k e t   e f f i c i e n c y   t h r o u g h   s e l f - s e l e c t i o n   r a t h e r   t h a n   i t s   f a i l u r e .   T h r o u g h   c o u n t e r f a c t u a l s ,   w e   s h o w   t h a t   p r o v i d i n g   m o r e   p r e c i s e   c o s t   s i g n a l s   t o   i n d i v i d u a l s   c a n   a c c e l e r a t e   t h e   f i l t e r i n g   p r o c e s s .   I n c r e a s i n g   t h e   t o t a l   n u m b e r   o f   i d e a s   t o   r e s p o n d   t o   a n d   i m p r o v i n g   t h e   r e s p o n s e   s p e e d   w i l l   l e a d   t o   m o r e   i d e a   c o n t r i b u t i o n s .   H o w e v e r ,   f a i l u r e   t o   d i s t i n g u i s h   b e t w e e n   h i g h - a n d   l o w - p o t e n t i a l   i d e a s   a n d   b e t w e e n   h i g h - a n d   l o w - a b i l i t y   i d e a   g e n e r a t o r s   l e a d s   t o   t h e   o v e r a l l   p o t e n t i a l   o f   t h e   i d e a s   g e n e r a t e d   t o   d r o p   s i g n i f i c a n t l y . 	 [ H u a n g ,   Y a n ]   U n i v   M i c h i g a n ,   R o s s   S c h   B u s i n e s s ,   A n n   A r b o r ,   M I   4 8 1 0 9   U S A ;   [ S i n g h ,   P a r a m   V i r ;   S r i n i v a s a n ,   K a n n a n ]   C a r n e g i e   M e l l o n   U n i v ,   T e p p e r   S c h   B u s i n e s s ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A 	 H u a n g ,   Y   ( r e p r i n t   a u t h o r ) ,   U n i v   M i c h i g a n ,   R o s s   S c h   B u s i n e s s ,   A n n   A r b o r ,   M I   4 8 1 0 9   U S A . 	 y p h u a n g @ u m i c h . e d u ;   p s i d h u @ c m u . e d u ;   k a n n a n s @ a n d r e w . c m u . e d u 	 	 	 	 	 A L I C K E   M D ,   1 9 9 5 ,   J   P E R S   S O C   P S Y C H O L ,   V 6 8 ,   P 8 0 4 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 6 8 . 5 . 8 0 4 ;   A r c h a k   N ,   2 0 0 9 ,   I C I S   2 0 0 9   P ;   B a y u s   B L ,   2 0 1 3 ,   M A N A G E   S C I ,   V 5 9 ,   P 2 2 6 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 2 0 . 1 5 9 9 ;   B e r n a r d o   A E ,   2 0 0 1 ,   J   E C O N   M A N A G E   S T R A T ,   V 1 0 ,   P 3 0 1 ,   D O I   1 0 . 1 1 6 2 / 1 0 5 8 6 4 0 0 1 3 1 6 9 0 7 9 6 4 ;   B o u d r e a u   K J ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 8 4 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 2 2 ;   C a m e r e r   C ,   1 9 9 9 ,   A M   E C O N   R E V ,   V 8 9 ,   P 3 0 6 ,   D O I   1 0 . 1 2 5 7 / a e r . 8 9 . 1 . 3 0 6 ;   C r a w f o r d   G S ,   2 0 0 5 ,   E C O N O M E T R I C A ,   V 7 3 ,   P 1 1 3 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 0 2 6 2 . 2 0 0 5 . 0 0 6 1 2 . x ;   D e G r o o t   M .   H . ,   1 9 7 0 ,   O P T I M A L   S T A T   D E C I S I O ;   D i   G a n g i   P M ,   2 0 1 0 ,   M I S   Q   E X E C ,   V 9 ,   P 2 1 3 ;   D i P a l a n t i n o   D ,   2 0 0 9 ,   1 0 T H   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E   -   E C   2 0 0 9 ,   P 1 1 9 ;   D U N N I N G   D ,   1 9 8 9 ,   J   P E R S   S O C   P S Y C H O L ,   V 5 7 ,   P 1 0 8 2 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 5 7 . 6 . 1 0 8 2 ;   E r d e m   T ,   2 0 0 8 ,   M A R K E T   S C I ,   V 2 7 ,   P 1 1 1 1 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 8 0 . 0 3 6 2 ;   E r d e m   T ,   1 9 9 6 ,   M A R K E T   S C I ,   V 1 5 ,   P 1 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 5 . 1 . 1 ;   F r a n k e   N ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 9 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 9 - 0 ;   G a l a s s o   A ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 1 4 6 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 7 4 ;   G i r o t r a   K ,   2 0 1 0 ,   M A N A G E   S C I ,   V 5 6 ,   P 5 9 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 9 0 . 1 1 4 4 ;   H A U S E R   J R ,   1 9 7 7 ,   O P E R   R E S ,   V 2 5 ,   P 5 7 9 ,   D O I   1 0 . 1 2 8 7 / o p r e . 2 5 . 4 . 5 7 9 ;   H e r z   H ,   2 0 1 4 ,   G A M E   E C O N   B E H A V ,   V 8 3 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . g e b . 2 0 1 3 . 1 1 . 0 0 1 ;   H i l l   G ,   2 0 0 9 ,   U N D E R S T A N D I N G   C U S T O M ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   P 1 4 0 6 ;   H u a n g   Y ,   2 0 1 0 ,   I C I S   2 0 1 0   P ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   K u a n   J ,   2 0 0 1 ,   W O R K I N G   P A P E R ;   K u m a r   V ,   2 0 1 1 ,   M A R K E T   S C I ,   V 3 0 ,   P 1 0 6 6 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 1 1 0 . 0 6 6 9 ;   L a k h a n i   K .   R . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ,   P 3 ;   L a k h a n i   K R ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 9 2 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 9 5 - 1 ;   L i l i e n   G L ,   1 9 8 3 ,   M A R K E T I N G   D E C I S I O N   M ;   L o w e   R A ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 7 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 5 0 . 0 7 8 2 ;   L u   Y ,   2 0 1 1 ,   C   I N F   S Y S T   T E C H N   N O V ;   L U C A S   R E ,   1 9 7 6 ,   C A R N   R O C H   C O N F   S E R I E ,   V 1 ,   P 1 9 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 2 2 3 1 ( 7 6 ) 8 0 0 0 3 - 6 ;   M e h t a   N ,   2 0 0 3 ,   M A R K E T   S C I ,   V 2 2 ,   P 5 8 ,   D O I   1 0 . 1 2 8 7 / m k s c . 2 2 . 1 . 5 8 . 1 2 8 4 9 ;   M e h t a   N ,   2 0 0 8 ,   M A R K E T   S C I ,   V 2 7 ,   P 3 3 4 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 7 0 . 0 3 1 0 ;   M o   J ,   2 0 1 1 ,   W O R K S H   I N F   M A N   C S W I M ;   N a r a y a n a n   S ,   2 0 0 9 ,   M A R K E T   S C I ,   V 2 8 ,   P 4 2 4 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 8 0 . 0 4 1 0 ;   N e t z e r   O ,   2 0 0 8 ,   M A R K E T   S C I ,   V 2 7 ,   P 1 8 5 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 7 0 . 0 2 9 4 ;   S c h u l z e   A ,   2 0 0 8 ,   R E S   P O L I C Y ,   V 3 7 ,   P 1 7 4 2 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 8 . 0 7 . 0 0 2 ;   S V E N S O N   O ,   1 9 8 1 ,   A C T A   P S Y C H O L ,   V 4 7 ,   P 1 4 3 ,   D O I   1 0 . 1 0 1 6 / 0 0 0 1 - 6 9 1 8 ( 8 1 ) 9 0 0 0 5 - 6 ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   Z h a n g   J J ,   2 0 1 0 ,   M A R K E T   S C I ,   V 2 9 ,   P 3 1 5 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 9 0 . 0 5 0 0 	 3 9 	 0 	 0 	 I N F O R M S 	 C A T O N S V I L L E 	 5 5 2 1   R E S E A R C H   P A R K   D R ,   S U I T E   2 0 0 ,   C A T O N S V I L L E ,   M D   2 1 2 2 8   U S A 	 0 0 2 5 - 1 9 0 9 	 1 5 2 6 - 5 5 0 1 	 	 M A N A G E   S C I 	 M a n a g e .   S c i . 	 S E P 	 2 0 1 4 	 6 0 	 9 	 	 	 	 	 2 1 3 8 	 2 1 5 9 	 	 1 0 . 1 2 8 7 / m n s c . 2 0 1 3 . 1 8 7 9 	 	 2 2 	 M a n a g e m e n t ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 B u s i n e s s   &   E c o n o m i c s ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 A P 1 Z F 	 W O S : 0 0 0 3 4 1 8 7 0 5 0 0 0 0 2 	 	 
 J 	 W u ,   S ;   W a n g ,   X L ;   W a n g ,   S ;   Z h a n g ,   Z J ;   T u n g ,   A K H 	 	 	 	 W u ,   S a i ;   W a n g ,   X i a o l i ;   W a n g ,   S h e n g ;   Z h a n g ,   Z h e n j i e ;   T u n g ,   A n t h o n y   K .   H . 	 	 	 K - A n o n y m i t y   f o r   C r o w d s o u r c i n g   D a t a b a s e 	 I E E E   T R A N S A C T I O N S   O N   K N O W L E D G E   A N D   D A T A   E N G I N E E R I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   K - A n o n y m i t y ;   d a t a b a s e   p r i v a c y ;   d a t a   p a r t i t i o n 	 P R I V A C Y 	 I n   c r o w d s o u r c i n g   d a t a b a s e ,   h u m a n   o p e r a t o r s   a r e   e m b e d d e d   i n t o   t h e   d a t a b a s e   e n g i n e   a n d   c o l l a b o r a t e   w i t h   o t h e r   c o n v e n t i o n a l   d a t a b a s e   o p e r a t o r s   t o   p r o c e s s   t h e   q u e r i e s .   E a c h   h u m a n   o p e r a t o r   p u b l i s h e s   s m a l l   H I T s   ( H u m a n   I n t e l l i g e n t   T a s k )   t o   t h e   c r o w d s o u r c i n g   p l a t f o r m ,   w h i c h   c o n s i s t s   o f   a   s e t   o f   d a t a b a s e   r e c o r d s   a n d   c o r r e s p o n d i n g   q u e s t i o n s   f o r   h u m a n   w o r k e r s .   T h e   h u m a n   w o r k e r s   c o m p l e t e   t h e   H I T s   a n d   r e t u r n   t h e   r e s u l t s   t o   t h e   c r o w d s o u r c i n g   d a t a b a s e   f o r   f u r t h e r   p r o c e s s i n g .   I n   p r a c t i c e ,   p u b l i s h e d   r e c o r d s   i n   H I T s   m a y   c o n t a i n   s e n s i t i v e   a t t r i b u t e s ,   p r o b a b l y   c a u s i n g   p r i v a c y   l e a k a g e   s o   t h a t   m a l i c i o u s   w o r k e r s   c o u l d   l i n k   t h e m   w i t h   o t h e r   p u b l i c   d a t a b a s e s   t o   r e v e a l   i n d i v i d u a l   p r i v a t e   i n f o r m a t i o n .   C o n v e n t i o n a l   p r i v a c y   p r o t e c t i o n   t e c h n i q u e s ,   s u c h   a s   K - A n o n y m i t y ,   c a n   b e   a p p l i e d   t o   p a r t i a l l y   s o l v e   t h e   p r o b l e m .   H o w e v e r ,   a f t e r   g e n e r a l i z i n g   t h e   d a t a ,   t h e   r e s u l t   o f   s t a n d a r d   K - A n o n y m i t y   a l g o r i t h m s   m a y   r e n d e r   u n c o n t r o l l a b l e   i n f o r m a t i o n   l o s s   a n d   a f f e c t s   t h e   a c c u r a c y   o f   c r o w d s o u r c i n g .   I n   t h i s   p a p e r ,   w e   f i r s t   s t u d y   t h e   t r a d e o f f   b e t w e e n   t h e   p r i v a c y   a n d   a c c u r a c y   f o r   t h e   h u m a n   o p e r a t o r   w i t h i n   d a t a   a n o n y m i z a t i o n   p r o c e s s .   A   p r o b a b i l i t y   m o d e l   i s   p r o p o s e d   t o   e s t i m a t e   t h e   l o w e r   b o u n d   a n d   u p p e r   b o u n d   o f   t h e   a c c u r a c y   f o r   g e n e r a l   K - A n o n y m i t y   a p p r o a c h e s .   W e   s h o w   t h a t   s e a r c h i n g   t h e   o p t i m a l   a n o n y m i t y   a p p r o a c h   i s   N P - H a r d   a n d   o n l y   h e u r i s t i c   a p p r o a c h   i s   a v a i l a b l e .   T h e   s e c o n d   c o n t r i b u t i o n   o f   t h e   p a p e r   i s   a   g e n e r a l   f e e d b a c k - b a s e d   K - A n o n y m i t y   s c h e m e .   I n   o u r   s c h e m e ,   s y n t h e t i c   s a m p l e s   a r e   p u b l i s h e d   t o   t h e   h u m a n   w o r k e r s ,   t h e   r e s u l t s   o f   w h i c h   a r e   u s e d   t o   g u i d e   t h e   s e l e c t i o n   o n   a n o n y m i t y   s t r a t e g i e s .   W e   a p p l y   t h e   s c h e m e   o n   M o n d r i a n   a l g o r i t h m   b y   a d a p t i v e l y   c u t t i n g   t h e   d i m e n s i o n s   b a s e d   o n   o u r   f e e d b a c k   r e s u l t s   o n   t h e   s y n t h e t i c   s a m p l e s .   W e   e v a l u a t e   t h e   p e r f o r m a n c e   o f   t h e   f e e d b a c k - b a s e d   a p p r o a c h   o n   U .   S .   c e n s u s   d a t a s e t ,   a n d   s h o w   t h a t   g i v e n   a   p r e d e f i n e d   K ,   o u r   p r o p o s a l   o u t p e r f o r m s   s t a n d a r d   K - A n o n y m i t y   a p p r o a c h e s   o n   r e t a i n i n g   t h e   e f f e c t i v e n e s s   o f   c r o w d s o u r c i n g . 	 [ W u ,   S a i ]   Z h e j i a n g   U n i v ,   C o l l   C o m p   S c i ,   H a n g z h o u   3 1 0 0 2 7 ,   Z h e j i a n g ,   P e o p l e s   R   C h i n a ;   [ W a n g ,   X i a o l i ;   W a n g ,   S h e n g ;   T u n g ,   A n t h o n y   K .   H . ]   N a t l   U n i v   S i n g a p o r e ,   S c h   C o m p ,   S i n g a p o r e   1 1 7 4 1 7 ,   S i n g a p o r e ;   [ Z h a n g ,   Z h e n j i e ]   I l l i n o i s   S i n g a p o r e   P t e   L t d ,   A d v   D i g i t a l   S c i   C t r ,   S i n g a p o r e   1 3 8 6 3 2 ,   S i n g a p o r e 	 W u ,   S   ( r e p r i n t   a u t h o r ) ,   Z h e j i a n g   U n i v ,   C o l l   C o m p   S c i ,   H a n g z h o u   3 1 0 0 2 7 ,   Z h e j i a n g ,   P e o p l e s   R   C h i n a . 	 w u s a i @ z j u . e d u . c n ;   x i a o l i @ c o m p . n u s . e d u . s g ;   w a n g s h @ c o m p . n u s . e d u . s g ;   z h e n j i e @ a d s c . c o m . s g ;   a t u n g @ c o m p . n u s . e d u . s g 	 	 	 N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 6 1 2 0 2 0 4 7 ] ;   S i n g a p o r e   N R F   u n d e r   i t s   I R C @ S G   F u n d i n g   I n i t i a t i v e 	 T h e   w o r k   o f   S .   W u   w a s   s u p p o r t e d   b y   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   ( G r a n t   6 1 2 0 2 0 4 7 ) .   T h e   w o r k   o f   S .   W u ,   X .   W a n g ,   a n d   A .   K .   H .   T u n g   w a s   c a r r i e d   o u t   a t   t h e   S e S a M e   C e n t r e .   I t   w a s   s u p p o r t e d   b y   t h e   S i n g a p o r e   N R F   u n d e r   i t s   I R C @ S G   F u n d i n g   I n i t i a t i v e   a n d   a d m i n i s t e r e d   b y   t h e   I D M P O . 	 A g g a r w a l   G ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 3 6 3 ,   P 2 4 6 ;   A g g a r w a l   G . ,   2 0 0 5 ,   J   P R I V A C Y   T E C H N O   N O V ;   A k k a y a   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 9 5 ;   A r a s u   A . ,   2 0 1 1 ,   P   V L D B ,   V 4 ,   P 1 4 1 8 ;   B a y a r d o   R J ,   2 0 0 5 ,   P R O C   I N T   C O N F   D A T A ,   P 2 1 7 ;   C i r i a n i   V . ,   2 0 0 7 ,   A D V   I N F O R M   S E C U R I T Y ,   V 3 3 ,   P 3 2 3 ;   F e n g   A . ,   2 0 1 1 ,   P V L D B ,   V 4 ,   P 1 3 8 7 ;   G u o   S ,   2 0 1 2 ,   P   2 0 1 2   I N T   C   M A N   D A T ,   P 3 8 5 ;   H o r t o n   J . J . ,   2 0 1 0 ,   P   1 1   A C M   C   E L   C O M M ,   P 2 0 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 0 7 3 4 2 . 1 8 0 7 3 7 6 ;   I y e n g a r   V .   S . ,   2 0 0 2 ,   P   8   A C M   S I G K D D   I N T   C ,   P 2 7 9 ;   L e d l i e   J o n a t h a n ,   2 0 0 9 ,   O p e r a t i n g   S y s t e m s   R e v i e w ,   V 4 3 ,   D O I   1 0 . 1 1 4 5 / 1 7 1 3 2 5 4 . 1 7 1 3 2 7 3 ;   L e F e v r e   K . ,   2 0 0 6 ,   P   2 2   I N T   C   D A T   E N G   I ,   P 2 5 ;   L e F e v r e   K . ,   2 0 0 5 ,   P   A C M   S I G M O D   I N T   C   M ,   P 4 9 ,   D O I   1 0 . 1 1 4 5 / 1 0 6 6 1 5 7 . 1 0 6 6 1 6 4 ;   L i u   X . ,   2 0 1 2 ,   P   V L D B   E N D O W M E N T ,   V 5 ,   P 1 0 4 0 ;   M a c h a n a v a j j h a l a   A ,   2 0 0 7 ,   A C M   T   K N O W L   D I S C O V   D ,   V 1 ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 2 1 7 2 9 9 . 1 2 1 7 3 0 2 ;   M a r c u s   A . ,   2 0 1 1 ,   P   A C M   S I G M O D   A T H   G R E ,   P 1 3 1 5 ;   M a r c u s   A . ,   2 0 1 1 ,   P   5   C I D R ,   P 2 1 1 ;   M a r c u s   A . ,   2 0 1 1 ,   P   V L D B   E N D O W ,   V 5 ,   P 1 3 ;   M a s o n   W . ,   2 0 1 0 ,   S I G K D D   E X P L O R   N E W S L ,   V 1 1 ,   P 1 0 0 ;   M c G r a w   I . ,   2 0 1 2 ,   T H E S I S   M I T   C S A I L   C A M ;   M e y e r s o n   A . ,   2 0 0 4 ,   P   2 3   A C M   S I G M O D   S I G A ,   P 2 2 3 ,   D O I   1 0 . 1 1 4 5 / 1 0 5 5 5 5 8 . 1 0 5 5 5 9 1 ;   P a r a m e s w a r a n   A . ,   2 0 1 1 ,   P   V L D B   E N D ,   V 4 ,   P 2 6 7 ;   P a r a m e s w a r a n   A .   G . ,   2 0 1 1 ,   P   5   B I E N N   C   I N N   D A T ,   P 1 6 0 ;   P a r k   H ,   2 0 1 0 ,   I N F O R M   S Y S T ,   V 3 5 ,   P 9 3 3 ,   D O I   1 0 . 1 0 1 6 / j . i s . 2 0 1 0 . 0 6 . 0 0 2 ;   S o r o k i n   A . ,   2 0 0 8 ,   P   I E E E   C V P R W   A N C H   A K ;   S w e e n e y   L ,   2 0 0 2 ,   I N T   J   U N C E R T A I N   F U Z Z ,   V 1 0 ,   P 5 5 7 ,   D O I   1 0 . 1 1 4 2 / S 0 2 1 8 4 8 8 5 0 2 0 0 1 6 4 8 ;   S w e e n e y   L ,   2 0 0 2 ,   I N T   J   U N C E R T A I N   F U Z Z ,   V 1 0 ,   P 5 7 1 ,   D O I   1 0 . 1 1 4 2 / S 0 2 1 8 4 8 8 5 0 2 0 0 1 6 5 X 	 2 7 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 4 1 - 4 3 4 7 	 1 5 5 8 - 2 1 9 1 	 	 I E E E   T   K N O W L   D A T A   E N 	 I E E E   T r a n s .   K n o w l .   D a t a   E n g . 	 S E P 	 2 0 1 4 	 2 6 	 9 	 	 	 	 	 2 2 0 7 	 2 2 2 1 	 	 1 0 . 1 1 0 9 / T K D E . 2 0 1 3 . 9 3 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 A O 7 Z G 	 W O S : 0 0 0 3 4 1 5 7 1 1 0 0 0 1 0 	 	 
 J 	 W a r f ,   B 	 	 	 	 W a r f ,   B a r n e y 	 	 	 C r o w d s o u r c i n g   G e o g r a p h i c   K n o w l e d g e :   V o l u n t e e r e d   G e o g r a p h i c   I n f o r m a t i o n   ( V G I )   i n   T h e o r y   a n d   P r a c t i c e 	 J O U R N A L   O F   R E G I O N A L   S C I E N C E 	 	 	 E n g l i s h 	 B o o k   R e v i e w 	 	 	 	 	 	 	 	 	 [ W a r f ,   B a r n e y ]   U n i v   K a n s a s ,   D e p t   G e o g ,   L a w r e n c e ,   K S   6 6 0 4 5   U S A 	 W a r f ,   B   ( r e p r i n t   a u t h o r ) ,   U n i v   K a n s a s ,   D e p t   G e o g ,   L a w r e n c e ,   K S   6 6 0 4 5   U S A . 	 	 	 	 	 	 S U I   D ,   2 0 1 3 ,   C R O W D S O U R C I N G   G E O G R A 	 1 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 0 2 2 - 4 1 4 6 	 1 4 6 7 - 9 7 8 7 	 	 J   R E G I O N A L   S C I 	 J .   R e g .   S c i . 	 S E P 	 2 0 1 4 	 5 4 	 4 	 	 	 S I 	 	 7 2 4 	 7 2 6 	 	 	 	 3 	 E c o n o m i c s ;   E n v i r o n m e n t a l   S t u d i e s ;   P l a n n i n g   &   D e v e l o p m e n t 	 B u s i n e s s   &   E c o n o m i c s ;   E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y ;   P u b l i c   A d m i n i s t r a t i o n 	 A O 9 O C 	 W O S : 0 0 0 3 4 1 6 8 4 0 0 0 0 1 5 	 	 
 J 	 E r t e k i n ,   S ;   R u d i n ,   C ;   H i r s h ,   H 	 	 	 	 E r t e k i n ,   S e y d a ;   R u d i n ,   C y n t h i a ;   H i r s h ,   H a y m 	 	 	 A p p r o x i m a t i n g   t h e   c r o w d 	 D A T A   M I N I N G   A N D   K N O W L E D G E   D I S C O V E R Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   W i s d o m   o f   c r o w d s ;   L a b e l e r   q u a l i t y   e s t i m a t i o n ;   A p p r o x i m a t i n g   t h e   c r o w d ;   A g g r e g a t i n g   o p i n i o n s 	 	 T h e   p r o b l e m   o f   " a p p r o x i m a t i n g   t h e   c r o w d "   i s   t h a t   o f   e s t i m a t i n g   t h e   c r o w d ' s   m a j o r i t y   o p i n i o n   b y   q u e r y i n g   o n l y   a   s u b s e t   o f   i t .   A l g o r i t h m s   t h a t   a p p r o x i m a t e   t h e   c r o w d   c a n   i n t e l l i g e n t l y   s t r e t c h   a   l i m i t e d   b u d g e t   f o r   a   c r o w d s o u r c i n g   t a s k .   W e   p r e s e n t   a n   a l g o r i t h m ,   " C r o w d S e n s e , "   t h a t   w o r k s   i n   a n   o n l i n e   f a s h i o n   w h e r e   i t e m s   c o m e   o n e   a t   a   t i m e .   C r o w d S e n s e   d y n a m i c a l l y   s a m p l e s   s u b s e t s   o f   t h e   c r o w d   b a s e d   o n   a n   e x p l o r a t i o n / e x p l o i t a t i o n   c r i t e r i o n .   T h e   a l g o r i t h m   p r o d u c e s   a   w e i g h t e d   c o m b i n a t i o n   o f   t h e   s u b s e t ' s   v o t e s   t h a t   a p p r o x i m a t e s   t h e   c r o w d ' s   o p i n i o n .   W e   t h e n   i n t r o d u c e   t w o   v a r i a t i o n s   o f   C r o w d S e n s e   t h a t   m a k e   v a r i o u s   d i s t r i b u t i o n a l   a p p r o x i m a t i o n s   t o   h a n d l e   d i s t i n c t   c r o w d   c h a r a c t e r i s t i c s .   I n   p a r t i c u l a r ,   t h e   f i r s t   a l g o r i t h m   m a k e s   a   s t a t i s t i c a l   i n d e p e n d e n c e   a p p r o x i m a t i o n   o f   t h e   l a b e l e r s   f o r   l a r g e   c r o w d s ,   w h e r e a s   t h e   s e c o n d   a l g o r i t h m   f i n d s   a   l o w e r   b o u n d   o n   h o w   o f t e n   t h e   c u r r e n t   s u b c r o w d   a g r e e s   w i t h   t h e   c r o w d ' s   m a j o r i t y   v o t e .   O u r   e x p e r i m e n t s   o n   C r o w d S e n s e   a n d   s e v e r a l   b a s e l i n e s   d e m o n s t r a t e   t h a t   w e   c a n   r e l i a b l y   a p p r o x i m a t e   t h e   e n t i r e   c r o w d ' s   v o t e   b y   c o l l e c t i n g   o p i n i o n s   f r o m   a   r e p r e s e n t a t i v e   s u b s e t   o f   t h e   c r o w d . 	 [ E r t e k i n ,   S e y d a ;   R u d i n ,   C y n t h i a ]   M I T ,   A l f r e d   P   S l o a n   S c h   M a n a g e m e n t ,   M I T   C S A I L ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A ;   [ E r t e k i n ,   S e y d a ;   R u d i n ,   C y n t h i a ]   M I T ,   C t r   C o l l e c t   I n t e l l i g e n c e ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A ;   [ H i r s h ,   H a y m ]   C o r n e l l   U n i v ,   D e p t   C o m p   S c i   &   I n f o r m a t   S c i ,   I t h a c a ,   N Y   U S A 	 E r t e k i n ,   S   ( r e p r i n t   a u t h o r ) ,   M I T ,   A l f r e d   P   S l o a n   S c h   M a n a g e m e n t ,   M I T   C S A I L ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A . 	 s e y d a @ m i t . e d u ;   r u d i n @ m i t . e d u ;   h i r s h @ c s . c o r n e l l . e d u 	 	 	 	 	 B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B e r n s t e i n   M . S . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 3 3 ;   B i g h a m   J . P . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 3 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 8 0 ;   C a l l i s o n - B u r c h   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 ;   D a k k a   W ,   2 0 0 8 ,   P R O C   I N T   C O N F   D A T A ,   P 4 6 6 ,   D O I   1 0 . 1 1 0 9 / I C D E . 2 0 0 8 . 4 4 9 7 4 5 5 ;   D a w i d   A P ,   1 9 7 9 ,   A P P L I E D   S T A T I S T I C S ,   V 2 8 ,   P 2 0 ,   D O I   1 0 . 2 3 0 7 / 2 3 4 6 8 0 6 ;   D e k e l   O ,   2 0 1 0 ,   2 3   C   L E A R N   T H E O R   C O L ,   P 3 4 6 ;   D e k e l   O ,   2 0 0 9 ,   P   2 6   A N N   I N T   C   M A C H ;   D o n m e z   P ,   2 0 0 9 ,   K D D - 0 9 :   1 5 T H   A C M   S I G K D D   C O N F E R E N C E   O N   K N O W L E D G E   D I S C O V E R Y   A N D   D A T A   M I N I N G ,   P 2 5 9 ;   D o w n s   J S ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 3 9 9 ;   E r t e k i n   S ,   2 0 1 2 ,   P   C O L L   I N T   C I   1 2   C A M ;   G i l l i c k   D ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 4 8 ;   H s u e h   P . ,   2 0 0 9 ,   P   N A A C L   H L T   2 0 0 9   W O R ,   P 2 7 ,   D O I   1 0 . 3 1 1 5 / 1 5 6 4 1 3 1 . 1 5 6 4 1 3 7 ;   I p e i r o t i s   P G ,   2 0 1 3 ,   D A T A   M I N   K N O W L   D I S C ,   V 2 8 ,   P 4 0 2 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   K a i s s e r   M ,   2 0 0 8 ,   P   6   I N T   L A N G   R E S   E V ;   K a s n e c i   G ,   2 0 1 1 ,   P   4   A C M   I N T   C   W E B   S E ,   P 4 6 5 ,   D O I   1 0 . 1 1 4 5 / 1 9 3 5 8 2 6 . 1 9 3 5 8 9 6 ;   L a w   E ,   2 0 1 1 ,   H U M A N   C O M P U T A T I O N   S Y ;   M a r g e   M ,   2 0 1 0 ,   I N T   C O N F   A C O U S T   S P E E ,   P 5 2 7 0 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 2 0 1 0 . 5 4 9 4 9 7 9 ;   M a s o n   W ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 7 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 7 5 ;   N a k o v   P ,   2 0 0 8 ,   L E C T   N O T E S   A R T I F   I N T ,   V 5 2 5 3 ,   P 1 0 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 8 5 7 7 6 - 1 _ 1 0 ;   N o w a k   S ,   2 0 1 0 ,   P   I N T   C   M U L T   I N F   R E T ,   P 5 5 7 ,   D O I   1 0 . 1 1 4 5 / 1 7 4 3 3 8 4 . 1 7 4 3 4 7 8 ;   O g a w a   S ,   2 0 0 6 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 7 ,   P 6 5 ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   S m y t h   P ,   1 9 9 4 ,   K N O W L   D I S C   D A T   1 9 9 4 ,   P 1 0 9 ;   S m y t h   P ,   1 9 9 4 ,   N I P S ,   P 1 0 8 5 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S o r o k i n   A ,   2 0 0 8 ,   C V P R W   2 0 0 8 ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R W . 2 0 0 8 . 4 5 6 2 9 5 3 ;   S u l l i v a n   E A ,   2 0 1 0 ,   M A R K   N E W S ,   V 4 4 ,   P 2 2 ;   W a l l a c e   B C ,   2 0 1 1 ,   P   S I A M   I N T   C   D A T   M I N ;   W a r f i e l d   S K ,   2 0 0 4 ,   I E E E   T   M E D   I M A G I N G   T ,   V 2 3 ,   P 2 1 ;   W e l i n d e r   P ,   2 0 1 0 ,   A D V   N E U R A L   I N F O R M   P R ,   V 1 0 ,   P 2 4 2 4 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   P 2 0 3 5 ;   Y a n   Y i n g ,   2 0 1 0 ,   P r o c e e d i n g s   o f   t h e   2 0 1 0   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e l l i g e n t   C o m p u t a t i o n   T e c h n o l o g y   a n d   A u t o m a t i o n   ( I C I C T A   2 0 1 0 ) ,   D O I   1 0 . 1 1 0 9 / I C I C T A . 2 0 1 0 . 1 5 3 ;   Y a n   Y ,   2 0 1 0 ,   J   M A C   L E A R N   R E S   P   T R ,   V 9 ,   P 9 3 2 ;   Z h e n g   Y ,   2 0 1 0 ,   1 0   I E E E   I N T   C   D A T   M I ,   P 6 3 9 	 3 8 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 4 - 5 8 1 0 	 1 5 7 3 - 7 5 6 X 	 	 D A T A   M I N   K N O W L   D I S C 	 D a t a   M i n .   K n o w l .   D i s c o v . 	 S E P 	 2 0 1 4 	 2 8 	 5 - 6 	 	 	 S I 	 	 1 1 8 9 	 1 2 2 1 	 	 1 0 . 1 0 0 7 / s 1 0 6 1 8 - 0 1 4 - 0 3 5 4 - 1 	 	 3 3 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 A O 1 P O 	 W O S : 0 0 0 3 4 1 0 8 5 7 0 0 0 0 4 	 	 
 J 	 K a j i n o ,   H ;   A r a i ,   H ;   K a s h i m a ,   H 	 	 	 	 K a j i n o ,   H i r o s h i ;   A r a i ,   H i r o m i ;   K a s h i m a ,   H i s a s h i 	 	 	 P r e s e r v i n g   w o r k e r   p r i v a c y   i n   c r o w d s o u r c i n g 	 D A T A   M I N I N G   A N D   K N O W L E D G E   D I S C O V E R Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   Q u a l i t y   c o n t r o l ;   P r i v a c y - p r e s e r v i n g   d a t a   m i n i n g ;   E M   a l g o r i t h m 	 	 T h i s   p a p e r   p r o p o s e s   a   c r o w d s o u r c i n g   q u a l i t y   c o n t r o l   m e t h o d   w i t h   w o r k e r - p r i v a c y   p r e s e r v a t i o n .   C r o w d s o u r c i n g   a l l o w s   u s   t o   o u t s o u r c e   t a s k s   t o   a   n u m b e r   o f   w o r k e r s .   T h e   r e s u l t s   o f   t a s k s   o b t a i n e d   i n   c r o w d s o u r c i n g   a r e   o f t e n   l o w - q u a l i t y   d u e   t o   t h e   d i f f e r e n c e   i n   t h e   d e g r e e   o f   s k i l l .   T h e r e f o r e ,   w e   n e e d   q u a l i t y   c o n t r o l   m e t h o d s   t o   e s t i m a t e   r e l i a b l e   r e s u l t s   f r o m   l o w - q u a l i t y   r e s u l t s .   I n   t h i s   p a p e r ,   w e   p o i n t   o u t   p r i v a c y   p r o b l e m s   o f   w o r k e r s   i n   c r o w d s o u r c i n g .   P e r s o n a l   i n f o r m a t i o n   o f   w o r k e r s   c a n   b e   i n f e r r e d   f r o m   t h e   r e s u l t s   p r o v i d e d   b y   e a c h   w o r k e r .   T o   f o r m u l a t e   a n d   t o   a d d r e s s   t h e   p r i v a c y   p r o b l e m s ,   w e   d e f i n e   a   w o r k e r - p r i v a t e   q u a l i t y   c o n t r o l   p r o b l e m ,   a   v a r i a t i o n   o f   t h e   q u a l i t y   c o n t r o l   p r o b l e m   t h a t   p r e s e r v e s   p r i v a c y   o f   w o r k e r s .   W e   p r o p o s e   a   w o r k e r - p r i v a t e   l a t e n t   c l a s s   p r o t o c o l   w h e r e   a   r e q u e s t e r   c a n   e s t i m a t e   t h e   t r u e   r e s u l t s   w i t h   w o r k e r   p r i v a c y   p r e s e r v e d .   T h e   k e y   i d e a s   a r e   d e c e n t r a l i z a t i o n   o f   c o m p u t a t i o n   a n d   i n t r o d u c t i o n   o f   s e c u r e   c o m p u t a t i o n .   W e   t h e o r e t i c a l l y   g u a r a n t e e   t h e   s e c u r i t y   o f   t h e   p r o p o s e d   p r o t o c o l   a n d   e x p e r i m e n t a l l y   e x a m i n e   t h e   c o m p u t a t i o n a l   e f f i c i e n c y   a n d   a c c u r a c y . 	 [ K a j i n o ,   H i r o s h i ]   U n i v   T o k y o ,   G r a d   S c h   I n f o r m a t   S c i   &   T e c h n o l ,   D e p t   M a t h   I n f o r m a t ,   B u n k y o   K u ,   T o k y o   1 1 3 8 6 5 6 ,   J a p a n ;   [ A r a i ,   H i r o m i ]   R I K E N ,   A d v   C t r   C o m p   &   C o m m u n ,   W a k o ,   S a i t a m a   3 5 1 0 1 9 8 ,   J a p a n ;   [ K a s h i m a ,   H i s a s h i ]   K y o t o   U n i v ,   G r a d   S c h   I n f o r m a t ,   D e p t   I n t e l l i g e n c e   S c i   &   T e c h n o l ,   S a k y o   K u ,   K y o t o   6 0 6 8 5 0 1 ,   J a p a n 	 K a j i n o ,   H   ( r e p r i n t   a u t h o r ) ,   U n i v   T o k y o ,   G r a d   S c h   I n f o r m a t   S c i   &   T e c h n o l ,   D e p t   M a t h   I n f o r m a t ,   B u n k y o   K u ,   7 - 3 - 1   H o n g o ,   T o k y o   1 1 3 8 6 5 6 ,   J a p a n . 	 h i r o s h i _ k a j i n o @ m i s t . i . u - t o k y o . a c . j p ;   h i r o m i . a r a i @ r i k e n . j p ;   k a s h i m a @ i . k y o t o - u . a c . j p 	 	 	 F I R S T   p r o g r a m 	 H .   K a j i n o   a n d   H .   K a s h i m a   w e r e   s u p p o r t e d   b y   t h e   F I R S T   p r o g r a m . 	 A g r a w a l   R ,   2 0 0 0 ,   S I G M O D   R E C O R D ,   V 2 9 ,   P 4 3 9 ;   B e r n s t e i n   M ,   2 0 1 1 ,   P   C H I   2 0 1 1   W O R K S H   C R ,   P 5 3 ;   B u r k h a r t   M ,   2 0 1 0 ,   P   U S E N I X   S E C   S ,   P 2 2 3 ;   D a m g a r d   I ,   2 0 0 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 1 9 9 2 ,   P 1 1 9 ;   D a w i d   A . P . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   V 2 8 ,   P 2 0 ;   D E M P S T E R   A P ,   1 9 7 7 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 3 9 ,   P 1 ;   E r t e k i n   S ,   2 0 1 2 ,   P   C O L L   I N T   2 0 1 2 ;   L e a s e   M ,   2 0 1 1 ,   P   A A A I   W O R K S H   H U M   C O ,   P 9 7 ;   L i n   X D ,   2 0 0 5 ,   K N O W L   I N F   S Y S T ,   V 8 ,   P 6 8 ,   D O I   1 0 . 1 0 0 7 / s 1 0 1 1 5 - 0 0 4 - 0 1 4 8 - 7 ;   L i n d e l l   Y ,   2 0 0 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 1 8 8 0 ,   P 3 6 ;   N a b a r   S U ,   2 0 0 8 ,   A D V   D A T A B A S E   S Y S T ,   V 3 4 ,   P 4 1 5 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   S H A M I R   A ,   1 9 7 9 ,   C O M M U N   A C M ,   V 2 2 ,   P 6 1 2 ,   D O I   1 0 . 1 1 4 5 / 3 5 9 1 6 8 . 3 5 9 1 7 6 ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   S w e e n e y   L ,   2 0 0 2 ,   I N T   J   U N C E R T A I N   F U Z Z ,   V 1 0 ,   P 5 5 7 ,   D O I   1 0 . 1 1 4 2 / S 0 2 1 8 4 8 8 5 0 2 0 0 1 6 4 8 ;   V a r s h n e y   L .   R . ,   2 0 1 2 ,   P r o c e e d i n g s   o f   t h e   2 0 1 2   A n n u a l   S R I I   G l o b a l   C o n f e r e n c e   ( S R I I ) ,   D O I   1 0 . 1 1 0 9 / S R I I . 2 0 1 2 . 1 7 ;   W e l i n d e r   P . ,   2 0 1 0 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 3 ,   P 2 4 2 4 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 2 ,   P 2 0 3 5 ;   Y a n g   B ,   2 0 1 2 ,   A D V   K N O W L   D I S C   D A T   M ,   P 5 4 2 	 1 9 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 4 - 5 8 1 0 	 1 5 7 3 - 7 5 6 X 	 	 D A T A   M I N   K N O W L   D I S C 	 D a t a   M i n .   K n o w l .   D i s c o v . 	 S E P 	 2 0 1 4 	 2 8 	 5 - 6 	 	 	 S I 	 	 1 3 1 4 	 1 3 3 5 	 	 1 0 . 1 0 0 7 / s 1 0 6 1 8 - 0 1 4 - 0 3 5 2 - 3 	 	 2 2 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 A O 1 P O 	 W O S : 0 0 0 3 4 1 0 8 5 7 0 0 0 0 7 	 	 
 J 	 J o l y ,   A ;   G o e a u ,   H ;   B o n n e t ,   P ;   B a k i c ,   V ;   B a r b e ,   J ;   S e l m i ,   S ;   Y a h i a o u i ,   I ;   C a r r e ,   J ;   M o u y s s e t ,   E ;   M o l i n o ,   J F ;   B o u j e m a a ,   N ;   B a r t h e l e m y ,   D 	 	 	 	 J o l y ,   A l e x i s ;   G o e a u ,   H e r v e ;   B o n n e t ,   P i e r r e ;   B a k i c ,   V e r a ;   B a r b e ,   J u l i e n ;   S e l m i ,   S o u h e i l ;   Y a h i a o u i ,   I t h e r i ;   C a r r e ,   J e n n i f e r ;   M o u y s s e t ,   E l i s e ;   M o l i n o ,   J e a n - F r a n c o i s ;   B o u j e m a a ,   N o z h a ;   B a r t h e l e m y ,   D a n i e l 	 	 	 I n t e r a c t i v e   p l a n t   i d e n t i f i c a t i o n   b a s e d   o n   s o c i a l   i m a g e   d a t a 	 E C O L O G I C A L   I N F O R M A T I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 P l a n t ;   I d e n t i f i c a t i o n ;   I m a g e s ;   V i s u a l ;   R e t r i e v a l ;   S o c i a l   n e t w o r k ;   C o l l a b o r a t i v e ;   C r o w d s o u r c i n g ;   C i t i z e n   s c i e n c e ;   M u l t i - o r g a n ;   L e a f ;   F l o w e r ;   B a r k ;   F r u i t ;   E c o l o g y ;   S u r v e i l l a n c e ;   M o n i t o r i n g ;   M u l t i m e d i a ;   C o m p u t e r   v i s i o n ;   B o t a n i s t 	 F R A C T A L   D I M E N S I O N ;   S H A P E - A N A L Y S I S 	 S p e e d i n g   u p   t h e   c o l l e c t i o n   a n d   i n t e g r a t i o n   o f   r a w   b o t a n i c a l   o b s e r v a t i o n   d a t a   i s   a   c r u c i a l   s t e p   t o w a r d s   a   s u s t a i n a b l e   d e v e l o p m e n t   o f   a g r i c u l t u r e   a n d   t h e   c o n s e r v a t i o n   o f   b i o d i v e r s i t y .   I n i t i a t e d   i n   t h e   c o n t e x t   o f   a   c i t i z e n   s c i e n c e s   p r o j e c t ,   t h e   m a i n   c o n t r i b u t i o n   o f   t h i s   p a p e r   i s   a n   i n n o v a t i v e   c o l l a b o r a t i v e   w o r k f l o w   f o c u s e d   o n   i m a g e - b a s e d   p l a n t   i d e n t i f i c a t i o n   a s   a   m e a n   t o   e n l i s t   n e w   c o n t r i b u t o r s   a n d   f a c i l i t a t e   a c c e s s   t o   b o t a n i c a l   d a t a .   S i n c e   2 0 1 0 ,   h u n d r e d s   o f   t h o u s a n d s   o f   g e o - t a g g e d   a n d   d a t e d   p l a n t   p h o t o g r a p h s   w e r e   c o l l e c t e d   a n d   r e v i s e d   b y   h u n d r e d s   o f   n o v i c e ,   a m a t e u r   a n d   e x p e r t   b o t a n i s t s   o f   a   s p e c i a l i z e d   s o c i a l   n e t w o r k .   A n   i m a g e - b a s e d   i d e n t i f i c a t i o n   t o o l   -   a v a i l a b l e   a s   b o t h   a   w e b   a n d   a   m o b i l e   a p p l i c a t i o n   -   i s   s y n c h r o n i z e d   w i t h   t h a t   g r o w i n g   d a t a   a n d   a l l o w s   a n y   u s e r   t o   q u e r y   o r   e n r i c h   t h e   s y s t e m   w i t h   n e w   o b s e r v a t i o n s .   A n   i m p o r t a n t   o r i g i n a l i t y   i s   t h a t   i t   w o r k s   w i t h   u p   t o   f i v e   d i f f e r e n t   o r g a n s   c o n t r a r i l y   t o   p r e v i o u s   a p p r o a c h e s   t h a t   m a i n l y   r e l i e d   o n   t h e   l e a f .   T h i s   a l l o w s   q u e r y i n g   t h e   s y s t e m   a t   a n y   p e r i o d   o f   t h e   y e a r   a n d   w i t h   c o m p l e m e n t a r y   i m a g e s   c o m p o s i n g   a   p l a n t   o b s e r v a t i o n .   E x t e n s i v e   e x p e r i m e n t s   o f   t h e   v i s u a l   s e a r c h   e n g i n e   a s   w e l l   a s   s y s t e m - o r i e n t e d   a n d   u s e r - o r i e n t e d   e v a l u a t i o n s   o f   t h e   a p p l i c a t i o n   s h o w   t h a t   i t   i s   a l r e a d y   v e r y   h e l p f u l   t o   d e t e r m i n e   a   p l a n t   a m o n g   h u n d r e d s   o r   t h o u s a n d s   o f   s p e c i e s .   A t   t h e   t i m e   o f   w r i t i n g ,   t h e   w h o l e   f r a m e w o r k   c o v e r s   a b o u t   h a l f   o f   t h e   p l a n t   s p e c i e s   l i v i n g   i n   F r a n c e   ( 2 2 0 0   s p e c i e s ) ,   w h i c h   a l r e a d y   m a k e s   i t   t h e   w i d e s t   e x i s t i n g   a u t o m a t e d   i d e n t i f i c a t i o n   t o o l   ( w i t h   i t s   i m p e r f e c t i o n s ) .   ( C )   2 0 1 3   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ J o l y ,   A l e x i s ;   G o e a u ,   H e r v e ;   B a k i c ,   V e r a ;   S e l m i ,   S o u h e i l ]   I N R I A ,   L I R M M ,   Z E N I T H   T e a m ,   F - 3 4 0 9 0   M o n t p e l l i e r ,   F r a n c e ;   [ B o n n e t ,   P i e r r e ]   C I R A D ,   U M R   A M A P ,   F - 3 4 3 9 8   M o n t p e l l i e r ,   F r a n c e ;   [ B a r b e ,   J u l i e n ]   I N R A ,   U M R   A M A P ,   F - 3 4 3 9 8   M o n t p e l l i e r ,   F r a n c e ;   [ Y a h i a o u i ,   I t h e r i ]   U n i v   R e i m s ,   C R e S T I C ,   F - 5 1 1 0 0   R e i m s ,   F r a n c e ;   [ C a r r e ,   J e n n i f e r ;   M o u y s s e t ,   E l i s e ]   T e l a   B o t a n ,   F - 3 4 0 0 0   M o n t p e l l i e r ,   F r a n c e ;   [ M o l i n o ,   J e a n - F r a n c o i s ]   I R D ,   U M R   A M A P ,   F - 3 4 3 9 8   M o n t p e l l i e r ,   F r a n c e ;   [ B o u j e m a a ,   N o z h a ]   I N R I A   S a c l a y ,   F - 9 2 1 2 0   P a l a i s e a u ,   F r a n c e ;   [ B a r t h e l e m y ,   D a n i e l ]   B I O S ,   C I R A D ,   F - 3 4 3 9 8   M o n t p e l l i e r ,   F r a n c e ;   [ B a r t h e l e m y ,   D a n i e l ]   I N R A ,   U M R   A M A P ,   F - 3 4 3 9 8   M o n t p e l l i e r ,   F r a n c e 	 J o l y ,   A   ( r e p r i n t   a u t h o r ) ,   I N R I A ,   L I R M M ,   Z E N I T H   T e a m ,   F - 3 4 0 9 0   M o n t p e l l i e r ,   F r a n c e . 	 a l e x i s . j o l y @ i n r i a . f r 	 	 	 A g r o p o l i s   f u n d a t i o n 	 T h i s   w o r k   w a s   f u n d e d   b y   t h e   A g r o p o l i s   f u n d a t i o n   a s   i t s   f i r s t   f l a g s h i p   p r o j e c t   P l @ n t N e t . < S U P > 1 1 < / S U P >   W e   a l s o   w o u l d   l i k e   t o   t h a n k   t h e   a u t h o r s   o f   P h o t o f l o r a < S U P > 1 2 < / S U P >   d a t a b a s e   a n d   a l l   o t h e r   v o l u n t e e r s   w h o   g r a t e f u l l y   s p e n t   t h e i r   t i m e   i n   c o l l e c t i n g   p i c t u r e s . 	 A g a r w a l   G ,   2 0 0 6 ,   T A X O N ,   V 5 5 ,   P 5 9 7 ;   B a c k e s   A R ,   2 0 0 9 ,   I N T   J   P A T T E R N   R E C O G N ,   V 2 3 ,   P 1 1 4 5 ,   D O I   1 0 . 1 1 4 2 / S 0 2 1 8 0 0 1 4 0 9 0 0 7 5 0 8 ;   B a c k e s   A R ,   2 0 0 9 ,   P A T T E R N   R E C O G N ,   V 4 2 ,   P 5 4 ,   D O I   1 0 . 1 0 1 6 / j . p a t c o g . 2 0 0 8 . 0 7 . 0 0 6 ;   B a y   H ,   2 0 0 8 ,   C O M P U T   V I S   I M A G E   U N D ,   V 1 1 0 ,   P 3 4 6 ,   D O I   1 0 . 1 0 1 6 / j . c v i u . 2 0 0 7 . 0 9 . 0 1 4 ;   B e l h u m e u r   P N ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 3 0 5 ,   P 1 1 6 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 8 8 6 9 3 - 8 _ 9 ;   B r u n o   O M ,   2 0 0 8 ,   I N F O R M   S C I E N C E S ,   V 1 7 8 ,   P 2 7 2 2 ,   D O I   1 0 . 1 0 1 6 / j . i n s . 2 0 0 8 . 0 1 . 0 2 3 ;   C e r u t t i   G . ,   2 0 1 1 ,   I N T   S   V I S   C O M P ,   P 2 0 2 ;   C h a n g   E ,   2 0 1 2 ,   P   I E E E ,   V 1 0 0 ,   P 2 5 8 0 ,   D O I   1 0 . 1 1 0 9 / J P R O C . 2 0 1 2 . 2 2 0 4 1 1 0 ;   D e n g   J ,   2 0 0 9 ,   P R O C   C V P R   I E E E ,   P 2 4 8 ;   F I S C H L E R   M A ,   1 9 8 1 ,   C O M M U N   A C M ,   V 2 4 ,   P 3 8 1 ,   D O I   1 0 . 1 1 4 5 / 3 5 8 6 6 9 . 3 5 8 6 9 2 ;   G o e a u   H . ,   2 0 1 1 ,   C L E F   W O R K I N G   N O T E S ;   G o e a u   H . ,   2 0 1 2 ,   A C M   W O R K S H   M U L T   A N   E ,   P 4 1 ;   G o e a u   H . ,   2 0 1 1 ,   A C M   C   M U L T ,   P 8 1 3 ;   G o e a u   H . ,   2 0 1 2 ,   C L E F   W O R K I N G   N O T E S ;   G o u e t   V ,   2 0 0 1 ,   I E E E   W O R K S H O P   O N   C O N T E N T - B A S E D   A C C E S S   O F   I M A G E   A N D   V I D E O   L I B R A R I E S ,   P R O C E E D I N G S ,   P 3 0 ;   G r o z e a   C . ,   2 0 1 2 ,   C L E F   W O R K I N G   N O T E S ;   J e g o u   H ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 3 0 2 ,   P 3 0 4 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 8 8 6 8 2 - 2 _ 2 4 ;   J o l y   A . ,   2 0 0 8 ,   A C M   C   M U L T ,   P 2 0 9 ;   J o l y   A ,   2 0 1 1 ,   P R O C   C V P R   I E E E ,   P 8 7 3 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 1 . 5 9 9 5 7 0 9 ;   J o l y   A . ,   2 0 0 7 ,   A C M   I N T   C   I M   V I D   R E T ,   P 5 7 3 ;   J o l y   A . ,   2 0 0 9 ,   P   1 7   A C M   I N T   C   M U L T ,   P 5 8 1 ,   D O I   1 0 . 1 1 4 5 / 1 6 3 1 2 7 2 . 1 6 3 1 3 6 1 ;   K u m a r   N . ,   2 0 1 2 ,   E C C V ,   P 5 0 2 ;   L e   Q ,   2 0 1 2 ,   I N T   C   M A C H   L E A R N ;   M I L L E R   G A ,   1 9 9 5 ,   C O M M U N   A C M ,   V 3 8 ,   P 3 9 ,   D O I   1 0 . 1 1 4 5 / 2 1 9 7 1 7 . 2 1 9 7 4 8 ;   M o u i n e   S . ,   2 0 1 2 ,   A C M   I N T   C   M U L T   R E T R ;   N e t o   J C ,   2 0 0 6 ,   C O M P U T   E L E C T R O N   A G R ,   V 5 0 ,   P 1 2 1 ,   D O I   1 0 . 1 0 1 6 / j . c o m p a g . 2 0 0 5 . 0 9 . 0 0 4 ;   N i l s b a c k   M E ,   2 0 0 8 ,   S I X T H   I N D I A N   C O N F E R E N C E   O N   C O M P U T E R   V I S I O N ,   G R A P H I C S   &   I M A G E   P R O C E S S I N G   I C V G I P   2 0 0 8 ,   P 7 2 2 ;   O t s u   N . ,   1 9 7 9 ,   T   S Y S T E M S   M A N   C Y B E R N ;   P h i l b i n   J . ,   2 0 0 7 ,   I E E E   C   C O M P   V I S   P A T T ;   R o m e r o   E ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 6 6 8 ,   P 2 0 9 ;   S a n c h e z   J ,   2 0 1 1 ,   P R O C   C V P R   I E E E ,   P 1 6 6 5 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 1 . 5 9 9 5 5 0 4 ;   S a r m i e n t o   C . ,   2 0 1 1 ,   I A W A   J ;   S o d e r k v i s t   O . ,   2 0 0 1 ,   T H E S I S   L I N K O P I N G   U   L ;   S o r o k i n   A ,   2 0 0 8 ,   C V P R W   2 0 0 8 ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R W . 2 0 0 8 . 4 5 6 2 9 5 3 ;   S p a m p i n a t o   C . ,   2 0 1 2 ,   A C M   C   M U L T ,   P 1 5 0 7 ;   Y a h i a o u i   I . ,   2 0 1 2 ,   I N T   C   M U L T   E X P   I C M E ,   P 2 5 4 ;   Y a h i a o u i   I . ,   2 0 1 2 ,   L E A F   S H A P E   D E S C R I P T O ,   P 2 5 4 ;   Y a h i a o u i   I ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 2 6 1 ,   P 3 5 7 	 3 8 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 1 5 7 4 - 9 5 4 1 	 1 8 7 8 - 0 5 1 2 	 	 E C O L   I N F O R M 	 E c o l .   I n f o r m . 	 S E P 	 2 0 1 4 	 2 3 	 	 	 	 S I 	 	 2 2 	 3 4 	 	 1 0 . 1 0 1 6 / j . e c o i n f . 2 0 1 3 . 0 7 . 0 0 6 	 	 1 3 	 E c o l o g y 	 E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y 	 A N 8 J X 	 W O S : 0 0 0 3 4 0 8 5 1 6 0 0 0 0 4 	 	 
 J 	 B e r g v a l l - K a r e b o r n ,   B ;   H o w c r o f t ,   D 	 	 	 	 B e r g v a l l - K a r e b o r n ,   B i r g i t t a ;   H o w c r o f t ,   D e b r a 	 	 	 P e r s i s t e n t   p r o b l e m s   a n d   p r a c t i c e s   i n   i n f o r m a t i o n   s y s t e m s   d e v e l o p m e n t :   a   s t u d y   o f   m o b i l e   a p p l i c a t i o n s   d e v e l o p m e n t   a n d   d i s t r i b u t i o n 	 I N F O R M A T I O N   S Y S T E M S   J O U R N A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A p p l e ;   G o o g l e ;   s y s t e m s   d e v e l o p e r s ;   c r o w d s o u r c i n g ;   p l a t f o r m ;   e c o s y s t e m 	 O P E N   S O U R C E   S O F T W A R E ;   I N N O V A T I O N ;   A R C H I T E C T U R E ;   I N D U S T R Y ;   I N T E R N E T ;   A G E N D A ;   M O D E L 	 T h e   w i d e s p r e a d   u p t a k e   o f   m o b i l e   t e c h n o l o g i e s   h a s   w i t n e s s e d   a   r e - s t r u c t u r i n g   o f   t h e   m o b i l e   m a r k e t   w i t h   m a j o r   s h i f t s   i n   t h e   p r e d o m i n a n c e   o f   p a r t i c u l a r   f i r m s   a n d   t h e   e m e r g e n c e   o f   n e w   b u s i n e s s   m o d e l s .   T h e s e   s o c i o t e c h n i c a l   t r e n d s   a r e   s i g n i f i c a n t   i n   t h e   w a y s   t h a t   t h e y   a r e   i n f l u e n c i n g   a n d   s h a p i n g   t h e   w o r k i n g   l i v e s   o f   s o f t w a r e   p r o f e s s i o n a l s .   B u i l d i n g   o n   p r i o r   r e s e a r c h   i n v e s t i g a t i n g   t h e   p e r s i s t e n t   p r o b l e m s   a n d   p r a c t i c e s   o f   s y s t e m s   d e v e l o p m e n t ,   t h i s   p a p e r   e x a m i n e s   m o b i l e   a p p l i c a t i o n s   d e v e l o p m e n t   a n d   d i s t r i b u t i o n .   A   q u a l i t a t i v e   s t u d y   o f   6 0   d e v e l o p e r s   b a s e d   i n   S w e d e n ,   t h e   U K   a n d   t h e   U S A   w a s   a n a l y s e d   a r o u n d   t h e   i n t e r r e l a t e d   p r o b l e m s   o f   d i v e r s i t y ,   k n o w l e d g e   a n d   s t r u c t u r e .   T h e   a n a l y s i s   r e v e a l e d   h o w   p l a t f o r m - b a s e d   d e v e l o p m e n t   i n   a n   e v o l v i n g   m o b i l e   m a r k e t   r e p r e s e n t s   s i g n i f i c a n t   c h a n g e s   a t   t h e   b u s i n e s s   e n v i r o n m e n t   l e v e l .   T h e s e   c h a n g e s   r i p p l e   t h r o u g h   a n d   a c c e n t u a t e   o n g o i n g   t r e n d s   a n d   d e v e l o p m e n t s ,   i n t e n s i f y i n g   t h e   p e r s i s t e n t   p r o b l e m s   a n d   c h a l l e n g e s   f a c i n g   s o f t w a r e   d e v e l o p e r s . 	 [ B e r g v a l l - K a r e b o r n ,   B i r g i t t a ;   H o w c r o f t ,   D e b r a ]   L u l e a   U n i v   T e c h n o l ,   S - 9 5 1 8 7   L u l e a ,   S w e d e n ;   [ H o w c r o f t ,   D e b r a ]   U n i v   M a n c h e s t e r ,   M a n c h e s t e r   B u s i n e s s   S c h ,   M a n c h e s t e r   M 1 3   9 P L ,   L a n c s ,   E n g l a n d 	 B e r g v a l l - K a r e b o r n ,   B   ( r e p r i n t   a u t h o r ) ,   L u l e a   U n i v   T e c h n o l ,   S - 9 5 1 8 7   L u l e a ,   S w e d e n . 	 B i r g i t t a . B e r g v a l l - K a r e b o r n @ l t u . s e ;   D e b r a . h o w c r o f t @ m b s . a c . u k 	 	 	 	 	 A d a m   A . ,   2 0 0 6 ,   E U R O P E A N   J   I N F O R M   S Y ,   V 1 5 ,   P 4 ;   A p p l e ,   2 0 1 3 ,   A P P L   P R E S S   I N F   A P P   S ;   B a l d w i n   C . Y . ,   2 0 0 9 ,   P L A T F O R M S   M A R K E T S   I N ,   P 1 9 ;   B e r g v a l l - K a r e b o r n   B . ,   2 0 1 3 ,   W O R K   E M P L O Y   S O C ,   V 2 7 ,   P 9 6 4 ;   B o s c h   J . ,   2 0 0 9 ,   1 3   I N T   S O F T W   P R O D   L I ;   B o u d r e a u   K .   J . ,   2 0 0 9 ,   P L A T F O R M S   M A R K E T S   I N ,   P 1 6 3 ;   B o u d r e a u   K J ,   2 0 1 2 ,   O R G A N   S C I ,   V 2 3 ,   P 1 4 0 9 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 1 0 . 0 6 7 8 ;   B o u d r e a u   K J ,   2 0 0 9 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 6 9 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r a b h a m   D C ,   2 0 1 3 ,   M I T   P R E S S   E S S E N T ,   P 1 ;   B r y n j o l f s s o n   E . ,   2 0 1 0 ,   I N F O R M   S Y S T E M S   R E S ;   C h e s b o r o u g h   H . ,   2 0 0 6 ,   O P E N   B U S I N E S S   M O D E L S ;   C h r i s t o p h e r s o n   S . ,   2 0 0 4 ,   R E V   P O L I C Y   R E S ,   V 2 1 ,   P 5 4 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 1 - 1 3 3 8 . 2 0 0 4 . 0 0 0 9 3 . x ;   C U R T I S   B ,   1 9 8 8 ,   C O M M U N   A C M ,   V 3 1 ,   P 1 2 6 8 ,   D O I   1 0 . 1 1 4 5 / 5 0 0 8 7 . 5 0 0 8 9 ;   C u s u m a n o   M . ,   2 0 1 0 ,   S T A Y I N G   P O W E R   6   E N D U ;   C u s u m a n o   M A ,   2 0 0 2 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 3 ,   P 5 1 ;   C u s u m a n o   M A ,   2 0 1 0 ,   C O M M U N   A C M ,   V 5 3 ,   P 2 2 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 1 4 0 7 . 1 8 3 1 4 1 8 ;   D i s t i m o ,   2 0 1 2 ,   Y E A R   R E V ;   E a t o n   B . ,   2 0 1 3 ,   G O V E R N A N C E   I N N O V A T I O ;   F i t z g e r a l d   B ,   2 0 0 6 ,   M I S   Q U A R T ,   V 3 0 ,   P 5 8 7 ;   G a w n e r   A . ,   2 0 0 9 ,   P L A T F O R M S   M A R K E T S   I N ;   G h a z a w n e h   A ,   2 0 1 3 ,   I N F O R M   S Y S T   J ,   V 2 3 ,   P 1 7 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 5 7 5 . 2 0 1 2 . 0 0 4 0 6 . x ;   G r o t n e s   E ,   2 0 0 9 ,   I N F O R M   T E C H N O L   P E O P L ,   V 2 2 ,   P 3 6 7 ,   D O I   1 0 . 1 1 0 8 / 0 9 5 9 3 8 4 0 9 1 1 0 0 2 4 6 9 ;   H a b e r m a s   J . ,   2 0 0 8 ,   N A T U R A L I S M   R E L I G ;   H a s l a m   C ,   2 0 1 3 ,   R E D E F I N I N G   B U S I N E S S   M O D E L S :   S T R A T E G I E S   F O R   A   F I N A N C I A L I Z E D   W O R L D ,   P 1 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   K a u t z   K ,   2 0 0 7 ,   I N F O R M   S Y S T   J ,   V 1 7 ,   P 2 1 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 5 7 5 . 2 0 0 7 . 0 0 2 2 2 . x ;   K e n n e y   M a r t i n ,   2 0 1 1 ,   J o u r n a l   o f   I n d u s t r y ,   C o m p e t i t i o n   a n d   T r a d e ,   V 1 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 8 4 2 - 0 1 1 - 0 1 0 5 - 6 ;   K l e e m a n n   F . ,   2 0 0 8 ,   S C I   T E C H N O L O G Y   I N N O V ,   V 4 ,   P 5 ;   K l i n g   R . ,   1 9 8 2 ,   A D V   C O M P U T ,   V 2 1 ,   P 3 ;   L a z o n i c k   W . ,   2 0 0 9 ,   S U S T A I N A B L E   P R O S P E R I ;   L y y t i n e n   K ,   2 0 0 3 ,   M I S   Q U A R T ,   V 2 7 ,   P 5 5 7 ;   M a s o n   J . ,   2 0 0 6 ,   Q U A L I T A T I V E   R E S ;   M i l e s   M . ,   1 9 9 4 ,   Q U A L I T A T I V E   D A T A   A N A ;   O r l i k o w s k i   W .   J . ,   1 9 9 1 ,   I N F O R M A T I O N   S Y S T E M S ,   V 2 ,   P 1 ,   D O I   D O I   1 0 . 1 2 8 7 / I S R E . 2 . 1 . 1 ;   P i s a n o   G P ,   2 0 0 7 ,   C A L I F   M A N A G E   R E V ,   V 5 0 ,   P 2 7 8 ;   P o e t z   M K ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x ;   R o b e r t s o n   D . ,   1 9 9 8 ,   S L O A N   M A N A G E M E N T   R E V ;   S c h i l l i n g   M .   A . ,   2 0 0 9 ,   P L A T F O R M S   M A R K E T S   I N ,   P 1 9 2 ;   S I M ,   2 0 0 6 ,   I N F   T E C H N   W O R K F   T R E N ;   S o r e n s e n   C ,   2 0 1 1 ,   T E C H N O L   W O R K   G L O B ,   P 1 ,   D O I   1 0 . 1 0 5 7 / 9 7 8 0 2 3 0 3 0 6 2 0 2 ;   T i l s o n   D ,   2 0 1 0 ,   I N F O R M   S Y S T   R E S ,   V 2 1 ,   P 7 4 8 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 1 0 0 . 0 3 1 8 ;   T i l s o n   D . ,   2 0 1 2 ,   4 5   H A W   I N T   C   S Y S T   S C ,   P 1 3 2 4 ;   T i w a n a   A ,   2 0 1 0 ,   I N F O R M   S Y S T   R E S ,   V 2 1 ,   P 6 7 5 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 1 0 0 . 0 3 2 3 ;   T r u e x   D . ,   2 0 0 0 ,   A c c o u n t i n g ,   M a n a g e m e n t   a n d   I n f o r m a t i o n   T e c h n o l o g i e s ,   V 1 0 ,   D O I   1 0 . 1 0 1 6 / S 0 9 5 9 - 8 0 2 2 ( 9 9 ) 0 0 0 0 9 - 0 ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   v o n   H i p p e l   E ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 2 0 9 ;   W e s t   J ,   2 0 1 0 ,   T E L E C O M M U N   P O L I C Y ,   V 3 4 ,   P 2 7 0 ,   D O I   1 0 . 1 0 1 6 / j . t e l p o l . 2 0 0 9 . 1 2 . 0 0 2 ;   Y o o   Y J ,   2 0 1 0 ,   I N F O R M   S Y S T   R E S ,   V 2 1 ,   P 7 2 4 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 1 0 0 . 0 3 2 2 ;   Z i t t r a i n   J L ,   2 0 0 6 ,   H A R V A R D   L A W   R E V ,   V 1 1 9 ,   P 1 9 7 4 	 5 0 	 1 	 1 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 1 3 5 0 - 1 9 1 7 	 1 3 6 5 - 2 5 7 5 	 	 I N F O R M   S Y S T   J 	 I n f .   S y s t .   J . 	 S E P 	 2 0 1 4 	 2 4 	 5 	 	 	 	 	 4 2 5 	 4 4 4 	 	 1 0 . 1 1 1 1 / i s j . 1 2 0 3 6 	 	 2 0 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 A N 5 X N 	 W O S : 0 0 0 3 4 0 6 6 5 7 0 0 0 0 3 	 	 
 J 	 C a u t e l a ,   C ;   P i s a n o ,   P ;   P i r o n t i ,   M 	 	 	 	 C a u t e l a ,   C a b i r i o ;   P i s a n o ,   P a o l a ;   P i r o n t i ,   M a r c o 	 	 	 T h e   e m e r g e n c e   o f   n e w   n e t w o r k e d   b u s i n e s s   m o d e l s   f r o m   t e c h n o l o g y   i n n o v a t i o n :   a n   a n a l y s i s   o f   3 - D   p r i n t i n g   d e s i g n   e n t e r p r i s e s 	 I N T E R N A T I O N A L   E N T R E P R E N E U R S H I P   A N D   M A N A G E M E N T   J O U R N A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r e a t i v e   a n d   d e s i g n   s e r v i c e s ;   D e s i g n e r - e n t r e p r e n e u r ;   3 - D   p r i n t i n g ;   O p e n   b u s i n e s s   m o d e l s 	 B I O T E C H N O L O G Y ;   P E R F O R M A N C E ;   F I R M ;   C O L L A B O R A T I O N ;   A L L I A N C E S ;   I N D U S T R Y ;   S T R A T E G Y 	 T e c h n o l o g y   d o e s   n o t   h a v e   i n t r i n s i c   v a l u e :   o b t a i n i n g   c o m p e t i t i v e   a d v a n t a g e   f r o m   i t   a n d   t r a n s f o r m i n g   i t   i n t o   p r o f i t s   r e q u i r e s   a   b u s i n e s s   m o d e l   b a s e d   o n   t h e   a p p l i c a t i o n   o f   c o m p e t e n c i e s   a n d   d y n a m i c   c a p a b i l i t i e s ,   a n d   t h e   a b i l i t y   t o   s e l e c t   a n d   a p p l y   a p p r o p r i a t e   r e s o u r c e s .   I n n o v a t i v e   3 - D   p r i n t i n g   t e c h n o l o g y   a p p e a r s   t o   b e   d e p e n d e n t   o n   a   n e w   b u s i n e s s   m o d e l   b a s e d   o n   t h e   a b i l i t y   t o   s t r u c t u r e   a n d   i n t e g r a t e   c r e a t i v e   i n p u t s ,   c r o w d s o u r c i n g   p r o c e s s e s ,   a n d   m a r k e t   d i s t r i b u t i o n   n e t w o r k s .   T h i s   n e w   b u s i n e s s   m o d e l   i s   b e i n g   u s e d   b y   d e s i g n   e n t e r p r i s e s   t h a t   e m p l o y   3 - D   p r i n t i n g   t e c h n o l o g y   i n   o r d e r   t o   e n r i c h   t h e i r   s e r v i c e   p o r t f o l i o   o r   t o   i n a u g u r a t e   c o m p l e t e l y   n e w   b u s i n e s s   l i n e s .   T h i s   p a p e r   a n a l y z e s   h o w   t h e   u s e   o f   n e w   3 - D   p r i n t i n g   t e c h n o l o g y   i n   d e s i g n   e n t e r p r i s e s   i s   c o u p l e d   w i t h   p r o p e r   b u s i n e s s   m o d e l   c o m p o n e n t s .   T h r o u g h   a   q u a l i t a t i v e   a n a l y s i s   o f   t h r e e   c a s e s   -   Q u i r k y ,   i . m a t e r i a l i s e   a n d   F a b - L a b   -   t h e   a u t h o r s   d e v e l o p   f o u r   p r o p o s i t i o n s   o n   a   n u m b e r   o f   f a c t o r s   t h a t   c o n t r i b u t e   t o   b u s i n e s s   m o d e l   e f f e c t i v e n e s s   i n   d e s i g n   v e n t u r e s   u s i n g   3 - D   p r i n t i n g   t e c h n o l o g y . 	 [ C a u t e l a ,   C a b i r i o ]   P o l i t e c n   M i l a n ,   I - 2 0 1 5 8   M i l a n ,   I t a l y ;   [ P i s a n o ,   P a o l a ;   P i r o n t i ,   M a r c o ]   U n i v   T u r i n ,   I - 1 0 1 4 9   T u r i n ,   I t a l y 	 P i s a n o ,   P   ( r e p r i n t   a u t h o r ) ,   U n i v   T u r i n ,   C o r s o   S v i z z e r a   1 8 5 ,   I - 1 0 1 4 9   T u r i n ,   I t a l y . 	 c a b i r i o . c a u t e l a @ p o l i m i . i t ;   p i s a n o @ d i . u n i t o . i t ;   p i r o n t i @ d i . u n i t o . i t 	 y o n g q u a n ,   h u / G - 7 4 5 0 - 2 0 1 1 	 	 	 	 A h u j a   G ,   2 0 0 0 ,   A D M I N   S C I   Q U A R T ,   V 4 5 ,   P 4 2 5 ,   D O I   1 0 . 2 3 0 7 / 2 6 6 7 1 0 5 ;   A m i t   R ,   2 0 0 1 ,   S T R A T E G I C   M A N A G E   J ,   V 2 2 ,   P 4 9 3 ,   D O I   1 0 . 1 0 0 2 / s m j . 1 8 7 ;   B A U M   J A C ,   1 9 9 1 ,   A D M I N   S C I   Q U A R T ,   V 3 6 ,   P 1 8 7 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 3 5 3 ;   B a u m   J A C ,   2 0 0 0 ,   S T R A T E G I C   M A N A G E   J ,   V 2 1 ,   P 2 6 7 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 7 - 0 2 6 6 ( 2 0 0 0 0 3 ) 2 1 : 3 < 2 6 7 : : A I D - S M J 8 9 > 3 . 0 . C O ; 2 - 8 ;   B e r m a n   B ,   2 0 1 2 ,   B U S   H O R I Z O N S ,   V 5 5 ,   P 1 5 5 ,   D O I   1 0 . 1 0 1 6 / j . b u s h o r . 2 0 1 1 . 1 1 . 0 0 3 ;   B i a n c h i n i   M . ,   2 0 1 2 ,   D E S I G N   M A N A G E M E N T   J ,   V 7 ,   P 6 ;   B r u c e   M . ,   1 9 9 8 ,   M A N A G E M E N T   D E S I G N   A L ;   B r u c e   M . ,   2 0 0 2 ,   D E S I G N   B U S I N E S S   S T R A ;   C a p a l d o   A ,   2 0 0 7 ,   S T R A T E G I C   M A N A G E   J ,   V 2 8 ,   P 5 8 5 ,   D O I   1 0 . 1 0 0 2 / s m j . 6 2 1 ;   C a r l e y   K M ,   1 9 9 7 ,   J   O R G A N   B E H A V ,   V 1 8 ,   P 5 3 3 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 9 - 1 3 7 9 ( 1 9 9 7 1 1 ) 1 8 : 1 + < 5 3 3 : : A I D - J O B 9 0 6 > 3 . 3 . C O ; 2 - V ;   C a u t e l a   C . ,   2 0 1 1 ,   D E S I G N   M A N A G E M E N T   R E ,   V 2 2 ,   P 6 ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   B U S I N E S S   M O D E L S ;   D e l l ' E r a   C ,   2 0 1 0 ,   L O N G   R A N G E   P L A N N ,   V 4 3 ,   P 1 2 3 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 0 9 . 1 0 . 0 0 6 ;   D u m a s   A . ,   1 9 8 9 ,   D E S I G N   M A N A G E M E N T   J ,   V 1 ,   P 3 7 ;   E d m o n d s o n   A C ,   2 0 0 1 ,   A D M I N   S C I   Q U A R T ,   V 4 6 ,   P 6 8 5 ,   D O I   1 0 . 2 3 0 7 / 3 0 9 4 8 2 8 ;   E I S E N H A R D T   K M ,   1 9 8 9 ,   A C A D   M A N A G E   R E V ,   V 1 4 ,   P 5 3 2 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 5 5 7 ;   E i s e n h a r d t   K M ,   2 0 0 0 ,   S T R A T E G I C   M A N A G E   J ,   V 2 1 ,   P 1 1 0 5 ,   D O I   1 0 . 1 0 0 2 / 1 0 9 7 - 0 2 6 6 ( 2 0 0 0 1 0 / 1 1 ) 2 1 : 1 0 / 1 1 < 1 1 0 5 : : A I D - S M J 1 3 3 > 3 . 0 . C O ; 2 - E ;   E I S E N H A R D T   K M ,   1 9 8 9 ,   A C A D   M A N A G E   J ,   V 3 2 ,   P 5 4 3 ,   D O I   1 0 . 2 3 0 7 / 2 5 6 4 3 4 ;   F i n o c c h i a r o   C h a r l e s   W . ,   2 0 1 3 ,   C A R D O Z O   A R T S   E N T E R T A ,   V 3 1 ,   P 4 7 3 ;   F r i e d m a n   T . ,   2 0 1 1 ,   U S E D   B E   U S   A M   F A L L   W ;   G a l u n i c   D C ,   2 0 0 1 ,   A C A D   M A N A G E   J ,   V 4 4 ,   P 1 2 2 9 ,   D O I   1 0 . 2 3 0 7 / 3 0 6 9 3 9 8 ;   G O B B L E   M M ,   2 0 1 3 ,   R E S   T E C H N O L   M A N A G E ,   V 5 6 ,   P 6 4 ;   H A G E D O O R N   J ,   1 9 9 4 ,   S T R A T E G I C   M A N A G E   J ,   V 1 5 ,   P 2 9 1 ,   D O I   1 0 . 1 0 0 2 / s m j . 4 2 5 0 1 5 0 4 0 4 ;   H a r g a d o n   A ,   1 9 9 7 ,   A D M I N   S C I   Q U A R T ,   V 4 2 ,   P 7 1 6 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 6 5 5 ;   H a r g a d o n   A B ,   2 0 0 1 ,   A D M I N   S C I   Q U A R T ,   V 4 6 ,   P 4 7 6 ,   D O I   1 0 . 2 3 0 7 / 3 0 9 4 8 7 2 ;   J o h n s o n   M W ,   2 0 0 8 ,   H A R V A R D   B U S   R E V ,   V 8 6 ,   P 5 7 ;   K E K R E   S ,   1 9 9 0 ,   M A N A G E   S C I ,   V 3 6 ,   P 1 2 1 6 ,   D O I   1 0 . 1 2 8 7 / m n s c . 3 6 . 1 0 . 1 2 1 6 ;   K o t l e r   P . ,   1 9 8 4 ,   M A R K E T I N G   D E S I G N   M A N ,   P 2 0 4 ;   L o r e n z   C . ,   1 9 8 6 ,   D E S I G N   D E S I G N   M A N A G E ;   M i c e l l i   S . ,   2 0 1 1 ,   F U T U R O   A R T I G I A N O   I N N ;   M I N T Z B E R G   H ,   1 9 8 2 ,   A C A D   M A N A G E   J ,   V 2 5 ,   P 4 6 5 ,   D O I   1 0 . 2 3 0 7 / 2 5 6 0 7 5 ;   M I N T Z B E R G   H ,   1 9 7 9 ,   A D M I N   S C I   Q U A R T ,   V 2 4 ,   P 5 8 2 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 2 3 6 4 ;   M O R R I S   R ,   1 9 9 4 ,   J   M A N A G E ,   V 2 0 ,   P 9 0 3 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 9 2 0 6 3 9 4 0 2 0 0 0 4 1 0 ;   O s t e r w a l d e r   A . ,   2 0 1 0 ,   B U S I N E S S   M O D E L   G E N E R ;   P a r a d e ,   2 0 1 0 ,   P A R A D E ;   P e t r o v i c   V ,   2 0 1 1 ,   I N T   J   P R O D   R E S ,   V 4 9 ,   P 1 0 6 1 ,   D O I   1 0 . 1 0 8 0 / 0 0 2 0 7 5 4 0 9 0 3 4 7 9 7 8 6 ;   P e t t i g r e w   A . ,   1 9 8 8 ,   N A T   S C I   F D N   C   L O N G   R ;   P o r t e r   M . ,   1 9 8 0 ,   C O M P E T I T I V E   S T R A T E G Y ;   P o w e l l   W W ,   1 9 9 6 ,   A D M I N   S C I   Q U A R T ,   V 4 1 ,   P 1 1 6 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 9 8 8 ;   P R A H A L A D   C K ,   1 9 9 0 ,   H A R V A R D   B U S   R E V ,   V 6 8 ,   P 7 9 ;   R a v a s i   D ,   2 0 0 5 ,   L O N G   R A N G E   P L A N N ,   V 3 8 ,   P 5 1 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 0 4 . 1 1 . 0 1 0 ;   S a c h s   E . ,   1 9 9 0 ,   C I R P   A N N - M A N U F   T E C H N ,   V 3 9 ,   P 2 0 4 ;   S A N D E R S O N   S ,   1 9 9 5 ,   R E S   P O L I C Y ,   V 2 4 ,   P 7 6 1 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 8 - 7 3 3 3 ( 9 4 ) 0 0 7 9 7 - B ;   S c h   n   D .   A . ,   1 9 8 4 ,   R E F L E C T I V E   P R A C T I T I O ;   S e n n e t t   R ,   2 0 0 9 ,   C R A F T S M A N ;   S H A N   W J ,   1 9 9 4 ,   S T R A T E G I C   M A N A G E   J ,   V 1 5 ,   P 3 8 7 ,   D O I   1 0 . 1 0 0 2 / s m j . 4 2 5 0 1 5 0 5 0 5 ;   S h o r t   J C ,   2 0 1 0 ,   O R G A N   R E S   M E T H O D S ,   V 1 3 ,   P 3 2 0 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 4 4 2 8 1 0 9 3 3 5 9 4 9 ;   S i g g e l k o w   N ,   2 0 0 7 ,   A C A D   M A N A G E   J ,   V 5 0 ,   P 2 0 ;   S n o b   n a t i o n ,   2 0 1 2 ,   E C O N O M I S T ;   S t e v e n s o n   R ,   2 0 0 1 ,   C H E M   B R I T ,   V 3 7 ,   P 3 ;   S t u a r t   T E ,   2 0 0 0 ,   S T R A T E G I C   M A N A G E   J ,   V 2 1 ,   P 7 9 1 ,   D O I   1 0 . 1 0 0 2 / 1 0 9 7 - 0 2 6 6 ( 2 0 0 0 0 8 ) 2 1 : 8 < 7 9 1 : : A I D - S M J 1 2 1 > 3 . 0 . C O ; 2 - K ;   T e e c e   D . ,   1 9 9 7 ,   S T R A T E G I C   M A N A G E M E N T ,   V 8 ,   P 5 0 9 ;   T e e c e   D J ,   2 0 1 0 ,   L O N G   R A N G E   P L A N N ,   V 4 3 ,   P 1 7 2 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 0 9 . 0 7 . 0 0 3 ;   T u m b l r ,   2 0 1 2 ,   T O D   E N T R   C O L L   P R O D   D ;   V e r g a n t i   R . ,   2 0 0 9 ,   D E S I G N   D R I V E N   I N N O V A ;   V e r g a n t i   R ,   2 0 0 8 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 5 ,   P 4 3 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 0 8 . 0 0 3 1 3 . x ;   V e r g a n t i   R . ,   2 0 0 3 ,   D E S I G N   M A N A G E M E N T   J ,   V 1 4 ,   P 3 4 ;   V e r g a n t i   R ,   2 0 0 6 ,   H A R V A R D   B U S   R E V ,   V 8 4 ,   P 1 1 4 ;   W a l s h   V ,   1 9 9 6 ,   R E S   P O L I C Y ,   V 2 5 ,   P 5 0 9 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 8 - 7 3 3 3 ( 9 5 ) 0 0 8 4 7 - 0 ;   W e b e r   R .   P . ,   1 9 9 0 ,   B A S I C   C O N T E N T   A N A L ;   Y a i r   K ,   1 9 9 9 ,   D E S I G N   S T U D I E S ,   V 2 0 ,   P 4 9 5 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 2 - 6 9 4 X ( 9 8 ) 0 0 0 4 0 - 4 ;   Y i n   R .   K . ,   2 0 0 8 ,   C A S E   S T U D Y   R E S   D E S I G ,   V 5 	 6 2 	 0 	 0 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 3   U S A 	 1 5 5 4 - 7 1 9 1 	 1 5 5 5 - 1 9 3 8 	 	 I N T   E N T R E P   M A N A G   J 	 I n t .   E n t r e p .   M a n a g .   J . 	 S E P 	 2 0 1 4 	 1 0 	 3 	 	 	 S I 	 	 4 8 7 	 5 0 1 	 	 1 0 . 1 0 0 7 / s 1 1 3 6 5 - 0 1 4 - 0 3 0 1 - z 	 	 1 5 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 A N 4 W V 	 W O S : 0 0 0 3 4 0 5 9 1 1 0 0 0 0 4 	 	 
 J 	 F l o r q u i n ,   N 	 	 	 	 F l o r q u i n ,   N i c o l a s 	 	 	 A r m s   P r i c e s   a n d   C o n f l i c t   O n s e t :   I n s i g h t s   f r o m   L e b a n o n   a n d   S y r i a 	 E U R O P E A N   J O U R N A L   O N   C R I M I N A L   P O L I C Y   A N D   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A r m s ;   C o n f l i c t ;   I l l i c i t   m a r k e t s ;   L e b a n o n ;   S y r i a ;   T r a f f i c k i n g ;   F i r e a r m   p r i c e s 	 	 W h a t   d r i v e s   t h e   p r i c e s   o f   a r m s   a n d   a m m u n i t i o n   s o l d   a t   i l l i c i t   m a r k e t s ?   D o   t h e   p r i c e s   o f   i l l e g a l   a r m s   s o a r   d u r i n g   e p i s o d e s   o f   m a r k e d   i n s e c u r i t y ,   s u c h   a s   c o n f l i c t   o n s e t ?   T h i s   a r t i c l e   s e e k s   t o   a d v a n c e   k n o w l e d g e   o n   t h e   d y n a m i c s   a n d   d e t e r m i n a n t s   o f   w e a p o n s   p r i c e s   t h r o u g h   t h e   q u a n t i t a t i v e   a n a l y s i s   o f   i l l i c i t   a r m s   m a r k e t   p r i c e   d a t a   i n   L e b a n o n   f o r   t h e   p e r i o d   F e b r u a r y   2 0 1 1   t o   S e p t e m b e r   2 0 1 2 .   T h e   a r t i c l e   a l s o   e x a m i n e s   t h e   r e l a t i o n s h i p   b e t w e e n   a r m s   a n d   a m m u n i t i o n   p r i c e s   i n   L e b a n o n ,   a n d   r e p o r t e d   c o n f l i c t   f a t a l i t i e s   i n   S y r i a ,   a s   t h e   p e r i o d   u n d e r   s t u d y   o v e r l a p p e d   w i t h   t h e   o n s e t   o f   c o n f l i c t   i n   t h e   l a t t e r   c o u n t r y .   K e y   r e s u l t s   i n c l u d e   s t r o n g ,   s t a t i s t i c a l l y - s i g n i f i c a n t   c o r r e l a t i o n s   b e t w e e n   t h e   p r i c e s   o f   a r m s   a n d   t h e   p r i c e s   o f   a m m u n i t i o n   i n   L e b a n o n ,   a s   w e l l   a s   b e t w e e n   t h e   p r i c e s   o f   a r m s   a n d   a m m u n i t i o n   i n   L e b a n o n   a n d   r e p o r t e d   c o n f l i c t   f a t a l i t i e s   i n   n e i g h b o u r i n g   S y r i a .   T h e s e   f i n d i n g s   h i g h l i g h t   t h e   v a l u e   o f   m o n i t o r i n g   i l l i c i t   a r m s   m a r k e t   p r i c e s ,   i n c l u d i n g   p r i c e s   f o r   a   d i v e r s e   r a n g e   o f   w e a p o n s   a n d   a m m u n i t i o n ,   t o   i m p r o v e   o u r   u n d e r s t a n d i n g   o f   b o t h   i l l i c i t   m a r k e t s   a n d   c o n f l i c t   d y n a m i c s .   T h e   s t r o n g   c o r r e l a t i o n s   o b s e r v e d   i n   t h e   a r t i c l e   a l s o   s u g g e s t   t h a t   c r o w d s o u r c i n g   m e t h o d o l o g i e s   u s e d   b y   o r g a n i s a t i o n s   m o n i t o r i n g   k i l l i n g s   d u r i n g   t h e   S y r i a n   c o n f l i c t   c a n   e f f e c t i v e l y   c a p t u r e   v a r i a t i o n s   i n   c o n f l i c t   i n t e n s i t y   o v e r   t i m e . 	 S m a l l   A r m s   S u r v e y ,   C H - 1 2 0 2   G e n e v a ,   S w i t z e r l a n d 	 F l o r q u i n ,   N   ( r e p r i n t   a u t h o r ) ,   S m a l l   A r m s   S u r v e y ,   4 7   A v e   B l a n c ,   C H - 1 2 0 2   G e n e v a ,   S w i t z e r l a n d . 	 n i c o l a s . f l o r q u i n @ s m a l l a r m s s u r v e y . o r g 	 	 	 	 	 A l a m i   M . ,   2 0 1 1 ,   J A Z E E R A                   0 5 1 4 ;   A t w o o d   D . ,   2 0 0 6 ,   1 8   S M A L L   A R M S   S U R V ;   B a r r   J . ,   2 0 0 7 ,   S E T T I N G   D E S E R T   F I R E ;   B l a n f o r d   N . ,   2 0 1 1 ,   T I M E ;   B l a n f o r d   N . ,   2 0 1 4 ,   C H R I S T I A N   S C I   M O N I T O ;   B l a n f o r d   N . ,   2 0 1 2 ,   1 0   S M A L L   A R M S   S U R V ;   B r a u e r   J . ,   2 0 0 6 ,   C O N T   S E C U R I T Y   P O L I C Y ,   V 2 7 ,   P 1 3 8 ,   D O I   1 0 . 1 0 8 0 / 1 3 5 2 3 2 6 0 6 0 0 6 0 3 2 7 9 ;   C h i v e r s   C .   J . ,   2 0 1 0 ,   G U N ;   C h i v e r s   C . J ,   2 0 1 2 ,   N Y   T I M E S ;   C o o k   P . ,   2 0 0 5 ,   W O R K I N G   P A P E R S   S E R I E ;   D e   J u a n   A . ,   2 0 1 3 ,   2 2 2   G E R M   I   G L O B   A R   S ;   F l o r q u i n   N . ,   2 0 0 5 ,   A R M E D   A I M L E S S   A R M E D ,   P 4 6 ;   G e n e v a   D e c l a r a t i o n   S e c r e t a r i a t ,   2 0 1 1 ,   G L O B   B U R D   A R M   V I O L   2 ;   G r e e n e   O . ,   2 0 0 6 ,   T A R G E T I N G   A M M U N I T I O N ,   P 1 ;   H a t t a r   M . ,   2 0 1 4 ,   D A I L Y   S T A R             0 1 1 5 ;   I b r a h i m   A . ,   2 0 0 8 ,   W A S H I N G T O N   P O S T ;   J a z e e r a   A l ,   2 0 1 2 ,   J A Z E E R A                   1 2 0 9 ;   J e n z e n - J o n e s   N .   R . ,   2 0 1 4 ,   1 8   S M A L L   A R M S   S U R V ;   J e n z e n - J o n e s   N .   R . ,   2 0 1 3 ,   1 6   S M A L L   A R M S   S U R V ;   K a r p   A . ,   2 0 0 2 ,   S M A L L   A R M S   S U R V E Y   S M ,   P 6 2 ;   K i l l i c o a t   P . ,   2 0 0 7 ,   S M A L L   A R M S   S U R V E Y   S M ,   P 2 5 6 ;   L u t z   F . ,   2 0 1 3 ,   5   G R O U P   R E C H   I N F   P A I ;   N i c h o l s   M . ,   2 0 1 2 ,   R E U T E R S                   0 5 0 8 ;   P e t t y   M . ,   2 0 1 2 ,   R E U T E R S                   1 2 1 7 ;   P r i c e   M e g a n ,   2 0 1 3 ,   P R E L I M I N A R Y   S T A T   A N A ;   P r o t h e r o   M . ,   2 0 1 0 ,   N A T L                         0 2 0 3 ;   Q a s s e m   Q . ,   2 0 1 2 ,   A L A K H B A R   E N G L I S   1 0 3 1 ;   R e u t e r s ,   2 0 1 2 ,   R E U T E R S                   1 2 0 4 ;   S m a l l   A r m s   S u r v e y ,   2 0 1 3 ,   S M A L L   A R M S   S U R V   S M A L ,   P 2 5 0 ;   S p l e e t e r s   D . ,   2 0 1 2 ,   F O R E I G N   P O L I C Y ;   S p l e e t e r s   D . ,   2 0 1 3 ,   F A L   R I F L E S   L I B Y A   G U I ;   S p l e e t e r s   D . ,   2 0 1 2 ,   F A L   R I F L E   L I B Y A   D U R I ;   S T   ( S y r i a   T r a c k e r ) ,   2 0 1 3 ,   F A T   D A T   S Y R   7   J U N   2 0 ;   V D C   ( C e n t e r   f o r   D o c u m e n t a t i o n   o f   V i o l a t i o n s   i n   S y r i a ) ,   2 0 1 2 ,   O N L   D A T 	 3 4 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 0 9 2 8 - 1 3 7 1 	 1 5 7 2 - 9 8 6 9 	 	 E U R   J   C R I M   P O L I C Y   R E 	 E u r .   J .   C r i m .   P o l i c y   R e s . 	 S E P 	 2 0 1 4 	 2 0 	 3 	 	 	 S I 	 	 3 2 3 	 3 4 1 	 	 1 0 . 1 0 0 7 / s 1 0 6 1 0 - 0 1 4 - 9 2 4 4 - 8 	 	 1 9 	 C r i m i n o l o g y   &   P e n o l o g y 	 C r i m i n o l o g y   &   P e n o l o g y 	 A N 3 H X 	 W O S : 0 0 0 3 4 0 4 7 9 0 0 0 0 0 3 	 	 
 J 	 B r y s b a e r t ,   M ;   W a r r i n e r ,   A B ;   K u p e r m a n ,   V 	 	 	 	 B r y s b a e r t ,   M a r c ;   W a r r i n e r ,   A m y   B e t h ;   K u p e r m a n ,   V i c t o r 	 	 	 C o n c r e t e n e s s   r a t i n g s   f o r   4 0   t h o u s a n d   g e n e r a l l y   k n o w n   E n g l i s h   w o r d   l e m m a s 	 B E H A V I O R   R E S E A R C H   M E T H O D S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C o n c r e t e n e s s ;   R a t i n g s ;   C r o w d s o u r c i n g ;   W o r d   r e c o g n i t i o n 	 L E X I C A L   D E C I S I O N   D A T A ;   C O N T E X T   A V A I L A B I L I T Y ;   A M E R I C A N - E N G L I S H ;   N O R M S ;   I M A G E A B I L I T Y ;   A C Q U I S I T I O N ;   P R O J E C T ;   A G E ;   M E A N I N G F U L N E S S ;   C O M P R E H E N S I O N 	 C o n c r e t e n e s s   r a t i n g s   a r e   p r e s e n t e d   f o r   3 7 , 0 5 8   E n g l i s h   w o r d s   a n d   2 , 8 9 6   t w o - w o r d   e x p r e s s i o n s   ( s u c h   a s   z e b r a   c r o s s i n g   a n d   z o o m   i n ) ,   o b t a i n e d   f r o m   o v e r   4 , 0 0 0   p a r t i c i p a n t s   b y   m e a n s   o f   a   n o r m i n g   s t u d y   u s i n g   I n t e r n e t   c r o w d s o u r c i n g   f o r   d a t a   c o l l e c t i o n .   A l t h o u g h   t h e   i n s t r u c t i o n s   s t r e s s e d   t h a t   t h e   a s s e s s m e n t   o f   w o r d   c o n c r e t e n e s s   w o u l d   b e   b a s e d   o n   e x p e r i e n c e s   i n v o l v i n g   a l l   s e n s e s   a n d   m o t o r   r e s p o n s e s ,   a   c o m p a r i s o n   w i t h   t h e   e x i s t i n g   c o n c r e t e n e s s   n o r m s   i n d i c a t e s   t h a t   p a r t i c i p a n t s ,   a s   b e f o r e ,   l a r g e l y   f o c u s e d   o n   v i s u a l   a n d   h a p t i c   e x p e r i e n c e s .   T h e   r e p o r t e d   d a t a   s e t   i s   a   s u b s e t   o f   a   c o m p r e h e n s i v e   l i s t   o f   E n g l i s h   l e m m a s   a n d   c o n t a i n s   a l l   l e m m a s   k n o w n   b y   a t   l e a s t   8 5   %   o f   t h e   r a t e r s .   I t   c a n   b e   u s e d   i n   f u t u r e   r e s e a r c h   a s   a   r e f e r e n c e   l i s t   o f   g e n e r a l l y   k n o w n   E n g l i s h   l e m m a s . 	 [ B r y s b a e r t ,   M a r c ]   U n i v   G h e n t ,   D e p t   E x p t   P s y c h o l ,   B - 9 0 0 0   G h e n t ,   B e l g i u m ;   [ W a r r i n e r ,   A m y   B e t h ;   K u p e r m a n ,   V i c t o r ]   M c M a s t e r   U n i v ,   H a m i l t o n ,   O N ,   C a n a d a 	 B r y s b a e r t ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   G h e n t ,   D e p t   E x p t   P s y c h o l ,   H e n r i   D u n a n t l a a n   2 ,   B - 9 0 0 0   G h e n t ,   B e l g i u m . 	 m a r c . b r y s b a e r t @ u g e n t . b e 	 	 	 	 	 A l t a r r i b a   J ,   1 9 9 9 ,   B E H A V   R E S   M E T H   I N S   C ,   V 3 1 ,   P 5 7 8 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 0 0 7 3 8 ;   A n d r e w s   M ,   2 0 0 9 ,   P S Y C H O L   R E V ,   V 1 1 6 ,   P 4 6 3 ,   D O I   1 0 . 1 0 3 7 / a 0 0 1 6 2 6 1 ;   B a l o t a   D A ,   2 0 0 7 ,   B E H A V   R E S   M E T H O D S ,   V 3 9 ,   P 4 4 5 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 3 0 1 4 ;   B a r b e r   H A ,   2 0 1 3 ,   B R A I N   L A N G ,   V 1 2 5 ,   P 4 7 ,   D O I   1 0 . 1 0 1 6 / j . b a n d l . 2 0 1 3 . 0 1 . 0 0 5 ;   B A R S A L O U   L W ,   1 9 8 3 ,   M E M   C O G N I T I O N ,   V 1 1 ,   P 2 1 1 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 6 9 6 8 ;   B a r s a l o u   L W ,   1 9 9 9 ,   B E H A V   B R A I N   S C I ,   V 2 2 ,   P 5 7 7 ;   B r y s b a e r t   M ,   2 0 0 9 ,   B E H A V   R E S   M E T H O D S ,   V 4 1 ,   P 9 7 7 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 1 . 4 . 9 7 7 ;   B r y s b a e r t   M ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 9 9 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 2 - 0 1 9 0 - 4 ;   C l a r k   J M ,   2 0 0 4 ,   B E H A V   R E S   M E T H   I N S   C ,   V 3 6 ,   P 3 7 1 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 5 5 8 4 ;   C O L T H E A R T   M ,   1 9 8 1 ,   Q   J   E X P   P S Y C H O L - A ,   V 3 3 ,   P 4 9 7 ;   C o n n e l l   L ,   2 0 1 2 ,   C O G N I T I O N ,   V 1 2 5 ,   P 4 5 2 ,   D O I   1 0 . 1 0 1 6 / j . c o g n i t i o n . 2 0 1 2 . 0 7 . 0 1 0 ;   C r u t c h   S J ,   2 0 0 5 ,   B R A I N ,   V 1 2 8 ,   P 6 1 5 ,   D O I   1 0 . 1 0 9 3 / b r a i n / a w h 3 4 9 ;   D a v i e s   M ,   2 0 0 9 ,   I N T   J   C O R P U S   L I N G U I S ,   V 1 4 ,   P 1 5 9 ,   D O I   1 0 . 1 0 7 5 / i j c l . 1 4 . 2 . 0 2 d a v ;   D e l l a   R o s a   P A ,   2 0 1 0 ,   B E H A V   R E S   M E T H O D S ,   V 4 2 ,   P 1 0 4 2 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 2 . 4 . 1 0 4 2 ;   D u n a b e i t i a   J A ,   2 0 0 9 ,   C O G N I T I O N ,   V 1 1 0 ,   P 2 8 4 ,   D O I   1 0 . 1 0 1 6 / j . c o g n i t i o n . 2 0 0 8 . 1 1 . 0 1 2 ;   F e r r a n d   L ,   2 0 1 0 ,   B E H A V   R E S   M E T H O D S ,   V 4 2 ,   P 4 8 8 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 2 . 2 . 4 8 8 ;   F e r r e   P ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 3 9 5 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 6 5 - x ;   F i s c h e r   M H ,   2 0 0 8 ,   Q   J   E X P   P S Y C H O L ,   V 6 1 ,   P 8 2 5 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 7 0 2 1 0 7 0 1 6 2 3 6 0 5 ;   G h i o   M ,   2 0 1 3 ,   P L O S   O N E ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 6 7 0 9 0 ;   G i a n i c o - R e l y e a   J L ,   2 0 1 2 ,   P S Y C H O L   R E C ,   V 6 2 ,   P 7 6 3 ;   H a n l e y   J R ,   2 0 1 3 ,   M E M   C O G N I T I O N ,   V 4 1 ,   P 3 6 5 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 1 - 0 1 2 - 0 2 6 6 - 5 ;   H a u k   O ,   2 0 0 4 ,   N E U R O N ,   V 4 1 ,   P 3 0 1 ,   D O I   1 0 . 1 0 1 6 / S 0 8 9 6 - 6 2 7 3 ( 0 3 ) 0 0 8 3 8 - 9 ;   K a u s h a n s k a y a   M ,   2 0 1 2 ,   P S Y C H O N   B   R E V ,   V 1 9 ,   P 9 3 5 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 3 - 0 1 2 - 0 2 7 1 - 5 ;   K e u l e e r s   E ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 2 8 7 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 1 8 - 4 ;   K e u l e e r s   E ,   2 0 1 0 ,   F R O N T   P S Y C H O L ,   V 1 ,   D O I   1 0 . 3 3 8 9 / f p s y g . 2 0 1 0 . 0 0 1 7 4 ;   K l o u m a n n   I M ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 2 9 4 8 4 ;   K o u s t a   S T ,   2 0 1 1 ,   J   E X P   P S Y C H O L   G E N ,   V 1 4 0 ,   P 1 4 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 1 4 4 6 ;   K u p e r m a n   V ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 9 7 8 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 2 - 0 2 1 0 - 4 ;   L a m i n g   D . ,   2 0 0 4 ,   H U M A N   J U D G E M E N T   E Y E ;   L o i s e l l e   M ,   2 0 1 2 ,   N E U R O P S Y C H O L O G I A ,   V 5 0 ,   P 6 3 0 ,   D O I   1 0 . 1 0 1 6 / j . n e u r o p s y c h o l o g i a . 2 0 1 1 . 1 2 . 0 2 3 ;   L y n o t t   D ,   2 0 0 9 ,   B E H A V   R E S   M E T H O D S ,   V 4 1 ,   P 5 5 8 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 1 . 2 . 5 5 8 ;   L y n o t t   D . ,   B E H A V   R E S   M   I N   P R E S S ;   M a h o n   B Z ,   2 0 1 1 ,   T R E N D S   C O G N   S C I ,   V 1 5 ,   P 9 7 ,   D O I   1 0 . 1 0 1 6 / j . t i c s . 2 0 1 1 . 0 1 . 0 0 4 ;   M a t e   J ,   2 0 1 2 ,   Q   J   E X P   P S Y C H O L ,   V 6 5 ,   P 3 9 5 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 7 0 2 1 8 . 2 0 1 1 . 6 4 4 7 9 8 ;   N i s h i y a m a   R ,   2 0 1 3 ,   J   E X P   P S Y C H O L   L E A R N ,   V 3 9 ,   P 6 4 2 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 9 1 6 0 ;   O l i v e i r a   J ,   2 0 1 3 ,   L A T E R A L I T Y ,   V 1 8 ,   P 2 0 3 ,   D O I   1 0 . 1 0 8 0 / 1 3 5 7 6 5 0 X . 2 0 1 1 . 6 4 9 7 5 8 ;   P A I V I O   A ,   1 9 6 8 ,   J   E X P   P S Y C H O L ,   V 7 6 ,   P 1 ,   D O I   1 0 . 1 0 3 7 / h 0 0 2 5 3 2 7 ;   P a i v i o   A ,   2 0 1 3 ,   J   E X P   P S Y C H O L   G E N ,   V 1 4 2 ,   P 2 8 2 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 7 0 0 4 ;   P a i v i o   A ,   1 9 7 1 ,   I M A G E R Y   V E R B A L   P R O C E ;   R U B I N   D C ,   1 9 8 0 ,   J   V E R B   L E A R N   V E R B   B E ,   V 1 9 ,   P 7 3 6 ,   D O I   1 0 . 1 0 1 6 / S 0 0 2 2 - 5 3 7 1 ( 8 0 ) 9 0 4 1 5 - 6 ;   S c h o c k   J ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 3 7 4 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 6 2 - 0 ;   S C H W A N E N F L U G E L   P J ,   1 9 8 8 ,   J   M E M   L A N G ,   V 2 7 ,   P 4 9 9 ,   D O I   1 0 . 1 0 1 6 / 0 7 4 9 - 5 9 6 X ( 8 8 ) 9 0 0 2 2 - 8 ;   S P R E E N   O ,   1 9 6 6 ,   J   V E R B   L E A R N   V E R B   B E ,   V 5 ,   P 4 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 2 2 - 5 3 7 1 ( 6 6 ) 8 0 0 6 1 - 0 ;   S t a d t h a g e n - G o n z a l e z   H ,   2 0 0 6 ,   B E H A V   R E S   M E T H O D S ,   V 3 8 ,   P 5 9 8 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 3 8 9 1 ;   V i g l i o c c o   G ,   2 0 0 4 ,   C O G N I T I V E   P S Y C H O L ,   V 4 8 ,   P 4 2 2 ,   D O I   1 0 . 1 0 1 6 / j . c o g p s y c h . 2 0 0 3 . 0 9 . 0 0 1 ;   W a r r i n e r   A .   B . ,   B E H A V   R E S   M   I N   P R E S S ;   W i l s o n   M ,   2 0 0 2 ,   P S Y C H O N   B   R E V ,   V 9 ,   P 6 2 5 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 6 3 2 2 	 4 7 	 2 	 2 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 3   U S A 	 1 5 5 4 - 3 5 1 X 	 1 5 5 4 - 3 5 2 8 	 	 B E H A V   R E S   M E T H O D S 	 B e h a v .   R e s .   M e t h o d s 	 S E P 	 2 0 1 4 	 4 6 	 3 	 	 	 	 	 9 0 4 	 9 1 1 	 	 1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 3 - 0 4 0 3 - 5 	 	 8 	 P s y c h o l o g y ,   M a t h e m a t i c a l ;   P s y c h o l o g y ,   E x p e r i m e n t a l 	 P s y c h o l o g y 	 A M 9 U K 	 W O S : 0 0 0 3 4 0 2 2 6 3 0 0 0 2 2 	 2 4 1 4 2 8 3 7 	 
 J 	 W a n g ,   F Y ;   Z e n g ,   D ;   Z h a n g ,   Q P ;   H e n d l e r ,   J A ;   C a o ,   J P 	 	 	 	 W a n g ,   F e i - Y u e ;   Z e n g ,   D a n i e l ;   Z h a n g ,   Q i n g p e n g ;   H e n d l e r ,   J a m e s   A . ;   C a o ,   J i a n p i n g 	 	 	 T h e   C h i n e s e   " H u m a n   F l e s h "   W e b :   t h e   f i r s t   d e c a d e   a n d   b e y o n d 	 C H I N E S E   S C I E N C E   B U L L E T I N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S o c i a l   c o m p u t i n g ;   H u m a n   f l e s h   s e a r c h ;   C o m p u t a t i o n a l   s o c i o l o g y ;   S o c i a l   n e t w o r k   a n a l y s i s ;   C y b e r   M o v e m e n t   O r g a n i z a t i o n s 	 H U M A N   M O B I L I T Y ;   N E T W O R K S ;   S C I E N C E ;   E X P A N S I O N 	 H u m a n   f l e s h   s e a r c h   ( H F S ) ,   a   W e b - e n a b l e d   c r o w d s o u r c i n g   p h e n o m e n o n ,   o r i g i n a t e d   i n   C h i n a   a   d e c a d e   a g o .   I n   t h i s   a r t i c l e ,   w e   p r e s e n t   t h e   f i r s t   c o m p r e h e n s i v e   e m p i r i c a l   a n a l y s i s   o f   H F S ,   f o c u s i n g   o n   t h e   s c o p e   o f   H F S   a c t i v i t i e s ,   t h e   p a t t e r n s   o f   H F S   c r o w d   c o l l a b o r a t i o n   p r o c e s s ,   a n d   t h e   c h a r a c t e r i s t i c s   o f   H F S   p a r t i c i p a n t   n e t w o r k s .   A   s u r v e y   o f   H F S   p a r t i c i p a n t s   w a s   c o n d u c t e d   t o   p r o v i d e   a n   i n - d e p t h   u n d e r s t a n d i n g   o f   t h e   H F S   c o m m u n i t y   a n d   v a r i o u s   f a c t o r s   t h a t   m o t i v a t e   t h e s e   p a r t i c i p a n t s   t o   c o n t r i b u t e .   T h i s   a r t i c l e   a l s o   a d v o c a t e s   a   n e w   s t r e a m   o f   W e b   s c i e n c e   a n d   s o c i a l   c o m p u t i n g   r e s e a r c h   t h a t   w i l l   b e   i m p o r t a n t   i n   p r e d i c t i n g   t h e   f u t u r e   g r o w t h   a n d   u s e   o f   t h e   W o r l d   W i d e   W e b . 	 [ W a n g ,   F e i - Y u e ;   Z e n g ,   D a n i e l ]   C h i n e s e   A c a d   S c i ,   S t a t e   K e y   L a b   M a n a g e m e n t   &   C o n t r o l   C o m p l e x   S y s t ,   I n s t   A u t o m a t ,   B e i j i n g   1 0 0 1 9 0 ,   P e o p l e s   R   C h i n a ;   [ Z e n g ,   D a n i e l ]   U n i v   A r i z o n a ,   D e p t   M a n a g e m e n t   I n f o r m a t   S y s t ,   T u c s o n ,   A Z   8 5 7 2 1   U S A ;   [ Z h a n g ,   Q i n g p e n g ]   C i t y   U n i v   H o n g   K o n g ,   D e p t   S y s t   E n g n   &   E n g n   M a n a g e m e n t ,   H o n g   K o n g ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a ;   [ H e n d l e r ,   J a m e s   A . ]   R e n s s e l a e r   P o l y t e c h   I n s t ,   T e t h e r l e s s   W o r l d   C o n s t e l l a t ,   D e p t   C o m p   S c i ,   T r o y ,   N Y   1 2 1 8 0   U S A ;   [ C a o ,   J i a n p i n g ]   N a t l   U n i v   D e f   T e c h n o l ,   R e s   C t r   C o m p u t a t   E x p t   &   P a r a l l e l   S y s t ,   C h a n g s h a   4 1 0 0 7 3 ,   H u n a n ,   P e o p l e s   R   C h i n a 	 W a n g ,   F Y   ( r e p r i n t   a u t h o r ) ,   C h i n e s e   A c a d   S c i ,   S t a t e   K e y   L a b   M a n a g e m e n t   &   C o n t r o l   C o m p l e x   S y s t ,   I n s t   A u t o m a t ,   B e i j i n g   1 0 0 1 9 0 ,   P e o p l e s   R   C h i n a . 	 f e i y u e @ i e e e . o r g 	 	 	 N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 9 0 9 2 4 3 0 2 ,   9 1 0 2 4 0 3 0 ,   7 1 0 2 5 0 0 1 ,   7 0 8 9 0 0 8 4 ,   6 0 9 2 1 0 6 1 ] ;   U S   D e f e n s e   A d v a n c e d   R e s e a r c h   P r o j e c t s ;   U S   N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ I I S - 1 1 4 3 5 8 5 ] 	 T h e   a u t h o r s   t h a n k   G u a n p i   L a i   f o r   h i s   h e l p   i n   c o l l e c t i n g   d a t a   d u r i n g   t h i s   r e s e a r c h .   T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   ( 9 0 9 2 4 3 0 2 ,   9 1 0 2 4 0 3 0 ,   7 1 0 2 5 0 0 1 ,   7 0 8 9 0 0 8 4 ,   a n d   6 0 9 2 1 0 6 1 ) ,   t h e   U S   D e f e n s e   A d v a n c e d   R e s e a r c h   P r o j e c t s   t h r o u g h   t w o   s e e d l i n g   g r a n t s   t o   R e n s s e l a e r   P o l y t e c h n i c   I n s t i t u t e ,   a n d   t h e   U S   N a t i o n a l   S c i e n c e   F o u n d a t i o n   s u p p o r t   f o r   E A G E R   ( I I S - 1 1 4 3 5 8 5 ) . 	 A h n   Y Y ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 6 1 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 1 8 2 ;   B a r a b a s i   A L ,   2 0 0 9 ,   S C I E N C E ,   V 3 2 5 ,   P 4 1 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 7 3 2 9 9 ;   B o n a b e a u   E ,   2 0 0 0 ,   N A T U R E ,   V 4 0 6 ,   P 3 9 ,   D O I   1 0 . 1 0 3 8 / 3 5 0 1 7 5 0 0 ;   B r o d e r   A ,   2 0 0 0 ,   C O M P U T   N E T W ,   V 3 3 ,   P 3 0 9 ,   D O I   1 0 . 1 0 1 6 / S 1 3 8 9 - 1 2 8 6 ( 0 0 ) 0 0 0 8 3 - 9 ;   C h e n   C ,   2 0 1 1 ,   A R X I V 1 1 1 1 4 2 9 7 ;   C h i   E H ,   2 0 0 9 ,   C O M P U T E R ,   V 4 2 ,   P 4 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 9 . 8 7 ;   C l a u s e t   A ,   2 0 0 8 ,   N A T U R E ,   V 4 5 3 ,   P 9 8 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 6 8 3 0 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   E u b a n k   S ,   2 0 0 4 ,   N A T U R E ,   V 4 2 9 ,   P 1 8 0 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 2 5 4 1 ;   G l o t t   R . ,   2 0 1 0 ,   W I K I P E D I A   S U R V E Y   O V E ;   G o n z a l e z   M C ,   2 0 0 8 ,   N A T U R E ,   V 4 5 3 ,   P 7 7 9 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 6 9 5 8 ;   H e l l e r s t e i n   J M ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 7 7 ,   D O I   1 0 . 1 1 4 5 / 1 9 6 5 7 2 4 . 1 9 6 5 7 4 4 ;   H e n d l e r   J ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 6 0 ,   D O I   1 0 . 1 1 4 5 / 1 3 6 4 7 8 2 . 1 3 6 4 7 9 8 ;   H e n d l e r   J ,   2 0 1 0 ,   A R T I F   I N T E L L ,   V 1 7 4 ,   P 1 5 6 ,   D O I   1 0 . 1 0 1 6 / j . a r t i n t . 2 0 0 9 . 1 1 . 0 1 0 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   I n t r o n e   J ,   2 0 1 1 ,   C   C O L L   T E C H N   S Y S T   C T ,   P 4 0 ;   I n t r o n e   J ,   2 0 1 1 ,   I E E E   S O F T W A R E ,   V 2 8 ,   P 5 6 ,   D O I   1 0 . 1 1 0 9 / M S . 2 0 1 1 . 1 1 5 ;   K i e t z m a n n   J ,   2 0 1 0 ,   C O M M U N   A C M ,   V 5 3 ,   P 1 3 5 ,   D O I   1 0 . 1 1 4 5 / 1 7 4 3 5 4 6 . 1 7 4 3 5 8 2 ;   K l e i n b e r g   J ,   2 0 0 7 ,   N A T U R E ,   V 4 4 9 ,   P 2 8 7 ,   D O I   1 0 . 1 0 3 8 / 4 4 9 2 8 7 a ;   L a z e r   D ,   2 0 0 9 ,   S C I E N C E ,   V 3 2 3 ,   P 7 2 1 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 7 7 4 2 ;   L I A N G   B ,   2 0 1 0 ,   J   C O N T   C R I M I N A L   J U S T ,   V 2 6 ,   P 1 0 3 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 0 4 3 9 8 6 2 0 9 3 5 0 4 3 7 ;   P a l e n   L ,   2 0 0 7 ,   C O M M U N   A C M ,   V 5 0 ,   P 5 4 ,   D O I   1 0 . 1 1 4 5 / 1 2 2 6 7 3 6 . 1 2 2 6 7 6 6 ;   P i c k a r d   G ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 4 ,   P 5 0 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 0 5 8 6 9 ;   S o n g   C M ,   2 0 1 0 ,   N A T   P H Y S ,   V 6 ,   P 8 1 8 ,   D O I   1 0 . 1 0 3 8 / N P H Y S 1 7 6 0 ;   S o n g   C M ,   2 0 1 0 ,   S C I E N C E ,   V 3 2 7 ,   P 1 0 1 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 7 7 1 7 0 ;   W a n g   B ,   2 0 0 9 ,   I E E E   A C M   D I S   S I M ,   P 8 2 ,   D O I   1 0 . 1 1 0 9 / D S - R T . 2 0 0 9 . 3 6 ;   W a n g   F - Y ,   2 0 1 1 ,   J   U   S H A N G H A I   S C I   T E C ,   V 3 3 ,   P 8 ;   W a n g   F Y ,   2 0 1 0 ,   C O M P U T E R ,   V 4 3 ,   P 4 5 ;   W a n g   F Y ,   2 0 0 7 ,   I E E E   I N T E L L   S Y S T ,   V 2 2 ,   P 7 9 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 7 . 4 1 ;   W a n g   F Y ,   2 0 0 7 ,   I E E E   I N T E L L   S Y S T ,   V 2 2 ,   P 6 5 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 7 . 4 3 3 8 4 9 6 ;   W a n g   G ,   2 0 1 2 ,   P   2 1   I N T   C   W O R L D   W I D ,   P 6 7 9 ;   W a t t s   D J ,   2 0 0 7 ,   N A T U R E ,   V 4 4 5 ,   P 4 8 9 ,   D O I   1 0 . 1 0 3 8 / 4 4 5 4 8 9 a ;   Y u   L ,   2 0 1 2 ,   C O L L   I N T   C I   1 2 ;   Z e n g   D ,   2 0 0 7 ,   I E E E   I N T E L L   S Y S T ,   V 2 2 ,   P 2 0 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 7 . 4 3 3 8 4 9 0 ;   Z h a n g   Q P ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 3 9 7 4 9 ;   Z h a n g   Q ,   2 0 1 2 ,   A N A L   C Y B E R   E N A B L E D   S 	 3 6 	 0 	 0 	 S C I E N C E   P R E S S 	 B E I J I N G 	 1 6   D O N G H U A N G C H E N G G E N   N O R T H   S T ,   B E I J I N G   1 0 0 7 1 7 ,   P E O P L E S   R   C H I N A 	 1 0 0 1 - 6 5 3 8 	 1 8 6 1 - 9 5 4 1 	 	 C H I N E S E   S C I   B U L L 	 C h i n .   S c i .   B u l l . 	 S E P 	 2 0 1 4 	 5 9 	 2 6 	 	 	 	 	 3 3 5 2 	 3 3 6 1 	 	 1 0 . 1 0 0 7 / s 1 1 4 3 4 - 0 1 4 - 0 4 8 0 - 6 	 	 1 0 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 A M 3 D D 	 W O S : 0 0 0 3 3 9 7 3 1 3 0 0 0 1 8 	 	 
 J 	 K i m ,   J ;   K i m ,   S ;   Y a n g ,   J ;   R y u ,   J H ;   W o h n ,   K 	 	 	 	 K i m ,   J o n g h a k ;   K i m ,   S a n g t a e ;   Y a n g ,   J o o n h y u k ;   R y u ,   J u n g - h e e ;   W o h n ,   K w a n g Y u n 	 	 	 F a c e C A P T C H A :   a   C A P T C H A   t h a t   i d e n t i f i e s   t h e   g e n d e r   o f   f a c e   i m a g e s   u n r e c o g n i z e d   b y   e x i s t i n g   g e n d e r   c l a s s i f i e r s 	 M U L T I M E D I A   T O O L S   A N D   A P P L I C A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C A P T C H A ;   C r o w d s o u r c i n g ;   G e n d e r   c l a s s i f i c a t i o n ;   H u m a n   c o m p u t a t i o n ;   I m a g e   t a g g i n g ;   W e b   a p p l i c a t i o n 	 C L A S S I F I C A T I O N ;   R E C O G N I T I O N ;   S E C U R I T Y 	 C o m p u t e r s   t e n d   t o   f a i l   t o   c l a s s i f y   h u m a n   f a c e s   b y   g e n d e r ,   e s p e c i a l l y   u p o n   c h a n g e s   i n   v i e w p o i n t   o r   u p o n   o c c l u s i o n   t h a t   m a k e   i t   m o r e   d i f f i c u l t   t o   e x t r a c t   t h e   n e c e s s a r y   i m a g e   f e a t u r e s .   I n   c o n t r a s t ,   h u m a n s   a r e   g o o d   a t   i d e n t i f y i n g   g e n d e r   b u t   h a v e   d i f f i c u l t i e s   i n   d e a l i n g   w i t h   a   l a r g e   n u m b e r   o f   i m a g e s .   A c c o u n t i n g   f o r   t h i s   g a p ,   w e   p r o p o s e d   F a c e C A P T C H A ,   a   n o v e l   i m a g e - b a s e d   C A P T C H A   t h a t   a s k s   u s e r s   t o   i d e n t i f y   t h e   g e n d e r   o f   f a c e   i m a g e s   w h o s e   g e n d e r   c a n n o t   b e   r e c o g n i z e d   b y   c o m p u t e r s   ( g e n d e r - i n d i s c e r n i b l e   f a c e s ) .   B y   c o n v e r t i n g   t h e   m a n u a l   g e n d e r   c l a s s i f i c a t i o n   t a s k   i n t o   a   C A P T C H A   t e s t ,   F a c e C A P T C H A   w a s   d e s i g n e d   t o   n o t   o n l y   c o n t i n u o u s l y   i d e n t i f y   t h e   g e n d e r   o f   g e n d e r - i n d i s c e r n i b l e   f a c e s   b u t   a l s o   d i f f e r e n t i a t e   b e t w e e n   h u m a n s   a n d   c o m p u t e r s   a n d   g e n e r a t e   n e w   t e s t   i m a g e s .   O u r   u s e r   s t u d i e s   s h o w e d   t h a t   F a c e C A P T C H A   r e l i a b l y   i d e n t i f i e s   g e n d e r - i n d i s c e r n i b l e   f a c e s .   A   s i n g l e   e i g h t - i m a g e   F a c e C A P T C H A   t e s t   w a s   c o m p l e t e d   i n   1 2 . 4 1   s   o n   a v e r a g e   w i t h   a   h u m a n   s u c c e s s   r a t e   o f   8 6 . 5 1   % ,   w h i c h   c a n   b e   f u r t h e r   i n c r e a s e d   b y   f i l t e r i n g   e r r o r - p r o n e   t e s t   i m a g e s .   I n   c o n t r a s t ,   t h e   p r o b a b i l i t y   o f   p a s s i n g   a   F a c e C A P T C H A   t e s t   b y   r a n d o m   g u e s s i n g   w a s   0 . 0 0 6   % .   W e   c o u l d   t h e r e f o r e   c o n c l u d e   t h a t   F a c e C A P T C H A   i s   r o b u s t   a g a i n s t   m a l i c i o u s   a t t a c k s   a n d   e a s y   e n o u g h   f o r   p r a c t i c a l   u s e . 	 [ K i m ,   J o n g h a k ;   K i m ,   S a n g t a e ;   Y a n g ,   J o o n h y u k ;   W o h n ,   K w a n g Y u n ]   K o r e a   A d v   I n s t   S c i   &   T e c h n o l ,   G r a d   S c h   C u l t u r e   T e c h n o l ,   T a e j o n   3 0 5 7 0 1 ,   S o u t h   K o r e a ;   [ R y u ,   J u n g - h e e ]   O l a w o r k s   I n c ,   S e o u l ,   S o u t h   K o r e a 	 K i m ,   J   ( r e p r i n t   a u t h o r ) ,   K o r e a   A d v   I n s t   S c i   &   T e c h n o l ,   G r a d   S c h   C u l t u r e   T e c h n o l ,   2 9 1   D a e h a k   R o ,   T a e j o n   3 0 5 7 0 1 ,   S o u t h   K o r e a . 	 d e f i g n e r @ k a i s t . a c . k r 	 	 	 	 	 A l e x a n d r e   L A ,   2 0 1 0 ,   P A T T E R N   R E C O G N   L E T T ,   V 3 1 ,   P 1 4 2 2 ,   D O I   1 0 . 1 0 1 6 / j . p a t r e c . 2 0 1 0 . 0 2 . 0 1 0 ;   B e k i o s - C a l f a   J ,   2 0 1 1 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 3 ,   P 8 5 8 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 1 0 . 2 0 8 ;   B R O W N   E ,   1 9 9 3 ,   P E R C E P T I O N ,   V 2 2 ,   P 8 2 9 ,   D O I   1 0 . 1 0 6 8 / p 2 2 0 8 2 9 ;   C h e l l a p i l l a   K ,   2 0 0 5 ,   P   S I G C H I   C   H U M   F A C T ;   C h e w   M ,   2 0 0 4 ,   P   7   I N T   I N F   S E C   C   P A ;   C h o w   R ,   2 0 0 8 ,   P   9   W O R K S H   M O B   C O M P ;   E l s o n   J ,   2 0 0 7 ,   P   1 4   A C M   C   C O M P   C O M M ;   G o n c a l v e s   D ,   2 0 0 8 ,   C H I   0 8   E X T   A B S T R   H U M ;   G o s s w e i l e r   R ,   2 0 0 9 ,   P   1 8   I N T   C   W O R L D   W I D ;   G u a n g l e i   S ,   2 0 1 2 ,   I N T   C O M P   S C I   E N G   I C ,   P 1 4 9 ,   D O I   [ 1 0 . 1 1 0 9 / I C I C S E . 2 0 1 2 . 2 3 ,   D O I   1 0 . 1 1 0 9 / I C I C S E . 2 0 1 2 . 2 3 ] ;   G u o   G D ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 9 9 6 ,   P 2 3 6 ;   K a l s o o m   S ,   2 0 1 2 ,   K S I I   T   I N T E R N E T   I N F ,   V 6 ,   P 7 3 4 ,   D O I   1 0 . 3 8 3 7 / t i i s . 2 0 1 2 . 0 2 . 0 1 7 ;   K h o t   R A ,   2 0 0 9 ,   P   3   I N T   C   U S   S O F T W   I ;   K i m   J W ,   2 0 1 0 ,   V I S U A L   C O M P U T ,   V 2 6 ,   P 1 1 3 5 ,   D O I   1 0 . 1 0 0 7 / s 0 0 3 7 1 - 0 1 0 - 0 4 6 9 - 3 ;   K u m a r   N ,   2 0 1 1 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 3 ,   P 1 9 6 2 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 1 1 . 4 8 ;   L i a n   X C ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 5 0 7 ,   P 6 4 7 ;   M a r l o w   C ,   2 0 0 6 ,   P   1 7   C   H Y P   H Y P   O D   D E ;   M i s r a   D ,   2 0 0 6 ,   A D V   I N T   C   T E L   I N T   C ;   M o r r i s o n   D ,   2 0 0 9 ,   P   I N T   C   M U L T   F I R   I T ;   N a a m a n   M ,   2 0 0 4 ,   P   1 2   A N N   A C M   I N T   C   M ;   Q u i n n   A J ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ;   R u i   Y ,   2 0 0 4 ,   M U L T I M E D I A   S Y S T ,   V 9 ,   P 4 9 3 ,   D O I   1 0 . 1 0 0 7 / s 0 0 5 3 0 - 0 0 3 - 0 1 2 2 - 3 ;   R u s s e l l   B C ,   2 0 0 8 ,   I N T   J   C O M P U T   V I S I O N ,   V 7 7 ,   P 1 5 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 7 - 0 0 9 0 - 8 ;   S h a k h n a r o v i c h   G ,   2 0 0 2 ,   A F G R ,   P 1 4 ,   D O I   [ 1 0 . 1 1 0 9 / A F G R . 2 0 0 2 . 1 0 0 4 1 2 4 ,   D O I   1 0 . 1 1 0 9 / A F G R . 2 0 0 2 . 1 0 0 4 1 2 4 ] ;   S h a n   C F ,   2 0 1 2 ,   P A T T E R N   R E C O G N   L E T T ,   V 3 3 ,   P 4 3 1 ,   D O I   1 0 . 1 0 1 6 / j . p a t r e c . 2 0 1 1 . 0 5 . 0 1 6 ;   T h a l e r   S ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 4 4 ,   P 4 6 6 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 1 0 6 4 - 8 _ 3 6 ;   T o e w s   M ,   2 0 0 9 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 1 ,   P 1 5 6 7 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 8 . 2 3 3 ;   U e k i   K ,   2 0 0 4 ,   P   1 7   I N T   C   P A T T   R E C ;   V i o l a   P ,   2 0 0 4 ,   I N T   J   C O M P U T   V I S I O N ,   V 5 7 ,   P 1 3 7 ,   D O I   1 0 . 1 0 2 3 / B : V I S I . 0 0 0 0 0 1 3 0 8 7 . 4 9 2 6 0 . f b ;   v o n   A h n   L ,   2 0 0 7 ,   I E E E   I N T   C   A C   S P E E C H ;   v o n   A h n   L ,   2 0 0 6 ,   P   S I G C H I   C   H U M   F A C T ;   v o n   A h n   L ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ;   v o n   A h n   L ,   2 0 0 3 ,   L E C T   N O T E S   C O M P U T   S C ,   V 2 6 5 6 ,   P 2 9 4 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   W o l f   L ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 9 9 5 ,   P 8 8 ;   X i a n g x i n   Z ,   2 0 1 2 ,   C V P R ,   P 2 8 7 9 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 2 . 6 2 4 8 0 1 4 ;   Z h e n g   J ,   2 0 1 1 ,   N E U R O C O M P U T I N G ,   V 7 4 ,   P 1 9 2 6 ,   D O I   1 0 . 1 0 1 6 / j . n e u c o m . 2 0 1 0 . 0 7 . 0 3 2 ;   Z h u   B B ,   2 0 1 0 ,   P   1 7   A C M   C   C O M P   C O M M 	 3 8 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 0 - 7 5 0 1 	 1 5 7 3 - 7 7 2 1 	 	 M U L T I M E D   T O O L S   A P P L 	 M u l t i m e d .   T o o l s   A p p l . 	 S E P 	 2 0 1 4 	 7 2 	 2 	 	 	 	 	 1 2 1 5 	 1 2 3 7 	 	 1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 3 - 1 4 2 2 - z 	 	 2 3 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 A M 5 I R 	 W O S : 0 0 0 3 3 9 8 9 1 3 0 0 0 1 0 	 	 
 J 	 L o n g ,   T T ;   S t e i n ,   S ;   R o g e r s ,   A ;   J e n n i n g s ,   N R 	 	 	 	 L o n g   T r a n - T h a n h ;   S t e i n ,   S e b a s t i a n ;   R o g e r s ,   A l e x ;   J e n n i n g s ,   N i c h o l a s   R . 	 	 	 E f f i c i e n t   c r o w d s o u r c i n g   o f   u n k n o w n   e x p e r t s   u s i n g   b o u n d e d   m u l t i - a r m e d   b a n d i t s 	 A R T I F I C I A L   I N T E L L I G E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   M a c h i n e   l e a r n i n g ;   M u l t i - a r m e d   b a n d i t s ;   B u d g e t   l i m i t a t i o n 	 	 I n c r e a s i n g l y ,   o r g a n i s a t i o n s   f l e x i b l y   o u t s o u r c e   w o r k   o n   a   t e m p o r a r y   b a s i s   t o   a   g l o b a l   a u d i e n c e   o f   w o r k e r s .   T h i s   s o - c a l l e d   c r o w d s o u r c i n g   h a s   b e e n   a p p l i e d   s u c c e s s f u l l y   t o   a   r a n g e   o f   t a s k s ,   f r o m   t r a n s l a t i n g   t e x t   a n d   a n n o t a t i n g   i m a g e s ,   t o   c o l l e c t i n g   i n f o r m a t i o n   d u r i n g   c r i s i s   s i t u a t i o n s   a n d   h i r i n g   s k i l l e d   w o r k e r s   t o   b u i l d   c o m p l e x   s o f t w a r e .   W h i l e   t r a d i t i o n a l l y   t h e s e   t a s k s   h a v e   b e e n   s m a l l   a n d   c o u l d   b e   c o m p l e t e d   b y   n o n - p r o f e s s i o n a l s ,   o r g a n i s a t i o n s   a r e   n o w   s t a r t i n g   t o   c r o w d s o u r c e   l a r g e r ,   m o r e   c o m p l e x   t a s k s   t o   e x p e r t s   i n   t h e i r   r e s p e c t i v e   f i e l d s .   T h e s e   t a s k s   i n c l u d e ,   f o r   e x a m p l e ,   s o f t w a r e   d e v e l o p m e n t   a n d   t e s t i n g ,   w e b   d e s i g n   a n d   p r o d u c t   m a r k e t i n g .   W h i l e   t h i s   e m e r g i n g   e x p e r t   c r o w d s o u r c i n g   o f f e r s   f l e x i b i l i t y   a n d   p o t e n t i a l l y   l o w e r   c o s t s ,   i t   a l s o   r a i s e s   n e w   c h a l l e n g e s ,   a s   w o r k e r s   c a n   b e   h i g h l y   h e t e r o g e n e o u s ,   b o t h   i n   t h e i r   c o s t s   a n d   i n   t h e   q u a l i t y   o f   t h e   w o r k   t h e y   p r o d u c e .   S p e c i f i c a l l y ,   t h e   u t i l i t y   o f   e a c h   o u t s o u r c e d   t a s k   i s   u n c e r t a i n   a n d   c a n   v a r y   s i g n i f i c a n t l y   b e t w e e n   d i s t i n c t   w o r k e r s   a n d   e v e n   b e t w e e n   s u b s e q u e n t   t a s k s   a s s i g n e d   t o   t h e   s a m e   w o r k e r .   F u r t h e r m o r e ,   i n   r e a l i s t i c   s e t t i n g s ,   w o r k e r s   h a v e   l i m i t s   o n   t h e   a m o u n t   o f   w o r k   t h e y   c a n   p e r f o r m   a n d   t h e   e m p l o y e r   w i l l   h a v e   a   f i x e d   b u d g e t   f o r   p a y i n g   w o r k e r s .   G i v e n   t h i s   u n c e r t a i n t y   a n d   t h e   r e l e v a n t   c o n s t r a i n t s ,   t h e   o b j e c t i v e   o f   t h e   e m p l o y e r   i s   t o   a s s i g n   t a s k s   t o   w o r k e r s   i n   o r d e r   t o   m a x i m i s e   t h e   o v e r a l l   u t i l i t y   a c h i e v e d .   T o   f o r m a l i s e   t h i s   e x p e r t   c r o w d s o u r c i n g   p r o b l e m ,   w e   i n t r o d u c e   a   n o v e l   m u l t i - a r m e d   b a n d i t   ( M A B )   m o d e l ,   t h e   b o u n d e d   M A B .   F u r t h e r m o r e ,   w e   d e v e l o p   a n   a l g o r i t h m   t o   s o l v e   i t   e f f i c i e n t l y ,   c a l l e d   b o u n d e d   e p s i l o n - f i r s t ,   w h i c h   p r o c e e d s   i n   t w o   s t a g e s :   e x p l o r a t i o n   a n d   e x p l o i t a t i o n .   D u r i n g   e x p l o r a t i o n ,   i t   f i r s t   u s e s   e p s i l o n   B   o f   i t s   t o t a l   b u d g e t   B   t o   l e a r n   e s t i m a t e s   o f   t h e   w o r k e r s '   q u a l i t y   c h a r a c t e r i s t i c s .   T h e n ,   d u r i n g   e x p l o i t a t i o n ,   i t   u s e s   t h e   r e m a i n i n g   ( 1   -   e p s i l o n ) B   t o   m a x i m i s e   t h e   t o t a l   u t i l i t y   b a s e d   o n   t h o s e   e s t i m a t e s .   U s i n g   t h i s   t e c h n i q u e   a l l o w s   u s   t o   d e r i v e   a n   O   ( B - 2 / 3 )   u p p e r   b o u n d   o n   i t s   p e r f o r m a n c e   r e g r e t   ( i . e . ,   t h e   e x p e c t e d   d i f f e r e n c e   i n   u t i l i t y   b e t w e e n   o u r   a l g o r i t h m   a n d   t h e   o p t i m u m ) ,   w h i c h   m e a n s   t h a t   a s   t h e   b u d g e t   B   i n c r e a s e s ,   t h e   r e g r e t   t e n d s   t o   0 .   I n   a d d i t i o n   t o   t h i s   t h e o r e t i c a l   a d v a n c e ,   w e   a p p l y   o u r   a l g o r i t h m   t o   r e a l - w o r l d   d a t a   f r o m   o D e s k ,   a   p r o m i n e n t   e x p e r t   c r o w d s o u r c i n g   s i t e .   U s i n g   d a t a   f r o m   r e a l   p r o j e c t s ,   i n c l u d i n g   h i s t o r i c   p r o j e c t   b u d g e t s ,   e x p e r t   c o s t s   a n d   q u a l i t y   r a t i n g s ,   w e   s h o w   t h a t   o u r   a l g o r i t h m   o u t p e r f o r m s   e x i s t i n g   c r o w d s o u r c i n g   m e t h o d s   b y   u p   t o   3 0 0 % ,   w h i l e   a c h i e v i n g   u p   t o   9 5 %   o f   a   h y p o t h e t i c a l   o p t i m u m   w i t h   f u l l   i n f o r m a t i o n .   ( C )   2 0 1 4   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ L o n g   T r a n - T h a n h ;   S t e i n ,   S e b a s t i a n ;   R o g e r s ,   A l e x ;   J e n n i n g s ,   N i c h o l a s   R . ]   U n i v   S o u t h a m p t o n ,   S o u t h a m p t o n   S O 1 7   1 B J ,   H a n t s ,   E n g l a n d 	 L o n g ,   T T   ( r e p r i n t   a u t h o r ) ,   U n i v   S o u t h a m p t o n ,   S o u t h a m p t o n   S O 1 7   1 B J ,   H a n t s ,   E n g l a n d . 	 l t t 0 8 r @ e c s . s o t o n . a c . u k ;   s s 2 @ e c s . s o t o n . a c . u k ;   a c r @ e c s . s o t o n . a c . u k ;   n r j @ e c s . s o t o n . a c . u k 	 	 	 E P S R C ,   t h e   U K   E n g i n e e r i n g   a n d   P h y s i c a l   S c i e n c e s   R e s e a r c h   C o u n c i l   [ E P / I 0 1 1 5 8 7 / 1 ] 	 T h i s   i s   a   s i g n i f i c a n t l y   e x t e n d e d   v e r s i o n   o f   a   p r i o r   c o n f e r e n c e   p u b l i c a t i o n   [ 3 4 ] .   T h e   w o r k   w a s   c a r r i e d   o u t   a s   p a r t   o f   t h e   O R C H I D   p r o j e c t   ( w w w . o r c h i d . a c . u k ) ,   w h i c h   i s   f u n d e d   b y   E P S R C ,   t h e   U K   E n g i n e e r i n g   a n d   P h y s i c a l   S c i e n c e s   R e s e a r c h   C o u n c i l   ( E P / I 0 1 1 5 8 7 / 1 ) . 	 A G R A W A L   R ,   1 9 9 5 ,   A D V   A P P L   P R O B A B ,   V 2 7 ,   P 1 0 5 4 ,   D O I   1 0 . 2 3 0 7 / 1 4 2 7 9 3 4 ;   A N A N T H A R A M   V ,   1 9 8 7 ,   I E E E   T   A U T O M A T   C O N T R ,   V 3 2 ,   P 9 7 7 ,   D O I   1 0 . 1 1 0 9 / T A C . 1 9 8 7 . 1 1 0 4 4 8 5 ;   A u d i b e r t   J . - Y . ,   2 0 1 0 ,   P   2 3   A N N   C   L E A R N   T H E ,   P 4 1 ;   A u e r   P ,   2 0 0 2 ,   M A C H   L E A R N ,   V 4 7 ,   P 2 3 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 3 6 8 9 7 0 4 3 5 2 ;   B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B e y g e l z i m e r   A . ,   2 0 1 1 ,   P   1 4   I N T   C   A R T   I N T   S ,   P 1 9 ;   B r o o k s   F . ,   1 9 9 5 ,   M Y T H I C A L   M A N   M O N T H   E ;   B u b e c k   S . ,   2 0 0 9 ,   P   2 0   I N T   C   A L G   L E A R N ,   P 2 3 ;   C l e r y   D ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 3 ,   P 1 7 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 3 3 3 . 6 0 3 9 . 1 7 3 ;   D a i   P . ,   2 0 1 1 ,   P   2 5   C   A R T   I N T   A A A I ,   P 1 1 5 3 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ;   G r e g   L i t t l e ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 8 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 7 ;   G u h a   S ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 5 5 6 ,   P 4 9 6 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 2 9 3 0 - 1 _ 4 1 ;   H o   C . - J . ,   2 0 1 2 ,   P   2 6   C   A R T   I N T   A A A I ,   P 4 5 ;   H O E F F D I N G   W ,   1 9 6 3 ,   J   A M   S T A T   A S S O C ,   V 5 8 ,   P 1 3 ,   D O I   1 0 . 2 3 0 7 / 2 2 8 2 9 5 2 ;   H o r t o n   J . J . ,   2 0 1 0 ,   P   1 1   A C M   C   E L   C O M M ,   P 2 0 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 0 7 3 4 2 . 1 8 0 7 3 7 6 ;   H u a n g   E . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 7 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 8 ;   J U H N   C ,   1 9 9 3 ,   J   P O L I T   E C O N ,   V 1 0 1 ,   P 4 1 0 ,   D O I   1 0 . 1 0 8 6 / 2 6 1 8 8 1 ;   K e l l e r e r   H ,   2 0 0 4 ,   K N A P S A C K   P R O B L E M S ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K u l e s h o v   V . ,   2 0 1 0 ,   A L G O R I T H M S   M U L   U N P U B ;   M a r c e l l o   S . ,   1 9 9 0 ,   K N A P S A C K   P R O B L E M S   A L ;   M a r g e   M ,   2 0 1 0 ,   I N T   C O N F   A C O U S T   S P E E ,   P 5 2 7 0 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 2 0 1 0 . 5 4 9 4 9 7 9 ;   M a r o n   O . ,   1 9 9 3 ,   P   7   A N N   C   N E U R   I N F   P ,   P 5 9 ;   M a s o n   W ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 7 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 7 5 ;   M N I H   V ,   2 0 0 8 ,   P   2 5   I N T   C   M A C H   L E A R ,   P 6 7 2 ,   D O I   1 0 . 1 1 4 5 / 1 3 9 0 1 5 6 . 1 3 9 0 2 4 1 ;   M o r r i s   R R ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 1 3 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 6 8 ;   R o b b i n s   H . ,   1 9 5 2 ,   B   A M   M A T H   S O C ,   V 5 5 ,   P 5 2 7 ;   S u t t o n   R ,   1 9 9 8 ,   R E I N F O R C E M E N T   L E A R N I ;   T o k a r c h u k   O ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 4 5 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 6 6 ;   T r a n - T h a n h   L . ,   2 0 1 2 ,   P   2 6   C   A R T   I N T   A A A I ,   P 1 1 3 4 ;   T r a n - T h a n h   L . ,   2 0 1 0 ,   P   2 4   C   A R T   I N T   A A A I ,   P 1 2 1 1 ;   T r a n - T h a n h   L ,   2 0 1 2 ,   T H E S I S   U   S O U T H A M P T O N ;   T r a n - T h a n h   L . ,   2 0 1 2 ,   2 0   E U R   C   A R T   I N T   E C A ,   P 7 6 8 ;   V e r m o r e l   J ,   2 0 0 5 ,   L E C T   N O T E S   A R T I F   I N T ,   V 3 7 2 0 ,   P 4 3 7 ;   V u u r e n s   J B P ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 2 0 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 7 1 ;   W e l i n d e r   P . ,   2 0 1 0 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 4 ,   P 2 4 2 4 ;   Z a i d a n   O . F . ,   2 0 1 1 ,   P   4 9   A N N   M   A S S   C O M P ,   V 1 ,   P 1 2 2 0 ;   Z o o k   M . ,   2 0 1 0 ,   W o r l d   M e d i c a l   a n d   H e a l t h   P o l i c y ,   V 2 ,   P 7 ,   D O I   1 0 . 2 2 0 2 / 1 9 4 8 - 4 6 8 2 . 1 0 6 9 	 4 0 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 0 0 4 - 3 7 0 2 	 1 8 7 2 - 7 9 2 1 	 	 A R T I F   I N T E L L 	 A r t i f .   I n t e l l . 	 S E P 	 2 0 1 4 	 2 1 4 	 	 	 	 	 	 8 9 	 1 1 1 	 	 1 0 . 1 0 1 6 / j . a r t i n t . 2 0 1 4 . 0 4 . 0 0 5 	 	 2 3 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 A L 4 U K 	 W O S : 0 0 0 3 3 9 1 3 0 1 0 0 0 0 5 	 	 
 J 	 C o s t a - J u s s a ,   M R ;   G r i v o l l a ,   J ;   M e l l e b e e k ,   B ;   B e n a v e n t ,   F ;   C o d i n a ,   J ;   B a n c h s ,   R E 	 	 	 	 C o s t a - J u s s a ,   M a r t a   R . ;   G r i v o l l a ,   J e n s ;   M e l l e b e e k ,   B a r t ;   B e n a v e n t ,   F r a n c e s c ;   C o d i n a ,   J o a n ;   B a n c h s ,   R a f a e l   E . 	 	 	 U s i n g   a n n o t a t i o n s   o n   M e c h a n i c a l   T u r k   t o   p e r f o r m   s u p e r v i s e d   p o l a r i t y   c l a s s i f i c a t i o n   o f   S p a n i s h   c u s t o m e r   c o m m e n t s 	 I N F O R M A T I O N   S C I E N C E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A n n o t a t i o n   o n   M e c h a n i c a l   T u r k ;   H I T   d e s i g n ;   S u p e r v i s e d   p o l a r i t y   c l a s s i f i c a t i o n 	 	 O n e   o f   t h e   m a j o r   b o t t l e n e c k s   i n   t h e   d e v e l o p m e n t   o f   d a t a - d r i v e n   A I   S y s t e m s   i s   t h e   c o s t   o f   r e l i a b l e   h u m a n   a n n o t a t i o n s .   T h e   r e c e n t   a d v e n t   o f   s e v e r a l   c r o w d s o u r c i n g   p l a t f o r m s   s u c h   a s   A m a z o n ' s   M e c h a n i c a l   T u r k ,   a l l o w i n g   r e q u e s t e r s   t h e   a c c e s s   t o   a f f o r d a b l e   a n d   r a p i d   r e s u l t s   o f   a   g l o b a l   w o r k f o r c e ,   g r e a t l y   f a c i l i t a t e s   t h e   c r e a t i o n   o f   m a s s i v e   t r a i n i n g   d a t a .   M o s t   o f   t h e   a v a i l a b l e   s t u d i e s   o n   t h e   e f f e c t i v e n e s s   o f   c r o w d s o u r c i n g   r e p o r t   o n   E n g l i s h   d a t a .   W e   u s e   M e c h a n i c a l   T u r k   a n n o t a t i o n s   t o   t r a i n   a n   O p i n i o n   M i n i n g   S y s t e m   t o   c l a s s i f y   S p a n i s h   c o n s u m e r   c o m m e n t s .   W e   d e s i g n   t h r e e   d i f f e r e n t   H u m a n   I n t e l l i g e n c e   T a s k   ( H I T )   s t r a t e g i e s   a n d   r e p o r t   h i g h   i n t e r - a n n o t a t o r   a g r e e m e n t   b e t w e e n   n o n - e x p e r t s   a n d   e x p e r t   a n n o t a t o r s .   W e   e v a l u a t e   t h e   a d v a n t a g e s / d r a w b a c k s   o f   e a c h   H I T   d e s i g n   a n d   s h o w   t h a t ,   i n   o u r   c a s e ,   t h e   u s e   o f   n o n - e x p e r t   a n n o t a t i o n s   i s   a   v i a b l e   a n d   c o s t - e f f e c t i v e   a l t e r n a t i v e   t o   e x p e r t   a n n o t a t i o n s .   ( C )   2 0 1 4   E l s e v i e r   I n c .   A l l   r i g h t s   r e s e r v e d . 	 [ C o s t a - J u s s a ,   M a r t a   R . ;   B a n c h s ,   R a f a e l   E . ]   I n s t   I n f o c o m m   R e s ,   S i n g a p o r e ,   S i n g a p o r e ;   [ G r i v o l l a ,   J e n s ;   B e n a v e n t ,   F r a n c e s c ;   C o d i n a ,   J o a n ]   U n i v   P o m p e u   F a b r a ,   B a r c e l o n a ,   S p a i n ;   [ M e l l e b e e k ,   B a r t ]   U n i v   A m s t e r d a m ,   N L - 1 0 1 2   W X   A m s t e r d a m ,   N e t h e r l a n d s 	 C o s t a - J u s s a ,   M R   ( r e p r i n t   a u t h o r ) ,   I n s t   I n f o c o m m   R e s ,   S i n g a p o r e ,   S i n g a p o r e . 	 v i s m r c @ i 2 r . a - s t a r . e d u . s g 	 	 	 S e v e n t h   F r a m e w o r k   P r o g r a m   o f   t h e   E u r o p e a n   C o m m i s s i o n   t h r o u g h   t h e   I n t e r n a t i o n a l   O u t g o i n g   F e l l o w s h i p   M a r i e   C u r i e   A c t i o n   [ I M T r a P - 2 0 1 1 - 2 9 9 5 1 ] ;   I n s t i t u t e   f o r   I n f o c o m m   R e s e a r c h ;   B a r c e l o n a   M e d i a   I n n o v a t i o n   C e n t r e 	 T h i s   w o r k   i s   s u p p o r t e d   b y   t h e   S e v e n t h   F r a m e w o r k   P r o g r a m   o f   t h e   E u r o p e a n   C o m m i s s i o n   t h r o u g h   t h e   I n t e r n a t i o n a l   O u t g o i n g   F e l l o w s h i p   M a r i e   C u r i e   A c t i o n   ( I M T r a P - 2 0 1 1 - 2 9 9 5 1 ) .   T h e   a u t h o r s   a l s o   w a n t   t o   t h a n k   t h e   I n s t i t u t e   f o r   I n f o c o m m   R e s e a r c h   a n d   B a r c e l o n a   M e d i a   I n n o v a t i o n   C e n t r e   f o r   i t s   s u p p o r t   a n d   p e r m i s s i o n   t o   p u b l i s h   t h i s   r e s e a r c h . 	 B o n e v   B . ,   2 0 1 2 ,   P   3   W O R K S H   C O M P   A P P R ,   P 2 9 ;   C a l l i s o n - B u r c h   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 ;   E s u l i   A . ,   2 0 1 0 ,   P   L R E C ;   E u g e n i o   B . D . ,   2 0 0 4 ,   C O M P U T A T I O N A L   L I N G U I ,   V 3 0 ,   P 9 5 ,   D O I   1 0 . 1 1 6 2 / 0 8 9 1 2 0 1 0 4 7 7 3 6 3 3 4 0 2 ;   F i l a t o v a   E . ,   2 0 1 2 ,   P   8   I N T   C   L A N G   R E S   E ;   H a l l   M . ,   2 0 0 9 ,   A C M   S I G K D D   E X P L O R A T I ,   V 1 1 ,   P 1 0 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 5 6 2 7 4 . 1 6 5 6 2 7 8 ;   I r v i n e   A . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 0 8 ;   K i t t u r   A . ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ,   P 4 5 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 5 7 0 5 4 . 1 3 5 7 1 2 7 ;   M a s o n   W . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   V 1 1 ,   P 7 7 ;   P a n g   B . ,   2 0 0 8 ,   F O U N D   T R E N D S   I N F   R E T ,   V 2 ,   P 1 ,   D O I   D O I   1 0 . 1 5 6 1 / 1 5 0 0 0 0 0 0 1 1 ;   R e y e s   A ,   2 0 1 2 ,   D E C I S   S U P P O R T   S Y S T ,   V 5 3 ,   P 7 5 4 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 2 . 0 5 . 0 2 7 ;   S n o w   R . ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ;   S u   Q . ,   P   1 6   I N T   C   W O R L D   W I D ,   P 2 3 1 ;   Y u e n   M . ,   2 0 1 1 ,   S O C I A L C O M   P A S S A T ,   P 7 6 6 	 1 4 	 0 	 0 	 E L S E V I E R   S C I E N C E   I N C 	 N E W   Y O R K 	 3 6 0   P A R K   A V E   S O U T H ,   N E W   Y O R K ,   N Y   1 0 0 1 0 - 1 7 1 0   U S A 	 0 0 2 0 - 0 2 5 5 	 1 8 7 2 - 6 2 9 1 	 	 I N F O R M   S C I E N C E S 	 I n f .   S c i . 	 A U G   1 0 	 2 0 1 4 	 2 7 5 	 	 	 	 	 	 4 0 0 	 4 1 2 	 	 1 0 . 1 0 1 6 / j . i n s . 2 0 1 4 . 0 1 . 0 4 3 	 	 1 3 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 A I 8 T F 	 W O S : 0 0 0 3 3 7 1 9 9 2 0 0 0 2 6 	 	 
 J 	 O ' N e i l ,   M 	 	 	 	 O ' N e i l ,   M a t h i e u 	 	 	 H a c k i n g   W e b e r :   l e g i t i m a c y ,   c r i t i q u e ,   a n d   t r u s t   i n   p e e r   p r o d u c t i o n 	 I N F O R M A T I O N   C O M M U N I C A T I O N   &   S O C I E T Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r i t i q u e ;   o n l i n e   c o m m u n i t i e s ;   c r o w d s o u r c i n g ;   a u t h o r i t y ;   p e e r   p r o d u c t i o n ;   c o u n t e r - c u l t u r e 	 P O L I T I C S ;   O N L I N E ;   G O V E R N A N C E ;   E M E R G E N C E ;   N E T W O R K ;   G E N D E R 	 T h i s   a r t i c l e   e x a m i n e s   t h e   a c c e p t a n c e   o f   c o n t r o l   i n   a n t i - a u t h o r i t a r i a n   e n v i r o n m e n t s .   I t   a r g u e s   t h a t   t h e   u s e   o f   t h e   W e b e r i a n   n o t i o n   o f   l e g i t i m a t e   d o m i n a t i o n   o r   a u t h o r i t y   i s   a p p r o p r i a t e   i n   t h e   c o n t e x t   o f   c o l l a b o r a t i v e   o n l i n e   p r o j e c t s .   T h e   c e n t r a l   a r g u m e n t   i s   t h a t   l e g i t i m a c y   i n   c o l l a b o r a t i v e   p r o j e c t s   c o n s t i t u t e s   i t s e l f   i n   r e s p o n s e   t o   c r i t i q u e .   I n   t h e   r e a l m   o f   k n o w l e d g e ,   t h e   c r i t i q u e   o f   e x t e r n a l   e x p e r t i s e   f o r m s   t h e   b a s i s   f o r   t h e   i n d i v i d u a l i z e d ,   c h a r i s m a t i c   a u t h o r i t y   o f   f o u n d e r s   w h o   k n o w   t h e   p r o j e c t   i n s i d e   o u t .   I n   t h e   r e a l m   o f   j u s t i c e ,   t h e   c r i t i q u e   o f   o p a q u e   d e l i b e r a t i o n s   a n d   d e c i s i o n s   f o r m s   t h e   b a s i s   f o r   t h e   c o l l e c t i v e ,   p r o c e d u r a l   a u t h o r i t y   o f   a d m i n i s t r a t o r s   w h o   i m p l e m e n t   c o m m u n i t y   d e c i s i o n s .   T h e s e   c r i t i q u e s   c a n   b e   g e n e r a l i z e d ,   c h a l l e n g i n g   t h e   s o c i a l   o r d e r ,   b u t   t h e i r   e f f e c t i v e n e s s   i s   c o n d i t i o n e d   b y   h o w   m u c h   i s   k n o w n   a b o u t   t h e   i d e n t i t y   o f   p a r t i c i p a n t s . 	 [ O ' N e i l ,   M a t h i e u ]   U n i v   C a n b e r r a ,   F a c   A r t s   &   D e s i g n ,   C a n b e r r a ,   A C T   2 6 0 1 ,   A u s t r a l i a ;   [ O ' N e i l ,   M a t h i e u ]   A u s t r a l i a n   N a t l   U n i v ,   A u s t r a l i a n   D e m o g   &   S o c i a l   R e s   I n s t ,   R e s   S c h   S o c i a l   S c i ,   C a n b e r r a ,   A C T   0 2 0 0 ,   A u s t r a l i a 	 O ' N e i l ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   C a n b e r r a ,   F a c   A r t s   &   D e s i g n ,   B l d g   9 ,   C a n b e r r a ,   A C T   2 6 0 1 ,   A u s t r a l i a . 	 m a t h i e u . o n e i l @ c a n b e r r a . e d u . a u 	 	 	 	 	 A c k l a n d   R ,   2 0 1 1 ,   S O C   N E T W O R K S ,   V 3 3 ,   P 1 7 7 ,   D O I   1 0 . 1 0 1 6 / j . s o c n e t . 2 0 1 1 . 0 3 . 0 0 1 ;   A d a m i c   L .   A . ,   2 0 0 1 ,   C o m m u n i c a t i o n s   o f   t h e   A C M ,   V 4 4 ,   D O I   1 0 . 1 1 4 5 / 3 8 3 6 9 4 . 3 8 3 7 0 7 ;   A l e g r e ,   2 0 0 8 ,   D A I L Y   K O S               0 3 1 4 ;   A u r a y   N . ,   2 0 0 9 ,   R E S E A U X ,   V 1 5 4 ,   P 1 5 ;   B a r a b a s i   A . - L . ,   2 0 0 2 ,   L I N K E D   N E W   S C I   N E T W O ;   B a r n e y   D . ,   2 0 0 4 ,   N E T W O R K   S O C ;   B e n k l e r   Y . ,   2 0 0 6 ,   W E A L T H   N E T W O R K S   S O C I ;   B o l t a n s k i   L ,   2 0 1 1 ,   C R I T I Q U E   S O C I O L O G Y   E ;   B o l t a n s k i   L . ,   2 0 0 6 ,   J U S T I F I C A T I O N   E C   W O R ;   B o u r d i e u   P . ,   1 9 8 4 ,   D I S T I N C T I O N   S O C I A L   C ;   B r o d e r   A ,   2 0 0 0 ,   C O M P U T   N E T W ,   V 3 3 ,   P 3 0 9 ,   D O I   1 0 . 1 0 1 6 / S 1 3 8 9 - 1 2 8 6 ( 0 0 ) 0 0 0 8 3 - 9 ;   B u t l e r   B ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 1 1 0 1 ;   C a s t e l l s   M . ,   2 0 0 9 ,   C O M M U N I C A T I O N   P O W E R ;   C a s t e l l s   M a n u e l ,   1 9 9 6 ,   I N F O R M   A G E   E C   S O C   C U ,   V 1 ;   C h e s h i r e   C ,   2 0 1 1 ,   D A E D A L U S - U S ,   V 1 4 0 ,   P 4 9 ;   C o h e n   N ,   2 0 0 7 ,   N Y   T I M E S ,   p C 1 5 ;   C o l e m a n   G .   E . ,   2 0 1 2 ,   C O D I N G   F R E E D O M   E T H I C ;   C O L E M A N   J S ,   1 9 7 0 ,   S O C   F O R C E S ,   V 4 9 ,   P 1 6 3 ,   D O I   1 0 . 2 3 0 7 / 2 5 7 6 5 1 7 ;   C o l e m a n   S . ,   2 0 0 7 ,   O X F O R D   H D B   I N F O R M   C O ,   P 3 6 2 ;   D a h l g r e n   P ,   2 0 0 7 ,   R A D I C A L   D E M O C R A C Y   A N D   T H E   I N T E R N E T :   I N T E R R O G A T I N G   T H E O R Y   A N D   P R A C T I C E ,   P 5 5 ;   D e m i l   B ,   2 0 0 6 ,   O R G A N   S T U D ,   V 2 7 ,   P 1 4 4 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 0 6 0 6 7 2 5 0 ;   D e N a r d i s   L ,   2 0 0 9 ,   I N F O R M   R E V O L   G L O B   P O ,   P 1 ;   F a r r e l l   H ,   2 0 0 8 ,   P U B L I C   C H O I C E ,   V 1 3 4 ,   P 1 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 1 2 7 - 0 0 7 - 9 1 9 8 - 1 ;   F o r t e   A . ,   2 0 0 8 ,   P   4 1   A N N   H A W   I N T   C   S ,   P 1 5 7 ,   D O I   D O I   1 0 . 1 1 0 9 / H I C S S . 2 0 0 8 . 3 8 3 ;   F o u c a u l t   M . ,   1 9 7 7 ,   D I S C I P L I N E   P U N I S H   B I ;   F r e e m a n   J . ,   1 9 7 0 ,   B E R K E L E Y   J   S O C I O L ,   V 1 7 ,   P 1 5 1 ;   F R E E M A N   L C ,   1 9 7 9 ,   S O C   N E T W O R K S ,   V 1 ,   P 2 1 5 ,   D O I   1 0 . 1 0 1 6 / 0 3 7 8 - 8 7 3 3 ( 7 8 ) 9 0 0 2 1 - 7 ;   M o r e l   M J P ,   2 0 1 1 ,   C R   A C A D   I N S C R   B E L L E ,   P 3 2 5 ;   G e i g e r   R .   S . ,   2 0 0 7 ,   T H E S I S   U   T E X A S   A U S T I ;   G l o t t   R . ,   2 0 1 0 ,   A N A L   W I K I P E D I A   S U R V E ;   H a l f a k e r   A ,   2 0 1 3 ,   A M   B E H A V   S C I ,   V 5 7 ,   P 6 6 4 ,   D O I   1 0 . 1 1 7 7 / 0 0 0 2 7 6 4 2 1 2 4 6 9 3 6 5 ;   H e r r i n g   S C ,   1 9 9 9 ,   I N F O R M   S O C ,   V 1 5 ,   P 1 5 1 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 7 2 2 4 9 9 1 2 8 4 6 6 ;   H e r r i n g   S u s a n   C . ,   1 9 9 6 ,   C O M P U T E R   M E D I A T E D   C O ,   P 8 1 ;   H i n d m a n   M . ,   2 0 0 7 ,   G O V E R N A N C E   I N F O R M   T E ,   P 1 8 3 ;   H i n d m a n   M . ,   2 0 0 3 ,   G O O G L E A R C H Y   F E W   H E A V ;   H o f f m a n   P . ,   2 0 0 9 ,   4 6 7 7   R F C ;   H o r n   F . ,   2 0 0 7 ,   S C I   S T U D ,   V 2 0 ,   P 3 4 ;   I n t r o n a   L D ,   2 0 0 0 ,   I N F O R M   S O C ,   V 1 6 ,   P 1 6 9 ;   J e m i e l n i a k   D ,   C O M M O N   K N O W   I N   P R E S S ;   K o l l o c k   P . ,   1 9 9 6 ,   C O M P U T E R   M E D I A T E D   C O ,   P 1 0 9 ;   K o s   D a i l y ,   2 0 1 2 ,   T R U S T   U S   G U I D ;   K r e i s s   D ,   2 0 1 1 ,   N E W   M E D I A   S O C ,   V 1 3 ,   P 2 4 3 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 1 0 3 7 0 9 5 1 ;   L a t o u r   B ,   2 0 0 5 ,   R E A S S E M B L I N G   S O C I A L ;   L e s s i g   L a w r e n c e ,   1 9 9 9 ,   C O D E   O T H E R   L A W S   C Y B E ;   L e v y   S . ,   1 9 8 4 ,   H A C K E R S   H E R O E S   C O M P U ;   M o o d y   G . ,   2 0 0 1 ,   R E B E L   C O D E   L I N U X   O P E ;   M o u l i t s a s   M . ,   2 0 0 8 ,   D A I L Y   K O S               0 3 1 7 ;   N a f u s   D ,   2 0 1 2 ,   N E W   M E D I A   S O C ,   V 1 4 ,   P 6 6 9 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 1 1 4 2 2 8 8 7 ;   O ' N e i l   M ,   2 0 1 0 ,   J   S C I   C O M M U N I C A T I O N ,   V 9 ,   P 1 ;   O ' N e i l   M . ,   2 0 0 5 ,   B L O G S   A U T H O R I T Y   B L O G ;   O ' N e i l   M . ,   2 0 0 9 ,   C Y B E R C H I E F S   A U T H O R I T ;   O ' N e i l   M . ,   2 0 1 1 ,   C R I T I C A L   P O I N T   V I E W ,   P 3 0 9 ;   O c c u p y   W a l l   S t r e e t ,   2 0 1 2 ,   N E W S ;   O ' M a h o n y   S ,   2 0 0 7 ,   A C A D   M A N A G E   J ,   V 5 0 ,   P 1 0 7 9 ;   O s t r o m   E . ,   1 9 9 0 ,   G O V E R N I N G   C O M M O N S   E V ;   R a y m o n d   E r i c   S . ,   1 9 9 9 ,   C A T H E D R A L   B A Z A A R   M U S ;   R e a g l e   J . ,   2 0 0 7 ,   W I K I S Y M   0 7 ;   R o s z a k   T h e o d o r ,   1 9 6 9 ,   M A K I N G   C O U N T E R   C U L T U ;   R O T H S C H I L D W H I T T   J ,   1 9 7 9 ,   A M   S O C I O L   R E V ,   V 4 4 ,   P 5 0 9 ,   D O I   1 0 . 2 3 0 7 / 2 0 9 4 5 8 5 ;   S a i n s a u l i e u   R . ,   1 9 8 3 ,   D E M O C R A T I E   O R G   V E R S ;   S h i r k y   C . ,   2 0 0 6 ,   R E F O R M A T T I N G   P O L I T I C ,   P 3 5 ;   S h u k a i t i s   S . ,   2 0 1 3 ,   C U L T U R A L   S T U D I E S   C R I ,   D O I   [ 1 0 . 1 1 7 7 / 1 5 3 2 7 0 8 6 1 3 5 0 3 7 8 1 ,   D O I   1 0 . 1 1 7 7 / 1 5 3 2 7 0 8 6 1 3 5 0 3 7 8 1 ] ;   S u h   B . ,   2 0 0 9 ,   S I N G U L A R I T Y   I S   N O T   N ;   S w a r t z   D L ,   2 0 0 3 ,   T H E O R   S O C ,   V 3 2 ,   P 7 9 1 ,   D O I   1 0 . 1 0 2 3 / B : R Y S O . 0 0 0 0 0 0 4 9 5 6 . 3 4 2 5 3 . f b ;   T u r n e r   F . ,   2 0 0 6 ,   C O U N T E R C U L T U R E   C Y B E R ;   W e b e r   M . ,   1 9 7 8 ,   E C   S O C   O U T L I N E   I N T E R ;   W e b e r   M a x ,   1 9 4 7 ,   T H E O R Y   S O C I A L   E C   O R G ;   W e b e r   S . ,   2 0 0 4 ,   S U C C E S S   O P E N   S O U R C E ;   W h i t e   H .   C . ,   1 9 9 2 ,   I D E N T I T Y   C O N T R O L   S T R ;   W i k i p e d i a ,   2 0 1 3 ,   3   2   W I K   I S   N O T   B U R 	 7 0 	 0 	 0 	 R O U T L E D G E   J O U R N A L S ,   T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X F O R D S H I R E ,   E N G L A N D 	 1 3 6 9 - 1 1 8 X 	 1 4 6 8 - 4 4 6 2 	 	 I N F O R M   C O M M U N   S O C 	 I n f o .   C o m m u n .   S o c . 	 A U G   9 	 2 0 1 4 	 1 7 	 7 	 	 	 	 	 8 7 2 	 8 8 8 	 	 1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 3 . 8 5 0 5 2 5 	 	 1 7 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 A H 2 I B 	 W O S : 0 0 0 3 3 5 9 4 3 6 0 0 0 0 6 	 	 
 J 	 L i u ,   T X ;   Y a n g ,   J ;   A d a m i c ,   L A ;   C h e n ,   Y 	 	 	 	 L i u ,   T r a c y   X i a o ;   Y a n g ,   J i a n g ;   A d a m i c ,   L a d a   A . ;   C h e n ,   Y a n 	 	 	 C r o w d s o u r c i n g   w i t h   A l l - P a y   A u c t i o n s :   A   F i e l d   E x p e r i m e n t   o n   T a s k c n 	 M A N A G E M E N T   S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   f i e l d   e x p e r i m e n t ;   a l l - p a y   a u c t i o n s 	 P E R F O R M A N C E - P A Y ;   I N C O M P L E T E   I N F O R M A T I O N ;   I N N O V A T I O N   C O N T E S T S ;   R E N T - S E E K I N G ;   T O U R N A M E N T S ;   I N C E N T I V E S ;   P R O D U C T I V I T Y 	 T o   e x p l o r e   t h e   e f f e c t s   o f   d i f f e r e n t   i n c e n t i v e s   o n   c r o w d s o u r c i n g   p a r t i c i p a t i o n   a n d   s u b m i s s i o n   q u a l i t y ,   w e   c o n d u c t   a   r a n d o m i z e d   f i e l d   e x p e r i m e n t   o n   T a s k c n ,   a   l a r g e   C h i n e s e   c r o w d s o u r c i n g   s i t e   u s i n g   m e c h a n i s m s   w i t h   f e a t u r e s   o f   a n   a l l - p a y   a u c t i o n .   I n   o u r   s t u d y ,   w e   s y s t e m a t i c a l l y   v a r y   t h e   s i z e   o f   t h e   r e w a r d   a s   w e l l   a s   t h e   p r e s e n c e   o f   a   s o f t   r e s e r v e ,   o r   e a r l y   h i g h - q u a l i t y   s u b m i s s i o n .   W e   f i n d   t h a t   a   h i g h e r   r e w a r d   i n d u c e s   s i g n i f i c a n t l y   m o r e   s u b m i s s i o n s   a n d   s u b m i s s i o n s   o f   h i g h e r   q u a l i t y .   I n   c o m p a r i s o n ,   w e   f i n d   t h a t   h i g h - q u a l i t y   u s e r s   a r e   s i g n i f i c a n t l y   l e s s   l i k e l y   t o   e n t e r   t a s k s   w h e r e   a   h i g h - q u a l i t y   s o l u t i o n   h a s   a l r e a d y   b e e n   s u b m i t t e d ,   r e s u l t i n g   i n   l o w e r   o v e r a l l   q u a l i t y   i n   s u b s e q u e n t   s u b m i s s i o n s   i n   s u c h   s o f t   r e s e r v e   t r e a t m e n t s . 	 [ L i u ,   T r a c y   X i a o ]   T s i n g h u a   U n i v ,   S c h   E c o n   &   M a n a g e m e n t ,   D e p t   E c o n ,   B e i j i n g   1 0 0 0 8 4 ,   P e o p l e s   R   C h i n a ;   [ Y a n g ,   J i a n g ]   I B M   C o r p ,   A r m o n k ,   N Y   1 0 5 0 4   U S A ;   [ A d a m i c ,   L a d a   A . ;   C h e n ,   Y a n ]   U n i v   M i c h i g a n ,   S c h   I n f o r m a t ,   A n n   A r b o r ,   M I   4 8 1 0 9   U S A 	 L i u ,   T X   ( r e p r i n t   a u t h o r ) ,   T s i n g h u a   U n i v ,   S c h   E c o n   &   M a n a g e m e n t ,   D e p t   E c o n ,   B e i j i n g   1 0 0 0 8 4 ,   P e o p l e s   R   C h i n a . 	 t r a c y . u m i c h @ g m a i l . c o m ;   y a n g j i a n g 7 8 @ g m a i l . c o m ;   l a d a m i c @ u m i c h . e d u ;   y a n c h e n @ u m i c h . e d u 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ S E S - 0 9 6 2 4 9 2 ,   I I S - 0 9 4 8 6 3 9 ] 	 F o r   h e l p f u l   d i s c u s s i o n s   a n d   c o m m e n t s ,   t h e   a u t h o r s   t h a n k   E y t a n   A d a r ,   T e c k - H u a   H o ,   J e f f   M a c K i e - M a s o n ,   J o h n   M o r g a n ,   P a u l   R e s n i c k ,   R a h u l   S a m i ,   E l l a   S e g e v ,   A n e r   S e l a ,   J e f f   S m i t h ,   N e s l i h a n   U h l e r ,   a n d   L i x i n   Y e ,   a s   w e l l   a s   s e m i n a r   p a r t i c i p a n t s   a t   t h e   U n i v e r s i t y   o f   A r k a n s a s ,   C h a p m a n   U n i v e r s i t y ,   t h e   U n i v e r s i t y   o f   E s s e x ,   F l o r i d a   S t a t e   U n i v e r s i t y ,   t h e   U n i v e r s i t y   o f   M i c h i g a n ,   L u d w i g   A x i m i l i a n   U n i v e r s i t y   o f   M u n i c h ,   O h i o   S t a t e   U n i v e r s i t y ,   t h e   N a t i o n a l   U n i v e r s i t y   o f   S i n g a p o r e ,   P e n n   S t a t e   U n i v e r s i t y ,   t h e   U n i v e r s i t y   C o l l e g e   L o n d o n ,   t h e   U n i v e r s i t y   o f   C a l i f o r n i a   a t   S a n t a   B a r b a r a ,   t h e   U n i v e r s i t y   o f   Z u r i c h ,   t h e   2 0 1 0   I n t e r n a t i o n a l   E c o n o m i c   S c i e n c e   A s s o c i a t i o n   m e e t i n g s   ( C o p e n h a g e n ) ,   t h e   A s s o c i a t i o n   f o r   C o m p u t i n g   M a c h i n e r y   E l e c t r o n i c   C o m m e r c e   2 0 1 1   W o r k s h o p   o n   C r o w d s o u r c i n g   a n d   U s e r   G e n e r a t e d   C o n t e n t   ( S a n   J o s e ,   C a l i f o r n i a ) ,   a n d   t h e   2 0 1 2   N S F / N B E R   D e c e n t r a l i z a t i o n   C o n f e r e n c e   ( C a l t e c h ) .   T h e   a u t h o r s   t h a n k   L e i   S h i   f o r   e x c e l l e n t   r e s e a r c h   a s s i s t a n c e .   T h e   f i n a n c i a l   s u p p o r t   f r o m   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ G r a n t s   S E S - 0 9 6 2 4 9 2   a n d   I I S - 0 9 4 8 6 3 9 ]   i s   g r a t e f u l l y   a c k n o w l e d g e d . 	 A m a n n   E ,   1 9 9 6 ,   G A M E   E C O N   B E H A V ,   V 1 4 ,   P 1 ,   D O I   1 0 . 1 0 0 6 / g a m e . 1 9 9 6 . 0 0 4 0 ;   A n d e r s o n   S P ,   1 9 9 8 ,   J   P O L I T   E C O N ,   V 1 0 6 ,   P 8 2 8 ,   D O I   1 0 . 1 0 8 6 / 2 5 0 0 3 1 ;   A r c h a k   N ,   2 0 1 0 ,   P   9   I N T   C   W O R L D   W I D ;   B a y e   M R ,   1 9 9 6 ,   E C O N   T H E O R Y ,   V 8 ,   P 2 9 1 ,   D O I   1 0 . 1 0 0 7 / s 0 0 1 9 9 0 0 5 0 0 9 2 ;   B e r t o l e t t i   P ,   2 0 1 0 ,   W O R K I N G   P A P E R ;   B o u d r e a u   K J ,   2 0 1 2 ,   W O R K I N G   P A P E R ;   B o u d r e a u   K J ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 8 4 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 2 2 ;   C a d s b y   B .   C . ,   2 0 0 7 ,   A C A D   M A N A G E   J ,   V 5 0 ,   P 3 8 7 ;   C a r p e n t e r   J ,   2 0 1 0 ,   A M   E C O N   R E V ,   V 1 0 0 ,   P 5 0 4 ,   D O I   1 0 . 1 2 5 7 / a e r . 1 0 0 . 1 . 5 0 4 ;   C h e n   Y ,   2 0 1 0 ,   J   P U B L I C   E C O N   T H E O R Y ,   V 1 2 ,   P 6 4 1 ;   D a s g u p t a   P ,   1 9 8 6 ,   N E W   D E V   A N A L   M A R K E T ,   P 5 1 9 ;   D a v i s   D D ,   1 9 9 8 ,   P U B L I C   C H O I C E ,   V 9 5 ,   P 8 9 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 4 9 1 6 6 2 4 8 8 1 ;   D e c h e n a u x   E ,   2 0 1 2 ,   W O R K I N G   P A P E R ;   D i P a l a n t i n o   D ,   2 0 0 9 ,   1 0 T H   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E   -   E C   2 0 0 9 ,   P 1 1 9 ;   D o h m e n   T ,   2 0 1 1 ,   A M   E C O N   R E V ,   V 1 0 1 ,   P 5 5 6 ,   D O I   1 0 . 1 2 5 7 / a e r . 1 0 1 . 2 . 5 5 6 ;   E H R E N B E R G   R G ,   1 9 9 0 ,   J   P O L I T   E C O N ,   V 9 8 ,   P 1 3 0 7 ,   D O I   1 0 . 1 0 8 6 / 2 6 1 7 3 6 ;   E r i k s s o n   T ,   2 0 0 8 ,   J   E C O N   B E H A V   O R G A N ,   V 6 8 ,   P 4 1 2 ,   D O I   1 0 . 1 0 1 6 / j . j e b o . 2 0 0 7 . 1 0 . 0 0 3 ;   E r i k s s o n   T ,   2 0 0 9 ,   E C O N   I N Q ,   V 4 7 ,   P 5 3 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 5 - 7 2 9 5 . 2 0 0 7 . 0 0 0 9 4 . x ;   F i b i c h   G ,   2 0 0 6 ,   I N T   J   G A M E   T H E O R Y ,   V 3 4 ,   P 5 8 3 ,   D O I   1 0 . 1 0 0 7 / s 0 0 1 8 2 - 0 0 6 - 0 0 3 4 - 5 ;   G n e e z y   U ,   2 0 0 6 ,   J   E C O N   B E H A V   O R G A N ,   V 6 1 ,   P 2 5 5 ,   D O I   1 0 . 1 0 1 6 / j . j e b o . 2 0 0 4 . 0 9 . 0 1 3 ;   H a r r i s o n   G W ,   2 0 0 4 ,   J   E C O N   L I T ,   V 4 2 ,   P 1 0 0 9 ,   D O I   1 0 . 1 2 5 7 / 0 0 2 2 0 5 1 0 4 3 0 0 4 5 7 7 ;   H i l l m a n   A . L . ,   1 9 8 9 ,   E C O N   P O L I T - O X F O R D ,   V 1 ,   P 1 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 0 3 4 3 . 1 9 8 9 . t b 0 0 0 0 3 . x ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   J i a n   L ,   2 0 1 3 ,   W O R K I N G   P A P E R ;   K l e e m a n n   F . ,   2 0 0 8 ,   S C I   T E C H N O L O G Y   I N N O V ,   V 4 ,   P 5 ;   K O N R A D   K . ,   2 0 0 9 ,   S T R A T E G Y   D Y N A M I C S   C O ;   K o n r a d   K . A . ,   2 0 0 7 ,   R E V   E C O N   D E S ,   V 1 2 ,   P 1 6 5 ;   K r i p p e n d o r f f   K . ,   2 0 0 3 ,   C O N T E N T   A N A L   I N T R O   I ;   K r i s h n a   V ,   1 9 9 7 ,   J   E C O N   T H E O R Y ,   V 7 2 ,   P 3 4 3 ,   D O I   1 0 . 1 0 0 6 / j e t h . 1 9 9 6 . 2 2 0 8 ;   K r i s h n a   V ,   2 0 0 9 ,   A U C T I O N   T H E O R Y ;   L a z e a r   E P ,   2 0 0 0 ,   A M   E C O N   R E V ,   V 9 0 ,   P 1 3 4 6 ,   D O I   1 0 . 1 2 5 7 / a e r . 9 0 . 5 . 1 3 4 6 ;   L A Z E A R   E P ,   1 9 8 1 ,   J   P O L I T   E C O N ,   V 8 9 ,   P 8 4 1 ,   D O I   1 0 . 1 0 8 6 / 2 6 1 0 1 0 ;   L a z e a r   E P ,   2 0 0 0 ,   A M   E C O N   R E V ,   V 9 0 ,   P 4 1 0 ,   D O I   1 0 . 1 2 5 7 / a e r . 9 0 . 2 . 4 1 0 ;   L i u   T X ,   2 0 1 1 ,   P   A M   S O C   I N F O R M   S C I ,   V 4 8 ,   P 1 ;   L i u   T X ,   2 0 1 1 ,   W O R K I N G   P A P E R ;   L u g o v s k y y   V ,   2 0 1 0 ,   E U R   E C O N   R E V ,   V 5 4 ,   P 9 7 4 ,   D O I   1 0 . 1 0 1 6 / j . e u r o e c o r e v . 2 0 1 0 . 0 2 . 0 0 6 ;   M a s o n   W ,   2 0 0 9 ,   C   K N O W L   D I S C   D A T   M I N ;   M o r g a n   J ,   2 0 1 2 ,   E C O N   T H E O R ,   V 5 1 ,   P 4 3 5 ,   D O I   1 0 . 1 0 0 7 / s 0 0 1 9 9 - 0 1 0 - 0 5 4 4 - z ;   N A L E B U F F   B J ,   1 9 8 3 ,   B E L L   J   E C O N ,   V 1 4 ,   P 2 1 ,   D O I   1 0 . 2 3 0 7 / 3 0 0 3 5 3 5 ;   N a m   K K ,   2 0 0 9 ,   C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 7 7 9 ;   N o u s s a i r   C ,   2 0 0 6 ,   G A M E   E C O N   B E H A V ,   V 5 5 ,   P 1 8 9 ,   D O I   1 0 . 1 0 1 6 / j . g e b . 2 0 0 5 . 0 1 . 0 0 5 ;   P o t t e r s   J . ,   1 9 9 8 ,   E U R O P E A N   J   P O L I T I C A L ,   V 1 4 ,   P 7 8 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 7 6 - 2 6 8 0 ( 9 8 ) 0 0 0 3 7 - 8 ;   S e g e v   E ,   2 0 1 2 ,   W O R K I N G   P A P E R ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   T u l l o c k   G ,   1 9 8 0 ,   E F F I C I E N T   R E N T   S E E K I ;   Y a n g   J ,   2 0 0 8 ,   P   I N T   C   W E B L   S O C   M E D ;   Y a n g   J ,   2 0 0 8 ,   P   9   A C M   C   E L   C O M M ,   P 2 4 6 ,   D O I   1 0 . 1 1 4 5 / 1 3 8 6 7 9 0 . 1 3 8 6 8 2 9 	 4 9 	 0 	 0 	 I N F O R M S 	 C A T O N S V I L L E 	 5 5 2 1   R E S E A R C H   P A R K   D R ,   S U I T E   2 0 0 ,   C A T O N S V I L L E ,   M D   2 1 2 2 8   U S A 	 0 0 2 5 - 1 9 0 9 	 1 5 2 6 - 5 5 0 1 	 	 M A N A G E   S C I 	 M a n a g e .   S c i . 	 A U G 	 2 0 1 4 	 6 0 	 8 	 	 	 	 	 2 0 2 0 	 2 0 3 7 	 	 1 0 . 1 2 8 7 / m n s c . 2 0 1 3 . 1 8 4 5 	 	 1 8 	 M a n a g e m e n t ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 B u s i n e s s   &   E c o n o m i c s ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 A P 1 Y N 	 W O S : 0 0 0 3 4 1 8 6 8 4 0 0 0 0 9 	 	 
 J 	 H u ,   C ;   R e s n i k ,   P ;   B e d e r s o n ,   B B 	 	 	 	 H u ,   C h a n g ;   R e s n i k ,   P h i l i p ;   B e d e r s o n ,   B e n j a m i n   B . 	 	 	 C r o w d s o u r c e d   M o n o l i n g u a l   T r a n s l a t i o n 	 A C M   T R A N S A C T I O N S   O N   C O M P U T E R - H U M A N   I N T E R A C T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   t r a n s l a t i o n ;   h u m a n   c o m p u t a t i o n 	 	 A n   e n o r m o u s   p o t e n t i a l   e x i s t s   f o r   s o l v i n g   c e r t a i n   c l a s s e s   o f   c o m p u t a t i o n a l   p r o b l e m s   t h r o u g h   r i c h   c o l l a b o r a t i o n   a m o n g   c r o w d s   o f   h u m a n s   s u p p o r t e d   b y   c o m p u t e r s .   S o l u t i o n s   t o   t h e s e   p r o b l e m s   u s e d   t o   i n v o l v e   h u m a n   p r o f e s s i o n a l s ,   w h o   a r e   e x p e n s i v e   t o   h i r e   o r   d i f f i c u l t   t o   f i n d .   D e s p i t e   s i g n i f i c a n t   a d v a n c e s ,   f u l l y   a u t o m a t i c   s y s t e m s   s t i l l   h a v e   m u c h   r o o m   f o r   i m p r o v e m e n t .   R e c e n t   r e s e a r c h   h a s   i n v o l v e d   r e c r u i t i n g   l a r g e   c r o w d s   o f   s k i l l e d   h u m a n s   ( " c r o w d s o u r c i n g " ) ,   b u t   c r o w d s o u r c i n g   s o l u t i o n s   a r e   s t i l l   r e s t r i c t e d   b y   t h e   a v a i l a b i l i t y   o f   t h o s e   s k i l l e d   h u m a n   p a r t i c i p a n t s .   W i t h   t r a n s l a t i o n ,   f o r   e x a m p l e ,   p r o f e s s i o n a l   t r a n s l a t o r s   i n c u r   a   h i g h   c o s t   a n d   a r e   n o t   a l w a y s   a v a i l a b l e ;   m a c h i n e   t r a n s l a t i o n   s y s t e m s   h a v e   b e e n   g r e a t l y   i m p r o v e d   r e c e n t l y   b u t   s t i l l   c a n   o n l y   p r o v i d e   p a s s a b l e   t r a n s l a t i o n ;   a n d   c r o w d s o u r c e d   t r a n s l a t i o n   i s   l i m i t e d   b y   t h e   a v a i l a b i l i t y   o f   b i l i n g u a l   h u m a n s .   T h i s   a r t i c l e   d e s c r i b e s   c r o w d s o u r c e d   m o n o l i n g u a l   t r a n s l a t i o n ,   w h e r e   m o n o l i n g u a l   t r a n s l a t i o n   i s   t r a n s l a t i o n   p e r f o r m e d   b y   m o n o l i n g u a l   p e o p l e .   C r o w d s o u r c e d   m o n o l i n g u a l   t r a n s l a t i o n   i s   a   c o l l a b o r a t i v e   f o r m   o f   t r a n s l a t i o n   p e r f o r m e d   b y   t w o   c r o w d s   o f   p e o p l e   w h o   s p e a k   t h e   s o u r c e   o r   t h e   t a r g e t   l a n g u a g e ,   r e s p e c t i v e l y ,   w i t h   m a c h i n e   t r a n s l a t i o n   a s   t h e   m e d i a t i n g   d e v i c e .   T h i s   a r t i c l e   d e s c r i b e s   a   g e n e r a l   p r o t o c o l   t o   h a n d l e   c r o w d s o u r c e d   m o n o l i n g u a l   t r a n s l a t i o n   a n d   a n a l y z e s   t h r e e   s y s t e m s   t h a t   i m p l e m e n t e d   t h e   p r o t o c o l .   T h e s e   s y s t e m s   w e r e   s t u d i e d   i n   v a r i o u s   s e t t i n g s   a n d   w e r e   f o u n d   t o   s u p p l y   s i g n i f i c a n t   i m p r o v e m e n t   i n   q u a l i t y   o v e r   b o t h   m a c h i n e   t r a n s l a t i o n   a n d   m o n o l i n g u a l   e d i t i n g   o f   m a c h i n e   t r a n s l a t i o n   o u t p u t   ( " p o s t e d i t i n g " ) . 	 [ H u ,   C h a n g ]   U n i v   M a r y l a n d ,   C o l l e g e   P k ,   M D   U S A ;   [ R e s n i k ,   P h i l i p ;   B e d e r s o n ,   B e n j a m i n   B . ]   U n i v   M a r y l a n d ,   U M I A C S ,   C o l l e g e   P k ,   M D   2 0 7 4 2   U S A 	 H u ,   C   ( r e p r i n t   a u t h o r ) ,   M i c r o s o f t   C o r p ,   R e d m o n d ,   W A   9 8 0 5 2   U S A . 	 c h a n g h u @ m i c r o s o f t . c o m ;   r e s n i k @ u m i a c s . u m d . e d u ;   b e d e r s o n @ u m i a c s . u m d . e d u 	 	 	 N S F   [ B C S 0 9 4 1 4 5 5 ] ;   G o o g l e 	 T h i s   r e s e a r c h   w a s   s u p p o r t e d   b y   N S F   c o n t r a c t   # B C S 0 9 4 1 4 5 5   a n d   b y   a   G o o g l e   R e s e a r c h   A w a r d .   W e   a l s o   a p p r e c i a t e   t h e   c o n t r i b u t i o n s   o n   v a r i o u s   p o r t i o n s   o f   t h i s   p r o j e c t   b y   O l i v i a   B u z e k ,   A l e x a n d e r   J .   Q u i n n ,   a n d   Y a k o v   K r o n r o d . 	 A l l e n   J . ,   2 0 0 3 ,   P O S T E D I T I N G ,   V 3 5 ,   P 2 9 7 ;   B e r n s t e i n   M .   S . ,   2 0 1 0 ,   A C M   U I S T   1 0 ,   P 3 1 3 ;   B i g h a m   J .   P . ,   2 0 1 0 ,   S C I E N C E ,   V 1 6 ,   P 3 3 3 ;   B u z e k   O . ,   2 0 1 0 ,   N A A C L   H L T   2 0 1 0   W O R K S ;   C a l l i s o n - B u r c h   C . ,   2 0 0 5 ,   L I N E A R   B   S Y S T E M   D E S C ;   C l a r k   H .   H . ,   1 9 8 1 ,   E L E M E N T S   D I S C O U R S E   U ,   P 1 0 ;   D a b b a d i e   M . ,   2 0 0 2 ,   P   2 0 0 2   L A N G   R E S   E V   C ;   D a n e t   D . ,   2 0 0 7 ,   M U L T I L I N G U A L   I N T E R N E ;   D y e r   C . ,   2 0 1 0 ,   P   A C L   J U L ,   P 7 ;   E d w a r d s   J . ,   1 9 9 4 ,   M U L T I L I N G U A L I S M ;   E v e r i t t   K . ,   2 0 1 0 ,   J   T R A N S L A T I O N   T E C H N I ,   V 3 ,   P 7 0 ;   G a b s d i l   M . ,   2 0 0 3 ,   P   2 0 0 3   A A A I   S P R I N G   S ;   H a m p s h i r e   S . ,   2 0 1 0 ,   Q U A D E R N S   R E V   T R A D ,   V 1 7 ,   P 1 9 7 ;   H u   C . ,   2 0 1 1 ,   P   S I G C H I   V A N C   B C   C A N ,   P 1 1 3 3 ;   H u   C . ,   2 0 1 2 ,   P   2 0 1 2   A C M   A N N   C   H U M ,   P 2 9 3 5 ;   H u   C . ,   2 0 1 1 ,   V A L U E   M O N O L I N G U A L   C R ,   P 3 9 9 ;   H u   C . ,   2 0 1 0 ,   P   G R A P H   I N T   2 0 1 0 ,   P 3 9 ;   H u t c h i n s   J . ,   2 0 0 5 ,   I N T   J   T R A N S L A T I O N ,   V 1 7 ,   p [ 1 ,   5 ] ;   H w a   R . ,   2 0 0 2 ,   P   4 0   A N N   M   A S S   C O M P ,   P 3 9 2 ;   I s h i d a   T . ,   2 0 0 6 ,   P   I E E E   I P S J   S   A P P L   I ,   P 9 6 ;   K a y   M . ,   1 9 9 7 ,   M a c h i n e   T r a n s l a t i o n ,   V 1 2 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 7 9 1 1 4 1 6 6 7 6 ;   K i t t u r   A . ,   2 0 1 0 ,   X R D S ,   V 1 7 ,   P 2 2 ;   K o e h n   P . ,   2 0 1 0 ,   P   H U M   L A N G   T E C H N   2 0 1 ,   V 8 8 ,   P 5 3 7 ;   L e w i s   W . ,   2 0 1 0 ,   E A M T   2 0 1 0 ;   L i t t l e   G . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 4 3 0 9 ,   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 4 1 4 5 ;   L o p e z   A ,   2 0 0 8 ,   A C M   C O M P U T   S U R V ,   V 4 0 ,   D O I   1 0 . 1 1 4 5 / 1 3 8 0 5 8 4 . 1 3 8 0 5 8 6 ;   M o r i t a   D ,   2 0 1 1 ,   C O G N   T E C H N O L ,   P 2 1 5 ;   M o r i t a   D . ,   2 0 0 9 ,   P   1 4   I U I 2 0 0 9 ,   P 3 6 1 ;   N i s e   N .   S . ,   1 9 9 5 ,   C O N T R O L   S Y S T E M S   E N G ,   V 3 4 ,   P 1 1 ;   O a r d   D .   W . ,   2 0 0 3 ,   A C M   T   A S I A N   L A N G U A G E ,   V 2 ,   P 7 9 ,   D O I   1 0 . 1 1 4 5 / 9 7 4 7 4 0 . 9 7 4 7 4 1 ;   Q u i n n ,   2 0 0 9 ,   T A X O N O M Y   D I S T R I B U T E D ;   S h a n n o n   C .   E . ,   1 9 5 0 ,   P   7   C   C Y B   C I R C   C A U S ,   P 2 4 8 ;   S H A N N O N   C E ,   1 9 5 1 ,   A T & T   T E C H   J ,   V 3 0 ,   P 5 0 ;   S H A N N O N   C E ,   1 9 4 8 ,   A T & T   T E C H   J ,   V 2 7 ,   P 6 2 3 ;   S n o v e r   M . ,   2 0 0 6 ,   P   C   A S S   M A C H   T R A N S L ,   V 2 3 1 ,   P 2 2 3 ;   S o d e r l a n d   S . ,   2 0 0 9 ,   P   1 2   M A C H   T R A N S L   S U M ,   P 1 2 8 ;   S u r o w i e c k i   J . ,   2 0 0 5 ,   W I S D O M   C R O W D S ,   V 7 5 ;   V i l a r   D . ,   2 0 0 6 ,   P   L A N G   R E S   E V   C   L R E C ,   P 6 9 7 ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   Y a r o w s k y   D . ,   2 0 0 1 ,   P   1   I N T   C   H U M   L A N G   T ,   P 1 ,   D O I   1 0 . 3 1 1 5 / 1 0 7 2 1 3 3 . 1 0 7 2 1 8 7 ;   Z a i d a n   O . F . ,   2 0 1 1 ,   P   4 9   A N N   M   A S S   C O M P ,   V 1 ,   P 1 2 2 0 	 4 1 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 1 0 7 3 - 0 5 1 6 	 1 5 5 7 - 7 3 2 5 	 	 A C M   T   C O M P U T - H U M   I N T 	 A C M   T r a n s .   C o m p u t . - H u m .   I n t e r a c t . 	 A U G 	 2 0 1 4 	 2 1 	 4 	 	 	 	 	 	 	 2 2 	 1 0 . 1 1 4 5 / 2 6 2 7 7 5 1 	 	 3 5 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 A O 5 L Y 	 W O S : 0 0 0 3 4 1 3 8 7 5 0 0 0 0 3 	 	 
 J 	 P u y o l ,   M G ;   B o b k o v ,   D ;   R o b e r t s o n ,   P ;   J o s t ,   T 	 	 	 	 P u y o l ,   M a r i a   G a r c i a ;   B o b k o v ,   D m y t r o ;   R o b e r t s o n ,   P a t r i c k ;   J o s t ,   T h o m a s 	 	 	 P e d e s t r i a n   S i m u l t a n e o u s   L o c a l i z a t i o n   a n d   M a p p i n g   i n   M u l t i s t o r y   B u i l d i n g s   U s i n g   I n e r t i a l   S e n s o r s 	 I E E E   T R A N S A C T I O N S   O N   I N T E L L I G E N T   T R A N S P O R T A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 I n d o o r   p e d e s t r i a n   n a v i g a t i o n ;   i n e r t i a l   n a v i g a t i o n ;   m u l t i s t o r y   l o c a l i z a t i o n   a n d   m a p p i n g ;   s i m u l t a n e o u s   l o c a l i z a t i o n   a n d   m a p p i n g   ( S L A M ) 	 N A V I G A T I O N ;   A L G O R I T H M ;   T R A C K I N G ;   S Y S T E M S 	 P e d e s t r i a n   n a v i g a t i o n   i s   a n   i m p o r t a n t   i n g r e d i e n t   f o r   e f f i c i e n t   m u l t i m o d a l   t r a n s p o r t a t i o n ,   s u c h   a s   g u i d a n c e   w i t h i n   l a r g e   t r a n s p o r t a t i o n   i n f r a s t r u c t u r e s .   A   r e q u i r e m e n t   i s   a c c u r a t e   p o s i t i o n i n g   o f   p e o p l e   i n   i n d o o r   m u l t i s t o r y   e n v i r o n m e n t s .   T o   a c h i e v e   t h i s ,   m a p s   o f   t h e   e n v i r o n m e n t   p l a y   a   v e r y   i m p o r t a n t   r o l e .   F o o t S L A M   i s   a n   a l g o r i t h m   b a s e d   o n   t h e   s i m u l t a n e o u s   l o c a l i z a t i o n   a n d   m a p p i n g   ( S L A M )   p r i n c i p l e   t h a t   r e l i e s   o n   h u m a n   o d o m e t r y ,   i . e . ,   m e a s u r e m e n t s   o f   a   p e d e s t r i a n ' s   s t e p s ,   t o   b u i l d   p r o b a b i l i s t i c   m a p s   o f   h u m a n   m o t i o n   f o r   s u c h   e n v i r o n m e n t s   a n d   c a n   b e   a p p l i e d   u s i n g   c r o w d s o u r c i n g .   I n   t h i s   p a p e r ,   w e   e x t e n d   F o o t S L A M   t o   m u l t i s t o r y   b u i l d i n g s   f o l l o w i n g   a   B a y e s i a n   d e r i v a t i o n .   O u r   a p p r o a c h   e m p l o y s   a   p a r t i c l e   f i l t e r   a n d   p a r t i t i o n s   t h e   m a p   s p a c e   i n t o   a   g r i d   o f   a d j a c e n t   h e x a g o n a l   p r i s m s   w i t h   e i g h t   f a c e s .   W e   m o d e l   t h e   v e r t i c a l   c o m p o n e n t   o f   t h e   o d o m e t r y   e r r o r s   u s i n g   a n   a u t o r e g r e s s i v e   i n t e g r a t e d   m o v i n g   a v e r a g e   ( A R I M A )   m o d e l   a n d   e x t e n d   t h e   g e o g r a p h i c   t r e e - b a s e d   d a t a   s t r u c t u r e   t h a t   e f f i c i e n t l y   s t o r e s   t h e   p r o b a b i l i s t i c   m a p ,   a l l o w i n g   r e a l - t i m e   p r o c e s s i n g .   W e   p r e s e n t   t h e   m u l t i s t o r y   F o o t S L A M   m a p s   t h a t   w e r e   c r e a t e d   f r o m   t h r e e   d a t a   s e t s   c o l l e c t e d   i n   d i f f e r e n t   b u i l d i n g s   ( o n e   l a r g e   o f f i c e   b u i l d i n g   a n d   t w o   u n i v e r s i t y   b u i l d i n g s ) .   H e r e b y ,   t h e   u s e r   w a s   o n l y   c a r r y i n g   a   s i n g l e   f o o t - m o u n t e d   i n e r t i a l   m e a s u r e m e n t   u n i t   ( I M U ) .   W e   b e l i e v e   t h e   r e s u l t i n g   m a p s   t o   b e   s t r o n g   e v i d e n c e   o f   t h e   r o b u s t n e s s   o f   F o o t S L A M .   T h i s   p a p e r   r a i s e s   t h e   f u t u r e   p o s s i b i l i t y   o f   c r o w d s o u r c e d   i n d o o r   m a p p i n g   a n d   a c c u r a t e   n a v i g a t i o n   u s i n g   o t h e r   f o r m s   o f   h u m a n   o d o m e t r y ,   e . g . ,   o b t a i n e d   w i t h   t h e   l o w - c o s t   a n d   n o n i n t r u s i v e   s e n s o r s   o f   a   h a n d h e l d   s m a r t p h o n e . 	 [ P u y o l ,   M a r i a   G a r c i a ;   R o b e r t s o n ,   P a t r i c k ;   J o s t ,   T h o m a s ]   G e r m a n   A e r o s p   C t r   D L R ,   I n s t   C o m m u n   &   N a v ,   D - 8 2 2 3 4   W e s s l i n g ,   G e r m a n y ;   [ B o b k o v ,   D m y t r o ]   T e c h   U n i v   M u n i c h ,   I n s t   M e d i a   T e c h n o l ,   D - 8 0 3 3 3   M u n i c h ,   G e r m a n y 	 P u y o l ,   M G   ( r e p r i n t   a u t h o r ) ,   G e r m a n   A e r o s p   C t r   D L R ,   I n s t   C o m m u n   &   N a v ,   D - 8 2 2 3 4   W e s s l i n g ,   G e r m a n y . 	 m a r i a . g a r c i a p u y o l @ d l r . d e ;   d m y t r o . b o b k o v @ t u m . d e ;   p a t r i c k . r o b e r t s o n @ d l r . d e ;   t h o m a s . j o s t @ d l r . d e 	 	 	 	 	 A n g e r m a n n   M ,   2 0 1 2 ,   P   I E E E ,   V 1 0 0 ,   P 1 8 4 0 ,   D O I   1 0 . 1 1 0 9 / J P R O C . 2 0 1 2 . 2 1 8 9 7 8 5 ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   M U L T I S T O R Y   F O O T S L A M ;   A r u l a m p a l a m   M S ,   2 0 0 2 ,   I E E E   T   S I G N A L   P R O C E S ,   V 5 0 ,   P 1 7 4 ,   D O I   1 0 . 1 1 0 9 / 7 8 . 9 7 8 3 7 4 ;   B a i l e y   T ,   2 0 0 6 ,   I E E E   I N T   C O N F   R O B O T ,   P 4 2 4 ;   B e a u r e g a r d   S . ,   2 0 0 8 ,   P   I E E E   I O N   P O S   L O C   N ,   P 1 4 1 ;   B o x   G .   E .   P . ,   1 9 9 0 ,   T I M E   S E R I E S   A N A L   F O R ;   B r a j d i c   A . ,   2 0 1 3 ,   P   I N T   J O I N T   C   P E R V   U ,   P 2 2 5 ;   B r u n o   L . ,   2 0 1 1 ,   P   I P I N   G U I M   P O R T   S E P ,   P 1 ;   C i n a z   B ,   2 0 0 8 ,   T W E L F T H   I E E E   I N T E R N A T I O N A L   S Y M P O S I U M   O N   W E A R A B L E   C O M P U T E R S ,   P R O C E E D I N G S ,   P 3 ;   D a v i s o n   A J ,   2 0 0 7 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 9 ,   P 1 0 5 2 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 7 . 1 0 4 9 ;   D u r r a n t - W h y t e   H ,   2 0 0 6 ,   I E E E   R O B O T   A U T O M   M A G ,   V 1 3 ,   P 9 9 ,   D O I   1 0 . 1 1 0 9 / M R A . 2 0 0 6 . 1 6 3 8 0 2 2 ;   F a l l o n   M F ,   2 0 1 2 ,   I E E E   I N T   C   I N T   R O B O T ,   P 4 4 0 5 ,   D O I   1 0 . 1 1 0 9 / I R O S . 2 0 1 2 . 6 3 8 5 8 8 2 ;   F e r r i s   B ,   2 0 0 7 ,   2 0 T H   I N T E R N A T I O N A L   J O I N T   C O N F E R E N C E   O N   A R T I F I C I A L   I N T E L L I G E N C E ,   P 2 4 8 0 ;   F o x l i n   E ,   2 0 0 5 ,   I E E E   C O M P U T   G R A P H ,   V 2 5 ,   P 3 8 ,   D O I   1 0 . 1 1 0 9 / M C G . 2 0 0 5 . 1 4 0 ;   G a r c i a   P u y o l   M . ,   2 0 1 2 ,   F U T U R E   S E C U R I T Y ;   P u y o l   M a r i a   G a r c i a ,   2 0 1 3 ,   J o u r n a l   o f   L o c a t i o n   B a s e d   S e r v i c e s ,   V 7 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 8 9 7 2 5 . 2 0 1 3 . 8 1 9 4 4 9 ;   G e o r g y   J ,   2 0 1 0 ,   I E E E   T   I N T E L L   T R A N S P ,   V 1 1 ,   P 8 5 6 ,   D O I   1 0 . 1 1 0 9 / T I T S . 2 0 1 0 . 2 0 5 2 8 0 5 ;   G r z o n k a   S ,   2 0 1 2 ,   I E E E   T   R O B O T ,   V 2 8 ,   P 2 3 4 ,   D O I   1 0 . 1 1 0 9 / T R O . 2 0 1 1 . 2 1 6 5 3 7 2 ;   H a r d e g g e r   M . ,   2 0 1 2 ,   P   I P I N   S Y D N   N S W   A U S T ,   P 1 ;   H a r l e   R ,   2 0 1 3 ,   I E E E   C O M M U N   S U R V   T U T ,   V 1 5 ,   P 1 2 8 1 ,   D O I   1 0 . 1 1 0 9 / S U R V . 2 0 1 2 . 1 2 1 9 1 2 . 0 0 0 7 5 ;   H e c k e r m a n   D ,   1 9 9 5 ,   T U T O R I A L   L E A R N I N G   B A ;   I o c c h i   L . ,   2 0 0 7 ,   P   2   I N T   S O C   P H O T   R E M ,   P 1 ;   K a r g   M . ,   2 0 1 0 ,   P   I E E E   I N T   C   R O B   A U T ,   P 5 3 8 3 ;   K a r l s s o n   N ,   2 0 0 5 ,   I E E E   I N T   C O N F   R O B O T ,   P 2 4 ;   K l e i n   A l e x a n d e r ,   2 0 0 7 ,   P r o c e e d i n g s   o f   t h e   2 0 0 7   I n t e g r a t e d   C o m m u n i c a t i o n s ,   N a v i g a t i o n   a n d   S u r v e i l l a n c e   C o n f e r e n c e ;   K r a c h   B . ,   2 0 0 8 ,   P   I E E E   I O N   P O S   L O C   N ,   P 1 1 2 ;   K r u m m   J . ,   2 0 0 8 ,   S A E   W O R L D   C   D E T R   M I ;   M i l l o n i g   A ,   2 0 0 7 ,   I E E E   T   I N T E L L   T R A N S P ,   V 8 ,   P 4 3 ,   D O I   1 0 . 1 1 0 9 / T I T S . 2 0 0 6 . 8 8 9 4 3 9 ;   M o n t e m e r l o   M . ,   2 0 0 2 ,   P   A A A I   N A T   C   A R T   I N T ,   P 5 9 3 ;   N I L S S O N   J O ,   2 0 1 2 ,   P   2 0 1 2   I E E E   I O N   P O S ,   P 1 4 0 ;   O r a v e t z   A .   S . ,   1 9 7 0 ,   A I A A   J ,   V 8 ,   P 1 7 6 6 ,   D O I   1 0 . 2 5 1 4 / 3 . 5 9 8 8 ;   P r i e s t l e y   M . ,   1 9 8 1 ,   S P E C T R A L   A N A L   T I M E   S ;   P U Y O L   M G ,   2 0 1 3 ,   P   M U C S   W O R K S H   I E E E   I ,   P 1 2 1 ;   Q i a n   J . ,   2 0 1 3 ,   P   I O N   G N S S   N A S H V   T N ,   P 1 0 5 7 ;   R a i   A ,   2 0 1 2 ,   M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G ,   P 2 9 3 ;   R e h r l   K ,   2 0 0 7 ,   I E E E   T   I N T E L L   T R A N S P ,   V 8 ,   P 3 1 ,   D O I   1 0 . 1 1 0 9 / T I T S . 2 0 0 6 . 8 9 0 0 7 7 ;   R o b e r t s o n   P . ,   2 0 1 3 ,   I N D   P O S   I N D   N A V   I P I N ;   R o b e r t s o n   P ,   2 0 0 9 ,   U B I C O M P ' 0 9 :   P R O C E E D I N G S   O F   T H E   1 1 T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   U B I Q U I T O U S   C O M P U T I N G ,   P 9 3 ;   R o b e r t s o n   P ,   2 0 1 1 ,   P R O C E E D I N G S   O F   T H E   2 4 T H   I N T E R N A T I O N A L   T E C H N I C A L   M E E T I N G   O F   T H E   S A T E L L I T E   D I V I S I O N   O F   T H E   I N S T I T U T E   O F   N A V I G A T I O N   ( I O N   G N S S   2 0 1 1 ) ,   P 1 3 6 6 ;   S h e n   G . ,   2 0 1 3 ,   N S D I   1 3 ,   P 8 5 ;   S h i n   B . ,   2 0 1 2 ,   P   1 2   I C C A S   J E J   K O R   O ,   P 1 4 4 2 ;   S t e i n h o f f   U . ,   2 0 1 0 ,   P E R V   C O M P   C O M M   P E R C O ,   P 1 6 2 ;   S u s i   M ,   2 0 1 3 ,   S E N S O R S - B A S E L ,   V 1 3 ,   P 1 5 3 9 ,   D O I   1 0 . 3 3 9 0 / s 1 3 0 2 0 1 5 3 9 ;   W o o d m a n   O . ,   2 0 0 8 ,   P   1 0   I N T   C   U B   C O M P ,   P 1 1 4 ,   D O I   1 0 . 1 1 4 5 / 1 4 0 9 6 3 5 . 1 4 0 9 6 5 1 ;   W o o d m a n   O . ,   2 0 0 7 ,   U C A M C L T R 6 9 6 ;   Z a m p e l l a   F . ,   2 0 1 2 ,   P   I E E E   I O N   P L A N S   M Y R ,   P 1 2 9 	 4 6 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 5 2 4 - 9 0 5 0 	 1 5 5 8 - 0 0 1 6 	 	 I E E E   T   I N T E L L   T R A N S P 	 I E E E   T r a n s .   I n t e l l .   T r a n s p .   S y s t . 	 A U G 	 2 0 1 4 	 1 5 	 4 	 	 	 	 	 1 7 1 4 	 1 7 2 7 	 	 1 0 . 1 1 0 9 / T I T S . 2 0 1 4 . 2 3 0 3 1 1 5 	 	 1 4 	 E n g i n e e r i n g ,   C i v i l ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T r a n s p o r t a t i o n   S c i e n c e   &   T e c h n o l o g y 	 E n g i n e e r i n g ;   T r a n s p o r t a t i o n 	 A N 5 J V 	 W O S : 0 0 0 3 4 0 6 2 7 7 0 0 0 2 9 	 	 
 J 	 V e m p a t y ,   A ;   V a r s h n e y ,   L R ;   V a r s h n e y ,   P K 	 	 	 	 V e m p a t y ,   A d i t y a ;   V a r s h n e y ,   L a v   R . ;   V a r s h n e y ,   P r a m o d   K . 	 	 	 R e l i a b l e   C r o w d s o u r c i n g   f o r   M u l t i - C l a s s   L a b e l i n g   U s i n g   C o d i n g   T h e o r y 	 I E E E   J O U R N A L   O F   S E L E C T E D   T O P I C S   I N   S I G N A L   P R O C E S S I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   e r r o r - c o n t r o l   c o d e s ;   m u l t i - c l a s s   l a b e l i n g ;   q u a l i t y   a s s u r a n c e 	 W I R E L E S S   S E N S O R   N E T W O R K S 	 C r o w d s o u r c i n g   s y s t e m s   o f t e n   h a v e   c r o w d   w o r k e r s   t h a t   p e r f o r m   u n r e l i a b l e   w o r k   o n   t h e   t a s k   t h e y   a r e   a s s i g n e d .   I n   t h i s   p a p e r ,   w e   p r o p o s e   t h e   u s e   o f   e r r o r - c o n t r o l   c o d e s   a n d   d e c o d i n g   a l g o r i t h m s   t o   d e s i g n   c r o w d s o u r c i n g   s y s t e m s   f o r   r e l i a b l e   c l a s s i f i c a t i o n   d e s p i t e   u n r e l i a b l e   c r o w d   w o r k e r s .   C o d i n g   t h e o r y   b a s e d   t e c h n i q u e s   a l s o   a l l o w   u s   t o   p o s e   e a s y - t o - a n s w e r   b i n a r y   q u e s t i o n s   t o   t h e   c r o w d   w o r k e r s .   W e   c o n s i d e r   t h r e e   d i f f e r e n t   c r o w d s o u r c i n g   m o d e l s :   s y s t e m s   w i t h   i n d e p e n d e n t   c r o w d   w o r k e r s ,   s y s t e m s   w i t h   p e e r - d e p e n d e n t   r e w a r d   s c h e m e s ,   a n d   s y s t e m s   w h e r e   w o r k e r s   h a v e   c o m m o n   s o u r c e s   o f   i n f o r m a t i o n .   F o r   e a c h   o f   t h e s e   m o d e l s ,   w e   a n a l y z e   c l a s s i f i c a t i o n   p e r f o r m a n c e   w i t h   t h e   p r o p o s e d   c o d i n g - b a s e d   s c h e m e .   W e   d e v e l o p   a n   o r d e r i n g   p r i n c i p l e   f o r   t h e   q u a l i t y   o f   c r o w d s   a n d   d e s c r i b e   h o w   s y s t e m   p e r f o r m a n c e   c h a n g e s   w i t h   t h e   q u a l i t y   o f   t h e   c r o w d .   W e   a l s o   s h o w   t h a t   p a i r i n g   a m o n g   w o r k e r s   a n d   d i v e r s i f i c a t i o n   o f   t h e   q u e s t i o n s   h e l p   i n   i m p r o v i n g   s y s t e m   p e r f o r m a n c e .   W e   d e m o n s t r a t e   t h e   e f f e c t i v e n e s s   o f   t h e   p r o p o s e d   c o d i n g - b a s e d   s c h e m e   u s i n g   b o t h   s i m u l a t e d   d a t a   a n d   r e a l   d a t a s e t s   f r o m   A m a z o n   M e c h a n i c a l   T u r k ,   a   c r o w d s o u r c i n g   m i c r o t a s k   p l a t f o r m .   R e s u l t s   s u g g e s t   t h a t   u s e   o f   g o o d   c o d e s   m a y   i m p r o v e   t h e   p e r f o r m a n c e   o f   t h e   c r o w d s o u r c i n g   t a s k   o v e r   t y p i c a l   m a j o r i t y - v o t i n g   a p p r o a c h e s . 	 [ V e m p a t y ,   A d i t y a ;   V a r s h n e y ,   P r a m o d   K . ]   S y r a c u s e   U n i v ,   D e p t   E l e c t   E n g n   &   C o m p   S c i ,   S y r a c u s e ,   N Y   1 3 2 4 4   U S A ;   [ V a r s h n e y ,   L a v   R . ]   I B M   T h o m a s   J   W a t s o n   R e s   C t r ,   Y o r k t o w n   H t s ,   N Y   1 0 5 9 8   U S A 	 V e m p a t y ,   A   ( r e p r i n t   a u t h o r ) ,   S y r a c u s e   U n i v ,   D e p t   E l e c t   E n g n   &   C o m p   S c i ,   S y r a c u s e ,   N Y   1 3 2 4 4   U S A . 	 a v e m p a t y @ s y r . e d u ;   v a r s h n e y @ i l l i n o i s . e d u ;   v a r s h n e y @ s y r . e d u 	 	 	 C e n t e r   f o r   A d v a n c e d   S y s t e m s   a n d   E n g i n e e r i n g   ( C A S E )   a t   S y r a c u s e   U n i v e r s i t y ,   A R O   [ W 9 1 1 N F - 0 9 - 1 - 0 2 4 4 ,   F A 9 5 5 0 - 1 0 - 1 - 0 4 5 8 ,   F A 9 5 5 0 - 1 0 - 1 - 0 2 6 3 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   C e n t e r   f o r   A d v a n c e d   S y s t e m s   a n d   E n g i n e e r i n g   ( C A S E )   a t   S y r a c u s e   U n i v e r s i t y ,   A R O   u n d e r   G r a n t   W 9 1 1 N F - 0 9 - 1 - 0 2 4 4 ,   u n d e r   G r a n t s   F A 9 5 5 0 - 1 0 - 1 - 0 4 5 8 ,   a n d   F A 9 5 5 0 - 1 0 - 1 - 0 2 6 3 .   P o r t i o n s   o f   t h e   m a t e r i a l   i n   t h i s   p a p e r   w e r e   f i r s t   p r e s e n t e d   i n   [ 1 ] .   T h e   g u e s t   e d i t o r   c o o r d i n a t i n g   t h e   r e v i e w   o f   t h i s   m a n u s c r i p t   a n d   a p p r o v i n g   i t   f o r   p u b l i c a t i o n   w a s   P r o f .   K w a n g - C h e n g   C h e n . 	 B e r t i - E q u i l l e   L . ,   2 0 0 9 ,   P   4   B I E N N   C   I N N   D A T ;   B o l l i e r   D . ,   2 0 1 1 ,   F U T U R E   W O R K   W H A T   I T ;   B r a n s o n   S ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 3 1 4 ,   P 4 3 8 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 5 5 6 1 - 1 _ 3 2 ;   D O W N S   J S ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 3 9 9 ,   D O I   1 0 . 1 1 4 5 / 1 7 5 3 3 2 6 . 1 7 5 3 6 8 8 ;   G r i e r   D .   A . ,   2 0 1 1 ,   P   A A A I   W O R K S H   H U M   C O ,   P 3 2 ;   H u a n g   S . - W . ,   2 0 1 3 ,   P   S I G C H I   C   H U M   F A C T ,   P 6 2 1 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   K a r g e r   D .   R . ,   2 0 1 1 ,   P   4 9   A N N   A L L   C   C O M M ,   P 2 8 4 ;   K a r g e r   D .   R . ,   2 0 1 3 ,   P   A C M   S I G M E T R I C S   I N T ,   P 8 1 ;   K a r g e r   D .   R . ,   2 0 1 1 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 4 ,   P 1 9 5 3 ;   L a w   E . ,   2 0 1 1 ,   H U M A N   C O M P U T A T I O N ;   L e a s e   M ,   2 0 1 1 ,   P   A A A I   W O R K S H   H U M   C O ,   P 9 7 ;   M a r s c h a k   J ,   1 9 7 2 ,   E C   T H E O R Y   T E A M S ;   M a s o n   W ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 7 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 7 5 ;   Q i   G . - J . ,   2 0 1 3 ,   P   2 2   I N T   C   W O R L D   W I D ,   P 1 0 4 1 ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   R o c k e r   J . ,   2 0 0 7 ,   J   C O M P U T   S C I   C O L L ,   V 2 2 ,   P 3 0 ;   R o s s   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 . A C C E S S E D ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   T a p s c o t t   D . ,   2 0 1 0 ,   M A C R O W I K I N O M I C S   R E B O ;   V a r s h n e y   L .   R . ,   2 0 1 2 ,   P   5 0   A N N   A L L   C   C O M M ,   P 9 9 6 ;   V a r s h n e y   L .   R . ,   2 0 1 2 ,   P r o c e e d i n g s   o f   t h e   2 0 1 2   A n n u a l   S R I I   G l o b a l   C o n f e r e n c e   ( S R I I ) ,   D O I   1 0 . 1 1 0 9 / S R I I . 2 0 1 2 . 1 7 ;   V a r s h n e y   P r a m o d   K . ,   1 9 9 7 ,   D I S T R I B U T E D   D E T E C T I O ;   V e m p a t y   A ,   2 0 1 3 ,   I N T   C O N F   A C O U S T   S P E E ,   P 5 5 5 8 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 2 0 1 3 . 6 6 3 8 7 2 7 ;   W a n g   T Y ,   2 0 0 5 ,   I E E E   J   S E L   A R E A   C O M M ,   V 2 3 ,   P 7 2 4 ,   D O I   1 0 . 1 1 0 9 / J S A C . 2 0 0 5 . 8 4 3 5 4 1 ;   Y a o   C ,   2 0 0 7 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 5 3 ,   P 1 7 1 6 ,   D O I   1 0 . 1 1 0 9 / T I T . 2 0 0 7 : 8 9 4 6 7 0 	 2 7 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 9 3 2 - 4 5 5 3 	 1 9 4 1 - 0 4 8 4 	 	 I E E E   J - S T S P 	 I E E E   J .   S e l .   T o p .   S i g n a l   P r o c e s s . 	 A U G 	 2 0 1 4 	 8 	 4 	 	 	 	 	 6 6 7 	 6 7 9 	 	 1 0 . 1 1 0 9 / J S T S P . 2 0 1 4 . 2 3 1 6 1 1 6 	 	 1 3 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 E n g i n e e r i n g 	 A N 4 A B 	 W O S : 0 0 0 3 4 0 5 2 8 9 0 0 0 1 4 	 	 
 J 	 C h e n ,   Y F ;   S h u ,   L ;   O r t i z ,   A M ;   C r e s p i ,   N ;   L v ,   L 	 	 	 	 C h e n ,   Y u a n f a n g ;   S h u ,   L e i ;   O r t i z ,   A n t o n i o   M . ;   C r e s p i ,   N o e l ;   L v ,   L i n 	 	 	 L o c a t i n g   i n   C r o w d s o u r c i n g - B a s e d   D a t a S p a c e :   W i r e l e s s   I n d o o r   L o c a l i z a t i o n   w i t h o u t   S p e c i a l   D e v i c e s 	 M O B I L E   N E T W O R K S   &   A P P L I C A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e ;   P r o c e e d i n g s   P a p e r 	 C o n f e r e n c e   o n   M o b i l e   a n d   U b i q u i t o u s   S y s t e m s   ( M o b i Q u i t o u s ) 	 D E C   0 2 - 0 4 ,   2 0 1 3 	 T o k y o ,   J A P A N 	 	 	 	 	 L o c a t i n g   a   t a r g e t   i n   a n   i n d o o r   s o c i a l   e n v i r o n m e n t   w i t h   a   M o b i l e   N e t w o r k   i s   i m p o r t a n t   a n d   d i f f i c u l t   f o r   l o c a t i o n - b a s e d   a p p l i c a t i o n s   a n d   s e r v i c e s   s u c h   a s   t a r g e t e d   a d v e r t i s e m e n t s ,   g e o s o c i a l   n e t w o r k i n g   a n d   e m e r g e n c y   s e r v i c e s .   A   n u m b e r   o f   r a d i o - b a s e d   s o l u t i o n s   h a v e   b e e n   p r o p o s e d .   H o w e v e r ,   t h e s e   s o l u t i o n s ,   m o r e   o r   l e s s ,   r e q u i r e   a   s p e c i a l   i n f r a s t r u c t u r e   o r   e x t e n s i v e   p r e - t r a i n i n g   o f   a   s i t e   s u r v e y .   S i n c e   p e o p l e   h a b i t u a l l y   c a r r y   t h e i r   m o b i l e   d e v i c e s   w i t h   t h e m ,   t h e   o p p o r t u n i t y   u s i n g   a   l a r g e   a m o u n t   o f   c r o w d - s o u r c e d   d a t a   o n   h u m a n   b e h a v i o r   t o   d e s i g n   a n   i n d o o r   l o c a l i z a t i o n   s y s t e m   i s   r a p i d l y   a d v a n c i n g .   I n   t h i s   s t u d y ,   w e   f i r s t   c o n f i r m   t h e   e x i s t e n c e   o f   c r o w d   b e h a v i o r   a n d   t h e   f a c t   t h a t   i t   c a n   b e   r e c o g n i z e d   u s i n g   l o c a t i o n - b a s e d   w i r e l e s s   m o b i l i t y   i n f o r m a t i o n .   O n   t h i s   b a s i s ,   w e   d e s i g n   " L o c a t i n g   i n   C r o w d s o u r c i n g - b a s e d   D a t a S p a c e "   ( L i C S )   a l g o r i t h m ,   w h i c h   i s   b a s e d   o n   s e n s i n g   a n d   a n a l y z i n g   w i r e l e s s   i n f o r m a t i o n .   T h e   p r o c e s s   o f   L i C S   i s   c r o w d s o u r c i n g - b a s e d .   W e   i m p l e m e n t   t h e   p r o t o t y p e   s y s t e m   o f   L i C S .   E x p e r i m e n t a l   r e s u l t s   s h o w   t h a t   L i C S   a c h i e v e s   c o m p a r a b l e   l o c a t i o n   a c c u r a c y   t o   p r e v i o u s   a p p r o a c h e s   e v e n   w i t h o u t   a n y   s p e c i a l   h a r d w a r e . 	 [ C h e n ,   Y u a n f a n g ;   O r t i z ,   A n t o n i o   M . ;   C r e s p i ,   N o e l ]   T e l e c o m   S u d P a r i s ,   I n s t   M i n e s   T e l e c o m ,   E v r y ,   F r a n c e ;   [ S h u ,   L e i ]   G u a n g d o n g   U n i v   P e t r o c h e m   T e c h n o l ,   M a o m i n g ,   G u a n g d o n g ,   P e o p l e s   R   C h i n a ;   [ L v ,   L i n ]   D a l i a n   U n i v   T e c h n o l ,   D a l i a n ,   P e o p l e s   R   C h i n a 	 C h e n ,   Y F   ( r e p r i n t   a u t h o r ) ,   T e l e c o m   S u d P a r i s ,   I n s t   M i n e s   T e l e c o m ,   E v r y ,   F r a n c e . 	 y u a n f a n g . c h e n @ e t u . u p m c . f r ;   l e i . s h u @ l a b . g d u p t . e d u . c n ;   a n t o n i o . o r t i z _ t o r r e s @ t e l e c o m - s u d p a r i s . e u ;   n o e l . c r e s p i @ m i n e s - t e l e c o m . f r ;   l v l i n _ g e o r g e @ m a i l . d l u t . e d u . c n 	 	 	 	 	 B a h l s   P ,   2 0 0 0 ,   P   I E E E   I N F O C O M   2 0 0 0 ,   V 2 ,   P 7 7 5 ,   D O I   D O I   1 0 . 1 1 0 9 / I N F C O M . 2 0 0 0 . 8 3 2 2 5 2 ;   B o r r i e l l o   G ,   2 0 0 5 ,   P r o c e e d i n g s   o f   t h e   T h i r d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   M o b i l e   S y s t e m s ,   A p p l i c a t i o n s ,   a n d   S e r v i c e s   ( M o b i S y s   2 0 0 5 ) ,   P 1 9 1 ,   D O I   1 0 . 1 1 4 5 / 1 0 6 7 1 7 0 . 1 0 6 7 1 9 1 ;   C h e n   M ,   2 0 1 1 ,   M O B I L E   N E T W   A P P L ,   V 1 6 ,   P 1 7 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 3 6 - 0 1 0 - 0 2 6 0 - 8 ;   C h e n   Y . ,   2 0 1 2 ,   P   1 0   I N T   C   M O B   S Y S T ,   P 1 6 9 ;   D e y   A ,   2 0 1 0 ,   I E E E   P E R V A S   C O M P U T ,   V 9 ,   P 1 1 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 1 0 . 1 0 ;   D o   C B ,   2 0 0 8 ,   N A T   B I O T E C H N O L ,   V 2 6 ,   P 8 9 7 ,   D O I   1 0 . 1 0 3 8 / n b t 1 4 0 6 ;   E u n j o o n   C h o ,   2 0 1 1 ,   P   1 7   A C M   S I G K D D   I N T ,   P 1 0 8 2 ;   G u   Y Y ,   2 0 0 9 ,   I E E E   C O M M U N   S U R V   T U T ,   V 1 1 ,   P 1 3 ,   D O I   1 0 . 1 1 0 9 / S U R V . 2 0 0 9 . 0 9 0 1 0 3 ;   G u p t a   A ,   2 0 0 9 ,   M O B I L E   N E T W   A P P L ,   V 1 4 ,   P 3 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 3 6 - 0 0 8 - 0 1 1 4 - 9 ;   G y o r b i r o   N ,   2 0 0 9 ,   M O B I L E   N E T W   A P P L ,   V 1 4 ,   P 8 2 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 3 6 - 0 0 8 - 0 1 1 2 - y ;   J u n g   S ,   2 0 1 1 ,   P   I E E E   M T T   S   I M W S   I R ,   P 1 ;   K J A E R G A A R D   M B ,   2 0 1 2 ,   I E E E   I N T   C   P E R V   C O M P ,   P 9 5 ;   R a i   A ,   2 0 1 2 ,   M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G ,   P 2 9 3 ;   R o o s   T . ,   2 0 0 2 ,   I E E E   T r a n s a c t i o n s   o n   M o b i l e   C o m p u t i n g ,   V 1 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 0 2 . 1 0 1 1 0 5 9 ;   S a v v i d e s   A . ,   2 0 0 1 ,   P   7   A N N   I N T   C   M O B   C O ,   P 1 6 6 ,   D O I   D O I   1 0 . 1 1 4 5 / 3 8 1 6 7 7 . 3 8 1 6 9 3 ;   S c o t t   J ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 4 6 8 ,   P 1 ;   T a n g   F ,   2 0 1 1 ,   I E E E   I N T   C   C O M M   I C C ,   P 1 ;   V a r s h n e y   U ,   2 0 0 2 ,   M O B I L E   N E T W   A P P L ,   V 7 ,   P 1 8 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 4 5 7 0 5 1 2 1 2 9 ;   W u   K S ,   2 0 1 2 ,   2 0 1 2   P R O C E E D I N G S   I E E E   I N F O C O M ,   P 2 2 1 0 ;   Y a n g   Z ,   2 0 1 2 ,   M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G ,   P 2 6 9 ;   Y o u s s e f   M ,   2 0 0 5 ,   P r o c e e d i n g s   o f   t h e   T h i r d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   M o b i l e   S y s t e m s ,   A p p l i c a t i o n s ,   a n d   S e r v i c e s   ( M o b i S y s   2 0 0 5 ) ,   P 2 0 5 ,   D O I   1 0 . 1 1 4 5 / 1 0 6 7 1 7 0 . 1 0 6 7 1 9 3 ;   Z h a n g   D Q ,   2 0 1 1 ,   C O M P U T E R ,   V 4 4 ,   P 2 1 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 1 1 . 6 5 	 2 2 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 3 - 4 6 9 X 	 1 5 7 2 - 8 1 5 3 	 	 M O B I L E   N E T W   A P P L 	 M o b i l e   N e t w .   A p p l . 	 A U G 	 2 0 1 4 	 1 9 	 4 	 	 	 	 	 5 3 4 	 5 4 2 	 	 1 0 . 1 0 0 7 / s 1 1 0 3 6 - 0 1 4 - 0 5 1 7 - 8 	 	 9 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 A N 4 Y M 	 W O S : 0 0 0 3 4 0 5 9 5 9 0 0 0 1 0 	 	 
 J 	 L u e ,   E ;   W i l s o n ,   J P ;   C u r t i s ,   A 	 	 	 	 L u e ,   E v a n ;   W i l s o n ,   J o h n   P . ;   C u r t i s ,   A n d r e w 	 	 	 C o n d u c t i n g   d i s a s t e r   d a m a g e   a s s e s s m e n t s   w i t h   S p a t i a l   V i d e o ,   e x p e r t s ,   a n d   c i t i z e n s 	 A P P L I E D   G E O G R A P H Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 D i s a s t e r   d a m a g e   a s s e s s m e n t ;   S p a t i a l   V i d e o ;   E x p e r t   a n d   i n e x p e r i e n c e d   a s s e s s o r s 	 G E O G R A P H I C   I N F O R M A T I O N ;   D A T A - C O L L E C T I O N ;   T O R N A D O ;   I M A G E R Y ;   T R A C K S 	 D a m a g e   a s s e s s m e n t   ( D A )   i s   a n   i m p o r t a n t   p a r t   o f   t h e   d i s a s t e r   r e c o v e r y   p r o c e s s ,   a s   i t   h e l p s   o r g a n i z a t i o n s   l i k e   t h e   A m e r i c a n   R e d   C r o s s   p r o v i d e   a s s i s t a n c e   a n d   r e l i e f   t o   t h o s e   m o s t   a f f e c t e d .   T h r o u g h   i t ,   h o m e s   a r e   c h a r a c t e r i z e d   b y   t h e   d a m a g e   t h e y   h a v e   r e c e i v e d   u s i n g   f i v e   c l a s s e s   r a n g i n g   f r o m   " U n a f f e c t e d "   t o   " D e s t r o y e d " .   R a p i d   a c q u i s i t i o n   o f   d a m a g e   a s s e s s m e n t   d a t a   m a y   b e   a c h i e v e d   t h r o u g h   c r o w d s o u r c i n g   p l a t f o r m s   w h e r e   v o l u n t e e r s   r e v i e w   i m a g e s   o f   a f f e c t e d   s t r u c t u r e s .   F u r t h e r ,   t h e s e   i m a g e s   c a n   b e   g e o g r a p h i c a l l y   e n r i c h e d   t h r o u g h   S p a t i a l   V i d e o   t e c h n o l o g y ,   w h e r e b y   a   c a r   w i t h   a   G P S - e n a b l e d   c a m e r a   c a p t u r e s   a   v i d e o   r e c o r d i n g   o f   h o m e s   a s   w o r k e r s   o n   t h e   g r o u n d   d r i v e   t h r o u g h   n e i g h b o r h o o d s   a f f e c t e d   b y   t h e   d i s a s t e r .   T h i s   t e c h n o l o g y   h a s   s e v e r a l   k e y   b e n e f i t s   o v e r   f i e l d   s u r v e y s ,   i n c l u d i n g   r e d u c e d   c o s t ,   t h e   c r e a t i o n   o f   a   d i g i t a l   r e c o r d ,   a n d   t h e   a b i l i t y   t o   p r o c e s s   t h e   i m a g e s   q u i c k l y   t h r o u g h   c r o w d s o u r c i n g .   H o w e v e r ,   t h e   q u a l i t y   o f   s u c h   u s e r - g e n e r a t e d   c o n t e n t   m u s t   b e   e x a m i n e d   t o   d e t e r m i n e   i t s   u s e f u l n e s s .   A n   o n l i n e   s u r v e y   w a s   c o n d u c t e d   u s i n g   i m a g e r y   f r o m   a   S p a t i a l   V i d e o   d a t a   c o l l e c t i o n   t o   d e t e r m i n e   t h e   p o t e n t i a l   o f   u s i n g   t h e s e   t e c h n o l o g i e s   a s   a   c r o w d s o u r c i n g   p l a t f o r m .   T h e   s u r v e y   w a s   d i s t r i b u t e d   t o   D A   e x p e r t s   a t   t h e   A m e r i c a n   R e d   C r o s s   s p r e a d   a c r o s s   t h e   U . S .   a s   w e l l   a s   i n d i v i d u a l s   c o n n e c t e d   w i t h   C r i s i s M a p p e r s ,   a   m a i l i n g   l i s t   f o r   p e o p l e   i n t e r e s t e d   i n   t h e   i n t e r s e c t i o n   b e t w e e n   c r i s e s   a n d   g e o s p a t i a l   t e c h n o l o g y .   G r o u p s   o f   i n e x p e r i e n c e d   a n d   e x p e r i e n c e d   u s e r s   p r o d u c e d   s t a t i s t i c a l l y   s i m i l a r   r e s u l t s ,   d e m o n s t r a t i n g   t h a t   s u c h   c o n t e n t   c a n   b e   t r u s t e d   a n d   u s e f u l   f o r   d a m a g e   a s s e s s m e n t .   R e c o m m e n d a t i o n s   a r e   m a d e   f o r   t h e   i m p l e m e n t a t i o n   o f   f u t u r e   s y s t e m s ,   t h e   a d o p t i o n   o f   r e l a t e d   m e t h o d o l o g i e s ,   a n d   c o n s i d e r a t i o n s   f o r   u s i n g   t h e   r e s u l t i n g   d a t a .   ( C )   2 0 1 4   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ L u e ,   E v a n ;   W i l s o n ,   J o h n   P . ]   U n i v   S o   C a l i f ,   S p a t i a l   S c i   I n s t ,   L o s   A n g e l e s ,   C A   9 0 0 8 9   U S A ;   [ C u r t i s ,   A n d r e w ]   K e n t   S t a t e   U n i v ,   D e p t   G e o g ,   K e n t ,   O H   U S A 	 L u e ,   E   ( r e p r i n t   a u t h o r ) ,   U n i v   S o   C a l i f ,   S p a t i a l   S c i   I n s t ,   3 6 1 6   T r o u s d a l e   P k w y   A H F   B 5 5 ,   L o s   A n g e l e s ,   C A   9 0 0 8 9   U S A . 	 e l u e @ d o r n s i f e . u s c . e d u 	 	 	 	 	 A l o n s o   O . ,   2 0 1 2 ,   I N F O R M   R E T R I E V A L ,   V 1 6 ,   P 1 0 1 ;   A m e r i c a n   R e d   C r o s s ,   2 0 0 3 ,   O N   S I T   D E T   D A M   A S S   W ;   B a r r i n g t o n   L ,   2 0 1 1 ,   A N N   G E O P H Y S - I T A L Y ,   V 5 4 ,   P 6 8 0 ,   D O I   1 0 . 4 4 0 1 / a g - 5 3 2 4 ;   B a t t y   M . ,   2 0 1 0 ,   A N N   G I S ,   V 1 6 ,   P 1 ;   C r a m p t o n   J W ,   2 0 0 9 ,   P R O G   H U M   G E O G ,   V 3 3 ,   P 9 1 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 9 1 3 2 5 0 8 0 9 4 0 7 4 ;   C u r t i s   A ,   2 0 1 3 ,   A N N   A S S O C   A M   G E O G R ,   V 1 0 3 ,   P 1 5 2 2 ,   D O I   1 0 . 1 0 8 0 / 0 0 0 4 5 6 0 8 . 2 0 1 3 . 7 8 4 0 9 8 ;   C u r t i s   A . ,   2 0 0 6 ,   I N T   J   M A S S   E M E R G E N C I ,   V 2 4 ,   P 2 0 3 ;   C u r t i s   A ,   2 0 1 2 ,   A P P L   G E O G R ,   V 3 2 ,   P 3 9 3 ,   D O I   1 0 . 1 0 1 6 / j . a p g e o g . 2 0 1 1 . 0 6 . 0 0 2 ;   C u r t i s   A J ,   2 0 1 0 ,   G E O T E C H   E N V I R O N ,   V 2 ,   P 3 7 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 9 0 - 4 8 1 - 2 2 3 8 - 7 _ 1 8 ;   C u r t i s   A . ,   2 0 0 7 ,   J   C O N T I N G E N C I E S   C R I S ,   V 1 5 ,   P 2 0 8 ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ;   G o o d c h i l d   M i c h a e l ,   2 0 0 9 ,   J o u r n a l   o f   L o c a t i o n   B a s e d   S e r v i c e s ,   V 3 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 8 9 7 2 0 9 0 2 9 5 0 3 7 4 ;   G o o d c h i l d   M F ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 3 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 7 5 9 2 5 5 ;   H a k l a y   M u k i ,   2 0 0 8 ,   G E O G R A P H Y   C O M P A S S ,   V 2 ,   P 2 0 1 1 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 7 4 9 - 8 1 9 8 . 2 0 0 8 . 0 0 1 6 7 . X ;   H a l l   G B ,   2 0 1 0 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 4 ,   P 7 6 1 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 9 0 3 2 1 3 2 8 8 ;   H u l l   I .   V .   R . ,   1 9 9 2 ,   J   E N V I R O N   P S Y C H O L ,   P 1 0 1 ;   J e d l o v e c   G J ,   2 0 0 6 ,   W E A T H E R   F O R E C A S T ,   V 2 1 ,   P 2 4 9 ,   D O I   1 0 . 1 1 7 5 / W A F 9 2 3 . 1 ;   J o y c e   K E ,   2 0 0 9 ,   P R O G   P H Y S   G E O G ,   V 3 3 ,   P 1 8 3 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 9 1 3 3 3 0 9 3 3 9 5 6 3 ;   K e r l e   N . ,   2 0 0 5 ,   G E O I N F O R M A T I O N   D I S A S ,   P 3 3 7 ,   D O I   1 0 . 1 0 0 7 / 3 - 5 4 0 - 2 7 4 6 8 - 5 _ 2 4 ;   K r i p p e n d o r f f   K . ,   2 0 1 3 ,   C O N T E N T   A N A L   I N T R O   I ;   L i u   S B ,   2 0 1 0 ,   C A R T O G R   G E O G R   I N F   S C ,   V 3 7 ,   P 6 9 ;   M c C a r t h y   T . ,   2 0 0 8 ,   S P I E ,   V 7 1 1 0 ;   M i l l s   J W ,   2 0 1 0 ,   A P P L   G E O G R ,   V 3 0 ,   P 5 3 3 ,   D O I   1 0 . 1 0 1 6 / j . a p g e o g . 2 0 1 0 . 0 3 . 0 0 8 ;   M o n t o y a   L ,   2 0 0 3 ,   E N V I R O N   M O D E L L   S O F T W ,   V 1 8 ,   P 8 6 9 ,   D O I   1 0 . 1 0 1 6 / S 1 3 6 4 - 8 1 5 2 ( 0 3 ) 0 0 1 0 5 - 1 ;   R o c h e   S .   E . ,   2 0 1 1 ,   G E O J O U R N A L ,   P 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 1 1 - 9 4 2 3 - 9 ;   S t e w a r t   T . ,   1 9 8 4 ,   J   E N V I R O N   P S Y C H O L ,   P 2 8 3 ;   Y u a n   M ,   2 0 0 2 ,   W E A T H E R   F O R E C A S T ,   V 1 7 ,   P 3 8 2 ,   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 3 4 ( 2 0 0 2 ) 0 1 7 < 0 3 8 2 : A O T D T F > 2 . 0 . C O ; 2 	 2 7 	 0 	 0 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 0 1 4 3 - 6 2 2 8 	 1 8 7 3 - 7 7 3 0 	 	 A P P L   G E O G R 	 A p p l .   G e o g r . 	 A U G 	 2 0 1 4 	 5 2 	 	 	 	 	 	 4 6 	 5 4 	 	 1 0 . 1 0 1 6 / j . a p g e o g . 2 0 1 4 . 0 4 . 0 1 4 	 	 9 	 G e o g r a p h y 	 G e o g r a p h y 	 A M 9 T W 	 W O S : 0 0 0 3 4 0 2 2 4 9 0 0 0 0 5 	 	 
 J 	 K o f l e r ,   C ;   L a r s o n ,   M ;   H a n j a l i c ,   A 	 	 	 	 K o f l e r ,   C h r i s t o p h ;   L a r s o n ,   M a r t h a ;   H a n j a l i c ,   A l a n 	 	 	 I n t e n t - A w a r e   V i d e o   S e a r c h   R e s u l t   O p t i m i z a t i o n 	 I E E E   T R A N S A C T I O N S   O N   M U L T I M E D I A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 R e s u l t   o p t i m i z a t i o n ;   u s e r   i n t e n t ;   v i d e o   s e a r c h 	 	 V i d e o   s e a r c h   e n g i n e s   a r e   r e l a t i v e l y   s u c c e s s f u l   a t   r e t u r n i n g   s e a r c h   r e s u l t s   t h a t   u s e r s   f i n d   t o   b e   o n   t o p i c .   T h e s e   r e s u l t s   d o   n o t ,   h o w e v e r ,   c o m p l e t e l y   s a t i s f y   t h e   u s e r ' s   i n f o r m a t i o n   n e e d   u n l e s s   t h e y   a l s o   f u l f i l l   t h e   u s e r ' s   i n t e n t ,   i . e . ,   t h e   i m m e d i a t e   g o a l   a   u s e r   s e e k s   t o   a c c o m p l i s h   w i t h   v i d e o   s e a r c h .   S a t i s f y i n g   a   u s e r ' s   i n f o r m a t i o n   n e e d   t o   i t s   f u l l   e x t e n t   p o s e s   a   p a r t i c u l a r   c h a l l e n g e   t o   v i d e o   s e a r c h   e n g i n e s   b e c a u s e   u s e r   i n t e n t   i s   o f t e n   n o t   e x p l i c i t l y   r e f l e c t e d   i n   t h e   q u e r y .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   m u l t i m o d a l   a p p r o a c h   t h a t   a d d r e s s e s   t h i s   c h a l l e n g e   b y   r e f i n i n g   t h e   r e s u l t s   l i s t s   r e t u r n e d   b y   a   m a i n s t r e a m   v i d e o   s e a r c h   e n g i n e   i n   o r d e r   t o   o p t i m a l l y   c a p t u r e   u s e r   i n t e n t .   O u r   a p p r o a c h   i s   b a s e d   o n   t h e   i n s i g h t   t h a t   t h e   r e s u l t s   l i s t s   r e t u r n e d   b y   v i d e o   s e a r c h   e n g i n e s   d o   c o n t a i n   v i d e o s   t h a t   s a t i s f y   u s e r ' s   i n t e n t ,   b u t   t h a t   v i d e o s   w i t h   t h e   h i g h e s t   p o t e n t i a l   f o r   s a t i s f a c t i o n   a r e   o f t e n   b u r i e d   w i t h i n   o r   s c a t t e r e d   o v e r   t h e   r e s u l t s   l i s t .   T h e   p r o p o s e d   a p p r o a c h   c o n s i s t s   o f   t h r e e   s t e p s .   I n   t h e   f i r s t   s t e p ,   i t   a n a l y z e s   t h e   i n i t i a l   r e s u l t s   l i s t   t o   d e t e r m i n e   t h e   i n t e n t   d i s t r i b u t i o n   p a t t e r n .   O n   t h e   b a s i s   o f   t h i s   p a t t e r n ,   i n   t h e   s e c o n d   s t e p ,   i t   r e f i n e s   t h e   v i d e o   s e a r c h   r e s u l t s   l i s t   s u c h   t h a t   t h e   t o p   o f   t h e   l i s t   b e t t e r   r e v e a l s   i n t e n t .   T h e   t h i r d   s t e p   f u r t h e r   i m p r o v e s   t h i s   r e f i n e m e n t   b y   v i s u a l   r e r a n k i n g ,   e x p l o i t i n g   i n t e n t - s e n s i t i v e   l i g h t w e i g h t   v i s u a l   f e a t u r e s   e x t r a c t e d   f r o m   t h u m b n a i l s .   E x t e n s i v e   e v a l u a t i o n   o f   t h e   a p p r o a c h   i n c l u d e s   a   u s e r   s t u d y   c a r r i e d   o u t   o n   a   c r o w d s o u r c i n g   p l a t f o r m   a n d   a   s y s t e m - o r i e n t e d   e v a l u a t i o n .   E v a l u a t i o n   r e s u l t s   d e m o n s t r a t e   t h a t   o u r   a p p r o a c h   l e a d s   t o   a   s u b s t a n t i a l   i m p r o v e m e n t   o f   t h e   i n f o r m a t i o n   n e e d   s a t i s f a c t i o n   a t   u s e r s . 	 [ K o f l e r ,   C h r i s t o p h ]   D e l f t   U n i v   T e c h n o l ,   D e l f t ,   N e t h e r l a n d s ;   [ L a r s o n ,   M a r t h a ]   D e l f t   U n i v   T e c h n o l ,   M u l t i m e d i a   I n f o r m a t   R e t r i e v a l   L a b ,   D e l f t ,   N e t h e r l a n d s ;   [ H a n j a l i c ,   A l a n ]   D e l f t   U n i v   T e c h n o l ,   M u l t i m e d i a   C o m p   G r p ,   D e l f t ,   N e t h e r l a n d s 	 K o f l e r ,   C   ( r e p r i n t   a u t h o r ) ,   D e l f t   U n i v   T e c h n o l ,   D e l f t ,   N e t h e r l a n d s . 	 c . k o f l e r @ t u d e l f t . n l 	 	 	 G o o g l e   F e l l o w s h i p ;   D u t c h   n a t i o n a l   p r o g r a m   C O M M I T 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   a   G o o g l e   F e l l o w s h i p   a n d   i n   p a r t   b y   t h e   D u t c h   n a t i o n a l   p r o g r a m   C O M M I T .   T h e   a s s o c i a t e   e d i t o r   c o o r d i n a t i n g   t h e   r e v i e w   o f   t h i s   m a n u s c r i p t   a n d   a p p r o v i n g   i t   f o r   p u b l i c a t i o n   w a s   D r .   J i e b o   L u o . 	 A g r a w a l   R . ,   2 0 0 9 ,   W S D M ,   P 5 ;   A l o n s o   O . ,   S I G I R   0 9   W O R K S   F ;   A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   A z a r   Y ,   2 0 0 9 ,   A C M   S   T H E O R Y   C O M P U T ,   P 6 6 9 ;   B l a n c o   R . ,   2 0 1 1 ,   S I G I R ,   P 9 2 3 ;   B r o d e r   A . ,   2 0 0 2 ,   S I G I R   F o r u m ,   V 3 6 ;   C a o   H H ,   2 0 0 9 ,   P R O C E E D I N G S   3 2 N D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   A N D   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L ,   P 3 ,   D O I   1 0 . 1 1 4 5 / 1 5 7 1 9 4 1 . 1 5 7 1 9 4 5 ;   C h a n d a r   P . ,   2 0 1 1 ,   D D R   E C I R   1 1 ;   C r o n e n - T o w n s e n d   S ,   2 0 0 2 ,   S I G I R   0 2 ,   P 2 9 9 ;   C u i   J . ,   2 0 0 8 ,   M M   0 8 ,   P 9 9 7 ;   E i c k h o f f   C . ,   2 0 1 3 ,   L E C T   N O T E S   C O M P U T E R ,   V 7 8 1 4 ,   P 3 8 ;   F o x   S ,   2 0 0 5 ,   A C M   T   I N F O R M   S Y S T ,   V 2 3 ,   P 1 4 7 ,   D O I   1 0 . 1 1 4 5 / 1 0 5 9 9 8 1 . 1 0 5 9 9 8 2 ;   H a n j a l i c   A . ,   2 0 1 2 ,   M M   1 2 ,   P 1 2 3 9 ;   H s u   W .   H . ,   2 0 0 7 ,   M U L T I M E D I A   0 7 ,   P 9 7 1 ;   H s u   W .   H . ,   2 0 0 6 ,   M U L T I M E D I A   2 0 0 6 ,   P 3 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 8 0 6 3 9 . 1 1 8 0 6 5 4 ;   J a n s e n   B .   J . ,   2 0 0 4 ,   J   W E B   E N G ,   V 3 ,   P 1 8 2 ;   J a n s e n   B J ,   2 0 0 8 ,   I N F O R M   P R O C E S S   M A N A G ,   V 4 4 ,   P 1 2 5 1 ,   D O I   1 0 . 1 0 1 6 / j . i p m . 2 0 0 7 . 0 7 . 0 1 5 ;   K e n n e d y   L .   S . ,   2 0 0 5 ,   M M   0 5 ,   P 8 8 2 ;   K o f l e r   C ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 1 1 ,   P 6 1 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 1 6 1 - 5 _ 6 1 ;   K o f l e r   C . ,   2 0 0 9 ,   M M   0 9 ,   P 1 1 1 7 ;   L e e   U . ,   2 0 0 5 ,   W W W   0 5 ,   P 3 9 1 ;   L i   Y X ,   2 0 1 2 ,   N E U R O C O M P U T I N G ,   V 9 5 ,   P 4 8 ,   D O I   1 0 . 1 0 1 6 / j . n e u c o m . 2 0 1 1 . 0 8 . 0 4 2 ;   L i u   Y ,   2 0 0 8 ,   2 0 0 8   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M U L T I M E D I A   A N D   E X P O ,   V O L S   1 - 4 ,   P 2 9 7 ;   L i u   Y A ,   2 0 0 9 ,   P R O C E E D I N G S   3 2 N D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   A N D   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L ,   P 5 0 0 ,   D O I   1 0 . 1 1 4 5 / 1 5 7 1 9 4 1 . 1 5 7 2 0 2 7 ;   L u x   M . ,   2 0 0 8 ,   M M   0 8 ,   P 1 0 8 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 5 9 3 5 9 . 1 4 5 9 5 7 7 ;   M e i   T ,   2 0 0 7 ,   I E E E   T   M U L T I M E D I A ,   V 9 ,   P 6 6 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 0 6 . 8 8 6 3 5 7 ;   M e i   T . ,   2 0 1 4 ,   A C M   C O M P U T   S U R V ,   V 4 6 ;   M I L L E R   G A ,   1 9 5 6 ,   P S Y C H O L   R E V ,   V 6 3 ,   P 8 1 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 5 X . 1 0 1 . 2 . 3 4 3 ;   R o s e   D .   E . ,   2 0 0 4 ,   W W W   2 0 0 4 ,   P 1 3 ;   S a n t o s   R . L . T . ,   2 0 1 1 ,   S I G I R   1 1 ,   P 5 9 5 ;   S c h m i e d e k e   S . ,   2 0 1 3 ,   M M S Y S   1 3 ,   P 9 6 ;   S i v i c   J . ,   2 0 0 3 ,   P   I C C V ,   V 2 ,   P 1 4 7 0 ,   D O I   D O I   1 0 . 1 1 0 9 / I C C V . 2 0 0 3 . 1 2 3 8 6 6 3 ] ;   S n o e k   C .   G .   M . ,   2 0 0 9 ,   F D N   T R E N D S   I N F O R M   R E ,   V 2 ,   P 2 1 5 ;   T i a n   X . ,   2 0 0 8 ,   M U L T I M E D I A   2 0 0 8 ,   P 1 3 1 ;   T j o n d r o n e g o r o   D ,   2 0 0 9 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 0 ,   P 1 7 5 6 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 0 9 4 ;   W u   S . ,   2 0 0 2 ,   C I K M   0 2   P   1 1   I N T   C   I ,   P 6 4 8 ;   Y a n   R . ,   2 0 0 4 ,   M U L T I M E D I A   0 4 ,   P 5 4 8 ;   Y a n   R ,   2 0 0 3 ,   L E C T   N O T E S   C O M P U T   S C ,   V 2 7 2 8 ,   P 2 3 8 ;   Y a n g   L . ,   2 0 1 0 ,   M E T A L   M I N E ,   P 1 8 3 ;   Y a n g   Y H ,   2 0 0 8 ,   2 0 0 8   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M U L T I M E D I A   A N D   E X P O ,   V O L S   1 - 4 ,   P 2 8 5 ,   D O I   1 0 . 1 1 0 9 / I C N N S P . 2 0 0 8 . 4 5 9 0 3 5 7 ;   Z h a   Z . - J . ,   2 0 1 0 ,   A C M   T   M U L T I M   C O M P U T ,   V 6 ;   Z h a n g   H F ,   2 0 1 3 ,   K E Y   E N G   M A T E R ,   V 5 6 2 - 5 6 5 ,   P 3 3 ,   D O I   1 0 . 4 0 2 8 / w w w . s c i e n t i f i c . n e t / K E M . 5 6 2 - 5 6 5 . 3 3 	 4 2 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 5 2 0 - 9 2 1 0 	 1 9 4 1 - 0 0 7 7 	 	 I E E E   T   M U L T I M E D I A 	 I E E E   T r a n s .   M u l t i m e d i a 	 A U G 	 2 0 1 4 	 1 6 	 5 	 	 	 	 	 1 4 2 1 	 1 4 3 3 	 	 1 0 . 1 1 0 9 / T M M . 2 0 1 4 . 2 3 1 5 7 7 7 	 	 1 3 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 A N 0 S Z 	 W O S : 0 0 0 3 4 0 2 9 5 6 0 0 0 2 2 	 	 
 J 	 O ' D o n o v a n ,   P ;   A g a r w a l a ,   A ;   H e r t z m a n n ,   A 	 	 	 	 O ' D o n o v a n ,   P e t e r ;   A g a r w a l a ,   A s e e m ;   H e r t z m a n n ,   A a r o n 	 	 	 L e a r n i n g   L a y o u t s   f o r   S i n g l e - P a g e   G r a p h i c   D e s i g n s 	 I E E E   T R A N S A C T I O N S   O N   V I S U A L I Z A T I O N   A N D   C O M P U T E R   G R A P H I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 G r a p h i c   d e s i g n ;   l a y o u t ;   m o d e l i n g ;   l e a r n i n g ;   c r o w d s o u r c i n g ;   n o n l i n e a r   i n v e r s e   o p t i m i z a t i o n 	 A L G O R I T H M S 	 T h i s   p a p e r   p r e s e n t s   a n   a p p r o a c h   f o r   a u t o m a t i c a l l y   c r e a t i n g   g r a p h i c   d e s i g n   l a y o u t s   u s i n g   a   n e w   e n e r g y - b a s e d   m o d e l   d e r i v e d   f r o m   d e s i g n   p r i n c i p l e s .   T h e   m o d e l   i n c l u d e s   s e v e r a l   n e w   a l g o r i t h m s   f o r   a n a l y z i n g   g r a p h i c   d e s i g n s ,   i n c l u d i n g   t h e   p r e d i c t i o n   o f   p e r c e i v e d   i m p o r t a n c e ,   a l i g n m e n t   d e t e c t i o n ,   a n d   h i e r a r c h i c a l   s e g m e n t a t i o n .   G i v e n   t h e   m o d e l ,   w e   u s e   o p t i m i z a t i o n   t o   s y n t h e s i z e   n e w   l a y o u t s   f o r   a   v a r i e t y   o f   s i n g l e - p a g e   g r a p h i c   d e s i g n s .   M o d e l   p a r a m e t e r s   a r e   l e a r n e d   w i t h   N o n l i n e a r   I n v e r s e   O p t i m i z a t i o n   ( N I O )   f r o m   a   s m a l l   n u m b e r   o f   e x a m p l e   l a y o u t s .   T o   d e m o n s t r a t e   o u r   a p p r o a c h ,   w e   s h o w   r e s u l t s   f o r   a p p l i c a t i o n s   i n c l u d i n g   g e n e r a t i n g   d e s i g n   l a y o u t s   i n   v a r i o u s   s t y l e s ,   r e t a r g e t i n g   d e s i g n s   t o   n e w   s i z e s ,   a n d   i m p r o v i n g   e x i s t i n g   d e s i g n s .   W e   a l s o   c o m p a r e   o u r   a u t o m a t i c   r e s u l t s   w i t h   d e s i g n s   c r e a t e d   u s i n g   c r o w d s o u r c i n g   a n d   s h o w   t h a t   o u r   a p p r o a c h   p e r f o r m s   s l i g h t l y   b e t t e r   t h a n   n o v i c e   d e s i g n e r s . 	 [ O ' D o n o v a n ,   P e t e r ]   U n i v   T o r o n t o ,   B a h e n   C t r ,   D e p t   C o m p   S c i ,   T o r o n t o ,   O N   M 5 S   2 E 4 ,   C a n a d a ;   [ A g a r w a l a ,   A s e e m ;   H e r t z m a n n ,   A a r o n ]   A d o b e   S y s t   I n c ,   A d o b e   R e s ,   S e a t t l e ,   W A   U S A ;   [ H e r t z m a n n ,   A a r o n ]   U n i v   T o r o n t o ,   D e p t   C o m p   S c i ,   T o r o n t o ,   O N   M 5 S   3 G 4 ,   C a n a d a 	 O ' D o n o v a n ,   P   ( r e p r i n t   a u t h o r ) ,   U n i v   T o r o n t o ,   B a h e n   C t r ,   D e p t   C o m p   S c i ,   4 0   S t   G e o r g e   S t ,   T o r o n t o ,   O N   M 5 S   2 E 4 ,   C a n a d a . 	 o d o n o v a n @ d g p . t o r o n t o . e d u ;   a s a g a r w a @ a d o b e . c o m ;   h e r t z m a n @ d g p . t o r o n t o . e d u 	 	 	 A d o b e ;   N S E R C ;   C I F A R 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   A d o b e ,   N S E R C ,   a n d   C I F A R . 	 A g r a w a l a   M . ,   2 0 0 1 ,   P   A C M   S I G G R A P H   2 0 0 1 ,   P 2 4 1 ,   D O I   1 0 . 1 1 4 5 / 3 8 3 2 5 9 . 3 8 3 2 8 6 ;   B a l i n s k y   H .   Y . ,   2 0 0 9 ,   P   9   A C M   S   D O C   E N G ;   B a l i n s k y   H Y ,   2 0 0 9 ,   D O C E N G ' 0 9 :   P R O C E E D I N G S   O F   T H E   2 0 0 9   A C M   S Y M P O S I U M   O N   D O C U M E N T   E N G I N E E R I N G ,   P 1 1 9 ;   B a l u j a   S . ,   2 0 0 6 ,   P   1 5   I N T   C   W O R L D   W I D ,   P 3 3 ,   D O I   1 0 . 1 1 4 5 / 1 1 3 5 7 7 7 . 1 1 3 5 7 8 8 ;   B e a r   J .   H . ,   2 0 1 2 ,   P R I N C I P L E S   D E S I G N ;   D a m e r a - V e n k a t a   N ,   2 0 1 1 ,   D O C E N G   2 0 1 1 :   P R O C E E D I N G S   O F   T H E   2 0 1 1   A C M   S Y M P O S I U M   O N   D O C U M E N T   E N G I N E E R I N G ,   P 3 ;   G a j o s   K . ,   2 0 0 5 ,   P   1 8   A N N   A C M   S   U S   I N ,   P 1 7 3 ,   D O I   1 0 . 1 1 4 5 / 1 0 9 5 0 3 4 . 1 0 9 5 0 6 3 ;   G e i g e l   J ,   2 0 0 3 ,   I E E E   M U L T I M E D I A ,   V 1 0 ,   P 1 6 ,   D O I   1 0 . 1 1 0 9 / M M U L . 2 0 0 3 . 1 2 3 7 5 4 7 ;   G o f e r m a n   S ,   2 0 1 0 ,   P R O C   C V P R   I E E E ,   P 2 3 7 6 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 0 . 5 5 3 9 9 2 9 ;   G o n z a l e z - M o r c i l l o   C . ,   2 0 1 0 ,   P   2 2   C   I N N   A P P L   A R T ,   P 1 7 7 5 ;   G r a h a m   L . ,   2 0 0 2 ,   B A S I C S   D E S I G N   L A Y O U T ;   H a r r i n g t o n   S .   J . ,   2 0 0 4 ,   P   2 0 0 4   A C M   S   D O C   E N G ,   P 1 0 9 ,   D O I   1 0 . 1 1 4 5 / 1 0 3 0 3 9 7 . 1 0 3 0 4 1 9 ;   H o u   X . ,   2 0 0 7 ,   P   I E E E   C   C O M P   V I S   P A ,   P 1 ;   H u r s t   N ,   2 0 0 9 ,   D O C E N G ' 0 9 :   P R O C E E D I N G S   O F   T H E   2 0 0 9   A C M   S Y M P O S I U M   O N   D O C U M E N T   E N G I N E E R I N G ,   P 9 9 ;   J a c o b s   C ,   2 0 0 3 ,   A C M   T   G R A P H I C ,   V 2 2 ,   P 8 3 8 ,   D O I   1 0 . 1 1 4 5 / 8 8 2 2 6 2 . 8 8 2 3 5 3 ;   J a h a n i a n   A . ,   2 0 1 2 ,   P   S O C   P H O T O - O P T   I N S ,   V 8 3 0 2 ;   J u d d   T ,   2 0 0 9 ,   I E E E   I   C O N F   C O M P   V I S ,   P 2 1 0 6 ,   D O I   1 0 . 1 1 0 9 / I C C V . 2 0 0 9 . 5 4 5 9 4 6 2 ;   K n u t h   D .   E . ,   1 9 8 6 ,   T E X B O O K ;   K R I S H N A M O O R T H Y   M ,   1 9 9 3 ,   I E E E   T   P A T T E R N   A N A L ,   V 1 5 ,   P 7 3 7 ,   D O I   1 0 . 1 1 0 9 / 3 4 . 2 2 1 1 7 3 ;   K u m a r   R . ,   2 0 1 1 ,   P   S I G C H I   C   H U M   F A C T ,   P 2 1 9 7 ;   L a n d a   R . ,   2 0 1 0 ,   G R A P H I C   D E S I G N   S O L U T ;   L i u   C K ,   2 0 0 5 ,   A C M   T   G R A P H I C ,   V 2 4 ,   P 1 0 7 1 ,   D O I   1 0 . 1 1 4 5 / 1 0 7 3 2 0 4 . 1 0 7 3 3 1 4 ;   L i u   L G ,   2 0 1 0 ,   C O M P U T   G R A P H   F O R U M ,   V 2 9 ,   P 4 6 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 5 9 . 2 0 0 9 . 0 1 6 1 6 . x ;   L i u   T . ,   2 0 0 7 ,   P   I E E E   C   C O M P   V I S   P A ;   M a o   S ,   2 0 0 3 ,   P R O C   S P I E ,   V 5 0 1 0 ,   P 1 9 7 ,   D O I   1 0 . 1 1 1 7 / 1 2 . 4 7 6 3 2 6 ;   M e r r e l l   P . ,   2 0 1 1 ,   A C M   T   G R A P H I C ,   V 3 0 ,   P 1 ;   M u l l e r - B r o c k m a n n   J . ,   1 9 9 6 ,   G R I D   S Y S T   G R A P H I C   D E ;   N o w o z i n   S . ,   2 0 1 1 ,   F D N   T R E N D S   C O M P U T E R ,   V 6 ,   P 1 8 5 ;   O l i v a   A ,   2 0 0 1 ,   I N T   J   C O M P U T   V I S I O N ,   V 4 2 ,   P 1 4 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 1 1 3 9 6 3 1 7 2 4 ;   P u r v i s   L . ,   2 0 0 3 ,   P   2 0 0 3   A C M   S   D O C   E N G ,   P 6 8 ;   R o s e n h o l t z   R ,   2 0 0 9 ,   C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 3 3 1 ;   R u b i n s t e i n   M ,   2 0 1 0 ,   A C M   T   G R A P H I C ,   V 2 9 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 1 5 8 . 1 8 6 6 1 8 6 ;   S h i l m a n   M ,   2 0 0 5 ,   I E E E   I   C O N F   C O M P   V I S ,   P 9 6 2 ;   T a l t o n   J O ,   2 0 1 2 ,   U I S T ' 1 2 :   P R O C E E D I N G S   O F   T H E   2 5 T H   A N N U A L   A C M   S Y M P O S I U M   O N   U S E R   I N T E R F A C E   S O F T W A R E   A N D   T E C H N O L O G Y ,   P 6 3 ;   T i b s h i r a n i   R ,   1 9 9 6 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 5 8 ,   P 2 6 7 ;   V o l l i c k   I ,   2 0 0 7 ,   U I S T   2 0 0 7 :   P R O C E E D I N G S   O F   T H E   2 0 T H   A N N U A L   A C M   S Y M P O S I U M   O N   U S E R   I N T E R F A C E   S O F T W A R E   A N D   T E C H N O L O G Y ,   P 2 2 1 ;   W h i t e   A . ,   2 0 0 2 ,   E L E M E N T S   G R A P H I C   D E S ;   W i l l i a m s   R . ,   2 0 0 8 ,   N O N D E S I G N E R S   D E S I G N ;   Y u   L . - F . ,   2 0 1 1 ,   P   A C M   S I G G R A P H 	 3 9 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 7 7 - 2 6 2 6 	 1 9 4 1 - 0 5 0 6 	 	 I E E E   T   V I S   C O M P U T   G R 	 I E E E   T r a n s .   V i s .   C o m p u t .   G r a p h . 	 A U G 	 2 0 1 4 	 2 0 	 8 	 	 	 	 	 1 2 0 0 	 1 2 1 3 	 	 1 0 . 1 1 0 9 / T V C G . 2 0 1 4 . 4 8 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 A M 9 I F 	 W O S : 0 0 0 3 4 0 1 9 3 9 0 0 0 1 1 	 	 
 J 	 M o s s ,   G ;   C o l e m a n ,   S 	 	 	 	 M o s s ,   G i l e s ;   C o l e m a n ,   S t e p h e n 	 	 	 D e l i b e r a t i v e   M a n o e u v r e s   i n   t h e   D i g i t a l   D a r k n e s s :   e - D e m o c r a c y   P o l i c y   i n   t h e   U K 	 B R I T I S H   J O U R N A L   O F   P O L I T I C S   &   I N T E R N A T I O N A L   R E L A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 e - d e m o c r a c y ;   d e l i b e r a t i o n ;   d e m o c r a c y ;   I n t e r n e t 	 O N L I N E   F O R U M S ;   T R A N S P A R E N C Y ;   W E S T M I N S T E R 	 T h i s   p a p e r   e v a l u a t e s   t h e   U K   G o v e r n m e n t ' s   e - d e m o c r a c y   p o l i c y   a n d   c o n s i d e r s   w h a t   l e s s o n   s h o u l d   b e   l e a r n e d   f o r   f u t u r e   p o l i c y   a n d   p r a c t i c e .   D e s p i t e   s o m e   i s o l a t e d   e x a m p l e s   o f   s u c c e s s ,   w e   a r g u e   t h a t   p o l i c y   e x p e r i m e n t a t i o n   i n   t h e   a r e a   h a s   b e e n   d i s a p p o i n t i n g   o v e r a l l ,   e s p e c i a l l y   w h e n   c o m p a r e d   w i t h   t h e   a m b i t i o u s   r h e t o r i c   t h a t   h a s   s u r r o u n d e d   i t ,   a n d   h a s   f a i l e d   t o   c u l m i n a t e   i n   a   c o h e r e n t   s t r a t e g y   f o r   u s i n g   t h e   I n t e r n e t   t o   s u p p o r t   d e m o c r a t i c   c i t i z e n s h i p .   O u r   a n a l y s i s   e m p h a s i z e s   t h e   o n - g o i n g   i m p o r t a n c e   o f   o n l i n e   d e l i b e r a t i o n   i n   a c h i e v i n g   i n c l u s i v e ,   i n f o r m e d ,   a n d   n e g o t i a t e d   p o l i c y   f o r m a t i o n   a n d   p o l i t i c a l   d e c i s i o n - m a k i n g .   I n   t h e   a b s e n c e   o f   i n c l u s i v e   s i t e s   a n d   p r a c t i c e s   o f   p u b l i c   d e l i b e r a t i o n ,   t h e   d e m o c r a t i c   v a l u e   o f   n o n - d e l i b e r a t i v e   e x p e r i m e n t s   w i t h   p e t i t i o n i n g   a n d   c r o w d s o u r c i n g   a n d   r e c e n t   g o v e r n m e n t   e f f o r t s   t o   o p e n   u p   p u b l i c   i n f o r m a t i o n   a n d   d a t a   f o r   c i t i z e n   a u d i t i n g   a n d   e v a l u a t i o n   i s   l i k e l y   t o   r e m a i n   l i m i t e d . 	 [ M o s s ,   G i l e s ;   C o l e m a n ,   S t e p h e n ]   U n i v   L e e d s ,   I n s t   C o m m u n   S t u d i e s ,   L e e d s   L S 2   9 J T ,   W   Y o r k s h i r e ,   E n g l a n d 	 M o s s ,   G   ( r e p r i n t   a u t h o r ) ,   U n i v   L e e d s ,   I n s t   C o m m u n   S t u d i e s ,   L e e d s   L S 2   9 J T ,   W   Y o r k s h i r e ,   E n g l a n d . 	 g . s . m o s s @ l e e d s . a c . u k ;   s . c o l e m a n @ l e e d s . a c . u k 	 	 	 	 	 A n d e r s o n   E ,   2 0 0 6 ,   E P I S T E M E - J   I N D I V   S O C ,   V 3 ,   P 8 ,   D O I   1 0 . 3 3 6 6 / e p i . 2 0 0 6 . 3 . 1 - 2 . 8 ;   B a r b e r   B . ,   2 0 0 3 ,   S T R O N G   D E M O C R A C Y   P A R ;   B e n h a b i b   S e y l a ,   1 9 9 6 ,   D E M O C R A C Y   D I F F E R E N C E ,   P 6 7 ;   B l a i r   T . ,   2 0 0 7 ,   O B S E R V E R ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r u n s   A ,   2 0 1 1 ,   S O C   S C I   C O M P U T   R E V ,   V 2 9 ,   P 2 7 7 ,   D O I   1 0 . 1 1 7 7 / 0 8 9 4 4 3 9 3 1 0 3 8 2 5 0 7 ;   C a m e r o n   D . ,   2 0 1 0 ,   L E T T   G O V T   D E P   O P E N I N ;   C h a d w i c k   A . ,   2 0 0 9 ,   I   S   J   L A W   P O L I C Y   I N F ,   V 5 ,   P 9 ;   C o l e m a n   S ,   2 0 0 9 ,   C O M M U N   S O C   P O L I T ,   P 1 ,   D O I   1 0 . 1 0 1 7 / C B O 9 7 8 0 5 1 1 8 1 8 2 7 1 ;   C o l e m a n   S ,   2 0 1 2 ,   J   I N F   T E C H N O L ,   V 9 ,   P 1 ;   C o l e m a n   S . ,   2 0 0 4 ,   I n f o r m a t i o n   C o m m u n i c a t i o n   &   S o c i e t y ,   V 7 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 0 4 2 0 0 0 2 0 8 8 7 0 ;   C o n s e r v a t i v e   P a r t y ,   2 0 1 0 ,   B I G   I D   G I V   B R I T   R E A L ;   C o u l d r y   N ,   2 0 1 0 ,   W H Y   V O I C E   M A T T E R S   C U ;   D a h l g r e n   P ,   2 0 0 5 ,   P O L I T   C O M M U N ,   V 2 2 ,   P 1 4 7 ,   D O I   1 0 . 1 0 8 0 / 1 0 5 8 4 6 0 0 5 9 0 9 3 3 1 6 0 ;   D a v i s   R i c h a r d ,   1 9 9 9 ,   W E B   P O L I T I C S   I N T E R N E ;   D a w e s   S S ,   2 0 1 0 ,   G O V   I N F O R M   Q ,   V 2 7 ,   P 3 7 7 ,   D O I   1 0 . 1 0 1 6 / j . g i q . 2 0 1 0 . 0 7 . 0 0 1 ;   D r y z e k   J o h n ,   2 0 0 0 ,   D E L I B E R A T I V E   D E M O C R A ;   D r y z e k   J S ,   2 0 0 8 ,   A M   P O L I T   S C I   R E V ,   V 1 0 2 ,   P 4 8 1 ,   D O I   1 0 . 1 0 1 7 / S 0 0 0 3 0 5 5 4 0 8 0 8 0 3 2 5 ;   D u n l e a v y   P . ,   2 0 0 6 ,   D I G I T A L   E R A   G O V E R N A N ;   E l s t u b   S ,   2 0 1 0 ,   P O L I T   S T U D   R E V ,   V 8 ,   P 2 9 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 8 - 9 3 0 2 . 2 0 1 0 . 0 0 2 1 6 . x ;   F a n g   A r c h o n ,   2 0 1 0 ,   O P E N   G O V T   C O L L A B O R A T ,   p [ 1 0 5 ,   1 0 6 ] ;   F e r g u s o n   R . ,   2 0 0 7 ,   D I G I T A L   D I A L O G U E S   P H ;   F e r g u s o n   R ,   2 0 0 8 ,   P A R L I A M E N T   A F F ,   V 6 1 ,   P 2 1 6 ,   D O I   1 0 . 1 0 9 3 / p a / g s m 0 4 9 ;   F e r r o   E . ,   2 0 0 9 ,   H D B   R E S   O V E R C O M I N G   D ,   P 1 ;   G o o d i n   R E ,   2 0 0 0 ,   P H I L O S   P U B L I C   A F F ,   V 2 9 ,   P 8 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 0 8 8 - 4 9 6 3 . 2 0 0 0 . 0 0 0 8 1 . x ;   H a b e r m a s   J . ,   1 9 9 7 ,   F A C T S   N O R M S   C O N T R I B U ;   H e l s p e r   E .   J . ,   2 0 0 8 ,   D I G I T A L   I N C L U S I O N   A N ;   H e n d r i k s   C M ,   2 0 0 6 ,   P O L I T   S T U D - L O N D O N ,   V 5 4 ,   P 4 8 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 2 4 8 . 2 0 0 6 . 0 0 6 1 2 . x ;   H i l l   K . ,   1 9 9 8 ,   C Y B E R P O L I T I C S   C I T I Z E ;   H M   T r e a s u r y ,   2 0 1 0 ,   G O V T   I M P L   S A V   I D   S U B ;   I M P A C T   P r o j e c t ,   2 0 1 1 ,   P R O J   S U M M   I N T   M E T H   P ;   J a n s s e n   D ,   2 0 0 5 ,   A C T A   P O L I T ,   V 4 0 ,   P 3 1 7 ,   D O I   1 0 . 1 0 5 7 / p a l g r a v e . a p . 5 5 0 0 1 1 5 ;   J e f f e r y   S . ,   2 0 1 0 ,   G U A R D I A N ;   L a t h r o p   D . ,   2 0 1 0 ,   O P E N   G O V T   C O L L A B O R A T ;   L e s s i g   L . ,   2 0 0 9 ,   N E W   R E P U B L I C   N E W   Y O R ,   V 2 4 0 ,   P 3 7 ;   L i n d n e r   R . ,   2 0 1 1 ,   P O L I C Y   I N T E R N E T ,   V 3 ,   P 1 ;   M a c i n t o s h   A ,   2 0 0 8 ,   I N T E G R   S E R   I N F O R M   S Y ,   V 1 7 ,   P 4 8 7 ;   M a n s b r i d g e   J ,   2 0 1 0 ,   J   P O L I T   P H I L O S ,   V 1 8 ,   P 6 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 7 6 0 . 2 0 0 9 . 0 0 3 4 4 . x ;   M a r g e t t s   H ,   2 0 0 6 ,   P A R L I A M E N T   A F F ,   V 5 9 ,   P 2 5 0 ,   D O I   1 0 . 1 0 9 3 / p a / g s l 0 0 3 ;   M a y o   E . ,   2 0 0 7 ,   C I T E S E E R ;   M e i j e r   A ,   2 0 0 9 ,   I N T   R E V   A D M   S C I ,   V 7 5 ,   P 2 5 5 ,   D O I   1 0 . 1 1 7 7 / 0 0 2 0 8 5 2 3 0 9 1 0 4 1 7 5 ;   M i l l e r   L ,   2 0 0 9 ,   P A R L I A M E N T   A F F ,   V 6 2 ,   P 1 6 2 ,   D O I   1 0 . 1 0 9 3 / p a / g s n 0 4 4 ;   M o s c o   V i n c e n t ,   2 0 0 5 ,   D I G I T A L   S U B L I M E   M Y T H ;   M o s s   G . ,   2 0 0 5 ,   J   P O L I T I C A L   I D E O L O G I ,   V 1 0 ,   P 1 6 5 ,   D O I   1 0 . 1 0 8 0 / 1 3 5 6 9 3 1 0 5 0 0 0 9 7 3 0 7 ;   B e r r y   D .   M . ,   2 0 0 6 ,   I n f o r m a t i o n   P o l i t y ,   V 1 1 ;   M u r d o c k   G . ,   2 0 0 4 ,   P O L I T I C A L   E C   C U L T U R E ,   P 2 4 4 ;   N a v a r r i a   G . ,   2 0 1 0 ,   E   P E T I T I O N I N G   R E P R E S ;   N o v e c k   B S ,   2 0 0 9 ,   W I K I   G O V E R N M E N T :   H O W   T E C H N O L O G Y   C A N   M A K E   G O V E R N M E N T   B E T T E R ,   D E M O C R A C Y   S T R O N G E R ,   A N D   C I T I Z E N S   M O R E   P O W E R F U L ,   P 1 ;   O f f i c e   o f   N a t i o n a l   S t a t i s t i c s ,   2 0 1 0 ,   S T A T   B   I N T   A C C   2 0 1 0 ;   O f f i c e   o f   t h e   e - E n v o y ,   2 0 0 2 ,   S E R V   D E M   C O N S   P O L   E ;   P r i c e   V . ,   2 0 0 2 ,   I T   S O C ,   V 1 ,   P 3 0 3 ;   P r i c e   V ,   2 0 0 6 ,   O N L I N E   D E L I B E R A T I O N ,   P 3 7 ;   R o s a n v a l l o n   P ,   2 0 0 8 ,   C O U N T E R   D E M O C R A C Y   P O ;   S a w a r d   M ,   2 0 0 3 ,   P O L I T   S T U D - L O N D O N ,   V 5 1 ,   P 1 6 1 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 2 4 8 . 0 0 4 1 8 ;   S e l w y n   N ,   2 0 0 4 ,   N E W   M E D I A   S O C ,   V 6 ,   P 3 4 1 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 0 4 0 4 2 5 1 9 ;   S u n s t e i n   C ,   2 0 0 1 ,   R E P U B L I C   C O M ;   S u n s t e i n   C .   R . ,   2 0 0 6 ,   I N F O T O P I A   M A N Y   M I N D S ;   T r e a s u r y   C o m m o n s   S e l e c t   C o m m i t t e e ,   2 0 1 0 ,   S P E N D   R E V   2 0 1 0 ;   W h i t e h e a d   S . ,   2 0 1 0 ,   N E W   E C ;   W i l h e l m   A . ,   2 0 0 0 ,   D E M O C R A C Y   D I G I T A L   A G ;   W r i g h t   S ,   2 0 0 7 ,   N E W   M E D I A   S O C ,   V 9 ,   P 8 4 9 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 0 7 0 8 1 2 3 0 ;   W r i g h t   S . ,   2 0 1 2 ,   J   I N F   T E C H N O L ,   V 9 ,   P 4 5 3 ;   W r i g h t   S ,   2 0 0 6 ,   B R I T   J   P O L I T   I N T   R E L ,   V 8 ,   P 5 5 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 5 6 X . 2 0 0 6 . 0 0 2 4 7 . x ;   Y o u n g   I .   M . ,   2 0 0 2 ,   I N C L U S I O N   D E M O C R A C Y 	 6 4 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 1 3 6 9 - 1 4 8 1 	 1 4 6 7 - 8 5 6 X 	 	 B R I T   J   P O L I T   I N T   R E L 	 B r .   J .   P o l i t .   I n t .   R e l a t . 	 A U G 	 2 0 1 4 	 1 6 	 3 	 	 	 	 	 4 1 0 	 4 2 7 	 	 1 0 . 1 1 1 1 / 1 4 6 7 - 8 5 6 X . 1 2 0 0 4 	 	 1 8 	 I n t e r n a t i o n a l   R e l a t i o n s ;   P o l i t i c a l   S c i e n c e 	 I n t e r n a t i o n a l   R e l a t i o n s ;   G o v e r n m e n t   &   L a w 	 A L 3 G G 	 W O S : 0 0 0 3 3 9 0 1 4 2 0 0 0 0 3 	 	 
 J 	 X i a o ,   L 	 	 	 	 X i a o ,   L u 	 	 	 E f f e c t s   o f   R a t i o n a l e   A w a r e n e s s   i n   O n l i n e   I d e a t i o n   C r o w d s o u r c i n g   T a s k s 	 J O U R N A L   O F   T H E   A S S O C I A T I O N   F O R   I N F O R M A T I O N   S C I E N C E   A N D   T E C H N O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 G R O U P   D E C I S I O N - M A K I N G ;   U N S H A R E D   I N F O R M A T I O N ;   G R O U P   M E M B E R S ;   R E F L E C T I O N ;   C O M M U N I T I E S ;   I N V O L V E M E N T ;   P E R S U A S I O N ;   K N O W L E D G E ;   S E A R C H ;   S P A C E 	 P r i o r   s t u d i e s   h a v e   s h o w n   t h a t   a r t i c u l a t i n g   a n d   s h a r i n g   r a t i o n a l e s   i n   t r a d i t i o n a l   s m a l l - g r o u p   a c t i v i t i e s   c o n t r i b u t e   t o   t h e   m a i n t e n a n c e   o f   c o m m o n   g r o u n d ,   m e m b e r s '   k n o w l e d g e   a w a r e n e s s ,   a n d   c o n t r i b u t i o n   a w a r e n e s s .   I t   i s   l i k e l y   t h a t   t h e   i m p o r t a n c e   o f   a r t i c u l a t i n g   a n d   s h a r i n g   r a t i o n a l e s   w i l l   b e   i n c r e a s i n g l y   a c k n o w l e d g e d   i n   o n l i n e   c r o w d s o u r c i n g   b e c a u s e   i n   s u c h   a   c o n t e x t ,   l a r g e - s c a l e   p a r t i c i p a t i o n   i s   e x p e c t e d   w i t h   p a r t i c i p a n t s   o f t e n   n o t   k n o w i n g   e a c h   o t h e r   a n d   b e i n g   f l e x i b l e   a b o u t   t h e i r   p a r t i c i p a t i o n   s t a t u s   ( e . g . ,   p a r t i c i p a n t s   m a y   j o i n   a f t e r   t h e   a c t i v i t y   h a s   s t a r t e d   a n d   l e a v e   b e f o r e   i t   c o m p l e t e s ) ,   a n d   t h u s   m o r e   g r o u n d i n g   e f f o r t s / s u p p o r t   a r e   e x p e c t e d .   T o   b e t t e r   u n d e r s t a n d   t h e   r o l e   o f   s h a r e d   r a t i o n a l e s   i n   o n l i n e   c r o w d s o u r c i n g ,   t h r e e   e x p e r i m e n t s   w e r e   c o n d u c t e d   i n v e s t i g a t i n g   w h e t h e r   a n d   h o w   r a t i o n a l e   a w a r e n e s s   a f f e c t s   t h e   i d e a t i o n   c r o w d s o u r c i n g   t a s k   a n d   i d e a - e v a l u a t i o n   c r o w d s o u r c i n g   t a s k   b a s e d   o n   t h e   f i n d i n g s   a b o u t   t h e   r a t i o n a l e   a w a r e n e s s   e f f e c t s   i n   s m a l l - g r o u p   i d e a - g e n e r a t i o n   a c t i v i t i e s .   T h e   r e s u l t s   s u g g e s t   t h a t   o n e ' s   a w a r e n e s s   o f   p r e v i o u s   w o r k e r s '   r a t i o n a l e s   i n   t h e   c u r r e n t   t a s k   c a n   s l i g h t l y   i m p r o v e   t h e   a v e r a g e   q u a l i t y   o f   g e n e r a t e d   i d e a s   i n   a n   i t e r a t i v e   a p p r o a c h .   I n   a d d i t i o n ,   o n e ' s   e v a l u a t i o n   o f   a n   i d e a   c o u l d   b e   p o s i t i v e l y   o r   n e g a t i v e l y   a f f e c t e d   b y   t h e   i d e a ' s   r a t i o n a l e   d e p e n d i n g   o n   t h e   q u a l i t y   o f   t h e   r a t i o n a l e s .   T h e   r e s u l t s   a l s o   s u g g e s t   t h a t   s h o w i n g   p r e v i o u s   w o r k e r s '   r a t i o n a l e s   i n   t h e   i d e a t i o n   t a s k   m a y   n o t   b e   a n   e f f e c t i v e   a p p r o a c h   f o r   i m p r o v i n g   t h e   b e s t   q u a l i t y   o f   g e n e r a t e d   i d e a s . 	 U n i v   W e s t e r n   O n t a r i o ,   F a c   I n f o r m a t   &   M e d i a   S t u d i e s ,   H u m a n   C o m p   I n t e r a c t   L a b ,   L o n d o n ,   O N   N 6 A   5 B 7 ,   C a n a d a 	 X i a o ,   L   ( r e p r i n t   a u t h o r ) ,   U n i v   W e s t e r n   O n t a r i o ,   F a c   I n f o r m a t   &   M e d i a   S t u d i e s ,   H u m a n   C o m p   I n t e r a c t   L a b ,   L o n d o n ,   O N   N 6 A   5 B 7 ,   C a n a d a . 	 L x i a o 2 4 @ u w o . c a 	 	 	 N a t u r a l   S c i e n c e s   a n d   E n g i n e e r i n g   R e s e a r c h   C o u n c i l   o f   C a n a d a   ( N S E R C ) 	 T h i s   p r o j e c t   i s   p a r t i a l l y   f u n d e d   b y   t h e   i n t e r n a l   r e s e a r c h   f u n d   o f   t h e   a u t h o r ' s   f a c u l t y   a n d   t h e   D i s c o v e r y   p r o g r a m   o f   N a t u r a l   S c i e n c e s   a n d   E n g i n e e r i n g   R e s e a r c h   C o u n c i l   o f   C a n a d a   ( N S E R C ) .   W e   t h a n k   K u a n g   D a   f o r   p r o g r a m m i n g   t h e   t a s k s   u s i n g   T u r k i t   a n d   t h e   M I T   r e s e a r c h e r s   f o r   m a k i n g   T u r k i t   o p e n - s o u r c e   s o f t w a r e .   W e   a l s o   t h a n k   t h e   t u r k e r s   w h o   c h o s e   t o   d o   t h e   t a s k s .   E a r l i e r   w o r k   o n   t h i s   p r o j e c t   w a s   p r e s e n t e d   a t   C o l l e c t i v e   I n t e l l i g e n c e   2 0 1 2   a n d   t h e   " C o l l e c t i v e   I n t e l l i g e n c e   a s   C o m m u n i t y   D i s c o u r s e   a n d   A c t i o n "   W o r k s h o p   a t   C S C W   2 0 1 2 . 	 A l c o r n   B . ,   2 0 0 1 ,   S O   Y O U   W A N T   B E   I N T E R ;   A r i e l y   D ,   2 0 0 8 ,   J   E C O N   B E H A V   O R G A N ,   V 6 7 ,   P 6 7 1 ,   D O I   1 0 . 1 0 1 6 / j . j e b o . 2 0 0 8 . 0 1 . 0 0 4 ;   B A R N A R D   W A ,   1 9 9 3 ,   J   S O C   P S Y C H O L ,   V 1 3 3 ,   P 8 3 3 ;   B A U M E I S T E R   R F ,   1 9 8 2 ,   P S Y C H O L   B U L L ,   V 9 1 ,   P 3 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 0 9 . 9 1 . 1 . 3 ;   B L A C K S H A W   L ,   1 9 8 8 ,   J   A M   S O C   I N F O R M   S C I ,   V 3 9 ,   P 3 6 9 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 7 - 4 5 7 1 ( 1 9 8 8 1 1 ) 3 9 : 6 < 3 6 9 : : A I D - A S I 1 > 3 . 0 . C O ; 2 - 2 ;   B o e r b o o m   T B B ,   2 0 1 1 ,   M E D   T E A C H ,   V 3 3 ,   p E 6 1 5 ,   D O I   1 0 . 3 1 0 9 / 0 1 4 2 1 5 9 X . 2 0 1 1 . 6 1 0 8 4 0 ;   B u r g e   J E ,   2 0 0 8 ,   D E S I G N   C O M P U T I N G   A N D   C O G N I T I O N   ' 0 8 ,   P 2 2 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 4 0 2 0 - 8 7 2 8 - 8 _ 1 2 ;   C a m p b e l l   D ,   2 0 1 2 ,   J   A C C O U N T   R E S ,   V 5 0 ,   P 9 3 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 5 - 6 7 9 X . 2 0 1 2 . 0 0 4 5 7 . x ;   C h a n d l e r   D ,   2 0 1 3 ,   J   E C O N   B E H A V   O R G A N ,   V 9 0 ,   P 1 2 3 ,   D O I   1 0 . 1 0 1 6 / j . j e b o . 2 0 1 3 . 0 3 . 0 0 3 ;   C h o o   C W ,   2 0 0 8 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 9 ,   P 7 9 2 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 0 7 9 7 ;   C o n k l i n   J .   E . ,   1 9 9 1 ,   H U M A N   C O M P U T E R   I N T E R ,   V 6 ,   P 3 5 7 ;   D a h l b e r g   L . ,   2 0 0 1 ,   I n f o r m a t i o n   C o m m u n i c a t i o n   &   S o c i e t y ,   V 4 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 0 1 1 0 0 9 7 0 3 0 ;   D e n n i s   A .   R . ,   1 9 9 1 ,   P   2 4   A N N   H A W   I N T   C   S ,   V 3 ,   P 5 7 3 ;   D o w   P .   S . ,   2 0 1 2 ,   A S S   C O M P   M A C H   C   C O M P ;   D r a g o n   T . ,   2 0 1 2 ,   P   1 9   I N T   C   A D V   U S   M O ,   P 1 8 ;   D U N N E T T E   M D ,   1 9 6 3 ,   J   A P P L   P S Y C H O L ,   V 4 7 ,   P 3 0 ,   D O I   1 0 . 1 0 3 7 / h 0 0 4 9 2 1 8 ;   D y e r   W .   G . ,   1 9 9 5 ,   T E A M   B U I L D I N G   C U R R E N ;   F a b r i g a r   L R ,   1 9 9 8 ,   P E R S   S O C   P S Y C H O L   B ,   V 2 4 ,   P 3 3 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 6 1 6 7 2 9 8 2 4 4 0 0 1 ;   F l e c k   R ,   2 0 1 0 ,   P   2 2   C   C O M P   H U M   I N T ,   P 2 1 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 5 2 2 2 2 . 1 9 5 2 2 6 9 ;   F o r d   H . ,   2 0 1 1 ,   P   7   I N T   S   W I K   O P   C O L ,   P 2 0 1 ;   G a z a n   R ,   2 0 1 1 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 2 ,   P 2 3 0 1 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 5 6 2 ;   G r a h a m   T o d d ,   2 0 0 3 ,   C O M M U N I C A T I O N S ,   V 2 8 ,   P 1 7 3 ,   D O I   1 0 . 1 5 1 5 / c o m m . 2 0 0 3 . 0 1 2 ;   G r e g   L i t t l e ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 8 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 7 ;   H a l p e r n   D ,   2 0 1 3 ,   C O M P U T   H U M   B E H A V ,   V 2 9 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 2 . 1 0 . 0 0 8 ;   I b r a h i m   N H ,   2 0 1 2 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 3 ,   P 1 9 1 6 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 2 6 7 6 ;   H o r n e r   J . ,   2 0 0 6 ,   P   4   N O R D   C   H U M   C O M P ,   P 3 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 1 8 2 4 7 5 . 1 1 8 2 5 1 1 ;   H o r t o n   J J ,   2 0 1 1 ,   E X P   E C O N ,   V 1 4 ,   P 3 9 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 8 3 - 0 1 1 - 9 2 7 3 - 9 ;   H u a n g   M K ,   2 0 1 3 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 4 ,   P 5 4 0 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 2 8 0 5 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   X R D S   C R O S S R O A D S   A C M ,   V 1 7 ,   P 1 6 ;   J a n i s   I . L . ,   1 9 7 2 ,   V I C T I M S   G R O U P T H I N K ;   K a m a r   E . ,   2 0 1 2 ,   P   1 1   I N T   C   A U T   A G   M U ,   V 1 ,   P 4 6 7 ;   K a r s e n t y   L ,   1 9 9 6 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 5 0 ,   D O I   1 0 . 1 1 4 5 / 2 3 8 3 8 6 . 2 3 8 4 6 2 ;   K e m b e r   D ,   1 9 9 6 ,   I N N O V   E D U C   T R A I N   I N T ,   V 3 3 ,   P 3 1 3 ;   K i m   P ,   2 0 1 1 ,   I N T E R A C T   L E A R N   E N V I R ,   V 1 9 ,   P 3 3 3 ,   D O I   1 0 . 1 0 8 0 / 1 0 4 9 4 8 2 0 9 0 3 2 1 0 7 8 2 ;   K i t t u r   A ,   2 0 1 3 ,   P   2 0 1 3   C   C O M P   S U P P   C ,   P 1 3 0 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 4 4 1 7 7 6 . 2 4 4 1 9 2 3 ;   K l i n g   R ,   2 0 0 4 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 5 ,   P 1 2 7 ,   D O I   1 0 . 1 0 0 2 / a s i . 1 0 3 5 2 ;   L a m o r e u x   M . ,   2 0 0 5 ,   P r o c e e d i n g s .   A g i l e   2 0 0 5 ;   L a r s o n   J R ,   1 9 9 6 ,   J   P E R S   S O C   P S Y C H O L ,   V 7 1 ,   P 3 1 5 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 7 1 . 2 . 3 1 5 ;   L e e   J .   T . ,   1 9 9 6 ,   D E S I G N   R A T I O N A L E   C O N ,   P 2 1 ;   L E I P P E   M R ,   1 9 8 7 ,   J   P E R S   S O C   P S Y C H O L ,   V 5 2 ,   P 2 6 9 ;   L i a n g   Y ,   2 0 1 2 ,   C O M P U T   A I D E D   D E S I G N ,   V 4 4 ,   P 9 1 6 ,   D O I   1 0 . 1 0 1 6 / j . c a d . 2 0 1 1 . 0 8 . 0 0 2 ;   L u   L ,   2 0 1 2 ,   P E R S   S O C   P S Y C H O L   R E V ,   V 1 6 ,   P 5 4 ,   D O I   1 0 . 1 1 7 7 / 1 0 8 8 8 6 8 3 1 1 4 1 7 2 4 3 ;   M a c L e a n   A . ,   1 9 9 1 ,   H u m a n - C o m p u t e r   I n t e r a c t i o n ,   V 6 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 0 5 1 h c i 0 6 0 3 & 4 _ 2 ;   M a l o n e   T .   W . ,   2 0 0 9 ,   4 7 3 2 0 9   M I T   S L O A N   S C H ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   M a t h i e u   J E ,   2 0 0 0 ,   J   A P P L   P S Y C H O L ,   V 8 5 ,   P 2 7 3 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 1 - 9 0 1 0 . 8 5 . 2 . 2 7 3 ;   M c C a l l   R .   J . ,   1 9 9 1 ,   D E S I G N   S T U D I E S ,   V 1 2 ,   P 3 0 ,   D O I   1 0 . 1 0 1 6 / 0 1 4 2 - 6 9 4 X ( 9 1 ) 9 0 0 0 6 - I ;   M e n t i s   H M ,   2 0 0 9 ,   C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 3 4 1 ;   M o n k   A . ,   2 0 0 3 ,   M U L T I D I S C I P L I N A R Y   S C ,   P 2 6 5 ;   M u l d e r   I ,   2 0 0 4 ,   C Y B E R P S Y C H O L   B E H A V ,   V 7 ,   P 1 4 1 ,   D O I   1 0 . 1 0 8 9 / 1 0 9 4 9 3 1 0 4 3 2 3 0 2 4 4 1 0 ;   N a t h a n   L P ,   2 0 1 2 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 3 ,   P 2 2 5 4 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 2 7 2 6 ;   O ' C o n n o r   L G ,   2 0 1 3 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 4 ,   P 3 6 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 2 7 9 1 ;   O h   S ,   2 0 1 2 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 3 ,   P 5 4 3 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 6 7 6 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   P a r k s   C D ,   1 9 9 6 ,   O R G A N   B E H A V   H U M   D E C ,   V 6 6 ,   P 3 0 7 ,   D O I   1 0 . 1 0 0 6 / o b h d . 1 9 9 6 . 0 0 5 8 ;   P E T T Y   R E ,   1 9 8 4 ,   J   P E R S   S O C   P S Y C H O L ,   V 4 6 ,   P 6 9 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 4 6 . 1 . 6 9 ;   P e t t y   R . E . ,   1 9 9 8 ,   H D B   S O C I A L   P S Y C H O L ,   V 1 ,   P 1 ;   P E T T Y   R E ,   1 9 7 6 ,   J   P E R S   S O C   P S Y C H O L ,   V 3 4 ,   P 8 7 4 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 3 4 . 5 . 8 7 4 ;   P h i e l i x   C ,   2 0 1 0 ,   C O M P U T   H U M   B E H A V ,   V 2 6 ,   P 1 5 1 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 0 9 . 1 0 . 0 1 1 ;   P Y S Z C Z Y N S K I   T A ,   1 9 8 1 ,   J   A P P L   S O C   P S Y C H O L ,   V 1 1 ,   P 3 0 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 5 9 - 1 8 1 6 . 1 9 8 1 . t b 0 0 8 2 6 . x ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   R o g e r s   B ,   2 0 1 2 ,   P R O C   I N T   C O N F   S O F T W ,   P 1 3 1 3 ,   D O I   1 0 . 1 1 0 9 / I C S E . 2 0 1 2 . 6 2 2 7 0 9 1 ;   R z e s z o t a r s k i   J M ,   2 0 1 2 ,   U I S T ' 1 2 :   P R O C E E D I N G S   O F   T H E   2 5 T H   A N N U A L   A C M   S Y M P O S I U M   O N   U S E R   I N T E R F A C E   S O F T W A R E   A N D   T E C H N O L O G Y ,   P 5 5 ;   S c h n e i d e r   J . ,   2 0 1 3 ,   P   2 0 1 3   C   C O M P   S U P P   C ,   P 1 0 6 9 ;   S t a s s e r   G ,   2 0 0 0 ,   O R G A N   B E H A V   H U M   D E C ,   V 8 2 ,   P 1 0 2 ,   D O I   1 0 . 1 0 0 6 / o b h d . 2 0 0 0 . 2 8 9 0 ;   S T A S S E R   G ,   1 9 8 5 ,   J   P E R S   S O C   P S Y C H O L ,   V 4 8 ,   P 1 4 6 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 4 8 . 6 . 1 4 6 7 ;   S t r o m e r - G a l l e y   J . ,   2 0 0 7 ,   J   P U B L I C   D E L I B E R A T I O ,   V 3 ;   T s i k e r d e k i s   M ,   2 0 1 3 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 4 ,   P 1 0 0 1 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 2 7 9 5 ;   V e i n o t   T C ,   2 0 0 9 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 0 ,   P 2 3 1 3 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 1 5 1 ;   X i a o   L . ,   2 0 1 1 ,   P   1 1   I E E E   I N T   C   A D V ,   P 7 1 ;   X i a o   L ,   2 0 1 3 ,   J   S Y S T   S O F T W A R E ,   V 8 6 ,   P 1 7 2 7 ,   D O I   1 0 . 1 0 1 6 / j . j s s . 2 0 1 2 . 0 7 . 0 4 2 ;   X i a o   L . ,   2 0 1 1 ,   P   1 1   I E E E   I N T   C   A D V ,   P 5 2 1 ;   X i a o   L . ,   2 0 1 3 ,   P   I C O N F E R E N C E   F O R T   W ,   P 5 2 4 ;   Y u e n   M C . ,   2 0 1 1 ,   I   E L   E L   E N G   I E E E   3   I ,   P 7 6 6 	 7 4 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 2 3 3 0 - 1 6 3 5 	 2 3 3 0 - 1 6 4 3 	 	 J   A S S O C   I N F   S C I   T E C H 	 	 A U G 	 2 0 1 4 	 6 5 	 8 	 	 	 	 	 1 7 0 7 	 1 7 2 0 	 	 1 0 . 1 0 0 2 / a s i . 2 3 0 7 9 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 A L 3 X Y 	 W O S : 0 0 0 3 3 9 0 6 6 5 0 0 0 1 3 	 	 
 J 	 W a n ,   Z M ;   H o n g ,   Y ;   K h a n ,   S ;   G o u r l e y ,   J ;   F l a m i g ,   Z ;   K i r s c h b a u m ,   D ;   T a n g ,   G Q 	 	 	 	 W a n ,   Z h a n m i n g ;   H o n g ,   Y a n g ;   K h a n ,   S a d i q ;   G o u r l e y ,   J o n a t h a n ;   F l a m i g ,   Z a c h a r y ;   K i r s c h b a u m ,   D a l i a ;   T a n g ,   G u o q i a n g 	 	 	 A   c l o u d - b a s e d   g l o b a l   f l o o d   d i s a s t e r   c o m m u n i t y   c y b e r - i n f r a s t r u c t u r e :   D e v e l o p m e n t   a n d   d e m o n s t r a t i o n 	 E N V I R O N M E N T A L   M O D E L L I N G   &   S O F T W A R E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 F l o o d ;   C l o u d ;   C r o w d s o u r c i n g ;   W e b   G I S 	 	 F l o o d   d i s a s t e r s   h a v e   s i g n i f i c a n t   i m p a c t s   o n   t h e   d e v e l o p m e n t   o f   c o m m u n i t i e s   g l o b a l l y .   T h i s   s t u d y   d e s c r i b e s   a   p u b l i c   c l o u d - b a s e d   f l o o d   c y b e r - i n f r a s t r u c t u r e   ( C y b e r F l o o d )   t h a t   c o l l e c t s ,   o r g a n i z e s ,   v i s u a l i z e s ,   a n d   m a n a g e s   s e v e r a l   g l o b a l   f l o o d   d a t a b a s e s   f o r   a u t h o r i t i e s   a n d   t h e   p u b l i c   i n   r e a l - t i m e ,   p r o v i d i n g   l o c a t i o n - b a s e d   e v e n t f u l   v i s u a l i z a t i o n   a s   w e l l   a s   s t a t i s t i c a l   a n a l y s i s   a n d   g r a p h i n g   c a p a b i l i t i e s .   I n   o r d e r   t o   e x p a n d   a n d   u p d a t e   t h e   e x i s t i n g   f l o o d   i n v e n t o r y ,   a   c r o w d s o u r c i n g   d a t a   c o l l e c t i o n   m e t h o d o l o g y   i s   e m p l o y e d   f o r   t h e   p u b l i c   w i t h   s m a r t p h o n e s   o r   I n t e r n e t   t o   r e p o r t   n e w   f l o o d   e v e n t s ,   w h i c h   i s   a l s o   i n t e n d e d   t o   e n g a g e   c i t i z e n - s c i e n t i s t s   s o   t h a t   t h e y   m a y   b e c o m e   m o t i v a t e d   a n d   e d u c a t e d   a b o u t   t h e   l a t e s t   d e v e l o p m e n t s   i n   s a t e l l i t e   r e m o t e   s e n s i n g   a n d   h y d r o l o g i c   m o d e l i n g   t e c h n o l o g i e s .   O u r   s h a r e d   v i s i o n   i s   t o   b e t t e r   s e r v e   t h e   g l o b a l   w a t e r   c o m m u n i t y   w i t h   c o m p r e h e n s i v e   f l o o d   i n f o r m a t i o n ,   a i d e d   b y   t h e   s t a t e - o f - t h e - a r t   c l o u d   c o m p u t i n g   a n d   c r o w d - s o u r c i n g   t e c h n o l o g y .   T h e   C y b e r F l o o d   p r e s e n t s   a n   o p p o r t u n i t y   t o   e v e n t u a l l y   m o d e r n i z e   t h e   e x i s t i n g   p a r a d i g m   u s e d   t o   c o l l e c t ,   m a n a g e ,   a n a l y z e ,   a n d   v i s u a l i z e   w a t e r - r e l a t e d   d i s a s t e r s .   ( C )   2 0 1 4   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ W a n ,   Z h a n m i n g ;   H o n g ,   Y a n g ;   K h a n ,   S a d i q ]   U n i v   O k l a h o m a ,   S c h   C i v i l   E n g n   &   E n v i r o n m   S c i ,   N o r m a n ,   O K   7 3 0 1 9   U S A ;   [ W a n ,   Z h a n m i n g ;   H o n g ,   Y a n g ;   K h a n ,   S a d i q ;   F l a m i g ,   Z a c h a r y ]   N a t l   W e a t h e r   C t r ,   H y d r o m e t e o r o l   &   R e m o t e   S e n s i n g   L a b   H y D R O S ,   N o r m a n ,   O K   7 3 0 7 2   U S A ;   [ W a n ,   Z h a n m i n g ;   H o n g ,   Y a n g ;   K h a n ,   S a d i q ;   F l a m i g ,   Z a c h a r y ]   N a t l   W e a t h e r   C t r ,   A d v   R a d a r   R e s   C t r ,   N o r m a n ,   O K   7 3 0 7 2   U S A ;   [ G o u r l e y ,   J o n a t h a n ;   F l a m i g ,   Z a c h a r y ]   N O A A ,   N a t l   S e v e r e   S t o r m s   L a b ,   N a t l   W e a t h e r   C t r ,   N o r m a n ,   O K   7 3 0 6 9   U S A ;   [ K i r s c h b a u m ,   D a l i a ]   N A S A ,   G o d d a r d   S p a c e   F l i g h t   C t r ,   G r e e n b e l t ,   M D   2 0 7 7 1   U S A ;   [ T a n g ,   G u o q i a n g ]   T s i n g h u a   U n i v ,   D e p t   H y d r a u l   E n g n ,   B e i j i n g   1 0 0 0 8 4 ,   P e o p l e s   R   C h i n a 	 H o n g ,   Y   ( r e p r i n t   a u t h o r ) ,   N a t l   W e a t h e r   C t r ,   A d v   R a d a r   R e s   C t r ,   H y D R O S   L a b ,   4 6 1 0   S u i t e s , 1 2 0   D a v i d   L   B o r e n   B l v d ,   N o r m a n ,   O K   7 3 0 7 2   U S A . 	 z w a n @ o u . e d u ;   y a n g h o n g @ o u . e d u 	 H o n g ,   Y a n g / D - 5 1 3 2 - 2 0 0 9 	 	 H y d r o m e t e o r o l o g y   &   R e m o t e   S e n s i n g   L a b   ( H y D R O S ) ;   A d v a n c e d   R a d a r   R e s e a r c h   C e n t e r   ( A R R C )   a t   t h e   U n i v e r s i t y   o f   O k l a h o m a 	 T h e   f i r s t   a u t h o r   w o u l d   l i k e   t o   a c k n o w l e d g e   t h e   s e e d   m o n e y   s u p p o r t   f r o m   H y d r o m e t e o r o l o g y   &   R e m o t e   S e n s i n g   L a b   ( H y D R O S )   a n d   A d v a n c e d   R a d a r   R e s e a r c h   C e n t e r   ( A R R C )   a t   t h e   U n i v e r s i t y   o f   O k l a h o m a . 	 A d h i k a r i   P ,   2 0 1 0 ,   N A T   H A Z A R D S ,   V 5 5 ,   P 4 0 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 6 9 - 0 1 0 - 9 5 3 7 - 2 ;   B e h z a d   B . ,   2 0 1 1 ,   P   A C M   S I G S P A T I A L   2   I ,   P 2 6 ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   G o n g   J . ,   2 0 1 0 ,   P   J O I N T   S   I S P R S   T E C H ,   P 6 ;   G o n z a l e z   H . ,   2 0 1 0 ,   P   1   A C M   S   C L O U D   C O M P ,   P 1 7 5 ,   D O I   1 0 . 1 1 4 5 / 1 8 0 7 1 2 8 . 1 8 0 7 1 5 8 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G o o d c h i l d   M F ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 3 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 7 5 9 2 5 5 ;   H u d s o n - S m i t h   A ,   2 0 0 9 ,   S O C   S C I   C O M P U T   R E V ,   V 2 7 ,   P 5 2 4 ,   D O I   1 0 . 1 1 7 7 / 0 8 9 4 4 3 9 3 0 9 3 3 2 2 9 9 ;   K u s s u l   N ,   2 0 1 2 ,   I E E E   J - S T A R S ,   V 5 ,   P 1 7 4 0 ,   D O I   1 0 . 1 1 0 9 / J S T A R S . 2 0 1 2 . 2 1 9 2 4 1 7 ;   M e l l   P . ,   2 0 1 1 ,   N I S T   S P E C I A L   P U B L I C A ,   V 8 0 0 ,   P 1 4 5 ;   S a n n e r   M F ,   1 9 9 9 ,   J   M O L   G R A P H   M O D E L ,   V 1 7 ,   P 5 7 ;   S u n   A ,   2 0 1 3 ,   E N V I R O N   M O D E L L   S O F T W ,   V 4 1 ,   P 9 3 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 1 2 . 1 1 . 0 0 8 ;   W i l s o n   T . ,   2 0 0 8 ,   O G C   K M L   V E R S I O N   2   2 ;   Y a n g   C W ,   2 0 1 1 ,   I N T   J   D I G I T   E A R T H ,   V 4 ,   P 3 0 5 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 1 1 . 5 8 7 5 4 7 ;   Z e t t e r   R . ,   2 0 1 2 ,   I N T   F E D   R E D   C R O S S   R E ,   P 2 6 0 	 1 5 	 0 	 0 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 1 3 6 4 - 8 1 5 2 	 1 8 7 3 - 6 7 2 6 	 	 E N V I R O N   M O D E L L   S O F T W 	 E n v i r o n .   M o d e l l .   S o f t w . 	 A U G 	 2 0 1 4 	 5 8 	 	 	 	 	 	 8 6 	 9 4 	 	 1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 1 4 . 0 4 . 0 0 7 	 	 9 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E n g i n e e r i n g ,   E n v i r o n m e n t a l ;   E n v i r o n m e n t a l   S c i e n c e s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y 	 A L 0 O I 	 W O S : 0 0 0 3 3 8 8 2 5 8 0 0 0 0 7 	 	 
 J 	 W e c h s l e r ,   D 	 	 	 	 W e c h s l e r ,   D i e t m a r 	 	 	 C r o w d s o u r c i n g   a s   a   m e t h o d   o f   t r a n s d i s c i p l i n a r y   r e s e a r c h - T a p p i n g   t h e   f u l l   p o t e n t i a l   o f   p a r t i c i p a n t s 	 F U T U R E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 T r a n s d i s c i p l i n a r y   r e s e a r c h ;   C r o w d s o u r c i n g ;   C i t i z e n   s c i e n c e ;   P a r t i c i p a t i o n ;   W e b - b a s e d   t e c h n o l o g i e s ;   W i s d o m   o f   c r o w d s 	 M A N A G E M E N T ;   C R O W D ;   P O W E R 	 W i t h i n   t h e   s c o p e   o f   c i t i z e n   s c i e n c e   p r o j e c t s ,   c r o w d s o u r c i n g   h a s   a l r e a d y   e x p a n d e d   i n t o   s c i e n t i f i c   a p p l i c a t i o n   a r e a s .   I n   t h i s ,   i t s   s c i e n t i f i c   p o t e n t i a l   i s   o n l y   p a r t l y   e x h a u s t e d ,   h o w e v e r .   I t   w i l l   b e   s h o w n   t h a t   t r a n s d i s c i p l i n a r y   r e s e a r c h   i s   m a d e   u p   i n   c o n t e n t   a n d   s t r u c t u r a l   a s p e c t s   i n   s u c h   a   w a y   t h a t   c r o w d s o u r c i n g   c a n   f u l l y   u n f o l d   a s   a   r e s e a r c h   m e t h o d   t h r o u g h   v a r i e d   p a r t i c i p a t i o n   p o s s i b i l i t i e s ,   r e f l e c t i v e   p r o c e s s e s   a n d   u s e   o f   c o n t e m p o r a r y   t e c h n i c a l   p o s s i b i l i t i e s .   F u r t h e r m o r e ,   m u t u a l   l e a r n i n g ,   u n d e r s t a n d i n g   a n d   t h e   d i s s e m i n a t i o n   o f   k n o w l e d g e   s t r o n g l y   p r o f i t s   f r o m   e f f e c t s   t h a t   e v e n   r e s u l t   a u t o m a t i c a l l y   i n   t h i s   c o n t e x t .   T h e   s c i e n t i f i c   a p p l i c a t i o n   o f   c r o w d s o u r c i n g   r e p r e s e n t e d   h e r e   m a k e s   h i g h   d e m a n d s   o n   p r o j e c t   m a n a g e m e n t ,   b u t   i t   i s   e x p e c t e d   t o   t u r n   o u t   a s   a n   e f f e c t i v e   r e s e a r c h   m e t h o d   p r e c i s e l y   i n   t h e   a r e a   o f   t r a n s d i s c i p l i n a r y   r e s e a r c h .   ( C )   2 0 1 4   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 W u p p e r t a l   I n s t   C l i m a t e   E n v i r o n m   &   E n e r g y ,   D - 4 2 1 0 3   W u p p e r t a l ,   G e r m a n y 	 W e c h s l e r ,   D   ( r e p r i n t   a u t h o r ) ,   W u p p e r t a l   I n s t   C l i m a t e   E n v i r o n m   &   E n e r g y ,   D o p p e r s b e r g   1 9 ,   D - 4 2 1 0 3   W u p p e r t a l ,   G e r m a n y . 	 d w e c h s l e r @ w e b . d e 	 	 	 	 	 B o n a b e a u   E ,   2 0 0 9 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 4 5 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   D a w s o n   D . ,   2 0 1 2 ,   O P E N   S C I   C R O W D   S C I   S ,   V 6 9 ;   D i c k i n s o n   J L ,   2 0 1 0 ,   A N N U   R E V   E C O L   E V O L   S ,   V 4 1 ,   P 1 4 9 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v - e c o l s y s - 1 0 2 2 0 9 - 1 4 4 6 3 6 ;   D o a h n   A . ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ;   E k i n s   S ,   2 0 1 0 ,   P H A R M   R E S - D O R D R ,   V 2 7 ,   P 3 9 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 9 5 - 0 1 0 - 0 0 5 9 - 0 ;   E l z i n g a   A . ,   2 0 0 8 ,   H D B   T R A N S D I S C I P L I N A R ,   P 3 4 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 4 0 2 0 - 6 6 9 9 - 3 _ 2 2 ;   E n e n g e l   B ,   2 0 1 2 ,   L A N D S C A P E   U R B A N   P L A N ,   V 1 0 5 ,   P 1 0 6 ,   D O I   1 0 . 1 0 1 6 / j . l a n d u r b p l a n . 2 0 1 1 . 1 2 . 0 0 4 ;   F r a n z o n i   C ,   2 0 1 4 ,   R E S   P O L I C Y ,   V 4 3 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 3 . 0 7 . 0 0 5 ;   H a g e   M ,   2 0 1 0 ,   F U T U R E S ,   V 4 2 ,   P 2 5 4 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e s . 2 0 0 9 . 1 1 . 0 1 1 ;   H a n d   E ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 6 8 5 ,   D O I   1 0 . 1 0 3 8 / 4 6 6 6 8 5 a ;   H e r t w i g   R ,   2 0 1 2 ,   S C I E N C E ,   V 3 3 6 ,   P 3 0 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 2 1 4 0 3 ;   H i r s c h   H a d o r n   G ,   2 0 0 8 ,   H D B   T R A N S D I S C I P L I N A R ;   H o s s a i n   M . ,   2 0 1 2 ,   I E E E   I N T   C   I N N   M A N   T ,   P 3 1 0 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   M o b j o r k   M ,   2 0 1 0 ,   F U T U R E S ,   V 4 2 ,   P 8 6 6 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e s . 2 0 1 0 . 0 3 . 0 0 3 ;   N o v   O . ,   2 0 1 1 ,   P   5   I N T   A A A I   C   W E B L ,   P 2 4 9 ;   P o h l   C ,   2 0 0 7 ,   P R I N C I P L E S   D E S I G N I N G ;   P o h l   C ,   2 0 1 1 ,   F U T U R E S ,   V 4 3 ,   P 6 1 8 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e s . 2 0 1 1 . 0 3 . 0 0 1 ;   R a d d i c k   M   J o r d a n ,   2 0 1 0 ,   A s t r o n o m y   E d u c a t i o n   R e v i e w ,   V 9 ,   D O I   1 0 . 3 8 4 7 / A E R 2 0 0 9 0 3 6 ;   R e e d   M S ,   2 0 0 9 ,   J   E N V I R O N   M A N A G E ,   V 9 0 ,   P 1 9 3 3 ,   D O I   1 0 . 1 0 1 6 / j . j e n v m a n . 2 0 0 9 . 0 1 . 0 0 1 ;   R e e d   M S ,   2 0 0 8 ,   B I O L   C O N S E R V ,   V 1 4 1 ,   P 2 4 1 7 ,   D O I   1 0 . 1 0 1 6 / j . b i o c o n . 2 0 0 8 . 0 7 . 0 1 4 ;   S a l t e r   J ,   2 0 1 0 ,   W I R E S   C L I M   C H A N G E ,   V 1 ,   P 6 9 7 ,   D O I   1 0 . 1 0 0 2 / w c c . 7 3 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   U l r i c h   W . ,   2 0 0 0 ,   R E F L E C T I V E   P R A C T I C E ,   V 1 ,   P 2 4 7 ,   D O I   1 0 . 1 0 8 0 / 7 1 3 6 9 3 1 5 1 ;   W e c h s l e r   D ,   2 0 1 1 ,   J   G E N   P H I L O S   S C I ,   V 4 2 ,   P 1 4 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 8 3 8 - 0 1 1 - 9 1 4 5 - 1 ;   W i g g i n s   A . ,   2 0 1 1 ,   P   H I C S S ,   V 4 4 ,   P 1 	 2 8 	 1 	 1 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 0 0 1 6 - 3 2 8 7 	 1 8 7 3 - 6 3 7 8 	 	 F U T U R E S 	 F u t u r e s 	 A U G 	 2 0 1 4 	 6 0 	 	 	 	 	 	 1 4 	 2 2 	 	 1 0 . 1 0 1 6 / j . f u t u r e s . 2 0 1 4 . 0 2 . 0 0 5 	 	 9 	 E c o n o m i c s ;   P l a n n i n g   &   D e v e l o p m e n t 	 B u s i n e s s   &   E c o n o m i c s ;   P u b l i c   A d m i n i s t r a t i o n 	 A K 7 O A 	 W O S : 0 0 0 3 3 8 6 1 6 4 0 0 0 0 2 	 	 
 J 	 B r o w n ,   H R ;   Z e i d m a n ,   P ;   S m i t t e n a a r ,   P ;   A d a m s ,   R A ;   M c N a b ,   F ;   R u t l e d g e ,   R B ;   D o l a n ,   R J 	 	 	 	 B r o w n ,   H a r r i e t   R . ;   Z e i d m a n ,   P e t e r ;   S m i t t e n a a r ,   P e t e r ;   A d a m s ,   R i c k   A . ;   M c N a b ,   F i o n a ;   R u t l e d g e ,   R o b b   B . ;   D o l a n ,   R a y m o n d   J . 	 	 	 C r o w d s o u r c i n g   f o r   C o g n i t i v e   S c i e n c e   -   T h e   U t i l i t y   o f   S m a r t p h o n e s 	 P L O S   O N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 A T T E N T I O N A L   B L I N K ;   S T O P ;   M O D E L ;   T A S K 	 B y   2 0 1 5 ,   t h e r e   w i l l   b e   a n   e s t i m a t e d   t w o   b i l l i o n   s m a r t p h o n e   u s e r s   w o r l d w i d e .   T h i s   t e c h n o l o g y   p r e s e n t s   e x c i t i n g   o p p o r t u n i t i e s   f o r   c o g n i t i v e   s c i e n c e   a s   a   m e d i u m   f o r   r a p i d ,   l a r g e - s c a l e   e x p e r i m e n t a t i o n   a n d   d a t a   c o l l e c t i o n .   A t   p r e s e n t ,   c o s t   a n d   l o g i s t i c s   l i m i t   m o s t   s t u d y   p o p u l a t i o n s   t o   s m a l l   s a m p l e s ,   r e s t r i c t i n g   t h e   e x p e r i m e n t a l   q u e s t i o n s   t h a t   c a n   b e   a d d r e s s e d .   I n   t h i s   s t u d y   w e   i n v e s t i g a t e d   w h e t h e r   t h e   m a s s   c o l l e c t i o n   o f   e x p e r i m e n t a l   d a t a   u s i n g   s m a r t p h o n e   t e c h n o l o g y   i s   v a l i d ,   g i v e n   t h e   v a r i a b i l i t y   o f   d a t a   c o l l e c t i o n   o u t s i d e   o f   a   l a b o r a t o r y   s e t t i n g .   W e   p r e s e n t e d   f o u r   c l a s s i c   e x p e r i m e n t a l   p a r a d i g m s   a s   s h o r t   g a m e s ,   a v a i l a b l e   a s   a   f r e e   a p p   a n d   o v e r   t h e   f i r s t   m o n t h   2 0 , 8 0 0   u s e r s   s u b m i t t e d   d a t a .   W e   f o u n d   t h a t   t h e   l a r g e   s a m p l e   s i z e   v a s t l y   o u t w e i g h e d   t h e   n o i s e   i n h e r e n t   i n   c o l l e c t i n g   d a t a   o u t s i d e   a   c o n t r o l l e d   l a b o r a t o r y   s e t t i n g ,   a n d   s h o w   t h a t   f o r   a l l   f o u r   g a m e s   c a n o n i c a l   r e s u l t s   w e r e   r e p r o d u c e d .   F o r   t h e   f i r s t   t i m e ,   w e   p r o v i d e   e x p e r i m e n t a l   v a l i d a t i o n   f o r   t h e   u s e   o f   s m a r t p h o n e s   f o r   d a t a   c o l l e c t i o n   i n   c o g n i t i v e   s c i e n c e ,   w h i c h   c a n   l e a d   t o   t h e   c o l l e c t i o n   o f   r i c h e r   d a t a   s e t s   a n d   a   s i g n i f i c a n t   c o s t   r e d u c t i o n   a s   w e l l   a s   p r o v i d e   a n   o p p o r t u n i t y   f o r   e f f i c i e n t   p h e n o t y p i c   s c r e e n i n g   o f   l a r g e   p o p u l a t i o n s . 	 [ B r o w n ,   H a r r i e t   R . ;   Z e i d m a n ,   P e t e r ;   S m i t t e n a a r ,   P e t e r ;   A d a m s ,   R i c k   A . ;   M c N a b ,   F i o n a ;   R u t l e d g e ,   R o b b   B . ;   D o l a n ,   R a y m o n d   J . ]   U n i v   O x f o r d ,   O x f o r d   C t r   H u m a n   B r a i n   A c t ,   O x f o r d ,   E n g l a n d ;   [ M c N a b ,   F i o n a ]   U n i v   B i r m i n g h a m ,   S c h   P s y c h o l ,   L o n d o n ,   E n g l a n d 	 B r o w n ,   H R   ( r e p r i n t   a u t h o r ) ,   U n i v   O x f o r d ,   O x f o r d   C t r   H u m a n   B r a i n   A c t ,   O x f o r d ,   E n g l a n d . 	 h a r r i e t . b r o w n . 0 9 @ u c l . a c . u k 	 	 	 W e l l c o m e   T r u s t   [ 1 0 1 2 5 2 / Z / 1 3 / Z ,   0 9 1 5 9 3 / Z / 1 0 / Z ] 	 T h i s   w o r k   w a s   f u n d e d   b y   a   W e l l c o m e   T r u s t   E n g a g i n g   S c i e n c e :   B r a i n   A w a r e n e s s   W e e k   A w a r d ,   1 0 1 2 5 2 / Z / 1 3 / Z .   T h e   W e l l c o m e   T r u s t   C e n t r e   f o r   N e u r o i m a g i n g   i s   s u p p o r t e d   b y   c o r e   f u n d i n g   f r o m   t h e   W e l l c o m e   T r u s t   0 9 1 5 9 3 / Z / 1 0 / Z .   T h e   f u n d e r s   h a d   n o   r o l e   i n   s t u d y   d e s i g n ,   d a t a   c o l l e c t i o n   a n d   a n a l y s i s ,   d e c i s i o n   t o   p u b l i s h ,   o r   p r e p a r a t i o n   o f   t h e   m a n u s c r i p t . 	 A r o n   A R ,   2 0 0 8 ,   P S Y C H O L   S C I ,   V 1 9 ,   P 1 1 4 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 2 8 0 . 2 0 0 8 . 0 2 2 1 6 . x ;   B a n d   G P H ,   2 0 0 3 ,   A C T A   P S Y C H O L ,   V 1 1 2 ,   P 1 0 5 ,   D O I   1 0 . 1 0 1 6 / S 0 0 0 1 - 6 9 1 8 ( 0 2 ) 0 0 0 7 9 - 3 ;   B i c h e r o   S ,   2 0 1 2 ,   G L O B A L   S M A R T P H O N E   I N ;   B i r n b a u m   M H ,   2 0 0 4 ,   A N N U   R E V   P S Y C H O L ,   V 5 5 ,   P 8 0 3 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . p s y c h . 5 5 . 0 9 0 9 0 2 . 1 4 1 6 0 1 ;   B u c k   E ,   2 0 1 2 ,   L E A R N I N G   O P E N G L   E S   I ;   C a b r e r a   P J ,   2 0 1 0 ,   B E G I N N I N G   I P H O N E   G A M ;   C h a n d l e r   J ,   2 0 1 3 ,   B E H A V   R E S   M E T H O D S ;   C H U N   M M ,   1 9 9 5 ,   J   E X P   P S Y C H O L   H U M A N ,   V 2 1 ,   P 1 0 9 ,   D O I   1 0 . 1 0 3 7 / 0 0 9 6 - 1 5 2 3 . 2 1 . 1 . 1 0 9 ;   C l e r y   D ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 3 ,   P 1 7 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 3 3 3 . 6 0 3 9 . 1 7 3 ;   C o x o n   J P ,   2 0 0 9 ,   J   C O G N I T I V E   N E U R O S C I ,   V 2 1 ,   P 1 1 9 3 ,   D O I   1 0 . 1 1 6 2 / j o c n . 2 0 0 9 . 2 1 0 8 1 ;   C r u m p   M J ,   2 0 1 3 ,   P L O S   O N E ,   V 2 8 ;   D u f a u   S ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 2 4 9 7 4 ;   G a z z a l e y   A ,   2 0 0 5 ,   N A T   N E U R O S C I ,   V 8 ,   P 1 7 9 1 ,   D O I   1 0 . 1 0 3 8 / n n 1 2 0 5 - 1 7 9 1 c ;   K a l a n t h r o f f   E ,   2 0 1 3 ,   C O N S C I O U S   C O G N ,   V 2 2 ,   P 4 1 3 ,   D O I   1 0 . 1 0 1 6 / j . c o n c o g . 2 0 1 3 . 0 1 . 0 1 0 ;   K A N E   M J ,   1 9 9 4 ,   P S Y C H O L   A G I N G ,   V 9 ,   P 1 0 3 ,   D O I   1 0 . 1 0 3 7 / 0 8 8 2 - 7 9 7 4 . 9 . 1 . 1 0 3 ;   K h a t i b   F ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 1 8 9 4 9 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 1 1 5 8 9 8 1 0 8 ;   L O G A N   G D ,   1 9 8 4 ,   J   E X P   P S Y C H O L   H U M A N ,   V 1 0 ,   P 2 7 6 ,   D O I   1 0 . 1 0 3 7 / 0 0 9 6 - 1 5 2 3 . 1 0 . 2 . 2 7 6 ;   M a c K e r r o n   G ,   2 0 1 3 ,   G L O B A L   E N V I R O N   C H A N G ,   V 2 3 ,   P 9 9 2 ,   D O I   1 0 . 1 0 1 6 / j . g l o e n v c h a . 2 0 1 3 . 0 3 . 0 1 0 ;   M c n a b   F ,   2 0 1 4 ,   J   E X P   P S Y C H O L   H U M A N ,   V 4 0 ,   P 9 6 0 ,   D O I   1 0 . 1 0 3 7 / a 0 0 3 6 0 1 3 ;   m i t t e n a a r   P ,   2 0 1 4 ,   P L O S   O N E ,   V 9 ;   P a r k   H L ,   2 0 0 3 ,   I N T   J   G E R I A T R   P S Y C H ,   V 1 8 ,   P 1 1 2 1 ,   D O I   1 0 . 1 0 0 2 / g p s . 1 0 2 3 ;   P o t t e r   M C ,   1 9 9 8 ,   J   E X P   P S Y C H O L   L E A R N ,   V 2 4 ,   P 9 7 9 ,   D O I   1 0 . 1 0 3 7 / / 0 2 7 8 - 7 3 9 3 . 2 4 . 4 . 9 7 9 ;   R a b b i t t   P ,   2 0 0 9 ,   Q   J   E X P   P S Y C H O L ,   V 6 2 ,   P 1 8 5 9 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 7 0 2 1 0 8 0 2 6 3 3 4 6 1 ;   R A Y M O N D   J E ,   1 9 9 2 ,   J   E X P   P S Y C H O L   H U M A N ,   V 1 8 ,   P 8 4 9 ,   D O I   1 0 . 1 0 3 7 / / 0 0 9 6 - 1 5 2 3 . 1 8 . 3 . 8 4 9 ;   S o k o l - H e s s n e r   P ,   2 0 0 9 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 6 ,   P 5 0 3 5 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 8 0 6 7 6 1 1 0 6 ;   S p r o u s e   J ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 1 5 5 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 0 - 0 0 3 9 - 7 ;   V e r b r u g g e n   F ,   2 0 0 8 ,   T R E N D S   C O G N   S C I ,   V 1 2 ,   P 4 1 8 ,   D O I   1 0 . 1 0 1 6 / j . t i c s . 2 0 0 8 . 0 7 . 0 0 5 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   W i l l i a m s   B R ,   1 9 9 9 ,   D E V   P S Y C H O L ,   V 3 5 ,   P 2 0 5 ,   D O I   1 0 . 1 0 3 7 / / 0 0 1 2 - 1 6 4 9 . 3 5 . 1 . 2 0 5 	 2 9 	 1 	 1 	 P U B L I C   L I B R A R Y   S C I E N C E 	 S A N   F R A N C I S C O 	 1 1 6 0   B A T T E R Y   S T R E E T ,   S T E   1 0 0 ,   S A N   F R A N C I S C O ,   C A   9 4 1 1 1   U S A 	 1 9 3 2 - 6 2 0 3 	 	 	 P L O S   O N E 	 P L o S   O n e 	 J U L   1 5 	 2 0 1 4 	 9 	 7 	 	 	 	 	 	 	 e 1 0 0 6 6 2 	 1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 1 0 0 6 6 2 	 	 9 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 A M 6 R N 	 W O S : 0 0 0 3 3 9 9 9 2 4 0 0 0 0 5 	 2 5 0 2 5 8 6 5 	 
 J 	 A d a m s ,   S A 	 	 	 	 A d a m s ,   S a m a n t h a   A . 	 	 	 M a i n t a i n i n g   t h e   c o l l i s i o n   o f   a c c o u n t s :   c r o w d s o u r c i n g   s i t e s   i n   h e a l t h   c a r e   a s   b r o k e r s   i n   t h e   c o - p r o d u c t i o n   o f   p h a r m a c e u t i c a l   k n o w l e d g e 	 I N F O R M A T I O N   C O M M U N I C A T I O N   &   S O C I E T Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 W e b   2 . 0 ;   k n o w l e d g e   b r o k e r i n g ;   h e a l t h   c a r e ;   c r o w d s o u r c i n g 	 I N T E R N E T ;   P A T I E N T ;   P H A R M A C O V I G I L A N C E ;   D O C T O R ;   P O W E R ;   L A Y 	 S i n c e   t h e   d e v e l o p m e n t   o f   t h e   W o r l d   W i d e   W e b   l e d   t o   p u b l i c   a c c e s s   t o   t h e   i n t e r n e t   i n   t h e   e a r l y   1 9 9 0 s ,   t h e   t e c h n o l o g y   h a s   b e e n   a c c o m p a n i e d   w i t h   p r o m i s e s   a b o u t   t h e   d e m o c r a t i z a t i o n   o f   k n o w l e d g e .   C l a i m s   t h a t   m o r e   c i t i z e n s   c a n   b e   h e a r d   i n   m o r e   ( e f f e c t i v e )   w a y s ,   u l t i m a t e l y   b r i n g i n g   s o c i e t y   c l o s e r   t o   p a r t i c i p a t o r y   a n d   d e m o c r a t i z e d   k n o w l e d g e   p r o d u c t i o n   h a v e   g r o w n   e v e n   s t r o n g e r   w i t h   t h e   i n c r e a s i n g   p o p u l a r i t y   o f   s o - c a l l e d   ' W e b   2 . 0 '   a p p l i c a t i o n s   a n d   ' s o c i a l   m e d i a ' .   S u c h   c l a i m s   s e e m   t o   s u g g e s t   t h a t   t h e   p o s s i b i l i t y   o f   m a k i n g   a n   a c t i v e   c o n t r i b u t i o n   a u t o m a t i c a l l y   l e a d s   t o   e v e r y o n e   h a v i n g   a n   e q u a l   s a y ,   w h e r e   i n f o r m a t i o n   c o m i n g   f r o m   v a r i o u s   s o u r c e s   i s   g i v e n   e q u a l   c o n s i d e r a t i o n .   T h e   i m p l i c a t i o n s   o f   t h i s   s u g g e s t i o n   a r e   e s p e c i a l l y   i m p o r t a n t   f o r   f i e l d s   s u c h   a s   m e d i c i n e   a n d   h e a l t h   c a r e ,   w h e r e   e x p e r t i s e   i s   p r i m a r i l y   c o n s i d e r e d   t o   f a l l   u n d e r   a   p r o f e s s i o n a l   d o m a i n   t h a t   p r i v i l e g e s   e v i d e n c e - b a s e d   k n o w l e d g e   ( i . e .   d e v e l o p e d   d u r i n g   r a n d o m i z e d   c o n t r o l l e d   t r i a l s )   a s   t h e   o n l y   ' v a l i d '   f o r m   o f   k n o w l e d g e   o n   w h i c h   t o   b a s e   p r a c t i c e .   I n   t h i s   a r t i c l e ,   t h e   a u t h o r   e x a m i n e s   c l a i m s   r e g a r d i n g   d e m o c r a t i z a t i o n   o f   k n o w l e d g e   p r o d u c t i o n   i n   r e l a t i o n   t o   t h e   p r a c t i c e   o f   c r o w d s o u r c i n g   -   w h e r e   t a s k s   s u c h   a s   p r o b l e m - s o l v i n g   a n d   q u a l i t y   c o n t r o l   a r e   ' o u t s o u r c e d '   v i a   t h e   W e b   t o   s p e c i f i c   t a r g e t   g r o u p s   ( ' t h e   c r o w d ' )   -   i n   t h e   s p e c i f i c   c o n t e x t   o f   h e a l t h   c a r e .   D r a w i n g   o n   a   s t u d y   o f   t h e   s i t e   w w w . m i j n m e d i c i j n . n l   ( ' m y   m e d i c i n e ' ) ,   t h e   a u t h o r   q u e s t i o n s   h o w   t h e   m e d i a t i n g / k n o w l e d g e   b r o k e r i n g   r o l e   o f   s u c h   s i t e s   i n f l u e n c e s   t h e   n a t u r e   a n d   s t r u c t u r e   o f   t h e   i n f o r m a t i o n   e x c h a n g e   o n   t h e   s i t e .   H o w   d o e s   t h e   i n f o r m a t i o n   p r o d u c e d   v i a   s u c h   s i t e s   ' f i t '   w i t h   e x i s t i n g   i n f o r m a t i o n / k n o w l e d g e   h i e r a r c h i e s   a n d   i n f r a s t r u c t u r e s ?   H o w   d o   W e b   2 . 0   s i t e s / a p p l i c a t i o n s   s i m u l t a n e o u s l y   c o m p l e m e n t / r e i n f o r c e   a n d   c h a l l e n g e   t r a d i t i o n a l   f o r m s   o f   k n o w l e d g e   p r o d u c t i o n ? 	 E r a s m u s   U n i v ,   H l t h   P o l i c y   &   M a n a g e m e n t   i B M G ,   N L - 3 0 0 0   D R   R o t t e r d a m ,   N e t h e r l a n d s 	 A d a m s ,   S A   ( r e p r i n t   a u t h o r ) ,   E r a s m u s   U n i v ,   H l t h   P o l i c y   &   M a n a g e m e n t   i B M G ,   P o s t b u s   1 7 3 8 ,   N L - 3 0 0 0   D R   R o t t e r d a m ,   N e t h e r l a n d s . 	 a d a m s @ b m g . e u r . n l 	 	 	 	 	 A n d e r s o n   C . ,   2 0 1 3 ,   U N D E R S T A N D I N G   U S I N G ,   P 1 1 6 ;   A r m s t r o n g   A W ,   2 0 1 2 ,   A M   J   C L I N   D E R M A T O L ,   V 1 3 ,   P 4 0 5 ,   D O I   1 0 . 2 1 6 5 / 1 1 6 3 4 0 4 0 - 0 0 0 0 0 0 0 0 0 - 0 0 0 0 0 ;   A r m s t r o n g   A W ,   2 0 1 2 ,   J   A M   A C A D   D E R M A T O L ,   V 6 7 ,   P 1 2 7 3 ,   D O I   1 0 . 1 0 1 6 / j . j a a d . 2 0 1 2 . 0 5 . 0 1 3 ;   A r m s t r o n g   A p r i l   W ,   2 0 1 2 ,   D e r m a t o l   O n l i n e   J ,   V 1 8 ,   P 1 5 ;   A r m s t r o n g   R ,   2 0 0 7 ,   H E A L T H   P R O M O T   I N T ,   V 2 2 ,   P 2 5 4 ,   D O I   1 0 . 1 0 9 3 / h e a p r o / d a m 0 1 7 ;   B r o o m   A ,   2 0 0 5 ,   Q U A L   H E A L T H   R E S ,   V 1 5 ,   P 3 2 5 ,   D O I   1 0 . 1 1 7 7 / 1 0 4 9 7 3 2 3 0 4 2 7 2 9 1 6 ;   E u r o p e a n   U n i o n ,   2 0 1 1 ,   O F F I C I A L   J   E U   L ,   V L 3 4 8 ,   P 7 4 ;   F o u c a u l t   M . ,   1 9 7 3 ,   B I R T H   C L I N ;   F o x   N J ,   2 0 0 5 ,   S O C   S C I   M E D ,   V 6 0 ,   P 1 2 9 9 ,   D O I   1 0 . 1 0 1 6 / j . s o c s c i m e d . 2 0 0 4 . 0 7 . 0 0 5 ;   G e n e s   N ,   2 0 0 6 ,   M E D S C A P E   M E D   S T U D E N T ,   V 8 ;   G o e u r i o t   L . ,   2 0 1 1 ,   A S   P A C   C   L I B   I N F   E D ,   P 5 4 8 ;   H a r d e y   M ,   1 9 9 9 ,   S O C I O L   H E A L T H   I L L ,   V 2 1 ,   P 8 2 0 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 5 6 6 . 0 0 1 8 5 ;   H a r r i s   R . ,   2 0 1 0 ,   R E C O N F I G U R I N G   H L T H   C ;   H a r r i s o n   S ,   1 9 9 8 ,   S O C   P O L I C Y   A D M I N ,   V 3 2 ,   P 6 0 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 5 1 5 . 0 0 0 8 6 ;   H e r x h e i m e r   A ,   2 0 1 2 ,   B R I T   J   G E N   P R A C T ,   V 6 2 ,   P 4 0 0 ,   D O I   1 0 . 3 3 9 9 / b j g p 1 2 X 6 5 3 4 5 3 ;   H e r x h e i m e r   A ,   2 0 1 2 ,   B R I T   J   C L I N   P H A R M A C O ,   V 7 3 ,   P 9 4 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 1 2 5 . 2 0 1 2 . 0 4 2 4 3 . x ;   L a t o u r   B ,   2 0 0 5 ,   R E A S S E M B L I N G   S O C I A L ;   M a y   C ,   2 0 0 6 ,   S O C   S C I   M E D ,   V 6 2 ,   P 1 0 2 2 ,   D O I   1 0 . 1 0 1 6 / j . s o c s c i m e d . 2 0 0 5 . 0 7 . 0 0 3 ;   M e d a w a r   C . ,   2 0 0 2 ,   I N T   J   R I S K   S A F E T Y   M E ,   V 1 5 ,   P 1 6 1 ;   M o s s b e r g e r   K ,   2 0 0 8 ,   D I G I T A L   C I T I Z E N S H I P :   T H E   I N T E R N E T ,   S O C I E T Y ,   A N D   P A R T I C I P A T I O N ,   P 1 ;   P r i o r   L ,   2 0 0 7 ,   S O C I O L O G Y ,   V 4 1 ,   P 9 8 5 ,   D O I   1 0 . 1 1 7 7 / 0 0 3 8 0 3 8 5 0 7 0 8 2 3 1 1 ;   R a m o s   M . ,   2 0 0 6 ,   R e f e r e n c e   S e r v i c e s   R e v i e w ,   V 3 4 ,   D O I   1 0 . 1 1 0 8 / 0 0 9 0 7 3 2 0 6 1 0 7 1 6 4 5 9 ;   R i c h t e r   P . ,   2 0 0 7 ,   S O C I A L   P O L I C Y   S O C ,   V 7 ,   P 2 1 1 ;   R o g e r s   R ,   2 0 0 4 ,   I N F O R M A T I O N   P O L I T I C S   O N   T H E   W E B ,   P 1 ;   S c u r t i   V ,   2 0 1 2 ,   E U R   J   C L I N   P H A R M A C O L ,   V 6 8 ,   P 1 1 ,   D O I   1 0 . 1 0 0 7 / s 0 0 2 2 8 - 0 1 1 - 1 0 9 6 - 2 ;   S h a p i n   S . ,   1 9 8 5 ,   L E V I A T H A N   A I R   P U M P ;   T h o m a s   J C ,   2 0 0 5 ,   A D M I N   S O C ,   V 3 7 ,   P 2 5 9 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 5 3 9 9 7 0 4 2 7 3 2 1 2 ;   T h o r s e n   E ,   2 0 0 8 ,   N E W   M E D I A   S O C ,   V 1 0 ,   P 9 3 5 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 0 8 0 9 6 2 5 2 ;   v a n   B e r k e l   J a n t i e n . ,   2 0 0 8 ,   T E K S T B L A D ,   V 3 ,   P 1 2 ;   v a n   d e   L a a r   F . ,   2 0 0 8 ,   T E K S T B L A D ,   V 3 ,   P 6 ;   W u   H ,   2 0 1 3 ,   M E T H O D   I N F O R M   M E D ,   V 5 2 ,   P 1 5 2 ,   D O I   1 0 . 3 4 1 4 / M E 1 2 - 0 2 - 0 0 0 4 ;   W a t h e n   C N ,   2 0 0 8 ,   H E A L T H   T E C H N O L   S O C ,   P 1 ,   D O I   1 0 . 1 0 5 7 / 9 7 8 0 2 3 0 2 2 7 3 2 3 ;   Z i e b l a n d   S ,   2 0 1 2 ,   M I L B A N K   Q ,   V 9 0 ,   P 2 1 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 0 0 0 9 . 2 0 1 2 . 0 0 6 6 2 . x 	 3 3 	 0 	 0 	 R O U T L E D G E   J O U R N A L S ,   T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X F O R D S H I R E ,   E N G L A N D 	 1 3 6 9 - 1 1 8 X 	 1 4 6 8 - 4 4 6 2 	 	 I N F O R M   C O M M U N   S O C 	 I n f o .   C o m m u n .   S o c . 	 J U L   3 	 2 0 1 4 	 1 7 	 6 	 	 	 	 	 6 5 7 	 6 6 9 	 	 1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 3 . 8 0 8 3 6 2 	 	 1 3 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 A E 7 E A 	 W O S : 0 0 0 3 3 4 1 5 8 3 0 0 0 0 1 	 	 
 J 	 B r o w n ,   A W ;   A l l i s o n ,   D B 	 	 	 	 B r o w n ,   A n d r e w   W . ;   A l l i s o n ,   D a v i d   B . 	 	 	 U s i n g   C r o w d s o u r c i n g   t o   E v a l u a t e   P u b l i s h e d   S c i e n t i f i c   L i t e r a t u r e :   M e t h o d s   a n d   E x a m p l e 	 P L O S   O N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 S y s t e m a t i c a l l y   e v a l u a t i n g   s c i e n t i f i c   l i t e r a t u r e   i s   a   t i m e   c o n s u m i n g   e n d e a v o r   t h a t   r e q u i r e s   h o u r s   o f   c o d i n g   a n d   r a t i n g .   H e r e ,   w e   d e s c r i b e   a   m e t h o d   t o   d i s t r i b u t e   t h e s e   t a s k s   a c r o s s   a   l a r g e   g r o u p   t h r o u g h   o n l i n e   c r o w d s o u r c i n g .   U s i n g   A m a z o n ' s   M e c h a n i c a l   T u r k ,   c r o w d s o u r c e d   w o r k e r s   ( m i c r o w o r k e r s )   c o m p l e t e d   f o u r   g r o u p s   o f   t a s k s   t o   e v a l u a t e   t h e   q u e s t i o n ,   " D o   n u t r i t i o n - o b e s i t y   s t u d i e s   w i t h   c o n c l u s i o n s   c o n c o r d a n t   w i t h   p o p u l a r   o p i n i o n   r e c e i v e   m o r e   a t t e n t i o n   i n   t h e   s c i e n t i f i c   c o m m u n i t y   t h a n   d o   t h o s e   t h a t   a r e   d i s c o r d a n t ? ' '   1 )   M i c r o w o r k e r s   w h o   p a s s e d   a   q u a l i f i c a t i o n   t e s t   ( 1 9 %   p a s s e d )   e v a l u a t e d   a b s t r a c t s   t o   d e t e r m i n e   i f   t h e y   w e r e   a b o u t   h u m a n   s t u d i e s   i n v e s t i g a t i n g   n u t r i t i o n   a n d   o b e s i t y .   A g r e e m e n t   b e t w e e n   t h e   f i r s t   t w o   r a t e r s '   c o n c l u s i o n s   w a s   m o d e r a t e   ( k a p p a   =   0 . 5 8 6 ) ,   w i t h   c o n s e n s u s   b e i n g   r e a c h e d   i n   9 6 %   o f   a b s t r a c t s .   2 )   M i c r o w o r k e r s   i t e r a t i v e l y   s y n t h e s i z e d   f r e e - t e x t   a n s w e r s   d e s c r i b i n g   t h e   s t u d i e d   f o o d s   i n t o   o n e   c o h e r e n t   t e r m .   A p p r o x i m a t e l y   8 4 %   o f   f o o d s   w e r e   a g r e e d   u p o n ,   w i t h   o n l y   4   a n d   8 %   o f   r a t i n g s   f a i l i n g   m a n u a l   r e v i e w   i n   d i f f e r e n t   s t e p s .   3 )   M i c r o w o r k e r s   w e r e   a s k e d   t o   r a t e   t h e   p e r c e i v e d   o b e s o g e n i c i t y   o f   t h e   s y n t h e s i z e d   f o o d   t e r m s .   O v e r   9 9 %   o f   r e s p o n s e s   w e r e   c o m p l e t e   a n d   u s a b l e ,   a n d   o p i n i o n s   o f   t h e   m i c r o w o r k e r s   q u a l i t a t i v e l y   m a t c h e d   t h e   a u t h o r s '   e x p e r t   e x p e c t a t i o n s   ( e . g . ,   s u g a r - s w e e t e n e d   b e v e r a g e s   w e r e   t h o u g h t   t o   c a u s e   o b e s i t y   a n d   f r u i t s   a n d   v e g e t a b l e s   w e r e   t h o u g h t   t o   p r e v e n t   o b e s i t y ) .   4 )   M i c r o w o r k e r s   e x t r a c t e d   c i t a t i o n   c o u n t s   f o r   e a c h   p a p e r   t h r o u g h   G o o g l e   S c h o l a r .   M i c r o w o r k e r s   r e a c h e d   c o n s e n s u s   o r   u n a n i m o u s   a g r e e m e n t   f o r   a l l   s u c c e s s f u l   s e a r c h e s .   T o   a n s w e r   t h e   e x a m p l e   q u e s t i o n ,   d a t a   w e r e   a g g r e g a t e d   a n d   a n a l y z e d ,   a n d   s h o w e d   n o   s i g n i f i c a n t   a s s o c i a t i o n   b e t w e e n   p o p u l a r   o p i n i o n   a n d   a t t e n t i o n   t h e   p a p e r   r e c e i v e d   a s   m e a s u r e d   b y   S c i m a g o   J o u r n a l   R a n k   a n d   c i t a t i o n   c o u n t s .   D i r e c t   m i c r o w o r k e r   c o s t s   t o t a l e d   $ 2 2 1 . 7 5 ,   ( e s t i m a t e d   c o s t   a t   m i n i m u m   w a g e :   $ 3 1 2 . 6 1 ) .   W e   d i s c u s s   i m p o r t a n t   p o i n t s   t o   c o n s i d e r   t o   e n s u r e   g o o d   q u a l i t y   c o n t r o l   a n d   a p p r o p r i a t e   p a y   f o r   m i c r o w o r k e r s .   W i t h   g o o d   r e l i a b i l i t y   a n d   l o w   c o s t ,   c r o w d s o u r c i n g   h a s   p o t e n t i a l   t o   e v a l u a t e   p u b l i s h e d   l i t e r a t u r e   i n   a   c o s t - e f f e c t i v e ,   q u i c k ,   a n d   r e l i a b l e   m a n n e r   u s i n g   e x i s t i n g ,   e a s i l y   a c c e s s i b l e   r e s o u r c e s . 	 [ B r o w n ,   A n d r e w   W . ;   A l l i s o n ,   D a v i d   B . ]   U n i v   A l a b a m a   B i r m i n g h a m ,   S c h   P u b l   H l t h ,   N u t r   O b e s   R e s   C t r ,   O f f   E n e r g e t ,   B i r m i n g h a m ,   A L   3 5 2 9 4   U S A 	 B r o w n ,   A W   ( r e p r i n t   a u t h o r ) ,   U n i v   A l a b a m a   B i r m i n g h a m ,   S c h   P u b l   H l t h ,   N u t r   O b e s   R e s   C t r ,   O f f   E n e r g e t ,   B i r m i n g h a m ,   A L   3 5 2 9 4   U S A . 	 a w b r o w n @ u a b . e d u 	 	 	 N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   [ N I D D K   P 3 0 D K 0 5 6 3 3 6 ,   N I D D K   T 3 2 D K 6 2 7 1 0 - 0 1 A 1 ] 	 T h i s   p r o j e c t   w a s   s u p p o r t e d   b y   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   ( h t t p : / / n i h . g o v )   g r a n t s   N I D D K   P 3 0 D K 0 5 6 3 3 6   a n d   N I D D K   T 3 2 D K 6 2 7 1 0 - 0 1 A 1 .   T h e   f u n d e r s   h a d   n o   r o l e   i n   s t u d y   d e s i g n ,   d a t a   c o l l e c t i o n   a n d   a n a l y s i s ,   d e c i s i o n   t o   p u b l i s h ,   o r   p r e p a r a t i o n   o f   t h e   m a n u s c r i p t . 	 A d a y   L A ,   2 0 1 1 ,   D E S I G N I N G   C O N D U C T I N G ;   B r o w n   A W ,   2 0 1 3 ,   A M   J   C L I N   N U T R ,   V 9 8 ,   P 1 2 9 8 ,   D O I   1 0 . 3 9 4 5 / a j c n . 1 1 3 . 0 6 4 4 1 0 ;   C O N G E R   A J ,   1 9 8 0 ,   P S Y C H O L   B U L L ,   V 8 8 ,   P 3 2 2 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 8 8 . 2 . 3 2 2 ;   H a r z i n g   A W ,   2 0 1 3 ,   S C I E N T O M E T R I C S ,   V 9 4 ,   P 1 0 5 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 1 9 2 - 0 1 2 - 0 7 7 7 - 7 ;   L A N D I S   J R ,   1 9 7 7 ,   B I O M E T R I C S ,   V 3 3 ,   P 1 5 9 ,   D O I   1 0 . 2 3 0 7 / 2 5 2 9 3 1 0 ;   M o r t e n s e n   J o n a t h a n   M ,   2 0 1 3 ,   A M I A   A n n u   S y m p   P r o c ,   V 2 0 1 3 ,   P 1 0 2 0 ;   N A A C L ,   2 0 1 0 ,   W O R K S H   C R E A T   S P E E C H ;   W a r b y   S C ,   2 0 1 4 ,   N A T   M E T H O D S ,   V 1 1 ,   P 3 8 5 ,   D O I   [ 1 0 . 1 0 3 8 / n m e t h . 2 8 5 5 ,   1 0 . 1 0 3 8 / N M E T H . 2 8 5 5 ] ;   Y a v c h i t z   A ,   2 0 1 2 ,   P L O S   M E D ,   V 9 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 1 0 0 1 3 0 8 	 9 	 0 	 0 	 P U B L I C   L I B R A R Y   S C I E N C E 	 S A N   F R A N C I S C O 	 1 1 6 0   B A T T E R Y   S T R E E T ,   S T E   1 0 0 ,   S A N   F R A N C I S C O ,   C A   9 4 1 1 1   U S A 	 1 9 3 2 - 6 2 0 3 	 	 	 P L O S   O N E 	 P L o S   O n e 	 J U L   2 	 2 0 1 4 	 9 	 7 	 	 	 	 	 	 	 e 1 0 0 6 4 7 	 1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 1 0 0 6 4 7 	 	 9 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 A O 5 B A 	 W O S : 0 0 0 3 4 1 3 5 4 1 0 0 0 3 5 	 2 4 9 8 8 4 6 6 	 
 J 	 G o l d s t e i n ,   E 	 	 	 	 G o l d s t e i n ,   E d w a r d 	 	 	 N A S A   h o n e s   i t s   c r o w d s o u r c i n g 	 A E R O S P A C E   A M E R I C A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 	 	 	 e d g o l d 1 8 @ c o m c a s t . n e t 	 	 	 	 	 	 0 	 0 	 0 	 A M E R   I N S T   A E R O N A U T I C S     A S T R O N A U T I C S 	 R E S T O N 	 1 8 0 1   A L E X A N D E R   B E L L   D R I V E ,   S T E   5 0 0 ,   R E S T O N ,   V A   2 2 0 9 1 - 4 3 4 4   U S A 	 0 7 4 0 - 7 2 2 X 	 	 	 A E R O S P A C E   A M 	 A e r o s p .   A m . 	 J U L - A U G 	 2 0 1 4 	 5 2 	 7 	 	 	 	 	 8 	 8 	 	 	 	 1 	 E n g i n e e r i n g ,   A e r o s p a c e 	 E n g i n e e r i n g 	 A R 0 S Z 	 W O S : 0 0 0 3 4 3 2 8 2 9 0 0 0 0 5 	 	 
 J 	 B e l l ,   S ;   B a l a ,   K ;   S n a v e l y ,   N 	 	 	 	 B e l l ,   S e a n ;   B a l a ,   K a v i t a ;   S n a v e l y ,   N o a h 	 	 	 I n t r i n s i c   I m a g e s   i n   t h e   W i l d 	 A C M   T R A N S A C T I O N S   O N   G R A P H I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 i n t r i n s i c   i m a g e s ;   c r o w d s o u r c i n g ;   r e f l e c t a n c e ;   s h a d i n g 	 	 I n t r i n s i c   i m a g e   d e c o m p o s i t i o n   s e p a r a t e s   a n   i m a g e   i n t o   a   r e f l e c t a n c e   l a y e r   a n d   a   s h a d i n g   l a y e r .   A u t o m a t i c   i n t r i n s i c   i m a g e   d e c o m p o s i t i o n   r e m a i n s   a   s i g n i f i c a n t   c h a l l e n g e ,   p a r t i c u l a r l y   f o r   r e a l - w o r l d   s c e n e s .   A d v a n c e s   o n   t h i s   l o n g s t a n d i n g   p r o b l e m   h a v e   b e e n   s p u r r e d   b y   p u b l i c   d a t a s e t s   o f   g r o u n d   t r u t h   d a t a ,   s u c h   a s   t h e   M I T   I n t r i n s i c   I m a g e s   d a t a s e t .   H o w e v e r ,   t h e   d i f f i c u l t y   o f   a c q u i r i n g   g r o u n d   t r u t h   d a t a   h a s   m e a n t   t h a t   s u c h   d a t a s e t s   c o v e r   a   s m a l l   r a n g e   o f   m a t e r i a l s   a n d   o b j e c t s .   I n   c o n t r a s t ,   r e a l - w o r l d   s c e n e s   c o n t a i n   a   r i c h   r a n g e   o f   s h a p e s   a n d   m a t e r i a l s ,   l i t   b y   c o m p l e x   i l l u m i n a t i o n .   I n   t h i s   p a p e r   w e   i n t r o d u c e   I n t r i n s i c   I m a g e s   i n   t h e   W i l d ,   a   l a r g e - s c a l e ,   p u b l i c   d a t a s e t   f o r   e v a l u a t i n g   i n t r i n s i c   i m a g e   d e c o m p o s i t i o n s   o f   i n d o o r   s c e n e s .   W e   c r e a t e   t h i s   b e n c h m a r k   t h r o u g h   m i l l i o n s   o f   c r o w d s o u r c e d   a n n o t a t i o n s   o f   r e l a t i v e   c o m p a r i s o n s   o f   m a t e r i a l   p r o p e r t i e s   a t   p a i r s   o f   p o i n t s   i n   e a c h   s c e n e .   C r o w d s o u r c i n g   e n a b l e s   a   s c a l a b l e   a p p r o a c h   t o   a c q u i r i n g   a   l a r g e   d a t a b a s e ,   a n d   u s e s   t h e   a b i l i t y   o f   h u m a n s   t o   j u d g e   m a t e r i a l   c o m p a r i s o n s ,   d e s p i t e   v a r i a t i o n s   i n   i l l u m i n a t i o n .   G i v e n   o u r   d a t a b a s e ,   w e   d e v e l o p   a   d e n s e   C R F - b a s e d   i n t r i n s i c   i m a g e   a l g o r i t h m   f o r   i m a g e s   i n   t h e   w i l d   t h a t   o u t p e r f o r m s   a   r a n g e   o f   s t a t e - o f - t h e - a r t   i n t r i n s i c   i m a g e   a l g o r i t h m s .   I n t r i n s i c   i m a g e   d e c o m p o s i t i o n   r e m a i n s   a   c h a l l e n g i n g   p r o b l e m ;   w e   r e l e a s e   o u r   c o d e   a n d   d a t a b a s e   p u b l i c l y   t o   s u p p o r t   f u t u r e   r e s e a r c h   o n   t h i s   p r o b l e m , 	 [ B e l l ,   S e a n ;   B a l a ,   K a v i t a ;   S n a v e l y ,   N o a h ]   C o r n e l l   U n i v ,   I t h a c a ,   N Y   1 4 8 5 3   U S A 	 B e l l ,   S   ( r e p r i n t   a u t h o r ) ,   C o r n e l l   U n i v ,   I t h a c a ,   N Y   1 4 8 5 3   U S A . 	 s b e l l @ c s . c o r n e l l . e d u ;   k s @ c s . c o r n e l l . e d u ;   s n a v e l y @ c s . c o r n e l l . e d u 	 	 	 N S E R C   P G S - D   s c h o l a r s h i p ;   N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ I I S - 1 1 4 9 3 9 3 ,   I I S - 1 0 1 1 9 1 9 ,   I I S - 1 1 6 1 6 4 5 ] ;   I n t e l   S c i e n c e   a n d   T e c h n o l o g y   C e n t e r   f o r   V i s u a l   C o m p u t i n g 	 W e   w o u l d   l i k e   t o   t h a n k   K e v i n   M a t z e n   f o r   h i s   i n v a l u a b l e   h e l p   i n   p u t t i n g   t o g e t h e r   o u r   s u b m i s s i o n .   T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   a   N S E R C   P G S - D   s c h o l a r s h i p ,   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   ( g r a n t s   I I S - 1 1 4 9 3 9 3 ,   I I S - 1 0 1 1 9 1 9 ,   I I S - 1 1 6 1 6 4 5 ) ,   a n d   b y   t h e   I n t e l   S c i e n c e   a n d   T e c h n o l o g y   C e n t e r   f o r   V i s u a l   C o m p u t i n g .   I n   t h e   s u p p l e m e n t a l   m a t e r i a l ,   w e   a c k n o w l e d g e   t h e   F l i c k r   u s e r s   w h o   r e l e a s e d   t h e i r   i m a g e s   u n d e r   C r e a t i v e   C o m m o n s   l i c e n s e s . 	 A d a m s   A . ,   2 0 1 0 ,   C O M P U T   G R A P H   F O R U M ,   V 2 9 ,   P 2 ;   B a r r o n   J .   T . ,   2 0 1 3 ,   P   C O M P   V I S   P A T T   R E C ;   B a r r o n   J .   T . ,   2 0 1 2 ,   P   E U R   C   C O M P   V I S ;   B a r r o n   J .   T . ,   2 0 1 2 ,   P   C O M P   V I S   P A T T   R E C ;   B a r r o n   J .   T . ,   2 0 1 3 ,   S H A P E   I L L U M I N A T I O N   R ;   B e l l   S . ,   2 0 1 3 ,   A C M   T   G R A P H I C S ,   V 3 2 ,   P 4 ;   B o u s s e a u   A . ,   2 0 0 9 ,   A C M   T   G R A P H I C S ,   V 2 8 ,   P 5 ;   B o y a d z h i e v   I . ,   2 0 1 3 ,   A C M   T   G R A P H I C S ,   V 3 2 ,   P 4 ;   B r a n s o n   S . ,   2 0 1 0 ,   P   E U R   C   C O M P   V I S ;   C a r r o l l   R . ,   2 0 1 1 ,   A C M   T   G R A P H I C S ;   C h e n   Q . ,   2 0 1 3 ,   P   I N T   C   C O M P   V I S ;   C o l e   F ,   2 0 0 9 ,   A C M   T   G R A P H I C ,   V 2 8 ,   D O I   1 0 . 1 1 4 5 / 1 5 3 1 3 2 6 . 1 5 3 1 3 3 4 ;   D a w i d   A .   P . ,   1 9 7 9 ,   J   R O Y   S T A T   S O C ;   F e l z e n s z w a l b   P . ,   2 0 0 8 ,   P   C O M P   V I S   P A T T   R E C ;   G a r c e s   E . ,   2 0 1 2 ,   C O M P U T E R   G R A P H I C S   F O ,   V 3 1 ,   P 4 ;   G e h l e r   P . ,   2 0 1 1 ,   N E U R A L   I N F O R M   P R O C E S ;   G i n g o l d   Y . ,   2 0 1 2 ,   A C M   T   G R A P H I C S ,   V 3 1 ,   P 5 ;   G r o s s e   R . ,   2 0 0 9 ,   P   I N T   C   C O M P   V I S ;   H a b e r   T . ,   2 0 0 9 ,   P   C O M P   V I S   P A T T   R E C ;   H a u a g g e   D . ,   2 0 1 3 ,   P   C O M P   V I S   P A T T   R E C ;   K r a h e n b u h l   P . ,   2 0 1 3 ,   P   I N T   C   M A C H   L E A R N ;   K r a h e n b u h l   P . ,   2 0 1 1 ,   N E U R A L   I N F O R M   P R O C E S ;   L a f f o n t   P . ,   2 0 1 3 ,   I E E E   T   V I S U A L I Z A T I O N ,   V 1 9 ,   P 2 ;   L a f f o n t   P . - Y . ,   2 0 1 2 ,   A C M   T   G R A P H I C ,   V 3 1 ,   P 6 ;   L A N D   E H ,   1 9 7 1 ,   J   O P T   S O C   A M ,   V 6 1 ,   P 1 ,   D O I   1 0 . 1 3 6 4 / J O S A . 6 1 . 0 0 0 0 0 1 ;   L i a o   Z . ,   2 0 1 3 ,   P   C O M P   V I S   P A T T   R E C ;   L i u   X . ,   2 0 1 2 ,   I E E E   T   V I S U A L I Z A T I O N ,   V 1 8 ,   P 1 1 ;   O h   B .   M . ,   2 0 0 1 ,   P   C   C O M P   G R A P H   I N T   T ;   O m e r   I . ,   2 0 0 4 ,   P   C O M P   V I S   P A T T   R E C ;   O s t r o v s k y   Y . ,   2 0 0 5 ,   P E R C E P T I O N ,   V 3 4 ,   P 1 1 ;   R u b i n s t e i n   M . ,   2 0 1 0 ,   A C M   T   G R A P H I C ,   V 2 9 ,   P 6 ;   S h e n   J . ,   2 0 1 1 ,   P   C O M P   V I S   P A T T   R E C ;   S h e n   L . ,   2 0 0 8 ,   P   C O M P   V I S   P A T T   R E C ;   S h e n   L . ,   2 0 1 1 ,   P   C O M P   V I S   P A T T   R E C ;   T a p p e n   M . ,   2 0 0 5 ,   I E E E   T   P A T T E R N   A N A L ;   T a p p e n   M .   F . ,   2 0 0 6 ,   P   C O M P   V I S   P A T T   R E C ;   v a n   W i j k   J .   J . ,   2 0 0 3 ,   P   I E E E   C   I N F   V I S   I N F ;   W e i s s   Y . ,   2 0 0 1 ,   P   I N T   C   C O M P   V I S ;   W e l i n d e r   P . ,   2 0 1 0 ,   N E U R A L   I N F O R M   P R O C E S ;   Z h a o   Q . ,   2 0 1 2 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 4 ,   P 7 	 4 0 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 0 7 3 0 - 0 3 0 1 	 1 5 5 7 - 7 3 6 8 	 	 A C M   T   G R A P H I C 	 A C M   T r a n s .   G r a p h . 	 J U L 	 2 0 1 4 	 3 3 	 4 	 	 	 	 	 	 	 1 5 9 	 1 0 . 1 1 4 5 / 2 6 0 1 0 9 7 . 2 6 0 1 2 0 6 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 A M 6 U G 	 W O S : 0 0 0 3 4 0 0 0 0 1 0 0 1 2 6 	 	 
 J 	 O ' D o n o v a n ,   P ;   L i b e k s ,   J ;   A g a r w a l a ,   A ;   H e r t z m a n n ,   A 	 	 	 	 O ' D o n o v a n ,   P e t e r ;   L i b e k s ,   J a n i s ;   A g a r w a l a ,   A s e e m ;   H e r t z m a n n ,   A a r o n 	 	 	 E x p l o r a t o r y   F o n t   S e l e c t i o n   U s i n g   C r o w d s o u r c e d   A t t r i b u t e s 	 A C M   T R A N S A C T I O N S   O N   G R A P H I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 d e s i g n ;   f o n t ;   t y p o g r a p h y ;   a t t r i b u t e ;   c r o w d s o u r c i n g 	 	 T h i s   p a p e r   p r e s e n t s   i n t e r f a c e s   f o r   e x p l o r i n g   l a r g e   c o l l e c t i o n s   o f   f o n t s   f o r   d e s i g n   t a s k s .   E x i s t i n g   i n t e r f a c e s   t y p i c a l l y   l i s t   f o n t s   i n   a   l o n g ,   a l p h a b e t i c a l l y - s o r t e d   m e n u   t h a t   c a n   b e   c h a l l e n g i n g   a n d   f r u s t r a t i n g   t o   e x p l o r e .   W e   i n s t e a d   p r o p o s e   t h r e e   i n t e r f a c e s   f o r   f o n t   s e l e c t i o n .   F i r s t ,   w e   o r g a n i z e   f o n t s   u s i n g   h i g h - l e v e l   d e s c r i p t i v e   a t t r i b u t e s ,   s u c h   a s   " d r a m a t i c "   o r   " l e g i b l e . "   S e c o n d ,   w e   o r g a n i z e   f o n t s   i n   a   t r e e - b a s e d   h i e r a r c h i c a l   m e n u   b a s e d   o n   p e r c e p t u a l   s i m i l a r i t y .   T h i r d ,   w e   d i s p l a y   f o n t s   t h a t   a r e   m o s t   s i m i l a r   t o   a   u s e r ' s   c u r r e n t l y - s e l e c t e d   f o n t .   T h e s e   t o o l s   a r e   c o m p l e m e n t a r y ;   a   u s e r   m a y   s e a r c h   f o r   " g r a c e f u l "   f o n t s ,   s e l e c t   a   r e a s o n a b l e   o n e ,   a n d   t h e n   r e f i n e   t h e   r e s u l t s   f r o m   a   l i s t   o f   f o n t s   s i m i l a r   t o   t h e   s e l e c t i o n .   T o   e n a b l e   t h e s e   t o o l s ,   w e   u s e   c r o w d s o u r c i n g   t o   g a t h e r   f o n t   a t t r i b u t e   d a t a ,   a n d   t h e n   t r a i n   m o d e l s   t o   p r e d i c t   a t t r i b u t e   v a l u e s   f o r   n e w   f o n t s .   W e   u s e   a t t r i b u t e s   t o   h e l p   l e a r n   a   f o n t   s i m i l a r i t y   m e t r i c   u s i n g   c r o w d s o u r c e d   c o m p a r i s o n s .   W e   e v a l u a t e   t h e   i n t e r f a c e s   a g a i n s t   a   c o n v e n t i o n a l   l i s t   i n t e r f a c e   a n d   f i n d   t h a t   o u r   i n t e r f a c e s   a r e   p r e f e r r e d   t o   t h e   b a s e l i n e .   O u r   i n t e r f a c e s   a l s o   p r o d u c e   b e t t e r   r e s u l t s   i n   t w o   r e a l - w o r l d   t a s k s :   f i n d i n g   t h e   n e a r e s t   m a t c h   t o   a   t a r g e t   f o n t ,   a n d   f o n t   s e l e c t i o n   f o r   g r a p h i c   d e s i g n s . 	 [ O ' D o n o v a n ,   P e t e r ;   L i b e k s ,   J a n i s ]   U n i v   T o r o n t o ,   T o r o n t o ,   O N   M 5 S   1 A 1 ,   C a n a d a ;   [ A g a r w a l a ,   A s e e m ]   A d o b e ,   B a n g a l o r e ,   K a r n a t a k a ,   I n d i a ;   [ H e r t z m a n n ,   A a r o n ]   U n i v   T o r o n t o ,   A d o b e ,   T o r o n t o ,   O N   M 5 S   1 A 1 ,   C a n a d a 	 O ' D o n o v a n ,   P   ( r e p r i n t   a u t h o r ) ,   U n i v   T o r o n t o ,   T o r o n t o ,   O N   M 5 S   1 A 1 ,   C a n a d a . 	 	 	 	 A d o b e ;   N S E R C ;   C I F A R 	 T h a n k s   t o   J o h n   H a n c o c k   f o r   h i s   t e c h n i c a l   a s s i s t a n c e .   T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   A d o b e ,   N S E R C ,   a n d   C I F A R . 	 B r a d l e y   R .   A . ,   1 9 5 2 ,   B I O M E T R I K A ,   V 3 9 ;   C h a u d h u r i   S . ,   2 0 1 3 ,   P   U I S T ;   D o y l e   J .   R . ,   2 0 0 5 ,   O N L I N E   I N F O R M   R E V ,   V 2 9 ,   P 5 ;   F r i e d m a n   J . H . ,   2 0 0 0 ,   A N N   S T A T ,   V 2 9 ;   G a r f i e l d   S . ,   2 0 1 1 ,   J U S T   M Y   T Y P E ;   H u a n g   S . - S . ,   2 0 1 3 ,   A C M   T   G R A P H I C ,   V 3 2 ,   P 4 ;   K o v a s h k a   A . ,   2 0 1 2 ,   P   C V P R ;   K U L I S   B ,   2 0 1 1 ,   F D N   T R E N D S   M A C H I N E   L ;   K u m a r   N . ,   2 0 1 1 ,   I E E E   P A M I ;   L a u r e n t i s   M .   S .   D . ,   1 9 9 3 ,   P A N O S E   2   0   W H I T E   P A P ;   L e w i s   C . ,   1 9 8 9 ,   B R I T   J   P S Y C H O L ,   V 8 0 ;   L l o y d   S . ,   1 9 8 2 ,   I E E E   T   I N F O R M A T I O N   T ,   V 2 8 ,   P 1 2 9 ;   M a c k i e w i c z   J . ,   2 0 0 4 ,   P   I P C C ;   M a r k s   J . ,   1 9 9 7 ,   P   S I G G R A P H ;   P a r i k h   D . ,   2 0 1 1 ,   P   I C C V ;   S c h u l t z   M . ,   2 0 0 4 ,   P   N I P S ;   S h a i k h   A . ,   2 0 0 6 ,   U S A B I L I T Y   N E W S ;   S h a i k h   A u d r e y   D a w n ,   2 0 0 7 ,   T H E S I S   W I C H I T A   S T A T E ;   S o l l i   M ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 5 2 2 ,   P 4 3 2 ;   S r i h a r i   S . ,   1 9 9 9 ,   P   I C D A R ;   T a l t o n   J .   O . ,   2 0 0 9 ,   A C M   T   G R A P H I C ,   V 2 8 ,   P 5 ;   T a m u z   O . ,   2 0 1 1 ,   P   I C M L ;   T a o   L . ,   2 0 0 9 ,   A C M   T   G R A P H I C ,   V 2 8 ,   P 3 ;   T i b s h i r a n i   R . ,   1 9 9 6 ,   R O Y A L   S T A T   S O C   B ,   V 5 8 ;   T s u k i d a   K . ,   2 0 1 1 ,   A N A L   P A I R E D   C O M P A R I S ;   v a n   d e r   M a a t e n   L . ,   2 0 0 8 ,   J   M A C H I N E   L E A R N I N G   R ,   V 9 ;   W e l i n d e r   P . ,   2 0 1 0 ,   P   N I P S ;   W h i t e   R . ,   2 0 0 6 ,   C O M M U N   A C M ,   V 4 9 ,   P 4 ;   Y   L i ,   2 0 1 0 ,   P   D A S 	 2 9 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 0 7 3 0 - 0 3 0 1 	 1 5 5 7 - 7 3 6 8 	 	 A C M   T   G R A P H I C 	 A C M   T r a n s .   G r a p h . 	 J U L 	 2 0 1 4 	 3 3 	 4 	 	 	 	 	 	 	 9 2 	 1 0 . 1 1 4 5 / 2 6 0 1 0 9 7 . 2 6 0 1 1 1 0 	 	 9 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 A M 6 U G 	 W O S : 0 0 0 3 4 0 0 0 0 1 0 0 0 5 9 	 	 
 J 	 X i a n g ,   X H ;   H u a n g ,   X Y ;   Z h a n g ,   X L ;   C a i ,   C F ;   Y a n g ,   J Y ;   L i ,   L 	 	 	 	 X i a n g ,   X i a n - H o n g ;   H u a n g ,   X i a o - Y u ;   Z h a n g ,   X i a o - L i n g ;   C a i ,   C h u n - F a n g ;   Y a n g ,   J i a n - Y o n g ;   L i ,   L e i 	 	 	 M a n y   C a n   W o r k   B e t t e r   t h a n   t h e   B e s t :   D i a g n o s i n g   w i t h   M e d i c a l   I m a g e s   v i a   C r o w d s o u r c i n g 	 E N T R O P Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 m e d i c a l   i m a g e s   b a s e d   d i a g n o s i s ;   c r o w d s o u r c i n g ;   e n t r o p y ;   K u l l b a c k - L e i b l e r   d i v e r g e n c e 	 	 W e   s t u d y   a   c r o w d s o u r c i n g - b a s e d   d i a g n o s i s   a l g o r i t h m ,   w h i c h   i s   a g a i n s t   t h e   f a c t   t h a t   c u r r e n t l y   w e   d o   n o t   l a c k   m e d i c a l   s t a f f ,   b u t   h i g h   l e v e l   e x p e r t s .   O u r   a p p r o a c h   i s   t o   m a k e   u s e   o f   t h e   g e n e r a l   p r a c t i t i o n e r s '   e f f o r t s :   F o r   e v e r y   p a t i e n t   w h o s e   i l l n e s s   c a n n o t   b e   j u d g e d   d e f i n i t e l y ,   w e   a r r a n g e   f o r   t h e m   t o   b e   d i a g n o s e d   m u l t i p l e   t i m e s   b y   d i f f e r e n t   d o c t o r s ,   a n d   w e   c o l l e c t   t h e   a l l   d i a g n o s i s   r e s u l t s   t o   d e r i v e   t h e   f i n a l   j u d g e m e n t .   O u r   i n f e r e n c e   m o d e l   i s   b a s e d   o n   t h e   s t a t i s t i c a l   c o n s i s t e n c y   o f   t h e   d i a g n o s i s   d a t a .   T o   e v a l u a t e   t h e   p r o p o s e d   m o d e l ,   w e   c o n d u c t   e x p e r i m e n t s   o n   b o t h   t h e   s y n t h e t i c   a n d   r e a l   d a t a ;   t h e   r e s u l t s   s h o w   t h a t   i t   o u t p e r f o r m s   t h e   b e n c h m a r k s . 	 [ X i a n g ,   X i a n - H o n g ;   Z h a n g ,   X i a o - L i n g ;   Y a n g ,   J i a n - Y o n g ]   S u n   Y a t   S e n   U n i v ,   D e p t   I n t e r v e n t   R a d i o l ,   A f f i l i a t e d   H o s p   1 ,   G u a n g z h o u   5 1 0 0 8 0 ,   G u a n g d o n g ,   P e o p l e s   R   C h i n a ;   [ H u a n g ,   X i a o - Y u ]   S   C h i n a   U n i v   T e c h n o l ,   S c h   E c o n   &   C o m m e r c e ,   G u a n g z h o u   5 1 0 0 0 6 ,   G u a n g d o n g ,   P e o p l e s   R   C h i n a ;   [ H u a n g ,   X i a o - Y u ;   L i ,   L e i ]   S u n   Y a t   S e n   U n i v ,   S o f t w a r e   I n s t ,   G u a n g z h o u   5 1 0 2 7 5 ,   G u a n g d o n g ,   P e o p l e s   R   C h i n a ;   [ C a i ,   C h u n - F a n g ]   G u a n g z h o u   W o m e n   &   C h i l d r e n   M e d   C t r ,   D e p t   O b s t e t   &   G y n a e c o l ,   G u a n g z h o u   5 1 0 6 2 3 ,   G u a n g d o n g ,   P e o p l e s   R   C h i n a 	 Y a n g ,   J Y   ( r e p r i n t   a u t h o r ) ,   S u n   Y a t   S e n   U n i v ,   D e p t   I n t e r v e n t   R a d i o l ,   A f f i l i a t e d   H o s p   1 ,   G u a n g z h o u   5 1 0 0 8 0 ,   G u a n g d o n g ,   P e o p l e s   R   C h i n a . 	 m e d . i n t e r v e n t i o n a l @ 1 6 3 . c o m ;   e c h x y @ s c u t . e d u . c n ;   z h a n g x i a o l i n g _ 7 7 @ 1 6 3 . c o m ;   d m d a t a @ 1 2 6 . c o m ;   c j r . y a n g j i a n y o n g @ v i p . 1 6 3 . c o m ;   l n c s r i 0 7 @ m a i l . s y s u . e d u . c n 	 	 	 R e s e a r c h   F u n d   f o r   t h e   D o c t o r a l   P r o g r a m   o f   H i g h e r   E d u c a t i o n   o f   C h i n a   [ 2 0 1 2 0 1 7 1 1 2 0 0 8 6 ] ;   E d u c a t i o n a l   C o m m i s s i o n   o f   G u a n g d o n g   P r o v i n c e   [ 2 0 1 3 1 1 3 ] ;   S c i e n c e   a n d   T e c h n o l o g y   P l a n n i n g   P r o j e c t   o f   G u a n g d o n g   P r o v i n c e   [ 2 0 1 2 B 0 6 1 7 0 0 0 7 8 ] 	 T h i s   w o r k   i s   s u p p o r t e d   i n   p a r t   b y   R e s e a r c h   F u n d   f o r   t h e   D o c t o r a l   P r o g r a m   o f   H i g h e r   E d u c a t i o n   o f   C h i n a   ( 2 0 1 2 0 1 7 1 1 2 0 0 8 6 ) ,   E d u c a t i o n a l   C o m m i s s i o n   o f   G u a n g d o n g   P r o v i n c e   ( 2 0 1 3 1 1 3 )   a n d   S c i e n c e   a n d   T e c h n o l o g y   P l a n n i n g   P r o j e c t   o f   G u a n g d o n g   P r o v i n c e   ( 2 0 1 2 B 0 6 1 7 0 0 0 7 8 ) .   T h e   a u t h o r s   w o u l d   l i k e   t o   t h a n k   W u b i n   L i   f o r   p o l i s h i n g   t h e   p r e s e n t a t i o n . 	 B e h r e n s   S ,   2 0 0 7 ,   C O M P U T   M E D   I M A G   G R A P ,   V 3 1 ,   P 2 3 6 ,   D O I   1 0 . 1 0 1 6 / j . c o m p m e d i m a g . 2 0 0 7 . 0 2 . 0 0 7 ;   B e n n e t t   J . ,   2 0 0 7 ,   P   K D D   C U P   W O R K S H ,   V 2 0 0 7 ,   P 3 5 ;   C h e n   S . ,   2 0 1 0 ,   P   2 4   A A A I   C   A R T   I N T ,   P 4 1 9 ;   C o v e r   T M ,   2 0 1 2 ,   E L E M E N T S   I N F O R M   T H E O ;   D e   A . ,   2 0 1 3 ,   P   4 5   A N N   A C M   S   S   T H E ,   P 4 7 7 ;   D e k e l   O . ,   2 0 0 9 ,   P   2 6   A N N   I N T   C   M A C H ,   P 2 3 3 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   P O W E R ;   K a n e f s k y   B . ,   2 0 0 1 ,   P   3 2   A N N   L U N   P L A N   S C ,   P 1 2 7 2 ;   K i n g   A J ,   2 0 1 3 ,   C A N C E R   E P I D E M I O L ,   V 3 7 ,   P 9 7 9 ,   D O I   1 0 . 1 0 1 6 / j . c a n e p . 2 0 1 3 . 0 9 . 0 0 4 ;   L i n t o t t   C J ,   2 0 0 8 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 8 9 ,   P 1 1 7 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 8 . 1 3 6 8 9 . x ;   M u h a m m a d i   J . ,   2 0 1 3 ,   A R X I V 1 3 0 1 2 7 7 4 ;   P a r s h o t a m   K . ,   2 0 1 3 ,   P   S   A F R   I   C O M P   S C I   I ,   P 1 2 1 ;   R o o b o t t o m   C A ,   2 0 1 0 ,   C L I N   R A D I O L ,   V 6 5 ,   P 8 5 9 ,   D O I   1 0 . 1 0 1 6 / j . c r a d . 2 0 1 0 . 0 4 . 0 2 1 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   W A R A C H   S ,   1 9 9 5 ,   A N N   N E U R O L ,   V 3 7 ,   P 2 3 1 ,   D O I   1 0 . 1 0 0 2 / a n a . 4 1 0 3 7 0 2 1 4 ;   W e l i n d e r   P . ,   2 0 1 0 ,   P   I E E E   C   C O M P   V I S   P A ,   P 2 5 	 1 9 	 0 	 0 	 M D P I   A G 	 B A S E L 	 P O S T F A C H ,   C H - 4 0 0 5   B A S E L ,   S W I T Z E R L A N D 	 1 0 9 9 - 4 3 0 0 	 	 	 E N T R O P Y - S W I T Z 	 E n t r o p y 	 J U L 	 2 0 1 4 	 1 6 	 7 	 	 	 	 	 3 8 6 6 	 3 8 7 7 	 	 1 0 . 3 3 9 0 / e 1 6 0 7 3 8 6 6 	 	 1 2 	 P h y s i c s ,   M u l t i d i s c i p l i n a r y 	 P h y s i c s 	 A M 6 Q X 	 W O S : 0 0 0 3 3 9 9 9 0 8 0 0 0 1 8 	 	 
 J 	 Z h a n g ,   X L ;   Y a n g ,   Z ;   W u ,   C S ;   S u n ,   W ;   L i u ,   Y H ;   X i n g ,   K 	 	 	 	 Z h a n g ,   X i n g l i n ;   Y a n g ,   Z h e n g ;   W u ,   C h e n s h u ;   S u n ,   W e i ;   L i u ,   Y u n h a o ;   X i n g ,   K a i 	 	 	 R o b u s t   T r a j e c t o r y   E s t i m a t i o n   f o r   C r o w d s o u r c i n g - B a s e d   M o b i l e   A p p l i c a t i o n s 	 I E E E   T R A N S A C T I O N S   O N   P A R A L L E L   A N D   D I S T R I B U T E D   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   r o b u s t   e s t i m a t i o n ;   m o b i l e   a p p l i c a t i o n s ;   m o t i o n   t r a j e c t o r y 	 O U T L I E R   D E T E C T I O N ;   L O C A T I O N 	 C r o w d s o u r c i n g - b a s e d   m o b i l e   a p p l i c a t i o n s   a r e   b e c o m i n g   m o r e   a n d   m o r e   p r e v a l e n t   i n   r e c e n t   y e a r s ,   a s   s m a r t p h o n e s   e q u i p p e d   w i t h   v a r i o u s   b u i l t - i n   s e n s o r s   a r e   p r o l i f e r a t i n g   r a p i d l y .   T h e   l a r g e   q u a n t i t y   o f   c r o w d s o u r c e d   s e n s i n g   d a t a   s t i m u l a t e s   r e s e a r c h e r s   t o   a c c o m p l i s h   s o m e   t a s k s   t h a t   u s e d   t o   b e   c o s t l y   o r   i m p o s s i b l e ,   y e t   t h e   q u a l i t y   o f   t h e   c r o w d s o u r c e d   d a t a ,   w h i c h   i s   o f   g r e a t   i m p o r t a n c e ,   h a s   n o t   r e c e i v e d   s u f f i c i e n t   a t t e n t i o n .   I n   r e a l i t y ,   t h e   l o w - q u a l i t y   c r o w d s o u r c e d   d a t a   a r e   p r o n e   t o   c o n t a i n i n g   o u t l i e r s   t h a t   m a y   s e v e r e l y   i m p a i r   t h e   c r o w d s o u r c i n g   a p p l i c a t i o n s .   T h u s   i n   t h i s   w o r k ,   w e   c o n d u c t   p i o n e e r   i n v e s t i g a t i o n   c o n s i d e r i n g   c r o w d s o u r c e d   d a t a   q u a l i t y .   S p e c i f i c a l l y ,   w e   f o c u s   o n   e s t i m a t i n g   u s e r   m o t i o n   t r a j e c t o r y   i n f o r m a t i o n ,   w h i c h   p l a y s   a n   e s s e n t i a l   r o l e   i n   m u l t i p l e   c r o w d s o u r c i n g   a p p l i c a t i o n s ,   s u c h   a s   i n d o o r   l o c a l i z a t i o n ,   c o n t e x t   r e c o g n i t i o n ,   i n d o o r   n a v i g a t i o n ,   e t c .   W e   r e s o r t   t o   t h e   f a m i l y   o f   r o b u s t   s t a t i s t i c s   a n d   d e s i g n   a   r o b u s t   t r a j e c t o r y   e s t i m a t i o n   s c h e m e ,   n a m e   T r M C D ,   w h i c h   i s   c a p a b l e   o f   a l l e v i a t i n g   t h e   n e g a t i v e   i n f l u e n c e   o f   a b n o r m a l   c r o w d s o u r c e d   u s e r   t r a j e c t o r i e s ,   d i f f e r e n t i a t i n g   n o r m a l   u s e r s   f r o m   a b n o r m a l   u s e r s ,   a n d   o v e r c o m i n g   t h e   c h a l l e n g e   b r o u g h t   b y   s p a t i a l   u n b a l a n c e   o f   c r o w d s o u r c e d   t r a j e c t o r i e s .   T w o   r e a l   f i e l d   e x p e r i m e n t s   a r e   c o n d u c t e d   a n d   t h e   r e s u l t s   s h o w   t h a t   T r M C D   i s   r o b u s t   a n d   e f f e c t i v e   i n   e s t i m a t i n g   u s e r   m o t i o n   t r a j e c t o r i e s   a n d   m a p p i n g   f i n g e r p r i n t s   t o   p h y s i c a l   l o c a t i o n s . 	 [ Z h a n g ,   X i n g l i n ;   Y a n g ,   Z h e n g ;   W u ,   C h e n s h u ;   S u n ,   W e i ;   L i u ,   Y u n h a o ]   T s i n g h u a   U n i v ,   S c h   S o f t w a r e ,   B e i j i n g   1 0 0 0 8 4 ,   P e o p l e s   R   C h i n a ;   [ Y a n g ,   Z h e n g ;   W u ,   C h e n s h u ;   L i u ,   Y u n h a o ]   T s i n g h u a   U n i v ,   T s i n g h u a   N a t l   L a b   I n f o r m a t   S c i   &   T e c h n o l   T N L I S T ,   B e i j i n g   1 0 0 0 8 4 ,   P e o p l e s   R   C h i n a ;   [ X i n g ,   K a i ]   U n i v   S c i   &   T e c h n o l   C h i n a ,   S c h   C o m p   S c i   &   T e c h n o l ,   H e f e i ,   P e o p l e s   R   C h i n a ;   [ X i n g ,   K a i ]   U n i v   S c i   &   T e c h n o l   C h i n a ,   S u z h o u   I n s t   A d v   S t u d y ,   H e f e i ,   P e o p l e s   R   C h i n a 	 Z h a n g ,   X L   ( r e p r i n t   a u t h o r ) ,   H o n g   H o n g   U n i v   S c i   &   T e c h n o l ,   C S E ,   K o w l o o n ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a . 	 z h x l i n s e @ g m a i l . c o m ;   h m i l y y z @ g m a i l . c o m ;   w u c s 3 2 @ g m a i l . c o m ;   s u n w 1 9 8 9 @ g m a i l . c o m ;   y u n h a o l i u @ g m a i l . c o m ;   k x i n g @ u s t c . e d u . c n 	 	 	 N S F C   [ 6 1 1 9 0 1 1 0 ,   6 1 1 7 1 0 6 7 ,   6 1 1 3 3 0 1 6 ,   6 1 3 3 2 0 0 4 ,   6 1 1 2 5 2 0 2 ] ;   N a t i o n a l   B a s i c   R e s e a r c h   P r o g r a m   o f   C h i n a   ( 9 7 3 )   [ 2 0 1 2 C B 3 1 6 2 0 0 ] 	 T h i s   w o r k   i s   s u p p o r t e d i n   p a r t   b y   t h e   N S F C   M a j o r   P r o g r a m   6 1 1 9 0 1 1 0 ,   N S F C   u n d e r   G r a n t   6 1 1 7 1 0 6 7 ,   6 1 1 3 3 0 1 6 ,   a n d   6 1 3 3 2 0 0 4 ,   N a t i o n a l   B a s i c   R e s e a r c h   P r o g r a m   o f   C h i n a   ( 9 7 3 )   u n d e r   G r a n t   N o .   2 0 1 2 C B 3 1 6 2 0 0 ,   a n d   t h e   N S F C   D i s t i n g u i s h e d   Y o u n g   S c h o l a r s   P r o g r a m   u n d e r   G r a n t   6 1 1 2 5 2 0 2 . 	 A l z a n t o t   M . ,   2 0 1 2 ,   P   A C M   S I G S P A T I A L   G I S ,   P 9 9 ;   A z i z y a n   M ,   2 0 0 9 ,   F I F T E E N T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G   ( M O B I C O M   2 0 0 9 ) ,   P 2 6 1 ;   B a h l   P . ,   2 0 0 0 ,   P r o c e e d i n g s   I E E E   I N F O C O M   2 0 0 0 .   C o n f e r e n c e   o n   C o m p u t e r   C o m m u n i c a t i o n s .   N i n e t e e n t h   A n n u a l   J o i n t   C o n f e r e n c e   o f   t h e   I E E E   C o m p u t e r   a n d   C o m m u n i c a t i o n s   S o c i e t i e s   ( C a t .   N o . 0 0 C H 3 7 0 6 4 ) ,   D O I   1 0 . 1 1 0 9 / I N F C O M . 2 0 0 0 . 8 3 2 2 5 2 ;   C o n s t a n t a c h e   I . ,   2 0 1 0 ,   P   1 6   A N N   I N T   C   M O B   C ,   P 1 4 9 ,   D O I   1 0 . 1 1 4 5 / 1 8 5 9 9 9 5 . 1 8 6 0 0 1 3 ;   D E V L I N   S J ,   1 9 7 5 ,   B I O M E T R I K A ,   V 6 2 ,   P 5 3 1 ,   D O I   1 0 . 1 0 9 3 / b i o m e t / 6 2 . 3 . 5 3 1 ;   G N A N A D E S . R ,   1 9 7 2 ,   B I O M E T R I C S ,   V 2 8 ,   P 8 1 ,   D O I   1 0 . 2 3 0 7 / 2 5 2 8 9 6 3 ;   G u d b j a r t s s o n   D F ,   2 0 0 8 ,   N A T   G E N E T ,   V 4 0 ,   P 6 0 9 ,   D O I   1 0 . 1 0 3 8 / n g . 1 2 2 ;   H a m p e l   F . ,   2 0 1 1 ,   R O B U S T   S T A T   A P P R O A C H ;   J i m e n e z   A R ,   2 0 0 9 ,   I   S   I N T E L L   S I G   P R ,   P 3 7 ;   K u n g   H T ,   2 0 0 9 ,   F I F T E E N T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G   ( M O B I C O M   2 0 0 9 ) ,   P 3 3 3 ;   L i   Z . ,   2 0 0 5 ,   P   4   I N T   S   I N F   P R O C   S ,   P 9 1 ;   L i n k   J . A . B . ,   2 0 1 1 ,   P   I E E E   G L O B   T E L   C   G L ,   P 1 ;   L i u   J . ,   2 0 0 6 ,   P   7   A C M   I N T   S   M O B   A D ,   P 2 5 0 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 3 2 9 0 5 . 1 1 3 2 9 3 3 ] ;   M A R O N N A   R A ,   1 9 7 6 ,   A N N   S T A T ,   V 4 ,   P 5 1 ,   D O I   1 0 . 1 2 1 4 / a o s / 1 1 7 6 3 4 3 3 4 7 ;   M o o r e   D . ,   2 0 0 4 ,   P   2   I N T   C   E M B   N E T W   S ,   P 5 0 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 0 3 1 4 9 5 . 1 0 3 1 5 0 2 ;   N i   L M ,   2 0 0 4 ,   W I R E L   N E T W ,   V 1 0 ,   P 7 0 1 ,   D O I   1 0 . 1 0 2 3 / B : W I N E . 0 0 0 0 0 4 4 0 2 9 . 0 6 3 4 4 . d d ;   R a i   A ,   2 0 1 2 ,   M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G ,   P 2 9 3 ;   R o u s s e e u w   P . ,   1 9 8 5 ,   M A T H   S T A T   A P P L ,   V 8 ,   P 2 8 3 ;   R o u s s e e u w   P J ,   1 9 9 9 ,   T E C H N O M E T R I C S ,   V 4 1 ,   P 2 1 2 ,   D O I   1 0 . 2 3 0 7 / 1 2 7 0 5 6 6 ;   S h e n   G ,   2 0 1 3 ,   P   1 0   U S E N I X   C   N E T W   S ,   P 8 5 ;   T o n g   Y . ,   2 0 1 2 ,   P   V L B D   E N D ;   T o n g   Y . ,   2 0 1 2 ,   P   I E E E   I C D E ;   V e r b o v e n   S ,   2 0 0 5 ,   C H E M O M E T R   I N T E L L   L A B ,   V 7 5 ,   P 1 2 7 ,   D O I   1 0 . 1 0 1 6 / j . c h e m o l a b . 2 0 0 4 . 0 6 . 0 0 3 ;   W a n g   H . ,   2 0 1 2 ,   P   1 0   I N T   C   M O B   S Y S T ,   P 1 9 7 ;   Y a n g   Z ,   2 0 1 0 ,   I E E E   T   P A R A L L   D I S T R ,   V 2 1 ,   P 6 3 1 ,   D O I   1 0 . 1 1 0 9 / T P D S . 2 0 0 9 . 9 0 ;   Y a n g   Z . ,   2 0 1 3 ,   A C M   T   S E N S O R   N E T W O R K ,   V 9 ;   Y a n g   Z ,   2 0 1 2 ,   M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G ,   P 2 6 9 ;   Y o u s s e f   M ,   2 0 0 8 ,   W I R E L   N E T W ,   V 1 4 ,   P 3 5 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 7 6 - 0 0 6 - 0 7 2 5 - 7 	 2 8 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 4 5 - 9 2 1 9 	 1 5 5 8 - 2 1 8 3 	 	 I E E E   T   P A R A L L   D I S T R 	 I E E E   T r a n s .   P a r a l l e l   D i s t r i b .   S y s t . 	 J U L 	 2 0 1 4 	 2 5 	 7 	 	 	 	 	 1 8 7 6 	 1 8 8 5 	 	 1 0 . 1 1 0 9 / T P D S . 2 0 1 3 . 2 5 0 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 A N 0 N X 	 W O S : 0 0 0 3 4 0 2 8 2 4 0 0 0 2 1 	 	 
 J 	 J i a n g ,   Z P ;   X i ,   W ;   L i ,   X Y ;   T a n g ,   S J ;   Z h a o ,   J Z ;   H a n ,   J S ;   Z h a o ,   K ;   W a n g ,   Z ;   X i a o ,   B 	 	 	 	 J i a n g ,   Z h i - P i n g ;   X i ,   W e i ;   L i ,   X i a n g y a n g ;   T a n g ,   S h a o j i e ;   Z h a o ,   J i - Z h o n g ;   H a n ,   J i n - S o n g ;   Z h a o ,   K u n ;   W a n g ,   Z h i ;   X i a o ,   B o 	 	 	 C o m m u n i c a t i n g   I s   C r o w d s o u r c i n g :   W i - F i   I n d o o r   L o c a l i z a t i o n   w i t h   C S I - B a s e d   S p e e d   E s t i m a t i o n 	 J O U R N A L   O F   C O M P U T E R   S C I E N C E   A N D   T E C H N O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c h a n n e l   s t a t e   i n f o r m a t i o n ;   s p e e d   e s t i m a t i o n ;   f i n g e r p r i n t   m a p ;   g r a p h   m a t c h i n g ;   i n d o o r   l o c a l i z a t i o n 	 W I R E L E S S ;   N E T W O R K S 	 N u m e r o u s   i n d o o r   l o c a l i z a t i o n   t e c h n i q u e s   h a v e   b e e n   p r o p o s e d   r e c e n t l y   t o   m e e t   t h e   i n t e n s i v e   d e m a n d   f o r   l o c a t i o n - b a s e d   s e r v i c e   ( L B S ) .   A m o n g   t h e m ,   t h e   m o s t   p o p u l a r   s o l u t i o n s   a r e   t h e   W i - F i   f i n g e r p r i n t - b a s e d   a p p r o a c h e s .   T h e   c o r e   c h a l l e n g e   i s   t o   l o w e r   t h e   c o s t   o f   f i n g e r p r i n t   s i t e - s u r v e y .   O n e   o f   t h e   t r e n d s   i s   t o   c o l l e c t   t h e   p i e c e w i s e   d a t a   f r o m   c l i e n t s   a n d   e s t a b l i s h   t h e   r a d i o   m a p   i n   c r o w d s o u r c i n g   m a n n e r .   H o w e v e r   t h e   l o w   p a r t i c i p a t i o n   r a t e   b l o c k s   t h e   p r a c t i c a l   u s e .   I n   t h i s   w o r k ,   w e   p r o p o s e   a   p a s s i v e   c r o w d s o u r c i n g   c h a n n e l   s t a t e   i n f o r m a t i o n   ( C S I )   b a s e d   i n d o o r   l o c a l i z a t i o n   s c h e m e ,   ( C I L ) - I - 2 .   D e s p i t e   a   c r o w d s o u r c i n g   b a s e d   a p p r o a c h ,   o u r   s c h e m e   i s   t o t a l l y   t r a n s p a r e n t   t o   t h e   c l i e n t   a n d   t h e   o n l y   r e q u i r e m e n t   i s   t o   c o n n e c t   t o   o u r   8 0 2 . 1 1 n   a c c e s s   p o i n t s   ( A P s ) .   ( C I L ) - I - 2   i s   b u i l t   u p o n   a n   i n n o v a t i v e   m e t h o d   t o   a c c u r a t e l y   e s t i m a t e   t h e   m o v i n g   s p e e d   s o l e l y   b a s e d   o n   8 0 2 . 1 1 n   C S I .   K n o w i n g   t h e   w a l k i n g   s p e e d   o f   a   c l i e n t   a n d   i t s   s u r r o u n d i n g   A P s ,   a   g r a p h   m a t c h i n g   a l g o r i t h m   i s   e m p l o y e d   t o   e x t r a c t   t h e   r e c e i v e d   s i g n a l   s t r e n g t h   ( R S S )   f i n g e r p r i n t s   a n d   e s t a b l i s h   t h e   f i n g e r p r i n t   m a p .   F o r   l o c a l i z a t i o n   p h a s e ,   w e   d e s i g n   a   t r a j e c t o r y   c l u s t e r i n g   b a s e d   l o c a l i z a t i o n   a l g o r i t h m   t o   p r o v i d e   p r e c i s e   r e a l - t i m e   i n d o o r   l o c a l i z a t i o n   a n d   t r a c k i n g .   W e   d e v e l o p   a n d   d e p l o y   a   p r a c t i c a l   w o r k i n g   s y s t e m   o f   ( C I L ) - I - 2   i n   a   l a r g e   o f f i c e   e n v i r o n m e n t .   E x t e n s i v e   e v a l u a t i o n s   i n d i c a t e   t h a t   t h e   e r r o r   o f   s p e e d   e s t i m a t i o n   i s   w i t h i n   3 % ,   a n d   t h e   l o c a l i z a t i o n   e r r o r   i s   w i t h i n   2 m   a t   8 0 %   t i m e   i n   a   v e r y   c o m p l e x   i n d o o r   e n v i r o n m e n t . 	 [ J i a n g ,   Z h i - P i n g ;   X i ,   W e i ;   L i ,   X i a n g y a n g ;   Z h a o ,   J i - Z h o n g ;   H a n ,   J i n - S o n g ;   Z h a o ,   K u n ;   W a n g ,   Z h i ]   X i   A n   J i a o   T o n g   U n i v ,   S c h   E l e c t   &   I n f o r m a t   E n g n ,   X i a n   7 1 0 0 0 0 ,   P e o p l e s   R   C h i n a ;   [ L i ,   X i a n g y a n g ]   I I T ,   D e p t   C o m p   S c i ,   C h i c a g o ,   I L   6 0 6 1 6   U S A ;   [ T a n g ,   S h a o j i e ]   U n i v   T e x a s   D a l l a s ,   D e p t   I n f o r m a t   S c i ,   R i c h a r d s o n ,   T X   7 5 0 8 3   U S A ;   [ X i a o ,   B o ]   A v i a t   U n i v   A i r   F o n e ,   N e t w o r k   C t r ,   J i n z h o u   1 2 1 0 0 0 ,   P e o p l e s   R   C h i n a 	 X i ,   W   ( r e p r i n t   a u t h o r ) ,   X i   A n   J i a o   T o n g   U n i v ,   S c h   E l e c t   &   I n f o r m a t   E n g n ,   X i a n   7 1 0 0 0 0 ,   P e o p l e s   R   C h i n a . 	 j i a n g z p . c s @ g m a i l . c o m ;   w e i x i . c s @ g m a i l . c o m ;   x l i @ c s . i i t . e d u ;   t a n g s h a o j i e @ g m a i l . c o m ;   z j z @ m a i l . x j t u . e d u . c n ;   h a n j i n s o n g @ m a i l . x j t u . e d u . c n ;   z h a o k u n 2 0 1 2 @ m a i l . x j t u . e d u . c n ;   z h i w a n g @ m a i l . x j t u . e d u . c n ;   x x b b @ 1 6 3 . c o m 	 	 	 N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 6 1 3 2 5 0 1 3 ,   6 1 1 9 0 1 1 2 ,   6 1 1 7 0 2 1 6 ,   6 1 2 2 8 2 0 2 ] ;   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   U S A   [ C N S - 0 8 3 2 1 2 0 ,   C N S - 1 0 3 5 8 9 4 ,   E C C S - 1 2 4 7 9 4 4 ,   E C C S - 1 3 4 3 3 0 6 ] ;   F u n d a m e n t a l   R e s e a r c h   F u n d s   f o r   t h e   C e n t r a l   U n i v e r s i t i e s   o f   C h i n a   [ 2 0 1 2 j d g z 0 2 ] ;   R e s e a r c h   F u n d   f o r   t h e   D o c t o r a l   P r o g r a m   o f   H i g h e r   E d u c a t i o n   o f   C h i n a   [ 2 0 1 3 0 2 0 1 1 2 0 0 1 6 ] 	 T h e   w o r k   i s   s u p p o r t e d   b y   t h e   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   u n d e r   G r a n t   N o s .   6 1 3 2 5 0 1 3 ,   6 1 1 9 0 1 1 2 ,   6 1 1 7 0 2 1 6 ,   a n d   6 1 2 2 8 2 0 2 ,   t h e   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   U S A   u n d e r   G r a n t   N o s .   C N S - 0 8 3 2 1 2 0 ,   C N S - 1 0 3 5 8 9 4 ,   E C C S - 1 2 4 7 9 4 4 ,   a n d   E C C S - 1 3 4 3 3 0 6 ,   t h e   F u n d a m e n t a l   R e s e a r c h   F u n d s   f o r   t h e   C e n t r a l   U n i v e r s i t i e s   o f   C h i n a   u n d e r   P r o j e c t   N o .   2 0 1 2 j d g z 0 2   ( X i ' a n   J i a o t o n g   U n i v e r s i t y ) ,   a n d   t h e   R e s e a r c h   F u n d   f o r   t h e   D o c t o r a l   P r o g r a m   o f   H i g h e r   E d u c a t i o n   o f   C h i n a   u n d e r   P r o j e c t   N o .   2 0 1 3 0 2 0 1 1 2 0 0 1 6 . 	 A d i b   F ,   2 0 1 3 ,   A C M   S I G C O M M   C O M P   C O M ,   V 4 3 ,   P 7 5 ,   D O I   1 0 . 1 1 4 5 / 2 5 3 4 1 6 9 . 2 4 8 6 0 3 9 ;   A d i b   F ,   2 0 1 4 ,   P   1 1   U S E N I X   C   N E T W   S ,   P 3 1 7 ;   A z e m i   G ,   2 0 0 4 ,   I E E E   T   V E H   T E C H N O L ,   V 5 3 ,   P 7 1 6 ,   D O I   1 0 . 1 1 0 9 / T V T . 2 0 0 4 . 8 2 7 1 5 7 ;   A z i z y a n   M ,   2 0 0 9 ,   F I F T E E N T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G   ( M O B I C O M   2 0 0 9 ) ,   P 2 6 1 ;   B a h l s   P ,   2 0 0 0 ,   P   I E E E   I N F O C O M   2 0 0 0 ,   V 2 ,   P 7 7 5 ,   D O I   D O I   1 0 . 1 1 0 9 / I N F C O M . 2 0 0 0 . 8 3 2 2 5 2 ;   B o   C ,   2 0 1 2 ,   2 0 1 2   P R O C E E D I N G S   I E E E   I N F O C O M ,   P 1 0 2 6 ;   C h o   M ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 3 1 5 ,   P 4 9 2 ;   C o n s t a n d a c h e   I ,   2 0 1 0 ,   P   I E E E   I N F ,   P 2 3 2 1 ;   D o u k a s   A ,   2 0 0 6 ,   P   I C W M C   J U L ;   G r o e n e n   P J F ,   2 0 0 1 ,   F U Z Z Y   S E T   S Y S T ,   V 1 2 0 ,   P 2 2 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 5 - 0 1 1 4 ( 9 8 ) 0 0 4 0 3 - 5 ;   G u h a   S ,   2 0 1 2 ,   A C M   T   S E N S O R   N E T W O R K ,   V 8 ,   D O I   1 0 . 1 1 4 5 / 2 2 4 0 1 1 6 . 2 2 4 0 1 2 0 ;   H a l p e r i n   D ,   2 0 1 1 ,   A C M   S I G C O M M   C O M P   C O M ,   V 4 1 ,   P 5 3 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 5 8 6 1 . 1 9 2 5 8 7 0 ;   H a n   J ,   2 0 1 4 ,   P   3 3   A N N   I E E E   I N T   C ;   H i l l   D .   A . ,   2 0 0 9 ,   E L E C T R O M A G N E T I C   F I E L ;   H u a n g   W ,   2 0 1 4 ,   P   3 3   A N N   I E E E   I N T   C ;   J I A N G   Z P ,   2 0 1 3 ,   P   1 0   I E E E   I N T   C   M O B ,   P 3 8 4 ;   J i a n g   Z P ,   2 0 1 3 ,   I E E E   I N F O C O M   S E R ,   P 2 5 4 4 ;   L e o r d e a n u   M ,   2 0 0 5 ,   I E E E   I   C O N F   C O M P   V I S ,   P 1 4 8 2 ;   L I U   H B ,   2 0 1 2 ,   M O B   1 2   P   1 8   A N N   I N T ,   P 3 0 5 ;   L i u   J . ,   2 0 1 2 ,   P   1 0   A C M   C   E M B   N E T W ,   P 8 5 ;   M o h a n t y   S ,   2 0 0 5 ,   I E E E   T   W I R E L   C O M M U N ,   V 4 ,   P 2 6 5 5 ,   D O I   1 0 . 1 1 0 9 / T W C . 2 0 0 5 . 8 5 8 3 0 0 ;   N a n d a k u m a r   R ,   2 0 1 2 ,   M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G ,   P 2 8 1 ;   P r i c o p e   B ,   2 0 1 1 ,   P   5 4   I E E E   G L O B   C O M M ;   R a i   A ,   2 0 1 2 ,   M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G ,   P 2 9 3 ;   R a p p a p o r t   T   S ,   1 9 9 6 ,   W I R E L E S S   C O M M U N I C A T I ;   S e n   S ,   2 0 1 2 ,   P   1 2   W O R K S H   M O B   C O M P ;   S e n   S . ,   2 0 1 2 ,   P   1 0   I N T   C   M O B   S Y S T ,   P 1 8 3 ;   S h e r i f f   I ,   2 0 0 6 ,   P   3   I N T   C   B R O A D B   C O M ;   S k l a r   B ,   1 9 9 7 ,   C O M M U N I C A T I O N S   M   J U L ,   V 3 5 ,   P 9 0 ;   v o n   L u x b u r g   U ,   2 0 0 7 ,   S T A T   C O M P U T ,   V 1 7 ,   P 3 9 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 2 2 - 0 0 7 - 9 0 3 3 - z ;   W A N G   J ,   2 0 1 3 ,   P   A C M   S I G C O M M   2 0 1 3   C ,   V 4 3 ,   P 5 1 ;   W e i c h s e l   P .   M . ,   1 9 6 2 ,   P   A M   M A T H   S O C ,   V 1 3 ,   P 4 7 ,   D O I   D O I   1 0 . 2 3 0 7 / 2 0 3 3 7 6 9 ;   X i   W ,   2 0 1 4 ,   P   3 3   A N N   I E E E   I N T   C ;   X i   W ,   2 0 0 9 ,   I N T   C O N   D I S T R   C O M P   S ,   P 4 3 3 ,   D O I   1 0 . 1 1 0 9 / I C D C S . 2 0 0 9 . 7 8 ;   X i o n g   J ,   2 0 1 3 ,   P   1 0   U S E N I X   C   N E T W   S ,   P 7 1 ;   Y a n g   S C ,   2 0 1 0 ,   A R T E C H   H S E   M O B   C O M M ,   P 1 ;   Y a n g   Z ,   2 0 1 3 ,   A C M   C O M P U T   S U R V ,   V 4 6 ,   D O I   1 0 . 1 1 4 5 / 2 5 4 3 5 8 1 . 2 5 4 3 5 9 2 ;   Y a n g   Z ,   2 0 1 2 ,   M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G ,   P 2 6 9 ;   Y a n g   Z ,   2 0 1 0 ,   I E E E   A C M   T   N E T W O R K ,   V 1 8 ,   P 1 8 0 6 ,   D O I   1 0 . 1 1 0 9 / T N E T . 2 0 1 0 . 2 0 4 9 5 7 8 ;   Y o u s s e f   M ,   2 0 0 8 ,   W I R E L   N E T W ,   V 1 4 ,   P 3 5 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 7 6 - 0 0 6 - 0 7 2 5 - 7 ;   Z h a n g   L ,   2 0 1 4 ,   P   3 3   A N N   I E E E   I N T   C ;   Z h a o   J Z ,   2 0 1 3 ,   I E E E   A C M   T   N E T W O R K ,   V 2 1 ,   P 3 1 1 ,   D O I   1 0 . 1 1 0 9 / T N E T . 2 0 1 2 . 2 2 0 0 9 0 6 	 4 2 	 0 	 0 	 S C I E N C E   P R E S S 	 B E I J I N G 	 1 6   D O N G H U A N G C H E N G G E N   N O R T H   S T ,   B E I J I N G   1 0 0 7 1 7 ,   P E O P L E S   R   C H I N A 	 1 0 0 0 - 9 0 0 0 	 1 8 6 0 - 4 7 4 9 	 	 J   C O M P U T   S C I   T E C H - C H 	 J .   C o m p u t .   S c i .   T e c h n o l . 	 J U L 	 2 0 1 4 	 2 9 	 4 	 	 	 	 	 5 8 9 	 6 0 4 	 	 1 0 . 1 0 0 7 / s 1 1 3 9 0 - 0 1 4 - 1 4 5 2 - 7 	 	 1 6 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 A L 7 G Q 	 W O S : 0 0 0 3 3 9 3 0 2 6 0 0 0 0 5 	 	 
 J 	 S i m s ,   M H ;   B i g h a m ,   J ;   K a u t z ,   H ;   H a l t e r m a n ,   M W 	 	 	 	 S i m s ,   M a x   H . ;   B i g h a m ,   J e f f r e y ;   K a u t z ,   H e n r y ;   H a l t e r m a n ,   M a r c   W . 	 	 	 C r o w d s o u r c i n g   M e d i c a l   E x p e r t i s e   i n   N e a r   R e a l   T i m e 	 J O U R N A L   O F   H O S P I T A L   M E D I C I N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 O F - L I F E ;   I N F O R M A T I C S ;   C A R E 	 G i v e n   t h e   p a c e   o f   d i s c o v e r y   i n   m e d i c i n e ,   a c c e s s i n g   t h e   l i t e r a t u r e   t o   m a k e   i n f o r m e d   d e c i s i o n s   a t   t h e   p o i n t   o f   c a r e   h a s   b e c o m e   i n c r e a s i n g l y   d i f f i c u l t .   A l t h o u g h   t h e   I n t e r n e t   c r e a t e s   u n p r e c e d e n t e d   a c c e s s   t o   i n f o r m a t i o n ,   g a p s   i n   t h e   m e d i c a l   l i t e r a t u r e   a n d   i n e f f i c i e n t   s e a r c h e s   o f t e n   l e a v e   h e a l t h c a r e   p r o v i d e r s '   q u e s t i o n s   u n a n s w e r e d .   A d v a n c e s   i n   s o c i a l   c o m p u t a t i o n   a n d   h u m a n   c o m p u t e r   i n t e r a c t i o n s   o f f e r   a   p o t e n t i a l   s o l u t i o n   t o   t h i s   p r o b l e m .   W e   d e v e l o p e d   a n d   p i l o t e d   t h e   m o b i l e   a p p l i c a t i o n   D o c C H I R P ,   w h i c h   u s e s   a   s y s t e m   o f   p o i n t - t o - m u l t i p o i n t   p u s h   n o t i f i c a t i o n s   d e s i g n e d   t o   h e l p   p r o v i d e r s   p r o b l e m   s o l v e   b y   c r o w d s o u r c i n g   f r o m   t h e i r   p e e r s .   O v e r   t h e   2 4 4 - d a y   p i l o t   p e r i o d ,   8 5   r e g i s t e r e d   u s e r s   l o g g e d   1 5 4 4   p a g e   v i e w s   a n d   s e n t   4 5   c o n s u l t   q u e s t i o n s .   T h e   m e d i a n   i n i t i a l   f i r s t   r e s p o n s e   f r o m   t h e   c r o w d   o c c u r r e d   w i t h i n   1 9   m i n u t e s .   R e v i e w   o f   t h e   t r a n s c r i p t s   r e v e a l e d   s e v e r a l   d o m i n a n t   t h e m e s ,   i n c l u d i n g   c o m p l e x   m e d i c a l   d e c i s i o n   m a k i n g   a n d   i n q u i r i e s   r e l a t e d   t o   p r e s c r i p t i o n   m e d i c a t i o n   u s e .   F e e d b a c k   f r o m   t h e   p o s t - t r i a l   s u r v e y   i d e n t i f i e d   p o t e n t i a l   h u r d l e s   r e l a t e d   t o   m e d i c a l   c r o w d s o u r c i n g ,   i n c l u d i n g   a   r e l u c t a n c e   t o   e x p o s e   p e r s o n a l   k n o w l e d g e   g a p s   a n d   t h e   p o t e n t i a l   r i s k   f o r   " d i s t r a c t e d   d o c t o r i n g . "   U s e r s   a l s o   s u g g e s t e d   p r o g r a m   m o d i f i c a t i o n s   t h a t   c o u l d   s u p p o r t   f u t u r e   a d o p t i o n ,   i n c l u d i n g   c h a n g e s   t o   t h e   m o b i l e   i n t e r f a c e   a n d   m e c h a n i s m s   t h a t   c o u l d   e x p a n d   t h e   c r o w d   o f   p a r t i c i p a t i n g   h e a l t h c a r e   p r o v i d e r s .   ( C )   2 0 1 4   S o c i e t y   o f   H o s p i t a l   M e d i c i n e 	 [ S i m s ,   M a x   H . ;   H a l t e r m a n ,   M a r c   W . ]   U n i v   R o c h e s t e r ,   M e d   C t r ,   D e p t   N e u r o l ,   R o c h e s t e r ,   N Y   1 4 6 4 2   U S A ;   [ B i g h a m ,   J e f f r e y ]   C a r n e g i e   M e l l o n   U n i v ,   H u m a n   C o m p   I n t e r a c t   I n s t ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A ;   [ K a u t z ,   H e n r y ]   U n i v   R o c h e s t e r ,   M e d   C t r ,   D e p t   C o m p   S c i ,   R o c h e s t e r ,   N Y   1 4 6 4 2   U S A 	 H a l t e r m a n ,   M W   ( r e p r i n t   a u t h o r ) ,   U n i v   R o c h e s t e r ,   M e d   C t r ,   D e p t   N e u r o l ,   C t r   N e u r a l   D e v   &   D i s ,   6 0 1   E l m w o o d   A v e , B o x   6 4 5 ,   R o c h e s t e r ,   N Y   1 4 6 4 2   U S A . 	 m a r c _ h a l t e r m a n @ u r m c . r o c h e s t e r . e d u 	 	 	 U n i v e r s i t y   o f   R o c h e s t e r   R o b e r t   B .   G o e r g e n   R e a c h   F u n d 	 D i s c l o s u r e s :   T h i s   s t u d y   w a s   f u n d e d   i n   p a r t   b y   g r a n t   s u p p o r t   f r o m   t h e   U n i v e r s i t y   o f   R o c h e s t e r   R o b e r t   B .   G o e r g e n   R e a c h   F u n d   ( M .   H .   S . ) .   C o l l a b o r a t i v e   I n f o r m a t i c s ,   L L C   p r o v i d e d   i n t e g r a t e d   m o b i l e   a n d   s e r v e r   s o f t w a r e   u s e d   i n   t h i s   s t u d y .   D r .   H a l t e r m a n   i s   c o - o w n e r   o f   C o l l a b o r a t i v e   I n f o r m a t i c s ,   L L C   a n d   o v e r s a w   t h e   s p e c i f i c a t i o n s   a n d   c o n s t r u c t i o n   o f   t h e   s o f t w a r e   u s e d   i n   t h i s   s t u d y .   D r .   H a l t e r m a n   h a s   p r o v i d e d   t h e   n e c e s s a r y   c o n f l i c t   o f   i n t e r e s t   d o c u m e n t a t i o n   i n   k e e p i n g   w i t h   t h e   r e q u i r e m e n t s   o f   t h e   U n i v e r s i t y   o f   R o c h e s t e r .   T h e   D o c C H I R P   s t u d y   w a s   r e v i e w e d   b y   t h e   i n s t i t u t i o n a l   r e v i e w   b o a r d   a t   t h e   U n i v e r s i t y   o f   R o c h e s t e r   a n d   r e c e i v e d   a p p r o v a l   p o s i n g   m i n i m a l   r i s k . 	 A l e x a n d e r   G r e g o r y   L ,   2 0 0 6 ,   N u r s   A d m   Q ,   V 3 0 ,   P 2 1 ;   A n d r e w s   J E ,   2 0 0 5 ,   J   M E D   L I B R   A S S O C ,   V 9 3 ,   P 2 0 6 ;   B a k u l   P ,   2 0 1 3 ,   M O B I L E   M E D   A P P L   G U I D ;   D a v i e s   K ,   2 0 0 7 ,   H E A L T H   I N F O   L I B R   J ,   V 2 4 ,   P 7 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 1 - 1 8 4 2 . 2 0 0 7 . 0 0 7 1 3 . x ;   D e C a t o   T W ,   2 0 1 3 ,   C R I T   C A R E   M E D ,   V 4 1 ,   P 1 4 0 5 ,   D O I   1 0 . 1 0 9 7 / C C M . 0 b 0 1 3 e 3 1 8 2 8 7 f 2 8 9 ;   H o h m a n   M ,   2 0 0 9 ,   D R U G   D I S C O V   T O D A Y ,   V 1 4 ,   P 2 6 1 ,   D O I   1 0 . 1 0 1 6 / j . d r u d i s . 2 0 0 8 . 1 1 . 0 1 5 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   K a t z - S i d l o w   R J ,   2 0 1 2 ,   J   H O S P   M E D ,   V 7 ,   P 5 9 5 ,   D O I   1 0 . 1 0 0 2 / j h m . 1 9 5 0 ;   K o t h a r i   A R ,   2 0 1 1 ,   B M C   H E A L T H   S E R V   R E S ,   V 1 1 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 2 - 6 9 6 3 - 1 1 - 1 9 8 ;   M c G i n n   C A ,   2 0 1 1 ,   B M C   M E D ,   V 9 ,   D O I   1 0 . 1 1 8 6 / 1 7 4 1 - 7 0 1 5 - 9 - 4 6 ;   P a p a d a k o s   P J ,   2 0 1 3 ,   J   A N E S T H   C L I N   R E S ,   V 4 ,   p e 1 1 2 ;   P e r l e y   C M ,   2 0 0 6 ,   J   M E D   L I B R   A S S O C ,   V 9 4 ,   P 1 3 7 ;   P r g o m e t   M ,   2 0 0 9 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 6 ,   P 7 9 2 ,   D O I   1 0 . 1 1 9 7 / j a m i a . M 3 2 1 5 ;   R a n a r d   B L ,   2 0 1 4 ,   J   G E N   I N T E R N   M E D ,   V 2 9 ,   P 1 8 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 6 0 6 - 0 1 3 - 2 5 3 6 - 8 ;   R u t h e r f o r d   A l e x ,   2 0 1 3 ,   P r o c   N a t l   A c a d   S c i   U   S   A ,   V 1 1 0 ,   P 6 2 8 1 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 2 1 6 3 3 8 1 1 0 ;   S h o r t l i f f e   E H ,   2 0 1 0 ,   J A M A - J   A M   M E D   A S S O C ,   V 3 0 4 ,   P 1 2 2 7 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 0 1 0 . 1 2 6 2 ;   S p i e g e l m a n   J ,   2 0 0 8 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 9 9 ,   P 1 1 7 9 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 9 9 . 1 0 . 1 1 7 9 ;   W u   R ,   2 0 1 1 ,   J   M E D   I N T E R N E T   R E S ,   V 1 3 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 6 5 5 	 1 8 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 1 5 5 3 - 5 5 9 2 	 1 5 5 3 - 5 6 0 6 	 	 J   H O S P   M E D 	 J .   H o s p .   M e d . 	 J U L 	 2 0 1 4 	 9 	 7 	 	 	 	 	 4 5 1 	 4 5 6 	 	 1 0 . 1 0 0 2 / j h m . 2 2 0 4 	 	 6 	 M e d i c i n e ,   G e n e r a l   &   I n t e r n a l 	 G e n e r a l   &   I n t e r n a l   M e d i c i n e 	 A L 2 W C 	 W O S : 0 0 0 3 3 8 9 8 5 3 0 0 0 0 8 	 2 4 7 4 0 7 4 7 	 
 J 	 P e n d e r ,   B ;   C u r r i e ,   G ;   D e l b o s c ,   A ;   S h i w a k o t i ,   N 	 	 	 	 P e n d e r ,   B r e n d a n ;   C u r r i e ,   G r a h a m ;   D e l b o s c ,   A l e x a ;   S h i w a k o t i ,   N i r a j a n 	 	 	 S o c i a l   M e d i a   U s e   d u r i n g   U n p l a n n e d   T r a n s i t   N e t w o r k   D i s r u p t i o n s :   A   R e v i e w   o f   L i t e r a t u r e 	 T R A N S P O R T   R E V I E W S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 p u b l i c   t r a n s p o r t ;   t r a n s i t   d i s r u p t i o n s ;   c o m m u n i c a t i o n ;   r e a l - t i m e   i n f o r m a t i o n ;   s o c i a l   m e d i a   a n d   c r o w d s o u r c i n g 	 C O M M U N I C A T I O N ;   I N F O R M A T I O N ;   C O M M U N I T Y ;   C R I S I S ;   P A R T I C I P A T I O N ;   T E C H N O L O G I E S ;   M A N A G E M E N T ;   T R A N S P O R T ;   S Y S T E M S ;   S U P P O R T 	 T h i s   p a p e r   e x p l o r e s   s o c i a l   m e d i a ' s   r o l e   i n   m a n a g i n g   u n p l a n n e d   t r a n s i t   n e t w o r k s   d i s r u p t i o n s .   A l t h o u g h   l i t e r a t u r e   e x i s t s   m o r e   b r o a d l y   o n   t h e   u s e   o f   s o c i a l   m e d i a   i n   t r a n s i t ,   t h i s   p a p e r   p r e s e n t s   t h e   f i r s t   l i t e r a t u r e   r e v i e w   i n   t h i s   s e t t i n g .   W h e n   d i s r u p t i o n s   o c c u r ,   c o m m u t e r s   r e q u i r e   r e l i a b l e ,   u p - t o - d a t e   i n f o r m a t i o n .   I t s   p r o v i s i o n   r e d u c e s   a n x i e t y   a n d   a l l o w s   i n f o r m e d   c h o i c e s .   S o c i a l   m e d i a   i s   b e n e f i c i a l   g i v e n   i t   p r o v i d e s   r e a l - t i m e   i n f o r m a t i o n   b u t   i t   c a n   o n l y   s u p p l e m e n t   ( n o t   r e p l a c e )   c o n v e n t i o n a l   a p p r o a c h e s .   I n f o r m a t i o n   r e l i a b i l i t y   w a s   c r i t i c a l .   R e s e a r c h   i n   t h e   f i e l d   o f   d i s a s t e r   m a n a g e m e n t   i l l u s t r a t e s   t h e   i m p o r t a n c e   o f   p u b l i c l y   c o n t r i b u t e d   i n f o r m a t i o n .   K n o w n   a s   c r o w d s o u r c i n g ,   i t   i s   p a r t   o f   t h e   e m e r g i n g   f i e l d   o f   c r i s i s   i n f o r m a t i c s   w h i c h   f o r   t h e   f i r s t   t i m e   w a s   l i n k e d   t o   u n p l a n n e d   t r a n s i t   d i s r u p t i o n   m a n a g e m e n t .   T h e   r e s u l t s   h i g h l i g h t   t h a t   s o c i a l   m e d i a ' s   r e a l - t i m e   n a t u r e   c a n   r e d u c e   d i s r u p t e d   t r a v e l   d e m a n d ;   h o w e v e r ,   i t s   u t i l i s a t i o n   c a n   b e   r e s o u r c e - i n t e n s i v e .   A   f r a m e w o r k   p r e s e n t e d   i l l u s t r a t e s   h o w   s o c i a l   m e d i a   u t i l i s a t i o n   v a r i e s   a c c o r d i n g   t o   t h e   o p e r a t i o n a l   c h a r a c t e r i s t i c s   o f   a   d i s r u p t e d   n e t w o r k .   S o c i a l   m e d i a   u s e   a s   a n   i n f o r m a t i o n   d e l i v e r y   t o o l   i s   s t i l l   i n   i t s   i n f a n c y   a n d   a n   u n w i l l i n g n e s s   t o   e m b r a c e   i t   i s   a n   i m p e d i m e n t   t o   s u s t a i n e d   g r o w t h .   C r o w d s o u r c i n g   i s   o n e   a p p r o a c h   t h a t   c o u l d   r e s o l v e   t h e   i s s u e   o f   t r a n s i t   a g e n c y   r e s o u r c i n g   w h i l s t   s a t i s f y i n g   t h e   i n c r e a s e d   d e m a n d   a n d   e x p e c t a t i o n   f o r   r e a l - t i m e   i n f o r m a t i o n . 	 [ P e n d e r ,   B r e n d a n ;   C u r r i e ,   G r a h a m ;   D e l b o s c ,   A l e x a ;   S h i w a k o t i ,   N i r a j a n ]   M o n a s h   U n i v ,   I n s t   T r a n s p o r t   S t u d i e s ,   D e p t   C i v i l   E n g n ,   P u b l   T r a n s p o r t   R e s   G r p ,   C l a y t o n ,   V i c   3 8 0 0 ,   A u s t r a l i a 	 P e n d e r ,   B   ( r e p r i n t   a u t h o r ) ,   M o n a s h   U n i v ,   I n s t   T r a n s p o r t   S t u d i e s ,   D e p t   C i v i l   E n g n ,   P u b l   T r a n s p o r t   R e s   G r p ,   B l d g   6 0 ,   C l a y t o n ,   V i c   3 8 0 0 ,   A u s t r a l i a . 	 b r e n d a n . p e n d e r @ m o n a s h . e d u 	 	 	 	 	 A s s o c i a t i o n   o f   T r a i n   O p e r a t i n g   C o m p a n i e s ,   2 0 1 2 ,   A P P R   C O D   P R A C T   P A S S ;   A w a z u   Y ,   2 0 0 4 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 5 ,   P 1 0 1 6 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 0 0 5 0 ;   B l a i n e y   S ,   2 0 1 2 ,   T R A N S P O R T   R E V ,   V 3 2 ,   P 6 7 5 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 4 1 6 4 7 . 2 0 1 2 . 7 4 3 4 8 9 ;   B o n s a l l   P . ,   2 0 0 5 ,   H D B   T R A N S P O R T   S T R A T E ,   P 6 1 3 ;   B o y d   D .   M . ,   2 0 0 7 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 3 ,   P 2 1 0 ,   D O I   [ 1 0 . 1 1 1 1 / j . 1 0 8 3 - 6 1 0 1 . 2 0 0 7 . 0 0 3 9 3 . x ,   D O I   1 0 . 1 1 1 1 / J . 1 0 8 3 - 6 1 0 1 . 2 0 0 7 . 0 0 3 9 3 . X ] ;   B r a b h a m   D C ,   2 0 1 2 ,   J   A P P L   C O M M U N   R E S ,   V 4 0 ,   P 3 0 7 ,   D O I   1 0 . 1 0 8 0 / 0 0 9 0 9 8 8 2 . 2 0 1 2 . 6 9 3 9 4 0 ;   B r u n s   A . ,   2 0 1 1 ,   T R A C K I N G   C R I S E S   T W I T ;   B u d d   L . ,   2 0 1 3 ,   R E S   T R A N S P O R T A T I O N   B ,   V 9 ,   P 4 1 ,   D O I   [ 1 0 . 1 0 1 6 / j . r t b m . 2 0 1 3 . 0 8 . 0 0 4 ,   D O I   1 0 . 1 0 1 6 / J . R T B M . 2 0 1 3 . 0 8 . 0 0 4 ] ;   C h a n   R . ,   2 0 1 4 ,   T R A N S P   R E S   B O A R D   T R B ;   C h e n g   Y H ,   2 0 1 0 ,   T R A N S P O R T A T I O N ,   V 3 7 ,   P 8 7 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 1 1 6 - 0 1 0 - 9 2 6 7 - z ;   C o d i n a   E ,   2 0 1 3 ,   T O P ,   V 2 1 ,   P 4 8 ,   D O I   1 0 . 1 0 0 7 / s 1 1 7 5 0 - 0 1 2 - 0 2 5 0 - z ;   C o l l i n s   C . ,   2 0 1 2 ,   T R A N S P   R E S   B O A R D   9 1 ;   C o m f o r t   L K ,   2 0 0 7 ,   P U B L I C   A D M I N   R E V ,   V 6 7 ,   P 1 8 9 ;   C o n s t a n t i n i d e s   E . ,   2 0 0 8 ,   J   D I R E C T   D A T A   D I G I T A ,   V 9 ,   P 2 3 1 ,   D O I   D O I   1 0 . 1 0 5 7 / P A L G R A V E . D D D M P . 4 3 5 0 0 9 8 ;   C u r r i e   G ,   2 0 0 8 ,   R E S   T R A N S   E ,   V 2 2 ,   P 5 ,   D O I   1 0 . 1 0 1 6 / j . r e t r e c . 2 0 0 8 . 0 5 . 0 0 3 ;   D e - L o s - S a n t o s   A ,   2 0 1 2 ,   T R A N S P O R T   R E S   C - E M E R ,   V 2 0 ,   P 3 4 ,   D O I   1 0 . 1 0 1 6 / j . t r c . 2 0 1 0 . 0 9 . 0 0 2 ;   D u t z i k   T . ,   2 0 1 3 ,   N E W   D I R E C T I O N   O U R   C H ;   D y n e s   R . ,   1 9 8 5 ,   O R G   B E H A V   D I S A S T E R ;   E l i z e r   R . ,   2 0 1 2 ,   7 0   A C R P ;   E v a n s - C o w l e y   J .   S . ,   2 0 1 2 ,   T R A N S P   R E S   B O A R D   9 1 ;   F i s c h e r   H .   W . ,   1 9 9 8 ,   R E S P O N S E   D I S A S T E R   F A ;   F o u a r c e   P . ,   2 0 0 3 ,   T R A N S P O R T   R E V ,   V 2 3 ,   P 2 9 9 ,   D O I   [ 1 0 . 1 0 8 0 / 0 1 4 4 1 6 4 0 3 2 0 0 0 0 8 3 0 9 5 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 4 1 6 4 0 3 2 0 0 0 0 8 3 0 9 5 ] ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ;   G i a n n o p o u l o s   G A ,   2 0 0 4 ,   E U R   J   O P E R   R E S ,   V 1 5 2 ,   P 3 0 2 ,   D O I   1 0 . 1 0 1 6 / S 0 3 7 7 - 2 2 1 7 ( 0 3 ) 0 0 0 2 6 - 2 ;   G o o d c h i l d   M F ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 3 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 7 5 9 2 5 5 ;   H a g a r   C . ,   2 0 1 3 ,   S L I S   S T U D E N T   R E S   J ,   V 2 ;   H e n d l e r   J ,   2 0 0 8 ,   J   W E B   S E M A N T ,   V 6 ,   P 1 4 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 7 . 1 1 . 0 0 8 ;   H e v e r i n   T . ,   2 0 1 0 ,   I N F   S Y S T   C R I S   R E S P   M ;   H u g h e s   A m a n d a   L e e ,   2 0 0 9 ,   I n t e r n a t i o n a l   J o u r n a l   o f   E m e r g e n c y   M a n a g e m e n t ,   V 6 ,   D O I   1 0 . 1 5 0 4 / I J E M . 2 0 0 9 . 0 3 1 5 6 4 ;   H u g h e s   A .   L . ,   2 0 1 2 ,   J   H O M E L   S E C U R   E M E R G ,   V 9 ,   P 1 ;   J a n a r t h a n a n   N . ,   1 9 8 4 ,   C O M P U T E R   E N V   U R B A N   S ,   V 9 ,   P 3 2 ,   D O I   [ 1 0 . 1 0 1 6 / 0 1 9 8 - 9 7 1 5 ( 8 4 ) 9 0 0 0 4 - 8 ,   D O I   1 0 . 1 0 1 6 / 0 1 9 8 - 9 7 1 5 ( 8 4 ) 9 0 0 0 4 - 8 ] ;   K e i m   M a r k   E ,   2 0 1 1 ,   A m   J   D i s a s t e r   M e d ,   V 6 ,   P 4 7 ;   K e p a p t s o g l o u   K . ,   2 0 0 9 ,   P U B L I C   T R A N S P O R T ,   V 1 ,   P 2 7 5 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 2 4 6 9 - 0 1 0 - 0 0 1 7 - 6 ;   K r u g e r   L E ,   2 0 0 0 ,   S O C   N A T U R   R E S O U R ,   V 1 3 ,   P 4 6 1 ,   D O I   1 0 . 1 0 8 0 / 0 8 9 4 1 9 2 0 0 4 0 3 8 6 6 ;   K w a k   H . ,   2 0 1 0 ,   W O R L D   W I D   W E B   C ;   L a n e   B W ,   2 0 0 8 ,   T R A N S P O R T   R E S   A - P O L ,   V 4 2 ,   P 2 7 9 ,   D O I   1 0 . 1 0 1 6 / j . t r a . 2 0 0 7 . 1 0 . 0 0 1 ;   L e v y   P . ,   1 9 9 7 ,   C O L L E C T I V E   I N T E L L I G E ;   L y o n s   G . ,   2 0 0 6 ,   I E T   P r o c e e d i n g s   I n t e l l i g e n t   T r a n s p o r t   S y s t e m s ,   V 1 5 3 ,   D O I   1 0 . 1 0 4 9 / i p - i t s : 2 0 0 6 0 0 0 1 ;   M a y   A . ,   2 0 0 6 ,   1   I N F O R M   D I S A S T E R   Z O ;   M o l i n   E J E ,   2 0 0 6 ,   T R A N S P O R T   R E S   C - E M E R ,   V 1 4 ,   P 5 7 ,   D O I   1 0 . 1 0 1 6 / j . t r c . 2 0 0 6 . 0 5 . 0 0 3 ;   N a k a n i s h i   Y ,   2 0 0 3 ,   T R A N S P O R T   R E S   R E C ,   P 2 4 ;   N i e l s e n   L K ,   2 0 1 2 ,   E U R   J   O P E R   R E S ,   V 2 2 0 ,   P 4 9 6 ,   D O I   1 0 . 1 0 1 6 / j . e j o r . 2 0 1 2 . 0 1 . 0 3 7 ;   O ' D e l l   S . ,   1 9 9 7 ,   L E C T   N O T E S   E C   M A T H   S ,   P 2 9 9 ;   P a l e n   L ,   2 0 0 9 ,   S O C   S C I   C O M P U T   R E V ,   V 2 7 ,   P 4 6 7 ,   D O I   1 0 . 1 1 7 7 / 0 8 9 4 4 3 9 3 0 9 3 3 2 3 0 2 ;   P a l e n   L . ,   2 0 0 7 ,   A C M   2 0 0 7   C   H U M   F A C T ;   P a s s e n g e r   F o c u s ,   2 0 0 6 ,   P A S S E N G E R   F O C U S   R E S P ;   P a s s e n g e r   F o c u s ,   2 0 1 1 ,   I N F   R A I L   P A S S   N E E D S ;   P e n d e r   B ,   2 0 1 2 ,   T R A N S P O R T   R E S   R E C ,   P 6 8 ,   D O I   1 0 . 3 1 4 1 / 2 2 7 5 - 0 8 ;   P e r n g   S . ,   2 0 1 2 ,   I N F   S Y S T   C R I S   R E S P   M ;   P r o c o p i o   C H ,   2 0 0 7 ,   J   A P P L   C O M M U N   R E S ,   V 3 5 ,   P 6 7 ,   D O I   1 0 . 1 0 8 0 / 0 0 9 0 9 8 8 0 6 0 1 0 6 5 7 2 2 ;   Q u   Y . ,   2 0 1 1 ,   A C M   2 0 1 1   C   C O M P   S U P P ;   R a c i n e   N . ,   2 0 1 4 ,   B E S T   P R A C T I C E S   T R A N S ,   P 1 0 9 ;   S a k a k i   T . ,   2 0 1 0 ,   W O R L D   W I D   W E B   C ;   S c h m o c k e r   J D ,   2 0 0 5 ,   T R A N S P O R T   R E S   R E C ,   V 1 9 3 0 ,   P 3 0 ,   D O I   1 0 . 3 1 4 1 / 1 9 3 0 - 0 4 ;   S l a t e r   D . ,   2 0 1 1 ,   N A T U R A L   D I S A S T E R   N U C ,   P 9 4 ;   S r e e n i v a s a n   N . ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T E R ,   V 6 7 7 8 ,   P 1 2 0 ,   D O I   [ 1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 1 7 9 6 - 8 _ 1 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 1 7 9 6 - 8 _ 1 3 ] ;   S t a m b a u g h   C L ,   2 0 1 3 ,   T R A N S P O R T   R E S   R E C ,   P 7 6 ,   D O I   1 0 . 3 1 4 1 / 2 3 2 5 - 0 8 ;   S t e i n f e l d   A . ,   2 0 0 9 ,   1   I N T   S   Q U A L   L I F   T E C ;   S t e i n f e l d   A ,   2 0 1 1 ,   T R A N S P O R T   R E S   R E C ,   P 9 5 ,   D O I   1 0 . 3 1 4 1 / 2 2 1 7 - 1 2 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   S u t t o n   J . ,   2 0 0 8 ,   B A C K C H A N N E L S   F R O N T   L ;   T i e r n e y   K . ,   1 9 8 9 ,   D I S A S T E R   M A N A G E M E N T ,   V 2 ,   P 7 0 ;   T i e r n e y   K J ,   2 0 0 1 ,   F A C I N G   U N E X P E C T E D   D I ;   T i n k e r   T . ,   2 0 1 2 ,   R I S K   C R I S I S   C O M M U N I C ;   T o r n q u i s t   J . ,   2 0 1 2 ,   T R A N S P O R T   R E S   C - E M E R ,   V 2 0 ,   P 6 2 ,   D O I   1 0 . 1 0 1 6 / j . t r c . 2 0 1 0 . 1 2 . 0 0 4 ;   T s u c h i y a   R ,   2 0 0 6 ,   W I T   T R A N S   B U I L T   E N V ,   V 8 8 ,   P 1 8 9 ,   D O I   1 0 . 2 4 9 5 / C R 0 6 0 1 9 1 ;   V a n   d e   W a l l e   B ,   2 0 0 7 ,   C O M M U N   A C M ,   V 5 0 ,   P 2 9 ,   D O I   1 0 . 1 1 4 5 / 1 2 2 6 7 3 6 . 1 2 2 6 7 6 0 ;   V i e w a g   S . ,   2 0 1 0 ,   C   H U M   F A C T   C O M P   S Y S T ;   V u c h i c   V . ,   2 0 0 5 ,   U R B A N   T R A N S I T   O P E R A T ;   W h i t e l a w   G ,   2 0 0 3 ,   E N V I R O N   M O N I T   A S S E S S ,   V 8 8 ,   P 4 0 9 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 5 5 4 5 8 1 3 0 5 7 ;   W r i g h t   K ,   2 0 0 2 ,   J   A P P L   C O M M U N   R E S ,   V 3 0 ,   P 1 9 5 ,   D O I   1 0 . 1 0 8 0 / 0 0 9 0 9 8 8 0 2 1 6 5 8 6 ;   Y a t e s   D ,   2 0 1 0 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 1 ,   P 5 4 3 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 2 6 6 ;   Y a t e s   D ,   2 0 1 1 ,   I N T   J   I N F O R M   M A N A G E ,   V 3 1 ,   P 6 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 1 0 . 1 0 . 0 0 1 	 7 3 	 0 	 0 	 T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X O N ,   E N G L A N D 	 0 1 4 4 - 1 6 4 7 	 1 4 6 4 - 5 3 2 7 	 	 T R A N S P O R T   R E V 	 T r a n s p .   R e v . 	 J U L 	 2 0 1 4 	 3 4 	 4 	 	 	 	 	 5 0 1 	 5 2 1 	 	 1 0 . 1 0 8 0 / 0 1 4 4 1 6 4 7 . 2 0 1 4 . 9 1 5 4 4 2 	 	 2 1 	 T r a n s p o r t a t i o n 	 T r a n s p o r t a t i o n 	 A L 8 P F 	 W O S : 0 0 0 3 3 9 4 0 0 6 0 0 0 0 5 	 	 
 J 	 v a n   d e r   V e e r ,   L ;   V i s s e r ,   H ;   P e t e r s e n ,   A ;   J a n s s e n ,   P 	 	 	 	 v a n   d e r   V e e r ,   L i a n n e ;   V i s s e r ,   H a n s ;   P e t e r s e n ,   A r t h u r ;   J a n s s e n ,   P e t e r 	 	 	 I n n o v a t i n g   t h e   I P C C   r e v i e w   p r o c e s s - t h e   p o t e n t i a l   o f   y o u n g   t a l e n t 	 C L I M A T I C   C H A N G E 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 	 S E R V I C E   Q U A L I T Y 	 T h e r e   i s   s i g n i f i c a n t   p o t e n t i a l   i n   y o u n g   t a l e n t   f o r   e n h a n c i n g   t h e   c r e d i b i l i t y   o f   t h e   s c i e n t i f i c   a s s e s s m e n t s   s u c h   a s   t h e   I P C C ' s   b y   c o n t r i b u t i n g   t o   q u a l i t y   a s s u r a n c e   a n d   q u a l i t y   c o n t r o l .   I n   t h i s   e s s a y ,   w e   r e f l e c t   o n   a n   e x p e r i m e n t   t h a t   w a s   d o n e   b y   t h e   D u t c h   g o v e r n m e n t   a s   p a r t   o f   i t s   g o v e r n m e n t   r e v i e w   o f   a   c o n t r i b u t i o n   t o   t h e   I P C C ' s   F i f t h   A s s e s s m e n t   R e p o r t   ( A R 5 ) .   I n   a n   e f f o r t   t o   r e v i e w   t h e   e n t i r e   W o r k i n g   G r o u p   I I   c o n t r i b u t i o n   t o   t h e   A R 5   w i t h i n   t h e   o f f i c i a l   r e v i e w   p e r i o d   f o r   t h e   S e c o n d   O r d e r   D r a f t   ( S O D ) ,   t h e   P B L   N e t h e r l a n d s   E n v i r o n m e n t a l   A s s e s s m e n t   A g e n c y   t u r n e d   t o   P h D   s t u d e n t s .   T h i s   a r t i c l e   s h o w s   t h a t   a   s y s t e m a t i c   r e v i e w   f o c u s i n g   o n   t r a n s p a r e n c y   a n d   e r r o r s   o f   a   l a r g e   s c i e n t i f i c   a s s e s s m e n t   d o c u m e n t   u s i n g   y o u n g   t a l e n t e d   s c i e n t i s t s   c a n   b e   s u c c e s s f u l   i f   c e r t a i n   c o n d i t i o n s   a r e   m e t .   T h e   r e v i e w e r s   n e e d   t o   h a v e   i n t r i n s i c   m o t i v a t i o n   t o   c o n d u c t   t h e   r e v i e w .   T h e r e   n e e d s   t o   b e   a   c o m m u n i c a t i o n   p l a n   t h a t   f o s t e r s   e n g a g e m e n t   a n d   a   c l e a r   m e t h o d o l o g y   t o   g u i d e   t h e   r e v i e w e r s   t h r o u g h   t h e i r   t a s k .   B a s e d   o n   t h i s   e x p e r i m e n t   i n   r e v i e w ,   w e   r e f l e c t   o n   t h e   w i d e r   p o t e n t i a l   f o r   o p e n n e s s   a n d   c r o w d s o u r c i n g   i n   s c i e n t i f i c   a s s e s s m e n t   p r o c e s s e s   s u c h   a s   t h e   I P C C ' s . 	 [ v a n   d e r   V e e r ,   L i a n n e ;   V i s s e r ,   H a n s ;   P e t e r s e n ,   A r t h u r ;   J a n s s e n ,   P e t e r ]   P B L   N e t h e r l a n d s   E n v i r o n m   A s s e s s m e n t   A g c y ,   B i l t h o v e n ,   N e t h e r l a n d s ;   [ P e t e r s e n ,   A r t h u r ]   V r i j e   U n i v   A m s t e r d a m ,   I n s t   E n v i r o n m   S t u d i e s   I V M ,   A m s t e r d a m ,   N e t h e r l a n d s 	 V i s s e r ,   H   ( r e p r i n t   a u t h o r ) ,   P B L   N e t h e r l a n d s   E n v i r o n m   A s s e s s m e n t   A g c y ,   B i l t h o v e n ,   N e t h e r l a n d s . 	 H a n s . V i s s e r @ p b l . n l 	 	 	 	 	 B e s l e y   T ,   2 0 0 3 ,   T E 4 6 5   L S E   S T I C E R D ;   G a i l m a r d   S ,   2 0 1 0 ,   I N T   P U B L I C   M A N A G   J ,   V 1 3 ,   P 3 5 ,   D O I   1 0 . 1 0 8 0 / 1 0 9 6 7 4 9 0 9 0 3 5 4 7 2 2 5 ;   M a t t i l a   A .   S . ,   2 0 0 3 ,   I n t e r n a t i o n a l   J o u r n a l   o f   H o s p i t a l i t y   M a n a g e m e n t ,   V 2 2 ,   P 1 3 5 ,   D O I   1 0 . 1 0 1 6 / S 0 2 7 8 - 4 3 1 9 ( 0 3 ) 0 0 0 1 4 - 8 ;   P A R A S U R A M A N   A ,   1 9 8 5 ,   J   M A R K E T I N G ,   V 4 9 ,   P 4 1 ,   D O I   1 0 . 2 3 0 7 / 1 2 5 1 4 3 0 ;   P B L ,   2 0 1 0 ,   P B L   P U B L ;   S t r a u s s   J ,   2 0 0 1 ,   J   I N T E R A C T   M A R K ,   V 1 5 ,   p [ 6 3 ,   6 3 ] ,   D O I   1 0 . 1 0 0 2 / 1 5 2 0 - 6 6 5 3 ( 2 0 0 1 2 4 ) 1 5 - 1 & L T ;   S t r e n g e r s   B J ,   2 0 1 3 ,   1 4   P B L   N E T H   E N V   A S S ;   Y a n g   Z L ,   2 0 0 4 ,   I N T   J   O P E R   P R O D   M A N ,   V 2 4 ,   P 1 1 4 9 ,   D O I   1 0 . 1 1 0 8 / 0 1 4 4 3 5 7 0 4 1 0 5 6 3 2 7 8 	 8 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 0 1 6 5 - 0 0 0 9 	 1 5 7 3 - 1 4 8 0 	 	 C L I M A T I C   C H A N G E 	 C l i m .   C h a n g e 	 J U L 	 2 0 1 4 	 1 2 5 	 2 	 	 	 	 	 1 3 7 	 1 4 8 	 	 1 0 . 1 0 0 7 / s 1 0 5 8 4 - 0 1 4 - 1 1 4 5 - 9 	 	 1 2 	 E n v i r o n m e n t a l   S c i e n c e s ;   M e t e o r o l o g y   &   A t m o s p h e r i c   S c i e n c e s 	 E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y ;   M e t e o r o l o g y   &   A t m o s p h e r i c   S c i e n c e s 	 A K 9 X F 	 W O S : 0 0 0 3 3 8 7 8 1 2 0 0 0 0 2 	 	 
 J 	 A m i r k h a n i ,   H ;   R a h m a t i ,   M 	 	 	 	 A m i r k h a n i ,   H o s s e i n ;   R a h m a t i ,   M o h a m m a d 	 	 	 A g r e e m e n t / d i s a g r e e m e n t   b a s e d   c r o w d   l a b e l i n g 	 A P P L I E D   I N T E L L I G E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A r t i f i c i a l   i n t e l l i g e n c e ;   S u p e r v i s e d   l e a r n i n g ;   N o i s y   l a b e l s ;   H u m a n   l a b e l e r s ;   C r o w d s o u r c i n g ;   A g r e e m e n t / d i s a g r e e m e n t 	 E N S E M B L E   M E T H O D S ;   N E U R A L - N E T W O R K S ;   C L A S S I F I C A T I O N ;   E L I M I N A T I O N 	 I n   m a n y   s u p e r v i s e d   l e a r n i n g   p r o b l e m s ,   d e t e r m i n i n g   t h e   t r u e   l a b e l s   o f   t r a i n i n g   i n s t a n c e s   i s   e x p e n s i v e ,   l a b o r i o u s ,   a n d   e v e n   p r a c t i c a l l y   i m p o s s i b l e .   A s   a n   a l t e r n a t i v e   a p p r o a c h ,   i t   i s   m u c h   e a s i e r   t o   c o l l e c t   m u l t i p l e   s u b j e c t i v e   ( p o s s i b l y   n o i s y )   l a b e l s   f r o m   h u m a n   l a b e l e r s ,   e s p e c i a l l y   w i t h   t h e   c r o w d s o u r c i n g   s e r v i c e s   s u c h   a s   A m a z o n ' s   M e c h a n i c a l   T u r k .   T h e   c o l l e c t e d   l a b e l s   a r e   t h e n   a g g r e g a t e d   t o   e s t i m a t e   t h e   t r u e   l a b e l s .   I n   o r d e r   t o   r e d u c e   t h e   n e g a t i v e   e f f e c t s   o f   n o v i c e s ,   s p a m m e r s ,   a n d   m a l i c i o u s   l a b e l e r s ,   i t   n e c e s s i t a t e s   t a k i n g   i n t o   a c c o u n t   t h e   a c c u r a c i e s   o f   t h e   l a b e l e r s .   H o w e v e r ,   i n   t h e   a b s e n c e   o f   t r u e   l a b e l s ,   w e   m i s s   t h e   m a i n   s o u r c e   o f   i n f o r m a t i o n   t o   e s t i m a t e   t h e   l a b e l e r   a c c u r a c i e s .   T h i s   p a p e r   d e m o n s t r a t e s   t h a t   t h e   a g r e e m e n t s   o r   d i s a g r e e m e n t s   a m o n g   l a b e l e r   o p i n i o n s   a r e   u s e f u l   s o u r c e s   o f   i n f o r m a t i o n   a n d   f a c i l i t a t e   t h e   a c c u r a c y   e s t i m a t i o n   p r o b l e m .   W e   r e p r e s e n t   t h i s   e s t i m a t i o n   p r o b l e m   a s   a n   o p t i m i z a t i o n   p r o b l e m   w h i c h   i t s   g o a l   i s   t o   m i n i m i z e   t h e   d i f f e r e n c e s   b e t w e e n   t h e   a n a l y t i c a l   p r o b a b i l i t i e s   o f   d i s a g r e e m e n t s   b a s e d   o n   e s t i m a t e d   a c c u r a c i e s   a n d   t h e   p r o b a b i l i t i e s   o f   d i s a g r e e m e n t s   a c c o r d i n g   t o   t h e   p r o v i d e d   l a b e l s .   W e   p r e s e n t   a n   e f f i c i e n t   s e m i - e x h a u s t i v e   s e a r c h   m e t h o d   t o   s o l v e   t h i s   o p t i m i z a t i o n   p r o b l e m .   O u r   e x p e r i m e n t s   o n   t h e   s i m u l a t e d   d a t a   a n d   t h r e e   r e a l   d a t a s e t s   s h o w   t h a t   t h e   p r o p o s e d   m e t h o d   i s   a   p r o m i s i n g   i d e a   i n   t h i s   e m e r g i n g   n e w   a r e a .   T h e   s o u r c e   c o d e   o f   t h e   p r o p o s e d   m e t h o d   i s   a v a i l a b l e   f o r   d o w n l o a d i n g   a t   h t t p : / / c e i t . a u t . a c . i r / s i m i l a r   t o   a m i r k h a n i . 	 [ A m i r k h a n i ,   H o s s e i n ;   R a h m a t i ,   M o h a m m a d ]   A m i r k a b i r   U n i v   T e c h n o l ,   C o m p   E n g n   &   I n f o r m a t   T e c h n o l   D e p t ,   T e h r a n ,   I r a n 	 R a h m a t i ,   M   ( r e p r i n t   a u t h o r ) ,   A m i r k a b i r   U n i v   T e c h n o l ,   C o m p   E n g n   &   I n f o r m a t   T e c h n o l   D e p t ,   T e h r a n ,   I r a n . 	 a m i r k h a n i @ a u t . a c . i r ;   r a h m a t i @ a u t . a c . i r 	 	 	 	 	 A h n   L V ,   2 0 0 8 ,   S C I E N C E ,   V 5 8 9 5 ,   P 1 4 6 5 ;   B e l l a   A ,   2 0 1 3 ,   A P P L   I N T E L L ,   V 3 8 ,   P 5 6 6 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 8 9 - 0 1 2 - 0 3 8 8 - 2 ;   B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   C a n u t o   A M P ,   2 0 1 1 ,   A P P L   I N T E L L ,   V 3 5 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 8 9 - 0 0 9 - 0 1 9 9 - 2 ;   C h o   S B ,   2 0 0 7 ,   A P P L   I N T E L L ,   V 2 6 ,   P 2 4 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 8 9 - 0 0 6 - 0 0 2 0 - 4 ;   D a w i d   A P ,   1 9 7 9 ,   A P P L I E D   S T A T I S T I C S ,   V 2 8 ,   P 2 0 ,   D O I   1 0 . 2 3 0 7 / 2 3 4 6 8 0 6 ;   D e k e l   O . ,   2 0 0 9 ,   P   2 6   A N N   I N T   C   M A C H ,   P 2 3 3 ;   D E M P S T E R   A P ,   1 9 7 7 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 3 9 ,   P 1 ;   D i e t t e r i c h   T G ,   2 0 0 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 1 8 5 7 ,   P 1 ;   D i e t t e r i c h   T G ,   2 0 0 0 ,   M A C H   L E A R N ,   V 4 0 ,   P 1 3 9 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 7 6 0 7 5 1 3 9 4 1 ;   E a g l e   N ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 6 2 3 ,   P 4 4 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 2 7 6 7 - 3 _ 5 0 ;   F a h i m   M ,   2 0 1 3 ,   A P P L   I N T E L L ,   V 3 8 ,   P 8 8 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 8 9 - 0 1 2 - 0 3 5 9 - 7 ;   G a m b e r g e r   D ,   2 0 0 0 ,   A P P L   A R T I F   I N T E L L ,   V 1 4 ,   P 2 0 5 ,   D O I   1 0 . 1 0 8 0 / 0 8 8 3 9 5 1 0 0 1 1 7 1 2 4 ;   G r a d y   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 7 2 ;   G u a n   D H ,   2 0 1 1 ,   A P P L   I N T E L L ,   V 3 5 ,   P 3 4 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 8 9 - 0 1 0 - 0 2 2 5 - 4 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   I p e i r o t i s   P G ,   2 0 1 0 ,   A C M   S I G K D D   W O R K S H   H U ,   P 6 4 ;   J o n e s   G a r e t h   J .   F . ,   2 0 1 3 ,   I n f o r m a t i o n   R e t r i e v a l   M e e t s   I n f o r m a t i o n   V i s u a l i z a t i o n .   P R O M I S E   W i n t e r   S c h o o l   2 0 1 2 .   R e v i s e d   T u t o r i a l   L e c t u r e s ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 6 4 1 5 - 0 _ 9 ;   K a j i n o   H ,   2 0 1 2 ,   P   A A A I   C   A R T   I N T ,   P 7 3 ;   K a r g e r   D R ,   2 0 1 1 ,   N E U R A L   I N F O R M   P R O C E S ;   K a r g e r   D R ,   2 0 1 2 ,   A R X I V 1 1 1 0 3 5 6 4 V 3 ;   K h a t t a k   F K ,   2 0 1 1 ,   P   N I P S   2   W O R K S H   C O M P ;   K h o r   K C ,   2 0 1 2 ,   A P P L   I N T E L L ,   V 3 6 ,   P 3 2 0 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 8 9 - 0 1 0 - 0 2 6 3 - y ;   L a l l i c h   S ,   2 0 0 2 ,   L E C T   N O T E S   A R T I F   I N T ,   V 2 3 6 6 ,   P 5 ;   L e e   H ,   2 0 1 2 ,   A P P L   I N T E L L ,   V 3 7 ,   P 4 8 8 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 8 9 - 0 1 2 - 0 3 4 2 - 3 ;   L i n   Z Y ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 6 7 8 ,   P 5 3 6 ;   M a r c u s   A ,   2 0 1 1 ,   5   B I E N N   C   I N N   D A T   S Y ,   P 2 1 1 ;   M a u d e s   J ,   2 0 1 1 ,   A P P L   I N T E L L ,   V 3 4 ,   P 3 4 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 8 9 - 0 1 1 - 0 2 8 3 - 2 ;   M u h a m m a d i   J . ,   2 0 1 3 ,   A R X I V 1 3 0 1 2 7 7 4 ;   P a r k   S ,   2 0 1 4 ,   A P P L   I N T E L L ,   V 4 0 ,   P 2 4 4 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 8 9 - 0 1 3 - 0 4 5 7 - 1 ;   P o n t i n   J . ,   2 0 0 7 ,   N Y   T I M E S ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   R a y k a r   V C ,   2 0 1 2 ,   J   M A C H   L E A R N   R E S ,   V 1 3 ,   P 4 9 1 ;   S a k a r   C O ,   2 0 1 4 ,   A P P L   I N T E L L ,   V 4 0 ,   P 2 9 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 8 9 - 0 1 3 - 0 4 6 4 - 2 ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   S m y t h   P . ,   1 9 9 5 ,   A d v a n c e s   i n   N e u r a l   I n f o r m a t i o n   P r o c e s s i n g   S y s t e m s   7 ;   S n o w   R ,   2 0 0 8 ,   C   E M P   M E T H   N A T   L A N G ,   P 2 5 4 ;   U r b a n o   J ,   2 0 1 0 ,   A C M   S I G I R   W O R K S H   C R O ,   P 9 ;   V a l e n t i n i   G ,   2 0 0 4 ,   J   M A C H   L E A R N   R E S ,   V 5 ,   P 7 2 5 ;   V e r b a e t e n   S ,   2 0 0 3 ,   L E C T   N O T E S   C O M P U T   S C ,   V 2 7 0 9 ,   P 3 1 7 ;   V o n d r i c k   C ,   2 0 1 3 ,   I N T   J   C O M P U T   V I S I O N ,   V 1 0 1 ,   P 1 8 4 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 1 2 - 0 5 6 4 - 1 ;   W a n g   C W ,   2 0 1 3 ,   A P P L   I N T E L L ,   V 3 9 ,   P 4 6 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 8 9 - 0 1 3 - 0 4 2 5 - 9 ;   W a s s e r m a n   L ,   2 0 0 3 ,   S T A T   I N F E R E N C E ;   W a u t h i e r   F L ,   2 0 1 1 ,   N E U R A L   I N F O R M   P R O C E S ;   W h i t e h i l l   J . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   P 2 0 3 5 ;   W i e b e   J .   M . ,   1 9 9 9 ,   P   3 7   A N N   M   A S S   C O M P ,   P 2 4 6 ,   D O I   1 0 . 3 1 1 5 / 1 0 3 4 6 7 8 . 1 0 3 4 7 2 1 ;   Y a n   Y ,   2 0 1 0 ,   I N T   C   A R T   I N T   S T A T ,   P 9 3 2 ;   Y o u n g   J ,   2 0 1 3 ,   I N T   W O R K S H O P   P A T T E R N ,   P 1 7 0 ,   D O I   1 0 . 1 1 0 9 / P R N I . 2 0 1 3 . 5 1 ;   Z a i d a n   O . F . ,   2 0 1 1 ,   P   4 9   A N N   M   A S S   C O M P ,   P 1 2 2 0 	 4 9 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 0 9 2 4 - 6 6 9 X 	 1 5 7 3 - 7 4 9 7 	 	 A P P L   I N T E L L 	 A p p l .   I n t e l l . 	 J U L 	 2 0 1 4 	 4 1 	 1 	 	 	 	 	 2 1 2 	 2 2 2 	 	 1 0 . 1 0 0 7 / s 1 0 4 8 9 - 0 1 4 - 0 5 1 6 - 2 	 	 1 1 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 A K 1 Y B 	 W O S : 0 0 0 3 3 8 2 1 4 1 0 0 0 1 4 	 	 
 J 	 Z h a o ,   Y X ;   Z h u ,   Q H 	 	 	 	 Z h a o ,   Y u x i a n g ;   Z h u ,   Q i n g h u a 	 	 	 E v a l u a t i o n   o n   c r o w d s o u r c i n g   r e s e a r c h :   C u r r e n t   s t a t u s   a n d   f u t u r e   d i r e c t i o n 	 I N F O R M A T I O N   S Y S T E M S   F R O N T I E R S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   W e b   2 . 0 ;   S o c i o - t e c h n i c a l   s y s t e m s ;   C o l l e c t i v e   i n t e l l i g e n c e ;   M a s s   c o l l a b o r a t i o n ;   P r o b l e m - s o l v i n g ;   R e s e a r c h   p r o g r e s s 	 I N F O R M A T I O N - S Y S T E M S   R E S E A R C H ;   O P E N - S O U R C E   P R O J E C T S ;   C O L L E C T I V E   I N T E L L I G E N C E ;   S O F T W A R E   D E V E L O P E R S ;   I D E N T I T Y   C R I S I S ;   C I T I Z E N   S C I E N C E ;   M O T I V A T I O N S ;   P A R T I C I P A T I O N ;   C O M M U N I T I E S ;   V A L I D A T I O N 	 C r o w d s o u r c i n g   i s   o n e   o f   t h e   e m e r g i n g   W e b   2 . 0   b a s e d   p h e n o m e n o n   a n d   h a s   a t t r a c t e d   g r e a t   a t t e n t i o n   f r o m   b o t h   p r a c t i t i o n e r s   a n d   s c h o l a r s   o v e r   t h e   y e a r s .   I t   c a n   f a c i l i t a t e   t h e   c o n n e c t i v i t y   a n d   c o l l a b o r a t i o n   o f   p e o p l e ,   o r g a n i z a t i o n s ,   a n d   s o c i e t i e s .   W e   b e l i e v e   t h a t   I n f o r m a t i o n   S y s t e m s   s c h o l a r s   a r e   i n   a   u n i q u e   p o s i t i o n   t o   m a k e   s i g n i f i c a n t   c o n t r i b u t i o n s   t o   t h i s   e m e r g i n g   r e s e a r c h   a r e a   a n d   c o n s i d e r   i t   a s   a   n e w   r e s e a r c h   f r o n t i e r .   H o w e v e r ,   s o   f a r ,   f e w   s t u d i e s   h a v e   e l a b o r a t e d   w h a t   h a v e   b e e n   a c h i e v e d   a n d   w h a t   s h o u l d   b e   d o n e .   T h i s   p a p e r   s e e k s   t o   p r e s e n t   a   c r i t i c a l   e x a m i n a t i o n   o f   t h e   s u b s t r a t e   o f   c r o w d s o u r c i n g   r e s e a r c h   b y   s u r v e y i n g   t h e   l a n d s c a p e   o f   e x i s t i n g   s t u d i e s ,   i n c l u d i n g   t h e o r e t i c a l   f o u n d a t i o n s ,   r e s e a r c h   m e t h o d s ,   a n d   r e s e a r c h   f o c i ,   a n d   i d e n t i f i e s   s e v e r a l   i m p o r t a n t   r e s e a r c h   d i r e c t i o n s   f o r   I S   s c h o l a r s   f r o m   t h r e e   p e r s p e c t i v e s - t h e   p a r t i c i p a n t ,   o r g a n i z a t i o n ,   a n d   s y s t e m - a n d   w h i c h   w a r r a n t   f u r t h e r   s t u d y .   T h i s   r e s e a r c h   c o n t r i b u t e s   t o   t h e   I S   l i t e r a t u r e   a n d   p r o v i d e s   i n s i g h t s   f o r   r e s e a r c h e r s ,   d e s i g n e r s ,   p o l i c y - m a k e r s ,   a n d   m a n a g e r s   t o   b e t t e r   u n d e r s t a n d   v a r i o u s   i s s u e s   i n   c r o w d s o u r c i n g   s y s t e m s   a n d   p r o j e c t s . 	 [ Z h a o ,   Y u x i a n g ;   Z h u ,   Q i n g h u a ]   N a n j i n g   U n i v ,   S c h   I n f o r m a t   M a n a g e m e n t ,   N a n j i n g   2 1 0 0 9 3 ,   J i a n g s u ,   P e o p l e s   R   C h i n a 	 Z h a o ,   Y X   ( r e p r i n t   a u t h o r ) ,   N a n j i n g   U n i v ,   S c h   I n f o r m a t   M a n a g e m e n t ,   2 2   H a n k o u   R d ,   N a n j i n g   2 1 0 0 9 3 ,   J i a n g s u ,   P e o p l e s   R   C h i n a . 	 c h r i s t 4 1 1 @ y a h o o . c n 	 	 	 N a t i o n a l   S o c i a l   S c i e n c e   F o u n d a t i o n   i n   C h i n a   [ 1 0 A T Q 0 0 4 ] ;   M i n i s t r y   o f   E d u c a t i o n ,   H u m a n i t i e s   a n d   S o c i a l   S c i e n c e s   C o u n c i l   i n   C h i n a   [ 0 9 Y J A 8 7 0 0 1 4 ] 	 T h i s   w o r k   i s   j o i n t l y   s u p p o r t e d   b y   t h e   N a t i o n a l   S o c i a l   S c i e n c e   F o u n d a t i o n   i n   C h i n a   ( G r a n d   N o .   1 0 A T Q 0 0 4 ) ,   a n d   t h e   M i n i s t r y   o f   E d u c a t i o n ,   H u m a n i t i e s   a n d   S o c i a l   S c i e n c e s   C o u n c i l   i n   C h i n a   ( G r a n d   N o .   0 9 Y J A 8 7 0 0 1 4 ) .   F i r s t l y ,   t h e   a u t h o r s   s i n c e r e l y   a p p r e c i a t e   t w o   a n o n y m o u s   r e v i e w e r s '   t h o u g h t f u l   c o m m e n t s   a n d   s u g g e s t i o n s .   S e c o n d l y ,   t h e   a u t h o r s   w o u l d   l i k e   t o   t h a n k   P r o f .   P i n g   Z h a n g   f r o m   S y r a c u s e   U n i v e r s i t y   f o r   h e r   i n s i g h t f u l   a n d   c o n s t r u c t i v e   s u g g e s t i o n s   o n   t h i s   p a p e r .   T h i r d l y ,   t h e   a u t h o r s   t h a n k   X u   M e n g   f r o m   S y r a c u s e   U n i v e r s i t y   f o r   h i s   c o n t r i b u t i o n   d u r i n g   t h e   c o d i n g   s t a g e .   F i n a l l y ,   t h e   a u t h o r s   t h a n k   t h e   e d i t o r s   a n d   p u b l i s h e r s   f o r   t h e i r   s u p p o r t   t o   t h i s   a r t i c l e . 	 A g a r w a l   R ,   2 0 0 5 ,   M I S   Q U A R T ,   V 2 9 ,   P 3 8 1 ;   A l a v i   M . ,   1 9 9 2 ,   J o u r n a l   o f   M a n a g e m e n t   I n f o r m a t i o n   S y s t e m s ,   V 8 ;   A l b o r s   J ,   2 0 0 8 ,   I N T   J   I N F O R M   M A N A G E ,   V 2 8 ,   P 1 9 4 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 0 7 . 0 9 . 0 0 6 ;   A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   A m b a t i   V . ,   2 0 1 0 ,   P   L R E C ,   V 2 0 1 0 ,   P 2 1 6 9 ;   A r c h a k   N . ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 2 1 ,   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 6 9 4 ;   A r c h a k   N . ,   2 0 0 9 ,   P   3 0   I N T   C   I N F   S Y S T ;   B a   S L ,   2 0 0 1 ,   I N F O R M   S Y S T   R E S ,   V 1 2 ,   P 2 2 5 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 2 . 3 . 2 2 5 . 9 7 1 2 ;   B a g o z z i   R P ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 9 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 4 5 ;   B a y u s   B .   L . ,   2 0 1 0 ,   S S R N   Q U A N T I T A T I V E   M A ;   B e n b a s a t   I ,   2 0 0 3 ,   M I S   Q U A R T ,   V 2 7 ,   P 1 8 3 ;   B i g l i a r d i   B a r b a r a ,   2 0 1 2 ,   E u r o p e a n   J o u r n a l   o f   I n n o v a t i o n   M a n a g e m e n t ,   V 1 5 ,   D O I   1 0 . 1 1 0 8 / 1 4 6 0 1 0 6 1 2 1 1 1 9 2 8 2 5 ;   B o n a b e a u   E ,   2 0 0 9 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 4 5 ;   B o u d r e a u   K J ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 8 4 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 2 2 ;   B o u d r e a u   M C ,   2 0 0 1 ,   M I S   Q U A R T ,   V 2 5 ,   P 1 ,   D O I   1 0 . 2 3 0 7 / 3 2 5 0 9 5 6 ;   B r a b h a m   D .   C . ,   2 0 1 1 ,   R O U T L E D G E   H D B   P A R T I C ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ;   B r a b h a m   D C ,   2 0 0 9 ,   P L A N   T H E O R ,   V 8 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 9 1 0 4 8 2 4 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   B r e w   A . ,   2 0 1 0 ,   P   E C A I   2 0 1 0   1 9   E U R   C ,   P 8 6 ;   B r i t o   J . ,   2 0 0 8 ,   C O L U M B I A   S C I   T E C H N O L ,   V I X ,   P 1 1 9 ;   C h a n a l   V . ,   2 0 0 8 ,   C   A S S   I N T   M A N   S T R A T ;   C h e o n   M J ,   1 9 9 5 ,   J   I N F O R M   T E C H N O L ,   V 1 0 ,   P 2 0 9 ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   B U S I N E S S   M O D E L S ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ,   P 1 ;   C h e s b r o u g h   H W ,   2 0 0 3 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 4 ,   P 3 5 ;   C h i a r o n i   D . ,   2 0 0 9 ,   E U R O P E A N   J   I N N O V A T I O ,   V 1 2 ,   P 2 8 5 ,   D O I   1 0 . 1 1 0 8 / 1 4 6 0 1 0 6 0 9 1 0 9 7 4 1 9 2 ;   C h o f f n e s   D R ,   2 0 1 0 ,   A C M   S I G C O M M   C O M P   C O M ,   V 4 0 ,   P 3 8 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 5 1 2 7 5 . 1 8 5 1 2 2 8 ;   C h r i s   C .   B . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   V 1 ;   D e l a n e y   D G ,   2 0 0 8 ,   B I O L   I N V A S I O N S ,   V 1 0 ,   P 1 1 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 3 0 - 0 0 7 - 9 1 1 4 - 0 ;   D i a n a   R . ,   2 0 1 0 ,   C R O W D S O U R C I N G   I S   O U T ;   D i P a l a n t i n o   D ,   2 0 0 9 ,   1 0 T H   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E   -   E C   2 0 0 9 ,   P 1 1 9 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   E c k e r t   K . ,   2 0 1 0 ,   P   1 0   A N N   J O I N T   C   D I G ,   P 1 3 9 ,   D O I   1 0 . 1 1 4 5 / 1 8 1 6 1 2 3 . 1 8 1 6 1 4 3 ;   E s t e l l e s - A r o l a s   E . ,   2 0 1 2 ,   J   I N F O R M   S C   I N   P R E S S ;   F r a n k l i n   M ,   2 0 1 1 ,   P   S I G M O D   2 0 1 1 ;   G a l l i v a n   M J ,   2 0 0 1 ,   I N F O R M   S Y S T   J ,   V 1 1 ,   P 2 7 7 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 2 5 7 5 . 2 0 0 1 . 0 0 1 0 8 . x ;   G a l l o w a y   A W E ,   2 0 0 6 ,   W I L D L I F E   S O C   B ,   V 3 4 ,   P 1 4 2 5 ,   D O I   1 0 . 2 1 9 3 / 0 0 9 1 - 7 6 4 8 ( 2 0 0 6 ) 3 4 [ 1 4 2 5 : T R O C S A ] 2 . 0 . C O ; 2 ;   G R E E N G A R D   S ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 2 0 ;   G r e g g   D G ,   2 0 1 0 ,   C O M M U N   A C M ,   V 5 3 ,   P 1 3 4 ,   D O I   1 0 . 1 1 4 5 / 1 7 2 1 6 5 4 . 1 7 2 1 6 9 1 ;   G r e g o r   S ,   2 0 0 6 ,   M I S   Q U A R T ,   V 3 0 ,   P 6 1 1 ;   H a r s   A ,   2 0 0 2 ,   I N T   J   E L E C T R O N   C O M M ,   V 6 ,   P 2 5 ;   H a u s e r   L ,   1 9 8 8 ,   L I B   I N F O R M A T I O N   S C I ,   V 1 0 ,   P 3 ;   H e e r   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 8 6 ;   H e r t e l   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 7 - 7 ;   H e v n e r   A R ,   2 0 0 4 ,   M I S   Q U A R T ,   V 2 8 ,   P 7 5 ;   H o l l e y   R ,   2 0 0 9 ,   P   P A C   R I M   D I G   L I B   A L ,   P 1 ;   H o r t o n   J . J . ,   2 0 1 0 ,   P   1 1   A C M   C   E L   C O M M ,   P 2 0 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 0 7 3 4 2 . 1 8 0 7 3 7 6 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H s u e h   P . ,   2 0 0 9 ,   P   N A A C L   H L T   2 0 0 9   W O R ,   P 2 7 ,   D O I   1 0 . 3 1 1 5 / 1 5 6 4 1 3 1 . 1 5 6 4 1 3 7 ;   H u b e r m a n   B A ,   2 0 0 9 ,   J   I N F   S C I ,   V 3 5 ,   P 7 5 8 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 9 3 4 6 7 8 6 ;   H u d s o n - S m i t h   A . ,   2 0 0 9 ,   S O C I A L   S C I   C O M P U T E R ,   P 1 0 6 6 ;   I p e i r o t i s   P .   G . ,   2 0 1 0 ,   K D D   H C O M P   1 0   J U L   2 0 1 ;   J a i n   R . ,   2 0 1 0 ,   P   A M   C   I N F   S Y S T ,   P 5 5 7 ;   J o h n s o n   J . ,   2 0 0 7 ,   N E T W O R K   W O R L D ,   V 2 4 ,   P 2 8 ;   K a z m a n   R ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 7 6 ,   D O I   1 0 . 1 1 4 5 / 1 5 3 8 7 8 8 . 1 5 3 8 8 0 8 ;   K e   W L ,   2 0 0 9 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 3 ,   P 3 9 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 3 0 4 0 3 ;   K e   W L ,   2 0 1 0 ,   J   A S S O C   I N F   S Y S T ,   V 1 1 ,   P 7 8 4 ;   K e e n   A n d r e w ,   2 0 0 7 ,   C U L T   A M A T E U R   T O D A Y S ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K l e e m a n n   F . ,   2 0 0 8 ,   S C I   T E C H N O L O G Y   I N N O V ,   V 4 ,   P 5 ;   L a k h a n i   K .   R . ,   2 0 0 7 ,   7 5 0   H A R V   B U S   S C H ;   L a k h a n i   K .   R . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ;   L a n e   S . ,   2 0 1 0 ,   C O N T I N U I N G   E D ,   P 1 ;   L e e   J . ,   1 9 9 9 ,   J   M A N A G E M E N T   I N F O R M ,   V 1 5 ,   P 2 9 ,   D O I   1 0 . 1 5 5 7 / J M R . 2 0 0 0 . 0 0 0 9 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   L e i m e i s t e r   J M ,   2 0 1 0 ,   B U S   I N F O R M   S Y S T   E N G + ,   V 2 ,   P 2 4 5 ,   D O I   1 0 . 1 0 0 7 / s 1 2 5 9 9 - 0 1 0 - 0 1 1 4 - 8 ;   L e v y   P . ,   1 9 9 5 ,   C O L L E C T I V E   I N T E L L I G E ;   M a i o l i n i   R . ,   2 0 1 0 ,   P   I T A I S ;   M a l o n e   T .   W . ,   2 0 1 0 ,   4 7 3 2 0 9   M I T   S L O A N   S C H ;   M a r c u s   A . ,   2 0 1 1 ,   P   C R D R   2 0 1 1 ;   M a s o n   W . ,   2 0 1 0 ,   S I G K D D   E X P L O R   N E W S L ,   V 1 1 ,   P 1 0 0 ;   M a z z o l a   D . ,   2 0 1 0 ,   P   I T A I S   2 0 1 0   7   C   I T ,   P 4 2 ;   M e i e r   P . ,   2 0 1 0 ,   R U N   S U C C E S S F U L   C R O W D ;   M u n r o   R . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 2 2 ;   N o v   O . ,   2 0 1 1 ,   P   A A A I   I N T   C   W E B L   S O ;   O r l i k o w s k i   W J ,   2 0 0 1 ,   I N F O R M   S Y S T   R E S ,   V 1 2 ,   P 1 2 1 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 2 . 2 . 1 2 1 . 9 7 0 0 ;   P e t t i g r e w   K E ,   2 0 0 1 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 2 ,   P 6 2 ,   D O I   1 0 . 1 0 0 2 / 1 5 3 2 - 2 8 9 0 ( 2 0 0 0 ) 5 2 : 1 < 6 2 : : A I D - A S I 1 0 6 1 > 3 . 3 . C O ; 2 - A ;   P o e t z   M .   K . ,   2 0 0 9 ,   P   D R U I D   S U M M   C   2 0 0 9 ,   P 1 1 0 ;   R a d d i c k   M . ,   2 0 1 0 ,   A S T R O N O M Y   E D   R E V ,   V 9 ;   R e e v e   J . ,   2 0 0 5 ,   U N D E R S T A N D I N G   M O T I V A ;   R i e d l   C . ,   2 0 1 0 ,   P   2 0 1 0   I N T   C   I N F   S Y S ;   R o b e r t s   J A ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 9 8 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 4 ;   R O M A N   D ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 1 2 ;   R o u s e   A . ,   2 0 1 0 ,   A C I S   2 0 1 0   P ;   S c h e n k   E . ,   2 0 0 9 ,   H A L   I T S   S E R I E S   W O R K I ;   S h a h   N . ,   2 0 0 9 ,   P   3   I N T   C   T H E O R   P R A C ,   P 2 5 3 ,   D O I   1 0 . 1 1 4 5 / 1 6 9 3 0 4 2 . 1 6 9 3 0 9 3 ;   S h a r m a   A . ,   2 0 1 0 ,   C R O W D S O U R C I N G   C R I T I C ;   S i m s   J . ,   2 0 1 0 ,   A C   M A N   C   M O N T R   C A ;   S t e w a r t   O . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 5 0 ,   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 6 8 ;   S t e w a r t   O . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 3 0 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 8 9 5 ;   S t o l e e   K .   T . ,   2 0 1 0 ,   P   I N T   S   E M P   S O F T W   E N ,   P 3 5 ;   S t r a u s s   A . ,   1 9 8 7 ,   Q U A L I T A T I V E   R E S   S O C I ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T a p s c o t t   D . ,   2 0 0 7 ,   W I K I N O M I C S   M A S S   C O L L ;   T r o m p e t t e   P . ,   2 0 0 8 ,   P   2 4   E G O S   C ,   P 1 ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   V u k o v i c   M ,   2 0 0 9 ,   2 0 0 9   I E E E   C O N G R E S S   O N   S E R V I C E S   ( S E R V I C E S - 1   2 0 0 9 ) ,   V O L S   1   A N D   2 ,   P 6 8 6 ,   D O I   1 0 . 1 1 0 9 / S E R V I C E S - I . 2 0 0 9 . 5 6 ;   V u k o v i c   M . ,   2 0 1 0 ,   P   1 2   A C M   I N T   C ,   P 5 2 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 4 4 3 1 . 1 8 6 4 5 0 4 ;   W e b s t e r   J . ,   2 0 0 2 ,   M I S   Q ,   V 2 6 ,   P 1 3 ;   W h i t l a   P . ,   2 0 0 9 ,   C O N T   M A N A G E M E N T   R E S ,   V 5 ,   P 1 5 ;   W i g g i n s   A . ,   2 0 1 1 ,   P   4 4   H A W   I N T   C   S Y S T ;   W i l c o x   R .   T ,   2 0 0 0 ,   M A R K E T   L E T T ,   V 1 1 ,   P 3 6 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 8 1 4 1 3 1 3 9 2 7 ;   Y a n g   J ,   2 0 0 8 ,   E C ' 0 8 :   P R O C E E D I N G S   O F   T H E   2 0 0 8   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E ,   P 2 4 6 ;   Z h a n g   P . ,   2 0 1 1 ,   P   I C I S   2 0 1 1   I N   P R E S S ;   Z h a n g   P . ,   2 0 0 5 ,   J   A S S O C   I N F   S Y S T ,   V 6 ,   P 2 2 7 ;   Z h a n g   P . ,   2 0 0 8 ,   C O M M U N   A C M ,   V 6 1 ,   P 1 4 5 ;   Z h a n g   P ,   2 0 0 7 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 8 ,   P 1 9 3 4 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 0 6 6 0 	 1 1 0 	 3 	 3 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 7 - 3 3 2 6 	 1 5 7 2 - 9 4 1 9 	 	 I N F O R M   S Y S T   F R O N T 	 I n f .   S y s t .   F r o n t . 	 J U L 	 2 0 1 4 	 1 6 	 3 	 	 	 	 	 4 1 7 	 4 3 4 	 	 1 0 . 1 0 0 7 / s 1 0 7 9 6 - 0 1 2 - 9 3 5 0 - 4 	 	 1 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 A K 2 W Q 	 W O S : 0 0 0 3 3 8 2 8 0 9 0 0 0 0 7 	 	 
 J 	 M o n t e l i s c i a n i ,   G ;   G a b e l l o n i ,   D ;   T a z z i n i ,   G ;   F a n t o n i ,   G 	 	 	 	 M o n t e l i s c i a n i ,   G a b r i e l e ;   G a b e l l o n i ,   D o n a t a ;   T a z z i n i ,   G i a c o m o ;   F a n t o n i ,   G u a l t i e r o 	 	 	 S k i l l s   a n d   w i l l s :   t h e   k e y s   t o   i d e n t i f y   t h e   r i g h t   t e a m   i n   c o l l a b o r a t i v e   i n n o v a t i o n   p l a t f o r m s 	 T E C H N O L O G Y   A N A L Y S I S   &   S T R A T E G I C   M A N A G E M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c o l l a b o r a t i v e   i n n o v a t i o n ;   c r o w d s o u r c i n g ;   t e a m   b u i l d i n g ;   c o m p e t e n c i e s   m a n a g e m e n t ;   m a t c h m a k i n g 	 C O O P E R A T I O N ;   C O M M U N I T Y ;   C O N T E S T S ;   I D E A S 	 T h e   a c c e s s   t o   e x t e r n a l   e x p e r t i s e   a n d   c o l l a b o r a t i o n   i n i t i a t i v e s   b e c a m e   a n   u n d e n i a b l e   s t r a t e g y   f o r   h i g h l y   i n n o v a t i v e   s e c t o r s .   I n n o v a t i o n   i n t e r m e d i a r i e s   h a v e   g a i n e d   a   p r o m i n e n t   r o l e   i n   t h i s   s c e n a r i o ,   a n d   c r o w d s o u r c i n g   p l a t f o r m s   r e a c h e d   n o t a b l e   r e s u l t s .   H o w e v e r ,   i d e n t i f y i n g   r i g h t   c o m p e t e n c i e s   w i t h   d e m a n d e d   i n n o v a t i o n   i s   a   c r i t i c a l   i s s u e .   R e s e a r c h   i s   n e e d e d   i n   t h e   d o m a i n   o f   m a t c h m a k i n g   m e c h a n i s m s   f o r   i d e n t i f y i n g   t h e   n e c e s s a r y   s k i l l s   t o   f u l f i l   d i f f e r e n t   k i n d s   o f   p r o b l e m s   i n   o r d e r   t o   b u i l d   e f f e c t i v e   c o l l a b o r a t i v e   t e a m s .   T h i s   p a p e r   i n v e s t i g a t e s   d i f f e r e n t   a p p r o a c h e s   a d o p t e d   i n   c r o w d s o u r c i n g   a n d   m a i n   c h a r a c t e r i s t i c s   o f   t e a m s   o p e r a t i n g   i n   t h e s e   c o n t e x t s .   T h u s ,   a   s e t   o f   c r i t i c a l   i s s u e s   i s   h i g h l i g h t e d   a n d   a   s t r u c t u r e d   t e a m - b u i l d i n g   m e t h o d o l o g y   f o r   f i n d i n g   s u i t a b l e   s o l v e r s   i n   c r o w d s o u r c i n g   c h a l l e n g e s   i s   p r e s e n t e d .   S u c h   m e t h o d   i s   g r o u n d e d   o n   n a t u r a l   l a n g u a g e   p r o c e s s i n g   ( N L P )   a n d   s e m a n t i c   o n t o l o g i e s   f u l f i l l i n g   s o m e   o f   t h e   i d e n t i f i e d   c r i t i c a l i t i e s .   T h e   d e s c r i p t i o n   i s   s u p p o r t e d   b y   a   c a s e   s t u d y   c o n d u c t e d   w i t h i n   a   s e l f - d e v e l o p e d   c r o w d s o u r c i n g   p l a t f o r m . 	 [ M o n t e l i s c i a n i ,   G a b r i e l e ;   G a b e l l o n i ,   D o n a t a ;   F a n t o n i ,   G u a l t i e r o ]   U n i v   P i s a ,   D e p t   C i v i l   &   I n d   E n g n ,   P i s a ,   I t a l y ;   [ T a z z i n i ,   G i a c o m o ]   E r r e   Q u a d r o   S r l ,   P i s a ,   I t a l y 	 M o n t e l i s c i a n i ,   G   ( r e p r i n t   a u t h o r ) ,   U n i v   P i s a ,   D e p t   C i v i l   &   I n d   E n g n ,   P i s a ,   I t a l y . 	 g a b r i e l e . m o n t e l i s c i a n i @ g m a i l . c o m 	 	 	 	 	 A d m i r a l l   E . ,   2 0 1 0 ,   R   D   M A N   C   J U N   3 0   J U L ;   A n a g n o s t o p o u l o s   A ,   2 0 1 0 ,   P   1 9   A C M   I N T   C   I N F   K ,   P 5 9 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 7 1 4 3 7 . 1 8 7 1 5 1 5 ;   A N A G N O S T O P O U L O S   A ,   2 0 1 2 ,   P   2 1   I N T   C   W O R L D   W I D ,   P 8 3 9 ;   B a y k a s o g l u   A ,   2 0 0 7 ,   C Y B E R N E T   S Y S T ,   V 3 8 ,   P 1 5 5 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 6 9 7 2 0 6 0 1 1 3 9 0 4 1 ;   B a y u s   B L ,   2 0 1 3 ,   M A N A G E   S C I ,   V 5 9 ,   P 2 2 6 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 2 0 . 1 5 9 9 ;   B e r i o   G . ,   2 0 0 5 ,   J   U N I V E R S A L   K N O W L E D G ,   V 1 ,   P 2 1 ;   B l o m q v i s t   K . ,   2 0 0 6 ,   I n t e r n a t i o n a l   J o u r n a l   o f   M a n a g e m e n t   C o n c e p t s   a n d   P h i l o s o p h y ,   V 2 ;   B o u d r e a u   K J ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 8 4 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 2 2 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B u k o w s k a   E . ,   2 0 1 1 ,   A D B I S ,   V 2 ,   P 1 5 7 ;   C h e n   L . ,   2 0 1 2 ,   P   1 8   A M   C   I N F   S Y S T ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   B U S I N E S S   M O D E L S ;   C l a u s e n   T H ,   2 0 1 3 ,   T E C H N O L   A N A L   S T R A T E G ,   V 2 5 ,   P 5 7 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 3 7 3 2 5 . 2 0 1 2 . 7 5 1 0 0 9 ;   C o l u c c i   S ,   2 0 0 3 ,   J   U N I V E R S   C O M P U T   S C I ,   V 9 ,   P 1 4 3 7 ;   C o p p o l i n o   R . ,   2 0 1 1 ,   J   M A N A G E M E N T   C O N T R O L ,   V 2 2 ,   P 3 5 9 ;   D a   S i l v a   F .   Q . ,   2 0 1 1 ,   2 0 1 1   I N T   S   B A N F F   A L B ,   P 5 8 ;   D i e n e r   K . ,   2 0 0 9 ,   M A R K E T   O P E N   I N N O V A T I ;   D o r n   C ,   2 0 1 1 ,   D A T A   K N O W L   E N G ,   V 7 0 ,   P 8 6 6 ,   D O I   1 0 . 1 0 1 6 / j . d a t a k . 2 0 1 1 . 0 6 . 0 0 4 ;   E b n e r   W ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 4 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 6 4 . x ;   E r i c k s o n   L . ,   2 0 1 2 ,   P   1 8   A M   C   I N F   S Y S T   S ;   F a n t o n i   G . ,   2 0 0 9 ,   P   1 5   I N T   C   C O N C   E N T ;   F a n t o n i   G . ,   2 0 1 2 ,   P   1 8   I N T   C   E N G   T E C H N ;   F a z e l - Z a r a n d i   M . ,   2 0 1 3 ,   O N T O L O G Y   B A S E D   A P P L ,   P 1 5 8 ;   F e r r a g i n a   P . ,   2 0 1 0 ,   P   1 9   A C M   I N T   C   I N F   K ,   P 1 6 2 5 ,   D O I   1 0 . 1 1 4 5 / 1 8 7 1 4 3 7 . 1 8 7 1 6 8 9 ;   F i t z p a t r i c k   E L ,   2 0 0 5 ,   C O M P U T   I N D   E N G ,   V 4 8 ,   P 5 9 3 ,   D O I   1 0 . 1 0 1 6 / j . c i e . 2 0 0 4 . 1 2 . 0 1 4 ;   G a b e l l o n i   D . ,   2 0 1 3 ,   P   1 9   I N T   C   E N G   D E S   I ;   G a j e w a r   A . ,   2 0 1 1 ,   A R X I V   1 1 0 2 3 3 4 0 ;   G a s t o n   M ,   2 0 0 4 ,   P   A A A I   2 0 0 4   F A L L   S   A ;   G O L D M A N   S .   L . ,   1 9 9 5 ,   A G I L E   C O M P E T I T O R S   V I ;   H a r g a d o n   A ,   2 0 0 0 ,   H A R V A R D   B U S   R E V ,   V 7 8 ,   P 1 5 7 ;   H i l l e b r a n d   B ,   2 0 0 3 ,   J   B U S   R E S ,   V 5 6 ,   P 7 3 5 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 8 - 2 9 6 3 ( 0 1 ) 0 0 2 5 8 - 2 ;   K a t z y   B ,   2 0 1 3 ,   T E C H N O L   A N A L   S T R A T E G ,   V 2 5 ,   P 2 9 5 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 3 7 3 2 5 . 2 0 1 3 . 7 6 4 9 8 2 ;   K a t z y   B R ,   2 0 0 8 ,   T E C H N O V A T I O N ,   V 2 8 ,   P 6 7 9 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 0 7 . 1 1 . 0 0 3 ;   K u a n g   D . ,   2 0 1 1 ,   P   2 2   I N T   J O I N T   C   A R T ,   V 3 ,   P 2 4 6 4 ;   K u l k a r n i   A ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 2 8 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 7 2 ;   K u r t z b e r g   T R ,   2 0 0 5 ,   C R E A T I V I T Y   R E S   J ,   V 1 7 ,   P 5 1 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 6 9 3 4 c r j 1 7 0 1 _ 5 ;   L a p p a s   T ,   2 0 0 9 ,   K D D - 0 9 :   1 5 T H   A C M   S I G K D D   C O N F E R E N C E   O N   K N O W L E D G E   D I S C O V E R Y   A N D   D A T A   M I N I N G ,   P 4 6 7 ;   L o p e z - V e g a   H . ,   2 0 0 9 ,   C O N N E C T I N G   O P E N   C L O S ;   M a n n i n g   C .   D . ,   2 0 0 8 ,   I N T R O   I N F O R M   R E T R I E V ,   V 1 ;   M c D o n o u g h   E F ,   2 0 0 1 ,   J   P R O D   I N N O V A T   M A N A G ,   V 1 8 ,   P 1 1 0 ,   D O I   1 0 . 1 0 1 6 / S 0 7 3 7 - 6 7 8 2 ( 0 0 ) 0 0 0 7 3 - 4 ;   M o w s h o w i t z   A ,   1 9 9 7 ,   C O M M U N   A C M ,   V 4 0 ,   P 3 0 ,   D O I   1 0 . 1 1 4 5 / 2 6 0 7 5 0 . 2 6 0 7 5 9 ;   O S I N S K I   S ,   2 0 0 5 ,   A D V   W E B   I N T E L L I G E N C E ,   V 3 5 2 8 ,   P 4 3 9 ,   D O I   1 0 . 1 0 0 7 / 1 1 4 9 5 7 7 2 _ 6 8 ;   P i s a n o   G P ,   2 0 0 8 ,   H A R V A R D   B U S   R E V ,   V 8 6 ,   P 7 8 ;   P o d g o r e l e c   V . ,   2 0 0 6 ,   P   I N T   C   K N O W L   M A N   O R ;   R o x a s   S A ,   2 0 1 1 ,   T E C H N O L   A N A L   S T R A T E G ,   V 2 3 ,   P 7 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 3 7 3 2 5 . 2 0 1 1 . 5 3 7 0 8 5 ;   S h u   G ,   2 0 0 7 ,   A D V   E N G   S O F T W ,   V 3 8 ,   P 5 9 ,   D O I   1 0 . 1 0 1 6 / j . a d v e n g s o f t . 2 0 0 6 . 0 5 . 0 0 4 ;   S i n g h   N . ,   1 9 9 3 ,   R E P O R T L O G I C 9 3 4   S T A N F ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   T s e k o u r a s   G ,   2 0 1 3 ,   T E C H N O L   A N A L   S T R A T E G ,   V 2 5 ,   P 2 5 7 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 3 7 3 2 5 . 2 0 1 3 . 7 6 4 9 8 5 ;   V a c u l i n   R . ,   2 0 1 0 ,   P   W O R K S H   L A R G   S C A L   I ;   W i   H ,   2 0 0 9 ,   E X P E R T   S Y S T   A P P L ,   V 3 6 ,   P 9 1 2 1 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 0 8 . 1 2 . 0 3 1 ;   Y u e n   M . - C . ,   2 0 1 1 ,   P   3   I E E E   I N T   C   S O C   C ,   P 7 6 6 ;   Z e n g   S X ,   2 0 1 0 ,   T E C H N O V A T I O N ,   V 3 0 ,   P 1 8 1 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 0 9 . 0 8 . 0 0 3 	 5 4 	 0 	 0 	 R O U T L E D G E   J O U R N A L S ,   T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X F O R D S H I R E ,   E N G L A N D 	 0 9 5 3 - 7 3 2 5 	 1 4 6 5 - 3 9 9 0 	 	 T E C H N O L   A N A L   S T R A T E G 	 T e c h n o l .   A n a l .   S t r a t e g .   M a n a g e . 	 J U L 	 2 0 1 4 	 2 6 	 6 	 	 	 S I 	 	 6 8 7 	 7 0 2 	 	 1 0 . 1 0 8 0 / 0 9 5 3 7 3 2 5 . 2 0 1 4 . 9 2 3 0 9 5 	 	 1 6 	 M a n a g e m e n t ;   M u l t i d i s c i p l i n a r y   S c i e n c e s 	 B u s i n e s s   &   E c o n o m i c s ;   S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 A K 1 R K 	 W O S : 0 0 0 3 3 8 1 9 3 2 0 0 0 0 7 	 	 
 J 	 C h e n ,   X ;   Y a n g ,   X N 	 	 	 	 C h e n ,   X i a n g ;   Y a n g ,   X i n i n g 	 	 	 D o e s   f o o d   e n v i r o n m e n t   i n f l u e n c e   f o o d   c h o i c e s ?   A   g e o g r a p h i c a l   a n a l y s i s   t h r o u g h   " t w e e t s " 	 A P P L I E D   G E O G R A P H Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 F o o d   a c c e s s ;   F o o d   e n v i r o n m e n t ;   S p a c e - t i m e ;   T w i t t e r ;   S o c i a l   m e d i a ;   V G I 	 N E I G H B O R H O O D   C H A R A C T E R I S T I C S ;   S O C I O E C O N O M I C   I N E Q U A L I T I E S ;   A C C E S S ;   D E S E R T S ;   A V A I L A B I L I T Y ;   C O M M U N I T I E S ;   E X P O S U R E ;   O B E S I T Y ;   S T O R E S ;   A C C E S S I B I L I T Y 	 A c c e s s   t o   n u t r i t i o u s   f o o d   i s   i m p e r a t i v e   t o   p h y s i c a l   w e l l - b e i n g   a n d   q u a l i t y   o f   l i f e .   P r e v i o u s   f o o d   e n v i r o n m e n t   s t u d i e s   h a v e   r e v e a l e d   a   d i s p a r i t y   o f   a c c e s s   t o   h e a l t h f u l   f o o d   o n   v a r i o u s   g e o g r a p h i c a l   s c a l e s .   A n   o v e r l o o k e d   f a c e t   o f   t h i s   s p a t i a l   p e r s p e c t i v e   i s   t h e   i m p a c t   o f   t h e   f o o d   e n v i r o n m e n t   a t   t h e   i n d i v i d u a l   l e v e l .   I n d i v i d u a l s   t e n d   t o   m a k e   d i v e r s e   f o o d   p u r c h a s i n g   a n d   d i n i n g   c h o i c e s ,   i n c l u d i n g   w h e r e ,   w h e n ,   h o w ,   a n d   w h i c h   t y p e s   o f   f o o d   t o   a c q u i r e .   A n   u n e x p l o r e d   a v e n u e   f o r   f u r t h e r   i n v e s t i g a t i o n   i s   m e a s u r i n g   t h e   e x t e n t   t o   w h i c h   p e o p l e ' s   p r e f e r e n c e   f o r   f o o d   i s   e l i c i t e d   b y   e x p o s u r e   t o   t h e i r   i m m e d i a t e   f o o d   e n v i r o n m e n t .   T h i s   p a p e r   t a k e s   a n   i n n o v a t i v e   a p p r o a c h   t o   t h i s   q u e s t i o n   b y   s o l i c i t i n g   i n d i v i d u a l   d a t a   a b o u t   f o o d - r e l a t e d   a c t i v i t i e s   f r o m   s o c i a l   m e d i a ,   o r   s p e c i f i c a l l y ,   " t w e e t s "   ( m e s s a g e s   s e n t   o n   T w i t t e r ) .   W i t h   s p a t i o t e m p o r a l l y   t a g g e d   i n f o r m a t i o n ,   t w e e t s   p r o v i d e   a n   i d e a l   m e t h o d   f o r   m e a s u r i n g   t h e   e x p o s u r e   t o   t h e   f o o d   e n v i r o n m e n t   i n   r e a l   t i m e .   T h i s   m e a s u r e ,   a s   a   r e p r e s e n t a t i v e   o f   i n d i v i d u a l   f o o d   a c c e s s ,   i s   a s s o c i a t e d   w i t h   u s e r s '   p a r t i c u l a r   d i e t   c h o i c e s   c o n v e y e d   i n   t h e i r   t w e e t s .   B y   c o m p a r i n g   g r o u p s   o f   T w i t t e r   u s e r s   w h o   s h o p   i n   g r o c e r y   s t o r e s   t o   t h o s e   w h o   d i n e   a t   f a s t   f o o d   r e s t a u r a n t s ,   w e   f o u n d   t h a t   t h e   p r e v a l e n c e   o f   g r o c e r y   s t o r e s   t h a t   s t o c k   f r e s h   p r o d u c e   w i t h i n   a n   i n d i v i d u a l ' s   n e i g h b o r h o o d   m a y   s i g n i f i c a n t l y   i n f l u e n c e   h i m   o r   h e r   t o   m a k e   n u t r i t i o u s   f o o d   c h o i c e s .   T h i s   s t u d y   h a s   a   g r e a t   p o t e n t i a l   t o   i n f o r m   h e a l t h   p r o f e s s i o n a l s   a n d   s t a k e h o l d e r s   o f   t h e   s i g n i f i c a n c e   o f   s o c i a l   m e d i a   i n   a s s i s t i n g   w i t h   c r o w d s o u r c i n g   h u m a n   s u b j e c t   d a t a   t h a t   i n c o r p o r a t e   s p a t i o t e m p o r a l   d i m e n s i o n s   a n d   t o   e x p l o r e   i n d i v i d u a l   d i e t s   i n   r e l a t i o n   t o   t h e i r   p e r c e i v e d   f o o d   e n v i r o n m e n t ,   w h i c h   c a n   p o s i t i v e l y   i m p a c t   t h e   h e a l t h   o f   c o m m u n i t i e s .   ( C )   2 0 1 4   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ C h e n ,   X i a n g ]   O h i o   S t a t e   U n i v ,   C t r   U r b a n   &   R e g   A n a l ,   C o l u m b u s ,   O H   4 3 2 1 0   U S A ;   O h i o   S t a t e   U n i v ,   D e p t   G e o g ,   C o l u m b u s ,   O H   4 3 2 1 0   U S A 	 C h e n ,   X   ( r e p r i n t   a u t h o r ) ,   O h i o   S t a t e   U n i v ,   C t r   U r b a n   &   R e g   A n a l ,   C o l u m b u s ,   O H   4 3 2 1 0   U S A . 	 c h e n . 1 6 1 6 @ o s u . e d u 	 	 	 	 	 A l g e r t   J . ,   2 0 0 6 ,   A M   J   P R E V   M E D ,   V 3 0 ,   P 3 6 5 ;   A p p a r i c i o   P . ,   2 0 0 7 ,   I N T   J   H L T H   G E O G R A P H I ,   V 6 ;   A r r i b a s - B e l   D ,   2 0 1 4 ,   A P P L   G E O G R ,   V 4 9 ,   P 4 5 ,   D O I   1 0 . 1 0 1 6 / j . a p g e o g . 2 0 1 3 . 0 9 . 0 1 2 ;   B a l l   K ,   2 0 0 9 ,   H E A L T H   P L A C E ,   V 1 5 ,   P 5 7 8 ,   D O I   1 0 . 1 0 1 6 / j . h e a l t h p l a c e . 2 0 0 8 . 0 9 . 0 1 0 ;   B a l l   K ,   2 0 0 6 ,   P U B L I C   H E A L T H   N U T R ,   V 9 ,   P 6 2 3 ,   D O I   1 0 . 1 0 7 9 / P H N 2 0 0 5 8 9 7 ;   B e r g   N . ,   2 0 0 8 ,   I n t e r n a t i o n a l   J o u r n a l   o f   B e h a v i o u r a l   a n d   H e a l t h c a r e   R e s e a r c h ,   V 1 ,   P 2 2 ;   B l o c k   D ,   2 0 0 6 ,   P U B L I C   H E A L T H   N U T R ,   V 9 ,   P 8 3 7 ,   D O I   1 0 . 1 0 1 7 / P H N 2 0 0 5 9 2 4 ;   B u r d e t t e   H L ,   2 0 0 4 ,   P R E V   M E D ,   V 3 8 ,   P 5 7 ,   D O I   1 0 . 1 0 1 6 / j . y p m e d . 2 0 0 3 . 0 9 . 0 2 9 ;   C h a i x   B ,   2 0 1 3 ,   H E A L T H   P L A C E ,   V 2 1 ,   P 4 6 ,   D O I   1 0 . 1 0 1 6 / j . h e a l t h p l a c e . 2 0 1 3 . 0 1 . 0 0 3 ;   C h e n   X ,   2 0 1 3 ,   A P P L   G E O G R ,   V 4 3 ,   P 8 1 ,   D O I   1 0 . 1 0 1 6 / j . a p g e o g . 2 0 1 3 . 0 5 . 0 1 2 ;   C h e n   X ,   2 0 1 2 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 6 ,   P 9 4 1 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 6 . 2 0 1 1 . 6 2 4 5 2 0 ;   C h e w   C . ,   2 0 1 0 ,   P L O S   O N E ,   V 5 ;   C l a r k e   G ,   2 0 0 2 ,   U R B A N   S T U D ,   V 3 9 ,   P 2 0 4 1 ,   D O I   1 0 . 1 0 8 0 / 0 0 4 2 0 9 8 0 2 2 0 0 0 0 1 1 3 5 3 ;   D r e w n o w s k i   A ,   2 0 0 4 ,   A M   J   C L I N   N U T R ,   V 7 9 ,   P 6 ;   D r i s k e l l   J A ,   2 0 0 6 ,   N U T R   R E S ,   V 2 6 ,   P 5 2 4 ,   D O I   1 0 . 1 0 1 6 / j . n u t r e s . 2 0 0 6 . 0 9 . 0 0 3 ;   E h r e n b e r g   R . ,   2 0 1 2 ,   S C I   N E W S ,   V 1 8 1 ;   F e r r i d a y   D ,   2 0 0 8 ,   B R I T   J   N U T R ,   V 1 0 0 ,   P 1 3 2 5 ,   D O I   1 0 . 1 0 1 7 / S 0 0 0 7 1 1 4 5 0 8 9 7 8 2 9 6 ;   G l a n z   K . ,   1 9 9 8 ,   J   A M   D I E T   A S S O C ,   V 9 8 ,   P 1 1 1 8 ;   G l a n z   K ,   2 0 0 7 ,   A M   J   P R E V   M E D ,   V 3 2 ,   P 2 8 2 ,   D O I   1 0 . 1 0 1 6 / j . a m e p r e . 2 0 0 6 . 1 2 . 0 1 9 ;   G L A N Z   K ,   1 9 9 3 ,   P R E V   M E D ,   V 2 2 ,   P 3 7 3 ,   D O I   1 0 . 1 0 0 6 / p m e d . 1 9 9 3 . 1 0 3 1 ;   G u y   C .   M . ,   2 0 0 4 ,   I N T   J   C O N S U M   S T U D ,   V 2 8 ,   P 2 2 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 0 - 6 4 3 1 . 2 0 0 3 . 0 0 3 4 0 . x ;   H a l l e t t   L F ,   2 0 1 1 ,   A P P L   G E O G R ,   V 3 1 ,   P 1 2 1 0 ,   D O I   1 0 . 1 0 1 6 / j . a p g e o g . 2 0 1 0 . 0 9 . 0 0 6 ;   H e l l i n g   A ,   2 0 0 3 ,   H O U S   P O L I C Y   D E B A T E ,   V 1 4 ,   P 6 9 ;   H o l s t e n   J . ,   2 0 0 8 ,   P U B L I C   H E A L T H   N U T R ,   V 1 2 ,   P 3 9 7 ;   H u n k e r   H . ,   2 0 0 0 ,   C O L U M B U S   O H I O   P E R S O N ;   J a g o   R . ,   2 0 0 6 ,   J   P H Y S   A C T   H E A L T H ,   V 3 ,   P 2 3 0 ;   J e f f e r y   R . ,   2 0 0 6 ,   I N T   J   B E H A V   N U T R   P H Y ,   V 3 ;   K e s t e n s   Y ,   2 0 1 0 ,   H E A L T H   P L A C E ,   V 1 6 ,   P 1 0 9 4 ,   D O I   1 0 . 1 0 1 6 / j . h e a l t h p l a c e . 2 0 1 0 . 0 6 . 0 1 6 ;   K w a n   M P . ,   2 0 0 4 ,   C A R T O G R A P H I C A ,   V 3 9 ,   P 1 5 ,   D O I   1 0 . 3 1 3 8 / X 2 0 4 - 4 2 2 3 - 5 7 M K - 8 2 7 3 ;   L a r a i a   B A ,   2 0 0 4 ,   P R E V   M E D ,   V 3 9 ,   P 8 6 9 ,   D O I   1 0 . 1 0 1 6 / j . y p m e d . 2 0 0 4 . 0 3 . 0 1 8 ;   L a r s e n   K . ,   2 0 0 8 ,   I N T   J   H L T H   G E O G R A P H I ,   V 7 ;   M c E n t e e   J ,   2 0 1 0 ,   A P P L   G E O G R ,   V 3 0 ,   P 1 6 5 ,   D O I   1 0 . 1 0 1 6 / j . a p g e o g . 2 0 0 9 . 0 5 . 0 0 4 ;   M c K i n n o n   R . ,   2 0 0 9 ,   A M   J   P R E V   M E D ,   V 3 6 ,   P 1 2 4 ;   M i l l e r   H a r v e y ,   2 0 0 7 ,   G E O G R A P H Y   C O M P A S S ,   V 1 ,   P 5 0 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 9 - 8 1 9 8 . 2 0 0 7 . 0 0 0 2 5 . x ;   M i t c h e l l   L . ,   2 0 1 3 ,   P L O S   O N E ,   V 8 ;   M o c a n u   D . ,   2 0 1 3 ,   P L O S   O N E ,   V 8 ;   M o o r e   L V ,   2 0 0 6 ,   A M   J   P U B L I C   H E A L T H ,   V 9 6 ,   P 3 2 5 ,   D O I   1 0 . 2 1 0 5 / A J P H . 2 0 0 4 . 0 5 8 0 4 0 ;   M o r l a n d   K ,   2 0 0 6 ,   A M   J   P R E V   M E D ,   V 3 0 ,   P 3 3 3 ,   D O I   1 0 . 1 0 1 6 / j . a m e p r e . 2 0 0 5 . 1 1 . 0 0 3 ;   M u l a n g u   F . ,   2 0 1 2 ,   J   E X T E N S I O N ,   V 5 0 ;   P a e z   A ,   2 0 1 0 ,   U R B A N   S T U D ,   V 4 7 ,   P 1 4 1 5 ,   D O I   1 0 . 1 1 7 7 / 0 0 4 2 0 9 8 0 0 9 3 5 3 6 2 6 ;   P e a r c e   J ,   2 0 0 6 ,   J   E P I D E M I O L   C O M M U N   H ,   V 6 0 ,   P 3 8 9 ,   D O I   1 0 . 1 1 3 6 / j . j e c h . 2 0 0 5 . 0 4 3 2 8 1 ;   P o w e l l   L M ,   2 0 0 7 ,   P R E V   M E D ,   V 4 4 ,   P 1 8 9 ,   D O I   1 0 . 1 0 1 6 / j . y p m e d . 2 0 0 6 . 0 8 . 0 0 8 ;   R a j a   S ,   2 0 0 8 ,   J   P L A N   E D U C   R E S ,   V 2 7 ,   P 4 6 9 ,   D O I   1 0 . 1 1 7 7 / 0 7 3 9 4 5 6 X 0 8 3 1 7 4 6 1 ;   R e i s i g   V .   M .   T . ,   2 0 0 0 ,   H e a l t h   E d u c a t i o n   J o u r n a l ,   V 5 9 ,   P 1 3 7 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 7 8 9 6 9 0 0 0 5 9 0 0 2 0 3 ;   R o b i l l a r d   J . ,   2 0 1 3 ,   P L O S   O N E   P L O S   O N E ,   V 8 ;   S h a w   H J ,   2 0 0 6 ,   G E O G R   A N N   B ,   V 8 8 B ,   P 2 3 1 ,   D O I   1 0 . 1 1 1 1 / j . 0 4 3 5 - 3 6 8 4 . 2 0 0 6 . 0 0 2 1 7 . x ;   S i m m o n s   D ,   2 0 0 5 ,   I N T   J   O B E S I T Y ,   V 2 9 ,   P 7 0 3 ,   D O I   1 0 . 1 0 3 8 / s j . i j o . 0 8 0 2 9 4 1 ;   S m i t h   A a r o n ,   2 0 1 2 ,   T W I T T E R   U S E   2 0 1 2 ;   S m i t h   C ,   2 0 0 9 ,   J   N U T R   E D U C   B E H A V ,   V 4 1 ,   P 1 7 6 ,   D O I   1 0 . 1 0 1 6 / j . j n e b . 2 0 0 8 . 0 6 . 0 0 8 ;   U S D A ,   2 0 0 9 ,   A C C   A F F   N U T R   F O O D   M E ;   W a l k e r   R . ,   2 0 1 2 ,   I N T   J   B E H A V   N U T R   P H Y ,   V 9 ;   W a l k e r   R E ,   2 0 1 1 ,   J   M I X   M E T H O D   R E S ,   V 5 ,   P 2 4 7 ,   D O I   1 0 . 1 1 7 7 / 1 5 5 8 6 8 9 8 1 1 4 1 2 9 7 1 ;   W r i g l e y   N ,   2 0 0 2 ,   U R B A N   S T U D ,   V 3 9 ,   P 2 0 6 1 ,   D O I   1 0 . 1 0 8 0 / 0 0 4 2 0 9 8 0 2 2 0 0 0 0 1 1 3 6 2 	 5 3 	 1 	 1 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 0 1 4 3 - 6 2 2 8 	 1 8 7 3 - 7 7 3 0 	 	 A P P L   G E O G R 	 A p p l .   G e o g r . 	 J U L 	 2 0 1 4 	 5 1 	 	 	 	 	 	 8 2 	 8 9 	 	 1 0 . 1 0 1 6 / j . a p g e o g . 2 0 1 4 . 0 4 . 0 0 3 	 	 8 	 G e o g r a p h y 	 G e o g r a p h y 	 A J 7 E H 	 W O S : 0 0 0 3 3 7 8 5 9 5 0 0 0 0 9 	 	 
 J 	 P a r k e r ,   C J ;   M a y ,   A ;   M i t c h e l l ,   V 	 	 	 	 P a r k e r ,   C h r i s t o p h e r   J . ;   M a y ,   A n d r e w ;   M i t c h e l l ,   V a l 	 	 	 U s e r - c e n t r e d   d e s i g n   o f   n e o g e o g r a p h y :   t h e   i m p a c t   o f   v o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n   o n   u s e r s '   p e r c e p t i o n s   o f   o n l i n e   m a p   ' m a s h u p s ' 	 E R G O N O M I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 i n f o r m a t i o n ;   a c c e s s ;   t r u s t ;   h u m a n   f a c t o r s ;   c r o w d s o u r c i n g 	 C O G N I T I V E   A U T H O R I T Y ;   W E B ;   Q U A L I T Y ;   C R E D I B I L I T Y ;   J U D G M E N T ;   T O U R I S M ;   V G I 	 T h i s   p a p e r   i n v e s t i g a t e s   t h e   i n f l u e n c e   o f   p r e s e n t i n g   v o l u n t e e r e d   a n d   p r o f e s s i o n a l l y   c r e a t e d   g e o g r a p h i c   i n f o r m a t i o n   t o   1 0 1   w h e e l c h a i r   u s e r s   t h r o u g h   a n   i n t e r a c t i v e   w e b s i t e   t h a t   i n c l u d e d   i n f o r m a t i o n   c o l l e c t e d   b y   w h e e l c h a i r - u s i n g   v o l u n t e e r s .   T h e   a i m   o f   t h i s   e x p e r i m e n t   w a s   t o   u n d e r s t a n d   t h e   i n f l u e n c e   t h a t   ( 1 )   k n o w i n g   a   m a p - b a s e d   w e b s i t e   c o n t a i n s   v o l u n t e e r e d   i n f o r m a t i o n   a n d   ( 2 )   a c t u a l l y   i n c l u d i n g   v o l u n t e e r e d   i n f o r m a t i o n   w i t h i n   a n   o n l i n e   i n t e r a c t i v e   m a p   ( a   m a s h u p )   h a v e   o n   t h e   p e r c e i v e d   t r u s t   o f   t h e   u s e r ,   d e s c r i b e d   i n   t e r m s   o f   q u a l i t y   a n d   a u t h o r i t y .   A n a l y s i s   u s i n g   K r u s k a l - W a l l i s   s h o w e d   t h a t   j u d g e m e n t s   o f   c u r r e n c y   w e r e   i n f l u e n c e d   b y   i n c l u d i n g   g e o - i n f o r m a t i o n   f r o m   u n t r a i n e d   v o l u n t e e r s   ( v o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n )   w i t h i n   t h e   m a s h u p ,   b u t   n o t   i n f l u e n c e d   b y   t h e   p a r t i c i p a n t   b e i n g   t o l d   t h a t   t h e   o n l i n e   m a p   c o n t a i n e d   v o l u n t e e r e d   i n f o r m a t i o n .   T h e   p a r t i c i p a n t s   a p p e a r e d   t o   m a k e   j u d g e m e n t s   b a s e d   o n   w h a t   i n f o r m a t i o n   t h e y   s a w ,   r a t h e r   t h a n   w h a t   t h e y   w e r e   t o l d   a b o u t   t h e   s o u r c e   o f   t h e   i n f o r m a t i o n .   P r a c t i t i o n e r   S u m m a r y :   S i n c e   2 0 0 4 ,   i n f o r m a t i o n   s e r v i c e s   h a v e   c o m b i n e d   c r o w d s o u r c e d   ( v o l u n t e e r e d )   a l o n g s i d e   p r o f e s s i o n a l   i n f o r m a t i o n   w i t h i n   o n l i n e   i n t e r a c t i v e   m a p s .   A n   o n l i n e   e x p e r i m e n t   p r e s e n t e d   b o t h   o f   t h e s e   i n f o r m a t i o n   t y p e s   t o   w h e e l c h a i r   u s e r s   w i t h i n   a   t r a v e l   c o n t e x t .   I n c l u d i n g   v o l u n t e e r e d   i n f o r m a t i o n   w a s   s h o w n   t o   i n c r e a s e   t h e   p e r c e p t i o n s   o f   h o w   u p - t o - d a t e   t h e   m a p s   w e r e . 	 [ P a r k e r ,   C h r i s t o p h e r   J . ;   M a y ,   A n d r e w ;   M i t c h e l l ,   V a l ]   U n i v   L o u g h b o r o u g h ,   L o u g h b o r o u g h   D e s i g n   S c h ,   L o u g h b o r o u g h ,   L e i c s ,   E n g l a n d 	 P a r k e r ,   C J   ( r e p r i n t   a u t h o r ) ,   U n i v   M a n c h e s t e r ,   S c h   M a t ,   D e p t   D e s i g n   F a s h   &   B u s i n e s s ,   M a n c h e s t e r ,   L a n c s ,   E n g l a n d . 	 C h r i s t o p h e r . P a r k e r @ m a n c h e s t e r . a c . u k 	 	 	 I d e a s   i n   T r a n s i t   p r o j e c t ;   U K   g o v e r n m e n t   v i a   t h e   E n g i n e e r i n g   a n d   P h y s i c a l   S c i e n c e s   R e s e a r c h   C o u n c i l ;   T e c h n o l o g y   S t r a t e g y   B o a r d ;   D e p a r t m e n t   f o r   T r a n s p o r t 	 T h i s   s t u d y   w a s   u n d e r t a k e n   a s   p a r t   o f   a   P h D   a t   L o u g h b o r o u g h   U n i v e r s i t y   D e s i g n   S c h o o l   u n d e r   t h e   a u s p i c e s   o f   t h e   I d e a s   i n   T r a n s i t   p r o j e c t   ( w w w . i d e a s i n t r a n s i t . o r g ) ,   w h i c h   w a s   f u n d e d   b y   t h e   U K   g o v e r n m e n t   v i a   t h e   E n g i n e e r i n g   a n d   P h y s i c a l   S c i e n c e s   R e s e a r c h   C o u n c i l ,   t h e   T e c h n o l o g y   S t r a t e g y   B o a r d   a n d   t h e   D e p a r t m e n t   f o r   T r a n s p o r t . 	 B A I N B R I D G E   L ,   1 9 8 3 ,   A U T O M A T I C A ,   V 1 9 ,   P 7 7 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 0 5 - 1 0 9 8 ( 8 3 ) 9 0 0 4 6 - 8 ;   B i c h a r d   J o - A n n e ,   2 0 1 2 ,   G R E A T   B R I T   P U B L I C   T O ;   B i s h r   M o h a m e d ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 2 2 9 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 8 2 - 4 ;   C a r d o n h a   C a r l o s ,   2 0 1 3 ,   P   1 0   I N T   C R O S S   D I S C ,   P 2 6 ;   C o l l i n s   J . ,   2 0 0 6 ,   J   C O M P U T I N G   S C I   C O L L ,   V 2 1 ,   P 1 6 ;   C r o n e   G R ,   1 9 6 8 ,   M A P S   T H E I R   M A K E R S   I N ;   J a c k s o n   S t e v e n   P . ,   2 0 1 3 ,   I n t e r n a t i o n a l   J o u r n a l   o f   G e o - I n f o r m a t i o n ,   V 2 ,   D O I   1 0 . 3 3 9 0 / i j g i 2 0 2 0 5 0 7 ;   D a s   T . ,   2 0 1 1 ,   P   2 5   I N T   C A R T   C   1 5   G ,   P 1 ;   D W P ,   2 0 1 2 ,   F A M   R E S   S U R V   2 0 1 0   1 1 ;   F l a n a g i n   A . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 3 7 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 8 8 - Y ;   F o g g   B J ,   1 9 9 9 ,   P   S I G C H I   C   H U M   F A C T ,   P 8 0 ,   D O I   1 0 . 1 1 4 5 / 3 0 2 9 7 9 . 3 0 3 0 0 1 ;   F o g g   B . J . ,   2 0 0 1 ,   C H I   2 0 0 1 ,   P 2 9 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 6 3 4 0 6 7 . 6 3 4 2 4 2 ;   F r i c k   A ,   2 0 0 1 ,   D I M E N S I O N S   I N T E R N E T ,   P 2 0 9 ;   G i t e l s o n   R .   J . ,   1 9 8 3 ,   J o u r n a l   o f   T r a v e l   R e s e a r c h ,   V 2 1 ,   P 2 ,   D O I   1 0 . 1 1 7 7 / 0 0 4 7 2 8 7 5 8 3 0 2 1 0 0 3 0 1 ;   G o o d c h i l d   M F ,   2 0 0 8 ,   P R O C E E D I N G S   O F   T H E   8 T H   I N T E R N A T I O N A L   S Y M P O S I U M   O N   S P A T I A L   A C C U R A C Y   A S S E S S M E N T   I N   N A T U R A L   R E S O U R C E S   A N D   E N V I R O N M E N T A L   S C I E N C E S ,   V O L   I ,   P 1 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G o t h   G ,   2 0 1 3 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 7 ,   P 7 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 3 . 1 8 ;   G u i l f o r d   J P ,   1 9 5 6 ,   F U N D A M E N T A L   S T A T   P S Y ;   H a k l a y   M ,   2 0 1 0 ,   E N V I R O N   P L A N N   B ,   V 3 7 ,   P 6 8 2 ,   D O I   1 0 . 1 0 6 8 / b 3 5 0 9 7 ;   H a l l   M ,   2 0 0 7 ,   M A R K   W I L L   D E M O C R A C Y ;   H a r a   K o t a r o ,   2 0 1 3 ,   P   S I G C H I   C   H U M   F A C T ,   P 6 3 1 ;   H a w k i n s   D I ,   1 9 9 5 ,   C O N S U M E R   B E H A V   I M P L I ;   I d r i s   N H ,   2 0 1 1 ,   I N T   C   H U M   S O C   S C I   S C ,   P 1 ;   I d r i s   N H ,   2 0 1 1 ,   P   1 9   G I S   R E S   U K   A N N ,   P 1 1 9 ;   J o h n s o n   C W ,   2 0 1 4 ,   E R G O N O M I C S ,   V 5 7 ,   P 4 1 9 ,   D O I   1 0 . 1 0 8 0 / 0 0 1 4 0 1 3 9 . 2 0 1 3 . 8 1 2 7 4 9 ;   K e e n   A . ,   2 0 0 7 ,   C U L T   A M A T E U R ;   K e s s l e r   C a r s t e n ,   2 0 1 1 ,   C   S P A T   I N F   T H E O R   C O S ,   P 1 ;   K i n g s b u r y   P ,   2 0 0 9 ,   G E O F O R U M ,   V 4 0 ,   P 5 0 2 ,   D O I   1 0 . 1 0 1 6 / j . g e o f o r u m . 2 0 0 8 . 1 0 . 0 0 2 ;   K l i n e   P . ,   2 0 0 0 ,   H D B   P S Y C H O L   T E S T I N G ;   K o c h   F . ,   2 0 1 3 ,   L E C T   N O T E S   C O M P U T E R ,   V 7 6 8 5 ,   P 5 7 ;   L e h m a n n   E r i c h   L e o ,   1 9 9 8 ,   S T A T   M E T H O D S   B A S E D   R ;   L l a v e s   A . ,   2 0 1 0 ,   D I G   E A R T H   S E A R C H   D I S ,   P 1 ;   M a y   A J ,   2 0 1 3 ,   A P P L   E R G O N ,   V 4 4 ,   P 8 9 5 ,   D O I   1 0 . 1 0 1 6 / j . a p e r g o . 2 0 1 2 . 1 0 . 0 1 2 ;   M a y   A n d r e w   J . ,   2 0 1 2 ,   A P P L   E R G O N ,   V 4 4 ,   P 8 8 6 ;   M u m m i d i   L . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 2 1 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 8 - 9 1 8 1 - 5 ;   N e t w o r k   R a i l ,   2 0 1 1 ,   L O N D   W A T ;   N u n n a l l y   J .   C . ,   1 9 7 8 ,   P S Y C H O M E T R I C   T H E O R Y ;   O a t e s   G e o r g e ,   2 0 0 8 ,   W O R L D   B A C K ;   O S M ,   2 0 1 2 ,   O P E N S T R E E T M A P   S T A T S ;   P a l l a n t   J . ,   2 0 1 0 ,   S P S S   S U R V I V A L   M A N U A L ;   P a r k e r   C J ,   2 0 1 2 ,   T   G I S ,   V 1 6 ,   P 5 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 2 . 0 1 3 0 2 . x ;   P a r k e r   C J ,   2 0 1 3 ,   D E S   J ,   V 1 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 2 / 1 7 5 6 3 0 6 1 3 X 1 3 5 8 4 3 6 7 9 8 4 9 4 7 ;   P e r l a   R o c c o   J . ,   2 0 0 7 ,   J   S O C I A L   S C I ,   V 3 ,   P 1 0 6 ,   D O I   D O I   1 0 . 3 8 4 4 / J S S P . 2 0 0 7 . 1 0 6 . 1 1 6 ;   Q u a r a n t e l l i   E .   L . ,   1 9 7 8 ,   D I S A S T E R S   T H E O R Y   R E S ,   P 1 4 7 ;   R a y   N M ,   2 0 0 3 ,   T O U R I S M   M A N A G E ,   V 2 4 ,   P 5 7 ,   D O I   1 0 . 1 0 1 6 / S 0 2 6 1 - 5 1 7 7 ( 0 2 ) 0 0 0 3 7 - 7 ;   R E Y N A   V F ,   1 9 9 5 ,   L E A R N   I N D I V I D   D I F F E R ,   V 7 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / 1 0 4 1 - 6 0 8 0 ( 9 5 ) 9 0 0 3 1 - 4 ;   R i c k e r   B A ,   2 0 1 3 ,   J   S U S T A I N   T O U R ,   V 2 1 ,   P 2 1 2 ,   D O I   1 0 . 1 0 8 0 / 0 9 6 6 9 5 8 2 . 2 0 1 2 . 6 9 9 0 5 9 ;   R i e h   S Y ,   2 0 0 2 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 3 ,   P 1 4 5 ,   D O I   1 0 . 1 0 0 2 / a s i . 1 0 0 1 7 . a b s ;   R i e h   S Y ,   2 0 0 0 ,   P   A S I S   A N N ,   V 3 7 ,   P 2 5 ;   R o b i n s   D ,   2 0 0 8 ,   I N F O R M   P R O C E S S   M A N A G ,   V 4 4 ,   P 3 8 6 ,   D O I   1 0 . 1 0 1 6 / j . i p m . 2 0 0 7 . 0 2 . 0 0 3 ;   R O T T E R   J B ,   1 9 6 7 ,   J   P E R S ,   V 3 5 ,   P 6 5 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 6 4 9 4 . 1 9 6 7 . t b 0 1 4 5 4 . x ;   S c h u e t t   M .   A . ,   1 9 9 3 ,   J o u r n a l   o f   P a r k   a n d   R e c r e a t i o n   A d m i n i s t r a t i o n ,   V 1 1 ,   P 6 7 ;   S o u t h e a s t e r n ,   2 0 1 1 ,   G R E E N W ;   T a b a c h n i c k   B .   G . ,   2 0 0 1 ,   U S I N G   M U L T I V A R I A T E   S ;   T a v a k o l   M ,   2 0 1 1 ,   I N T   J   M E D   E D ,   V 2 ,   P 5 3 ,   D O I   [ D O I   1 0 . 5 1 1 6 / I J M E . 4 D F B . 8 D F D ,   1 0 . 5 1 1 6 / i j m e . 4 d f b . 8 d f d ] ;   T F L ,   2 0 1 1 ,   T R A N S P   A C C   B U S ;   T i l l o t s o n   J ,   2 0 0 2 ,   O N L I N E   I N F O R M   R E V ,   V 2 6 ,   P 3 9 2 ,   D O I   1 0 . 1 1 0 8 / 1 4 6 8 4 5 2 0 2 1 0 4 5 2 7 2 7 ;   W a t h e n   C N ,   2 0 0 2 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 3 ,   P 1 3 4 ,   D O I   1 0 . 1 0 0 2 / a s i . 1 0 0 1 6 ;   W e a i t   R i c h a r d ,   2 0 1 1 ,   O P E N S T R E E T M A P   U S E D   T ;   W o o d   H a r r y ,   2 0 1 2 ,   A P P L   M A P S ;   Y a a r i   E ,   2 0 1 1 ,   J   I N F   S C I ,   V 3 7 ,   P 4 8 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 1 4 1 6 0 6 5 	 6 1 	 0 	 0 	 T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X O N ,   E N G L A N D 	 0 0 1 4 - 0 1 3 9 	 1 3 6 6 - 5 8 4 7 	 	 E R G O N O M I C S 	 E r g o n o m i c s 	 J U L 	 2 0 1 4 	 5 7 	 7 	 	 	 	 	 9 8 7 	 9 9 7 	 	 1 0 . 1 0 8 0 / 0 0 1 4 0 1 3 9 . 2 0 1 4 . 9 0 9 9 5 0 	 	 1 1 	 E n g i n e e r i n g ,   I n d u s t r i a l ;   E r g o n o m i c s ;   P s y c h o l o g y ,   A p p l i e d ;   P s y c h o l o g y 	 E n g i n e e r i n g ;   P s y c h o l o g y 	 A J 8 N L 	 W O S : 0 0 0 3 3 7 9 6 2 1 0 0 0 0 3 	 2 4 8 2 7 0 7 0 	 
 J 	 D e   C l e r c q ,   O ;   H o s t e ,   V ;   D e s m e t ,   B ;   V a n   O o s t e n ,   P ;   D e   C o c k ,   M ;   M a c k e n ,   L 	 	 	 	 D e   C l e r c q ,   O r p h e e ;   H o s t e ,   V e r o n i q u e ;   D e s m e t ,   B a r t ;   V a n   O o s t e n ,   P h i l i p ;   D e   C o c k ,   M a r t i n e ;   M a c k e n ,   L i e v e 	 	 	 U s i n g   t h e   c r o w d   f o r   r e a d a b i l i t y   p r e d i c t i o n 	 N A T U R A L   L A N G U A G E   E N G I N E E R I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 I N F O R M A T I O N ;   D I F F I C U L T Y ;   L A N G U A G E ;   F O R M U L A S ;   T E X T S 	 W h i l e   h u m a n   a n n o t a t i o n   i s   c r u c i a l   f o r   m a n y   n a t u r a l   l a n g u a g e   p r o c e s s i n g   t a s k s ,   i t   i s   o f t e n   v e r y   e x p e n s i v e   a n d   t i m e - c o n s u m i n g .   I n s p i r e d   b y   p r e v i o u s   w o r k   o n   c r o w d s o u r c i n g ,   w e   i n v e s t i g a t e   t h e   v i a b i l i t y   o f   u s i n g   n o n - e x p e r t   l a b e l s   i n s t e a d   o f   g o l d   s t a n d a r d   a n n o t a t i o n s   f r o m   e x p e r t s   f o r   a   m a c h i n e   l e a r n i n g   a p p r o a c h   t o   a u t o m a t i c   r e a d a b i l i t y   p r e d i c t i o n .   I n   o r d e r   t o   d o   s o ,   w e   e v a l u a t e   t w o   d i f f e r e n t   m e t h o d o l o g i e s   t o   a s s e s s   t h e   r e a d a b i l i t y   o f   a   w i d e   v a r i e t y   o f   t e x t   m a t e r i a l :   A   m o r e   t r a d i t i o n a l   s e t u p   i n   w h i c h   e x p e r t   r e a d e r s   m a k e   r e a d a b i l i t y   j u d g m e n t s   a n d   a   c r o w d s o u r c i n g   s e t u p   f o r   u s e r s   w h o   a r e   n o t   n e c e s s a r i l y   e x p e r t s .   T o   t h i s   p u r p o s e   t w o   a s s e s s m e n t   t o o l s   w e r e   i m p l e m e n t e d :   a   t o o l   w h e r e   e x p e r t   r e a d e r s   c a n   r a n k   a   b a t c h   o f   t e x t s   b a s e d   o n   r e a d a b i l i t y ,   a n d   a   l i g h t w e i g h t   c r o w d s o u r c i n g   t o o l ,   w h i c h   i n v i t e s   u s e r s   t o   p r o v i d e   p a i r w i s e   c o m p a r i s o n s .   T o   v a l i d a t e   t h i s   a p p r o a c h ,   r e a d a b i l i t y   a s s e s s m e n t s   f o r   a   c o r p u s   o f   w r i t t e n   D u t c h   g e n e r i c   t e x t s   w e r e   g a t h e r e d .   B y   c o l l e c t i n g   m u l t i p l e   a s s e s s m e n t s   p e r   t e x t ,   w e   e x p l i c i t l y   w a n t e d   t o   l e v e l   o u t   r e a d e r s '   b a c k g r o u n d   k n o w l e d g e   a n d   a t t i t u d e .   O u r   f i n d i n g s   s h o w   t h a t   t h e   a s s e s s m e n t s   c o l l e c t e d   t h r o u g h   b o t h   m e t h o d o l o g i e s   a r e   h i g h l y   c o n s i s t e n t   a n d   t h a t   c r o w d s o u r c i n g   i s   a   v i a b l e   a l t e r n a t i v e   t o   e x p e r t   l a b e l i n g .   T h i s   i s   a   g o o d   n e w s   a s   c r o w d s o u r c i n g   i s   m o r e   l i g h t w e i g h t   t o   u s e   a n d   c a n   h a v e   a c c e s s   t o   a   m u c h   w i d e r   a u d i e n c e   o f   p o t e n t i a l   a n n o t a t o r s .   B y   p e r f o r m i n g   a   s e t   o f   b a s i c   m a c h i n e   l e a r n i n g   e x p e r i m e n t s   u s i n g   a   f e a t u r e   s e t   t h a t   m a i n l y   e n c o d e s   b a s i c   l e x i c a l   a n d   m o r p h o - s y n t a c t i c   i n f o r m a t i o n ,   w e   f u r t h e r   i l l u s t r a t e   h o w   t h e   c o l l e c t e d   d a t a   c a n   b e   u s e d   t o   p e r f o r m   t e x t   c o m p a r i s o n s   o r   t o   a s s i g n   a n   a b s o l u t e   r e a d a b i l i t y   s c o r e   t o   a n   i n d i v i d u a l   t e x t .   W e   d o   n o t   f o c u s   o n   o p t i m i s i n g   t h e   a l g o r i t h m s   t o   a c h i e v e   t h e   b e s t   p o s s i b l e   r e s u l t s   f o r   t h e   l e a r n i n g   t a s k s ,   b u t   c a r r y   t h e m   o u t   t o   i l l u s t r a t e   t h e   v a r i o u s   p o s s i b i l i t i e s   o f   o u r   d a t a   s e t s .   T h e   r e s u l t s   o n   d i f f e r e n t   d a t a   s e t s ,   h o w e v e r ,   s h o w   t h a t   o u r   s y s t e m   o u t p e r f o r m s   t h e   r e a d a b i l i t y   f o r m u l a s   a n d   a   b a s e l i n e   l a n g u a g e   m o d e l l i n g   a p p r o a c h .   W e   c o n c l u d e   t h a t   r e a d a b i l i t y   a s s e s s m e n t   b y   c o m p a r i n g   t e x t s   i s   a   p o l y v a l e n t   m e t h o d o l o g y ,   w h i c h   c a n   b e   a d a p t e d   t o   s p e c i f i c   d o m a i n s   a n d   t a r g e t   a u d i e n c e s   i f   r e q u i r e d . 	 [ D e   C l e r c q ,   O r p h e e ;   H o s t e ,   V e r o n i q u e ;   D e s m e t ,   B a r t ;   V a n   O o s t e n ,   P h i l i p ;   M a c k e n ,   L i e v e ]   U n i v   C o l l   G h e n t ,   F a c   A p p l   L a n g u a g e   S t u d i e s ,   G h e n t ,   B e l g i u m ;   [ H o s t e ,   V e r o n i q u e ]   U n i v   G h e n t ,   D e p t   L i n g u i s t ,   B - 9 0 0 0   G h e n t ,   B e l g i u m ;   [ D e   C l e r c q ,   O r p h e e ;   D e s m e t ,   B a r t ;   V a n   O o s t e n ,   P h i l i p ;   D e   C o c k ,   M a r t i n e ;   M a c k e n ,   L i e v e ]   U n i v   G h e n t ,   D e p t   A p p l   M a t h   &   C o m p   S c i ,   B - 9 0 0 0   G h e n t ,   B e l g i u m 	 D e   C l e r c q ,   O   ( r e p r i n t   a u t h o r ) ,   U n i v   C o l l   G h e n t ,   F a c   A p p l   L a n g u a g e   S t u d i e s ,   G h e n t ,   B e l g i u m . 	 o r p h e e . d e c l e r c q @ h o g e n t . b e ;   v e r o n i q u e . h o s t e @ h o g e n t . b e ;   b a r t . d e s m e t @ h o g e n t . b e ;   p h i l i p . v a n o o s t e n @ h o g e n t . b e ;   m a r t i n e . d e c o c k @ u g e n t . b e ;   l i e v e . m a c k e n @ h o g e n t . b e 	 	 	 U n i v e r s i t y   C o l l e g e   G h e n t   R e s e a r c h   F u n d   ( t h e   H E N D I   p r o j e c t ) ;   D e p a r t m e n t   o f   E c o n o m y ,   S c i e n c e   a n d   I n n o v a t i o n   o f   t h e   F l e m i s h   G o v e r n m e n t   ( t h e   S t y l e n e   p r o j e c t ) 	 T h i s   r e s e a r c h   w a s   f u n d e d   b y   t h e   U n i v e r s i t y   C o l l e g e   G h e n t   R e s e a r c h   F u n d   ( t h e   H E N D I   p r o j e c t )   a n d   t h e   D e p a r t m e n t   o f   E c o n o m y ,   S c i e n c e   a n d   I n n o v a t i o n   o f   t h e   F l e m i s h   G o v e r n m e n t   ( t h e   S t y l e n e   p r o j e c t ) .   W e   w o u l d   l i k e   t o   t h a n k   t h e   r e v i e w e r s   f o r   t h e i r   i n v a l u a b l e   c o m m e n t s   a n d   i n s i g h t s .   F u r t h e r m o r e ,   w e   t h a n k   e v e r y o n e   w h o   c o n t r i b u t e d   t o   o u r   r e s e a r c h   b y   u s i n g   o u r   w e b   a p p l i c a t i o n s . 	 A n d e r s o n   R .   C . ,   1 9 8 6 ,   3 9 2   U   I L L   U R B   C H A M P ;   B a i l i n   A ,   2 0 0 1 ,   L A N G   C O M M U N ,   V 2 1 ,   P 2 8 5 ,   D O I   1 0 . 1 0 1 6 / S 0 2 7 1 - 5 3 0 9 ( 0 1 ) 0 0 0 0 5 - 2 ;   B e r g e r   A . ,   2 0 0 0 ,   P   2 3   A N N   I N T   A C M   S I G ,   P 1 9 2 ,   D O I   1 0 . 1 1 4 5 / 3 4 5 5 0 8 . 3 4 5 5 7 6 ;   B o u m a   G . ,   2 0 1 2 ,   S E R I E S   T H E O R Y   A P P L   N ,   P 1 4 7 ;   B r o u w e r   R .   H .   M . ,   1 9 6 3 ,   P E D A G O G I S C H E   S T U D I E N ,   V 4 0 ,   P 4 5 4 ;   B u s s e r   B . ,   2 0 0 7 ,   1 7   C O M P   L I N G   N E T H   M ,   P 1 9 1 ;   C a l l a n   J . ,   2 0 0 4 ,   P   H L T   N A A C L   2 0 0 4   B O S ;   C o l l i n s - T h o m p s o n   K ,   2 0 0 5 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 6 ,   P 1 4 4 8 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 0 2 4 3 ;   C O X   E P ,   1 9 8 0 ,   J   M A R K E T I N G   R E S ,   V 1 7 ,   P 4 0 7 ;   D a l e   E ,   1 9 4 8 ,   E D U C   R E S   B U L L ,   V 2 7 ,   P 1 1 ;   D A V I S O N   A ,   1 9 8 2 ,   R E A D   R E S   Q U A R T ,   V 1 7 ,   P 1 8 7 ,   D O I   1 0 . 2 3 0 7 / 7 4 7 4 8 3 ;   D o u m a   W . ,   1 9 6 0 ,   B U L L E T I N ,   V 1 7 ;   D u B a y   W .   H . ,   2 0 0 7 ,   U N L O C K I N G   L A N G U A G E   C ;   D u b a y   W . H . ,   2 0 0 4 ,   P R I N C I P L E S   R E A D A B I L I ;   F e n g   L . ,   2 0 0 9 ,   P   1 2   C   E U R   C H A P T   A C L ,   P 2 2 9 ,   D O I   1 0 . 3 1 1 5 / 1 6 0 9 0 6 7 . 1 6 0 9 0 9 2 ;   F e n g   L . ,   2 0 1 0 ,   P   C O L I N G   2 0 1 0 ,   V 2 3 - 2 7 ,   P 2 7 6 ;   F I N I N   T . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 8 0 ;   F l e s c h   R ,   1 9 4 8 ,   J   A P P L   P S Y C H O L ,   V 3 2 ,   P 2 2 1 ,   D O I   1 0 . 1 0 3 7 / h 0 0 5 7 5 3 2 ;   F r a n c o i s   T . ,   2 0 0 9 ,   P   E A C L   2 0 0 9   S T U D   R E S ;   G r a e s s e r   A C ,   2 0 0 4 ,   B E H A V   R E S   M E T H   I N S   C ,   V 3 6 ,   P 1 9 3 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 5 5 6 4 ;   G u n n i n g   R . ,   1 9 5 2 ,   T E C H N I Q U E   C L E A R   W R I T ;   C h u r c h   K .   W . ,   1 9 9 0 ,   C o m p u t a t i o n a l   L i n g u i s t i c s ,   V 1 6 ;   H e i l m a n   M . ,   2 0 0 8 ,   3   W O R K S H   I N N   U S   N L P ;   H e l b i g   H ,   2 0 0 8 ,   I N F O R M A T I C A ,   V 4 ,   P 4 2 9 ;   H o s t e   V ,   2 0 1 0 ,   T E R M I N O L O G Y ,   V 1 6 ,   P 1 ,   D O I   1 0 . 1 0 7 5 / t e r m . 1 6 . 1 . 0 1 h o s ;   K a t e   R .   J . ,   2 0 1 0 ,   P   2 3   I N T   C   C O M P   L I N G ;   K i n c a i d   J . ,   1 9 7 5 ,   T E C H N I C A L   R E P O R T ;   K r a f   R . ,   2 0 0 9 ,   T I J D S C H R I F T   T A A L B E H E ,   V 3 1 ,   P 9 7 ;   L e r o y   G . ,   2 0 1 1 ,   P   I N T   C   A S   P A C   D I G   L ;   L e r o y   G ,   2 0 1 0 ,   I N T   J   M E D   I N F O R M ,   V 7 9 ,   P 4 3 8 ,   D O I   1 0 . 1 0 1 6 / j . i j m e d i n f . 2 0 1 0 . 0 2 . 0 0 2 ;   M c N a m a r a   D .   S . ,   1 9 9 3 ,   T E C H N I C A L   R E P O R T ;   O r r   D . ,   2 0 0 9 ,   P   2   A C M   I N T   C   W E B   S E ,   P 2 0 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 9 8 7 5 9 . 1 4 9 8 8 2 7 ;   P e t e r s e n   S E ,   2 0 0 9 ,   C O M P U T   S P E E C H   L A N G ,   V 2 3 ,   P 8 9 ,   D O I   1 0 . 1 0 1 6 / j . c s l . 2 0 0 8 . 0 4 . 0 0 3 ;   P i t l e r   E . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 1 8 6 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 4 2 ;   P o e s i o   M . ,   2 0 0 8 ,   P   6   I N T   C   L A N G   R E S   E ;   R a n k i n   E .   F . ,   1 9 5 9 ,   8 T H   Y B   N A T I O N A L   R E A D ,   V 8 ,   P 1 3 1 ;   R a y s o n   P . ,   2 0 0 0 ,   P   W O R K S H   C O M P   C O R P   3 ,   P 1 ,   D O I   1 0 . 3 1 1 5 / 1 6 0 4 6 8 3 . 1 6 0 4 6 8 6 ;   S a l t o n   G . ,   1 9 8 9 ,   A U T O M A T I C   T E X T   P R O C E ;   S c h u u r m a n   I . ,   2 0 1 0 ,   P   7   I N T   C   L A N G   R E S   E ,   P 2 4 7 1 ;   S c h w a r m   S . E . ,   2 0 0 5 ,   P   4 3   A N N   M   A S S   C O M P ,   P 5 2 3 ,   D O I   1 0 . 3 1 1 5 / 1 2 1 9 8 4 0 . 1 2 1 9 9 0 5 ;   S i   L . ,   2 0 0 1 ,   P   1 0   I N T   C   I N F   K N O W L ,   P 5 7 4 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S t a p h o r s i u s   G . ,   1 9 9 4 ,   L E E S B A A R H E I D   L E E S V A A ;   S t a p h o r s i u s   G . ,   1 9 8 5 ,   S P E C I A L I S T I S C H   B ,   V 3 6 ;   S t o l c k e   A . ,   2 0 0 2 ,   P   I N T   C   S P O K   L A N G   P R ;   T a n a k a - I s h i i   K ,   2 0 1 0 ,   C O M P U T   L I N G U I S T ,   V 3 6 ,   P 2 0 3 ,   D O I   1 0 . 1 1 6 2 / c o l i . 0 9 - 0 3 6 - R 2 - 0 8 - 0 5 0 ;   T a n g h e   D ,   2 0 1 0 ,   P   7   I N T   C   L A N G   R E S   E ;   Z e n g - T r e i t l e r   Q ,   2 0 0 8 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 5 ,   P 3 4 9 ,   D O I   1 0 . 1 1 9 7 / j a m i a . M 2 5 9 2 	 4 8 	 0 	 0 	 C A M B R I D G E   U N I V   P R E S S 	 C A M B R I D G E 	 E D I N B U R G H   B L D G ,   S H A F T E S B U R Y   R D ,   C B 2   8 R U   C A M B R I D G E ,   E N G L A N D 	 1 3 5 1 - 3 2 4 9 	 1 4 6 9 - 8 1 1 0 	 	 N A T   L A N G   E N G 	 N a t .   L a n g .   E n g . 	 J U L 	 2 0 1 4 	 2 0 	 3 	 	 	 	 	 2 9 3 	 3 2 5 	 	 1 0 . 1 0 1 7 / S 1 3 5 1 3 2 4 9 1 2 0 0 0 3 4 4 	 	 3 3 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 C o m p u t e r   S c i e n c e ;   L i n g u i s t i c s 	 A J 4 Y R 	 W O S : 0 0 0 3 3 7 6 8 6 8 0 0 0 0 1 	 	 
 J 	 W i l k i n s o n ,   S R ;   A l m e i d a ,   J S 	 	 	 	 W i l k i n s o n ,   S e a n   R . ;   A l m e i d a ,   J o n a s   S . 	 	 	 Q M a c h i n e :   c o m m o d i t y   s u p e r c o m p u t i n g   i n   w e b   b r o w s e r s 	 B M C   B I O I N F O R M A T I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C l o u d   c o m p u t i n g ;   C r o w d s o u r c i n g ;   D i s t r i b u t e d   c o m p u t i n g ;   J a v a S c r i p t ;   M a p R e d u c e ;   P a a S ;   S e q u e n c e   a n a l y s i s ;   W e b   s e r v i c e 	 L I N K E D   O P E N   D A T A ;   S E Q U E N C E 	 B a c k g r o u n d :   O n g o i n g   a d v a n c e m e n t s   i n   c l o u d   c o m p u t i n g   p r o v i d e   n o v e l   o p p o r t u n i t i e s   i n   s c i e n t i f i c   c o m p u t i n g ,   e s p e c i a l l y   f o r   d i s t r i b u t e d   w o r k f l o w s .   M o d e r n   w e b   b r o w s e r s   c a n   n o w   b e   u s e d   a s   h i g h - p e r f o r m a n c e   w o r k s t a t i o n s   f o r   q u e r y i n g ,   p r o c e s s i n g ,   a n d   v i s u a l i z i n g   g e n o m i c s '   " B i g   D a t a "   f r o m   s o u r c e s   l i k e   T h e   C a n c e r   G e n o m e   A t l a s   ( T C G A )   a n d   t h e   I n t e r n a t i o n a l   C a n c e r   G e n o m e   C o n s o r t i u m   ( I C G C )   w i t h o u t   l o c a l   s o f t w a r e   i n s t a l l a t i o n   o r   c o n f i g u r a t i o n .   T h e   d e s i g n   o f   Q M a c h i n e   ( Q M )   w a s   d r i v e n   b y   t h e   o p p o r t u n i t y   t o   u s e   t h i s   p e r v a s i v e   c o m p u t i n g   m o d e l   i n   t h e   c o n t e x t   o f   t h e   W e b   o f   L i n k e d   D a t a   i n   B i o m e d i c i n e .   R e s u l t s :   Q M   i s   a n   o p e n - s o u r c e d ,   p u b l i c l y   a v a i l a b l e   w e b   s e r v i c e   t h a t   a c t s   a s   a   m e s s a g i n g   s y s t e m   f o r   p o s t i n g   t a s k s   a n d   r e t r i e v i n g   r e s u l t s   o v e r   H T T P .   T h e   i l l u s t r a t i v e   a p p l i c a t i o n   d e s c r i b e d   h e r e   d i s t r i b u t e s   t h e   a n a l y s e s   o f   2 0   S t r e p t o c o c c u s   p n e u m o n i a e   g e n o m e s   f o r   s h a r e d   s u f f i x e s .   B e c a u s e   a l l   a n a l y t i c a l   a n d   d a t a   r e t r i e v a l   t a s k s   a r e   e x e c u t e d   b y   v o l u n t e e r   m a c h i n e s ,   f e w   s e r v e r   r e s o u r c e s   a r e   r e q u i r e d .   A n y   m o d e r n   w e b   b r o w s e r   c a n   s u b m i t   t h o s e   t a s k s   a n d / o r   v o l u n t e e r   t o   e x e c u t e   t h e m   w i t h o u t   i n s t a l l i n g   a n y   e x t r a   p l u g i n s   o r   p r o g r a m s .   A   c l i e n t   l i b r a r y   p r o v i d e s   h i g h - l e v e l   d i s t r i b u t i o n   t e m p l a t e s   i n c l u d i n g   M a p R e d u c e .   T h i s   s t a r k   d e p a r t u r e   f r o m   t h e   c u r r e n t   r e l i a n c e   o n   e x p e n s i v e   s e r v e r   h a r d w a r e   r u n n i n g   " d o w n l o a d   a n d   i n s t a l l "   s o f t w a r e   h a s   a l r e a d y   g a t h e r e d   s u b s t a n t i a l   c o m m u n i t y   i n t e r e s t ,   a s   Q M   r e c e i v e d   m o r e   t h a n   2 . 2   m i l l i o n   A P I   c a l l s   f r o m   8 7   c o u n t r i e s   i n   1 2   m o n t h s .   C o n c l u s i o n s :   Q M   w a s   f o u n d   a d e q u a t e   t o   d e l i v e r   t h e   s o r t   o f   s c a l a b l e   b i o i n f o r m a t i c s   s o l u t i o n s   t h a t   c o m p u t a t i o n -   a n d   d a t a - i n t e n s i v e   w o r k f l o w s   r e q u i r e .   P a r a d o x i c a l l y ,   t h e   s a n d b o x e d   e x e c u t i o n   o f   c o d e   b y   w e b   b r o w s e r s   w a s   a l s o   f o u n d   t o   e n a b l e   t h e m ,   a s   c o m p u t e   n o d e s ,   t o   a d d r e s s   c r i t i c a l   p r i v a c y   c o n c e r n s   t h a t   c h a r a c t e r i z e   b i o m e d i c a l   e n v i r o n m e n t s . 	 [ W i l k i n s o n ,   S e a n   R . ;   A l m e i d a ,   J o n a s   S . ]   U n i v   A l a b a m a   B i r m i n g h a m ,   D e p t   P a t h o l ,   D i v   I n f o r m a t ,   B i r m i n g h a m ,   A L   3 5 2 9 4   U S A ;   [ W i l k i n s o n ,   S e a n   R . ]   U n i v   A l a b a m a   B i r m i n g h a m ,   D e p t   B i o m e d   E n g n ,   B i r m i n g h a m ,   A L   3 5 2 9 4   U S A 	 W i l k i n s o n ,   S R   ( r e p r i n t   a u t h o r ) ,   U n i v   A l a b a m a   B i r m i n g h a m ,   D e p t   P a t h o l ,   D i v   I n f o r m a t ,   B i r m i n g h a m ,   A L   3 5 2 9 4   U S A . 	 w i l k i n s o n @ u a b . e d u 	 	 	 C e n t e r   f o r   C l i n i c a l   a n d   T r a n s l a t i o n a l   S c i e n c e s   o f   t h e   U n i v e r s i t y   o f   A l a b a m a   a t   B i r m i n g h a m   u n d e r   N I H   N a t i o n a l   C e n t e r   f o r   R e s e a r c h   R e s o u r c e s   [ 5 U L 1 R R 0 2 5 7 7 7 - 0 3 ] ;   N C I   T 3 2   T r a i n e e   G r a n t   a t   R i c e   U n i v e r s i t y   [ 5 T 3 2 C A 0 9 6 5 2 0 - 0 5 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   C e n t e r   f o r   C l i n i c a l   a n d   T r a n s l a t i o n a l   S c i e n c e s   o f   t h e   U n i v e r s i t y   o f   A l a b a m a   a t   B i r m i n g h a m   u n d e r   c o n t r a c t   n o .   5 U L 1 R R 0 2 5 7 7 7 - 0 3   f r o m   N I H   N a t i o n a l   C e n t e r   f o r   R e s e a r c h   R e s o u r c e s .   T h i s   w o r k   w a s   a l s o   s u p p o r t e d   i n   p a r t   b y   a n   N C I   T 3 2   T r a i n e e   G r a n t   a t   R i c e   U n i v e r s i t y   u n d e r   c o n t r a c t   n o .   5 T 3 2 C A 0 9 6 5 2 0 - 0 5 . 	 A l m e i d a   J S ,   2 0 1 2 ,   A L G O R I T H M   M O L   B I O L ,   V 7 ,   D O I   1 0 . 1 1 8 6 / 1 7 4 8 - 7 1 8 8 - 7 - 1 2 ;   A l m e i d a   J o n a s   S ,   2 0 1 2 ,   J   P a t h o l   I n f o r m ,   V 3 ,   P 2 5 ,   D O I   1 0 . 4 1 0 3 / 2 1 5 3 - 3 5 3 9 . 9 8 8 1 3 ;   A n d e r s o n   D .   P . ,   2 0 0 4 ,   P r o c e e d i n g s .   F i f t h   I E E E / A C M   I n t e r n a t i o n a l   W o r k s h o p   o n   G r i d   C o m p u t i n g ;   A n d e r s o n   D P ,   2 0 0 0 ,   A S T R   S O C   P ,   V 2 1 3 ,   P 5 1 1 ;   A n d e r s o n   D P ,   2 0 0 2 ,   S C I   A M ,   V 2 8 6 ,   P 4 0 ;   B e l l   G ,   2 0 0 9 ,   S C I E N C E ,   V 3 2 3 ,   P 1 2 9 7 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 7 0 4 1 1 ;   B e r n e r s - L e e   T ,   2 0 1 0 ,   A R T I F   I N T E L L ,   V 1 7 4 ,   P 1 5 6 ;   C r a v e d i   K ,   2 0 1 2 ,   1 0 0 0   G E N O M E S   P R O J E C T ;   C r o c k f o r d   D ,   2 0 0 7 ,   J A V A S C R I P T   G O O D   P A R T ;   D a b b i s h   L . ,   2 0 1 2 ,   P   A C M   2 0 1 2   C   C O M P   S U ,   P 1 2 7 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 1 4 5 2 0 4 . 2 1 4 5 3 9 6 ;   D e u s   H F ,   2 0 1 0 ,   J   B I O M E D   I N F O R M ,   V 4 3 ,   P 9 9 8 ,   D O I   1 0 . 1 0 1 6 / j . j b i . 2 0 1 0 . 0 9 . 0 0 4 ;   E y s e n b a c h   G ,   2 0 0 8 ,   J   M E D   I N T E R N E T   R E S ,   V 1 0 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 0 3 0 ;   G a l p e r i n   M Y ,   2 0 1 2 ,   N U C L   A C I D S   R E S ,   V 4 0 ;   G o m e z   J ,   2 0 1 3 ,   B I O I N F O R M A T I C S ,   V 2 9 ,   P 1 1 0 3 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t t 1 0 0 ;   H e n d l e r   J ,   2 0 1 2 ,   I E E E   I N T E L L   S Y S T ,   V 2 7 ,   P 2 5 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 1 2 . 2 7 ;   H e n d l e r   J ,   2 0 0 9 ,   C O M P U T E R ,   V 4 2 ,   P 1 1 1 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 9 . 3 0 ;   H u l l   D . ,   2 0 0 6 ,   N U C L E I C   A C I D S   R E S ,   V 3 4 ,   P 7 2 9 ,   D O I   D O I   1 0 . 1 0 9 3 / N A R / G K L 3 2 0 ;   J u p p   S ,   2 0 1 4 ,   B I O I N F O R M A T I C S ,   V 3 0 ,   P 1 3 3 8 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t t 7 6 5 ;   K a r p   A H ,   2 0 0 6 ,   P   4   I N T   C   C R E A T   C O N N ,   P 1 1 2 ;   K a r p i e v i t c h   Y V ,   2 0 0 6 ,   B M C   B I O I N F O R M A T I C S ,   V 7 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 7 - 1 3 9 ;   L e d f o r d   H ,   2 0 1 0 ,   N A T U R E ,   V 4 6 4 ,   P 9 7 2 ,   D O I   1 0 . 1 0 3 8 / 4 6 4 9 7 2 a ;   L e n k   A ,   2 0 0 9 ,   P   2 0 0 9   I C S E   W O R K S H   S ,   P 2 3 ;   M e d i n a   I ,   2 0 1 3 ,   N U C L E I C   A C I D S   R E S ,   V 4 1 ,   p W 4 1 ,   D O I   1 0 . 1 0 9 3 / n a r / g k t 5 3 0 ;   M i k k o n e n   T ,   2 0 0 7 ,   U S I N G   J A V A S C R I P T   R E A ;   P e n g   R D ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 4 ,   P 1 2 2 6 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 1 3 8 4 7 ;   P r l i c   A ,   2 0 0 7 ,   B M C   B I O I N F O R M A T I C S ,   V 8 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 8 - 3 3 3 ;   R o b b i n s   D E ,   2 0 1 3 ,   B I O I N F O R M A T I C S ;   R o h l f   C ,   2 0 1 2 ,   I E E E   S E C U R   P R I V ,   V 1 0 ,   P 8 4 ,   D O I   1 0 . 1 1 0 9 / M S P . 2 0 1 2 . 5 3 ;   S a l e e m   M ,   2 0 1 3 ,   P   9   I N T   C   S E M   S Y S T   N ,   P 1 2 9 ;   S a n s o m   C ,   2 0 1 1 ,   N A T   B I O T E C H N O L ,   V 2 9 ,   P 2 0 1 ,   D O I   1 0 . 1 0 3 8 / n b t . 1 7 9 2 ;   S c h a d t   E E ,   2 0 1 0 ,   N A T   R E V   G E N E T ,   V 1 1 ,   P 6 4 7 ,   D O I   1 0 . 1 0 3 8 / n r g 2 8 5 7 ;   S h i r t s   M R ,   2 0 0 0 ,   S C I E N C E ,   V 3 1 4 ,   P 1 9 0 3 ;   T e n d u l k a r   V ,   2 0 1 2 ,   P   2 8   A N N   C O M P   S E C   A P ,   P 2 1 9 ;   T h a i n   D ,   2 0 0 5 ,   C O N C U R R   C O M P - P R A C T   E ,   V 1 7 ,   P 3 2 3 ,   D O I   1 0 . 1 0 0 2 / c p e . 9 3 8 ;   V a n d e r v a l k   B P ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 9 2 6 ,   P 3 6 7 ;   V e i g a   D i o g o   F   T ,   2 0 0 9 ,   B M C   S y s t   B i o l ,   V 3 ,   P 1 0 9 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 2 - 0 5 0 9 - 3 - 1 0 9 ;   W e s t e s s o n   O ,   2 0 1 3 ,   B R I E F   B I O I N F O R M ,   V 1 4 ,   P 1 7 2 ,   D O I   1 0 . 1 0 9 3 / b i b / b b r 0 7 8 ;   Z o u   Q ,   2 0 1 3 ,   B R I E F   B I O I N F O R M 	 3 8 	 0 	 0 	 B I O M E D   C E N T R A L   L T D 	 L O N D O N 	 2 3 6   G R A Y S   I N N   R D ,   F L O O R   6 ,   L O N D O N   W C 1 X   8 H L ,   E N G L A N D 	 1 4 7 1 - 2 1 0 5 	 	 	 B M C   B I O I N F O R M A T I C S 	 B M C   B i o i n f o r m a t i c s 	 J U N   9 	 2 0 1 4 	 1 5 	 	 	 	 	 	 	 	 1 7 6 	 1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 1 5 - 1 7 6 	 	 1 2 	 B i o c h e m i c a l   R e s e a r c h   M e t h o d s ;   B i o t e c h n o l o g y   &   A p p l i e d   M i c r o b i o l o g y ;   M a t h e m a t i c a l   &   C o m p u t a t i o n a l   B i o l o g y 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   B i o t e c h n o l o g y   &   A p p l i e d   M i c r o b i o l o g y ;   M a t h e m a t i c a l   &   C o m p u t a t i o n a l   B i o l o g y 	 A K 2 N P 	 W O S : 0 0 0 3 3 8 2 5 6 6 0 0 0 0 2 	 2 4 9 1 3 6 0 5 	 
 J 	 S a r p a t w a r i ,   A ;   R o b e r t s o n ,   C T ;   Y o k u m ,   D V ;   J o i n e r ,   K 	 	 	 	 S a r p a t w a r i ,   A m e e t ;   R o b e r t s o n ,   C h r i s t o p h e r   T . ;   Y o k u m ,   D a v i d   V . ;   J o i n e r ,   K e i t h 	 	 	 C r o w d s o u r c i n g   P u b l i c   H e a l t h   E x p e r i m e n t s :   A   R e s p o n s e   t o   J o n a t h a n   D a r r o w ' s   C r o w d s o u r c i n g   C l i n i c a l   T r i a l s 	 M I N N E S O T A   L A W   R E V I E W 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 I M P L E M E N T A T I O N   I N T E N T I O N S ;   P L A N N E D   B E H A V I O R ;   N O R M S ;   I N T E R V E N T I O N S ;   E F F I C A C Y ;   R A T E S ;   P R E V A L E N C E ;   D R I N K I N G ;   E X E R C I S E ;   P R O M P T S 	 	 [ S a r p a t w a r i ,   A m e e t ]   H a r v a r d   U n i v ,   S c h   M e d ,   C a m b r i d g e ,   M A   0 2 1 3 8   U S A ;   [ S a r p a t w a r i ,   A m e e t ]   B r i g h a m   &   W o m e n s   H o s p ,   P O R T A L ,   D i v   P h a r m a c o e p i d e m i o l   &   P h a r m a c o e c o n ,   B o s t o n ,   M A   0 2 1 1 5   U S A ;   [ R o b e r t s o n ,   C h r i s t o p h e r   T . ]   U n i v   A r i z o n a ,   J a m e s   E   R o g e r s   C o l l   L a w ,   T u c s o n ,   A Z   8 5 7 2 1   U S A ;   [ Y o k u m ,   D a v i d   V . ]   U n i v   A r i z o n a ,   D e p t   P s y c h o l ,   T u c s o n ,   A Z   8 5 7 2 1   U S A ;   [ J o i n e r ,   K e i t h ]   U n i v   A r i z o n a ,   E l l e r   C o l l   M a n a g e m e n t ,   T u c s o n ,   A Z   8 5 7 2 1   U S A ;   [ J o i n e r ,   K e i t h ]   U n i v   A r i z o n a ,   C t r   M a n a g e m e n t   I n n o v a t   H l t h   C a r e ,   E l l e r   C o l l   M a n a g e m e n t ,   T u c s o n ,   A Z   8 5 7 2 1   U S A 	 S a r p a t w a r i ,   A   ( r e p r i n t   a u t h o r ) ,   H a r v a r d   U n i v ,   S c h   M e d ,   C a m b r i d g e ,   M A   0 2 1 3 8   U S A . 	 	 	 	 	 	 A l l c o t t   H ,   2 0 1 1 ,   J   P U B L I C   E C O N ,   V 9 5 ,   P 1 0 8 2 ,   D O I   1 0 . 1 0 1 6 / j . j p u b e c o . 2 0 1 1 . 0 3 . 0 0 3 ;   A l l c o t t   H u n t ,   2 0 1 1 ,   J   P U B   E C ,   V 9 5 ,   P 1 0 8 7 ;   [ A n o n y m o u s ] ,   E P ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   C O M M U N I C A T I O N ;   [ A n o n y m o u s ] ,   2 0 0 7 ,   W O R K   K N O W L   T H I N K   L E A ,   P 2 ;   [ A n o n y m o u s ] ,   H L T H   W E I G H T   B A L   C A L ;   [ A n o n y m o u s ] ,   N Y   T I M E S ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   E C O N O M I S T ;   A r m s t r o n g   A W ,   2 0 1 2 ,   A M   J   C L I N   D E R M A T O L ,   V 1 3 ,   P 4 0 5 ,   D O I   1 0 . 2 1 6 5 / 1 1 6 3 4 0 4 0 - 0 0 0 0 0 0 0 0 0 - 0 0 0 0 0 ;   B e g l e y   C .   G l e n n ,   2 0 1 2 ,   N A T U R E ,   V 4 8 3 ,   P 5 3 2 ;   B e g l e y   C G ,   2 0 1 2 ,   N A T U R E ,   V 4 8 3 ,   P 5 3 1 ,   D O I   1 0 . 1 0 3 8 / 4 8 3 5 3 1 a ;   B E L L   R L ,   1 9 8 2 ,   C O N T R O L   C L I N   T R I A L S ,   V 3 ,   P 6 1 ,   D O I   1 0 . 1 0 1 6 / 0 1 9 7 - 2 4 5 6 ( 8 2 ) 9 0 0 1 9 - 8 ;   B o r s a r i   B ,   2 0 0 3 ,   J   S T U D   A L C O H O L ,   V 6 4 ,   P 3 3 1 ;   B r y a n   C h r i s t o p h e r   J . ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 6 5 3 ;   B r y a n   C h r i s t o p h e r   J . ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ;   C I A L D I N I   R B ,   1 9 9 0 ,   J   P E R S   S O C   P S Y C H O L ,   V 5 8 ,   P 1 0 1 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 5 8 . 6 . 1 0 1 5 ;   C i a l d i n i   R B ,   2 0 0 3 ,   C U R R   D I R   P S Y C H O L   S C I ,   V 1 2 ,   P 1 0 5 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 8 7 2 1 . 0 1 2 4 2 ;   C i a l d i n i   R o b e r t   B . ,   2 0 0 3 ,   C U R R E N T   D I R E C T I O N S   P ,   V 1 2 ,   P 1 0 6 ;   C o s g r o v e   L i s a ,   2 0 1 2 ,   J   E V A L   C L I N   P R A C T ,   V 1 9 ,   P 6 7 4 ;   D a r r o w   J J ,   2 0 1 4 ,   M I N N   L A W   R E V ,   V 9 8 ,   P 8 0 5 ;   D e y o   R A ,   2 0 0 6 ,   S P I N E ,   V 3 1 ,   P 2 7 2 4 ,   D O I   1 0 . 1 0 9 7 / 0 1 . b r s . 0 0 0 0 2 4 4 6 1 8 . 0 6 8 7 7 . c d ;   D e y o   R i c h a r d   A . ,   2 0 0 6 ,   S P I N E ,   V 3 1 ,   P 2 7 2 5 ;   D h o l a k i a   U M ,   2 0 0 3 ,   J   A P P L   S O C   P S Y C H O L ,   V 3 3 ,   P 8 8 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 5 9 - 1 8 1 6 . 2 0 0 3 . t b 0 1 9 3 0 . x ;   D h o l a k i a   U t p a l   M . ,   2 0 0 3 ,   J   A P P L   S O C   P S Y C H O L ,   V 3 3 ,   P 9 0 1 ;   F i n k e l s t e i n   E .   A . ,   2 0 0 9 ,   H L T H   A F F   M I L L W O O D ,   V 2 8 / 5 ,   P 8 2 2 ;   G i l e s   J ,   2 0 0 5 ,   N A T U R E ,   V 4 3 8 ,   P 9 0 0 ,   D O I   1 0 . 1 0 3 8 / 4 3 8 9 0 0 a ;   G o o d m a n   L o u i s ,   2 0 1 3 ,   F O R B E S ;   G r o s s m a n   M i c h a e l ,   1 9 7 2 ,   J   P O L I T   E C O N ,   V 8 0 ,   P 2 2 4 ;   H a r d y   M L ,   2 0 0 8 ,   H E M A T O L   O N C O L   C L I N   N ,   V 2 2 ,   P 5 8 1 ,   D O I   1 0 . 1 0 1 6 / j . h o c . 2 0 0 8 . 0 4 . 0 1 2 ;   H a t t i s   D ,   1 9 9 6 ,   E N V I R O N M E N T ,   V 3 8 ,   P 1 0 ;   H a t t i s   D a l e ,   1 9 9 6 ,   E N V T ,   V 3 8 ,   P 1 3 ;   J O H N S O N   J A M E S   B . ,   2 0 0 9 ,   A L T E R N A T E   D A Y   D I E T   T ;   L e B o e u f   R A ,   2 0 1 0 ,   O R G A N   B E H A V   H U M   D E C ,   V 1 1 1 ,   P 4 8 ,   D O I   1 0 . 1 0 1 6 / j . o b h d p . 2 0 0 9 . 0 8 . 0 0 4 ;   L e B o e u f   R o b y n   A . ,   2 0 1 0 ,   O R G   B E H A V   H U M   D E C I S I ,   V 1 1 1 ,   P 5 0 ;   L e i b o w i t z   A A ,   2 0 0 4 ,   J   H E A L T H   E C O N ,   V 2 3 ,   P 6 6 3 ,   D O I   1 0 . 1 0 1 6 / j . j h e a l e c o . 2 0 0 4 . 0 4 . 0 0 5 ;   L e i b o w i t z   A r l e e n   A . ,   2 0 0 4 ,   J   H L T H   E C ,   V 2 3 ,   P 6 6 9 ;   L e w i s   J a m e s   D . ,   2 0 0 2 ,   A N N   I N T E R N   M E D ,   V 1 3 6 ,   P 6 1 7 ;   L e w i s   J D ,   2 0 0 2 ,   A N N   I N T E R N   M E D ,   V 1 3 6 ,   P 6 1 6 ;   L i   G W ,   2 0 0 8 ,   L A N C E T ,   V 3 7 1 ,   P 1 7 8 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 0 - 6 7 3 6 ( 0 8 ) 6 0 7 6 6 - 7 ;   L i p t o n   R . B . ,   2 0 0 7 ,   N E U R O L O G Y ,   V 6 8 ,   P 3 4 6 ;   L i p t o n   R B ,   2 0 0 7 ,   N E U R O L O G Y ,   V 6 8 ,   P 3 4 3 ,   D O I   1 0 . 1 2 1 2 / 0 1 . w n l . 0 0 0 0 2 5 2 8 0 8 . 9 7 6 4 9 . 2 1 ;   M a r c u s   D A ,   1 9 9 7 ,   C E P H A L A L G I A ,   V 1 7 ,   P 8 5 5 ,   D O I   1 0 . 1 0 4 6 / j . 1 4 6 8 - 2 9 8 2 . 1 9 9 7 . 1 7 0 8 8 5 5 . x ;   M i l k m a n   K a t h e r i n e   L . ,   2 0 1 1 ,   P   N A T   A C A D   S C I ,   V 1 0 8 ,   P 1 0 ;   M i l k m a n   K L ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 1 0 4 1 5 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 1 0 3 1 7 0 1 0 8 ;   M i l k m a n   K L ,   2 0 1 3 ,   P R E V   M E D ,   V 5 6 ,   P 9 2 ,   D O I   1 0 . 1 0 1 6 / j . y p m e d . 2 0 1 2 . 1 0 . 0 2 1 ;   M i l n e   S ,   2 0 0 2 ,   B R I T   J   H E A L T H   P S Y C H ,   V 7 ,   P 1 6 3 ,   D O I   1 0 . 1 3 4 8 / 1 3 5 9 1 0 7 0 2 1 6 9 4 2 0 ;   M i l n e   S a r a h ,   2 0 0 2 ,   B R I T   J   H E A L T H   P S Y C H ,   V 7 ,   P 1 7 2 ;   M o k d a d   A H ,   2 0 0 4 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 9 1 ,   P 1 2 3 8 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 9 1 . 1 0 . 1 2 3 8 ;   M o k d a d   A l i   H . ,   2 0 0 4 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 9 1 ,   P 1 2 4 0 ;   M O S L E Y   M I C H A E L ,   2 0 1 3 ,   F A S T D I E T   L O S E   W E I G H T ;   N e e s   C r a i g   M i c h a e l   M c ,   2 0 1 2 ,   A P P L   S O C   P S Y C H O   1 1 2 9 ;   N e i g h b o r s   C ,   2 0 0 4 ,   J   C O N S U L T   C L I N   P S Y C H ,   V 7 2 ,   P 4 3 4 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 0 0 6 X . 7 2 . 3 . 4 3 4 ;   N e i g h b o r s   C l a y t o n ,   2 0 0 4 ,   J   C O N S U L T   C L I N   P S Y C H ,   V 7 2 ,   P 4 3 8 ;   N i c k e r s o n   D a v i d   W . ,   2 0 1 0 ,   P S Y C H O L   S C I ,   V 2 1 ,   P 1 9 6 ;   N i c k e r s o n   D W ,   2 0 1 0 ,   P S Y C H O L   S C I ,   V 2 1 ,   P 1 9 4 ,   D O I   1 0 . 1 1 7 7 / 0 9 5 6 7 9 7 6 0 9 3 5 9 3 2 6 ;   O ' C o n n o r   A B ,   2 0 1 0 ,   J A M A - J   A M   M E D   A S S O C ,   V 3 0 3 ,   P 9 7 9 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 0 1 0 . 2 5 7 ;   O r b e l l   S ,   1 9 9 7 ,   P E R S   S O C   P S Y C H O L   B ,   V 2 3 ,   P 9 4 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 6 1 6 7 2 9 7 2 3 9 0 0 4 ;   O r b e l l   S h e i n a ,   1 9 9 7 ,   P E R S O N A L I T Y   S O C   P S Y C ,   V 2 3 ,   P 9 5 0 ;   P l a t t   R ,   2 0 1 2 ,   P H A R M A C O E P I D E M   D R   S ,   V 2 1 ,   P 1 ,   D O I   1 0 . 1 0 0 2 / p d s . 2 3 4 3 ;   P l a t t   R i c h a r d ,   2 0 1 2 ,   P H A R M A C O E P I D E M   D R   S ,   V 2 1 ,   P 2 ;   P o r t e   M i g u e l ,   2 0 0 8 ,   D I C T   E P I D E M I O L O G Y ,   P 2 2 5 ;   R i s e   J ,   2 0 1 0 ,   J   A P P L   S O C   P S Y C H O L ,   V 4 0 ,   P 1 0 8 5 ;   R i s e   J o s t e i n ,   2 0 1 0 ,   J   A P P L   S O C   P S Y C H O L ,   V 4 0 ,   P 1 0 8 7 ;   R o b e r t s   C ,   1 9 9 8 ,   B R I T   M E D   J ,   V 3 1 7 ,   P 1 3 0 1 ;   S h e e r a n   P ,   2 0 0 0 ,   H E A L T H   P S Y C H O L ,   V 1 9 ,   P 2 8 3 ,   D O I   1 0 . 1 0 3 7 / / 0 2 7 8 - 6 1 3 3 . 1 9 . 3 . 2 8 3 ;   S h e e r a n   P a s c h a l ,   2 0 0 0 ,   H E A L T H   P S Y C H O L ,   V 1 9 ,   P 2 8 6 ;   S h i m m   D a v i d   S . ,   1 9 9 1 ,   J   L E G A L   M E D ,   V 1 2 ,   P 5 1 0 ;   S H I M M   D S ,   1 9 9 1 ,   J   L E G A L   M E D ,   V 1 2 ,   P 4 7 7 ;   S k e n d e r   M L ,   1 9 9 6 ,   J   A M   D I E T   A S S O C ,   V 9 6 ,   P 3 4 2 ,   D O I   1 0 . 1 0 1 6 / S 0 0 0 2 - 8 2 2 3 ( 9 6 ) 0 0 0 9 6 - X ;   S n y d e r m a n   R ,   2 0 0 2 ,   A R C H   I N T E R N   M E D ,   V 1 6 2 ,   P 3 9 5 ,   D O I   1 0 . 1 0 0 1 / a r c h i n t e . 1 6 2 . 4 . 3 9 5 ;   T a v e m i s e   S a b r i n a ,   2 0 1 3 ,   N Y   T I M E S ,   p A 1 2 ;   T h a d h a n i   R a v i ,   2 0 0 6 ,   F A B R Y   D I S   P E R S P E C T I V ;   U . S .   F D A ,   1 9 9 8 ,   G U I D   I N D   E 9   S T A T   P R I ,   P 1 1 ;   U . S .   G O V T   A C C O U N T A B I L I T Y   O F F I C E ,   2 0 1 3 ,   G A O 1 3 6 1 ,   P 1 ;   V e r o t t i   A . ,   2 0 1 3 ,   E U R   J   N E U R O L ,   V 2 0 ,   P 3 9 4 ;   v o n   E s c h e n b a c h   A n d r e w ,   2 0 1 2 ,   W A L L   S T   J ;   W e b b   T L ,   2 0 0 8 ,   B R I T   J   S O C   P S Y C H O L ,   V 4 7 ,   P 3 7 3 ,   D O I   1 0 . 1 3 4 8 / 0 1 4 4 6 6 6 0 7 X 2 6 7 0 1 0 ;   W e i s b a c h   D A ,   2 0 0 0 ,   J   L E G A L   S T U D ,   V 2 9 ,   P 7 1 ,   D O I   1 0 . 1 0 8 6 / 4 6 8 0 6 4 ;   W e i s b a c h   D a v i d   A . ,   2 0 0 0 ,   J   L E G A L   S T U D ,   V 2 9 ,   P 7 2 ;   W o l f   G a r y ,   2 0 0 9 ,   W I R E D   M A G               0 6 2 2 ;   W o l f   G a r y ,   2 0 1 0 ,   N Y   T I M E S ;   Y o k u m   D a v i d ,   2 0 1 4 ,   A M   J   L   M E D   I N   P R E S S ,   V 4 0 	 8 2 	 0 	 0 	 M I N N   L A W   R E V I E W   F O U N D 	 M I N N E A P O L I S 	 2 2 9   1 9 T H   A V E   S O U T H   U N I V   M I N N E S O T A ,   M I N N E A P O L I S ,   M N   5 5 4 5 5   U S A 	 0 0 2 6 - 5 5 3 5 	 	 	 M I N N   L A W   R E V 	 M i n n .   L a w   R e v . 	 J U N 	 2 0 1 4 	 9 8 	 6 	 	 	 	 	 2 3 2 6 	 2 3 4 5 	 	 	 	 2 0 	 L a w 	 G o v e r n m e n t   &   L a w 	 A S 0 B Z 	 W O S : 0 0 0 3 4 3 9 4 4 8 0 0 0 0 6 	 	 
 J 	 W e i n e r ,   M 	 	 	 	 W e i n e r ,   M i c h a e l 	 	 	 T h e   P o t e n t i a l   o f   C r o w d s o u r c i n g   t o   I m p r o v e   P a t i e n t - C e n t e r e d   C a r e 	 P A T I E N T - P A T I E N T   C E N T E R E D   O U T C O M E S   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 H E A L T H - C A R E ;   B I O I N F O R M A T I C S ;   C O U N T R I E S 	 C r o w d s o u r c i n g   ( C S )   i s   t h e   o u t s o u r c i n g   o f   a   p r o b l e m   o r   t a s k   t o   a   c r o w d .   A l t h o u g h   p a t i e n t - c e n t e r e d   c a r e   ( P C C )   m a y   a i m   t o   b e   t a i l o r e d   t o   a n   i n d i v i d u a l ' s   n e e d s ,   t h e   u s e s   o f   C S   f o r   g e n e r a t i n g   i d e a s ,   i d e n t i f y i n g   v a l u e s ,   s o l v i n g   p r o b l e m s ,   f a c i l i t a t i n g   r e s e a r c h ,   a n d   e d u c a t i n g   a n   a u d i e n c e   r e p r e s e n t   p o w e r f u l   r o l e s   t h a t   c a n   s h a p e   b o t h   a l l o c a t i o n   o f   s h a r e d   r e s o u r c e s   a n d   d e l i v e r y   o f   p e r s o n a l i z e d   c a r e   a n d   t r e a t m e n t .   C S   c a n   o f t e n   b e   c o n d u c t e d   q u i c k l y   a n d   a t   r e l a t i v e l y   l o w   c o s t .   P i t f a l l s   i n c l u d e   b i a s ,   r i s k s   o f   r e s e a r c h   e t h i c s ,   i n a d e q u a t e   q u a l i t y   o f   d a t a ,   i n a d e q u a t e   m e t r i c s ,   a n d   o b s e r v e r - e x p e c t a n c y   e f f e c t .   H e a l t h   p r o f e s s i o n a l s   a n d   c o n s u m e r s   i n   t h e   U S   s h o u l d   i n c r e a s e   t h e i r   a t t e n t i o n   t o   C S   f o r   t h e   b e n e f i t   o f   P C C .   P a t i e n t s '   p a r t i c i p a t i o n   i n   C S   t o   s h a p e   h e a l t h   p o l i c y   a n d   d e c i s i o n s   i s   o n e   w a y   t o   p u r s u e   P C C   i t s e l f   a n d   m a y   h e l p   t o   i m p r o v e   c l i n i c a l   o u t c o m e s   t h r o u g h   a   b e t t e r   u n d e r s t a n d i n g   o f   p a t i e n t s '   p e r s p e c t i v e s .   C S   s h o u l d   e s p e c i a l l y   b e   u s e d   t o   t r a v e r s e   t h e   q u a l i t y - c o s t   c u r v e ,   o r   d e c r e a s e   c o s t s   w h i l e   p r e s e r v i n g   o r   i m p r o v i n g   q u a l i t y   o f   c a r e . 	 [ W e i n e r ,   M i c h a e l ]   I n d i a n a   U n i v ,   C t r   H l t h   S e r v   &   O u t c o m e s   R e s ,   R e g e n s t r i e f   I n s t   I n c ,   I n d i a n a p o l i s ,   I N   4 6 2 0 2   U S A ;   [ W e i n e r ,   M i c h a e l ]   R i c h a r d   L   R o u d e b u s h   V A   M e d   C t r ,   D e p t   V e t   A f f a i r s ,   C t r   H l t h   I n f o r m a t   &   C o m m u n ,   V e t   H l t h   A d m , H l t h   S e r v   R e s   &   D e v   S e r v   C I N   1 3   4 1 6 ,   I n d i a n a p o l i s ,   I N   U S A ;   [ W e i n e r ,   M i c h a e l ]   I n d i a n a   U n i v   S c h   M e d ,   I n d i a n a p o l i s ,   I N   4 6 2 0 2   U S A 	 W e i n e r ,   M   ( r e p r i n t   a u t h o r ) ,   I n d i a n a   U n i v ,   C t r   H l t h   S e r v   &   O u t c o m e s   R e s ,   R e g e n s t r i e f   I n s t   I n c ,   1 0 5 0   W i s h a r d   B l v d , 5 t h   F l o o r ,   I n d i a n a p o l i s ,   I N   4 6 2 0 2   U S A . 	 m w @ c o g i t . n e t 	 	 	 R e g e n s t r i e f   I n s t i t u t e ,   I n c . ;   I n d i a n a   U n i v e r s i t y   S c h o o l   o f   M e d i c i n e ;   D e p a r t m e n t   o f   V e t e r a n s   A f f a i r s ,   V e t e r a n s   H e a l t h   A d m i n i s t r a t i o n ,   H e a l t h   S e r v i c e s   R e s e a r c h   a n d   D e v e l o p m e n t   S e r v i c e   C I N 	 T h e   r e s e a r c h   r e p o r t e d   h e r e   w a s   s u p p o r t e d   b y   t h e   R e g e n s t r i e f   I n s t i t u t e ,   I n c . ,   t h e   I n d i a n a   U n i v e r s i t y   S c h o o l   o f   M e d i c i n e ,   a n d   t h e   D e p a r t m e n t   o f   V e t e r a n s   A f f a i r s ,   V e t e r a n s   H e a l t h   A d m i n i s t r a t i o n ,   H e a l t h   S e r v i c e s   R e s e a r c h   a n d   D e v e l o p m e n t   S e r v i c e   C I N   1 3 - 4 1 6 .   D r .   W e i n e r   i s   C h i e f   o f   H e a l t h   S e r v i c e s   R e s e a r c h   a n d   D e v e l o p m e n t   a t   t h e   R i c h a r d   L .   R o u d e b u s h   V e t e r a n s   A f f a i r s   M e d i c a l   C e n t e r   i n   I n d i a n a p o l i s ,   I N ,   U S A .   T h e   v i e w s   e x p r e s s e d   i n   t h i s   a r t i c l e   a r e   t h o s e   o f   t h e   a u t h o r s   a n d   d o   n o t   n e c e s s a r i l y   r e p r e s e n t   t h e   v i e w s   o f   t h e   D e p a r t m e n t   o f   V e t e r a n s   A f f a i r s . 	 A n d e r s o n   G F ,   2 0 0 0 ,   H E A L T H   A F F A I R ,   V 1 9 ,   P 1 5 0 ,   D O I   1 0 . 1 3 7 7 / h l t h a f f . 1 9 . 3 . 1 5 0 ;   A r m s t r o n g   A W ,   2 0 1 2 ,   J   D R U G S   D E R M A T O L ,   V 1 1 ,   P 1 1 5 3 ;   B e h r e n d   T S ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 8 0 0 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 0 8 1 - 0 ;   B o w   H C ,   2 0 1 3 ,   A C A D   M E D ,   V 8 8 ,   P 7 7 2 ,   D O I   1 0 . 1 0 9 7 / A C M . 0 b 0 1 3 e 3 1 8 2 8 f 8 6 e f ;   C a m e r o n   P ,   2 0 1 3 ,   G E N O M E   B I O L ,   V 1 4 ,   D O I   1 0 . 1 1 8 6 / g b - 2 0 1 3 - 1 4 - 9 - 1 3 4 ;   C o h n   J P ,   2 0 0 8 ,   B I O S C I E N C E ,   V 5 8 ,   P 1 9 2 ,   D O I   1 0 . 1 6 4 1 / B 5 8 0 3 0 3 ;   D a s g u p t a   N ,   2 0 1 3 ,   J   M E D   I N T E R N E T   R E S ,   V 1 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 8 1 0 ;   D a v i s   K ,   2 0 0 8 ,   N E W   E N G L   J   M E D ,   V 3 5 9 ,   P 1 7 5 1 ,   D O I   1 0 . 1 0 5 6 / N E J M p 0 8 0 5 2 6 1 ;   G o o d   B M ,   2 0 1 3 ,   B I O I N F O R M A T I C S ,   V 2 9 ,   P 1 9 2 5 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t t 3 3 3 ;   G r a b e r   M A ,   2 0 1 3 ,   J   M E D   E T H I C S ,   V 3 9 ,   P 1 1 5 ,   D O I   1 0 . 1 1 3 6 / m e d e t h i c s - 2 0 1 2 - 1 0 0 7 9 8 ;   H u s s e y   P S ,   2 0 0 4 ,   H E A L T H   A F F A I R ,   V 2 3 ,   P 8 9 ,   D O I   1 0 . 1 3 7 7 / h l t h a f f . 2 3 . 3 . 8 9 ;   I n s t i t u t e   o f   M e d i c i n e ,   2 0 0 1 ,   C R O S S I N G   Q U A L I T Y   C H A ;   I n t e r n a t i o n a l   A l l i a n c e   o f   P a t i e n t s '   O r g a n i z a t i o n s ,   D E C L   P A T   C T R   H E A L T H C ;   J o h n s t o n   S C ,   2 0 0 9 ,   A N N   N E U R O L ,   V 6 5 ,   p A 7 ,   D O I   [ 1 0 . 1 0 0 2 / a n a . 2 1 7 3 5 ,   1 0 . 1 0 0 2 / a n a . 2 1 7 9 1 ] ;   L u e n g o - O r o z   M A ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   P 2 0 7 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 3 3 8 ;   M c C a r t n e y   P ,   2 0 1 3 ,   M C N - A M   J   M A T E R N - C H I L ,   V 3 8 ,   P 3 9 2 ,   D O I   1 0 . 1 0 9 7 / N M C . 0 b 0 1 3 e 3 1 8 2 a 4 1 5 7 1 ;   M e r c h a n t   R M ,   2 0 1 3 ,   C I R C - C A R D I O V A S C   Q U A L ,   V 6 ,   P 2 2 9 ,   D O I   1 0 . 1 1 6 1 / C I R C O U T C O M E S . 1 1 3 . 0 0 0 1 4 0 ;   N e w b o l d   K B ,   2 0 1 1 ,   M E D I A   S O C I A L   M E D I A   P ;   N o r m a n   T C ,   2 0 1 1 ,   S C I   T R A N S L   M E D ,   V 3 ,   D O I   1 0 . 1 1 2 6 / s c i t r a n s l m e d . 3 0 0 2 6 7 8 ;   P a r v a n t a   C l a u d i a ,   2 0 1 3 ,   H e a l t h   P r o m o t   P r a c t ,   V 1 4 ,   P 1 6 3 ,   D O I   1 0 . 1 1 7 7 / 1 5 2 4 8 3 9 9 1 2 4 7 0 6 5 4 ;   R a n a r d   B L ,   2 0 1 3 ,   J   G E N   I N T E R N   M E D ,   V 1 1 ,   P 1 1 ;   S t e w a r t   M ,   2 0 0 1 ,   B R I T   M E D   J ,   V 3 2 2 ,   P 4 4 4 ,   D O I   1 0 . 1 1 3 6 / b m j . 3 2 2 . 7 2 8 4 . 4 4 4 ;   T u r n e r   A M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   p e 7 9 	 2 3 	 0 	 0 	 A D I S   I N T   L T D 	 N O R T H C O T E 	 5   T H E   W A R E H O U S E   W A Y ,   N O R T H C O T E   0 6 2 7 ,   A U C K L A N D ,   N E W   Z E A L A N D 	 1 1 7 8 - 1 6 5 3 	 1 1 7 8 - 1 6 6 1 	 	 P A T I E N T 	 P a t i e n t 	 J U N 	 2 0 1 4 	 7 	 2 	 	 	 	 	 1 2 3 	 1 2 7 	 	 1 0 . 1 0 0 7 / s 4 0 2 7 1 - 0 1 4 - 0 0 5 1 - 6 	 	 5 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   H e a l t h   P o l i c y   &   S e r v i c e s 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s 	 A S 6 I H 	 W O S : 0 0 0 3 4 4 3 6 6 9 0 0 0 0 1 	 2 4 6 7 1 9 2 0 	 
 J 	 P e u c h a u d ,   S 	 	 	 	 P e u c h a u d ,   S h e i l a 	 	 	 S o c i a l   m e d i a   a c t i v i s m   a n d   E g y p t i a n s '   u s e   o f   s o c i a l   m e d i a   t o   c o m b a t   s e x u a l   v i o l e n c e :   a n   H i A P   c a s e   s t u d y 	 H E A L T H   P R O M O T I O N   I N T E R N A T I O N A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 E g y p t ;   s e x u a l   v i o l e n c e ;   w o m e n ;   m e d i a 	 H E A L T H 	 T h i s   p a p e r   r e p r e s e n t s   a   c a s e   s t u d y   o f   h o w   s o c i a l   m e d i a   a c t i v i s t s   h a v e   h a r n e s s e d   t h e   p o w e r   o f   F a c e b o o k ,   T w i t t e r   a n d   m o b i l e   p h o n e   n e t w o r k s   t o   a d d r e s s   s e x u a l   h a r a s s m e n t   i n   E g y p t .   H a r a s s M a p   p l o t s   r e p o r t s   o f   s e x u a l   h a r a s s m e n t   o n   a   G o o g l e   M a p   a n d   i n f o r m s   v i c t i m s   o f   s u p p o r t   s e r v i c e s .   T a h r i r   B o d y g u a r d   a n d   O p e r a t i o n   A n t i - S e x u a l   H a r a s s m e n t   ( O p A n t i S H )   p r o t e c t   f e m a l e   p r o t e s t o r s   w h o   h a v e   b e e n   v u l n e r a b l e   t o   s e x u a l   a g g r e s s i o n   a t   t h e   h a n d s   o f   u n r u l y   m o b s   a n d   b y   a g e n t s   o f   t h e   s t a t e .   A c t i v i s t s   h a v e   a c c e s s   t o   a n   A n d r o i d   a p p   c a l l e d   ' I ' m   G e t t i n g   A r r e s t e d '   o r   ' B y t 2 e b e d   3 a l i a '   i n   E g y p t i a n   A r a b i c .   T h e   a p p   s e n d s   t h e   t i m e   a n d   G P S   c o o r d i n a t e s   o f   a n   a r r e s t   t o   f a m i l y ,   f e l l o w   a c t i v i s t s ,   l e g a l   c o u n s e l   a n d   s o c i a l   m e d i a   o u t l e t s .   T h e   h o p e   i s   t h e   i n i t i a t i v e s   d e s c r i b e d   i n   t h i s   p a p e r   c o u l d   i n s p i r e   p u b l i c   h e a l t h   m i n i s t r i e s   a n d   a c t i v i s t   N G O s   t o   i n c o r p o r a t e   c r o w d s o u r c i n g   s o c i a l   m e d i a   a p p l i c a t i o n s   i n   t h e   s p i r i t   o f   h e a l t h   i n   a l l   p o l i c i e s   ( H i A P ) .   T o   t h a t   e n d ,   t h i s   p a p e r   w i l l   b e g i n   b y   d e f i n i n g   s o c i a l   m e d i a   a c t i v i s m   f r o m   t h e   p e r s p e c t i v e   o f   t h e   c o m m u n i c a t i o n s   d i s c i p l i n e .   T h i s   p a p e r   w i l l   t h e n   d e m o n s t r a t e   t h e   s i g n i f i c a n c e   o f   s e x u a l   h a r a s s m e n t   a s   a   p u b l i c   h e a l t h   i s s u e ,   a n d   d e s c r i b e   s e v e r a l   s o c i a l   m e d i a   e f f o r t s   t o   d o c u m e n t   i n c i d e n t s   a n d   p r o t e c t   v i c t i m s .   T h e   p a p e r   w i l l   c o n c l u d e   w i t h   d i s c u s s i o n   r e g a r d i n g   h o w   t h e s e   i n n o v a t i o n s   c o u l d   b e   i n t e g r a t e d   i n t o   t h e   H i A P   a p p r o a c h . 	 A m e r   U n i v   C a i r o ,   N e w   C a i r o ,   E g y p t 	 P e u c h a u d ,   S   ( r e p r i n t   a u t h o r ) ,   A m e r   U n i v   C a i r o ,   N e w   C a i r o ,   E g y p t . 	 s h e i l a p e u c h a u d @ g m a i l . c o m 	 	 	 	 	 A b o u   B a k r   T . ,   2 0 1 3 ,   D A I L Y   N E W S   E G Y P T ;   A m a r   P ,   2 0 1 1 ,   I N T   F E M   J   P O L I T ,   V 1 3 ,   P 2 9 9 ,   D O I   1 0 . 1 0 8 0 / 1 4 6 1 6 7 4 2 . 2 0 1 1 . 5 8 7 3 6 4 ;   A m n e s t y   I n t e r n a t i o n a l ,   2 0 1 3 ,   E G   G E N D   B A S   V I O L   W O M ;   B r o w n   P ,   2 0 0 4 ,   S O C I O L   H E A L T H   I L L ,   V 2 6 ,   P 6 7 9 ,   D O I   1 0 . 1 1 1 1 / j . 0 1 4 1 - 9 8 8 9 . 2 0 0 4 . 0 0 4 1 3 . x ;   E l   Z a h r a a   G e e l   F . ,   2 0 1 2 ,   P O P U L A T I O N   R E F E R E N C E ;   E l b h a r   J u s u f ,   2 0 1 1 ,   B R U T A L   E G Y P T   S E C U R I T ;   F r i e f e l d   C .   C . ,   2 0 1 0 ,   P L O S   M E D ,   D O I   [ 1 0 . 1 3 7 1 / j o u r n a l . p m e d . 1 0 0 0 3 7 6 ,   D O I   1 0 . 1 3 7 1 / J O U R N A L . P M E D . 1 0 0 0 3 7 6 ] ;   G l a d w e l l   M . ,   2 0 1 0 ,   N E W   Y O R K E R ;   H o w a r d   P N ,   2 0 1 2 ,   J   C O M M U N ,   V 6 2 ,   P 3 5 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 0 - 2 4 6 6 . 2 0 1 2 . 0 1 6 2 6 . x ;   H u m a n   R i g h t s   W a t c h ,   2 0 1 1 ,   E G   M I L   V I R G   T E S T   I N V ;   I n t e r n a t i o n a l   D e v e l o p m e n t   R e s e a r c h   C e n t e r   C e n t r e   d e   r e c h e r c h e s   p o u r   l e   d e v e l o p p e m e n t   i n t e r n a t i o n a l ,   2 0 1 2 ,   H A R A S S M A P   U S   C R O W D S ;   I n t e r n a t i o n a l   D e v e l o p m e n t   R e s e a r c h   C e n t e r   C e n t r e   d e   r e c h e r c h e s   p o u r   l e   d e v e l o p p e m e n t   i n t e r n a t i o n a l   ( I R D C C R D I ) ,   2 0 1 3 ,   R E B   C H I A O   H A R A S S M A P ;   J o h n s o n   C . ,   2 0 1 2 ,   G L O B A L   L E G A L   M O N I T O R ;   M a c k e n z i e   J . ,   2 0 1 4 ,   T E C H P R E S I D E N T       0 1 0 3 ;   M a h m u d   N ,   2 0 1 0 ,   T E C H N O L   H E A L T H   C A R E ,   V 1 8 ,   P 1 3 7 ,   D O I   1 0 . 3 2 3 3 / T H C - 2 0 1 0 - 0 5 7 6 ;   M a r t i n   J .   D . ,   2 0 1 3 ,   M E D I A   U S E   M I D D L E   E   8 ;   M i l l e r   A .   L . ,   2 0 1 3 ,   N A T I O N ;   O k   H ,   2 0 1 1 ,   I N T   J   C O M M U N - U S ,   V 5 ,   P 3 2 0 ;   S h i r k y   C ,   2 0 1 1 ,   F O R E I G N   A F F A I R S ;   T u f e k c i   Z ,   2 0 1 2 ,   J   C O M M U N ,   V 6 2 ,   P 3 6 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 0 - 2 4 6 6 . 2 0 1 2 . 0 1 6 2 9 . x ;   U N   W o m e n ,   2 0 1 3 ,   R I O   D E   J A N   F A V   N E W   O ;   U N   W o m e n ,   2 0 1 3 ,   S T U D   W A Y S   M E T H   E L   S E ;   W H O ,   2 0 1 4 ,   H L T H   A L L   P O L   F R A M   C O ;   W o r l d   H e a l t h   O r g a n i z a t i o n   ( W H O ) ,   2 0 1 3 ,   H E L S   S T A T   H L T H   A L L   P ;   Z o l l e r   H M ,   2 0 0 5 ,   C O M M U N   T H E O R ,   V 1 5 ,   P 3 4 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 2 8 8 5 . 2 0 0 5 . t b 0 0 3 3 9 . x 	 2 5 	 1 	 1 	 O X F O R D   U N I V   P R E S S 	 O X F O R D 	 G R E A T   C L A R E N D O N   S T ,   O X F O R D   O X 2   6 D P ,   E N G L A N D 	 0 9 5 7 - 4 8 2 4 	 1 4 6 0 - 2 2 4 5 	 	 H E A L T H   P R O M O T   I N T 	 H e a l t h   P r o m o t .   I n t . 	 J U N 	 2 0 1 4 	 2 9 	 	 	 1 	 	 	 1 1 3 	 1 2 0 	 	 1 0 . 1 0 9 3 / h e a p r o / d a u 0 4 6 	 	 8 	 H e a l t h   P o l i c y   &   S e r v i c e s ;   P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h 	 A P 6 V N 	 W O S : 0 0 0 3 4 2 2 1 6 3 0 0 0 1 5 	 	 
 J 	 R o d r i g u e z ,   D Z ;   R o s a ,   R L ;   B r e s s a n ,   G 	 	 	 	 R o d r i g u e z ,   D .   Z . ;   R o s a ,   R .   L . ;   B r e s s a n ,   G . 	 	 	 I m p r o v i n g   a   V i d e o   Q u a l i t y   M e t r i c   w i t h   t h e   V i d e o   C o n t e n t   T y p e   p a r a m e t e r 	 I E E E   L A T I N   A M E R I C A   T R A N S A C T I O N S 	 	 	 P o r t u g u e s e 	 A r t i c l e 	 	 	 	 	 	 V i d e o   s t r e a m i n g ;   v i d e o   q u a l i t y ;   Q o E ;   s u b j e c t i v e   t e s t s ;   c r o w d s o u r c i n g 	 	 N o w a d a y s ,   t h e r e   a r e   s e v e r a l   m u l t i m e d i a   s e r v i c e s ,   w h i c h   a r e   c a r r i e d   v i a   I P   n e t w o r k s .   F r o m   t h e s e   s e r v i c e s ,   t h e   t r a f f i c   r e g a r d i n g   v i d e o   a p p l i c a t i o n s   h a d   t h e   g r e a t e s t   g r o w t h   i n   t h e   l a s t   y e a r s .   I n   t h i s   c o n t e x t ,   t h e   s t u d y   o f   m e t h o d s   f o r   a s s e s s i n g   v i d e o   q u a l i t y   p l a y s   a   v e r y   i m p o r t a n t   r o l e .   I n   g e n e r a l ,   v i d e o   q u a l i t y   o b j e c t i v e   m e t r i c s   a r e   d e f i n e d   f r o m   m a t h e m a t i c a l   m o d e l s ,   w h i c h   u s e   a s   i n p u t s ,   d i f f e r e n t   n e t w o r k   o r   a p p l i c a t i o n   l a y e r   p a r a m e t e r s ,   a n d   t h e   v i d e o   q u a l i t y   a s s e s s m e n t   r e s u l t s   f r o m   s u b j e c t i v e   t e s t s .   T h i s   p a p e r   a i m s   t o   d e m o n s t r a t e   t h a t   t h e   v i d e o   q u a l i t y   m e t r i c   p e r f o r m a n c e   c a n   b e   i m p r o v e d   b y   a d d i n g   a   p a r a m e t e r   r e g a r d i n g   t h e   v i d e o   c o n t e n t   t y p e .   I n   o r d e r   t o   p e r f o r m   v i d e o   q u a l i t y   a s s e s s m e n t   t e s t s   i n   a   s h o r t   t i m e   p e r i o d ,   t h e   s o - c a l l e d   c r o w d s o u r c i n g   m e t h o d o l o g y   i s   u s e d .   I n   t h i s   m e t h o d o l o g y   r e m o t e   u s e r s   a s s e s s   t h e   v i d e o   q u a l i t y .   T h e   e x p e r i m e n t a l   r e s u l t s   s h o w   t h a t   t h e   V i d e o   s t r e a m i n g   Q u a l i t y   M e t r i c   ( V s Q M )   p e r f o r m a n c e   i s   i m p r o v e d   w h e n   t h e   v i d e o   c o n t e n t   t y p e   i s   c o n s i d e r e d   ( e V s Q M ) .   I n d e e d ,   t h e   P e a r s o n   c o r r e l a t i o n   f a c t o r s   b e t w e e n   e V s Q M   a n d   c r o w d s o u r c i n g   r e s u l t s   r e a c h   0 . 9 4   -   0 . 9 8 ,   d e p e n d i n g   o n   t h e   v i d e o   d e g r a d a t i o n   s c e n a r i o . 	 [ R o d r i g u e z ,   D .   Z . ]   U n i v   F e d   L a v r a s ,   L a v r a s ,   M G ,   B r a z i l ;   [ R o s a ,   R .   L . ;   B r e s s a n ,   G . ]   U n i v   S a o   P a u l o ,   S a o   P a u l o ,   B r a z i l 	 R o d r i g u e z ,   D Z   ( r e p r i n t   a u t h o r ) ,   U n i v   F e d   L a v r a s ,   L a v r a s ,   M G ,   B r a z i l . 	 d e m o s t e n e s . z e g a r r a @ d c c . u f l a . b r ;   r r o s a @ u s p . b r ;   g b r e s s a n @ l a r c . u s p . b r 	 B r e s s a n ,   G r a c a / I - 6 7 9 6 - 2 0 1 2 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 2 ,   B T 5 0 0 1 3   I T U R ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   P 9 1 0   I T U T ;   B l i n   J . ,   2 0 0 6 ,   P   2   I N T   W O R K S H   V I D   P ;   C h e n   K T ,   2 0 0 9 ,   M A T H   C O M P U T   S C I   E N G ,   P 4 9 1 ,   D O I   1 0 . 1 1 4 5 / 1 6 3 1 2 7 2 . 1 6 3 1 3 3 9 ;   C h e n   Z J ,   2 0 0 9 ,   I E E E   T   C O N S U M   E L E C T R ,   V 5 5 ,   P 1 9 8 8 ;   C i s c o   S y s t e m ,   2 0 1 2 ,   V I S   N E T W   I N D ;   D u f f y   B ,   2 0 0 5 ,   I N T   J   M A R K E T   R E S ,   V 4 7 ,   P 6 1 5 ;   M o k   R . K . P . ,   2 0 1 1 ,   I F I P   I E E E   I N T   S   I N T ,   P 4 8 5 ;   P a r k   H J ,   2 0 1 1 ,   I E E E   T   C O N S U M   E L E C T R ,   V 5 7 ,   P 1 1 7 6 ;   P o r t e r   T . ,   2 0 1 1 ,   I E E E   C O M M U N I C A T I O N S ,   V 1 5 ;   R i b e i r o   F . ,   2 0 1 1 ,   1 8   I E E E   I N T   C   I M   P R O ;   R o d r i g u e z   D Z ,   2 0 1 2 ,   I E E E   T   C O N S U M   E L E C T R ,   V 5 8 ,   P 9 8 5 ,   D O I   1 0 . 1 1 0 9 / T C E . 2 0 1 2 . 6 3 1 1 3 4 6 ;   R o s s   W . ,   2 0 1 0 ,   R E D E S   C O M P U T A D O R E S   I ;   X u   Q . ,   2 0 1 2 ,   P   2 0   A C M   I N T   C   M U L T 	 1 4 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 5 4 8 - 0 9 9 2 	 	 	 I E E E   L A T   A M   T 	 I E E E   L a t i n   A m .   T r a n s . 	 J U N 	 2 0 1 4 	 1 2 	 4 	 	 	 	 	 7 4 0 	 7 4 5 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 A O 8 B I 	 W O S : 0 0 0 3 4 1 5 7 6 9 0 0 0 2 8 	 	 
 J 	 L i t t m a n n ,   M ;   S u o m e l a ,   T 	 	 	 	 L i t t m a n n ,   M a r k ;   S u o m e l a ,   T o d d 	 	 	 C r o w d s o u r c i n g ,   t h e   g r e a t   m e t e o r   s t o r m   o f   1 8 3 3 ,   a n d   t h e   f o u n d i n g   o f   m e t e o r   s c i e n c e 	 E N D E A V O U R 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 Y a l e   s c i e n c e   p r o f e s s o r   D e n i s o n   O l m s t e d   u s e d   c r o w d s o u r c i n g   t o   g a t h e r   o b s e r v a t i o n s   f r o m   a c r o s s   t h e   U n i t e d   S t a t e s   o f   t h e   u n e x p e c t e d   d e l u g e   o f   m e t e o r s   o n   1 3   N o v e m b e r   1 8 3 3   m o r e   t h a n   7 2 , 0 0 0 / h .   H e   u s e d   t h e s e   o b s e r v a t i o n s   ( a n d   n e w s p a p e r   a c c o u n t s   a n d   c o r r e s p o n d e n c e   f r o m   s c i e n t i s t s )   t o   m a k e   a   c o m m e n d a b l y   a c c u r a t e   i n t e r p r e t a t i o n   o f   t h e   m e t e o r   s t o r m ,   o v e r t u r n i n g   2 1 0 0   y e a r s   o f   e r r o n e o u s   t e a c h i n g s   a b o u t   s h o o t i n g   s t a r s   a n d   e s t a b l i s h i n g   m e t e o r   s c i e n c e   a s   a   n e w   b r a n c h   o f   a s t r o n o m y .   O l m s t e d ' s   s u c c e s s   w a s   s u b s t a n t i a l l y   b a s e d   o n   h i s   u s e   o f   n e w s p a p e r s   a n d   t h e i r   p r a c t i c e   o f   n e w s   p o o l i n g   t o   s o l i c i t   o b s e r v a t i o n s   f r o m   t h r o u g h o u t   t h e   c o u n t r y   b y   l a y   a n d   e x p e r t   o b s e r v e r s   p r o f e s s i o n a l l y   u n a f f i l i a t e d   w i t h   Y a l e   C o l l e g e   a n d   h i m .   I n   t o d a y ' s   p a r l a n c e ,   O l m s t e d   w a s   a   r e m a r k a b l y   s u c c e s s f u l   e a r l y   p r a c t i t i o n e r   o f   s c i e n t i f i c   c r o w d s o u r c i n g ,   a l s o   k n o w n   a s   c i t i z e n   s c i e n c e .   H e   m a y   h a v e   b e e n   t h e   f i r s t   t o   u s e   m a s s   m e d i a   f o r   c r o w d s o u r c i n g   i n   s c i e n c e .   H e   p i o n e e r e d   m a n y   o f   t h e   c i t i z e n - s c i e n c e   c r o w d s o u r c i n g   p r a c t i c e s   t h a t   a r e   s t i l l   i n   u s e   t o d a y :   a n   o p e n   c a l l   f o r   c i t i z e n   p a r t i c i p a t i o n ,   a   c l e a r l y   d e f i n e d   t a s k ,   a   l a r g e   g e o g r a p h i c a l   d i s t r i b u t i o n   f o r   g a t h e r i n g   d a t a   a n d   a   r a p i d   r e s p o n s e   t o   o p p o r t u n i s t i c   e v e n t s .   O l m s t e d ' s   a c h i e v e m e n t   i s   n o t   j u s t   t h a t   h e   u s e d   c r o w d s o u r c i n g   i n   1 8 3 3   b u t   t h a t   c r o w d s o u r c i n g   h e l p e d   h i m   t o   a d v a n c e   s c i e n c e   s i g n i f i c a n t l y . 	 [ L i t t m a n n ,   M a r k ]   U n i v   T e n n e s s e e ,   S c h   J o u r n a l i s m   &   E l e c t   M e d i a ,   K n o x v i l l e ,   T N   3 7 9 9 6   U S A ;   [ S u o m e l a ,   T o d d ]   U n i v   T e n n e s s e e ,   S c h   I n f o r m a t   S c i ,   K n o x v i l l e ,   T N   3 7 9 9 6   U S A 	 L i t t m a n n ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   T e n n e s s e e ,   S c h   J o u r n a l i s m   &   E l e c t   M e d i a ,   3 3 3   C o m m u n   B l d g ,   K n o x v i l l e ,   T N   3 7 9 9 6   U S A . 	 	 	 	 	 	 	 0 	 0 	 0 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 1 6 0 - 9 3 2 7 	 1 8 7 3 - 1 9 2 9 	 	 E N D E A V O U R 	 E n d e a v o u r 	 J U N 	 2 0 1 4 	 3 8 	 2 	 	 	 	 	 1 3 0 	 1 3 8 	 	 1 0 . 1 0 1 6 / j . e n d e a v o u r . 2 0 1 4 . 0 3 . 0 0 2 	 	 9 	 H i s t o r y   &   P h i l o s o p h y   O f   S c i e n c e ;   M u l t i d i s c i p l i n a r y   S c i e n c e s 	 H i s t o r y   &   P h i l o s o p h y   o f   S c i e n c e ;   S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 A O 6 Q H 	 W O S : 0 0 0 3 4 1 4 7 6 1 0 0 0 0 8 	 2 4 9 1 7 1 7 3 	 
 J 	 M a l h o t r a ,   A ;   M a j c h r z a k ,   A 	 	 	 	 M a l h o t r a ,   A r v i n d ;   M a j c h r z a k ,   A n n 	 	 	 M a n a g i n g   C r o w d s   i n   I n n o v a t i o n   C h a l l e n g e s 	 C A L I F O R N I A   M A N A G E M E N T   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r e a t i v e   C o l l a b o r a t i o n ;   I n n o v a t i o n ;   C r e a t i v i t y ;   C r o w d s o u r c i n g ;   O p e n   I n n o v a t i o n 	 K N O W L E D G E   I N T E G R A T I O N ;   T E A M S ;   F I R M 	 C r o w d s o u r c i n g   f o r   i n n o v a t i o n   i s   t y p i c a l l y   c o n d u c t e d   a s   a n   " i n n o v a t i o n   c h a l l e n g e . "   D e s p i t e   t h e   p o p u l a r i t y   o f   i n n o v a t i o n   c h a l l e n g e s ,   t h e r e   a p p e a r s   t o   b e   a   g r o w i n g   c o n s e n s u s   t h a t   i n n o v a t i o n   c h a l l e n g e s   d o   n o t   s u c c e e d   a t   g e n e r a t i n g   s o l u t i o n s   w i t h   c o m p e t i t i v e   a d v a n t a g e   p o t e n t i a l .   T h i s   a r t i c l e   p r e s e n t s   t h r e e   w a y s   i n   w h i c h   m a n a g e r s   c a n   a s s u r e   t h a t   t h e i r   i n n o v a t i o n   c h a l l e n g e s   a r e   f r u i t f u l :   f o s t e r   d i f f e r e n t   c r o w d   r o l e s   t o   e n c o u r a g e   c o n t r i b u t i o n   d i v e r s i t y .   o f f e r   k n o w l e d g e   i n t e g r a t i o n   i n s t r u c t i o n s   a n d   d u a l   i n c e n t i v e s ;   a n d   o f f e r   e x p l i c i t   i n s t r u c t i o n s   f o r   s h a r i n g   d i f f e r e n t   t y p e s   o f   k n o w l e d g e . 	 [ M a l h o t r a ,   A r v i n d ]   U n i v   N   C a r o l i n a ,   K e n a n   F l a g l e r   B u s i n e s s   S c h ,   C h a p e l   H i l l ,   N C   2 7 5 1 5   U S A ;   [ M a j c h r z a k ,   A n n ]   U n i v   S o   C a l i f ,   M a r s h a l l   S c h   B u s i n e s s ,   L o s   A n g e l e s ,   C A   9 0 0 8 9   U S A ;   [ M a j c h r z a k ,   A n n ]   U n i v   R a m o n   L l u l l ,   E S A D E   B u s M e s s   S c h ,   B a r c e l o n a ,   S p a i n 	 M a l h o t r a ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   N   C a r o l i n a ,   K e n a n   F l a g l e r   B u s i n e s s   S c h ,   C h a p e l   H i l l ,   N C   2 7 5 1 5   U S A . 	 m a l h o t r a @ u n c . e d u ;   M a j c h r z a @ u s c . e d u 	 	 	 	 	 A l a v i   M ,   2 0 0 2 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 3 ,   P 1 0 2 9 ,   D O I   1 0 . 1 0 0 2 / a s i . 1 0 1 0 7 ;   B o u d r e a u   K J ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 8 4 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 2 2 ;   F a r a j   S ,   2 0 1 1 ,   O R G A N   S C I ,   V 2 2 ,   P 1 2 2 4 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 0 0 . 0 6 1 4 ;   G a r t n e r   G r o u p ,   2 0 1 3 ,   G 0 0 2 5 7 7 2 8   G A R T N   G R O U ;   G r a n t   R M ,   1 9 9 6 ,   O R G A N   S C I ,   V 7 ,   P 3 7 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 7 . 4 . 3 7 5 ;   G r a n t   R M ,   1 9 9 6 ,   S T R A T E G I C   M A N A G E   J ,   V 1 7 ,   P 1 0 9 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H u s t o n   L ,   2 0 0 6 ,   H A R V A R D   B U S   R E V ,   V 8 4 ,   P 5 8 ;   K a n e   G . ,   M A N A G E M E N T   I N   P R E S S ;   K a r a m o u z i s   F . ,   2 0 1 3 ,   G 0 0 2 4 8 9 7 4   G A R T N ;   K O G U T   B ,   1 9 9 2 ,   O R G A N   S C I ,   V 3 ,   P 3 8 3 ,   D O I   1 0 . 1 2 8 7 / o r s c . 3 . 3 . 3 8 3 ;   L a m p e l   J . ,   2 0 0 7 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 2 ,   P 4 3 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 0 8 3 - 6 1 0 1 . 2 0 0 7 . 0 0 3 3 2 . x ;   M a j c h r z a k   A ,   2 0 1 2 ,   O R G A N   S C I ,   V 2 3 ,   P 9 5 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 1 0 . 0 6 7 7 ;   M a j c h r z a k   A ,   2 0 1 3 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 2 2 ,   P 2 5 7 ,   D O I   1 0 . 1 0 1 6 / j . j s i s . 2 0 1 3 . 0 7 . 0 0 4 ;   M o r g a n   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 7 7 ;   N a h a p i e t   J ,   1 9 9 8 ,   A C A D   M A N A G E   R E V ,   V 2 3 ,   P 2 4 2 ,   D O I   1 0 . 2 3 0 7 / 2 5 9 3 7 3 ;   N O N A K A   I ,   1 9 9 0 ,   C A L I F   M A N A G E   R E V ,   V 3 2 ,   P 2 7 ;   N o n a k a   I ,   1 9 9 8 ,   C A L I F   M A N A G E   R E V ,   V 4 0 ,   P 4 0 ;   R I T T E L   H W J ,   1 9 7 3 ,   P O L I C Y   S C I ,   V 4 ,   P 1 5 5 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 4 0 5 7 3 0 ;   R o b e r t   L P ,   2 0 0 8 ,   I N F O R M   S Y S T   R E S ,   V 1 9 ,   P 3 1 4 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 8 0 . 0 1 7 7 ;   T i w a n a   A ,   2 0 0 5 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 2 ,   P 1 3 ;   T s o u k a s   H ,   1 9 9 6 ,   S T R A T E G I C   M A N A G E   J ,   V 1 7 ,   P 1 1 ;   W a g n e r   C ,   2 0 0 6 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 3 ,   P 1 7 ,   D O I   [ 1 0 . 2 7 5 3 / M I S 0 7 4 2 - I 2 2 2 2 3 0 3 0 2 ,   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 3 0 3 0 2 ] ;   W a s k o   M M ,   2 0 0 0 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 9 ,   P 1 5 5 ;   W r i g h t   D . ,   2 0 1 3 ,   M I T   T E C H N O L O G Y   R E V ;   Y a t e s   D . ,   2 0 1 3 ,   M I S   Q ,   V 3 7 ,   P 9 9 	 2 6 	 0 	 0 	 U N I V   C A L I F 	 B E R K E L E Y 	 G R A D   S C H   B U S I N E S S   A D M I N ,   B E R K E L E Y ,   C A   9 4 7 2 0   U S A 	 0 0 0 8 - 1 2 5 6 	 2 1 6 2 - 8 5 6 4 	 	 C A L I F   M A N A G E   R E V 	 C a l i f .   M a n a g e .   R e v . 	 S U M 	 2 0 1 4 	 5 6 	 4 	 	 	 	 	 1 0 3 	 1 2 3 	 	 1 0 . 1 5 2 5 / c m r . 2 0 1 4 . 5 6 . 4 . 1 0 3 	 	 2 1 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 A N 7 U Z 	 W O S : 0 0 0 3 4 0 8 0 7 8 0 0 0 0 5 	 	 
 J 	 M a h e s h w a r i ,   D ;   J a n s s e n ,   M 	 	 	 	 M a h e s h w a r i ,   D e v e n d e r ;   J a n s s e n ,   M a r i j n 	 	 	 R e c o n c e p t u a l i z i n g   m e a s u r i n g ,   b e n c h m a r k i n g   f o r   i m p r o v i n g   i n t e r o p e r a b i l i t y   i n   s m a r t   e c o s y s t e m s :   T h e   e f f e c t   o f   u b i q u i t o u s   d a t a   a n d   c r o w d s o u r c i n g 	 G O V E R N M E N T   I N F O R M A T I O N   Q U A R T E R L Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M e a s u r e m e n t ;   B e n c h m a r k i n g ;   C r o w d s o u r c i n g ;   S m a r t   g o v e r n m e n t ;   O r g a n i z a t i o n a l   i n t e r o p e r a b i l i t y ;   D e s i g n ;   D e v e l o p m e n t ;   I m p r o v e m e n t 	 E - G O V E R N M E N T ;   P O L I C Y ;   M O D E L 	 T h e r e   i s   a   f u n d a m e n t a l   s h i f t   i n   m e a s u r i n g   a n d   b e n c h m a r k i n g   d u e   t o   t h e   a b i l i t y   t o   u s e   a   l a r g e   v a r i e t y   o f   d a t a   s o u r c e s   a n d   v i r t u a l l y   a n y b o d y   c a n   b e   i n v o l v e d .   I n t e r o p e r a b i l i t y   i s   t h e   a b i l i t y   o f   e n t i t i e s   t o   w o r k   t o g e t h e r   c o v e r i n g   a s p e c t s   r a n g i n g   f r o m   t h e   t e c h n i c a l   t o   t h e   o r g a n i z a t i o n a l   l e v e l .   I n   s m a r t e r   g o v e r n m e n t ,   i n t e r o p e r a b i l i t y   b e c o m e s   i n c r e a s i n g l y   i m p o r t a n t   a s   r e l a t i o n s h i p s   a r e   s u b j e c t   t o   c o n t i n u o u s   c h a n g e s   a n d   o r g a n i z a t i o n s   o p e r a t e   w i t h i n   o r g a n i z a t i o n a l   e c o s y s t e m s .   I n   t h i s   p a p e r   i n t e r o p e r a b i l i t y   m e a s u r e m e n t ,   b e n c h m a r k i n g   a n d   i m p r o v e m e n t   a r e   r e c o n c e p t u a l i z e d   i n   t h e   l i g h t   o f   t h e   e f f e c t s   o f   b i g   a n d   o p e n   d a t a   a n d   c r o w d s o u r c i n g   i n   s m a r t e r   g o v e r n m e n t .   O r g a n i z a t i o n a l   a n d   t e c h n i c a l   i n t e r o p e r a b i l i t y   i s   d e c o m p o s e d   i n t o   m e a s u r e m e n t   c o n s t r u c t s .   A   c a s e   s t u d y   i s   p r e s e n t e d   s h o w i n g   t h e   a p p l i c a b i l i t y   a n d   u s e f u l n e s s   o f   t h e   m o d e l .   U s i n g   d a t a   s o u r c e s   i n s i d e   a n d   o u t s i d e   t h e   o r g a n i z a t i o n   t h e   l e v e l   o f   i n t e r o p e r a b i l i t y   w a s   m e a s u r e d   a n d   s u g g e s t i o n s   f o r   i m p r o v e m e n t s   w e r e   i d e n t i f i e d   b y   m a k i n g   u s e   o f   e x p e r t s   a n d   t h e   c r o w d .   ( C )   2 0 1 4   E l s e v i e r   I n c .   A l l   r i g h t s   r e s e r v e d . 	 [ M a h e s h w a r i ,   D e v e n d e r ;   J a n s s e n ,   M a r i j n ]   D e l f t   U n i v   T e c h n o l ,   N L - 2 6 2 8   B X   D e l f t ,   N e t h e r l a n d s 	 M a h e s h w a r i ,   D   ( r e p r i n t   a u t h o r ) ,   D e l f t   U n i v   T e c h n o l ,   J a f f a l a a n   5 ,   N L - 2 6 2 8   B X   D e l f t ,   N e t h e r l a n d s . 	 d . m a h e s h w a r i @ t u d e l f t . n l ;   m . f . w . h . a . j a n s s e n @ t u d e l f t . n l 	 	 	 	 	 [ A n o n y m o u s ] ,   1 9 9 0 ,   I E E E   S T A N D   C O M P   D I C T ;   A T H E N A   C o n s o r t i u m ,   2 0 0 4 ,   E N T   I N T   M A T   M O D   E I M M ;   B a l d w i n   L P ,   2 0 0 1 ,   E U R   J   I N F O R M   S Y S T ,   V 1 0 ,   P 1 5 ,   D O I   1 0 . 1 0 5 7 / p a l g r a v e . e j i s . 3 0 0 0 3 7 2 ;   B a n n i s t e r   F ,   2 0 0 7 ,   I N T   R E V   A D M   S C I ,   V 7 3 ,   P 1 7 1 ,   D O I   1 0 . 1 1 7 7 / 0 0 2 0 8 5 2 3 0 7 0 7 7 9 5 9 ;   B e r t o t   J C ,   2 0 1 0 ,   G O V   I N F O R M   Q ,   V 2 7 ,   P 2 6 4 ,   D O I   1 0 . 1 0 1 6 / j . g i q . 2 0 1 0 . 0 3 . 0 0 1 ;   B e y n o n - D a v i e s   P ,   2 0 0 3 ,   J   I N F O R M   T E C H N O L ,   V 1 8 ,   P 1 3 7 ,   D O I   1 0 . 1 0 8 0 / 0 2 6 8 3 9 6 0 3 2 0 0 0 1 0 1 1 8 0 ;   C l a r k   T . ,   1 9 9 9 ,   O R G   I N T E R O P E R A B I L I T Y ;   C o m m i s s i o n ,   2 0 0 2 ,   N Z   E   G O V   I N T   F R A M   E ;   D a w e s   S S ,   2 0 0 3 ,   C O M M U N   A C M ,   V 4 6 ,   P 4 0 ;   D e V e l l i s   R .   F . ,   2 0 1 1 ,   S C A L E   D E V   T H E O R Y   A P P ,   V 2 6 ;   G l a s s e y   O ,   2 0 0 4 ,   G O V   I N F O R M   Q ,   V 2 1 ,   P 1 5 6 ,   D O I   1 0 . 1 0 1 6 / j . g i q . 2 0 0 3 . 1 2 . 0 1 2 ;   G o l d k u h l   G . ,   2 0 0 9 ,   S T A T I S T I C S ;   G o n g   Y . ,   2 0 1 1 ,   G O V T   I N F O R M   Q ,   V 2 9 ,   P 6 1 ;   G o t t s c h a l k   P ,   2 0 0 9 ,   G O V   I N F O R M   Q ,   V 2 6 ,   P 7 5 ,   D O I   1 0 . 1 0 1 6 / j . g i q . 2 0 0 8 . 0 3 . 0 0 3 ;   H a r r i s o n   T e r e s a   M . ,   2 0 1 2 ,   F u t u r e   I n t e r n e t ,   V 4 ,   D O I   1 0 . 3 3 9 0 / f i 4 0 4 0 9 0 0 ;   H j o r t - M a d s e n   K . ,   2 0 0 6 ,   S Y S T   S C I   2 0 0 6   H I C S S 0 ;   H u   P . J . - H . ,   2 0 0 6 ,   P   3 9   A N N   H A W   I N T   C   S ,   p 7 5 b ;   I D A B C   E . ,   2 0 0 8 ,   D R A F T   D O C   B A S   E I F   V E ;   I D A B C   E . ,   2 0 0 4 ,   E U R   I N T   F R A M   P A N   E U R ;   I E E E ,   2 0 0 0 ,   S T A N D   I N F   N E T W   I E E E ;   J a n s s e n   M ,   2 0 1 3 ,   G O V   I N F O R M   Q ,   V 3 0 ,   p S 1 ,   D O I   1 0 . 1 0 1 6 / j . g i q . 2 0 1 2 . 1 1 . 0 0 3 ;   J a n s s e n   M . ,   2 0 0 7 ,   I N T E R O P E R A B I L I T Y   E L E ;   K l i e v i n k   B ,   2 0 0 9 ,   G O V   I N F O R M   Q ,   V 2 6 ,   P 2 7 5 ,   D O I   1 0 . 1 0 1 6 / j . g i q . 2 0 0 8 . 1 2 . 0 0 7 ;   K u b i c e k   H . ,   2 0 0 9 ,   E U R   J   E P R A C T I C E ,   V 6 ,   P 3 ;   L a y n e   K ,   2 0 0 1 ,   G O V   I N F O R M   Q ,   V 1 8 ,   P 1 2 2 ,   D O I   1 0 . 1 0 1 6 / S 0 7 4 0 - 6 2 4 X ( 0 1 ) 0 0 0 6 6 - 1 ;   L u e d e r s   H . ,   2 0 0 5 ,   P   1   I N T   C   I N T   E N T   S O ;   M a h e s h w a r i   D ,   2 0 1 3 ,   G O V   I N F O R M   Q ,   V 3 0 ,   p S 8 3 ,   D O I   1 0 . 1 0 1 6 / j . g i q . 2 0 1 2 . 1 1 . 0 0 2 ;   M a h e s h w a r i   D . ,   2 0 1 2 ,   P   6   I N T   C   T H E O R   P R A C ;   M a h e s h w a r i   D . ,   2 0 1 1 ,   D E V   M E A S U R E S   B E N C H M A ;   M c B r i d e   T ,   2 0 1 0 ,   J   S O F T W   M A I N T   E V O L - R ,   V 2 2 ,   P 2 4 3 ,   D O I   1 0 . 1 0 0 2 / s p i p . 4 4 0 ;   M i l w a r d   H B ,   2 0 0 3 ,   P U B L I C   M A N A G E M E N T   R E ,   V 5 ,   P 1 ,   D O I   1 0 . 1 0 8 0 / 1 4 6 1 6 6 7 0 2 2 0 0 0 0 2 8 8 3 4 ;   M o e n   W E ,   2 0 0 0 ,   J   A C A D   L I B R ,   V 2 6 ,   P 1 2 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 9 9 - 1 3 3 3 ( 0 0 ) 0 0 0 9 2 - 6 ;   N a p o l i   P M ,   2 0 1 0 ,   G O V   I N F O R M   Q ,   V 2 7 ,   P 3 8 4 ,   D O I   1 0 . 1 0 1 6 / j . g i q . 2 0 1 0 . 0 6 . 0 0 5 ;   O u k s e l   A . M . ,   1 9 9 9 ,   A C M   S I G M O D   R E C O R D ,   V 2 8 ,   P 5 ,   D O I   1 0 . 1 1 4 5 / 3 0 9 8 4 4 . 3 0 9 8 4 9 ;   P a r d o   T . ,   2 0 0 8 ,   I M P R O V I N G   G O V T   I N T E R ;   P a r d o   T .   A . ,   2 0 0 9 ,   I T   G O V E R N A N C E   C A P A B I ;   P i c o t   A . ,   2 0 0 8 ,   I N F O R M   O R G   M A N A G E M E N ;   S c h e k k e r m a n   J . ,   2 0 0 6 ,   E X T E N D E D   E N T E R P R I S E ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T o l k   A . ,   2 0 0 6 ,   J   D E F E N S E   M O D E L I N G   S ,   V 3 ,   P 2 7 ;   T o l k   A . ,   2 0 0 3 ,   L E V E L S   C O N C E P T U A L   I N ;   T u r n i t s a   C . ,   2 0 0 5 ,   E X T E N D I N G   L E V E L S   C O N ;   W e i l l   P . ,   2 0 0 4 ,   M I S   Q   E X E C ,   V 3 ,   P 1 ;   W i l e s   A . ,   2 0 0 8 ,   A C H I E V I N G   T E C H N I C A L ;   W i m m e r   M . A . ,   2 0 0 2 ,   E M   E L E C T   M A R K E T S   S P E ,   V 1 2 ,   P 1 	 4 5 	 0 	 0 	 E L S E V I E R   I N C 	 S A N   D I E G O 	 5 2 5   B   S T R E E T ,   S T E   1 9 0 0 ,   S A N   D I E G O ,   C A   9 2 1 0 1 - 4 4 9 5   U S A 	 0 7 4 0 - 6 2 4 X 	 1 8 7 2 - 9 5 1 7 	 	 G O V   I N F O R M   Q 	 G o v .   I n f .   Q . 	 J U N 	 2 0 1 4 	 3 1 	 	 	 1 	 	 	 S 8 4 	 S 9 2 	 	 1 0 . 1 0 1 6 / j . g i q . 2 0 1 4 . 0 1 . 0 0 9 	 	 9 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 A N 1 D V 	 W O S : 0 0 0 3 4 0 3 2 3 8 0 0 0 0 9 	 	 
 J 	 J o r d a ,   J ;   S a w a y a ,   M R ;   Y e a t e s ,   T O 	 	 	 	 J o r d a ,   J u l i e n ;   S a w a y a ,   M i c h a e l   R . ;   Y e a t e s ,   T o d d   O . 	 	 	 C r o w d P h a s e :   c r o w d s o u r c i n g   t h e   p h a s e   p r o b l e m 	 A C T A   C R Y S T A L L O G R A P H I C A   S E C T I O N   D - B I O L O G I C A L   C R Y S T A L L O G R A P H Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 E L E C T R O N - D E N S I T Y   H I S T O G R A M S ;   M A P   C O R R E L A T I O N - C O E F F I C I E N T ;   F O L D I N G   G A M E   P L A Y E R S ;   V E R Y - L O W   R E S O L U T I O N ;   P R O T E I N   D A T A - B A N K ;   M A C R O M O L E C U L A R   S T R U C T U R E S ;   M O L E C U L A R   R E P L A C E M E N T ;   G E N E T I C   A L G O R I T H M ;   C R Y S T A L - S T R U C T U R E ;   O N L I N E   G A M E 	 T h e   h u m a n   m i n d   i n n a t e l y   e x c e l s   a t   s o m e   c o m p l e x   t a s k s   t h a t   a r e   d i f f i c u l t   t o   s o l v e   u s i n g   c o m p u t e r s   a l o n e .   F o r   c o m p l e x   p r o b l e m s   a m e n a b l e   t o   p a r a l l e l i z a t i o n ,   s t r a t e g i e s   c a n   b e   d e v e l o p e d   t o   e x p l o i t   h u m a n   i n t e l l i g e n c e   i n   a   c o l l e c t i v e   f o r m :   s u c h   a p p r o a c h e s   a r e   s o m e t i m e s   r e f e r r e d   t o   a s   ' c r o w d s o u r c i n g ' .   H e r e ,   a   f i r s t   a t t e m p t   a t   a   c r o w d s o u r c e d   a p p r o a c h   f o r   l o w - r e s o l u t i o n   a b   i n i t i o   p h a s i n g   i n   m a c r o m o l e c u l a r   c r y s t a l l o g r a p h y   i s   p r o p o s e d .   A   c o l l a b o r a t i v e   o n l i n e   g a m e   n a m e d   C r o w d P h a s e   w a s   d e s i g n e d ,   w h i c h   r e l i e s   o n   a   h u m a n - p o w e r e d   g e n e t i c   a l g o r i t h m ,   w h e r e   p l a y e r s   c o n t r o l   t h e   s e l e c t i o n   m e c h a n i s m   d u r i n g   t h e   e v o l u t i o n a r y   p r o c e s s .   T h e   a l g o r i t h m   s t a r t s   f r o m   a   p o p u l a t i o n   o f   ' i n d i v i d u a l s ' ,   e a c h   w i t h   a   r a n d o m   g e n e t i c   m a k e u p ,   i n   t h i s   c a s e   a   m a p   p r e p a r e d   f r o m   a   r a n d o m   s e t   o f   p h a s e s ,   a n d   t r i e s   t o   c a u s e   t h e   p o p u l a t i o n   t o   e v o l v e   t o w a r d s   i n d i v i d u a l s   w i t h   b e t t e r   p h a s e s   b a s e d   o n   D a r w i n i a n   s u r v i v a l   o f   t h e   f i t t e s t .   P l a y e r s   a p p l y   t h e i r   p a t t e r n - r e c o g n i t i o n   c a p a b i l i t i e s   t o   e v a l u a t e   t h e   e l e c t r o n - d e n s i t y   m a p s   g e n e r a t e d   f r o m   t h e s e   s e t s   o f   p h a s e s   a n d   t o   s e l e c t   t h e   f i t t e s t   i n d i v i d u a l s .   A   u s e r - f r i e n d l y   i n t e r f a c e ,   a   t r a i n i n g   s t a g e   a n d   a   c o m p e t i t i v e   s c o r i n g   s y s t e m   f o s t e r   a   n e t w o r k   o f   w e l l   t r a i n e d   p l a y e r s   w h o   c a n   g u i d e   t h e   g e n e t i c   a l g o r i t h m   t o w a r d s   b e t t e r   s o l u t i o n s   f r o m   g e n e r a t i o n   t o   g e n e r a t i o n   v i a   g a m e p l a y .   C r o w d P h a s e   w a s   a p p l i e d   t o   t w o   s y n t h e t i c   l o w - r e s o l u t i o n   p h a s i n g   p u z z l e s   a n d   i t   w a s   s h o w n   t h a t   p l a y e r s   c o u l d   s u c c e s s f u l l y   o b t a i n   p h a s e   s e t s   i n   t h e   3 0   d e g r e e s   p h a s e   e r r o r   r a n g e   a n d   c o r r e s p o n d i n g   m o l e c u l a r   e n v e l o p e s   s h o w i n g   a g r e e m e n t   w i t h   t h e   l o w - r e s o l u t i o n   m o d e l s .   T h e   s u c c e s s f u l   p r e l i m i n a r y   s t u d i e s   s u g g e s t   t h a t   w i t h   f u r t h e r   d e v e l o p m e n t   t h e   c r o w d s o u r c i n g   a p p r o a c h   c o u l d   f i l l   a   g a p   i n   c u r r e n t   c r y s t a l l o g r a p h i c   m e t h o d s   b y   m a k i n g   i t   p o s s i b l e   t o   e x t r a c t   m e a n i n g f u l   i n f o r m a t i o n   i n   c a s e s   w h e r e   l i m i t e d   r e s o l u t i o n   m i g h t   o t h e r w i s e   p r e v e n t   i n i t i a l   p h a s i n g . 	 [ J o r d a ,   J u l i e n ;   S a w a y a ,   M i c h a e l   R . ;   Y e a t e s ,   T o d d   O . ]   U C L A   D O E ,   I n s t   G e n o m   &   P r o t e ,   L o s   A n g e l e s ,   C A   9 0 0 9 5   U S A ;   [ Y e a t e s ,   T o d d   O . ]   U n i v   C a l i f   L o s   A n g e l e s ,   I n s t   M o l   B i o l ,   L o s   A n g e l e s ,   C A   9 0 0 9 5   U S A ;   [ Y e a t e s ,   T o d d   O . ]   U n i v   C a l i f   L o s   A n g e l e s ,   D e p t   C h e m   &   B i o c h e m ,   L o s   A n g e l e s ,   C A   9 0 0 9 5   U S A 	 Y e a t e s ,   T O   ( r e p r i n t   a u t h o r ) ,   U C L A   D O E ,   I n s t   G e n o m   &   P r o t e ,   6 1 1   C h a r l e s   Y o u n g   D r   E a s t ,   L o s   A n g e l e s ,   C A   9 0 0 9 5   U S A . 	 y e a t e s @ m b i . u c l a . e d u 	 	 	 B E R   p r o g r a m   o f   t h e   D O E   O f f i c e   o f   S c i e n c e 	 T h e   a u t h o r s   t h a n k   t h e   C h e m i s t r y   a n d   B i o c h e m i s t r y   1 5 6   U C L A   s t u d e n t s   w h o   p a r t i c i p a t e d   i n   t h e   f i r s t   s t u d y ,   p a r t i c u l a r l y   D o u g l a s   Z h a n g ,   J o a n n a   N g o ,   H a n a n   B a k e r   a n d   A l i c e   P h u n g .   W e   a l s o   t h a n k   D a v i d   L e i b l y ,   M i k e   T h o m p s o n ,   D a n   M c N a m a r a ,   Y a n n   T h o m a s ,   M a r i e t t a   B a r r o ,   O l i v i a   C a s s a m ,   M i c h e l ,   C h r i s t e l l e   a n d   A r i e l   J o r d a ,   A n t o n i o   L o p e z ,   L a u r e n t   C e n a t i e m p o   a n d   E s t e l l e   B r i o u d e s   f o r   t h e i r   c o n t r i b u t i o n   t o   t h e   s e c o n d   g a m e .   W e   a l s o   t h a n k   D u i l i o   C a s c i o   f o r   h e l p f u l   d i s c u s s i o n s .   T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   B E R   p r o g r a m   o f   t h e   D O E   O f f i c e   o f   S c i e n c e . 	 A b d u r a h m a n   I ,   2 0 0 8 ,   A I P   C O N F   P R O C ,   V 9 8 9 ,   P 2 1 4 ,   D O I   1 0 . 1 0 6 3 / 1 . 2 9 0 6 0 6 9 ;   B A K E R   D ,   1 9 9 3 ,   A C T A   C R Y S T A L L O G R   D ,   V 4 9 ,   P 1 8 6 ,   D O I   1 0 . 1 1 0 7 / S 0 9 0 7 4 4 4 9 9 2 0 0 8 8 0 1 ;   B e r m a n   H M ,   2 0 0 2 ,   A C T A   C R Y S T A L L O G R   D ,   V 5 8 ,   P 8 9 9 ,   D O I   1 0 . 1 1 0 7 / S 0 9 0 7 4 4 4 9 0 2 0 0 3 4 5 1 ;   B E R N S T E I N   F C ,   1 9 7 7 ,   J   M O L   B I O L ,   V 1 1 2 ,   P 5 3 5 ,   D O I   1 0 . 1 0 1 6 / S 0 0 2 2 - 2 8 3 6 ( 7 7 ) 8 0 2 0 0 - 3 ;   B l o w   D .   M . ,   2 0 0 6 ,   I N T   T A B L E S   C R Y S T A L L O ,   V F ,   P 2 6 3 ,   D O I   D O I   1 0 . 1 1 0 7 / 9 7 8 0 9 5 5 3 6 0 2 0 6 0 0 0 0 6 8 1 ;   C o l m a n   P .   M . ,   1 9 7 6 ,   C R Y S T A L L O G R A P H I C   C O M ,   P 2 4 8 ;   C o l o v o s   C ,   2 0 0 0 ,   A C T A   C R Y S T A L L O G R   D ,   V 5 6 ,   P 1 4 2 1 ,   D O I   1 0 . 1 1 0 7 / S 0 9 0 7 4 4 4 9 0 0 0 1 1 2 2 7 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   G a r d n e r   P P ,   2 0 1 1 ,   N U C L E I C   A C I D S   R E S ,   V 3 9 ,   p D 1 4 1 ,   D O I   1 0 . 1 0 9 3 / n a r / g k q 1 1 2 9 ;   G o l d b e r g   D ,   1 9 8 9 ,   G E N E T I C   A L G O R I T H M S   S ;   G o o d   B M ,   2 0 1 3 ,   B I O I N F O R M A T I C S ,   V 2 9 ,   P 1 9 2 5 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t t 3 3 3 ;   H A R R I S O N   R W ,   1 9 8 8 ,   J   A P P L   C R Y S T A L L O G R ,   V 2 1 ,   P 9 4 9 ,   D O I   1 0 . 1 1 0 7 / S 0 0 2 1 8 8 9 8 8 8 0 0 8 2 2 2 ;   H E N D R I C K S O N   W A ,   1 9 9 1 ,   S C I E N C E ,   V 2 5 4 ,   P 5 1 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 9 2 5 5 6 1 ;   H o l t o n   T ,   2 0 0 0 ,   A C T A   C R Y S T A L L O G R   D ,   V 5 6 ,   P 7 2 2 ,   D O I   1 0 . 1 1 0 7 / S 0 9 0 7 4 4 4 9 0 0 0 0 3 4 5 0 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   I m m i r z i   A ,   2 0 0 9 ,   J   A P P L   C R Y S T A L L O G R ,   V 4 2 ,   P 8 1 0 ,   D O I   1 0 . 1 1 0 7 / S 0 0 2 1 8 8 9 8 0 9 0 2 5 1 3 8 ;   K a s o z i   D M ,   2 0 1 1 ,   R E D O X   R E P ,   V 1 6 ,   P 1 5 4 ,   D O I   1 0 . 1 1 7 9 / 1 7 4 3 2 9 2 1 1 X 1 3 0 4 9 5 5 8 2 9 3 6 7 8 ;   K e l d e r   T ,   2 0 1 2 ,   N U C L E I C   A C I D S   R E S ,   V 4 0 ,   p D 1 3 0 1 ,   D O I   1 0 . 1 0 9 3 / n a r / g k r 1 0 7 4 ;   K h a t i b   F ,   2 0 1 1 ,   N A T   S T R U C T   M O L   B I O L ,   V 1 8 ,   P 1 1 7 5 ,   D O I   1 0 . 1 0 3 8 / n s m b . 2 1 1 9 ;   K h a t i b   F ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 1 8 9 4 9 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 1 1 5 8 9 8 1 0 8 ;   K I R K P A T R I C K   S ,   1 9 8 3 ,   S C I E N C E ,   V 2 2 0 ,   P 6 7 1 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 2 0 . 4 5 9 8 . 6 7 1 ;   L a g a n o w s k y   A ,   2 0 1 2 ,   S C I E N C E ,   V 3 3 5 ,   P 1 2 2 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 1 3 1 5 1 ;   L a k h a n i   K R ,   2 0 1 3 ,   N A T   B I O T E C H N O L ,   V 3 1 ,   P 1 0 8 ,   D O I   1 0 . 1 0 3 8 / n b t . 2 4 9 5 ;   L a w   N .   L . ,   2 0 0 7 ,   P   1 2   I N T   J O I N T   C   A R T ,   P 2 3 3 0 ;   L i   W ,   2 0 1 2 ,   2 0 1 2   8   I N T   C   N A T   C O M ,   P 6 6 5 ,   D O I   [ 1 0 . 1 1 0 9 / I C N C . 2 0 1 2 . 6 2 3 4 6 0 5 ,   D O I   1 0 . 1 1 0 9 / I C N C . 2 0 1 2 . 6 2 3 4 6 0 5 ] ;   L o r e n s e n   W .   E . ,   1 9 8 7 ,   P   1 4   A N N   C   C O M P   G R A P ,   P 1 6 3 ,   D O I   1 0 . 1 1 4 5 / 3 7 4 0 2 . 3 7 4 2 2 ;   L u e n g o - O r o z   M A ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   P 2 0 7 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 3 3 8 ;   L u n i n   V .   Y . ,   2 0 1 2 ,   I N T   T A B L E S   C R Y S T A L L O ,   V F ,   P 4 3 7 ;   L u n i n   V Y ,   1 9 9 6 ,   A C T A   C R Y S T A L L O G R   A ,   V 5 2 ,   P 3 6 5 ,   D O I   1 0 . 1 1 0 7 / S 0 1 0 8 7 6 7 3 9 5 0 1 5 8 6 8 ;   L U N I N   V Y ,   1 9 9 3 ,   A C T A   C R Y S T A L L O G R   D ,   V 4 9 ,   P 9 0 ,   D O I   1 0 . 1 1 0 7 / S 0 9 0 7 4 4 4 9 9 2 0 0 9 2 4 7 ;   L u n i n   V Y ,   1 9 9 8 ,   A C T A   C R Y S T A L L O G R   D ,   V 5 4 ,   P 7 2 6 ,   D O I   1 0 . 1 1 0 7 / S 0 9 0 7 4 4 4 9 9 7 0 1 2 4 5 6 ;   L U N I N   V Y ,   1 9 9 3 ,   A C T A   C R Y S T A L L O G R   D ,   V 4 9 ,   P 5 3 0 ,   D O I   1 0 . 1 1 0 7 / S 0 9 0 7 4 4 4 9 9 3 0 0 5 8 5 2 ;   L u n i n   V Y ,   2 0 0 0 ,   A C T A   C R Y S T A L L O G R   A ,   V 5 6 ,   P 3 7 5 ,   D O I   1 0 . 1 1 0 7 / S 0 1 0 8 7 6 7 3 0 0 0 0 4 6 3 3 ;   L U N I N   V Y ,   1 9 9 0 ,   A C T A   C R Y S T A L L O G R   A ,   V 4 6 ,   P 5 4 0 ,   D O I   1 0 . 1 1 0 7 / S 0 1 0 8 7 6 7 3 9 0 0 0 3 4 6 4 ;   L u n i n   V Y ,   1 9 9 9 ,   A C T A   C R Y S T A L L O G R   A ,   V 5 5 ,   P 9 1 6 ,   D O I   1 0 . 1 1 0 7 / S 0 1 0 8 7 6 7 3 9 9 0 0 5 0 0 0 ;   L U N I N   V Y ,   1 9 8 8 ,   A C T A   C R Y S T A L L O G R   A ,   V 4 4 ,   P 1 4 4 ,   D O I   1 0 . 1 1 0 7 / S 0 1 0 8 7 6 7 3 8 7 0 0 9 7 8 4 ;   L u n i n a   N ,   2 0 0 3 ,   A C T A   C R Y S T A L L O G R   D ,   V 5 9 ,   P 1 7 0 2 ,   D O I   1 0 . 1 1 0 7 / S 0 9 0 7 4 4 4 9 0 3 0 1 5 1 5 4 ;   M I L L E R   R ,   1 9 9 4 ,   J   A P P L   C R Y S T A L L O G R ,   V 2 7 ,   P 6 1 3 ,   D O I   1 0 . 1 1 0 7 / S 0 0 2 1 8 8 9 8 9 4 0 0 0 1 9 1 ;   M i l l e r   S T ,   2 0 0 1 ,   J   M O L   B I O L ,   V 3 0 7 ,   P 4 9 9 ,   D O I   1 0 . 1 0 0 6 / j m b i . 2 0 0 1 . 4 4 8 5 ;   P e t r o v a   T E ,   1 9 9 9 ,   A C T A   C R Y S T A L L O G R   A ,   V 5 5 ,   P 7 3 9 ,   D O I   1 0 . 1 1 0 7 / S 0 1 0 8 7 6 7 3 9 9 0 0 1 8 9 0 ;   P o l a k   E . ,   1 9 9 7 ,   O P T I M I Z A T I O N   A L G O R I T ;   R E A D   R J ,   1 9 8 8 ,   J   A P P L   C R Y S T A L L O G R ,   V 2 1 ,   P 4 9 0 ,   D O I   1 0 . 1 1 0 7 / S 0 0 2 1 8 8 9 8 8 8 0 0 5 6 2 X ;   R O S S M A N N   M G ,   1 9 9 0 ,   A C T A   C R Y S T A L L O G R   A ,   V 4 6 ,   P 7 3 ,   D O I   1 0 . 1 1 0 7 / S 0 1 0 8 7 6 7 3 8 9 0 0 9 8 1 5 ;   R u p p   B ,   2 0 1 0 ,   B I O M O L E C U L A R   C R Y S T A L L O G R A P H Y :   P R I N C I P L E S ,   P R A C T I C E ,   A N D   A P P L I C A T I O N   T O   S T R U C T U R A L   B I O L O G Y ,   P 1 ;   S c a p i n   G ,   2 0 1 3 ,   A C T A   C R Y S T A L L O G R   D ,   V 6 9 ,   P 2 2 6 6 ,   D O I   1 0 . 1 1 0 7 / S 0 9 0 7 4 4 4 9 1 3 0 1 1 4 2 6 ;   S h e l d r i c k   G M ,   1 9 9 8 ,   N A T O   A D V   S C I   I   C - M A T ,   V 5 0 7 ,   P 4 0 1 ;   S m i t h   J .   L . ,   2 0 1 2 ,   I N T   T A B L E S   C R Y S T A L L O ,   V F ,   P 3 7 3 ;   T E N E Y C K   L F ,   1 9 7 3 ,   A C T A   C R Y S T A L L O G R   A ,   V A   2 9 ,   P 1 8 3 ,   D O I   1 0 . 1 1 0 7 / S 0 5 6 7 7 3 9 4 7 3 0 0 0 4 5 8 ;   T e r w i l l i g e r   T C ,   2 0 0 9 ,   A C T A   C R Y S T A L L O G R   D ,   V 6 5 ,   P 5 8 2 ,   D O I   1 0 . 1 1 0 7 / S 0 9 0 7 4 4 4 9 0 9 0 1 2 0 9 8 ;   T e r w i l l i g e r   T C ,   2 0 0 1 ,   A C T A   C R Y S T A L L O G R   D ,   V 5 7 ,   P 1 7 6 3 ,   D O I   1 0 . 1 1 0 7 / S 0 9 0 7 4 4 4 9 0 1 0 1 3 7 4 9 ;   T h o m a s   I .   M . ,   1 9 9 5 ,   M I C R O S C   M I C R O A N A L ,   V 1 ,   P 1 6 7 ;   T o n g   L ,   2 0 0 6 ,   I N T   T A B L E S   C R Y S T A L L O ,   P 2 7 5 ;   U e r v i r o j n a n g k o o r n   M ,   2 0 1 3 ,   A C T A   C R Y S T A L L O G R   D ,   V 6 9 ,   P 2 0 3 9 ,   D O I   1 0 . 1 1 0 7 / S 0 9 0 7 4 4 4 9 1 3 0 1 8 1 6 7 ;   W e b s t e r   G ,   2 0 0 1 ,   A C T A   C R Y S T A L L O G R   A ,   V 5 7 ,   P 3 5 1 ,   D O I   1 0 . 1 1 0 7 / S 0 1 0 8 7 6 7 3 0 1 0 0 0 4 9 6 ;   Y e   Z S ,   2 0 1 0 ,   R E L I A B   E N G   S Y S T   S A F E ,   V 9 5 ,   P 1 2 0 ,   D O I   1 0 . 1 0 1 6 / j . r e s s . 2 0 0 9 . 0 9 . 0 0 1 ;   Z h o u   Y ,   2 0 0 4 ,   A C T A   C R Y S T A L L O G R   A ,   V 6 0 ,   P 3 0 6 ,   D O I   1 0 . 1 1 0 7 / S 0 1 0 8 7 6 7 3 0 4 0 1 0 0 0 1 	 5 6 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 9 0 7 - 4 4 4 9 	 1 3 9 9 - 0 0 4 7 	 	 A C T A   C R Y S T A L L O G R   D 	 A c t a   C r y s t a l l o g r .   S e c t .   D - B i o l .   C r y s t a l l o g r . 	 J U N 	 2 0 1 4 	 7 0 	 	 6 	 	 	 	 1 5 3 8 	 1 5 4 8 	 	 1 0 . 1 1 0 7 / S 1 3 9 9 0 0 4 7 1 4 0 0 6 4 2 7 	 	 1 1 	 B i o c h e m i c a l   R e s e a r c h   M e t h o d s ;   B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   B i o p h y s i c s ;   C r y s t a l l o g r a p h y 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   B i o p h y s i c s ;   C r y s t a l l o g r a p h y 	 A K 0 P W 	 W O S : 0 0 0 3 3 8 1 1 7 8 0 0 0 0 5 	 2 4 9 1 4 9 6 5 	 
 J 	 S h e r i d a n ,   R P ;   Z o r n ,   N ;   S h e r e r ,   E C ;   C a m p e a u ,   L C ;   C h a n g ,   C ;   C u m m i n g ,   J ;   M a d d e s s ,   M L ;   N a n t e r m e t ,   P G ;   S i n z ,   C J ;   O ' S h e a ,   P D 	 	 	 	 S h e r i d a n ,   R o b e r t   P . ;   Z o r n ,   N i c o l a s ;   S h e r e r ,   E d w a r d   C . ;   C a m p e a u ,   L o u i s - C h a r l e s ;   C h a n g ,   C h a r l i e   ( Z h e n y u ) ;   C u m m i n g ,   J a r e d ;   M a d d e s s ,   M a t t h e w   L . ;   N a n t e r m e t ,   P h i l i p p e   G . ;   S i n z ,   C h r i s t o p h e r   J . ;   O ' S h e a ,   P a u l   D . 	 	 	 M o d e l i n g   a   C r o w d s o u r c e d   D e f i n i t i o n   o f   M o l e c u l a r   C o m p l e x i t y 	 J O U R N A L   O F   C H E M I C A L   I N F O R M A T I O N   A N D   M O D E L I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 C O M P O U N D   C L A S S I F I C A T I O N ;   N A T U R A L - P R O D U C T S ;   D R U G ;   T O O L ;   I N D E X E S 	 T h i s   p a p e r   b r i n g s   t o g e t h e r   t h e   c o n c e p t s   o f   m o l e c u l a r   c o m p l e x i t y   a n d   c r o w d s o u r c i n g .   A n   e x e r c i s e   w a s   d o n e   a t   M e r c k   w h e r e   3 8 6   c h e m i s t s   v o t e d   o n   t h e   m o l e c u l a r   c o m p l e x i t y   ( o n   a   s c a l e   o f   1 - 5 )   o f   2 6 8 1   m o l e c u l e s   t a k e n   f r o m   v a r i o u s   s o u r c e s :   p u b l i c ,   l i c e n s e d ,   a n d   i n - h o u s e .   T h e   m e a n C o m p l e x i t y   o f   a   m o l e c u l e   i s   t h e   a v e r a g e   o v e r   a l l   v o t e s   f o r   t h a t   m o l e c u l e .   A s   l o n g   a s   e n o u g h   v o t e s   a r e   c a s t   p e r   m o l e c u l e ,   w e   f i n d   m e a n C o m p l e x i t y   i s   q u i t e   e a s y   t o   m o d e l   w i t h   Q S A R   m e t h o d s   u s i n g   o n l y   a   h a n d f u l   o f   p h y s i c a l   d e s c r i p t o r s   ( e . g . ,   n u m b e r   o f   c h i r a l   c e n t e r s ,   n u m b e r   o f   u n i q u e   t o p o l o g i c a l   t o r s i o n s ,   a   W i e n e r   i n d e x ,   e t c . ) .   T h e   h i g h   l e v e l   o f   s e l f - c o n s i s t e n c y   o f   t h e   m o d e l   ( c r o s s - v a l i d a t e d   R - 2   s i m i l a r   t o   0 . 8 8 )   i s   r e m a r k a b l e   g i v e n   t h a t   o u r   c h e m i s t s   d o   n o t   a g r e e   w i t h   e a c h   o t h e r   s t r o n g l y   a b o u t   t h e   c o m p l e x i t y   o f   a n y   g i v e n   m o l e c u l e .   T h u s ,   t h e   p o w e r   o f   c r o w d s o u r c i n g   i s   c l e a r l y   d e m o n s t r a t e d   i n   t h i s   c a s e .   T h e   m e a n C o m p l e x i t y   a p p e a r s   t o   b e   c o r r e l a t e d   w i t h   a t   l e a s t   o n e   m e t r i c   o f   s y n t h e t i c   c o m p l e x i t y   f r o m   t h e   l i t e r a t u r e   d e r i v e d   i n   a   d i f f e r e n t   w a y   a n d   i s   c o r r e l a t e d   w i t h   v a l u e s   o f   p r o c e s s   m a s s   i n t e n s i t y   ( P M I )   f r o m   t h e   l i t e r a t u r e   a n d   f r o m   i n - h o u s e   s t u d i e s .   C o m p l e x i t y   c a n   b e   u s e d   t o   d i f f e r e n t i a t e   b e t w e e n   i n - h o u s e   p r o g r a m s   a n d   t o   f o l l o w   a   p r o g r a m   o v e r   t i m e . 	 [ S h e r i d a n ,   R o b e r t   P . ;   S h e r e r ,   E d w a r d   C . ]   M e r c k   &   C o   I n c ,   M e r c k   R e s   L a b s ,   S t r u c t   C h e m ,   R a h w a y ,   N J   0 7 0 6 5   U S A ;   [ Z o r n ,   N i c o l a s ]   M e r c k   &   C o   I n c ,   M e r c k   R e s   L a b s ,   S t r u c t   C h e m ,   K e n i l w o r t h ,   N J   0 7 0 3 3   U S A ;   [ C a m p e a u ,   L o u i s - C h a r l e s ]   M e r c k   &   C o   I n c ,   M e r c k   R e s   L a b s ,   P r o c   C h e m ,   R a h w a y ,   N J   0 7 0 6 5   U S A ;   [ C h a n g ,   C h a r l i e   ( Z h e n y u ) ]   M e r c k   &   C o   I n c ,   M e r c k   R e s   L a b s ,   S t r u c t   C h e m ,   B o s t o n ,   M A   0 2 1 1 5   U S A ;   [ C u m m i n g ,   J a r e d ]   M e r c k   &   C o   I n c ,   M e r c k   R e s   L a b s ,   D i s c o v e r y   C h e m ,   K e n i l w o r t h ,   N J   0 7 0 3 3   U S A ;   [ M a d d e s s ,   M a t t h e w   L . ]   M e r c k   &   C o   I n c ,   M e r c k   R e s   L a b s ,   P r o c   C h e m ,   B o s t o n ,   M A   0 2 1 1 5   U S A ;   [ N a n t e r m e t ,   P h i l i p p e   G . ]   M e r c k   &   C o   I n c ,   M e r c k   R e s   L a b s ,   D i s c o v e r y   C h e m ,   W e s t   P o i n t ,   P A   1 9 4 8 6   U S A ;   [ S i n z ,   C h r i s t o p h e r   J . ]   M e r c k   &   C o   I n c ,   M e r c k   R e s   L a b s ,   D i s c o v e r y   C h e m ,   R a h w a y ,   N J   0 7 0 6 5   U S A ;   [ O ' S h e a ,   P a u l   D . ]   M e r c k   &   C o   I n c ,   M e r c k   R e s   L a b s ,   A n a l y t   C h e m ,   R a h w a y ,   N J   0 7 0 6 5   U S A 	 S h e r i d a n ,   R P   ( r e p r i n t   a u t h o r ) ,   M e r c k   &   C o   I n c ,   M e r c k   R e s   L a b s ,   S t r u c t   C h e m ,   P O B   2 0 0 0 ,   R a h w a y ,   N J   0 7 0 6 5   U S A . 	 s h e r i d a n @ m e r c k . c o m 	 	 	 	 	 A l l u   T K ,   2 0 0 5 ,   J   C H E M   I N F   M O D E L ,   V 4 5 ,   P 1 2 3 7 ,   D O I   1 0 . 1 0 2 1 / c i 0 5 0 1 3 8 7 ;   [ A n o n y m o u s ] ,   M O L   O P   E N V   M O E   V E R S ;   B A L A B A N   A T ,   1 9 7 9 ,   T H E O R   C H I M   A C T A ,   V 5 3 ,   P 3 5 5 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 5 5 5 6 9 5 ;   B a r o n e   R ,   2 0 0 1 ,   J   C H E M   I N F   C O M P   S C I ,   V 4 1 ,   P 2 6 9 ,   D O I   1 0 . 1 0 2 1 / c i 0 0 0 1 4 5 p ;   B E R T Z   S H ,   1 9 8 1 ,   J   A M   C H E M   S O C ,   V 1 0 3 ,   P 3 5 9 9 ,   D O I   1 0 . 1 0 2 1 / j a 0 0 4 0 2 a 0 7 1 ;   B e r t z   S H ,   2 0 0 3 ,   N E W   J   C H E M ,   V 2 7 ,   P 8 6 0 ,   D O I   1 0 . 1 0 3 9 / b 2 1 0 8 4 3 g ;   B o n n e t   P ,   2 0 1 2 ,   E U R   J   M E D   C H E M ,   V 5 4 ,   P 6 7 9 ,   D O I   1 0 . 1 0 1 6 / j . e j m e c h . 2 0 1 2 . 0 6 . 0 2 4 ;   B r e i m a n   L ,   2 0 0 1 ,   M A C H   L E A R N ,   V 4 5 ,   P 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 0 9 3 3 4 0 4 3 2 4 ;   B r u c e   C L ,   2 0 0 7 ,   J   C H E M   I N F   M O D E L ,   V 4 7 ,   P 2 1 9 ,   D O I   [ 1 0 . 1 0 2 1 / c i 6 0 0 3 3 2 j ,   1 0 . 1 0 2 1 / c i 6 0 0 3 2 2 j ] ;   C A R H A R T   R E ,   1 9 8 5 ,   J   C H E M   I N F   C O M P   S C I ,   V 2 5 ,   P 6 4 ,   D O I   1 0 . 1 0 2 1 / c i 0 0 0 4 6 a 0 0 2 ;   C O R T E S   C ,   1 9 9 5 ,   M A C H   L E A R N ,   V 2 0 ,   P 2 7 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 2 6 2 7 4 1 1 4 1 1 ;   E r t l   P ,   2 0 0 9 ,   J   C H E M I N F O R M A T I C S ,   V 1 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 8 - 2 9 4 6 - 1 - 8 ;   G a u l t o n   A ,   2 0 1 2 ,   N U C L E I C   A C I D S   R E S ,   V 4 0 ,   p D 1 1 0 0 ,   D O I   1 0 . 1 0 9 3 / n a r / g k r 7 7 7 ;   H a c k   M D ,   2 0 1 1 ,   J   C H E M   I N F   M O D E L ,   V 5 1 ,   P 3 2 7 5 ,   D O I   1 0 . 1 0 2 1 / c i 2 0 0 4 4 6 y ;   H E N D R I C K S O N   J B ,   1 9 8 7 ,   J   C H E M   I N F   C O M P   S C I ,   V 2 7 ,   P 6 3 ,   D O I   1 0 . 1 0 2 1 / c i 0 0 0 5 4 a 0 0 4 ;   I r w i n   J J ,   2 0 0 5 ,   J   C H E M   I N F   M O D E L ,   V 4 5 ,   P 1 7 7 ,   D O I   1 0 . 1 0 2 1 / c i 0 4 9 7 1 4 + ;   J i m e n e z - G o n z a l e z   C ,   2 0 1 1 ,   O R G   P R O C E S S   R E S   D E V ,   V 1 5 ,   P 9 1 2 ,   D O I   1 0 . 1 0 2 1 / o p 2 0 0 0 9 7 d ;   K j e l l   D P ,   2 0 1 3 ,   O R G   P R O C E S S   R E S   D E V ,   V 1 7 ,   P 1 6 9 ,   D O I   1 0 . 1 0 2 1 / o p 3 0 0 2 9 1 7 ;   K u t c h u k i a n   P .   S . ,   2 0 1 2 ,   P L O S   O N E ,   V 1 1 ;   L e a c h   A R ,   2 0 1 1 ,   C U R R   O P I N   C H E M   B I O L ,   V 1 5 ,   P 4 8 9 ,   D O I   1 0 . 1 0 1 6 / j . c b p a . 2 0 1 1 . 0 5 . 0 0 8 ;   N I L A K A N T A N   R ,   1 9 8 7 ,   J   C H E M   I N F   C O M P   S C I ,   V 2 7 ,   P 8 2 ,   D O I   1 0 . 1 0 2 1 / c i 0 0 0 5 4 a 0 0 8 ;   P e n g   Z W ,   2 0 1 3 ,   M O L   I N F O R M ,   V 3 2 ,   P 3 3 7 ,   D O I   1 0 . 1 0 0 2 / m i n f . 2 0 1 2 0 0 1 5 4 ;   R u c k e r   C ,   2 0 0 4 ,   J   C H E M   I N F   C O M P   S C I ,   V 4 4 ,   P 3 7 8 ,   D O I   1 0 . 1 0 2 1 / c i 0 3 0 4 1 5 e ;   S a n d e r   T . ,   2 0 1 3 ,   C H A O S   C O M P L E X   S Y S T E M ,   P 3 0 1 ;   S c h u f f e n h a u e r   A ,   2 0 0 6 ,   J   C H E M   I N F   M O D E L ,   V 4 6 ,   P 5 2 5 ,   D O I   1 0 . 1 0 2 1 / c i 0 5 0 3 5 5 8 ;   S h e r i d a n   R P ,   2 0 1 3 ,   J   C H E M   I N F   M O D E L ,   V 5 3 ,   P 7 8 3 ,   D O I   1 0 . 1 0 2 1 / c i 4 0 0 0 8 4 k ;   S o h   S ,   2 0 1 2 ,   C H E M   S C I ,   V 3 ,   P 1 4 9 7 ,   D O I   1 0 . 1 0 3 9 / c 2 s c 0 0 0 1 1 c ;   S v e t n i k   V ,   2 0 0 5 ,   J   C H E M   I N F   M O D E L ,   V 4 5 ,   P 7 8 6 ,   D O I   1 0 . 1 0 2 1 / c i 0 5 0 0 3 7 9 ;   S v e t n i k   V ,   2 0 0 3 ,   J   C H E M   I N F   C O M P   S C I ,   V 4 3 ,   P 1 9 4 7 ,   D O I   1 0 . 1 0 2 1 / c i 0 3 4 1 6 0 g ;   W h i t l o c k   H W ,   1 9 9 8 ,   J   O R G   C H E M ,   V 6 3 ,   P 7 9 8 2 ,   D O I   1 0 . 1 0 2 1 / j o 9 8 1 4 5 4 6 	 3 0 	 0 	 0 	 A M E R   C H E M I C A L   S O C 	 W A S H I N G T O N 	 1 1 5 5   1 6 T H   S T ,   N W ,   W A S H I N G T O N ,   D C   2 0 0 3 6   U S A 	 1 5 4 9 - 9 5 9 6 	 1 5 4 9 - 9 6 0 X 	 	 J   C H E M   I N F   M O D E L 	 J .   C h e m   I n f .   M o d e l . 	 J U N 	 2 0 1 4 	 5 4 	 6 	 	 	 	 	 1 6 0 4 	 1 6 1 6 	 	 1 0 . 1 0 2 1 / c i 5 0 0 1 7 7 8 	 	 1 3 	 C h e m i s t r y ,   M e d i c i n a l ;   C h e m i s t r y ,   M u l t i d i s c i p l i n a r y ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 P h a r m a c o l o g y   &   P h a r m a c y ;   C h e m i s t r y ;   C o m p u t e r   S c i e n c e 	 A J 8 F C 	 W O S : 0 0 0 3 3 7 9 3 7 1 0 0 0 0 6 	 2 4 8 0 2 8 8 9 	 
 J 	 F i n k ,   D ;   D a m o u l a s ,   T ;   B r u n s ,   N E ;   L a   S o r t e ,   F A ;   H o c h a c h k a ,   W M ;   G o m e s ,   C P ;   K e l l i n g ,   S 	 	 	 	 F i n k ,   D a n i e l ;   D a m o u l a s ,   T h e o d o r o s ;   B r u n s ,   N i c h o l a s   E . ;   L a   S o r t e ,   F r a n k   A . ;   H o c h a c h k a ,   W e s l e y   M . ;   G o m e s ,   C a r l a   P . ;   K e l l i n g ,   S t e v e 	 	 	 C r o w d s o u r c i n g   M e e t s   E c o l o g y :   H e m i s p h e r e w i d e   S p a t i o t e m p o r a l   S p e c i e s   D i s t r i b u t i o n   M o d e l s 	 A I   M A G A Z I N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 C O V A R I A N C E   F U N C T I O N S ;   S P A T I A L - P R E D I C T I O N ;   C I T I Z E N   S C I E N C E ;   S C A L E ;   M I G R A T I O N ;   D I S T A N C E ;   S P L I N E S 	 E c o l o g i c a l   s y s t e m s   a r e   i n h e r e n t l y   c o m p l e x .   T h e   p r o c e s s e s   t h a t   a f f e c t   t h e   d i s t r i b u t i o n s   o f   a n i m a l s   a n d   p l a n t s   o p e r a t e   a t   m u l t i p l e   s p a t i a l   a n d   t e m p o r a l   s c a l e s ,   p r e s e n t i n g   a   u n i q u e   c h a l l e n g e   f o r   t h e   d e v e l o p m e n t   a n d   c o o r d i n a t i o n   o f   e f f e c t i v e   c o n s e r v a t i o n   s t r a t e g i e s ,   p a r t i c u l a r l y   f o r   w i d e - r a n g i n g   s p e c i e s .   I n   o r d e r   t o   s t u d y   e c o l o g i c a l   s y s t e m s   a c r o s s   s c a l e s , .   d a t a   m u s t   b e   c o l l e c t e d   a t   f i n e   r e s o l u t i o n s   a c r o s s   b r o a d   s p a t i a l   a n d   t e m p o r a l   e x t e n t s .   C r o w d s o u r c i n g   h a s   e m e r g e d   a s   a n   e f f i c i e n t   w a y   t o   g a t h e r   t h e s e   d a t a   b y   e n g a g i n g   l a r g e   n u m b e r s   o f   p e o p l e   t o   r e c o r d   o b s e r v a t i o n s .   H o w e v e r ,   d a t a   g a t h e r e d   b y   c r o w d s o u r c e d   p r o j e c t s   a r e   o f t e n   b i a s e d   d u e   t o   t h e   o p p o r t u n i s t i c   a p p r o a c h   o f   d a t a   c o l l e c t i o n .   I n   t h i s   a r t i c l e ,   w e   p r o p o s e   a   g e n e r a l   c l a s s   o f   m o d e l s   c a l l e d   A d a S T E M   ( f o r   a d a p t i v e   s p a t i o t e m p o r a l   e x p l o r a t o r y   m o d e l s )   t h a t   a r e   d e s i g n e d   t o   m e e t   t h e s e   c h a l l e n g e s   b y   a d a p t i n g   t o   m u l t i p l e   s c a l e s   w h i l e   e x p l o i t i n g   v a r i a t i o n ,   i n   d a t a   d e n s i t y   c o m m o n   w i t h   c r o w d s o u r c e d   d a t a .   T o   i l l u s t r a t e   t h e   u s e   o f   A d a S T E M ,   w e   p r o d u c e   i n t r a s e a s o n a l   d i s t r i b u t i o n   e s t i m a t e s   o f   l o n g - d i s t a n c e   m i g r a t i o n s   a c r o s s   t h e   W e s t e r n   H e m i s p h e r e   u s i n g   d a t a   f r o m   e B i r d ,   a   c i t i z e n   s c i e n c e   p r o j e c t   t h a t   u t i l i z e s   v o l u n t e e r s   t o   c o l l e c t   o b s e r v a t i o n s   o f   b i r d s .   S u b s e q u e n t l y ,   m o d e l   d i a g n o s t i c s   a r e   u s e d   t o   q u a n t i f y   a n d   v i s u a l i z e   t h e   s c a l e   a n d   q u a l i t y   o f   d i s t r i b u t i o n   e s t i m a t e s .   T h i s   a n a l y s i s   s h o w s   h o w   A d a S T E M   c a n   a u t o m a t i c a l l y   a d a p t   t o   c o m p l e x   s p a t i o t e m p o r a l   p r o c e s s e s   a c r o s s   a   r a n g e   o f   s c a l e s ,   t h u s   p r o v i d i n g   e s s e n t i a l   i n f o r m a t i o n   f o r   f u l l - l i f e   c y c l e   c o n s e r v a t i o n   p l a n n i n g   o f   b r o a d l y   d i s t r i b u t e d   s p e c i e s ,   c o m m u n i t i e s ,   a n d   e c o s y s t e m s . 	 [ F i n k ,   D a n i e l ]   C o r n e l l   L a b   O r n i t h o l ,   I n f o r m a t   S c i   P r o g r a m ,   I t h a c a ,   N Y   1 4 8 5 0   U S A ;   [ D a m o u l a s ,   T h e o d o r o s ]   N Y U ,   N e w   Y o r k ,   N Y   1 0 0 0 3   U S A ;   [ D a m o u l a s ,   T h e o d o r o s ]   N Y U ,   C t r   U r b a n   S c i   &   P r o g r e s s ,   N e w   Y o r k ,   N Y   1 0 0 0 3   U S A ;   [ D a m o u l a s ,   T h e o d o r o s ]   N Y U ,   P o l y t e c h   S c h   E n g n   A r e a   U r b a n   I n f o r m a t ,   N e w   Y o r k ,   N Y   1 0 0 0 3   U S A ;   [ B r u n s ,   N i c h o l a s   E . ]   C o r n e l l   L a b   O r n i t h o l ,   I n f o r m a t   S c i   T e a m ,   I t h a c a ,   N Y   U S A ;   [ L a   S o r t e ,   F r a n k   A . ;   H o c h a c h k a ,   W e s l e y   M . ;   K e l l i n g ,   S t e v e ]   C o r n e l l   L a b   O r n i t h o l ,   I t h a c a ,   N Y   U S A ;   [ H o c h a c h k a ,   W e s l e y   M . ]   C o r n e l l   U n i v ,   I t h a c a ,   N Y   1 4 8 5 3   U S A ;   [ G o m e s ,   C a r l a   P . ]   C o r n e l l   U n i v ,   I n s t   C o m p u t a t   S u s t a i n a b i l ,   I t h a c a ,   N Y   1 4 8 5 3   U S A 	 F i n k ,   D   ( r e p r i n t   a u t h o r ) ,   C o r n e l l   L a b   O r n i t h o l ,   I n f o r m a t   S c i   P r o g r a m ,   I t h a c a ,   N Y   1 4 8 5 0   U S A . 	 	 	 	 L e o n   L e v y   F o u n d a t i o n ;   W o l f   C r e e k   F o u n d a t i o n ;   N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ O C T - 0 8 3 0 9 4 4 ,   C C F - 0 8 3 2 7 8 2 ,   I T R - 0 4 2 7 9 1 4 ,   D B I - 1 0 4 9 3 6 3 ,   D B I - 0 5 4 2 8 6 8 ,   D U E - 0 7 3 4 8 5 7 ,   I I S - 0 7 4 8 6 2 6 ,   I I S - 0 8 4 4 5 4 6 ,   I I S - 0 6 1 2 0 3 1 ,   I I S - 1 0 5 0 4 2 2 ,   I I S - 0 9 0 5 3 8 5 ,   I I S - 0 7 4 6 5 0 0 ,   I I S - 1 2 0 9 5 8 9 ,   A G S - 0 8 3 5 8 2 1 ,   C N S - 0 7 5 1 1 5 2 ,   C N S - 0 8 5 5 1 6 7 ,   I I S - 1 0 1 7 7 9 3 ,   C D I - 1 1 2 5 0 9 8 ,   C N S - 1 0 5 9 2 8 4 ,   O C T - 1 0 5 3 5 7 5 ,   D E B - 1 1 0 0 0 8 ] 	 W e   t h a n k   t h e   t h o u s a n d s   o f   e B i r d   p a r t i c i p a n t s ,   K .   R o s e n b e r g ,   S .   S u k h n a n a n d ,   a n d   t h e   L a b   o f   O r n i t h o l o g y   I S   e B i r d   t e a m   -   K .   W e b b ,   M .   I l i f f ,   J .   G e r b r a c h t ,   T .   L e n z ,   W .   M o r r i s ,   B .   S u l l i v a n ,   a n d   C .   W o o d .   T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   L e o n   L e v y   F o u n d a t i o n ,   t h e   W o l f   C r e e k   F o u n d a t i o n ,   a n d   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   ( O C I - 0 8 3 0 9 4 4 ,   C C F - 0 8 3 2 7 8 2 ,   I T R - 0 4 2 7 9 1 4 ,   D B I - 1 0 4 9 3 6 3 ,   D B I - 0 5 4 2 8 6 8 ,   D U E - 0 7 3 4 8 5 7 ,   I I S - 0 7 4 8 6 2 6 ,   I I S - 0 8 4 4 5 4 6 ,   I I S - 0 6 1 2 0 3 1 ,   I I S - 1 0 5 0 4 2 2 ,   I I S - 0 9 0 5 3 8 5 ,   I I S - 0 7 4 6 5 0 0 ,   I I S - 1 2 0 9 5 8 9 ,   A G S - 0 8 3 5 8 2 1 ,   C N S - 0 7 5 1 1 5 2 ,   C N S - 0 8 5 5 1 6 7 ,   I I S - 1 0 1 7 7 9 3 ,   C D I - 1 1 2 5 0 9 8 )   w i t h   c o m p u t i n g   s u p p o r t   f r o m   C N S - 1 0 5 9 2 8 4 ,   O C T - 1 0 5 3 5 7 5   a n d   D E B - 1 1 0 0 0 8 . 	 B a n e r j e e   S . ,   2 0 0 4 ,   H I E R A R C H I C A L   M O D E L I N ,   V 1 0 1 ;   B o n t e r   D N ,   2 0 0 7 ,   A U K ,   V 1 2 4 ,   P 1 2 2 ,   D O I   1 0 . 1 6 4 2 / 0 0 0 4 - 8 0 3 8 ( 2 0 0 7 ) 1 2 4 [ 1 2 2 : D M C I L D ] 2 . 0 . C O ; 2 ;   B r e i m a n   L ,   1 9 9 6 ,   M A C H   L E A R N ,   V 2 4 ,   P 1 2 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 8 0 5 4 3 1 4 3 5 0 ;   B r e i m a n   L . ,   1 9 8 4 ,   C L A S S I F I C A T I O N   R E G R E ;   C r a i n i c e a n u   C M ,   2 0 0 7 ,   J   C O M P U T   G R A P H   S T A T ,   V 1 6 ,   P 2 6 5 ,   D O I   1 0 . 1 1 9 8 / 1 0 6 1 8 6 0 0 7 x 2 0 8 7 6 8 ;   C r e s s i e   N ,   2 0 0 8 ,   J   R O Y   S T A T   S O C   B ,   V 7 0 ,   P 2 0 9 ;   C r e s s i e   N . ,   1 9 9 3 ,   S T A T   S P A T I A L   D A T A ;   C r e s s i e   N . ,   2 0 1 2 ,   S T A T   S P A T I O   T E M P O R A L ;   C R E S S I E   N ,   1 9 8 6 ,   J   A M   S T A T   A S S O C ,   V 8 1 ,   P 6 2 5 ,   D O I   1 0 . 2 3 0 7 / 2 2 8 8 9 9 0 ;   D e L u c a   W . ,   2 0 1 3 ,   B I R D S   N   A M   O N L I N E ;   D i c k i n s o n   J L ,   2 0 1 0 ,   A N N U   R E V   E C O L   E V O L   S ,   V 4 1 ,   P 1 4 9 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v - e c o l s y s - 1 0 2 2 0 9 - 1 4 4 6 3 6 ;   D i e f e n b a c h   D R ,   2 0 0 7 ,   A U K ,   V 1 2 4 ,   P 9 6 ,   D O I   1 0 . 1 6 4 2 / 0 0 0 4 - 8 0 3 8 ( 2 0 0 7 ) 1 2 4 [ 9 6 : I A F D I E ] 2 . 0 . C O ; 2 ;   D r e w i t t   A L ,   2 0 0 6 ,   I B I S ,   V 1 4 8 ,   P 2 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 4 - 9 1 9 X . 2 0 0 6 . 0 0 5 1 6 . x ;   D u n g a n   J L ,   2 0 0 2 ,   E C O G R A P H Y ,   V 2 5 ,   P 6 2 6 ,   D O I   1 0 . 1 0 3 4 / j . 1 6 0 0 - 0 5 8 7 . 2 0 0 2 . 2 5 0 5 1 0 . x ;   F i n k   D . ,   2 0 1 3 ,   P   2 7   A A A I   C   A R T   I N T ;   F i n k   D ,   2 0 1 0 ,   E C O L   A P P L ,   V 2 0 ,   P 2 1 3 1 ,   D O I   1 0 . 1 8 9 0 / 0 9 - 1 3 4 0 . 1 ;   F o r t i n   M J ,   2 0 0 5 ,   S P A T I A L   A N A L Y S I S :   A   G U I D E   F O R   E C O L O G I S T S ,   P 1 ;   G e l f a n d   A   E ,   2 0 1 2 ,   S P A T I A L   S T A T ,   V 1 ,   P 3 0 ;   G o m e s   C .   P . ,   2 0 0 9 ,   B R I D G E ,   V 3 9 ,   P 5 ;   G r o s b o i s   V ,   2 0 0 8 ,   B I O L   R E V ,   V 8 3 ,   P 3 5 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 9 - 1 8 5 X . 2 0 0 8 . 0 0 0 4 7 . x ;   H a s t i e   T ,   2 0 0 9 ,   E L E M E N T S   S T A T   L E A R N I ;   H o c h a c h k a   W M ,   2 0 1 2 ,   T R E N D S   E C O L   E V O L ,   V 2 7 ,   P 1 3 0 ,   D O I   1 0 . 1 0 1 6 / j . t r e e . 2 0 1 1 . 1 1 . 0 0 6 ;   H o l m e s   R .   T . ,   2 0 1 3 ,   B I R D S   N   A M   O N L I N E ;   H u a n g   H C ,   2 0 0 2 ,   J   C O M P U T   G R A P H   S T A T ,   V 1 1 ,   P 6 3 ,   D O I   1 0 . 1 1 9 8 / 1 0 6 1 8 6 0 0 2 3 1 7 3 7 5 6 2 2 ;   J u n   M ,   2 0 0 8 ,   A N N   A P P L   S T A T ,   V 2 ,   P 1 2 7 1 ,   D O I   1 0 . 1 2 1 4 / 0 8 - A O A S 1 8 3 ;   K a m m a n n   E E ,   2 0 0 3 ,   J   R O Y   S T A T   S O C   C - A P P ,   V 5 2 ,   P 1 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 8 7 6 . 0 0 3 8 5 ;   K u n c h e v a   L I ,   2 0 0 3 ,   M A C H   L E A R N ,   V 5 1 ,   P 1 8 1 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 2 8 5 9 0 0 3 0 0 6 ;   L a   S o r t e   F A ,   2 0 1 3 ,   E C O L O G Y ,   V 9 4 ,   P 1 8 3 9 ,   D O I   1 0 . 1 8 9 0 / 1 2 - 1 7 6 8 . 1 ;   L E V I N   S A ,   1 9 9 2 ,   E C O L O G Y ,   V 7 3 ,   P 1 9 4 3 ,   D O I   1 0 . 2 3 0 7 / 1 9 4 1 4 4 7 ;   M o i l a n e n   A . ,   2 0 0 9 ,   S P A T I A L   C O N S E R V A T I O N ;   O s t f e l d   R S ,   2 0 0 5 ,   T R E N D S   E C O L   E V O L ,   V 2 0 ,   P 3 2 8 ,   D O I   1 0 . 1 0 1 6 / j . t r e e . 2 0 0 5 . 0 3 . 0 0 9 ;   P a c i o r e k   C J ,   2 0 0 4 ,   A D V   N E U R   I N ,   V 1 6 ,   P 2 7 3 ;   P i n t o r e   A . ,   2 0 0 4 ,   T E C H N I C A L   R E P O R T ;   P i n t o r e   A ,   2 0 0 6 ,   B I O M E T R I K A ,   V 9 3 ,   P 1 1 3 ,   D O I   1 0 . 1 0 9 3 / b i o m e t / 9 3 . 1 . 1 1 3 ;   R a s m u s s e n   C E ,   2 0 0 5 ,   A D A P T   C O M P U T   M A C H   L E ,   P 1 ;   R u e   H . ,   2 0 0 5 ,   G A U S S I A N   M A R K O V   R A N D ,   V 1 0 4 ;   S a m e t   H . ,   2 0 0 6 ,   F D N   M U L T I D I M E N S I O N A L ;   S c h u s t e r   R ,   2 0 1 3 ,   E C O G R A P H Y ,   V 3 6 ,   P 4 9 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 6 0 0 - 0 5 8 7 . 2 0 1 2 . 0 7 6 8 1 . x ;   S t e i n   M L ,   2 0 0 5 ,   J   A M   S T A T   A S S O C ,   V 1 0 0 ,   P 3 1 0 ,   D O I   1 0 . 1 1 9 8 / 0 1 6 2 1 4 5 0 4 0 0 0 0 0 0 8 5 4 ;   S t u t c h b u r y   B J M ,   2 0 0 9 ,   S C I E N C E ,   V 3 2 3 ,   P 8 9 6 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 6 6 6 4 ;   S u l l i v a n   B L ,   2 0 0 9 ,   B I O L   C O N S E R V ,   V 1 4 2 ,   P 2 2 8 2 ,   D O I   1 0 . 1 0 1 6 / j . b i o c o n . 2 0 0 9 . 0 5 . 0 0 6 ;   T z e n g   S L ,   2 0 0 5 ,   J   A M   S T A T   A S S O C ,   V 1 0 0 ,   P 1 3 4 3 ,   D O I   1 0 . 1 1 9 8 / 0 1 6 2 1 4 5 0 5 0 0 0 0 0 0 4 2 0 ;   W o o d   S ,   2 0 0 6 ,   G E N   A D D I T I V E   M O D E L S ,   V 6 6 	 4 3 	 0 	 0 	 A M E R   A S S O C   A R T I F I C I A L   I N T E L L 	 M E N L O   P K 	 4 4 5   B U R G E S S   D R I V E ,   M E N L O   P K ,   C A   9 4 0 2 5 - 3 4 9 6   U S A 	 0 7 3 8 - 4 6 0 2 	 	 	 A I   M A G 	 A I   M a g . 	 S U M 	 2 0 1 4 	 3 5 	 2 	 	 	 	 	 1 9 	 3 0 	 	 	 	 1 2 	 	 	 A J 5 Z H 	 W O S : 0 0 0 3 3 7 7 6 8 9 0 0 0 0 3 	 	 
 J 	 J o s e p h y ,   T ;   L e a s e ,   M ;   P a r i t o s h ,   P ;   K r a u s e ,   M ;   G e o r g e s c u ,   M ;   T j a l v e ,   M ;   B r a g a ,   D 	 	 	 	 J o s e p h y ,   T a t i a n a ;   L e a s e ,   M a t t ;   P a r i t o s h ,   P r a v e e n ;   K r a u s e ,   M a r k u s ;   G e o r g e s c u ,   M i h a i ;   T j a l v e ,   M i c h a e l ;   B r a g a ,   D a n i e l a 	 	 	 W o r k s h o p s   H e l d   a t   t h e   F i r s t   A A A I   C o n f e r e n c e   o n   H u m a n   C o m p u t a t i o n   a n d   C r o w d s o u r c i n g :   A   R e p o r t 	 A I   M A G A Z I N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 T h e   f i r s t   A A A I   C o n f e r e n c e   o n   H u m a n   C o m p u t a t i o n   a n d   C r o w d s o u r c i n g   ( H C O M P - 2 0 1 3 )   w a s   h e l d   N o v e m b e r   6 - 9 ,   2 0 1 3 ,   i n   P a l m   S p r i n g s ,   C a l i f o r n i a .   T h r e e   w o r k s h o p s   t o o k   p l a c e   o n   S a t u r d a y ,   N o v e m b e r   9 :   C r o w d s o u r c i n g   a t   S c a l e   ( f u l l   d a y ) ,   D i s c o :   H u m a n   a n d   M a c h i n e   L e a r n i n g   i n   G a m e s   ( f u l l   d a y ) ,   a n d   S c a l i n g   S p e e c h ,   L a n g u a g e   U n d e r s t a n d i n g ,   a n d   D i a l o g u e   t h r o u g h   C r o w d s o u r c i n g   ( h a l f   d a y ) .   T h i s   r e p o r t   s u m m a r i z e s   t h e   a c t i v i t i e s   o f   t h o s e   t h r e e   e v e n t s . 	 [ J o s e p h y ,   T a t i a n a ]   C r o w d   F l o w e r ,   S a n   F r a n c i s c o ,   C A   9 4 1 1 0   U S A ;   [ L e a s e ,   M a t t ]   U n i v   T e x a s   A u s t i n ,   A u s t i n ,   T X   7 8 7 1 2   U S A ;   [ P a r i t o s h ,   P r a v e e n ]   G o o g l e ,   M o u n t a i n   V i e w ,   C A   U S A ;   [ K r a u s e ,   M a r k u s ]   L e i b n i z   U n i v   H a n n o v e r ,   D e p t   C o m p   S c i ,   H a n n o v e r ,   G e r m a n y ;   [ G e o r g e s c u ,   M i h a i ]   L e i b n i z   U n i v   H a n n o v e r ,   L 3 S   R e s   C t r ,   H a n n o v e r ,   G e r m a n y ;   [ T j a l v e ,   M i c h a e l ]   U n i v   W a s h i n g t o n ,   S e a t t l e ,   W A   9 8 1 9 5   U S A ;   [ B r a g a ,   D a n i e l a ]   V o i c e B o x   T e c h n o l ,   B e l l e v u e ,   W A   U S A 	 J o s e p h y ,   T   ( r e p r i n t   a u t h o r ) ,   C r o w d   F l o w e r ,   S a n   F r a n c i s c o ,   C A   9 4 1 1 0   U S A . 	 	 	 	 	 	 	 0 	 0 	 0 	 A M E R   A S S O C   A R T I F I C I A L   I N T E L L 	 M E N L O   P K 	 4 4 5   B U R G E S S   D R I V E ,   M E N L O   P K ,   C A   9 4 0 2 5 - 3 4 9 6   U S A 	 0 7 3 8 - 4 6 0 2 	 	 	 A I   M A G 	 A I   M a g . 	 S U M 	 2 0 1 4 	 3 5 	 2 	 	 	 	 	 7 5 	 7 8 	 	 	 	 4 	 	 	 A J 5 Z H 	 W O S : 0 0 0 3 3 7 7 6 8 9 0 0 0 1 0 	 	 
 J 	 V u c u l e s c u ,   O ;   B e r g e n h o l t z ,   C 	 	 	 	 V u c u l e s c u ,   O a n a ;   B e r g e n h o l t z ,   C a r s t e n 	 	 	 H o w   t o   S o l v e   P r o b l e m s   w i t h   C r o w d s :   A   C o m p u t e r - B a s e d   S i m u l a t i o n   M o d e l 	 C R E A T I V I T Y   A N D   I N N O V A T I O N   M A N A G E M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 I N N O V A T I O N   C O N T E S T S ;   P R O D U C T   I D E A S ;   S E A R C H ;   C O M P E T I T I O N ;   C O M M U N I T Y ;   F I R M ;   D E V E L O P E R S ;   A L G O R I T H M ;   K N O W L E D G E ;   U S E R S 	 O r g a n i z a t i o n s   r e l y   o n   c r o w d s   f o r   a   v a r i e t y   o f   r e a s o n s ,   e . g .   i n   o r d e r   t o   e v a l u a t e   ( A m a z o n ) ,   c r e a t e   c o n t e n t   ( T h r e a d l e s s )   b u t   a l s o   t o   s o l v e   g i v e n   p r o b l e m s   ( I n n o C e n t i v e   a n d   O p e n I D E O ) .   S e v e r a l   s t u d i e s   h a v e   e x a m i n e d   h o w   t o   o r g a n i z e   p r o b l e m - s o l v i n g   a c t i v i t i e s .   H o w e v e r ,   m o s t   p a p e r s   h a v e   e x a m i n e d   t h e   c r o w d s o u r c i n g   p r o c e s s   u s i n g   a   p a r t i a l   p e r s p e c t i v e   a n d   a   w i d e - r a n g i n g   o u t l o o k   h a s   b e e n   m i s s i n g .   T h i s   s t u d y   u s e s   a   c o m p u t e r - b a s e d   s i m u l a t i o n   m o d e l   a n d   a n e c d o t a l   c a s e   s t u d i e s   o f   I n n o C e n t i v e   a n d   O p e n I D E O ,   i n   o r d e r   t o   s t u d y   t h e   u n d e r l y i n g   d r i v e r s   o f   c o l l e c t i v e   p r o b l e m   s o l v i n g   b e h a v i o r .   R e s u l t s   s u g g e s t   t h a t   d y n a m i c s   b e t w e e n   t h e   n u m b e r   o f   u s e r s ,   n u m b e r   o f   i t e r a t i o n s   a n d   d i f f e r e n t   s e l e c t i o n   m e c h a n i s m s   i m p a c t   t h e   a b i l i t y   t o   f i n d   a n   o p t i m a l   s o l u t i o n   t o   t h e   g i v e n   p r o b l e m . 	 [ V u c u l e s c u ,   O a n a ;   B e r g e n h o l t z ,   C a r s t e n ]   A a r h u s   U n i v ,   D K - 8 0 0 0   A a r h u s   C ,   D e n m a r k 	 V u c u l e s c u ,   O   ( r e p r i n t   a u t h o r ) ,   A a r h u s   U n i v ,   D K - 8 0 0 0   A a r h u s   C ,   D e n m a r k . 	 o m v u c @ a s b . d k ;   c a b e @ a s b . d k 	 	 	 	 	 A d a m c z y k   S ,   2 0 1 2 ,   C R E A T   I N N O V   M A N A G ,   V 2 1 ,   P 3 3 5 ,   D O I   1 0 . 1 1 1 1 / c a i m . 1 2 0 0 3 ;   A f f e n z e l l e r   M ,   2 0 0 3 ,   L E C T   N O T E S   C O M P U T   S C ,   V 2 6 8 6 ,   P 4 3 8 ;   A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   A l e x y   O . ,   2 0 1 1 ,   C A L I F O R N I A   M A N A G E M E N ,   V 5 4 ,   P 1 1 6 ;   B a l d w i n   C ,   2 0 1 1 ,   O R G A N   S C I ,   V 2 2 ,   P 1 3 9 9 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 0 0 . 0 6 1 8 ;   B a y u s   B L ,   2 0 1 3 ,   M A N A G E   S C I ,   V 5 9 ,   P 2 2 6 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 2 0 . 1 5 9 9 ;   B e n k l e r   Y ,   2 0 0 2 ,   Y A L E   L A W   J ,   V 1 1 2 ,   P 3 6 9 ,   D O I   1 0 . 2 3 0 7 / 1 5 6 2 2 4 7 ;   B i l l i n g e r   S ,   2 0 1 4 ,   O R G A N   S C I ,   V 2 5 ,   P 9 3 ,   D O I   1 0 . 1 2 8 7 / o r s c . 2 0 1 3 . 0 8 2 9 ;   B o n a b e a u   E ,   2 0 0 9 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 4 5 ;   B o u d r e a u   K J ,   2 0 1 2 ,   O R G A N   S C I ,   V 2 3 ,   P 1 4 0 9 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 1 0 . 0 6 7 8 ;   B r o w n l e e   J . ,   2 0 1 1 ,   C L E V E R   A L G O R I T H M S   N A ;   B u l l i n g e r   A C ,   2 0 1 0 ,   C R E A T   I N N O V   M A N A G ,   V 1 9 ,   P 2 9 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 1 0 . 0 0 5 6 5 . x ;   B u r n s   R . ,   2 0 0 0 ,   I N T R O   R E S   M E T H O D S ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ;   C o o p e r   D J ,   2 0 0 5 ,   A M   E C O N   R E V ,   V 9 5 ,   P 4 7 7 ,   D O I   1 0 . 1 2 5 7 / 0 0 0 2 8 2 8 0 5 4 2 0 1 4 3 1 ;   C o o p e r   R G ,   2 0 0 2 ,   R E S   T E C H N O L   M A N A G E ,   V 4 5 ,   P 2 1 ;   D a v i s   J P ,   2 0 0 7 ,   A C A D   M A N A G E   R E V ,   V 3 2 ,   P 4 8 0 ;   D e l l a r o c a s   C ,   2 0 1 0 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 1 ,   P 3 3 ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F e l i n   T . ,   2 0 1 4 ,   R E S   P O L I C Y   I N   P R E S S ;   F i o r e t t i   G ,   2 0 1 3 ,   O R G A N   R E S   M E T H O D S ,   V 1 6 ,   P 2 2 7 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 4 4 2 8 1 1 2 4 7 0 0 0 6 ;   F u l l e r t o n   R L ,   1 9 9 9 ,   J   P O L I T   E C O N ,   V 1 0 7 ,   P 5 7 3 ,   D O I   1 0 . 1 0 8 6 / 2 5 0 0 7 2 ;   G o l d b e r g   D .   E . ,   2 0 0 2 ,   D E S I G N   I N N O V A T I O N   L E ;   H a n s e n   M T ,   1 9 9 9 ,   A D M I N   S C I   Q U A R T ,   V 4 4 ,   P 8 2 ,   D O I   1 0 . 2 3 0 7 / 2 6 6 7 0 3 2 ;   H e r t e l   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 7 - 7 ;   H o l l a n d   J .   H . ,   1 9 9 2 ,   A D A P T A T I O N   N A T U R A L   A ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   H u t t e r   K ,   2 0 1 1 ,   C R E A T   I N N O V   M A N A G ,   V 2 0 ,   P 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 1 1 . 0 0 5 8 9 . x ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   J e p p e s e n   L B ,   2 0 0 6 ,   O R G A N   S C I ,   V 1 7 ,   P 4 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 5 6 ;   K a u f f m a n   S . A . ,   1 9 9 3 ,   O R I G I N S   O R D E R   S E L F   O ;   K h a t i b   F ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 1 8 9 4 9 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 1 1 5 8 9 8 1 0 8 ;   L a k h a n i   K .   R . ,   2 0 1 3 ,   H D B   E C   O R G   I N T E G R A T I ,   P 3 5 5 ;   L a k h a n i   K R ,   2 0 1 3 ,   N A T   B I O T E C H N O L ,   V 3 1 ,   P 1 0 8 ,   D O I   1 0 . 1 0 3 8 / n b t . 2 4 9 5 ;   L a z e r   D ,   2 0 0 7 ,   A D M I N   S C I   Q U A R T ,   V 5 2 ,   P 6 6 7 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   L e v a r d y   V ,   2 0 0 9 ,   I E E E   T   E N G   M A N A G E ,   V 5 6 ,   P 6 0 0 ,   D O I   1 0 . 1 1 0 9 / T E M . 2 0 0 9 . 2 0 3 3 1 4 4 ;   M a s o n   W ,   2 0 1 2 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 9 ,   P 7 6 4 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 1 1 0 0 6 9 1 0 8 ;   M c k e l v e y   B i l l ,   2 0 1 3 ,   H u m a n   S y s t e m s   M a n a g e m e n t ,   V 3 2 ,   D O I   1 0 . 3 2 3 3 / H S M - 1 3 0 7 8 2 ;   M i t c h e l l   M . ,   1 9 9 6 ,   I N T R O   G E N E T I C   A L G O R I ;   M i t c h e l l   M . ,   2 0 0 9 ,   C O M P L E X I T Y   G U I D E D   T O ;   N e w e l l   A . ,   1 9 7 2 ,   H U M A N   P R O B L E M   S O L V I N ;   N i c k e r s o n   J A ,   2 0 0 4 ,   O R G A N   S C I ,   V 1 5 ,   P 6 1 7 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 4 0 . 0 0 9 3 ;   P a g e   S E ,   2 0 0 7 ,   D I F F E R E N C E :   H O W   T H E   P O W E R   O F   D I V E R S I T Y   C R E A T E S   B E T T E R   G R O U P S ,   F I R M S ,   S C H O O L S ,   A N D   S O C I E T I E S ,   P 1 ;   P i e z u n k a   H . ,   2 0 1 3 ,   R E S   P O L I C Y ;   P o e t z   M K ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x ;   R a y m o n d   E r i c   S . ,   1 9 9 9 ,   C A T H E D R A L   B A Z A A R   M U S ;   S c h w e i t z e r   F M ,   2 0 1 2 ,   R E S   T E C H N O L   M A N A G E ,   V 5 5 ,   P 3 2 ,   D O I   1 0 . 5 4 3 7 / 0 8 9 5 6 3 0 8 X 5 5 0 3 0 5 5 ;   S i m o n   H .   A . ,   1 9 9 6 ,   S C I   A R T I F I C I A L ;   S l a w s b y   A . ,   2 0 0 7 ,   T H E S I S   M I T ;   T A T E   D M ,   1 9 9 5 ,   C O M P U T   O P E R   R E S ,   V 2 2 ,   P 7 3 ,   D O I   1 0 . 1 0 1 6 / 0 3 0 5 - 0 5 4 8 ( 9 3 ) E 0 0 2 0 - T ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   V i d g e n   R ,   2 0 0 9 ,   J A S S S - J   A R T I F   S O C   S ,   V 1 2 ,   p A 1 3 0 ;   V i l l a r r o e l   A .   J . ,   2 0 1 3 ,   C O M P U T A T I O N A L   M A T H   O ,   V 1 9 ,   P 4 2 	 5 4 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 9 6 3 - 1 6 9 0 	 1 4 6 7 - 8 6 9 1 	 	 C R E A T   I N N O V   M A N A G 	 C r e a t .   I n n o v .   M a n a g . 	 J U N 	 2 0 1 4 	 2 3 	 2 	 	 	 	 	 1 2 1 	 1 3 6 	 	 1 0 . 1 1 1 1 / c a i m . 1 2 0 5 9 	 	 1 6 	 M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 A H 6 P Y 	 W O S : 0 0 0 3 3 6 2 5 4 3 0 0 0 0 4 	 	 
 J 	 A i t a m u r t o ,   T 	 	 	 	 A i t a m u r t o ,   T a n j a 	 	 	 C r o w d s o u r c i n g 	 N E W   M E D I A   &   S O C I E T Y 	 	 	 E n g l i s h 	 B o o k   R e v i e w 	 	 	 	 	 	 	 	 	 [ A i t a m u r t o ,   T a n j a ]   U n i v   C a l i f   B e r k e l e y ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A 	 A i t a m u r t o ,   T   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   B e r k e l e y ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A . 	 	 	 	 	 	 B r a b h a m   D C ,   2 0 1 3 ,   M I T   P R E S S   E S S E N T ,   P 1 	 1 	 0 	 0 	 S A G E   P U B L I C A T I O N S   L T D 	 L O N D O N 	 1   O L I V E R S   Y A R D ,   5 5   C I T Y   R O A D ,   L O N D O N   E C 1 Y   1 S P ,   E N G L A N D 	 1 4 6 1 - 4 4 4 8 	 1 4 6 1 - 7 3 1 5 	 	 N E W   M E D I A   S O C 	 N e w   M e d i a   S o c . 	 J U N 	 2 0 1 4 	 1 6 	 4 	 	 	 	 	 6 9 2 	 6 9 3 	 	 1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 1 4 5 2 4 1 6 3 	 	 2 	 C o m m u n i c a t i o n 	 C o m m u n i c a t i o n 	 A H 6 T F 	 W O S : 0 0 0 3 3 6 2 6 2 9 0 0 0 0 9 	 	 
 J 	 Y a n ,   Y ;   R o s a l e s ,   R ;   F u n g ,   G ;   S u b r a m a n i a n ,   R ;   D y ,   J 	 	 	 	 Y a n ,   Y a n ;   R o s a l e s ,   R o m e r ;   F u n g ,   G l e n n ;   S u b r a m a n i a n ,   R a m a n a t h a n ;   D y ,   J e n n i f e r 	 	 	 L e a r n i n g   f r o m   m u l t i p l e   a n n o t a t o r s   w i t h   v a r y i n g   e x p e r t i s e 	 M A C H I N E   L E A R N I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M u l t i p l e   l a b e l e r s ;   C r o w d s o u r c i n g ;   O p i n i o n   a g g r e g a t i o n ;   G r a p h i c a l   m o d e l s ;   C l a s s i f i c a t i o n ;   A d v e r s a r i a l   a n n o t a t o r s 	 	 L e a r n i n g   f r o m   m u l t i p l e   a n n o t a t o r s   o r   k n o w l e d g e   s o u r c e s   h a s   b e c o m e   a n   i m p o r t a n t   p r o b l e m   i n   m a c h i n e   l e a r n i n g   a n d   d a t a   m i n i n g .   T h i s   i s   i n   p a r t   d u e   t o   t h e   e a s e   w i t h   w h i c h   d a t a   c a n   n o w   b e   s h a r e d / c o l l e c t e d   a m o n g   e n t i t i e s   s h a r i n g   a   c o m m o n   g o a l ,   t a s k ,   o r   d a t a   s o u r c e ;   a n d   a d d i t i o n a l l y   t h e   n e e d   t o   a g g r e g a t e   a n d   m a k e   i n f e r e n c e s   a b o u t   t h e   c o l l e c t e d   i n f o r m a t i o n .   T h i s   p a p e r   f o c u s e s   o n   t h e   d e v e l o p m e n t   o f   p r o b a b i l i s t i c   a p p r o a c h e s   f o r   s t a t i s t i c a l   l e a r n i n g   i n   t h i s   s e t t i n g .   I t   s p e c i a l l y   c o n s i d e r s   t h e   c a s e   w h e n   a n n o t a t o r s   m a y   b e   u n r e l i a b l e ,   b u t   a l s o   w h e n   t h e i r   e x p e r t i s e   v a r y   d e p e n d i n g   o n   t h e   d a t a   t h e y   o b s e r v e .   T h a t   i s ,   a n n o t a t o r s   m a y   h a v e   b e t t e r   k n o w l e d g e   a b o u t   d i f f e r e n t   p a r t s   o f   t h e   i n p u t   s p a c e   a n d   t h e r e f o r e   b e   i n c o n s i s t e n t l y   a c c u r a t e   a c r o s s   t h e   t a s k   d o m a i n .   T h e   m o d e l s   d e v e l o p e d   a d d r e s s   b o t h   t h e   s u p e r v i s e d   a n d   t h e   s e m i - s u p e r v i s e d   s e t t i n g s   a n d   p r o d u c e   c l a s s i f i c a t i o n   a n d   a n n o t a t o r   m o d e l s   t h a t   a l l o w   u s   t o   p r o v i d e   e s t i m a t e s   o f   t h e   t r u e   l a b e l s   a n d   a n n o t a t o r   e x p e r t i s e   w h e n   n o   g r o u n d - t r u t h   i s   a v a i l a b l e .   I n   a d d i t i o n ,   w e   p r o v i d e   a n   a n a l y s i s   o f   t h e   p r o p o s e d   m o d e l s ,   t a s k s ,   a n d   r e l a t e d   p r a c t i c a l   p r o b l e m s   u n d e r   v a r i o u s   s c e n a r i o s .   I n   p a r t i c u l a r ,   w e   a d d r e s s   h o w   t o   e v a l u a t e   a n n o t a t o r s   a n d   h o w   t o   c o n s i d e r   c a s e s   w h e r e   s o m e   g r o u n d - t r u t h   m a y   b e   a v a i l a b l e .   W e   s h o w   e x p e r i m e n t a l l y   t h a t   a n n o t a t o r   e x p e r t i s e   c a n   i n d e e d   v a r y   i n   r e a l   t a s k s   a n d   t h a t   t h e   p r e s e n t e d   a p p r o a c h e s   p r o v i d e   c l e a r   a d v a n t a g e s   o v e r   p r e v i o u s l y   i n t r o d u c e d   m u l t i - a n n o t a t o r   m e t h o d s ,   w h i c h   o n l y   c o n s i d e r   i n p u t - i n d e p e n d e n t   a n n o t a t o r   c h a r a c t e r i s t i c s ,   a n d   o v e r   a l t e r n a t i v e   a p p r o a c h e s   t h a t   d o   n o t   m o d e l   m u l t i p l e   a n n o t a t o r s . 	 [ Y a n ,   Y a n ]   Y a h o o   L a b s ,   S u n n y v a l e ,   C A   9 4 0 8 5   U S A ;   [ R o s a l e s ,   R o m e r ]   L i n k e d I n ,   M o u n t a i n   V i e w ,   C A   9 4 0 4 3   U S A ;   [ F u n g ,   G l e n n ]   S i e m e n s   H e a l t h c a r e ,   M a l v e r n ,   P A   1 9 3 3 5   U S A ;   [ S u b r a m a n i a n ,   R a m a n a t h a n ;   D y ,   J e n n i f e r ]   N o r t h e a s t e r n   U n i v ,   D e p t   E l e c t   &   C o m p   E n g n ,   B o s t o n ,   M A   0 2 1 1 5   U S A 	 R o s a l e s ,   R   ( r e p r i n t   a u t h o r ) ,   L i n k e d I n ,   M o u n t a i n   V i e w ,   C A   9 4 0 4 3   U S A . 	 c h r i s y a n @ y a h o o - i n c . c o m ;   r r o s a l e s @ l i n k e d i n . c o m ;   g f u n g @ c s . w i s c . e d u ;   s u b r a m a n i a n . r @ h u s k y . n e u . e d u ;   j d y @ e c e . n e u . e d u 	 	 	 	 	 A s u n c i o n   A . ,   2 0 0 7 ,   U C I   M A C H I N E   L E A R N I N G ;   B e l k i n   M ,   2 0 0 4 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 1 2 0 ,   P 6 2 4 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 2 7 8 1 9 - 1 _ 4 3 ;   B e r k h i n   P . ,   2 0 0 2 ,   S U R V E Y   C L U S T E R I N G   D A ;   B l i t z e r   J . ,   2 0 0 8 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 0 ,   P 1 2 9 ;   B l u m   A . ,   2 0 0 1 ,   I C M L ,   P 1 9 ;   C o r d u n e a n u   A . ,   2 0 0 5 ,   A D V   N E U R A L   I N F O R M   P R ,   V 1 7 ,   P 2 9 7 ;   C o v e r   T .   M . ,   1 9 9 1 ,   E L E M E N T S   I N F O R M   T H E O ;   C r a m m e r   K ,   2 0 0 8 ,   J   M A C H   L E A R N   R E S ,   V 9 ,   P 1 7 5 7 ;   D a w i d   A P ,   1 9 7 9 ,   A P P L I E D   S T A T I S T I C S ,   V 2 8 ,   P 2 0 ,   D O I   1 0 . 2 3 0 7 / 2 3 4 6 8 0 6 ;   D e k e l   O . ,   2 0 0 9 ,   P   2 6   A N N   I N T   C   M A C H ,   P 2 3 3 ;   D E M P S T E R   A P ,   1 9 7 7 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 3 9 ,   P 1 ;   D o n m e z   P . ,   2 0 0 8 ,   C I K M   2 0 0 8 ,   P 6 1 9 ;   F r a n k   A . ,   2 0 1 0 ,   U C I   M A C H I N E   L E A R N I N G ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H u i   S   L ,   1 9 9 8 ,   S t a t   M e t h o d s   M e d   R e s ,   V 7 ,   P 3 5 4 ,   D O I   1 0 . 1 1 9 1 / 0 9 6 2 2 8 0 9 8 6 7 1 1 9 2 3 5 2 ;   J i n   R ,   2 0 0 3 ,   A D V   N E U R A L   I N F O R M   P R ,   V 1 5 ,   P 8 9 7 ;   K a s n e c i   G . ,   2 0 1 1 ,   C   W E B   S E A R C H   D A T   M I N ,   P 4 6 5 ;   K r i s h n a p u r a m   B . ,   2 0 0 5 ,   A D V   N E U R A L   I N F O R M   P R ,   P 7 2 1 ;   N o c e d a l   J . ,   2 0 0 3 ,   N U M E R I C A L   O P T I M I Z A T I ;   P a q u e t   U . ,   2 0 1 0 ,   N I P S   W O R K S H   C O M P   S O C ;   Q A Z I   M ,   2 0 0 7 ,   P   I J C A I   0 7 ,   P 5 1 9 ;   R a y k a r   V .   C . ,   2 0 0 9 ,   P   2 6   A N N   I N T   C   M A C H ,   P 8 8 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 5 3 3 7 4 . 1 5 5 3 4 8 8 ;   R a y k a r   V .   C . ,   2 0 1 1 ,   A D V   N E U R A L   I N F O R M   P R ,   P 1 8 0 9 ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   S m y t h   P . ,   1 9 9 4 ,   A D V   N E U R A L   I N F O R M   P R ,   V 7 ,   P 1 0 8 5 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S o r o k i n   A ,   2 0 0 8 ,   C V P R W   2 0 0 8 ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R W . 2 0 0 8 . 4 5 6 2 9 5 3 ;   S p i e g e l h a l t e r   D   J ,   1 9 8 3 ,   S t a t   M e d ,   V 2 ,   P 3 3 ,   D O I   1 0 . 1 0 0 2 / s i m . 4 7 8 0 0 2 0 1 0 5 ;   W e l i n d e r   P . ,   2 0 1 1 ,   A D V   N E U R A L   I N F O R M   P R ;   Y a n   Y . ,   2 0 1 0 ,   C   U N C   A R T   I N T ,   P 6 7 4 ;   Y a n   Y . ,   2 0 1 0 ,   J   M A C H I N E   L E A R N I N G   R ,   V 9 ,   P 9 3 2 ;   Z h o u   D Y ,   2 0 0 4 ,   A D V   N E U R   I N ,   V 1 6 ,   P 3 2 1 ;   Z h u   X . ,   2 0 0 6 ,   T R 1 5 3 0   U   W I S C   M A D   C O 	 3 3 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 0 8 8 5 - 6 1 2 5 	 1 5 7 3 - 0 5 6 5 	 	 M A C H   L E A R N 	 M a c h .   L e a r n . 	 J U N 	 2 0 1 4 	 9 5 	 3 	 	 	 S I 	 	 2 9 1 	 3 2 7 	 	 1 0 . 1 0 0 7 / s 1 0 9 9 4 - 0 1 3 - 5 4 1 2 - 1 	 	 3 7 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 A H 3 O O 	 W O S : 0 0 0 3 3 6 0 3 4 0 0 0 0 0 3 	 	 
 J 	 T r o t t i e r ,   D 	 	 	 	 T r o t t i e r ,   D a n i e l 	 	 	 C r o w d s o u r c i n g   C C T V   s u r v e i l l a n c e   o n   t h e   I n t e r n e t 	 I N F O R M A T I O N   C O M M U N I C A T I O N   &   S O C I E T Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   c y b e r c r i m e ;   s u r v e i l l a n c e / p r i v a c y 	 	 T h i s   a r t i c l e   p r o v i d e s   a n   e x p l o r a t o r y   o v e r v i e w   o f   c r o w d s o u r c e d   s u r v e i l l a n c e   o f   c l o s e d - c i r c u i t   t e l e v i s i o n   ( C C T V )   f o o t a g e   o v e r   t h e   I n t e r n e t .   A l t h o u g h   t h e   u s e   o f   C C T V   i n   b o t h   p u b l i c   a n d   p r i v a t e   s u r v e i l l a n c e   i s   w e l l   d o c u m e n t e d ,   f o o t a g e   i s   n o w   d i s t r i b u t e d   o v e r   t h e   I n t e r n e t   f o r   l a r g e   c r o w d s   t o   m o n i t o r .   T h i s   a r t i c l e   b r i e f l y   i n t r o d u c e s   t h e   c o n c e p t   o f   c r o w d s o u r c i n g   a n d   e x p l a i n s   i t s   s h i f t   f r o m   a   q u a s i - c o m m u n i t a r i a n   m o d e   o f   p r o d u c t i o n   t o   a   b u s i n e s s   m o d e l   a n d   c r i m e - f i g h t i n g   s t r a t e g y .   T h i s   i s   f o l l o w e d   b y   a   r e v i e w   o f   r e l e v a n t   s c h o l a r l y   l i t e r a t u r e   t h a t   p r o v i d e s   a   t h e o r e t i c a l   b a s i s   f o r   u n d e r s t a n d i n g   c r o w d s o u r c i n g   a s   i t   a p p l i e s   t o   C C T V   s u r v e i l l a n c e   o n l i n e .   T h i s   a r t i c l e   t h e n   c o n s i d e r s   f o u r   c a s e   s t u d i e s   o f   c r o w d s o u r c e d   C C T V   s u r v e i l l a n c e   o n   t h e   I n t e r n e t .   T h e s e   f o u r   U K - b a s e d   e x a m p l e s   p r o v i d e   a n   o v e r v i e w   o f   a n   e m e r g i n g   p h e n o m e n o n   o f   h o w   c r o w d s   c a n   b e   i n t e g r a t e d   i n t o   C C T V   s u r v e i l l a n c e ,   r a n g i n g   f r o m   i d e n t i f y i n g   s u s p e c t s   t o   d e s i g n a t i n g   s u s p i c i o u s   b e h a v i o u r   i n   e v e r y d a y   a c t i v i t y .   T h i s   a r t i c l e   c o n c l u d e s   b y   c o n s i d e r i n g   t h e   b r o a d e r   s o c i a l   r i s k s ,   e x t e n d i n g   f r o m   l i t e r a t u r e   o n   C C T V ,   s u r v e i l l a n c e   a n d   c r o w d s o u r c e d   l a b o u r . 	 U n i v   W e s t m i n s t e r ,   C o m m u n   &   M e d i a   R e s   I n s t ,   L o n d o n   W 1 R   8 A L ,   E n g l a n d 	 T r o t t i e r ,   D   ( r e p r i n t   a u t h o r ) ,   U n i v   W e s t m i n s t e r ,   C o m m u n   &   M e d i a   R e s   I n s t ,   L o n d o n   W 1 R   8 A L ,   E n g l a n d . 	 d . t r o t t i e r @ w e s t m i n s t e r . a c . u k 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 2 ,   I N T   E Y E S   C O M M   S U R V   S ;   B l u m e r   H ,   1 9 4 8 ,   A M   S O C I O L   R E V ,   V 1 3 ,   P 5 4 2 ,   D O I   1 0 . 2 3 0 7 / 2 0 8 7 1 4 6 ;   B o l i n   G ,   2 0 1 2 ,   I N F O R M   C O M M U N   S O C ,   V 1 5 ,   P 7 9 6 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 2 . 6 7 7 0 5 2 ;   B r a b h a m   D C ,   2 0 1 2 ,   I N F O R M   C O M M U N   S O C ,   V 1 5 ,   P 3 9 4 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 1 . 6 4 1 9 9 1 ;   D a v e n p o r t   T .   H . ,   2 0 0 1 ,   A T T E N T I O N   E C   U N D E R S T ;   D e l e u z e   G . ,   1 9 9 5 ,   P H I L O S O P H I E ,   P 3 ;   F a c e b o o k ,   2 0 1 2 ,   I N T   E Y E S ;   F a c e w a t c h ,   2 0 1 2 ,   J O I N   T O D ;   F a c e w a t c h ,   2 0 1 2 ,   O U R   V I S ;   F i s h m a n   M . ,   1 9 9 8 ,   E N T E R T A I N I N G   C R I M E   T ;   F o u c a u l t   M . ,   1 9 7 7 ,   D I S C I P L I N E   P U N I S H   B I ;   G a l l o w a y   A l e x a n d e r   R . ,   2 0 0 7 ,   E X P L O I T   T H E O R Y   N E T W O ;   G a n d y   O s c a r ,   1 9 9 3 ,   P A N O P T I C   S O R T   P O L I T I ;   G r a h a m   S . ,   2 0 0 2 ,   P L A N N I N G   T H E O R Y   P R A C ,   V 3 ,   P 2 3 7 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 4 6 4 9 3 5 0 2 2 0 1 5 0 1 1 6 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   K o s k e l a   H ,   2 0 1 0 ,   S P A C E   P O L I T Y ,   V 1 4 ,   P 1 0 3 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 3 5 6 2 5 7 6 . 2 0 1 0 . 5 0 5 7 8 7 ;   L y o n   D . ,   2 0 0 7 ,   S U R V E I L L A N C E   S T U D I E S ;   M a n n   S ,   2 0 0 3 ,   C H E M   B R I T ,   V 3 9 ,   P 3 ;   M a n z e r o l l e   V . ,   2 0 1 3 ,   A U D I E N C E   C O M M O D I T Y   D ;   M o r d i n i   E ,   2 0 1 2 ,   R E V   P O L I C Y   R E S ,   V 2 9 ,   P 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 1 - 1 3 3 8 . 2 0 1 1 . 0 0 5 3 5 . x ;   N o r r i s   C . ,   2 0 0 4 ,   S U R V E I L L A N C E   S O C ,   V 2 ,   P 1 1 0 ,   D O I   D O I   1 0 . 1 0 9 3 / B J C / A Z I 0 4 7 ;   N o r r i s   C . ,   1 9 9 9 ,   M A X I M U M   S U R V E I L L A N C E ;   N o r r i s   C l i v e ,   2 0 0 3 ,   S U R V E I L L A N C E   S O C I A L ,   P 2 4 9 ;   P o s t e r   M ,   2 0 0 4 ,   C U L T   S T U D ,   V 1 8 ,   P 4 0 9 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 0 2 3 8 0 4 2 0 0 0 2 0 1 5 8 1 ;   S a l t e r   L . ,   2 0 0 4 ,   I n f o r m a t i o n   C o m m u n i c a t i o n   &   S o c i e t y ,   V 7 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 0 4 2 0 0 0 2 3 2 6 4 8 ;   S c h n e i d e r   C . ,   2 0 1 2 ,   B C   S T U D I E S ,   V 1 7 5 ,   P 5 7 ;   S m y t h e   D a l l a s ,   1 9 7 7 ,   C A N A D I A N   J   P O L I T I C A L ,   V 1 ,   P 1 ;   S U R O W I E C K I   J A M E S ,   2 0 0 4 ,   W I S D O M   C R O W D S ;   W r i g h t   D ,   2 0 1 2 ,   C O M P U T   L A W   S E C U R   R E V ,   V 2 8 ,   P 5 4 ,   D O I   1 0 . 1 0 1 6 / j . c l s r . 2 0 1 1 . 1 1 . 0 0 7 ;   D o y l e   A ,   2 0 1 2 ,   E Y E S   E V E R Y W H E R E :   T H E   G L O B A L   G R O W T H   O F   C A M E R A   S U R V E I L L A N C E ,   P 1 	 3 0 	 0 	 0 	 R O U T L E D G E   J O U R N A L S ,   T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X F O R D S H I R E ,   E N G L A N D 	 1 3 6 9 - 1 1 8 X 	 1 4 6 8 - 4 4 6 2 	 	 I N F O R M   C O M M U N   S O C 	 I n f o .   C o m m u n .   S o c . 	 M A Y   2 8 	 2 0 1 4 	 1 7 	 5 	 	 	 	 	 6 0 9 	 6 2 6 	 	 1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 3 . 8 0 8 3 5 9 	 	 1 8 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 A E 3 J X 	 W O S : 0 0 0 3 3 3 8 7 3 9 0 0 0 0 6 	 	 
 J 	 S u r y a n a r a y a n a n ,   T S ;   G o p a l a n ,   V 	 	 	 	 S u r y a n a r a y a n a n ,   T .   S . ;   G o p a l a n ,   V e n k a t 	 	 	 C r o w d s o u r c i n g   t o   c r e a t e   n a t i o n a l   r e p o s i t o r i e s   o f   m i c r o b i a l   g e n e t i c   r e s o u r c e s :   f u n g i   a s   a   m o d e l 	 C U R R E N T   S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 B i o d i v e r s i t y ;   c r o w d s o u r c i n g   m o d e l ;   f u n g i ;   m i c r o b i a l   c u l t u r e 	 C U L T U R E   C O L L E C T I O N S ;   S O U T H E R N   I N D I A ;   D I V E R S I T Y ;   C O N S E R V A T I O N ;   M E T A B O L I T E S ;   E N D O P H Y T E S ;   E N Z Y M E S 	 T o   a d d r e s s   t h e   c h a l l e n g i n g   t a s k   o f   i d e n t i f y i n g ,   o b t a i n i n g   a n d   c a t a l o g i n g   t h e   d i f f e r e n t   m i c r o b e s   i n   a   c o u n t r y   w i t h   w i d e - r a n g i n g   e n v i r o n m e n t s   a n d   h a b i t a t s ,   w e   p r e s e n t   a   c r o w d s o u r c i n g   m o d e l .   W i t h   f u n g i   a s   t h e   p r o t o t y p e ,   w e   d i s c u s s   a p p r o a c h e s   f o r   r a p i d   c o l l e c t i o n   a n d   i d e n t i f i c a t i o n   o f   s t r a i n s   f r o m   e n v i r o n m e n t s   a n d   h a b i t a t s   t h a t   m i g h t   l e a d   t o   n o v e l   g e n e s   o f   i n d u s t r i a l   i m p o r t a n c e .   A l s o ,   w e   e x p e c t   t h e   u s e   o f   e a s y   c u l t u r e   p r e s e r v a t i o n   m e t h o d s   t o   p r o m o t e   c o l l e g e s   a s   m i n i   c u l t u r e - c o l l e c t i o n   c e n t r e s   a n d   s e r v e   a s   t h e   i n i t i a l   f o c a l   p o i n t   i n   a   n a t i o n a l   r e s e a r c h   i n i t i a t i v e .   O u r   m o d e l   e n v i s i o n s   t h e   c o n c e r t e d   i n v o l v e m e n t   o f   u n d e r g r a d u a t e   s t u d e n t s ,   f a c u l t y ,   i n d u s t r i e s ,   n a t i o n a l   l a b o r a t o r i e s   a n d   c u l t u r e - c o l l e c t i o n   r e p o s i t o r i e s   t o   r a p i d l y   b u i l d   a   l a r g e   a s s e m b l a g e   o f   r a r e   f u n g a l   s t r a i n s   a n d   e n h a n c e   t h e   b i o d i v e r s i t y   r e s o u r c e   o f   a   c o u n t r y . 	 [ S u r y a n a r a y a n a n ,   T .   S . ]   R a m a k r i s h n a   M i s s i o n   V i d y a p i t h ,   V i v e k a n a n d a   I n s t   T r o p   M y c o l ,   M a d r a s   6 0 0 0 0 4 ,   T a m i l   N a d u ,   I n d i a ;   [ G o p a l a n ,   V e n k a t ]   O h i o   S t a t e   U n i v ,   D e p t   C h e m   &   B i o c h e m ,   C o l u m b u s ,   O H   4 3 2 1 0   U S A ;   [ G o p a l a n ,   V e n k a t ]   O h i o   S t a t e   U n i v ,   C t r   R N A   B i o l ,   C o l u m b u s ,   O H   4 3 2 1 0   U S A 	 S u r y a n a r a y a n a n ,   T S   ( r e p r i n t   a u t h o r ) ,   R a m a k r i s h n a   M i s s i o n   V i d y a p i t h ,   V i v e k a n a n d a   I n s t   T r o p   M y c o l ,   M a d r a s   6 0 0 0 0 4 ,   T a m i l   N a d u ,   I n d i a . 	 t _ s u r y 2 0 0 2 @ y a h o o . c o m ;   g o p a l a n . 5 @ o s u . e d u 	 	 	 U n i t e d   S t a t e s   I n d i a   E d u c a t i o n a l   F o u n d a t i o n   ( U S I E F ) ,   N e w   D e l h i ;   F u l b r i g h t   S c h o l a r   P r o g r a m   ( U S A ) ;   O h i o   P l a n t   B i o t e c h n o l o g y   C o n s o r t i u m 	 W e   t h a n k   D r s   A .   K .   C h a l l a   ( U n i v e r s i t y   o f   A l a b a m a ,   B i r m i n g h a m ,   U S A ) ,   T .   E z e j i   ( O h i o   A g r i c u l t u r a l   R e s e a r c h   a n d   D e v e l o p m e n t   C e n t e r ,   W o o s t e r ,   U S A ) ,   M .   S r i n i v a s a n   ( M e d G e n o m e ,   I n c ,   C h e n n a i ,   I n d i a ) ,   R .   U m a   S h a a n k e r   ( U n i v e r s i t y   o f   A g r i c u l t u r a l   S c i e n c e s ,   B a n g a l o r e )   a n d   a n   a n o n y m o u s   r e v i e w e r   f o r   v a l u a b l e   c o m m e n t s   a n d   s u g g e s t i o n s .   T . S . S .   t h a n k s   t h e   U n i t e d   S t a t e s   I n d i a   E d u c a t i o n a l   F o u n d a t i o n   ( U S I E F ) ,   N e w   D e l h i   a n d   t h e   F u l b r i g h t   S c h o l a r   P r o g r a m   ( U S A )   f o r   t h e   a w a r d   o f   a   F u l b r i g h t - N e h r u   S e n i o r   R e s e a r c h e r   g r a n t   t o   c h a r a c t e r i z e   f u n g a l   e n d o p h y t e   e n z y m e s   i n   V . G .   ' s   l a b o r a t o r y   a t   t h e   O h i o   S t a t e   U n i v e r s i t y ,   U S A ,   a n d   D B T ,   N e w   D e l h i   f o r   v a r i o u s   g r a n t s   t o   s t u d y   e n d o p h y t e s .   V . G .   a c k n o w l e d g e s   f u n d i n g   s u p p o r t   f r o m   t h e   O h i o   P l a n t   B i o t e c h n o l o g y   C o n s o r t i u m   ( a w a r d   t o   D r   T .   E z e j i   a n d   V . G . ) .   N o n e   o f   t h e   a u t h o r s   h a v e   a n y   p o t e n t i a l   s o u r c e s   o f   c o n f l i c t   o f   i n t e r e s t . 	 A i m e   C .   M . ,   2 0 1 2 ,   B I O D I V E R S   C O N S E R V ,   V 2 1 ,   P 2 1 7 7 ;   A r a v i n d   N A ,   2 0 1 3 ,   C U R R   S C I   I N D I A ,   V 1 0 5 ,   P 2 9 1 ;   B a r n e t t   H .   L . ,   1 9 7 2 ,   I L L U S T R A T E D   G E N E R A   I ;   E l l i s   M B ,   1 9 8 8 ,   M I C R O F U N G I   M I S C E L L A N ;   G a r c i a - V a l l v e   S ,   2 0 0 0 ,   M O L   B I O L   E V O L ,   V 1 7 ,   P 3 5 2 ;   R a j u l u   M .   B .   G . ,   2 0 1 3 ,   M y c o l o g y   -   A n   I n t e r n a t i o n a l   J o u r n a l   o n   F u n g a l   B i o l o g y ,   V 4 ,   P 2 9 ;   H a w k s w o r t h   D L ,   2 0 0 4 ,   S T U D   M Y C O L ,   P 9 ;   H A W K S W O R T H   D L ,   1 9 8 5 ,   B I O T E C H N O L   G E N E T   E N G ,   V 3 ,   P 4 1 7 ;   H a w k s w o r t h   D L ,   2 0 0 1 ,   M Y C O L   R E S ,   V 1 0 5 ,   P 1 4 2 2 ,   D O I   1 0 . 1 0 1 7 / S 0 9 5 3 7 5 6 2 0 1 0 0 4 7 2 5 ;   M o o r e - L a n d e c k e r   E . ,   1 9 7 2 ,   F U N D A M E N T A L S   F U N G I ;   M u e l l e r   G .   M . ,   2 0 0 4 ,   B I O D I V E R S I T Y   F U N G I   I ;   O n i o n s   A .   H .   S . ,   1 9 8 1 ,   S M I T H S   I N T R O   I N D   M Y C ;   O s t e r g a a r d   L H ,   2 0 1 0 ,   M Y C O T A ,   V 1 0 ,   P 2 6 9 ;   P e t e r s o n   R ,   2 0 1 1 ,   M Y C O L   P R O G ,   V 1 0 ,   P 2 0 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 5 5 7 - 0 1 0 - 0 6 9 0 - 5 ;   R a j u l u   M B G ,   2 0 1 1 ,   F U N G A L   D I V E R S ,   V 4 7 ,   P 4 3 ,   D O I   1 0 . 1 0 0 7 / s 1 3 2 2 5 - 0 1 0 - 0 0 7 1 - z ;   R a m b o l d   G ,   2 0 1 3 ,   M Y C O L   P R O G ,   V 1 2 ,   P 4 5 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 5 5 7 - 0 1 3 - 0 9 0 2 - x ;   S C H U L Z   B ,   1 9 9 5 ,   M Y C O L   R E S ,   V 9 9 ,   P 1 0 0 7 ;   S e t t e   L D ,   2 0 1 3 ,   F U N G A L   G E N E T   B I O L ,   V 6 0 ,   P 2 ,   D O I   1 0 . 1 0 1 6 / j . f g b . 2 0 1 3 . 0 7 . 0 0 4 ;   S u b r a m a n i a n   C V ,   1 9 7 1 ,   H Y P H O M Y C E T E S   A C C O U N T ;   S u r y a n a r a y a n a n   T S ,   2 0 0 5 ,   B I O D I V E R S I T Y   O F   F U N G I :   T H E I R   R O L E   I N   H U M A N   L I F E ,   P 3 3 ;   S u r y a n a r a y a n a n   T .   S . ,   1 9 9 8 ,   M y c o l o g i s t ,   V 1 2 ,   P 1 7 3 ;   S u r y a n a r a y a n a n   T S ,   1 9 9 8 ,   C A N   J   M I C R O B I O L ,   V 4 4 ,   P 1 0 0 3 ,   D O I   1 0 . 1 1 3 9 / c j m - 4 4 - 1 0 - 1 0 0 3 ;   S u r y a n a r a y a n a n   T S ,   2 0 1 2 ,   F U N G A L   D I V E R S ,   V 5 4 ,   P 1 9 ,   D O I   1 0 . 1 0 0 7 / s 1 3 2 2 5 - 0 1 2 - 0 1 6 8 - 7 ;   S u r y a n a r a y a n a n   T S ,   2 0 1 1 ,   F U N G A L   B I O L - U K ,   V 1 1 5 ,   P 8 3 3 ,   D O I   1 0 . 1 0 1 6 / j . f u n b i o . 2 0 1 1 . 0 6 . 0 1 1 ;   S u t t o n   B C ,   1 9 8 0 ,   C O E L O M Y C E T E S   F U N G I   I ;   T h i r u n a v u k k a r a s u   N . ,   2 0 1 1 ,   M Y C O S P H E R E ,   V 2 ,   P 1 4 7 ;   T h i r u n a v u k k a r a s u   N ,   2 0 1 2 ,   F U N G A L   D I V E R S ,   V 5 5 ,   P 3 7 ,   D O I   1 0 . 1 0 0 7 / s 1 3 2 2 5 - 0 1 1 - 0 1 3 7 - 6 	 2 7 	 0 	 0 	 I N D I A N   A C A D   S C I E N C E S 	 B A N G A L O R E 	 C   V   R A M A N   A V E N U E ,   S A D A S H I V A N A G A R ,   P   B   # 8 0 0 5 ,   B A N G A L O R E   5 6 0   0 8 0 ,   I N D I A 	 0 0 1 1 - 3 8 9 1 	 	 	 C U R R   S C I   I N D I A 	 C u r r .   S c i . 	 M A Y   1 0 	 2 0 1 4 	 1 0 6 	 9 	 	 	 	 	 1 1 9 6 	 1 2 0 0 	 	 	 	 5 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 A H 7 Z W 	 W O S : 0 0 0 3 3 6 3 5 4 9 0 0 0 1 2 	 	 
 J 	 T h a w r a n i ,   V ;   L o n d h e ,   N D ;   S i n g h ,   R 	 	 	 	 T h a w r a n i ,   V i n i t a ;   L o n d h e ,   N a r e n d r a   D . ;   S i n g h ,   R a n d e e p 	 	 	 C r o w d s o u r c i n g   o f   M e d i c a l   D a t a 	 I E T E   T E C H N I C A L   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   M e d i c a l   d a t a ;   M e d i c a l   d i g i t i z a t i o n 	 	 R i g h t   f r o m   o p e n   i n n o v a t i o n   t o   c r e a t i v i t y ,   c o n t e n t   g e n e r a t i o n   t o   s o f t w a r e   d e v e l o p m e n t ,   m a r k e t i n g   t o   c r o w d - f u n d i n g ,   t h e   t r e m e n d o u s   g r o w t h   o f   c r o w d s o u r c i n g   h a s   t o u c h e d   a l m o s t   e v e r y   f i e l d .   T h e   r e a l m   h a s   e n t e r e d   e v e n   i n   m e d i c a l   s e c t o r   n o w .   T h i s   p a p e r   d e a l s   w i t h   t h i s   n e w   c o n c e p t   o f   c r o w d s o u r c i n g   m e d i c a l   d a t a   c o v e r i n g   t h e   r e a s o n s   b e h i n d   t h i s   r e v o l u t i o n ,   p r e v a i l i n g   e x a m p l e s   o f   m e d i c a l   c r o w d s o u r c i n g ,   a n d   t h e   p r o b a b l e   i s s u e s   t h a t   c a n   b e   e n c o u n t e r e d . 	 [ T h a w r a n i ,   V i n i t a ;   L o n d h e ,   N a r e n d r a   D . ]   N a t l   I n s t   T e c h n o l ,   D e p t   E l e c t   E n g n ,   R a i p u r ,   M a d h y a   P r a d e s h ,   I n d i a ;   [ S i n g h ,   R a n d e e p ]   A C T R E C   N a v i   M u m b a i ,   T a t a   M e m   C t r ,   B o m b a y ,   M a h a r a s h t r a ,   I n d i a 	 T h a w r a n i ,   V   ( r e p r i n t   a u t h o r ) ,   N a t l   I n s t   T e c h n o l ,   D e p t   E l e c t   E n g n ,   R a i p u r ,   M a d h y a   P r a d e s h ,   I n d i a . 	 v i n i t a . t h a w @ g m a i l . c o m ;   n d l o n d h e . i i t r @ g m a i l . c o m ;   s i n g h . r a n d e e p @ g m a i l . c o m 	 	 	 	 	 A r n q u i s t   S . ,   2 0 0 9 ,   N Y   T I M E S ,   V 2 5 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ,   P 1 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r o w n s t e i n   C A ,   2 0 0 9 ,   N A T   B I O T E C H N O L ,   V 2 7 ,   P 8 8 8 ,   D O I   1 0 . 1 0 3 8 / n b t 1 0 0 9 - 8 8 8 ;   C h e n   P .   W . ,   2 0 0 9 ,   N Y   T I M E S ;   E k i n s   S ,   2 0 1 0 ,   P H A R M   R E S - D O R D R ,   V 2 7 ,   P 3 9 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 9 5 - 0 1 0 - 0 0 5 9 - 0 ;   F r o s t   J H ,   2 0 0 8 ,   J   M E D   I N T E R N E T   R E S ,   V 1 0 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 0 5 3 ;   G i n s b e r g   J ,   2 0 0 8 ,   N A T U R E ,   V 4 5 7 ,   P 1 0 1 2 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 7 6 3 4 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   J a y a d e v a p p a   D ,   2 0 1 1 ,   I E T E   T E C H   R E V ,   V 2 8 ,   P 2 4 8 ,   D O I   1 0 . 4 1 0 3 / 0 2 5 6 - 4 6 0 2 . 8 1 2 4 4 ;   K r i s h n a   R ,   2 0 0 7 ,   A M   J   P U B L I C   H E A L T H ,   V 9 7 ,   P 6 5 4 ,   D O I   1 0 . 2 1 0 5 / A J P H . 2 0 0 6 . 0 9 0 9 0 2 ;   L e s s l   M ,   2 0 1 1 ,   N A T   R E V   D R U G   D I S C O V ,   V 1 0 ,   P 2 4 1 ,   D O I   1 0 . 1 0 3 8 / n r d 3 4 1 2 ;   R i e d l   J ,   2 0 1 3 ,   C O M P U T E R ,   V 4 6 ,   P 8 9 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 1 3 . 1 5 ;   S a u n d e r s   D R ,   2 0 1 3 ,   J   M E D   I N T E R N E T   R E S ,   V 1 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 6 2 0 ;   S m i t h   J .   R . ,   2 0 1 2 ,   M U L T I M E D I A   I E E E ,   V 1 9 ,   P 2 ;   T h a w r a n i   V . ,   S A D H A N A   U N P U B ;   W a n g   S J ,   2 0 1 1 ,   I   S   B I O M E D   I M A G I N G ,   P 1 6 0 ;   Y e t i s g e n - Y i l d i z   M . ,   2 0 1 0 ,   A M I A   A N N   S   P ,   V 2 0 1 0 ,   P 1 3 1 6 ;   Z h a i   H J ,   2 0 1 3 ,   J   M E D   I N T E R N E T   R E S ,   V 1 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 4 2 6 ;   Z h a n g   L . ,   2 0 1 1 ,   8   I N T   C   S E R V   S Y S T   S E ,   p 1   	 2 0 	 0 	 0 	 T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X O N ,   E N G L A N D 	 0 2 5 6 - 4 6 0 2 	 0 9 7 4 - 5 9 7 1 	 	 I E T E   T E C H   R E V 	 I E T E   T e c h .   R e v . 	 M A Y - J U N 	 2 0 1 4 	 3 1 	 3 	 	 	 	 	 2 4 9 	 2 5 3 	 	 1 0 . 1 0 8 0 / 0 2 5 6 4 6 0 2 . 2 0 1 4 . 9 0 6 9 7 1 	 	 5 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 A J 9 M E 	 W O S : 0 0 0 3 3 8 0 3 4 5 0 0 0 0 8 	 	 
 J 	 T s a i ,   W T ;   W u ,   W J ;   H u h n s ,   M N 	 	 	 	 T s a i ,   W e i - T e k ;   W u ,   W e n j u n ;   H u h n s ,   M i c h a e l   N . 	 	 	 C l o u d - B a s e d   S o f t w a r e   C r o w d s o u r c i n g 	 I E E E   I N T E R N E T   C O M P U T I N G 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 I n   a d d i t i o n   t o   p r o v i d i n g   l a r g e - s c a l e ,   h i g h l y   a v a i l a b l e   c o m p u t a t i o n a l   r e s o u r c e s ,   c l o u d s   a l s o   e n a b l e   a   n e w   m e t h o d o l o g y   f o r   s o f t w a r e   d e v e l o p m e n t   v i a   c r o w d s o u r c i n g ,   i n   w h i c h   c r o w d   p a r t i c i p a n t s   e i t h e r   c o l l a b o r a t e   o r   c o m p e t e   t o   c o n t r i b u t e   s o f t w a r e .   U s i n g   a   c r o w d   t o   d e v e l o p   s o f t w a r e   i s   p r e d i c t e d   t o   t a k e   i t s   p l a c e   a l o n g s i d e   e s t a b l i s h e d   m e t h o d o l o g i e s ,   s u c h   a s   a g i l e ,   s c r u m ,   p a i r   p r o g r a m m i n g ,   s e r v i c e - o r i e n t e d   c o m p u t i n g ,   a n d   t h e   t r a d i t i o n a l   w a t e r f a l l . 	 [ T s a i ,   W e i - T e k ]   A r i z o n a   S t a t e   U n i v ,   T e m p e ,   A Z   8 5 2 8 7   U S A ;   [ W u ,   W e n j u n ]   B e i h a n g   U n i v ,   B e i j i n g ,   P e o p l e s   R   C h i n a ;   [ H u h n s ,   M i c h a e l   N . ]   U n i v   S   C a r o l i n a ,   D e p t   C o m p   S c i   &   E n g n ,   C o l u m b i a ,   S C   2 9 2 0 8   U S A 	 T s a i ,   W T   ( r e p r i n t   a u t h o r ) ,   A r i z o n a   S t a t e   U n i v ,   T e m p e ,   A Z   8 5 2 8 7   U S A . 	 w t s a i @ a s u . e d u ;   w w j @ n l s d e . b u a a . e d u . c n ;   h u h n s @ s c . e d u 	 	 	 	 	 B e l l   L . ,   2 0 1 3 ,   I N Q U I R E R                 0 6 2 0 ;   C o r c h o n   L ,   2 0 0 7 ,   R E V   E C O N   D E S ,   V 1 1 ,   P 6 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 0 5 8 - 0 0 7 - 0 0 3 2 - 5 ;   D i a n a   A . ,   2 0 1 1 ,   I N F O R M A T I O N W E E K ;   H A R M A N   M ,   2 0 0 7 ,   P   I N T   C   S O F T W   E N G   F U ,   P 3 4 2 ;   H u h n s   M . N . ,   2 0 1 3 ,   D A G S T U H L   R E P O R T S ,   V 3 ,   P 3 4 ,   D O I   [ 1 0 . 4 2 3 0 / D a g R e p . 3 . 9 . 3 4 ,   D O I   1 0 . 4 2 3 0 / D A G R E P . 3 . 9 . 3 4 ] ;   S i m p s o n   S . ,   2 0 1 3 ,   W I N D O W S   R T   S O U R   0 6 1 0 ;   T h o m a s   S . ,   2 0 1 1 ,   M E M E B U R N                 0 8 1 6 ;   W u   W . ,   2 0 1 3 ,   I N T   J   C R E A T I V E   C O M P U ,   V 1 ,   P 5 7 ;   W u   W J ,   2 0 1 3 ,   F R O N T   C O M P U T   S C I - C H I ,   V 7 ,   P 6 9 4 ,   D O I   1 0 . 1 0 0 7 / s 1 1 7 0 4 - 0 1 3 - 2 3 2 0 - 2 	 9 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 8 9 - 7 8 0 1 	 1 9 4 1 - 0 1 3 1 	 	 I E E E   I N T E R N E T   C O M P U T 	 I E E E   I n t e r n e t   C o m p u t . 	 M A Y - J U N 	 2 0 1 4 	 1 8 	 3 	 	 	 	 	 7 8 	 8 3 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 A I 8 M I 	 W O S : 0 0 0 3 3 7 1 7 0 1 0 0 0 1 1 	 	 
 J 	 A l m i r a l l ,   E ;   L e e ,   M ;   M a j c h r z a k ,   A 	 	 	 	 A l m i r a l l ,   E s t e v e ;   L e e ,   M e l i s s a ;   M a j c h r z a k ,   A n n 	 	 	 O p e n   i n n o v a t i o n   r e q u i r e s   i n t e g r a t e d   c o m p e t i t i o n - c o m m u n i t y   e c o s y s t e m s :   L e s s o n s   l e a r n e d   f r o m   c i v i c   o p e n   i n n o v a t i o n 	 B U S I N E S S   H O R I Z O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 O p e n   i n n o v a t i o n ;   T r a n s f o r m i n g   g o v e r n m e n t ;   E c o s y s t e m s ;   P u b l i c   s e c t o r   e f f e c t i v e n e s s ;   B e s t   m a n a g e m e n t   p r a c t i c e s ;   H a c k a t h o n ;   C r o w d s o u r c i n g 	 	 O p e n   i n n o v a t i o n   h a s   r e c e i v e d   s u b s t a n t i a l   b u s i n e s s   a t t e n t i o n   a s   a   m e a n s   o f   p r o v i d i n g   f i r m s   i n   h y p e r - c o m p e t i t i v e   e n v i r o n m e n t s   w i t h   t h e   a b i l i t y   t o   c r e a t e   a   s t r e a m   o f   n e w   p r o d u c t s   a n d   s e r v i c e s .   F o r   o p e n   i n n o v a t i o n ,   o r g a n i z i n g   e x t e r n a l   s o u r c e s   c o r r e c t l y   i s   a   c r i t i c a l   c a p a b i l i t y ;   c u r r e n t   l i t e r a t u r e   s u g g e s t s   t h a t   e x t e r n a l   s o u r c e s   s h o u l d   b e   o r g a n i z e d   e i t h e r   a s   c o l l a b o r a t i v e   c o m m u n i t i e s   o r   a s   c o m p e t i t i v e   m a r k e t s .   W h i l e   f i r m s   h a v e   g e n e r a l l y   b e e n   s l o w   t o   a d o p t   o p e n   i n n o v a t i o n ,   m a n y   c i t i e s   i n   t h e   U . S .   a n d   E u r o p e   h a v e   b e e n   q u i c k   t o   e m b r a c e   i t - p r o v i d i n g   n e e d e d   f i e l d - b a s e d   e x p e r i e n c e   o n   h o w   t o   o r g a n i z e   e x t e r n a l   s o u r c e s .   B a s e d   o n   o u r   e x a m i n a t i o n   o f   s i x   c i t i e s   o p e n i n g   t h e i r   d a t a   f o r   i n n o v a t i o n ,   w e   f o u n d   t h a t   w h i l e   c i t i e s   o f t e n   s t a r t e d   w i t h   o n e   o r   t h e   o t h e r   a p p r o a c h   t o   o r g a n i z i n g   t h e i r   e x t e r n a l   s o u r c e s ,   e a c h   a p p r o a c h   w a s   i n a d e q u a t e   i n   w a y s   t h a t   c o u l d   p o t e n t i a l l y   b e   a d d r e s s e d   b y   t h e   a d d i t i o n   o f   t h e   o t h e r   a p p r o a c h .   T h u s ,   w e   c o n c l u d e   w i t h   a n   i n t e g r a t e d   a p p r o a c h   i n   w h i c h   t h e   n e e d s   o f   t h e   e n t i r e   e c o s y s t e m   o f   s o u r c e s   a n d   s u p p o r t e r s   o f   i n n o v a t i o n   a r e   o r g a n i z e d   t o   a d d r e s s   b o t h   c o m p e t i t i v e   a n d   c o m m u n i t y   n e e d s .   ( C )   2 0 1 4   K e l l e y   S c h o o l   o f   B u s i n e s s ,   I n d i a n a   U n i v e r s i t y .   P u b l i s h e d   b y   E l s e v i e r   I n c .   A l l   r i g h t s   r e s e r v e d . 	 [ A l m i r a l l ,   E s t e v e ;   L e e ,   M e l i s s a ;   M a j c h r z a k ,   A n n ]   E S A D E   B u s i n e s s   S c h ,   S a n t   C u g a t   D e l   V a l l e s   0 8 1 7 2 ,   S p a i n ;   [ M a j c h r z a k ,   A n n ]   U n i v   S o   C a l i f ,   M a r s h a l l   S c h   B u s i n e s s ,   L o s   A n g e l e s ,   C A   9 0 0 8 9   U S A 	 M a j c h r z a k ,   A   ( r e p r i n t   a u t h o r ) ,   E S A D E   B u s i n e s s   S c h ,   A v d a   T o r r e   B l a n c a   5 9 ,   S a n t   C u g a t   D e l   V a l l e s   0 8 1 7 2 ,   S p a i n . 	 e s t e v e . a l m i r a l l @ e s a d e . e d u ;   m e l i s s a j o . l e e @ e s a d e . e d u ;   m a j c h r z a @ u s c . e d u 	 	 	 	 	 B o u d r e a u   K .   J . ,   2 0 0 9 ,   P L A T F O R M S   M A R K E T S   I N ,   P 1 6 3 ;   B o u d r e a u   K J ,   2 0 1 2 ,   O R G A N   S C I ,   V 2 3 ,   P 1 4 0 9 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 1 0 . 0 6 7 8 ;   B o u d r e a u   K J ,   2 0 0 9 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 6 9 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   I a n s i t i   M . ,   2 0 0 4 ,   H A R V A R D   B U S   R E V ,   V 8 2 ,   P 6 8 ;   S i e g   J H ,   2 0 1 0 ,   R & D   M A N A G E ,   V 4 0 ,   P 2 8 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 1 0 . 0 0 5 9 6 . x ;   V o n   H i p p e l   E r i c ,   2 0 0 9 ,   I N T   J   I N N O V A T I O N   S C I ,   V 1 . 1 ,   P 2 9 ,   D O I   1 0 . 1 2 6 0 / 1 7 5 7 2 2 2 0 9 7 8 7 9 5 1 2 2 4 	 7 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 0 0 7 - 6 8 1 3 	 1 8 7 3 - 6 0 6 8 	 	 B U S   H O R I Z O N S 	 B u s .   H o r i z . 	 M A Y - J U N 	 2 0 1 4 	 5 7 	 3 	 	 	 	 	 3 9 1 	 4 0 0 	 	 1 0 . 1 0 1 6 / j . b u s h o r . 2 0 1 3 . 1 2 . 0 0 9 	 	 1 0 	 B u s i n e s s 	 B u s i n e s s   &   E c o n o m i c s 	 A H 4 P O 	 W O S : 0 0 0 3 3 6 1 1 0 7 0 0 0 0 9 	 	 
 J 	 M a r t i n i ,   A ;   M a s s a ,   S ;   T e s t a ,   S 	 	 	 	 M a r t i n i ,   A n t o n e l l a ;   M a s s a ,   S i l v i a ;   T e s t a ,   S t e f a n i a 	 	 	 C u s t o m e r   c o - c r e a t i o n   p r o j e c t s   a n d   s o c i a l   m e d i a :   T h e   c a s e   o f   B a r i l l a   o f   I t a l y 	 B U S I N E S S   H O R I Z O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 I n n o v a t i o n ;   C u s t o m e r   c o - c r e a t i o n ;   S o c i a l   m e d i a ;   C r o w d s o u r c i n g ;   F r o n t - e n d   i n n o v a t i o n ;   C a s e   s t u d y 	 I N N O V A T I O N ;   U S E R S 	 T h i s   a r t i c l e   i n v e s t i g a t e s   a   s o c i a l   m e d i a - e n a b l e d ,   c u s t o m e r   c o - c r e a t i o n   p r o j e c t   t h a t   e m p l o y s   f r o n t - e n d   i n n o v a t i o n   ( F E I )   a t   a   w e l l - k n o w n ,   l a r g e - s c a l e   f o o d   m a n u f a c t u r e r .   I t   s h e d s   l i g h t   o n   t h e   r o l e   o f   s o c i a l   m e d i a   t e c h n o l o g y   i n   t r a n s f o r m i n g   t h e   c h a r a c t e r i s t i c s   o f   F E I   i n   t e r m s   o f   b o u n d a r i e s   a n d   k n o w l e d g e   d i s t a n c e .   W h a t   t y p e   o f   e x p l o r a t o r y   o r   e x p l o i t a t i v e   i n n o v a t i o n   i d e a s   d o e s   a   p r o j e c t   o f   t h i s   s o r t   e n a b l e ?   H o w   d i d   t h e   p r o j e c t   e v o l v e ?   W h a t   l e s s o n s   c a n   b e   l e a r n e d   f r o m   t h i s   p r o j e c t ?   A   l o n g i t u d i n a l   c a s e   s t u d y   o f   B a r i l l a   w a s   c a r r i e d   o u t   t h r o u g h   t w o   r o u n d s   o f   i n t e r v i e w s   w i t h   m a r k e t i n g ,   b u s i n e s s   d e v e l o p m e n t   a n d   i n n o v a t i o n ,   a n d   d i g i t a l   c o m m u n i c a t i o n   m a n a g e r s .   T h e   e v i d e n c e   g a t h e r e d   h i g h l i g h t s   t h e   e m e r g e n t   e v o l u t i o n   o f   t h i s   c u s t o m e r   c o - c r e a t i o n   p r o j e c t   f r o m   a n   i n i t i a l   s t a g e   o f   i d e a   e x p l o i t a t i o n   t o   a   m o r e   c o m p l e x   a n d   f r u i t f u l   s t a g e   i n   w h i c h   b o t h   e x p l o i t a t i o n   a n d   e x p l o r a t i o n   w e r e   s i m u l t a n e o u s l y   a c c o m p l i s h e d .   ( C )   2 0 1 4   K e l l e y   S c h o o l   o f   B u s i n e s s ,   I n d i a n a   U n i v e r s i t y .   P u b l i s h e d   b y   E l s e v i e r   I n c .   A l l   r i g h t s   r e s e r v e d . 	 [ M a r t i n i ,   A n t o n e l l a ]   U n i v   P i s a ,   I - 5 6 1 2 2   P i s a ,   I t a l y ;   [ M a s s a ,   S i l v i a ;   T e s t a ,   S t e f a n i a ]   U n i v   G e n o a ,   I - 1 6 1 4 5   G e n o a ,   I t a l y 	 M a r t i n i ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   P i s a ,   I - 5 6 1 2 2   P i s a ,   I t a l y . 	 a . m a r t i n i @ i n g . u n i p t . i t ;   s i l v i a . m a s s a @ u n i g e . i t ;   s t e f a n i a . t e s t a @ u n i g e . i t 	 	 	 	 	 A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   A n t o n a c o p o u l o u   E .   P . ,   2 0 1 0 ,   S O C   B U S I N E S S   R E V ,   V 5 ,   P 1 0 ;   A n t o r i n i   Y M ,   2 0 1 2 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 3 ,   P 7 3 ;   B a l d w i n   C ,   2 0 1 1 ,   O R G A N   S C I ,   V 2 2 ,   P 1 3 9 9 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 0 0 . 0 6 1 8 ;   B a r c z a k   G ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 3 5 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 2 . 0 0 9 0 7 . x ;   B o g e r s   M ,   2 0 1 0 ,   J   M A N A G E ,   V 3 6 ,   P 8 5 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 9 2 0 6 3 0 9 3 5 3 9 4 4 ;   B u r g h i n   J . ,   2 0 1 1 ,   S O C I A L   T E C H N O L O G I E S ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   J e s p e r s e n   K r i s t i n a   R i s o m ,   2 0 1 0 ,   I n t e r n a t i o n a l   J o u r n a l   o f   I n n o v a t i o n   M a n a g e m e n t ,   V 1 4 ,   D O I   1 0 . 1 1 4 2 / S 1 3 6 3 9 1 9 6 1 0 0 0 2 7 4 X ;   K a p l a n   A M ,   2 0 1 0 ,   B U S   H O R I Z O N S ,   V 5 3 ,   P 5 9 ,   D O I   1 0 . 1 0 1 6 / j . b u s h o r . 2 0 0 9 . 0 9 . 0 0 3 ;   M a r t i n i   A ,   2 0 1 3 ,   I N F O R M   O R G A N - U K ,   V 2 3 ,   P 1 9 8 ,   D O I   1 0 . 1 0 1 6 / j . i n f o a n d o r g . 2 0 1 3 . 0 7 . 0 0 1 ;   O ' H e r n   M .   S . ,   2 0 0 9 ,   R E V   M A R K E T I N G   R E S ,   V 6 ,   P 8 4 ;   P i l l e r   F . ,   2 0 1 2 ,   U N T E R N E H M U N G ,   V 6 6 ,   P 7 ;   P i l l e r   F T ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 0 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 2 . x ;   P i l l e r   F . T . ,   2 0 1 0 ,   T Y P O L O G Y   C U S T O M E R   C O ;   T o u b i a   O ,   2 0 0 7 ,   M A R K E T   S C I ,   V 2 6 ,   P 3 4 2 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 7 0 . 0 2 7 3 	 1 6 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 0 0 7 - 6 8 1 3 	 1 8 7 3 - 6 0 6 8 	 	 B U S   H O R I Z O N S 	 B u s .   H o r i z . 	 M A Y - J U N 	 2 0 1 4 	 5 7 	 3 	 	 	 	 	 4 2 5 	 4 3 4 	 	 1 0 . 1 0 1 6 / j . b u s h o r . 2 0 1 4 . 0 2 . 0 0 3 	 	 1 0 	 B u s i n e s s 	 B u s i n e s s   &   E c o n o m i c s 	 A H 4 P O 	 W O S : 0 0 0 3 3 6 1 1 0 7 0 0 0 1 2 	 	 
 J 	 H a m i l t o n ,   J F 	 	 	 	 H a m i l t o n ,   J a m e s   F . 	 	 	 H i s t o r i c a l   f o r m s   o f   u s e r   p r o d u c t i o n 	 M E D I A   C U L T U R E   &   S O C I E T Y 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 c i t i z e n   j o u r n a l i s m ;   c o - c r e a t i o n ;   c r o w d f u n d i n g ;   c r o w d s o u r c i n g ;   o p e n - s o u r c e   s o f t w a r e ;   u s e r - g e n e r a t e d   c o n t e n t ;   u s e r   p r o d u c t i o n 	 O P E N   S O U R C E   S O F T W A R E ;   G E N E R A T E D   C O N T E N T ;   C O M M U N I T I E S ;   A U D I E N C E ;   I N D U S T R Y ;   O R I G I N ;   M E D I A 	 C o m m o n   c o n c e p t i o n s   o f   u s e r   p r o d u c t i o n   o v e r s t a t e   i t s   n o v e l t y   w h i l e   u n d e r s t a t i n g   i t s   v a r i e t y .   T o   r e s p o n d   t o   t h e s e   l a c k s ,   t h i s   a r t i c l e   d e v e l o p s   a n   a n a l y t i c   m a p   t h a t   e n a b l e s   a   m o r e   n u a n c e d   h i s t o r i c a l   a n d   c r i t i c a l   u n d e r s t a n d i n g   a n d   i n v e s t i g a t i o n   o f   u s e r   p r o d u c t i o n .   H i s t o r i c a l   a p p r o a c h e s   a r e   w e l l   s u i t e d   f o r   c a p t u r i n g   t h e   m u l t i f a r i o u s   f o r m s   o f   u s e r   p r o d u c t i o n   w h i l e   a l s o   a v o i d i n g   t h e   p r o b l e m   o f   a - h i s t o r i c i s m .   T h e   a r t i c l e   d e v e l o p s   a   c o n t e x t u a l   t y p o l o g y   o f   u s e r   p r o d u c t i o n   b y   t h e o r i z i n g   i t   a s   a   c u l t u r a l   f o r m .   P r i m a r y   f o r m s   d i s c u s s e d   i n c l u d e   t h o s e   o f   b u y e r ;   s o u r c e ,   s u b j e c t ,   i n t e r v i e w e e ;   c o n t e s t a n t ;   s u p p l i e r ;   f i n a n c i e r ;   i n v e n t o r ;   a c t i v i s t ;   a n d   m e m b e r ,   a l l   o f   w h i c h   a r e   r e l a t e d   t o   t h e i r   g e n e r a t i v e   f o r m a t i o n s   a n d   c o n d i t i o n s .   T h e   a r t i c l e   c o n c l u d e s   b y   s u g g e s t i n g   t h e   k i n d s   o f   q u e s t i o n s   a n d   s t u d i e s   t h a t   s u c h   a   f r a m e w o r k   m a k e s   p o s s i b l e . 	 [ H a m i l t o n ,   J a m e s   F . ]   U n i v   G e o r g i a ,   A t h e n s ,   G A   3 0 6 0 2   U S A 	 H a m i l t o n ,   J F   ( r e p r i n t   a u t h o r ) ,   U n i v   G e o r g i a ,   G r a d y   C o l l ,   G r a d y   C o l l   J o u r n a l i s m   &   M a s s   C o m m u n ,   A t h e n s ,   G A   3 0 6 0 2   U S A . 	 h a m i l t o n @ u g a . e d u 	 	 	 	 	 A g n e w   J ,   1 9 9 9 ,   C O N S U M E R   S O C   A M   H I S T ,   P 3 7 3 ;   A I T A M U R T O   T . ,   2 0 1 1 ,   J O U R N A L I S M   P R A C T I C E ,   V 5 ,   P 4 2 9 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 1 2 7 8 6 . 2 0 1 0 . 5 5 1 0 1 8 ;   A l t s c h u l l   J .   H e r b e r t ,   1 9 9 0 ,   M I L T O N   M C L U H A N   I D E A S ;   A n d r e j e v i c   M a r k ,   2 0 0 3 ,   R E A L I T Y   T V   W O R K   B E I N ;   A s h   E r i c   H . ,   2 0 0 4 ,   P O W E R   K N O W L E D G E   E X P E ;   B a k k e r   P . ,   2 0 1 2 ,   J O U R N A L I S M   P R A C T I C E ,   V 6 ,   P 6 2 7 ,   D O I   [ 1 0 . 1 0 8 0 / 1 7 5 1 2 7 8 6 . 2 0 1 2 . 6 6 7 2 6 6 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 1 2 7 8 6 . 2 0 1 2 . 6 6 7 2 6 6 ] ;   B a l t r u s c h a t   D ,   2 0 1 0 ,   G L O B A L   M E D I A   E C O L O G I ,   P 7 8 ;   B a n k s   M ,   2 0 0 7 ,   P O L I T I C S   O F   C U L T U R A L   W O R K ,   P 1 ,   D O I   1 0 . 1 0 5 7 / 9 7 8 0 2 3 0 2 8 8 7 1 3 ;   B a r n o u w   E r i k ,   1 9 9 3 ,   D O C U M E N T A R Y   H I S T   N O N ;   B e c h m a n n   A ,   2 0 1 2 ,   I N F O R M   C O M M U N   S O C ,   V 1 5 ,   P 8 8 8 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 2 . 6 8 0 4 8 3 ;   B e r n a l   J o h n   D . ,   1 9 5 4 ,   S C I   H I S T ;   B i r c h a l l   J o h n s t o n ,   1 9 9 4 ,   C O O P   P E O P L E S   B U S I N E S ;   B o g e r s   M ,   2 0 1 0 ,   J   M A N A G E ,   V 3 6 ,   P 8 5 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 9 2 0 6 3 0 9 3 5 3 9 4 4 ;   B o s t o n   R ,   1 9 7 0 ,   P R E S S   W E   D E S E R V E ;   B o u r d i e u   P . ,   1 9 8 4 ,   D I S T I N C T I O N ;   B r a b h a m   D C ,   2 0 1 2 ,   I N F O R M   C O M M U N   S O C ,   V 1 5 ,   P 3 9 4 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 1 . 6 4 1 9 9 1 ;   B r o a d c a s t i n g / T e l e c a s t i n g ,   1 9 5 6 ,   N E W   T Y P   P E P S   C O N T   R A ,   P 4 2 ;   B r u c k w e h   K ,   2 0 1 1 ,   V O I C E   C I T I Z E N   C O N S U M ;   B r u n s   A x e l ,   2 0 0 8 ,   B L O G S   W I K I P E D I A   2   L I ;   B r y a n t   C G A ,   1 9 8 5 ,   P O S I T I V I S M   S O C I A L   T H ;   C a r t e r   S ,   2 0 0 4 ,   J   R A D I O   S T U D I E S ,   V 1 1 ,   P 1 6 9 ,   D O I   1 0 . 1 2 0 7 / s 1 5 5 0 6 8 4 3 j r s 1 1 0 2 _ 3 ;   C h a l a b y   J K ,   2 0 1 2 ,   M E D I A   C U L T   S O C ,   V 3 4 ,   P 3 6 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 3 4 4 3 7 1 1 4 2 7 1 9 8 ;   C o h e n   N S ,   2 0 0 8 ,   D E M O C R A T I C   C O M M U N I Q U ,   V 2 2 ,   P 5 ;   C o l e m a n   E ,   2 0 1 1 ,   I S   I T   C R I M E   T R A N S G R E ;   C o l e m a n   E G ,   2 0 1 3 ,   C O D I N G   F R E E D O M :   T H E   E T H I C S   A N D   A E S T H E T I C S   O F   H A C K I N G ,   P 1 ;   C o n s t a n t i n i d e s   P ,   2 0 1 2 ,   M E D I A   C U L T   S O C ,   V 3 4 ,   P 6 0 6 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 3 4 4 3 7 1 2 4 4 2 7 0 4 ;   C o u l d r y   N . ,   2 0 0 0 ,   P L A C E   M E D I A   P O W E R ;   D ' A r c y   M ,   1 9 9 6 ,   G A L W A Y S   P I R A T E   W O M E N ;   D a r l i n g   J ,   2 0 0 8 ,   P A R T I C I P A T I O N   M E D I A ,   P 6 9 ;   D a r n t o n   R ,   2 0 0 0 ,   A M   H I S T   R E V ,   V 1 0 5 ,   P 1 ,   D O I   1 0 . 2 3 0 7 / 2 6 5 2 4 3 3 ;   D a v i d s o n   J ,   2 0 1 2 ,   O X F O R D   H D B   H I S T   C O N S ,   P 2 3 ;   D e   P e u t e r   G . ,   2 0 0 9 ,   G A M E S   E M P I R E   G L O B A L ;   D e e r y   J ,   2 0 1 2 ,   C O N S U M I N G   R E A L I T Y :   T H E   C O M M E R C I A L I Z A T I O N   O F   F A C T U A L   E N T E R T A I N M E N T ,   P 1 ,   D O I   1 0 . 1 0 5 7 / 9 7 8 1 1 3 7 0 0 7 6 8 1 ;   D e n i s o n   R ,   2 0 1 1 ,   I N T   J   C U L T U R A L   S T U D ,   V 1 4 ,   P 4 4 9 ,   D O I   1 0 . 1 1 7 7 / 1 3 6 7 8 7 7 9 1 0 3 9 4 5 6 5 ;   D e u z e   M ,   2 0 0 8 ,   P A R T I C I P A T I O N   M E D I A ,   P 2 7 ;   D o w n i n g   J . ,   2 0 0 3 ,   C O N T E S T I N G   M E D I A   P O W ,   P 2 4 3 ;   D o w n i n g   J o h n ,   1 9 8 4 ,   R A D I C A L   M E D I A   P O L I T I ;   D r u m w r i g h t   M E ,   2 0 0 4 ,   J   A D V E R T I S I N G ,   V 3 3 ,   P 7 ;   E l l i o t t   S ,   2 0 0 6 ,   N Y   T I M E S ,   p C 5 ;   E l l i s   E ,   1 9 5 3 ,   B R O A D C A S T I N G   T E   0 2 0 2 ,   P 8 0 ;   E l l i s   J . ,   2 0 0 5 ,   N E W   H I S T   D O C U M E N T A R Y ;   F o g a r a s i   A ,   1 9 8 3 ,   C O M M U N I C A T I O N   C L A S S ,   V 2 ,   P 1 4 9 ;   F o s f u r i   A ,   2 0 0 8 ,   O R G A N   S C I ,   V 1 9 ,   P 2 9 2 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 7 0 . 0 3 2 1 ;   G a r c i a - A v i l e s   J .   A . ,   2 0 1 2 ,   J O U R N A L I S M   P R A C T I C E ,   D O I   [ 1 0 . 1 0 8 0 / 1 7 5 1 2 7 8 6 . 2 0 1 2 . 6 6 7 2 6 7 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 1 2 7 8 6 . 2 0 1 2 . 6 6 7 2 6 7 ] ;   G a r n e r   K ,   2 0 1 2 ,   R A D I O   J   I N T   S T U D I E S ,   V 1 0 ,   P 8 9 ;   G h o s e   A ,   2 0 1 2 ,   M A R K E T   S C I ,   V 3 1 ,   P 4 9 3 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 1 1 0 . 0 7 0 0 ;   G l i c k m a n   L a w r e n c e   B . ,   2 0 0 9 ,   B U Y I N G   P O W E R   H I S T   C O ;   G r a h a m   J ,   2 0 0 9 ,   U S   T O D A Y ;   G r i f f e n - F o l e y   B ,   2 0 0 4 ,   M E D I A   C U L T   S O C ,   V 2 6 ,   P 5 3 3 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 3 4 4 3 7 0 4 0 4 4 2 1 6 ;   H a l p e r   D ,   2 0 0 9 ,   I C O N S   T A L K   M E D I A   M O U ;   H a m i l t o n   J F ,   2 0 1 1 ,   M O M E N T   D A N G E R   C R I T I C ,   P 3 3 1 ;   H a m i l t o n   J F ,   2 0 0 8 ,   D E M O C R A T I C   C O M M U N I C A ;   H a r d t   M i c h a e l ,   2 0 0 4 ,   M U L T I T U D E   W A R   D E M O C R ;   H a w k e s   D a v i d ,   2 0 0 1 ,   I D O L S   M A R K E T P L A C E   I D ;   H a y w o o d   W ,   1 9 6 6 ,   B I L L   H A Y W O O D S   B O O K   A ;   H e a t h   J ,   2 0 0 5 ,   R E B E L   S E L L   W H Y   C U L T U ;   H e n k e l   J ,   2 0 0 9 ,   I N D   C O R P   C H A N G E ,   V 1 8 ,   P 4 3 5 ,   D O I   1 0 . 1 0 9 3 / i c c / d t n 0 4 6 ;   H e s m o n d h a l g h   D ,   2 0 1 1 ,   C R E A T I V E   L A B O R   M E D I A ;   H i l m e s   M ,   2 0 0 2 ,   R A D I O   R E A D E R   E S S A Y S ,   P 4 8 5 ;   H o b s b a w m   E .   J . ,   1 9 5 9 ,   S O C I A L   B A N D I T S   P R I M I ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H o y e r   S ,   2 0 0 3 ,   N O R D I C O M   R E V ,   V 2 4 ,   P 3 ;   J a n s e n   G .   G . ,   1 9 9 8 ,   J o u r n a l   o f   C o m m u n i t y   P r a c t i c e ,   V 5 ,   P 1 0 3 ,   D O I   1 0 . 1 3 0 0 / J 1 2 5 v 0 5 n 0 1 _ 0 7 ;   J e p p e s e n   L B ,   2 0 0 6 ,   O R G A N   S C I ,   V 1 7 ,   P 4 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 5 6 ;   J u l i c h   S o l v e i g ,   2 0 1 1 ,   H I S T   P A R T I C I P A T O R Y   M ;   K i c k s t a r t e r ,   2 0 1 3 ,   S T A T S ;   K i m   J ,   2 0 1 2 ,   M E D I A   C U L T   S O C ,   V 3 4 ,   P 5 3 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 3 4 4 3 7 1 1 4 2 7 1 9 9 ;   K o d a k   E a s t m a n ,   1 9 0 0 ,   Y O U T H S   C O M P A N I O   0 4 2 6 ,   P 2 2 4 ;   K o s z a r s k i   R i c h a r d ,   1 9 9 0 ,   E V E N I N G S   E N T E R T A I N M E ;   K o z i n e t s   R V ,   2 0 0 2 ,   J   M A R K E T I N G   R E S ,   V 3 9 ,   P 6 1 ,   D O I   1 0 . 1 5 0 9 / j m k r . 3 9 . 1 . 6 1 . 1 8 9 3 5 ;   L a n g l o i s   A ,   2 0 0 5 ,   A U T O N O M O U S   M E D I A   A C T ;   L a s c h   C h r i s t o p h e r ,   1 9 9 1 ,   T R U E   O N L Y   H E A V E N   P R O ;   L e n i n   V ,   1 9 6 5 ,   C O L L E C T E D   W O R K S ,   V 2 8 ;   L e s s i g   L a w r e n c e ,   2 0 0 5 ,   F R E E   C U L T U R E   N A T U R E ;   L i n g e l   J ,   2 0 1 1 ,   N E W   M E D I A   S O C ,   V 1 4 ,   P 3 3 2 ;   L O T H R O P   E S ,   1 9 7 8 ,   H I S T   P H O T O G R ,   V 2 ,   P 1 ;   L o v i g l i o   J ,   2 0 0 2 ,   R A D I O   R E A D E R   E S S A Y S ;   M a r c h a n d   R ,   1 9 9 8 ,   G E T T I N G   S P E N D I N G   E U R ;   M a r k e t i n g ,   2 0 1 2 ,   D I G   T R A N S F   N I K   W A Y ,   P 1 0 ;   M a r s h a l l   P . ,   1 9 9 2 ,   D E M A N D I N G   I M P O S S I B L E ;   M a r x   K ,   1 9 7 0 ,   C O N T R I B U T I O N   C R I T I Q U ,   P 1 8 8 ;   M c G u i g a n   J . ,   1 9 9 2 ,   C U L T U R A L   P O P U L I S M ;   M c K e n d r i c k   N e i l ,   1 9 8 2 ,   B I R T H   C O N S U M E R   S O C   C ;   M e l n i c k   R ,   2 0 1 1 ,   F I L M   H I S T ,   V 2 3 ,   P 3 3 1 ;   M i t t e l l   J ,   2 0 0 9 ,   T R A N S F O R M A T I V E   W O R K S ,   V 3 ;   M o t t   N ,   2 0 1 3 ,   W H Y   S U C C E S S F U L   K I C K S ;   M u t h u k u m a r a s w a m y   K ,   2 0 1 0 ,   J O U R N A L I S M   P R A C T I C E ,   V 4 ,   P 4 8 ;   N a d i s   F ,   2 0 0 7 ,   F I L M   H I S T ,   V 3 7 ,   P 1 3 ,   D O I   1 0 . 1 3 5 3 / f l m . 2 0 0 7 . 0 0 5 9 ;   N A M B I S A N   S ,   2 0 0 2 ,   A C A D   M A N A G E   R E V ,   V 2 7 ,   P 3 9 2 ,   D O I   D O I   1 0 . 2 3 0 7 / 4 1 3 4 3 8 6 ;   N a p o l i   P .   M . ,   2 0 1 1 ,   A U D I E N C E   E V O L U T I O N   N ;   N o v i c k   P e t e r ,   1 9 8 8 ,   N O B L E   D R E A M   O B J E C T I V ;   O h m a n n   R i c h a r d ,   1 9 9 6 ,   S E L L I N G   C U L T U R E   M A G A ;   O u e l l e t t e   L . ,   2 0 0 8 ,   B E T T E R   L I V I N G   R E A L I T ;   P e r l i n   T ,   1 9 7 9 ,   C O N T   A N A R C H I S M ;   P E T E R S   J D ,   1 9 8 9 ,   Q   J   S P E E C H ,   V 7 5 ,   P 3 8 7 ;   P e t e r s   J D ,   2 0 0 1 ,   M E D I A   C U L T   S O C ,   V 2 3 ,   P 7 0 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 3 4 4 3 0 1 0 2 3 0 0 6 0 0 2 ;   P O M E R A N C E   E C ,   1 9 6 0 ,   J   M A R K E T I N G ,   V 2 5 ,   P 7 ,   D O I   1 0 . 2 3 0 7 / 1 2 4 8 6 0 4 ;   P o w e l l   A ,   2 0 1 2 ,   M E D I A   C U L T   S O C ,   V 3 4 ,   P 6 9 1 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 3 4 4 3 7 1 2 4 4 9 4 9 7 ;   R e n d a l l   S . ,   1 9 8 4 ,   P R A C T I C E   E V E R Y D A Y   L I ;   R o t h   D ,   2 0 0 9 ,   A N S W E R   F A C T O R Y   D E M A N ;   R o t z o l l   K B ,   2 0 0 7 ,   R E A D I N G S   A D V E R T I S I N G ,   P 1 1 ;   R u c k e n s t e i n   M ,   2 0 1 1 ,   I N F O R M   C O M M U N   S O C ,   V 1 4 ,   P 1 0 6 0 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 1 . 5 6 5 7 8 1 ;   R y a n   T ,   2 0 0 1 ,   P R I Z E   W I N N E R   D E F I A N C ;   S a v i t z   E ,   2 0 1 2 ,   F O R B E S ,   P 1 1 ;   S a v i t z   E ,   2 0 1 3 ,   F O R B E S ,   P 1 9 ;   S c h i l l e r   D a n ,   1 9 8 1 ,   O B J E C T I V I T Y   N E W S   P U B ;   S c h u d s o n   M i c h a e l ,   1 9 7 8 ,   D I S C O V E R I N G   N E W S   S O C ,   P 1 9 7 8 ;   S c o t t   V ,   2 0 0 8 ,   G O O G L E ;   S H I R K Y   C L A Y ,   2 0 0 8 ,   H E R E   C O M E S   E V E R Y B O D Y ;   S M I T H   A D A M ,   1 9 9 4 ,   I N Q U I R Y   N A T U R E   C A U S E ,   P 7 0 0 ;   S m i t h   O F ,   2 0 0 5 ,   D I S T A N C E   P R E C U R S O R S ,   P 1 1 6 ;   S m y t h e   T C ,   1 9 8 0 ,   J O U R N A L I S M   H I S T ,   V 7 ,   P 1 ;   S o r e n s e n   I E ,   2 0 1 2 ,   M E D I A   C U L T   S O C ,   V 3 4 ,   P 7 2 6 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 3 4 4 3 7 1 2 4 4 9 4 9 9 ;   S t e a r n s   P . ,   2 0 0 1 ,   C O N S U M E R I S M   W O R L D   H I ;   S t e i n b e r g   S ,   2 0 1 2 ,   C R O W D F U N D I N G   B I B L E ;   S t e i n e r   L ,   2 0 0 5 ,   J O U R N A L I S M   T H E O R Y   P R ,   V 6 ,   P 3 1 3 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 4 8 8 4 9 0 5 0 5 4 0 6 3 ;   S t r a s s e r   S u s a n ,   1 9 8 9 ,   S A T I S F A C T I O N   G U A R A N T ;   S U R O W I E C K I   J A M E S ,   2 0 0 4 ,   W I S D O M   C R O W D S ;   S v e n s s o n   P ,   2 0 1 2 ,   K I C K S T A R T E R   P R O J E C T S ;   T e b b u t t   J ,   2 0 0 6 ,   M E D I A   C U L T   S O C ,   V 2 8 ,   P 8 5 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 3 4 4 3 7 0 6 0 6 8 9 2 0 ;   T h o m p s o n   S ,   2 0 0 4 ,   P E N N Y   P R E S S ;   T u r n e r   G r a e m e ,   2 0 1 0 ,   O R D I N A R Y   P E O P L E   M E D I ;   v a n   D i j c k   J ,   2 0 0 9 ,   M E D I A   C U L T   S O C ,   V 3 1 ,   P 4 1 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 3 4 4 3 7 0 8 0 9 8 2 4 5 ;   V e r w e y   N E ,   1 9 9 0 ,   R A D I O   C A L L   I N S   C O N V E ;   V i g u e r i e   R i c h a r d ,   2 0 0 4 ,   A M   R I G H T   T U R N   C O N S E R ;   W a h i d   A N M ,   2 0 0 0 ,   A S I A N   A F F A I R S ,   V 3 1 ,   P 1 6 0 ;   W i e n e r   J ,   1 9 8 8 ,   P A P E R S   M I L L I O N S ;   W i e n e r   J H ,   2 0 1 1 ,   P A L G   S T U D   H I S T   M E D I A ,   P 1 ,   D O I   1 0 . 1 0 5 7 / 9 7 8 0 2 3 0 3 4 7 9 5 3 ;   W i l l i a m s   R ,   1 9 5 8 ,   C U L T U R E   S O C   1 7 8 0   1 9 5 ;   W i l l i a m s   R ,   1 9 7 0 ,   P R E S S   W E   D E S E R V E ,   P 1 4 ;   W I L L I A M S   R ,   1 9 8 6 ,   N E W   L E F T   R E V ,   P 1 9 ;   W i l l i a m s   R a y m o n d ,   1 9 7 5 ,   T E L E V I S I O N   T E C H N O L O G ;   W i l l i a m s   R a y m o n d ,   1 9 7 7 ,   M A R X I S M   L I T ;   W o l f f   J a n e t ,   1 9 9 3 ,   S O C I A L   P R O D U C T I O N   A R ;   Z e i t l y n   D ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 2 8 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 5 3 - 2 	 1 3 5 	 0 	 0 	 S A G E   P U B L I C A T I O N S   L T D 	 L O N D O N 	 1   O L I V E R S   Y A R D ,   5 5   C I T Y   R O A D ,   L O N D O N   E C 1 Y   1 S P ,   E N G L A N D 	 0 1 6 3 - 4 4 3 7 	 1 4 6 0 - 3 6 7 5 	 	 M E D I A   C U L T   S O C 	 M e d i a   C u l t .   S o c . 	 M A Y 	 2 0 1 4 	 3 6 	 4 	 	 	 	 	 4 9 1 	 5 0 7 	 	 1 0 . 1 1 7 7 / 0 1 6 3 4 4 3 7 1 4 5 2 3 8 1 2 	 	 1 7 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 A G 5 Q L 	 W O S : 0 0 0 3 3 5 4 7 3 5 0 0 0 0 5 	 	 
 J 	 G r a h a m ,   G ;   M e h m o o d ,   R 	 	 	 	 G r a h a m ,   G a r y ;   M e h m o o d ,   R a s h i d 	 	 	 T h e   s t r a t e g i c   p r o t o t y p e   " c r i m e - s o u r c i n g "   a n d   t h e   s c i e n c e / s c i e n c e   f i c t i o n   b e h i n d   i t 	 T E C H N O L O G I C A L   F O R E C A S T I N G   A N D   S O C I A L   C H A N G E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   T e c h n o l o g i c a l   f o r e c a s t i n g ;   S o c i a l   c h a n g e ;   C r i m e - s o u r c i n g ;   B u s i n e s s   m o d e l s ;   B i g   d a t a 	 	 S c i e n c e   f i c t i o n   p r o t o t y p i n g   ( S F P )   a n d   c r o w d s o u r c i n g   a r e   a m o n g   a   r a n g e   o f   p r o m i s i n g   m e t h o d o l o g i e s   t h a t   a r e   s e t   t o   t r a n s f o r m   a l l   s p h e r e s   o f   h u m a n   l a n d s c a p e   b e   i t   s c i e n c e ,   b u s i n e s s   o r   s o c i a l .   T h i s   p a p e r   e x p l o i t s   t h e   S F P   a n d   c r o w d s o u r c i n g   m e t h o d o l o g i e s   a n d   p r e s e n t s   " c r i m e - s o u r c i n g " ,   a   p r o t o t y p e   d e s i g n e d   t o   e x p l o r e   f u t u r i s t i c   c r o w d s o u r c i n g   i d e a s .   I t s   p u r p o s e   i s   t o   p r o v i d e   a   f i c t i o n a l   s c e n a r i o   t h a t   s p e c u l a t e s   h o w   c r o w d s o u r c i n g   c o u l d   b e   b l e n d e d   w i t h   f u t u r e   t e c h n o l o g y   t o   d e v e l o p   a   " c r i m e - t o - c o n v i c t i o n "   m o d e l .   T h i s   s c e n a r i o   t a k e s   t h e   c y b e r - s p a c e   c o n c e p t   o f   c r o w d s o u r c i n g   a n d   t h e n   t r a n s f e r s   i t   t o   a   h y b r i d   c y b e r / p h y s i c a l   b u s i n e s s   m o d e l   c o n t e x t .   T h e   s t o r y   a l i g n s   i t s e l f   w i t h   Z u c k e r m a n ' s   d o c t r i n e   t h a t   w h i l e   t h e r e   i s   h u m a n   t e n d e n c y   t o   " f l o c k   t o g e t h e r "   i n   c r o w d s ,   m o s t   o f   o u r   s o c i a l   t i e s ,   o n l i n e   o r   o f f l i n e ,   a r e   o n l y   w i t h   a   s m a l l   s e t   o f   p e o p l e   w i t h   w h o m   w e   h a v e   m u c h   i n   c o m m o n .   T h e   p a p e r   c o n c l u d e s   w i t h   a   d i s c u s s i o n   o n   c o n t r i b u t i o n   o f   t h i s   p a p e r   t o   c r o w d s o u r c i n g   t h e o r y   a n d   t h e   c h a l l e n g e s   t h a t   n e e d   t o   b e   o v e r c o m e   i f   p r o t o t y p i n g   i s   t o   b e c o m e   a n   e s t a b l i s h e d   f o r e s i g h t   m e t h o d o l o g y .   ( C )   2 0 1 3   E l s e v i e r   I n c .   A l l   r i g h t s   r e s e r v e d . 	 [ G r a h a m ,   G a r y ]   U n i v   L e e d s ,   S c h   B u s i n e s s ,   L e e d s   L S 2   9 J T ,   W   Y o r k s h i r e ,   E n g l a n d ;   [ M e h m o o d ,   R a s h i d ]   K i n g   K h a l i d   U n i v ,   C o l l   C o m p   S c i ,   A b h a ,   S a u d i   A r a b i a 	 M e h m o o d ,   R   ( r e p r i n t   a u t h o r ) ,   K i n g   K h a l i d   U n i v ,   C o l l   C o m p   S c i ,   A b h a ,   S a u d i   A r a b i a . 	 g . g r a h a m @ l e e d s . a c . u k ;   R . M e h m o o d @ g m a i l . c o m 	 	 	 	 	 A l d i s s   B . ,   2 0 0 7 ,   S C I   F I C T I O N   O M N I B U S ;   A u g e   M . ,   1 9 9 5 ,   N O N P L A C E S   I N T R O   A N T H ,   V 3 0 ;   B r i t t o   J . ,   T E C H L A N D   T I M E ;   C h i a n g   T . ,   1 9 9 8 ,   S T O R Y   Y O U R   L I F E   S T A R ,   V 2 ;   C l a r k e   A . C . ,   1 9 7 3 ,   R E N D E Z V O U S   R A M A ;   C o s p e r   A . ,   2 0 1 3 ,   E N T R E P R E N E U R ,   P 1 6 ;   D i c k   P . K . ,   1 9 9 7 ,   S E L E C T E D   L I T   P H I L O S ;   D o c t o r o w   C . ,   2 0 0 7 ,   O V E R C L O C K E D   S T O R I E S ;   E g e r t o n   S . ,   2 0 1 1 ,   W O R K S H   P   7   I N T   C   I N T ,   P 1 2 8 ;   G o o d m a n   M . ,   2 0 1 1 ,   C R O W D S O U R C I N G   C R I M E ;   H a g e r   M . ,   A N A T O M Y   R I O T ;   H e r o d o t o u   H . ,   2 0 1 1 ,   P   5   B I E N N   C   I N N   D A T ;   H o w e   J . ,   W I R E D ;   J a m e s o n   F . ,   2 0 0 5 ,   A R C H A E O L O G I E S   F U T U R E ;   J o h n s o n   B . D . ,   2 0 1 0 ,   S C R E E N   F U T U R E   F U T U R E ;   J o h n s o n   B . D . ,   2 0 1 1 ,   S Y N T H E S I S   L E C T   C O M P U ;   L e o n a r d - B a r t o n   D . ,   1 9 9 8 ,   W E L L S P R I N G S   K N O W L E D G ;   M c C u l l a g h   P . ,   2 0 1 1 ,   W O R K S H   P   7   I N T   C   I N T ,   P 2 5 5 ;   M c G r a t h   R G ,   2 0 1 0 ,   L O N G   R A N G E   P L A N N ,   V 4 3 ,   P 2 4 7 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 0 9 . 0 7 . 0 0 5 ;   P a n e c k   R . ,   2 0 0 4 ,   I N V I S I B L E   C E N T U R Y ;   P e a r l   J . ,   G I V I N G   C O M P U T E R S   F R E ;   R a n d   A y n ,   1 9 4 3 ,   F O U N T A I N H E A D ;   S e l l a r s   S . ,   2 0 1 2 ,   E X T R E M E   M E T A P H O R S   I N ,   P 3 6 7 ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   T e e c e   D J ,   2 0 1 0 ,   L O N G   R A N G E   P L A N N ,   V 4 3 ,   P 1 7 2 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 0 9 . 0 7 . 0 0 3 ;   T h o m k e   S H ,   1 9 9 8 ,   M A N A G E   S C I ,   V 4 4 ,   P 7 4 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 4 . 6 . 7 4 3 ;   W u   H . - Y . ,   2 0 1 1 ,   W O R K S H   P   7   I N T   C   I N T ,   P 1 5 5 ;   W y s o c k i   E . ,   2 0 1 2 ,   G R E A T   H E I N L E I N   M Y S T E ;   Z u c k e r m a n   E ,   2 0 1 3 ,   R E W I R E   D I G I T A L   C O S M O 	 2 9 	 0 	 0 	 E L S E V I E R   S C I E N C E   I N C 	 N E W   Y O R K 	 3 6 0   P A R K   A V E   S O U T H ,   N E W   Y O R K ,   N Y   1 0 0 1 0 - 1 7 1 0   U S A 	 0 0 4 0 - 1 6 2 5 	 1 8 7 3 - 5 5 0 9 	 	 T E C H N O L   F O R E C A S T   S O C 	 T e c h n o l .   F o r e c a s t .   S o c .   C h a n g . 	 M A Y 	 2 0 1 4 	 8 4 	 	 	 	 	 	 8 6 	 9 2 	 	 1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 1 3 . 1 0 . 0 2 6 	 	 7 	 B u s i n e s s ;   P l a n n i n g   &   D e v e l o p m e n t 	 B u s i n e s s   &   E c o n o m i c s ;   P u b l i c   A d m i n i s t r a t i o n 	 A H 3 G N 	 W O S : 0 0 0 3 3 6 0 1 1 8 0 0 0 0 9 	 	 
 J 	 B r a n s o n ,   S ;   V a n   H o r n ,   G ;   W a h ,   C ;   P e r o n a ,   P ;   B e l o n g i e ,   S 	 	 	 	 B r a n s o n ,   S t e v e ;   V a n   H o r n ,   G r a n t ;   W a h ,   C a t h e r i n e ;   P e r o n a ,   P i e t r o ;   B e l o n g i e ,   S e r g e 	 	 	 T h e   I g n o r a n t   L e d   b y   t h e   B l i n d :   A   H y b r i d   H u m a n - M a c h i n e   V i s i o n   S y s t e m   f o r   F i n e - G r a i n e d   C a t e g o r i z a t i o n 	 I N T E R N A T I O N A L   J O U R N A L   O F   C O M P U T E R   V I S I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 F i n e - g r a i n e d   c a t e g o r i z a t i o n ;   H u m a n - i n - t h e - l o o p ;   I n t e r a c t i v e ;   P a r t s ;   A t t r i b u t e s ;   C r o w d s o u r c i n g ;   D e f o r m a b l e   p a r t   m o d e l s ;   P o s e   m i x t u r e   m o d e l s ;   O b j e c t   r e c o g n i t i o n ;   I n f o r m a t i o n   g a i n ;   B i r d s 	 	 W e   p r e s e n t   a   v i s u a l   r e c o g n i t i o n   s y s t e m   f o r   f i n e - g r a i n e d   v i s u a l   c a t e g o r i z a t i o n .   T h e   s y s t e m   i s   c o m p o s e d   o f   a   h u m a n   a n d   a   m a c h i n e   w o r k i n g   t o g e t h e r   a n d   c o m b i n e s   t h e   c o m p l e m e n t a r y   s t r e n g t h s   o f   c o m p u t e r   v i s i o n   a l g o r i t h m s   a n d   ( n o n - e x p e r t )   h u m a n   u s e r s .   T h e   h u m a n   u s e r s   p r o v i d e   t w o   h e t e r o g e n e o u s   f o r m s   o f   i n f o r m a t i o n   o b j e c t   p a r t   c l i c k s   a n d   a n s w e r s   t o   m u l t i p l e   c h o i c e   q u e s t i o n s .   T h e   m a c h i n e   i n t e l l i g e n t l y   s e l e c t s   t h e   m o s t   i n f o r m a t i v e   q u e s t i o n   t o   p o s e   t o   t h e   u s e r   i n   o r d e r   t o   i d e n t i f y   t h e   o b j e c t   c l a s s   a s   q u i c k l y   a s   p o s s i b l e .   B y   l e v e r a g i n g   c o m p u t e r   v i s i o n   a n d   a n a l y z i n g   t h e   u s e r   r e s p o n s e s ,   t h e   o v e r a l l   a m o u n t   o f   h u m a n   e f f o r t   r e q u i r e d ,   m e a s u r e d   i n   s e c o n d s ,   i s   m i n i m i z e d .   O u r   f o r m a l i s m   s h o w s   h o w   t o   i n c o r p o r a t e   m a n y   d i f f e r e n t   t y p e s   o f   c o m p u t e r   v i s i o n   a l g o r i t h m s   i n t o   a   h u m a n - i n - t h e - l o o p   f r a m e w o r k ,   i n c l u d i n g   s t a n d a r d   m u l t i c l a s s   m e t h o d s ,   p a r t - b a s e d   m e t h o d s ,   a n d   l o c a l i z e d   m u l t i c l a s s   a n d   a t t r i b u t e   m e t h o d s .   W e   e x p l o r e   o u r   i d e a s   b y   b u i l d i n g   a   f i e l d   g u i d e   f o r   b i r d   i d e n t i f i c a t i o n .   T h e   e x p e r i m e n t a l   r e s u l t s   d e m o n s t r a t e   t h e   s t r e n g t h   o f   c o m b i n i n g   i g n o r a n t   h u m a n s   w i t h   p o o r - s i g h t e d   m a c h i n e s   t h e   h y b r i d   s y s t e m   a c h i e v e s   q u i c k   a n d   a c c u r a t e   b i r d   i d e n t i f i c a t i o n   o n   a   d a t a s e t   c o n t a i n i n g   2 0 0   b i r d   s p e c i e s . 	 [ B r a n s o n ,   S t e v e ;   P e r o n a ,   P i e t r o ]   C A L T E C H ,   P a s a d e n a ,   C A   9 1 1 2 5   U S A ;   [ V a n   H o r n ,   G r a n t ;   W a h ,   C a t h e r i n e ;   B e l o n g i e ,   S e r g e ]   U n i v   C a l i f   S a n   D i e g o ,   L a   J o l l a ,   C A   9 2 0 9 3   U S A 	 B r a n s o n ,   S   ( r e p r i n t   a u t h o r ) ,   C A L T E C H ,   P a s a d e n a ,   C A   9 1 1 2 5   U S A . 	 s b r a n s o n @ c a l t e c h . e d u 	 	 	 	 	 B e l h u m e u r   P . ,   2 0 0 8 ,   E C C V ;   B e r g   T . ,   2 0 1 3 ,   C V P R ;   B i e d e r m a n   I ,   1 9 9 9 ,   P S Y C H O L   R E S - P S Y C H   F O ,   V 6 2 ,   P 1 3 1 ,   D O I   1 0 . 1 0 0 7 / s 0 0 4 2 6 0 0 5 0 0 4 7 ;   B o u r d e v   L .   D . ,   2 0 0 9 ,   I C C V ;   B r a n s o n   S . ,   2 0 1 1 ,   I C C V ;   B r a n s o n   S . ,   2 0 1 0 ,   E C C V ;   C h a i   Y . ,   2 0 1 1 ,   I C C V ;   C h a i   Y . ,   2 0 1 2 ,   E C C V ;   C h a i   Y . ,   2 0 1 3 ,   I C C V ;   C o x   I . J . ,   2 0 0 0 ,   I M A G E   P R O C E S S I N G ;   D o n a h u e   J . ,   2 0 1 1 ,   I C C V ;   D o u z e   M . ,   2 0 1 1 ,   C V P R ;   D u a n   K . ,   2 0 1 2 ,   C V P R ;   F a n g   Y . ,   2 0 0 5 ,   A V B P A ;   F a r h a d i   A . ,   2 0 1 0 ,   C V P R ;   F a r h a d i   A . ,   2 0 0 9 ,   C V P R ;   F a r r e l l   R . ,   2 0 1 1 ,   I C C V ;   F e l z e n s z w a l b   P . ,   2 0 0 8 ,   C V P R ;   F e l z e n s z w a l b   P . ,   2 0 0 2 ,   C V P R ;   F e r e c a t u   M . ,   2 0 0 7 ,   I C C V ;   F e r e c a t u   M . ,   2 0 0 9 ,   P A M I ;   G a v v e s   E . ,   2 0 1 3 ,   I C C V ;   G e m a n   D . ,   1 9 9 6 ,   P A M I ;   G e m a n   D . ,   1 9 9 3 ,   S H A P E   R E C O G N I T I O N   2 0 ;   J e d y n a k   B ,   2 0 1 2 ,   J   A P P L   P R O B A B ,   V 4 9 ,   P 1 1 4 ,   D O I   1 0 . 1 2 3 9 / j a p / 1 3 3 1 2 1 6 8 3 7 ;   K h o s l a   A . ,   2 0 1 1 ,   C V P R ;   K u m a r   N . ,   2 0 0 9 ,   I C C V ;   K u m a r   N . ,   2 0 0 8 ,   E C C V ;   K u m a r   N . ,   2 0 1 2 ,   E C C V ;   L a m p e r t   C . ,   2 0 0 9 ,   C V P R ;   L a r i o s   N . ,   2 0 1 0 ,   I C P R ;   L a z e b n i k   S . ,   2 0 0 5 ,   I C C V ;   L e v i n   A . ,   2 0 0 7 ,   P A M I ;   L i u   J . ,   2 0 1 2 ,   E C C V ;   L u   Y . ,   2 0 0 0 ,   A C M   M U L T I M E D I A ;   M a j i   S . ,   2 0 1 2 ,   C   A R T   I N T   W O R K S H ;   M a j i   S . ,   2 0 1 2 ,   E C C V   P A R T S   A T T R I B U T E ;   M a r t i n e z - M u n o z ,   2 0 0 9 ,   C V P R ;   M e r v i s   C .   B . ,   1 9 8 2 ,   C H I L D   D E V ,   V 5 3 ,   P 2 5 6 ;   N i l s b a c k   M . E . ,   2 0 0 8 ,   I C V G I P ;   N i l s b a c k   M . E . ,   2 0 0 6 ,   C V P R ;   O t t   P . ,   2 0 1 1 ,   C V P R ;   P a r i k h   D . ,   2 0 1 1 ,   N I P S   W I S D O M   C R O W D S ;   P a r i k h   D . ,   2 0 1 1 ,   I C C V ;   P a r i k h   D . ,   2 0 1 3 ,   I C C V ;   P a r i k h   D . ,   2 0 1 1 ,   C V P R ;   P a r k a s h   A . ,   2 0 1 2 ,   E C C V ;   P a r k h i   O . ,   2 0 1 1 ,   I C C V ;   P a r k h i   O . ,   2 0 1 2 ,   C V P R ;   P e r r o n n i n   F . ,   2 0 1 0 ,   E C C V ;   P l a t t   J . C . ,   1 9 9 9 ,   A L M C ;   Q u i n l a n   J .   R . ,   1 9 9 3 ,   C 4   5   P R O G R A M S   M A C H I N ;   R a s i w a s i a   N . ,   2 0 0 7 ,   M U L T I M E D I A ;   R o s c h   E . ,   1 9 7 6 ,   C O G N I T I V E   P S Y C H O L ;   R o s c h   E l e a n o r ,   1 9 9 9 ,   C O N C E P T S   C O R E   R E A D I N ;   R o t h e r   C . ,   2 0 0 4 ,   T O G ;   S e t t l e s   B . ,   2 0 0 8 ,   C U R I O U S   M A C H I N E S   A C T ;   S t a r k   M . ,   2 0 1 2 ,   B M V C ;   S z n i t m a n   R . ,   2 0 1 1 ,   M I C C A I ;   S z n i t m a n   R . ,   2 0 1 0 ,   P A M I ;   T s i l i g k a r i d i s   T . ,   2 0 1 3 ,   I C A S S P ;   T s o c h a n t a r i d i s   I . ,   2 0 0 6 ,   J M L R ;   V i j a y a n a r a s i m h a n   S . ,   2 0 0 9 ,   C V P R ;   V i j a y a n a r a s i m h a n   S . ,   2 0 1 1 ,   C V P R ;   V o n d r i c k   C . ,   2 0 1 0 ,   E C C V ;   V o n d r i c k   C . ,   2 0 1 1 ,   N I P S ;   W a h   C . ,   2 0 1 1 ,   C N S T R 2 0 1 1 0 0 1   C A L T E C H ;   W a h   C . ,   2 0 1 1 ,   I C C V ;   W a n g   G . ,   2 0 0 9 ,   I C C V ;   W a n g   J . ,   2 0 0 9 ,   B M V C ;   W u   W . ,   2 0 0 6 ,   M U L T I M E D I A ;   Y a n g   Y . ,   2 0 1 1 ,   C V P R ;   Y a o   B . ,   2 0 1 1 ,   C V P R ;   Y a o   B . ,   2 0 1 2 ,   C V P R ;   Z h a n g   N . ,   2 0 1 2 ,   C V P R ;   Z h a n g   N . ,   2 0 1 3 ,   I C C V ;   Z h o u   X . ,   2 0 0 3 ,   M U L T I M E D I A 	 7 7 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 0 9 2 0 - 5 6 9 1 	 1 5 7 3 - 1 4 0 5 	 	 I N T   J   C O M P U T   V I S I O N 	 I n t .   J .   C o m p u t .   V i s . 	 M A Y 	 2 0 1 4 	 1 0 8 	 1 - 2 	 	 	 S I 	 	 3 	 2 9 	 	 1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 1 4 - 0 6 9 8 - 4 	 	 2 7 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 A G 7 B T 	 W O S : 0 0 0 3 3 5 5 7 3 7 0 0 0 0 2 	 	 
 J 	 P a t t e r s o n ,   G ;   X u ,   C ;   S u ,   H ;   H a y s ,   J 	 	 	 	 P a t t e r s o n ,   G e n e v i e v e ;   X u ,   C h e n ;   S u ,   H a n g ;   H a y s ,   J a m e s 	 	 	 T h e   S U N   A t t r i b u t e   D a t a b a s e :   B e y o n d   C a t e g o r i e s   f o r   D e e p e r   S c e n e   U n d e r s t a n d i n g 	 I N T E R N A T I O N A L   J O U R N A L   O F   C O M P U T E R   V I S I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S c e n e   u n d e r s t a n d i n g ;   C r o w d s o u r c i n g ;   A t t r i b u t e s ;   I m a g e   c a p t i o n i n g ;   S c e n e   p a r s i n g 	 I M A G E ;   R E C O G N I T I O N ;   O B J E C T ;   S H A P E 	 I n   t h i s   p a p e r   w e   p r e s e n t   t h e   f i r s t   l a r g e - s c a l e   s c e n e   a t t r i b u t e   d a t a b a s e .   F i r s t ,   w e   p e r f o r m   c r o w d s o u r c e d   h u m a n   s t u d i e s   t o   f i n d   a   t a x o n o m y   o f   1 0 2   d i s c r i m i n a t i v e   a t t r i b u t e s .   W e   d i s c o v e r   a t t r i b u t e s   r e l a t e d   t o   m a t e r i a l s ,   s u r f a c e   p r o p e r t i e s ,   l i g h t i n g ,   a f f o r d a n c e s ,   a n d   s p a t i a l   l a y o u t .   N e x t ,   w e   b u i l d   t h e   " S U N   a t t r i b u t e   d a t a b a s e "   o n   t o p   o f   t h e   d i v e r s e   S U N   c a t e g o r i c a l   d a t a b a s e .   W e   u s e   c r o w d s o u r c i n g   t o   a n n o t a t e   a t t r i b u t e s   f o r   1 4 , 3 4 0   i m a g e s   f r o m   7 0 7   s c e n e   c a t e g o r i e s .   W e   p e r f o r m   n u m e r o u s   e x p e r i m e n t s   t o   s t u d y   t h e   i n t e r p l a y   b e t w e e n   s c e n e   a t t r i b u t e s   a n d   s c e n e   c a t e g o r i e s .   W e   t r a i n   a n d   e v a l u a t e   a t t r i b u t e   c l a s s i f i e r s   a n d   t h e n   s t u d y   t h e   f e a s i b i l i t y   o f   a t t r i b u t e s   a s   a n   i n t e r m e d i a t e   s c e n e   r e p r e s e n t a t i o n   f o r   s c e n e   c l a s s i f i c a t i o n ,   z e r o   s h o t   l e a r n i n g ,   a u t o m a t i c   i m a g e   c a p t i o n i n g ,   s e m a n t i c   i m a g e   s e a r c h ,   a n d   p a r s i n g   n a t u r a l   i m a g e s .   W e   s h o w   t h a t   w h e n   u s e d   a s   f e a t u r e s   f o r   t h e s e   t a s k s ,   l o w   d i m e n s i o n a l   s c e n e   a t t r i b u t e s   c a n   c o m p e t e   w i t h   o r   i m p r o v e   o n   t h e   s t a t e   o f   t h e   a r t   p e r f o r m a n c e .   T h e   e x p e r i m e n t s   s u g g e s t   t h a t   s c e n e   a t t r i b u t e s   a r e   a n   e f f e c t i v e   l o w - d i m e n s i o n a l   f e a t u r e   f o r   c a p t u r i n g   h i g h - l e v e l   c o n t e x t   a n d   s e m a n t i c s   i n   s c e n e s . 	 [ P a t t e r s o n ,   G e n e v i e v e ;   X u ,   C h e n ;   S u ,   H a n g ;   H a y s ,   J a m e s ]   B r o w n   U n i v ,   D e p t   C o m p   S c i ,   P r o v i d e n c e ,   R I   0 2 9 1 2   U S A 	 P a t t e r s o n ,   G   ( r e p r i n t   a u t h o r ) ,   B r o w n   U n i v ,   D e p t   C o m p   S c i ,   1 1 5   W a t e r m a n   S t ,   P r o v i d e n c e ,   R I   0 2 9 1 2   U S A . 	 g e n @ c s . b r o w n . e d u 	 	 	 D e p a r t m e n t   o f   D e f e n s e   ( D o D )   t h r o u g h   t h e   N a t i o n a l   D e f e n s e   S c i e n c e   &   E n g i n e e r i n g   G r a d u a t e   F e l l o w s h i p   ( N D S E G )   P r o g r a m ;   N S F   [ 1 1 4 9 8 5 3 ] 	 W e   t h a n k   V a z h e h   M o u s s a v i   ( B r o w n   U n i v . )   f o r   h i s   i n s i g h t s   a n d   c o n t r i b u t i o n s   i n   t h e   d a t a   a n n o t a t i o n   p r o c e s s .   G e n e v i e v e   P a t t e r s o n   i s   s u p p o r t e d   b y   t h e   D e p a r t m e n t   o f   D e f e n s e   ( D o D )   t h r o u g h   t h e   N a t i o n a l   D e f e n s e   S c i e n c e   &   E n g i n e e r i n g   G r a d u a t e   F e l l o w s h i p   ( N D S E G )   P r o g r a m .   T h i s   w o r k   i s   a l s o   f u n d e d   b y   N S F   C A R E E R   A w a r d   1 1 4 9 8 5 3   t o   J a m e s   H a y s . 	 B e r g   T L ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 3 1 1 ,   P 6 6 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 5 5 4 9 - 9 _ 4 8 ;   C h e n   D . ,   2 0 1 1 ,   3   H U M   C O M P   W O R K S H   H C ;   D e n g   J . ,   2 0 0 9 ,   C V P R ;   E h i n g e r   K A . ,   2 0 1 1 ,   3 3   A N N   C   C O G N   S C I   S O ;   E i g e n   D ,   2 0 1 2 ,   P R O C   C V P R   I E E E ,   P 2 7 9 9 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 2 . 6 2 4 8 0 0 4 ;   E n d r e s   I . ,   2 0 1 0 ,   A C V H L   2 0 1 0   C O N J   C V P R ;   F a r h a d i   A . ,   2 0 1 0 ,   C V P R ;   F a r h a d i   A . ,   2 0 1 0 ,   P   E C C V ;   F a r h a d i   A . ,   2 0 0 9 ,   C V P R ;   F e r r a r i   V . ,   2 0 0 8 ,   N I P S   2 0 0 7 ;   G o u l d   S ,   2 0 0 9 ,   I E E E   I   C O N F   C O M P   V I S ,   P 1 ,   D O I   1 0 . 1 1 0 9 / I C C V . 2 0 0 9 . 5 4 5 9 2 1 1 ;   G r e e n e   M R ,   2 0 0 9 ,   C O G N I T I V E   P S Y C H O L ,   V 5 8 ,   P 1 3 7 ,   D O I   1 0 . 1 0 1 6 / j . c o g p s y c h . 2 0 0 8 . 0 6 . 0 0 1 ;   H e   X M ,   2 0 0 4 ,   P R O C   C V P R   I E E E ,   P 6 9 5 ;   H i r o n o b u   Y M . ,   1 9 9 9 ,   B O L T Z M A N N   M A C H I N E S   N ;   H o i e m   D ,   2 0 0 7 ,   I N T   J   C O M P U T   V I S I O N ,   V 7 5 ,   P 1 5 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 6 - 0 0 3 1 - y ;   K o v a s h k a   A . ,   2 0 1 2 ,   I E E E   C   C O M P   V I S   P A T T ;   K u l k a r n i   G . ,   2 0 1 3 ,   I E E E   T   P A T T E R N   A N A L ;   K u m a r   N . ,   2 0 0 9 ,   I C C V ;   K u m a r   N . ,   2 0 1 1 ,   I E E E   T   P A T T E R N   A N A L ;   L a d i c k y   L ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 3 1 4 ,   P 4 2 4 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 5 5 6 1 - 1 _ 3 1 ;   L a m p e r t   C . ,   2 0 0 9 ,   C V P R ;   L a s e c k i   M . ,   2 0 1 1 ,   U I S T ;   L a z e b n i k   S . ,   2 0 0 6 ,   C V P R ;   L i u   C ,   2 0 1 1 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 3 ,   P 2 3 6 8 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 1 1 . 1 3 1 ;   L i u   J . ,   2 0 1 1 ,   C V P R ;   M a l i s i e w i c z   T . ,   2 0 0 8 ,   C V P R ,   P 1 ;   O l i v a   A ,   2 0 0 1 ,   I N T   J   C O M P U T   V I S I O N ,   V 4 2 ,   P 1 4 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 1 1 3 9 6 3 1 7 2 4 ;   O l i v a   A . ,   2 0 0 2 ,   2   W W O R K S H O P   B I O L   M O T ;   O r d o n e z   V . ,   2 0 1 1 ,   N E U R A L   I N F O R M   P R O C E S ;   P a l a t u c c i   M . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   P 1 4 1 0 ;   P a p i n e n i   K i s h o r e ,   2 0 0 2 ,   P   4 0   A N N   M   A S S   C O M P ,   P 3 1 1 ;   P a r i k h   D . ,   2 0 1 1 ,   C C V ;   P a r i k h   D . ,   2 0 1 1 ,   C V P R ;   P a t t e r s o n   G . ,   2 0 1 2 ,   P   2 5   C   C O M P   V I S   P A T T ;   R a b i n o v i c h   A . ,   2 0 0 7 ,   C O M P   V I S   2 0 0 7   I C C V   2 ,   P 1 ,   D O I   1 0 . 1 1 0 9 / I C C V . 2 0 0 7 . 4 4 0 8 9 8 6 ;   R o h r b a c h   M ,   2 0 1 1 ,   P R O C   C V P R   I E E E ,   P 1 6 4 1 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 1 . 5 9 9 5 6 2 7 ;   R u s s a k o v s k y   O . ,   2 0 1 0 ,   E C C V   2 0 1 0   W O R K S H   P A R ;   R u s s e l l   B C ,   2 0 0 8 ,   I N T   J   C O M P U T   V I S I O N ,   V 7 7 ,   P 1 5 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 7 - 0 0 9 0 - 8 ;   S a n c h e z   J ,   2 0 1 3 ,   I N T   J   C O M P U T   V I S I O N ,   V 1 0 5 ,   P 2 2 2 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 1 3 - 0 6 3 6 - x ;   S c h e i r e r   W J . ,   2 0 1 2 ,   I E E E   C   C O M P   V I S   P A T T ;   S h o t t o n   J ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 9 5 1 ,   P 1 ;   S h o t t o n   J ,   2 0 0 8 ,   C V P R ,   V 2 5 9 ,   P 1 ;   S i d d i q u i e   B . ,   2 0 1 1 ,   I E E E   C   C O M P   V I S   P A T T ;   S o c h e r   R . ,   2 0 1 1 ,   P   2 6   I N T   C   M A C H   L E A R ,   V 2 ,   P 7 ;   S o r o k i n   A . ,   2 0 0 8 ,   1   I E E E   W O R K S H   I N T   V I ;   S u   Y . ,   2 0 1 0 ,   B M V C ;   T i g h e   J ,   2 0 1 3 ,   I N T   J   C O M P U T   V I S I O N ,   V 1 0 1 ,   P 3 2 9 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 1 2 - 0 5 7 4 - z ;   T o r r a l b a   A . ,   2 0 0 8 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 0 ,   P 1 3 7 1 ;   T o r r a l b a   A ,   2 0 0 8 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 0 ,   P 1 9 5 8 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 8 . 1 2 8 ;   v a n   d e r   M a a t e n   L ,   2 0 0 8 ,   J   M A C H   L E A R N   R E S ,   V 9 ,   P 2 5 7 9 ;   X i a o   J . ,   2 0 1 0 ,   C V P R ;   Y a o   B . ,   2 0 1 1 ,   I C C V 	 5 2 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 0 9 2 0 - 5 6 9 1 	 1 5 7 3 - 1 4 0 5 	 	 I N T   J   C O M P U T   V I S I O N 	 I n t .   J .   C o m p u t .   V i s . 	 M A Y 	 2 0 1 4 	 1 0 8 	 1 - 2 	 	 	 S I 	 	 5 9 	 8 1 	 	 1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 1 3 - 0 6 9 5 - z 	 	 2 3 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 A G 7 B T 	 W O S : 0 0 0 3 3 5 5 7 3 7 0 0 0 0 5 	 	 
 J 	 M a j i ,   S ;   S h a k h n a r o v i c h ,   G 	 	 	 	 M a j i ,   S u b h r a n s u ;   S h a k h n a r o v i c h ,   G r e g o r y 	 	 	 P a r t   a n d   A t t r i b u t e   D i s c o v e r y   f r o m   R e l a t i v e   A n n o t a t i o n s 	 I N T E R N A T I O N A L   J O U R N A L   O F   C O M P U T E R   V I S I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 R e l a t i v e   a n n o t a t i o n s ;   C r o w d s o u r c i n g ;   S e m a n t i c   p a r t s ;   F i n e - g r a i n e d   a t t r i b u t e s 	 P O S E   E S T I M A T I O N ;   R E C O G N I T I O N 	 P a r t   a n d   a t t r i b u t e   b a s e d   r e p r e s e n t a t i o n s   a r e   w i d e l y   u s e d   t o   s u p p o r t   h i g h - l e v e l   s e a r c h   a n d   r e t r i e v a l   a p p l i c a t i o n s .   H o w e v e r ,   l e a r n i n g   c o m p u t e r   v i s i o n   m o d e l s   f o r   a u t o m a t i c a l l y   e x t r a c t i n g   t h e s e   f r o m   i m a g e s   r e q u i r e s   s i g n i f i c a n t   e f f o r t   i n   t h e   f o r m   o f   p a r t   a n d   a t t r i b u t e   l a b e l s   a n d   a n n o t a t i o n s .   W e   p r o p o s e   a n   a n n o t a t i o n   f r a m e w o r k   b a s e d   o n   c o m p a r i s o n s   b e t w e e n   p a i r s   o f   i n s t a n c e s   w i t h i n   a   s e t ,   w h i c h   a i m s   t o   r e d u c e   t h e   o v e r h e a d   i n   m a n u a l l y   s p e c i f y i n g   t h e   s e t   o f   p a r t   a n d   a t t r i b u t e   l a b e l s .   O u r   c o m p a r i s o n s   a r e   b a s e d   o n   i n t u i t i v e   p r o p e r t i e s   s u c h   a s   c o r r e s p o n d e n c e s   a n d   d i f f e r e n c e s ,   w h i c h   a r e   a p p l i c a b l e   t o   a   w i d e   r a n g e   o f   c a t e g o r i e s .   M o r e o v e r ,   t h e y   r e q u i r e   f e w   c a t e g o r y   s p e c i f i c   i n s t r u c t i o n s   a n d   l e a d   t o   s i m p l e   a n n o t a t i o n   i n t e r f a c e s   c o m p a r e d   t o   t r a d i t i o n a l   a p p r o a c h e s .   O n   a   n u m b e r   o f   v i s u a l   c a t e g o r i e s   w e   s h o w   t h a t   o u r   f r a m e w o r k   c a n   u s e   n o i s y   a n n o t a t i o n s   c o l l e c t e d   v i a   " c r o w d s o u r c i n g "   t o   d i s c o v e r   s e m a n t i c   p a r t s   u s e f u l   f o r   d e t e c t i o n   a n d   p a r s i n g ,   a s   w e l l   a s   a t t r i b u t e s   s u i t a b l e   f o r   f i n e - g r a i n e d   r e c o g n i t i o n . 	 [ M a j i ,   S u b h r a n s u ;   S h a k h n a r o v i c h ,   G r e g o r y ]   T o y o t a   T e c h n o l   I n s t ,   C h i c a g o ,   I L   6 0 6 3 7   U S A 	 M a j i ,   S   ( r e p r i n t   a u t h o r ) ,   T o y o t a   T e c h n o l   I n s t ,   6 0 4 5   S   K e n w o o d   A v e ,   C h i c a g o ,   I L   6 0 6 3 7   U S A . 	 s m a j i @ t t i c . e d u 	 	 	 	 	 A g a r w a l   A ,   2 0 0 6 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 8 ,   P 4 4 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 6 . 2 1 ;   B e r g   T . ,   2 0 1 0 ,   E U R   C   C O M P   V I S ;   B l e i   D M ,   2 0 0 3 ,   J   M A C H   L E A R N   R E S ,   V 3 ,   P 9 9 3 ,   D O I   1 0 . 1 1 6 2 / j m l r . 2 0 0 3 . 3 . 4 - 5 . 9 9 3 ;   B l e i   D . M . ,   2 0 0 3 ,   S I G I R   0 3 ,   P 1 2 7 ;   B o u r d e v   L . ,   2 0 1 0 ,   E U R   C   C O M P   V I S ;   B o u r d e v   L . ,   2 0 0 9 ,   I N T   C   C O M P   V I S ;   B o u r d e v   L . ,   2 0 1 1 ,   I N T   C   C O M P   V I S ;   B r a n s o n   S ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 3 1 4 ,   P 4 3 8 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 5 5 6 1 - 1 _ 3 2 ;   B r o w n   P .   F . ,   1 9 9 0 ,   C o m p u t a t i o n a l   L i n g u i s t i c s ,   V 1 6 ;   B u s h   V . ,   1 9 4 5 ,   A T L A N T I C   M O N T H L Y ;   C i m p o i   M . ,   2 0 1 4 ,   C O M P U T E R   V I S I O N   P A T T ;   D a l a l   N ,   2 0 0 5 ,   P R O C   C V P R   I E E E ,   P 8 8 6 ;   D e s a i   C ,   2 0 1 2 ,   L E C T   N O T E S   C O M P U T   S C ,   V 7 5 7 5 ,   P 1 5 8 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 3 7 6 5 - 9 _ 1 2 ;   D u a n   K ,   2 0 1 2 ,   P R O C   C V P R   I E E E ,   P 3 4 7 4 ;   E v e r i n g h a m   M ,   2 0 1 0 ,   I N T   J   C O M P U T   V I S I O N ,   V 8 8 ,   P 3 0 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 9 - 0 2 7 5 - 4 ;   F a r h a d i   A . ,   2 0 1 0 ,   C O M P U T E R   V I S I O N   P A T T ;   F e l z e n s z w a l b   P F ,   2 0 1 0 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 2 ,   P 1 6 2 7 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 9 . 1 6 7 ;   F e l z e n s z w a l b   P F ,   2 0 0 5 ,   I N T   J   C O M P U T   V I S I O N ,   V 6 1 ,   P 5 5 ,   D O I   1 0 . 1 0 2 3 / B : V I S I . 0 0 0 0 0 4 2 9 3 4 . 1 5 1 5 9 . 4 9 ;   F e r r a r i   V . ,   2 0 0 8 ,   C O M P U T E R   V I S I O N   P A T T ;   F r o m e   A . ,   2 0 0 7 ,   A D V   N E U R A L   I N F O R M   P R ,   V 1 9 ,   P 4 1 7 ;   G i r s h i c k   R .   B . ,   2 0 1 2 ,   D I S C R I M I N A T I V E L Y   T R A ;   H a r i h a r a n   B . ,   2 0 1 2 ,   C O M P   V I S   E C C V   2 0 1 2 ,   V 7 5 7 5 ,   P 4 5 9 ;   I t t i   L ,   2 0 0 1 ,   N A T   R E V   N E U R O S C I ,   V 2 ,   P 1 9 4 ,   D O I   1 0 . 1 0 3 8 / 3 5 0 5 8 5 0 0 ;   J o a c h i m s   T . ,   2 0 0 2 ,   P   8   A C M   S I G K D D   I N T   C ,   P 1 3 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 7 7 5 0 4 7 . 7 7 5 0 6 7 ;   K o v a s h k a   A ,   2 0 1 2 ,   P R O C   C V P R   I E E E ,   P 2 9 7 3 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 2 . 6 2 4 8 0 2 6 ;   K u m a r   N . ,   2 0 0 8 ,   E U R   C   C O M P   V I S ;   L e i b e   B . ,   2 0 0 4 ,   E C C V   W O R K S H   S T A T   L E A ,   V 1 ,   P 1 7 ;   M a j i   S . ,   2 0 1 2 ,   2   I N T   W O R K S H   P A R T S   A ;   M a j i   S . ,   2 0 1 1 ,   U C B E E C S 2 0 1 1 7 9 ;   M a j i   S . ,   2 0 1 2 ,   H U M   C O M P   W O R K S H   A A A I ;   M a j i   S . ,   2 0 1 3 ,   C O M P U T E R   V I S I O N   P A T T ;   M a l i s i e w i c z   T ,   2 0 1 1 ,   I N T   C   C O M P   V I S ;   M a l i s i e w i c z   T . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   P 1 2 2 2 ;   P a r i k h   D . ,   2 0 1 1 ,   W O R K S H   F I N   G R A I N   V I S ;   P a t t e r s o n   G ,   2 0 1 2 ,   P R O C   C V P R   I E E E ,   P 2 7 5 1 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 2 . 6 2 4 7 9 9 8 ;   S i n g h   S ,   2 0 1 2 ,   L E C T   N O T E S   C O M P U T   S C ,   V 7 5 7 3 ,   P 7 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 3 7 0 9 - 3 _ 6 ;   T A M U R A   H ,   1 9 7 8 ,   I E E E   T   S Y S T   M A N   C Y B ,   V 8 ,   P 4 6 0 ,   D O I   1 0 . 1 1 0 9 / T S M C . 1 9 7 8 . 4 3 0 9 9 9 9 ;   T a m u z   O . ,   2 0 1 1 ,   I N T   C   M A C H   L E A R N   I C M ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   v o n   A h n   L ,   2 0 0 6 ,   P   S I G C H I   C   H U M   F A C T ,   P 5 5 ,   D O I   1 0 . 1 1 4 5 / 1 1 2 4 7 7 2 . 1 1 2 4 7 8 2 ;   W e b e r   M . ,   2 0 0 0 ,   C O M P U T E R   V I S I O N   P A T T ;   W e l i n d e r   P . ,   2 0 1 0 ,   C N S T R 2 0 1 0 0 0 1   C A L T E C H ;   X i a o   J X ,   2 0 1 0 ,   P R O C   C V P R   I E E E ,   P 3 4 8 5 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 0 . 5 5 3 9 9 7 0 ;   Y a n g   Y ,   2 0 1 1 ,   P R O C   C V P R   I E E E ,   P 1 3 8 5 ;   Z h u   X X ,   2 0 1 2 ,   P R O C   C V P R   I E E E ,   P 2 8 7 9 	 4 5 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 0 9 2 0 - 5 6 9 1 	 1 5 7 3 - 1 4 0 5 	 	 I N T   J   C O M P U T   V I S I O N 	 I n t .   J .   C o m p u t .   V i s . 	 M A Y 	 2 0 1 4 	 1 0 8 	 1 - 2 	 	 	 S I 	 	 8 2 	 9 6 	 	 1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 1 4 - 0 7 1 6 - 6 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 A G 7 B T 	 W O S : 0 0 0 3 3 5 5 7 3 7 0 0 0 0 6 	 	 
 J 	 V i j a y a n a r a s i m h a n ,   S ;   G r a u m a n ,   K 	 	 	 	 V i j a y a n a r a s i m h a n ,   S u d h e e n d r a ;   G r a u m a n ,   K r i s t e n 	 	 	 L a r g e - S c a l e   L i v e   A c t i v e   L e a r n i n g :   T r a i n i n g   O b j e c t   D e t e c t o r s   w i t h   C r a w l e d   D a t a   a n d   C r o w d s 	 I N T E R N A T I O N A L   J O U R N A L   O F   C O M P U T E R   V I S I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 O b j e c t   d e t e c t i o n ;   A c t i v e   l e a r n i n g ;   L a r g e - s c a l e   l e a r n i n g ;   H a s h i n g ;   C r o w d s o u r c i n g ;   I m a g e   a n n o t a t i o n 	 	 A c t i v e   l e a r n i n g   a n d   c r o w d s o u r c i n g   a r e   p r o m i s i n g   w a y s   t o   e f f i c i e n t l y   b u i l d   u p   t r a i n i n g   s e t s   f o r   o b j e c t   r e c o g n i t i o n ,   b u t   t h u s   f a r   t e c h n i q u e s   a r e   t e s t e d   i n   a r t i f i c i a l l y   c o n t r o l l e d   s e t t i n g s .   T y p i c a l l y   t h e   v i s i o n   r e s e a r c h e r   h a s   a l r e a d y   d e t e r m i n e d   t h e   d a t a s e t ' s   s c o p e ,   t h e   l a b e l s   " a c t i v e l y "   o b t a i n e d   a r e   i n   f a c t   a l r e a d y   k n o w n ,   a n d / o r   t h e   c r o w d - s o u r c e d   c o l l e c t i o n   p r o c e s s   i s   i t e r a t i v e l y   f i n e - t u n e d .   W e   p r e s e n t   a n   a p p r o a c h   f o r   l i v e   l e a r n i n g   o f   o b j e c t   d e t e c t o r s ,   i n   w h i c h   t h e   s y s t e m   a u t o n o m o u s l y   r e f i n e s   i t s   m o d e l s   b y   a c t i v e l y   r e q u e s t i n g   c r o w d - s o u r c e d   a n n o t a t i o n s   o n   i m a g e s   c r a w l e d   f r o m   t h e   W e b .   T o   a d d r e s s   t h e   t e c h n i c a l   i s s u e s   s u c h   a   l a r g e - s c a l e   s y s t e m   e n t a i l s ,   w e   i n t r o d u c e   a   n o v e l   p a r t - b a s e d   d e t e c t o r   a m e n a b l e   t o   l i n e a r   c l a s s i f i e r s ,   a n d   s h o w   h o w   t o   i d e n t i f y   i t s   m o s t   u n c e r t a i n   i n s t a n c e s   i n   s u b - l i n e a r   t i m e   w i t h   a   h a s h i n g - b a s e d   s o l u t i o n .   W e   d e m o n s t r a t e   t h e   a p p r o a c h   w i t h   e x p e r i m e n t s   o f   u n p r e c e d e n t e d   s c a l e   a n d   a u t o n o m y ,   a n d   s h o w   i t   s u c c e s s f u l l y   i m p r o v e s   t h e   s t a t e - o f - t h e - a r t   f o r   t h e   m o s t   c h a l l e n g i n g   o b j e c t s   i n   t h e   P A S C A L   V O C   b e n c h m a r k .   I n   a d d i t i o n ,   w e   s h o w   o u r   d e t e c t o r   c o m p e t e s   w e l l   w i t h   p o p u l a r   n o n l i n e a r   c l a s s i f i e r s   t h a t   a r e   m u c h   m o r e   e x p e n s i v e   t o   t r a i n . 	 [ V i j a y a n a r a s i m h a n ,   S u d h e e n d r a ;   G r a u m a n ,   K r i s t e n ]   U n i v   T e x a s   A u s t i n ,   A u s t i n ,   T X   7 8 7 1 2   U S A 	 G r a u m a n ,   K   ( r e p r i n t   a u t h o r ) ,   U n i v   T e x a s   A u s t i n ,   A u s t i n ,   T X   7 8 7 1 2   U S A . 	 s v n a r a s @ c s . u t e x a s . e d u ;   g r a u m a n @ c s . u t e x a s . e d u 	 	 	 N S F   [ I I S - 0 7 4 7 3 5 6 ] ;   D A R P A   M i n d ' s   E y e 	 T h e   a u t h o r s   t h a n k   t h e   a n o n y m o u s   r e v i e w e r s   f o r   t h e i r   h e l p f u l   c o m m e n t s .   T h i s   r e s e a r c h   i s   s u p p o r t e d   i n   p a r t   b y   N S F   C A R E E R   I I S - 0 7 4 7 3 5 6   a n d   D A R P A   M i n d ' s   E y e . 	 B o u r e a u   Y - L ,   2 0 1 0 ,   P   I E E E   C   C O M P   V I S   P A ;   C h a r i k a r   M . ,   2 0 0 2 ,   S   T H E O R   C O M P ;   C h u m   O . ,   2 0 0 7 ,   P   I E E E   C   C O M P   V I S   P A ;   D a l a l   N a v n e e t ,   2 0 0 5 ,   P   I E E E   C   C O M P   V I S   P A ;   D e a n   T . ,   2 0 1 3 ,   P   I E E E   C   C O M P   V I S   P A ;   D e n g   J . ,   2 0 0 9 ,   P   I E E E   C   C O M P   V I S   P A ;   E v e r i n g h a m   M ,   2 0 1 0 ,   I N T   J   C O M P U T   V I S I O N ,   V 8 8 ,   P 3 0 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 9 - 0 2 7 5 - 4 ;   F e l z e n s z w a l b   P . ,   2 0 0 9 ,   I E E E   T   P A T T E R N   A N A L ,   V 9 9 ,   P 5 5 5 5 ;   F e r g u s   R . ,   2 0 0 5 ,   P   I N T   C   C O M P   V I S   I C C ;   J a i n   P . ,   2 0 1 0 ,   A D V   N E U R A L   I N F O R M   P R ;   J o a c h i m s   T . ,   2 0 0 6 ,   I N T   C   K N O W L   D I S C   D A T ;   J o s h i   A . ,   2 0 0 9 ,   P   I E E E   C   C O M P   V I S   P A ;   K a p o o r   A . ,   2 0 0 7 ,   I N T   C   C O M P   V I S   I C C V ;   L a m p e r t   C H ,   2 0 0 8 ,   P   I E E E   C   C O M P   V I S   P A ;   L e e   Y .   J . ,   2 0 1 0 ,   P   I E E E   I N T   C   C O M P   V I ;   L i   L . ,   2 0 0 7 ,   P   I E E E   C   C O M P   V I S   P A ;   P i r s i a v a s h   H . ,   2 0 1 2 ,   P   I E E E   C   C O M P   V I S   P A ;   Q i   G . ,   2 0 0 8 ,   P   I E E E   C   C O M P   V I S   P A ;   R u s s e l l   B C ,   2 0 0 8 ,   I N T   J   C O M P U T   V I S I O N ,   V 7 7 ,   P 1 5 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 7 - 0 0 9 0 - 8 ;   S i d d i q u i e   B . ,   2 0 1 0 ,   P   I E E E   C   C O M P   V I S   P A ;   S o n g   H . ,   2 0 1 2 ,   P   E U R   C   C O M P   V I S ;   S o r o k i n   A . ,   2 0 0 8 ,   W O R K S H   I N T   V I S ;   T o n g   S . ,   2 0 0 0 ,   P   I N T   C   M A C H   L E A R N   I ;   T o r r a l b a   A ,   2 0 0 7 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 9 ,   P 8 5 4 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 7 . 1 0 5 5 ;   U i j l i n g s   J . ,   2 0 0 9 ,   P   I E E E   C   C O M P   V I S   P A ;   V e d a l d i   A . ,   2 0 0 9 ,   I N T   C   C O M P   V I S   I C C V ;   V i j a y a n a r a s i m h a n   S . ,   2 0 1 0 ,   P   I E E E   I N T   C   C O M P   V I ;   V i j a y a n a r a s i m h a n   S . ,   2 0 0 8 ,   A D V   N E U R A L   I N F O R M   P R ;   V i j a y a n a r a s i m h a n   S . ,   2 0 0 8 ,   P   I E E E   C   C O M P   V I S   P A ;   V i j a y a n a r a s i m h a n   S . ,   2 0 1 1 ,   P   I E E E   C   C O M P   V I S   P A ;   V i j a y a n a r a s i m h a n   S ,   2 0 1 4 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 6 ,   P 2 7 6 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 1 3 . 1 2 1 ;   V i o l a   P . ,   2 0 0 1 ,   P   I E E E   C   C O M P   V I S   P A ;   v o n   A h n   L ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ;   W a n g   J . ,   2 0 1 0 ,   P   I E E E   C   C O M P   V I S   P A ;   W e l i n d e r   P . ,   2 0 1 0 ,   W O R K S H   A D V   C O M P   V I S ;   Y a n g   J ,   2 0 0 9 ,   P   I E E E   C   C O M P   V I S   P A 	 3 6 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 0 9 2 0 - 5 6 9 1 	 1 5 7 3 - 1 4 0 5 	 	 I N T   J   C O M P U T   V I S I O N 	 I n t .   J .   C o m p u t .   V i s . 	 M A Y 	 2 0 1 4 	 1 0 8 	 1 - 2 	 	 	 S I 	 	 9 7 	 1 1 4 	 	 1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 1 4 - 0 7 2 1 - 9 	 	 1 8 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 A G 7 B T 	 W O S : 0 0 0 3 3 5 5 7 3 7 0 0 0 0 7 	 	 
 J 	 K a p o o r ,   A ;   C a i c e d o ,   J C ;   L i s c h i n s k i ,   D ;   K a n g ,   S B 	 	 	 	 K a p o o r ,   A s h i s h ;   C a i c e d o ,   J u a n   C . ;   L i s c h i n s k i ,   D a n i ;   K a n g ,   S i n g   B i n g 	 	 	 C o l l a b o r a t i v e   P e r s o n a l i z a t i o n   o f   I m a g e   E n h a n c e m e n t 	 I N T E R N A T I O N A L   J O U R N A L   O F   C O M P U T E R   V I S I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 I m a g e   e n h a n c e m e n t ;   P e r s o n a l i z a t i o n ;   C o l l a b o r a t i v e   f i l t e r i n g ;   C r o w d s o u r c i n g 	 	 T h i s   p a p e r   p r e s e n t s   m e t h o d s   f o r   p e r s o n a l i z a t i o n   o f   i m a g e   e n h a n c e m e n t ,   w h i c h   c o u l d   b e   d e p l o y e d   i n   p h o t o   e d i t i n g   s o f t w a r e   a n d   a l s o   i n   c l o u d - b a s e d   i m a g e   s h a r i n g   s e r v i c e s .   W e   o b s e r v e   t h a t   u s e r s   d o   h a v e   d i f f e r e n t   p r e f e r e n c e s   f o r   e n h a n c i n g   i m a g e s   a n d   t h a t   t h e r e   a r e   g r o u p s   o f   p e o p l e   t h a t   s h a r e   s i m i l a r i t i e s   i n   p r e f e r e n c e s .   O u r   g o a l   i s   t o   p r e d i c t   e n h a n c e m e n t s   f o r   n o v e l   i m a g e s   b e l o n g i n g   t o   a   p a r t i c u l a r   u s e r   b a s e d   o n   h e r   s p e c i f i c   t a s t e ,   t o   f a c i l i t a t e   t h e   r e t o u c h i n g   p r o c e s s   o n   l a r g e   i m a g e   c o l l e c t i o n s .   T o   t h a t   e n d ,   w e   d e s c r i b e   a n   e n h a n c e m e n t   f r a m e w o r k   t h a t   c a n   l e a r n   u s e r   p r e f e r e n c e s   i n   a n   i n d i v i d u a l   o r   c o l l a b o r a t i v e   w a y .   T h e   p r o p o s e d   s y s t e m   i s   b a s e d   o n   a   n o v e l   i n t e r a c t i v e   a p p l i c a t i o n   t h a t   a l l o w s   t o   c o l l e c t   u s e r ' s   e n h a n c e m e n t   p r e f e r e n c e s .   W e   p r o p o s e   a l g o r i t h m s   t o   p r e d i c t   p e r s o n a l i z e d   e n h a n c e m e n t s   b y   l e a r n i n g   a   p r e f e r e n c e   m o d e l   f r o m   t h e   p r o v i d e d   i n f o r m a t i o n .   F u r t h e r m o r e ,   t h e   a l g o r i t h m   i m p r o v e s   p r e d i c t i o n   p e r f o r m a n c e   a s   m o r e   e n h a n c e m e n t   e x a m p l e s   a r e   p r o g r e s s i v e l y   a d d e d .   W e   c o n d u c t e d   e x p e r i m e n t s   v i a   A m a z o n   M e c h a n i c a l   T u r k   t o   c o l l e c t   p r e f e r e n c e s   f r o m   a   l a r g e   g r o u p   o f   p e o p l e .   R e s u l t s   s h o w   t h a t   t h e   p r o p o s e d   f r a m e w o r k   c a n   s u g g e s t   i m a g e   e n h a n c e m e n t s   m o r e   t a r g e t e d   t o   i n d i v i d u a l   u s e r s   t h a n   c o m m e r c i a l   t o o l s   w i t h   g l o b a l   a u t o - e n h a n c e m e n t   f u n c t i o n a l i t i e s . 	 [ K a p o o r ,   A s h i s h ;   K a n g ,   S i n g   B i n g ]   M i c r o s o f t   R e s ,   R e d m o n d ,   W A   9 8 0 5 2   U S A ;   [ C a i c e d o ,   J u a n   C . ]   U n i v   I l l i n o i s ,   U r b a n a ,   I L   6 1 8 0 1   U S A ;   [ L i s c h i n s k i ,   D a n i ]   H e b r e w   U n i v   J e r u s a l e m ,   I L - 9 1 9 0 4   J e r u s a l e m ,   I s r a e l 	 K a p o o r ,   A   ( r e p r i n t   a u t h o r ) ,   M i c r o s o f t   R e s ,   O n e   M i c r o s o f t   W a y ,   R e d m o n d ,   W A   9 8 0 5 2   U S A . 	 a k a p o o r @ m i c r o s o f t . c o m ;   c a i c e d o @ i l l i n o i s . e d u ;   d a n i x @ m a i l . h u j i . a c . i l ;   s b k a n g @ m i c r o s o f t . c o m 	 	 	 	 	 B u c h s b a u m   G . ,   1 9 8 0 ,   J   F R A N K L I N   I ,   V 3 1 0 ,   P 3 3 7 ,   D O I   1 0 . 1 0 1 6 / 0 0 1 6 - 0 0 3 2 ( 8 0 ) 9 0 0 5 8 - 7 ;   B y c h k o v s k y   V . ,   2 0 1 1 ,   C V P R   1 1 ;   C a i c e d o   J . ,   2 0 1 1 ,   C V P R   1 1 ;   C h u a   T . - S . ,   2 0 0 9 ,   C I V R   0 9 ;   D a l e   K . ,   2 0 0 9 ,   I C C V ;   E l a d   M ,   2 0 0 6 ,   I E E E   T   I M A G E   P R O C E S S ,   V 1 5 ,   P 3 7 3 6 ,   D O I   1 0 . 1 1 0 9 / T I P . 2 0 0 6 . 8 8 1 9 6 9 ;   F a r i d   H ,   2 0 0 1 ,   J   O P T   S O C   A M   A ,   V 1 8 ,   P 2 0 7 2 ,   D O I   1 0 . 1 3 6 4 / J O S A A . 1 8 . 0 0 2 0 7 2 ;   F a r i d   H ,   2 0 0 1 ,   I E E E   T   I M A G E   P R O C E S S ,   V 1 0 ,   P 1 4 2 8 ,   D O I   1 0 . 1 1 0 9 / 8 3 . 9 5 1 5 2 9 ;   F e r g u s   R ,   2 0 0 6 ,   A C M   T   G R A P H I C ,   V 2 5 ,   P 7 8 7 ,   D O I   1 0 . 1 1 4 5 / 1 1 4 1 9 1 1 . 1 1 4 1 9 5 6 ;   F o g a r t y   J . ,   2 0 0 8 ,   C   H U M   F A C T   C O M P   S Y S T ;   F r e e m a n   W T ,   2 0 0 2 ,   I E E E   C O M P U T   G R A P H ,   V 2 2 ,   P 5 6 ,   D O I   1 0 . 1 1 0 9 / 3 8 . 9 8 8 7 4 7 ;   G e h l e r   P . V . ,   2 0 0 8 ,   C V P R ;   G i j s e n i j   A . ,   2 0 0 7 ,   C V P R ;   G r a b l e r   F ,   2 0 0 9 ,   A C M   T   G R A P H I C ,   V 2 8 ,   D O I   1 0 . 1 1 4 5 / 1 5 3 1 3 2 6 . 1 5 3 1 3 7 2 ;   H a y s   J ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 8 7 ,   D O I   1 0 . 1 1 4 5 / 1 4 0 0 1 8 1 . 1 4 0 0 2 0 2 ;   H s u   E ,   2 0 0 8 ,   A C M   T   G R A P H I C ,   V 2 7 ,   D O I   [ 1 0 . 1 1 4 5 / 1 3 9 9 5 0 4 . 1 3 6 0 6 6 9 ,   1 0 . 1 1 4 5 / 1 3 6 0 6 1 2 . 1 3 6 0 6 6 9 ] ;   J a i n   P . ,   2 0 0 8 ,   N I P S ;   J o s h i   N . ,   2 0 1 0 ,   A C M   T   G R A P H I C ,   V 2 9 ,   P 1 ;   K a n g   S .   B . ,   2 0 0 7 ,   C V P R ;   K a n g   S . B . ,   2 0 1 0 ,   C V P R ;   K a p o o r   A . ,   2 0 0 5 ,   W O R K S H   M U L T   C L A S S   S Y ;   K o r e n   Y ,   2 0 0 9 ,   C O M P U T E R ,   V 4 2 ,   P 3 0 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 9 . 2 6 3 ;   K r a u s e   A ,   2 0 0 8 ,   J   M A C H   L E A R N   R E S ,   V 9 ,   P 2 3 5 ;   L a w r e n c e   N .   D . ,   2 0 0 9 ,   P   2 6   A N N   I N T   C   M A C H ;   L i n   S . ,   2 0 0 4 ,   C V P R ,   V 2 ,   P 9 3 8 ;   L I U   D C ,   1 9 8 9 ,   M A T H   P R O G R A M ,   V 4 5 ,   P 5 0 3 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 5 8 9 1 1 6 ;   M a i r a l   J . ,   2 0 0 9 ,   I C C V ;   M a r k s   J . ,   1 9 9 7 ,   A C M   S I G G R A P H ,   P 3 8 9 ;   P o r t i l l a   J ,   2 0 0 3 ,   I E E E   T   I M A G E   P R O C E S S ,   V 1 2 ,   P 1 3 3 8 ,   D O I   1 0 . 1 1 0 9 / T I P . 2 0 0 3 . 8 1 8 6 4 0 ;   R e n n i e   J .   D .   M . ,   2 0 0 5 ,   P   2 2   I N T   C   M A C H   L E A R ;   R u s s e l l   B C ,   2 0 0 8 ,   I N T   J   C O M P U T   V I S I O N ,   V 7 7 ,   P 1 5 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 7 - 0 0 9 0 - 8 ;   S a l a k h u t d i n o v   R . ,   2 0 0 7 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 0 ;   S a r w a r   B . ,   2 0 0 1 ,   W W W ;   S e e g e r   M a t t h i a s ,   2 0 0 4 ,   I n t   J   N e u r a l   S y s t ,   V 1 4 ,   P 6 9 ,   D O I   1 0 . 1 1 4 2 / S 0 1 2 9 0 6 5 7 0 4 0 0 1 8 9 9 ;   S h a p i r a   L . ,   2 0 0 9 ,   I M A G E   A P P E A R A N C E   E X P ;   S t a n i k u n a s   R ,   2 0 0 4 ,   N E U R A L   N E T W O R K S ,   V 1 7 ,   P 3 2 7 ,   D O I   1 0 . 1 0 1 6 / j . n e u n e t . 2 0 0 3 . 1 2 . 0 0 2 ;   T e n e n b a u m   J B ,   2 0 0 0 ,   S C I E N C E ,   V 2 9 0 ,   P 2 3 1 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 9 0 . 5 5 0 0 . 2 3 1 9 ;   T r e s p   V . ,   2 0 0 1 ,   N E U R A L   I N F O R M   P R O C E S ;   W I L C O X O N   F ,   1 9 4 5 ,   B I O M E T R I C S   B U L L ,   V 1 ,   P 8 0 ,   D O I   1 0 . 2 3 0 7 / 3 0 0 1 9 6 8 ;   W y s z e c k i   G . ,   1 9 8 2 ,   C O L O R   S C I   C O N C E P T S   M 	 4 0 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 0 9 2 0 - 5 6 9 1 	 1 5 7 3 - 1 4 0 5 	 	 I N T   J   C O M P U T   V I S I O N 	 I n t .   J .   C o m p u t .   V i s . 	 M A Y 	 2 0 1 4 	 1 0 8 	 1 - 2 	 	 	 S I 	 	 1 4 8 	 1 6 4 	 	 1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 1 3 - 0 6 7 5 - 3 	 	 1 7 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 A G 7 B T 	 W O S : 0 0 0 3 3 5 5 7 3 7 0 0 0 1 0 	 	 
 J 	 M a l l e t t e ,   M H ;   B a r o n e ,   D 	 	 	 	 M a l l e t t e ,   M a r l a   H . ;   B a r o n e ,   D i a n e 	 	 	 I N T E R E S T I N G   W A Y S   T O   U S E   i P A D S   I N   T H E   C L A S S R O O M 	 R E A D I N G   T E A C H E R 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 I n   t h e   c o l u m n ,   B y   E d u c a t o r s ,   F o r   E d u c a t o r s ,   t h e   E d i t o r s   o f   T h e   R e a d i n g   T e a c h e r   h i g h l i g h t   i d e a s   f r o m   t h e   I n t e r e s t i n g   W a y s   s e r i e s   .   C u r a t e d   b y   T o m   B a r r e t t ,   t h e   I n t e r e s t i n g   W a y s   S e r i e s   i s   a n   e x a m p l e   o f   c r o w d s o u r c i n g   o r   t h e   p o w e r   o f   c o l l a b o r a t i v e   t h o u g h t .   T h e   I n t e r e s t i n g   W a y s   S e r i e s   h a s   m o r e   t h a n   3 0   t o p i c s ,   w i t h   n e w   i d e a s   c o n t i n u a l l y   a d d e d   v i a   E D T E C H   a t   a n d   T w i t t e r .   I t   i s   l i c e n s e d   u n d e r   a   A t t r i b u t i o n   N o n c o m m e r c i a l   S h a r e   A l i k e   3 . 0   L i c e n s e ,   a l l o w i n g   c o l l a b o r a t o r s   t o   s h a r e   t h e   w o r k   a s   w e l l   a s   a d d   i d e a s .   T h e r e f o r e ,   t h e   i d e a s   f o r   u s i n g   d i f f e r e n t   t y p e s   o f   t e c h n o l o g y   i n   t h e   c l a s s r o o m   a r e   a d d e d   v i a   o p e n   s o u r c e ,   w i t h   s o m e   m o r e   a p p l i c a b l e   t h a n   o t h e r s . 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 0 3 4 - 0 5 6 1 	 1 9 3 6 - 2 7 1 4 	 	 R E A D   T E A C H 	 R e a d .   T e a c h . 	 M A Y 	 2 0 1 4 	 6 7 	 8 	 	 	 	 	 6 2 1 	 6 2 5 	 	 1 0 . 1 0 0 2 / t r t r . 1 2 6 4 	 	 5 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 A F 9 D T 	 W O S : 0 0 0 3 3 5 0 1 6 3 0 0 0 0 7 	 	 
 J 	 D a d i c h ,   A 	 	 	 	 D a d i c h ,   A n n 	 	 	 C i t i z e n   s o c i a l   s c i e n c e :   a   m e t h o d o l o g y   t o   f a c i l i t a t e   a n d   e v a l u a t e   w o r k p l a c e   l e a r n i n g   i n   c o n t i n u i n g   i n t e r p r o f e s s i o n a l   e d u c a t i o n 	 J O U R N A L   O F   I N T E R P R O F E S S I O N A L   C A R E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C o n t i n u i n g   i n t e r p r o f e s s i o n a l   e d u c a t i o n ;   c r o w d s o u r c i n g ;   s o c i a l   m e d i a ;   w o r k p l a c e   l e a r n i n g ;   y o u t h   h e a l t h 	 C A R E ;   I N F O R M A T I O N ;   E C O S Y S T E M ;   M E D I C I N E ;   O U T C O M E S ;   P O W E R ;   G A M E 	 W o r k p l a c e   l e a r n i n g   i n   c o n t i n u i n g   i n t e r p r o f e s s i o n a l   e d u c a t i o n   ( C I P E )   c a n   b e   d i f f i c u l t   t o   f a c i l i t a t e   a n d   e v a l u a t e ,   w h i c h   c a n   c r e a t e   a   n u m b e r   o f   c h a l l e n g e s   f o r   t h i s   t y p e   o f   l e a r n i n g .   T h i s   a r t i c l e   p r e s e n t s   a n   i n n o v a t i v e   m e t h o d   t o   f o s t e r   a n d   i n v e s t i g a t e   w o r k p l a c e   l e a r n i n g   i n   C I P E   -   c i t i z e n   s o c i a l   s c i e n c e .   C i t i z e n   s o c i a l   s c i e n c e   i n v o l v e s   c l i n i c i a n s   a s   c o - r e s e a r c h e r s   i n   t h e   s y s t e m a t i c   e x a m i n a t i o n   o f   s o c i a l   p h e n o m e n a .   W h e n   f a c i l i t a t e d   b y   a n   o p e n - s o u r c e   o n l i n e   s o c i a l   n e t w o r k i n g   p l a t f o r m ,   c l i n i c i a n s   c a n   p a r t i c i p a t e   v i a   c o m p u t e r ,   s m a r t p h o n e ,   o r   t a b l e t   i n   w a y s   t h a t   s u i t   t h e i r   n e e d s   a n d   p r e f e r e n c e s .   F u r t h e r m o r e ,   a s   c o - r e s e a r c h e r s   t h e y   c a n   h e l p   t o   r e v e a l   t h e   d y n a m i c   i n t e r p l a y   t h a t   f a c i l i t a t e s   w o r k p l a c e   l e a r n i n g   i n   C I P E .   A l t h o u g h   y e t   t o   b e   t e s t e d ,   c i t i z e n   s o c i a l   s c i e n c e   o f f e r s   f o u r   p o t e n t i a l   b e n e f i t s :   i t   r e c o g n i s e s   a n d   a c c o m m o d a t e s   t h e   c o m p l e x i t y   o f   w o r k p l a c e   l e a r n i n g   i n   C I P E ;   i t   h a s   t h e   c a p a c i t y   t o   b o t h   f o s t e r   a n d   e v a l u a t e   t h e   p h e n o m e n a ;   i t   c a n   b e   u s e d   i n   s i t u ,   c a p t u r i n g   a n d   h a v i n g   d i r e c t   r e l e v a n c e   t o   t h e   c o m p l e x i t y   o f   t h e   w o r k p l a c e ;   a n d   b y   a d v a n c i n g   b o t h   t h e o r e t i c a l   a n d   m e t h o d o l o g i c a l   d e b a t e s   o n   C I P E ,   i t   m a y   r e v e a l   o p p o r t u n i t i e s   t o   i m p r o v e   a n d   s u s t a i n   w o r k p l a c e   l e a r n i n g .   B y   d e s c r i b i n g   a n   e x a m p l e   s i t u a t e d   i n   t h e   y o u t h   h e a l t h   s e c t o r ,   t h i s   a r t i c l e   d e m o n s t r a t e s   h o w   t h e s e   b e n e f i t s   m i g h t   b e   r e a l i s e d . 	 [ D a d i c h ,   A n n ]   U n i v   W e s t e r n   S y d n e y ,   S c h   B u s i n e s s ,   P a r r a m a t t a ,   A u s t r a l i a 	 D a d i c h ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   W e s t e r n   S y d n e y ,   S c h   B u s i n e s s ,   L o c k e d   B a g   1 7 9 7 ,   P e n r i t h ,   N S W   2 7 5 1 ,   A u s t r a l i a . 	 A . D a d i c h @ u w s . e d u . a u 	 	 	 	 	 A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   A s t o n   S .   A . ,   2 0 1 2 ,   I N N O V A I T ,   V 5 ,   P 6 3 3 ;   B a k e r   L ,   2 0 1 1 ,   J   I N T E R P R O F   C A R E ,   V 2 5 ,   P 9 8 ,   D O I   1 0 . 3 1 0 9 / 1 3 5 6 1 8 2 0 . 2 0 1 0 . 5 0 5 3 5 0 ;   B e h r e n d   T S ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 8 0 0 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 0 8 1 - 0 ;   B o s s l e t   G T ,   2 0 1 1 ,   J   G E N   I N T E R N   M E D ,   V 2 6 ,   P 1 1 6 8 ,   D O I   1 0 . 1 0 0 7 / s 1 1 6 0 6 - 0 1 1 - 1 7 6 1 - 2 ;   B o y c e   R .   A . ,   2 0 1 0 ,   M A N A G I N G   M O N E Y   M E A S U ,   P 5 2 ;   B r a y   D . ,   2 0 0 8 ,   O I I   D I S T R   P R O B L   N E T W ;   B u s a r o v s   A . ,   2 0 1 1 ,   J   B U S I N E S S   M A N A G E M E N ,   V 4 ,   P 5 3 ;   C h u e h   H ,   1 9 9 7 ,   A C A D   M E D ,   V 7 2 ,   P 5 1 2 ,   D O I   1 0 . 1 0 9 7 / 0 0 0 0 1 8 8 8 - 1 9 9 7 0 6 0 0 0 - 0 0 0 1 6 ;   C l a r k   P G ,   2 0 1 3 ,   J   I N T E R P R O F   C A R E ,   V 2 7 ,   P 4 3 ,   D O I   1 0 . 3 1 0 9 / 1 3 5 6 1 8 2 0 . 2 0 1 2 . 7 3 0 0 7 4 ;   C l e r y   D ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 3 ,   P 1 7 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 3 3 3 . 6 0 3 9 . 1 7 3 ;   C l i p p i n g e r   J . ,   1 9 9 9 ,   B I O L   B U S I N E S S   D E C O D I ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   C r o w d O u t A I D S ,   2 0 1 1 ,   C R O W D   A I D S ;   D a s h   J . ,   1 9 9 9 ,   L O N G I T U D E   P R I Z E   R A C E ;   D a v i e s   H ,   2 0 0 8 ,   J   H E A L T H   S E R V   R E S   P O ,   V 1 3 ,   P 1 8 8 ,   D O I   1 0 . 1 2 5 8 / j h s r p . 2 0 0 8 . 0 0 8 0 5 5 ;   D e n z i n   N K ,   2 0 1 2 ,   J   M I X   M E T H O D   R E S ,   V 6 ,   P 8 0 ,   D O I   1 0 . 1 1 7 7 / 1 5 5 8 6 8 9 8 1 2 4 3 7 1 8 6 ;   D R U C K E R   P F ,   1 9 9 2 ,   H A R V A R D   B U S   R E V ,   V 7 0 ,   P 9 5 ;   F a y o l l e   A . ,   2 0 0 8 ,   J   S M A L L   B U S I N E S S   E N T ,   V 2 1 ,   P 2 1 5 ;   F e l s t i n e r   A . ,   2 0 1 1 ,   B E R K E L E Y   J   E M P   L A B   L ,   V 3 2 ,   P 1 4 3 ;   G i l l a n   C ,   2 0 1 1 ,   M E D   T E A C H ,   V 3 3 ,   p E 4 6 1 ,   D O I   1 0 . 3 1 0 9 / 0 1 4 2 1 5 9 X . 2 0 1 1 . 5 8 7 9 1 5 ;   G l a s z i o u   P ,   2 0 1 2 ,   M E D   D E C I S   M A K I N G ,   V 3 2 ,   p E 2 0 ,   D O I   1 0 . 1 1 7 7 / 0 2 7 2 9 8 9 X 1 1 4 2 4 9 2 5 ;   G r i m s h a w   J e r e m y   M ,   2 0 0 2 ,   J   C o n t i n   E d u c   H e a l t h   P r o f ,   V 2 2 ,   P 2 3 7 ,   D O I   1 0 . 1 0 0 2 / c h p . 1 3 4 0 2 2 0 4 0 8 ;   H a n d   E ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 6 8 5 ,   D O I   1 0 . 1 0 3 8 / 4 6 6 6 8 5 a ;   H e m p e l   J . ,   2 0 0 6 ,   B U S   W E E K ,   V 9 ,   P 3 8 ;   H o w e   J . ,   2 0 0 6 ,   C R O W D S O U R C I N G   D E F I N I ;   I C S C   ( I n t e r p r o f e s s i o n a l   C a r e   S t e e r i n g   C o m m i t e e ) ,   2 0 0 7 ,   I N T   C A R   B L U   A C T   O N T ;   [ I n s t i t u t e   o f   M e d i c i n e   C o m m i t t e e   o n   P l a n n i n g   a   C o n t i n u i n g   H e a l t h   C a r e   P r o f e s s i o n a l   E d u c a t i o n   I n s t i t u t e ;   B o a r d   o n   H e a l t h   c a r e   S e r v i c e s ] ,   2 0 1 0 ,   R E D   C O N T   E D   H L T H   P R O ;   J a n s e n   J J P ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 6 6 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 7 6 ;   K a u f m a n   D M ,   2 0 0 3 ,   B M J - B R I T   M E D   J ,   V 3 2 6 ,   P 2 1 3 ,   D O I   1 0 . 1 1 3 6 / b m j . 3 2 6 . 7 3 8 2 . 2 1 3 ;   K e e   T . ,   2 0 0 9 ,   W I L L   C R O W D   S O U R C I N G ;   K h a t i b   F ,   2 0 1 1 ,   N A T   S T R U C T   M O L   B I O L ,   V 1 8 ,   P 1 1 7 5 ,   D O I   1 0 . 1 0 3 8 / n s m b . 2 1 1 9 ;   K i l b r i d e   C ,   2 0 1 1 ,   J   I N T E R P R O F   C A R E ,   V 2 5 ,   P 9 1 ,   D O I   1 0 . 3 1 0 9 / 1 3 5 6 1 8 2 0 . 2 0 1 0 . 4 8 3 0 2 4 ;   L e e   J H W ,   2 0 1 2 ,   J   H Y D R O - E N V I R O N   R E S ,   V 6 ,   P 2 ,   D O I   1 0 . 1 0 1 6 / j . j h e r . 2 0 1 2 . 0 1 . 0 1 0 ;   L H V   ( L a n d e l i j k e   H u i s a r t s e n   V e r e n i g i n g )   &   N H G   ( N e d e r l a n d s   H u i s a r t s e n   G e n o o t s c h a p ) ,   O V E R   H A W E B ;   L i n s t o n e   H . A . ,   1 9 7 5 ,   D E L P H I   M E T H O D   T E C H N I ;   M a r c h   J G ,   1 9 9 1 ,   O R G A N   S C I ,   V 2 ,   P 7 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 2 . 1 . 7 1 ;   M c G o w a n   J ,   2 0 0 8 ,   P L O S   O N E ,   V 3 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 0 3 7 8 5 ;   M c M i c h a e l   A . ,   2 0 0 0 ,   S O C I A L   W O R K   E D ,   V 1 9 ,   P 1 7 5 ;   M c N e i l   H P ,   2 0 0 6 ,   M E D   T E A C H ,   V 2 8 ,   P 5 2 7 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 2 1 5 9 0 6 0 0 8 3 4 2 2 9 ;   M u n r o   K a t h l e e n   M ,   2 0 0 5 ,   N u r s e   E d u c   P r a c t ,   V 5 ,   P 1 1 7 ,   D O I   1 0 . 1 0 1 6 / j . n e p r . 2 0 0 4 . 0 4 . 0 0 3 ;   N A Y H   ( N S W   A s s o c i a t i o n   f o r   Y o u t h   H e a l t h ) ,   2 0 1 0 ,   B E S T   P R A C T   H L T H   S E R V ;   N A Y H   ( N S W   A s s o c i a t i o n   f o r   Y o u t h   H e a l t h ) ,   2 0 1 0 ,   N A Y H   Y O   H L T H   S E C T   S U ;   N e v i l l e   K A ,   2 0 1 0 ,   C L I N   P H A R M A C O L   T H E R ,   V 8 7 ,   P 3 8 5 ,   D O I   1 0 . 1 0 3 8 / c l p t . 2 0 1 0 . 7 ;   N e w t o n   J M ,   2 0 0 9 ,   N U R S   E D U C   T O D A Y ,   V 2 9 ,   P 6 3 0 ,   D O I   1 0 . 1 0 1 6 / j . n e d t . 2 0 0 9 . 0 1 . 0 0 9 ;   N S W   H e a l t h ,   2 0 1 0 ,   N S W   Y O   H L T H   P O L   2 0 1 1 ;   O c k e n e   J K ,   2 0 0 0 ,   C H E S T ,   V 1 1 8 ,   p 3 3 S ,   D O I   1 0 . 1 3 7 8 / c h e s t . 1 1 8 . 2 _ s u p p l . 3 3 S ;   O p e n   S c i e n t i s t ,   2 0 1 1 ,   F I N   D E F   C I T   S C I ;   P a i g e   K . ,   2 0 1 2 ,   T E A C H I N G   S C I ,   V 5 8 ,   P 1 3 ;   P h e l a n   A n n e   M ,   2 0 0 6 ,   J   I n t e r p r o f   C a r e ,   V 2 0 ,   P 4 1 5 ,   D O I   1 0 . 1 0 8 0 / 1 3 5 6 1 8 2 0 6 0 0 8 4 5 3 8 7 ;   R e e v e s   S ,   2 0 1 2 ,   J   I N T E R P R O F   C A R E ,   V 2 6 ,   P 2 5 3 ,   D O I   1 0 . 3 1 0 9 / 1 3 5 6 1 8 2 0 . 2 0 1 2 . 6 9 5 5 4 2 ;   R e e v e s   S ,   2 0 1 3 ,   J   I N T E R P R O F   C A R E ,   V 2 7 ,   P 1 ,   D O I   1 0 . 3 1 0 9 / 1 3 5 6 1 8 2 0 . 2 0 1 3 . 7 5 1 2 9 3 ;   R e e v e s   S ,   2 0 0 9 ,   J   C O N T I N   E D U C   H E A L T H ,   V 2 9 ,   P 1 4 2 ,   D O I   1 0 . 1 0 0 2 / c h p . 2 0 0 2 6 ;   R e e v e s   S ,   2 0 1 0 ,   J   I N T E R P R O F   C A R E ,   V 2 4 ,   P 2 3 0 ,   D O I   1 0 . 3 1 0 9 / 1 3 5 6 1 8 2 0 9 0 3 1 6 3 4 0 5 ;   R o s e n   M A ,   2 0 1 2 ,   J   C O N T I N   E D U C   H E A L T H ,   V 3 2 ,   P 2 4 3 ,   D O I   1 0 . 1 0 0 2 / c h p . 2 1 1 5 2 ;   S i d d i q u e   H . ,   2 0 1 1 ,   M O B   R U L E   I C E L A N D   C R O ;   S l a v a z z a   P ,   2 0 0 6 ,   L E C T   N O T E S   A R T I F   I N T ,   V 4 2 4 8 ,   P 3 6 6 ;   S u t e r   E ,   2 0 1 3 ,   J   I N T E R P R O F   C A R E ,   V 2 7 ,   P 5 7 ,   D O I   1 0 . 3 1 0 9 / 1 3 5 6 1 8 2 0 . 2 0 1 2 . 7 3 9 6 7 0 ;   S w a n   M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 8 8 ;   T o p R a n k & R E G ;   O n l i n e   M a r k e t i n g ,   2 0 1 3 ,   S O C   M E D   M A R K   G L O S S   T ;   V a n   B u s k i r k   E . ,   2 0 0 9 ,   S N E A K   P R E V I E W   F A N T A S ;   W a d e B e n z o n i   K A ,   1 9 9 6 ,   O R G A N   B E H A V   H U M   D E C ,   V 6 7 ,   P 1 1 1 ,   D O I   1 0 . 1 0 0 6 / o b h d . 1 9 9 6 . 0 0 6 8 ;   W e s s o n   R . ,   2 0 1 0 ,   I N T   S E M   N U C L   W A R   P L A ,   P 1 0 9 ;   W e x l e r   M . N . ,   2 0 1 1 ,   I N T   J   S O C I O L O G Y   S O C I ,   V 3 1 ,   P 6 ,   D O I   D O I   1 0 . 1 1 0 8 / 0 1 4 4 3 3 3 1 1 1 1 1 0 4 7 7 9 ;   Z h e n g   H C ,   2 0 1 1 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 5 7 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 4 0 2 ;   Z i c h e r m a n n   G . ,   2 0 1 1 ,   G A M I F I C A T I O N   D E S I G N 	 6 6 	 1 	 1 	 I N F O R M A   H E A L T H C A R E 	 N E W   Y O R K 	 5 2   V A N D E R B I L T   A V E ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 3 5 6 - 1 8 2 0 	 1 4 6 9 - 9 5 6 7 	 	 J   I N T E R P R O F   C A R E 	 J .   I n t e r p r o f e s s i o n a l   C a r e 	 M A Y 	 2 0 1 4 	 2 8 	 3 	 	 	 	 	 1 9 4 	 1 9 9 	 	 1 0 . 3 1 0 9 / 1 3 5 6 1 8 2 0 . 2 0 1 3 . 8 7 4 9 8 2 	 	 6 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   H e a l t h   P o l i c y   &   S e r v i c e s 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s 	 A G 2 D I 	 W O S : 0 0 0 3 3 5 2 2 5 8 0 0 0 0 3 	 2 4 4 0 4 8 4 4 	 
 J 	 A l l a r a k h i a ,   M 	 	 	 	 A l l a r a k h i a ,   M i n n a 	 	 	 T h e   s u c c e s s e s   a n d   c h a l l e n g e s   o f   o p e n - s o u r c e   b i o p h a r m a c e u t i c a l   i n n o v a t i o n 	 E X P E R T   O P I N I O N   O N   D R U G   D I S C O V E R Y 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 b i g   b i o p h a r m a c e u t i c a l   d a t a ;   b i o p h a r m a c e u t i c a l   v a l u e   c r e a t i o n ;   c o m m o n   v a l u e   o f   k n o w l e d g e ;   o p e n - s o u r c e   b i o p h a r m a c e u t i c a l   i n n o v a t i o n 	 D A T A B A S E 	 I n t r o d u c t i o n :   I n c r e a s i n g l y ,   o p e n - s o u r c e - b a s e d   a l l i a n c e s   s e e k   t o   p r o v i d e   b r o a d   a c c e s s   t o   d a t a ,   r e s e a r c h - b a s e d   t o o l s ,   p r e c l i n i c a l   s a m p l e s   a n d   d o w n s t r e a m   c o m p o u n d s .   T h e   c h a l l e n g e   i s   h o w   t o   c r e a t e   v a l u e   f r o m   o p e n - s o u r c e   b i o p h a r m a c e u t i c a l   i n n o v a t i o n .   T h i s   v a l u e   c r e a t i o n   m a y   o c c u r   v i a   t r a n s p a r e n c y   a n d   u s a g e   o f   d a t a   a c r o s s   t h e   b i o p h a r m a c e u t i c a l   v a l u e   c h a i n   a s   s t a k e h o l d e r s   m o v e   d y n a m i c a l l y   b e t w e e n   o p e n   s o u r c e   a n d   o p e n   i n n o v a t i o n .   A r e a s   c o v e r e d :   I n   t h i s   a r t i c l e ,   s e v e r a l   e x a m p l e s   a r e   u s e d   t o   t r a c e   t h e   e v o l u t i o n   o f   b i o p h a r m a c e u t i c a l   o p e n - s o u r c e   i n i t i a t i v e s .   T h e   a r t i c l e   s p e c i f i c a l l y   d i s c u s s e s   t h e   t e c h n o l o g i c a l   c h a l l e n g e s   a s s o c i a t e d   w i t h   t h e   i n t e g r a t i o n   a n d   s t a n d a r d i z a t i o n   o f   b i g   d a t a ;   t h e   h u m a n   c a p a c i t y   d e v e l o p m e n t   c h a l l e n g e s   a s s o c i a t e d   w i t h   s k i l l   d e v e l o p m e n t   a r o u n d   b i g   d a t a   u s a g e ;   a n d   t h e   d a t a - m a t e r i a l   a c c e s s   c h a l l e n g e   a s s o c i a t e d   w i t h   d a t a   a n d   m a t e r i a l   a c c e s s   a n d   u s a g e   r i g h t s ,   p a r t i c u l a r l y   a s   t h e   b o u n d a r y   b e t w e e n   o p e n   s o u r c e   a n d   o p e n   i n n o v a t i o n   b e c o m e s   m o r e   f l u i d .   E x p e r t   o p i n i o n :   I t   i s   t h e   a u t h o r ' s   o p i n i o n   t h a t   t h e   a s s e s s m e n t   o f   w h e n   a n d   h o w   v a l u e   c r e a t i o n   w i l l   o c c u r ,   t h r o u g h   o p e n - s o u r c e   b i o p h a r m a c e u t i c a l   i n n o v a t i o n ,   i s   p a r a m o u n t .   T h e   k e y   i s   t o   d e t e r m i n e   t h e   m e t r i c s   o f   v a l u e   c r e a t i o n   a n d   t h e   n e c e s s a r y   t e c h n o l o g i c a l ,   e d u c a t i o n a l   a n d   l e g a l   f r a m e w o r k s   t o   s u p p o r t   t h e   d o w n s t r e a m   o u t c o m e s   o f   n o w   b i g   d a t a - b a s e d   o p e n - s o u r c e   i n i t i a t i v e s .   T h e   c o n t i n u e d   f o c u s   o n   t h e   e a r l y - s t a g e   v a l u e   c r e a t i o n   i s   n o t   a d v i s a b l e .   I n s t e a d ,   i t   w o u l d   b e   m o r e   a d v i s a b l e   t o   a d o p t   a n   a p p r o a c h   w h e r e   s t a k e h o l d e r s   t r a n s f o r m   o p e n - s o u r c e   i n i t i a t i v e s   i n t o   o p e n - s o u r c e   d i s c o v e r y ,   c r o w d s o u r c i n g   a n d   o p e n   p r o d u c t   d e v e l o p m e n t   p a r t n e r s h i p s   o n   t h e   s a m e   p l a t f o r m . 	 U n i v   W a t e r l o o ,   D e p t   M a n a g e m e n t   S c i ,   W a t e r l o o ,   O N   N 2 L   3 G 1 ,   C a n a d a 	 A l l a r a k h i a ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   W a t e r l o o ,   D e p t   M a n a g e m e n t   S c i ,   2 0 0   U n i v   A v e   W ,   W a t e r l o o ,   O N   N 2 L   3 G 1 ,   C a n a d a . 	 a m a l l a r a @ u w a t e r l o o . c a 	 	 	 	 	 A l l a r a k h i a   M ,   2 0 1 0 ,   R & D   M A N A G E ,   V 4 0 ,   P 5 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 7 7 . x ;   A l l a r a k h i a   M ,   2 0 1 3 ,   D R U G   D E S   D E V   T H E R ,   V 7 ,   P 7 5 3 ,   D O I   1 0 . 2 1 4 7 / D D D T . S 4 6 2 8 9 ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   B A Y   H E A L T H C   J O I N   N O T ;   G a o   Z T ,   2 0 0 8 ,   B M C   B I O I N F O R M A T I C S ,   V 9 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 9 - 1 0 4 ;   G u n t h e r   S ,   2 0 0 8 ,   N U C L E I C   A C I D S   R E S ,   V 3 6 ,   p D 9 1 9 ,   D O I   1 0 . 1 0 9 3 / n a r / g k m 8 6 2 ;   H u n t e r   J ,   2 0 1 0 ,   N A T   R E V   D R U G   D I S C O V ,   V 9 ,   P 8 7 ,   D O I   1 0 . 1 0 3 8 / n r d 3 0 9 9 ;   K n o x   C ,   2 0 1 1 ,   N U C L E I C   A C I D S   R E S ,   V 3 9 ,   p D 1 0 3 5 ,   D O I   1 0 . 1 0 9 3 / n a r / g k q 1 1 2 6 ;   M a s u m   H ,   2 0 1 2 ,   I N S I D E R   V I E W S   C O L L A B ;   N i e s e n   P ,   2 0 1 3 ,   N E W   E N G L   J   M E D ,   V 3 6 9 ,   P 4 7 5 ;   R e i c h m a n   J H ,   2 0 0 4 ,   O P   A C C   P U B L   D O M   D I G ,   P 9 8 ;   T a b o u r e a u   O ,   2 0 1 1 ,   N U C L E I C   A C I D S   R E S ,   V 3 9 ,   p D 3 6 7 ,   D O I   1 0 . 1 0 9 3 / n a r / g k q 9 0 6 	 1 1 	 0 	 0 	 I N F O R M A   H E A L T H C A R E 	 L O N D O N 	 T E L E P H O N E   H O U S E ,   6 9 - 7 7   P A U L   S T R E E T ,   L O N D O N   E C 2 A   4 L Q ,   E N G L A N D 	 1 7 4 6 - 0 4 4 1 	 1 7 4 6 - 0 4 5 X 	 	 E X P E R T   O P I N   D R U G   D I S 	 E x p e r t .   O p i n .   D r u g   D i s c o v . 	 M A Y 	 2 0 1 4 	 9 	 5 	 	 	 	 	 4 5 9 	 4 6 5 	 	 1 0 . 1 5 1 7 / 1 7 4 6 0 4 4 1 . 2 0 1 4 . 9 0 5 5 3 9 	 	 7 	 P h a r m a c o l o g y   &   P h a r m a c y 	 P h a r m a c o l o g y   &   P h a r m a c y 	 A F 8 W G 	 W O S : 0 0 0 3 3 4 9 9 5 7 0 0 0 0 1 	 2 4 7 0 2 3 0 4 	 
 J 	 R o d r i g u e s ,   F ;   P e r e i r a ,   F ;   R i b e i r o ,   B 	 	 	 	 R o d r i g u e s ,   F i l i p e ;   P e r e i r a ,   F r a n c i s c o ;   R i b e i r o ,   B e r n a r d e t e 	 	 	 S e q u e n c e   l a b e l i n g   w i t h   m u l t i p l e   a n n o t a t o r s 	 M A C H I N E   L E A R N I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M u l t i p l e   a n n o t a t o r s ;   C r o w d s o u r c i n g ;   C o n d i t i o n a l   r a n d o m   f i e l d s ;   L a t e n t   v a r i a b l e   m o d e l s ;   E x p e c t a t i o n   m a x i m i z a t i o n 	 G E N E   P R E D I C T I O N 	 T h e   i n c r e a s i n g l y   p o p u l a r   u s e   o f   C r o w d s o u r c i n g   a s   a   r e s o u r c e   t o   o b t a i n   l a b e l e d   d a t a   h a s   b e e n   c o n t r i b u t i n g   t o   t h e   w i d e   a w a r e n e s s   o f   t h e   m a c h i n e   l e a r n i n g   c o m m u n i t y   t o   t h e   p r o b l e m   o f   s u p e r v i s e d   l e a r n i n g   f r o m   m u l t i p l e   a n n o t a t o r s .   S e v e r a l   a p p r o a c h e s   h a v e   b e e n   p r o p o s e d   t o   d e a l   w i t h   t h i s   i s s u e ,   b u t   t h e y   d i s r e g a r d   s e q u e n c e   l a b e l i n g   p r o b l e m s .   H o w e v e r ,   t h e s e   a r e   v e r y   c o m m o n ,   f o r   e x a m p l e ,   a m o n g   t h e   N a t u r a l   L a n g u a g e   P r o c e s s i n g   a n d   B i o i n f o r m a t i c s   c o m m u n i t i e s .   I n   t h i s   p a p e r ,   w e   p r e s e n t   a   p r o b a b i l i s t i c   a p p r o a c h   f o r   s e q u e n c e   l a b e l i n g   u s i n g   C o n d i t i o n a l   R a n d o m   F i e l d s   ( C R F )   f o r   s i t u a t i o n s   w h e r e   l a b e l   s e q u e n c e s   f r o m   m u l t i p l e   a n n o t a t o r s   a r e   a v a i l a b l e   b u t   t h e r e   i s   n o   a c t u a l   g r o u n d   t r u t h .   T h e   a p p r o a c h   u s e s   t h e   E x p e c t a t i o n - M a x i m i z a t i o n   a l g o r i t h m   t o   j o i n t l y   l e a r n   t h e   C R F   m o d e l   p a r a m e t e r s ,   t h e   r e l i a b i l i t y   o f   t h e   a n n o t a t o r s   a n d   t h e   e s t i m a t e d   g r o u n d   t r u t h .   W h e n   i t   c o m e s   t o   p e r f o r m a n c e ,   t h e   p r o p o s e d   m e t h o d   ( C R F - M A )   s i g n i f i c a n t l y   o u t p e r f o r m s   t y p i c a l   a p p r o a c h e s   s u c h   a s   m a j o r i t y   v o t i n g . 	 [ R o d r i g u e s ,   F i l i p e ;   R i b e i r o ,   B e r n a r d e t e ]   U n i v   C o i m b r a ,   D e p t   I n f o r m a t   E n g n ,   C t r   I n f o r m a t   &   S y s t ,   P - 3 0 3 0 2 9 0   C o i m b r a ,   P o r t u g a l ;   [ P e r e i r a ,   F r a n c i s c o ]   S M A R T ,   S i n g a p o r e   1 3 8 6 0 2 ,   S i n g a p o r e 	 R o d r i g u e s ,   F   ( r e p r i n t   a u t h o r ) ,   U n i v   C o i m b r a ,   D e p t   I n f o r m a t   E n g n ,   C t r   I n f o r m a t   &   S y s t ,   P - 3 0 3 0 2 9 0   C o i m b r a ,   P o r t u g a l . 	 f m p r @ d e i . u c . p t ;   c a m a r a @ s m a r t . m i t . e d u ;   b r i b e i r o @ d e i . u c . p t 	 	 	 F u n d a c a o   p a r a   a   C i e n c i a   e   T e c n o l o g i a   ( F C T )   [ S F R H / B D / 7 8 3 9 6 / 2 0 1 1 ,   P T D C / E I A - E I A / 1 1 5 0 1 4 / 2 0 0 9 ] 	 T h e   F u n d a c a o   p a r a   a   C i e n c i a   e   T e c n o l o g i a   ( F C T )   i s   g r a t e f u l l y   a c k n o w l e d g e d   f o r   f o u n d i n g   t h i s   w o r k   w i t h   t h e   g r a n t s   S F R H / B D / 7 8 3 9 6 / 2 0 1 1   a n d   P T D C / E I A - E I A / 1 1 5 0 1 4 / 2 0 0 9   ( C R O W D S ) .   W e   w o u l d   a l s o   l i k e   t o   t h a n k   M a r k   D r e d z e   a n d   P a r t h a   T a l u k d a r   f o r   k i n d l y   p r o v i d i n g   t h e   c o d e   f o r   t h e i r   i m p l e m e n t a t i o n   o f   t h e   M u l t i C R F   m o d e l   ( D r e d z e   e t   a l .   2 0 0 9 ) . 	 A l l e n   J E ,   2 0 0 4 ,   G E N O M E   R E S ,   V 1 4 ,   P 1 4 2 ,   D O I   1 0 . 1 1 0 1 / g r . 1 5 6 2 8 0 4 ;   A l l e n   J E ,   2 0 0 5 ,   B I O I N F O R M A T I C S ,   V 2 1 ,   P 3 5 9 6 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t i 6 0 9 ;   B e l l a r e   K . ,   2 0 0 7 ,   6   I N T   W O R K S H   I N F   I N T ;   C a l l i s o n - B u r c h   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 ;   D a w i d   A . P . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   V 2 8 ,   P 2 0 ;   D E M P S T E R   A P ,   1 9 7 7 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 3 9 ,   P 1 ;   D o n m e z   P . ,   2 0 1 0 ,   P   S I A M   I N T   C   D A T   M I N ,   P 8 2 6 ;   D o n m e z   P . ,   2 0 0 8 ,   P   1 7   A C M   C   I N F   K N O W L ,   P 6 1 9 ,   D O I   1 0 . 1 1 4 5 / 1 4 5 8 0 8 2 . 1 4 5 8 1 6 5 ;   D r e d z e   M . ,   2 0 0 9 ,   E C M L   P K D D   2 0 0 9   W O R K S ;   F e r n a n d e s   E R ,   2 0 1 1 ,   L E C T   N O T E S   A R T I F   I N T ,   V 6 9 1 1 ,   P 4 0 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 3 7 8 0 - 5 _ 3 6 ;   G r o o t   P ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 7 9 2 ,   P 1 5 9 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 1 7 3 8 - 8 _ 2 1 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   L a f f e r t y   J . ,   2 0 0 1 ,   M A C H   L E A R N ,   V 9 5 1 ,   P 2 8 2 ;   L a w s   F . ,   2 0 1 1 ,   P   2 0 1 1   C   E M P   M E T H   N A ,   P 1 5 4 6 ;   L a w s o n   N . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 7 1 ;   L I U   D C ,   1 9 8 9 ,   M A T H   P R O G R A M ,   V 4 5 ,   P 5 0 3 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 5 8 9 1 1 6 ;   N o v o t n e y   S . ,   2 0 1 0 ,   H U M A N   L A N G U A G E   T E C H N ,   P 2 0 7 ;   R A B I N E R   L R ,   1 9 8 9 ,   P   I E E E ,   V 7 7 ,   P 2 5 7 ,   D O I   1 0 . 1 1 0 9 / 5 . 1 8 6 2 6 ;   R a m s h a w   L . ,   1 9 9 5 ,   P   3   W O R K S H   V E R   L A R G ,   P 8 2 ;   R a y k a r   V .   C . ,   2 0 0 9 ,   P   2 6   A N N   I N T   C   M A C H ,   P 8 8 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 5 3 3 7 4 . 1 5 5 3 4 8 8 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   S m y t h   P . ,   1 9 9 5 ,   A d v a n c e s   i n   N e u r a l   I n f o r m a t i o n   P r o c e s s i n g   S y s t e m s   7 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   S u t t o n   C . ,   2 0 0 6 ,   I N T R O   C O N D I T I O N A L   R A ;   T j o n g   K i m   S a n g   E . F . ,   2 0 0 3 ,   P   7   C   N A T   L A N G   L E A R N ,   V 4 ,   P 1 4 2 ;   V o y e r   R . ,   2 0 1 0 ,   P   4   L I N G   A N N   W O R K S H ,   P 2 4 3 ;   W u   O . ,   2 0 1 1 ,   P   2 2   I N T   J O I N T   C   A R T ,   P 1 5 7 1 ;   Y a n   Y . ,   2 0 1 0 ,   J   M A C H I N E   L E A R N I N G   R ,   V 9 ,   P 9 3 2 ;   Y a n   Y . ,   2 0 1 1 ,   P   2 8   I N T   C   M A C H   L E A R ,   P 1 1 6 1 	 3 1 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 0 8 8 5 - 6 1 2 5 	 1 5 7 3 - 0 5 6 5 	 	 M A C H   L E A R N 	 M a c h .   L e a r n . 	 M A Y 	 2 0 1 4 	 9 5 	 2 	 	 	 	 	 1 6 5 	 1 8 1 	 	 1 0 . 1 0 0 7 / s 1 0 9 9 4 - 0 1 3 - 5 4 1 1 - 2 	 	 1 7 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 A E 8 R S 	 W O S : 0 0 0 3 3 4 2 6 9 8 0 0 0 0 2 	 	 
 J 	 B a b a ,   Y ;   K a s h i m a ,   H ;   K i n o s h i t a ,   K ;   Y a m a g u c h i ,   G ;   A k i y o s h i ,   Y 	 	 	 	 B a b a ,   Y u k i n o ;   K a s h i m a ,   H i s a s h i ;   K i n o s h i t a ,   K e i ;   Y a m a g u c h i ,   G o u s h i ;   A k i y o s h i ,   Y o s u k e 	 	 	 L e v e r a g i n g   n o n - e x p e r t   c r o w d s o u r c i n g   w o r k e r s   f o r   i m p r o p e r   t a s k   d e t e c t i o n   i n   c r o w d s o u r c i n g   m a r k e t p l a c e s 	 E X P E R T   S Y S T E M S   W I T H   A P P L I C A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   M a c h i n e   l e a r n i n g ;   I m p r o p e r   t a s k   d e t e c t i o n ;   Q u a l i t y   c o n t r o l 	 	 C o n t r o l l i n g   t h e   q u a l i t y   o f   t a s k s ,   i . e . ,   p r o p r i e t y   o f   p o s t e d   j o b s ,   i s   a   m a j o r   c h a l l e n g e   i n   c r o w d s o u r c i n g   m a r k e t p l a c e s .   M o s t   e x i s t i n g   c r o w d s o u r c i n g   s e r v i c e s   p r o h i b i t   r e q u e s t e r s   f r o m   p o s t i n g   i l l e g a l   o r   o b j e c t i o n a b l e   t a s k s .   O p e r a t o r s   i n   m a r k e t p l a c e s   h a v e   t o   m o n i t o r   t a s k s   c o n t i n u o u s l y   t o   f i n d   s u c h   i m p r o p e r   o n e s ;   h o w e v e r ,   i t   i s   v e r y   e x p e n s i v e   t o   m a n u a l l y   i n v e s t i g a t e   e a c h   t a s k .   I n   t h i s   p a p e r ,   w e   p r e s e n t   t h e   r e s u l t s   o f   o u r   t r i a l   s t u d y   o n   a u t o m a t i c   d e t e c t i o n   o f   i m p r o p e r   t a s k s   t o   s u p p o r t   t h e   m o n i t o r i n g   o f   a c t i v i t i e s   b y   m a r k e t p l a c e   o p e r a t o r s .   W e   p e r f o r m e d   e x p e r i m e n t s   u s i n g   r e a l   t a s k   d a t a   f r o m   a   c o m m e r c i a l   c r o w d s o u r c i n g   m a r k e t p l a c e   a n d   s h o w e d   t h a t   t h e   c l a s s i f i e r   t r a i n e d   b y   t h e   o p e r a t o r s '   j u d g m e n t s   a c h i e v e s   a   h i g h   p e r f o r m a n c e   i n   d e t e c t i n g   i m p r o p e r   t a s k s .   B y   a n a l y z i n g   t h e   e s t i m a t e d   c l a s s i f i e r ,   w e   o b s e r v e d   s e v e r a l   e f f e c t i v e   f e a t u r e s   f o r   d e t e c t i n g   i m p r o p e r   t a s k s ,   s u c h   a s   t h e   w o r d s   a p p e a r e d   i n   t h e   t a s k   i n f o r m a t i o n ,   t h e   a m o u n t   o f   m o n e y   t h a t   e a c h   w o r k e r   w i l l   r e c e i v e   f o r   t h e   t a s k ,   a n d   t h e   t y p e   o f   w o r k e r   q u a l i f i c a t i o n   o p t i o n   s e t   f o r   a   t a s k .   I n   a d d i t i o n ,   t o   r e d u c e   t h e   a n n o t a t i o n   c o s t s   o f   t h e   o p e r a t o r s   a n d   i m p r o v e   c l a s s i f i c a t i o n   p e r f o r m a n c e ,   w e   c o n s i d e r e d   t h e   u s e   o f   c r o w d s o u r c i n g   f o r   t a s k   a n n o t a t i o n .   W e   h i r e d   a   g r o u p   o f   c r o w d s o u r c i n g   ( n o n e x p e r t )   w o r k e r s   t o   m o n i t o r   p o s t e d   t a s k s   a n d   u s e   t h e i r   j u d g m e n t s   t o   t r a i n   t h e   c l a s s i f i e r .   W e   w e r e   a b l e   t o   c o n f i r m   t h a t   a p p l y i n g   q u a l i t y   c o n t r o l   t e c h n i q u e s   i s   b e n e f i c i a l   f o r   h a n d l i n g   t h e   v a r i a b i l i t y   i n   w o r k e r   r e l i a b i l i t y   a n d   t h a t   i t   i m p r o v e d   t h e   p e r f o r m a n c e   o f   t h e   c l a s s i f i e r .   F i n a l l y ,   o u r   r e s u l t s   s h o w e d   t h a t   t h e   u s e   o f   n o n - e x p e r t   j u d g m e n t s   o f   c r o w d s o u r c i n g   w o r k e r s   i n   c o m b i n a t i o n   w i t h   e x p e r t   j u d g m e n t s   i m p r o v e s   t h e   p e r f o r m a n c e   o f   d e t e c t i n g   i m p r o p e r   c r o w d s o u r c i n g   t a s k s ,   a n d   t h a t   t h e   u s e   o f   c r o w d s o u r c e d   l a b e l s   a l l o w s   a   r e d u c t i o n   i n   t h e   r e q u i r e d   n u m b e r   o f   e x p e r t   j u d g m e n t s   b y   2 5 %   w h i l e   m a i n t a i n i n g   t h e   l e v e l   o f   d e t e c t i o n   p e r f o r m a n c e .   ( C )   2 0 1 3   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ B a b a ,   Y u k i n o ;   K a s h i m a ,   H i s a s h i ]   U n i v   T o k y o ,   B u n k y o   K u ,   T o k y o   1 1 3 8 6 5 6 ,   J a p a n ;   [ K i n o s h i t a ,   K e i ;   Y a m a g u c h i ,   G o u s h i ;   A k i y o s h i ,   Y o s u k e ]   L a n c e r s   I n c ,   S h i b u y a   K u ,   T o k y o   1 5 0 0 0 0 2 ,   J a p a n 	 B a b a ,   Y   ( r e p r i n t   a u t h o r ) ,   U n i v   T o k y o ,   B u n k y o   K u ,   7 - 3 - 1   H o n g o ,   T o k y o   1 1 3 8 6 5 6 ,   J a p a n . 	 y u k i n o _ b a b a @ m i s t . i . u - t o k y o . a c . j p ;   k a s h i m a @ m i s t . i . u - t o k y o . a c . j p ;   k i n o s h i t a . k e i @ l a n c e r s . c o . j p ;   y a m a g u c h i . g o u s h i @ l a n c e r s . c o . j p ;   a k i y o s h i . y o s u k e @ l a n c e r s . c o . j p 	 	 	 	 	 D a w i d   A . P . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   V 2 8 ,   P 2 0 ;   I p e i r o t i s   P .   G . ,   2 0 1 0 ,   M E C H   T U R K   N O W   4 0   9 2 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   X R D S   C R O S S R O A D S   A C M ,   V 1 7 ,   P 1 6 ;   K a j i n o   H . ,   2 0 1 2 ,   P   H U M   C O M P   W O R K S H ,   P 1 0 7 ;   K a j i n o   H ,   2 0 1 2 ,   P   A A A I   C   A R T   I N T ,   P 7 3 ;   K a z a i   G ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 1 1 ,   P 1 6 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 1 6 1 - 5 _ 1 7 ;   K i t t u r   A ,   2 0 1 3 ,   P   2 0 1 3   C   C O M P   S U P P   C ,   P 1 3 0 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 4 4 1 7 7 6 . 2 4 4 1 9 2 3 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   M o t o y a m a   M . ,   2 0 1 1 ,   P   2 0   U S E N I X   C   S E C ,   P 2 0 3 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S o r o k i n   A . ,   2 0 0 8 ,   P   1   I E E E   W O R K S H   I N T ,   P 1 ;   T a n g   W . ,   2 0 1 1 ,   A C M   S I G I R   W O R K S H   C R O ,   P 3 6 ;   W a n g   G ,   2 0 1 2 ,   P   2 1   I N T   C   W O R L D   W I D ,   P 6 7 9 ;   W e l i n d e r   P . ,   2 0 1 0 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 3 ,   P 2 4 2 4 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 2 ,   P 2 0 3 5 ;   Y a n   Y . ,   2 0 1 0 ,   P   I N T   C   A R T   I N T   S T A T ,   V 9 ,   P 9 3 2 	 1 8 	 1 	 1 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 9 5 7 - 4 1 7 4 	 1 8 7 3 - 6 7 9 3 	 	 E X P E R T   S Y S T   A P P L 	 E x p e r t   S y s t .   A p p l . 	 M A Y 	 2 0 1 4 	 4 1 	 6 	 	 	 	 	 2 6 7 8 	 2 6 8 7 	 	 1 0 . 1 0 1 6 / j . e s w a . 2 0 1 3 . 1 1 . 0 1 1 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 A A 3 T X 	 W O S : 0 0 0 3 3 1 0 1 8 0 0 0 0 0 7 	 	 
 J 	 T u l l o c h ,   D 	 	 	 	 T u l l o c h ,   D a v i d 	 	 	 C r o w d s o u r c i n g   g e o g r a p h i c   k n o w l e d g e :   v o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n   (   V G I )   i n   t h e o r y 	 I N T E R N A T I O N A L   J O U R N A L   O F   G E O G R A P H I C A L   I N F O R M A T I O N   S C I E N C E 	 	 	 E n g l i s h 	 B o o k   R e v i e w 	 	 	 	 	 	 	 	 	 [ T u l l o c h ,   D a v i d ]   R u t g e r s   S t a t e   U n i v ,   D e p t   L a n d s c a p e   A r c h i t e c t u r e ,   N e w   B r u n s w i c k ,   N J   0 8 9 0 3   U S A 	 T u l l o c h ,   D   ( r e p r i n t   a u t h o r ) ,   R u t g e r s   S t a t e   U n i v ,   D e p t   L a n d s c a p e   A r c h i t e c t u r e ,   N e w   B r u n s w i c k ,   N J   0 8 9 0 3   U S A . 	 d t u l l o c h @ c r s s a . r u t g e r s . e d u 	 	 	 	 	 G r a y   J . ,   2 0 0 7 ,   E S C I E N C E   T R A N S F O R M E D ;   L o h r   S . ,   2 0 0 9 ,   N Y   T I M E S ;   S U I   D ,   2 0 1 3 ,   C R O W D S O U R C I N G   G E O G R A ;   T u l l o c h   D L ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 6 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 8 - 9 1 8 5 - 1 	 4 	 0 	 0 	 T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X O N ,   E N G L A N D 	 1 3 6 5 - 8 8 1 6 	 1 3 6 2 - 3 0 8 7 	 	 I N T   J   G E O G R   I N F   S C I 	 I n t .   J .   G e o g r .   I n f .   S c i . 	 A P R   3 	 2 0 1 4 	 2 8 	 4 	 	 	 	 	 8 4 7 	 8 4 9 	 	 1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 6 . 2 0 1 3 . 8 7 3 4 4 0 	 	 3 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   G e o g r a p h y ;   G e o g r a p h y ,   P h y s i c a l ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   G e o g r a p h y ;   P h y s i c a l   G e o g r a p h y ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 A B 1 B P 	 W O S : 0 0 0 3 3 1 5 2 6 6 0 0 0 1 1 	 	 
 J 	 S i m u l a ,   H ;   A h o l a ,   T 	 	 	 	 S i m u l a ,   H e n r i ;   A h o l a ,   T u o m a s 	 	 	 A   n e t w o r k   p e r s p e c t i v e   o n   i d e a   a n d   i n n o v a t i o n   c r o w d s o u r c i n g   i n   i n d u s t r i a l   f i r m s 	 I N D U S T R I A L   M A R K E T I N G   M A N A G E M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   N e t w o r k s ;   I n d u s t r i a l   f i r m s ;   I n n o v a t i o n ;   C r o w d s o u r c i n g   c o n f i g u r a t i o n s 	 S O C I A L - S T R U C T U R E ;   I N T E R O R G A N I Z A T I O N A L   C O L L A B O R A T I O N ;   E M P I R I C A L - A N A L Y S I S ;   S T R U C T U R A L   H O L E S ;   F U T U R E ;   A L L I A N C E S ;   C O M P E T I T I O N ;   G O V E R N A N C E ;   C O N T E S T S ;   D Y N A M I C S 	 C r o w d s o u r c i n g   h a s   b e e n   a t t r a c t i n g   t h e   a t t e n t i o n   o f   b o t h   a c a d e m i c s   a n d   p r a c t i t i o n e r s   o v e r   r e c e n t   y e a r s .   T h e   a i m   o f   t h i s   a r t i c l e   i s   t o   c o n t r i b u t e   t o   t h e   c u r r e n t   b o d y   o f   k n o w l e d g e   o n   i n n o v a t i o n   i n   n e t w o r k e d   c o n t e x t s   b y   s y s t e m a t i c a l l y   a n a l y z i n g   v a r i o u s   c r o w d s o u r c i n g   c o n f i g u r a t i o n s   a v a i l a b l e   t o   i n d u s t r i a l   f i r m s .   W e   f i r s t   d e v e l o p   a   c a t e g o r i z a t i o n   o f   c r o w d s o u r c i n g   i n   i n d u s t r i a l   f i r m s   c o m p r i s i n g   f o u r   d i s t i n c t   c o n f i g u r a t i o n s :   i n t e r n a l   c r o w d s o u r c i n g ;   c o m m u n i t y   c r o w d s o u r c i n g ;   o p e n   c r o w d s o u r c i n g ;   a n d   c r o w d s o u r c i n g   v i a   a   b r o k e r .   W e   t h e n   p r o c e e d   t o   d r a w   f r o m   t h e   l i t e r a t u r e   o n   i n d u s t r y   n e t w o r k s   t o   f u r t h e r   d e e p e n   o u r   u n d e r s t a n d i n g   o f   h o w   t h e s e   f o u r   d i s t i n c t   c o n f i g u r a t i o n s   c a n   c o n t r i b u t e   t o   b u s i n e s s   a n d   i n n o v a t i o n   a c t i v i t i e s   o f   a   f o c a l   i n d u s t r i a l   f i r m .   S p e c i f i c a l l y ,   w e   f o c u s   o n   t h e   s t r u c t u r a l   p r o p e r t i e s ,   n a t u r e   o f   c o l l a b o r a t i o n ,   a n d   g o v e r n a n c e   o f   c r o w d s o u r c i n g   n e t w o r k s .   T h i s   n o v e l   c o m b i n a t i o n   o f   c r o w d s o u r c i n g   a n d   n e t w o r k   r e s e a r c h   d e l i v e r s   n e w   i n s i g h t s   t h a t   e n r i c h   c u r r e n t   u n d e r s t a n d i n g   o n   v a r i o u s   o p t i o n s   a v a i l a b l e   t o   i n d u s t r i a l   f i r m s   o p e r a t i n g   i n   n e t w o r k e d   c o n t e x t s   t o   f a c i l i t a t e   t h e i r   i n n o v a t i o n   p r o c e s s e s .   ( C )   2 0 1 3   E l s e v i e r   I n c .   A l l   r i g h t s   r e s e r v e d . 	 [ S i m u l a ,   H e n r i ;   A h o l a ,   T u o m a s ]   A a l t o   U n i v ,   S c h   S c i ,   D e p t   I n d   E n g n   &   M a n a g e m e n t ,   F I - 0 0 0 7 6   E s p o o ,   F i n l a n d 	 S i m u l a ,   H   ( r e p r i n t   a u t h o r ) ,   A a l t o   U n i v ,   S c h   S c i ,   D e p t   I n d   E n g n   &   M a n a g e m e n t ,   O t a n i e m e n t i e   1 7 ,   F I - 0 0 0 7 6   E s p o o ,   F i n l a n d . 	 h e n r i . s i m u l a @ a a l t o . f i ;   t u o m a s . a h o l a @ a a l t o . f i 	 A h o l a ,   T u o m a s / E - 7 2 2 2 - 2 0 1 2 	 A h o l a ,   T u o m a s / 0 0 0 0 - 0 0 0 2 - 4 4 8 8 - 9 2 1 4 	 	 	 A a r i k k a - S t e n r o o s   L ,   2 0 1 2 ,   I N D   M A R K E T   M A N A G ,   V 4 1 ,   P 1 5 ,   D O I   1 0 . 1 0 1 6 / j . i n d m a r m a n . 2 0 1 1 . 1 1 . 0 0 8 ;   A b r a h a m s e n   M H ,   2 0 1 2 ,   I N D   M A R K E T   M A N A G ,   V 4 1 ,   P 2 5 9 ,   D O I   1 0 . 1 0 1 6 / j . i n d m a r m a n . 2 0 1 2 . 0 1 . 0 0 8 ;   A d l e r   P S ,   2 0 0 1 ,   O R G A N   S C I ,   V 1 2 ,   P 2 1 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 2 . 2 . 2 1 5 . 1 0 1 1 7 ;   A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   A h u j a   G ,   2 0 0 0 ,   A D M I N   S C I   Q U A R T ,   V 4 5 ,   P 4 2 5 ,   D O I   1 0 . 2 3 0 7 / 2 6 6 7 1 0 5 ;   A l l i o   R .   J . ,   2 0 0 4 ,   S T R A T E G Y   L E A D E R S H I P ,   V 3 2 ,   P 4 ,   D O I   1 0 . 1 1 0 8 / 1 0 8 7 8 5 7 0 4 1 0 5 4 7 6 4 3 ;   A l l s t a t e ,   2 0 1 2 ,   A L L S T   T A K   I N N   N E X T   L ;   A n t i k a i n e n   M a r i a ,   2 0 1 0 ,   E u r o p e a n   J o u r n a l   o f   I n n o v a t i o n   M a n a g e m e n t ,   V 1 3 ,   D O I   1 0 . 1 1 0 8 / 1 4 6 0 1 0 6 1 0 1 1 0 1 3 2 5 8 ;   A r i t a   T ,   2 0 0 0 ,   A P P L   E C O N ,   V 3 2 ,   P 1 3 9 1 ;   B a t t   P J ,   2 0 0 4 ,   I N D   M A R K E T   M A N A G ,   V 3 3 ,   P 1 6 9 ,   D O I   1 0 . 1 0 1 6 / j . i n d m a r m a n . 2 0 0 3 . 1 1 . 0 0 4 ;   B e n b y a   H . ,   2 0 1 0 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 2 ,   P 6 5 ;   B j e l l a n d   O .   M . ,   2 0 0 8 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 3 1 ;   B o g e r s   M ,   2 0 1 0 ,   J   M A N A G E ,   V 3 6 ,   P 8 5 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 9 2 0 6 3 0 9 3 5 3 9 4 4 ;   B o u d r e a u   K J ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 8 4 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 2 2 ;   B o u d r e a u   K J ,   2 0 0 9 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 6 9 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B u r m a n n   C ,   2 0 1 0 ,   J   B R A N D   M A N A G E M E N T ,   V 1 8 ,   P 1 ;   B u r t   R .   S . ,   1 9 9 2 ,   S T R U C T U R A L   H O L E S   S O C ;   C h e s b r o u g h   H . ,   2 0 1 1 ,   G U I D E   O P E N   I N N O V A T I O ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C o a s e   R H ,   1 9 3 7 ,   E C O N O M I C A - N E W   S E R ,   V 4 ,   P 3 8 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 0 3 3 5 . 1 9 3 7 . t b 0 0 0 0 2 . x ;   C o r s a r o   D ,   2 0 1 2 ,   I N D   M A R K E T   M A N A G ,   V 4 1 ,   P 5 4 ,   D O I   1 0 . 1 0 1 6 / j . i n d m a r m a n . 2 0 1 1 . 1 1 . 0 1 7 ;   C y e r t   R M ,   1 9 9 7 ,   O R G A N   D Y N ,   V 2 5 ,   P 4 5 ,   D O I   1 0 . 1 0 1 6 / S 0 0 9 0 - 2 6 1 6 ( 9 7 ) 9 0 0 3 6 - X ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   D o d g s o n   M ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 3 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 2 9 . x ;   E C C L E S   R G ,   1 9 8 1 ,   J   E C O N   B E H A V   O R G A N ,   V 2 ,   P 3 3 5 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 7 - 2 6 8 1 ( 8 1 ) 9 0 0 1 3 - 5 ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F e l l e r   J ,   2 0 1 2 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 2 1 ,   P 2 1 6 ,   D O I   1 0 . 1 0 1 6 / j . j s i s . 2 0 1 2 . 0 3 . 0 0 2 ;   F o r d   D . ,   2 0 0 2 ,   P   1 8   I N T   M A R K   P U R C H ;   F r e e m a n   R E ,   2 0 0 4 ,   O R G A N   S C I ,   V 1 5 ,   P 3 6 4 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 4 0 . 0 0 6 6 ;   F U C H S   C ,   2 0 1 1 ,   D E V E L O P M E N T ,   V 2 8 ,   P 1 7 ;   G a d d e   L E ,   2 0 0 0 ,   I N D   M A R K E T   M A N A G ,   V 2 9 ,   P 3 0 5 ,   D O I   1 0 . 1 0 1 6 / S 0 0 1 9 - 8 5 0 1 ( 0 0 ) 0 0 1 0 9 - 7 ;   G a d d e   L E ,   2 0 0 3 ,   I N D   M A R K E T   M A N A G ,   V 3 2 ,   P 3 5 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 1 9 - 8 5 0 1 ( 0 3 ) 0 0 0 0 9 - 9 ;   G e i g e r   D . ,   2 0 1 1 ,   P   1 7   A M   C   I N F   S Y S T   D ;   G e m u n d e n   H .   G . ,   1 9 9 6 ,   I N T   J   R E S   M A R K ,   V 1 3 ,   P 4 4 9 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 8 1 1 6 ( 9 6 ) 0 0 0 2 6 - 2 ;   G R A N O V E T T E R   M ,   1 9 8 5 ,   A M   J   S O C I O L ,   V 9 1 ,   P 4 8 1 ,   D O I   1 0 . 1 0 8 6 / 2 2 8 3 1 1 ;   G R A N O V E T . M S ,   1 9 7 3 ,   A M   J   S O C I O L ,   V 7 8 ,   P 1 3 6 0 ,   D O I   1 0 . 1 0 8 6 / 2 2 5 4 6 9 ;   G u l a t i   R ,   1 9 9 8 ,   S T R A T E G I C   M A N A G E   J ,   V 1 9 ,   P 2 9 3 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 7 - 0 2 6 6 ( 1 9 9 8 0 4 ) 1 9 : 4 < 2 9 3 : : A I D - S M J 9 8 2 > 3 . 0 . C O ; 2 - M ;   H a g e r t y   J .   R . ,   2 0 1 2 ,   W A L L   S T R E E T   J ;   H a k a n s s o n   H . ,   1 9 8 8 ,   F O R M A L   I N F O R M A L   C O O P ;   H a k a n s s o n   H . ,   1 9 9 5 ,   D E V   R E L A T I O N S H I P S   B U ;   H a k a n s s o n   H . ,   1 9 8 2 ,   I N T   M A R K E T I N G   P U R C H A ;   H a k a n s s o n   H ,   1 9 9 9 ,   I N D   M A R K E T   M A N A G ,   V 2 8 ,   P 4 4 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 1 9 - 8 5 0 1 ( 9 9 ) 0 0 0 8 0 - 2 ;   H a l l e r   J B A ,   2 0 1 1 ,   B U S   I N F O R M   S Y S T   E N G + ,   V 3 ,   P 1 0 3 ,   D O I   1 0 . 1 0 0 7 / s 1 2 5 9 9 - 0 1 1 - 0 1 4 7 - 7 ;   H a r a b i   N . ,   1 9 9 8 ,   I N D   I N N O V ,   V 5 ,   P 1 5 7 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 6 2 7 1 9 8 0 0 0 0 0 0 0 9 ;   H E I D E   J B ,   1 9 9 2 ,   A C A D   M A N A G E   J ,   V 3 5 ,   P 2 6 5 ,   D O I   1 0 . 2 3 0 7 / 2 5 6 3 7 4 ;   H o s s a i n   M ,   2 0 1 2 ,   P R O C D   S O C   B E H V ,   V 5 8 ,   P 7 5 4 ,   D O I   1 0 . 1 0 1 6 / j . s b s p r o . 2 0 1 2 . 0 9 . 1 0 5 3 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H u s t o n   L ,   2 0 0 6 ,   H A R V A R D   B U S   R E V ,   V 8 4 ,   P 5 8 ;   T r a n   A n h t u a n ,   2 0 1 2 ,   I n d u s t r i a l   E n g i n e e e r i n g   &   M a n a g e m e n t   S y s t e m s   A n   I n t e r n a t i o n a l   J o u r n a l ,   V 1 1 ,   P 2 6 6 ,   D O I   1 0 . 7 2 3 2 / i e m s . 2 0 1 2 . 1 1 . 3 . 2 6 6 ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   J o h a n n e s s e n   J A ,   2 0 1 0 ,   I N T   J   I N F O R M   M A N A G E ,   V 3 0 ,   P 5 0 2 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 1 0 . 0 3 . 0 0 7 ;   J o n e s   C ,   1 9 9 7 ,   A C A D   M A N A G E   R E V ,   V 2 2 ,   P 9 1 1 ;   K a r k k a i n e n   H . ,   2 0 1 2 ,   P   1 6   I N T   A C   M I N D T R E K ,   P 1 3 4 ;   K o s o n e n   M . ,   2 0 1 3 ,   I N T   J   I N N O V A T I O N   M A N ,   V 1 7 ;   L a k h a n i   K .   R . ,   2 0 0 7 ,   B E R K M A N   C T R   I N T E R N E T ,   P 9 7 ;   L a m p e l   J ,   2 0 1 2 ,   A C A D   M A N A G E   P E R S P E C T ,   V 2 6 ,   P 7 1 ,   D O I   1 0 . 5 4 6 5 / a m p . 2 0 1 0 . 0 0 6 8 ;   L A R S O N   A ,   1 9 9 2 ,   A D M I N   S C I   Q U A R T ,   V 3 7 ,   P 7 6 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 5 3 4 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   L i c h t e n t h a l e r   U . ,   2 0 0 8 ,   C R E A T I V I T Y   I N N O V A T I O ,   V 1 7 ,   P 1 4 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 4 6 7 - 8 6 9 1 . 2 0 0 7 . 0 0 4 6 1 . X ;   L i u   Q Q ,   2 0 1 1 ,   B U S   H O R I Z O N S ,   V 5 4 ,   P 2 3 1 ,   D O I   1 0 . 1 0 1 6 / j . b u s h o r . 2 0 1 1 . 0 1 . 0 0 4 ;   L o p e z - V e g a   H . ,   2 0 0 9 ,   C O N N E C T I N G   O P E   U N P U B ;   M a r j a n o v i c   S . ,   2 0 1 2 ,   S C I   P U B L   P O L I C Y ,   P 1 ;   M o l l e r   K ,   2 0 0 9 ,   I N D   M A R K E T   M A N A G ,   V 3 8 ,   P 4 5 0 ,   D O I   1 0 . 1 0 1 6 / j . i n d m a r m a n . 2 0 0 8 . 0 2 . 0 0 9 ;   M o l l e r   K . ,   2 0 0 4 ,   M A R K E T I N G   T H E O R Y ,   V 3 ,   P 2 0 9 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 0 5 9 3 1 0 3 0 0 3 2 0 0 2 ;   M o l l e r   K ,   2 0 0 6 ,   I N D   M A R K E T   M A N A G ,   V 3 5 ,   P 9 1 3 ,   D O I   1 0 . 1 0 1 6 / j . i n d m a r m a n . 2 0 0 6 . 0 4 . 0 0 5 ;   N e l l   P .   S .   V . ,   2 0 1 1 ,   I N T   J   T E C H N O L O G Y   I N T ,   V 7 ,   P 2 1 5 ;   O l i v e r   A L ,   1 9 9 8 ,   O R G A N   S T U D ,   V 1 9 ,   P 5 4 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 9 8 0 1 9 0 0 4 0 2 ;   P a r e n t   M ,   2 0 1 1 ,   B U S   H O R I Z O N S ,   V 5 4 ,   P 2 1 9 ,   D O I   1 0 . 1 0 1 6 / j . b u s h o r . 2 0 1 1 . 0 1 . 0 0 3 ;   P e r k s   H ,   2 0 1 1 ,   I N D   M A R K E T   M A N A G ,   V 4 0 ,   P 1 2 2 4 ,   D O I   1 0 . 1 0 1 6 / j . i n d m a r m a n . 2 0 1 1 . 1 0 . 0 0 5 ;   P i l l e r   F . ,   2 0 1 0 ,   T Y P O L O G Y   C U S T O M E R   C R ;   P i l l e r   F T ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 0 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 2 . x ;   P o e t z   M K ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x ;   P o p p o   L ,   2 0 0 2 ,   S T R A T E G I C   M A N A G E   J ,   V 2 3 ,   P 7 0 7 ,   D O I   1 0 . 1 0 0 2 / s m j . 2 4 9 ;   P O W E L L   W W ,   1 9 9 0 ,   R E S   O R G A N   B E H A V ,   V 1 2 ,   P 2 9 5 ;   P o w e l l   W W ,   2 0 0 5 ,   A M   J   S O C I O L ,   V 1 1 0 ,   P 1 1 3 2 ,   D O I   1 0 . 1 0 8 6 / 4 2 1 5 0 8 ;   P o w e l l   W W ,   1 9 9 6 ,   A D M I N   S C I   Q U A R T ,   V 4 1 ,   P 1 1 6 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 9 8 8 ;   P r o v a n   K G ,   2 0 0 7 ,   J   M A N A G E ,   V 3 3 ,   P 4 7 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 9 2 0 6 3 0 7 3 0 2 5 5 4 ;   R a m o s   C ,   2 0 1 2 ,   I N D   M A R K E T   M A N A G ,   V 4 1 ,   P 9 5 1 ,   D O I   1 0 . 1 0 1 6 / j . i n d m a r m a n . 2 0 1 1 . 1 2 . 0 0 1 ;   R a m p e r s a d   G ,   2 0 1 0 ,   I N D   M A R K E T   M A N A G ,   V 3 9 ,   P 7 9 3 ,   D O I   1 0 . 1 0 1 6 / j . i n d m a r m a n . 2 0 0 9 . 0 7 . 0 0 2 ;   R e a g a n s   R ,   2 0 0 3 ,   A D M I N   S C I   Q U A R T ,   V 4 8 ,   P 2 4 0 ,   D O I   1 0 . 2 3 0 7 / 3 5 5 6 6 5 8 ;   R h u   S . ,   2 0 0 7 ,   S S R N   E L E C T   J   S S R N ;   R I N G   P S ,   1 9 9 4 ,   A C A D   M A N A G E   R E V ,   V 1 9 ,   P 9 0 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 8 3 6 ;   R i t t e r   T ,   2 0 0 2 ,   J   B U S   I N D   M A R K ,   V 1 7 ,   P 1 1 9 ,   D O I   1 0 . 1 1 0 8 / 0 8 8 5 8 6 2 0 2 1 0 4 1 9 7 6 3 ;   R i t t e r   T ,   2 0 0 4 ,   I N D   M A R K E T   M A N A G ,   V 3 3 ,   P 1 7 5 ,   D O I   1 0 . 1 0 1 6 / j . i n d m a r m a n . 2 0 3 . 1 0 . 0 1 6 ;   S a w h n e y   M ,   2 0 0 5 ,   J   I N T E R A C T   M A R K ,   V 1 9 ,   P 4 ,   D O I   1 0 . 1 0 0 2 / d i r . 2 0 0 4 6 ;   S c h e n k   E . ,   2 0 1 0 ,   J   I N N O V A T I O N   E C ,   V 1 ,   P 9 3 ;   S i m u l a   H . ,   2 0 1 2 ,   P   4 1   A C   M A R K   S C I   A N N ;   S i m u l a   H . ,   2 0 1 2 ,   I N T   J   I N N O V A T I O N   M A N ,   V 1 6 ;   S i m u l a   H ,   2 0 1 3 ,   P   4 6   H A W   I N T   C   S Y S T ;   S o b r e r o   M ,   1 9 9 8 ,   O R G A N   S T U D ,   V 1 9 ,   P 5 8 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 9 8 0 1 9 0 0 4 0 3 ;   S o r e n s o n   O ,   2 0 0 6 ,   A D M I N   S C I   Q U A R T ,   V 5 1 ,   P 5 6 0 ;   S p e n c e r   R W ,   2 0 1 2 ,   R E S   T E C H N O L   M A N A G E ,   V 5 5 ,   P 3 9 ,   D O I   1 0 . 5 4 3 7 / 0 8 9 5 6 3 0 8 X 5 5 0 4 0 7 4 ;   S T E E R S   R M ,   1 9 7 7 ,   A D M I N   S C I   Q U A R T ,   V 2 2 ,   P 4 6 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 1 7 4 5 ;   S t u a r t   T E ,   2 0 0 0 ,   S T R A T E G I C   M A N A G E   J ,   V 2 1 ,   P 7 9 1 ,   D O I   1 0 . 1 0 0 2 / 1 0 9 7 - 0 2 6 6 ( 2 0 0 0 0 8 ) 2 1 : 8 < 7 9 1 : : A I D - S M J 1 2 1 > 3 . 0 . C O ; 2 - K ;   S u r o w i e c k i   J ,   2 0 0 5 ,   W I S D O M   C R O W D S   W H Y   M A ;   T a p s c o t t   D . ,   2 0 1 0 ,   M A C R O W I K I N O M I C S   R E B O ;   T a r r e l l   A . ,   2 0 1 3 ,   P   1 9   A M   C   I N F   S Y S T   A ;   T E E C E   D J ,   1 9 9 2 ,   J   E C O N   B E H A V   O R G A N ,   V 1 8 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 7 - 2 6 8 1 ( 9 2 ) 9 0 0 5 0 - L ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   U z z i   B ,   1 9 9 7 ,   A D M I N   S C I   Q U A R T ,   V 4 2 ,   P 3 5 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 8 0 8 ;   V a n   d e   V e n   A . ,   1 9 7 6 ,   A C A D   M A N A G E   R E V ,   V 1 ,   P 2 4 ;   V i l l a r r o e l   J .   A . ,   2 0 1 0 ,   C R O W D C O N F   2 0 1 0 ;   V o n   H i p p e l   E . ,   2 0 0 5 ,   J   B E T R I E B S W I R T S C H A F T ,   V 5 5 ,   P 6 3 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 1 3 0 1 - 0 0 4 - 0 0 0 2 - 8 ;   v o n   K r o g h   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 2 1 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 5 0 - 7 ;   V U K O V I C   M ,   2 0 1 0 ,   W E B   E N G ,   V 6 1 8 9 ,   P 4 6 0 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 3 9 1 1 - 6 _ 3 1 ;   V u k o v i c   M . ,   2 0 0 9 ,   C O N J   7   I E E E   I N T   C   W E ;   V u k o v i c   M ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 4 1 5 ,   P 4 2 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 6 5 5 8 - 0 _ 3 6 ;   V u o r i   M e r v i ,   2 0 1 2 ,   J o u r n a l   o f   S y s t e m s   a n d   I n f o r m a t i o n   T e c h n o l o g y ,   V 1 4 ,   D O I   1 0 . 1 1 0 8 / 1 3 2 8 7 2 6 1 2 1 1 2 3 2 1 7 1 ;   W a l k e r   G ,   1 9 9 7 ,   O R G A N   S C I ,   V 8 ,   P 1 0 9 ,   D O I   1 0 . 1 2 8 7 / o r s c . 8 . 2 . 1 0 9 ;   W h i t l a   P . ,   2 0 0 9 ,   M A N A G E M E N T ,   V 5 ,   P 1 5 ;   W i l l i a m s o n   O . ,   1 9 7 5 ,   M A R K E T S   H I E R A R C H I E S ;   W o l l a n   R . ,   2 0 1 1 ,   S O C I A L   M E D I A   M A N A G E M ,   P 3 5 2 ;   Z h a o   Y X ,   2 0 1 4 ,   I N F O R M   S Y S T   F R O N T ,   V 1 6 ,   P 4 1 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 6 - 0 1 2 - 9 3 5 0 - 4 ;   Z h e n g   H C ,   2 0 1 1 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 5 7 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 4 0 2 	 1 1 6 	 0 	 0 	 E L S E V I E R   S C I E N C E   I N C 	 N E W   Y O R K 	 3 6 0   P A R K   A V E   S O U T H ,   N E W   Y O R K ,   N Y   1 0 0 1 0 - 1 7 1 0   U S A 	 0 0 1 9 - 8 5 0 1 	 1 8 7 3 - 2 0 6 2 	 	 I N D   M A R K E T   M A N A G 	 I n d .   M a r k .   M a n a g e . 	 A P R 	 2 0 1 4 	 4 3 	 3 	 	 	 S I 	 	 4 0 0 	 4 0 8 	 	 1 0 . 1 0 1 6 / j . i n d m a r m a n . 2 0 1 3 . 1 2 . 0 0 8 	 	 9 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 A J 4 Q Q 	 W O S : 0 0 0 3 3 7 6 6 1 3 0 0 0 0 6 	 	 
 J 	 Q u e r c i a ,   D ;   S a e z ,   D 	 	 	 	 Q u e r c i a ,   D a n i e l e ;   S a e z ,   D i e g o 	 	 	 M i n i n g   U r b a n   D e p r i v a t i o n   f r o m   F o u r s q u a r e :   I m p l i c i t   C r o w d s o u r c i n g   o f   C i t y   L a n d   U s e 	 I E E E   P E R V A S I V E   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 F A C I L I T I E S ;   A C C E S S 	 L o c a t i o n   d a t a   f r o m   t h e   F o u r s q u a r e   m o b i l e   a p p l i c a t i o n   p r o v e s   a   v i a b l e   s o u r c e   o f   l a n d - u s e   d a t a   f o r   s t u d y i n g   t h e   r e l a t i o n s h i p   b e t w e e n   t h e   p r e s e n c e   o f   s p e c i f i c   p h y s i c a l   v e n u e s   i n   a   L o n d o n   n e i g h b o r h o o d   ( s u c h   a s   t a n n i n g   s a l o n s   o r   f l e a   m a r k e t s )   a n d   t h e   n e i g h b o r h o o d ' s   s o c i o - e c o n o m i c   d e p r i v a t i o n . 	 [ Q u e r c i a ,   D a n i e l e ]   Y a h o o   L a b s ,   B a r c e l o n a ,   S p a i n ;   [ S a e z ,   D i e g o ]   U n i v   P o m p e u   F a b r a ,   B a r c e l o n a ,   S p a i n 	 Q u e r c i a ,   D   ( r e p r i n t   a u t h o r ) ,   Y a h o o   L a b s ,   B a r c e l o n a ,   S p a i n . 	 d q u e r c i a @ a c m . o r g ;   d i e g o . s a e z @ u p f . e d u 	 	 	 	 	 B a e z a - Y a t e s   R . ,   1 9 9 9 ,   M O D E R N   I N F O R M   R E T R I E ;   B a l l   J a m e s ,   2 0 1 1 ,   G U A R D I A N ;   B a w a - C a v i a   A . ,   2 0 1 1 ,   P   W O R K S H   P E R V   U R B   A P ;   G i l e s - C o r t i   B ,   2 0 0 2 ,   P R E V   M E D ,   V 3 5 ,   P 6 0 1 ,   D O I   1 0 . 1 0 0 6 5 / p m e d . 2 0 0 2 . 1 1 1 5 ;   H i d a l g o   C A ,   2 0 0 7 ,   S C I E N C E ,   V 3 1 7 ,   P 4 8 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 4 4 5 8 1 ;   K e l l e r   S .   A . ,   2 0 1 2 ,   S I G N I F I C A N C E ,   V 9 ,   P 4 ;   L i n d q v i s t   J a n n e ,   2 0 1 1 ,   P   S I G C H I   C   H U M   F A C T ,   P 2 4 0 9 ;   M a c i n t y r e   S ,   2 0 0 8 ,   S O C   S C I   M E D ,   V 6 7 ,   P 9 0 0 ,   D O I   1 0 . 1 0 1 6 / j . s o c s c i m e d . 2 0 0 8 . 0 5 . 0 2 9 ;   M a s h h a d i   A . ,   2 0 1 3 ,   P   A C M   C   C O M P   S U P P   C O ;   M a s h h a d i   A . ,   2 0 1 3 ,   P   A C M   C   C O M P   S U P P   C O ,   P 6 1 1 ;   M c L e n n a n   D ,   2 0 1 1 ,   E N G L I S H   I N D I C E S   D E P R ;   P e a r c e   J ,   2 0 0 7 ,   A M   J   P R E V   M E D ,   V 3 2 ,   P 3 7 5 ,   D O I   1 0 . 1 0 1 6 / j . a m e p r e . 2 0 0 7 . 0 1 . 0 0 9 ;   P o w e l l   L M ,   2 0 0 6 ,   A M   J   P U B L I C   H E A L T H ,   V 9 6 ,   P 1 6 7 6 ,   D O I   1 0 . 2 1 0 5 / A J P H . 2 0 0 5 . 0 6 5 5 7 3 ;   Q u a t t r o n e   G . ,   2 0 1 4 ,   P   7   A C M   C   W E B   S E A R C H ,   P 5 6 3 ;   R o s t   M . ,   2 0 1 3 ,   P   2 0 1 3   C   C O M P   S U P P   C ,   P 3 5 7 ;   S a m p s o n   R .   J . ,   2 0 1 2 ,   H A R V A R D   L A W   R E V   F O R U ;   S m i t h   C . ,   2 0 1 3 ,   P   A C M   I N T   C   C O M P   S U P ,   P 6 8 3 	 1 7 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 5 3 6 - 1 2 6 8 	 1 5 5 8 - 2 5 9 0 	 	 I E E E   P E R V A S   C O M P U T 	 I E E E   P e r v a s i v e   C o m p u t . 	 A P R - J U N 	 2 0 1 4 	 1 3 	 2 	 	 	 	 	 3 0 	 3 6 	 	 	 	 7 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 A I 8 F X 	 W O S : 0 0 0 3 3 7 1 4 6 3 0 0 0 0 8 	 	 
 J 	 S h a i k h ,   A R ;   B u t t e ,   A J ;   S c h u l l y ,   S D ;   D a l t o n ,   W S ;   K h o u r y ,   M J ;   H e s s e ,   B W 	 	 	 	 S h a i k h ,   A b d u l   R . ;   B u t t e ,   A t u l   J . ;   S c h u l l y ,   S h e r i   D . ;   D a l t o n ,   W i l l i a m   S . ;   K h o u r y ,   M u i n   J . ;   H e s s e ,   B r a d f o r d   W . 	 	 	 C o l l a b o r a t i v e   B i o m e d i c i n e   i n   t h e   A g e   o f   B i g   D a t a :   T h e   C a s e   o f   C a n c e r 	 J O U R N A L   O F   M E D I C A L   I N T E R N E T   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 b i o m e d i c a l   r e s e a r c h ;   c r o w d s o u r c i n g ;   h e a l t h   i n f o r m a t i o n   t e c h n o l o g y ;   i n n o v a t i o n ;   p r e c i s i o n   m e d i c i n e 	 M E D I C I N E 	 B i o m e d i c i n e   i s   u n d e r g o i n g   a   r e v o l u t i o n   d r i v e n   b y   h i g h   t h r o u g h p u t   a n d   c o n n e c t i v e   c o m p u t i n g   t h a t   i s   t r a n s f o r m i n g   m e d i c a l   r e s e a r c h   a n d   p r a c t i c e .   U s i n g   o n c o l o g y   a s   a n   e x a m p l e ,   t h e   s p e e d   a n d   c a p a c i t y   o f   g e n o m i c   s e q u e n c i n g   t e c h n o l o g i e s   i s   a d v a n c i n g   t h e   u t i l i t y   o f   i n d i v i d u a l   g e n e t i c   p r o f i l e s   f o r   a n t i c i p a t i n g   r i s k   a n d   t a r g e t i n g   t h e r a p e u t i c s .   T h e   g o a l   i s   t o   e n a b l e   a n   e r a   o f   " P 4 "   m e d i c i n e   t h a t   w i l l   b e c o m e   i n c r e a s i n g l y   m o r e   p r e d i c t i v e ,   p e r s o n a l i z e d ,   p r e e m p t i v e ,   a n d   p a r t i c i p a t i v e   o v e r   t i m e .   T h i s   v i s i o n   h i n g e s   o n   l e v e r a g i n g   p o t e n t i a l l y   i n n o v a t i v e   a n d   d i s r u p t i v e   t e c h n o l o g i e s   i n   m e d i c i n e   t o   a c c e l e r a t e   d i s c o v e r y   a n d   t o   r e o r i e n t   c l i n i c a l   p r a c t i c e   f o r   p a t i e n t - c e n t e r e d   c a r e .   B a s e d   o n   a   p a n e l   d i s c u s s i o n   a t   t h e   M e d i c i n e   2 . 0   c o n f e r e n c e   i n   B o s t o n   w i t h   r e p r e s e n t a t i v e s   f r o m   t h e   N a t i o n a l   C a n c e r   I n s t i t u t e ,   M o f f i t t   C a n c e r   C e n t e r ,   a n d   S t a n f o r d   U n i v e r s i t y   S c h o o l   o f   M e d i c i n e ,   t h i s   p a p e r   e x p l o r e s   h o w   e m e r g i n g   s o c i o t e c h n i c a l   f r a m e w o r k s ,   i n f o r m a t i c s   p l a t f o r m s ,   a n d   h e a l t h - r e l a t e d   p o l i c y   c a n   b e   u s e d   t o   e n c o u r a g e   d a t a   l i q u i d i t y   a n d   i n n o v a t i o n .   T h i s   b u i l d s   o n   t h e   I n s t i t u t e   o f   M e d i c i n e ' s   v i s i o n   f o r   a   " r a p i d   l e a r n i n g   h e a l t h   c a r e   s y s t e m "   t o   e n a b l e   a n   o p e n   s o u r c e ,   p o p u l a t i o n - b a s e d   a p p r o a c h   t o   c a n c e r   p r e v e n t i o n   a n d   c o n t r o l . 	 [ S h a i k h ,   A b d u l   R . ]   P r i c e w a t e r h o u s e C o o p e r s   L L P ,   M c l e a n ,   V A   2 2 1 0 2   U S A ;   [ B u t t e ,   A t u l   J . ]   S t a n f o r d   U n i v ,   D e p t   P e d i a t ,   S c h   M e d ,   D i v   S y s t   M e d ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A ;   [ S c h u l l y ,   S h e r i   D . ;   K h o u r y ,   M u i n   J . ;   H e s s e ,   B r a d f o r d   W . ]   N C I ,   D i v   C a n c   C o n t r o l   &   P o p u l a t   S c i ,   B e t h e s d a ,   M D   2 0 8 9 2   U S A ;   [ D a l t o n ,   W i l l i a m   S . ]   U n i v   S   F l o r i d a ,   H   L e e   M o f f i t t   C a n c   C t r ,   D e B a r t o l o   F a m i l y   P e r s o n a l i z e d   M e d   I n s t ,   T a m p a ,   F L   3 3 6 8 2   U S A 	 S h a i k h ,   A R   ( r e p r i n t   a u t h o r ) ,   P r i c e w a t e r h o u s e C o o p e r s   L L P ,   1 8 0 0   T y s o n s   B l v d ,   M c l e a n ,   V A   2 2 1 0 2   U S A . 	 s h a i k h @ u s . p w c . c o m 	 	 	 	 	 A m e r i c a n   A s s o c i a t i o n   o f   C a n c e r   R e s e a r c h ,   2 0 1 2 ,   C A N C   P R O G R   R E P   2 0 1 2 ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   N A T U R E ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   C A N C E R L I N Q ;   B a k e r   M ,   2 0 1 2 ,   N A T U R E ,   V 4 8 7 ,   P 2 8 2 ,   D O I   1 0 . 1 0 3 8 / 4 8 7 2 8 2 a ;   B u t t e   A J ,   2 0 1 1 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 8 ,   P 3 5 2 ,   D O I   1 0 . 1 1 3 6 / a m i a j n l - 2 0 1 1 - 0 0 0 3 4 3 ;   C h e n   R ,   2 0 1 0 ,   P L O S   C O M P U T   B I O L ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p c b i . 1 0 0 0 9 4 0 ;   D a l t o n   W S ,   2 0 1 0 ,   C L I N   C A N C E R   R E S ,   V 1 6 ,   P 5 9 8 7 ,   D O I   1 0 . 1 1 5 8 / 1 0 7 8 - 0 4 3 2 . C C R - 1 0 - 1 2 1 6 ;   D a l t o n   W S ,   2 0 1 2 ,   P A R T N E R S H I P   D E V   N A T L ;   D u d l e y   J T ,   2 0 1 1 ,   S C I   T R A N S L   M E D ,   V 3 ,   D O I   1 0 . 1 1 2 6 / s c i t r a n s l m e d . 3 0 0 2 6 4 8 ;   F e n s t e r m a c h e r   D A ,   2 0 1 1 ,   C A N C E R   J ,   V 1 7 ,   P 5 2 8 ,   D O I   1 0 . 1 0 9 7 / P P O . 0 b 0 1 3 e 3 1 8 2 3 8 2 1 6 e ;   H o o d   L ,   2 0 1 1 ,   N A T   R E V   C L I N   O N C O L ,   V 8 ,   P 1 8 4 ,   D O I   1 0 . 1 0 3 8 / n r c l i n o n c . 2 0 1 0 . 2 2 7 ;   K e a n   M A ,   2 0 1 2 ,   A C H I E V I N G   D A T A   L I Q U I ;   K h o u r y   M J ,   2 0 1 2 ,   A M   J   P R E V   M E D ,   V 4 2 ,   P 6 3 9 ,   D O I   1 0 . 1 0 1 6 / j . a m e p r e . 2 0 1 2 . 0 2 . 0 1 2 ;   L a k h a n i   K R ,   2 0 1 3 ,   N A T   B I O T E C H N O L ,   V 3 1 ,   P 1 0 8 ,   D O I   1 0 . 1 0 3 8 / n b t . 2 4 9 5 ;   L a k h a n i   K R ,   2 0 0 7 ,   I N N O V A T I O N S   T E C H N O L O ,   V 2 ,   P 1 0 3 4 ;   M u r p h y   S ,   2 0 1 0 ,   F D N   E V   D R I V   P R A C T   R A ;   N a t i o n a l   C a n c e r   I n s t i t u t e ,   S B I R   P R O G R   A N N   I N N   H ;   N a t i o n a l   C a n c e r   I n s t i t u t e   O f f i c e   o f   t h e   N a t i o n a l   C o o r d i n a t o r   f o r   H e a l t h   I n f o r m a t i o n   T e c h n o l o g y ,   U S   P U B L   D A T   C A N C   P R E ;   O f f i c e   o f   t h e   N a t i o n a l   C o o r d i n a t o r   f o r   H e a l t h   I n f o r m a t i o n   T e c h n o l o g y   N a t i o n a l   C a n c e r   I n s t i t u t e ,   C R O W D S   C A R   C A N C   S U P P ;   O l s e n   L ,   2 0 0 7 ,   L E A R N   H E A L T H C   S Y S T   W ;   P r e s i d e n t ' s   C o u n c i l   o f   A d v i s o r s   o n   S c i e n c e   &   T e c h n o l o g y ,   2 0 1 0 ,   R E A L   F U L L   P O T   H L T H   I ;   P r e s i d e n t ' s   C o u n c i l   o f   A d v i s o r s   o n   S c i e n c e   a n d   T e c h n o l o g y ,   2 0 1 0 ,   D E S   D I G   F U T   F E D   F U N D ;   S e r i e s   T H H R ,   2 0 1 1 ,   S E R I E S   T H H R ;   S h a i k h   A R ,   2 0 1 1 ,   A M   J   P R E V   M E D ,   V 4 0 ,   p S 9 1 ,   D O I   1 0 . 1 0 1 6 / j . a m e p r e . 2 0 1 1 . 0 2 . 0 1 2 ;   S i r o t a   M ,   2 0 1 1 ,   S C I   T R A N S L   M E D ,   V 3 ,   P 7 7 ,   D O I   D O I   1 0 . 1 1 2 6 / S C I T R A N S L M E D . 3 0 0 1 3 1 8 ] ;   Z e w a i l   A H . ,   2 0 0 8 ,   P H Y S   B I O L   A T O M S   M E D 	 2 6 	 0 	 0 	 J M I R   P U B L I C A T I O N S ,   I N C 	 T O R O N T O 	 5 9   W I N N E R S   C I R C L E ,   T O R O N T O ,   O N   M 4 L   3 Y 7 ,   C A N A D A 	 1 4 3 8 - 8 8 7 1 	 	 	 J   M E D   I N T E R N E T   R E S 	 J .   M e d .   I n t e r n e t   R e s . 	 A P R 	 2 0 1 4 	 1 6 	 4 	 	 	 	 	 1 4 3 	 1 4 7 	 e 1 0 1 	 1 0 . 2 1 9 6 / j m i r . 2 4 9 6 	 	 5 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 A H 9 Y J 	 W O S : 0 0 0 3 3 6 5 0 1 6 0 0 0 1 1 	 2 4 7 1 1 0 4 5 	 
 J 	 L a m p e ,   C ;   Z u b e ,   P ;   L e e ,   J ;   P a r k ,   C H ;   J o h n s t o n ,   E 	 	 	 	 L a m p e ,   C l i f f ;   Z u b e ,   P a u l ;   L e e ,   J u s i l ;   P a r k ,   C h u l   H y u n ;   J o h n s t o n ,   E r i k 	 	 	 C r o w d s o u r c i n g   c i v i l i t y :   A   n a t u r a l   e x p e r i m e n t   e x a m i n i n g   t h e   e f f e c t s   o f   d i s t r i b u t e d   m o d e r a t i o n   i n   o n l i n e   f o r u m s 	 G O V E R N M E N T   I N F O R M A T I O N   Q U A R T E R L Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 D e l i b e r a t i o n ;   P u b l i c   a d m i n i s t r a t i o n ;   P o l i t i c s ;   S o c i a l   m e d i a ;   H u m a n - c o m p u t e r   i n t e r a c t i o n ;   M o d e r a t i o n   s y s t e m s 	 I N F O R M A T I O N   O V E R L O A D ;   W E B S I T E 	 P a r t i c i p a t i o n   i n   d i s c u s s i o n s   a b o u t   t h e   p u b l i c   i n t e r e s t   c a n   b e   e n h a n c e d   b y   t e c h n o l o g y ,   b u t   c a n   a l s o   c r e a t e   a n   e n v i r o n m e n t   i n   w h i c h   p a r t i c i p a n t s   a r e   o v e r w h e l m e d   b y   t h e   q u a n t i t y ,   q u a l i t y ,   a n d   d i v e r s i t y   o f   i n f o r m a t i o n   a n d   a r g u m e n t s .   P o l i t i c a l   p a r t i c i p a t i o n   i s   a t   a   g r e a t e r   d i s a d v a n t a g e   t h a n   n o n - p o l i t i c a l   a c t i v i t i e s   i n   t h a t   p a r t i c i p a n t s   f r o m   d i f f e r e n t   p a r t i e s   a l r e a d y   s t a r t   o u t   w i t h   e s t a b l i s h e d   d i f f e r e n c e s ,   w h i c h   r e q u i r e s   t h e m   t o   r e a c h   s o m e   f o r m   o f   c o m m o n   g r o u n d   b e f o r e   p r o g r e s s   c a n   b e   m a d e .   T h o s e   s e e k i n g   a u t h e n t i c   d e l i b e r a t i o n   a r e   d i s c o u r a g e d   t o   p a r t i c i p a t e   w h e n   c o n f r o n t e d   w i t h   u n c i v i l   a n d   i n f l a m m a t o r y   r h e t o r i c .   T h e s e   i s s u e s   a r e   o f t e n   e x a c e r b a t e d   i n   o n l i n e   d i s c u s s i o n s ,   w h e r e   l a c k   o f   i d e n t i t y   c u e s   a n d   l o w   b a r r i e r s   t o   e n t r y   c a n   l e a d   t o   h e i g h t e n e d   i n c i v i l i t y   b e t w e e n   p a r t i c i p a n t s ,   o f t e n   l a b e l e d   a s   " f l a m i n g "   a n d   " t r o l l i n g " .   T h i s   p a p e r   e x p l o r e s   t h e   e x t e n t   t o   w h i c h   m o d e r a t o r   s y s t e m s ,   t o o l s   o n l i n e   d i s c u s s i o n   f o r u m s   u s e   t o   m a n a g e   c o n t r i b u t i o n s ,   c a n   r e d u c e   i n f o r m a t i o n   o v e r l o a d   a n d   e n c o u r a g e   c i v i l   c o n v e r s a t i o n s   i n   v i r t u a l   d i s c u s s i o n   s p a c e s .   U s i n g   t h e   p o p u l a r   w e b s i t e   S l a s h d o t   a s   a n   e x a m p l e   o f   s o u n d   m o d e r a t i o n   i n   a   p u b l i c   d i s c o u r s e   s e t t i n g ,   w e   f o u n d   t h a t   u s e r s   m o v e   t o w a r d   c o n s e n s u s   a b o u t   w h i c h   a n d   h o w   c o m m e n t s   d e s e r v e   t o   b e   m o d e r a t e d .   U s i n g   t h e s e   f i n d i n g s ,   w e   e x p l o r e   h o w   t r a n s f e r a b l e   t h e s e   s y s t e m s   a r e   f o r   p a r t i c i p a t i o n   i n   p u b l i c   m a t t e r s   s p e c i f i c a l l y   t o   t h e   u n i q u e   a t t r i b u t e s   o f   p o l i t i c a l   d i s c u s s i o n .   S l a s h d o t ' s   p o l i t i c a l   f o r u m   p r o v i d e s   a   c o m p a r i s o n   g r o u p   t h a t   a l l o w e d   u s   t o   f i n d   q u a n t i t a t i v e   a n d   q u a l i t a t i v e   d i f f e r e n c e s   i n   p o l i t i c a l   p o s t i n g ,   c o m m e n t s ,   a n d   m o d e r a t i o n .   O u r   r e s u l t s   s h o w   t h a t   l a r g e   s c a l e ,   c i v i l   p a r t i c i p a t i o n   i s   p o s s i b l e   w i t h   a   d i s t r i b u t e d   m o d e r a t i o n   s y s t e m   t h a t   e n a b l e s   r e g u l a r l y   l i v e l y   d e b a t e s   t o   b e   c o n d u c t e d   p o s i t i v e l y   b e c a u s e   t h e   s y s t e m   p r o v i d e s   t o o l s   f o r   p e o p l e   t o   e n f o r c e   n o r m s   o f   c i v i l i t y .   ( C )   2 0 1 4   E l s e v i e r   I n c .   A l l   r i g h t s   r e s e r v e d . 	 [ L a m p e ,   C l i f f ]   U n i v   M i c h i g a n ,   A n n   A r b o r ,   M I   4 8 1 0 9   U S A ;   [ Z u b e ,   P a u l ]   M i c h i g a n   S t a t e   U n i v ,   E   L a n s i n g ,   M I   4 8 8 2 4   U S A ;   [ L e e ,   J u s i l ;   P a r k ,   C h u l   H y u n ;   J o h n s t o n ,   E r i k ]   A r i z o n a   S t a t e   U n i v ,   T e m p e ,   A Z   8 5 2 8 7   U S A 	 L a m p e ,   C   ( r e p r i n t   a u t h o r ) ,   U n i v   M i c h i g a n ,   A n n   A r b o r ,   M I   4 8 1 0 9   U S A . 	 c a c l @ u m i c h . e d u ;   z u b e p a u l @ m s u . e d u ;   J l e e 2 4 9 @ a s u . e d u ;   C h u l h y u n . p a r k @ a s u . e d u ;   E r i k . J o h n s t o n @ a s u . e d u 	 	 	 	 	 A v e r y   C ,   1 9 9 9 ,   A M   E C O N   R E V ,   V 8 9 ,   P 5 6 4 ,   D O I   1 0 . 1 2 5 7 / a e r . 8 9 . 3 . 5 6 4 ;   B I K H C H A N D A N I   S ,   1 9 9 2 ,   J   P O L I T   E C O N ,   V 1 0 0 ,   P 9 9 2 ,   D O I   1 0 . 1 0 8 6 / 2 6 1 8 4 9 ;   B r u c k m a n   A . ,   2 0 0 6 ,   C H I   0 6   E X T E N D E D   A B S T ;   C h a d w i c k   A ,   2 0 0 6 ,   I N T E R N E T   P O L I T I C S   S T ;   C u r t i s   P . ,   1 9 9 3 ,   C O M P C O N ;   C u r t i s   P . ,   1 9 9 2 ,   C   D I R   I M P L   A D V   C O M P ;   D a v i s   R i c h a r d ,   1 9 9 9 ,   W E B   P O L I T I C S   I N T E R N E ;   E d m u n d s   A ,   2 0 0 0 ,   I N T   J   I N F O R M   M A N A G E ,   V 2 0 ,   P 1 7 ,   D O I   1 0 . 1 0 1 6 / S 0 2 6 8 - 4 0 1 2 ( 9 9 ) 0 0 0 5 1 - 1 ;   F a r i d a n i   S . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ;   G i l b e r t   E . ,   2 0 1 0 ,   C O M P U T E R   S U P P O R T E D   C ;   G o l d b e r g   D . ,   1 9 9 2 ,   C O M M U N I C A T I O N S   A C M ,   V 3 5 ;   H e r r i n g   S ,   2 0 0 2 ,   I N F O R M   S O C ,   V 1 8 ,   P 3 7 1 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 7 2 2 4 0 2 9 0 1 0 8 1 8 6 ;   H o g a n   B .   J . ,   2 0 0 9 ,   N E T W   E V   L I F ;   H o r n   S . ,   1 9 9 8 ,   C Y B E R V I L L E   C L I C K S   C U ;   H o r r i g a n   J . ,   2 0 0 4 ,   I N T E R N E T   D E M O C R A T I C ;   H u i s m a n   M . ,   2 0 1 1 ,   E   D E M O C R A C Y   I L L U S I O N ;   J o n e s   Q . ,   1 9 9 9 ,   G R O U P 9 9 ;   J o n e s   Q ,   2 0 0 4 ,   I N F O R M   S Y S T   R E S ,   V 1 5 ,   P 1 9 4 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 4 0 . 0 0 2 3 ;   J o n e s   Q . ,   2 0 0 2 ,   3 5   H A W   I N T   C   S Y S T   S C ;   K a v a n a u g h   A . ,   2 0 0 5 ,   C O M M U N I T I E S   T E C H N O L O ,   P 4 6 7 ;   K u s h i n   M .   J . ,   2 0 0 9 ,   1   M O N D A Y ,   V 1 4 ;   L a m p e   C . ,   2 0 0 6 ,   T H E S I S   U   M I C H I G A N ;   L a m p e   C . ,   2 0 0 4 ,   C   H U M   F A C T   C O M P   S Y S T ;   L a m p e   C . ,   2 0 0 7 ,   P   4 0   A N N   H A W   I N T   C   S ;   L e a   M . ,   1 9 9 2 ,   S O C I A L   C O N T E X T S   C O M P ,   P 8 9 ;   L e v y   D .   M . ,   2 0 0 8 ,   H D B   I N F O R M   C O M P U T E R ,   P 4 9 7 ,   D O I   1 0 . 1 0 0 2 / 9 7 8 0 4 7 0 2 8 1 8 1 9 . c h 2 0 ;   M a l d a   R . ,   2 0 0 3 ,   S L A S H D O T   F A Q ;   M a n j o o   F . ,   2 0 1 1 ,   T R O L L   R E V E A L   T H Y S E L F ;   C o l e m a n   R ,   2 0 0 8 ,   N E W   M E D I A   S O C ,   V 1 0 ,   P 1 7 9 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 0 7 0 8 6 4 7 4 ;   M i l l e r   G .   A . ,   1 9 6 2 ,   C   S E L F   O R G   S Y S T ;   M I L L E R   G A ,   1 9 5 6 ,   P S Y C H O L   R E V ,   V 6 3 ,   P 8 1 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 5 X . 1 0 1 . 2 . 3 4 3 ;   M i s h n e   G . ,   2 0 0 6 ,   W W W 2 0 0 6 ;   N o v e c k   B S ,   2 0 0 9 ,   W I K I   G O V E R N M E N T :   H O W   T E C H N O L O G Y   C A N   M A K E   G O V E R N M E N T   B E T T E R ,   D E M O C R A C Y   S T R O N G E R ,   A N D   C I T I Z E N S   M O R E   P O W E R F U L ,   P 1 ;   O ' R e i l l y   T . ,   2 0 1 0 ,   O P E N   G O V T   C O L L A B O R A T ;   P a p a c h a r i s s i   Z ,   2 0 0 4 ,   N E W   M E D I A   S O C ,   V 6 ,   P 2 5 9 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 0 4 0 4 1 4 4 4 ;   P f a f f e n b e r g e r   B . ,   2 0 0 2 ,   U S E N E T   C O W E B S   I N T E R A ;   P o o r   N ,   2 0 0 5 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 0 ;   P o w a z e k   D .   M . ,   2 0 0 2 ,   D E S I G N   C O M M U N I T Y   A R T ;   R A I N I E   L . ,   2 0 1 1 ,   S O C I A L   S I D E   I N T E R N E T ;   R e s n i c k   P . ,   2 0 0 1 ,   H C I   N E W   M I L L E N N I U M ;   R e s n i c k   P . ,   1 9 9 4 ,   A C M   C   C O M P   S U P P   C O O P ;   R h e i n g o l d   H o w a r d ,   2 0 0 0 ,   V I R T U A L   C O M M U N I T Y   H O ;   S c h n e i d e r   S .   M . ,   1 9 9 7 ,   T H E S I S   M I T ;   S h a c h a f   P ,   2 0 1 0 ,   J   I N F   S C I ,   V 3 6 ,   P 3 5 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 0 3 6 5 3 9 0 ;   S p r o u l l   L . ,   1 9 9 1 ,   C O N N E C T I O N S   N E W   W A Y S ;   S u n s t e i n   C ,   2 0 0 1 ,   R E P U B L I C   C O M ;   S w e e t s e r   K .   D . ,   2 0 0 8 ,   I N T   J   S T R A T E G I C   C O M M ,   V 2 ,   P 1 7 5 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 5 5 3 1 1 8 0 8 0 2 1 7 8 6 8 7 ;   T e r v e e n   L . ,   2 0 0 1 ,   H C I   N E W   M I L L E N N I U M ;   V i t a k   J ,   2 0 1 1 ,   C Y B E R P S Y C H   B E H   S O C   N ,   V 1 4 ,   P 1 0 7 ,   D O I   1 0 . 1 0 8 9 / c y b e r . 2 0 0 9 . 0 2 2 6 ;   W a l t h e r   J .   B . ,   2 0 0 2 ,   H D B   I N T E R P E R S O N A L   C O ;   W a n g   C .   J . ,   2 0 1 2 ,   C   W O R L D   A S S   P U B L   O P 	 5 1 	 0 	 0 	 E L S E V I E R   I N C 	 S A N   D I E G O 	 5 2 5   B   S T R E E T ,   S T E   1 9 0 0 ,   S A N   D I E G O ,   C A   9 2 1 0 1 - 4 4 9 5   U S A 	 0 7 4 0 - 6 2 4 X 	 1 8 7 2 - 9 5 1 7 	 	 G O V   I N F O R M   Q 	 G o v .   I n f .   Q . 	 A P R 	 2 0 1 4 	 3 1 	 2 	 	 	 	 	 3 1 7 	 3 2 6 	 	 1 0 . 1 0 1 6 / j . g i q . 2 0 1 3 . 1 1 . 0 0 5 	 	 1 0 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 A H 3 H M 	 W O S : 0 0 0 3 3 6 0 1 4 3 0 0 0 1 0 	 	 
 J 	 K a h l o n ,   M ;   Y u a n ,   L ;   G o l o g o r s k a y a ,   O ;   J o h n s t o n ,   S C 	 	 	 	 K a h l o n ,   M a n i n d e r ;   Y u a n ,   L e s l i e ;   G o l o g o r s k a y a ,   O k s a n a ;   J o h n s t o n ,   S .   C l a i b o r n e 	 	 	 C r o w d s o u r c i n g   t h e   C T S A   I n n o v a t i o n   -   M i s s i o n 	 C T S - C L I N I C A L   A N D   T R A N S L A T I O N A L   S C I E N C E 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 	 [ K a h l o n ,   M a n i n d e r ;   Y u a n ,   L e s l i e ;   G o l o g o r s k a y a ,   O k s a n a ;   J o h n s t o n ,   S .   C l a i b o r n e ]   U n i v   C a l i f   S a n   F r a n c i s c o ,   C l i n   &   T r a n s l a t   S c i   I n s t ,   S a n   F r a n c i s c o ,   C A   9 4 1 4 3   U S A ;   [ K a h l o n ,   M a n i n d e r ;   J o h n s t o n ,   S .   C l a i b o r n e ]   U n i v   C a l i f   S a n   F r a n c i s c o ,   D e p t   N e u r o l ,   S a n   F r a n c i s c o ,   C A   U S A 	 K a h l o n ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   S a n   F r a n c i s c o ,   C l i n   &   T r a n s l a t   S c i   I n s t ,   S a n   F r a n c i s c o ,   C A   9 4 1 4 3   U S A . 	 m i n i . k a h l o n @ u c s f . e d u 	 	 	 	 	 	 0 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 1 7 5 2 - 8 0 5 4 	 1 7 5 2 - 8 0 6 2 	 	 C T S - C L I N   T R A N S L   S C I 	 C T S - C l i n .   T r a n s l .   S c i . 	 A P R 	 2 0 1 4 	 7 	 2 	 	 	 	 	 8 9 	 9 2 	 	 1 0 . 1 1 1 1 / c t s . 1 2 1 4 7 	 	 4 	 M e d i c i n e ,   R e s e a r c h   &   E x p e r i m e n t a l 	 R e s e a r c h   &   E x p e r i m e n t a l   M e d i c i n e 	 A F 9 U J 	 W O S : 0 0 0 3 3 5 0 5 9 9 0 0 0 0 6 	 2 4 6 5 5 8 1 2 	 
 J 	 M c C o y ,   A B ;   W r i g h t ,   A ;   R o g i t h ,   D ;   F a t h i a m i n i ,   S ;   O t t e n b a c h e r ,   A J ;   S i t t i g ,   D F 	 	 	 	 M c C o y ,   A l l i s o n   B . ;   W r i g h t ,   A d a m ;   R o g i t h ,   D e e v a k a r ;   F a t h i a m i n i ,   S a f a ;   O t t e n b a c h e r ,   A l l i s o n   J . ;   S i t t i g ,   D e a n   F . 	 	 	 D e v e l o p m e n t   o f   a   c l i n i c i a n   r e p u t a t i o n   m e t r i c   t o   i d e n t i f y   a p p r o p r i a t e   p r o b l e m - m e d i c a t i o n   p a i r s   i n   a   c r o w d s o u r c e d   k n o w l e d g e   b a s e 	 J O U R N A L   O F   B I O M E D I C A L   I N F O R M A T I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 E l e c t r o n i c   h e a l t h   r e c o r d s ;   C r o w d s o u r c i n g ;   K n o w l e d g e   b a s e s ;   M e d i c a l   r e c o r d s ;   P r o b l e m - o r i e n t e d 	 O R D E R   E N T R Y ;   S Y S T E M S ;   R E C O R D S 	 B a c k g r o u n d :   C o r r e l a t i o n   o f   d a t a   w i t h i n   e l e c t r o n i c   h e a l t h   r e c o r d s   i s   n e c e s s a r y   f o r   i m p l e m e n t a t i o n   o f   v a r i o u s   c l i n i c a l   d e c i s i o n   s u p p o r t   f u n c t i o n s ,   i n c l u d i n g   p a t i e n t   s u m m a r i z a t i o n .   A   k e y   t y p e   o f   c o r r e l a t i o n   i s   l i n k i n g   m e d i c a t i o n s   t o   c l i n i c a l   p r o b l e m s ;   w h i l e   s o m e   d a t a b a s e s   o f   p r o b l e m - m e d i c a t i o n   l i n k s   a r e   a v a i l a b l e ,   t h e y   a r e   n o t   r o b u s t   a n d   d e p e n d   o n   p r o b l e m s   a n d   m e d i c a t i o n s   b e i n g   e n c o d e d   i n   p a r t i c u l a r   t e r m i n o l o g i e s .   C r o w d s o u r c i n g   r e p r e s e n t s   o n e   a p p r o a c h   t o   g e n e r a t i n g   r o b u s t   k n o w l e d g e   b a s e s   a c r o s s   a   v a r i e t y   o f   t e r m i n o l o g i e s ,   b u t   m o r e   s o p h i s t i c a t e d   a p p r o a c h e s   a r e   n e c e s s a r y   t o   i m p r o v e   a c c u r a c y   a n d   r e d u c e   m a n u a l   d a t a   r e v i e w   r e q u i r e m e n t s .   O b j e c t i v e :   W e   s o u g h t   t o   d e v e l o p   a n d   e v a l u a t e   a   c l i n i c i a n   r e p u t a t i o n   m e t r i c   t o   f a c i l i t a t e   t h e   i d e n t i f i c a t i o n   o f   a p p r o p r i a t e   p r o b l e m - m e d i c a t i o n   p a i r s   t h r o u g h   c r o w d s o u r c i n g   w i t h o u t   r e q u i r i n g   e x t e n s i v e   m a n u a l   r e v i e w .   A p p r o a c h :   W e   r e t r i e v e d   m e d i c a t i o n s   f r o m   o u r   c l i n i c a l   d a t a   w a r e h o u s e   t h a t   h a d   b e e n   p r e s c r i b e d   a n d   m a n u a l l y   l i n k e d   t o   o n e   o r   m o r e   p r o b l e m s   b y   c l i n i c i a n s   d u r i n g   e - p r e s c r i b i n g   b e t w e e n   J u n e   1 ,   2 0 1 0   a n d   M a y   3 1 ,   2 0 1 1 .   W e   i d e n t i f i e d   m e a s u r e s   l i k e l y   t o   b e   a s s o c i a t e d   w i t h   t h e   p e r c e n t a g e   o f   a c c u r a t e   p r o b l e m - m e d i c a t i o n   l i n k s   m a d e   b y   c l i n i c i a n s .   U s i n g   l o g i s t i c   r e g r e s s i o n ,   w e   c r e a t e d   a   m e t r i c   f o r   i d e n t i f y i n g   c l i n i c i a n s   w h o   h a d   m a d e   g r e a t e r   t h a n   o r   e q u a l   t o   9 5 %   a p p r o p r i a t e   l i n k s .   W e   e v a l u a t e d   t h e   a c c u r a c y   o f   t h e   a p p r o a c h   b y   c o m p a r i n g   l i n k s   m a d e   b y   t h o s e   p h y s i c i a n s   i d e n t i f i e d   a s   h a v i n g   a p p r o p r i a t e   l i n k s   t o   a   p r e v i o u s l y   m a n u a l l y   v a l i d a t e d   s u b s e t   o f   p r o b l e m - m e d i c a t i o n   p a i r s .   R e s u l t s :   O f   8 6 7   c l i n i c i a n s   w h o   a s s e r t e d   a   t o t a l   o f   2 3 7 , 7 4 8   p r o b l e m - m e d i c a t i o n   l i n k s   d u r i n g   t h e   s t u d y   p e r i o d ,   1 2 5   h a d   a   r e p u t a t i o n   m e t r i c   t h a t   p r e d i c t e d   t h e   p e r c e n t a g e   o f   a p p r o p r i a t e   l i n k s   g r e a t e r   t h a n   o r   e q u a l   t o   9 5 % .   T h e s e   c l i n i c i a n s   a s s e r t e d   a   t o t a l   o f   2 4 6 4   l i n k e d   p r o b l e m - m e d i c a t i o n   p a i r s   ( 9 8 3   d i s t i n c t   p a i r s ) .   C o m p a r e d   t o   a   p r e v i o u s l y   v a l i d a t e d   s e t   o f   p r o b l e m - m e d i c a t i o n   p a i r s ,   t h e   r e p u t a t i o n   m e t r i c   a c h i e v e d   a   s p e c i f i c i t y   o f   9 9 . 5 %   a n d   m a r g i n a l l y   i m p r o v e d   t h e   s e n s i t i v i t y   o f   p r e v i o u s l y   d e s c r i b e d   k n o w l e d g e   b a s e s .   C o n c l u s i o n :   A   r e p u t a t i o n   m e t r i c   m a y   b e   a   v a l u a b l e   m e a s u r e   f o r   i d e n t i f y i n g   h i g h   q u a l i t y   c l i n i c i a n - e n t e r e d ,   c r o w d s o u r c e d   d a t a .   ( C )   2 0 1 3   E l s e v i e r   I n c .   A l l   r i g h t s   r e s e r v e d . 	 [ M c C o y ,   A l l i s o n   B . ;   R o g i t h ,   D e e v a k a r ;   F a t h i a m i n i ,   S a f a ;   S i t t i g ,   D e a n   F . ]   U n i v   T e x a s   H o u s t o n ,   S c h   B i o m e d   I n f o r m a t   H o u s t o n ,   H o u s t o n ,   T X   7 7 0 3 0   U S A ;   [ W r i g h t ,   A d a m ]   H a r v a r d   U n i v ,   B r i g h a m   &   W o m e n s   H o s p ,   S c h   M e d ,   B o s t o n ,   M A   0 2 1 1 5   U S A ;   [ O t t e n b a c h e r ,   A l l i s o n   J . ]   U n i v   T e x a s   H o u s t o n ,   M e d   S c h   H o u s t o n ,   H o u s t o n ,   T X   7 7 0 3 0   U S A 	 M c C o y ,   A B   ( r e p r i n t   a u t h o r ) ,   T u l a n e   U n i v ,   S c h   P u b l   H l t h   &   T r o p   M e d ,   D e p t   B i o s t a t   &   B i o i n f o r m a t ,   1 4 4 0   C a n a l   S t , S t e   2 0 0 1 ,   N e w   O r l e a n s ,   L A   7 0 1 1 2   U S A . 	 a m c c o y 1 @ t u l a n e . e d u ;   a w r i g h t 5 @ p a r t n e r s . o r g ;   d e e v a k a r . r o g i t h @ u t h . t m c . e d u ;   s a f a . f a t h i a m i n i @ u t h . t m c . e d u ;   a l l i s o n . o t t e n b a c h e r @ n i h . g o v ;   d e a n . f . s i t t i g @ u t h . t m c . e d u 	 	 	 U T H e a l t h   Y o u n g   C l i n i c a l   a n d   T r a n s l a t i o n a l   S c i e n c e s   I n v e s t i g a t o r   A w a r d   [ K L 2   T R   0 0 0 3 7 0 - 0 6 A 1 ] ;   S t r a t e g i c   H e a l t h   I T   A d v a n c e d   R e s e a r c h   P r o j e c t s   P r o g r a m   ( S H A R P )   f r o m   t h e   O f f i c e   o f   t h e   N a t i o n a l   C o o r d i n a t o r   f o r   H e a l t h   I n f o r m a t i o n   T e c h n o l o g y   [ 1 0 5 1 0 5 9 2 ] ;   N C R R   [ 3 U L 1 R R 0 2 4 1 4 8 ] 	 T h i s   p r o j e c t   w a s   s u p p o r t e d   i n   p a r t   b y   a   U T H e a l t h   Y o u n g   C l i n i c a l   a n d   T r a n s l a t i o n a l   S c i e n c e s   I n v e s t i g a t o r   A w a r d   ( K L 2   T R   0 0 0 3 7 0 - 0 6 A 1 ) ,   C o n t r a c t   N o .   1 0 5 1 0 5 9 2   f o r   P a t i e n t - C e n t e r e d   C o g n i t i v e   S u p p o r t   u n d e r   t h e   S t r a t e g i c   H e a l t h   I T   A d v a n c e d   R e s e a r c h   P r o j e c t s   P r o g r a m   ( S H A R P )   f r o m   t h e   O f f i c e   o f   t h e   N a t i o n a l   C o o r d i n a t o r   f o r   H e a l t h   I n f o r m a t i o n   T e c h n o l o g y ,   a n d   N C R R   G r a n t   3 U L 1 R R 0 2 4 1 4 8 . 	 A L L A H B A K H S H   M ,   2 0 1 2 ,   A N A L   A P P R O A C H   P E O P L E ;   A l l a h b a k h s h   M ,   2 0 1 3 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 7 ,   P 7 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 3 . 2 0 ;   * A M ,   H E L P   C U S T   R A T ;   A s h   J S ,   2 0 0 7 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 4 ,   P 4 1 5 ,   D O I   1 0 . 1 1 9 7 / j a m i a . M 2 3 7 3 ;   B r o w n   S H ,   1 9 9 9 ,   A N N   I N T E R N   M E D ,   V 1 3 1 ,   P 1 1 7 ;   B r o w n s t e i n   C A ,   2 0 0 9 ,   N A T   B I O T E C H N O L ,   V 2 7 ,   P 8 8 8 ,   D O I   1 0 . 1 0 3 8 / n b t 1 0 0 9 - 8 8 8 ;   C a r t e r   J o h n   S ,   2 0 0 2 ,   P r o c   A M I A   S y m p ,   P 1 1 6 ;   C h e n   E S ,   2 0 0 8 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 5 ,   P 8 7 ,   D O I   1 0 . 1 1 9 7 / j a m i a . M 2 4 0 1 ;   C h e n   P . ,   2 0 0 8 ,   A L L   R E V   A R E   N O T   C R E A ;   * C O M M   P A T   S A F   H L T H ,   2 0 1 2 ,   H L T H   I T   P A T   S A F   B U I L ;   D u k e   J o n   D ,   2 0 1 0 ,   A M I A   A n n u   S y m p   P r o c ,   V 2 0 1 0 ,   P 1 7 7 ;   E k i n s   S ,   2 0 1 0 ,   P H A R M   R E S - D O R D R ,   V 2 7 ,   P 3 9 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 9 5 - 0 1 0 - 0 0 5 9 - 0 ;   E l k i n   P e t e r   L ,   2 0 1 1 ,   S t u d   H e a l t h   T e c h n o l   I n f o r m ,   V 1 6 6 ,   P 3 8 ;   E S T A B L I S H I N G   A ,   2 0 0 5 ,   C I T E D ,   V 9 ,   P 1 3 1 ;   F A Q S L A S H D O T   I ,   2 0 0 5 ,   I N T E R N E T J   H T T P S L A S H D ,   V 9 ,   P 1 3 ;   F e b l o w i t z   J C ,   2 0 1 1 ,   J   B I O M E D   I N F O R M ,   V 4 4 ,   P 6 8 8 ,   D O I   1 0 . 1 0 1 6 / j . j b i . 2 0 1 1 . 0 3 . 0 0 8 ;   G i l e s   J ,   2 0 0 5 ,   N A T U R E ,   V 4 3 8 ,   P 9 0 0 ,   D O I   1 0 . 1 0 3 8 / 4 3 8 9 0 0 a ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H U G H E S   S ,   2 0 1 1 ,   J   M E D   I N T E R N E T   R E S ,   V 1 3 ;   K I L I C O G L U   H ,   2 0 0 8 ,   S E M A N T I C   M E D L I N E   W E B ,   P 6 9 ;   K o p p e l   R ,   2 0 0 5 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 9 3 ,   P 1 1 9 7 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 9 3 . 1 0 . 1 1 9 7 ;   L a x m i s a n   A ,   2 0 1 2 ,   A P P L   C L I N   I N F O R M ,   V 3 ,   P 8 0 ,   D O I   1 0 . 4 3 3 8 / A C I - 2 0 1 1 - 1 1 - R A - 0 0 6 6 ;   M c C o y   A B ,   2 0 1 2 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 9 ,   P 7 1 3 ,   D O I   1 0 . 1 1 3 6 / a m i a j n l - 2 0 1 2 - 0 0 0 8 5 2 ;   M c C o y   A l l i s o n   B ,   2 0 1 1 ,   A M I A   A n n u   S y m p   P r o c ,   V 2 0 1 1 ,   P 8 8 8 ;   M C G L O H O N   M ,   2 0 1 0 ,   S T A R   Q U A L I T Y   A G G R E G A ;   M i l l e r   N ,   2 0 0 5 ,   M A N A G E   S C I ,   V 5 1 ,   P 1 3 5 9 ,   D O I   [ 1 0 . 1 2 8 7 / m n s c . 1 0 5 0 . 0 3 7 9 ,   1 0 . 1 2 8 7 / n i n s c . 1 0 5 0 . 0 3 7 9 ] ;   P A R R Y   D T ,   2 0 1 0 ,   2 0 1 0   I E E E   I N T   C   F U Z Z ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / F U Z Z Y . 2 0 1 0 . 5 5 8 4 0 5 5 ;   S i t t i g   D F ,   2 0 1 2 ,   C A N   M E D   A S S O C   J ,   V 1 8 4 ,   P 1 4 7 9 ,   D O I   1 0 . 1 5 0 3 / c m a j . 1 1 1 5 9 9 ;   S T R A N D E R S   R ,   2 0 1 1 ,   C O L L A B M A P   A U G M E N T I N G ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   W E E D   L L ,   1 9 6 8 ,   N E W   E N G L   J   M E D ,   V 2 7 8 ,   P 6 5 2 ,   D O I   1 0 . 1 0 5 6 / N E J M 1 9 6 8 0 3 2 1 2 7 8 1 2 0 4 ;   W r i g h t   A ,   2 0 1 0 ,   J   B I O M E D   I N F O R M ,   V 4 3 ,   P 8 9 1 ,   D O I   1 0 . 1 0 1 6 / j . j b i . 2 0 1 0 . 0 9 . 0 0 9 ;   W r i g h t   A ,   2 0 1 3 ,   A P P L   C L I N   I N F O R M ,   V 4 ,   P 1 0 0 ,   D O I   1 0 . 4 3 3 8 / A C I - 2 0 1 2 - 1 2 - R A - 0 0 5 1 ;   Z e n g   Q ,   2 0 0 2 ,   J   A M   M E D   I N F O R M   A S S N ,   V 9 ,   P 2 9 4 ,   D O I   1 0 . 1 1 9 7 / j a m i a . M 1 0 0 8 	 3 4 	 0 	 0 	 A C A D E M I C   P R E S S   I N C   E L S E V I E R   S C I E N C E 	 S A N   D I E G O 	 5 2 5   B   S T ,   S T E   1 9 0 0 ,   S A N   D I E G O ,   C A   9 2 1 0 1 - 4 4 9 5   U S A 	 1 5 3 2 - 0 4 6 4 	 1 5 3 2 - 0 4 8 0 	 	 J   B I O M E D   I N F O R M 	 J .   B i o m e d .   I n f o r m . 	 A P R 	 2 0 1 4 	 4 8 	 	 	 	 	 	 6 6 	 7 2 	 	 1 0 . 1 0 1 6 / j . j b i . 2 0 1 3 . 1 1 . 0 1 0 	 	 7 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   M e d i c a l   I n f o r m a t i c s 	 C o m p u t e r   S c i e n c e ;   M e d i c a l   I n f o r m a t i c s 	 A G 4 Z P 	 W O S : 0 0 0 3 3 5 4 2 9 2 0 0 0 0 7 	 2 4 3 2 1 1 7 0 	 
 J 	 A g u e r a - P e r e z ,   A ;   P a l o m a r e s - S a l a s ,   J C ;   d e   l a   R o s a ,   J J G ;   S i e r r a - F e r n a n d e z ,   J M 	 	 	 	 A g u e e r a - P e r e z ,   A g u s t i n ;   C a r l o s   P a l o m a r e s - S a l a s ,   J o s e ;   G o n z a l e z   d e   l a   R o s a ,   J u a n   J o s e ;   M a r i a   S i e r r a - F e r n a n d e z ,   J o s e 	 	 	 R e g i o n a l   w i n d   m o n i t o r i n g   s y s t e m   b a s e d   o n   m u l t i p l e   s e n s o r   n e t w o r k s :   A   c r o w d s o u r c i n g   p r e l i m i n a r y   t e s t 	 J O U R N A L   O F   W I N D   E N G I N E E R I N G   A N D   I N D U S T R I A L   A E R O D Y N A M I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M o n i t o r i n g   s y s t e m ;   W i n d   f i e l d s ;   N u m e r i c a l   W e a t h e r   P r e d i c t i o n ;   C r o w d s o u r c i n g 	 B A S I C   M E T E O R O L O G I C A L   S T A T I O N S ;   S U R F A C E   W I N D ;   W R F   M O D E L ;   E N E R G Y ;   S I M U L A T I O N ;   S E N S I T I V I T Y 	 T h e   a v a i l a b i l i t y   o f   u p d a t e d   i n f o r m a t i o n   o f   r e g i o n a l   w i n d   f i e l d s   i s   f u n d a m e n t a l   f o r   a n   e f f i c i e n t   m a n a g e m e n t   a n d   p r e d i c t i o n   o f   w i n d   p o w e r   p r o d u c t i o n .   T h e   p r e s e n t   p a p e r   p r o p o s e s   a   r e g i o n a l   w i n d   m o n i t o r i n g   s y s t e m   b a s e d   o n   t h e   i n t e g r a t i o n   o f   d i f f e r e n t   m e t e o r o l o g i c a l   n e t s   a s   a   d i r e c t   w a y   t o   o b t a i n   t h i s   i n f o r m a t i o n .   C o n c r e t e l y ,   w e   d e s c r i b e   a   m o n i t o r i n g   s y s t e m   f o r   t h e   r e g i o n   o f   A n d a l u s i a   s u p p o r t e d   b y   1 9 8   s t a t i o n s ,   a b l e   t o   p r o v i d e   n e a r   s u r f a c e   w i n d   f i e l d   e s t i m a t i o n s   w i t h   u p d a t i n g   p e r i o d   o f   1 0   m i n .   E a c h   o f   t h e s e   s t a t i o n s   h a s   d i f f e r e n t   c h a r a c t e r i s t i c s   s i n c e   t h e y   a r e   f o c u s e d   o n   m e a s u r i n g   d i f f e r e n t   e n v i r o n m e n t a l   p a r a m e t e r s ,   a n d   m o s t   o f   t h e m   a r e   b e l o w   t h e   q u a l i t y   l e v e l   r e q u i r e d   b y   t h e   W o r l d   M e t e o r o l o g i c a l   O r g a n i z a t i o n   f o r   w i n d   m e a s u r e m e n t .   D e s p i t e   t h i s   d r a w b a c k ,   t h e   p r o p o s e d   m o n i t o r i n g   s y s t e m   t a k e s   a d v a n t a g e   o f   t h e   h i g h   d e n s i t y   o f   m e a s u r e m e n t   p o i n t s   t o   p r o d u c e   v a l u a b l e   d e s c r i p t i o n s   o f   t h e   r e g i o n a l   w i n d   f i e l d .   A   b a s i c   g e o s t a t i s t i c a l   m o d e l   c o u p l e d   t o   t h e   s y s t e m   a c h i e v e s   b e t t e r   r e s u l t s   t h a n   N u m e r i c a l   W e a t h e r   P r e d i c t i o n   m o d e l s ,   o b t a i n i n g   R M S E   v a l u e s   o f   1 . 5 2   m / s   a n d   6 4 . 9   d e g r e e s   f o r   s p e e d   a n d   d i r e c t i o n a l   s e r i e s   r e s p e c t i v e l y .   T h e   t e s t   c o n f i r m s   t h e   t o l e r a n c e   o f   t h i s   m a s s i v e   m o n i t o r i n g   s y s t e m   t o   d a t a   w i t h o u t   q u a l i t y   a s s u r a n c e ,   b e i n g   a n   i n t e r e s t i n g   p l a t f o r m   t o   i m p l e m e n t   c r o w d s o u r c i n g   m e t h o d o l o g i e s .   ( C )   2 0 1 4   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ A g u e e r a - P e r e z ,   A g u s t i n ;   C a r l o s   P a l o m a r e s - S a l a s ,   J o s e ;   G o n z a l e z   d e   l a   R o s a ,   J u a n   J o s e ;   M a r i a   S i e r r a - F e r n a n d e z ,   J o s e ]   U n i v   C a d i z ,   A r e a   E l e c t ,   E P S A ,   E - 1 1 2 0 2   C a d i z ,   S p a i n 	 A g u e r a - P e r e z ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   C a d i z ,   A r e a   E l e c t ,   E P S A ,   A v   R a m o n   P u y o l   S - N ,   E - 1 1 2 0 2   C a d i z ,   S p a i n . 	 a g u s t i n . a g u e r a @ u c a . e s 	 	 	 A n d a l u s i a n   G o v e r n m e n t   [ P A I D I - T I C - 1 6 8 ] 	 T h e   a u t h o r s   w o u l d   l i k e   t o   t h a n k   t h e   A n d a l u s i a n   G o v e r n m e n t   f o r   f u n d i n g   t h e   R e s e a r c h   U n i t   P A I D I - T I C - 1 6 8   i n   C o m p u t a t i o n a l   I n s t r u m e n t a t i o n   a n d   I n d u s t r i a l   E l e c t r o n i c s   a n d   t h e   A g r i c u l t u r e   a n d   E n v i r o n m e n t a l   D e p a r t m e n t s   w h i c h   m a n a g e   C l i m a t o l o g i c a l   I n f o r m a t i o n   S y s t e m   ( U N A ) . 	 A g u e r a - P e r e z   A ,   2 0 1 2 ,   J   W I N D   E N G   I N D   A E R O D ,   V 1 0 7 ,   P 4 8 ,   D O I   1 0 . 1 0 1 6 / j . j w e i a . 2 0 1 2 . 0 3 . 0 2 0 ;   A g u e r a - P e r e z   A ,   2 0 1 3 ,   J   W I N D   E N G   I N D   A E R O D ,   V 1 1 9 ,   P 4 8 ,   D O I   1 0 . 1 0 1 6 / j . j w e i a . 2 0 1 3 . 0 5 . 0 1 1 ;   A l - Y a h y a i   S ,   2 0 1 2 ,   R E N E W   E N E R G ,   V 3 7 ,   P 1 5 0 ,   D O I   1 0 . 1 0 1 6 / j . r e n e n e . 2 0 1 1 . 0 6 . 0 1 4 ;   B a n u e l o s - R u e d a s   F ,   2 0 1 0 ,   R E N E W   S U S T   E N E R G   R E V ,   V 1 4 ,   P 2 3 8 3 ,   D O I   1 0 . 1 0 1 6 / j . r s e r . 2 0 1 0 . 0 5 . 0 0 1 ;   B u r l a n d o   M ,   2 0 0 9 ,   J   W I N D   E N G   I N D   A E R O D ,   V 9 7 ,   P 4 9 7 ,   D O I   1 0 . 1 0 1 6 / j . j w e i a . 2 0 0 9 . 0 7 . 0 1 1 ;   C a r v a l h o   D ,   2 0 1 2 ,   E N V I R O N   M O D E L L   S O F T W ,   V 3 3 ,   P 2 3 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 1 2 . 0 1 . 0 1 9 ;   C a r v a l h o   D ,   2 0 1 2 ,   O C E A N   M O D E L ,   V 5 6 ,   P 3 1 ,   D O I   1 0 . 1 0 1 6 / j . o c e m o d . 2 0 1 2 . 0 8 . 0 0 2 ;   C a s t i n o   F ,   2 0 0 3 ,   J   W I N D   E N G   I N D   A E R O D ,   V 9 1 ,   P 1 3 5 3 ,   D O I   1 0 . 1 0 1 6 / j . j w e i a . 2 0 0 3 . 0 8 . 0 0 4 ;   C e l l u r a   M ,   2 0 0 8 ,   R E N E W   E N E R G ,   V 3 3 ,   P 1 2 5 1 ,   D O I   1 0 . 1 0 1 6 / j . r e n e n e . 2 0 0 7 . 0 8 . 0 1 3 ;   C h e n g   S Y ,   2 0 1 2 ,   J   E N V I R O N   M A N A G E ,   V 1 1 2 ,   P 4 0 4 ,   D O I   1 0 . 1 0 1 6 / j . j e n v m a n . 2 0 1 2 . 0 8 . 0 2 0 ;   C h e n g   W Y Y ,   2 0 1 3 ,   R E N E W   E N E R G ,   V 5 5 ,   P 3 4 7 ,   D O I   1 0 . 1 0 1 6 / j . r e n e n e . 2 0 1 2 . 1 2 . 0 4 1 ;   d e   M e d i o   A m b i e n t e   C . ,   2 0 0 9 ,   D A T O S   A M B I E N T A L E S   A N ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   H e r n a n d e z - C e b a l l o s   M A ,   2 0 1 3 ,   A T M O S   R E S ,   V 1 2 4 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . a t m o s r e s . 2 0 1 2 . 1 2 . 0 0 2 ;   L i u   Y B ,   2 0 1 1 ,   J   W I N D   E N G   I N D   A E R O D ,   V 9 9 ,   P 3 0 8 ,   D O I   1 0 . 1 0 1 6 / j . j w e i a . 2 0 1 1 . 0 1 . 0 1 3 ;   M a s s e r a n   N ,   2 0 1 2 ,   R E N E W   S U S T   E N E R G   R E V ,   V 1 6 ,   P 6 4 7 6 ,   D O I   1 0 . 1 0 1 6 / j . r s e r . 2 0 1 2 . 0 3 . 0 7 3 ;   M a t h e r o n   G ,   1 9 6 3 ,   E C O N   G E O L ,   V 5 8 ,   P 1 2 4 6 ,   D O I   D O I   1 0 . 2 1 1 3 / G S E C O N G E O . 5 8 . 8 . 1 2 4 6 ;   M i g l i e t t a   M M ,   2 0 1 3 ,   A T M O S   R E S ,   V 1 2 0 ,   P 1 2 7 ,   D O I   1 0 . 1 0 1 6 / j . a t m o s r e s . 2 0 1 2 . 0 8 . 0 0 9 ;   M i g o y a   E ,   2 0 0 7 ,   R E N E W   E N E R G ,   V 3 2 ,   P 1 4 6 7 ,   D O I   1 0 . 1 0 1 6 / j . r e n e n e . 2 0 0 6 . 0 6 . 0 1 5 ;   M u s c a r e l l a   P A ,   2 0 1 1 ,   C O N T   S H E L F   R E S ,   V 3 1 ,   P 1 2 8 2 ,   D O I   1 0 . 1 0 1 6 / j . c s r . 2 0 1 1 . 0 5 . 0 0 3 ;   O l s s o n   P Q ,   2 0 1 3 ,   C O N T   S H E L F   R E S ,   V 6 3 ,   p S 2 ,   D O I   1 0 . 1 0 1 6 / j . c s r . 2 0 1 1 . 1 2 . 0 1 2 ;   O m e r   A M ,   2 0 0 8 ,   R E N E W   S U S T   E N E R G   R E V ,   V 1 2 ,   P 2 1 1 7 ,   D O I   1 0 . 1 0 1 6 / j . r s e r . 2 0 0 6 . 1 0 . 0 1 0 ;   P a l o m a r e s - S a l a s   J C ,   2 0 1 3 ,   E N E R G I E S ,   V 6 ,   P 5 8 0 7 ,   D O I   1 0 . 3 3 9 0 / e n 6 1 1 5 8 0 7 ;   S a l a m e h   T ,   2 0 0 9 ,   M E T E O R O L   A T M O S   P H Y S ,   V 1 0 3 ,   P 2 5 3 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 0 3 - 0 0 8 - 0 3 3 0 - 7 ;   T h i e b a u x   H .   J . ,   1 9 8 7 ,   S P A T I A L   O B J E C T I V E   A N ;   W a e w s a k   J ,   2 0 1 3 ,   R E N E W   E N E R G ,   V 5 3 ,   P 1 0 1 ,   D O I   1 0 . 1 0 1 6 / j . r e n e n e . 2 0 1 2 . 1 1 . 0 0 9 ;   W M O   W . M . O . ,   2 0 0 8 ,   G U I D E   M E T E O R O L O G I C A L ;   Z h a n g   Y ,   2 0 1 1 ,   A T M O S   E N V I R O N ,   V 4 5 ,   P 3 4 5 4 ,   D O I   1 0 . 1 0 1 6 / j . a t m o s e n v . 2 0 1 1 . 0 3 . 0 1 9 	 2 8 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 1 6 7 - 6 1 0 5 	 1 8 7 2 - 8 1 9 7 	 	 J   W I N D   E N G   I N D   A E R O D 	 J .   W i n d   E n g .   I n d .   A e r o d y n . 	 A P R 	 2 0 1 4 	 1 2 7 	 	 	 	 	 	 5 1 	 5 8 	 	 1 0 . 1 0 1 6 / j j w e i a . 2 0 1 4 . 0 2 . 0 0 6 	 	 8 	 E n g i n e e r i n g ,   C i v i l ;   M e c h a n i c s 	 E n g i n e e r i n g ;   M e c h a n i c s 	 A G 4 Y R 	 W O S : 0 0 0 3 3 5 4 2 6 8 0 0 0 0 5 	 	 
 J 	 M a r t i n e z ,   M G ;   W a l t o n ,   B 	 	 	 	 M a r t i n e z ,   M a r i a n   G a r c i a ;   W a l t o n ,   B r y n 	 	 	 T h e   w i s d o m   o f   c r o w d s :   T h e   p o t e n t i a l   o f   o n l i n e   c o m m u n i t i e s   a s   a   t o o l   f o r   d a t a   a n a l y s i s 	 T E C H N O V A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   O p e n   i n n o v a t i o n ;   O n l i n e   c o m m u n i t i e s ;   C r e a t i v i t y ;   P r e d i c t i v e   m o d e l l i n g   c o m p e t i t i o n ;   K n o w l e d g e   c o m m u n i t i e s ;   D a t a   a n a l y t i c s ;   S h o p p e r   b e h a v i o u r 	 O P E N - S O U R C E   S O F T W A R E ;   P R I V A T E - C O L L E C T I V E   I N N O V A T I O N ;   R E S E A R C H - A N D - D E V E L O P M E N T ;   U S E R   C O M M U N I T I E S ;   C O - C R E A T I O N ;   I N T R I N S I C   M O T I V A T I O N ;   E M P I R I C A L - A N A L Y S I S ;   I D E A S   C O M P E T I T I O N ;   K N O W L E D G E ;   F U T U R E 	 O n l i n e   c o m m u n i t i e s   h a v e   b e c o m e   a n   i m p o r t a n t   s o u r c e   f o r   k n o w l e d g e   a n d   n e w   i d e a s .   T h i s   p a p e r   c o n s i d e r s   t h e   p o t e n t i a l   o f   c r o w d s o u r c i n g   a s   a   t o o l   f o r   d a t a   a n a l y s i s   t o   a d d r e s s   t h e   i n c r e a s i n g   p r o b l e m s   f a c e d   b y   c o m p a n i e s   i n   t r y i n g   t o   d e a l   w i t h   " B i g   D a t a " .   B y   e x p o s i n g   t h e   p r o b l e m   t o   a   l a r g e   n u m b e r   o f   p a r t i c i p a n t s   p r o f i c i e n t   i n   d i f f e r e n t   a n a l y t i c a l   t e c h n i q u e s ,   c r o w d   c o m p e t i t i o n s   c a n   v e r y   q u i c k l y   a d v a n c e   t h e   t e c h n i c a l   f r o n t i e r   o f   w h a t   i s   p o s s i b l e   u s i n g   a   g i v e n   d a t a s e t .   T h e   e m p i r i c a l   s e t t i n g   o f   t h e   r e s e a r c h   i s   K a g g l e ,   t h e   w o r l d ' s   l e a d i n g   o n l i n e   p l a t f o r m   f o r   d a t a   a n a l y t i c s ,   w h i c h   o p e r a t e s   a s   a   k n o w l e d g e   b r o k e r   b e t w e e n   c o m p a n i e s   a i m i n g   t o   o u t s o u r c e   p r e d i c t i v e   m o d e l l i n g   c o m p e t i t i o n s   a n d   a   n e t w o r k   o f   o v e r   1 0 0 , 0 0 0   d a t a   s c i e n t i s t s   t h a t   c o m p e t e   t o   p r o d u c e   t h e   b e s t   s o l u t i o n s .   T h e   p a p e r   f o l l o w s   a n   e x p l o r a t o r y   c a s e   s t u d y   d e s i g n   a n d   f o c u s e s   o n   t h e   e f f o r t s   b y   D u n n h u m b y ,   t h e   c o n s u m e r   i n s i g h t   c o m p a n y   b e h i n d   t h e   s u c c e s s   o f   t h e   T e s c o   C l u b c a r d ,   t o   f i n d   a n d   l e v e r   t h e   e n o r m o u s   p o t e n t i a l   o f   t h e   c o l l e c t i v e   b r a i n   t o   p r e d i c t   s h o p p e r   b e h a v i o u r .   B y   a d o p t i n g   a   c r o w d s o u r c i n g   a p p r o a c h   t o   d a t a   a n a l y s i s ,   D u n n h u m b y   w e r e   a b l e   t o   e x t r a c t   i n f o r m a t i o n   f r o m   t h e i r   o w n   d a t a   t h a t   w a s   p r e v i o u s l y   u n a v a i l a b l e   t o   t h e m .   S i g n i f i c a n t l y ,   c r o w d s o u r c i n g   e f f e c t i v e l y   e n a b l e d   D u n n h u m b y   t o   e x p e r i m e n t   w i t h   o v e r   2 0 0 0   m o d e l l i n g   a p p r o a c h e s   t o   t h e i r   d a t a   r a t h e r   t h a n   r e l y i n g   o n   t h e   t r a d i t i o n a l   i n t e r n a l   b i a s e s   w i t h i n   t h e i r   R & D   u n i t s .   ( C )   2 0 1 4   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ M a r t i n e z ,   M a r i a n   G a r c i a ;   W a l t o n ,   B r y n ]   U n i v   K e n t ,   K e n t   B u s i n e s s   S c h ,   C a n t e r b u r y   C T 2   7 N Z ,   K e n t ,   E n g l a n d 	 M a r t i n e z ,   M G   ( r e p r i n t   a u t h o r ) ,   U n i v   K e n t ,   K e n t   B u s i n e s s   S c h ,   C a n t e r b u r y   C T 2   7 N Z ,   K e n t ,   E n g l a n d . 	 m . g a r c i a @ k e n t . a c . u k ;   b c m w @ k e n t . a c . u k 	 	 	 	 	 A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   A M A B I L E   T M ,   1 9 9 4 ,   J   P E R S   S O C   P S Y C H O L ,   V 6 6 ,   P 9 5 0 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 6 6 . 5 . 9 5 0 ;   A r o r a   A ,   2 0 1 0 ,   I N D   C O R P   C H A N G E ,   V 1 9 ,   P 7 7 5 ,   D O I   1 0 . 1 0 9 3 / i c c / d t q 0 2 2 ;   B a l d w i n   C . ,   2 0 0 9 ,   M O D E L I N G   P A R A D I G M   S H ;   B a r b a r o   M i c h a e l ,   2 0 0 6 ,   N Y   T I M E S ;   B e n a b o u   R ,   2 0 0 6 ,   A M   E C O N   R E V ,   V 9 6 ,   P 1 6 5 2 ,   D O I   1 0 . 1 2 5 7 / a e r . 9 6 . 5 . 1 6 5 2 ;   B e n n e t t   J . ,   2 0 0 7 ,   P   K D D   C U P   W O R K S H   1 2 ;   B i a n c h i   M ,   2 0 1 1 ,   T E C H N O V A T I O N ,   V 3 1 ,   P 2 2 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 1 0 . 0 3 . 0 0 2 ;   B i t z e r   J ,   2 0 0 7 ,   J   C O M P   E C O N ,   V 3 5 ,   P 1 6 0 ,   D O I   1 0 . 1 0 1 6 / j . j c e . 2 0 0 6 . 1 0 . 0 0 1 ;   B o g e r s   M ,   2 0 1 0 ,   J   M A N A G E ,   V 3 6 ,   P 8 5 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 9 2 0 6 3 0 9 3 5 3 9 4 4 ;   B o u d r e a u   K e v i n   J . ,   2 0 1 3 ,   H a r v a r d   B u s i n e s s   R e v i e w ,   V 9 1 ;   B o u d r e a u   K J ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 8 4 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 2 2 ;   C A L D E R   B J ,   1 9 7 5 ,   J   P E R S   S O C   P S Y C H O L ,   V 3 1 ,   P 5 9 9 ,   D O I   1 0 . 1 0 3 7 / h 0 0 7 7 1 0 0 ;   C h e s b r o u g h   H .   W . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   M O D E ;   C h i a r o n i   D ,   2 0 1 1 ,   T E C H N O V A T I O N ,   V 3 1 ,   P 3 4 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 0 9 . 0 8 . 0 0 7 ;   C h r i s t e n s e n   J F ,   2 0 0 5 ,   R E S   P O L I C Y ,   V 3 4 ,   P 1 5 3 3 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 5 . 0 7 . 0 0 2 ;   C l i f t o n   C . ,   1 9 9 6 ,   P   1 9 9 6   A C M   S I G M O D   W O ;   D a h l a n d e r   L ,   2 0 1 0 ,   R E S   P O L I C Y ,   V 3 9 ,   P 6 9 9 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 0 . 0 1 . 0 1 3 ;   D a h l a n d e r   L ,   2 0 1 2 ,   O R G A N   S C I ,   V 2 3 ,   P 9 8 8 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 1 0 . 0 6 7 3 ;   D a h l a n d e r   L ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 1 2 4 3 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 9 . 0 1 1 ;   D a v e n p o r t   T .   H . ,   2 0 0 6 ,   C O M P E T I N G   A N A L   N E W   S ;   D a v e n p o r t   T H ,   2 0 1 1 ,   H A R V A R D   B U S   R E V ,   V 8 9 ,   P 8 4 ;   D e c i   E .   L . ,   1 9 8 5 ,   I N T R I N S I C   M O T I V A T I O N ;   D e c i   E L ,   1 9 7 5 ,   I N T R I N S I C   M O T I V A T I O N ;   D e n   E . L . ,   1 9 9 9 ,   P S Y C H O L   B U L L ,   V 1 2 5 ,   P 6 2 7 ;   E b n e r   W ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 4 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 6 4 . x ;   E i s e n h a r d t   K M ,   2 0 0 7 ,   A C A D   M A N A G E   J ,   V 5 0 ,   P 2 5 ;   F a r a j   S ,   2 0 1 1 ,   O R G A N   S C I ,   V 2 2 ,   P 1 2 2 4 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 0 0 . 0 6 1 4 ;   F e r r a r y   M ,   2 0 1 1 ,   E U R   M A N A G   J ,   V 2 9 ,   P 1 8 1 ,   D O I   1 0 . 1 0 1 6 / j . e m j . 2 0 1 0 . 1 0 . 0 0 7 ;   F r a n k e   N ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 5 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 0 6 - 9 ;   F r e y   B S ,   1 9 9 7 ,   A M   E C O N   R E V ,   V 8 7 ,   P 7 4 6 ;   F r e y   K ,   2 0 1 1 ,   L O N G   R A N G E   P L A N N ,   V 4 4 ,   P 3 9 7 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 1 1 . 0 9 . 0 0 6 ;   F u l l e r   J ,   2 0 0 7 ,   T E C H N O V A T I O N ,   V 2 7 ,   P 3 7 8 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 0 6 . 0 9 . 0 0 5 ;   F u l l e r   J ,   2 0 1 1 ,   R & D   M A N A G E ,   V 4 1 ,   P 2 5 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 1 1 . 0 0 6 4 0 . x ;   F u l l e r   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 9 8 ;   F u l l e r   J ,   2 0 0 6 ,   A D V   C O N S U M   R E S ,   V 3 3 ,   P 6 3 9 ;   F u l l e r   J ,   2 0 0 7 ,   J   B U S   R E S ,   V 6 0 ,   P 6 0 ,   D O I   1 0 . 1 0 1 6 / j . j b u s r e s . 2 0 0 6 . 0 9 . 0 1 9 ;   G a c h t e r   S ,   2 0 1 0 ,   R E S   P O L I C Y ,   V 3 9 ,   P 8 9 3 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 0 . 0 4 . 0 1 0 ;   G a n t z   J . ,   2 0 1 1 ,   E X T R A C T I N G   V A L U E   C H A ;   G a r a v e l l i   A .   C . ,   2 0 1 3 ,   I n t e r n a t i o n a l   J o u r n a l   o f   I n n o v a t i o n   M a n a g e m e n t ,   V 1 7 ,   D O I   1 0 . 1 1 4 2 / S 1 3 6 3 9 1 9 6 1 3 4 0 0 1 7 3 ;   G a s s m a n n   O . ,   2 0 0 4 ,   P   R   D   M A N   C   J U L   6   9 ;   H a g e l   J . ,   1 9 9 7 ,   N E T   G A I N   E X P A N D I N G   M ;   H a i r   J .   F . ,   2 0 0 7 ,   E U R   B U S   R E V ,   V 1 9 ;   H a r g a d o n   A . ,   2 0 0 3 ,   B R E A K T H R O U G H   H A P P E N ;   H a r r i s   J .   G . ,   2 0 0 7 ,   R E T A I L E R S   C O M P E T E   A N ;   H e r t e l   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 7 - 7 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   P 1 4 0 6 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H u i z i n g h   E K R E ,   2 0 1 1 ,   T E C H N O V A T I O N ,   V 3 1 ,   P 2 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 1 0 . 1 0 . 0 0 2 ;   H u m b y   C . ,   2 0 0 3 ,   S C O R I N G   P O I N T S   T E S C O ;   J a r v e n p a a   S L ,   2 0 1 1 ,   L O N G   R A N G E   P L A N N ,   V 4 4 ,   P 4 4 0 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 1 1 . 0 9 . 0 0 2 ;   J e p p e s e n   L B ,   2 0 0 6 ,   O R G A N   S C I ,   V 1 7 ,   P 4 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 5 6 ;   L a k h a n i   K .   R . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ;   L a k h a n i   K R ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 9 2 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 9 5 - 1 ;   L a k h a n i   K . R . ,   2 0 0 7 ,   V A L U E   O P E N N E S S   S C I   P ;   L a m p e l   J ,   2 0 1 2 ,   A C A D   M A N A G E   P E R S P E C T ,   V 2 6 ,   P 7 1 ,   D O I   1 0 . 5 4 6 5 / a m p . 2 0 1 0 . 0 0 6 8 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   L i c h t e n t h a l e r   U ,   2 0 1 1 ,   A C A D   M A N A G E   P E R S P E C T ,   V 2 5 ,   P 7 5 ;   L i c h t e n t h a l e r   U ,   2 0 0 9 ,   J   M A N A G E   S T U D ,   V 4 6 ,   P 1 3 1 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 6 4 8 6 . 2 0 0 9 . 0 0 8 5 4 . x ;   L i n d e n b e r g   S ,   2 0 0 1 ,   K Y K L O S ,   V 5 4 ,   P 3 1 7 ;   L o v e   J H ,   2 0 1 1 ,   R E S   P O L I C Y ,   V 4 0 ,   P 1 4 3 8 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 1 . 0 5 . 0 1 6 ;   M a h r   D ,   2 0 1 2 ,   R E S   P O L I C Y ,   V 4 1 ,   P 1 6 7 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 1 . 0 8 . 0 0 6 ;   M a j c h r z a k   A ,   2 0 0 4 ,   M A N A G E   S C I ,   V 5 0 ,   P 1 7 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 3 0 . 0 1 1 6 ;   M a l o n e   T . ,   2 0 1 0 ,   H A R N E S S I N G   C R O W D S   M A ;   M a n y i k a   J . ,   2 0 1 1 ,   B I G   D A T A   N E X T   F R O N T I ;   M a r c h i   G ,   2 0 1 1 ,   T E C H N O V A T I O N ,   V 3 1 ,   P 3 5 0 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 1 1 . 0 4 . 0 0 5 ;   M o r g a n   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 7 7 ;   M o r r i s o n   P D ,   2 0 0 0 ,   M A N A G E   S C I ,   V 4 6 ,   P 1 5 1 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 6 . 1 2 . 1 5 1 3 . 1 2 0 7 6 ;   M o r t a r a   L ,   2 0 1 1 ,   T E C H N O V A T I O N ,   V 3 1 ,   P 5 8 6 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 1 1 . 0 5 . 0 0 2 ;   M o r t a r a   L ,   2 0 1 3 ,   T E C H N O L   F O R E C A S T   S O C ,   V 8 0 ,   P 1 5 6 3 ,   D O I   1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 1 3 . 0 1 . 0 0 8 ;   N a m b i s a n   S ,   2 0 0 8 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 9 ,   P 5 3 ;   N a r a y a n a n   A ,   2 0 0 8 ,   P   I E E E   S   S E C U R   P R I V ,   P 1 1 1 ;   N a t a l i c c h i o   A ,   2 0 1 4 ,   T E C H N O V A T I O N ,   V 3 4 ,   P 6 5 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 1 3 . 1 1 . 0 0 5 ;   O h m   P ,   2 0 1 0 ,   U C L A   L A W   R E V ,   V 5 7 ,   P 1 7 0 1 ;   P i k e   S ,   2 0 0 5 ,   R & D   M A N A G E ,   V 3 5 ,   P 1 1 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 5 . 0 0 3 7 7 . x ;   P o e t z   M K ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x ;   P o r t e r   A L ,   2 0 1 1 ,   T E C H N O V A T I O N ,   V 3 1 ,   P 1 7 1 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 1 1 . 0 1 . 0 0 1 ;   P r a h a l a d   C K ,   2 0 0 4 ,   J   I N T E R A C T   M A R K ,   V 1 8 ,   P 5 ,   D O I   1 0 . 1 0 0 2 / d i r . 2 0 0 1 5 ;   P r a h a l a d   C K ,   2 0 0 3 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 4 ,   P 1 2 ;   R e e v e   J . ,   2 0 0 5 ,   U N D E R S T A N D I N G   M O T I V A ;   R i d i n g s   C .   M . ,   2 0 0 4 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 0 ,   P 4 ;   R o b e r t s   J A ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 9 8 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 4 ;   R o w l e y   J ,   2 0 0 7 ,   J   C O N S U M   M A R K ,   V 2 4 ,   P 3 6 6 ,   D O I   1 0 . 1 1 0 8 / 0 7 3 6 3 7 6 0 7 1 0 8 2 2 9 5 4 ;   R U M M E L   A ,   1 9 8 8 ,   S O C   B E H A V   P E R S O N A L ,   V 1 6 ,   P 1 4 7 ,   D O I   1 0 . 2 2 2 4 / s b p . 1 9 8 8 . 1 6 . 2 . 1 4 7 ;   S a n s o n e   C . ,   2 0 0 0 ,   I N T R I N S I C   E X T R I N S I C ,   P 3 4 1 ,   D O I   1 0 . 1 0 1 6 / B 9 7 8 - 0 1 2 6 1 9 0 7 0 - 0 / 5 0 0 3 4 - 9 ;   S a n t a m a r i a   L ,   2 0 0 9 ,   R E S   P O L I C Y ,   V 3 8 ,   P 5 0 7 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 8 . 1 0 . 0 0 4 ;   S a u e r m a n n   H ,   2 0 1 0 ,   M A N A G E   S C I ,   V 5 6 ,   P 2 1 3 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 0 0 . 1 2 4 1 ;   S h a h   J .   Y . ,   2 0 0 0 ,   I N T R I N S I C   E X T R I N S I C ,   P 1 0 5 ,   D O I   1 0 . 1 0 1 6 / B 9 7 8 - 0 1 2 6 1 9 0 7 0 - 0 / 5 0 0 2 7 - 1 ;   S l o w i n s k i   G ,   2 0 0 9 ,   R E S   T E C H N O L   M A N A G E ,   V 5 2 ,   P 2 7 ;   S P E N C E   M ,   1 9 7 6 ,   Q   J   E C O N ,   V 9 0 ,   P 5 1 ,   D O I   1 0 . 2 3 0 7 / 1 8 8 6 0 8 6 ;   S u r o w i e c k i   J ,   2 0 0 5 ,   W I S D O M   C R O W D S   W H Y   M A ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   T e r w i e s c h   C . ,   2 0 0 9 ,   I N N O V A T I O N   T O U R N A M E N ;   T o d t l i n g   F ,   2 0 0 6 ,   E U R   P L A N   S T U D ,   V 1 4 ,   P 1 0 3 5 ,   D O I   1 0 . 1 0 8 0 / 0 9 6 5 4 3 1 0 6 0 0 8 5 2 3 6 5 ;   T s e n g   M . M . ,   2 0 0 3 ,   C U S T O R M E R   C E N T R I C   E N ;   v o n   H i p p e l   E ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 2 0 9 ;   v o n   H i p p e l   E ,   2 0 0 1 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 2 ,   P 8 2 ;   W a n g   X Q ,   2 0 1 3 ,   O R G A N   S C I ,   V 2 4 ,   P 4 1 4 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 2 0 . 0 7 5 6 ;   W e n g e r   E t i e n n e ,   1 9 9 8 ,   C O M M U N I T I E S   P R A C T I C E ;   W e s t   J . ,   2 0 0 7 ,   P   4 0   A N N   H A W   I N T   C   S ;   W e s t   J ,   2 0 0 8 ,   I N D   I N N O V ,   V 1 5 ,   P 2 2 3 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 6 2 7 1 0 8 0 2 0 3 3 7 3 4 ;   W I E R S M A   U J ,   1 9 9 2 ,   J   O C C U P   O R G A N   P S Y C H ,   V 6 5 ,   P 1 0 1 ;   W i e r t z   C ,   2 0 0 7 ,   O R G A N   S T U D ,   V 2 8 ,   P 3 4 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 0 7 0 7 6 0 0 3 ;   W i g h t m a n   D . ,   2 0 1 0 ,   P   N O R D   C H I   2 0 1 0   O C T ;   W i r t z   B W ,   2 0 1 0 ,   L O N G   R A N G E   P L A N N ,   V 4 3 ,   P 2 7 2 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 1 0 . 0 1 . 0 0 5 ;   Y a n g   J ,   2 0 0 8 ,   E C ' 0 8 :   P R O C E E D I N G S   O F   T H E   2 0 0 8   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E ,   P 2 4 6 ;   Y i n   R .   K . ,   2 0 0 3 ,   C A S E   S T U D Y   R E S   D E S I G ;   Z h e n g   H C ,   2 0 1 1 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 5 7 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 4 0 2 ;   Z w a s s   V ,   2 0 1 0 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 1 1 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 1 0 1 	 1 1 0 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 1 6 6 - 4 9 7 2 	 1 8 7 9 - 2 3 8 3 	 	 T E C H N O V A T I O N 	 T e c h n o v a t i o n 	 A P R 	 2 0 1 4 	 3 4 	 4 	 	 	 	 	 2 0 3 	 2 1 4 	 	 1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 1 4 . 0 1 . 0 1 1 	 	 1 2 	 E n g i n e e r i n g ,   I n d u s t r i a l ;   M a n a g e m e n t ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 E n g i n e e r i n g ;   B u s i n e s s   &   E c o n o m i c s ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 A G 6 P W 	 W O S : 0 0 0 3 3 5 5 4 1 9 0 0 0 0 1 	 	 
 J 	 W a r b y ,   S C ;   W e n d t ,   S L ;   W e l i n d e r ,   P ;   M u n k ,   E G S ;   C a r r i l l o ,   O ;   S o r e n s e n ,   H B D ;   J e n n u m ,   P ;   P e p p a r d ,   P E ;   P e r o n a ,   P ;   M i g n o t ,   E 	 	 	 	 W a r b y ,   S i m o n   C . ;   W e n d t ,   S a b r i n a   L . ;   W e l i n d e r ,   P e t e r ;   M u n k ,   E m i l   G .   S . ;   C a r r i l l o ,   O s c a r ;   S o r e n s e n ,   H e l g e   B .   D . ;   J e n n u m ,   P o u l ;   P e p p a r d ,   P a u l   E . ;   P e r o n a ,   P i e t r o ;   M i g n o t ,   E m m a n u e l 	 	 	 S l e e p - s p i n d l e   d e t e c t i o n :   c r o w d s o u r c i n g   a n d   e v a l u a t i n g   p e r f o r m a n c e   o f   e x p e r t s ,   n o n - e x p e r t s   a n d   a u t o m a t e d   m e t h o d s 	 N A T U R E   M E T H O D S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 S P I K E - W A V E   D I S C H A R G E S ;   E Y E - M O V E M E N T   S L E E P ;   E L E C T R O E N C E P H A L O G R A P H I C   F I N G E R P R I N T ;   M O T O R   S E Q U E N C E ;   E E G ;   S L O W ;   C O N S O L I D A T I O N ;   S C H I Z O P H R E N I A ;   A B N O R M A L I T I E S ;   A R C H I T E C T U R E 	 S l e e p   s p i n d l e s   a r e   d i s c r e t e ,   i n t e r m i t t e n t   p a t t e r n s   o f   b r a i n   a c t i v i t y   o b s e r v e d   i n   h u m a n   e l e c t r o e n c e p h a l o g r a p h i c   d a t a .   I n c r e a s i n g l y ,   t h e s e   o s c i l l a t i o n s   a r e   o f   b i o l o g i c a l   a n d   c l i n i c a l   i n t e r e s t   b e c a u s e   o f   t h e i r   r o l e   i n   d e v e l o p m e n t ,   l e a r n i n g   a n d   n e u r o l o g i c a l   d i s o r d e r s .   W e   u s e d   a n   I n t e r n e t   i n t e r f a c e   t o   c r o w d s o u r c e   s p i n d l e   i d e n t i f i c a t i o n   b y   h u m a n   e x p e r t s   a n d   n o n - e x p e r t s ,   a n d   w e   c o m p a r e d   t h e i r   p e r f o r m a n c e   w i t h   t h a t   o f   a u t o m a t e d   d e t e c t i o n   a l g o r i t h m s   i n   d a t a   f r o m   m i d d l e -   t o   o l d e r - a g e d   s u b j e c t s   f r o m   t h e   g e n e r a l   p o p u l a t i o n .   W e   a l s o   r e f i n e d   m e t h o d s   f o r   f o r m i n g   g r o u p   c o n s e n s u s   a n d   e v a l u a t i n g   t h e   p e r f o r m a n c e   o f   e v e n t   d e t e c t o r s   i n   p h y s i o l o g i c a l   d a t a   s u c h   a s   e l e c t r o e n c e p h a l o g r a p h i c   r e c o r d i n g s   f r o m   p o l y s o m n o g r a p h y .   C o m p a r e d   t o   t h e   e x p e r t   g r o u p   c o n s e n s u s   g o l d   s t a n d a r d ,   t h e   h i g h e s t   p e r f o r m a n c e   w a s   b y   i n d i v i d u a l   e x p e r t s   a n d   t h e   n o n -   e x p e r t   g r o u p   c o n s e n s u s ,   f o l l o w e d   b y   a u t o m a t e d   s p i n d l e   d e t e c t o r s .   T h i s   a n a l y s i s   s h o w e d   t h a t   c r o w d s o u r c i n g   t h e   s c o r i n g   o f   s l e e p   d a t a   i s   a n   e f f i c i e n t   m e t h o d   t o   c o l l e c t   l a r g e   d a t a   s e t s ,   e v e n   f o r   d i f f i c u l t   t a s k s   s u c h   a s   s p i n d l e   i d e n t i f i c a t i o n .   F u r t h e r   r e f i n e m e n t s   t o   s p i n d l e   d e t e c t i o n   a l g o r i t h m s   a r e   n e e d e d   f o r   m i d d l e -   t o   o l d e r - a g e d   s u b j e c t s . 	 [ W a r b y ,   S i m o n   C . ;   W e n d t ,   S a b r i n a   L . ;   M u n k ,   E m i l   G .   S . ;   C a r r i l l o ,   O s c a r ;   M i g n o t ,   E m m a n u e l ]   S t a n f o r d   U n i v ,   C t r   S l e e p   S c i   &   M e d ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A ;   [ W e n d t ,   S a b r i n a   L . ;   M u n k ,   E m i l   G .   S . ;   J e n n u m ,   P o u l ]   G l o s t r u p   U n i v   H o s p ,   D a n i s h   C t r   S l e e p   M e d ,   G l o s t r u p ,   D e n m a r k ;   [ W e l i n d e r ,   P e t e r ;   P e r o n a ,   P i e t r o ]   C A L T E C H ,   C o m p u t a t   V i s   L a b ,   P a s a d e n a ,   C A   9 1 1 2 5   U S A ;   [ S o r e n s e n ,   H e l g e   B .   D . ]   T e c h   U n i v   D e n m a r k ,   D e p t   E l e c t   E n g n ,   D K - 2 8 0 0   L y n g b y ,   D e n m a r k ;   [ P e p p a r d ,   P a u l   E . ]   U n i v   W i s c o n s i n ,   D e p t   P o p u l a t   H l t h   S c i ,   M a d i s o n ,   W I   U S A 	 M i g n o t ,   E   ( r e p r i n t   a u t h o r ) ,   S t a n f o r d   U n i v ,   C t r   S l e e p   S c i   &   M e d ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A . 	 p e r o n a @ c a l t e c h . e d u ;   m i g n o t @ s t a n f o r d . e d u 	 	 	 B r a i n   a n d   B e h a v i o r   R e s e a r c h   F o u n d a t i o n ;   C a n a d i a n   I n s t i t u t e s   o f   H e a l t h   R e s e a r c h ;   U S   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   ( N I H )   [ N S 2 3 7 2 4 ] ;   N A V Y   [ O N R - M U R I   N 0 0 0 1 4 - 0 6 - 1 - 0 7 3 4 ,   U C L A - M U R I   N 0 0 0 1 4 - 1 0 - 1 - 0 9 3 3 ] ;   N a t i o n a l   H e a r t ,   L u n g ,   a n d   B l o o d   I n s t i t u t e   [ R 0 1 H L 6 2 2 5 2 ] ;   N a t i o n a l   C e n t e r   f o r   R e s e a r c h   R e s o u r c e s   a t   t h e   N I H   [ 1 U L 1 R R 0 2 5 0 1 1 ] 	 T h e   a u t h o r s   t h a n k   t h e   R e g i s t e r e d   P o l y s o m n o g r a p h i c   T e c h n o l o g i s t   ( R P S G T )   e x p e r t s   w h o   p a r t i c i p a t e d   i n   t h e   s p i n d l e   i d e n t i f i c a t i o n   t a s k   a s   w e l l   a s   t h e   p a r t i c i p a n t s   a n d   o r g a n i z e r s   o f   t h e   W i s c o n s i n   S l e e p   C o h o r t   w h o   p r o v i d e d   t h e   p o l y s o m n o g r a p h y   d a t a .   W e   a l s o   t h a n k   C .   L i a n g ,   E .   L e a r y ,   H .   O l l i l a   a n d   H .   K r a e m e r   f o r   t h e i r   h e l p f u l   d i s c u s s i o n s   a n d   E . P .   A g u s t s s o n   a n d   H .   M o o r e   f o r   t h e i r   i n p u t   i n   t h e   p i l o t   s t u d y   f o r   t h i s   p r o j e c t .   W e   a r e   g r a t e f u l   t o   t h e   a u t h o r s   o f   t h e   p r e v i o u s l y   p u b l i s h e d   a l g o r i t h m s   w h o   g e n e r o u s l y   s h a r e d   t h e i r   c o d e   a n d   k n o w l e d g e   a b o u t   s p i n d l e   d e t e c t o r s .   S .   C .   W .   i s   s u p p o r t e d   b y   t h e   B r a i n   a n d   B e h a v i o r   R e s e a r c h   F o u n d a t i o n   a n d   a s   a   C a n a d i a n   I n s t i t u t e s   o f   H e a l t h   R e s e a r c h   B a n t i n g   F e l l o w .   E .   M .   i s   s u p p o r t e d   b y   U S   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   ( N I H )   g r a n t   N S 2 3 7 2 4 .   P . P .   r e c e i v e d   f u n d i n g   f r o m   t h e   C a l t e c h   S U R F   p r o g r a m   a n d   t h e   N A V Y   ( O N R - M U R I   N 0 0 0 1 4 - 0 6 - 1 - 0 7 3 4   a n d   U C L A - M U R I   N 0 0 0 1 4 - 1 0 - 1 - 0 9 3 3 ) .   E E G   d a t a   c o l l e c t i o n   w a s   s u p p o r t e d   b y   g r a n t s   f r o m   t h e   N a t i o n a l   H e a r t ,   L u n g ,   a n d   B l o o d   I n s t i t u t e   ( g r a n t   R 0 1 H L 6 2 2 5 2 )   a n d   t h e   N a t i o n a l   C e n t e r   f o r   R e s e a r c h   R e s o u r c e s   ( g r a n t   1 U L 1 R R 0 2 5 0 1 1 )   a t   t h e   N I H . 	 A m b r o s i u s   U ,   2 0 0 8 ,   B I O L   P S Y C H I A T ,   V 6 4 ,   P 3 4 4 ,   D O I   1 0 . 1 0 1 6 / j . b i o p s y c h . 2 0 0 8 . 0 3 . 0 0 2 ;   A n d e r e r   P ,   2 0 0 5 ,   N E U R O P S Y C H O B I O L O G Y ,   V 5 1 ,   P 1 1 5 ,   D O I   1 0 . 1 1 5 9 / 0 0 0 0 8 5 2 0 5 ;   A y o u b   A ,   2 0 1 3 ,   S L E E P ,   V 3 6 ,   P 9 0 5 ,   D O I   1 0 . 5 6 6 5 / s l e e p . 2 7 2 2 ;   B a r a k a t   M ,   2 0 1 3 ,   H U M   B R A I N   M A P P ,   V 3 4 ,   P 2 9 1 8 ,   D O I   1 0 . 1 0 0 2 / h b m . 2 2 1 1 6 ;   B a r a k a t   M ,   2 0 1 1 ,   B E H A V   B R A I N   R E S ,   V 2 1 7 ,   P 1 1 7 ,   D O I   1 0 . 1 0 1 6 / j . b b r . 2 0 1 0 . 1 0 . 0 1 9 ;   B e r g m a n n   T O ,   2 0 1 2 ,   N E U R O I M A G E ,   V 5 9 ,   P 2 7 3 3 ,   D O I   1 0 . 1 0 1 6 / j . n e u r o i m a g e . 2 0 1 1 . 1 0 . 0 3 6 ;   B o d i z s   R ,   2 0 1 2 ,   R E S   D E V   D I S A B I L ,   V 3 3 ,   P 1 5 3 ,   D O I   1 0 . 1 0 1 6 / j . r i d d . 2 0 1 1 . 0 9 . 0 0 4 ;   B o d i z s   R ,   2 0 0 9 ,   J   N E U R O S C I   M E T H ,   V 1 7 8 ,   P 2 0 5 ,   D O I   1 0 . 1 0 1 6 / j . j n e u m e t h . 2 0 0 8 . 1 1 . 0 0 6 ;   C r o w l e y   K ,   2 0 0 2 ,   C L I N   N E U R O P H Y S I O L ,   V 1 1 3 ,   P 1 6 1 5 ,   D O I   1 0 . 1 0 1 6 / S 1 3 8 8 - 2 4 5 7 ( 0 2 ) 0 0 2 3 7 - 7 ;   D e   G e n n a r o   L ,   2 0 0 3 ,   S L E E P   M E D   R E V ,   V 7 ,   P 4 2 3 ,   D O I   1 0 . 1 0 5 3 / s m r v . 2 0 0 2 . 0 2 5 2 ;   D e   G e n n a r o   L ,   2 0 0 5 ,   N E U R O I M A G E ,   V 2 6 ,   P 1 1 4 ,   D O I   1 0 . 1 0 1 6 / j . n e u r o i m a g e . 2 0 0 5 . 0 1 . 0 2 0 ;   D e   G e n n a r o   L ,   2 0 0 8 ,   A N N   N E U R O L ,   V 6 4 ,   P 4 5 5 ,   D O I   1 0 . 1 0 0 2 / a n a . 2 1 4 3 4 ;   D e v u y s t   S ,   2 0 0 6 ,   C o n f   P r o c   I E E E   E n g   M e d   B i o l   S o c ,   V 1 ,   P 3 8 8 3 ;   D i e k e l m a n n   S ,   2 0 1 0 ,   N A T   R E V   N E U R O S C I ,   V 1 1 ,   P 1 1 4 ,   D O I   1 0 . 1 0 3 8 / n r n 2 7 6 2 ;   D o n o h o   D L ,   2 0 1 0 ,   B I O S T A T I S T I C S ,   V 1 1 ,   P 3 8 5 ,   D O I   1 0 . 1 0 9 3 / b i o s t a t i s t i c s / k x q 0 2 8 ;   E s p a   F ,   2 0 0 0 ,   C L I N   N E U R O P H Y S I O L ,   V 1 1 1 ,   P 9 2 9 ,   D O I   1 0 . 1 0 1 6 / S 1 3 8 8 - 2 4 5 7 ( 0 0 ) 0 0 2 4 9 - 2 ;   F E I N B E R G   I ,   1 9 6 7 ,   J   P S Y C H I A T   R E S ,   V 5 ,   P 1 0 7 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 2 - 3 9 5 6 ( 6 7 ) 9 0 0 2 7 - 1 ;   F e r r a r a   M i c h e l e ,   2 0 1 2 ,   F r o n t   N e u r o l ,   V 3 ,   P 5 7 ,   D O I   1 0 . 3 3 8 9 / f n e u r . 2 0 1 2 . 0 0 0 5 7 ;   F e r r a r e l l i   F ,   2 0 0 7 ,   A M   J   P S Y C H I A T ,   V 1 6 4 ,   P 4 8 3 ,   D O I   1 0 . 1 1 7 6 / a p p i . a j p . 1 6 4 . 3 . 4 8 3 ;   F o g e l   S M ,   2 0 1 1 ,   N E U R O S C I   B I O B E H A V   R ,   V 3 5 ,   P 1 1 5 4 ,   D O I   1 0 . 1 0 1 6 / j . n e u b i o r e v . 2 0 1 0 . 1 2 . 0 0 3 ;   G a i s   S ,   2 0 0 2 ,   J   N E U R O S C I ,   V 2 2 ,   P 6 8 3 0 ;   H i m a n e n   S L ,   2 0 0 3 ,   S L E E P   M E D ,   V 4 ,   P 2 2 9 ,   D O I   1 0 . 1 0 1 6 / S 1 3 8 9 0 - 9 4 5 7 ( 0 2 ) 0 0 2 3 9 - 3 ;   H u u p p o n e n   E ,   2 0 0 0 ,   J   S L E E P   R E S ,   V 9 ,   P 3 2 7 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 2 8 6 9 . 2 0 0 0 . 0 0 2 2 0 . x ;   H u u p p o n e n   E ,   2 0 0 7 ,   A R T I F   I N T E L L   M E D ,   V 4 0 ,   P 1 5 7 ,   D O I   1 0 . 1 0 1 6 / j . a r t m e d . 2 0 0 7 . 0 4 . 0 0 3 ;   I b e r   C ,   2 0 0 7 ,   A A S M   M A N U A L   S C O R I N G ;   L i m o g e s   E ,   2 0 0 5 ,   B R A I N ,   V 1 2 8 ,   P 1 0 4 9 ,   D O I   1 0 . 1 0 9 3 / b r a i n / a w h 4 2 5 ;   M a r t i n   N ,   2 0 1 3 ,   N E U R O B I O L   A G I N G ,   V 3 4 ,   P 4 6 8 ,   D O I   1 0 . 1 0 1 6 / j . n e u r o b i o l a g i n g . 2 0 1 2 . 0 5 . 0 2 0 ;   M c C o r m i c k   L ,   1 9 9 7 ,   S L E E P ,   V 2 0 ,   P 9 3 9 ;   M o l l e   M ,   2 0 0 2 ,   J   N E U R O S C I ,   V 2 2 ,   P 1 0 9 4 1 ;   M o n t a g n a   P ,   2 0 0 3 ,   L A N C E T   N E U R O L ,   V 2 ,   P 1 6 7 ,   D O I   1 0 . 1 0 1 6 / S 1 4 7 4 - 4 4 2 2 ( 0 3 ) 0 0 3 2 3 - 5 ;   M y a t c h i n   I ,   2 0 0 7 ,   P E D I A T R   N E U R O L ,   V 3 6 ,   P 1 0 6 ,   D O I   1 0 . 1 0 1 6 / j . p e d i a t r n e u r o l . 2 0 0 6 . 0 9 . 0 1 4 ;   N i c o l a s   A ,   2 0 0 1 ,   C L I N   N E U R O P H Y S I O L ,   V 1 1 2 ,   P 5 2 1 ,   D O I   1 0 . 1 0 1 6 / S 1 3 8 8 - 2 4 5 7 ( 0 0 ) 0 0 5 5 6 - 3 ;   N i r   Y ,   2 0 1 1 ,   N E U R O N ,   V 7 0 ,   P 1 5 3 ,   D O I   1 0 . 1 0 1 6 / j . n e u r o n . 2 0 1 1 . 0 2 . 0 4 3 ;   P e p p a r d   P E ,   2 0 1 3 ,   A M   J   E P I D E M I O L ,   V 1 7 7 ,   P 1 0 0 6 ,   D O I   1 0 . 1 0 9 3 / a j e / k w s 3 4 2 ;   P e t i t   D ,   2 0 0 4 ,   J   P S Y C H O S O M   R E S ,   V 5 6 ,   P 4 8 7 ,   D O I   1 0 . 1 0 1 6 / j . j p s y c h o r e s . 2 0 0 4 . 0 2 . 0 0 1 ;   P l a n t e   D T ,   2 0 1 3 ,   J   A F F E C T   D I S O R D E R S ,   V 1 4 6 ,   P 1 2 0 ,   D O I   1 0 . 1 0 1 6 / j . j a d . 2 0 1 2 . 0 6 . 0 1 6 ;   R a y   L B ,   2 0 1 0 ,   J   S L E E P   R E S ,   V 1 9 ,   P 3 7 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 8 6 9 . 2 0 0 9 . 0 0 8 0 2 . x ;   R u c h   S ,   2 0 1 2 ,   N E U R O P S Y C H O L O G I A ,   V 5 0 ,   P 2 3 8 9 ,   D O I   1 0 . 1 0 1 6 / j . n e u r o p s y c h o l o g i a . 2 0 1 2 . 0 6 . 0 0 8 ;   S c h a b u s   M ,   2 0 0 6 ,   E U R   J   N E U R O S C I ,   V 2 3 ,   P 1 7 3 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 0 - 9 5 6 8 . 2 0 0 6 . 0 4 6 9 4 . x ;   S c h a b u s   M ,   2 0 0 7 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 4 ,   P 1 3 1 6 4 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 7 0 3 0 8 4 1 0 4 ;   S C H I M I C E K   P ,   1 9 9 4 ,   C L I N   E L E C T R O E N C E P H A L ,   V 2 5 ,   P 2 6 ;   S H I B A G A K I   M ,   1 9 8 2 ,   S L E E P ,   V 5 ,   P 4 7 ;   S I L V E R S T E I N   L D ,   1 9 7 6 ,   E L E C T R O E N   C L I N   N E U R O ,   V 4 0 ,   P 6 6 6 ,   D O I   1 0 . 1 0 1 6 / 0 0 1 3 - 4 6 9 4 ( 7 6 ) 9 0 1 4 2 - 5 ;   S i t n i k o v a   E ,   2 0 0 9 ,   J   N E U R O S C I   M E T H ,   V 1 8 0 ,   P 3 0 4 ,   D O I   1 0 . 1 0 1 6 / j . j n e u m e t h . 2 0 0 9 . 0 4 . 0 0 6 ;   S t e r i a d e   M ,   2 0 0 6 ,   N E U R O S C I E N C E ,   V 1 3 7 ,   P 1 0 8 7 ,   D O I   1 0 . 1 0 1 6 / j . n e u r o s c i e n c e . 2 0 0 5 . 1 0 . 0 2 9 ;   T a n   X ,   2 0 0 1 ,   C L I N   N E U R O P H Y S I O L ,   V 1 1 2 ,   P 1 5 4 0 ,   D O I   1 0 . 1 0 1 6 / S 1 3 8 8 - 2 4 5 7 ( 0 1 ) 0 0 5 7 0 - 3 ;   V u k a d i n o v i c   Z ,   2 0 1 1 ,   E U R   J   N E U R O S C I ,   V 3 4 ,   P 1 0 3 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 0 - 9 5 6 8 . 2 0 1 1 . 0 7 8 2 2 . x ;   W a l k e r   M P ,   2 0 0 9 ,   A N N   N Y   A C A D   S C I ,   V 1 1 5 6 ,   P 1 6 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 9 - 6 6 3 2 . 2 0 0 9 . 0 4 4 1 6 . x ;   W a m s l e y   E J ,   2 0 1 2 ,   B I O L   P S Y C H I A T ,   V 7 1 ,   P 1 5 4 ,   D O I   1 0 . 1 0 1 6 / j . b i o p s y c h . 2 0 1 1 . 0 8 . 0 0 8 ;   W E N D T   S L ,   2 0 1 2 ,   C   P   I E E E   E N G   M E D   B I O ,   P 4 2 5 0 ;   W e r t h   E ,   1 9 9 7 ,   E L E C T R O E N   C L I N   N E U R O ,   V 1 0 3 ,   P 5 3 5 ,   D O I   1 0 . 1 0 1 6 / S 0 0 1 3 - 4 6 9 4 ( 9 7 ) 0 0 0 7 0 - 9 	 5 1 	 3 	 3 	 N A T U R E   P U B L I S H I N G   G R O U P 	 L O N D O N 	 M A C M I L L A N   B U I L D I N G ,   4   C R I N A N   S T ,   L O N D O N   N 1   9 X W ,   E N G L A N D 	 1 5 4 8 - 7 0 9 1 	 1 5 4 8 - 7 1 0 5 	 	 N A T   M E T H O D S 	 N a t .   M e t h o d s 	 A P R 	 2 0 1 4 	 1 1 	 4 	 	 	 	 	 3 8 5 	 + 	 	 1 0 . 1 0 3 8 / N M E T H . 2 8 5 5 	 	 1 1 	 B i o c h e m i c a l   R e s e a r c h   M e t h o d s 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y 	 A E 1 S L 	 W O S : 0 0 0 3 3 3 7 4 9 9 0 0 0 1 6 	 2 4 5 6 2 4 2 4 	 
 J 	 [ A n o n y m o u s ] 	 	 	 	 [ A n o n y m o u s ] 	 	 	 O n   C l a s s r o o m   B l o g s 	 R E A D I N G   T E A C H E R 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 I n   t h e   c o l u m n ,   B y   E d u c a t o r s ,   F o r   E d u c a t o r s ,   t h e   E d i t o r s   o f   T h e   R e a d i n g   T e a c h e r   h i g h l i g h t   i d e a s   f r o m   t h e   I n t e r e s t i n g   W a y s   s e r i e s   .   C u r a t e d   b y   T o m   B a r r e t t ,   t h e   I n t e r e s t i n g   W a y s   S e r i e s   i s   a n   e x a m p l e   o f   c r o w d s o u r c i n g   o r   t h e   p o w e r   o f   c o l l a b o r a t i v e   t h o u g h t .   T h e   I n t e r e s t i n g   W a y s   S e r i e s   h a s   m o r e   t h a n   3 0   t o p i c s ,   w i t h   n e w   i d e a s   c o n t i n u a l l y   a d d e d   v i a   E D T E C H   a t   a n d   T w i t t e r .   I t   i s   l i c e n s e d   u n d e r   a   A t t r i b u t i o n   N o n c o m m e r c i a l   S h a r e   A l i k e   3 . 0   L i c e n s e ,   a l l o w i n g   c o l l a b o r a t o r s   t o   s h a r e   t h e   w o r k   a s   w e l l   a s   a d d   i d e a s .   T h e r e f o r e ,   t h e   i d e a s   f o r   u s i n g   d i f f e r e n t   t y p e s   o f   t e c h n o l o g y   i n   t h e   c l a s s r o o m   a r e   a d d e d   v i a   o p e n   s o u r c e ,   w i t h   s o m e   m o r e   a p p l i c a b l e   t h a n   o t h e r s . 	 	 	 	 	 	 	 	 S u l l i v a n   A n d r e w ,   2 0 0 8 ,   A T L A N T I C 	 1 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 0 3 4 - 0 5 6 1 	 1 9 3 6 - 2 7 1 4 	 	 R E A D   T E A C H 	 R e a d .   T e a c h . 	 A P R 	 2 0 1 4 	 6 7 	 7 	 	 	 	 	 5 2 8 	 5 3 1 	 	 1 0 . 1 0 0 2 / t r t r . 1 2 4 3 	 	 4 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 A D 7 S C 	 W O S : 0 0 0 3 3 3 4 6 4 9 0 0 0 0 7 	 	 
 J 	 B i c k e l ,   W K ;   W i l s o n ,   A G ;   F r a n c k ,   C T ;   M u e l l e r ,   E T ;   J a r m o l o w i c z ,   D P ;   K o f f a r n u s ,   M N ;   F e d e ,   S J 	 	 	 	 B i c k e l ,   W a r r e n   K . ;   W i l s o n ,   A .   G e o r g e ;   F r a n c k ,   C h r i s t o p h e r   T . ;   M u e l l e r ,   E .   T e r r y ;   J a r m o l o w i c z ,   D a v i d   P . ;   K o f f a r n u s ,   M i k h a i l   N . ;   F e d e ,   S a m a n t h a   J . 	 	 	 U s i n g   c r o w d s o u r c i n g   t o   c o m p a r e   t e m p o r a l ,   s o c i a l   t e m p o r a l ,   a n d   p r o b a b i l i t y   d i s c o u n t i n g   a m o n g   o b e s e   a n d   n o n - o b e s e   i n d i v i d u a l s 	 A P P E T I T E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 O b e s i t y ;   D e c i s i o n   m a k i n g ;   T e m p o r a l   d i s c o u n t i n g ;   S o c i a l   d i s c o u n t i n g ;   P r o b a b i l i t y   d i s c o u n t i n g ;   C r o w d s o u r c i n g 	 F O O D   R E I N F O R C E M E N T ;   C I G A R E T T E   S M O K E R S ;   D E L A Y ;   W O M E N ;   A D D I C T I O N ;   O V E R W E I G H T ;   N E U R O E C O N O M I C S ;   I M P U L S I V I T Y ;   R E W A R D S ;   R E A L 	 P r e v i o u s   r e s e a r c h   c o m p a r i n g   o b e s e   a n d   n o n - o b e s e   s a m p l e s   o n   t h e   d e l a y e d   d i s c o u n t i n g   p r o c e d u r e   h a s   p r o d u c e d   m i x e d   r e s u l t s .   T h e   a i m   o f   t h e   c u r r e n t   s t u d y   w a s   t o   c l a r i f y   t h e s e   d i s c r e p a n t   f i n d i n g s   b y   c o m p a r i n g   a   v a r i e t y   o f   t e m p o r a l   d i s c o u n t i n g   m e a s u r e s   i n   a   l a r g e   s a m p l e   o f   i n t e r n e t   u s e r s   ( n   =   1 1 6 3 )   o b t a i n e d   f r o m   a   c r o w d s o u r c i n g   s e r v i c e ,   A m a z o n   M e c h a n i c a l   T u r k   ( A M T ) .   M e a s u r e s   o f   t e m p o r a l ,   s o c i a l - t e m p o r a l   ( a   c o m b i n a t i o n   o f   s t a n d a r d   a n d   s o c i a l   t e m p o r a l ) ,   a n d   p r o b a b i l i t y   d i s c o u n t i n g   w e r e   o b t a i n e d .   S i g n i f i c a n t   d i f f e r e n c e s   w e r e   o b t a i n e d   o n   a l l   d i s c o u n t i n g   m e a s u r e s   e x c e p t   p r o b a b i l i t y   d i s c o u n t i n g ,   b u t   t h e   o b t a i n e d   e f f e c t   s i z e s   w e r e   s m a l l .   T h e s e   d a t a   s u g g e s t   t h a t   l a r g e r - N   s t u d i e s   w i l l   b e   m o r e   l i k e l y   t o   d e t e c t   d i f f e r e n c e s   b e t w e e n   o b e s e   a n d   n o n - o b e s e   s a m p l e s ,   a n d   m a y   a f f o r d   t h e   o p p o r t u n i t y ,   i n   f u t u r e   s t u d i e s ,   t o   d e c o m p o s e   a   l a r g e   o b e s e   s a m p l e   i n t o   d i f f e r e n t   s u b g r o u p s   t o   e x a m i n e   t h e   e f f e c t   o f   o t h e r   r e l e v a n t   m e a s u r e s ,   s u c h   a s   t h e   r e i n f o r c i n g   v a l u e   o f   f o o d ,   o n   d i s c o u n t i n g .   ( c )   2 0 1 3   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ B i c k e l ,   W a r r e n   K . ;   W i l s o n ,   A .   G e o r g e ;   F r a n c k ,   C h r i s t o p h e r   T . ;   M u e l l e r ,   E .   T e r r y ;   K o f f a r n u s ,   M i k h a i l   N . ]   V i r g i n i a   T e c h ,   A d d i c t   R e c o v e r y   R e s   C t r ,   C a r i l   R e s   I n s t ,   R o a n o k e ,   V A   2 4 0 1 6   U S A ;   [ F r a n c k ,   C h r i s t o p h e r   T . ]   V i r g i n i a   T e c h ,   D e p t   S t a t ,   B l a c k s b u r g ,   V A   2 4 0 6 1   U S A ;   [ J a r m o l o w i c z ,   D a v i d   P . ]   U n i v   K a n s a s ,   L a w r e n c e ,   K S   6 6 0 4 5   U S A ;   [ F e d e ,   S a m a n t h a   J . ]   U n i v   N e w   M e x i c o ,   A l b u q u e r q u e ,   N M   8 7 1 3 1   U S A 	 B i c k e l ,   W K   ( r e p r i n t   a u t h o r ) ,   V i r g i n i a   T e c h ,   A d d i c t   R e c o v e r y   R e s   C t r ,   C a r i l   R e s   I n s t ,   2   R i v e r s i d e   C i r c l e ,   R o a n o k e ,   V A   2 4 0 1 6   U S A . 	 w k b i c k e l @ v t c . v t . e d u ;   a r l w i l s o @ v t c . v t . e d u ;   c h f r a n c k @ v t . e d u ;   e l d o n m u e l l e r @ g m a i l . c o m ;   d p j @ k u . e d u ;   m i c k y k @ v t c . v t . e d u ;   s j f e d e @ u n m . e d u 	 	 	 N I H   [ R 0 1   D A   0 2 4 0 8 0 ,   R 0 1   D A   0 2 4 0 8 0 - 0 2 S 1 ,   R 0 1   D A   0 3 0 2 4 1 ,   R 0 1   D A   0 3 4 7 5 5 ,   R 0 1   A A   0 2 1 5 2 9 ] ;   V i r g i n i a   T e c h   c a r i l i o n   R e s e a r c h   I n s t i t u t e 	 T h i s   w o r k   w a s   f u n d e d   b y   N I H   G r a n t s   R 0 1   D A   0 2 4 0 8 0 ,   R 0 1   D A   0 2 4 0 8 0 - 0 2 S 1 ,   R 0 1   D A   0 3 0 2 4 1 ,   R 0 1   D A   0 3 4 7 5 5 ,   R 0 1   A A   0 2 1 5 2 9 ,   a n d   t h e   V i r g i n i a   T e c h   c a r i l i o n   R e s e a r c h   I n s t i t u t e .   T h e   a u t h o r s   w o u l d   l i k e   t o   t h a n k   P a t s y   M a r s h a l l   f o r   a s s i s t a n c e   w i t h   m a n u s c r i p t   p r e p a r a t i o n . 	 A p p e l h a n s   B .   M . ,   2 0 1 2 ,   A P P E T I T E ;   A p p e l h a n s   B M ,   2 0 1 1 ,   O B E S I T Y ,   V 1 9 ,   P 2 1 7 5 ,   D O I   1 0 . 1 0 3 8 / o b y . 2 0 1 1 . 5 7 ;   A p p e l h a n s   B M ,   2 0 0 9 ,   O B E S I T Y ,   V 1 7 ,   P 6 4 0 ,   D O I   1 0 . 1 0 3 8 / o b y . 2 0 0 8 . 6 3 8 ;   B a k e r   F ,   2 0 0 3 ,   J   A B N O R M   P S Y C H O L ,   V 1 1 2 ,   P 3 8 2 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 1 - 8 4 3 X . 1 1 2 . 3 . 3 8 2 ;   B e s t   J R ,   2 0 1 2 ,   J   C O N S U L T   C L I N   P S Y C H ,   V 8 0 ,   P 1 0 8 6 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 9 8 2 7 ;   B i c k e l   W .   K . ,   2 0 1 2 ,   P S Y C H O P H A R M A C O L O G Y ;   B i c k e l   W K ,   2 0 0 9 ,   J   N E U R O S C I ,   V 2 9 ,   P 8 8 3 9 ,   D O I   1 0 . 1 5 2 3 / J N E U R O S C I . 5 3 1 9 - 0 8 . 2 0 0 9 ;   B i c k e l   W K ,   2 0 1 2 ,   A D D I C T I O N   S Y N D R O M E   H ;   B i c k e l   W K ,   2 0 1 1 ,   C U R R   P S Y C H I A T   R E P ,   V 1 3 ,   P 4 0 6 ,   D O I   1 0 . 1 0 0 7 / s 1 1 9 2 0 - 0 1 1 - 0 2 1 5 - 1 ;   B i c k e l   W K ,   2 0 0 7 ,   D R U G   A L C O H O L   D E P E N ,   V 9 0 ,   p S 8 5 ,   D O I   1 0 . 1 0 1 6 / j . d r u g a l c d e p . 2 0 0 6 . 0 9 . 0 1 6 ;   B i c k e l   W K ,   2 0 1 2 ,   P H A R M A C O L   T H E R A P E U T ,   V 1 3 4 ,   P 2 8 7 ,   D O I   1 0 . 1 0 1 6 / j . p h a r m t h e r a . 2 0 1 2 . 0 2 . 0 0 4 ;   B i c k e l   W K ,   2 0 1 2 ,   P S Y C H O P H A R M A C O L O G Y ,   V 2 2 1 ,   P 3 6 1 ,   D O I   1 0 . 1 0 0 7 / s 0 0 2 1 3 - 0 1 2 - 2 6 8 9 - x ;   B u h r m e s t e r   M ,   2 0 1 1 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 6 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 0 3 9 3 9 8 0 ;   C a r r   K a t e l y n   A ,   2 0 1 1 ,   C u r r   D r u g   A b u s e   R e v ,   V 4 ,   P 1 9 0 ;   C e n t e r s   f o r   D i s e a s e   C o n t r o l   a n d   P r e v e n t i o n   ( C D C ) ,   2 0 1 3 ,   O B   O V ;   C h a r l t o n   S R ,   2 0 1 3 ,   J   B E H A V   D E C I S   M A K I N G ,   V 2 6 ,   P 1 1 8 ,   D O I   1 0 . 1 0 0 2 / b d m . 7 6 6 ;   D a v i s   C ,   2 0 1 0 ,   A P P E T I T E ,   V 5 4 ,   P 2 0 8 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 0 9 . 1 1 . 0 0 2 ;   E p s t e i n   L H ,   2 0 1 0 ,   P H Y S I O L   B E H A V ,   V 1 0 0 ,   P 4 3 8 ,   D O I   1 0 . 1 0 1 6 / j . p h y s b e h . 2 0 1 0 . 0 4 . 0 2 9 ;   F i e l d s   S A ,   2 0 1 3 ,   A P P E T I T E ,   V 7 0 ,   P 6 0 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 1 3 . 0 6 . 0 8 9 ;   F i e l d s   S A ,   2 0 1 1 ,   B E H A V   P H A R M A C O L ,   V 2 2 ,   P 2 6 6 ,   D O I   1 0 . 1 0 9 7 / F B P . 0 b 0 1 3 e 3 2 8 3 4 5 c 8 5 5 ;   G A R R O W   J S ,   1 9 8 5 ,   I N T   J   O B E S I T Y ,   V 9 ,   P 1 4 7 ;   H e n d r i c k s o n   K .   L . ,   2 0 1 3 ,   B E H A V   R E S   T H E R A P Y ;   H o s m e r   D ,   2 0 0 0 ,   A P P L   L O G I S T I C   R E G R E S ;   J a r m o l o w i c z   D P ,   2 0 1 2 ,   B E H A V   P R O C E S S ,   V 9 1 ,   P 3 0 8 ,   D O I   1 0 . 1 0 1 6 / j . b e p r o c . 2 0 1 2 . 0 9 . 0 0 1 ;   J o h n s o n   M W ,   2 0 0 2 ,   J   E X P   A N A L   B E H A V ,   V 7 7 ,   P 1 2 9 ,   D O I   1 0 . 1 9 0 1 / j e a b . 2 0 0 2 . 7 7 - 1 2 9 ;   K i r b y   K N ,   1 9 9 6 ,   P S Y C H O N   B   R E V ,   V 3 ,   P 1 0 0 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 1 0 7 4 8 ;   K i s h i n e v s k y   F I ,   2 0 1 2 ,   A P P E T I T E ,   V 5 8 ,   P 5 8 2 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 1 1 . 1 1 . 0 2 9 ;   M a n w a r i n g   J .   L . ,   2 0 1 1 ,   P S Y C H O L   R E C ,   V 6 1 ,   P 4 ;   M a z u r   J .   E . ,   1 9 8 7 ,   B E H A V I O U R ,   V 5 ,   P 5 5 ;   N e d e r k o o r n   C ,   2 0 0 6 ,   A P P E T I T E ,   V 4 7 ,   P 2 5 3 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 0 6 . 0 5 . 0 0 8 ;   R a s m u s s e n   E B ,   2 0 1 0 ,   B E H A V   P R O C E S S ,   V 8 3 ,   P 2 3 ,   D O I   1 0 . 1 0 1 6 / j . b e p r o c . 2 0 0 9 . 0 9 . 0 0 1 ;   R o l l i n s   B Y ,   2 0 1 0 ,   A P P E T I T E ,   V 5 5 ,   P 4 2 0 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 1 0 . 0 7 . 0 1 4 ;   S n o b   n a t i o n ,   2 0 1 2 ,   E C O N O M I S T ;   S p r o u s e   J ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 1 5 5 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 0 - 0 0 3 9 - 7 ;   S t o e c k e l   L E ,   2 0 1 3 ,   B R A I N   I M A G I N G   B E H A V ,   P 1 ;   W e l l e r   R E ,   2 0 0 8 ,   A P P E T I T E ,   V 5 1 ,   P 5 6 3 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 0 8 . 0 4 . 0 1 0 ;   W o r l d   H e a l t h   O r g a n i z a t i o n ,   2 0 1 3 ,   G L O B   D A T   B O D   M A S S   I N 	 3 7 	 2 	 2 	 A C A D E M I C   P R E S S   L T D -   E L S E V I E R   S C I E N C E   L T D 	 L O N D O N 	 2 4 - 2 8   O V A L   R D ,   L O N D O N   N W 1   7 D X ,   E N G L A N D 	 0 1 9 5 - 6 6 6 3 	 1 0 9 5 - 8 3 0 4 	 	 A P P E T I T E 	 A p p e t i t e 	 A P R   1 	 2 0 1 4 	 7 5 	 	 	 	 	 	 8 2 	 8 9 	 	 1 0 . 1 0 1 6 / j . a p p e t . 2 0 1 3 . 1 2 . 0 1 8 	 	 8 	 B e h a v i o r a l   S c i e n c e s ;   N u t r i t i o n   &   D i e t e t i c s 	 B e h a v i o r a l   S c i e n c e s ;   N u t r i t i o n   &   D i e t e t i c s 	 A C 8 T U 	 W O S : 0 0 0 3 3 2 8 0 8 5 0 0 0 1 1 	 2 4 3 8 0 8 8 3 	 
 J 	 L a n ,   K C ;   S h i h ,   W Y 	 	 	 	 L a n ,   K u n - C h a n ;   S h i h ,   W e n - Y u a h 	 	 	 A n   i n t e l l i g e n t   d r i v e r   l o c a t i o n   s y s t e m   f o r   s m a r t   p a r k i n g 	 E X P E R T   S Y S T E M S   W I T H   A P P L I C A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 P e d e s t r i a n   d e a d   r e c k o n i n g ;   S i m p l e   h a r m o n i c   m o t i o n ;   Z U P T ;   M a p   m a t c h i n g ;   F l o o r   p l a n ;   S m a r t   p a r k i n g 	 	 I t   i s   o f t e n   f r u s t r a t i n g   f o r   d r i v e r s   t o   f i n d   p a r k i n g   s p a c e s ,   a n d   p a r k i n g   i t s e l f   i s   c o s t l y   i n   a l m o s t   e v e r y   m a j o r   c i t y   i n   t h e   w o r l d .   H e r e   w e   p r o p o s e   a   c r o w d s o u r c i n g   s o l u t i o n   b y   e x p l o i t i n g   s e n s o r s   i n   s m a r t - p h o n e s   t o   c o l l e c t   r e a l - t i m e   p a r k i n g   a v a i l a b i l i t y   i n f o r m a t i o n .   W e   d e s i g n   a   p h o n e - b a s e d   s y s t e m   t o   t r a c k   a   d r i v e r ' s   t r a j e c t o r y   t o   d e t e c t   w h e n   t h e y   a r e   a b o u t   t o   l e a v e   t h e i r   p a r k i n g   s p o t .   W e   f o c u s   o n   t h e   e f f i c i e n c y   a n d   a c c u r a c y   o f   u s i n g   a   p h o n e   t o   m o n i t o r   t h e   d r i v e r ' s   w a l k i n g   t r a j e c t o r y ,   a p p l y i n g   a   w a i s t - m o u n t e d   P D R   m e t h o d   t h a t   c a n   m e a s u r e   t h e   d r i v e r ' s   m o v i n g   d i s t a n c e   w i t h   a   h i g h   a c c u r a c y .   I n   a d d i t i o n ,   w e   d e s i g n   a   m a p   m a t c h i n g   a l g o r i t h m   t o   c a l i b r a t e   t h e   d i r e c t i o n   e r r o r s   w h e n   t h e   d r i v e r   i s   i n   a n   i n d o o r   e n v i r o n m e n t ,   u s i n g   w i d e l y - a v a i l a b l e   b u i l d i n g   f l o o r   p l a n s .   T h e   r e s u l t s   o f   o u r   e x p e r i m e n t   s h o w   t h a t   w e   c a n   a c h i e v e   a b o u t   9 8 %   a c c u r a c y   i n   e s t i m a t i n g   t h e   u s e r ' s   w a l k i n g   d i s t a n c e ,   w i t h   a n   o v e r a l l   l o c a t i o n   e r r o r   o f   a b o u t   0 . 4 8   m .   ( C )   2 0 1 3   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ L a n ,   K u n - C h a n ]   N a t l   C h e n g   K u n g   U n i v ,   D e p t   C o m p   S c i   &   I n f o r m a t   E n g n ,   T a i n a n   7 0 1 ,   T a i w a n ;   [ S h i h ,   W e n - Y u a h ]   N a t l   C h i a o   T u n g   U n i v ,   D e p t   C o m p   S c i ,   H s i n c h u   3 0 0 1 0 ,   T a i w a n 	 S h i h ,   W Y   ( r e p r i n t   a u t h o r ) ,   N a t l   C h i a o   T u n g   U n i v ,   D e p t   C o m p   S c i ,   1 0 0 1   U n i v   R d ,   H s i n c h u   3 0 0 1 0 ,   T a i w a n . 	 k l a n @ c s i e . n c k u . e d u . t w ;   T o d d 6 2 9 . c s 0 1 g @ n c t u . e d u . t w 	 	 	 N a t i o n a l   S c i e n c e   C o u n c i l   o f   T a i w a n   [ N S C   1 0 1 - 2 2 2 0 - E - 0 0 6 - 0 1 0 ,   N S C   1 0 1 2 2 2 1 - E - 0 0 6 - 0 9 8 - M Y 3 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   N a t i o n a l   S c i e n c e   C o u n c i l   o f   T a i w a n   u n d e r   G r a n t s   N S C   1 0 1 - 2 2 2 0 - E - 0 0 6 - 0 1 0   a n d   N S C   1 0 1 2 2 2 1 - E - 0 0 6 - 0 9 8 - M Y 3 . 	 A g g a r w a l   P ,   2 0 1 1 ,   M E A S   S C I   T E C H N O L ,   V 2 2 ,   D O I   1 0 . 1 0 8 8 / 0 9 5 7 - 0 2 3 3 / 2 2 / 2 / 0 2 5 2 0 5 ;   A l v a r e z   D i e g o ,   2 0 0 6 ,   C o n f   P r o c   I E E E   E n g   M e d   B i o l   S o c ,   V 1 ,   P 5 9 6 4 ;   A l v a r e z   J .   C . ,   2 0 0 7 ,   2 9   A N N   I N T   C   I E E E   E N ,   P 5 7 1 9 ,   D O I   1 0 . 1 1 0 9 / I E M B S . 2 0 0 7 . 4 3 5 3 6 4 5 ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   O p e n S p o t ,   P a t e n t   N o .   0 1 7 2 2 0 3 ;   A r n o t t   R ,   2 0 0 6 ,   J   U R B A N   E C O N ,   V 6 0 ,   P 4 1 8 ,   D O I   1 0 . 1 0 1 6 / j . j u e . 2 0 0 6 . 0 4 . 0 0 4 ;   A s c h e r   C . ,   2 0 1 0 ,   I N D   P O S   I N D   N A V   I P I N ,   P 1 ;   A y a l a   D . ,   2 0 1 1 ,   A C M   S I G S P A T I A L   G I S ;   B e l o n g i e   S ,   2 0 0 2 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 4 ,   P 5 0 9 ,   D O I   1 0 . 1 1 0 9 / 3 4 . 9 9 3 5 5 8 ;   C h e n   K .   Y . ,   2 0 0 5 ,   T E C H N O L O G Y   A C C E L E R O M ;   C h i n t a l a p u d i   K . ,   2 0 1 0 ,   1 6   A C M   I N T   C   M O B   C O M ,   P 1 7 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 5 9 9 9 5 . 1 8 6 0 0 1 6 ;   D i p p o l d   M . ,   2 0 0 6 ,   3   I N T   F O R   A P P L   W E A R ;   D u n f o r d   N . ,   1 9 5 8 ,   L I N E A R   O P E R A T O R S ;   E r i c   F . ,   2 0 0 5 ,   I E E E   C O M P U T   G R A P H ,   V 2 5 ,   P 3 8 ;   F E L I Z   R ,   2 0 0 9 ,   J   P H Y S   A G E N T S ,   V 1 6 3 ,   P 3 5 ;   G a f u r o v   D . ,   2 0 0 7 ,   2 0 0 7   I E E E   W O R K S H   A U T ,   P 2 2 0 ;   G e r a l d   B . ,   2 0 0 8 ,   D T S C H   K   A U S S T   T E C H N ;   G i l l i e r o n   P . - Y . ,   2 0 0 3 ,   P   1 1   I A I N   W O R L D   C   S M ;   G o d h a   S . ,   2 0 0 6 ,   I O N   G N S S   2 0 0 6   F O R T   W ,   V 2 0 0 6 ,   P 2 6 ;   G u s e n b a u e r   D . ,   2 0 1 0 ,   I N D   P O S   I N D   N A V   I P I N ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / I P I N . 2 0 1 0 . 5 6 4 6 6 8 1 ;   H a o   Z . ,   2 0 0 3 ,   C O M P   V I S   P A T T   R E C   2 0 ,   V 1 ;   I s h i k a w a   T ,   2 0 0 9 ,   2 0 0 9   I N T E R N A T I O N A L   C O N F E R E N C E   O F   S O F T   C O M P U T I N G   A N D   P A T T E R N   R E C O G N I T I O N ,   P 5 2 2 ,   D O I   1 0 . 1 1 0 9 / S o C P a R . 2 0 0 9 . 1 0 5 ;   J i   Y . ,   2 0 0 6 ,   M O B I S Y S ;   J i m e n e z   A R ,   2 0 0 9 ,   I   S   I N T E L L   S I G   P R ,   P 3 7 ;   J o h n s o n   R .   A . ,   1 9 2 9 ,   M O D E R N   G E O M E T R Y   E L E M ,   p [ 1 7 3 ,   2 4 9 ,   2 6 8 ] ;   K r i s h n a   C . ,   2 0 1 0 ,   P   1 6   A N N   I N T   C   M O B   C ;   L a d e t t o   Q . ,   2 0 0 2 ,   G P S   W O R L D                 O C T ,   P 3 0 ;   L a n   K . - C . ,   2 0 1 3 ,   I N T   W I R   C O M M   M O B   C O M ;   L a n   K u n - C h a n ,   2 0 1 2 ,   2 0 1 2   I E E E   W I R   C O M M   N ;   L e i   F a n g ,   2 0 0 5 ,   I E E E   T r a n s a c t i o n s   o n   I n s t r u m e n t a t i o n   a n d   M e a s u r e m e n t ,   V 5 4 ,   D O I   1 0 . 1 1 0 9 / T I M . 2 0 0 5 . 8 5 8 5 5 7 ;   L i   F . ,   2 0 1 2 ,   1 4   A C M   I N T   C   U B   C O M P ;   L i m   H . ,   2 0 0 6 ,   I N F O C O M ;   M a r t i n   M . ,   2 0 0 9 ,   P   1   I N T   W O R K S H   C O N T ;   M a t h u r   S . ,   2 0 1 0 ,   A C M   M O B I S Y S ;   M o h a n   P ,   2 0 0 8 ,   S E N S Y S ' 0 8 :   P R O C E E D I N G S   O F   T H E   6 T H   A C M   C O N F E R E N C E   O N   E M B E D D E D   N E T W O R K E D   S E N S O R   S Y S T E M S ,   P 3 2 3 ;   O j e d a   L ,   2 0 0 7 ,   J   N A V I G A T I O N ,   V 6 0 ,   P 3 9 1 ,   D O I   1 0 . 1 0 1 7 / S 0 3 7 3 4 6 3 3 0 7 0 0 4 2 8 6 ;   O j e d a   L . ,   2 0 0 7 ,   2 0 0 7   I E E E   I N T   W O R K S H ,   P 1 ,   D O I   1 0 . 1 1 0 9 / S S R R . 2 0 0 7 . 4 3 8 1 2 7 1 ;   O j e d a   L . ,   2 0 0 6 ,   I N T   J O I N T   T O P   M   S H A R ;   O l i v e r   W . ,   2 0 0 8 ,   1 0   I N T   C   U B   C O M P   S E O ;   R a g h u   K . G . ,   2 0 1 0 ,   P   8   I N T   C   M O B   S Y S T   A ;   S a g a w a   K ,   2 0 0 0 ,   I E E E   S Y S   M A N   C Y B E R N ,   P 1 8 4 7 ,   D O I   1 0 . 1 1 0 9 / I C S M C . 2 0 0 0 . 8 8 6 3 7 8 ;   S a g h r i   J .   A . ,   1 9 8 1 ,   P A T T E R N   A N A L   M A C H I N E ,   V P A M I - 3 ,   P 5 3 3 ;   S c h n e i d e r   P L ,   2 0 0 3 ,   M E D   S C I   S P O R T   E X E R ,   V 3 5 ,   P 1 7 7 9 ,   D O I   1 0 . 1 2 4 9 / 0 1 . M S S . 0 0 0 0 0 8 9 3 4 2 . 9 6 0 9 8 . C 4 ;   S h i h   C . - C . ,   2 0 1 0 ,   I M P L E M E N T A T I O N   G   S E N ;   S h i n   S .   H . ,   2 0 0 5 ,   I O N   G N S S   1 8   I N T   T E C H ;   S h i n   S H ,   2 0 0 7 ,   S E N S   A P P L   S   2 0 0 7   S A S ,   P 1 ;   S h o u p   D C ,   2 0 0 6 ,   T R A N S P O R T   P O L I C Y ,   V 1 3 ,   P 4 7 9 ,   D O I   1 0 . 1 0 1 6 / j . t r a n p o l . 2 0 0 6 . 0 5 . 0 0 5 ;   S t e n n e t h   L . ,   2 0 1 1 ,   A C M   S I G S P A T I A L   G I S ;   S t i r l i n g   R . ,   2 0 0 3 ,   P   E U R   N A V   C   G N S S   2 0 0 ;   S u   C . - M . ,   2 0 1 0 ,   I C P P W   1 0 ,   P 5 3 3 ;   T i t t e r t o n   D .   H . ,   1 9 9 7 ,   S T R A P D O W N   I N E R T I A L   N ;   W a n g   H . ,   2 0 1 2 ,   M O B I S Y S ;   W e i n b e r g   H . ,   2 0 0 2 ,   A P P L   N O T E S   A M   D E V I C E ;   X i a o p i n g   Y . ,   2 0 0 7 ,   2 0 0 7   I E E E   I N T   C   R O B ,   P 2 5 2 6 ;   Y a n   T . ,   2 0 1 1 ,   U M C S 2 0 1 1 0 0 1   U M A S S 	 5 4 	 0 	 0 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 9 5 7 - 4 1 7 4 	 1 8 7 3 - 6 7 9 3 	 	 E X P E R T   S Y S T   A P P L 	 E x p e r t   S y s t .   A p p l . 	 A P R 	 2 0 1 4 	 4 1 	 5 	 	 	 	 	 2 4 4 3 	 2 4 5 6 	 	 1 0 . 1 0 1 6 / j . e s w a . 2 0 1 3 . 0 9 . 0 4 4 	 	 1 4 	 	 	 3 0 2 J M 	 W O S : 0 0 0 3 3 0 6 0 0 8 0 0 0 3 4 	 	 
 J 	 G o o d ,   S P ;   M a l l i a ,   D V ;   L i n ,   J C ;   B o w e n ,   G J 	 	 	 	 G o o d ,   S t e p h e n   P . ;   M a l l i a ,   D e r e k   V . ;   L i n ,   J o h n   C . ;   B o w e n ,   G a b r i e l   J . 	 	 	 S t a b l e   I s o t o p e   A n a l y s i s   o f   P r e c i p i t a t i o n   S a m p l e s   O b t a i n e d   v i a   C r o w d s o u r c i n g   R e v e a l s   t h e   S p a t i o t e m p o r a l   E v o l u t i o n   o f   S u p e r s t o r m   S a n d y 	 P L O S   O N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 W A T E R - V A P O R ;   M O D E L ;   F R A C T I O N A T I O N ;   T E C H N O L O G Y ;   H U R R I C A N E S ;   C Y C L O N E S ;   R A T I O S ;   R A I N 	 E x t r a - t r o p i c a l   c y c l o n e s ,   s u c h   a s   2 0 1 2   S u p e r s t o r m   S a n d y ,   p o s e   a   s i g n i f i c a n t   c l i m a t i c   t h r e a t   t o   t h e   n o r t h e a s t e r n   U n i t e d   S a t e s ,   y e t   p r e d i c t i o n   o f   h y d r o l o g i c   a n d   t h e r m o d y n a m i c   p r o c e s s e s   w i t h i n   s u c h   s y s t e m s   i s   c o m p l i c a t e d   b y   t h e i r   i n t e r a c t i o n   w i t h   m i d - l a t i t u d e   w a t e r   p a t t e r n s   a s   t h e y   m o v e   p o l e w a r d .   F o r t u n a t e l y ,   t h e   e v o l u t i o n   o f   t h e s e   s y s t e m s   i s   a l s o   r e c o r d e d   i n   t h e   s t a b l e   i s o t o p e   r a t i o s   o f   s t o r m - a s s o c i a t e d   p r e c i p i t a t i o n   a n d   w a t e r   v a p o r ,   a n d   i s o t o p i c   a n a l y s i s   p r o v i d e s   c o n s t r a i n t s   o n   d i f f i c u l t - t o - o b s e r v e   c y c l o n e   d y n a m i c s .   D u r i n g   S u p e r s t o r m   S a n d y ,   a   u n i q u e   c r o w d s o u r c e d   a p p r o a c h   e n a b l e d   6 8 5   p r e c i p i t a t i o n   s a m p l e s   t o   b e   o b t a i n e d   f o r   o x y g e n   a n d   h y d r o g e n   i s o t o p i c   a n a l y s i s ,   c o n s t i t u t i n g   t h e   l a r g e s t   i s o t o p i c   s a m p l i n g   o f   a   s y n o p t i c - s c a l e   s y s t e m   t o   d a t e .   i s o t o p i c a l l y ,   t h e s e   w a t e r s   s p a n   a n   e n o r m o u s   r a n g e   o f   v a l u e s   ( > 2 1   p a r t s   p e r   t h o u s a n d   f o r   d e l t a   O - 1 8 ,   > 1 6 0   p a r t s   p e r   t h o u s a n d   f o r   d e l t a   H - 2 )   a n d   e x h i b i t   s t r o n g   s p a t i o t e m p o r a l   s t r u c t u r e .   L o w   i s o t o p e   r a t i o s   o c c u r r e d   p r e d o m i n a n t l y   i n   t h e   w e s t   a n d   s o u t h   q u a d r a n t s   o f   t h e   s t o r m ,   i n d i c a t i n g   r o b u s t   i s o t o p i c   d i s t i l l a t i o n   t h a t   t r a c k e d   t h e   i n t e n s i t y   o f   t h e   s t o r m ' s   w a r m   c o r e .   E l e v a t e d   v a l u e s   o f   d e u t e r i u m - e x c e s s   ( > 2 5   p a r t s   p e r   t h o u s a n d )   w e r e   f o u n d   p r i m a r i l y   i n   t h e   N e w   E n g l a n d   r e g i o n   a f t e r   S a n d y   m a d e   l a n d f a l l .   I s o t o p e   m a s s   b a l a n c e   c a l c u l a t i o n s   a n d   L a g r a n g i a n   b a c k - t r a j e c t o r y   a n a l y s i s   s u g g e s t   t h a t   t h e s e   s a m p l e s   r e f l e c t   t h e   m o i s t e n i n g   o f   d r y   c o n t i n e n t a l   a i r   e n t r a i n e d   f r o m   a   m i d - l a t i t u d e   t r o u g h .   T h e s e   r e s u l t s   d e m o n s t r a t e   t h e   p o w e r   o f   r a p i d - r e s p o n s e   i s o t o p e   m o n i t o r i n g   t o   e l u c i d a t e   t h e   s t r u c t u r e   a n d   d y n a m i c s   o f   w a t e r   c y c l i n g   w i t h i n   s y n o p t i c - s c a l e   s y s t e m s   a n d   i m p r o v e   o u r   u n d e r s t a n d i n g   o f   s t o r m   e v o l u t i o n ,   h y d r o c l i m a t o l o g i c a l   i m p a c t s ,   a n d   p a l e o - s t o r m   p r o x i e s . 	 [ G o o d ,   S t e p h e n   P . ;   B o w e n ,   G a b r i e l   J . ]   U n i v   U t a h ,   D e p t   G e o l   &   G e o p h y s ,   S a l t   L a k e   C i t y ,   U T   8 4 1 1 2   U S A ;   [ M a l l i a ,   D e r e k   V . ;   L i n ,   J o h n   C . ]   U n i v   U t a h ,   D e p t   A t m o s p h e r   S c i ,   S a l t   L a k e   C i t y ,   U T   U S A 	 G o o d ,   S P   ( r e p r i n t   a u t h o r ) ,   U n i v   U t a h ,   D e p t   G e o l   &   G e o p h y s ,   S a l t   L a k e   C i t y ,   U T   8 4 1 1 2   U S A . 	 s . g o o d @ u t a h . e d u 	 G o o d ,   S t e p h e n / H - 4 4 3 2 - 2 0 1 3 	 G o o d ,   S t e p h e n / 0 0 0 0 - 0 0 0 3 - 4 3 6 3 - 1 5 7 7 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n ,   N S F   [ E F - 0 1 2 4 1 2 8 6 ] 	 T h i s   p r o j e c t   w a s   f u n d e d   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n ,   N S F   G r a n t   E F - 0 1 2 4 1 2 8 6 .   T h e   f u n d e r s   h a d   n o   r o l e   i n   s t u d y   d e s i g n ,   d a t a   c o l l e c t i o n   a n d   a n a l y s i s ,   d e c i s i o n   t o   p u b l i s h ,   o r   p r e p a r a t i o n   o f   t h e   m a n u s c r i p t . 	 B a r n e s   E A ,   2 0 1 3 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 1 0 ,   P 1 5 2 1 1 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 3 0 8 7 3 2 1 1 0 ;   B o w e n   G J ,   2 0 0 3 ,   W A T E R   R E S O U R   R E S ,   V 3 9 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 3 W R 0 0 2 0 8 6 ;   B r o w n   D ,   2 0 1 3 ,   J   G E O P H Y S   R E S - A T M O S ,   V 1 1 8 ,   P 5 4 ,   D O I   1 0 . 1 0 2 9 / 2 0 1 2 J D 0 1 8 5 0 7 ;   C o p l e n   T B ,   2 0 0 8 ,   G E O P H Y S   R E S   L E T T ,   V 3 5 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 8 G L 0 3 5 4 8 1 ;   D A N S G A A R D   W ,   1 9 6 4 ,   T E L L U S ,   V 1 6 ,   P 4 3 6 ;   E m a n u e l   K ,   2 0 0 3 ,   A N N U   R E V   E A R T H   P L   S C ,   V 3 1 ,   P 7 5 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . e a r t h . 3 1 . 1 0 0 9 0 1 . 1 4 1 2 5 9 ;   F r a p p i e r   A B ,   2 0 0 7 ,   G E O L O G Y ,   V 3 5 ,   P 1 1 1 ,   D O I   1 0 . 1 1 3 0 / G 2 3 1 4 5 A . 1 ;   F u d e y a s u   H ,   2 0 0 8 ,   J   G E O P H Y S   R E S - A T M O S ,   V 1 1 3 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 7 J D 0 0 9 3 1 3 ;   G e d z e l m a n   S ,   2 0 0 3 ,   M O N   W E A T H E R   R E V ,   V 1 3 1 ,   P 1 1 1 2 ,   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 9 3 ( 2 0 0 3 ) 1 3 1 < 1 1 1 2 : P H W S I O > 2 . 0 . C O ; 2 ;   G E D Z E L M A N   S D ,   1 9 8 2 ,   J   A P P L   M E T E O R O L ,   V 2 1 ,   P 1 3 8 5 ,   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 5 0 ( 1 9 8 2 ) 0 2 1 < 1 3 8 5 : T I C O C P > 2 . 0 . C O ; 2 ;   G E D Z E L M A N   S D ,   1 9 9 0 ,   M O N   W E A T H E R   R E V ,   V 1 1 8 ,   P 4 9 5 ,   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 9 3 ( 1 9 9 0 ) 1 1 8 < 0 4 9 5 : T I C O P F > 2 . 0 . C O ; 2 ;   G u p t a   P ,   2 0 0 9 ,   R A P I D   C O M M U N   M A S S   S P ,   V 2 3 ,   P 2 5 3 4 ,   D O I   1 0 . 1 0 0 2 / r c m . 4 1 0 0 ;   H u n t e r   J D ,   2 0 0 7 ,   C O M P U T   S C I   E N G ,   V 9 ,   P 9 0 ,   D O I   1 0 . 1 1 0 9 / M C S E . 2 0 0 7 . 5 5 ;   J a n j i c   Z I ,   2 0 0 3 ,   M E T E O R O L   A T M O S   P H Y S ,   V 8 2 ,   P 2 7 1 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 0 3 - 0 0 1 - 0 5 8 7 - 6 ;   K i m   S Y ,   2 0 1 3 ,   E N V I R O N   S C I   T E C H N O L ,   V 4 7 ,   P 8 3 1 6 ,   D O I   1 0 . 1 0 2 1 / e s 4 0 0 9 4 8 6 ;   L a m b e r t   W J ,   2 0 0 8 ,   J   P A L E O L I M N O L ,   V 3 9 ,   P 1 1 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 9 3 3 - 0 0 7 - 9 1 0 1 - 6 ;   L a w r e n c e   J R ,   2 0 0 2 ,   J   A T M O S   C H E M ,   V 4 1 ,   P 6 7 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 3 8 0 8 5 3 0 3 6 4 ;   L a w r e n c e   J R ,   1 9 9 8 ,   J   G E O P H Y S   R E S - A T M O S ,   V 1 0 3 ,   P 1 1 3 8 1 ,   D O I   1 0 . 1 0 2 9 / 9 7 J D 0 3 6 2 7 ;   L a w r e n c e   R J ,   1 9 9 6 ,   G E O P H Y S   R E S   L E T T ,   V 2 3 ,   P 5 2 7 ,   D O I   1 0 . 1 0 2 9 / 9 6 G L 0 0 4 2 5 ;   L i n   J ,   2 0 1 3 ,   A G U   G E O P H Y S   M O N O G R A P ;   L i n   J F ,   2 0 0 3 ,   J   G E O P H Y S   R E S - S O L   E A ,   V 1 0 8 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 2 J B 0 0 1 9 7 8 ;   L i n   Y . ,   2 0 0 5 ,   1 9   C   H Y D R   S A N   D I E G   C ,   V 1 ,   P 2 ;   M A J O U B E   M ,   1 9 7 1 ,   J   C H I M   P H Y S   P C B ,   V 6 8 ,   P 1 4 2 3 ;   M E R L I V A T   L ,   1 9 7 9 ,   J   G E O P H Y S   R E S - O C   A T M ,   V 8 4 ,   P 5 0 2 9 ,   D O I   1 0 . 1 0 2 9 / J C 0 8 4 i C 0 8 p 0 5 0 2 9 ;   M i l l e r   D L ,   2 0 0 6 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 3 ,   P 1 4 2 9 4 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 6 0 6 5 4 9 1 0 3 ;   R a b e n h o r s t   T . ,   2 0 1 3 ,   W E A T H E R W I S E ,   V 6 6 ,   P 1 4 ,   D O I   D O I   1 0 . 1 0 8 0 / 0 0 4 3 1 6 7 2 . 2 0 1 3 . 7 6 2 8 3 8 ;   R i s i   C ,   2 0 0 8 ,   G E O P H Y S   R E S   L E T T ,   V 3 5 ;   S o d e r b e r g   K ,   2 0 1 3 ,   E C O S P H E R E ,   V 4 ;   S T E W A R T   M K ,   1 9 7 5 ,   J   G E O P H Y S   R E S ,   V 8 0 ,   P 1 1 3 3 ,   D O I   1 0 . 1 0 2 9 / J C 0 8 0 i 0 0 9 p 0 1 1 3 3 ;   T r e n b e r t h   K E ,   2 0 0 7 ,   J   G E O P H Y S   R E S - A T M O S ,   V 1 1 2 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 6 J D 0 0 8 3 0 3 ;   U e m u r a   R ,   2 0 0 8 ,   J   G E O P H Y S   R E S - A T M O S ,   V 1 1 3 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 8 J D 0 1 0 2 0 9 ;   v a n   G e l d e r n   R ,   2 0 1 2 ,   L I M N O L   O C E A N O G R - M E T H ,   V 1 0 ,   P 1 0 2 4 ,   D O I   1 0 . 4 3 1 9 / l o m . 2 0 1 2 . 1 0 . 1 0 2 4 ;   W e n   D Y ,   2 0 1 2 ,   A T M O S   E N V I R O N ,   V 5 4 ,   P 3 7 3 ,   D O I   1 0 . 1 0 1 6 / j . a t m o s e n v . 2 0 1 2 . 0 2 . 0 4 2 ;   Z h a n g   R ,   2 0 0 6 ,   G E O P H Y S   R E S   L E T T ,   V 3 3 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 6 G L 0 2 6 2 6 7 ;   Z h u   T ,   2 0 1 3 ,   G E O P H Y S   R E S   L E T T ,   V 4 0 ,   P 3 3 2 5 ,   D O I   1 0 . 1 0 0 2 / g r l . 5 0 6 2 6 	 3 5 	 0 	 0 	 P U B L I C   L I B R A R Y   S C I E N C E 	 S A N   F R A N C I S C O 	 1 1 6 0   B A T T E R Y   S T R E E T ,   S T E   1 0 0 ,   S A N   F R A N C I S C O ,   C A   9 4 1 1 1   U S A 	 1 9 3 2 - 6 2 0 3 	 	 	 P L O S   O N E 	 P L o S   O n e 	 M A R   1 1 	 2 0 1 4 	 9 	 3 	 	 	 	 	 	 	 e 9 1 1 1 7 	 1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 9 1 1 1 7 	 	 7 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 A C 9 G M 	 W O S : 0 0 0 3 3 2 8 4 2 4 0 0 0 4 8 	 2 4 6 1 8 8 8 2 	 
 J 	 J o h n s o n ,   C W 	 	 	 	 J o h n s o n ,   C h r i s   W . 	 	 	 A n t i - s o c i a l   n e t w o r k i n g :   c r o w d s o u r c i n g   a n d   t h e   c y b e r   d e f e n c e   o f   n a t i o n a l   c r i t i c a l   i n f r a s t r u c t u r e s 	 E R G O N O M I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c y b e r   d e f e n c e ;   n a t i o n a l   c r i t i c a l   i n f r a s t r u c t u r e s ;   s o f t w a r e   s e c u r i t y 	 	 W e   i d e n t i f y   f o u r   r o l e s   t h a t   s o c i a l   n e t w o r k i n g   p l a y s   i n   t h e   a t t r i b u t i o n   p r o b l e m ' ,   w h i c h   o b s c u r e s   w h e t h e r   o r   n o t   c y b e r - a t t a c k s   w e r e   s t a t e - s p o n s o r e d .   F i r s t ,   s o c i a l   n e t w o r k s   m o t i v a t e   i n d i v i d u a l s   t o   p a r t i c i p a t e   i n   D i s t r i b u t e d   D e n i a l   o f   S e r v i c e   a t t a c k s   b y   p r o v i d i n g   m a l w a r e   a n d   i d e n t i f y i n g   p o t e n t i a l   t a r g e t s .   S e c o n d ,   a t t a c k e r s   u s e   a n   i n d i v i d u a l ' s   s o c i a l   n e t w o r k   t o   f o c u s   a t t a c k s ,   t h r o u g h   s p e a r   p h i s h i n g .   R e c i p i e n t s   a r e   m o r e   l i k e l y   t o   o p e n   i n f e c t e d   a t t a c h m e n t s   w h e n   t h e y   c o m e   f r o m   a   t r u s t e d   s o u r c e .   T h i r d ,   s o c i a l   n e t w o r k i n g   i n f r a s t r u c t u r e s   c r e a t e   d i s p o s a b l e   a r c h i t e c t u r e s   t o   c o o r d i n a t e   a t t a c k s   t h r o u g h   c o m m a n d   a n d   c o n t r o l   s e r v e r s .   T h e   u b i q u i t o u s   n a t u r e   o f   t h e s e   a r c h i t e c t u r e s   m a k e s   i t   d i f f i c u l t   t o   d e t e r m i n e   w h o   o w n s   a n d   o p e r a t e s   t h e   s e r v e r s .   F i n a l l y ,   g o v e r n m e n t s   r e c r u i t   a n t i - s o c i a l   c r i m i n a l   n e t w o r k s   t o   l a u n c h   a t t a c k s   o n   t h i r d - p a r t y   i n f r a s t r u c t u r e s   u s i n g   b o t n e t s .   T h e   c l o s i n g   s e c t i o n s   i d e n t i f y   a   r o a d m a p   t o   i n c r e a s e   r e s i l i e n c e   a g a i n s t   t h e   d a r k   s i d e '   o f   s o c i a l   n e t w o r k i n g .   P r a c t i t i o n e r   S u m m a r y :   T h i s   p a p e r   p r o v i d e s   r e a d e r s   w i t h   a n   o v e r v i e w   o f   s t a t e - s p o n s o r e d   c y b e r - a t t a c k s .   I   s h o w   h o w   m a n y   o f   t h e s e   t h r e a t s   h a v e   e x p l o i t e d   s o c i a l   n e t w o r k s   a n d   s o c i a l   m e d i a .   T h e   a i m   w a s   t o   a l e r t   p r a c t i t i o n e r s   t o   t h e   d a r k   s i d e   o f   c o m p u t i n g ,   w h e r e   a t t a c k e r s   l e a r n   t o   e x p l o i t   n e w   i n t e r a c t i o n   t e c h n i q u e s   a n d   n e w   f o r m s   o f   w o r k i n g . 	 U n i v   G l a s g o w ,   S c h   C o m p   S c i ,   G l a s g o w   G 1 2   8 R Z ,   L a n a r k ,   S c o t l a n d 	 J o h n s o n ,   C W   ( r e p r i n t   a u t h o r ) ,   U n i v   G l a s g o w ,   S c h   C o m p   S c i ,   G l a s g o w   G 1 2   8 R Z ,   L a n a r k ,   S c o t l a n d . 	 j o h n s o n @ d c s . g l a . a c . u k 	 	 	 	 	 A m a r e l o   M . ,   2 0 1 1 ,   N E W   F E D E R A T I O N   A M   S C ;   [ A n o n y m o u s ] ,   2 0 0 7 ,   E C O N O M I S T ;   B l i c h f e l d t   B .   S . ,   2 0 0 6 ,   J   R E S   P R A C T I C E ,   V 2 ,   p D 2 ;   D a l y   M .   K . ,   2 0 0 9 ,   2 3   L A R G   S C A L   I N S T   A D ;   D a n t z k e r   M .   L . ,   2 0 0 0 ,   R E S   M E T H O D S   C R I M I N O L ;   D a s h   D P ,   1 9 9 9 ,   S Y S T   P R A C T   A C T   R E S ,   V 1 2 ,   P 4 5 7 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 2 4 6 5 5 0 6 5 5 5 ;   D i x o n   S M ,   2 0 1 1 ,   E R G O N O M I C S ,   V 5 4 ,   P 1 0 0 5 ,   D O I   1 0 . 1 0 8 0 / 0 0 1 4 0 1 3 9 . 2 0 1 1 . 6 1 8 2 3 1 ;   E u r o p e a n   C o m m i s s i o n ,   2 0 0 9 ,   I N D   I N T   F A C T   F I N D   M I ;   F a l l i e r e   N . ,   2 0 1 1 ,   W 3 2   S T U X N E T   D O S S I E R ;   G a y c k e n   S . ,   2 0 1 0 ,   Z E I T                         1 1 2 6 ;   G l a s e r   B . ,   1 9 6 7 ,   D I S C O V E R Y   G R O U N D E D   T ;   G r e y   G o o s e   P r o j e c t ,   2 0 0 8 ,   R U S S   G E O R G   C Y B   W A R   F ;   H e   Y ,   2 0 1 2 ,   P   7   I E T   C   S Y S T   S A F   C ;   H e n d e r s o n   S . ,   2 0 0 9 ,   H U N T I N G   G H O S T N E T   H A C ;   H u g h e s   R .   B . ,   2 0 0 8 ,   B U C H   C ,   P 4 1 ;   I n f o r m a t i o n   W a r f a r e   M o n i t o r ,   2 0 1 0 ,   J R 0 3 2 0 1 0   U   T O R   M U N K ;   I n f o r m a t i o n   W a r f a r e   M o n i t o r ,   2 0 0 9 ,   J R 0 2 2 0 0 9   U   T O R   M U N K ;   J o h n s o n   C .   W . ,   P   W O R K S H   I N T   S E C   G L O ;   J o h n s o n   C . W . ,   2 0 1 2 ,   P   7   I E T   C   S Y S T   S A F   C ;   K r a e m e r   S ,   2 0 0 9 ,   C O M P U T   S E C U R ,   V 2 8 ,   P 5 0 9 ,   D O I   1 0 . 1 0 1 6 / j . c o s e . 2 0 0 9 . 0 4 . 0 0 6 ;   L e w i n   K ,   1 9 4 6 ,   J   S O C   I S S U E S ,   V 2 ,   P 3 4 ;   M a n y i k a   J . ,   2 0 1 2 ,   H A R V A R D   B U S I N E S S   R E V ;   M a r k e l j   B . ,   2 0 1 2 ,   I N T   J   E D   I N F O R M   T E C H ,   V 6 ,   P 9 7 ;   M a t r o s o v   A ,   2 0 1 0 ,   S T U X N E T   M I C R O S C O P E ;   N a g a r a j a   S . ,   2 0 0 9 ,   7 4 6   U   C A M B R   C O M P   L A B ;   N a z a r i o   J . ,   2 0 0 8 ,   R A D I O   F R E E   E U R O P E   D D ;   N a z a r i o   J . ,   2 0 0 7 ,   E S T O N I A N   D D O S   A T T A C K ;   N a z a r i o   J . ,   2 0 0 8 ,   G E O R G I A   D D O S   A T T A C K S ;   N a z a r i o   J . ,   2 0 0 9 ,   M A L I C I O U S   G O O G L E   A P P ;   N a z a r i o   J . ,   2 0 0 8 ,   G E O R G I A   M Y   M I N D   P O L I ;   P a a b o   H . ,   2 0 0 8 ,   B A L T I C   S E C U R I T Y   D E F E ,   V 1 0 ,   P 5 ;   S h a w   E D ,   2 0 0 6 ,   D I G I T   I N V E S T I G ,   V 3 ,   P 2 0 ,   D O I   1 0 . 1 0 1 6 / j . d i i n . 2 0 0 6 . 0 1 . 0 0 6 ;   T i k k   E . ,   2 0 1 0 ,   I N T   C Y B E R   I N C I D E N T S ;   T i k k   E . ,   2 0 0 9 ,   F R A M E W O R K S   I N T   C Y B E R ;   T i k k   E . ,   2 0 0 8 ,   C Y B E R   A T T A C K S   G E O R G I ;   V i l l e n e u v e   N . ,   2 0 1 0 ,   S H A D O W S   C L O U D ;   W a s s e r m a n   S . ,   1 9 9 4 ,   A D V   S O C I A L   N E T W O R K   A ;   W a t e r m a n   S ,   2 0 0 7 ,   S E C U R I T Y   I N D   A N A L   W H ;   Y i n   R o b e r t ,   1 9 9 4 ,   C A S E   S T U D Y   R E S   D E S I G ;   Z m i j e w s k i   E . ,   2 0 0 8 ,   G E O R G I A   C L I N G S   N E T 	 4 0 	 1 	 1 	 T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X O N ,   E N G L A N D 	 0 0 1 4 - 0 1 3 9 	 1 3 6 6 - 5 8 4 7 	 	 E R G O N O M I C S 	 E r g o n o m i c s 	 M A R   4 	 2 0 1 4 	 5 7 	 3 	 	 	 S I 	 	 4 1 9 	 4 3 3 	 	 1 0 . 1 0 8 0 / 0 0 1 4 0 1 3 9 . 2 0 1 3 . 8 1 2 7 4 9 	 	 1 5 	 E n g i n e e r i n g ,   I n d u s t r i a l ;   E r g o n o m i c s ;   P s y c h o l o g y ,   A p p l i e d ;   P s y c h o l o g y 	 E n g i n e e r i n g ;   P s y c h o l o g y 	 A E 3 L L 	 W O S : 0 0 0 3 3 3 8 7 7 9 0 0 0 1 0 	 2 3 8 2 6 7 0 3 	 
 J 	 S i m c o x ,   T ;   F i e z ,   J A 	 	 	 	 S i m c o x ,   T r a v i s ;   F i e z ,   J u l i e   A . 	 	 	 C o l l e c t i n g   r e s p o n s e   t i m e s   u s i n g   A m a z o n   M e c h a n i c a l   T u r k   a n d   A d o b e   F l a s h 	 B E H A V I O R   R E S E A R C H   M E T H O D S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 R e s p o n s e   t i m e s ;   C r o w d s o u r c i n g ;   A m a z o n   M e c h a n i c a l   T u r k ;   A d o b e   f l a s h ;   A c t i o n S c r i p t ;   S t i m u l u s   p r e s e n t a t i o n ;   W e b   e x p e r i m e n t ;   R i c h   m e d i a ;   T i m i n g 	 C O N F I D E N C E - I N T E R V A L S ;   I N T E R N E T ;   O N L I N E ;   A S S O C I A T I O N ;   C O M P U T E R S ;   A C C U R A C Y 	 C r o w d s o u r c i n g   s y s t e m s   l i k e   A m a z o n ' s   M e c h a n i c a l   T u r k   ( A M T )   a l l o w   d a t a   t o   b e   c o l l e c t e d   f r o m   a   l a r g e   s a m p l e   o f   p e o p l e   i n   a   s h o r t   a m o u n t   o f   t i m e .   T h i s   u s e   h a s   g a r n e r e d   c o n s i d e r a b l e   i n t e r e s t   f r o m   b e h a v i o r a l   s c i e n t i s t s .   S o   f a r ,   m o s t   e x p e r i m e n t s   c o n d u c t e d   o n   A M T   h a v e   f o c u s e d   o n   s u r v e y - t y p e   i n s t r u m e n t s   b e c a u s e   o f   d i f f i c u l t i e s   i n h e r e n t   i n   r u n n i n g   m a n y   e x p e r i m e n t a l   p a r a d i g m s   o v e r   t h e   I n t e r n e t .   T h i s   s t u d y   i n v e s t i g a t e d   t h e   v i a b i l i t y   o f   p r e s e n t i n g   s t i m u l i   a n d   c o l l e c t i n g   r e s p o n s e   t i m e s   u s i n g   A d o b e   F l a s h   t o   r u n   A c t i o n S c r i p t   3   c o d e   i n   c o n j u n c t i o n   w i t h   A M T .   F i r s t ,   t h e   t i m i n g   p r o p e r t i e s   o f   A d o b e   F l a s h   w e r e   i n v e s t i g a t e d   u s i n g   a   p h o t o t r a n s i s t o r   a n d   t w o   d e s k t o p   c o m p u t e r s   r u n n i n g   u n d e r   s e v e r a l   c o n d i t i o n s   m i m i c k i n g   t h o s e   t h a t   m a y   b e   p r e s e n t   i n   r e s e a r c h   u s i n g   A M T .   T h i s   e x p e r i m e n t   r e v e a l e d   s o m e   s t r e n g t h s   a n d   w e a k n e s s e s   o f   t h e   t i m i n g   c a p a b i l i t i e s   o f   t h i s   m e t h o d .   N e x t ,   a   f l a n k e r   t a s k   a n d   a   l e x i c a l   d e c i s i o n   t a s k   i m p l e m e n t e d   i n   A d o b e   F l a s h   w e r e   a d m i n i s t e r e d   t o   p a r t i c i p a n t s   r e c r u i t e d   w i t h   A M T .   T h e   e x p e c t e d   e f f e c t s   i n   t h e s e   t a s k s   w e r e   r e p l i c a t e d .   P o w e r   a n a l y s e s   w e r e   c o n d u c t e d   t o   d e s c r i b e   t h e   n u m b e r   o f   p a r t i c i p a n t s   n e e d e d   t o   r e p l i c a t e   t h e s e   e f f e c t s .   A   q u e s t i o n n a i r e   w a s   u s e d   t o   i n v e s t i g a t e   p r e v i o u s l y   u n d e s c r i b e d   c o m p u t e r   u s e   h a b i t s   o f   1 0 0   p a r t i c i p a n t s   o n   A M T .   W e   c o n c l u d e   t h a t   a   F l a s h   p r o g r a m   i n   c o n j u n c t i o n   w i t h   A M T   c a n   b e   s u c c e s s f u l l y   u s e d   f o r   r u n n i n g   m a n y   e x p e r i m e n t a l   p a r a d i g m s   t h a t   r e l y   o n   r e s p o n s e   t i m e s ,   a l t h o u g h   e x p e r i m e n t e r s   m u s t   u n d e r s t a n d   t h e   l i m i t a t i o n s   o f   t h e   m e t h o d . 	 [ S i m c o x ,   T r a v i s ;   F i e z ,   J u l i e   A . ]   U n i v   P i t t s b u r g h ,   D e p t   P s y c h o l ,   P i t t s b u r g h ,   P A   1 5 2 6 0   U S A 	 S i m c o x ,   T   ( r e p r i n t   a u t h o r ) ,   U n i v   P i t t s b u r g h ,   D e p t   P s y c h o l ,   P i t t s b u r g h ,   P A   1 5 2 6 0   U S A . 	 t r s 6 0 @ p i t t . e d u 	 	 	 	 	 A d o b e   D e v e l o p e r   C o n n e c t i o n ,   2 0 1 2 ,   F L A S H   P L A T F O R M   D E V E L ;   B e h r e n d   T S ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 8 0 0 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 0 8 1 - 0 ;   B e r i n s k y   A J ,   2 0 1 2 ,   P O L I T   A N A L ,   V 2 0 ,   P 3 5 1 ,   D O I   1 0 . 1 0 9 3 / p a n / m p r 0 5 7 ;   B r a n d   A ,   2 0 1 2 ,   S O C   S C I   C O M P U T   R E V ,   V 3 0 ,   P 3 5 0 ,   D O I   1 0 . 1 1 7 7 / 0 8 9 4 4 3 9 3 1 1 4 1 5 6 0 4 ;   B u h r m e s t e r   M ,   2 0 1 1 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 6 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 0 3 9 3 9 8 0 ;   C o h e n   J ,   1 9 8 8 ,   S T A T I S T I C A L   P O W E R   A N ;   F a u l   F ,   2 0 0 7 ,   B E H A V   R E S   M E T H O D S ,   V 3 9 ,   P 1 7 5 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 1 . 4 . 1 1 4 9 ;   F O W L E R   R L ,   1 9 8 5 ,   P S Y C H O L   B U L L ,   V 9 8 ,   P 1 6 0 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 9 8 . 1 . 1 6 0 ;   G o o d m a n   J .   K . ,   J O U R N A L   O F   B E H A V I O R A ;   G r o s s m a n   G . ,   2 0 0 9 ,   A C T I O N S C R I P T   3   0   O V E ;   H a l b e r d a   J ,   2 0 1 2 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 9 ,   P 1 1 1 1 6 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 2 0 0 1 9 6 1 0 9 ;   H e n r i c h   J . ,   2 0 1 0 ,   B E H A V I O R   A N D   B R A I N   S ;   H e w s o n   C M ,   1 9 9 6 ,   B E H A V   R E S   M E T H   I N S T R ,   V 2 8 ,   P 1 8 6 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 0 4 7 6 3 ;   H o u b e n   K ,   2 0 0 8 ,   B E H A V   R E S   M E T H O D S ,   V 4 0 ,   P 1 1 3 4 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 0 . 4 . 1 1 3 4 ;   I p e i r o t i s   P . ,   2 0 1 0 ,   C E D E R   W O R K I N G   P A P E R S ;   L u p k e r   S J ,   2 0 0 8 ,   L A N G   C O G N I T I V E   P R O C ,   V 2 3 ,   P 9 3 ,   D O I   1 0 . 1 0 8 0 / 0 1 6 9 0 9 6 0 7 0 1 5 7 9 7 1 4 ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   M a y o   C . ,   2 0 1 2 ,   P R O C   I N T E R S P E E C H ;   M c D o n n e l l   J . ,   2 0 1 2 ,   I S   M E C H A N I C A L   T U R K   T ;   M E Y E R   D E ,   1 9 7 1 ,   J   E X P   P S Y C H O L ,   V 9 0 ,   P 2 2 7 ,   D O I   1 0 . 1 0 3 7 / h 0 0 3 1 5 6 4 ;   M E Y E R   D E ,   1 9 8 8 ,   B I O L   P S Y C H O L ,   V 2 6 ,   P 3 ,   D O I   1 0 . 1 0 1 6 / 0 3 0 1 - 0 5 1 1 ( 8 8 ) 9 0 0 1 3 - 0 ;   N e a t h   I ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 3 5 3 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 0 6 9 - 9 ;   N i e u w e n h u i s   S ,   2 0 0 6 ,   M E M   C O G N I T I O N ,   V 3 4 ,   P 1 2 6 0 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 3 2 7 0 ;   O w e n   A M ,   2 0 1 0 ,   N A T U R E ,   V 4 6 5 ,   P 7 7 5 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 0 4 2 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   P a r e   D E ,   2 0 0 9 ,   B E H A V   R E S   M E T H O D S ,   V 4 1 ,   P 6 9 9 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 1 . 3 . 6 9 9 ;   P l a n t   R R ,   2 0 0 9 ,   B E H A V   R E S   M E T H O D S ,   V 4 1 ,   P 5 9 8 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 1 . 3 . 5 9 8 ;   R   D e v e l o p m e n t   C o r e   T e a m ,   2 0 1 1 ,   R   L A N G   E N V   S T A T   C O M P ;   R a n d   D G ,   2 0 1 2 ,   J   T H E O R   B I O L ,   V 2 9 9 ,   P 1 7 2 ,   D O I   1 0 . 1 0 1 6 / j . j t b i . 2 0 1 1 . 0 3 . 0 0 4 ;   R e i m e r s   S ,   2 0 0 7 ,   B E H A V   R E S   M E T H O D S ,   V 3 9 ,   P 3 6 5 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 3 0 0 4 ;   S c h m i d t   W C ,   2 0 0 1 ,   B E H A V   R E S   M E T H   I N S   C ,   V 3 3 ,   P 1 8 7 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 5 3 6 5 ;   S i m c o x   T . ,   2 0 1 2 ,   C O M P I L A T I O N   O F   U S E R ;   S m i t h s o n   M ,   2 0 0 1 ,   E D U C   P S Y C H O L   M E A S ,   V 6 1 ,   P 6 0 5 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 3 1 6 4 0 1 2 1 9 7 1 3 9 2 ;   T h e   M e c h a n i c a l   T u r k   B l o g ,   2 0 1 2 ,   I M P R O V I N G   Q U A L I T Y   W I ;   U L R I C H   R ,   1 9 8 9 ,   B R I T   J   M A T H   S T A T   P S Y ,   V 4 2 ,   P 1 ;   W o l t m a n   G . ,   2 0 1 2 ,   P R I M E 9 5 ;   Y u   C .   H . ,   2 0 0 3 ,   P R A C T   A S S E S S   R E S   E V A ,   V 8 	 3 7 	 4 	 4 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 3   U S A 	 1 5 5 4 - 3 5 1 X 	 1 5 5 4 - 3 5 2 8 	 	 B E H A V   R E S   M E T H O D S 	 B e h a v .   R e s .   M e t h o d s 	 M A R 	 2 0 1 4 	 4 6 	 1 	 	 	 	 	 9 5 	 1 1 1 	 	 1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 3 - 0 3 4 5 - y 	 	 1 7 	 P s y c h o l o g y ,   M a t h e m a t i c a l ;   P s y c h o l o g y ,   E x p e r i m e n t a l 	 P s y c h o l o g y 	 A M 9 U I 	 W O S : 0 0 0 3 4 0 2 2 6 1 0 0 0 0 8 	 2 3 6 7 0 3 4 0 	 
 J 	 C h a n d l e r ,   J ;   M u e l l e r ,   P ;   P a o l a c c i ,   G 	 	 	 	 C h a n d l e r ,   J e s s e ;   M u e l l e r ,   P a m ;   P a o l a c c i ,   G a b r i e l e 	 	 	 N o n n a i v e t e   a m o n g   A m a z o n   M e c h a n i c a l   T u r k   w o r k e r s :   C o n s e q u e n c e s   a n d   s o l u t i o n s   f o r   b e h a v i o r a l   r e s e a r c h e r s 	 B E H A V I O R   R E S E A R C H   M E T H O D S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   I n t e r n e t   r e s e a r c h ;   D a t a   q u a l i t y ;   L o n g i t u d i n a l   r e s e a r c h ;   M e c h a n i c a l   T u r k ;   M T u r k 	 S T E R E O T Y P E   T H R E A T ;   D E C I S I O N - M A K I N G ;   P E R F O R M A N C E ;   R E F L E C T I O N ;   P R E V E N T I O N ;   A R T I F A C T S 	 C r o w d s o u r c i n g   s e r v i c e s - p a r t i c u l a r l y   A m a z o n   M e c h a n i c a l   T u r k - h a v e   m a d e   i t   e a s y   f o r   b e h a v i o r a l   s c i e n t i s t s   t o   r e c r u i t   r e s e a r c h   p a r t i c i p a n t s .   H o w e v e r ,   r e s e a r c h e r s   h a v e   o v e r l o o k e d   c r u c i a l   d i f f e r e n c e s   b e t w e e n   c r o w d s o u r c i n g   a n d   t r a d i t i o n a l   r e c r u i t m e n t   m e t h o d s   t h a t   p r o v i d e   u n i q u e   o p p o r t u n i t i e s   a n d   c h a l l e n g e s .   W e   s h o w   t h a t   c r o w d s o u r c e d   w o r k e r s   a r e   l i k e l y   t o   p a r t i c i p a t e   a c r o s s   m u l t i p l e   r e l a t e d   e x p e r i m e n t s   a n d   t h a t   r e s e a r c h e r s   a r e   o v e r z e a l o u s   i n   t h e   e x c l u s i o n   o f   r e s e a r c h   p a r t i c i p a n t s .   W e   d e s c r i b e   h o w   b o t h   o f   t h e s e   p r o b l e m s   c a n   b e   a v o i d e d   u s i n g   a d v a n c e d   i n t e r f a c e   f e a t u r e s   t h a t   a l s o   a l l o w   p r e s c r e e n i n g   a n d   l o n g i t u d i n a l   d a t a   c o l l e c t i o n .   U s i n g   t h e s e   t e c h n i q u e s   c a n   m i n i m i z e   t h e   e f f e c t s   o f   p r e v i o u s l y   i g n o r e d   d r a w b a c k s   a n d   e x p a n d   t h e   s c o p e   o f   c r o w d s o u r c i n g   a s   a   t o o l   f o r   p s y c h o l o g i c a l   r e s e a r c h . 	 [ C h a n d l e r ,   J e s s e ]   P r i n c e t o n   U n i v ,   W o o d r o w   W i l s o n   S c h   P u b l   A f f a i r s ,   P r i n c e t o n ,   N J   0 8 5 4 4   U S A ;   [ M u e l l e r ,   P a m ]   P r i n c e t o n   U n i v ,   D e p t   P s y c h o l ,   P r i n c e t o n ,   N J   0 8 5 4 4   U S A ;   [ P a o l a c c i ,   G a b r i e l e ]   E r a s m u s   U n i v ,   R o t t e r d a m   S c h   M a n a g e m e n t ,   R o t t e r d a m ,   N e t h e r l a n d s 	 C h a n d l e r ,   J   ( r e p r i n t   a u t h o r ) ,   P r i n c e t o n   U n i v ,   W o o d r o w   W i l s o n   S c h   P u b l   A f f a i r s ,   P r i n c e t o n ,   N J   0 8 5 4 4   U S A . 	 j j c h a n d l @ u m i c h . e d u 	 	 	 	 	 A N D E R S O N   N H ,   1 9 6 8 ,   J   P E R S   S O C   P S Y C H O L ,   V 9 ,   P 2 7 2 ,   D O I   1 0 . 1 0 3 7 / h 0 0 2 5 9 0 7 ;   B a s s o   M R ,   1 9 9 9 ,   C L I N   N E U R O P S Y C H O L ,   V 1 3 ,   P 2 8 3 ,   D O I   1 0 . 1 0 7 6 / c l i n . 1 3 . 3 . 2 8 3 . 1 7 4 3 ;   B e h r e n d   T S ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 8 0 0 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 0 8 1 - 0 ;   B e r i n s k y   A J ,   2 0 1 2 ,   P O L I T   A N A L ,   V 2 0 ,   P 3 5 1 ,   D O I   1 0 . 1 0 9 3 / p a n / m p r 0 5 7 ;   B O D E N H A U S E N   G V ,   1 9 9 0 ,   P S Y C H O L   S C I ,   V 1 ,   P 3 1 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 2 8 0 . 1 9 9 0 . t b 0 0 2 2 6 . x ;   B r o c k   T .   C . ,   1 9 6 6 ,   J O U R N A L   O F   E X P E R I M E N ,   V 2 ,   P 3 ,   D O I   [ 1 0 . 1 0 1 6 / 0 0 2 2 - 1 0 3 1 ( 6 6 ) 9 0 0 8 7 - 4 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 2 - 1 0 3 1 ( 6 6 ) 9 0 0 8 7 - 4 ] ;   B u c h a n a n   T . ,   2 0 0 0 ,   P S Y C H O L   E X P T   I N T E R N E ,   P 1 2 1 ,   D O I   1 0 . 1 0 1 6 / B 9 7 8 - 0 1 2 0 9 9 9 8 0 - 4 / 5 0 0 0 6 - X ;   B u h r m e s t e r   M ,   2 0 1 1 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 6 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 0 3 9 3 9 8 0 ;   C A C I O P P O   J T ,   1 9 8 4 ,   J   P E R S   A S S E S S ,   V 4 8 ,   P 3 0 6 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 7 5 2 j p a 4 8 0 3 _ 1 3 ;   C h a n d l e r   J . ,   2 0 1 3 ,   H A N D B O O K   O F   H U M A N   C O ;   C h i l t o n   L .   B . ,   2 0 0 9 ,   H C O M P 0 9   P R O C E E D I N G S ,   P 1 ,   D O I   [ 1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 8 8 9 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 8 8 9 ] ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   D a n a e r   K ,   2 0 0 8 ,   J   A P P L   S O C   P S Y C H O L ,   V 3 8 ,   P 1 6 3 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 5 9 - 1 8 1 6 . 2 0 0 8 . 0 0 3 6 2 . x ;   D o w n s   J .   S . ,   2 0 1 2 ,   S C R E E N I N G   P A R T I C I P A N ;   D o w n s   J S ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 3 9 9 ;   E d l u n d   J E ,   2 0 0 9 ,   P E R S   S O C   P S Y C H O L   B ,   V 3 5 ,   P 6 3 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 6 1 6 7 2 0 8 3 3 1 2 5 5 ;   E l l s w o r t h   P .   C . ,   2 0 0 3 ,   S A G E   H D B   S O C I A L   P S Y C ,   P 2 4 ;   F a u l   F ,   2 0 0 7 ,   B E H A V   R E S   M E T H O D S ,   V 3 9 ,   P 1 7 5 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 1 . 4 . 1 1 4 9 ;   F i n u c a n e   M L ,   2 0 1 0 ,   P S Y C H O L   A G I N G ,   V 2 5 ,   P 2 7 1 ,   D O I   1 0 . 1 0 3 7 / a 0 0 1 9 1 0 6 ;   F i s k e   S .   T . ,   1 9 8 4 ,   S O C I A L   C O G N I T I O N ;   F r e d e r i c k   S ,   2 0 0 5 ,   J   E C O N   P E R S P E C T ,   V 1 9 ,   P 2 5 ,   D O I   1 0 . 1 2 5 7 / 0 8 9 5 3 3 0 0 5 7 7 5 1 9 6 7 3 2 ;   G a g g i o l i   A ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 4 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 3 2 1 . 5 8 9 5 . 1 4 4 3 a ;   G L I N S K I   R J ,   1 9 7 0 ,   J   P E R S   S O C   P S Y C H O L ,   V 1 6 ,   P 4 7 8 ,   D O I   1 0 . 1 0 3 7 / h 0 0 3 0 0 7 3 ;   G o l d i n   G . ,   2 0 1 3 ,   T U R K G A T E   V E R S I O N   0   4 ;   G o o d m a n   J .   K . ,   2 0 1 2 ,   J O U R N A L   O F   B E H A V I O R A ;   G o s l i n g   S D ,   2 0 0 4 ,   A M   P S Y C H O L ,   V 5 9 ,   P 9 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 0 3 - 0 6 6 X . 5 9 . 2 . 9 3 ;   H A N S E N   W B ,   1 9 9 0 ,   E V A L U A T I O N   R E V ,   V 1 4 ,   P 6 7 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 9 3 8 4 1 X 9 0 0 1 4 0 0 6 0 8 ;   H o r t o n   J J ,   2 0 1 1 ,   E X P   E C O N ,   V 1 4 ,   P 3 9 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 8 3 - 0 1 1 - 9 2 7 3 - 9 ;   I p e i r o t i s   P . ,   2 0 1 0 ,   C E D E R   1 0   0 1   W O R K I N G ;   J o h n s o n   J A ,   2 0 0 5 ,   J   R E S   P E R S ,   V 3 9 ,   P 1 0 3 ,   D O I   1 0 . 1 0 1 6 / j . j r p . 2 0 0 4 . 0 9 . 0 0 9 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K r a n t z   J ,   2 0 0 0 ,   P S Y C H O L   E X P T   I N T E R N E ,   P 3 5 ,   D O I   1 0 . 1 0 1 6 / B 9 7 8 - 0 1 2 0 9 9 9 8 0 - 4 / 5 0 0 0 3 - 4 ;   L i n t o t t   C J ,   2 0 0 8 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 8 9 ,   P 1 1 7 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 8 . 1 3 6 8 9 . x ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   M a t a   A . ,   2 0 1 3 ,   J O U R N A L   O F   E X P E R I M E N ;   M u e l l e r   P . ,   2 0 1 2 ,   E M A I L I N G   W O R K E R S   U S I ;   M u n s o n   S A ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 4 5 7 ;   O p p e n h e i m e r   D M ,   2 0 0 9 ,   J   E X P   S O C   P S Y C H O L ,   V 4 5 ,   P 8 6 7 ,   D O I   1 0 . 1 0 1 6 / j . j e s p . 2 0 0 9 . 0 3 . 0 0 9 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   P a x t o n   J M ,   2 0 1 2 ,   C O G N I T I V E   S C I ,   V 3 6 ,   P 1 6 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 5 1 - 6 7 0 9 . 2 0 1 1 . 0 1 2 1 0 . x ;   P e e r   E . ,   2 0 1 2 ,   S E L E C T I V E L Y   R E C R U I T I ;   P o p e   D ,   2 0 1 1 ,   P S Y C H O L   S C I ,   V 2 2 ,   P 7 1 ,   D O I   1 0 . 1 1 7 7 / 0 9 5 6 7 9 7 6 1 0 3 9 1 0 9 8 ;   R a n d   D G ,   2 0 1 2 ,   J   T H E O R   B I O L ,   V 2 9 9 ,   P 1 7 2 ,   D O I   1 0 . 1 0 1 6 / j . j t b i . 2 0 1 1 . 0 3 . 0 0 4 ;   R e i p s   U . - D . ,   2 0 0 0 ,   P S Y C H O L   E X P T   I N T E R N E ,   P 8 9 ,   D O I   1 0 . 1 0 1 6 / B 9 7 8 - 0 1 2 0 9 9 9 8 0 - 4 / 5 0 0 0 5 - 8 ;   R i b i s l   K .   M . ,   1 9 9 9 ,   E V A L U A T I O N   A N D   P R O G R ,   V 1 9 ,   P 1 ,   D O I   [ 1 0 . 1 0 1 6 / 0 1 4 9 - 7 1 8 9 ( 9 5 ) 0 0 0 3 7 - 2 ,   D O I   1 0 . 1 0 1 6 / 0 1 4 9 - 7 1 8 9 ( 9 5 ) 0 0 0 3 7 - 2 ] ;   R O S C H   E ,   1 9 7 5 ,   C O G N I T I V E   P S Y C H O L ,   V 7 ,   P 5 3 2 ,   D O I   1 0 . 1 0 1 6 / 0 0 1 0 - 0 2 8 5 ( 7 5 ) 9 0 0 2 1 - 3 ;   R O S N O W   R L ,   1 9 7 3 ,   J   E X P   S O C   P S Y C H O L ,   V 9 ,   P 1 8 1 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 2 - 1 0 3 1 ( 7 3 ) 9 0 0 0 9 - 7 ;   S A W Y E R   A G ,   1 9 7 5 ,   J   C O N S U M   R E S ,   V 1 ,   P 2 0 ,   D O I   1 0 . 1 0 8 6 / 2 0 8 6 0 4 ;   S h a p i r o   D .   N . ,   2 0 1 3 ,   U S I N G   M E C H A N I C A L   T U R ;   S h e n h a v   A ,   2 0 1 2 ,   J   E X P   P S Y C H O L   G E N ,   V 1 4 1 ,   P 4 2 3 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 5 3 9 1 ;   S I L V E R M A . I ,   1 9 7 0 ,   J   P E R S   S O C   P S Y C H O L ,   V 1 4 ,   P 2 0 3 ,   D O I   1 0 . 1 0 3 7 / h 0 0 2 8 8 5 2 ;   S i m m o n s   J P ,   2 0 1 1 ,   P S Y C H O L   S C I ,   V 2 2 ,   P 1 3 5 9 ,   D O I   1 0 . 1 1 7 7 / 0 9 5 6 7 9 7 6 1 1 4 1 7 6 3 2 ;   S p r o u s e   J ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 1 5 5 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 0 - 0 0 3 9 - 7 ;   S T E E L E   C M ,   1 9 9 5 ,   J   P E R S   S O C   P S Y C H O L ,   V 6 9 ,   P 7 9 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 6 9 . 5 . 7 9 7 ;   S u m m e r v i l l e   A ,   2 0 1 3 ,   B E H A V   R E S   M E T H O D S ,   V 4 5 ,   P 1 1 6 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 2 - 0 2 5 0 - 9 ;   S u r i   S ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 6 8 3 6 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   W e s t   R F ,   2 0 1 2 ,   J   P E R S   S O C   P S Y C H O L ,   V 1 0 3 ,   P 5 0 6 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 8 8 5 7 	 5 8 	 6 	 6 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 3   U S A 	 1 5 5 4 - 3 5 1 X 	 1 5 5 4 - 3 5 2 8 	 	 B E H A V   R E S   M E T H O D S 	 B e h a v .   R e s .   M e t h o d s 	 M A R 	 2 0 1 4 	 4 6 	 1 	 	 	 	 	 1 1 2 	 1 3 0 	 	 1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 3 - 0 3 6 5 - 7 	 	 1 9 	 P s y c h o l o g y ,   M a t h e m a t i c a l ;   P s y c h o l o g y ,   E x p e r i m e n t a l 	 P s y c h o l o g y 	 A M 9 U I 	 W O S : 0 0 0 3 4 0 2 2 6 1 0 0 0 0 9 	 2 3 8 3 5 6 5 0 	 
 J 	 C h e s b r o u g h ,   H ;   B r u n s w i c k e r ,   S 	 	 	 	 C h e s b r o u g h ,   H e n r y ;   B r u n s w i c k e r ,   S a b i n e 	 	 	 A   F a d   o r   a   P h e n o m e n o n ?   T h e   A d o p t i o n   o f   O p e n   I n n o v a t i o n   P r a c t i c e s   i n   L a r g e   F i r m s 	 R E S E A R C H - T E C H N O L O G Y   M A N A G E M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 O p e n   i n n o v a t i o n ;   I n n o v a t i o n   p r a c t i c e s ;   A d o p t i o n 	 I M P L E M E N T I N G   O P E N   I N N O V A T I O N 	 W e   s u r v e y e d   1 2 5   l a r g e   f i r m s   i n   E u r o p e   a n d   t h e   U n i t e d   S t a t e s   w i t h   a n n u a l   s a l e s   i n   e x c e s s   o f   $ 2 5 0   m i l l i o n   t o   e x a m i n e   t h e   e x t e n t   t o   w h i c h   l a r g e   f i r m s   a r e   n o w   p r a c t i c i n g   o p e n   i n n o v a t i o n .   O u r   r e s u l t s   s h o w e d   t h a t   o p e n   i n n o v a t i o n   i s   n o t   a   p a s s i n g   f a d :   7 8   p e r c e n t   o f   t h e   f i r m s   r e p o r t   p r a c t i c i n g   o p e n   i n n o v a t i o n ,   n o n e   h a v e   a b a n d o n e d   i t ,   a n d   8 2   p e r c e n t   o f   t h o s e   p r a c t i c i n g   o p e n   i n n o v a t i o n   r e p o r t   t h a t   i t   i s   p r a c t i c e d   m o r e   i n t e n s i v e l y   t o d a y   t h a n   t h r e e   y e a r s   a g o .   W e   a l s o   a s k e d   a b o u t   s p e c i f i c   p r a c t i c e s   f o r   " o u t s i d e - i n "   a n d   " i n s i d e - o u t "   o p e n   i n n o v a t i o n .   W e   f o u n d   t h a t   c u s t o m e r   c o - c r e a t i o n ,   i n f o r m a l   n e t w o r k i n g ,   a n d   u n i v e r s i t y   g r a n t s   w e r e   t h e   t h r e e   l e a d i n g   i n b o u n d   p r a c t i c e s   i n   2 0 1 1 ;   c r o w d s o u r c i n g   a n d   o p e n   i n n o v a t i o n   i n t e r m e d i a r y   s e r v i c e s   w e r e   r a t e d   l o w e s t   i n   i m p o r t a n c e .   J o i n t   v e n t u r e s ,   s e l l i n g   m a r k e t - r e a d y   p r o d u c t s ,   a n d   s t a n d a r d i z a t i o n   w e r e   t h e   t h r e e   l e a d i n g   o u t b o u n d   p r a c t i c e s ;   d o n a t i o n s   t o   c o m m o n s   a n d   s p i n o f f s   w e r e   l e a s t   f r e q u e n t l y   u s e d .   W e   a l s o   f o u n d   t h a t   l a r g e   f i r m s   a r e   m o r e   l i k e l y   t o   r e c e i v e   f r e e l y   r e v e a l e d   i n f o r m a t i o n   t h a n   t h e y   a r e   t o   p r o v i d e   s u c h   i n f o r m a t i o n . 	 [ C h e s b r o u g h ,   H e n r y ]   U n i v   C a l i f   B e r k e l e y ,   H a a s   S c h   B u s i n e s s ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A ;   [ C h e s b r o u g h ,   H e n r y ]   G a r w o o d   C t r   C o r p   I n n o v a t ,   B e r k e l e y ,   C A   U S A ;   [ C h e s b r o u g h ,   H e n r y ;   B r u n s w i c k e r ,   S a b i n e ]   R a m o n   L l u l   U n i v ,   E S A D E   B u s i n e s s   S c h ,   B a r c e l o n a ,   S p a i n ;   [ C h e s b r o u g h ,   H e n r y ]   H a r v a r d   U n i v ,   B u s i n e s s   S c h ,   C a m b r i d g e ,   M A   0 2 1 3 8   U S A ;   [ B r u n s w i c k e r ,   S a b i n e ]   P u r d u e   U n i v ,   W   L a f a y e t t e ,   I N   4 7 9 0 7   U S A ;   [ B r u n s w i c k e r ,   S a b i n e ]   F r a u n h o f e r   G e s e l l ,   F r a u n h o f e r   I n s t   I n d   E n g n ,   S t u t t g a r t ,   G e r m a n y 	 C h e s b r o u g h ,   H   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   B e r k e l e y ,   H a a s   S c h   B u s i n e s s ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A . 	 c h e s b r o u @ h a a s . b e r k e l e y . e d u ;   s b r u n s w i @ p u r d u e . e d u 	 	 	 	 	 A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ;   C h e s b r o u g h   H .   W . ,   2 0 1 3 ,   M A N A G I N G   O P E N   I N N O V A ;   D a h l a n d e r   L ,   2 0 1 0 ,   R E S   P O L I C Y ,   V 3 9 ,   P 6 9 9 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 0 . 0 1 . 0 1 3 ;   E i s e n b e r g   I ,   2 0 1 1 ,   R E S   T E C H N O L   M A N A G E ,   V 5 4 ,   P 5 0 ;   H a r h o f f   D ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 7 5 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 6 1 - 1 ;   H u s t o n   L ,   2 0 0 7 ,   R E S   T E C H N O L   M A N A G E ,   V 5 0 ,   P 2 1 ;   H u s t o n   L ,   2 0 0 6 ,   H A R V A R D   B U S   R E V ,   V 8 4 ,   P 5 8 ;   K i r s c h b a u m   R ,   2 0 0 5 ,   R E S   T E C H N O L   M A N A G E ,   V 4 8 ,   P 2 4 ;   L a u r s e n   K ,   2 0 0 6 ,   S T R A T E G I C   M A N A G E   J ,   V 2 7 ,   P 1 3 1 ,   D O I   1 0 . 1 0 0 2 / s m j . 5 0 7 ;   L i n d e g a a r d   S . ,   2 0 1 0 ,   I N N O V A T I O N   E X C E L L E N C ;   N a k a g a k i   P ,   2 0 1 2 ,   R E S   T E C H N O L   M A N A G E ,   V 5 5 ,   P 3 2 ,   D O I   1 0 . 5 4 3 7 / 0 8 9 5 6 3 0 8 X 5 5 0 4 0 7 9 ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L 	 1 4 	 0 	 0 	 I N D U S T R I A L   R E S E A R C H   I N S T ,   I N C 	 A R L I N G T O N 	 2 3 0 0   C L A R E N D O N   B L V D ,   S T E   4 0 0 ,   A R L I N G T O N ,   V A   2 2 2 0 1   U S A 	 0 8 9 5 - 6 3 0 8 	 1 9 3 0 - 0 1 6 6 	 	 R E S   T E C H N O L   M A N A G E 	 R e s . - T e c h n o l .   M a n a g e . 	 M A R - A P R 	 2 0 1 4 	 5 7 	 2 	 	 	 	 	 1 6 	 2 5 	 	 1 0 . 5 4 3 7 / 0 8 9 5 6 3 0 8 X 5 7 0 2 1 9 6 	 	 1 0 	 B u s i n e s s ;   E n g i n e e r i n g ,   I n d u s t r i a l ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s ;   E n g i n e e r i n g 	 A I 8 X X 	 W O S : 0 0 0 3 3 7 2 1 1 4 0 0 0 0 7 	 	 
 J 	 S a l t e r - T o w n s h e n d ,   M ;   M u r p h y ,   T B 	 	 	 	 S a l t e r - T o w n s h e n d ,   M i c h a e l ;   M u r p h y ,   T h o m a s   B r e n d a n 	 	 	 M i x t u r e s   o f   b i a s e d   s e n t i m e n t   a n a l y s e r s 	 A D V A N C E S   I N   D A T A   A N A L Y S I S   A N D   C L A S S I F I C A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 B i a s   m o d e l l i n g ;   C r o w d s o u r c i n g ;   E M   a l g o r i t h m ;   M i x t u r e   m o d e l ;   S e n t i m e n t   a n a l y s i s 	 E M   A L G O R I T H M ;   M O D E L ;   C R I T E R I O N ;   C L U S T E R S ;   N U M B E R ;   B A Y E S 	 M o d e l l i n g   b i a s   i s   a n   i m p o r t a n t   c o n s i d e r a t i o n   w h e n   d e a l i n g   w i t h   i n e x p e r t   a n n o t a t i o n s .   W e   a r e   c o n c e r n e d   w i t h   t r a i n i n g   a   c l a s s i f i e r   t o   p e r f o r m   s e n t i m e n t   a n a l y s i s   o n   n e w s   m e d i a   a r t i c l e s ,   s o m e   o f   w h i c h   h a v e   b e e n   m a n u a l l y   a n n o t a t e d   b y   v o l u n t e e r s .   T h e   c l a s s i f i e r   i s   t r a i n e d   o n   t h e   w o r d s   i n   t h e   a r t i c l e s   a n d   t h e n   a p p l i e d   t o   n o n - a n n o t a t e d   a r t i c l e s .   I n   p r e v i o u s   w o r k   w e   f o u n d   t h a t   a   j o i n t   e s t i m a t i o n   o f   t h e   a n n o t a t o r   b i a s e s   a n d   t h e   c l a s s i f i e r   p a r a m e t e r s   p e r f o r m e d   b e t t e r   t h a n   e s t i m a t i o n   o f   t h e   b i a s e s   f o l l o w e d   b y   t r a i n i n g   o f   t h e   c l a s s i f i e r .   A n   i m p o r t a n t   q u e s t i o n   f o l l o w s   f r o m   t h i s   r e s u l t :   c a n   t h e   a n n o t a t o r s   b e   u s e f u l l y   c l u s t e r e d   i n t o   e i t h e r   p r e d e t e r m i n e d   o r   d a t a - d r i v e n   c l u s t e r s ,   b a s e d   o n   t h e i r   b i a s e s ?   I f   s o ,   s u c h   a   c l u s t e r i n g   c o u l d   b e   u s e d   t o   s e l e c t ,   d r o p   o r   o t h e r w i s e   c a t e g o r i s e   t h e   a n n o t a t o r s   i n   a   c r o w d s o u r c i n g   t a s k .   T h i s   p a p e r   p r e s e n t s   w o r k   o n   f i t t i n g   a   f i n i t e   m i x t u r e   m o d e l   t o   t h e   a n n o t a t o r s '   b i a s .   W e   d e v e l o p   a   m o d e l   a n d   a n   a l g o r i t h m   a n d   d e m o n s t r a t e   i t s   p r o p e r t i e s   o n   s i m u l a t e d   d a t a .   W e   t h e n   d e m o n s t r a t e   t h e   c l u s t e r i n g   t h a t   e x i s t s   i n   o u r   m o t i v a t i n g   d a t a s e t ,   n a m e l y   t h e   a n a l y s i s   o f   p o t e n t i a l l y   e c o n o m i c a l l y   r e l e v a n t   n e w s   a r t i c l e s   f r o m   I r i s h   o n l i n e   n e w s   s o u r c e s . 	 [ S a l t e r - T o w n s h e n d ,   M i c h a e l ;   M u r p h y ,   T h o m a s   B r e n d a n ]   U n i v   C o l l   D u b l i n ,   S c h   M a t h   S c i ,   D u b l i n   4 ,   I r e l a n d ;   [ S a l t e r - T o w n s h e n d ,   M i c h a e l ;   M u r p h y ,   T h o m a s   B r e n d a n ]   U n i v   C o l l   D u b l i n ,   C o m p l e x   &   A d a p t   S y s t   L a b ,   D u b l i n   4 ,   I r e l a n d 	 S a l t e r - T o w n s h e n d ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   C o l l   D u b l i n ,   S c h   M a t h   S c i ,   D u b l i n   4 ,   I r e l a n d . 	 m i c h a e l . s a l t e r - t o w n s h e n d @ u c d . i e 	 S a l t e r - T o w n s h e n d ,   M i c h a e l / I - 1 7 6 3 - 2 0 1 2 	 S a l t e r - T o w n s h e n d ,   M i c h a e l / 0 0 0 0 - 0 0 0 1 - 6 2 3 2 - 9 1 0 9 	 	 	 A i t c h i s o n   J . ,   1 9 8 6 ,   S T A T   A N A L   C O M P O S I T I O ;   B i e r n a c k i   C ,   1 9 9 9 ,   P A T T E R N   R E C O G N   L E T T ,   V 2 0 ,   P 2 6 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 8 6 5 5 ( 9 8 ) 0 0 1 4 4 - 5 ;   B l i t z e r   J ,   2 0 0 7 ,   P   4 5   A N N   M   A S S   C O M P ,   P 1 8 7 ;   B o l l e n   J . ,   2 0 1 1 ,   C o m p u t e r ,   V 4 4 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 1 1 . 3 2 3 ;   B r e w   A ,   2 0 1 0 ,   N I P S   W O R K S H   C O M P   S O C ;   B r e w   A ,   2 0 1 0 ,   P   1 9   E U R   C   A R T   I N T   E ,   P 1 ;   C e l e u x   G ,   1 9 9 6 ,   J   C L A S S I F ,   V 1 3 ,   P 1 9 5 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 2 4 6 0 9 8 ;   D a w i d   A . P . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   V 2 8 ,   P 2 0 ;   D E M P S T E R   A P ,   1 9 7 7 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 3 9 ,   P 1 ;   D o m i n g o s   P ,   1 9 9 7 ,   M A C H   L E A R N ,   V 2 9 ,   P 1 0 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 7 4 1 3 5 1 1 3 6 1 ;   F r a l e y   C ,   2 0 0 2 ,   J   A M   S T A T   A S S O C ,   V 9 7 ,   P 6 1 1 ,   D O I   1 0 . 1 1 9 8 / 0 1 6 2 1 4 5 0 2 7 6 0 0 4 7 1 3 1 ;   G o v a e r t   G ,   2 0 0 5 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 7 ,   P 6 4 3 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 5 . 6 9 ;   G o v a e r t   G ,   2 0 0 3 ,   P A T T E R N   R E C O G N ,   V 3 6 ,   P 4 6 3 ;   G o v a e r t   G ,   2 0 0 8 ,   C O M P U T   S T A T   D A T A   A N ,   V 5 2 ,   P 3 2 3 3 ,   D O I   1 0 . 1 0 1 6 / j . c s d a . 2 0 0 7 . 0 9 . 0 0 7 ;   H a n d   D J ,   2 0 0 1 ,   I N T   S T A T   R E V ,   V 6 9 ,   P 3 8 5 ,   D O I   1 0 . 2 3 0 7 / 1 4 0 3 4 5 2 ;   H A T H A W A Y   R J ,   1 9 8 6 ,   S T A T   P R O B A B I L   L E T T ,   V 4 ,   P 5 3 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 7 - 7 1 5 2 ( 8 6 ) 9 0 0 1 6 - 7 ;   K A S S   R E ,   1 9 9 5 ,   J   A M   S T A T   A S S O C ,   V 9 0 ,   P 7 7 3 ,   D O I   1 0 . 1 0 8 0 / 0 1 6 2 1 4 5 9 . 1 9 9 5 . 1 0 4 7 6 5 7 2 ;   K e r i b i n   C . ,   2 0 0 0 ,   S A N K H Y A   A ,   V 6 2 ,   P 4 9 ,   D O I   [ 1 0 . 2 3 0 7 / 2 5 0 5 1 2 8 9 ,   D O I   1 0 . 2 3 0 7 / 2 5 0 5 1 2 8 9 ] ;   L e e   L . ,   2 0 0 4 ,   P   A C L ,   P 2 7 1 ,   D O I   D O I   1 0 . 3 1 1 5 / 1 2 1 8 9 5 5 . 1 2 1 8 9 9 0 ;   L E R O U X   B G ,   1 9 9 2 ,   A N N   S T A T ,   V 2 0 ,   P 1 3 5 0 ,   D O I   1 0 . 1 2 1 4 / a o s / 1 1 7 6 3 4 8 7 7 2 ;   L o n g   B ,   2 0 0 7 ,   K D D - 2 0 0 7   P R O C E E D I N G S   O F   T H E   T H I R T E E N T H   A C M   S I G K D D   I N T E R N A T I O N A L   C O N F E R E N C E   O N   K N O W L E D G E   D I S C O V E R Y   A N D   D A T A   M I N I N G ,   P 4 7 0 ;   M c L a c h l a n   G . ,   2 0 0 0 ,   F I N I T E   M I X T U R E   M O D E L ;   M c N i c h o l a s   P D ,   2 0 0 8 ,   S T A T   C O M P U T ,   V 1 8 ,   P 2 8 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 2 2 - 0 0 8 - 9 0 5 6 - 0 ;   M I L L E R   R G ,   1 9 7 4 ,   B I O M E T R I K A ,   V 6 1 ,   P 1 ;   Q U E N O U I L L E   M H ,   1 9 4 9 ,   J   R O Y   S T A T   S O C   B ,   V 1 1 ,   P 6 8 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   R a y k a r   V C ,   2 0 1 2 ,   J   M A C H   L E A R N   R E S ,   V 1 3 ,   P 4 9 1 ;   S a l t e r - T o w n s h e n d   M ,   2 0 1 2 ,   S T U D I E S   C L A S S I F I C A T I ;   S C H W A R Z   G ,   1 9 7 8 ,   A N N   S T A T ,   V 6 ,   P 4 6 1 ,   D O I   1 0 . 1 2 1 4 / a o s / 1 1 7 6 3 4 4 1 3 6 ;   S h a n   H H ,   2 0 0 8 ,   I E E E   D A T A   M I N I N G ,   P 5 3 0 ,   D O I   1 0 . 1 1 0 9 / I C D M . 2 0 0 8 . 9 1 ;   T h o m a s   M . ,   2 0 0 6 ,   P   2 0 0 6   C   E M P   M E T H   N A ,   P 3 2 7 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 0 0 7 5 . 1 6 1 0 1 2 2 ;   T U K E Y   J W ,   1 9 5 8 ,   A N N   M A T H   S T A T ,   V 2 9 ,   P 6 1 4 	 3 2 	 0 	 0 	 S P R I N G E R   H E I D E L B E R G 	 H E I D E L B E R G 	 T I E R G A R T E N S T R A S S E   1 7 ,   D - 6 9 1 2 1   H E I D E L B E R G ,   G E R M A N Y 	 1 8 6 2 - 5 3 4 7 	 1 8 6 2 - 5 3 5 5 	 	 A D V   D A T A   A N A L   C L A S S I 	 A d v .   D a t a   A n a l .   C l a s s i f . 	 M A R 	 2 0 1 4 	 8 	 1 	 	 	 S I 	 	 8 5 	 1 0 3 	 	 1 0 . 1 0 0 7 / s 1 1 6 3 4 - 0 1 3 - 0 1 5 0 - 6 	 	 1 9 	 S t a t i s t i c s   &   P r o b a b i l i t y 	 M a t h e m a t i c s 	 A H 8 R W 	 W O S : 0 0 0 3 3 6 4 0 6 9 0 0 0 0 6 	 	 
 J 	 W o o d ,   A M ;   G a r z a - G o n g o r a ,   A G ;   K o s a k ,   S T 	 	 	 	 W o o d ,   A s h l e y   M . ;   G a r z a - G o n g o r a ,   A r t u r o   G . ;   K o s a k ,   S t e v e n   T . 	 	 	 A   C r o w d s o u r c e d   n u c l e u s :   U n d e r s t a n d i n g   n u c l e a r   o r g a n i z a t i o n   i n   t e r m s   o f   d y n a m i c a l l y   n e t w o r k e d   p r o t e i n   f u n c t i o n 	 B I O C H I M I C A   E T   B I O P H Y S I C A   A C T A - G E N E   R E G U L A T O R Y   M E C H A N I S M S 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 N u c l e a r   o r g a n i z a t i o n ;   G e n o m e   o r g a n i z a t i o n ;   N u c l e a r   b o d y 	 B E T A - G L O B I N   L O C U S ;   E M B R Y O N I C   S T E M - C E L L S ;   D O U B L E - S T R A N D   B R E A K S ;   O R D E R   C H R O M A T I N   A R R A N G E M E N T S ;   E N H A N C E R - B L O C K I N G   A C T I V I T Y ;   C O O R D I N A T E   G E N E - R E G U L A T I O N ;   I M P R I N T I N G   C O N T R O L   R E G I O N ;   C C C T C - B I N D I N G   F A C T O R ;   D N A - D A M A G E   R E S P O N S E ;   C - M Y C   G E N E 	 T h e   s p a t i a l   o r g a n i z a t i o n   o f   t h e   n u c l e u s   r e s u l t s   i n   a   c o m p a r t m e n t a l i z e d   s t r u c t u r e   t h a t   a f f e c t s   a l l   a s p e c t s   o f   n u c l e a r   f u n c t i o n .   T h i s   c o m p a r t m e n t a l i z a t i o n   i n v o l v e s   g e n o m e   o r g a n i z a t i o n   a s   w e l l   a s   t h e   f o r m a t i o n   o f   n u c l e a r   b o d i e s   a n d   p l a y s   a   r o l e   i n   m a n y   f u n c t i o n s ,   i n c l u d i n g   g e n e   r e g u l a t i o n ,   g e n o m e   s t a b i l i t y ,   r e p l i c a t i o n ,   a n d   R N A   p r o c e s s i n g .   H e r e   w e   r e v i e w   t h e   r e c e n t   f i n d i n g s   a s s o c i a t e d   w i t h   t h e   s p a t i a l   o r g a n i z a t i o n   o f   t h e   n u c l e u s   a n d   r e v e a l   t h a t   a   c o m m o n   t h e m e   f o r   n u c l e a r   p r o t e i n s   i s   t h e i r   a b i l i t y   t o   p a r t i c i p a t e   i n   a   v a r i e t y   o f   f u n c t i o n s   a n d   p a t h w a y s .   W e   c o n s i d e r   t h i s   m u l t i p l i c i t y   o f   f u n c t i o n   i n   t e r m s   o f   C r o w d s o u r c i n g ,   a   r e c e n t   p h e n o m e n o n   i n   t h e   w o r l d   o f   i n f o r m a t i o n   t e c h n o l o g y ,   a n d   s u g g e s t   t h a t   t h i s   m o d e l   p r o v i d e s   a   n o v e l   w a y   t o   s y n t h e s i z e   t h e   m a n y   i n t e r s e c t i o n s   b e t w e e n   n u c l e a r   o r g a n i z a t i o n   a n d   f u n c t i o n .   T h i s   a r t i c l e   i s   p a r t   o f   a   S p e c i a l   I s s u e   e n t i t l e d :   C h r o m a t i n   a n d   e p i g e n e t i c   r e g u l a t i o n   o f   a n i m a l   d e v e l o p m e n t .   ( C )   2 0 1 4   T h e   A u t h o r s .   P u b l i s h e d   b y   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ W o o d ,   A s h l e y   M . ;   G a r z a - G o n g o r a ,   A r t u r o   G . ;   K o s a k ,   S t e v e n   T . ]   N o r t h w e s t e r n   U n i v ,   D e p t   C e l l   &   M o l   B i o l ,   F e i n b e r g   S c h   M e d ,   C h i c a g o ,   I L   6 0 6 1 1   U S A 	 K o s a k ,   S T   ( r e p r i n t   a u t h o r ) ,   3 0 3   E   C h i c a g o   A v e , W a r d   8 - 1 3 2 ,   C h i c a g o ,   I L   6 0 6 1 1   U S A . 	 s - k o s a k @ n o r t h w e s t e r n . e d u 	 	 	 B u r r o u g h s   W e l c o m e   F u n d ;   E l l i s o n   M e d i c a l   F o u n d a t i o n ;   N I H ;   A m e r i c a n   C a n c e r   S o c i e t y 	 W e   t h a n k   D a n i e l   S .   N e e m s   f o r   s h a r i n g   i m a g e s   S c o t t   H o l t e r h a u s   f o r   c r e a t i n g   t h e   a r t w o r k   i n   F i g .   1 ,   a n d   E l l e n   R i c e   f o r   t h o u g h t f u l   d i s c u s s i o n s   a n d   i d e a s .   T h i s   w o r k   i s   f u n d e d   b y   a   C a r e e r   A w a r d   i n   t h e   B i o m e d i c a l   S c i e n c e s   f r o m   t h e   B u r r o u g h s   W e l c o m e   F u n d ,   a n   E l l i s o n   M e d i c a l   F o u n d a t i o n   N e w   S c h o l a r   A w a r d ,   a n d   a n   N I H   N e w   I n n o v a t o r   A w a r d .   A . W .   i s   s u p p o r t e d   b y   a   p o s t d o c t o r a l   f e l l o w s h i p   f r o m   t h e   A m e r i c a n   C a n c e r   S o c i e t y . 	 A g m o n   N ,   2 0 1 3 ,   N A T   C E L L   B I O L ,   V 1 5 ,   P 6 9 4 ,   D O I   1 0 . 1 0 3 8 / n c b 2 7 4 5 ;   A h m e d   S ,   2 0 1 0 ,   N A T   C E L L   B I O L ,   V 1 2 ,   P 1 1 1 ,   D O I   1 0 . 1 0 3 8 / n c b 2 0 1 1 ;   A n d e r s e n   J S ,   2 0 0 5 ,   N A T U R E ,   V 4 3 3 ,   P 7 7 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 3 2 0 7 ;   A n d e r s e n   J S ,   2 0 0 2 ,   C U R R   B I O L ,   V 1 2 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / S 0 9 6 0 - 9 8 2 2 ( 0 1 ) 0 0 6 5 0 - 9 ;   A n d r e y   G ,   2 0 1 3 ,   S C I E N C E ,   V 3 4 0 ,   P 1 1 9 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 3 4 1 6 7 ;   A S C O L I   C A ,   1 9 9 1 ,   J   C E L L   B I O L ,   V 1 1 2 ,   P 7 8 5 ,   D O I   1 0 . 1 0 8 3 / j c b . 1 1 2 . 5 . 7 8 5 ;   A u d a s   T E ,   2 0 1 2 ,   M O L   C E L L ,   V 4 5 ,   P 1 4 7 ,   D O I   1 0 . 1 0 1 6 / j . m o l c e l . 2 0 1 1 . 1 2 . 0 1 2 ;   B a t t y   E ,   2 0 0 9 ,   F R O N T   B I O S C I ,   V 1 4 ,   P 1 1 8 2 ,   D O I   1 0 . 2 7 4 1 / 3 3 0 2 ;   B a u e r   D C ,   2 0 1 1 ,   B I O I N F O R M A T I C S ,   V 2 7 ,   p I 7 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t r 2 1 7 ;   B e l l   A C ,   2 0 0 0 ,   N A T U R E ,   V 4 0 5 ,   P 4 8 2 ;   B e l l   A C ,   1 9 9 9 ,   C E L L ,   V 9 8 ,   P 3 8 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 9 2 - 8 6 7 4 ( 0 0 ) 8 1 9 6 7 - 4 ;   B e r n a r d i   R ,   2 0 0 7 ,   N A T   R E V   M O L   C E L L   B I O ,   V 8 ,   P 1 0 0 6 ,   D O I   1 0 . 1 0 3 8 / n r m 2 2 7 7 ;   B e u c h e l e r   T . L . ,   2 0 1 1 ,   1 1   E U R   C   S Y N T H   S I M   L ,   V 1 1 ,   P 1 0 9 ;   B o i s v e r t   F M ,   2 0 0 7 ,   N A T   R E V   M O L   C E L L   B I O ,   V 8 ,   P 5 7 4 ,   D O I   1 0 . 1 0 3 8 / n r m 2 1 8 4 ;   B o i s v e r t   F M ,   2 0 0 0 ,   J   C E L L   B I O L ,   V 1 4 8 ,   P 2 8 3 ,   D O I   1 0 . 1 0 8 3 / j c b . 1 4 8 . 2 . 2 8 3 ;   B o l z e r   A ,   2 0 0 5 ,   P L O S   B I O L ,   V 3 ,   P 8 2 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p b i o . 0 0 3 0 1 5 7 ;   B o u l o n   S ,   2 0 1 0 ,   M O L   C E L L ,   V 4 0 ,   P 2 1 6 ,   D O I   1 0 . 1 0 1 6 / j . m o l c e l . 2 0 1 0 . 0 9 . 0 2 4 ;   B o y l e   S ,   2 0 1 1 ,   C H R O M O S O M E   R E S ,   V 1 9 ,   P 9 0 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 7 7 - 0 1 1 - 9 2 4 5 - 0 ;   B o y l e   S ,   2 0 0 1 ,   H U M   M O L   G E N E T ,   V 1 0 ,   P 2 1 1 ,   D O I   1 0 . 1 0 9 3 / h m g / 1 0 . 3 . 2 1 1 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r a n c o   M R ,   2 0 0 6 ,   P L O S   B I O L ,   V 4 ,   P 7 8 0 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p b i o . 0 0 4 0 1 3 8 ;   B r a n c o   M R ,   2 0 0 8 ,   C H R O M O S O M E   R E S ,   V 1 6 ,   P 4 1 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 7 7 - 0 0 8 - 1 2 3 0 - x ;   B r i c k n e r   D G ,   2 0 0 7 ,   P L O S   B I O L ,   V 5 ,   P 7 0 4 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p b i o . 0 0 5 0 0 8 1 ;   B r i c k n e r   D G ,   2 0 1 2 ,   N U C L E U S - A U S T I N ,   V 3 ,   P 4 8 7 ,   D O I   [ 1 0 . 4 1 6 1 / n u c l . 2 2 6 6 3 ,   1 0 . 4 1 6 1 / n u c l e u s . 2 2 6 6 3 ] ;   B r i d g e r   J M ,   2 0 0 0 ,   C U R R   B I O L ,   V 1 0 ,   P 1 4 9 ,   D O I   1 0 . 1 0 1 6 / S 0 9 6 0 - 9 8 2 2 ( 0 0 ) 0 0 3 1 2 - 2 ;   B r o w n   J M ,   2 0 0 6 ,   J   C E L L   B I O L ,   V 1 7 2 ,   P 1 7 7 ,   D O I   1 0 . 1 0 8 3 / j c b . 2 0 0 5 0 7 0 7 3 ;   B r o w n   J M ,   2 0 0 8 ,   J   C E L L   B I O L ,   V 1 8 2 ,   P 1 0 8 3 ,   D O I   1 0 . 1 0 8 3 / j c b . 2 0 0 8 0 3 1 7 4 ;   B u k a t a   L ,   2 0 1 3 ,   C U R R   O P I N   C E L L   B I O L ,   V 2 5 ,   P 3 7 8 ,   D O I   1 0 . 1 0 1 6 / j . c e b . 2 0 1 3 . 0 3 . 0 0 2 ;   C a p e l s o n   M ,   2 0 1 0 ,   C o l d   S p r i n g   H a r b   S y m p   Q u a n t   B i o l ,   V 7 5 ,   P 5 8 5 ,   D O I   1 0 . 1 1 0 1 / s q b . 2 0 1 0 . 7 5 . 0 5 9 ;   C a p e l s o n   M ,   2 0 1 0 ,   C E L L ,   V 1 4 0 ,   P 3 7 2 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 0 9 . 1 2 . 0 5 4 ;   C a r m o - F o n s e c a   M ,   2 0 1 0 ,   C S H   P E R S P E C T   B I O L ,   V 2 ,   D O I   1 0 . 1 1 0 1 / c s h p e r s p e c t . a 0 0 0 7 0 3 ;   C a r t e r   D ,   2 0 0 2 ,   N A T   G E N E T ,   V 3 2 ,   P 6 2 3 ,   D O I   1 0 . 1 0 3 8 / n g 1 0 5 1 ;   C h a n g   C C ,   2 0 1 1 ,   M O L   C E L L ,   V 4 2 ,   P 6 2 ,   D O I   1 0 . 1 0 1 6 / j . m o l c e l . 2 0 1 1 . 0 2 . 0 2 2 ;   C h i n g   R W ,   2 0 1 3 ,   J   C E L L   B I O L ,   V 2 0 1 ,   P 3 2 5 ,   D O I   1 0 . 1 0 8 3 / j c b . 2 0 1 2 1 1 0 9 7 ;   C l o w n e y   E J ,   2 0 1 2 ,   C E L L ,   V 1 5 1 ,   P 7 2 4 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 1 2 . 0 9 . 0 4 3 ;   C o n s t a n t i n e s c u   D ,   2 0 0 6 ,   S T E M   C E L L S ,   V 2 4 ,   P 1 7 7 ,   D O I   1 0 . 1 6 3 4 / s t e m c e l l s . 2 0 0 4 - 0 1 5 9 ;   C o r p e t   A ,   2 0 1 3 ,   C E L L   C Y C L E ,   V 1 3 ;   C r a b b e   L ,   2 0 1 2 ,   C E L L   R E P ,   V 2 ,   P 1 5 2 1 ,   D O I   1 0 . 1 0 1 6 / j . c e l r e p . 2 0 1 2 . 1 1 . 0 1 9 ;   C r e m e r   M ,   2 0 0 1 ,   C H R O M O S O M E   R E S ,   V 9 ,   P 5 4 1 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 2 4 9 5 2 0 1 6 9 7 ;   C r e m e r   M ,   2 0 0 3 ,   J   C E L L   B I O L ,   V 1 6 2 ,   P 8 0 9 ,   D O I   1 0 . 1 0 8 3 / j o b . 2 0 0 3 0 4 0 9 6 ;   C r e m e r   T ,   2 0 1 0 ,   C S H   P E R S P E C T   B I O L ,   V 2 ,   D O I   1 0 . 1 1 0 1 / c s h p e r s p e c t . a 0 0 3 8 8 9 ;   C r o f t   J A ,   1 9 9 9 ,   J   C E L L   B I O L ,   V 1 4 5 ,   P 1 1 1 9 ,   D O I   1 0 . 1 0 8 3 / j c b . 1 4 5 . 6 . 1 1 1 9 ;   C u d d a p a h   S ,   2 0 0 9 ,   G E N O M E   R E S ,   V 1 9 ,   P 2 4 ,   D O I   1 0 . 1 1 0 1 / g r . 0 8 2 8 0 0 . 1 0 8 ;   D e k k e r   J ,   2 0 0 2 ,   S C I E N C E ,   V 2 9 5 ,   P 1 3 0 6 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 0 6 7 7 9 9 ;   D e l b a r r e   E ,   2 0 1 3 ,   G E N O M E   R E S ,   V 2 3 ,   P 4 4 0 ,   D O I   1 0 . 1 1 0 1 / g r . 1 4 2 7 0 3 . 1 1 2 ;   D e M a r e   L E ,   2 0 1 3 ,   G E N O M E   R E S ,   V 2 3 ,   P 1 2 2 4 ,   D O I   1 0 . 1 1 0 1 / g r . 1 5 6 5 7 0 . 1 1 3 ;   D e n g   W L ,   2 0 1 2 ,   C E L L ,   V 1 4 9 ,   P 1 2 3 3 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 1 2 . 0 3 . 0 5 1 ;   D e n g   Z ,   2 0 1 2 ,   E M B O   J ,   V 3 1 ,   P 4 1 6 5 ,   D O I   1 0 . 1 0 3 8 / e m b o j . 2 0 1 2 . 2 6 6 ;   D e n i a u d   E ,   2 0 0 9 ,   C U R R   O P I N   G E N E T   D E V ,   V 1 9 ,   P 1 8 7 ,   D O I   1 0 . 1 0 1 6 / j . g d e . 2 0 0 9 . 0 1 . 0 0 5 ;   D i e t z e l   S ,   1 9 9 8 ,   C H R O M O S O M E   R E S ,   V 6 ,   P 2 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 9 2 6 2 2 2 3 6 9 3 ;   D i m i t r o v a   N ,   2 0 0 8 ,   N A T U R E ,   V 4 5 6 ,   P 5 2 4 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 7 4 3 3 ;   D i o n   V ,   2 0 1 3 ,   E M B O   R E P ,   V 1 4 ,   P 9 8 4 ,   D O I   1 0 . 1 0 3 8 / e m b o r . 2 0 1 3 . 1 4 2 ;   D i o n   V ,   2 0 1 3 ,   C E L L ,   V 1 5 2 ,   P 1 3 5 5 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 1 3 . 0 2 . 0 1 0 ;   D i o n   V ,   2 0 1 2 ,   N A T   C E L L   B I O L ,   V 1 4 ,   P 5 0 2 ,   D O I   1 0 . 1 0 3 8 / n c b 2 4 6 5 ;   D i x o n   J R ,   2 0 1 2 ,   N A T U R E ,   V 4 8 5 ,   P 3 7 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 1 1 0 8 2 ;   D r i s s e n   R ,   2 0 0 4 ,   G E N E   D E V ,   V 1 8 ,   P 2 4 8 5 ,   D O I   1 0 . 1 1 0 1 / g a d . 3 1 7 0 0 4 ;   D u n d r   M ,   2 0 1 2 ,   C U R R   O P I N   C E L L   B I O L ,   V 2 4 ,   P 4 1 5 ,   D O I   1 0 . 1 0 1 6 / j . c e b . 2 0 1 2 . 0 3 . 0 1 0 ;   D u n d r   M ,   2 0 0 7 ,   J   C E L L   B I O L ,   V 1 7 9 ,   P 1 0 9 5 ,   D O I   1 0 . 1 0 8 3 / j c b . 2 0 0 7 1 0 0 5 8 ;   E c k e r s l e y - M a s l i n   M A ,   2 0 1 3 ,   N U C L E U S - A U S T I N ,   V 4 ,   P 5 3 ,   D O I   1 0 . 4 1 6 1 / n u c l . 2 3 3 8 4 ;   E d e n s   L J ,   2 0 1 3 ,   T R E N D S   C E L L   B I O L ,   V 2 3 ,   P 1 5 1 ,   D O I   1 0 . 1 0 1 6 / j . t c b . 2 0 1 2 . 1 1 . 0 0 4 ;   F a u r e   A J ,   2 0 1 2 ,   G E N O M E   R E S ,   V 2 2 ,   P 2 1 6 3 ,   D O I   1 0 . 1 1 0 1 / g r . 1 3 6 5 0 7 . 1 1 1 ;   F e d o r i w   A M ,   2 0 0 4 ,   S C I E N C E ,   V 3 0 3 ,   P 2 3 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 0 9 0 9 3 4 ;   F e l s e n f e l d   G ,   2 0 0 4 ,   C O L D   S P R I N G   H A R B   S Y M ,   V 6 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 0 1 / s q b . 2 0 0 4 . 6 9 . 2 4 5 ;   F e r b e y r e   G ,   2 0 0 0 ,   G E N E   D E V ,   V 1 4 ,   P 2 0 1 5 ;   F i l i p p o v a   G N ,   1 9 9 6 ,   M O L   C E L L   B I O L ,   V 1 6 ,   P 2 8 0 2 ;   F o g a l   V ,   2 0 0 0 ,   E M B O   J ,   V 1 9 ,   P 6 1 8 5 ,   D O I   1 0 . 1 0 9 3 / e m b o j / 1 9 . 2 2 . 6 1 8 5 ;   F o x   A H ,   2 0 1 0 ,   C S H   P E R S P E C T   B I O L ,   V 2 ,   D O I   1 0 . 1 1 0 1 / c s h p e r s p e c t . a 0 0 0 6 8 7 ;   G i a l i t a k i s   M ,   2 0 1 0 ,   M O L   C E L L   B I O L ,   V 3 0 ,   P 2 0 4 6 ,   D O I   1 0 . 1 1 2 8 / M C B . 0 0 9 0 6 - 0 9 ;   G o n z a l e z - S u a r e z   I ,   2 0 0 9 ,   E M B O   J ,   V 2 8 ,   P 2 4 1 4 ,   D O I   1 0 . 1 0 3 8 / e m b o j . 2 0 0 9 . 1 9 6 ;   G o r i s c h   S M ,   2 0 0 4 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 1 ,   P 1 3 2 2 1 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 4 0 2 9 5 8 1 0 1 ;   G r e e n   E M ,   2 0 1 2 ,   M O L   B I O L   C E L L ,   V 2 3 ,   P 1 3 6 7 ,   D O I   1 0 . 1 0 9 1 / m b c . E 1 1 - 0 6 - 0 5 4 7 ;   G u e l e n   L ,   2 0 0 8 ,   N A T U R E ,   V 4 5 3 ,   P 9 4 8 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 6 9 4 7 ;   G u o   A ,   2 0 0 0 ,   N A T   C E L L   B I O L ,   V 2 ,   P 7 3 0 ;   H a n d o k o   L ,   2 0 1 1 ,   N A T   G E N E T ,   V 4 3 ,   P 6 3 0 ,   D O I   1 0 . 1 0 3 8 / n g . 8 5 7 ;   H a r k   A T ,   2 0 0 0 ,   N A T U R E ,   V 4 0 5 ,   P 4 8 6 ;   H e a t h   H ,   2 0 0 8 ,   E M B O   J ,   V 2 7 ,   P 2 8 3 9 ,   D O I   1 0 . 1 0 3 8 / e m b o j . 2 0 0 8 . 2 1 4 ;   H i r a t a n i   I ,   2 0 1 0 ,   G E N O M E   R E S ,   V 2 0 ,   P 1 5 5 ,   D O I   1 0 . 1 1 0 1 / g r . 0 9 9 7 9 6 . 1 0 9 ;   H i r a t a n i   I ,   2 0 0 8 ,   P L O S   B I O L ,   V 6 ,   P 2 2 2 0 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p b i o . 0 0 6 0 2 4 5 ;   H o l w e r d a   S j o e r d ,   2 0 1 2 ,   F r o n t   G e n e t ,   V 3 ,   P 2 1 7 ,   D O I   1 0 . 3 3 8 9 / f g e n e . 2 0 1 2 . 0 0 2 1 7 ;   H o u   C H ,   2 0 1 2 ,   M O L   C E L L ,   V 4 8 ,   P 4 7 1 ,   D O I   1 0 . 1 0 1 6 / j . m o l c e l . 2 0 1 2 . 0 8 . 0 3 1 ;   I b o r r a   F J ,   1 9 9 6 ,   J   C E L L   S C I ,   V 1 0 9 ,   P 1 4 2 7 ;   I y e r   K V ,   2 0 1 2 ,   B I O P H Y S   J ,   V 1 0 3 ,   P 1 4 1 6 ,   D O I   1 0 . 1 0 1 6 / j . b p j . 2 0 1 2 . 0 8 . 0 4 1 ;   Y o o n   Y S ,   2 0 0 7 ,   M O L   C E L L   B I O L ,   V 2 7 ,   P 3 4 9 9 ,   D O I   1 0 . 1 1 2 8 / M C B . 0 2 1 7 0 - 0 6 ;   J u n i e r   I ,   2 0 1 0 ,   P L O S   C O M P U T   B I O L ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p c b i . 1 0 0 0 6 7 8 ;   K a g e y   M H ,   2 0 1 0 ,   N A T U R E ,   V 4 6 7 ,   P 4 3 0 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 8 0 ;   K a i s e r   T E ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 2 ,   P 1 7 1 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 5 2 1 6 ;   K a l h o r   R ,   2 0 1 2 ,   N A T   B I O T E C H N O L ,   V 3 0 ,   P 9 0 ,   D O I   1 0 . 1 0 3 8 / n b t . 2 0 5 7 ;   K a l v e r d a   B ,   2 0 1 0 ,   C E L L ,   V 1 4 0 ,   P 3 6 0 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 1 0 . 0 1 . 0 1 1 ;   K h a t a u   S B ,   2 0 0 9 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 6 ,   P 1 9 0 1 7 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 9 0 8 6 8 6 1 0 6 ;   K i e s e r m a n   E K ,   2 0 1 1 ,   C E L L   C Y C L E ,   V 1 0 ,   P 3 8 6 3 ,   D O I   1 0 . 4 1 6 1 / c c . 1 0 . 2 2 . 1 7 9 7 5 ;   K i m   T H ,   2 0 0 7 ,   C E L L ,   V 1 2 8 ,   P 1 2 3 1 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 0 6 . 1 2 . 0 4 8 ;   K i m   Y ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 4 ,   P 1 7 0 6 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 1 1 2 2 2 ;   K i m   Y ,   2 0 1 3 ,   C E L L   R E S ,   V 2 3 ,   P 1 4 2 0 ,   D O I   1 0 . 1 0 3 8 / c r . 2 0 1 3 . 1 1 8 ;   K i n d   J ,   2 0 1 3 ,   C E L L ,   V 1 5 3 ,   P 1 7 8 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 1 3 . 0 2 . 0 2 8 ;   K L E N O V A   E M ,   1 9 9 3 ,   M O L   C E L L   B I O L ,   V 1 3 ,   P 7 6 1 2 ;   K m i t a   M ,   2 0 0 3 ,   S C I E N C E ,   V 3 0 1 ,   P 3 3 1 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 0 8 5 7 5 3 ;   K o c a n o v a   S ,   2 0 1 0 ,   P L O S   G E N E T ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p g e n . 1 0 0 0 9 2 2 ;   K o h w i   M ,   2 0 1 3 ,   C E L L ,   V 1 5 2 ,   P 9 7 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 1 2 . 1 1 . 0 4 9 ;   K o s a k   S T ,   2 0 0 2 ,   S C I E N C E ,   V 2 9 6 ,   P 1 5 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 0 6 8 7 6 8 ;   K o s a k   S T ,   2 0 0 7 ,   P L O S   B I O L ,   V 5 ,   P 2 6 0 2 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p b i o . 0 0 5 0 3 0 9 ;   K r a w c z y k   P M ,   2 0 1 2 ,   J   C E L L   S C I ,   V 1 2 5 ,   P 2 1 2 7 ,   D O I   1 0 . 1 2 4 2 / j c s . 0 8 9 8 4 7 ;   K u r u k u t i   S ,   2 0 0 6 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 3 ,   P 1 0 6 8 4 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 6 0 0 3 2 6 1 0 3 ;   L a l l e m a n d - B r e i t e n b a c h   V ,   2 0 1 0 ,   C S H   P E R S P E C T   B I O L ,   V 2 ,   D O I   1 0 . 1 1 0 1 / c s h p e r s p e c t . a 0 0 0 6 6 1 ;   L a s t e r   K ,   2 0 1 0 ,   C U R R   O P I N   C E L L   B I O L ,   V 2 2 ,   P 3 1 4 ,   D O I   1 0 . 1 0 1 6 / j . c e b . 2 0 1 0 . 0 4 . 0 0 9 ;   L e u n g   A K L ,   2 0 0 3 ,   B I O C H E M   J ,   V 3 7 6 ,   P 5 5 3 ,   D O I   1 0 . 1 0 4 2 / B J 2 0 0 3 1 1 6 9 ;   L e u n g   A K L ,   2 0 0 3 ,   C R I T   R E V   E U K A R   G E N E ,   V 1 3 ,   P 3 9 ,   D O I   1 0 . 1 6 1 5 / C r i t R e v E u k a r y o t G e n e E x p r . v 1 3 . i 1 . 4 0 ;   L e v y   D L ,   2 0 1 2 ,   A N N U   R E V   C E L L   D E V   B I ,   V 2 8 ,   P 1 1 3 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v - c e l l b i o - 0 9 2 9 1 0 - 1 5 4 1 5 8 ;   L e v y   D L ,   2 0 1 0 ,   C E L L ,   V 1 4 3 ,   P 2 8 8 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 1 0 . 0 9 . 0 1 2 ;   L i   G L ,   2 0 1 2 ,   C E L L ,   V 1 4 8 ,   P 8 4 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 1 1 . 1 2 . 0 1 4 ;   L i a n g   Y ,   2 0 1 3 ,   P L O S   G E N E T ,   V 9 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p g e n . 1 0 0 3 3 0 8 ;   L i e b e r m a n - A i d e n   E ,   2 0 0 9 ,   S C I E N C E ,   V 3 2 6 ,   P 2 8 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 8 1 3 6 9 ;   L i g h t   W H ,   2 0 1 0 ,   M O L   C E L L ,   V 4 0 ,   P 1 1 2 ,   D O I   1 0 . 1 0 1 6 / j . m o l c e l . 2 0 1 0 . 0 9 . 0 0 7 ;   L i n d s a y   C R ,   2 0 0 8 ,   F R O N T   B I O S C I ,   V 1 3 ,   P 7 1 3 2 ,   D O I   1 0 . 2 7 4 1 / 3 2 1 6 ;   L O B A N E N K O V   V V ,   1 9 9 0 ,   O N C O G E N E ,   V 5 ,   P 1 7 4 3 ;   M a c h y n a   M ,   2 0 1 3 ,   W I R E S   R N A ,   V 4 ,   P 1 7 ,   D O I   1 0 . 1 0 0 2 / w r n a . 1 1 3 9 ;   M a h e n   R ,   2 0 1 3 ,   P L O S   O N E ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 6 1 8 9 3 ;   M a r e n d u z z o   D ,   2 0 0 6 ,   J   C E L L   B I O L ,   V 1 7 5 ,   P 6 8 1 ,   D O I   1 0 . 1 0 8 3 / j c b . 2 0 0 6 0 9 0 6 6 ;   M a r k a k i   Y ,   2 0 1 2 ,   B I O E S S A Y S ,   V 3 4 ,   P 4 1 2 ,   D O I   1 0 . 1 0 0 2 / b i e s . 2 0 1 1 0 0 1 7 6 ;   M a s n y   P S ,   2 0 0 4 ,   H U M   M O L   G E N E T ,   V 1 3 ,   P 1 8 5 7 ,   D O I   1 0 . 1 0 9 3 / h m g / d d h 2 0 5 ;   M c C o r d   R P ,   2 0 1 3 ,   G E N O M E   R E S ,   V 2 3 ,   P 2 6 0 ,   D O I   1 0 . 1 1 0 1 / g r . 1 3 8 0 3 2 . 1 1 2 ;   M e h t a   G D ,   2 0 1 2 ,   B B A - M O L   C E L L   R E S ,   V 1 8 2 3 ,   P 1 3 2 4 ,   D O I   1 0 . 1 0 1 6 / j . b b a m c r . 2 0 1 2 . 0 5 . 0 2 7 ;   M e h t a   G D ,   2 0 1 3 ,   F E B S   L E T T ,   V 5 8 7 ,   P 2 2 9 9 ,   D O I   1 0 . 1 0 1 6 / j . f e b s l e t . 2 0 1 3 . 0 6 . 0 3 5 ;   M e h t a   I S ,   2 0 1 0 ,   G E N O M E   B I O L ,   V 1 1 ,   D O I   1 0 . 1 1 8 6 / g b - 2 0 1 0 - 1 1 - 1 - r 5 ;   M e h t a   I S ,   2 0 1 3 ,   G E N O M E   B I O L ,   V 1 4 ,   D O I   1 0 . 1 1 8 6 / g b - 2 0 1 3 - 1 4 - 1 2 - r 1 3 5 ;   M e l c e r   S ,   2 0 0 7 ,   E X P   C E L L   R E S ,   V 3 1 3 ,   P 2 1 5 7 ,   D O I   1 0 . 1 0 1 6 / j . y e x c r . 2 0 0 7 . 0 3 . 0 0 4 ;   M e u l e m a n   W ,   2 0 1 3 ,   G E N O M E   R E S ,   V 2 3 ,   P 2 7 0 ,   D O I   1 0 . 1 1 0 1 / g r . 1 4 1 0 2 8 . 1 1 2 ;   M e w b o r n   S K ,   2 0 1 0 ,   P L O S   O N E ,   V 5 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 4 3 4 2 ;   M e y e r z o n   M ,   2 0 0 9 ,   D E V   B I O L ,   V 3 2 7 ,   P 4 3 3 ,   D O I   1 0 . 1 0 1 6 / j . y d b i o . 2 0 0 8 . 1 2 . 0 3 0 ;   M i s t e l i   T ,   2 0 0 9 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 6 ,   P 6 8 8 5 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 9 0 2 0 1 0 1 0 6 ;   M i t c h e l l   J A ,   2 0 0 8 ,   G E N E   D E V ,   V 2 2 ,   P 2 0 ,   D O I   1 0 . 1 1 0 1 / g a d . 4 5 4 0 0 8 ;   M o i r   R D ,   2 0 0 0 ,   J   C E L L   B I O L ,   V 1 4 9 ,   P 1 1 7 9 ,   D O I   1 0 . 1 0 8 3 / j c b . 1 4 9 . 6 . 1 1 7 9 ;   M o n t a v o n   T ,   2 0 1 1 ,   C E L L ,   V 1 4 7 ,   P 1 1 3 2 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 1 1 . 1 0 . 0 2 3 ;   M o r e i r a   J A ,   2 0 1 3 ,   S C I   R E P - U K ,   V 3 ,   D O I   1 0 . 1 0 3 8 / s r e p 0 1 5 2 1 ;   M o r o z o v   V M ,   2 0 1 2 ,   N U C L E U S - A U S T I N ,   V 3 ,   P 2 7 6 ,   D O I   1 0 . 4 1 6 1 / n u c l . 2 0 1 8 0 ;   M u r r e l l   A ,   2 0 0 4 ,   N A T   G E N E T ,   V 3 6 ,   P 8 8 9 ,   D O I   1 0 . 1 0 3 8 / n g 1 4 0 2 ;   N a g a n o   T ,   2 0 1 3 ,   N A T U R E ,   V 5 0 2 ,   P 5 9 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 1 2 5 9 3 ;   N a s m y t h   K ,   2 0 0 9 ,   A N N U   R E V   G E N E T ,   V 4 3 ,   P 5 2 5 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v - g e n e t - 1 0 2 1 0 8 - 1 3 4 2 3 3 ;   N e m e t h   A ,   2 0 1 0 ,   P L O S   G E N E T ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p g e n . 1 0 0 0 8 8 9 ;   N e u m a n n   F R ,   2 0 1 2 ,   G E N E   D E V ,   V 2 6 ,   P 3 6 9 ,   D O I   1 0 . 1 1 0 1 / g a d . 1 7 6 1 5 6 . 1 1 1 ;   N i k o l a e v   L G ,   2 0 0 9 ,   C U R R   G E N O M I C S ,   V 1 0 ,   P 2 9 4 ,   D O I   1 0 . 2 1 7 4 / 1 3 8 9 2 0 2 0 9 7 8 8 9 2 1 0 3 8 ;   N i z a m i   Z ,   2 0 1 0 ,   C S H   P E R S P E C T   B I O L ,   V 2 ,   D O I   1 0 . 1 1 0 1 / c s h p e r s p e c t . a 0 0 0 6 5 3 ;   N o r a   E P ,   2 0 1 2 ,   N A T U R E ,   V 4 8 5 ,   P 3 8 1 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 1 1 0 4 9 ;   O l i v a r e s - C h a u v e t   P ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 2 7 5 2 7 ;   O s b o r n e   C S ,   2 0 0 7 ,   P L O S   B I O L ,   V 5 ,   P 1 7 6 3 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p b i o . 0 0 5 0 1 9 2 ;   O s b o r n e   C S ,   2 0 0 4 ,   N A T   G E N E T ,   V 3 6 ,   P 1 0 6 5 ,   D O I   1 0 . 1 0 3 8 / n g 1 4 2 3 ;   P a l s t r a   R J ,   2 0 0 3 ,   N A T   G E N E T ,   V 3 5 ,   P 1 9 0 ,   D O I   1 0 . 1 0 3 8 / n g 1 2 4 4 ;   P a l s t r a   R J ,   2 0 0 8 ,   P L O S   O N E ,   V 3 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 0 1 6 6 1 ;   P a r a d a   L A ,   2 0 0 4 ,   G E N O M E   B I O L ,   V 5 ,   D O I   1 0 . 1 1 8 6 / g b - 2 0 0 4 - 5 - 7 - r 4 4 ;   P a r e l h o   V ,   2 0 0 8 ,   C E L L ,   V 1 3 2 ,   P 4 2 2 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 0 8 . 0 1 . 0 1 1 ;   P e a r s o n   M ,   2 0 0 0 ,   N A T U R E ,   V 4 0 6 ,   P 2 0 7 ;   P e d e r s o n   T . ,   2 0 1 1 ,   C O L D   S P R I N G   H A R B   P E R ,   V 3 ;   P e r i c - H u p k e s   D ,   2 0 1 0 ,   M O L   C E L L ,   V 3 8 ,   P 6 0 3 ,   D O I   1 0 . 1 0 1 6 / j . m o l c e l . 2 0 1 0 . 0 3 . 0 1 6 ;   P h i l l i p s   J E ,   2 0 0 9 ,   C E L L ,   V 1 3 7 ,   P 1 1 9 4 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 0 9 . 0 6 . 0 0 1 ;   P h i l l i p s - C r e m i n s   J E ,   2 0 1 3 ,   C E L L ,   V 1 5 3 ,   P 1 2 8 1 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 1 3 . 0 4 . 0 5 3 ;   P i c k e r s g i l l   H ,   2 0 0 6 ,   N A T   G E N E T ,   V 3 8 ,   P 1 0 0 5 ,   D O I   1 0 . 1 0 3 8 / n g 1 8 5 2 ;   P i r r o t t a   V ,   2 0 1 2 ,   C U R R   O P I N   G E N E T   D E V ,   V 2 2 ,   P 1 0 1 ,   D O I   1 0 . 1 0 1 6 / j . g d e . 2 0 1 1 . 1 1 . 0 0 4 ;   P o h   Y C ,   2 0 1 2 ,   N A T   C O M M U N ,   V 3 ,   D O I   1 0 . 1 0 3 8 / n c o m m s 1 8 7 3 ;   R a g o c z y   T ,   2 0 0 6 ,   G E N E   D E V ,   V 2 0 ,   P 1 4 4 7 ,   D O I   1 0 . 1 1 0 1 / g a d . 1 4 1 9 5 0 6 ;   R a i c e s   M ,   2 0 1 2 ,   N A T   R E V   M O L   C E L L   B I O ,   V 1 3 ,   P 6 8 7 ,   D O I   1 0 . 1 0 3 8 / n r m 3 4 6 1 ;   R a j a p a k s e   I ,   2 0 0 9 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 6 ,   P 6 6 7 9 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 9 0 0 9 8 6 1 0 6 ;   R h i n d   N ,   2 0 1 3 ,   C S H   P E R S P E C T   B I O L ,   V 5 ,   D O I   1 0 . 1 1 0 1 / c s h p e r s p e c t . a 0 1 0 1 3 2 ;   R o k u d a i   S ,   2 0 1 3 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 1 0 ,   P 3 8 9 5 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 3 0 0 4 9 0 1 1 0 ;   R o u k o s   V ,   2 0 1 3 ,   S C I E N C E ,   V 3 4 1 ,   P 6 6 0 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 3 7 1 5 0 ;   R u b i o   E D ,   2 0 0 8 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 5 ,   P 8 3 0 9 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 8 0 1 2 7 3 1 0 5 ;   R y b a   T ,   2 0 1 0 ,   G E N O M E   R E S ,   V 2 0 ,   P 7 6 1 ,   D O I   1 0 . 1 1 0 1 / g r . 0 9 9 6 5 5 . 1 0 9 ;   S c h e r l   A ,   2 0 0 2 ,   M O L   B I O L   C E L L ,   V 1 3 ,   P 4 1 0 0 ,   D O I   1 0 . 1 0 9 1 / m b c . E 0 2 - 0 5 - 0 2 7 1 ;   S c h m i d t   D ,   2 0 1 0 ,   G E N O M E   R E S ,   V 2 0 ,   P 5 7 8 ,   D O I   1 0 . 1 1 0 1 / g r . 1 0 0 4 7 9 . 1 0 9 ;   S c h o e n f e l d e r   S ,   2 0 1 0 ,   C U R R   O P I N   G E N E T   D E V ,   V 2 0 ,   P 1 2 7 ,   D O I   1 0 . 1 0 1 6 / j . g d e . 2 0 1 0 . 0 2 . 0 0 2 ;   S c h o e n f e l d e r   S ,   2 0 1 0 ,   N A T   G E N E T ,   V 4 2 ,   P 5 3 ,   D O I   1 0 . 1 0 3 8 / n g . 4 9 6 ;   S c h r e i b e r   K H ,   2 0 1 3 ,   C E L L ,   V 1 5 2 ,   P 1 3 6 5 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 1 3 . 0 2 . 0 1 5 ;   S e i t a n   V C ,   2 0 1 2 ,   T R E N D S   I M M U N O L ,   V 3 3 ,   P 1 5 3 ,   D O I   1 0 . 1 0 1 6 / j . i t . 2 0 1 2 . 0 2 . 0 0 4 ;   S e i t a n   V C ,   2 0 1 1 ,   N A T U R E ,   V 4 7 6 ,   P 4 6 7 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 1 0 3 1 2 ;   S e x t o n   T ,   2 0 1 2 ,   C E L L ,   V 1 4 8 ,   P 4 5 8 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 1 2 . 0 1 . 0 1 0 ;   S h i e l s   C ,   2 0 0 1 ,   J   C E L L   S C I ,   V 1 1 4 ,   P 3 7 0 5 ;   S h i h   H Y ,   2 0 1 3 ,   J   I M M U N O L ,   V 1 9 0 ,   P 4 9 1 5 ,   D O I   1 0 . 4 0 4 9 / j i m m u n o l . 1 3 0 0 2 1 8 ;   S h i m i   T ,   2 0 1 2 ,   C U R R   O P I N   C E L L   B I O L ,   V 2 4 ,   P 7 1 ,   D O I   1 0 . 1 0 1 6 / j . c e b . 2 0 1 1 . 1 1 . 0 0 7 ;   S h i m i   T ,   2 0 1 0 ,   C o l d   S p r i n g   H a r b   S y m p   Q u a n t   B i o l ,   V 7 5 ,   P 5 2 5 ,   D O I   1 0 . 1 1 0 1 / s q b . 2 0 1 0 . 7 5 . 0 4 5 ;   S h o p l a n d   L S ,   2 0 0 6 ,   J   C E L L   B I O L ,   V 1 7 4 ,   P 2 7 ,   D O I   1 0 . 1 0 8 3 / j c b . 2 0 0 6 0 3 0 8 3 ;   S h u k l a   S ,   2 0 1 1 ,   N A T U R E ,   V 4 7 9 ,   P 7 4 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 1 0 4 4 2 ;   S i m o n i s   M ,   2 0 0 6 ,   N A T   G E N E T ,   V 3 8 ,   P 1 3 4 8 ,   D O I   1 0 . 1 0 3 8 / n g 1 8 9 6 ;   S o l o v e i   I ,   2 0 1 3 ,   C E L L ,   V 1 5 2 ,   P 5 8 4 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 1 3 . 0 1 . 0 0 9 ;   S o l o v e i   I ,   2 0 0 9 ,   C E L L ,   V 1 3 7 ,   P 3 5 6 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 0 9 . 0 1 . 0 5 2 ;   S o n g   S H ,   2 0 0 7 ,   M O L   C E L L ,   V 2 8 ,   P 8 1 0 ,   D O I   1 0 . 1 0 1 6 / j . m o l c e l . 2 0 0 7 . 0 9 . 0 2 5 ;   S o u t o g l o u   E ,   2 0 0 7 ,   N A T   C E L L   B I O L ,   V 9 ,   P 6 7 5 ,   D O I   1 0 . 1 0 3 8 / n c b 1 5 9 1 ;   S o u t o g l o u   E ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 0 ,   P 1 5 0 7 ,   D O I   [ 1 0 . 1 1 2 6 / s c i e n c e . 1 1 5 9 0 5 1 ,   1 0 . 1 1 2 6 / s c i e n c e . l l 5 9 0 5 1 ] ;   S p e c t o r   D L ,   2 0 1 1 ,   C S H   P E R S P E C T   B I O L ,   V 3 ,   D O I   1 0 . 1 1 0 1 / c s h p e r s p e c t . a 0 0 0 6 4 6 ;   S p e n c e r   R J ,   2 0 1 1 ,   G E N E T I C S ,   V 1 8 9 ,   P 4 4 1 ,   D O I   1 0 . 1 5 3 4 / g e n e t i c s . 1 1 1 . 1 3 2 6 6 2 ;   S p l i n t e r   E ,   2 0 0 6 ,   G E N E   D E V ,   V 2 0 ,   P 2 3 4 9 ,   D O I   1 0 . 1 1 0 1 / g a d . 3 9 9 5 0 6 ;   S t e d m a n   W ,   2 0 0 8 ,   E M B O   J ,   V 2 7 ,   P 6 5 4 ,   D O I   1 0 . 1 0 3 8 / e m b o j . 2 0 0 8 . 1 ;   S T E W A R T   C ,   1 9 8 7 ,   C E L L ,   V 5 1 ,   P 3 8 3 ;   S z a b o   P E ,   2 0 0 0 ,   C U R R   B I O L ,   V 1 0 ,   P 6 0 7 ,   D O I   1 0 . 1 0 1 6 / S 0 9 6 0 - 9 8 2 2 ( 0 0 ) 0 0 4 8 9 - 9 ;   T a k a t a   H ,   2 0 1 2 ,   J   C E L L   S C I ,   V 1 2 5 ,   P 1 6 6 ,   D O I   1 0 . 1 2 4 2 / j c s . 0 9 0 8 3 7 ;   T a n - W o n g   S M ,   2 0 0 9 ,   G E N E   D E V ,   V 2 3 ,   P 2 6 1 0 ,   D O I   1 0 . 1 1 0 1 / g a d . 1 8 2 3 2 0 9 ;   T o l h u i s   B ,   2 0 1 1 ,   P L O S   G E N E T ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p g e n . 1 0 0 1 3 4 3 ;   T o l h u i s   B ,   2 0 0 2 ,   M O L   C E L L ,   V 1 0 ,   P 1 4 5 3 ,   D O I   1 0 . 1 0 1 6 / S 1 0 9 7 - 2 7 6 5 ( 0 2 ) 0 0 7 8 1 - 5 ;   U l b r i c h t   T ,   2 0 1 2 ,   J   C E L L   B I O L ,   V 1 9 9 ,   P 4 9 ,   D O I   1 0 . 1 0 8 3 / j c b . 2 0 1 1 1 2 0 1 5 ;   V a k o c   C R ,   2 0 0 5 ,   M O L   C E L L ,   V 1 7 ,   P 4 5 3 ,   D O I   1 0 . 1 0 1 6 / j . m o l c e l . 2 0 0 4 . 1 2 . 0 2 8 ;   v a n   K o n i n g s b r u g g e n   S ,   2 0 1 0 ,   M O L   B I O L   C E L L ,   V 2 1 ,   P 3 7 3 5 ,   D O I   1 0 . 1 0 9 1 / m b c . E 1 0 - 0 6 - 0 5 0 8 ;   V a q u e r i z a s   J M ,   2 0 1 0 ,   P L O S   G E N E T ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p g e n . 1 0 0 0 8 4 6 ;   V e n t e i c h e r   A S ,   2 0 0 9 ,   S C I E N C E ,   V 3 2 3 ,   P 6 4 4 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 5 3 5 7 ;   V e r s a e v e l   M ,   2 0 1 2 ,   N A T   C O M M U N ,   V 3 ,   D O I   1 0 . 1 0 3 8 / n c o m m s 1 6 6 8 ;   W a n g   F ,   2 0 1 2 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 9 ,   P 2 0 4 1 3 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 2 0 0 2 3 2 1 0 9 ;   W a n g   J ,   2 0 0 4 ,   J   C E L L   B I O L ,   V 1 6 4 ,   P 5 1 5 ,   D O I   1 0 . 1 0 8 3 / j c b . 2 0 0 3 0 5 1 4 2 ;   W e b s t e r   M ,   2 0 0 9 ,   J   C E L L   S C I ,   V 1 2 2 ,   P 1 4 7 7 ,   D O I   1 0 . 1 2 4 2 / j c s . 0 3 7 3 3 3 ;   W e n d t   K S ,   2 0 0 8 ,   N A T U R E ,   V 4 5 1 ,   P 7 9 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 6 6 3 4 ;   W i l l i a m s   R R E ,   2 0 0 6 ,   J   C E L L   S C I ,   V 1 1 9 ,   P 1 3 2 ,   D O I   1 0 . 1 2 4 2 / j c s . 0 2 7 2 7 ;   X u   M ,   2 0 0 8 ,   J   C E L L   B I O L ,   V 1 8 1 ,   P 6 1 5 ,   D O I   1 0 . 1 0 8 3 / j c b . 2 0 0 7 1 0 0 5 3 ;   Y u x i a n g   Z . ,   2 0 1 2 ,   I N F O R M   S Y S T   F R O N T ,   P 1 ;   Z h a n g   Y ,   2 0 1 2 ,   C E L L ,   V 1 4 8 ,   P 9 0 8 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 1 2 . 0 2 . 0 0 2 ;   Z h o n g   F ,   2 0 1 1 ,   G E N E   D E V ,   V 2 5 ,   P 1 1 ,   D O I   1 0 . 1 1 0 1 / g a d . 2 0 0 6 4 1 1 ;   Z h o n g   S ,   2 0 0 0 ,   J   E X P   M E D ,   V 1 9 1 ,   P 6 3 1 ,   D O I   1 0 . 1 0 8 4 / j e m . 1 9 1 . 4 . 6 3 1 ;   Z i n k   D ,   2 0 0 4 ,   J   C E L L   B I O L ,   V 1 6 6 ,   P 8 1 5 ,   D O I   1 0 . 1 0 8 3 / j c b . 2 0 0 4 0 4 1 0 7 ;   Z l a t a n o v a   J ,   2 0 0 9 ,   J   C E L L   S C I ,   V 1 2 2 ,   P 1 2 7 5 ,   D O I   1 0 . 1 2 4 2 / j c s . 0 3 9 9 9 0 ;   Z u l l o   J M ,   2 0 1 2 ,   C E L L ,   V 1 4 9 ,   P 1 4 7 4 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 1 2 . 0 4 . 0 3 5 	 2 1 4 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 1 8 7 4 - 9 3 9 9 	 0 0 0 6 - 3 0 0 2 	 	 B B A - G E N E   R E G U L   M E C H 	 B i o c h i m .   B i o p h y s .   A c t a - G e n e   R e g u l .   M e c h . 	 M A R 	 2 0 1 4 	 1 8 3 9 	 3 	 	 	 S I 	 	 1 7 8 	 1 9 0 	 	 	 	 1 3 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   B i o p h y s i c s 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   B i o p h y s i c s 	 A E 3 M X 	 W O S : 0 0 0 3 3 3 8 8 1 7 0 0 0 0 7 	 2 4 4 1 2 8 5 3 	 
 J 	 F a w c e t t ,   S E ;   W a l l e r ,   M A 	 	 	 	 F a w c e t t ,   S t a n l e y   E . ;   W a l l e r ,   M a t t h e w   A . 	 	 	 C a n   W e   S t a y   A h e a d   o f   t h e   O b s o l e s c e n c e   C u r v e ?   O n   I n f l e c t i o n   P o i n t s ,   P r o a c t i v e   P r e e m p t i o n ,   a n d   t h e   F u t u r e   o f   S u p p l y   C h a i n   M a n a g e m e n t 	 J O U R N A L   O F   B U S I N E S S   L O G I S T I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 s u p p l y   c h a i n   m a n a g e m e n t ;   p r o a c t i v e   p r e e m p t i o n ;   e n v i r o n m e n t a l   s c a n n i n g ;   c h a n g e   m a n a g e m e n t 	 	 G r e a t   c o m p a n i e s - l i k e   g r e a t   p r o d u c t s   a n d   g r e a t   n a t i o n s - h a v e   a l w a y s   e n d u r e d   a   f o u r - s t a g e   l i f e   c y c l e :   e m e r g e n c e ,   g r o w t h ,   m a t u r i t y ,   a n d   d e c l i n e .   F a s t e r   c l o c k s p e e d s - e n a b l e d   b y   c o m p r e s s e d   t e c h n o l o g y   c y c l e s   a n d   a c c e l e r a t e d   b y   n e w   k n o w l e d g e - s h a r i n g   r o u t i n e s   s u c h   a s   c r o w d s o u r c i n g - a r e   s h r i n k i n g   l i f e   c y c l e s .   W h a t   d o e s   t h i s   m e a n ?   E n t i t i e s   o f   a l l   k i n d s   n o w   f i n d   t h e m s e l v e s   i n   a   c o n s t a n t   r a c e   a g a i n s t   o b s o l e s c e n c e .   W e   t h u s   a s k   a   v i t a l   q u e s t i o n , " C a n   w e   ( a s   a   d i s c i p l i n e )   s t a y   a h e a d   o f   t h e   o b s o l e s c e n c e   c u r v e ? "   T e c h n o l o g i c a l   a n d   s o c i o l o g i c a l   i n f l e c t i o n   p o i n t s   p r o m i s e   t o   c h a n g e   t h e   r u l e s   o f   e n g a g e m e n t .   F o r   i n s t a n c e ,   3 D   p r i n t i n g ,   B i g   D a t a ,   a n d   d r o n e s   p r o m i s e   t o   c h a n g e   m a n a g e m e n t   p r a c t i c e .   B u d g e t   d e f i c i t s ,   p o o r   s k i l l   i m p r o v e m e n t ,   a n d   M O O C s   p r o m i s e   t o   c h a n g e   a c a d e m e .   W e   d i s c u s s   a d a p t a t i o n   c h a l l e n g e s   a n d   p r o a c t i v e   p r e e m p t i o n   a s   p r e l u d e s   t o   p r e s e n t i n g   v a r i o u s   v i s i o n s   o f   t h e   f u t u r e   o f   s u p p l y   c h a i n m a n a g e m e n t . 	 [ F a w c e t t ,   S t a n l e y   E . ]   W e b e r   S t a t e   U n i v ,   O g d e n ,   U T   8 4 4 0 8   U S A ;   [ W a l l e r ,   M a t t h e w   A . ]   U n i v   A r k a n s a s ,   F a y e t t e v i l l e ,   A R   7 2 7 0 1   U S A 	 F a w c e t t ,   S E   ( r e p r i n t   a u t h o r ) ,   W e b e r   S t a t e   U n i v ,   W B   2 6 7 ,   O g d e n ,   U T   8 4 4 0 8   U S A . 	 s t a n . e . f a w c - e t t @ g m a i l . c o m 	 	 	 	 	 C h o o   C W ,   2 0 0 1 ,   I N F O R M   R E S ,   V 7 ;   C o r e i a   Z . ,   2 0 0 1 ,   I N F O R M   R E S ,   V 7 ;   D a v i s   G . ,   2 0 0 6 ,   O R G   O R G   R A T I O N A L   N A T ;   F a w c e t t   S .   E . ,   2 0 0 9 ,   S U P P L Y   C H A I N   M A N A G ,   V 1 3 ,   P 1 8 ;   F a w c e t t   S .   E . ,   2 0 0 7 ,   S U P P L Y   C H A I N   M A N A G E M ;   F a w c e t t   S .   E . ,   2 0 0 7 ,   A C H I E V I N G   W O R L D   C L A S ;   F i n e   C .   H . ,   1 9 9 8 ,   C L O C K S P E E D ;   G e r s t n e r   L . A . ,   2 0 0 3 ,   W H O   S A Y S   E L E P H A N T S   C ;   G r o v e   A ,   1 9 9 5 ,   F O R T U N E                   0 9 1 8 ;   G r o v e   A . ,   1 9 9 6 ,   O N L Y   P A R A N O I D   S U R V I V ;   H A N N A N   M T ,   1 9 8 4 ,   A M   S O C I O L   R E V ,   V 4 9 ,   P 1 4 9 ,   D O I   1 0 . 2 3 0 7 / 2 0 9 5 5 6 7 ;   L e w i n   K . ,   1 9 5 1 ,   F I E L D   T H E O R Y   S O C I A L ;   S T A W   B M ,   1 9 8 1 ,   A D M I N   S C I   Q U A R T ,   V 2 6 ,   P 5 0 1 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 2 3 3 7 	 1 3 	 1 	 1 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 7 3 5 - 3 7 6 6 	 2 1 5 8 - 1 5 9 2 	 	 J   B U S   L O G I S T 	 J .   B u s .   L o g i s t . 	 M A R 	 2 0 1 4 	 3 5 	 1 	 	 	 	 	 1 7 	 2 2 	 	 1 0 . 1 1 1 1 / j b l . 1 2 0 4 1 	 	 6 	 M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 A F 4 J T 	 W O S : 0 0 0 3 3 4 6 7 8 8 0 0 0 0 2 	 	 
 J 	 E l l i s ,   S 	 	 	 	 E l l i s ,   S a l l y 	 	 	 A   H i s t o r y   o f   C o l l a b o r a t i o n ,   a   F u t u r e   i n   C r o w d s o u r c i n g :   P o s i t i v e   I m p a c t s   o f   C o o p e r a t i o n   o n   B r i t i s h   L i b r a r i a n s h i p 	 L I B R I 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 T h i s   a r t i c l e   l o o k s   a t   t h e   v a r y i n g   d e f i n i t i o n s   a n d   u s a g e   o f   t h e   t e r m   ' c r o w d s o u r c i n g , '   i n c l u d i n g   t h o s e   t h a t   i n s i s t   t h e   t e r m   m a y   o n l y   b e   a p p l i e d   t o   o n l i n e   a c t i v i t i e s .   A n   a r g u m e n t   i s   m a d e   t h a t ,   s e m a n t i c s   a s i d e ,   t h e   a c t i v i t i e s   k n o w n   a s   c r o w d s o u r c i n g ,   c o l l a b o r a t i o n ,   a n d / o r   c i t i z e n   s c i e n c e ,   w e r e   i n   u s e   l o n g   b e f o r e   t h e   c u r r e n t   o n l i n e   m e d i u m   w a s   i n v e n t e d   a n d   s h o u l d   b e   r e c o g n i z e d   n o t   f o r   t h e   t e r m i n o l o g y   e m p l o y e d   b u t   f o r   t h e   m u t u a l   b e n e f i t s   r e a p e d .   T h e   a r t i c l e   a d d r e s s e s   t h e   s t r e n g t h s   o f   s u c h   a c t i v i t i e s ,   i n c l u d i n g   u s e r   e n g a g e m e n t ,   t h e   a c c o m p l i s h m e n t   o f   t a s k s   o t h e r w i s e   n o t   p o s s i b l e   b e c a u s e   o f   b u d g e t   c u t s ,   a n d   d i v e r s i t y   o f   v i e w p o i n t .   I n   a d d i t i o n ,   t h e   p o s s i b l e   w e a k n e s s e s   o f   r e c r u i t m e n t ,   p e r c e i v e d   l o s s   o f   p o w e r   b y   p r o f e s s i o n a l s ,   a n d   o v e r s i g h t   o f   t h i s   m e t h o d   o f   p r o j e c t   m a n a g e m e n t   a r e   r e v i e w e d   a n d   s u g g e s t i o n s   f o r   m i t i g a t i o n   a r e   p r o p o s e d .   F i n a l l y ,   i n s t a n c e s   o f   h i s t o r i c   a n d   c o n t e m p o r a r y   v e n t u r e s   i n   B r i t i s h   l i b r a r i a n s h i p   i n c l u d i n g   t h e   c r e a t i o n   o f   t h e   O x f o r d   E n g l i s h   D i c t i o n a r y ,   t h e   M a s s   O b s e r v a t i o n   M o v e m e n t ,   O x f o r d   U n i v e r s i t y ' s   A n c i e n t   L i v e s   p r o j e c t ,   F a m i l y S e a r c h   g e n e a l o g i c a l / a r c h i v e s   w o r k ,   t h e   B r i t i s h   M u s e u m   a n d   i G L A M   c o l l a b o r a t i o n   w i t h   W i k i p e d i a ,   a n d   t h e   S o u n d s   o f   t h e   U .   K .   a r e   p r o f i l e d .   A r g u m e n t s   f o r   t h e   r e l a t i v e   m e r i t s   o f   e a c h   p r o f i l e   a r e   h i g h l i g h t e d ,   i n c l u d i n g   b e n e f i t s   t o   s o c i e t y   a s   a   w h o l e ,   t h e   s p e c i f i c   i n s t i t u t i o n ,   i t s   u s e r s ,   a n d   t h e   f u t u r e   o f   c u l t u r a l   h e r i t a g e   o r g a n i z a t i o n s   t h r o u g h o u t   t h e   U n i t e d   K i n g d o m . 	 	 	 s a l l y e l l i s 1 9 @ g m a i l . c o m 	 	 	 	 	 A m i n d a ,   2 0 1 1 ,   I D E A C O N N E C T I O N     0 4 2 3 ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   S O U N D S ;   B r a b h a m   D .   C . ,   2 0 1 0 ,   T H E S I S   U   U T A H ;   C a r v a l h o   V . R . ,   2 0 1 0 ,   A C M   S I G I R   F O R U M ,   V 4 4 ,   P 1 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 7 5 . 1 9 2 4 4 8 1 ;   C o c k   M . ,   2 0 1 0 ,   W I K I P E D I A N   I N   R E S I D E ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   G i l l i e s   S . ,   2 0 1 2 ,   C O M M U N I C A T I O N         M A Y ;   H o l l e y   R . ,   2 0 1 0 ,   D   L I B   M A G A Z I N E ,   V 1 6 ,   P 5 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   H u b b l e   N . ,   2 0 1 0 ,   M A S S   O B S E R V A T I O N   E V E ;   L a w   E . ,   2 0 1 1 ,   H U M A N   C O M P U T A T I O N ;   L i e b l i n g   R ,   2 0 1 0 ,   E V E R Y O N E   I S   I L L U M I N A ;   M a s s   O b s e r v a t i o n :   R e c o r d i n g   E v e r y d a y   L i f e   i n   B r i t a i n ,   2 0 1 2 ,   A B   M A S S   O B S ;   M u r p h y   O . ,   2 0 1 2 ,   C R O W D S O U R C I N G   H I S T ;   O ' D o n n e l l   J . ,   2 0 0 2 ,   J   H A R R I S O N   L O N G I T U D E ;   O x f o r d   E n g l i s h   D i c t i o n a r y ,   2 0 1 2 ,   O X F O R D   E N G L I S H   D I C T ;   P a r k e s   D .   C . ,   2 0 1 3 ,   C S   1 8 6   E C   C O M P U T A T I O ;   P e a r s e   R . ,   2 0 1 0 ,   R   P E A R S E   T H O U G H T S   A N ;   P e n n o c k   M . ,   2 0 1 1 ,   A R I A D N E ,   P 6 6 ;   R e a d   F . ,   2 0 1 2 ,   C O M M U N I C A T I O N         M A Y ;   R u b i n   H . ,   1 9 9 8 ,   C O M M U N I C A T I O N         J A N ;   S u r o w i e k c i   J . ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   U n i v e r s i t y   o f   O x f o r d ,   2 0 1 2 ,   A N C   L I V   R E S ;   v a n   H o o l a n d   S ,   2 0 1 1 ,   L I B R   T R E N D S ,   V 5 9 ,   P 7 0 7 ;   W i n c h e s t e r   S i m o n ,   1 9 9 8 ,   P R O F E S S O R   M A D M A N   T A L ;   W r i g h t   A l e x ,   2 0 1 0 ,   N Y   T I M E S ;   W u   T . ,   2 0 0 5 ,   S L A T E 	 2 7 	 0 	 0 	 W A L T E R   D E   G R U Y T E R   G M B H 	 B E R L I N 	 G E N T H I N E R   S T R A S S E   1 3 ,   D - 1 0 7 8 5   B E R L I N ,   G E R M A N Y 	 0 0 2 4 - 2 6 6 7 	 1 8 6 5 - 8 4 2 3 	 	 L I B R I 	 L i b r i 	 M A R 	 2 0 1 4 	 6 4 	 1 	 	 	 	 	 1 	 1 0 	 	 1 0 . 1 5 1 5 / l i b r i - 2 0 1 4 - 0 0 0 1 	 	 1 0 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 A D 7 T I 	 W O S : 0 0 0 3 3 3 4 6 9 3 0 0 0 0 1 	 	 
 J 	 L e s c h ,   H M 	 	 	 	 L e s c h ,   H a r o l d   M . 	 	 	 T r a n s l a t i o n   p r a c t i c e   i n   t h e   s o c i a l   m e d i a :   a n   i m p r o v e d   t r a n s l a t i o n   t e x t   f o r   a   v i r t u a l   c o m m u n i t y ? 	 T Y D S K R I F   V I R   G E E S T E S W E T E N S K A P P E 	 	 	 A f r i k a a n s 	 A r t i c l e 	 	 	 	 	 	 c o m m u n i t y   t r a n s l a t i o n ;   c r o w d s o u r c e d   t r a n s l a t i o n ;   n o r m s ;   v i r t u a l   c o m m u n i t y 	 	 A   m e t h o d   i n c r e a s i n g l y   u s e d   t o   p r o v i d e   t r a n s l a t i o n   i n   t h e   c o m p u t e r   e r a   i s   c r o w d s o u r c i n g .   T h i s   p r a c t i c e   i s   w i d e l y   e x e r c i s e d   i n   t h e   o p e n - s o u r c e   c o m m u n i t y   a n d   h a s   b e c o m e   q u i t e   s o p h i s t i c a t e d   T h e   " c r o w d "   c o m e s   i n   v a r i o u s   f o r m s :   c u s t o m e r s ,   b r a n d   a d v o c a t e s ,   d o m a i n   e x p e r t s ,   p a s s i o n a t e   u s e r s   a n d   t h e   " u n w a s h e d   m a s s e s " .   A l l   o f   t h e s e   t a k e   t h e   f o r m   o f   m u l t i l i n g u a l   c o m m u n i t i e s   w h o s e   t r a n s l a t i o n   w o r k   m a y   b e   i n t e g r a t e d   w i t h   e x i s t i n g   t r a n s l a t i o n   w o r k f l o w s .   H o w e v e r ,   t h e r e   a r e   s t i l l   m a n y   m i s c o n c e p t i o n s   a n d   m y t h s   a b o u t   t h e   o u t c o m e s   o f   c r o w d s o u r c i n g   w h e n   a p p l i e d   t o   t r a n s l a t i o n .   T h r e e   m a j o r   p h e n o m e n a   i n   h a r n e s s i n g   t h e   p o w e r   o f   t h e   c r o w d   f o r   t r a n s l a t i o n   p u r p o s e s   h a v e   b e e n   i d e n t i f i e d   b y   R e b e c c a   R a y   a n d   N a t a l y   K e l l y   ( 2 0 1 1 ) .   T h e   f i r s t   i s   c o m m u n i t y   t r a n s l a t i o n   ( o r   s o c i a l   t r a n s l a t i o n )   w h i c h   i s   u s u a l l y   p e r f o r m e d   o n   v o l u n t a r y   b a s i s   b y   m e m b e r s   o f   a   g r o u p   o r   b y   p e o p l e   w i t h   c o m m o n   i n t e r e s t s .   T h e s e   g r o u p s   a r e   o f t e n   c a u s e - f o c u s e d ;   i n t e r e s t e d   i n   o b t a i n i n g   a c c e s s   t o   i n f o r m a t i o n   i n   t h e i r   o w n   l a n g u a g e ;   o r   s i m p l y   p e o p l e   d e v o t e d   t o   l a n g u a g e .   T h e   s e c o n d   i s   c o l l a b o r a t i v e   t e c h n o l o g y   a n d   p r o c e s s e s   w h i c h   a l l o w   a   c o m m u n i t y   t o   d e v e l o p   a r o u n d   a   p r o j e c t   a n d   t o   w o r k   o n   t h e   s a m e   c o n t e n t .   C o m m u n i t y   m e m b e r s   c a n   v e r i f y   a n d   r e c t i f y   o n e   a n o t h e r ' s   w o r k   a s   t h e y   g o   a l o n g .   T h e   t e r m   " c o l l a b o r a t i v e   t r a n s l a t i o n "   i s   a l s o   u s e d   t o   d e s c r i b e   t h e   w o r k   o f   p r o f e s s i o n a l   t r a n s l a t i o n   t e a m s   w o r k i n g   a s   a   s w a r m   w h e r e   m u l t i p l e   t r a n s l a t o r s   i n t e r a c t   w i t h   t h e   s a m e   c o n t e n t   s i m u l t a n e o u s l y ,   u s i n g   a d v a n c e d   t r a n s l a t i o n   m e m o r y   t o o l s .   T h e   t h i r d ,   c r o w d s o u r c i n g ,   o p e n s   u p   a   t r a n s l a t i o n   p r o j e c t   t o   t e a m s   c o m p r i s i n g   o f   a n y   m i x   o f   v o l u n t e e r   t r a n s l a t o r s ,   e m p l o y e e s ,   c o n t r a c t o r s   o r   l a n g u a g e   s e r v i c e   p r o v i d e r s .   I t   l e v e r a g e s   t h e   p o w e r   o f   t h e   s w a r m   t o   a c c o m p l i s h   m u c h   m o r e   t h a n   a   s i n g l e   t r a n s l a t o r   o r   l a n g u a g e   s e r v i c e   p r o v i d e r   c a n   d o   a l o n e .   T h e s e   t h r e e   m e t h o d s   h a v e   s u p p o r t e d   o n e   a n o t h e r   t o   s u c h   a n   e x t e n t   t h a t   t h e   b o u n d a r i e s   b e t w e e n   t h e m   h a v e   f a d e d .   H o w e v e r ,   t h i s   p a p e r   a r g u e s   t h a t   c r o w d s o u r c e d   t r a n s l a t i o n   f o r   a   v i r t u a l   c o m m u n i t y   e x p a n d s   o n   c o m m u n i t y   t r a n s l a t i o n   a s   o r i g i n a l l y   d e v e l o p e d   f o r   e d u c a t i o n a l l y   d e p r i v e d   c o m m u n i t i e s ,   w i t h   s p e c i f i c a l l y   t h e   l i n g u i s t i c a l l y   d e p r i v e d   a s   t a r g e t   r e a d e r s   o f   t r a n s l a t e d   t e x t s .   M u l t i c u l t u r a l   s o c i e t i e s ,   s u c h   a s   t h o s e   i n   S o u t h   A f r i c a ,   w h e r e   h e t e r o g e n e o u s   t a r g e t   a u d i e n c e s   r e q u i r e   t r a n s l a t i o n ,   u s e   c o m m u n i t y   t r a n s l a t i o n   a s   a   v e h i c l e   f o r   e f f e c t i v e   c o m m u n i c a t i o n   ( L e s c h   2 0 0 4 ;   1 9 9 9 ) .   O t h e r w i s e   a   t r a n s l a t i o n   w i l l   o n l y   b e   a   s y m b o l i c   g e s t u r e ,   e m p t y   o f   v a l u e ,   a n d   t h u s   n o t   c o m m u n i c a t i n g   t h e   m e s s a g e   i n t e n d e d   T h i s   a r t i c l e   a r g u e s   t h a t   a   f u n c t i o n a l   a p p r o a c h   e n s u r e s   t h a t   t r a n s l a t i o n s   a r e   m e a n i n g f u l   a c t s ,   a n d   t h a t   t h i s   a p p r o a c h   m a y   s e r v e   a s   a   t r a n s l a t i o n   p a r a d i g m   f o r   m u l t i l i n g u a l   c o u n t r i e s   a n d   g l o b a l   v i r t u a l   i n s t i t u t i o n s .   D i f f e r e n t   r e a d e r s   a n d   l i s t e n e r s   m u s t   b e   a d d r e s s e d   i n   w r i t i n g   ( a n d   i n   s p e a k i n g )   a t   a   l e v e l   t h a t   t h e y   c a n   u n d e r s t a n d   I n   t h e   m u l t i c u l t u r a l   c o n t e x t   f o u n d   i n   m a n y   c o u n t r i e s ,   a   p l a i n   l a n g u a g e   a p p r o a c h   t o   t r a n s l a t i o n   f o r   c o m m u n i c a t i o n   p u r p o s e s   e n t a i l s   t h a t   t h o s e   w h o   p r o d u c e   t e x t s   m u s t   c o n s i d e r   p l a i n   l a n g u a g e   f o r   e f f e c t i v e   c o m m u n i c a t i o n .   A t   t h e   s a m e   t i m e   i t   s h o u l d   b e   b o r n e   i n   m i n d   t h a t   t h e r e   a r e   v a r i o u s , d e g r e e s   o f   p l a i n n e s s .   T h e   c o m m u n i c a t o r   a n d   t r a n s l a t o r   c a n   a c h i e v e   a   r e l a t i v e   p l a i n n e s s ,   f o r   i n s t a n c e ,   a   p l a i n e r   l a n g u a g e   t h a t   i s   m o r e   a d e q u a t e   i n   t h e   e y e s   a n d   e a r s   o f   t h e   a u d i e n c e   t h a n   t h e   l e g a l e s e   A f r i k a a n s   v e r s i o n .   I n   t e r m s   o f   c o m m u n i c a t i o n   i t   r e p r e s e n t s   a n   i m p r o v e m e n t   o f   t h e   o r i g i n a l   s o u r c e   t e x t   l a n g u a g e .   T h e   c o n c e p t   o f   p l a i n   l a n g u a g e   i s   d y n a m i c   a n d   v a r i e s   a c c o r d i n g   t o   t h e   t a r g e t   a u d i e n c e .   T r a n s l a t o r s   c a n   a d o p t   o n e   o f   t w o   a p p r o a c h e s .   T h e y   e i t h e r   t h i n k   o f   a   t e x t   i n   t e r m s   o f   p l a i n   l a n g u a g e   b e f o r e   t r a n s l a t i n g ,   o r   t h e y   t r a n s f e r   a   t e x t   i n t o   p l a i n   l a n g u a g e   d u r i n g   t h e   t r a n s l a t i o n   p r o c e s s .   T h e   l a t t e r   a p p r o a c h   d e a l s   w i t h   r e p h r a s i n g   a n d   a d a p t a t i o n   a s   p a r t   o f   t h e   c o n s t r u c t i o n   o f   t a r g e t   t e x t s .   l a m   o f   t h e   o p i n i o n   t h a t   t h i s   i s   t h e   b e t t e r   w a y   t o   e n s u r e   e f f e c t i v e   i n t e r c u l t u r a l   c o m m u n i c a t i o n   a c r o s s   p o w e r   g a p s   i n   a   h e t e r o g e n e o u s   c o u n t r y ,   a n d   t h a t   t h i s   a l s o   a p p l i e s   t o   t h e   g e n e r i c   r e a d e r   o n   t h e   i n t e r n e t .   I t   g o e s   w i t h o u t   s a y i n g   t h a t   t h i s   t r a n s l a t i o n   s t r a t e g y   i s   u s e f u l   f o r   e f f e c t i v e   u n d e r s t a n d i n g   o f   t h e   t a r g e t   t e x t   w h e n   c o m m u n i c a t i n g   a   m e s s a g e   t o   w i d e l y   h e t e r o g e n e o u s   a u d i e n c e s ,   i n c l u d i n g   s o m e   w i t h   l i m i t e d   e d u c a t i o n a l   b a c k g r o u n d s ,   a n d   f o r   e f f e c t i v e   c o m m u n i c a t i o n   a c r o s s   a   w i d e   c u l t u r a l   s p e c t r u m   a n d   p o w e r   g a p s .   C o n s e q u e n t l y ,   t h i s   a r t i c l e   d r a w s   o n   n o r m s   t h a t   h a v e   b e e n   d e v e l o p e d   f o r   t h e   c o m m u n i t y   t r a n s l a t i o n   p r a c t i c e   p r i o r   t o   t h e   e v o l u t i o n   o f   a   v i r t u a l   i n t e r n e t   c o m m u n i t y ,   a n d   w e r e   d e s i g n e d   f o r   t a r g e t   r e a d e r s   w i t h   a   l i m i t e d   e d u c a t i o n a l   b a c k g r o u n d   T h e   a r t i c l e   r a i s e s   t h e   q u e s t i o n   o f   a n d   i n i t i a t e s   d e b a t e   o n   w h e t h e r   t h e   p r o p o s e d   n o r m s   a r e   a l s o   r e l e v a n t   f o r   t r a n s l a t i o n   v i a   c r o w d s o u r c i n g .   T h e   u n d e r l y i n g   p r i n c i p l e   f o r   t h e s e   n o r m s   i s   u s i n g   a c c e s s i b l e   l a n g u a g e   i n   c r o w d s o u r c e d   a n d   c o m m u n i t y   t r a n s l a t i o n   o n   t h e   i n t e r n e t . 	 U n i v   S t e l l e n b o s c h ,   D e p t   A f r i k a a n s   N e d e r l a n d s ,   Z A - 7 6 0 0   S t e l l e n b o s c h ,   S o u t h   A f r i c a 	 L e s c h ,   H M   ( r e p r i n t   a u t h o r ) ,   U n i v   S t e l l e n b o s c h ,   D e p t   A f r i k a a n s   N e d e r l a n d s ,   Z A - 7 6 0 0   S t e l l e n b o s c h ,   S o u t h   A f r i c a . 	 H L e s c h @ s u n . a c . z a 	 	 	 	 	 B e n i n a t t o   R .   S . ,   2 0 0 7 ,   R E S O U R C E   D I R E C T O R Y   I ,   P 4 9 ;   B u r n s   A . ,   2 0 1 1 ,   T R A N S L A T I O N   I N T E R P R E ,   V 3 ,   P 5 8 ;   C h e s t e r m a n   A . ,   2 0 0 0 ,   M E M E S   T R A N S L A T I O N   S P ;   C l u v e r   A . ,   1 9 9 2 ,   C H A N G E S   T R A N S L A T I N G ;   D e P a l m a   D .   A . ,   2 0 0 8 ,   T R A N S L A T I O N   P E O P L E ;   D o l m a y a   J M ,   2 0 1 1 ,   L I N G   A N T V E R P   N E W   S E R ,   V 1 0 ,   P 9 7 ;   E a g l e s o n   R .   D . ,   1 9 9 0 ,   W R I T I N G   P L A I N   E N G L I S ;   F e i n a u e r   I . ,   2 0 0 5 ,   R I G H T S   P R A C T I C E   C O M P ,   P 1 6 2 ;   F i n e   D ,   1 9 9 5 ,   U S E   P L A I N   L A N G U A G E ;   F i n e   D . ,   2 0 0 1 ,   P L A I N   L A N G U A G E   N E W   S ;   F r a s e r   J .   E . ,   1 9 9 0 ,   T H E S I S   E A L I N G   C O L L ;   G e e   J P ,   2 0 1 1 ,   L A N G U A G E   A N D   L E A R N I N G   I N   T H E   D I G I T A L   A G E ,   P 1 ;   H e r m a n s ,   1 9 8 5 ,   M A N I P U L A T I O N   L I T   S T U ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   J i m e n e z - C r e s p o   M A ,   2 0 1 1 ,   L I N G   A N T V E R P   N E W   S E R ,   V 1 0 ,   P 1 3 1 ;   K e e g a n   N . ,   2 0 0 9 ,   C R O W D S O U R C I N G   U S I N G ;   K e e n   A . ,   2 0 0 7 ,   C U L T   A M A T E U R ;   K e l l y   N ,   2 0 1 1 ,   L I N G   A N T V E R P   N E W   S E R ,   V 1 0 ,   P 7 5 ;   K r u g e r ,   1 9 9 2 ,   C H A N G E S   T R A N S L A T I N G ;   L e s c h   H .   M . ,   1 9 9 9 ,   T H E S I S   U   W E S   K A A P L A N ;   L e s c h   H .   M . ,   1 9 9 9 ,   L I A I S O N   I N T E R P R E T I N G ;   L e s c h   H M ,   2 0 0 4 ,   P E R S P E C T   S T U D   T R A N S L ,   V 1 2 ,   P 2 5 6 ;   L e s s i g   L . ,   2 0 0 7 ,   C U L T   A M A T E U R ;   N o r d   C . ,   1 9 9 1 ,   T E X T   A N A L   T R A N S L A T I O ;   O ' H a g a n   M ,   2 0 1 1 ,   L I N G   A N T V E R P   N E W   S E R ,   V 1 0 ,   P 1 1 ;   P e r e z - Q u i n o n e s   M .   A . ,   2 0 0 4 ,   H C 0 4 0 1 0 0 7 ;   P e r r i n o   S . ,   2 0 0 9 ,   J   S P E C I A L I S E D   T R A N S L ,   V 1 2 ;   P r e e c e   J . ,   2 0 0 0 ,   F R O N T I E R S   H U M A N   C T R ,   P 2 6 3 ;   P y m ,   2 0 1 1 ,   T R A N S L A T I O N   R E S   P R O J ;   R a y   R ,   2 0 1 1 ,   C R O W D S O U R C E D   T R A N S L A ;   R h e i n g o l d   H o w a r d ,   2 0 0 0 ,   V I R T U A L   C O M M U N I T Y   H O ;   S h i r k y   C l a y ,   2 0 1 0 ,   C O G N I T I V E   S U R P L U S   C R ;   S i e g r u h n   A . ,   1 9 8 9 ,   L A N G U A G E   P R O J E C T S   R E ,   V 4 ;   S i e g r u h n   A . ,   1 9 9 2 ,   C H A N G E S   T R A N S L A T I N G ;   S u r w i e c k i   J . ,   2 0 0 5 ,   W I S D O M   C R O W D   W H Y   M A N ;   T o u r y   G . ,   1 9 8 0 ,   S E A R C H   T H E O R Y   T R A N S L ;   V e n u t i   L a w r e n c e ,   1 9 9 8 ,   S C A N D A L S   T R A N S L A T I O N 	 3 7 	 0 	 0 	 S U I D - A F R I K A A N S E   A K A D   V I R   W E T E N S K A P   E N   K U N S ,   S E K R E T A R I S 	 P R E T O R I A 	 P .   O .   B O X   5 3 8 ,   P R E T O R I A ,   0 0 0 0 0 ,   S O U T H   A F R I C A 	 0 0 4 1 - 4 7 5 1 	 	 	 T Y D S K R   G E E S T E S W E T 	 T y d s k r .   G e e s t e s w e t . 	 M A R 	 2 0 1 4 	 5 4 	 1 	 	 	 	 	 1 2 9 	 1 4 3 	 	 	 	 1 5 	 S o c i a l   I s s u e s 	 S o c i a l   I s s u e s 	 A D 7 W T 	 W O S : 0 0 0 3 3 3 4 7 8 9 0 0 0 0 8 	 	 
 J 	 P e n g ,   X ;   B a b a r ,   M A ;   E b e r t ,   C 	 	 	 	 P e n g ,   X i n ;   B a b a r ,   M u h a m m a d   A l i ;   E b e r t ,   C h r i s t o f 	 	 	 C o l l a b o r a t i v e   S o f t w a r e   D e v e l o p m e n t   P l a t f o r m s   f o r   C r o w d s o u r c i n g 	 I E E E   S O F T W A R E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 T E C H N O L O G Y 	 	 [ P e n g ,   X i n ]   F u d a n   U n i v ,   S h a n g h a i ,   P e o p l e s   R   C h i n a ;   [ B a b a r ,   M u h a m m a d   A l i ]   U n i v   A d e l a i d e ,   S c h   C o m p   S c i ,   A d e l a i d e ,   S A   5 0 0 5 ,   A u s t r a l i a 	 P e n g ,   X   ( r e p r i n t   a u t h o r ) ,   F u d a n   U n i v ,   S h a n g h a i ,   P e o p l e s   R   C h i n a . 	 p e n g x i n @ f u d a n . e d u . c n ;   a l i . b a b a r @ a d e l a i d e . e d u . a u ;   c h r i s t o f . e b e r t @ v e c t o r . c o m 	 	 	 N a t i o n a l   H i g h   T e c h n o l o g y   D e v e l o p m e n t   8 6 3   P r o g r a m   o f   C h i n a   [ 2 0 1 3 A A 0 1 A 6 0 5 ] ;   D a n i s h   C o u n c i l   f o r   S t r a t e g i c   R e s e a r c h   [ 1 0 - 0 9 2 3 1 3 ] 	 X i n   P e n g ' s   w o r k   i s   s u p p o r t e d   b y   t h e   N a t i o n a l   H i g h   T e c h n o l o g y   D e v e l o p m e n t   8 6 3   P r o g r a m   o f   C h i n a   u n d e r   g r a n t   n u m b e r   2 0 1 3 A A 0 1 A 6 0 5 .   A l i   B a b a r ' s   w o r k   i s   p a r t i a l l y   f u n d e d   b y   t h e   D a n i s h   C o u n c i l   f o r   S t r a t e g i c   R e s e a r c h   u n d e r   p r o j e c t   1 0 - 0 9 2 3 1 3 ,   " N e x t   G e n e r a t i o n   T e c h n o l o g y   f o r   G l o b a l   S o f t w a r e   D e v e l o p m e n t - N e X G S D . " 	 E b e r t   C . ,   2 0 1 2 ,   G L O B A L   S O F T W A R E   I T ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   K a z m a n   R ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 7 6 ,   D O I   1 0 . 1 1 4 5 / 1 5 3 8 7 8 8 . 1 5 3 8 8 0 8 ;   L a n u b i l e   F ,   2 0 1 3 ,   I E E E   S O F T W A R E ,   V 3 0 ,   P 1 8 ,   D O I   1 0 . 1 1 0 9 / M S . 2 0 1 3 . 3 0 ;   L a w t o n   G ,   2 0 0 8 ,   C O M P U T E R ,   V 4 1 ,   P 1 3 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 8 . 1 8 5 ;   T e l l   P . ,   2 0 1 2 ,   P   7   I N T   C   G L O B   S O F T W ,   P 2 1 ;   T e l l   P . ,   2 0 1 2 ,   T R 2 0 1 2 6 1   I T   U   C O P ,   P 1 ;   V u k o v i c   M ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 4 1 5 ,   P 4 2 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 6 5 5 8 - 0 _ 3 6 	 8 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 0 7 4 0 - 7 4 5 9 	 1 9 3 7 - 4 1 9 4 	 	 I E E E   S O F T W A R E 	 I E E E   S o f t w . 	 M A R - A P R 	 2 0 1 4 	 3 1 	 2 	 	 	 	 	 3 0 	 3 6 	 	 	 	 7 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 A D 5 K I 	 W O S : 0 0 0 3 3 3 2 9 1 0 0 0 0 0 8 	 	 
 J 	 T e t r e a u l t ,   J ;   C h o d o r o w ,   M ;   M a d n a n i ,   N 	 	 	 	 T e t r e a u l t ,   J o e l ;   C h o d o r o w ,   M a r t i n ;   M a d n a n i ,   N i t i n 	 	 	 B u c k i n g   t h e   t r e n d :   i m p r o v e d   e v a l u a t i o n   a n d   a n n o t a t i o n   p r a c t i c e s   f o r   E S L   e r r o r   d e t e c t i o n   s y s t e m s 	 L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 N L P ;   G r a m m a t i c a l   e r r o r   d e t e c t i o n   s y s t e m s ;   E v a l u a t i o n   A n n o t a t i o n ;   C r o w d s o u r c i n g 	 	 T h e   l a s t   d e c a d e   h a s   s e e n   a n   e x p l o s i o n   i n   t h e   n u m b e r   o f   p e o p l e   l e a r n i n g   E n g l i s h   a s   a   s e c o n d   l a n g u a g e   ( E S L ) .   I n   C h i n a   a l o n e ,   i t   i s   e s t i m a t e d   t o   b e   o v e r   3 0 0   m i l l i o n   ( Y a n g   i n   E n g l   T o d a y   2 2 ,   2 0 0 6 ) .   E v e n   i n   p r e d o m i n a n t l y   E n g l i s h - s p e a k i n g   c o u n t r i e s ,   t h e   p r o p o r t i o n   o f   n o n - n a t i v e   s p e a k e r s   c a n   b e   v e r y   s u b s t a n t i a l .   F o r   e x a m p l e ,   t h e   U S   N a t i o n a l   C e n t e r   f o r   E d u c a t i o n a l   S t a t i s t i c s   r e p o r t e d   t h a t   n e a r l y   1 0   %   o f   t h e   s t u d e n t s   i n   t h e   U S   p u b l i c   s c h o o l   p o p u l a t i o n   s p e a k   a   l a n g u a g e   o t h e r   t h a n   E n g l i s h   a n d   h a v e   l i m i t e d   E n g l i s h   p r o f i c i e n c y   ( N a t i o n a l   C e n t e r   f o r   E d u c a t i o n a l   S t a t i s t i c s   ( N C E S )   i n   P u b l i c   s c h o o l   s t u d e n t   c o u n t s ,   s t a f f ,   a n d   g r a d u a t e   c o u n t s   b y   s t a t e :   s c h o o l   y e a r   2 0 0 0 - 2 0 0 1 ,   2 0 0 2 ) .   A s   a   r e s u l t ,   t h e   l a s t   f e w   y e a r s   h a v e   s e e n   a   r a p i d   i n c r e a s e   i n   t h e   d e v e l o p m e n t   o f   N L P   t o o l s   t o   d e t e c t   a n d   c o r r e c t   g r a m m a t i c a l   e r r o r s   s o   t h a t   a p p r o p r i a t e   f e e d b a c k   c a n   b e   g i v e n   t o   E S L   w r i t e r s ,   a   l a r g e   a n d   g r o w i n g   s e g m e n t   o f   t h e   w o r l d ' s   p o p u l a t i o n .   A s   a   b y p r o d u c t   o f   t h i s   s u r g e   i n   i n t e r e s t ,   t h e r e   h a v e   b e e n   m a n y   N L P   r e s e a r c h   p a p e r s   o n   t h e   t o p i c ,   a   S y n t h e s i s   S e r i e s   b o o k   ( L e a c o c k   e t   a l .   i n   A u t o m a t e d   g r a m m a t i c a l   e r r o r   d e t e c t i o n   f o r   l a n g u a g e   l e a r n e r s .   S y n t h e s i s   l e c t u r e s   o n   h u m a n   l a n g u a g e   t e c h n o l o g i e s .   M o r g a n   C l a y p o o l ,   W a t e r l o o   2 0 1 0 ) ,   a   r e c u r r i n g   w o r k s h o p   ( T e t r e a u l t   e t   a l .   i n   P r o c e e d i n g s   o f   t h e   N A A C L   w o r k s h o p   o n   i n n o v a t i v e   u s e   o f   N L P   f o r   b u i l d i n g   e d u c a t i o n a l   a p p l i c a t i o n s   ( B E A ) ,   2 0 1 2 ) ,   a n d   a   s h a r e d   t a s k   c o m p e t i t i o n   ( D a l e   e t   a l .   i n   P r o c e e d i n g s   o f   t h e   s e v e n t h   w o r k s h o p   o n   b u i l d i n g   e d u c a t i o n a l   a p p l i c a t i o n s   u s i n g   N L P   ( B E A ) ,   p p   5 4 - 6 2 ,   2 0 1 2 ;   D a l e   a n d   K i l g a r r i f f   i n   P r o c e e d i n g s   o f   t h e   E u r o p e a n   w o r k s h o p   o n   n a t u r a l   l a n g u a g e   g e n e r a t i o n   ( E N L G ) ,   p p   2 4 2 - 2 4 9 ,   2 0 1 1 ) .   D e s p i t e   t h i s   g r o w i n g   b o d y   o f   w o r k ,   s e v e r a l   i s s u e s   a f f e c t i n g   t h e   a n n o t a t i o n   f o r   a n d   e v a l u a t i o n   o f   E S L   e r r o r   d e t e c t i o n   s y s t e m s   h a v e   r e c e i v e d   l i t t l e   a t t e n t i o n .   I n   t h i s   p a p e r ,   w e   d e s c r i b e   t h e s e   i s s u e s   i n   d e t a i l   a n d   p r e s e n t   o u r   r e s e a r c h   o n   a l l e v i a t i n g   t h e i r   e f f e c t s . 	 [ T e t r e a u l t ,   J o e l ;   M a d n a n i ,   N i t i n ]   E d u c   T e s t i n g   S e r v ,   P r i n c e t o n ,   N J   0 8 5 4 1   U S A ;   [ C h o d o r o w ,   M a r t i n ]   C U N Y   H u n t e r   C o l l ,   N e w   Y o r k ,   N Y   1 0 0 2 1   U S A 	 M a d n a n i ,   N   ( r e p r i n t   a u t h o r ) ,   E d u c   T e s t i n g   S e r v ,   P r i n c e t o n ,   N J   0 8 5 4 1   U S A . 	 j t e t r e a u l t @ e t s . o r g ;   m a r t i n . c h o d o r o w @ h u n t e r . c u n y . e d u ;   n m a d n a n i @ e t s . o r g 	 	 	 	 	 A k k a y a   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 9 5 ;   B e n n e t t   P .   N . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ;   B i t c h e n e r   J ,   2 0 0 5 ,   J   S E C O N D   L A N G   W R I T ,   V 1 4 ,   P 1 9 1 ,   D O I   1 0 . 1 0 1 6 / j . j s l w . 2 0 0 5 . 0 8 . 0 0 1 ;   B r o c k e t t   C ,   2 0 0 6 ,   C O L I N G / A C L   2 0 0 6 ,   V O L S   1   A N D   2 ,   P R O C E E D I N G S   O F   T H E   C O N F E R E N C E ,   P 2 4 9 ;   C a l l i s o n - B u r c h   C . ,   2 0 1 0 ,   P   N A A C L   W O R K S H   C R E A T ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   V 1 ,   P 2 8 6 ,   D O I   1 0 . 3 1 1 5 / 1 6 9 9 5 1 0 . 1 6 9 9 5 4 8 ;   C h a n d r a s e k a r   R . ,   2 0 1 0 ,   P   2 0 1 0   A C M   S I G K D D   W O ;   C h o d o r o w   M . ,   2 0 0 7 ,   P   4   A C L   S I G S E M   W O R K S ;   D a h l m e i e r   D . ,   2 0 1 2 ,   P   2 0 1 2   J O I N T   C   E M P   M ,   P 5 6 8 ;   D a h l m e i e r   D . ,   2 0 1 1 ,   P   4 9   A N N   M   A S S   C O M P ,   P 9 1 5 ;   D a l e   R . ,   2 0 1 2 ,   P   7   W O R K S H   B U I L D   E D ,   P 5 4 ;   D a l e   R . ,   2 0 1 1 ,   E U R   W O R K S H   N A T   L A N G ,   P 2 4 2 ;   D e F e l i c e   R . ,   2 0 0 9 ,   C A L I C O   J ,   V 2 6 ,   P 5 1 2 ;   D e F e l i c e   R . ,   2 0 0 8 ,   P   2 2   I N T   C   C O M P   L I N G ,   P 1 6 9 ;   E e g - O l o f s s o n   J . ,   2 0 0 3 ,   P   N O R D   C   C O M P   L I N G   N ;   E v a n i n i   K . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 5 3 ;   F I N I N   T . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 8 0 ;   F o r t   K ,   2 0 1 1 ,   C O M P U T   L I N G U I S T ,   V 3 7 ,   P 4 1 3 ,   D O I   1 0 . 1 1 6 2 / C O L I _ a _ 0 0 0 5 7 ;   F r e u n d   Y ,   1 9 9 9 ,   M A C H   L E A R N ,   V 3 7 ,   P 2 7 7 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 7 6 6 2 4 0 7 0 6 2 ;   G a m o n   M . ,   2 0 1 0 ,   P   C   N   A M   C H A P T   A S S   C ;   G a m o n   M . ,   2 0 0 8 ,   P   I N T   J O I N T   C   N A T   L A ;   G i l l i c k   D ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 4 8 ;   H a n   N . - R . ,   2 0 0 6 ,   N A T   L A N G   E N G ,   V 1 2 ,   P 1 1 5 ,   D O I   1 0 . 1 0 1 7 / S 1 3 5 1 3 2 4 9 0 6 0 0 4 1 9 0 ;   H e r m e t   M . ,   2 0 0 8 ,   P   I N T   C   L A N G   R E S   E V ;   H e r m e t   M . ,   2 0 0 9 ,   P   W O R K S H   B U I L D   E D   A P ;   I r v i n e   A . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 0 8 ;   I z u m i   E . ,   2 0 0 4 ,   P   I N T   C   L A N G   R R E S   E V ;   I z u m i   E . ,   2 0 0 3 ,   P   C   A S S   C O M P   L I N G ;   L e a c o c k   C . ,   2 0 1 0 ,   S Y N T H   L E C T   H U M   L A N G ;   L e v i n   B ,   1 9 9 3 ,   E N G L I S H   V E R B   C L A S S E S ;   M a d n a n i   N . ,   2 0 1 0 ,   T H E S I S   U   M A R Y L A N D   C O ;   M a s o n   W . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ;   N a g a t a   R ,   2 0 0 6 ,   C O L I N G / A C L   2 0 0 6 ,   V O L S   1   A N D   2 ,   P R O C E E D I N G S   O F   T H E   C O N F E R E N C E ,   P 2 4 1 ;   N a t i o n a l   C e n t e r   f o r   E d u c a t i o n a l   S t a t i s t i c s   ( N C E S ) ,   2 0 0 2 ,   P U B L   S C H   S T U D   C O U N T S ;   N o v o t n e y   S . ,   2 0 1 0 ,   P   H L T   N A A C L ,   V P r o c .   A s s o c .   C o m p u t .   L i n g u i s t .   ( A C L ) ,   P 2 0 7 ;   P a o l a c c i   G . ,   2 0 1 0 ,   E X P T   T U R K   B L O G   S O C I A ;   P a r k   A .   Y . ,   2 0 1 1 ,   P   4 9   A N N   M   A S S   C O M P ,   P 9 3 4 ;   R i z z o l o   N . ,   2 0 0 7 ,   P   1   I N T   C   S E M   C O M P   I ,   P 5 9 7 ;   R o z o v s k a y a   A . ,   2 0 1 0 ,   P   H U M   L A N G   T E C H N   C   N ;   R o z o v s k a y a   A . ,   2 0 1 0 ,   P   C   E M P   M E T H   N A T   L A N ;   R o z o v s k a y a   A . ,   2 0 1 0 ,   P   N A A C L   W O R K S H   I N N   U ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S t o l c k e   A . ,   2 0 0 2 ,   P   I N T   C   S P O K   L A N G   P R ,   P 2 5 7 ;   T e t r e a u l t   J . ,   2 0 1 2 ,   P   N A A C L   W O R K S H   I N N   U ;   T e t r e a u l t   J . ,   2 0 0 8 ,   P   I N T   C   C O M P   L I N G   C O ;   W a n g   R . ,   2 0 1 0 ,   P   N A A C L   W O R K S H   C R E A T ,   P 1 6 3 ;   Y a n g   J i a n ,   2 0 0 6 ,   E N G L   T O D A Y ,   V 2 2 ,   P 3 ,   D O I   D O I   1 0 . 1 0 1 7 / S 0 2 6 6 0 7 8 4 0 6 0 0 2 0 2 1 ;   Y i   X . ,   2 0 0 8 ,   P   3   I N T   J O I N T   C   N A T ,   P 6 1 9 ;   Z a i d a n   O .   F . ,   2 0 1 0 ,   P   C   N   A M   C H A P T   A S S   C ,   P 3 6 9 	 4 9 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 5 7 4 - 0 2 0 X 	 1 5 7 4 - 0 2 1 8 	 	 L A N G   R E S O U R   E V A L 	 L a n g .   R e s o u r .   E v a l . 	 M A R 	 2 0 1 4 	 4 8 	 1 	 	 	 S I 	 	 5 	 3 1 	 	 1 0 . 1 0 0 7 / s 1 0 5 7 9 - 0 1 3 - 9 2 4 3 - 2 	 	 2 7 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 C o m p u t e r   S c i e n c e 	 A D 4 H S 	 W O S : 0 0 0 3 3 3 2 1 0 0 0 0 0 0 2 	 	 
 J 	 N t a l i a n i s ,   K ;   T s a p a t s o u l i s ,   N ;   D o u l a m i s ,   A ;   M a t s a t s i n i s ,   N 	 	 	 	 N t a l i a n i s ,   K l i m i s ;   T s a p a t s o u l i s ,   N i c o l a s ;   D o u l a m i s ,   A n a s t a s i o s ;   M a t s a t s i n i s ,   N i k o l a o s 	 	 	 A u t o m a t i c   a n n o t a t i o n   o f   i m a g e   d a t a b a s e s   b a s e d   o n   i m p l i c i t   c r o w d s o u r c i n g ,   v i s u a l   c o n c e p t   m o d e l i n g   a n d   e v o l u t i o n 	 M U L T I M E D I A   T O O L S   A N D   A P P L I C A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 I m p l i c i t   c r o w d s o u r c i n g ;   U s e r   f e e d b a c k ;   V i s u a l   c o n c e p t   m o d e l i n g ;   C l i c k t h r o u g h   d a t a ;   A u t o m a t i c   i m a g e   a n n o t a t i o n 	 R E L E V A N C E   F E E D B A C K ;   R E T R I E V A L ;   P A T T E R N S ;   S Y S T E M S ;   W E B 	 I n   t h i s   p a p e r   a   n o v e l   a p p r o a c h   f o r   a u t o m a t i c a l l y   a n n o t a t i n g   i m a g e   d a t a b a s e s   i s   p r o p o s e d .   D e s p i t e   m o s t   c u r r e n t   s c h e m e s   t h a t   a r e   j u s t   b a s e d   o n   s p a t i a l   c o n t e n t   a n a l y s i s ,   t h e   p r o p o s e d   m e t h o d   p r o p e r l y   c o m b i n e s   s e v e r a l   i n n o v a t i v e   m o d u l e s   f o r   s e m a n t i c a l l y   a n n o t a t i n g   i m a g e s .   I n   p a r t i c u l a r   i t   i n c l u d e s :   ( a )   a   G W A P - o r i e n t e d   i n t e r f a c e   f o r   o p t i m i z e d   c o l l e c t i o n   o f   i m p l i c i t   c r o w d s o u r c i n g   d a t a ,   ( b )   a   n e w   u n s u p e r v i s e d   v i s u a l   c o n c e p t   m o d e l i n g   a l g o r i t h m   f o r   c o n t e n t   d e s c r i p t i o n   a n d   ( c )   a   h i e r a r c h i c a l   v i s u a l   c o n t e n t   d i s p l a y   m e t h o d   f o r   e a s y   d a t a   n a v i g a t i o n ,   b a s e d   o n   g r a p h   p a r t i t i o n i n g .   T h e   p r o p o s e d   s c h e m e   c a n   b e   e a s i l y   a d o p t e d   b y   a n y   m u l t i m e d i a   s e a r c h   e n g i n e ,   p r o v i d i n g   a n   i n t e l l i g e n t   w a y   t o   e v e n   a n n o t a t e   c o m p l e t e l y   n o n - a n n o t a t e d   c o n t e n t   o r   c o r r e c t   w r o n g l y   a n n o t a t e d   i m a g e s .   T h e   p r o p o s e d   a p p r o a c h   c u r r e n t l y   p r o v i d e s   v e r y   i n t e r e s t i n g   r e s u l t s   i n   l i m i t e d - s i z e   b o t h   s t a n d a r d   a n d   g e n e r i c   d a t a s e t s   a n d   i t   i s   e x p e c t e d   t o   a d d   s i g n i f i c a n t   v a l u e   e s p e c i a l l y   t o   b i l l i o n s   o f   n o n - a n n o t a t e d   i m a g e s   e x i s t i n g   i n   t h e   W e b .   F u r t h e r m o r e   e x p e r t   a n n o t a t o r s   c a n   g a i n   i m p o r t a n t   k n o w l e d g e   r e l e v a n t   t o   u s e r   n e w   t r e n d s ,   l a n g u a g e   i d i o m s   a n d   s t y l e s   o f   s e a r c h i n g . 	 [ N t a l i a n i s ,   K l i m i s ]   T e c h n o l   E d u c   I n s t   A t h e n s ,   D e p t   M k t ,   A t h e n s   1 2 2 1 0 ,   G r e e c e ;   [ T s a p a t s o u l i s ,   N i c o l a s ]   C y p r u s   U n i v   T e c h n o l ,   D e p t   C o m m u n   &   I n t e r n e t   S t u d i e s ,   C Y - 3 6 0 3   L i m a s s o l ,   C y p r u s ;   [ D o u l a m i s ,   A n a s t a s i o s ;   M a t s a t s i n i s ,   N i k o l a o s ]   T e c h   U n i v   C r e t e ,   D e p t   P r o d   E n g n   &   M a n a g e m e n t ,   K h a n i a   7 3 1 0 0 ,   G r e e c e 	 N t a l i a n i s ,   K   ( r e p r i n t   a u t h o r ) ,   T e c h n o l   E d u c   I n s t   A t h e n s ,   D e p t   M k t ,   A g i o u   S p y r i d o n o s   S t r ,   A t h e n s   1 2 2 1 0 ,   G r e e c e . 	 k n t a l @ i m a g e . n t u a . g r ;   n i c o l a s . t s a p a t s o u l i s @ c u t . a c . c y ;   a d o u l a m @ d p e m . t u c . g r ;   n i k o s @ e r g a s y a . t u c . g r 	 	 	 R e p u b l i c   o f   C y p r u s ;   E u r o p e a n   R e g i o n a l   D e v e l o p m e n t   F u n d ;     [ A N T H R O / 0 3 0 8   ( B I E ) / 0 4 ] 	 T h i s   w o r k   f a l l s   u n d e r   t h e   C y p r u s   R e s e a r c h   P r o m o t i o n   F o u n d a t i o n ' s   F r a m e w o r k   P r o g r a m m e   f o r   R e s e a r c h ,   T e c h n o l o g i c a l   D e v e l o p m e n t   a n d   I n n o v a t i o n   2 0 0 8   ( D E S M I   2 0 0 8 ) ,   c o - f u n d e d   b y   t h e   R e p u b l i c   o f   C y p r u s   a n d   t h e   E u r o p e a n   R e g i o n a l   D e v e l o p m e n t   F u n d ,   a n d   s p e c i f i c a l l y   u n d e r   G r a n t   A N T H R O / 0 3 0 8   ( B I E ) / 0 4 . 	 A h n   L .   V . ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   A h n   L . V . ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ;   A h n   L V ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ;   A s s f a l g   J ,   2 0 0 2 ,   I E E E   M U L T I M E D I A ,   V 9 ,   P 5 2 ,   D O I   1 0 . 1 1 0 9 / 9 3 . 9 9 8 0 6 0 ;   B a c h   F R ,   2 0 0 4 ,   A D V   N E U R A L   I N F O R M   P R ,   V 1 6 ;   C a r n e i r o   G ,   2 0 0 7 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 9 ,   P 3 9 4 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 7 . 6 1 ;   D a w i d   A . P . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   V 2 8 ,   P 2 0 ;   D e l i a s   P ,   2 0 1 1 ,   I E E E   T   K N O W L   D A T A   E N ,   V 2 3 ,   P 4 1 7 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 1 0 . 1 1 3 ;   D o u l a m i s   A D ,   2 0 0 0 ,   I E E E   T   C O N S U M   E L E C T R ,   V 4 6 ,   P 7 5 8 ,   D O I   1 0 . 1 1 0 9 / 3 0 . 8 8 3 4 4 4 ;   D o u l a m i s   N ,   2 0 0 6 ,   S I G N A L   P R O C E S S - I M A G E ,   V 2 1 ,   P 3 3 4 ,   D O I   1 0 . 1 0 1 6 / j . i m a g e . 2 0 0 5 . 1 1 . 0 0 6 ;   D o u l a m i s   N ,   2 0 0 9 ,   S T U D   C O M P   I N T E L L ,   V 2 4 0 ,   P 1 8 9 ;   D u d a   R . O . ,   2 0 0 4 ,   P A T T E R N   C L A S S I F I C A T I ;   F e n g   S ,   2 0 0 4 ,   P   I E E E   C   C O M P   V I S   P A ;   G a o   S ,   2 0 0 6 ,   P   2 0 0 6   I E E E   I C A S S P   T ,   V 2 ,   p I I ;   H e   X F ,   2 0 0 3 ,   I E E E   T   C I R C   S Y S T   V I D ,   V 1 3 ,   P 3 9 ,   D O I   1 0 . 1 1 0 9 / T C S V T . 2 0 0 2 . 8 0 8 0 8 7 ;   H e i s t e r k a m p   D R ,   2 0 0 2 ,   I N T   C   P A T T   R E C O G ,   P 1 3 4 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H s u e h   P - Y ,   2 0 0 9 ,   P   N A A C L   H L T   2 0 0 9   W O R ;   H u a z h o n g   N i n g ,   2 0 1 0 ,   P a t t e r n   R e c o g n i t i o n ,   V 4 3 ,   D O I   1 0 . 1 0 1 6 / j . p a t c o g . 2 0 0 9 . 0 6 . 0 0 1 ;   J a i n   S ,   2 0 0 9 ,   A C M   K D D   W O R K S H   H U M   C ,   P 5 8 ;   J o a c h i m s   T . ,   2 0 0 5 ,   P   2 8   A N N   I N T   A C M   S I G ,   P 1 5 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 0 7 6 0 3 4 . 1 0 7 6 0 6 3 ;   J o a c h i m s   T . ,   2 0 0 2 ,   P   8   A C M   S I G K D D   I N T   C ,   P 1 3 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 7 7 5 0 4 7 . 7 7 5 0 6 7 ;   K a i s s e r   M ,   2 0 0 8 ,   P   A C L ;   K a r a m o l e g k o s   P N ,   2 0 0 9 ,   J   C O M P U T E R S   M A T H   A P P ,   V 5 8 ;   K a r y p i s   G ,   1 9 9 5 ,   A C M   C   S U P ;   L i   J ,   2 0 0 3 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 5 ,   P 1 0 7 5 ;   L i n   C X ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 3 9 9 ,   P 7 0 7 ;   L i u   D ,   2 0 1 1 ,   I E E E   T   M U L T I M E D I A ,   V 1 3 ,   P 7 0 2 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 1 1 . 2 1 3 4 0 7 8 ;   M a c d o n a l d   C ,   2 0 0 9 ,   P   2 0 0 9   W O R K S H   W E B   S E ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 0 7 5 0 9 . 1 5 0 7 5 2 1 ;   M u l l e r   H ,   2 0 0 4 ,   I N T   J   C O M P U T   V I S I O N ,   V 5 6 ,   P 6 5 ,   D O I   1 0 . 1 0 2 3 / B : V I S I . 0 0 0 0 0 0 4 8 3 2 . 0 2 2 6 9 . 4 5 ;   N a t s e v   A ,   2 0 0 8 ,   P   T R E C V I D   2 0 0 8 ;   N e s v a d b a   J ,   2 0 0 7 ,   8   I E E E   W I A M I S   S A N T   G ;   N t a l i a n i s   K S ,   2 0 1 0 ,   M U L T I M E D   T O O L S   A P P L ,   V 5 0 ,   P 1 9 9 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 0 9 - 0 3 6 9 - 6 ;   N t a l i a n i s   K S ,   2 0 0 8 ,   P   1   A C M   I N T   W O R K S H   A ;   P e t r i d i s   K ,   2 0 0 4 ,   P   2 0 0 4   E U R   W O R K S H   I N ,   P 3 3 ;   Q u i n n   A J ,   2 0 0 9 ,   T E C H N I C A L   R E P O R T ;   R a p a n t z i k o s   K ,   2 0 0 7 ,   I E T   I M A G E   P R O C E S S ,   V 1 ,   P 2 3 7 ,   D O I   1 0 . 1 0 4 9 / i e t - i p r : 2 0 0 6 0 0 4 0 ;   R a y k a r   V .   C . ,   2 0 0 9 ,   P   2 6   A N N   I N T   C   M A C H ,   P 8 8 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 5 3 3 7 4 . 1 5 5 3 4 8 8 ;   S h e n g   V . ,   2 0 0 8 ,   K D D ;   S h i   J B ,   2 0 0 0 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 2 ,   P 8 8 8 ;   S i o r p a e s   K ,   2 0 0 8 ,   I E E E   I N T E L L   S Y S T ,   V 2 3 ,   P 5 0 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 8 . 4 5 ;   S m y t h   P ,   1 9 9 5 ,   A D V   N E U R A L   I N F O R M   P R ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S o r o k i n   A ,   2 0 0 8 ,   I E E E   W O R K S H   I N T   V I S ;   S p a i n   M ,   2 0 0 8 ,   E C C V ;   S u h   B ,   2 0 0 9 ,   P   5   I N T   S   W I K   O P   C O L ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 6 4 1 3 0 9 . 1 6 4 1 3 2 2 ;   S u n s t e i n   C R ,   2 0 0 6 ,   I N F O T O P I A   M A N Y   M I N D S ;   T s a p a t s o u l i s   N ,   2 0 0 7 ,   S E C O N D   I N T E R N A T I O N A L   W O R K S H O P   O N   S E M A N T I C   M E D I A   A D A P T A T I O N   A N D   P E R S O N A L I Z A T I O N ,   P R O C E E D I N G S ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / S M A P . 2 0 0 7 . 4 9 ;   T s e n g   V S ,   2 0 0 8 ,   I E E E   T   M U L T I M E D I A ,   V 1 0 ,   P 2 6 0 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 0 7 . 9 1 1 8 3 2 ;   T s i k r i k a   T ,   2 0 0 9 ,   P   8   I N T   C   I M   V I D   R E T ;   U l g e s   A ,   2 0 0 8 ,   P   T R E C V I D   2 0 0 8 ;   V i j a y a n a r a s i m h a n   S ,   2 0 0 9 ,   P R O C   C V P R   I E E E ,   P 2 2 6 2 ;   W a n g   A ,   2 0 1 0 ,   T E C H N I C A L   R E P O R T ;   W a n g   X J ,   2 0 0 6 ,   M U L T I M E D I A   S Y S T ,   V 1 1 ,   P 3 4 0 ,   D O I   1 0 . 1 0 0 7 / s 0 0 5 3 0 - 0 0 6 - 0 0 1 3 - 5 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   N I P S ;   Y u e n   M . ,   2 0 0 9 ,   I E E E   I N T   C   C O M P   S C I ,   P 7 2 3 	 5 6 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 0 - 7 5 0 1 	 1 5 7 3 - 7 7 2 1 	 	 M U L T I M E D   T O O L S   A P P L 	 M u l t i m e d .   T o o l s   A p p l . 	 M A R 	 2 0 1 4 	 6 9 	 2 	 	 	 	 	 3 9 7 	 4 2 1 	 	 1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 2 - 0 9 9 5 - 2 	 	 2 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 A D 4 F N 	 W O S : 0 0 0 3 3 3 2 0 3 4 0 0 0 0 9 	 	 
 J 	 H o l t g r e w e ,   U 	 	 	 	 H o l t g r e w e ,   U r s u l a 	 	 	 N e w   n e w   t e c h n o l o g i e s :   t h e   f u t u r e   a n d   t h e   p r e s e n t   o f   w o r k   i n   i n f o r m a t i o n   a n d   c o m m u n i c a t i o n   t e c h n o l o g y 	 N E W   T E C H N O L O G Y   W O R K   A N D   E M P L O Y M E N T 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 r e s t r u c t u r i n g ;   u n i o n s ;   v i r t u a l   w o r k ;   I C T ;   t e c h n o l o g y ;   g l o b a l i s a t i o n 	 L A B O R   P R O C E S S ;   M A N A G E M E N T ;   T R A N S F O R M A T I O N ;   K N O W L E D G E ;   S O F T W A R E ;   I N D U S T R Y ;   T I M E 	 T h i s   p a p e r   o u t l i n e s   a   s e l e c t i o n   o f   t e c h n o l o g i c a l   a n d   o r g a n i s a t i o n a l   d e v e l o p m e n t s   i n   t h e   i n f o r m a t i o n   a n d   c o m m u n i c a t i o n   t e c h n o l o g y   ( I C T )   s e c t o r   a n d   a n a l y s e s   t h e i r   l i k e l y   c h a l l e n g e s   f o r   w o r k e r s   a n d   t r a d e   u n i o n s   a r o u n d   t h e   g l o b e .   I t   a d d r e s s e s   t h e   c o n v e r g e n c e   o f   t e l e c o m m u n i c a t i o n s   a n d   i n f o r m a t i o n   t e c h n o l o g y ,   t h e   r e l a t e d   d e v e l o p m e n t s   o f   u b i q u i t o u s   c o m p u t i n g ,   ' c l o u d s '   a n d   ' b i g   d a t a ' ,   a n d   t h e   p o s s i b i l i t i e s   o f   c r o w d s o u r c i n g   a n d   r e l a t e s   t h e s e   t e c h n o l o g i e s   t o   t h e   l a s t   d e c a d e s '   p a t t e r n s   o f   v a l u e   c h a i n   r e s t r u c t u r i n g .   T h e   p a p e r   i s   b a s e d   o n   d e s k   r e s e a r c h   o f   E u r o p e a n   a n d   i n t e r n a t i o n a l   s o u r c e s ,   o n   s e c t o r   a n a l y s e s   a n d   t e c h n o l o g y   f o r e c a s t s   b y ,   f o r   i n s t a n c e ,   t h e   E u r o p e a n   U n i o n   a n d   O r g a n i s a t i o n   f o r   E c o n o m i c   C o - o p e r a t i o n   a n d   D e v e l o p m e n t ,   a n d   s o m e   n a t i o n a l   a c t o r s .   T h e s e   p r o g n o s e s   a r e   a n a l y s e d   t h r o u g h   t h e   l e n s   o f   r e c e n t   r e s e a r c h   i n t o   I C T   w o r k i n g   e n v i r o n m e n t s   a n d   I C T   v a l u e   c h a i n s ,   i d e n t i f y i n g   u p c o m i n g   a n d   o n g o i n g   c h a l l e n g e s   f o r   b o t h   w o r k e r s   a n d   u n i o n s ,   a n d   o u t l i n i n g   p o s s i b l e   r e s e a r c h   p e r s p e c t i v e s . 	 F o r s c h   &   B e r a t u n g s s t e l l e   A r b e i t s w e l t ,   V i e n n a ,   A u s t r i a 	 H o l t g r e w e ,   U   ( r e p r i n t   a u t h o r ) ,   F o r s c h   &   B e r a t u n g s s t e l l e   A r b e i t s w e l t ,   V i e n n a ,   A u s t r i a . 	 h o l t g r e w e @ f o r b a . a t 	 	 	 	 	 A t k i n s o n   J . ,   1 9 8 4 ,   P E R S   M A N A G E ,   V 1 6 ,   P 2 8 ;   A W P A ,   2 0 1 3 ,   I N F   C O M M   T E C H N   W O R K F ;   B a i n   P ,   2 0 0 2 ,   N E W   T E C H   W O R K   E M P L O Y ,   V 1 7 ,   P 1 7 0 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 8 - 0 0 5 X . 0 0 1 0 3 ;   B a r n e s   S . - A . ,   2 0 1 3 ,   R E V   S T A T E   A R T   M A P P I N ;   B e r g v a l l - K a r e b o r n   B . ,   2 0 1 3 ,   W O R K   E M P L O Y   S O C ,   V 2 7 ,   P 9 6 4 ;   B l u t n e r   D . ,   2 0 0 2 ,   T E L E K O M W I E   M A C H E N   T R ;   B o r e h a m   P . ,   2 0 0 7 ,   N E W   T E C H N O L O G Y   W O R K ;   C a s t e l l s   M . ,   1 9 9 6 ,   R I S E   N E T W O R K   S O C ;   C a t t a n e o   G . ,   2 0 0 9 ,   A N T I C I P A T I N G   D E V   S U P ;   C u s h e n   J ,   2 0 1 2 ,   N E W   T E C H   W O R K   E M P L O Y ,   V 2 7 ,   P 7 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 0 0 5 X . 2 0 1 2 . 0 0 2 8 5 . x ;   D o e l l g a s t   V ,   2 0 0 9 ,   I N D   L A B O R   R E L A T   R E V ,   V 6 3 ,   P 3 ;   D o s s a n i   R . ,   2 0 0 3 ,   W E N T   C O S T   S T A Y E D   Q U A ;   D u b e   L ,   2 0 0 9 ,   I N F O R M   S Y S T   J ,   V 1 9 ,   P 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 5 7 5 . 2 0 0 8 . 0 0 3 1 3 . x ;   E U   S k i l l s   P a n o r a m a ,   2 0 1 2 ,   I N F   C O M M   T E C H N   I C T   P ;   E u r o f o u n d ,   2 0 1 2 ,   B O R N   G L O B   P O T   J O B   C R ;   E u r o p e a n   C o m m i s s i o n ,   2 0 1 2 ,   S W D 2 0 1 2 9 6   E U R   C O M M ;   E u r o p e a n   C o m m i s s i o n ,   2 0 1 3 ,   F I L L   G A P S   E   S K I L L S   E ;   E u r o p e a n   C o m m i s s i o n ,   2 0 1 2 ,   E U   S K I L L S   P A N   A N   H I G ;   F l e c k e r   J . ,   2 0 1 0 ,   W O R K   E M P L O Y   S O C ,   V 2 4 ,   P 1 ;   F o r g e   S . ,   2 0 1 3 ,   C O M P   I N N O V A T I O N   P E R F ;   F r e n k e l   S .   J . ,   1 9 9 9 ,   F R O N T   L I N E   O R G   W O R K ;   G a r s t e n   C . ,   2 0 0 3 ,   N E W   T E C H N O L O G I E S   W O R ;   G o l d   M ,   2 0 1 3 ,   N E W   T E C H   W O R K   E M P L O Y ,   V 2 8 ,   P 1 9 7 ,   D O I   1 0 . 1 1 1 1 / n t w e . 1 2 0 1 7 ;   G r a m p p   C . ,   2 0 0 9 ,   W O R K   M A T T E R S   C R I T I C A ,   P 2 3 2 ;   H a i d i n g e r   B . ,   2 0 1 2 ,   I N F O R M A L   F L E X I B L E   M U ;   H i s l o p   D ,   2 0 0 7 ,   N E W   T E C H   W O R K   E M P L O Y ,   V 2 2 ,   P 3 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 0 0 5 X . 2 0 0 7 . 0 0 1 8 2 . x ;   H o l t g r e w e   U . ,   2 0 1 2 ,   H D B   O R G A N I S A T I O N S T Y P ,   P 3 8 1 ;   H o l t g r e w e   U ,   2 0 0 4 ,   T I M E   S O C ,   V 1 3 ,   P 1 2 9 ,   D O I   1 0 . 1 1 7 7 / 0 9 6 1 4 6 3 X 0 4 0 4 0 7 5 0 ;   H o l t g r e w e   U . ,   2 0 0 9 ,   B E S C H A F T I G T E   G L O B A L I ,   P 1 3 7 ;   H o l t g r e w e   U . ,   2 0 0 8 ,   R E S T R U C T U R I N G   V A L U E ,   P 4 7 ;   H o l t g r e w e   U . ,   2 0 0 8 ,   T E C H N O L O G I E S   G L O B A L I ,   P 1 3 1 ;   H o w c r o f t   D ,   2 0 1 2 ,   W O R K   E M P L O Y   S O C ,   V 2 6 ,   P 1 1 1 ,   D O I   1 0 . 1 1 7 7 / 0 9 5 0 0 1 7 0 1 1 4 2 6 3 0 9 ;   H u w s   U . ,   2 0 0 9 ,   V A L U E   C H A I N   R E S T R U C T ;   H u w s   U . ,   2 0 0 4 ,   A S I A N   E M E R G E N C E   W O R L ;   I G   M e t a l l - V o r s t a n d ,   2 0 1 3 ,   C R O W D S   I G   M E T   B E S C H ;   L e g a u l t   M J ,   2 0 1 2 ,   I N T   J   P R O J   M A N A G ,   V 3 0 ,   P 6 9 7 ,   D O I   1 0 . 1 0 1 6 / j . i j p r o m a n . 2 0 1 1 . 1 1 . 0 0 4 ;   L e g a u l t   M . - J ,   2 0 1 3 ,   W O R K   O R G   L A B O U R   G L O B ,   V 7 ,   P 6 3 ;   L e h d o n v i r t a   V . ,   2 0 1 1 ,   K N O W L E D G E   M A P   V I R T U A ;   L o h r   S ,   2 0 1 2 ,   N Y   T I M E S ;   L u t h j e   B . ,   2 0 1 3 ,   S I L I C O N   V A L L E Y   S H E N Z ;   L y n n   L . ,   2 0 0 7 ,   2 0 0 7 2 2   W P   S L O A N   I N D ;   M a r c h i n g t o n   M . ,   2 0 0 5 ,   F R A G M E N T I N G   W O R K   B L U ;   M a r k s   A ,   2 0 0 7 ,   N E W   T E C H   W O R K   E M P L O Y ,   V 2 2 ,   P 9 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 0 0 5 X . 2 0 0 7 . 0 0 1 9 3 . x ;   M a y e r - A h u j a   N i c o l e ,   2 0 1 1 ,   G R E N Z E N   H O M O G E N I S I E R ;   M a y e r - S c h o n b e r g e r   V ,   2 0 1 3 ,   B I G   D A T A   R E V O L U T I O N ;   O E C D ,   2 0 1 2 ,   I N T   E C   O U T L ,   P 1 ;   O r l i k o w s k i   W J ,   2 0 0 7 ,   O R G A N   S T U D ,   V 2 8 ,   P 1 4 3 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 0 7 0 8 1 1 3 8 ;   P e r l o w   L A ,   1 9 9 9 ,   A D M I N   S C I   Q U A R T ,   V 4 4 ,   P 5 7 ,   D O I   1 0 . 2 3 0 7 / 2 6 6 7 0 3 1 ;   R a m i o u l   M . ,   2 0 1 2 ,   T H E S I S   C A T H O L I C   U   L E ;   R e g i n i   M ,   1 9 9 9 ,   T E L L E R S   S E L L E R S   C H A N ;   S c h o l z   T . ,   2 0 1 1 ,   M O B I L E   P L A Y G R O U N D S   S ;   S c h o n a u e r   A . ,   2 0 1 3 ,   W O R K   O R G   L A B O U R   G L O B ,   V 7 ,   P 6 3 ;   S e w e l l   G ,   2 0 1 2 ,   H U M   R E L A T ,   V 6 5 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 8 7 2 6 7 1 1 4 2 8 9 5 8 ;   S h i h   J ,   2 0 0 4 ,   Q U A L I T A T I V E   S O C I O L O G ,   V 2 7 ,   P 2 2 3 ,   D O I   1 0 . 1 0 2 3 / B : Q U A S . 0 0 0 0 0 2 0 6 9 4 . 5 3 2 2 5 . 2 3 ;   S i m o n   J .   P . ,   2 0 1 1 ,   I C T   L A N D S C A P E   B R I C S ;   S m i t h   C ,   2 0 0 8 ,   W O R K   E M P L O Y   S O C ,   V 2 2 ,   P 5 8 1 ,   D O I   1 0 . 1 1 7 7 / 0 9 5 0 0 1 7 0 0 8 0 9 6 7 3 7 ;   S p a t h   D . ,   2 0 1 2 ,   P R O D U K T I O N S A R B E I T   Z U ;   T a y l o r   P . ,   2 0 1 0 ,   W O R K I N G   L I F E   R E N E W I N ,   P 2 4 4 ;   T a y l o r   P ,   2 0 0 5 ,   W O R K   E M P L O Y   S O C ,   V 1 9 ,   P 2 6 1 ,   D O I   1 0 . 1 1 7 7 / 0 9 5 0 0 1 7 0 0 5 0 5 3 1 7 0 ;   T h o m p s o n   P ,   2 0 1 3 ,   W O R K   E M P L O Y   S O C ,   V 2 7 ,   P 4 7 2 ,   D O I   1 0 . 1 1 7 7 / 0 9 5 0 0 1 7 0 1 3 4 7 9 8 2 7 ;   T u o m i   I l k k a ,   2 0 0 2 ,   N E T W O R K S   I N N O V A T I O N ;   W a r h u r s t   C ,   2 0 0 6 ,   N E W   T E C H   W O R K   E M P L O Y ,   V 2 1 ,   P 7 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 0 0 5 X . 2 0 0 6 . 0 0 1 6 4 . x 	 6 2 	 1 	 1 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 2 6 8 - 1 0 7 2 	 1 4 6 8 - 0 0 5 X 	 	 N E W   T E C H   W O R K   E M P L O Y 	 N e w   T e c h n o l .   W o r k   E m p l o y . 	 M A R 	 2 0 1 4 	 2 9 	 1 	 	 	 	 	 9 	 2 4 	 	 1 0 . 1 1 1 1 / n t w e . 1 2 0 2 5 	 	 1 6 	 E r g o n o m i c s ;   M a n a g e m e n t 	 E n g i n e e r i n g ;   B u s i n e s s   &   E c o n o m i c s 	 A D 2 G V 	 W O S : 0 0 0 3 3 3 0 5 3 3 0 0 0 0 2 	 	 
 J 	 V e r h e g g e n ,   K ;   B a r s n e s ,   H ;   M a r t e n s ,   L 	 	 	 	 V e r h e g g e n ,   K e n n e t h ;   B a r s n e s ,   H a r a l d ;   M a r t e n s ,   L e n n a r t 	 	 	 D i s t r i b u t e d   c o m p u t i n g   a n d   d a t a   s t o r a g e   i n   p r o t e o m i c s :   M a n y   h a n d s   m a k e   l i g h t   w o r k ,   a n d   a   s t r o n g e r   m e m o r y 	 P R O T E O M I C S 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 B i o i n f o r m a t i c s ;   C l o u d   c o m p u t i n g ;   C r o w d s o u r c i n g ;   D i s t r i b u t e d   c o m p u t i n g ;   P a r a l l e l i z e d   c o m p u t i n g 	 P R O T E I N   D A T A - B A N K ;   T A N D E M   M A S S - S P E C T R A ;   S P E C T R O M E T R Y - B A S E D   P R O T E O M I C S ;   B I O M A R K E R   D I S C O V E R Y ;   P A R A L L E L   T A N D E M ;   D A T A   S E T S ;   I D E N T I F I C A T I O N ;   P I P E L I N E ;   A L G O R I T H M S ;   L O C A L I Z A T I O N 	 M o d e r n   d a y   p r o t e o m i c s   g e n e r a t e s   e v e r   m o r e   c o m p l e x   d a t a ,   c a u s i n g   t h e   r e q u i r e m e n t s   o n   t h e   s t o r a g e   a n d   p r o c e s s i n g   o f   s u c h   d a t a   t o   o u t g r o w   t h e   c a p a c i t y   o f   m o s t   d e s k t o p   c o m p u t e r s .   T o   c o p e   w i t h   t h e   i n c r e a s e d   c o m p u t a t i o n a l   d e m a n d s ,   d i s t r i b u t e d   a r c h i t e c t u r e s   h a v e   g a i n e d   s u b s t a n t i a l   p o p u l a r i t y   i n   t h e   r e c e n t   y e a r s .   I n   t h i s   r e v i e w ,   w e   p r o v i d e   a n   o v e r v i e w   o f   t h e   c u r r e n t   t e c h n i q u e s   f o r   d i s t r i b u t e d   c o m p u t i n g ,   a l o n g   w i t h   e x a m p l e s   o f   h o w   t h e   t e c h n i q u e s   a r e   c u r r e n t l y   b e i n g   e m p l o y e d   i n   t h e   f i e l d   o f   p r o t e o m i c s .   W e   t h u s   u n d e r l i n e   t h e   b e n e f i t s   o f   d i s t r i b u t e d   c o m p u t i n g   i n   p r o t e o m i c s ,   w h i l e   a l s o   p o i n t i n g   o u t   t h e   p o t e n t i a l   i s s u e s   a n d   p i t f a l l s   i n v o l v e d . 	 [ V e r h e g g e n ,   K e n n e t h ;   M a r t e n s ,   L e n n a r t ]   V I B ,   D e p t   M e d   P r o t   R e s ,   G h e n t ,   B e l g i u m ;   [ V e r h e g g e n ,   K e n n e t h ;   M a r t e n s ,   L e n n a r t ]   U n i v   G h e n t ,   D e p t   B i o c h e m ,   F a c   M e d   &   H l t h   S c i ,   B - 9 0 0 0   G h e n t ,   B e l g i u m ;   [ B a r s n e s ,   H a r a l d ]   U n i v   B e r g e n ,   D e p t   B i o m e d ,   P r o t e   U n i t ,   N - 5 0 2 0   B e r g e n ,   N o r w a y 	 M a r t e n s ,   L   ( r e p r i n t   a u t h o r ) ,   U n i v   G h e n t ,   D e p t   M e d   P r o t   R e s ,   A l b e r t   B a e r t s o e n k a a i   3 ,   B - 9 0 0 0   G h e n t ,   B e l g i u m . 	 l e n n a r t . m a r t e n s @ U G e n t . b e 	 	 	 R e s e a r c h   C o u n c i l   o f   N o r w a y ;   G h e n t   U n i v e r s i t y   ( M u l t i d i s c i p l i n a r y   R e s e a r c h   P a r t n e r s h i p   " B i o i n f o r m a t i c s :   f r o m   n u c l e o t i d e s   t o   n e t w o r k s " ) ;   I W T   S B O   g r a n t   ' I N S P E C T O R '   [ 1 2 0 0 2 5 ] ;   P R I M E - X S   p r o j e c t   [ 2 6 2 0 6 7 ] ;   " P r o t e o m e X c h a n g e "   p r o j e c t   [ 2 6 0 5 5 8 ] ;   E u r o p e a n   U n i o n 	 K . V .   i s   t h a n k f u l   t o   G h e n t   U n i v e r s i t y   a n d   V I B .   H .   B .   i s   s u p p o r t e d   b y   t h e   R e s e a r c h   C o u n c i l   o f   N o r w a y .   L .   M .   a c k n o w l e d g e s   t h e   s u p p o r t   o f   G h e n t   U n i v e r s i t y   ( M u l t i d i s c i p l i n a r y   R e s e a r c h   P a r t n e r s h i p   " B i o i n f o r m a t i c s :   f r o m   n u c l e o t i d e s   t o   n e t w o r k s " ) ,   t h e   I W T   S B O   g r a n t   ' I N S P E C T O R '   ( 1 2 0 0 2 5 ) ,   t h e   P R I M E - X S   p r o j e c t ,   g r a n t   a g r e e m e n t   n u m b e r   2 6 2 0 6 7 ,   a n d   t h e   " P r o t e o m e X c h a n g e "   p r o j e c t ,   g r a n t   a g r e e m e n t   n u m b e r   2 6 0 5 5 8 ,   b o t h   f u n d e d   b y   t h e   E u r o p e a n   U n i o n   7 t h   F r a m e w o r k   P r o g r a m . 	 A l l m e r   J ,   2 0 1 1 ,   E X P E R T   R E V   P R O T E O M I C ,   V 8 ,   P 6 4 5 ,   D O I   [ 1 0 . 1 5 8 6 / e p r . 1 1 . 5 4 ,   1 0 . 1 5 8 6 / E P R . 1 1 . 5 4 ] ;   A m d a h l   G . ,   1 9 6 7 ,   P   A F I P S   C   R E S T   V A ,   P 4 8 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 6 5 4 8 2 . 1 4 6 5 5 6 0 ;   A n d e r s o n   D P ,   2 0 0 4 ,   F I F T H   I E E E / A C M   I N T E R N A T I O N A L   W O R K S H O P   O N   G R I D   C O M P U T I N G ,   P R O C E E D I N G S ,   P 4 ,   D O I   1 0 . 1 1 0 9 / G R I D . 2 0 0 4 . 1 4 ;   A p w e i l e r   R ,   2 0 0 4 ,   N U C L E I C   A C I D S   R E S ,   V 3 2 ,   p D 1 1 5 ,   D O I   1 0 . 1 0 9 3 / n a r / g k h 1 3 1 ;   B a r s n e s   H ,   2 0 1 3 ,   A M I N O   A C I D S ,   V 4 4 ,   P 1 1 2 9 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 2 6 - 0 1 2 - 1 4 5 5 - z ;   B a u m g a r d n e r   L A ,   2 0 1 1 ,   J   P R O T E O M E   R E S ,   V 1 0 ,   P 2 8 8 2 ,   D O I   1 0 . 1 0 2 1 / p r 2 0 0 0 7 4 h ;   B e r m a n   H ,   2 0 0 3 ,   N A T   S T R U C T   B I O L ,   V 1 0 ,   P 9 8 0 ,   D O I   1 0 . 1 0 3 8 / n s b 1 2 0 3 - 9 8 0 ;   B e r m a n   H M ,   2 0 1 3 ,   F E B S   L E T T ,   V 5 8 7 ,   P 1 0 3 6 ,   D O I   1 0 . 1 0 1 6 / j . f e b s l e t . 2 0 1 2 . 1 2 . 0 2 9 ;   B e r m a n   H M ,   2 0 0 0 ,   N U C L E I C   A C I D S   R E S ,   V 2 8 ,   P 2 3 5 ,   D O I   1 0 . 1 0 9 3 / n a r / 2 8 . 1 . 2 3 5 ;   B j o r n s o n   R D ,   2 0 0 8 ,   J   P R O T E O M E   R E S ,   V 7 ,   P 2 9 3 ,   D O I   1 0 . 1 0 2 1 / p r 0 7 0 1 1 9 8 ;   B o u k e r c h e   A ,   2 0 0 7 ,   J   C O M P U T   S Y S T   S C I ,   V 7 3 ,   P 1 2 4 0 ,   D O I   1 0 . 1 0 1 6 / j . j c s s . 2 0 0 7 . 0 2 . 0 1 1 ;   C a m p b e l l   M .   P . ,   2 0 1 3 ,   B I O C H   B I O P H Y S   A C T A ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   C s o r d a s   A ,   2 0 1 2 ,   D A T A B A S E - O X F O R D ,   D O I   1 0 . 1 0 9 3 / d a t a b a s e / b a s 0 0 4 ;   D e c i u   C ,   2 0 0 7 ,   J   P R O T E O M E   R E S ,   V 6 ,   P 3 4 4 3 ,   D O I   1 0 . 1 0 2 1 / p r 0 7 0 0 6 6 u ;   D e m a t t e   L ,   2 0 1 0 ,   B R I E F   B I O I N F O R M ,   V 1 1 ,   P 3 2 3 ,   D O I   1 0 . 1 0 9 3 / b i b / b b q 0 0 6 ;   D e s i e r e   F ,   2 0 0 6 ,   N U C L E I C   A C I D S   R E S ,   V 3 4 ,   p D 6 5 5 ,   D O I   1 0 . 1 0 9 3 / n a r / g k j 0 4 0 ;   D e u t s c h   E W ,   2 0 1 0 ,   P R O T E O M I C S ,   V 1 0 ,   P 1 1 5 0 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 0 9 0 0 3 7 5 ;   D e u t s c h   E W ,   2 0 0 8 ,   E M B O   R E P ,   V 9 ,   P 4 2 9 ,   D O I   1 0 . 1 0 3 8 / e m b o r . 2 0 0 8 . 5 6 ;   D i l l   K A ,   2 0 1 2 ,   S C I E N C E ,   V 3 3 8 ,   P 1 0 4 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 1 9 0 2 1 ;   D o w s e y   A W ,   2 0 0 4 ,   P R O T E O M I C S ,   V 4 ,   P 3 8 0 0 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 0 3 0 0 8 9 4 ;   D u n c a n   D T ,   2 0 0 5 ,   J   P R O T E O M E   R E S ,   V 4 ,   P 1 8 4 2 ,   D O I   1 0 . 1 0 2 1 / p r 0 5 0 0 5 8 i ;   E i b e n   C B ,   2 0 1 2 ,   N A T   B I O T E C H N O L ,   V 3 0 ,   P 1 9 0 ,   D O I   1 0 . 1 0 3 8 / n b t . 2 1 0 9 ;   F e n y o   D ,   2 0 0 3 ,   A N A L   C H E M ,   V 7 5 ,   P 7 6 8 ,   D O I   1 0 . 1 0 2 1 / a c 0 2 5 8 7 0 9 ;   F o s t e r   I . ,   2 0 0 3 ,   G R I D   2   B L U E P R I N T   N E W ;   F r a n k   A ,   2 0 0 5 ,   A N A L   C H E M ,   V 7 7 ,   P 9 6 4 ,   D O I   1 0 . 1 0 2 1 / a c 0 4 8 7 8 8 h ;   G e e r   L Y ,   2 0 0 4 ,   J   P R O T E O M E   R E S ,   V 3 ,   P 9 5 8 ,   D O I   1 0 . 1 0 2 1 / p r 0 4 9 9 4 9 1 ;   G o n n e l l i   G ,   2 0 1 2 ,   A N A L   B I O A N A L   C H E M ,   V 4 0 4 ,   P 1 0 6 9 ,   D O I   1 0 . 1 0 0 7 / s 0 0 2 1 6 - 0 1 2 - 5 9 4 0 - 8 ;   G o o d   B M ,   2 0 1 3 ,   B I O I N F O R M A T I C S ,   V 2 9 ,   P 1 9 2 5 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t t 3 3 3 ;   G o u g h   E ,   2 0 0 8 ,   B M C   B I O I N F O R M A T I C S ,   V 9 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 9 - S 7 - P 2 1 ;   G u b e r m a n   J .   M . ,   2 0 1 1 ,   D A T A B A S E ,   V 2 0 1 1 ;   H a h n e   H ,   2 0 1 2 ,   M O L   C E L L   P R O T E O M I C S ,   V 1 1 ,   P 8 4 3 ,   D O I   1 0 . 1 0 7 4 / m c p . M 1 1 2 . 0 1 9 4 6 3 ;   H a l l i g a n   B D ,   2 0 0 9 ,   J   P R O T E O M E   R E S ,   V 8 ,   P 3 1 4 8 ,   D O I   1 0 . 1 0 2 1 / p r 8 0 0 9 7 0 z ;   H a n   X M ,   2 0 0 8 ,   C U R R   O P I N   C H E M   B I O L ,   V 1 2 ,   P 4 8 3 ,   D O I   1 0 . 1 0 1 6 / j . c b p a . 2 0 0 8 . 0 7 . 0 2 4 ;   H a r r i s   T W ,   2 0 0 4 ,   N U C L E I C   A C I D S   R E S ,   V 3 2 ,   p D 4 1 1 ,   D O I   1 0 . 1 0 9 3 / n a r / g k h 0 6 6 ;   H i l l   M D ,   2 0 0 8 ,   C O M P U T E R ,   V 4 1 ,   P 3 3 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 8 . 2 0 9 ;   H o d i s   E ,   2 0 0 8 ,   G E N O M E   B I O L ,   V 9 ,   D O I   1 0 . 1 1 8 6 / g b - 2 0 0 8 - 9 - 8 - r 1 2 1 ;   H u g h e s   C ,   2 0 1 0 ,   M E T H O D S   M O L   B I O L ,   V 6 0 4 ,   P 1 0 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 6 0 7 6 1 - 4 4 4 - 9 _ 8 ;   H u l l   D ,   2 0 0 6 ,   N U C L E I C   A C I D S   R E S ,   V 3 4 ,   p W 7 2 9 ,   D O I   1 0 . 1 0 9 3 / n a r / g k l 3 2 0 ;   H u s s o n g   R ,   2 0 0 9 ,   B I O I N F O R M A T I C S ,   V 2 5 ,   P 1 9 3 7 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t p 2 9 4 ;   J a i s w a l   P ,   2 0 1 1 ,   M E T H O D S   M O L   B I O L ,   V 6 7 8 ,   P 2 4 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 6 0 7 6 1 - 6 8 2 - 5 _ 1 8 ;   J i   J u n ,   2 0 1 3 ,   B M C   R e s   N o t e s ,   V 6 ,   P 1 0 9 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 6 - 0 5 0 0 - 6 - 1 0 9 ;   K a l l   L ,   2 0 0 9 ,   B I O I N F O R M A T I C S ,   V 2 5 ,   P 9 6 4 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t p 0 2 1 ;   K a s p r z y k   A . ,   2 0 1 1 ,   D A T A B A S E ,   V 2 0 1 1 ;   K a u f m a n n   K W ,   2 0 1 0 ,   B I O C H E M I S T R Y - U S ,   V 4 9 ,   P 2 9 8 7 ,   D O I   1 0 . 1 0 2 1 / b i 9 0 2 1 5 3 g ;   K h a t i b   F ,   2 0 1 1 ,   N A T   S T R U C T   M O L   B I O L ,   V 1 8 ,   P 1 1 7 5 ,   D O I   1 0 . 1 0 3 8 / n s m b . 2 1 1 9 ;   K i n s e l l a   R .   J . ,   2 0 1 1 ,   D A T A B A S E ,   V 2 0 1 1 ;   K r e p p e l   L ,   2 0 0 4 ,   N U C L E I C   A C I D S   R E S ,   V 3 2 ,   p D 3 3 2 ,   D O I   1 0 . 1 0 9 3 / n a r / g k h 1 3 8 ;   K u s s m a n n   M ,   2 0 0 6 ,   J   B I O T E C H N O L ,   V 1 2 4 ,   P 7 5 8 ,   D O I   1 0 . 1 0 1 6 / j . j b i o t e c . 2 0 0 6 . 0 2 . 0 1 4 ;   L a m   H ,   2 0 0 7 ,   P R O T E O M I C S ,   V 7 ,   P 6 5 5 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 0 6 0 0 6 2 5 ;   L a z a r u s   R o s s ,   2 0 0 8 ,   S u m m i t   o n   T r a n s l a t   B i o i n f o r m a ,   V 2 0 0 8 ,   P 5 6 ;   L e w i s   S ,   2 0 1 2 ,   B M C   B I O I N F O R M A T I C S ,   V 1 3 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 1 3 - 3 2 4 ;   L i o t t a   L A ,   2 0 0 3 ,   N A T U R E ,   V 4 2 5 ,   P 9 0 5 ,   D O I   1 0 . 1 0 3 8 / 4 2 5 9 0 5 a ;   M a d r i d - A l i s t e   C J ,   2 0 0 9 ,   B M C   G E N O M I C S ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 6 4 - 1 0 - 3 8 ;   M a l i k   R ,   2 0 1 0 ,   P R O T E O M I C S ,   V 1 0 ,   P 1 2 7 0 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 0 9 0 0 3 6 5 ;   M a r t e n s   L ,   2 0 0 5 ,   P R O T E O M I C S ,   V 5 ,   P 3 5 0 1 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 0 4 0 1 3 0 2 ;   M A R T I N   H J A ,   2 0 1 3 ,   P L O S   O N E ,   V 0 0 0 8 ;   M a t i c   I ,   2 0 1 2 ,   N A T   M E T H O D S ,   V 9 ,   P 7 7 1 ,   D O I   1 0 . 1 0 3 8 / n m e t h . 2 1 0 6 ;   M e   P . ,   N I S T   D E F I N I T I O N   C L O U ;   M e y e r   E F ,   1 9 9 7 ,   P R O T E I N   S C I ,   V 6 ,   P 1 5 9 1 ;   M i l l o y   J A ,   2 0 1 2 ,   J   P R O T E O M E   R E S ,   V 1 1 ,   P 3 5 8 1 ,   D O I   1 0 . 1 0 2 1 / p r 3 0 0 3 3 8 p ;   M i s s b a c h   M . ,   2 0 1 3 ,   S A P   C L O U D ,   P 1 ;   M o h a m m e d   Y ,   2 0 1 2 ,   J   P R O T E O M E   R E S ,   V 1 1 ,   P 5 1 0 1 ,   D O I   1 0 . 1 0 2 1 / p r 3 0 0 5 6 1 q ;   M o o r e   G .   E . ,   1 9 6 5 ,   E L E C T R O N I C S ,   V 3 8 ,   P 1 1 4 ;   M o o r e   G E ,   2 0 0 6 ,   I E E E   S O L I D   S T A T E   C I R ,   D O I   D O I   1 0 . 1 1 0 9 / N - S S C . 2 0 0 6 . 4 7 8 5 8 6 0 ;   M u t h   T ,   2 0 1 3 ,   J   P R O T E O M I C S ,   V 8 8 ,   P 1 0 4 ,   D O I   1 0 . 1 0 1 6 / j . j p r o t . 2 0 1 2 . 1 2 . 0 2 6 ;   O y a n a g i   Y ,   2 0 0 2 ,   J   C O M P U T   A P P L   M A T H ,   V 1 4 9 ,   P 1 4 7 ,   D O I   1 0 . 1 0 1 6 / S 0 3 7 7 - 0 4 2 7 ( 0 2 ) 0 0 5 2 6 - 5 ;   P a n g   J X ,   2 0 0 2 ,   J   P R O T E O M E   R E S ,   V 1 ,   P 1 6 1 ,   D O I   1 0 . 1 0 2 4 / p r 0 1 5 5 1 8 w ;   P e r k i n s   D N ,   1 9 9 9 ,   E L E C T R O P H O R E S I S ,   V 2 0 ,   P 3 5 5 1 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 5 2 2 - 2 6 8 3 ( 1 9 9 9 1 2 0 1 ) 2 0 : 1 8 < 3 5 5 1 : : A I D - E L P S 3 5 5 1 > 3 . 0 . C O ; 2 - 2 ;   P e v t s o v   S ,   2 0 0 6 ,   J   P R O T E O M E   R E S ,   V 5 ,   P 3 0 1 8 ,   D O I   1 0 . 1 0 2 1 / p r 0 6 0 2 2 2 h ;   P r i n c e   J T ,   2 0 0 4 ,   N A T   B I O T E C H N O L ,   V 2 2 ,   P 4 7 1 ,   D O I   1 0 . 1 0 3 8 / n b t 0 4 0 4 - 4 7 1 ;   R o h l   C A ,   2 0 0 4 ,   M E T H O D   E N Z Y M O L ,   V 3 8 3 ,   P 6 6 ;   R o s t   B ,   2 0 0 1 ,   J   S T R U C T   B I O L ,   V 1 3 4 ,   P 2 0 4 ,   D O I   1 0 . 1 0 0 6 / j s b i . 2 0 0 0 . 4 3 3 6 ;   S a d a s h i v   N . ,   2 0 1 1 ,   2 0 1 1   6 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r   S c i e n c e   &   E d u c a t i o n   ( I C C S E   2 0 1 1 ) ,   D O I   1 0 . 1 1 0 9 / I C C S E . 2 0 1 1 . 6 0 2 8 6 8 3 ;   S m e d l e y   D ,   2 0 0 9 ,   B M C   G E N O M I C S ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 6 4 - 1 0 - 2 2 ;   T a b b   D L ,   2 0 0 8 ,   J   P R O T E O M E   R E S ,   V 7 ,   P 3 8 3 8 ,   D O I   1 0 . 1 0 2 1 / p r 8 0 0 1 5 4 p ;   T a n n e r   S ,   2 0 0 5 ,   A N A L   C H E M ,   V 7 7 ,   P 4 6 2 6 ,   D O I   1 0 . 1 0 2 1 / a c 0 5 0 1 0 2 d ;   T a u s   T ,   2 0 1 1 ,   J   P R O T E O M E   R E S ,   V 1 0 ,   P 5 3 5 4 ,   D O I   1 0 . 1 0 2 1 / p r 2 0 0 6 1 1 n ;   T a v a k o l a n   M o n a ,   2 0 1 3 ,   B i o i n f o r m a t i o n ,   V 9 ,   P 1 6 5 ,   D O I   1 0 . 6 0 2 6 / 9 7 3 2 0 6 3 0 0 0 9 1 6 5 ;   T h o r i s s o n   G A ,   2 0 0 5 ,   G E N O M E   R E S ,   V 1 5 ,   P 1 5 9 2 ,   D O I   1 0 . 1 1 0 1 / g r . 4 4 1 3 1 0 5 ;   T r u d g i a n   D C ,   2 0 1 2 ,   J   P R O T E O M E   R E S ,   V 1 1 ,   P 6 2 8 2 ,   D O I   1 0 . 1 0 2 1 / p r 3 0 0 6 9 4 b ;   T u s n a d y   G E ,   2 0 0 5 ,   N U C L E I C   A C I D S   R E S ,   V 3 3 ,   p D 2 7 5 ,   D O I   1 0 . 1 0 9 3 / n a r / g k i 0 0 2 ;   V a n   d e r   B u r g t   Y E M ,   2 0 0 7 ,   J   A M   S O C   M A S S   S P E C T R ,   V 1 8 ,   P 1 5 2 ,   D O I   1 0 . 1 0 1 6 / j . j a s m s . 2 0 0 6 . 0 9 . 0 0 5 ;   V a u d e l   M ,   2 0 1 2 ,   E X P E R T   R E V   P R O T E O M I C ,   V 9 ,   P 5 1 9 ,   D O I   [ 1 0 . 1 5 8 6 / e p r . 1 2 . 5 1 ,   1 0 . 1 5 8 6 / E P R . 1 2 . 5 1 ] ;   V i z c a i n o   J A ,   2 0 1 3 ,   N U C L E I C   A C I D S   R E S ,   V 4 1 ,   p D 1 0 6 3 ,   D O I   1 0 . 1 0 9 3 / n a r / g k s 1 2 6 2 ;   W o l s t e n c r o f t   K . ,   2 0 1 3 ,   N U C L E I C   A C I D S   R E S ,   V 3 4 ,   P 7 2 9 ;   Z h a n g   J . ,   2 0 1 1 ,   D A T A B A S E ,   V 2 0 1 1 	 8 7 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 1 6 1 5 - 9 8 5 3 	 1 6 1 5 - 9 8 6 1 	 	 P R O T E O M I C S 	 P r o t e o m i c s 	 M A R 	 2 0 1 4 	 1 4 	 4 - 5 	 	 	 S I 	 	 3 6 7 	 3 7 7 	 	 1 0 . 1 0 0 2 / p m i c . 2 0 1 3 0 0 2 8 8 	 	 1 1 	 B i o c h e m i c a l   R e s e a r c h   M e t h o d s ;   B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y 	 A C 2 O M 	 W O S : 0 0 0 3 3 2 3 4 1 2 0 0 0 0 4 	 2 4 2 8 5 5 5 2 	 
 J 	 Z a i d a n ,   O F ;   C a l l i s o n - B u r c h ,   C 	 	 	 	 Z a i d a n ,   O m a r   F . ;   C a l l i s o n - B u r c h ,   C h r i s 	 	 	 A r a b i c   D i a l e c t   I d e n t i f i c a t i o n 	 C O M P U T A T I O N A L   L I N G U I S T I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 L A N G U A G E   I D E N T I F I C A T I O N ;   A G R E E M E N T 	 T h e   w r i t t e n   f o r m   o f   t h e   A r a b i c   l a n g u a g e ,   M o d e r n   S t a n d a r d   A r a b i c   ( M S A ) ,   d i f f e r s   i n   a   n o n - t r i v i a l   m a n n e r   f r o m   t h e   v a r i o u s   s p o k e n   r e g i o n a l   d i a l e c t s   o f   A r a b i c t h e   t r u e   n a t i v e   l a n g u a g e s   o f   A r a b i c   s p e a k e r s .   T h o s e   d i a l e c t s ,   i n   t u r n ,   d i f f e r   q u i t e   a   b i t   f r o m   e a c h   o t h e r .   H o w e v e r ,   d u e   t o   M S A ' s   p r e v a l e n c e   i n   w r i t t e n   f o r m ,   a l m o s t   a l l   A r a b i c   d a t a   s e t s   h a v e   p r e d o m i n a n t l y   M S A   c o n t e n t .   I n   t h i s   a r t i c l e ,   w e   d e s c r i b e   t h e   c r e a t i o n   o f   a   n o v e l   A r a b i c   r e s o u r c e   w i t h   d i a l e c t   a n n o t a t i o n s .   W e   h a v e   c r e a t e d   a   l a r g e   m o n o l i n g u a l   d a t a   s e t   r i c h   i n   d i a l e c t a l   A r a b i c   c o n t e n t   c a l l e d   t h e   A r a b i c   O n - l i n e   C o m m e n t a r y   D a t a   s e t   ( Z a i d a n   a n d   C a l l i s o n - B u r c h   2 0 1 1 ) .   W e   d e s c r i b e   o u r   a n n o t a t i o n   e f f o r t   t o   i d e n t i f y   t h e   d i a l e c t   l e v e l   ( a n d   d i a l e c t   i t s e l f )   i n   e a c h   o f   m o r e   t h a n   1 0 0 , 0 0 0   s e n t e n c e s   f r o m   t h e   d a t a   s e t   b y   c r o w d s o u r c i n g   t h e   a n n o t a t i o n   t a s k ,   a n d   d e l v e   i n t o   i n t e r e s t i n g   a n n o t a t o r   b e h a v i o r s   ( l i k e   o v e r - i d e n t i f i c a t i o n   o f   o n e ' s   o w n   d i a l e c t ) .   U s i n g   t h i s   n e w   a n n o t a t e d   d a t a   s e t ,   w e   c o n s i d e r   t h e   t a s k   o f   A r a b i c   d i a l e c t   i d e n t i f i c a t i o n :   G i v e n   t h e   w o r d   s e q u e n c e   f o r m i n g   a n   A r a b i c   s e n t e n c e ,   d e t e r m i n e   t h e   v a r i e t y   o f   A r a b i c   i n   w h i c h   i t   i s   w r i t t e n .   W e   u s e   t h e   d a t a   t o   t r a i n   a n d   e v a l u a t e   a u t o m a t i c   c l a s s i f i e r s   f o r   d i a l e c t   i d e n t i f i c a t i o n ,   a n d   e s t a b l i s h   t h a t   c l a s s i f i e r s   u s i n g   d i a l e c t a l   d a t a   s i g n i f i c a n t l y   a n d   d r a m a t i c a l l y   o u t p e r f o r m   b a s e l i n e s   t h a t   u s e   M S A - o n l y   d a t a ,   a c h i e v i n g   n e a r - h u m a n   c l a s s i f i c a t i o n   a c c u r a c y .   F i n a l l y ,   w e   a p p l y   o u r   c l a s s i f i e r s   t o   d i s c o v e r   d i a l e c t i c a l   d a t a   f r o m   a   l a r g e   W e b   c r a w l   c o n s i s t i n g   o f   3 . 5   m i l l i o n   p a g e s   m i n e d   f r o m   o n - l i n e   A r a b i c   n e w s p a p e r s . 	 [ Z a i d a n ,   O m a r   F . ]   M i c r o s o f t   R e s ,   S e a t t l e ,   W A   U S A ;   [ C a l l i s o n - B u r c h ,   C h r i s ]   U n i v   P e n n ,   C o m p   &   I n f o r m a t   S c i   D e p t ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A 	 Z a i d a n ,   O F   ( r e p r i n t   a u t h o r ) ,   M i c r o s o f t   R e s ,   S e a t t l e ,   W A   U S A . 	 o z a i d a n @ g m a i l . c o m ;   c c b @ c i s . u p e n n . e d u 	 	 	 D A R P A   G A L E   p r o g r a m   [ H R 0 0 1 1 - 0 6 - 2 - 0 0 0 1 ] ;   D A R P A   B O L T   p r o g r a m   [ H R 0 0 1 1 - 1 2 - C - 0 0 1 4 ] ;   E u r o M a t r i x P l u s   p r o j e c t ;   E u r o p e a n   C o m m i s s i o n ;   H u m a n   L a n g u a g e   T e c h n o l o g y   C e n t e r   o f   E x c e l l e n c e ;   G o o g l e ;   M i c r o s o f t 	 T h i s   r e s e a r c h   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   D A R P A   G A L E   p r o g r a m   u n d e r   c o n t r a c t   n o .   H R 0 0 1 1 - 0 6 - 2 - 0 0 0 1 ,   t h e   D A R P A   B O L T   p r o g r a m   c o n t r a c t   n o .   H R 0 0 1 1 - 1 2 - C - 0 0 1 4 ,   t h e   E u r o M a t r i x P l u s   p r o j e c t   f u n d e d   b y   t h e   E u r o p e a n   C o m m i s s i o n   ( 7 t h   F r a m e w o r k   P r o g r a m m e ) ,   t h e   H u m a n   L a n g u a g e   T e c h n o l o g y   C e n t e r   o f   E x c e l l e n c e ,   a n d   b y   g i f t s   f r o m   G o o g l e   a n d   M i c r o s o f t .   T h e   v i e w s   a n d   f i n d i n g s   a r e   t h e   a u t h o r s '   a l o n e .   T h e y   d o   n o t   r e f l e c t   t h e   o f f i c i a l   p o l i c i e s   o r   p o s i t i o n s   o f   t h e   D e p a r t m e n t   o f   D e f e n s e   o r   t h e   U .   S .   G o v e r n m e n t .   T h e   a u t h o r s   w o u l d   l i k e   t o   t h a n k   t h e   a n o n y m o u s   r e v i e w e r s   f o r   t h e i r   e x t r e m e l y   v a l u a b l e   c o m m e n t s   o n   e a r l i e r   d r a f t s   o f   t h i s   a r t i c l e ,   a n d   f o r   s u g g e s t i n g   f u t u r e   w o r k   i d e a s . 	 A b d e l - M a s s i h   E r n e s t   T . ,   1 9 7 9 ,   R E F E R E N C E   G R A M M A R   E G ;   A l - A n i   S a l m a n   H ,   1 9 7 0 ,   A R A B I C   P H O N O L O G Y   A C O ;   A O U N   J ,   1 9 9 4 ,   L I N G U I S T   I N Q ,   V 2 5 ,   P 1 9 5 ;   B a s s i o u n e y   R e e m ,   2 0 0 9 ,   A R A B I C   S O C I O L I N G U I S T ;   B i a d s y   F a d i ,   2 0 0 9 ,   P   E A C L   A T H   G R E E K ,   P 5 3 ,   D O I   1 0 . 3 1 1 5 / 1 6 2 1 7 7 4 . 1 6 2 1 7 8 4 ;   B u c k w a l t e r   T . ,   2 0 0 4 ,   B U C K W A L T E R   A R A B I C   M O ;   B u c k w a l t e r   T i m ,   2 0 0 2 ,   B U C K W A L T E R   A R A B I C   T R ;   C a l l i s o n - B u r c h   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 ;   C a v n a r   W B ,   1 9 9 4 ,   P   3   A N N   S   D O C   A N   I N F ,   P 1 6 1 ;   C h e n   S .   F . ,   1 9 9 8 ,   T R 1 0 9 8   H A R V   U   C O M P   S ;   C h i a n g   D a v i d ,   2 0 0 6 ,   P   E A C L   T R E N T   I T ,   P 3 6 9 ;   C o w e l l   M a r k   W . ,   1 9 6 4 ,   R E F E R E N C E   G R A M M A R   S Y ;   D i a b   M o n a ,   2 0 1 0 ,   P   L R E C   W O R K S H   S E M   L A ,   P 6 6 ;   D u n n i n g   T . ,   1 9 9 4 ,   9 4 2 7 3   M C C S   N E W   M E X   S ;   E r w i n   W a l l a c e   M . ,   1 9 6 3 ,   S H O R T   R E F E R E N C E   G R A M ;   F L E I S S   J L ,   1 9 7 1 ,   P S Y C H O L   B U L L ,   V 7 6 ,   P 3 7 8 ,   D O I   1 0 . 1 0 3 7 / h 0 0 3 1 6 1 9 ;   G a i r d n e r   W i l l i a m   H e n r y   T e m p l e ,   1 9 2 5 ,   P H O N E T I C S   A R A B I C ;   G a r e r a   N . ,   2 0 0 9 ,   P   J O I N T   C   4 7   A N N   M   A ,   P 7 1 0 ;   H a b a s h ,   2 0 0 7 ,   A R A B I C   C O M P U T A T I O N A L ;   H a b a s h ,   2 0 1 2 ,   P   1 2   M   S P E C   I N T   G R O U ,   P 1 ;   H a b a s h ,   2 0 0 8 ,   P   L R E C   W O R K S H   H L T   N L ,   P 4 9 ;   H A B A S H   N ,   2 0 1 2 ,   P   L A N G   R E S   E V   C   L R E C ,   P 7 1 1 ;   H A B A S H   N ,   2 0 0 6 ,   P   2 1   I N T   C   C O M P   L I N G ,   P 6 8 1 ,   D O I   1 0 . 3 1 1 5 / 1 2 2 0 1 7 5 . 1 2 2 0 2 6 1 ;   H a b a s h   N i z a r ,   2 0 1 0 ,   I N T R O   A R A B I C   N A T U R A L ;   H a e r i   N ,   2 0 0 3 ,   S A C R E D   L A N G U A G E ,   O R D I N A R Y   P E O P L E :   D I L E M M A S   O F   C U L T U R E   A N D   P O L I T I C S   I N   E G Y P T ,   P 1 ,   D O I   1 0 . 1 0 5 7 / 9 7 8 0 2 3 0 1 0 7 3 7 3 ;   H i n d s   M a r t i n ,   1 9 8 6 ,   D I C T   E G Y P T I A N   A R A B I C ;   H o l e s   C . ,   2 0 0 4 ,   M O D E R N   A R A B I C   S T R U C T ;   I n g h a m   B r u c e ,   1 9 9 4 ,   N A J D I   A R A B I C   C E N T R A L ;   K a s t n e r   H a r t m u t ,   1 9 8 1 ,   P H O N E T I K   P H O N O L O G I E ;   L A N D I S   J R ,   1 9 7 7 ,   B I O M E T R I C S ,   V 3 3 ,   P 1 5 9 ,   D O I   1 0 . 2 3 0 7 / 2 5 2 9 3 1 0 ;   L e i   Y ,   2 0 1 1 ,   I E E E   T   A U D I O   S P E E C H ,   V 1 9 ,   P 8 5 ,   D O I   1 0 . 1 1 0 9 / T A S L . 2 0 1 0 . 2 0 4 5 1 8 4 ;   M i t c h e l l   T e r e n c e   F r e d e r i c k ,   1 9 9 0 ,   P R O N O U N C I N G   A R A B I C ;   M o h a n d   T i l m a t i n e ,   1 9 9 9 ,   E S T U D I O S   D I A L E C T O L O G ,   V 4 ,   P 9 9 ;   N e w m a n   D a n i e l   L ,   2 0 0 2 ,   A N T W E R P   P A P E R S   L I N G U ,   V 1 0 0 ,   P 6 3 ;   N i z a r   H a b a s h ,   2 0 0 8 ,   S H O R T   P A P E R S ,   P 5 7 ;   N o v o t n e y   S c o t t ,   2 0 1 1 ,   I N T E R S P E E C H ,   P 5 4 1 ;   R e h u r e k   R ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 4 4 9 ,   P 3 5 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 0 3 8 2 - 0 _ 2 9 ;   S a l l o u m   W . ,   2 0 1 1 ,   P   1   W O R K S H   A L G   R E S   M ,   P 1 0 ;   S h l o n s k y   U r ,   1 9 9 7 ,   C L A U S E   S T R U C T U R E   W O R ;   S o u t e r   C l i v e ,   1 9 9 4 ,   H E R M E S   J   L I N G U I S T I C S ,   V 1 3 ,   P 1 8 3 ;   S u l e i m a n   Y ,   1 9 9 4 ,   A R A B I C   S O C I O L I N G U I S T ;   T H E L W A L L   R O B I N ,   1 9 9 0 ,   J   I N T   P H O N   A S S O C ,   V 2 0 ,   P 3 7 ,   D O I   [ 1 0 . 1 0 1 7 / S 0 0 2 5 1 0 0 3 0 0 0 0 4 2 6 6 ,   D O I   1 0 . 1 0 1 7 / S 0 0 2 5 1 0 0 3 0 0 0 0 4 2 6 6 ] ;   V e r m a   B ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 5 0 7 ,   P 6 3 9 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 3 0 4 0 - 6 _ 7 8 ;   V e r s t e e g h   K e e s ,   2 0 0 1 ,   A R A B I C   L A N G U A G E ;   Z a i d a n   O m a r ,   2 0 0 7 ,   H U M   L A N G   T E C H N   2 0 0 7 ,   P 2 6 0 ;   Z a i d a n   O m a r   F . ,   2 0 1 2 ,   T H E S I S   J   H O P K I N S   U ;   Z a i d a n   O m a r   F . ,   2 0 1 1 ,   P   4 9   A N N   M   A C L   O R   J U ,   P 3 7 ;   Z b i b   R a b i h ,   2 0 1 2 ,   2 0 1 2   C   N   A M   C H A P T   A S ,   P 4 9 ;   Z i s s m a n   M A ,   1 9 9 6 ,   I E E E   T   S P E E C H   A U D I   P ,   V 4 ,   P 3 1 ,   D O I   1 0 . 1 1 0 9 / T S A . 1 9 9 6 . 4 8 1 4 5 0 	 4 9 	 0 	 0 	 M I T   P R E S S 	 C A M B R I D G E 	 5 5   H A Y W A R D   S T R E E T ,   C A M B R I D G E ,   M A   0 2 1 4 2   U S A 	 0 8 9 1 - 2 0 1 7 	 1 5 3 0 - 9 3 1 2 	 	 C O M P U T   L I N G U I S T 	 C o m p u t .   L i n g u i s t . 	 M A R 	 2 0 1 4 	 4 0 	 1 	 	 	 	 	 1 7 1 	 2 0 2 	 	 1 0 . 1 1 6 2 / C O L I _ a _ 0 0 1 6 9 	 	 3 2 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 C o m p u t e r   S c i e n c e ;   L i n g u i s t i c s 	 A B 9 X X 	 W O S : 0 0 0 3 3 2 1 5 0 1 0 0 0 0 6 	 	 
 J 	 R i e z l e r ,   S 	 	 	 	 R i e z l e r ,   S t e f a n 	 	 	 O n   t h e   P r o b l e m   o f   T h e o r e t i c a l   T e r m s   i n   E m p i r i c a l   C o m p u t a t i o n a l   L i n g u i s t i c s 	 C O M P U T A T I O N A L   L I N G U I S T I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 A G R E E M E N T 	 P h i l o s o p h y   o f   s c i e n c e   h a s   p o i n t e d   o u t   a   p r o b l e m   o f   t h e o r e t i c a l   t e r m s   i n   e m p i r i c a l   s c i e n c e s .   T h i s   p r o b l e m   a r i s e s   i f   a l l   k n o w n   m e a s u r i n g   p r o c e d u r e s   f o r   a   q u a n t i t y   o f   a   t h e o r y   p r e s u p p o s e   t h e   v a l i d i t y   o f   t h i s   v e r y   t h e o r y ,   b e c a u s e   t h e n   s t a t e m e n t s   c o n t a i n i n g   t h e o r e t i c a l   t e r m s   a r e   c i r c u l a r .   W e   a r g u e   t h a t   a   s i m i l a r   c i r c u l a r i t y   c a n   h a p p e n   i n   e m p i r i c a l   c o m p u t a t i o n a l   l i n g u i s t i c s ,   e s p e c i a l l y   i n   c a s e s   w h e r e   d a t a   a r e   m a n u a l l y   a n n o t a t e d   b y   e x p e r t s .   W e   d e f i n e   a   c r i t e r i o n   o f   T - n o n - t h e o r e t i c a l   g r o u n d i n g   a s   g u i d a n c e   t o   a v o i d   s u c h   c i r c u l a r i t i e s ,   a n d   e x e m p l i f y   h o w   t h i s   c r i t e r i o n   c a n   b e   m e t   b y   c r o w d s o u r c i n g ,   b y   t a s k - r e l a t e d   d a t a   a n n o t a t i o n ,   o r   b y   d a t a   i n   t h e   w i l d .   W e   a r g u e   t h a t   t h i s   c r i t e r i o n   s h o u l d   b e   c o n s i d e r e d   a s   a   n e c e s s a r y   c o n d i t i o n   f o r   a n   e m p i r i c a l   s c i e n c e ,   i n   a d d i t i o n   t o   m e a s u r e s   f o r   r e l i a b i l i t y   o f   d a t a   a n n o t a t i o n . 	 H e i d e l b e r g   U n i v ,   D e p t   C o m p u t a t   L i n g u i s t ,   D - 6 9 1 2 0   H e i d e l b e r g ,   G e r m a n y 	 R i e z l e r ,   S   ( r e p r i n t   a u t h o r ) ,   H e i d e l b e r g   U n i v ,   D e p t   C o m p u t a t   L i n g u i s t ,   N e u e n h e i m e r   F e l d   3 2 5 ,   D - 6 9 1 2 0   H e i d e l b e r g ,   G e r m a n y . 	 r i e z l e r @ c l . u n i - h e i d e l b e r g . d e 	 	 	 	 	 A r t s t e i n   R ,   2 0 0 8 ,   C O M P U T   L I N G U I S T ,   V 3 4 ,   P 5 5 5 ,   D O I   1 0 . 1 1 6 2 / c o l i . 0 7 - 0 3 4 - R 2 ;   B a l z e r   W . ,   1 9 9 6 ,   S T R U C T U R A L I S T   T H E O R Y ,   P 1 3 9 ;   B e l z   A ,   2 0 0 9 ,   C O M P U T   L I N G U I S T ,   V 3 5 ,   P 1 1 1 ,   D O I   1 0 . 1 1 6 2 / c o l i . 2 0 0 9 . 3 5 . 1 . 1 1 1 ;   B l i t z e r   J ,   2 0 0 7 ,   P   4 5   A N N   M   A S S   C O M P ,   V 4 5 ,   P 4 4 0 ;   C a l l i s o n - B u r c h   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 ;   C a r l e t t a   J e a n ,   1 9 9 6 ,   C O M P U T A T I O N A L   L I N G U I ,   V 2 2 ,   P 1 ;   C h e n   D .   L . ,   2 0 0 8 ,   P   I C M L ,   P 1 2 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 9 0 1 5 6 . 1 3 9 0 1 7 3 ;   C h e n   D L ,   2 0 1 1 ,   P   2 5   A A A I   C   A R T   I N T ,   P 8 5 9 ;   C l a r k e   J a m e s ,   2 0 1 0 ,   P   C O N N L ,   P 1 8 ;   C o r f i e l d   D ,   2 0 0 9 ,   J   G E N   P H I L O S   S C I ,   V 4 0 ,   P 5 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 8 3 8 - 0 0 9 - 9 0 9 1 - 3 ;   D e n k o w s k i   M i c h a e l ,   2 0 1 0 ,   P   H L T   N A A C L ,   P 6 6 ;   D r e y e r   M . ,   2 0 1 2 ,   P   2 0 1 2   C   N   A M   C H A P T ,   P 1 6 2 ;   D U N D A R   M ,   2 0 0 7 ,   P   2 0   I N T   J O I N T   C   A R T ,   P 7 5 6 ;   F o r t   K ,   2 0 1 1 ,   C O M P U T   L I N G U I S T ,   V 3 7 ,   P 4 1 3 ,   D O I   1 0 . 1 1 6 2 / C O L I _ a _ 0 0 0 5 7 ;   F r i e d r i c h s   J u r g e n ,   1 9 7 3 ,   M E T H O D E N   E M P I R I S C H E R ;   G a d e n n e   V o l k e r ,   1 9 8 5 ,   Z   A L L G   W I S S E N S C H A F T S ,   V X V I ,   P 1 9 ;   G r a f   E r i k ,   2 0 0 8 ,   P   2   I N T   W O R K S H   E V   I N ,   P 6 0 ;   G U O   Y S ,   2 0 0 9 ,   P   I N T   J O I N T   C   A R T   I N ,   P 1 0 5 8 ;   H a l e v y   A ,   2 0 0 9 ,   I E E E   I N T E L L   S Y S T ,   V 2 4 ,   P 8 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 9 . 3 6 ;   H i r s c h m a n   L . ,   1 9 9 9 ,   P   3 7   A N N   M   A S S   C O M P ,   P 3 2 5 ,   D O I   1 0 . 3 1 1 5 / 1 0 3 4 6 7 8 . 1 0 3 4 7 3 1 ;   H o v y   E .   H . ,   2 0 0 6 ,   P   H U M   L A N G   T E C H N   C   N ,   P 5 7 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 4 0 4 9 . 1 6 1 4 0 6 4 ;   K i l g a r r i f f   A d a m ,   1 9 9 9 ,   P   9   C   E U R   C H A P T   A S S ,   P 2 7 7 ,   D O I   1 0 . 3 1 1 5 / 9 7 7 0 3 5 . 9 7 7 0 8 4 ;   K i m   J o o h y u n ,   2 0 1 3 ,   P   5 1   A N N   M   A S S   C O M P ,   P 2 1 8 ;   K l e b a n o v   B B ,   2 0 0 9 ,   C O M P U T   L I N G U I S T ,   V 3 5 ,   P 4 9 5 ;   K o r b   K e v i n ,   2 0 0 4 ,   M I N D   M A C H ,   V 1 4 ,   P 1 ;   K r i p p e n d o r f f   K . ,   2 0 1 3 ,   C O N T E N T   A N A L   I N T R O   I ;   K r i p p e n d o r f f   K ,   2 0 0 4 ,   H U M   C O M M U N   R E S ,   V 3 0 ,   P 4 1 1 ,   D O I   1 0 . 1 0 9 3 / h c r / 3 0 . 3 . 4 1 1 ;   K r i p p e n d o r f f   K l a u s ,   1 9 8 0 ,   C O M P U T E R S T R A T E G I E N   K ,   P 6 9 ;   M i y a o   Y u s u k e ,   2 0 0 8 ,   P   4 6   A N N   M   A S S   C O M P ,   P 4 6 ;   N i k o u l i n a   V ,   2 0 1 2 ,   P   1 3   C   E U R   C H A P T   A S S ,   P 1 0 9 ;   P a n g   B . ,   2 0 0 2 ,   P   A C L   0 2   C   E M P   M E T H ,   V 1 0 ,   P 7 9 ,   D O I   1 0 . 3 1 1 5 / 1 1 1 8 6 9 3 . 1 1 1 8 7 0 4 ;   P e t e r   F i n k e ,   1 9 7 9 ,   G R U N D L A G E N   L I N G U I S T I ;   P o e s i o   M a s s i m o ,   2 0 1 3 ,   A C M   T   I N T E R A C T I V E   I N ,   V 3 ;   R e i d s m a   D e n n i s ,   2 0 0 7 ,   C O M P U T A T I O N A L   L I N G U I ,   V 3 4 ,   P 3 1 9 ;   R o y   D K ,   2 0 0 2 ,   C O M P U T   S P E E C H   L A N G ,   V 1 6 ,   P 3 5 3 ,   D O I   1 0 . 1 0 1 6 / S 0 8 8 5 - 2 3 0 8 ( 0 2 ) 0 0 0 2 4 - 4 ;   S n e e d   J .   D . ,   1 9 7 1 ,   L O G I C A L   S T R U C T U R E   M A ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S p a r c k   J o n e s   K a r e n ,   1 9 9 4 ,   P   W O R K S H   H U M   L A N G   T E ,   P 1 0 2 ;   S t e g m u l l e r   W . ,   1 9 8 6 ,   P R O B L E M E   R E S U L T A T E   W ,   V I I ;   S t e g m u l l e r   W . ,   1 9 7 9 ,   S T R U C T U R A L I S T   V I E W   T ;   S u r d e a n u   M i h a i ,   2 0 0 8 ,   P   4 6   A N N   M   A S S   C O M P ,   P 7 1 9 ;   T a s k a r   B e n ,   2 0 0 4 ,   P   C   E M P   M E T H   N A T   L A N ,   P 1 ;   T s o c h a n t a r i d i s   I ,   2 0 0 5 ,   J   M A C H   L E A R N   R E S ,   V 6 ,   P 1 4 5 3 ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   v o n   K u t s c h e r a   F r a n z ,   1 9 8 2 ,   G R U N D F R A G E N   E R K E N N T N ;   v o n   L u x b u r g   U l r i k e ,   2 0 1 2 ,   P   I C M L   2 0 1 1   W O R K S H   U ,   P 1 ;   Y u   C ,   2 0 0 4 ,   P R O C E E D I N G   O F   T H E   N I N E T E E N T H   N A T I O N A L   C O N F E R E N C E   O N   A R T I F I C I A L   I N T E L L I G E N C E   A N D   T H E   S I X T E E N T H   C O N F E R E N C E   O N   I N N O V A T I V E   A P P L I C A T I O N S   O F   A R T I F I C I A L   I N T E L L I G E N C E ,   P 4 8 8 ;   Y u   H a o n a n ,   2 0 1 3 ,   P   5 1   A N N   M   A S S   C O M P ,   P 5 3 	 4 8 	 0 	 0 	 M I T   P R E S S 	 C A M B R I D G E 	 5 5   H A Y W A R D   S T R E E T ,   C A M B R I D G E ,   M A   0 2 1 4 2   U S A 	 0 8 9 1 - 2 0 1 7 	 1 5 3 0 - 9 3 1 2 	 	 C O M P U T   L I N G U I S T 	 C o m p u t .   L i n g u i s t . 	 M A R 	 2 0 1 4 	 4 0 	 1 	 	 	 	 	 2 3 5 	 2 4 6 	 	 1 0 . 1 1 6 2 / C O L I _ a _ 0 0 1 8 2 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 C o m p u t e r   S c i e n c e ;   L i n g u i s t i c s 	 A B 9 X X 	 W O S : 0 0 0 3 3 2 1 5 0 1 0 0 0 0 9 	 	 
 J 	 A l l a h b a k h s h ,   M ;   I g n j a t o v i c ,   A ;   B e n a t a l l a h ,   B ;   B e h e s h t i ,   S M R ;   F o o ,   N ;   B e r t i n o ,   E 	 	 	 	 A l l a h b a k h s h ,   M o h a m m a d ;   I g n j a t o v i c ,   A l e k s a n d a r ;   B e n a t a l l a h ,   B o u a l e m ;   B e h e s h t i ,   S e y e d - M e h d i - R e z a ;   F o o ,   N o r m a n ;   B e r t i n o ,   E l i s a 	 	 	 R e p r e s e n t a t i o n   a n d   q u e r y i n g   o f   u n f a i r   e v a l u a t i o n s   i n   s o c i a l   r a t i n g   s y s t e m s 	 C O M P U T E R S   &   S E C U R I T Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 U n f a i r   e v a l u a t i o n ;   R e p u t a t i o n ;   D e g r e e   o f   f a i r n e s s ;   C o l l u s i o n ;   B i c l i q u e ;   R a t i n g   s y s t e m 	 R E P U T A T I O N   S Y S T E M S ;   C R O W D S O U R C I N G   S Y S T E M S ;   I N F O R M A T I O N 	 S o c i a l   r a t i n g   s y s t e m s   a r e   s u b j e c t   t o   u n f a i r   e v a l u a t i o n s .   U s e r s   m a y   t r y   t o   i n d i v i d u a l l y   o r   c o l l a b o r a t i v e l y   p r o m o t e   o r   d e m o t e   a   p r o d u c t .   D e t e c t i n g   u n f a i r   e v a l u a t i o n s ,   m a i n l y   m a s s i v e   c o l l u s i v e   a t t a c k s   a s   w e l l   a s   h o n e s t   l o o k i n g   i n t e l l i g e n t   a t t a c k s ,   i s   s t i l l   a   r e a l   c h a l l e n g e   f o r   c o l l u s i o n   d e t e c t i o n   s y s t e m s .   I n   t h i s   p a p e r ,   w e   s t u d y   t h e   i m p a c t   o f   u n f a i r   e v a l u a t i o n s   i n   o n l i n e   r a t i n g   s y s t e m s .   F i r s t ,   w e   s t u d y   t h e   i n d i v i d u a l   u n f a i r   e v a l u a t i o n s   a n d   t h e i r   i m p a c t   o n   t h e   r e p u t a t i o n   o f   p e o p l e   c a l c u l a t e d   b y   s o c i a l   r a t i n g   s y s t e m s .   W e   t h e n   p r o p o s e   a   m e t h o d   f o r   d e t e c t i n g   c o l l a b o r a t i v e   u n f a i r   e v a l u a t i o n s ,   a l s o   k n o w n   a s   c o l l u s i o n .   T h e   p r o p o s e d   m o d e l   u s e s   f r e q u e n t   i t e m s e t   m i n i n g   t e c h n i q u e   t o   d e t e c t   t h e   c a n d i d a t e   c o l l u s i o n   g r o u p s   a n d   s u b g r o u p s .   W e   u s e   s e v e r a l   i n d i c a t o r s   t o   i d e n t i f y   c o l l u s i o n   g r o u p s   a n d   t o   e s t i m a t e   h o w   d e s t r u c t i v e   s u c h   c o l l u d i n g   g r o u p s   c a n   b e .   T h e   a p p r o a c h e s   p r e s e n t e d   i n   t h i s   p a p e r   h a v e   b e e n   i m p l e m e n t e d   i n   p r o t o t y p e   t o o l s ,   a n d   e x p e r i m e n t a l l y   v a l i d a t e d   o n   s y n t h e t i c   a n d   r e a l - w o r l d   d a t a s e t s .   ( C )   2 0 1 3   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ A l l a h b a k h s h ,   M o h a m m a d ;   I g n j a t o v i c ,   A l e k s a n d a r ;   B e n a t a l l a h ,   B o u a l e m ;   B e h e s h t i ,   S e y e d - M e h d i - R e z a ;   F o o ,   N o r m a n ]   U n i v   N e w   S   W a l e s ,   S y d n e y ,   N S W   2 0 5 2 ,   A u s t r a l i a ;   [ B e r t i n o ,   E l i s a ]   P u r d u e   U n i v ,   W   L a f a y e t t e ,   I N   4 7 9 0 7   U S A 	 A l l a h b a k h s h ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   N e w   S   W a l e s ,   S y d n e y ,   N S W   2 0 5 2 ,   A u s t r a l i a . 	 m a l l a h b a k h s h @ c s e . u n s w . e d u . a u ;   i g n j a t @ c s e . u n s w . e d u . a u ;   b o u a l e m @ c s e . u n s w . e d u . a u ;   s b e h e s h t i @ c s e . u n s w . e d u . a u ;   n o r m a n @ c s e . u n s w . e d u . a u ;   b e r t i n o @ c s . p u r d u e . e d u 	 	 	 	 	 A g i c h t e i n   E . ,   2 0 0 8 ,   W S D M   0 8 ,   P 1 8 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 4 1 5 3 1 . 1 3 4 1 5 5 7 ;   A g r a w a l   R . ,   1 9 9 4 ,   P   2 0   I N T   C   V E R   L A R G ,   P 4 8 7 ;   A l l a h b a k h s h   M ,   2 0 1 3 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 7 ,   P 7 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 3 . 2 0 ;   A l l a h b a k h s h   M ,   2 0 1 3 ,   W O R L D   W I D E   W E B ,   P 1 ;   A l l a h b a k h s h   M ,   2 0 1 2 ,   A R X I V   E   P R I N T S ;   A l l a h b a k h s h   M ,   2 0 1 2 ,   C O L L   C O M P   N E T W   A P P L ,   P 6 6 4 ;   A l l a h b a k h s h   M ,   2 0 1 3 ,   P   1 5   A S   P A C   W E B   C   A P ,   P 1 9 6 ;   A m i n t o o s i   H ,   2 0 1 3 ,   M O B I L E   N E T W   A P P L ,   P 1 ;   B e h e s h t i   S - M - R ,   B P M   2 0 1 1 ,   P 2 8 1 ;   B e h e s h t i   S - M - R ,   2 0 1 2 ,   L E C T   N O T E S   C O M P U T E R ,   V 7 6 5 1 ,   P 2 1 3 ;   B r o w n   J ,   2 0 0 6 ,   C A L I F   M A N A G E   R E V ,   V 4 9 ,   P 6 1 ;   C i c c a r e l l i   G ,   2 0 1 1 ,   C O M P U T   N E T W ,   V 5 5 ,   P 3 5 1 7 ,   D O I   1 0 . 1 0 1 6 / j . c o m n e t . 2 0 1 1 . 0 6 . 0 2 8 ;   d e   A l f a r o   L ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 1 ,   D O I   1 0 . 1 1 4 5 / 1 9 7 8 5 4 2 . 1 9 7 8 5 6 0 ;   d e   K e r c h o v e   C ,   2 0 1 0 ,   S I A M   J   M A T R I X   A N A L   A ,   V 3 1 ,   P 1 8 1 2 ,   D O I   1 0 . 1 1 3 7 / 0 9 0 7 4 8 1 9 6 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   F e n g   Q . ,   2 0 1 2 ,   A C M   T   I N T E R N E T   T E C H N ,   V 1 1 ;   F l a n a g i n   A ,   2 0 1 1 ,   S Y S T   S C I   H I C S S   2 0 1 1 ,   P 1 ;   H a r m o n   A . ,   2 0 0 4 ,   N Y   T I M E S ;   I g n j a t o v i c   A ,   2 0 0 8 ,   2 0 0 8   I E E E   W I C   A C M   I N ,   V 0 1 ,   P 5 8 7 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   K a m v a r   S .   D . ,   2 0 0 3 ,   P   1 2   I N T   C   W O R L D   W I D ,   P 6 4 0 ,   D O I   D O I   1 0 . 1 1 4 5 / 7 7 5 1 5 2 . 7 7 5 2 4 2 ;   K e r r   R ,   2 0 1 0 ,   1 A A M A S   1 0   I N T   F D N   A U ,   V 1 ,   P 1 6 5 7 ;   L a u r e t i   P ,   2 0 0 6 ,   E U R O P H Y S   L E T T ,   V 7 5 ,   P 1 0 0 6 ,   D O I   1 0 . 1 2 0 9 / e p l / i 2 0 0 6 - 1 0 2 0 4 - 8 ;   L e e   H ,   2 0 1 0 ,   C O M M   I N F   T E C H N   I S C I T ,   P 2 7 3 ;   L e s k o v e c   J ,   2 0 1 0 ,   1 9   I N T   C   W O R L D   W I D   W ,   P 6 4 1 ;   L i a n   Q ,   2 0 0 7 ,   P   2 7   I N T   C   D I S T R   C O M ;   L i m   E . P . ,   2 0 1 0 ,   P   1 9   A C M   I N T   C   I N F   K ,   P 9 3 9 ,   D O I   1 0 . 1 1 4 5 / 1 8 7 1 4 3 7 . 1 8 7 1 5 5 7 ;   M u k h e r j e e   A . ,   2 0 1 2 ,   P   2 1   I N T   C   W O R L D   W I D ,   P 1 9 1 ;   N o o r   T H ,   2 0 1 1 ,   1 2   I N T   C   W E B   I N F   S Y S ;   P a g e   L . ,   1 9 9 9 ,   1 9 9 9 6 6   S T A N F   I N F O L A B ;   P r u d ' h o m m e a u x   E . ,   2 0 0 7 ,   T E C H N I C A L   R E P O R T ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   S A L T O N   G ,   1 9 8 3 ,   J   A M   S O C   I N F O R M   S C I ,   V 3 4 ,   P 2 6 2 ,   D O I   1 0 . 1 0 0 2 / a s i . 4 6 3 0 3 4 0 4 0 6 ;   S u n   Y ,   2 0 1 2 ,   I E E E   S I G N A L   P R O C   M A G ,   V 2 9 ,   P 8 7 ,   D O I   1 0 . 1 1 0 9 / M S P . 2 0 1 1 . 9 4 2 3 4 4 ;   S w a m y n a t h a n   G ,   2 0 1 0 ,   E L E C T R O N   C O M M E R   R E S ,   V 1 0 ,   P 2 3 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 6 0 - 0 1 0 - 9 0 6 4 - y ;   W a n g   G ,   2 0 1 2 ,   P   2 1   I N T   C   W O R L D   W I D ,   P 6 7 9 ;   Y a n g   Y ,   2 0 0 8 ,   P   4   I N T   C   S E C   P R I V   C ,   P 8 ;   Y u   Y K ,   2 0 0 6 ,   P H Y S I C A   A ,   V 3 7 1 ,   P 7 3 2 ,   D O I   1 0 . 1 0 1 6 / j . p h y s a . 2 0 0 6 . 0 4 . 0 5 7 ;   Y u e n   M . - C . ,   2 0 1 1 ,   P   3   I E E E   I N T   C   S O C   C ,   P 7 6 6 	 3 9 	 0 	 0 	 E L S E V I E R   A D V A N C E D   T E C H N O L O G Y 	 O X F O R D 	 O X F O R D   F U L F I L L M E N T   C E N T R E   T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 0 1 6 7 - 4 0 4 8 	 1 8 7 2 - 6 2 0 8 	 	 C O M P U T   S E C U R 	 C o m p u t .   S e c u r . 	 M A R 	 2 0 1 4 	 4 1 	 	 	 	 S I 	 	 6 8 	 8 8 	 	 1 0 . 1 0 1 6 / j . c o s e . 2 0 1 3 . 0 9 . 0 0 8 	 	 2 1 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 A B 3 I C 	 W O S : 0 0 0 3 3 1 6 8 3 5 0 0 0 0 6 	 	 
 J 	 C h e n ,   C ;   W h i t e ,   L ;   K o w a l e w s k i ,   T ;   A g g a r w a l ,   R ;   L i n t o t t ,   C ;   C o m s t o c k ,   B ;   K u k s e n o k ,   K ;   A r a g o n ,   C ;   H o l s t ,   D ;   L e n d v a y ,   T 	 	 	 	 C h e n ,   C a r o l y n ;   W h i t e ,   L e e ;   K o w a l e w s k i ,   T i m o t h y ;   A g g a r w a l ,   R a j e s h ;   L i n t o t t ,   C h r i s ;   C o m s t o c k ,   B r y a n ;   K u k s e n o k ,   K a t i e ;   A r a g o n ,   C e c i l i a ;   H o l s t ,   D a n i e l ;   L e n d v a y ,   T h o m a s 	 	 	 C r o w d - S o u r c e d   A s s e s s m e n t   o f   T e c h n i c a l   S k i l l s :   a   n o v e l   m e t h o d   t o   e v a l u a t e   s u r g i c a l   p e r f o r m a n c e 	 J O U R N A L   O F   S U R G I C A L   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   R o b o t i c   s u r g e r y ;   O S A T S ;   G E A R S ;   E d u c a t i o n ;   T r a i n i n g 	 R O B O T I C   S U R G E R Y ;   V A L I D A T I O N 	 B a c k g r o u n d :   V a l i d a t e d   m e t h o d s   o f   o b j e c t i v e   a s s e s s m e n t s   o f   s u r g i c a l   s k i l l s   a r e   r e s o u r c e   i n t e n s i v e .   W e   s o u g h t   t o   t e s t   a   w e b - b a s e d   g r a d i n g   t o o l   u s i n g   c r o w d s o u r c i n g   c a l l e d   C r o w d - S o u r c e d   A s s e s s m e n t   o f   T e c h n i c a l   S k i l l .   M a t e r i a l s   a n d   m e t h o d s :   I n s t i t u t i o n a l   R e v i e w   B o a r d   a p p r o v a l   w a s   g r a n t e d   t o   t e s t   t h e   a c c u r a c y   o f   A m a z o n . c o m ' s   M e c h a n i c a l   T u r k   a n d   F a c e b o o k   c r o w d w o r k e r s   c o m p a r e d   w i t h   e x p e r i e n c e d   s u r g i c a l   f a c u l t y   g r a d i n g   a   r e c o r d e d   d r y - l a b o r a t o r y   r o b o t i c   s u r g i c a l   s u t u r i n g   p e r f o r m a n c e   u s i n g   t h r e e   p e r f o r m a n c e   d o m a i n s   f r o m   a   v a l i d a t e d   a s s e s s m e n t   t o o l .   A s s e s s o r   f r e e - t e x t   c o m m e n t s   d e s c r i b i n g   t h e i r   r a t i n g   r a t i o n a l e   w e r e   u s e d   t o   e x p l o r e   a   r e l a t i o n s h i p   b e t w e e n   t h e   l a n g u a g e   u s e d   b y   t h e   c r o w d   a n d   g r a d i n g   a c c u r a c y .   R e s u l t s :   O f   a   t o t a l   p o s s i b l e   g l o b a l   p e r f o r m a n c e   s c o r e   o f   3 - 1 5 ,   1 0   e x p e r i e n c e d   s u r g e o n s   g r a d e d   t h e   s u t u r i n g   v i d e o   a t   a   m e a n   s c o r e   o f   1 2 . 1 1   ( 9 5 %   c o n f i d e n c e   i n t e r v a l   [ C I ] ,   1 1 . 1 1   - 1 3 . 1 1 ) .   M e c h a n i c a l   T u r k   a n d   F a c e b o o k   g r a d e r s   r a t e d   t h e   v i d e o   a t   m e a n   s c o r e s   o f   1 2 . 2 1   ( 9 5 %   C I ,   1 1 . 9 8 - 1 2 . 4 3 )   a n d   1 2 . 0 6   ( 9 5 %   C I ,   1 1 . 5 7 - 1 2 . 5 5 ) ,   r e s p e c t i v e l y .   I t   t o o k   2 4   h   t o   o b t a i n   r e s p o n s e s   f r o m   5 0 1   M e c h a n i c a l   T u r k   s u b j e c t s ,   w h e r e a s   i t   t o o k   2 4   d   f o r   1 0   f a c u l t y   s u r g e o n s   t o   c o m p l e t e   t h e   3 - m i n   s u r v e y .   F a c e b o o k   s u b j e c t s   ( 1 1 0 )   r e s p o n d e d   w i t h i n   2 5   d .   L a n g u a g e   a n a l y s i s   i n d i c a t e d   t h a t   c r o w d w o r k e r s   w h o   u s e d   n e g a t i o n   w o r d s   ( i . e . ,   " b u t , "   "   a l t h o u g h , "   a n d   s o   f o r t h )   s c o r e d   t h e   p e r f o r m a n c e   m o r e   e q u i v a l e n t l y   t o   e x p e r i e n c e d   s u r g e o n s   t h a n   c r o w d w o r k e r s   w h o   d i d   n o t   ( P   <   0 . 0 0 0 0 1 ) .   C o n c l u s i o n s :   F o r   a   r o b o t i c   s u t u r i n g   p e r f o r m a n c e ,   w e   h a v e   s h o w n   t h a t   s u r g e r y - n a i v e   c r o w d w o r k e r s   c a n   r a p i d l y   a s s e s s   s k i l l   e q u i v a l e n t   t o   e x p e r i e n c e d   f a c u l t y   s u r g e o n s   u s i n g   C r o w d - S o u r c e d   A s s e s s m e n t   o f   T e c h n i c a l   S k i l l .   I t   r e m a i n s   t o   b e   s e e n   w h e t h e r   c r o w d s   c a n   d i s c r i m i n a t e   d i f f e r e n t   l e v e l s   o f   s k i l l   a n d   c a n   a c c u r a t e l y   a s s e s s   h u m a n   s u r g e r y   p e r f o r m a n c e s .   ( C )   2 0 1 4   E l s e v i e r   I n c .   A l l   r i g h t s   r e s e r v e d . 	 [ C h e n ,   C a r o l y n ;   H o l s t ,   D a n i e l ]   U n i v   W a s h i n g t o n ,   S c h   M e d ,   S e a t t l e ,   W A   9 8 1 9 5   U S A ;   [ W h i t e ,   L e e ]   U n i v   W a s h i n g t o n ,   D e p t   B i o e n g n ,   S e a t t l e ,   W A   9 8 1 9 5   U S A ;   [ K o w a l e w s k i ,   T i m o t h y ]   U n i v   M i n n e s o t a ,   D e p t   M e c h   E n g n ,   S e a t t l e ,   W A   U S A ;   [ A g g a r w a l ,   R a j e s h ]   U n i v   P e n n ,   D e p t   S u r g ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A ;   [ L i n t o t t ,   C h r i s ]   U n i v   O x f o r d ,   D e p t   P h y s ,   O x f o r d ,   E n g l a n d ;   [ C o m s t o c k ,   B r y a n ]   U n i v   W a s h i n g t o n ,   D e p t   B i o s t a t ,   S e a t t l e ,   W A   9 8 1 9 5   U S A ;   [ K u k s e n o k ,   K a t i e ;   A r a g o n ,   C e c i l i a ]   U n i v   W a s h i n g t o n ,   D e p t   C o m p   S c i   E n g n ,   S e a t t l e ,   W A   9 8 1 9 5   U S A ;   [ H o l s t ,   D a n i e l ;   L e n d v a y ,   T h o m a s ]   U n i v   W a s h i n g t o n ,   D e p t   U r o l ,   S e a t t l e   C h i l d r e n s   H o s p ,   S e a t t l e ,   W A   9 8 1 9 5   U S A 	 H o l s t ,   D   ( r e p r i n t   a u t h o r ) ,   U n i v   W a s h i n g t o n ,   D e p t   U r o l ,   S e a t t l e   C h i l d r e n s   H o s p ,   4 8 0 0   S a n d   P o i n t   W a y   N E , P O B   3 5 9 3 0 0 ,   S e a t t l e ,   W A   9 8 1 9 5   U S A . 	 d h o l s t 1 2 @ g m a i l . c o m 	 	 	 N S F   G r a d u a t e   R e s e a r c h   F e l l o w s h i p   i n   C o m p u t e r   S c i e n c e   [ D G E - 0 7 1 8 1 2 4 ] ;   C l i n i c i a n   S c i e n t i s t   A w a r d   f r o m   t h e   N a t i o n a l   I n s t i t u t e   o f   H e a l t h   R e s e a r c h ,   U K   [ N I H R / C S / 0 9 9 / 0 0 1 ] 	 ` K a t i e   K u k s e n o k   w a s   s u p p o r t e d   b y   a n   N S F   G r a d u a t e   R e s e a r c h   F e l l o w s h i p   i n   C o m p u t e r   S c i e n c e ,   g r a n t   n u m b e r   D G E - 0 7 1 8 1 2 4 .   R a j e s h   A g g a r w a l   w a s   f u n d e d   b y   a   C l i n i c i a n   S c i e n t i s t   A w a r d   f r o m   t h e   N a t i o n a l   I n s t i t u t e   o f   H e a l t h   R e s e a r c h ,   U K   g r a n t   n u m b e r   N I H R / C S / 0 9 9 / 0 0 1 . 	 B e r n s t e i n   M S ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ;   B e r t s e k a s   D .   P . ,   2 0 0 8 ,   I N T R O   P R O B A B I L I T Y ;   B i g h a m   J ,   2 0 1 2 ,   P   2 3   A N N   A C M   S   U S   I N ;   C h u n g   C ,   2 0 0 7 ,   F R O N T   S O C   P S Y C H O L ,   P 3 4 3 ;   D a t t a   V ,   2 0 0 6 ,   A M   J   S U R G ,   V 1 9 2 ,   P 3 7 2 ,   D O I   1 0 . 1 0 1 6 / j . a m j s u r g . 2 0 0 6 . 0 6 . 0 0 1 ;   F r i e d   G M ,   2 0 0 8 ,   J   G A S T R O I N T E S T   S U R G ,   V 1 2 ,   P 2 1 0 ,   D O I   1 0 . 1 0 0 7 / s 1 1 6 0 5 - 0 0 7 - 0 3 5 5 - 0 ;   G o h   A C ,   2 0 1 2 ,   J   U R O L O G Y ,   V 1 8 7 ,   P 2 4 7 ,   D O I   1 0 . 1 0 1 6 / j . j u r o . 2 0 1 1 . 0 9 . 0 3 2 ;   J a m i e s o n   S ,   2 0 0 4 ,   M E D   E D U C ,   V 3 8 ,   P 1 2 1 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 2 9 . 2 0 0 4 . 0 2 0 1 2 . x ;   K o h n   L T ,   2 0 0 0 ,   E R R   I S   H U M A N   B U I L D I N ;   L e n d v a y   T S ,   2 0 1 3 ,   C A N C E R   J ,   V 1 9 ,   P 1 0 9 ,   D O I   1 0 . 1 0 9 7 / P P O . 0 b 0 1 3 e 3 1 8 2 8 b f 8 2 2 ;   L e n d v a y   T S ,   2 0 1 3 ,   J   A M   C O L L   S U R G E O N S ,   V 2 1 6 ,   P 1 1 8 1 ,   D O I   1 0 . 1 0 1 6 / j . j a m c o l l s u r g . 2 0 1 3 . 0 2 . 0 1 2 ;   P i a g g i o   G ,   2 0 0 6 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 9 5 ,   P 1 1 5 2 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 9 5 . 1 0 . 1 1 5 2 ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   R z e s z o t a r s k i   J M ,   2 0 1 2 ,   U I S T ' 1 2 :   P R O C E E D I N G S   O F   T H E   2 5 T H   A N N U A L   A C M   S Y M P O S I U M   O N   U S E R   I N T E R F A C E   S O F T W A R E   A N D   T E C H N O L O G Y ,   P 5 5 ;   S c a l e s e   R J ,   2 0 0 8 ,   J   G E N   I N T E R N   M E D ,   V 2 3 ,   P 4 6 ,   D O I   1 0 . 1 0 0 7 / s 1 1 6 0 6 - 0 0 7 - 0 2 8 3 - 4 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T a u s c h   T J ,   2 0 1 2 ,   J   U R O L O G Y ,   V 1 8 8 ,   P 9 1 9 ,   D O I   1 0 . 1 0 1 6 / j . j u r o . 2 0 1 2 . 0 5 . 0 0 5 ;   T e a m   R C ,   2 0 0 8 ,   R   L A N G   E N V   S T A T   C O M P ;   v a n   H o v e   P D ,   2 0 1 0 ,   B R I T   J   S U R G ,   V 9 7 ,   P 9 7 2 ,   D O I   1 0 . 1 0 0 2 / b j s . 7 1 1 5 ;   Z a i d a n   O . F . ,   2 0 1 1 ,   P   4 9   A N N   M   A S S   C O M P ,   V 1 ,   P 1 2 2 0 ;   Z h a n   C L ,   2 0 0 3 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 9 0 ,   P 1 8 6 8 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 9 0 . 1 4 . 1 8 6 8 	 2 1 	 0 	 0 	 A C A D E M I C   P R E S S   I N C   E L S E V I E R   S C I E N C E 	 S A N   D I E G O 	 5 2 5   B   S T ,   S T E   1 9 0 0 ,   S A N   D I E G O ,   C A   9 2 1 0 1 - 4 4 9 5   U S A 	 0 0 2 2 - 4 8 0 4 	 1 0 9 5 - 8 6 7 3 	 	 J   S U R G   R E S 	 J .   S u r g .   R e s . 	 M A R 	 2 0 1 4 	 1 8 7 	 1 	 	 	 	 	 6 5 	 7 1 	 	 1 0 . 1 0 1 6 / j . j s s . 2 0 1 3 . 0 9 . 0 2 4 	 	 7 	 S u r g e r y 	 S u r g e r y 	 A B 2 F B 	 W O S : 0 0 0 3 3 1 6 0 7 5 0 0 0 1 1 	 2 4 5 5 5 8 7 7 	 
 J 	 K e i v a n l o o ,   I ;   R i l l i n g ,   J 	 	 	 	 K e i v a n l o o ,   I m a n ;   R i l l i n g ,   J u e r g e n 	 	 	 S o f t w a r e   t r u s t w o r t h i n e s s   2 . 0 - A   s e m a n t i c   w e b   e n a b l e d   g l o b a l   s o u r c e   c o d e   a n a l y s i s   a p p r o a c h 	 J O U R N A L   O F   S Y S T E M S   A N D   S O F T W A R E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S e m a n t i c   W e b ;   S o u r c e   c o d e   a n a l y s i s ;   L i n k e d   d a t a ;   G l o b a l   s o u r c e   c o d e   a n a l y s i s 	 	 T h e r e   h a s   b e e n   a n   o n g o i n g   t r e n d   t o w a r d   c o l l a b o r a t i v e   s o f t w a r e   d e v e l o p m e n t   u s i n g   o p e n   a n d   s h a r e d   s o u r c e   c o d e   p u b l i s h e d   i n   l a r g e   s o f t w a r e   r e p o s i t o r i e s   o n   t h e   I n t e r n e t .   W h i l e   t r a d i t i o n a l   s o u r c e   c o d e   a n a l y s i s   t e c h n i q u e s   p e r f o r m   w e l l   i n   s i n g l e   p r o j e c t   c o n t e x t s ,   n e w   t y p e s   o f   s o u r c e   c o d e   a n a l y s i s   t e c h n i q u e s   a r e   e r m e r g i n g ,   w h i c h   f o c u s   o n   g l o b a l   s o u r c e   c o d e   a n a l y s i s   c h a l l e n g e s .   I n   t h i s   a r t i c l e ,   w e   d i s c u s s   h o w   t h e   S e m a n t i c   W e b ,   c a n   b e c o m e   a n   e n a b l i n g   t e c h n o l o g y   t o   p r o v i d e   a   s t a n d a r d i z e d ,   f o r m a l ,   a n d   s e m a n t i c   r i c h   r e p r e s e n t a t i o n s   f o r   m o d e l i n g   a n d   a n a l y z i n g   l a r g e   g l o b a l   s o u r c e   c o d e   c o r p o r a .   F u r t h e r m o r e ,   i n f e r e n c e   s e r v i c e s   a n d   o t h e r   s e r v i c e s   p r o v i d e d   b y   S e m a n t i c   W e b   t e c h n o l o g i e s   c a n   b e   u s e d   t o   s u p p o r t   a   v a r i e t y   o f   c o r e   s o u r c e   c o d e   a n a l y s i s   t e c h n i q u e s ,   s u c h   a s   s e m a n t i c   c o d e   s e a r c h ,   c a l l   g r a p h   c o n s t r u c t i o n ,   a n d   c l o n e   d e t e c t i o n .   I n   t h i s   p a p e r ,   w e   i n t r o d u c e   S e C o l d ,   t h e   f i r s t   p u b l i c l y   a v a i l a b l e   o n l i n e   l i n k e d   d a t a   s o u r c e   c o d e   d a t a s e t   f o r   s o f t w a r e   e n g i n e e r i n g   r e s e a r c h e r s   a n d   p r a c t i t i o n e r s .   A l o n g   w i t h   i t s   d a t a s e t ,   S e C o l d   a l s o   p r o v i d e s   s o m e   S e m a n t i c   W e b   e n a b l e d   c o r e   s e r v i c e s   t o   s u p p o r t   t h e   a n a l y s i s   o f   I n t e r n e t - s c a l e   s o u r c e   c o d e   r e p o s i t o r i e s .   W e   i l l u s t r a t e d   t h r o u g h   s e v e r a l   e x a m p l e s   h o w   t h i s   l i n k e d   d a t a   c o m b i n e d   w i t h   S e m a n t i c   W e b   t e c h n o l o g i e s   c a n   b e   h a r v e s t e d   f o r   d i f f e r e n t   s o u r c e   c o d e   a n a l y s i s   t a s k s   t o   s u p p o r t   s o f t w a r e   t r u s t w o r t h i n e s s .   F o r   t h e   c a s e   s t u d i e s ,   w e   c o m b i n e   b o t h   o u r   l i n k e d - d a t a   s e t   a n d   S e m a n t i c   W e b   e n a b l e d   s o u r c e   c o d e   a n a l y s i s   s e r v i c e s   w i t h   k n o w l e d g e   e x t r a c t e d   f r o m   S t a c k O v e r f l o w ,   a   c r o w d s o u r c i n g   w e b s i t e .   T h e s e   c a s e   s t u d i e s ,   w e   d e m o n s t r a t e   t h a t   o u r   a p p r o a c h   i s   n o t   o n l y   c a p a b l e   o f   c r a w l i n g ,   p r o c e s s i n g ,   a n d   s c a l i n g   t o   t r a d i t i o n a l   t y p e s   o f   s t r u c t u r e d   d a t a   ( e . g . ,   s o u r c e   c o d e ) ,   b u t   a l s o   s u p p o r t s   e m e r g i n g   n o n - s t r u c t u r e d   d a t a   s o u r c e s ,   s u c h   a s   c r o w d s o u r c e d   i n f o r m a t i o n   ( e . g . ,   S t a c k O v e r f l o w . c o m )   t o   s u p p o r t   a   g l o b a l   s o u r c e   c o d e   a n a l y s i s   c o n t e x t .   ( C )   2 0 1 3   E l s e v i e r   I n c .   A l l   r i g h t s   r e s e r v e d . 	 [ K e i v a n l o o ,   I m a n ;   R i l l i n g ,   J u e r g e n ]   C o n c o r d i a   U n i v ,   D e p t   C o m p   S c i ,   M o n t r e a l ,   P Q   H 3 G   1 M 8 ,   C a n a d a 	 R i l l i n g ,   J   ( r e p r i n t   a u t h o r ) ,   C o n c o r d i a   U n i v ,   D e p t   C o m p   S c i ,   M o n t r e a l ,   P Q   H 3 G   1 M 8 ,   C a n a d a . 	 i _ k e i v @ c s e . c o n c o r d i a . c a ;   j u e r g e n . r i l l i n g @ c o n c o r d i a . c a 	 	 	 	 	 B A A D E R   F . ,   2 0 0 3 ,   D E S C R I P T I O N   L O G I C   H D ;   B A J R A C H A R Y A   S ,   2 0 0 6 ,   2 1   A C M   S I G P L A N   C   O B J ;   B I N K L E Y   D ,   2 0 0 7 ,   S O U R C E   C O D E   A N A L   R O A ;   C h e n   Y . ,   1 9 9 8 ,   I E E E   T   S O F T W A R E   E N G ,   V 2 4 ;   C h e s s   B r i a n ,   2 0 0 7 ,   S E C U R E   P R O G R A M M I N G   S ;   C H O I   J D ,   1 9 9 3 ,   2 0   A N N   A C M   S I G P L A N   S ;   C h o i   J . D . ,   1 9 9 3 ,   P   2 0   A N N   A C M   S I G P L A N ;   C y g a n i a k   R . ,   2 0 1 1 ,   L I N K I N G   O P E N   D A T A   C L ;   D a v i d   C ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 0 8 9 ,   P 3 7 0 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 3 4 8 9 - 0 _ 2 6 ;   G e r m a n   D . M . ,   2 0 1 0 ,   I E E E   A C M   I N T   C   A U T   S ;   H a s s a n   A E ,   2 0 0 8 ,   2 0 0 8   F R O N T I E R S   O F   S O F T W A R E   M A I N T E N A N C E ,   P 4 8 ,   D O I   1 0 . 1 1 0 9 / F O S M . 2 0 0 8 . 4 6 5 9 2 4 8 ;   H a s s e l b r i n g   W ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 1 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 4 2 ;   H i r z e l   M . ,   2 0 0 7 ,   A C M   T   P R O G R A M M I N G   L A ,   V 2 9 ;   H o l t   R C ,   2 0 0 6 ,   S C I   C O M P U T   P R O G R A M ,   V 6 0 ,   P 1 4 9 ,   D O I   1 0 . 1 0 1 6 / j . s c i c o . 2 0 0 5 . 1 0 . 0 0 3 ;   I q b a l   A . ,   2 0 0 9 ,   I N T   W O R K S H   S E M   W E B   E ;   J e n t z s c h   A . ,   2 0 0 9 ,   P   2   W O R K S H   L I N K   D A T ;   J E N T Z S C H   A ,   2 0 0 9 ,   2   W O R K S H   L I N K   D A T   W E ;   J i a   Y . ,   2 0 0 9 ,   3   I N T   W O R K S H   D E T   S O F ;   K e i v a n l o o   I . ,   2 0 1 1 ,   1 8   W O R K   C   R E V   E N G ;   K e i v a n l o o   I . ,   2 0 1 1 ,   3   I N T   W O R K S H   S E A R C H ,   P 2 5 ;   K e i v a n l o o   I . ,   2 0 1 2 ,   1   I C S E   I N T   W O R K S H   R E ;   K e i v a n l o o   I . ,   2 0 1 0 ,   6   I N T   W O R K S H   S E M   W E B ;   K e i v a n l o o   I . ,   2 0 1 2 ,   6   I N T   W O R K S H   S O F T W   C ;   K e i v a n l o o   I . ,   2 0 1 0 ,   2 6   I E E E   I N T   C   S O F T W ;   K i e f e r   C . ,   2 0 0 7 ,   3   I N T   W O R K S H   S E M   W E B ;   K n u b l a u c h   H . ,   2 0 0 4 ,   1   I N T   W O R K S H   M O D   D R I ;   K o s c h k e   R . ,   2 0 1 2 ,   1 6   E U R   C   S O F T W   M A I N T ;   L a m b r i x   P . ,   2 0 0 5 ,   1 4   I E E E   I N T   W O R K S H   E ,   p [ 1 3 ,   3 ] ;   L e e   T .   B e r n e r s ,   L I N K E D   D A T A ;   L i   W ,   2 0 0 7 ,   J   S Y S T   S O F T W A R E ,   V 8 0 ,   P 1 1 2 0 ,   D O I   1 0 . 1 0 1 6 / j . j s s . 2 0 0 6 . 1 0 . 0 1 8 ;   L O P E S   C . ,   2 0 1 0 ,   U C I   S O U R C E   C O D E   D A T A ;   M a n c o r i d i s   S . ,   1 9 9 9 ,   P   I E E E   I N T   C   S O F T W   M ;   M i l a n o v a   A ,   2 0 0 5 ,   A C M   T   S O F T W   E N G   M E T H ,   V 1 4 ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 0 4 4 8 3 4 . 1 0 4 4 8 3 5 ;   M o t i k   B ,   2 0 0 9 ,   J   W E B   S E M A N T ,   V 7 ,   P 7 4 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 9 . 0 2 . 0 0 1 ;   R i l l i n g   J . ,   2 0 0 8 ,   I N T   J   S E M A N T I C   C O M P U ,   V 2 ,   P 4 3 1 ;   R o b i l l a r d   M . P . ,   2 0 0 8 ,   A C M   T   S O F T W   E N G   M E T H ,   V 1 7 ,   P 1 ;   R o u n t e v   A . ,   2 0 0 4 ,   A C M   S I G S O F T   I N T   S   S O ;   R o u n t e v   A . ,   2 0 0 4 ,   P   2 0 0 4   A C M   S I G S O F T   I ;   R o y   C . ,   2 0 0 9 ,   S C I   C O M P U T E R   P R O G R A M ;   R y d e r   B . G . ,   2 0 0 1 ,   P   2 0 0 1   A C M   S I G P L A N   S ;   S c h u g e r l   P . ,   2 0 0 9 ,   3 3   I E E E   I N T   C O M P   S O F ;   S c h w a r z   N . ,   2 0 1 2 ,   I N T   C   S O F T W   E N G   I C S E ;   S C O T T   M L ,   2 0 0 5 ,   P R O G R A M M I N G   L A N G U A G E ;   S h a d b o l t   N ,   2 0 0 6 ,   I E E E   I N T E L L   S Y S T ,   V 2 1 ,   P 9 6 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 6 . 6 2 ;   T a p p o l e t   J ,   2 0 1 0 ,   J   W E B   S E M A N T ,   V 8 ,   P 2 2 5 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 1 0 . 0 4 . 0 0 9 ;   T h u m m a l a p e n t a   S . ,   2 0 0 7 ,   A S E   0 7 ,   P 2 0 4 ;   T i c h e l a a r   S . ,   2 0 0 0 ,   W O R K   C   R E V   E N G   W C R E ;   W E I S E R   M ,   1 9 8 2 ,   C O M M U N   A C M ,   V 2 5 ,   P 4 4 6 ,   D O I   1 0 . 1 1 4 5 / 3 5 8 5 5 7 . 3 5 8 5 7 7 ;   W u r s c h   M . ,   2 0 1 0 ,   2 0 1 0   I C S E   W O R K S H   S E A ,   P 4 5 	 4 9 	 0 	 0 	 E L S E V I E R   S C I E N C E   I N C 	 N E W   Y O R K 	 3 6 0   P A R K   A V E   S O U T H ,   N E W   Y O R K ,   N Y   1 0 0 1 0 - 1 7 1 0   U S A 	 0 1 6 4 - 1 2 1 2 	 1 8 7 3 - 1 2 2 8 	 	 J   S Y S T   S O F T W A R E 	 J .   S y s t .   S o f t w . 	 M A R 	 2 0 1 4 	 8 9 	 	 	 	 S I 	 	 3 3 	 5 0 	 	 1 0 . 1 0 1 6 / j . j s s . 2 0 1 3 . 0 8 . 0 3 0 	 	 1 8 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 A A 9 S G 	 W O S : 0 0 0 3 3 1 4 3 2 6 0 0 0 0 4 	 	 
 J 	 S i n g h ,   M ;   B h a r t i y a ,   D ;   M a i n i ,   J ;   S h a r m a ,   M ;   S i n g h ,   A R ;   K a d a r k a r a i s a m y ,   S ;   R a n a ,   R ;   S a b h a r w a l ,   A ;   N a n d a ,   S ;   R a m a c h a n d r a n ,   A ;   M i t t a l ,   A ;   K a p o o r ,   S ;   S e h g a l ,   P ;   A s a d ,   Z ;   K a u s h i k ,   K ;   V e l l a r i k k a l ,   S K ;   J a g g a ,   D ;   M u t h u s w a m i ,   M ;   C h a u h a n ,   R K ;   L e o n a r d ,   E ;   P r i y a d a r s h i n i ,   R ;   H a l i m a n i ,   M ;   M a l h o t r a ,   S ;   P a t o w a r y ,   A ;   V i s h w a k a r m a ,   H ;   J o s h i ,   P ;   B h a r d w a j ,   V ;   B h a u m i k ,   A ;   B h a t t ,   B ;   J h a ,   A ;   K u m a r ,   A ;   B u d a k o t i ,   P ;   L a l w a n i ,   M K ;   M e l i ,   R ;   J a l a l i ,   S ;   J o s h i ,   K ;   P a l ,   K ;   D h i m a n ,   H ;   L a d d h a ,   S V ;   J a d h a v ,   V ;   S i n g h ,   N ;   P a n d e y ,   V ;   S a c h i d a n a n d a n ,   C ;   E k k e r ,   S C ;   K l e e ,   E W ;   S c a r i a ,   V ;   S i v a s u b b u ,   S 	 	 	 	 S i n g h ,   M e g h n a ;   B h a r t i y a ,   D e e k s h a ;   M a i n i ,   J a y a n t ;   S h a r m a ,   M e e n a k s h i ;   S i n g h ,   A n g o m   R a m c h a r a n ;   K a d a r k a r a i s a m y ,   S u b b u r a j ;   R a n a ,   R a j i v ;   S a b h a r w a l ,   A n k i t ;   N a n d a ,   S r i s h t i ;   R a m a c h a n d r a n ,   A r a v i n d h a k s h a n ;   M i t t a l ,   A s h i s h ;   K a p o o r ,   S h r u t i ;   S e h g a l ,   P a r a s ;   A s a d ,   Z a i n a b ;   K a u s h i k ,   K r i t i ;   V e l l a r i k k a l ,   S h a m s u d h e e n   K a r u t h e d a t h ;   J a g g a ,   D i v y a ;   M u t h u s w a m i ,   M u t h u l a k s h m i ;   C h a u h a n ,   R a j e n d r a   K . ;   L e o n a r d ,   E l v i n ;   P r i y a d a r s h i n i ,   R u b y ;   H a l i m a n i ,   M a h a n t a p p a ;   M a l h o t r a ,   S u n n y ;   P a t o w a r y ,   A s h o k ;   V i s h w a k a r m a ,   H a r i n d e r ;   J o s h i ,   P r a t e e k ;   B h a r d w a j ,   V i v e k ;   B h a u m i k ,   A r i j i t ;   B h a t t ,   B h a r a t ;   J h a ,   A a m o d ;   K u m a r ,   A a l o k ;   B u d a k o t i ,   P r e r n a ;   L a l w a n i ,   M u k e s h   K u m a r ;   M e l i ,   R a j e s h w a r i ;   J a l a l i ,   S a a k s h i ;   J o s h i ,   K a n d a r p ;   P a l ,   K o u s t a v ;   D h i m a n ,   H e e n a ;   L a d d h a ,   S a u r a b h   V . ;   J a d h a v ,   V a i b h a v ;   S i n g h ,   N a r e s h ;   P a n d e y ,   V i k a s ;   S a c h i d a n a n d a n ,   C h e t a n a ;   E k k e r ,   S t e p h e n   C . ;   K l e e ,   E r i c   W . ;   S c a r i a ,   V i n o d ;   S i v a s u b b u ,   S r i d h a r 	 	 	 T h e   Z e b r a f i s h   G e n o m e W i k i :   a   c r o w d s o u r c i n g   a p p r o a c h   t o   c o n n e c t   t h e   l o n g   t a i l   f o r   z e b r a f i s h   g e n e   a n n o t a t i o n 	 D A T A B A S E - T H E   J O U R N A L   O F   B I O L O G I C A L   D A T A B A S E S   A N D   C U R A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 C O M M U N I T Y   A N N O T A T I O N ;   W I K I ;   G E N O M I C S ;   E L E M E N T S ;   D A T A B A S E ;   U P D A T E ;   E N C Y C L O P E D I A ;   I N T E G R A T I O N ;   M O D E N C O D E ;   S C I E N C E S 	 A   l a r g e   r e p e r t o i r e   o f   g e n e - c e n t r i c   d a t a   h a s   b e e n   g e n e r a t e d   i n   t h e   f i e l d   o f   z e b r a f i s h   b i o l o g y .   A l t h o u g h   t h e   b u l k   o f   t h e s e   d a t a   a r e   a v a i l a b l e   i n   t h e   p u b l i c   d o m a i n ,   m o s t   o f   t h e m   a r e   n o t   r e a d i l y   a c c e s s i b l e   o r   a v a i l a b l e   i n   n o n s t a n d a r d   f o r m a t s .   O n e   m a j o r   c h a l l e n g e   i s   t o   u n i f y   a n d   i n t e g r a t e   t h e s e   w i d e l y   s c a t t e r e d   d a t a   s o u r c e s .   W e   t e s t e d   t h e   h y p o t h e s i s   t h a t   a c t i v e   c o m m u n i t y   p a r t i c i p a t i o n   c o u l d   b e   a   v i a b l e   o p t i o n   t o   a d d r e s s   t h i s   c h a l l e n g e .   W e   p r e s e n t   h e r e   o u r   a p p r o a c h   t o   c r e a t e   s t a n d a r d s   f o r   a s s i m i l a t i o n   a n d   s h a r i n g   o f   i n f o r m a t i o n   a n d   a   s y s t e m   o f   o p e n   s t a n d a r d s   f o r   d a t a b a s e   i n t e r c o m m u n i c a t i o n .   W e   h a v e   a t t e m p t e d   t o   a d d r e s s   t h i s   c h a l l e n g e   b y   c r e a t i n g   a   c o m m u n i t y - c e n t r i c   s o l u t i o n   f o r   z e b r a f i s h   g e n e   a n n o t a t i o n .   T h e   Z e b r a f i s h   G e n o m e W i k i   i s   a   ' w i k i ' - b a s e d   r e s o u r c e ,   w h i c h   a i m s   t o   p r o v i d e   a n   a l t r u i s t i c   s h a r e d   e n v i r o n m e n t   f o r   c o l l e c t i v e   a n n o t a t i o n   o f   t h e   z e b r a f i s h   g e n e s .   T h e   Z e b r a f i s h   G e n o m e W i k i   h a s   f e a t u r e s   t h a t   e n a b l e   u s e r s   t o   c o m m e n t ,   a n n o t a t e ,   e d i t   a n d   r a t e   t h i s   g e n e - c e n t r i c   i n f o r m a t i o n .   T h e   c r e d i t s   f o r   c o n t r i b u t i o n s   c a n   b e   t r a c k e d   t h r o u g h   a   t r a n s p a r e n t   m i c r o a t t r i b u t i o n   s y s t e m .   I n   c o n t r a s t   t o   o t h e r   w i k i s ,   t h e   Z e b r a f i s h   G e n o m e W i k i   i s   a   ' s t r u c t u r e d   w i k i '   o r   r a t h e r   a   ' s e m a n t i c   w i k i ' .   T h e   Z e b r a f i s h   G e n o m e W i k i   i m p l e m e n t s   a   s e m a n t i c a l l y   l i n k e d   d a t a   s t r u c t u r e ,   w h i c h   i n   t h e   f u t u r e   w o u l d   b e   a m e n a b l e   t o   s e m a n t i c   s e a r c h . 	 [ S i n g h ,   M e g h n a ;   B h a r t i y a ,   D e e k s h a ;   M a i n i ,   J a y a n t ;   S h a r m a ,   M e e n a k s h i ;   S i n g h ,   A n g o m   R a m c h a r a n ;   K a d a r k a r a i s a m y ,   S u b b u r a j ;   R a n a ,   R a j i v ;   S a b h a r w a l ,   A n k i t ;   R a m a c h a n d r a n ,   A r a v i n d h a k s h a n ;   M i t t a l ,   A s h i s h ;   K a p o o r ,   S h r u t i ;   S e h g a l ,   P a r a s ;   A s a d ,   Z a i n a b ;   K a u s h i k ,   K r i t i ;   V e l l a r i k k a l ,   S h a m s u d h e e n   K a r u t h e d a t h ;   M u t h u s w a m i ,   M u t h u l a k s h m i ;   C h a u h a n ,   R a j e n d r a   K . ;   L e o n a r d ,   E l v i n ;   P r i y a d a r s h i n i ,   R u b y ;   H a l i m a n i ,   M a h a n t a p p a ;   M a l h o t r a ,   S u n n y ;   P a t o w a r y ,   A s h o k ;   V i s h w a k a r m a ,   H a r i n d e r ;   J o s h i ,   P r a t e e k ;   L a l w a n i ,   M u k e s h   K u m a r ;   M e l i ,   R a j e s h w a r i ;   J a l a l i ,   S a a k s h i ;   J o s h i ,   K a n d a r p ;   P a l ,   K o u s t a v ;   D h i m a n ,   H e e n a ;   L a d d h a ,   S a u r a b h   V . ;   J a d h a v ,   V a i b h a v ;   S i n g h ,   N a r e s h ;   P a n d e y ,   V i k a s ;   S a c h i d a n a n d a n ,   C h e t a n a ;   S c a r i a ,   V i n o d ;   S i v a s u b b u ,   S r i d h a r ]   C S I R ,   I G I B ,   D e l h i   1 1 0 0 0 7 ,   I n d i a ;   [ S i n g h ,   M e g h n a ;   B h a r t i y a ,   D e e k s h a ;   S a b h a r w a l ,   A n k i t ;   K a p o o r ,   S h r u t i ;   A s a d ,   Z a i n a b ;   K a u s h i k ,   K r i t i ;   V e l l a r i k k a l ,   S h a m s u d h e e n   K a r u t h e d a t h ;   J a l a l i ,   S a a k s h i ;   J o s h i ,   K a n d a r p ;   S a c h i d a n a n d a n ,   C h e t a n a ;   S c a r i a ,   V i n o d ;   S i v a s u b b u ,   S r i d h a r ]   A c a d   S c i   &   I n n o v a t   R e s   A c S I R ,   D e l h i   1 1 0 0 0 1 ,   I n d i a ;   [ N a n d a ,   S r i s h t i ;   B h a r d w a j ,   V i v e k ;   B h a u m i k ,   A r i j i t ;   B h a t t ,   B h a r a t ;   J h a ,   A a m o d ;   K u m a r ,   A a l o k ]   U n i v   D e l h i ,   A c h a r y a   N a r e n d r a   D e v   C o l l ,   N e w   D e l h i   1 1 0 0 1 9 ,   I n d i a ;   [ J a g g a ,   D i v y a ]   U n i v   D e l h i ,   D r   B R   A m b e d k a r   C t r   B i o m e d   R e s ,   D e l h i   1 1 0 0 0 7 ,   I n d i a ;   [ B u d a k o t i ,   P r e r n a ]   U n i v   D e l h i   S o u t h   C a m p u s ,   D e p t   G e n e t ,   N e w   D e l h i   1 1 0 0 2 1 ,   I n d i a ;   [ E k k e r ,   S t e p h e n   C . ;   K l e e ,   E r i c   W . ]   M a y o   C l i n ,   R o c h e s t e r ,   M N   U S A 	 S c a r i a ,   V   ( r e p r i n t   a u t h o r ) ,   C S I R ,   I G I B ,   M a l l   R d ,   D e l h i   1 1 0 0 0 7 ,   I n d i a . 	 v i n o d s @ i g i b . r e s . i n ;   s . s i v a s u b b u @ i g i b . r e s . i n 	 	 	 C o u n c i l   o f   S c i e n t i f i c   a n d   I n d u s t r i a l   R e s e a r c h ,   I n d i a   [ B S C 0 1 2 2 ,   M L P 1 2 0 2 ] 	 C o u n c i l   o f   S c i e n t i f i c   a n d   I n d u s t r i a l   R e s e a r c h ,   I n d i a   ( B S C 0 1 2 2 ,   M L P 1 2 0 2   t o   V .   S .   a n d   S .   S . ) .   F u n d i n g   f o r   o p e n   a c c e s s   c h a r g e :   C o u n c i l   o f   S c i e n t i f i c   a n d   I n d u s t r i a l   R e s e a r c h ,   I n d i a . 	 A d l e r   B . T . ,   2 0 0 8 ,   P   4   I N T   S   W I K ;   A m s t e r d a m   A ,   1 9 9 9 ,   G E N E   D E V ,   V 1 3 ,   P 2 7 1 3 ,   D O I   1 0 . 1 1 0 1 / g a d . 1 3 . 2 0 . 2 7 1 3 ;   A n d e r s o n   C h r i s ,   2 0 0 4 ,   W I R E D ;   B h a r t i y a   D ,   2 0 1 0 ,   Z E B R A F I S H ,   V 7 ,   P 1 7 9 ,   D O I   1 0 . 1 0 8 9 / z e b . 2 0 0 9 . 0 6 2 4 ;   B r a d f o r d   Y ,   2 0 1 1 ,   N U C L E I C   A C I D S   R E S ,   V 3 9 ,   p D 8 2 2 ,   D O I   1 0 . 1 0 9 3 / n a r / g k q 1 0 7 7 ;   C a m b o n - T h o m s e n   A ,   2 0 1 1 ,   N A T   G E N E T ,   V 4 3 ,   P 5 0 3 ,   D O I   1 0 . 1 0 3 8 / n g . 8 3 1 ;   C h o o   B G ,   2 0 0 6 ,   B M C   D E V   B I O L ,   V 6 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 3 X - 6 - 5 ;   C l a r k   K J ,   2 0 1 1 ,   N A T   M E T H O D S ,   V 8 ,   P 5 0 6 ,   D O I   [ 1 0 . 1 0 3 8 / n m e t h . 1 6 0 6 ,   1 0 . 1 0 3 8 / N M E T H . 1 6 0 6 ] ;   D o w e l l   R   D ,   2 0 0 1 ,   B M C   B i o i n f o r m a t i c s ,   V 2 ,   P 7 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 2 - 7 ;   D o y o n   Y ,   2 0 0 8 ,   N A T   B I O T E C H N O L ,   V 2 6 ,   P 7 0 2 ,   D O I   1 0 . 1 0 3 8 / n b t 1 4 0 9 ;   E i l b e c k   K ,   2 0 0 5 ,   G E N O M E   B I O L ,   V 6 ,   D O I   1 0 . 1 1 8 6 / g b - 2 0 0 5 - 6 - 5 - r 4 4 ;   E l s i k   C G ,   2 0 0 6 ,   G E N O M E   R E S ,   V 1 6 ,   P 1 3 2 9 ,   D O I   1 0 . 1 1 0 1 / g r . 5 5 8 0 6 0 6 ;   F l i c e k   P ,   2 0 1 1 ,   N U C L E I C   A C I D S   R E S ,   V 3 9 ,   p D 8 0 0 ,   D O I   1 0 . 1 0 9 3 / n a r / g k q 1 0 6 4 ;   F u j i t a   P A ,   2 0 1 1 ,   N U C L E I C   A C I D S   R E S ,   V 3 9 ,   p D 8 7 6 ,   D O I   1 0 . 1 0 9 3 / n a r / g k q 9 6 3 ;   G e r s t e i n   M B ,   2 0 1 0 ,   S C I E N C E ,   V 3 3 0 ,   P 1 7 7 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 9 6 9 1 4 ;   G i l e s   J ,   2 0 0 7 ,   N A T U R E ,   V 4 4 5 ,   P 6 9 1 ,   D O I   1 0 . 1 0 3 8 / 4 4 5 6 9 1 a ;   H o e h n d o r f   R ,   2 0 0 9 ,   B M C   B I O I N F O R M A T I C S ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 1 0 - S 5 - S 5 ;   H o f f m a n n   R ,   2 0 0 8 ,   N A T   G E N E T ,   V 4 0 ,   P 1 0 4 7 ,   D O I   1 0 . 1 0 3 8 / n g . f . 2 1 7 ;   H o w e   D ,   2 0 0 8 ,   N A T U R E ,   V 4 5 5 ,   P 4 7 ,   D O I   1 0 . 1 0 3 8 / 4 5 5 0 4 7 a ;   H u s s   J W ,   2 0 0 8 ,   P L O S   B I O L ,   V 6 ,   P 1 3 9 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p b i o . 0 0 6 0 1 7 5 ;   K a n d a s a m y   K ,   2 0 0 9 ,   N U C L E I C   A C I D S   R E S ,   V 3 7 ,   p D 7 7 3 ,   D O I   1 0 . 1 0 9 3 / n a r / g k n 7 0 1 ;   K a w a k a m i   K ,   2 0 1 0 ,   B M C   D E V   B I O L ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 3 X - 1 0 - 1 0 5 ;   P r a s a d   T S K ,   2 0 0 9 ,   N U C L E I C   A C I D S   R E S ,   V 3 7 ,   p D 7 6 7 ,   D O I   1 0 . 1 0 9 3 / n a r / g k n 8 9 2 ;   L e u f   B . ,   2 0 0 1 ,   W I K I   W A Y   Q U I C K   C O L L A ,   P a t e n t   N o .   B o s t o n ,   M A ;   M e l i   R ,   2 0 0 8 ,   Z E B R A F I S H ,   V 5 ,   P 1 2 5 ,   D O I   1 0 . 1 0 8 9 / z e b . 2 0 0 8 . 0 5 3 1 ;   M o n s   B ,   2 0 0 8 ,   G E N O M E   B I O L ,   V 9 ,   D O I   1 0 . 1 1 8 6 / g b - 2 0 0 8 - 9 - 5 - r 8 9 ;   P a s q u i e r   C ,   2 0 0 8 ,   B I O C H I M I E ,   V 9 0 ,   P 5 8 4 ,   D O I   1 0 . 1 0 1 6 / j . b i o c h i . 2 0 0 8 . 0 2 . 0 0 7 ;   P a t o w a r y   A ,   2 0 1 3 ,   Z E B R A F I S H ,   V 1 0 ,   P 1 5 ,   D O I   1 0 . 1 0 8 9 / z e b . 2 0 1 2 . 0 8 4 8 ;   P i c o   A R ,   2 0 0 8 ,   P L O S   B I O L ,   V 6 ,   P 1 4 0 3 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p b i o . 0 0 6 0 1 8 4 ;   P o s t   L J G ,   2 0 0 7 ,   B I O I N F O R M A T I C S ,   V 2 3 ,   P 3 0 8 0 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t m 4 6 1 ;   Q u   H o n g z h u ,   2 0 1 3 ,   G e n o m i c s   P r o t e o m i c s   &   B i o i n f o r m a t i c s ,   V 1 1 ,   P 1 3 5 ,   D O I   1 0 . 1 0 1 6 / j . g p b . 2 0 1 3 . 0 5 . 0 0 1 ;   R e b h a n   M ,   1 9 9 8 ,   B I O I N F O R M A T I C S ,   V 1 4 ,   P 6 5 6 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / 1 4 . 8 . 6 5 6 ;   R o y   S ,   2 0 1 0 ,   S C I E N C E ,   V 3 3 0 ,   P 1 7 8 7 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 9 8 3 7 4 ;   S h o m a n   L M ,   1 9 9 5 ,   M E T H O D   C E L L   B I O L ,   V 4 8 ,   P 6 0 7 ;   S t a m a t o y a n n o p o u l o s   J A ,   2 0 1 2 ,   G E N O M E   B I O L ,   V 1 3 ,   D O I   1 0 . 1 1 8 6 / g b - 2 0 1 2 - 1 3 - 8 - 4 1 8 ;   S t e i n   L D ,   2 0 0 8 ,   N A T   R E V   G E N E T ,   V 9 ,   P 6 7 8 ,   D O I   1 0 . 1 0 3 8 / n r g 2 4 1 4 ;   W a n g   K ,   2 0 0 6 ,   N A T U R E ,   V 4 3 9 ,   P 5 3 4 ,   D O I   1 0 . 1 0 3 8 / 4 3 9 5 3 4 a 	 3 7 	 0 	 0 	 O X F O R D   U N I V   P R E S S 	 O X F O R D 	 G R E A T   C L A R E N D O N   S T ,   O X F O R D   O X 2   6 D P ,   E N G L A N D 	 1 7 5 8 - 0 4 6 3 	 	 	 D A T A B A S E - O X F O R D 	 D a t a b a s e 	 F E B   2 6 	 2 0 1 4 	 	 	 	 	 	 	 	 	 b a u 0 1 1 	 1 0 . 1 0 9 3 / d a t a b a s e / b a u 0 1 1 	 	 7 	 M a t h e m a t i c a l   &   C o m p u t a t i o n a l   B i o l o g y 	 M a t h e m a t i c a l   &   C o m p u t a t i o n a l   B i o l o g y 	 A B 8 Y N 	 W O S : 0 0 0 3 3 2 0 7 6 1 0 0 0 0 2 	 	 
 J 	 S c h u n e m a n n ,   H J ;   W i e r c i o c h ,   W ;   E t x e a n d i a ,   I ;   F a l a v i g n a ,   M ;   S a n t e s s o ,   N ;   M u s t a f a ,   R ;   V e n t r e s c a ,   M ;   B r i g n a r d e l l o - P e t e r s e n ,   R ;   L a i s a a r ,   K T ;   K o w a l s k i ,   S ;   B a l d e h ,   T ;   Z h a n g ,   Y ;   R a i d ,   U ;   N e u m a n n ,   I ;   N o r r i s ,   S L ;   T h o r n t o n ,   J ;   H a r b o u r ,   R ;   T r e w e e k ,   S ;   G u y a t t ,   G ;   A l o n s o - C o e l l o ,   P ;   R e i n a p ,   M ;   B r o z e k ,   J ;   O x m a n ,   A ;   A k l ,   E A 	 	 	 	 S c h u e n e m a n n ,   H o l g e r   J . ;   W i e r c i o c h ,   W o j t e k ;   E t x e a n d i a ,   I t z i a r ;   F a l a v i g n a ,   M a i c o n ;   S a n t e s s o ,   N a n c y ;   M u s t a f a ,   R e e m ;   V e n t r e s c a ,   M a t t h e w ;   B r i g n a r d e l l o - P e t e r s e n ,   R o m i n a ;   L a i s a a r ,   K a j a - T r i i n ;   K o w a l s k i ,   S e r g i o ;   B a l d e h ,   T e j a n ;   Z h a n g ,   Y u a n ;   R a i d ,   U l l a ;   N e u m a n n ,   I g n a c i o ;   N o r r i s ,   S u s a n   L . ;   T h o r n t o n ,   J u d i t h ;   H a r b o u r ,   R o b i n ;   T r e w e e k ,   S h a u n ;   G u y a t t ,   G o r d o n ;   A l o n s o - C o e l l o ,   P a b l o ;   R e i n a p ,   M a r g e ;   B r o z e k ,   J a n ;   O x m a n ,   A n d r e w ;   A k l ,   E l i e   A . 	 	 	 G u i d e l i n e s   2 . 0 :   s y s t e m a t i c   d e v e l o p m e n t   o f   a   c o m p r e h e n s i v e   c h e c k l i s t   f o r   a   s u c c e s s f u l   g u i d e l i n e   e n t e r p r i s e 	 C A N A D I A N   M E D I C A L   A S S O C I A T I O N   J O U R N A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 A T S / E R S   W O R K S H O P   R E P O R T ;   C L I N I C A L - P R A C T I C E   G U I D E L I N E S ;   C O N F L I C T S - O F - I N T E R E S T ;   C O O R D I N A T I N G   E F F O R T S ;   A G R E E   I I ;   I N C O R P O R A T I N G   C O N S I D E R A T I O N S ;   P U B L I S H I N G   G U I D E L I N E S ;   A M E R I C A N - C O L L E G E ;   T A R G E T   A U D I E N C E S ;   R E C O M M E N D A T I O N S 	 B a c k g r o u n d :   A l t h o u g h   s e v e r a l   t o o l s   t o   e v a l u a t e   t h e   c r e d i b i l i t y   o f   h e a l t h   c a r e   g u i d e l i n e s   e x i s t ,   g u i d a n c e   o n   p r a c t i c a l   s t e p s   f o r   d e v e l o p i n g   g u i d e l i n e s   i s   l a c k i n g .   W e   s y s t e m a t i c a l l y   c o m p i l e d   a   c o m p r e h e n s i v e   c h e c k l i s t   o f   i t e m s   l i n k e d   t o   r e l e v a n t   r e s o u r c e s   a n d   t o o l s   t h a t   g u i d e l i n e   d e v e l o p e r s   c o u l d   c o n s i d e r ,   w i t h o u t   t h e   e x p e c t a t i o n   t h a t   e v e r y   g u i d e l i n e   w o u l d   a d d r e s s   e a c h   i t e m .   M e t h o d s :   W e   s e a r c h e d   d a t a   s o u r c e s ,   i n c l u d i n g   m a n u a l s   o f   i n t e r n a t i o n a l   g u i d e l i n e   d e v e l o p e r s ,   l i t e r a t u r e   o n   g u i d e l i n e s   f o r   g u i d e l i n e s   ( w i t h   a   f o c u s   o n   m e t h o d o l o g y   r e p o r t s   f r o m   i n t e r n a t i o n a l   a n d   n a t i o n a l   a g e n c i e s ,   a n d   p r o f e s s i o n a l   s o c i e t i e s )   a n d   r e c e n t   a r t i c l e s   p r o v i d i n g   s y s t e m a t i c   g u i d a n c e .   W e   r e v i e w e d   t h e s e   s o u r c e s   i n   d u p l i c a t e ,   e x t r a c t e d   i t e m s   f o r   t h e   c h e c k l i s t   u s i n g   a   s e n s i t i v e   a p p r o a c h   a n d   d e v e l o p e d   o v e r a r c h i n g   t o p i c s   r e l e v a n t   t o   g u i d e l i n e s .   I n   a n   i t e r a t i v e   p r o c e s s ,   w e   r e v i e w e d   i t e m s   f o r   d u p l i c a t i o n   a n d   o m i s s i o n s   a n d   i n v o l v e d   e x p e r t s   i n   g u i d e l i n e   d e v e l o p m e n t   f o r   r e v i s i o n s   a n d   s u g g e s t i o n s   f o r   i t e m s   t o   b e   a d d e d .   R e s u l t s :   W e   d e v e l o p e d   a   c h e c k l i s t   w i t h   1 8   t o p i c s   a n d   1 4 6   i t e m s   a n d   a   w e b p a g e   t o   f a c i l i t a t e   i t s   u s e   b y   g u i d e l i n e   d e v e l o p e r s .   T h e   t o p i c s   a n d   i n c l u d e d   i t e m s   c o v e r   a l l   s t a g e s   o f   t h e   g u i d e l i n e   e n t e r p r i s e ,   f r o m   t h e   p l a n n i n g   a n d   f o r m u l a t i o n   o f   g u i d e l i n e s ,   t o   t h e i r   i m p l e m e n t a t i o n   a n d   e v a l u a t i o n .   T h e   f i n a l   c h e c k l i s t   i n c l u d e s   l i n k s   t o   t r a i n i n g   m a t e r i a l s   a s   w e l l   a s   r e s o u r c e s   w i t h   s u g g e s t e d   m e t h o d o l o g y   f o r   a p p l y i n g   t h e   i t e m s .   I n t e r p r e t a t i o n :   T h e   c h e c k l i s t   w i l l   s e r v e   a s   a   r e s o u r c e   f o r   g u i d e l i n e   d e v e l o p e r s .   C o n s i d e r a t i o n   o f   i t e m s   o n   t h e   c h e c k l i s t   w i l l   s u p p o r t   t h e   d e v e l o p m e n t ,   i m p l e m e n t a t i o n   a n d   e v a l u a t i o n   o f   g u i d e l i n e s .   W e   w i l l   u s e   c r o w d s o u r c i n g   t o   r e v i s e   t h e   c h e c k l i s t   a n d   k e e p   i t   u p   t o   d a t e . 	 [ S c h u e n e m a n n ,   H o l g e r   J . ;   W i e r c i o c h ,   W o j t e k ;   E t x e a n d i a ,   I t z i a r ;   F a l a v i g n a ,   M a i c o n ;   S a n t e s s o ,   N a n c y ;   M u s t a f a ,   R e e m ;   V e n t r e s c a ,   M a t t h e w ;   K o w a l s k i ,   S e r g i o ;   B a l d e h ,   T e j a n ;   Z h a n g ,   Y u a n ;   N e u m a n n ,   I g n a c i o ;   G u y a t t ,   G o r d o n ;   B r o z e k ,   J a n ;   A k l ,   E l i e   A . ]   M c M a s t e r   U n i v ,   D e p t   C l i n   E p i d e m i o l   &   B i o s t a t ,   H a m i l t o n ,   O N ,   C a n a d a ;   [ S c h u e n e m a n n ,   H o l g e r   J . ;   B r o z e k ,   J a n ;   A k l ,   E l i e   A . ]   M c M a s t e r   U n i v ,   D e p t   M e d ,   H a m i l t o n ,   O N ,   C a n a d a ;   [ S c h u e n e m a n n ,   H o l g e r   J . ;   B r o z e k ,   J a n ]   U n i v   F r e i b u r g   K l i n i k u m ,   D e p t   M e d   B i o m e t r i e   &   M e d   I n f o r m a t ,   F r e i b u r g ,   G e r m a n y ;   [ V e n t r e s c a ,   M a t t h e w ]   B r o c k   U n i v ,   D e p t   C o m m u n i t y   H l t h   S c i ,   S t   C a t h a r i n e s ,   O N   L 2 S   3 A 1 ,   C a n a d a ;   [ A k l ,   E l i e   A . ]   A m e r   U n i v   B e i r u t ,   D e p t   I n t e r n a l   M e d ,   B e i r u t ,   L e b a n o n ;   [ A k l ,   E l i e   A . ]   S U N Y   C o l l   B u f f a l o ,   D e p t   M e d ,   B u f f a l o ,   N Y   1 4 2 2 2   U S A ;   [ M u s t a f a ,   R e e m ]   U n i v   M i s s o u r i ,   D e p t   I n t e r n a l   M e d   &   N e p h r o l ,   K a n s a s   C i t y ,   M O   6 4 1 1 0   U S A ;   [ N o r r i s ,   S u s a n   L . ]   O r e g o n   H l t h   &   S c i   U n i v ,   P o r t l a n d ,   O R   9 7 2 0 1   U S A ;   [ F a l a v i g n a ,   M a i c o n ]   U n i v   F e d   R i o   G r a n d e   d o   S u l ,   N a t l   I n s t   S c i   &   T e c h n o l   H l t h   T e c h n o l   A s s e s s m e n t ,   P o r t o   A l e g r e ,   R S ,   B r a z i l ;   H o s p   M o i n h o s   V e n t o s ,   P o r t o   A l e g r e ,   R S ,   B r a z i l ;   [ N e u m a n n ,   I g n a c i o ]   P o n t i f i c i a   U n i v   C a t o l i c a   C h i l e ,   D e p t   I n t e r n a l   M e d ,   S a n t i a g o ,   C h i l e ;   [ R a i d ,   U l l a ]   W o r l d   H l t h   O r g ,   E s t o n i a n   C o u n t r y   O f f ,   E s t o n i a n   H l t h   I n s u r a n c e   F u n d ,   T a l l i n n ,   E s t o n i a ;   [ L a i s a a r ,   K a j a - T r i i n ]   U n i v   T a r t u ,   E E - 5 0 0 9 0   T a r t u ,   E s t o n i a ;   [ T r e w e e k ,   S h a u n ]   U n i v   A b e r d e e n ,   A b e r d e e n ,   S c o t l a n d ;   [ T h o r n t o n ,   J u d i t h ]   N a t l   I n s t   H l t h   &   C a r e   E x c e l l e n c e ,   L o n d o n ,   E n g l a n d ;   [ H a r b o u r ,   R o b i n ]   H e a l t h c a r e   I m p r o v e m e n t   S c o t l a n d ,   S c o t t i s h   I n t e r c o l l e g i a t e   G u i d e l i n e   N e t w o r k ,   E d i n b u r g h ,   M i d l o t h i a n ,   S c o t l a n d ;   [ B r i g n a r d e l l o - P e t e r s e n ,   R o m i n a ]   U n i v   T o r o n t o ,   I n s t   H l t h   P o l i c y   M a n a g e m e n t   &   E v a l u a t ,   T o r o n t o ,   O N ,   C a n a d a ;   [ B r i g n a r d e l l o - P e t e r s e n ,   R o m i n a ]   U n i v   C h i l e ,   F a c   D e n t ,   S a n t i a g o ,   C h i l e ;   [ O x m a n ,   A n d r e w ]   N o r w e g i a n   K n o w l e d g e   C t r   H l t h   S e r v ,   O s l o ,   N o r w a y 	 S c h u n e m a n n ,   H J   ( r e p r i n t   a u t h o r ) ,   M c M a s t e r   U n i v ,   D e p t   C l i n   E p i d e m i o l   &   B i o s t a t ,   H a m i l t o n ,   O N ,   C a n a d a . 	 s c h u n e h @ m c m a s t e r . c a 	 	 	 M c M a s t e r   U n i v e r s i t y ;   E u r o p e a n   U n i o n   F P 7   P r o g r a m m e   a s   p a r t   o f   t h e   D E C I D E   ( D e v e l o p i n g   a n d   E v a l u a t i n g   C o m m u n i c a t i o n   S t r a t e g i e s   t o   S u p p o r t   I n f o r m e d   D e c i s i o n s   a n d   P r a c t i c e   B a s e d   o n   E v i d e n c e )   p r o j e c t   [ 2 5 8 5 8 3 ] 	 T h i s   s t u d y   w a s   s u p p o r t e d   b y   f u n d s   f r o m   M c M a s t e r   U n i v e r s i t y .   H o l g e r   S c h u n e m a n n ,   J u d i t h   T h o r n t o n ,   R o b i n   H a r b o u r ,   S h a u n   T r e w e e k ,   P a b l o   A l o n s o - C o e l l o ,   J a n   B r o z e k   a n d   A n d r e w   O x m a n   r e c e i v e d   f u n d i n g   f r o m   t h e   E u r o p e a n   U n i o n   F P 7   P r o g r a m m e   ( g r a n t   n o .   2 5 8 5 8 3 )   a s   p a r t   o f   t h e   D E C I D E   ( D e v e l o p i n g   a n d   E v a l u a t i n g   C o m m u n i c a t i o n   S t r a t e g i e s   t o   S u p p o r t   I n f o r m e d   D e c i s i o n s   a n d   P r a c t i c e   B a s e d   o n   E v i d e n c e )   p r o j e c t . 	 A D A P T E   C o l l a b o r a t i o n ,   2 0 0 9 ,   T H E   A D A P T E   P R O C E S S   R ;   A h m e d   F ,   2 0 1 1 ,   V A C C I N E ,   V 2 9 ,   P 9 1 7 1 ,   D O I   1 0 . 1 0 1 6 / j . v a c c i n e . 2 0 1 1 . 0 8 . 0 0 5 ;   [ A n o n y m o u s ] ,   2 0 1 0 ,   M E T H O D O L O G Y   M A N U A L   A ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   G U I D E L I N E   D E V E L O P M E N ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   G U I D A N C E ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   S I G N   5 0   A   G U I D E L I N E ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   P R O G R A M   I N   E V I D E N C E ;   [ A n o n y m o u s ] ,   2 0 0 7 ,   E L A B O R A C I O N   D E   G U I A S ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   A M E R I C A N   S O C I E T Y   O F ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   P R A C T I C E   G U I D E L I N E S ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   G U I D E L I N E S   A N D   R E C O M ;   [ A n o n y m o u s ] ,   2 0 0 6 ,   L E T   E V I D E N C E   G U I D E   E ;   [ A n o n y m o u s ] ,   2 0 0 5 ,   N O R M A   T E C N I C A   P A R A   L ;   [ A n o n y m o u s ] ,   2 0 1 0 ,   R E C O M M E N D A T I O N S   F O R ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   P R O G R A M   I N   E V I D E N C E ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   U S   P R E V E N T I V E   S E R V I C ;   [ A n o n y m o u s ] ,   2 0 0 3 ,   C O G S   T H E   C O N F E R E N C E ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   W H O   H A N D B O O K   F O R   G U I ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   S Y S T E M A T I C   E V I D E N C E ;   [ A n o n y m o u s ] ,   2 0 1 0 ,   S U P P L E M E N T A R Y   M E T H O D ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   O V E R V I E W   S T A N D A R D   O P ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   C A N A D I A N   T A S K   F O R C E ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   P O L I C Y   A N D   P R O C E D U R E ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   H O W   N I C E   C L I N I C A L   G U ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   C L I N I C A L   P R A C T I C E   G U ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   C L I N I C A L   P R A C T I C E   G U ;   [ A n o n y m o u s ] ,   2 0 1 0 ,   M A N U S C R I P T   D E V E L O P M E ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   G U I D E L I N E S   I N   T U R K I S ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   C L I N I C A L   P R A C T I C E   G U ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   M I N I S T R Y   O F   H E A L T H   L ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   T H E   G U I D E L I N E S   M A N U A ;   [ A n o n y m o u s ] ,   2 0 0 1 ,   H A N D B O O K   F O R   T H E   P R E ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   H E A L T H   S Y S T E M S   S T R E N ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   P R O C E D U R E S   A N D   R E Q U I ;   [ A n o n y m o u s ] ,   C L I N I C A L   G U I D E L I N E S ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   P R I N C I P L E S   F O R   T H E   D ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   P O S I T I V E L Y   E Q U A L   A   G ;   A t k i n s   D ,   2 0 0 4 ,   B R I T   M E D   J ,   V 3 2 8 ,   P 1 4 9 0 ;   A t k i n s   D a v i d ,   2 0 1 2 ,   P r o c   A m   T h o r a c   S o c ,   V 9 ,   P 2 2 5 ,   D O I   1 0 . 1 5 1 3 / p a t s . 2 0 1 2 0 8 - 0 5 5 S T ;   B o y d   E l i z a b e t h   A ,   2 0 0 6 ,   H e a l t h   R e s   P o l i c y   S y s t ,   V 4 ,   P 1 6 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 8 - 4 5 0 5 - 4 - 1 6 ;   B o y d   E l i z a b e t h   A ,   2 0 1 2 ,   P r o c   A m   T h o r a c   S o c ,   V 9 ,   P 2 3 4 ,   D O I   1 0 . 1 5 1 3 / p a t s . 2 0 1 2 0 8 - 0 5 7 S T ;   B r o u w e r s   M C ,   2 0 1 0 ,   C A N   M E D   A S S O C   J ,   V 1 8 2 ,   P 1 0 4 5 ,   D O I   1 0 . 1 5 0 3 / c m a j . 0 9 1 7 1 4 ;   B r o u w e r s   M C ,   2 0 1 0 ,   C A N   M E D   A S S O C   J ,   V 1 8 2 ,   p E 4 7 2 ,   D O I   1 0 . 1 5 0 3 / c m a j . 0 9 1 7 1 6 ;   B r o u w e r s   M C ,   2 0 1 0 ,   C A N   M E D   A S S O C   J ,   V 1 8 2 ,   p E 8 3 9 ,   D O I   1 0 . 1 5 0 3 / c m a j . 0 9 0 4 4 9 ;   B u r g e r s   J a k o   S ,   2 0 1 2 ,   P r o c   A m   T h o r a c   S o c ,   V 9 ,   P 3 0 4 ,   D O I   1 0 . 1 5 1 3 / p a t s . 2 0 1 2 0 8 - 0 6 7 S T ;   C h a p m a n   E ,   2 0 0 8 ,   G U I A   P A R A   L A   A D A P T A C ;   C l u z e a u   F r a n  o i s e ,   2 0 1 2 ,   P r o c   A m   T h o r a c   S o c ,   V 9 ,   P 2 6 9 ,   D O I   1 0 . 1 5 1 3 / p a t s . 2 0 1 2 0 8 - 0 6 2 S T ;   D a v i n o - R a m a y a   C a r r i e ,   2 0 1 2 ,   P e r m   J ,   V 1 6 ,   P 5 5 ;   D o u g a d o s   M ,   2 0 0 4 ,   A N N   R H E U M   D I S ,   V 6 3 ,   P 1 1 7 2 ,   D O I   1 0 . 1 1 3 6 / a r d . 2 0 0 4 . 0 2 3 6 9 7 ;   E c c l e s   M P ,   2 0 1 2 ,   I M P L E M E N T   S C I ,   V 7 ,   D O I   1 0 . 1 1 8 6 / 1 7 4 8 - 5 9 0 8 - 7 - 6 0 ;   E d e j e r   T e s s a   T a n - T o r r e s ,   2 0 0 6 ,   H e a l t h   R e s   P o l i c y   S y s t ,   V 4 ,   P 2 3 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 8 - 4 5 0 5 - 4 - 2 3 ;   F a b b r i   L e o n a r d o   M ,   2 0 1 2 ,   P r o c   A m   T h o r a c   S o c ,   V 9 ,   P 2 7 4 ,   D O I   1 0 . 1 5 1 3 / p a t s . 2 0 1 2 0 8 - 0 6 3 S T ;   F i e l d   M ,   1 9 9 0 ,   C L I N I C A L   P R A C T I C E   G U ;   F r e t h e i m   A t l e ,   2 0 0 6 ,   H e a l t h   R e s   P o l i c y   S y s t ,   V 4 ,   P 1 7 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 8 - 4 5 0 5 - 4 - 1 7 ;   F r e t h e i m   A t l e ,   2 0 0 6 ,   H e a l t h   R e s   P o l i c y   S y s t ,   V 4 ,   P 2 7 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 8 - 4 5 0 5 - 4 - 2 7 ;   F r e t h e i m   A t l e ,   2 0 0 6 ,   H e a l t h   R e s   P o l i c y   S y s t ,   V 4 ,   P 1 5 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 8 - 4 5 0 5 - 4 - 1 5 ;   G R A H A M   R ,   2 0 1 1 ,   C L I N I C A L   P R A C T I C E   G U ;   G r i m s h a w   J e r e m y   M ,   2 0 1 2 ,   P r o c   A m   T h o r a c   S o c ,   V 9 ,   P 2 9 8 ,   D O I   1 0 . 1 5 1 3 / p a t s . 2 0 1 2 0 8 - 0 6 6 S T ;   G u t i e r r e z   G C ,   2 0 1 0 ,   G U I A   M E T O D O L G I C A   P A R ;   G u y a t t   G o r d o n ,   2 0 1 2 ,   P r o c   A m   T h o r a c   S o c ,   V 9 ,   P 2 5 6 ,   D O I   1 0 . 1 5 1 3 / p a t s . 2 0 1 2 0 8 - 0 6 0 S T ;   G u y a t t   G H ,   2 0 0 8 ,   B R I T   M E D   J ,   V 3 3 6 ,   P 1 0 4 9 ,   D O I   1 0 . 1 1 3 6 / b m j . 3 9 4 9 3 . 6 4 6 8 7 5 . A E ;   G u y a t t   G H ,   2 0 0 8 ,   B R I T   M E D   J ,   V 3 3 6 ,   P 1 1 7 0 ,   D O I   1 0 . 1 1 3 6 / b m j . 3 9 5 0 4 . 5 0 6 3 1 9 . 8 0 ;   G u y a t t   G H ,   2 0 0 8 ,   B R I T   M E D   J ,   V 3 3 6 ,   P 9 9 5 ,   D O I   1 0 . 1 1 3 6 / b m j . 3 9 4 9 0 . 5 5 1 0 1 9 . B E ;   G u y a t t   G H ,   2 0 1 2 ,   C H E S T ,   V 1 4 1 ,   p 5 3 S ,   D O I   1 0 . 1 3 7 8 / c h e s t . 1 1 - 2 2 8 8 ;   G u y a t t   G H ,   2 0 0 8 ,   B R I T   M E D   J ,   V 3 3 6 ,   P 9 2 4 ,   D O I   1 0 . 1 1 3 6 / b m j . 3 9 4 8 9 . 4 7 0 3 4 7 . A D ;   H a i g e k a s s a   E e s t i ,   2 0 1 1 ,   E S T O N I A N   H A N D B O O K   F O ;   H i l l   S u z a n n e   R ,   2 0 1 2 ,   P r o c   A m   T h o r a c   S o c ,   V 9 ,   P 2 5 1 ,   D O I   1 0 . 1 5 1 3 / p a t s . 2 0 1 2 0 8 - 0 5 9 S T ;   H o f m a n n   B ,   2 0 0 5 ,   I N T   J   T E C H N O L   A S S E S S ,   V 2 1 ,   P 3 1 2 ;   I n s t i t u t e   o f   M e d i c i n e   C o m m i t t e e   o n   M e t h o d s   f o r   S e t t i n g   P r i o r i t i e s   f o r   G u i d e l i n e s   D e v e l o p m e n t ,   1 9 9 5 ,   S E T T I N G   P R I O R I T I E S   F ;   J a c o b s   A K ,   2 0 1 3 ,   J   A M   C O L L   C A R D I O L ,   V 6 1 ,   P 2 1 3 ,   D O I   1 0 . 1 0 1 6 / j . j a c c . 2 0 1 2 . 0 9 . 0 2 5 ;   J a e s c h k e   R ,   2 0 0 8 ,   B R I T   M E D   J ,   V 3 3 7 ,   D O I   1 0 . 1 1 3 6 / b m j . a 7 4 4 ;   S c h u n e m a n n   H J ,   2 0 0 7 ,   P L O S   M E D ,   V 4 ,   P 7 8 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 0 0 4 0 1 1 9 ;   K e l s o n   M a r c i a ,   2 0 1 2 ,   P r o c   A m   T h o r a c   S o c ,   V 9 ,   P 2 6 2 ,   D O I   1 0 . 1 5 1 3 / p a t s . 2 0 1 2 0 8 - 0 6 1 S T ;   K u n z   R e g i n a ,   2 0 1 2 ,   P r o c   A m   T h o r a c   S o c ,   V 9 ,   P 2 2 9 ,   D O I   1 0 . 1 5 1 3 / p a t s . 2 0 1 2 0 8 - 0 5 6 S T ;   M i n i s t r y   o f   H e a l t h   R e p u b l i c   o f   I n d o n e s i a ,   2 0 1 3 ,   M I N I S T R Y   O F   H E A L T H   R ;   O x m a n   A n d r e w   D ,   2 0 0 6 ,   H e a l t h   R e s   P o l i c y   S y s t ,   V 4 ,   P 1 2 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 8 - 4 5 0 5 - 4 - 1 2 ;   O x m a n   A n d r e w   D ,   2 0 0 6 ,   H e a l t h   R e s   P o l i c y   S y s t ,   V 4 ,   P 1 4 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 8 - 4 5 0 5 - 4 - 1 4 ;   O x m a n   A n d r e w   D ,   2 0 0 6 ,   H e a l t h   R e s   P o l i c y   S y s t ,   V 4 ,   P 1 9 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 8 - 4 5 0 5 - 4 - 1 9 ;   O x m a n   A n d r e w   D ,   2 0 0 6 ,   H e a l t h   R e s   P o l i c y   S y s t ,   V 4 ,   P 2 8 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 8 - 4 5 0 5 - 4 - 2 8 ;   O x m a n   A n d r e w   D ,   2 0 0 6 ,   H e a l t h   R e s   P o l i c y   S y s t ,   V 4 ,   P 2 4 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 8 - 4 5 0 5 - 4 - 2 4 ;   O x m a n   A n d r e w   D ,   2 0 0 6 ,   H e a l t h   R e s   P o l i c y   S y s t ,   V 4 ,   P 2 6 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 8 - 4 5 0 5 - 4 - 2 6 ;   O x m a n   A n d r e w   D ,   2 0 0 6 ,   H e a l t h   R e s   P o l i c y   S y s t ,   V 4 ,   P 2 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 8 - 4 5 0 5 - 4 - 2 0 ;   Q a s e e m   A ,   2 0 1 2 ,   A N N   I N T E R N   M E D ,   V 1 5 6 ,   P 5 2 5 ,   D O I   [ 1 0 . 7 3 2 6 / 0 0 0 3 - 4 8 1 9 - 1 5 6 - 7 - 2 0 1 2 0 4 0 3 0 - 0 0 0 0 9 ,   1 0 . 1 0 5 9 / 0 0 0 3 - 4 8 1 9 - 1 5 6 - 7 - 2 0 1 2 0 4 0 3 0 - 0 0 0 0 9 ] ;   R o s e n f e l d   R M ,   2 0 1 3 ,   O T O L A R Y N G   H E A D   N E C K ,   V 1 4 8 ,   p S 1 ,   D O I   1 0 . 1 1 7 7 / 0 1 9 4 5 9 9 8 1 2 4 6 7 0 0 4 ;   S c h  n e m a n n   H o l g e r   J ,   2 0 0 6 ,   H e a l t h   R e s   P o l i c y   S y s t ,   V 4 ,   P 2 2 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 8 - 4 5 0 5 - 4 - 2 2 ;   S c h  n e m a n n   H o l g e r   J ,   2 0 0 6 ,   H e a l t h   R e s   P o l i c y   S y s t ,   V 4 ,   P 2 1 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 8 - 4 5 0 5 - 4 - 2 1 ;   S c h  n e m a n n   H o l g e r   J ,   2 0 1 2 ,   P r o c   A m   T h o r a c   S o c ,   V 9 ,   P 2 1 5 ,   D O I   1 0 . 1 5 1 3 / p a t s . 2 0 1 2 0 8 - 0 5 3 S T ;   S c h  n e m a n n   H o l g e r   J ,   2 0 1 2 ,   P r o c   A m   T h o r a c   S o c ,   V 9 ,   P 2 8 2 ,   D O I   1 0 . 1 5 1 3 / p a t s . 2 0 1 2 0 8 - 0 6 4 S T ;   S c h u n e m a n n   H J ,   2 0 0 8 ,   B M J - B R I T   M E D   J ,   V 2 4 ,   P 3 3 6 ;   S c h  n e m a n n   H o l g e r   J ,   2 0 0 8 ,   B M J ,   V 3 3 6 ,   P 1 1 0 6 ,   D O I   1 0 . 1 1 3 6 / b m j . 3 9 5 0 0 . 6 7 7 1 9 9 . A E ;   S c h  n e m a n n   H o l g e r   J ,   2 0 0 6 ,   H e a l t h   R e s   P o l i c y   S y s t ,   V 4 ,   P 1 8 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 8 - 4 5 0 5 - 4 - 1 8 ;   S c h  n e m a n n   H o l g e r   J ,   2 0 0 6 ,   H e a l t h   R e s   P o l i c y   S y s t ,   V 4 ,   P 2 5 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 8 - 4 5 0 5 - 4 - 2 5 ;   S h e k e l l e   P ,   2 0 1 2 ,   I M P L E M E N T   S C I ,   V 7 ,   D O I   1 0 . 1 1 8 6 / 1 7 4 8 - 5 9 0 8 - 7 - 6 2 ;   S h i f f m a n   R N ,   2 0 0 3 ,   A N N   I N T E R N   M E D ,   V 1 3 9 ,   P 4 9 3 ;   S c h  n e m a n n   H o l g e r   J ,   2 0 0 6 ,   H e a l t h   R e s   P o l i c y   S y s t ,   V 4 ,   P 1 3 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 8 - 4 5 0 5 - 4 - 1 3 ;   T r e w e e k   S ,   2 0 1 3 ,   I M P L E M E N T   S C I ,   V 8 ,   D O I   1 0 . 1 1 8 6 / 1 7 4 8 - 5 9 0 8 - 8 - 6 ;   W i l s o n   K e v i n   C ,   2 0 1 2 ,   P r o c   A m   T h o r a c   S o c ,   V 9 ,   P 2 9 3 ,   D O I   1 0 . 1 5 1 3 / p a t s . 2 0 1 2 0 8 - 0 6 5 S T ;   W i l t   T i m o t h y   J ,   2 0 1 2 ,   P r o c   A m   T h o r a c   S o c ,   V 9 ,   P 2 4 3 ,   D O I   1 0 . 1 5 1 3 / p a t s . 2 0 1 2 0 8 - 0 5 8 S T ;   W o o l f   S ,   2 0 1 2 ,   I M P L E M E N T   S C I ,   V 7 ,   D O I   1 0 . 1 1 8 6 / 1 7 4 8 - 5 9 0 8 - 7 - 6 1 ;   Y a n g   K H ,   2 0 1 3 ,   H E A L T H   R E S   P O L I C Y   S Y ,   V 1 1 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 8 - 4 5 0 5 - 1 1 - 1 ;   Y a w n   B a r b a r a   P ,   2 0 1 2 ,   P r o c   A m   T h o r a c   S o c ,   V 9 ,   P 2 1 9 ,   D O I   1 0 . 1 5 1 3 / p a t s . 2 0 1 2 0 8 - 0 5 4 S T 	 1 0 1 	 4 	 4 	 C M A - C A N A D I A N   M E D I C A L   A S S O C 	 O T T A W A 	 1 8 6 7   A L T A   V I S T A   D R ,   O T T A W A ,   O N T A R I O   K 1 G   5 W 8 ,   C A N A D A 	 0 8 2 0 - 3 9 4 6 	 1 4 8 8 - 2 3 2 9 	 	 C A N   M E D   A S S O C   J 	 C a n .   M e d .   A s s o c .   J . 	 F E B   1 8 	 2 0 1 4 	 1 8 6 	 3 	 	 	 	 	 E 1 2 3 	 E 1 4 2 	 	 1 0 . 1 5 0 3 / c m a j . 1 3 1 2 3 7 	 	 2 0 	 M e d i c i n e ,   G e n e r a l   &   I n t e r n a l 	 G e n e r a l   &   I n t e r n a l   M e d i c i n e 	 A A 9 N M 	 W O S : 0 0 0 3 3 1 4 2 0 2 0 0 0 0 8 	 2 4 3 4 4 1 4 4 	 
 J 	 O i s h i ,   K ;   C e b r i a n ,   M ;   A b e l i u k ,   A ;   M a s u d a ,   N 	 	 	 	 O i s h i ,   K o j i ;   C e b r i a n ,   M a n u e l ;   A b e l i u k ,   A n d r e s ;   M a s u d a ,   N a o k i 	 	 	 I t e r a t e d   c r o w d s o u r c i n g   d i l e m m a   g a m e 	 S C I E N T I F I C   R E P O R T S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 T I T - F O R - T A T ;   P R I S O N E R S - D I L E M M A ;   S O C I A L   M O B I L I Z A T I O N ;   E V O L U T I O N ;   S T R A T E G Y 	 T h e   I n t e r n e t   h a s   e n a b l e d   t h e   e m e r g e n c e   o f   c o l l e c t i v e   p r o b l e m   s o l v i n g ,   a l s o   k n o w n   a s   c r o w d s o u r c i n g ,   a s   a   v i a b l e   o p t i o n   f o r   s o l v i n g   c o m p l e x   t a s k s .   H o w e v e r ,   t h e   o p e n n e s s   o f   c r o w d s o u r c i n g   p r e s e n t s   a   c h a l l e n g e   b e c a u s e   s o l u t i o n s   o b t a i n e d   b y   i t   c a n   b e   s a b o t a g e d ,   s t o l e n ,   a n d   m a n i p u l a t e d   a t   a   l o w   c o s t   f o r   t h e   a t t a c k e r .   W e   e x t e n d   a   p r e v i o u s l y   p r o p o s e d   c r o w d s o u r c i n g   d i l e m m a   g a m e   t o   a n   i t e r a t e d   g a m e   t o   a d d r e s s   t h i s   q u e s t i o n .   W e   e n u m e r a t e   p u r e   e v o l u t i o n a r i l y   s t a b l e   s t r a t e g i e s   w i t h i n   t h e   c l a s s   o f   s o - c a l l e d   r e a c t i v e   s t r a t e g i e s ,   i . e . ,   t h o s e   d e p e n d i n g   o n   t h e   l a s t   a c t i o n   o f   t h e   o p p o n e n t .   A m o n g   t h e   4 0 9 6   p o s s i b l e   r e a c t i v e   s t r a t e g i e s ,   w e   f i n d   1 6   s t r a t e g i e s   e a c h   o f   w h i c h   i s   s t a b l e   i n   s o m e   p a r a m e t e r   r e g i o n s .   R e p e a t e d   e n c o u n t e r s   o f   t h e   p l a y e r s   c a n   i m p r o v e   s o c i a l   w e l f a r e   w h e n   t h e   d a m a g e   i n f l i c t e d   b y   a n   a t t a c k   a n d   t h e   c o s t   o f   a t t a c k   a r e   b o t h   s m a l l .   U n d e r   t h e   c u r r e n t   f r a m e w o r k ,   r e p e a t e d   i n t e r a c t i o n s   d o   n o t   r e a l l y   a m e l i o r a t e   t h e   c r o w d s o u r c i n g   d i l e m m a   i n   a   m a j o r i t y   o f   t h e   p a r a m e t e r   s p a c e . 	 [ O i s h i ,   K o j i ]   U n i v   T o k y o ,   G r a d   S c h   E n g n ,   D e p t   A p p l   P h y s ,   B u n k y o   K u ,   T o k y o   1 1 3 8 6 5 6 ,   J a p a n ;   [ O i s h i ,   K o j i ;   M a s u d a ,   N a o k i ]   J S T ,   C R E S T ,   K a w a g u c h i ,   S a i t a m a   3 3 2 0 0 1 2 ,   J a p a n ;   [ C e b r i a n ,   M a n u e l ;   A b e l i u k ,   A n d r e s ]   U n i v   M e l b o u r n e ,   N a t l   I n f o r m a t   &   C o m m u n   T e c h n o l   A u s t r a l i a ,   M e l b o u r n e ,   V i c   3 0 1 0 ,   A u s t r a l i a ;   [ M a s u d a ,   N a o k i ]   U n i v   T o k y o ,   D e p t   M a t h   I n f o r m a t ,   B u n k y o   K u ,   T o k y o   1 1 3 8 6 5 6 ,   J a p a n 	 M a s u d a ,   N   ( r e p r i n t   a u t h o r ) ,   U n i v   T o k y o ,   G r a d   S c h   E n g n ,   D e p t   A p p l   P h y s ,   B u n k y o   K u ,   7 - 3 - 1   H o n g o ,   T o k y o   1 1 3 8 6 5 6 ,   J a p a n . 	 m a s u d a @ m i s t . i . u - t o k y o . a c . j p 	 	 	 C R E S T   J S T ;   A u s t r a l i a n   G o v e r n m e n t   a s   r e p r e s e n t e d   b y   D B C D E ;   M E X T ,   J a p a n   [ 2 3 6 8 1 0 3 3 ] ;   N a k a j i m a   F o u n d a t i o n ;   A i h a r a   I n n o v a t i v e   M a t h e m a t i c a l   M o d e l l i n g   P r o j e c t ;   J a p a n   S o c i e t y   f o r   t h e   P r o m o t i o n   o f   S c i e n c e   ( J S P S )   t h r o u g h   t h e   " F u n d i n g   P r o g r a m   f o r   W o r l d - L e a d i n g   I n n o v a t i v e   R & D   o n   S c i e n c e   a n d   T e c h n o l o g y   ( F I R S T   P r o g r a m ) " ;   C o u n c i l   f o r   S c i e n c e   a n d   T e c h n o l o g y   P o l i c y   ( C S T P ) ;   A R C   t h r o u g h   t h e   I C T   C e n t r e   o f   E x c e l l e n c e   p r o g r a m 	 K . O .   a c k n o w l e d g e s   t h e   s u p p o r t   p r o v i d e d   t h r o u g h   C R E S T   J S T .   M .   C .   a n d   A .   A .   a r e   s u p p o r t e d   b y   t h e   A u s t r a l i a n   G o v e r n m e n t   a s   r e p r e s e n t e d   b y   D B C D E   a n d   A R C   t h r o u g h   t h e   I C T   C e n t r e   o f   E x c e l l e n c e   p r o g r a m .   N . M .   a c k n o w l e d g e s   t h e   s u p p o r t   p r o v i d e d   t h r o u g h   G r a n t s - i n - A i d   f o r   S c i e n t i f i c   R e s e a r c h   ( N o .   2 3 6 8 1 0 3 3 )   f r o m   M E X T ,   J a p a n ,   t h e   N a k a j i m a   F o u n d a t i o n ,   C R E S T   J S T ,   a n d   t h e   A i h a r a   I n n o v a t i v e   M a t h e m a t i c a l   M o d e l l i n g   P r o j e c t ,   t h e   J a p a n   S o c i e t y   f o r   t h e   P r o m o t i o n   o f   S c i e n c e   ( J S P S )   t h r o u g h   t h e   " F u n d i n g   P r o g r a m   f o r   W o r l d - L e a d i n g   I n n o v a t i v e   R & D   o n   S c i e n c e   a n d   T e c h n o l o g y   ( F I R S T   P r o g r a m ) , "   i n i t i a t e d   b y   t h e   C o u n c i l   f o r   S c i e n c e   a n d   T e c h n o l o g y   P o l i c y   ( C S T P ) . 	 A l s t o t t   J . ,   2 0 1 3 ,   A R X I V 1 3 0 3 3 8 0 5 ;   A x e l r o d   R . ,   1 9 8 4 ,   E V O L U T I O N   C O O P E R A T I O ;   B a r r i n g t o n   L ,   2 0 1 2 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 9 ,   P 6 4 1 1 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 0 1 4 7 4 8 1 0 9 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   H a n d   E ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 6 8 5 ,   D O I   1 0 . 1 0 3 8 / 4 6 6 6 8 5 a ;   H e l l e r s t e i n   J M ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 7 7 ,   D O I   1 0 . 1 1 4 5 / 1 9 6 5 7 2 4 . 1 9 6 5 7 4 4 ;   H o r o w i t z   D . ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 4 3 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 3 5 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H u b e r m a n   B A ,   2 0 0 9 ,   J   I N F   S C I ,   V 3 5 ,   P 7 5 8 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 9 3 4 6 7 8 6 ;   I p e i r o t i s   P G ,   2 0 1 4 ,   D A T A   M I N   K N O W L   D I S C ,   V 2 8 ,   P 4 0 2 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 1 8 - 0 1 3 - 0 3 0 6 - 1 ;   K i t t u r   A ,   2 0 1 3 ,   P   2 0 1 3   C   C O M P   S U P P   C ,   P 1 3 0 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 4 4 1 7 7 6 . 2 4 4 1 9 2 3 ;   K R A I N E S   D ,   1 9 9 3 ,   T H E O R   D E C I S ,   V 3 5 ,   P 1 0 7 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 0 7 4 9 5 5 ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   N a r o d i t s k i y   V . ,   2 0 1 3 ,   A R X I V 1 3 0 4 3 5 4 8 ;   N O W A K   M ,   1 9 9 0 ,   A C T A   A P P L   M A T H ,   V 2 0 ,   P 2 4 7 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 0 4 9 5 7 0 ;   N O W A K   M ,   1 9 9 3 ,   N A T U R E ,   V 3 6 4 ,   P 5 6 ,   D O I   1 0 . 1 0 3 8 / 3 6 4 0 5 6 a 0 ;   N o w a k   M .   A . ,   2 0 0 6 ,   E V O L U T I O N A R Y   D Y N A M I C ;   N O W A K   M A ,   1 9 9 2 ,   N A T U R E ,   V 3 5 5 ,   P 2 5 0 ,   D O I   1 0 . 1 0 3 8 / 3 5 5 2 5 0 a 0 ;   O h t s u k i   H ,   2 0 0 4 ,   J   T H E O R   B I O L ,   V 2 3 1 ,   P 1 0 7 ,   D O I   1 0 . 1 0 1 6 / j . j t b i . 2 0 0 4 . 0 6 . 0 0 5 ;   P i c k a r d   G ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 4 ,   P 5 0 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 0 5 8 6 9 ;   R a h w a n   I ,   2 0 1 3 ,   C O M P U T E R ,   V 4 6 ,   P 6 8 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 1 2 . 2 9 5 ;   T a n g   J C ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 7 8 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 1 ;   T R I V E R S   R L ,   1 9 7 1 ,   Q   R E V   B I O L ,   V 4 6 ,   P 3 5 ,   D O I   1 0 . 1 0 8 6 / 4 0 6 7 5 5 ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   W a t t s   D ,   2 0 1 3 ,   P U B L I C   R E S P O N S E   A L E R ,   P 2 2 ;   Z h a n g   H ,   2 0 1 2 ,   P   1 1   I N T   C   A U T   A G   M U ,   V 2 ,   P 8 8 9 	 2 7 	 0 	 0 	 N A T U R E   P U B L I S H I N G   G R O U P 	 L O N D O N 	 M A C M I L L A N   B U I L D I N G ,   4   C R I N A N   S T ,   L O N D O N   N 1   9 X W ,   E N G L A N D 	 2 0 4 5 - 2 3 2 2 	 	 	 S C I   R E P - U K 	 S c i   R e p 	 F E B   1 4 	 2 0 1 4 	 4 	 	 	 	 	 	 	 	 4 1 0 0 	 1 0 . 1 0 3 8 / s r e p 0 4 1 0 0 	 	 7 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 A A 7 S D 	 W O S : 0 0 0 3 3 1 2 9 6 3 0 0 0 0 4 	 2 4 5 2 6 2 4 4 	 
 J 	 L e e ,   J ;   K l a d w a n g ,   W ;   L e e ,   M ;   C a n t u ,   D ;   A z i z y a n ,   M ;   K i m ,   H ;   L i m p a e c h e r ,   A ;   Y o o n ,   S ;   T r e u i l l e ,   A ;   D a s ,   R 	 	 	 	 L e e ,   J e e h y u n g ;   K l a d w a n g ,   W i p a p a t ;   L e e ,   M i n j a e ;   C a n t u ,   D a n i e l ;   A z i z y a n ,   M a r t i n ;   K i m ,   H a n j o o ;   L i m p a e c h e r ,   A l e x ;   Y o o n ,   S u n g r o h ;   T r e u i l l e ,   A d r i e n ;   D a s ,   R h i j u 	 	 E t e R N A   P a r t i c i p a n t s 	 R N A   d e s i g n   r u l e s   f r o m   a   m a s s i v e   o p e n   l a b o r a t o r y 	 P R O C E E D I N G S   O F   T H E   N A T I O N A L   A C A D E M Y   O F   S C I E N C E S   O F   T H E   U N I T E D   S T A T E S   O F   A M E R I C A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 R N A   f o l d i n g ;   c i t i z e n   s c i e n c e ;   h i g h - t h r o u g h p u t   e x p e r i m e n t s ;   c r o w d s o u r c i n g 	 S E L E C T I V E   2 ' - H Y D R O X Y L   A C Y L A T I O N ;   S E C O N D A R Y   S T R U C T U R E ;   A L G O R I T H M ;   S H A P E ;   C H A L L E N G E S ;   P R E D I C T I O N ;   R E S O L U T I O N ;   D I S C O V E R Y ;   J U N C T I O N S ;   P R O T O C O L 	 S e l f - a s s e m b l i n g   R N A   m o l e c u l e s   p r e s e n t   c o m p e l l i n g   s u b s t r a t e s   f o r   t h e   r a t i o n a l   i n t e r r o g a t i o n   a n d   c o n t r o l   o f   l i v i n g   s y s t e m s .   H o w e v e r ,   i m p e r f e c t   i n   s i l i c o   m o d e l s - e v e n   a t   t h e   s e c o n d a r y   s t r u c t u r e   l e v e l - h i n d e r   t h e   d e s i g n   o f   n e w   R N A s   t h a t   f u n c t i o n   p r o p e r l y   w h e n   s y n t h e s i z e d .   H e r e ,   w e   p r e s e n t   a   u n i q u e   a n d   p o t e n t i a l l y   g e n e r a l   a p p r o a c h   t o   s u c h   e m p i r i c a l   p r o b l e m s :   t h e   M a s s i v e   O p e n   L a b o r a t o r y .   T h e   E t e R N A   p r o j e c t   c o n n e c t s   3 7 , 0 0 0   e n t h u s i a s t s   t o   R N A   d e s i g n   p u z z l e s   t h r o u g h   a n   o n l i n e   i n t e r f a c e .   U n i q u e l y ,   E t e R N A   p a r t i c i p a n t s   n o t   o n l y   m a n i p u l a t e   s i m u l a t e d   m o l e c u l e s   b u t   a l s o   c o n t r o l   a   r e m o t e   e x p e r i m e n t a l   p i p e l i n e   f o r   h i g h - t h r o u g h p u t   R N A   s y n t h e s i s   a n d   s t r u c t u r e   m a p p i n g .   W e   s h o w   h e r e i n   t h a t   t h e   E t e R N A   c o m m u n i t y   l e v e r a g e d   d o z e n s   o f   c y c l e s   o f   c o n t i n u o u s   w e t   l a b o r a t o r y   f e e d b a c k   t o   l e a r n   s t r a t e g i e s   f o r   s o l v i n g   i n   v i t r o   R N A   d e s i g n   p r o b l e m s   o n   w h i c h   a u t o m a t e d   m e t h o d s   f a i l .   T h e   t o p   s t r a t e g i e s - i n c l u d i n g   s e v e r a l   p r e v i o u s l y   u n r e c o g n i z e d   n e g a t i v e   d e s i g n   r u l e s - w e r e   d i s t i l l e d   b y   m a c h i n e   l e a r n i n g   i n t o   a n   a l g o r i t h m ,   E t e R N A B o t .   O v e r   a   r i g o r o u s   1 - y   t e s t i n g   p h a s e ,   b o t h   t h e   E t e R N A   c o m m u n i t y   a n d   E t e R N A B o t   s i g n i f i c a n t l y   o u t p e r f o r m e d   p r i o r   a l g o r i t h m s   i n   a   d o z e n   R N A   s e c o n d a r y   s t r u c t u r e   d e s i g n   t e s t s ,   i n c l u d i n g   t h e   c r e a t i o n   o f   d e n d r i m e r - l i k e   s t r u c t u r e s   a n d   s c a f f o l d s   f o r   s m a l l   m o l e c u l e   s e n s o r s .   T h e s e   r e s u l t s   s h o w   t h a t   a n   o n l i n e   c o m m u n i t y   c a n   c a r r y   o u t   l a r g e - s c a l e   e x p e r i m e n t s ,   h y p o t h e s i s   g e n e r a t i o n ,   a n d   a l g o r i t h m   d e s i g n   t o   c r e a t e   p r a c t i c a l   a d v a n c e s   i n   e m p i r i c a l   s c i e n c e . 	 [ L e e ,   J e e h y u n g ;   L e e ,   M i n j a e ;   A z i z y a n ,   M a r t i n ;   L i m p a e c h e r ,   A l e x ;   T r e u i l l e ,   A d r i e n ]   C a r n e g i e   M e l l o n   U n i v ,   D e p t   C o m p   S c i ,   P i t t s b u r g h ,   P A   1 5 2 0 6   U S A ;   [ K l a d w a n g ,   W i p a p a t ;   C a n t u ,   D a n i e l ;   D a s ,   R h i j u ]   S t a n f o r d   U n i v ,   D e p t   B i o c h e m ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A ;   [ D a s ,   R h i j u ]   S t a n f o r d   U n i v ,   D e p t   P h y s ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A ;   [ K i m ,   H a n j o o ;   Y o o n ,   S u n g r o h ]   S e o u l   N a t l   U n i v ,   D e p t   E l e c t   &   C o m p   E n g n ,   S e o u l   1 5 1 7 4 1 ,   S o u t h   K o r e a 	 T r e u i l l e ,   A   ( r e p r i n t   a u t h o r ) ,   C a r n e g i e   M e l l o n   U n i v ,   D e p t   C o m p   S c i ,   P i t t s b u r g h ,   P A   1 5 2 0 6   U S A . 	 t r e u i l l e @ c s . c m u . e d u ;   r h i j u @ s t a n f o r d . e d u 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ E A G E R   ( E A r l y - c o n c e p t   G r a n t s   f o r   E x p l o r a t o r y   R e s e a r c h ) ]   [ I I S - 1 0 4 3 2 5 1 ] ;   N a t i o n a l   R e s e a r c h   F o u n d a t i o n   o f   K o r e a   [ 2 0 1 1 - 0 0 0 9 9 6 3 ] ;   B u r r o u g h s - W e l l c o m e   F o u n d a t i o n   C a r e e r   A w a r d ;   K e c k   M e d i c a l   R e s e a r c h   F o u n d a t i o n ;   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   [ R 0 1   R 0 1 G M 1 0 0 9 5 3 . ] 	 W e   t h a n k   t h e   f o l l o w i n g   c o l l e a g u e s   f o r   d i s c u s s i o n s   a n d   e x p e r t   a s s i s t a n c e   w i t h   p l a t f o r m   d e v e l o p m e n t :   M .   B a u m g a r t n e r ,   B .   B e t h r u m ,   J .   P .   B i d a ,   J .   C i s c o n ,   S .   F e d e r w i s c h ,   N .   F i s h e l ,   J .   F u ,   S .   G a i k w a d ,   T .   H u ,   P .   K i n n e y ,   K .   K i s e r ,   D .   K l i o n s k y ,   S .   K o o ,   S .   M o h a n ,   I .   R i e d e l -   K r u s e ,   A .   S i n g h ,   C .   S p i t a l e ,   C .   C .   V a n L a n g ,   a n d   M .   Y a o .   T h i s   w o r k   w a s   f u n d e d   b y   s e e d   g r a n t s   f r o m   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ E A G E R   ( E A r l y - c o n c e p t   G r a n t s   f o r   E x p l o r a t o r y   R e s e a r c h )   I I S - 1 0 4 3 2 5 1 ] ,   t h e   S t a n f o r d   B i o - X   I n t e r d i s c i p l i n a r y   I n i t i a t i v e   P r o g r a m ,   S t a n f o r d   M e d i a - X ,   N a t i o n a l   R e s e a r c h   F o u n d a t i o n   o f   K o r e a   G r a n t   2 0 1 1 - 0 0 0 9 9 6 3   ( t o   S .   Y . ) ,   a   B u r r o u g h s - W e l l c o m e   F o u n d a t i o n   C a r e e r   A w a r d   ( t o   R .   D . ) ,   t h e   K e c k   M e d i c a l   R e s e a r c h   F o u n d a t i o n ,   a n d   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   G r a n t   R 0 1   R 0 1 G M 1 0 0 9 5 3 . 	 B i d a   J P ,   2 0 1 2 ,   C U R R   O P I N   S T R U C   B I O L ,   V 2 2 ,   P 4 5 7 ,   D O I   1 0 . 1 0 1 6 / j . s b i . 2 0 1 2 . 0 6 . 0 0 3 ;   B R U C C O L E R I   R E ,   1 9 8 8 ,   C O M P U T   A P P L   B I O S C I ,   V 4 ,   P 1 6 7 ;   B U R G S T A L L E R   P ,   1 9 9 4 ,   A N G E W   C H E M   I N T   E D I T ,   V 3 3 ,   P 1 0 8 4 ,   D O I   1 0 . 1 0 0 2 / a n i e . 1 9 9 4 1 0 8 4 1 ;   C o r d e r o   P ,   2 0 1 2 ,   B I O C H E M I S T R Y - U S ,   V 5 1 ,   P 7 0 3 7 ,   D O I   1 0 . 1 0 2 1 / b i 3 0 0 8 8 0 2 ;   C o r d e r o   P ,   2 0 1 4 ,   M E T H O D S   M O L   B I O L ,   V 1 0 8 6 ,   P 5 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 6 2 7 0 3 - 6 6 7 - 2 _ 4 ;   D a s   R ,   2 0 1 0 ,   N A T   M E T H O D S ,   V 7 ,   P 2 9 1 ,   D O I   [ 1 0 . 1 0 3 8 / n m e t h . 1 4 3 3 ,   1 0 . 1 0 3 8 / N M E T H . 1 4 3 3 ] ;   D a s   R h i j u ,   2 0 0 8 ,   P r o c   N a t l   A c a d   S c i   U   S   A ,   V 1 0 5 ,   P 4 1 4 4 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 7 0 9 0 3 2 1 0 5 ;   D e l e b e c q u e   C J ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 3 ,   P 4 7 0 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 0 6 9 3 8 ;   D i r k s   R M ,   2 0 0 4 ,   N U C L E I C   A C I D S   R E S ,   V 3 2 ,   P 1 3 9 2 ,   D O I   1 0 . 1 0 9 3 / n a r / g k h 2 9 1 ;   D u c o n g e   F ,   2 0 0 0 ,   J   B I O L   C H E M ,   V 2 7 5 ,   P 2 1 2 8 7 ,   D O I   1 0 . 1 0 7 4 / j b c . M 0 0 2 6 9 4 2 0 0 ;   E f r o n   B ,   2 0 0 4 ,   A N N   S T A T ,   V 3 2 ,   P 4 0 7 ;   E i b e n   C B ,   2 0 1 2 ,   N A T   B I O T E C H N O L ,   V 3 0 ,   P 1 9 0 ,   D O I   1 0 . 1 0 3 8 / n b t . 2 1 0 9 ;   G o l d b e r g   M S ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 7 4 5 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 0 1 6 5 3 8 1 0 8 ;   H e l m s t a e d t e r   M ,   2 0 1 3 ,   N A T   M E T H O D S ,   V 1 0 ,   P 5 0 1 ,   D O I   [ 1 0 . 1 0 3 8 / n m e t h . 2 4 7 6 ,   1 0 . 1 0 3 8 / N M E T H . 2 4 7 6 ] ;   H o f a c k e r   I L ,   2 0 0 4 ,   C U R R   P R O T O C   B I O I N F O R ,   P 1 2 2 ;   J A C O B S O N   A B ,   1 9 9 3 ,   J   M O L   B I O L ,   V 2 3 3 ,   P 2 6 1 ,   D O I   1 0 . 1 0 0 6 / j m b i . 1 9 9 3 . 1 5 0 4 ;   J a e g e r   L ,   2 0 0 6 ,   C U R R   O P I N   S T R U C   B I O L ,   V 1 6 ,   P 5 3 1 ,   D O I   1 0 . 1 0 1 6 / j . s b i . 2 0 0 6 . 0 7 . 0 0 1 ;   J o s e   A M ,   2 0 0 1 ,   N U C L E I C   A C I D S   R E S ,   V 2 9 ,   P 1 6 3 1 ,   D O I   1 0 . 1 0 9 3 / n a r / 2 9 . 7 . 1 6 3 1 ;   K a n e f s k y   B ,   2 0 0 1 ,   P   3 2   A N N   L U N   P L A N   S C ;   K h a t i b   F ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 1 8 9 4 9 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 1 1 5 8 9 8 1 0 8 ;   K l a d w a n g   W ,   2 0 1 1 ,   B I O C H E M I S T R Y - U S ,   V 5 0 ,   P 8 0 4 9 ,   D O I   [ 1 0 . 1 0 2 1 / b i 2 0 0 5 2 4 n ,   1 0 . 1 0 2 1 / b i 4 2 0 0 5 2 4 n ] ;   K l a d w a n g   W ,   2 0 1 1 ,   N A T   C H E M ,   V 3 ,   P 9 5 4 ,   D O I   [ 1 0 . 1 0 3 8 / n c h e m . 1 1 7 6 ,   1 0 . 1 0 3 8 / N C H E M . 1 1 7 6 ] ;   L a i n g   C ,   2 0 0 9 ,   J   M O L   B I O L ,   V 3 9 3 ,   P 6 7 ,   D O I   1 0 . 1 0 1 6 / j . j m b . 2 0 0 9 . 0 7 . 0 8 9 ;   L a n d   K ,   2 0 0 8 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 8 8 ,   P 1 6 8 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 8 . 1 3 4 9 0 . x ;   L u c k s   J B ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 1 1 0 6 3 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 1 0 6 5 0 1 1 0 8 ;   M a t h e w s   D H ,   2 0 0 4 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 1 ,   P 7 2 8 7 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 4 0 1 7 9 9 1 0 1 ;   M a t h e w s   D H ,   1 9 9 9 ,   J   M O L   B I O L ,   V 2 8 8 ,   P 9 1 1 ,   D O I   1 0 . 1 0 0 6 / j m b i . 1 9 9 9 . 2 7 0 0 ;   M a t t i c k   J S ,   2 0 0 4 ,   N A T   R E V   G E N E T ,   V 5 ,   P 3 1 6 ,   D O I   1 0 . 1 0 3 8 / n r g 1 3 2 1 ;   M C C A S K I L L   J S ,   1 9 9 0 ,   B I O P O L Y M E R S ,   V 2 9 ,   P 1 1 0 5 ,   D O I   1 0 . 1 0 0 2 / b i p . 3 6 0 2 9 0 6 2 1 ;   M e r i n o   E J ,   2 0 0 5 ,   J   A M   C H E M   S O C ,   V 1 2 7 ,   P 4 2 2 3 ,   D O I   1 0 . 1 0 2 1 / j a 0 4 3 8 2 2 v ;   N E L D E R   J A ,   1 9 6 5 ,   C O M P U T   J ,   V 7 ,   P 3 0 8 ;   Q u a r r i e r   S ,   2 0 1 0 ,   R N A ,   V 1 6 ,   P 1 1 0 8 ,   D O I   1 0 . 1 2 6 1 / r n a . 1 9 8 8 5 1 0 ;   S c h i n d e l   D E ,   2 0 0 5 ,   N A T U R E ,   V 4 3 5 ,   P 1 7 ,   D O I   1 0 . 1 0 3 8 / 4 3 5 0 1 7 b ;   S E E M A N   N C ,   1 9 8 2 ,   J   T H E O R   B I O L ,   V 9 9 ,   P 2 3 7 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 2 - 5 1 9 3 ( 8 2 ) 9 0 0 0 2 - 9 ;   S e e t i n   M G ,   2 0 1 4 ,   M E T H O D S   M O L   B I O L ,   V 1 0 8 6 ,   P 9 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 6 2 7 0 3 - 6 6 7 - 2 _ 6 ;   S i n h a   J ,   2 0 1 0 ,   N A T   C H E M   B I O L ,   V 6 ,   P 4 6 4 ,   D O I   1 0 . 1 0 3 8 / n c h e m b i o . 3 6 9 ;   S t e l z e r   A C ,   2 0 1 1 ,   N A T   C H E M   B I O L ,   V 7 ,   P 5 5 3 ,   D O I   [ 1 0 . 1 0 3 8 / n c h e m b i o . 5 9 6 ,   1 0 . 1 0 3 8 / N C H E M B I O . 5 9 6 ] ;   W i n   M N ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 2 ,   P 4 5 6 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 1 1 ;   Y i l d i r i m   I ,   2 0 0 5 ,   B I O C H E M I S T R Y - U S ,   V 4 4 ,   P 1 3 2 2 5 ,   D O I   1 0 . 1 0 2 1 / b i 0 5 1 2 3 6 o ;   Y o o n   S ,   2 0 1 1 ,   B I O I N F O R M A T I C S ,   V 2 7 ,   P 1 7 9 8 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t r 2 7 7 ;   Z a d e h   J N ,   2 0 1 1 ,   J   C O M P U T   C H E M ,   V 3 2 ,   P 1 7 0 ,   D O I   1 0 . 1 0 0 2 / j c c . 2 1 5 9 6 	 4 1 	 5 	 5 	 N A T L   A C A D   S C I E N C E S 	 W A S H I N G T O N 	 2 1 0 1   C O N S T I T U T I O N   A V E   N W ,   W A S H I N G T O N ,   D C   2 0 4 1 8   U S A 	 0 0 2 7 - 8 4 2 4 	 	 	 P   N A T L   A C A D   S C I   U S A 	 P r o c .   N a t l .   A c a d .   S c i .   U .   S .   A . 	 F E B   1 1 	 2 0 1 4 	 1 1 1 	 6 	 	 	 	 	 2 1 2 2 	 2 1 2 7 	 	 1 0 . 1 0 7 3 / p n a s . 1 3 1 3 0 3 9 1 1 1 	 	 6 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 A A 3 N O 	 W O S : 0 0 0 3 3 0 9 9 9 6 0 0 0 2 7 	 2 4 4 6 9 8 1 6 	 
 J 	 O l s o n ,   P 	 	 	 	 O l s o n ,   P a r m y 	 	 	 C r o w d s o u r c i n g   C a p i t a l i s t s 	 F O R B E S 	 	 	 E n g l i s h 	 S o f t w a r e   R e v i e w 	 	 	 	 	 	 	 	 D u o l i n g o   t e a c h e s   E n g l i s h   t o   m i l l i o n s   f o r   f r e e ,   a s   t h e   n o n p r o f i t   K h a n   A c a d e m y   d o e s   w i t h   m a t h .   B u t   i t s   f o u n d e r s   w a n t   t o   m a k e   r e a l   m o n e y   s o   t h e   s e r v i c e   l a s t s . 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 F O R B E S   I N C 	 N E W   Y O R K 	 6 0   F I F T H   A V E ,   N E W   Y O R K ,   N Y   1 0 0 1 1   U S A 	 0 0 1 5 - 6 9 1 4 	 	 	 F O R B E S 	 F o r b e s 	 F E B   1 0 	 2 0 1 4 	 1 9 3 	 2 	 	 	 	 	 4 0 	 + 	 	 	 	 2 	 B u s i n e s s ,   F i n a n c e 	 B u s i n e s s   &   E c o n o m i c s 	 2 9 9 S U 	 W O S : 0 0 0 3 3 0 4 1 6 8 0 0 0 0 7 	 	 
 J 	 B e v e l a n d e r ,   K E ;   K a i p a i n e n ,   K ;   S w a i n ,   R ;   D o h l e ,   S ;   B o n g a r d ,   J C ;   H i n e s ,   P D H ;   W a n s i n k ,   B 	 	 	 	 B e v e l a n d e r ,   K i r s t e n   E . ;   K a i p a i n e n ,   K i r s i k k a ;   S w a i n ,   R o b e r t ;   D o h l e ,   S i m o n e ;   B o n g a r d ,   J o s h   C . ;   H i n e s ,   P a u l   D .   H . ;   W a n s i n k ,   B r i a n 	 	 	 C r o w d s o u r c i n g   N o v e l   C h i l d h o o d   P r e d i c t o r s   o f   A d u l t   O b e s i t y 	 P L O S   O N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 B O D Y - M A S S   I N D E X ;   A D O L E S C E N T   O B E S I T Y ;   B U I L T   E N V I R O N M E N T ;   P H Y S I C A L - A C T I V I T Y ;   U S   C H I L D R E N ;   W E I G H T ;   H E A L T H ;   M E T A A N A L Y S I S ;   P R E V A L E N C E ;   O V E R W E I G H T 	 E f f e c t i v e   a n d   s i m p l e   s c r e e n i n g   t o o l s   a r e   n e e d e d   t o   d e t e c t   b e h a v i o r s   t h a t   a r e   e s t a b l i s h e d   e a r l y   i n   l i f e   a n d   h a v e   a   s i g n i f i c a n t   i n f l u e n c e   o n   w e i g h t   g a i n   l a t e r   i n   l i f e .   C r o w d s o u r c i n g   c o u l d   b e   a   n o v e l   a n d   p o t e n t i a l l y   u s e f u l   t o o l   t o   a s s e s s   c h i l d h o o d   p r e d i c t o r s   o f   a d u l t   o b e s i t y .   T h i s   e x p l o r a t o r y   s t u d y   e x a m i n e d   w h e t h e r   c r o w d s o u r c i n g   c o u l d   g e n e r a t e   w e l l - d o c u m e n t e d   p r e d i c t o r s   i n   o b e s i t y   r e s e a r c h   a n d ,   m o r e o v e r ,   w h e t h e r   n e w   d i r e c t i o n s   f o r   f u t u r e   r e s e a r c h   c o u l d   b e   u n c o v e r e d .   P a r t i c i p a n t s   w e r e   r e c r u i t e d   t h r o u g h   s o c i a l   m e d i a   t o   a   q u e s t i o n - g e n e r a t i o n   w e b s i t e ,   o n   w h i c h   t h e y   a n s w e r e d   q u e s t i o n s   a n d   w e r e   a b l e   t o   p o s e   n e w   q u e s t i o n s   t h a t   t h e y   t h o u g h t   c o u l d   p r e d i c t   o b e s i t y .   D u r i n g   t h e   t w o   w e e k s   o f   d a t a   c o l l e c t i o n ,   5 3 2   p a r t i c i p a n t s   ( 6 2 %   f e m a l e ;   a g e   =   2 6 . 5   + / -   6 . 7 ;   B M I   =   2 9 . 0   + / -   7 . 0 )   r e g i s t e r e d   o n   t h e   w e b s i t e   a n d   s u g g e s t e d   a   t o t a l   o f   5 6   u n i q u e   q u e s t i o n s .   N i n e t e e n   o f   t h e s e   q u e s t i o n s   c o r r e l a t e d   w i t h   b o d y   m a s s   i n d e x   ( B M I )   a n d   c o v e r e d   s e v e r a l   t h e m e s   i d e n t i f i e d   b y   p r i o r   r e s e a r c h ,   s u c h   a s   p a r e n t i n g   s t y l e s   a n d   h e a l t h y   l i f e s t y l e .   M o r e   i m p o r t a n t l y ,   p a r t i c i p a n t s   w e r e   a b l e   t o   i d e n t i f y   p o t e n t i a l   d e t e r m i n a n t s   t h a t   w e r e   r e l a t e d   t o   a   l o w e r   B M I ,   b u t   h a v e   n o t   b e e n   t h e   s u b j e c t   o f   e x t e n s i v e   r e s e a r c h ,   s u c h   a s   p a r e n t s   p a c k i n g   t h e i r   c h i l d r e n ' s   l u n c h   t o   s c h o o l   o r   t a l k i n g   t o   t h e m   a b o u t   n u t r i t i o n .   T h e   f i n d i n g s   i n d i c a t e   t h a t   c r o w d s o u r c i n g   c a n   r e p r o d u c e   a l r e a d y   e x i s t i n g   h y p o t h e s e s   a n d   a l s o   g e n e r a t e   i d e a s   t h a t   a r e   l e s s   w e l l   d o c u m e n t e d .   T h e   c r o w d s o u r c e d   p r e d i c t o r s   d i s c o v e r e d   i n   t h i s   s t u d y   e m p h a s i z e   t h e   i m p o r t a n c e   o f   f a m i l y   i n t e r v e n t i o n s   t o   f i g h t   o b e s i t y .   T h e   q u e s t i o n s   g e n e r a t e d   b y   p a r t i c i p a n t s   a l s o   s u g g e s t   n e w   w a y s   t o   e x p r e s s   k n o w n   p r e d i c t o r s . 	 [ B e v e l a n d e r ,   K i r s t e n   E . ]   U n i v   A m s t e r d a m ,   D e p t   C o m m u n   S c i ,   A m s t e r d a m ,   N e t h e r l a n d s ;   [ K a i p a i n e n ,   K i r s i k k a ]   V T T   T e c h   R e s   C t r   F i n l a n d ,   T a m p e r e ,   F i n l a n d ;   [ S w a i n ,   R o b e r t ;   B o n g a r d ,   J o s h   C . ;   H i n e s ,   P a u l   D .   H . ]   U n i v   V e r m o n t ,   C o l l   E n g n   &   M a t h   S c i ,   B u r l i n g t o n ,   V T   U S A ;   [ D o h l e ,   S i m o n e ]   E T H ,   I n s t   E n v i r o n m   D e c i s ,   Z u r i c h ,   S w i t z e r l a n d ;   [ W a n s i n k ,   B r i a n ]   C o r n e l l   U n i v ,   C h a r l e s   H   D y s o n   S c h   A p p l   E c o n   &   M a n a g e m e n t ,   I t h a c a ,   N Y   U S A 	 K a i p a i n e n ,   K   ( r e p r i n t   a u t h o r ) ,   V T T   T e c h   R e s   C t r   F i n l a n d ,   T a m p e r e ,   F i n l a n d . 	 k i r s i k k a . k a i p a i n e n @ v t t . f i 	 	 	 S a l w e   R e s e a r c h   P r o g r a m   f o r   M i n d   a n d   B o d y   ( T e k e s   -   F i n n i s h   F u n d i n g   A g e n c y   f o r   T e c h n o l o g y   a n d   I n n o v a t i o n )   [ 1 1 0 4 / 1 0 ] ;   N S F - P E C A S E   [ 0 9 5 3 8 3 7 ] ;   D A R P A   [ W 9 1 1 N F - 1 - 1 1 - 0 0 7 6 ,   F A 8 6 5 0 - 1 1 - 1 - 7 1 5 5 ] ;   e n d o w e d   c h a i r   a t   C o r n e l l   U n i v e r s i t y ;   N S F   I G E R T   p r o g r a m   a t   U V M   [ 1 1 4 4 3 8 8 ] 	 K K   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   S a l w e   R e s e a r c h   P r o g r a m   f o r   M i n d   a n d   B o d y   ( T e k e s   -   F i n n i s h   F u n d i n g   A g e n c y   f o r   T e c h n o l o g y   a n d   I n n o v a t i o n   G r a n t   1 1 0 4 / 1 0 ) .   J C B   w a s   s u p p o r t e d   i n   p a r t   b y   N S F - P E C A S E   0 9 5 3 8 3 7   a n d   D A R P A   g r a n t s   W 9 1 1 N F - 1 - 1 1 - 0 0 7 6   a n d   F A 8 6 5 0 - 1 1 - 1 - 7 1 5 5 .   B W   w a s   s u p p o r t e d   b y   f u n d s   f r o m   h i s   e n d o w e d   c h a i r   a t   C o r n e l l   U n i v e r s i t y .   R S   w a s   s u p p o r t e d   b y   t h e   N S F   I G E R T   p r o g r a m   a t   U V M :   G r a n t   # 1 1 4 4 3 8 8 .   T h e   f u n d e r s   h a d   n o   r o l e   i n   s t u d y   d e s i g n ,   d a t a   c o l l e c t i o n   a n d   a n a l y s i s ,   d e c i s i o n   t o   p u b l i s h ,   o r   p r e p a r a t i o n   o f   t h e   m a n u s c r i p t . 	 A n s c h u t z   D J ,   2 0 0 9 ,   I N T   J   E A T   D I S O R D E R ,   V 4 2 ,   P 5 4 ,   D O I   1 0 . 1 0 0 2 / e a t . 2 0 5 6 9 ;   B e r g e   J M ,   2 0 1 0 ,   J   A D O L E S C E N T   H E A L T H ,   V 4 6 ,   P 3 3 1 ,   D O I   1 0 . 1 0 1 6 / j . j a d o h e a l t h . 2 0 0 9 . 0 8 . 0 0 4 ;   B e r g h o f e r   A ,   2 0 0 8 ,   B M C   P U B L I C   H L T H ,   V 8 ;   B i r c h   L L ,   2 0 0 0 ,   A M   J   C L I N   N U T R ,   V 7 1 ,   P 1 0 5 4 ;   B i r c h   L L ,   2 0 0 1 ,   A P P E T I T E ,   V 3 6 ,   P 2 0 1 ,   D O I   1 0 . 1 0 0 6 / a p p e . 2 0 0 1 . 0 3 9 8 ;   B l a i n e   B ,   2 0 0 8 ,   J   H E A L T H   P S Y C H O L ,   V 1 3 ,   P 1 1 9 0 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 9 1 0 5 3 0 8 0 9 5 9 7 7 ;   B o n g a r d   J C ,   2 0 1 2 ,   C R O W D S O U R C I N G   P R E D I C ,   P 1 ;   B o n n e y   R ,   2 0 0 9 ,   B I O S C I E N C E ,   V 5 9 ,   P 9 7 7 ,   D O I   1 0 . 1 5 2 5 / b i o . 2 0 0 9 . 5 9 . 1 1 . 9 ;   B o u c h a r d   C ,   2 0 0 7 ,   I N T   J   O B E S I T Y ,   V 3 1 ,   P 1 3 3 7 ,   D O I   1 0 . 1 0 3 8 / s j . i j o . 0 8 0 3 6 1 0 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r a n e n   L ,   1 9 9 9 ,   J   N U T R   E D U C ,   V 3 1 ,   P 3 0 4 ,   D O I   1 0 . 1 0 1 6 / S 0 0 2 2 - 3 1 8 2 ( 9 9 ) 7 0 4 8 3 - 8 ;   B r i n k   P J ,   2 0 0 7 ,   J   C H I L D   A D O L   P S Y C H O P ,   V 1 2 ;   B r i s b o i s   T D ,   2 0 1 2 ,   O B E S   R E V ,   V 1 3 ,   P 3 4 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 7 8 9 X . 2 0 1 1 . 0 0 9 6 5 . x ;   C D C ,   2 0 0 9 ,   O V   O B   C A U S   C O N S ;   C h a t z i m i l i o u d i s   G ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 3 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 7 0 ;   D a n n e r   F W ,   2 0 0 8 ,   J   P E D I A T R   P S Y C H O L ,   V 3 3 ,   P 1 1 0 0 ,   D O I   1 0 . 1 0 9 3 / j p e p s y / j s n 0 3 4 ;   D e   B o e r   V ,   2 0 1 2 ,   K N O W   E N G   K N O W   M A N A G ,   V 7 6 0 3 ,   P 1 6 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 9 ;   D O N O V A N   J E ,   1 9 9 3 ,   J   H E A L T H   S O C   B E H A V ,   V 3 4 ,   P 3 4 6 ,   D O I   1 0 . 2 3 0 7 / 2 1 3 7 3 7 2 ;   D r e w n o w s k i   A ,   2 0 0 4 ,   A M   J   C L I N   N U T R ,   V 7 9 ,   P 6 ;   F a i t h   M S ,   2 0 0 4 ,   O B E S   R E S ,   V 1 2 ,   P 1 7 1 1 ,   D O I   1 0 . 1 0 3 8 / o b y . 2 0 0 4 . 2 1 2 ;   F e n g   J ,   2 0 1 0 ,   H E A L T H   P L A C E ,   V 1 6 ,   P 1 7 5 ,   D O I   1 0 . 1 0 1 6 / j . h e a l t h p l a c e . 2 0 0 9 . 0 9 . 0 0 8 ;   F i n u c a n e   M M ,   2 0 1 1 ,   L A N C E T ,   V 3 7 7 ,   P 5 5 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 0 - 6 7 3 6 ( 1 0 ) 6 2 0 3 7 - 5 ;   F l e g a l   K M ,   2 0 0 5 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 9 3 ,   P 1 8 6 1 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 0 0 9 . 2 0 1 4 ;   F u l l e r   J ,   2 0 1 2 ,   A D V   I N T   M A R K E T ,   V 2 3 ,   P 1 3 7 ;   G l e a s o n   P M ,   2 0 0 9 ,   J   A M   D I E T   A S S O C ,   V 1 0 9 ,   p S 1 1 8 ,   D O I   1 0 . 1 0 1 6 / j . j a d a . 2 0 0 8 . 1 0 . 0 5 8 ;   G r a f o v a   I B ,   2 0 0 8 ,   P R E V   M E D ,   V 4 7 ,   P 3 0 4 ,   D O I   1 0 . 1 0 1 6 / j . y p m e d . 2 0 0 8 . 0 4 . 0 1 2 ;   G r u b e r   K J ,   2 0 0 9 ,   P R E V   C H R O N I C   D I S ,   V 6 ;   H e s k e t h   K ,   2 0 0 4 ,   I N T   J   O B E S I T Y ,   V 2 8 ,   P 1 2 3 3 ,   D O I   1 0 . 1 0 3 8 / s j . i j o . 0 8 0 2 6 2 4 ;   H o n a k e r   J ,   2 0 1 1 ,   J   S T A T   S O F T W ,   V 4 5 ,   P 1 ;   I m a i   K ,   2 0 0 6 ,   Z E L I G   E V E R Y O N S   S T A T ;   J a n s s e n   I ,   2 0 0 4 ,   P E D I A T R I C S ,   V 1 1 3 ,   P 1 1 8 7 ,   D O I   1 0 . 1 5 4 2 / p e d s . 1 1 3 . 5 . 1 1 8 7 ;   K i t t u r ,   2 0 1 0 ,   X R D S ,   V 1 7 ,   P 2 2 ;   K o h a n e   I S ,   2 0 0 5 ,   N E W   E N G L   J   M E D ,   V 3 5 3 ,   P 2 0 7 4 ,   D O I   1 0 . 1 0 5 6 / N E J M s b 0 5 1 2 2 0 ;   K u e   Y o u n g   T ,   2 0 0 0 ,   J   P E D I A T ,   V 1 3 6 ,   P 3 6 5 ;   l ' A l l e m a n d   D ,   2 0 0 8 ,   O B E S I T Y ,   V 1 6 ;   M a r s h a l l   S J ,   2 0 0 4 ,   I N T   J   O B E S I T Y ,   V 2 8 ,   P 1 2 3 8 ,   D O I   1 0 . 1 0 3 8 / s j . i j o . 0 8 0 2 7 0 6 ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   M u s t   A ,   2 0 0 5 ,   I N T   J   O B E S I T Y ,   V 2 9 ,   p S 8 4 ,   D O I   1 0 . 1 0 3 8 / s j . i j o . 0 8 0 3 0 6 4 ;   N i c k l a s   T A ,   2 0 0 4 ,   J   A M   D I E T   A S S O C ,   V 1 0 4 ,   P 7 5 3 ,   D O I   1 0 . 1 0 1 6 / j . j a d a . 2 0 0 4 . 0 2 . 0 3 0 ;   O g d e n   C L ,   2 0 0 2 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 8 8 ,   P 1 7 2 8 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 0 1 2 . 4 0 ;   O k a s h a   M ,   2 0 0 3 ,   J   E P I D E M I O L   C O M M U N   H ,   V 5 7 ,   P 5 0 8 ,   D O I   1 0 . 1 1 3 6 / j e c h . 5 7 . 7 . 5 0 8 ;   P a r k e r   A G ,   2 0 1 2 ,   P   C H I   1 2   C I T ,   P 9 9 ;   P a t e l   S R ,   2 0 0 8 ,   O B E S I T Y ,   V 1 6 ;   P a t r i c k   H ,   2 0 0 5 ,   A P P E T I T E ,   V 4 4 ,   P 2 4 3 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 0 2 . 0 7 . 0 0 1 ;   P e a r c e   M J ,   2 0 0 2 ,   O B E S   R E S ,   V 1 0 ,   P 3 8 6 ,   D O I   1 0 . 1 0 3 8 / o b y . 2 0 0 2 . 5 3 ;   P i n e   S ,   2 0 0 1 ,   P E D I A T R I C S ,   V 1 0 7 ,   P 1 0 4 9 ;   P o e t z   M K ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x ;   P o w e r   C ,   2 0 0 0 ,   P   N U T R   S O C ,   V 5 9 ,   P 2 6 7 ,   D O I   1 0 . 1 0 1 7 / S 0 0 2 9 6 6 5 1 0 0 0 0 0 2 9 X ;   P r e s t o p n i k   N R ,   2 0 1 2 ,   P   2 0 1 2   I C O N F E R E N C E ,   P 1 6 8 ;   P u h l   R e b e c c a   M ,   2 0 0 3 ,   E a t   B e h a v ,   V 4 ,   P 2 8 3 ,   D O I   1 0 . 1 0 1 6 / S 1 4 7 1 - 0 1 5 3 ( 0 3 ) 0 0 0 2 4 - 2 ;   R a d d i c k   M   J o r d a n ,   2 0 1 0 ,   A s t r o n o m y   E d u c a t i o n   R e v i e w ,   V 9 ,   D O I   1 0 . 3 8 4 7 / A E R 2 0 0 9 0 3 6 ;   S h i r k   J L ,   2 0 1 2 ,   E C O L   S O C ,   V 1 7 ,   D O I   1 0 . 5 7 5 1 / E S - 0 4 7 0 5 - 1 7 0 2 2 9 ;   S i n g h   A S ,   2 0 0 8 ,   O B E S   R E V ,   V 9 ,   P 4 7 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 7 8 9 X . 2 0 0 8 . 0 0 4 7 5 . x ;   S i n h a   A ,   2 0 0 9 ,   O B E S   S U R G ,   V 1 9 ,   P 1 1 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 6 9 5 - 0 0 8 - 9 6 5 0 - 4 ;   S p e n c e   A ,   2 0 1 0 ,   A U S T R A L A S I A N   E P I D E M I ,   V 1 7 ,   P 1 7 ;   S w a n   M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 8 8 ;   v a n   S t r i e n   T ,   2 0 0 8 ,   I N T   J   E A T   D I S O R D E R ,   V 4 1 ,   P 7 2 ,   D O I   1 0 . 1 0 0 2 / e a t . 2 0 4 2 4 ;   V a r t a n i a n   L R ,   2 0 0 7 ,   A M   J   P U B L I C   H E A L T H ,   V 9 7 ,   P 6 6 7 ,   D O I   1 0 . 2 1 0 5 / A J P H . 2 0 0 5 . 0 8 3 7 8 2 ;   V i n e r   R M ,   2 0 0 6 ,   I N T   J   O B E S I T Y ,   V 3 0 ,   P 1 3 6 8 ,   D O I   1 0 . 1 0 3 8 / s j . i j o . 0 8 0 3 1 8 3 ;   V i n e r   R M ,   2 0 0 5 ,   J   P E D I A T R - U S ,   V 1 4 7 ,   P 4 2 9 ,   D O I   1 0 . 1 0 1 6 / j . j p e d s . 2 0 0 5 . 0 5 . 0 0 5 ;   W e i t z m a n   E R ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 9 2 5 6 ;   W h i t a k e r   R C ,   1 9 9 7 ,   N E W   E N G L   J   M E D ,   V 3 3 7 ,   P 8 6 9 ,   D O I   1 0 . 1 0 5 6 / N E J M 1 9 9 7 0 9 2 5 3 3 7 1 3 0 1 ;   Z h o n g   B ,   2 0 1 1 ,   C O M P U T   H U M   B E H A V ,   V 2 7 ,   P 1 2 6 5 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 1 . 0 1 . 0 0 8 	 6 4 	 0 	 0 	 P U B L I C   L I B R A R Y   S C I E N C E 	 S A N   F R A N C I S C O 	 1 1 6 0   B A T T E R Y   S T R E E T ,   S T E   1 0 0 ,   S A N   F R A N C I S C O ,   C A   9 4 1 1 1   U S A 	 1 9 3 2 - 6 2 0 3 	 	 	 P L O S   O N E 	 P L o S   O n e 	 F E B   5 	 2 0 1 4 	 9 	 2 	 	 	 	 	 	 	 e 8 7 7 5 6 	 1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 8 7 7 5 6 	 	 1 4 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 A A 1 A T 	 W O S : 0 0 0 3 3 0 8 2 9 2 0 0 0 6 9 	 2 4 5 0 5 3 1 0 	 
 J 	 D a r r o w ,   J J 	 	 	 	 D a r r o w ,   J o n a t h a n   J . 	 	 	 C r o w d s o u r c i n g   C l i n i c a l   T r i a l s 	 M I N N E S O T A   L A W   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 A D V E R S E   D R U G - R E A C T I O N S ;   I N F O R M E D - C O N S E N T ;   P U B L I C - H E A L T H ;   M I N I - S E N T I N E L ;   S A M P L E - S I Z E ;   P R E S C R I P T I O N   D R U G S ;   R A N D O M I Z E D - T R I A L S ;   D E V E L O P M E N T   C O S T S ;   R I S K - E V A L U A T I O N ;   S A F E T Y 	 	 [ D a r r o w ,   J o n a t h a n   J . ]   H a r v a r d   U n i v ,   S c h   M e d ,   C a m b r i d g e ,   M A   0 2 1 3 8   U S A ;   [ D a r r o w ,   J o n a t h a n   J . ]   B r i g h a m   &   W o m e n s   H o s p ,   D i v   P h a r m a c o e p i d e m i o l   &   P h a r m a c o e c o n ,   P O R T A L ,   B o s t o n ,   M A   0 2 1 1 5   U S A 	 D a r r o w ,   J J   ( r e p r i n t   a u t h o r ) ,   H a r v a r d   U n i v ,   S c h   M e d ,   C a m b r i d g e ,   M A   0 2 1 3 8   U S A . 	 	 	 	 	 	 A h m a d   S R ,   2 0 0 3 ,   J   G E N   I N T E R N   M E D ,   V 1 8 ,   P 5 7 ,   D O I   1 0 . 1 0 4 6 / j . 1 5 2 5 - 1 4 9 7 . 2 0 0 3 . 2 0 1 3 0 . x ;   A n d e r s o n   E ,   1 9 9 7 ,   S L O A N   M A N A G E   R E V ,   V 3 8 ,   P 5 9 ;   A N G E L L   M A R C I A ,   2 0 0 4 ,   T H E   T R U T H   A B O U T   T H E ,   P 7 6 ;   [ A n o n y m o u s ] ,   M E D   W A T C H   O N L I N E   V O L ;   [ A n o n y m o u s ] ,   F D A   1 0 1   H O W   T O   U S E   T ;   [ A n o n y m o u s ] ,   A B O U T   C U R E T O G E T H E R ;   [ A n o n y m o u s ] ,   F D A   A D V E R S E   E V E N T   R E ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   W E R E   C R O W D   S O U R C I N G ;   [ A n o n y m o u s ] ,   W H A T   M I L L I O N S   O F   P A T ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   P R E S C R I B E   I N T L ,   V 2 1 ,   P 1 0 7 ;   [ A n o n y m o u s ] ,   B L A C K   T R I A N G L E   S C H E M ;   [ A n o n y m o u s ] ,   A B O U T   D I Y G E N O M I C S ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   N A T U R E   G E N E T I C S ,   V 4 3 ,   P 2 7 9 ;   [ A n o n y m o u s ] ,   2 0 0 9 ,   C O N S U M E R   R E P O R T S ;   [ A n o n y m o u s ] ,   2 0 0 1 ,   T H E   C A S E   A G A I N S T   T H E ,   P 1 ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   R E P O R T I N G   S E R I O U S   P R ;   [ A n o n y m o u s ] ,   C L I N I C A L   S T U D I E S   A T ;   [ A n o n y m o u s ] ,   R E P O R T S   R E C E I V E D   A N D ;   [ A n o n y m o u s ] ,   A B O U T   M I N I   S E N T I N E L ;   [ A n o n y m o u s ] ,   2 0 1 0 ,   A D H D   D R U G   L I N K E D   T O ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   F D A   C O M M I S S I O N E R   R E M ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   H O W   C O N S U M E R S   C A N   R E ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   L A   R E V U E   P R E S C R I B E ,   V 3 2 ,   P 1 3 4 ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   L A   R E V U E   P R E S C R I B E ,   V 3 2 ,   P 1 3 5 ;   [ A n o n y m o u s ] ,   1 8 9 0 ,   V I I   T R A N S A C T I O N S   O F ,   P 3 5 5 ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   P R E S C R I B E   I N T L ,   V 2 1 ,   P 1 0 6 ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   E C O N O M I S T   T E C H   Q ;   [ A n o n y m o u s ] ,   W E L C O M E   T O   T H E   E M O R Y ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   F D A S   S E N T I N E L   I N I T I A ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   F O O D   D R U G   L A W   J ,   V 6 7 ,   P 9 1 ;   [ A n o n y m o u s ] ,   2 0 0 7 ,   A P P L E   I N S I D E R ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   F D A   S C I   B D   S U B C O M M ;   [ A n o n y m o u s ] ,   2 0 0 4 ,   P R N E W S W I R E ;   A n t h e r a   P h a r m .   I n c . ,   2 0 1 2 ,   Q U A R T E R L Y   R E P O R T ,   P 2 9 ;   A r m i j o - O l i v o   S u s a n ,   2 0 0 9 ,   P H Y S I C A L   T H E R A P Y   R E N ,   V 1 4 ,   P 4 5 ;   A r m i j o - O l i v o   S u s a n ,   2 0 0 9 ,   P H Y S   T H E R A P Y   R E V ,   V 1 4 ,   P 3 6 ,   D O I   D O I   1 0 . 1 1 7 9 / 1 7 4 3 2 8 8 0 9 X 4 0 5 9 2 8 ] ;   A v e r b a c h   A l b e r t ,   1 9 6 9 ,   S T   J O H N S   L   R E V ,   V 4 3 ,   P 5 3 5 ;   A v e r b a c h   A l b e r t ,   1 9 6 9 ,   S T   J O H N S   L   R E V ,   V 4 3 ,   P 5 5 4 ;   A v e r y   L a u r a ,   2 0 1 1 ,   F D A   V E T E R I N A R I A N   N E W ;   B a c i u   A l i n a ,   2 0 0 7 ,   T H E   F U T U R E   O F   D R U G   S ,   P 1 7 1 ;   B a r t o w   A ,   2 0 1 0 ,   M I C H   L A W   R E V ,   V 1 0 8 ,   P 1 0 7 9 ;   B a r t o w   A n n ,   2 0 1 0 ,   M I C H   L A W   R E V ,   V 1 0 8 ,   P 1 1 0 1 ;   B e r e n s o n   A l e x ,   2 0 0 5 ,   N   Y   T i m e s   W e b ,   p C 3 ;   B e r l i n   J A ,   2 0 0 8 ,   A M   J   P U B L I C   H E A L T H ,   V 9 8 ,   P 1 3 6 6 ,   D O I   1 0 . 2 1 0 5 / A J P H . 2 0 0 7 . 1 2 4 5 3 7 ;   B e r l i n   J e s s e   A . ,   2 0 0 8 ,   A M   J   P U B L I C   H E A L T H ,   V 9 8 ,   P 1 3 6 7 ;   B e r r y   D C ,   2 0 0 2 ,   L A N C E T ,   V 3 5 9 ,   P 8 5 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 0 - 6 7 3 6 ( 0 2 ) 0 7 9 2 3 - 0 ;   B O K   S ,   1 9 7 4 ,   S C I   A M ,   V 2 3 1 ,   P 1 7 ;   B O W E R   J L ,   1 9 9 5 ,   H A R V A R D   B U S   R E V ,   V 7 3 ,   P 4 3 ;   B r o d y   H ,   2 0 1 1 ,   A M   J   P U B L I C   H E A L T H ,   V 1 0 1 ,   P 3 9 9 ,   D O I   1 0 . 2 1 0 5 / A J P H . 2 0 1 0 . 1 9 9 8 4 4 ;   B R O D Y   H ,   1 9 8 2 ,   A N N   I N T E R N   M E D ,   V 9 7 ,   P 1 1 2 ;   C a n t o r   D a n i e l   A . ,   1 9 9 5 ,   A M   U   L   R E V ,   V 4 4 ,   P 1 8 5 3 ;   C a n t o r   D a n i e l   A . ,   1 9 9 5 ,   A M   U   L   R E V ,   V 4 4 ,   P 1 8 6 8 ;   C H O U   R O G E R ,   2 0 0 6 ,   C O M P A R A T I V E   E F F E C T I V ,   P 3 ;   C o a k l e y   M e g h a n   F . ,   2 0 1 3 ,   B I G   D A T A ,   V 1 ,   P 1 8 3 ;   C O U N C I L   F O R   I N T ' L   O R G S .   O F   M E D .   S C I ,   2 0 0 2 ,   I N T   E T H   G U I D   B I O M   R E ,   P 4 ;   C o v e   S a r a h ,   2 0 0 7 ,   W I R E D ;   C T R S .   F O R   M E D I C A R E   &   M E D I C A I D   S E R V E .   G U I D A N C E   F O R   T H E   P U B L I C   I N D U S T R Y   A N D   C M S   S T A F F ,   2 0 0 6 ,   G U I D A N C E   F O R   T H E   P U B ,   p I I I ;   D a r r o w   J o n a t h a n   J . ,   T H E S I S ;   D a r r o w   J o n a t h a n   J . ,   2 0 1 1 ,   J   L A W   M E D   E T H I C S ,   V 3 9 ,   P 2 9 4 ;   D a r r o w   J J ,   2 0 1 1 ,   J   L A W   M E D   E T H I C S ,   V 3 9 ,   P 2 9 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 8 - 7 2 0 X . 2 0 1 1 . 0 0 5 9 9 . x ;   D a v i s   J J ,   2 0 0 0 ,   J   H E A L T H   C O M M U N ,   V 5 ,   P 3 4 9 ,   D O I   1 0 . 1 0 8 0 / 1 0 8 1 0 7 3 0 0 5 0 1 9 9 1 4 1 ;   D a v i s   J o e l   J . ,   2 0 0 0 ,   J   H E A L T H   C O M M   I N T L   P ,   V 5 ,   P 3 6 5 ;   D i e p p e   P A ,   2 0 0 4 ,   B R I T   M E D   J ,   V 3 2 9 ,   P 8 6 7 ,   D O I   1 0 . 1 1 3 6 / b m j . 3 2 9 . 7 4 7 1 . 8 6 7 ;   D i e p p e   P a u l   A . ,   2 0 0 4 ,   B R I T   M E D   J ,   V 3 2 9 ,   P 8 6 8 ;   D i M a s i   J A ,   2 0 0 3 ,   J   H E A L T H   E C O N ,   V 2 2 ,   P 1 5 1 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 6 2 9 6 ( 0 2 ) 0 0 1 2 6 - 1 ;   D i M a s i   J o s e p h   A . ,   2 0 0 3 ,   J   H L T H   E C ,   V 2 2 ,   P 1 5 3 ;   D o l g i n   J a n e t   L . ,   2 0 0 6 ,   H O F S T R A   L A W   R E V ,   V 3 5 ,   P 7 0 5 ;   D o l g i n   J a n e t   L . ,   2 0 0 6 ,   H O F S T R A   L   R E V ,   V 3 5 ,   P 7 1 1 ;   D o m i n g o s   P ,   2 0 1 2 ,   C O M M U N   A C M ,   V 5 5 ,   P 7 8 ,   D O I   1 0 . 1 1 4 5 / 2 3 4 7 7 3 6 . 2 3 4 7 7 5 5 ;   D o m i n g o s   P e d r o ,   2 0 1 2 ,   C O M M U N   A C M ,   V 5 5 ,   P 8 5 ;   D O N N E R   A ,   1 9 8 4 ,   S T A T   M E D ,   V 3 ,   P 1 9 9 ,   D O I   1 0 . 1 0 0 2 / s i m . 4 7 8 0 0 3 0 3 0 2 ;   D u n n   G ,   2 0 0 5 ,   S T A T   M E T H O D S   M E D   R E S ,   V 1 4 ,   P 3 2 5 ,   D O I   1 0 . 1 1 9 1 / 0 9 6 2 2 8 0 2 0 5 s m 4 0 2 e d ;   E i c h l e r   H a n s - G e o r g ,   2 0 0 8 ,   N A T U R E   R E V I E W S   D R U G ,   V 7 ,   P 8 2 2 ;   E i c h l e r   H a n s - G e o r g ,   2 0 1 2 ,   P R E S E N T A T I O N   A T   B R I G ;   E i c h l e r   H G ,   2 0 0 8 ,   N A T   R E V   D R U G   D I S C O V ,   V 7 ,   P 8 1 8 ,   D O I   1 0 . 1 0 3 8 / n r d 2 6 6 4 ;   E v a n s   B a r b a r a   J . ,   2 0 1 0 ,   N O T R E   D A M E   L   R E V ,   V 8 5 ,   P 4 9 8 ;   E v a n s   B J ,   2 0 1 0 ,   N O T R E   D A M E   L A W   R E V ,   V 8 5 ,   P 4 1 9 ;   F A Y E R S   P M ,   1 9 9 5 ,   B R I T   J   C A N C E R ,   V 7 2 ,   P 1 ,   D O I   1 0 . 1 0 3 8 / b j c . 1 9 9 5 . 2 6 8 ;   F i s h e r   J A ,   2 0 0 6 ,   K E N N E D Y   I N S T   E T H I C   J ,   V 1 6 ,   P 2 5 1 ,   D O I   1 0 . 1 3 5 3 / k e n . 2 0 0 6 . 0 0 1 8 ;   F i s h e r   J A ,   2 0 0 8 ,   S O C   S C I   M E D ,   V 6 6 ,   P 2 4 9 5 ,   D O I   1 0 . 1 0 1 6 / j . s o c s c i m e d . 2 0 0 8 . 0 2 . 0 0 1 ;   F I S H E R   J I L L   A . ,   2 0 0 9 ,   M E D I C A L   R E S E A R C H   F O R ,   P 2 5 ;   F i s h e r   J i l l   A . ,   2 0 0 6 ,   K E N N E D Y   I N S T   E T H I C   J ,   V 1 6 ,   P 2 5 6 ;   F i s h e r   J i l l   A . ,   2 0 0 8 ,   S O C   S C I   M E D ,   V 6 6 ,   P 2 5 0 3 ;   F O O D   &   D R U G   A D M I N ,   2 0 1 2 ,   R E F E R E N C E   I D   3 1 0 5 4 7 1 ;   F O O D   &   D R U G   A D M I N ,   2 0 0 9 ,   G U I D A N C E   F O R   I N D U S T R ,   P 1 4 ;   F O O D   &   D R U G   A D M I N ,   2 0 0 5 ,   G U I D A N C E   F O R   I N D U S T R ,   P 4 ;   F O O D   &   D R U G   A D M I N ,   2 0 0 5 ,   G U I D A N C E   F O R   I N D U S T R ,   P 3 ;   F O O D   &   D R U G   A D M I N ,   2 0 0 9 ,   M E M O R A N D U M   O F   A G R E E M ,   P 2 ;   F O O D   &   D R U G   A D M I N ,   2 0 1 0 ,   M I L L I O N   L I V E S ,   V 2 5 ,   P 2 ;   F o r e s m a n   C h r i s ,   2 0 1 2 ,   A B S   T E C H N I C A ;   F o r r o w   S ,   2 0 1 2 ,   P H A R M A C O E P I D E M   D R   S ,   V 2 1 ,   P 1 2 ,   D O I   1 0 . 1 0 0 2 / p d s . 2 2 4 2 ;   F o r r o w   S u s a n ,   2 0 1 2 ,   P H A R M A C O E P I D E M   D R   S ,   V 2 1 ,   P 1 3 ;   F o r t e   A n d r e a ,   2 0 0 5 ,   W H Y   D O   P E O P L E   W R I T E ,   P 4 ;   F o x   B ,   2 0 1 2 ,   F O O D   D R U G   L A W   J ,   V 6 7 ,   P 8 3 ;   F o x   S t e v e ,   2 0 0 6 ,   N E W A S S I G N M E N T   N E T ;   F R I E D M A N   L A W R E N C E   M . ,   2 0 1 0 ,   F U N D A M E N T A L S   O F   C L I N ,   P 1 4 8 ;   G a m a c h e   V a l e r i e ,   2 0 0 1 ,   C E N T E R W A T C H ,   V 8 ,   P 1 ;   G a t t e r   R ,   2 0 0 0 ,   L o y o l a   U n i v   C h i c   L a w   J ,   V 3 1 ,   P 5 5 7 ;   G e o r g e   S t e p h e n   L . ,   1 9 7 4 ,   J   C H R O N   D I S ,   V 2 7 ,   P 1 5 ;   G i a c c o t t o   C ,   2 0 0 5 ,   J   L A W   E C O N ,   V 4 8 ,   P 1 9 5 ,   D O I   1 0 . 1 0 8 6 / 4 2 6 8 8 2 ;   G i a c c o t t o   C a r m e l o ,   2 0 0 5 ,   J   L A W   E C O N ,   V 4 8 ,   P 2 1 2 ;   G i l e s   J ,   2 0 0 5 ,   N A T U R E ,   V 4 3 8 ,   P 9 0 0 ,   D O I   1 0 . 1 0 3 8 / 4 3 8 9 0 0 a ;   G i l h o o l e y   M a r g a r e t ,   2 0 1 1 ,   H e a l t h   M a t r i x   C l e v e l ,   V 2 1 ,   P 9 7 ;   G o l d m a n   S t e p h e n   A . ,   1 9 9 5 ,   C L I N   I M P A C T   A D V E R S E ,   P 1 ;   G R A T Z E R   D A V I D ,   2 0 0 6 ,   T H E   C U R E   H O W   C A P I T A L ,   P 1 5 8 ;   G r e e n e r   M ,   2 0 0 5 ,   E M B O   R E P ,   V 6 ,   P 2 0 2 ,   D O I   1 0 . 1 0 3 8 / s j . e m b o r . 7 4 0 0 3 5 3 ;   G r e e n e r   M a r k ,   2 0 0 5 ,   E M B O   R E P ,   V 6 ,   P 2 0 3 ;   H a y   S i m o n   I . ,   2 0 1 3 ,   P L O S   M E D I C I N E ;   H e l l e r   R F ,   2 0 0 7 ,   B   W O R L D   H E A L T H   O R G A N ,   V 8 5 ,   P 9 3 0 ,   D O I   1 0 . 2 4 7 1 / B L T . 0 7 . 0 4 4 3 8 8 ;   H e l l e r   R i c h a r d   F . ,   2 0 0 7 ,   B U L L   W O R L D   H E A L T H   O R ,   V 8 5 ,   P 9 3 1 ;   H E Y T I N G   A ,   1 9 9 2 ,   S T A T   M E D ,   V 1 1 ,   P 2 0 4 3 ,   D O I   1 0 . 1 0 0 2 / s i m . 4 7 8 0 1 1 1 6 0 3 ;   H O L M E V I K   J A N   R U N E ,   2 0 1 2 ,   I N T E R N E N T I O N   F R E E   P L ,   P 4 3 ;   H o w e   J e f f ,   2 0 0 6 ,   W I R E D                         J U N ,   P 1 7 7 ;   I s s a   A m a l i a   M ,   2 0 0 7 ,   C u r r   D r u g   S a f ,   V 2 ,   P 1 7 7 ,   D O I   1 0 . 2 1 7 4 / 1 5 7 4 8 8 6 0 7 7 8 1 6 6 8 8 5 5 ;   I s s a   A m a l i a   M . ,   2 0 0 7 ,   C U R R E N T   D R U G   S A F E T Y ,   V 2 ,   P 1 7 9 ;   J A I N   K E W A L   K . ,   2 0 1 0 ,   T H E   H A N D B O O K   O F   H I O M ,   P 1 0 7 ;   J e f f   H o w e   C r o w d s o u r c i n g ,   2 0 1 3 ,   C R O W D S O U R C I N G ;   J o f f e   S t e v e n ,   2 0 1 0 ,   T H E   E T H I C S   O F   C O N S E N ,   P 3 6 9 ;   J o h n   C a r e y   V y t o r i n ,   2 0 0 8 ,   B L O O M B E R G   B U S I N E S S W E ;   K a p t c h u k   T J ,   2 0 0 1 ,   J   C L I N   E P I D E M I O L ,   V 5 4 ,   P 5 4 1 ,   D O I   1 0 . 1 0 1 6 / S 0 8 9 5 - 4 3 5 6 ( 0 0 ) 0 0 3 4 7 - 4 ;   K A T Z   J A Y ,   1 9 8 4 ,   S I L E N T   W O R L D   D O C T O R ,   P 2 8 ;   K a u f m a n   M ,   1 9 6 7 ,   B u l l   H i s t   M e d ,   V 4 1 ,   P 4 6 3 ;   K a u f m a n   M a r t i n ,   1 9 6 7 ,   B   H I S T   M E D ,   V 4 1 ,   P 4 7 1 ;   K i r s c h   I r v i n g ,   1 9 9 8 ,   P R E V E N T I O N   T R E A T M E N T ,   V 1 ,   D O I   D O I   1 0 . 1 0 3 7 / 1 5 2 2 - 3 7 3 6 . 1 . 1 . 1 2 A ;   K i r s c h   I r v i n g ,   2 0 0 2 ,   P R E V E N T I O N   T R E A T M E N T ,   P 1 0 ;   K n a p p   P . ,   2 0 0 9 ,   B A R R   J   H E A L T H   P S Y C H O ,   V 1 4 ,   P 5 8 0 ;   K n a p p   P ,   2 0 0 9 ,   B R I T   J   H E A L T H   P S Y C H ,   V 1 4 ,   P 5 7 9 ,   D O I   1 0 . 1 3 4 8 / 1 3 5 9 1 0 7 0 8 X 3 7 5 3 4 4 ;   K r o h n   L a u r e n ,   1 9 8 6 ,   C A U S E S   A C T I O N ,   P 1 ;   K r o h n   L a u r e n ,   1 9 8 6 ,   C A U S E S   O F   A C T I O N ,   P 1 7 ;   L A C H I N   J M ,   1 9 8 1 ,   C O N T R O L   C L I N   T R I A L S ,   V 2 ,   P 9 3 ,   D O I   1 0 . 1 0 1 6 / 0 1 9 7 - 2 4 5 6 ( 8 1 ) 9 0 0 0 1 - 5 ;   L a n s b u r y   P e t e r ,   2 0 0 3 ,   W E L L   W A S H   P O S T ,   p B 2 ;   L E W I S   J A ,   1 9 8 1 ,   T R E N D S   P H A R M A C O L   S C I ,   V 2 ,   P 9 3 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 5 - 6 1 4 7 ( 8 1 ) 9 0 2 7 5 - 3 ;   L i n d o r   R a c h e l   A . ,   2 0 1 2 ,   J U R I M E T R I C S   J ,   V 5 2 ,   P 2 1 0 ;   L i n d o r   R a c h e l   A . ,   2 0 1 2 ,   J U R I M E T R I C S   J ,   V 5 2 ,   P 2 0 9 ;   L i n d s e y   J a n e   C . ,   1 9 9 8 ,   A I D S   P A T I E N T   C A R E   S T ,   V 1 2 ,   P 2 7 6 ;   L i n d s e y   J C ,   1 9 9 8 ,   A I D S   P A T I E N T   C A R E   S T ,   V 1 2 ,   P 2 7 5 ,   D O I   1 0 . 1 0 8 9 / a p c . 1 9 9 8 . 1 2 . 2 7 5 ;   L o h r   S t e v e ,   2 0 0 9 ,   N   Y   T I M E S ,   p B U 4 ;   M a l i n o w s k i   M i c h a e l   J . ,   2 0 1 2 ,   C A R D O Z O   L   R E V ,   V 3 3 ,   P 1 0 8 5 ;   M a l i n o w s k i   M i c h a e l   J . ,   2 0 1 2 ,   C A R D O Z O L   R E V ,   V 3 3 ,   P 1 1 2 1 ;   M a r t i n   R M ,   1 9 9 8 ,   B R I T   M E D   J ,   V 3 1 7 ,   P 1 1 9 ;   M c C a r t h y   T o m ,   2 0 1 2 ,   G U A R D I A N ;   M c D o n n e l l   P a t r i c k ,   2 0 1 0 ,   M O D E R N   P H A R M A C E U T I C A ,   P 1 8 9 ;   M e l b y   E l i z a b e t h   C . ,   2 0 0 3 ,   S C H O L A R ,   V 5 ,   P 3 3 2 ;   M e l b y   E l i z a b e t h   C . ,   2 0 0 3 ,   S C H O L A R ,   V 5 ,   P 3 2 5 ;   M o o r e   A n d r e w ,   2 0 0 4 ,   P U L S E ,   P 4 2 ;   M u l l a r d   A ,   2 0 1 2 ,   N A T   R E V   D R U G   D I S C O V ,   V 1 1 ,   P 2 5 5 ,   D O I   1 0 . 1 0 3 8 / n r d 3 7 1 3 ;   M u l l a r d   A s h e r ,   2 0 1 2 ,   N A T U R E   R E V I E W S   D R U G ,   V 1 1 ,   P 2 5 6 ;   N i c h o l s o n   S C ,   2 0 1 2 ,   D R U G   S A F E T Y ,   V 3 5 ,   P 9 1 ,   D O I   1 0 . 2 1 6 5 / 1 1 5 9 7 8 4 0 - 0 0 0 0 0 0 0 0 0 - 0 0 0 0 0 ;   N o a h   L ,   2 0 0 2 ,   A M   J   L A W   M E D ,   V 2 8 ,   P 3 6 1 ;   N o a h   L a r s ,   2 0 0 2 ,   A M   J   L   M E D ,   V 2 8 ,   P 3 6 7 ;   N u n d y   S ,   2 0 0 5 ,   N E W   E N G L   J   M E D ,   V 3 5 2 ,   P 1 6 3 3 ,   D O I   1 0 . 1 0 5 6 / N E J M p 0 4 8 3 6 1 ;   N u n d y   S a m i r a n ,   2 0 0 5 ,   N E W   E N G L   J   M E D ,   V 3 5 2 ,   P 1 6 3 4 ;   O F F I C E   O F   I N S P E C T O R   G E N ,   2 0 0 6 ,   O E I   0 1   0 4   0 0 3 9 0 ,   p [ i i i ,   1 7 ] ;   O f f i c e   o f   S u r v e i l l a n c e   a n d   E p i d e m i o l o g y   ( O S E ) ,   O F F I C E   O F   S U R V E I L L A N ;   O n o f r e y   B r u c e   E . ,   2 0 1 3 ,   R E V   O P T O M E T R Y ,   P 3 0 ;   P l a t t   R ,   2 0 1 2 ,   P H A R M A C O E P I D E M   D R   S ,   V 2 1 ,   P 1 ,   D O I   1 0 . 1 0 0 2 / p d s . 2 3 4 3 ;   P l a t t   R i c h a r d ,   2 0 1 2 ,   P H A R M A C O E P I D E M   D R   S ,   V 2 1 ;   P o l o v i n a   J D ,   2 0 1 2 ,   G E O R G E T O W N   L A W   J ,   V 1 0 0 ,   P 2 2 9 1 ;   P o l o v i n a   J u l i e   D . ,   2 0 1 2 ,   G E O R G E T O W N   L A W   J ,   V 1 0 0 ,   P 2 3 1 0 ;   P r a k a s h   S n i g d h a ,   2 0 0 7 ,   T I M E L I N E   T H E   R I S E   A N ;   Q a t o   D M ,   2 0 1 1 ,   J A M A - J   A M   M E D   A S S O C ,   V 3 0 6 ,   P 1 5 9 5 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 0 1 1 . 1 4 5 7 ;   Q u r e s h i   Z a i n a   P . ,   2 0 1 1 ,   P H A R M A C O E P I D E M   D R   S ,   V 2 0 ,   P 7 7 5 ;   Q u r e s h i   Z P ,   2 0 1 1 ,   P H A R M A C O E P I D E M   D R   S ,   V 2 0 ,   P 7 7 2 ,   D O I   1 0 . 1 0 0 2 / p d s . 2 1 5 5 ;   R A C O O S I N   J U D I T H   A . ,   2 0 1 2 ,   P H A R M A C O E P I D E M   D R   S ,   P 5 4 4 ;   R e d m a n   B K ,   2 0 0 6 ,   S C I   E N G   E T H I C S ,   V 1 2 ,   P 4 8 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 9 4 8 - 0 0 6 - 0 0 4 6 - 3 ;   R e d m a n   B a r b a r a   K . ,   2 0 0 6 ,   S C I   E N G G   E T H I C S ,   V 1 2 ,   P 4 8 2 ;   R o b b   M e l i s s a ,   2 0 1 2 ,   F D A   V O I C E ;   R o g e r s   A u d r e y   S m i t h ,   1 9 8 8 ,   A R C S I V E S   O F   I N T E R N A L ,   V 1 4 8 ,   P 1 5 9 8 ;   R o g e r s   A u d r e y   S m i t h ,   1 9 8 8 ,   A R C S I V E S   O F   I N T E R N A L ,   V 1 4 8 ,   P 1 6 0 0 ;   R O S S I   A   C ,   1 9 8 4 ,   J o u r n a l   o f   t h e   A m e r i c a n   M e d i c a l   A s s o c i a t i o n ,   V 2 5 2 ,   P 1 0 3 0 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 5 2 . 8 . 1 0 3 0 ;   R O T H M A N   D A V I D   J . ,   1 9 9 1 ,   S T R A N G E R S ,   P 1 ;   R O Z O V S K Y   F A Y   A . ,   2 0 1 2 ,   C O N S E N T   T O   T R E A T M E N T ;   S a c k e t t   D L ,   2 0 0 0 ,   C A N   M E D   A S S O C   J ,   V 1 6 2 ,   P 1 3 0 1 ;   S c h w a r t z   L i s a   M . ,   2 0 0 9 ,   A N N   I N T E R N   M E D ,   V 1 5 0 ,   P 5 2 4 ;   S c h w a r t z   L M ,   2 0 0 9 ,   A N N   I N T E R N   M E D ,   V 1 5 0 ,   P 5 1 6 ;   S c h w a r t z   M a r k   I . ,   2 0 0 8 ,   F O O D   D R U G   L A W   J ,   V 6 3 ,   P 3 ;   S c h w a r t z   M I ,   2 0 0 8 ,   F O O D   D R U G   L A W   J ,   V 6 3 ,   P 1 ;   S c h w a r t z   P H ,   2 0 0 8 ,   J   G E N   I N T E R N   M E D ,   V 2 3 ,   P 8 6 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 6 0 6 - 0 0 8 - 0 6 1 6 - y ;   S c o t t   D e n m a n ,   1 9 8 7 ,   R   I   M E D   J ,   V 7 0 ,   P 3 1 1 ;   S c o t t   D e n m a n ,   1 9 8 7 ,   R   I   M E D   J ,   V 7 0 ,   P 3 1 6 ;   S h a m o o   A   E ,   2 0 0 1 ,   A c c o u n t   R e s ,   V 8 ,   P 1 9 7 ,   D O I   1 0 . 1 0 8 0 / 0 8 9 8 9 6 2 0 1 0 8 5 7 3 9 7 4 ;   S h i f f m a n   S ,   2 0 1 1 ,   A N N   P H A R M A C O T H E R ,   V 4 5 ,   P 4 5 2 ,   D O I   1 0 . 1 3 4 5 / a p h . 1 P 4 7 7 ;   S h i f f m a n   S a u l ,   2 0 1 1 ,   A N N A L S   P H A R M A C O T H E R A ,   V 4 5 ,   P 4 5 6 ;   S l o v i c   P ,   2 0 0 7 ,   D R U G   I N F   J ,   V 4 1 ,   P 8 1 ;   S l o v i c   P a u l ,   2 0 0 7 ,   D R U G   I N F   J ,   V 4 1 ,   P 9 8 ;   S u n   Y ,   2 0 1 2 ,   I E E E   S I G N A L   P R O C   M A G ,   V 2 9 ,   P 8 7 ,   D O I   1 0 . 1 1 0 9 / M S P . 2 0 1 1 . 9 4 2 3 4 4 ;   S u s a n   C .   N i c h o l s o n ,   2 0 1 2 ,   D R U G   S A F E T Y ,   V 3 5 ,   P 1 0 2 ;   S w a n   M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 8 8 ;   S w a n   M e l a n i e ,   2 0 1 0 ,   J   P A R T I C I P A T O R Y   M E D ;   T A S K   F O R C E   O N   R I S K   M G M T .   F O O D   &   D R U G   A D M I N . ,   1 9 9 9 ,   M A N A G I N G   T H E   R I S K S   F ,   P 2 8 ;   T i e d t   T h o m a s   N . ,   2 0 0 7 ,   F O O D   D R U G   L A W   J ,   V 6 2 ,   P 5 4 8 ;   T i e d t   T N ,   2 0 0 7 ,   F O O D   D R U G   L A W   J ,   V 6 2 ,   P 5 4 7 ;   T I E T Z   G F ,   1 9 8 6 ,   W A S H   L A W   R E V ,   V 6 1 ,   P 3 6 7 ;   T i l b u r t   J o n   C . ,   2 0 0 8 ,   B R I T I S H   M E D   J ,   V 3 3 7 ,   P 3 ;   T i t m u s s   R ,   1 9 9 8 ,   S O C I E T Y ,   V 3 5 ,   P 8 8 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 8 3 8 1 3 2 ;   T i t m u s s   R i c h a r d ,   1 9 9 8 ,   S O C Y ,   V 3 5 ,   P 9 3 ;   T o r r e y   T r i s h a ,   I S   I T   P O S S I B L E   N E W L Y ;   T r a y n o r   K ,   2 0 1 2 ,   A M   J   H E A L T H - S Y S T   P H ,   V 6 9 ,   P 9 2 ,   D O I   1 0 . 2 1 4 6 / n e w s 1 2 0 0 0 7 ;   T r a y n o r   K a t e ,   2 0 1 2 ,   A M   J   H E A L T H   S Y S   P H A R ,   V 6 9 ,   P 9 4 ;   U . S .   G O V T   A C C O U N T A B I L I T Y   O F F I C E ,   2 0 0 6 ,   G A O 0 6 1 0 0 0 T ,   P 5 ;   W a g n e r   D a v i d ,   2 0 1 3 ,   A M   W I R E ;   W a l k e r   S c o t ,   2 0 1 2 ,   D R U G   T O P I C S ,   P 2 4 ;   W a l l i s   C l a u d i a ,   2 0 1 0 ,   T I M E ,   P 1 8 ;   W e i s s - S m i t h   S ,   2 0 1 1 ,   A R C H   I N T E R N   M E D ,   V 1 7 1 ,   P 5 9 1 ,   D O I   1 0 . 1 0 0 1 / a r c h i n t e r n m e d . 2 0 1 1 . 8 9 ;   W H I T L O C K   C H U C K ,   2 0 0 3 ,   M E D I S C A M S   D A N G E R O U S ,   P 2 2 4 ;   W I L L A R D   N A N C Y   E . ,   2 0 1 2 ,   C Y B E R   S A V V Y   E M B R A C I N ,   P 7 4 ;   W i l s o n   A ,   2 0 1 1 ,   F O O D   D R U G   L A W   J ,   V 6 6 ,   P 5 6 9 ;   W i l s o n   A n d r e w ,   2 0 1 1 ,   F O O D   D R U G   L A W   J ,   V 6 6 ,   P 5 7 4 ;   W i n t e r s t e i n   A G ,   2 0 1 0 ,   A R C H   I N T E R N   M E D ,   V 1 7 0 ,   P 1 3 1 7 ,   D O I   1 0 . 1 0 0 1 / a r c h i n t e r n m e d . 2 0 1 0 . 2 6 3 ;   W i n t e r s t e i n   A l m u t   G . ,   2 0 1 0 ,   A R C H   I N T E R N   M E D ,   V 1 7 0 ,   P 1 3 1 9 ;   W o l f   J a m e s   R . ,   2 0 1 1 ,   D E C I S I O N   S M ,   V 4 2 ,   P 4 7 ;   W o l f   J R ,   2 0 1 1 ,   D E C I S I O N   S C I ,   V 4 2 ,   P 4 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 9 1 5 . 2 0 1 0 . 0 0 3 0 1 . x ;   W o l f e   R M ,   2 0 0 2 ,   B R I T   M E D   J ,   V 3 2 5 ,   P 4 3 0 ,   D O I   1 0 . 1 1 3 6 / b m j . 3 2 5 . 7 3 6 1 . 4 3 0 ;   W o l f   R o b e r t   M . ,   2 0 0 2 ,   B R I T   M E D   J ,   V 3 2 5 ,   P 4 3 1 ;   W o r l d   M e d i c a l   A s s o c i a t i o n   [ W M A ] ,   2 0 0 8 ,   D E C L A R A T I O N   O F   H E L S I ;   Y i n   H .   S h o n n a ,   2 0 1 2 ,   A C A D   P E D I A T R I C S ,   V 1 2 ,   P 2 8 8 ;   Y i n   H .   S h o n n a ,   2 0 1 2 ,   A C A D   P E D I A T R I C S ,   V 1 2 ,   P 2 9 4 ;   Y o u n g   J e f f r e y   R . ,   2 0 0 9 ,   C H R O N   H I G H E R   E D U C ,   p A 1 ;   Y o u n g e r   P a u l a ,   2 0 1 1 ,   U S I N G   W E B   2   0   F O R   H E ;   Y U S U F   S ,   1 9 8 4 ,   S T A T   M E D ,   V 3 ,   P 4 0 9 ,   D O I   1 0 . 1 0 0 2 / s i m . 4 7 8 0 0 3 0 4 2 1 ;   Y u s u f   S a l i m ,   1 9 8 4 ,   S T A T   M E D ,   V 3 ,   P 4 1 2 ;   Z e l e n a y   J L ,   2 0 0 5 ,   F O O D   D R U G   L A W   J ,   V 6 0 ,   P 2 6 1 ;   Z e l e n a y   J r   J a m e s   L . ,   2 0 0 5 ,   F O O D   D R U G   L A W   J ,   V 6 0 ,   P 3 0 8 ;   Z i c k l i n   E r i c ,   1 9 9 4 ,   S P Y ,   P 1 8 	 2 2 4 	 2 	 2 	 M I N N   L A W   R E V I E W   F O U N D 	 M I N N E A P O L I S 	 2 2 9   1 9 T H   A V E   S O U T H   U N I V   M I N N E S O T A ,   M I N N E A P O L I S ,   M N   5 5 4 5 5   U S A 	 0 0 2 6 - 5 5 3 5 	 	 	 M I N N   L A W   R E V 	 M i n n .   L a w   R e v . 	 F E B 	 2 0 1 4 	 9 8 	 3 	 	 	 	 	 8 0 5 	 8 6 7 	 	 	 	 6 3 	 L a w 	 G o v e r n m e n t   &   L a w 	 A S 0 B P 	 W O S : 0 0 0 3 4 3 9 4 3 9 0 0 0 0 1 	 	 
 J 	 V e r t a n e n ,   K ;   K r i s t e n s s o n ,   P O 	 	 	 	 V e r t a n e n ,   K e i t h ;   K r i s t e n s s o n ,   P e r   O l a 	 	 	 C o m p l e m e n t i n g   T e x t   E n t r y   E v a l u a t i o n s   w i t h   a   C o m p o s i t i o n   T a s k 	 A C M   T R A N S A C T I O N S   O N   C O M P U T E R - H U M A N   I N T E R A C T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 H u m a n   F a c t o r s ;   E x p e r i m e n t a t i o n ;   T e x t   e n t r y   e v a l u a t i o n ;   c o m p o s i t i o n ;   t r a n s c r i p t i o n ;   c r o w d s o u r c i n g 	 	 A   c o m m o n   m e t h o d o l o g y   f o r   e v a l u a t i n g   t e x t   e n t r y   m e t h o d s   i s   t o   a s k   p a r t i c i p a n t s   t o   t r a n s c r i b e   a   p r e d e f i n e d   s e t   o f   m e m o r a b l e   s e n t e n c e s   o r   p h r a s e s .   I n   t h i s   a r t i c l e ,   w e   e x p l o r e   i f   w e   c a n   c o m p l e m e n t   t h e   c o n v e n t i o n a l   t r a n s c r i p t i o n   t a s k   w i t h   a   m o r e   e x t e r n a l l y   v a l i d   c o m p o s i t i o n   t a s k .   I n   a   s e r i e s   o f   l a r g e - s c a l e   c r o w d s o u r c e d   e x p e r i m e n t s ,   w e   f o u n d   t h a t   p a r t i c i p a n t s   c o u l d   c o n s i s t e n t l y   a n d   r a p i d l y   i n v e n t   h i g h   q u a l i t y   a n d   c r e a t i v e   c o m p o s i t i o n s   w i t h   o n l y   m o d e s t   r e d u c t i o n s   i n   e n t r y   r a t e s .   B a s e d   o n   o u r   s e r i e s   o f   e x p e r i m e n t s ,   w e   p r o v i d e   a   b e s t - p r a c t i c e   p r o c e d u r e   f o r   u s i n g   c o m p o s i t i o n   t a s k s   i n   t e x t   e n t r y   e v a l u a t i o n s .   T h i s   i n c l u d e s   a   j u d g i n g   p r o t o c o l   w h i c h   c a n   b e   p e r f o r m e d   e i t h e r   b y   t h e   e x p e r i m e n t e r s   o r   b y   c r o w d s o u r c e d   w o r k e r s   o n   a   m i c r o t a s k   m a r k e t .   W e   e v a l u a t e d   o u r   c o m p o s i t i o n   t a s k   p r o c e d u r e   u s i n g   a   t e x t   e n t r y   m e t h o d   u n f a m i l i a r   t o   p a r t i c i p a n t s .   O u r   e m p i r i c a l   r e s u l t s   s h o w   t h a t   t h e   c o m p o s i t i o n   t a s k   c a n   s e r v e   a s   a   v a l i d   c o m p l e m e n t a r y   t e x t   e n t r y   e v a l u a t i o n   m e t h o d . 	 [ V e r t a n e n ,   K e i t h ]   M o n t a n a   T e c h   U n i v ,   D e p t   C o m p   S c i ,   B u t t e ,   M T   5 9 7 0 1   U S A ;   [ K r i s t e n s s o n ,   P e r   O l a ]   U n i v   S t   A n d r e w s ,   S c h   C o m p   S c i ,   S t   A n d r e w s   K Y 1 6   9 S X ,   F i f e ,   S c o t l a n d 	 V e r t a n e n ,   K   ( r e p r i n t   a u t h o r ) ,   M o n t a n a   T e c h   U n i v ,   D e p t   C o m p   S c i ,   1 3 0 0   W e s t   P k   S t ,   B u t t e ,   M T   5 9 7 0 1   U S A . 	 k v e r t a n e n @ m t e c h . e d u ;   p o k @ s t - a n d r e w s . a c . u k 	 	 	 E n g i n e e r i n g   a n d   P h y s i c a l   S c i e n c e s   R e s e a r c h   C o u n c i l   [ E P / H 0 2 7 4 0 8 / 1 ] ;   S c o t t i s h   I n f o r m a t i c s   a n d   C o m p u t e r   S c i e n c e   A l l i a n c e 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   E n g i n e e r i n g   a n d   P h y s i c a l   S c i e n c e s   R e s e a r c h   C o u n c i l   ( g r a n t   n u m b e r   E P / H 0 2 7 4 0 8 / 1 )   a n d   t h e   S c o t t i s h   I n f o r m a t i c s   a n d   C o m p u t e r   S c i e n c e   A l l i a n c e . 	 B r o d e r i c k   T ,   2 0 0 9 ,   P L O S   O N E ,   V 4 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 0 7 4 8 1 ;   C a s t e l l u c c i   S J ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 3 0 5 ;   C l a r k s o n   E . ,   2 0 0 5 ,   C H I   0 5 ,   P 1 2 8 8 ,   D O I   1 0 . 1 1 4 5 / 1 0 5 6 8 0 8 . 1 0 5 6 8 9 8 ;   D i x   A ,   2 0 1 0 ,   I N T E R A C T   C O M P U T ,   V 2 2 ,   P 1 3 ,   D O I   1 0 . 1 0 1 6 / j . i n t c o m . 2 0 0 9 . 1 1 . 0 0 7 ;   D u n l o p   M a r k   D . ,   2 0 0 9 ,   I N T   J   M O B I L E   H U M A N   C ,   V 1 ,   P 4 2 ;   H a r t   S .   G . ,   1 9 8 8 ,   H U M A N   M E N T A L   W O R K L O A ,   V 1 ,   P 1 3 9 ;   H e e r   J ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 0 3 ;   I s o k o s k i   P o i k a ,   2 0 0 4 ,   N O R D C H I   0 4 ,   P 1 0 9 ;   I s o k o s k i   P o i k a ,   2 0 0 0 ,   A V I   0 0 ,   P 7 6 ;   K a n o   A k i y o ,   2 0 0 6 ,   N O R D C H I   0 6 ,   P 4 4 9 ;   K a r a t   C l a r e - M a r i e ,   1 9 9 9 ,   C H I   9 9   C   P ,   P 5 6 8 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K l i m t   B ,   2 0 0 4 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 2 0 1 ,   P 2 1 7 ;   K r i s t e n s s o n   P e r   O l a ,   2 0 1 2 ,   I U I   1 2 ,   P 2 9 ;   K r i s t e n s s o n   P e r   O l a ,   2 0 1 2 ,   E T R A   1 2 ,   P 2 4 1 ;   K r i s t e n s s o n   P e r   O l a ,   2 0 0 7 ,   T H E S I S   L I N K O P I N G   U ;   K r i s t e n s s o n   P O ,   2 0 0 9 ,   C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 5 6 7 ;   K r i s t e n s s o n   P O ,   2 0 0 9 ,   A I   M A G ,   V 3 0 ,   P 8 5 ;   L y o n s   K ,   2 0 0 6 ,   H U M - C O M P U T   I N T E R A C T ,   V 2 1 ,   P 3 4 3 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 0 5 1 h c i 2 1 0 4 _ 1 ;   M a c K e n z i e   I a n   S c o t t ,   2 0 0 3 ,   C H I   0 3 ,   P 7 5 4 ;   M a c K e n z i e   I S ,   2 0 0 2 ,   H U M - C O M P U T   I N T E R A C T ,   V 1 7 ,   P 1 4 7 ,   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 7 0 5 1 H C I 1 7 2 & 3 _ 2 ;   P a e k   T i m e ,   2 0 1 1 ,   C H I   1 1 ,   P 2 4 7 7 ;   S c o t t   M a c K e n z i e   I . ,   1 9 9 9 ,   C H I   9 9 ,   P 2 5 ;   S o u k o r e f f   R .   W . ,   2 0 0 3 ,   C H I   2 0 0 3 ,   P 1 1 3 ;   V e r t a n e n   K . ,   2 0 1 1 ,   P   A C L   C   E M P   M E T H   N A T ,   P 7 0 0 ;   V e r t a n e n   K e i t h ,   2 0 1 1 ,   M O B I L E H C I   1 1 ,   P 2 9 5 ;   V e r t a n e n   K e i t h ,   2 0 0 9 ,   I U I   0 9 ,   P 2 3 7 ;   W a r d   D J ,   2 0 0 2 ,   N A T U R E ,   V 4 1 8 ,   P 8 3 8 ,   D O I   1 0 . 1 0 3 8 / 4 1 8 8 3 8 a ;   W o b b r o c k   J O ,   2 0 0 7 ,   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1   A N D   2 ,   P 6 6 7 ;   Z h a i   S M ,   2 0 0 5 ,   I N T E R A C T   C O M P U T ,   V 1 7 ,   P 2 2 9 ,   D O I   1 0 . 1 0 1 6 / j . i n t c o m . 2 0 0 3 . 1 2 . 0 0 7 	 3 0 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 1 0 7 3 - 0 5 1 6 	 1 5 5 7 - 7 3 2 5 	 	 A C M   T   C O M P U T - H U M   I N T 	 A C M   T r a n s .   C o m p u t . - H u m .   I n t e r a c t . 	 F E B 	 2 0 1 4 	 2 1 	 2 	 	 	 	 	 	 	 8 	 1 0 . 1 1 4 5 / 2 5 5 5 6 9 1 	 	 3 3 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 A F 6 Y H 	 W O S : 0 0 0 3 3 4 8 6 0 0 0 0 0 0 1 	 	 
 J 	 Y a n g ,   H H ;   L i ,   Y Y ;   Z h o u ,   M X 	 	 	 	 Y a n g ,   H u a h a i ;   L i ,   Y u n y a o ;   Z h o u ,   M i c h e l l e   X . 	 	 	 U n d e r s t a n d   U s e r s '   C o m p r e h e n s i o n   a n d   P r e f e r e n c e s   f o r   C o m p o s i n g   I n f o r m a t i o n   V i s u a l i z a t i o n s 	 A C M   T R A N S A C T I O N S   O N   C O M P U T E R - H U M A N   I N T E R A C T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 V i s u a l i z a t i o n   c o m p o s i t i o n ;   u s e r   p r e f e r e n c e ;   c h a r t   c o m p r e h e n s i o n ;   v i s u a l   t a x o n o m y ;   c o g n i t i v e   s e m a n t i c s ;   c r o w d s o u r c i n g 	 G R A P H   C O M P R E H E N S I O N ;   D E S I G N ;   P R E S E N T A T I O N S ;   C O M P U T E R ;   A I D S 	 W e   a r e   d e v e l o p i n g   a n   a u t o m a t e d   v i s u a l i z a t i o n   s y s t e m   t h a t   h e l p s   u s e r s   c o m b i n e   t w o   o r   m o r e   e x i s t i n g   i n f o r m a t i o n   g r a p h i c s   t o   f o r m   a n   i n t e g r a t e d   v i e w .   T o   e s t a b l i s h   e m p i r i c a l   f o u n d a t i o n s   f o r   b u i l d i n g   s u c h   a   s y s t e m ,   w e   d e s i g n e d   a n d   c o n d u c t e d   t w o   s t u d i e s   o n   A m a z o n   M e c h a n i c a l   T u r k   t o   u n d e r s t a n d   u s e r s '   c o m p r e h e n s i o n   a n d   p r e f e r e n c e s   o f   c o m p o s i t e   v i s u a l i z a t i o n   u n d e r   d i f f e r e n t   c o n d i t i o n s   ( e .   g . ,   d a t a   a n d   t a s k s ) .   I n   S t u d y   1 ,   w e   c o l l e c t e d   m o r e   t h a n   1 , 5 0 0   t e x t u a l   d e s c r i p t i o n s   c a p t u r i n g   a b o u t   5 0 0   p a r t i c i p a n t s '   i n s i g h t s   o f   g i v e n   i n f o r m a t i o n   g r a p h i c s ,   w h i c h   r e s u l t e d   i n   a   t a s k - o r i e n t e d   t a x o n o m y   o f   v i s u a l   i n s i g h t s .   I n   S t u d y   2 ,   w e   a s k e d   2 4 0   p a r t i c i p a n t s   t o   r a n k   c o m p o s i t e   v i s u a l i z a t i o n s   b y   t h e i r   s u i t a b i l i t y   f o r   a c q u i r i n g   a   g i v e n   v i s u a l   i n s i g h t   i d e n t i f i e d   i n   S t u d y   1 ,   w h i c h   r e s u l t e d   i n   r a n k e d   u s e r   p r e f e r e n c e s   o f   v i s u a l   c o m p o s i t i o n s   f o r   a c q u i r i n g   e a c h   t y p e   o f   i n s i g h t .   I n   t h i s   a r t i c l e ,   w e   r e p o r t   t h e   d e t a i l s   o f   o u r   t w o   s t u d i e s   a n d   d i s c u s s   t h e   b r o a d e r   i m p l i c a t i o n s   o f   o u r   c r o w d s o u r c e d   r e s e a r c h   m e t h o d o l o g y   a n d   r e s u l t s   t o   H C I - d r i v e n   v i s u a l i z a t i o n   r e s e a r c h . 	 [ Y a n g ,   H u a h a i ;   L i ,   Y u n y a o ;   Z h o u ,   M i c h e l l e   X . ]   I B M   R e s   A l m a d e n ,   S a n   J o s e ,   C A   9 5 1 2 0   U S A 	 Y a n g ,   H H   ( r e p r i n t   a u t h o r ) ,   I B M   R e s   A l m a d e n ,   S a n   J o s e ,   C A   9 5 1 2 0   U S A . 	 h y a n g @ u s . i b m . c o m ;   y u n y a o l i @ u s . i b m . c o m ;   m z h o u @ u s . i b m . c o m 	 	 	 	 	 A l l w o o d   J .   S . ,   1 9 9 9 ,   C O G N I T I V E   S E M A N T I C S ;   A l t o n j i   J .   G . ,   1 9 9 9 ,   H D B   L A B O R   E C   C ,   V 3 ,   P 3 1 4 3 ,   D O I   D O I   1 0 . 1 0 1 6 / S 1 5 7 3 - 4 4 6 3 ( 9 9 ) 3 0 0 3 9 - 0 ;   A m a r   R . ,   2 0 0 5 ,   I N F O V I S ;   A N S C O M B E   F J ,   1 9 7 3 ,   A M   S T A T ,   V 2 7 ,   P 1 7 ,   D O I   1 0 . 2 3 0 7 / 2 6 8 2 8 9 9 ;   B a r s a l o u   L W ,   1 9 9 9 ,   B E H A V   B R A I N   S C I ,   V 2 2 ,   P 5 7 7 ;   B e c k e r   R A ,   1 9 9 6 ,   J   C O M P U T A T I O N A L   G R A P ,   V 5 ,   P 1 2 3 ,   D O I   D O I   1 0 . 2 3 0 7 / 1 3 9 0 7 7 7 ;   E v a n s   V ,   2 0 0 6 ,   C O G N I T I V E   L I N G U I S T I C S :   A N   I N T R O D U C T I O N ,   P 1 ;   B e r i n s k y   A J ,   2 0 1 2 ,   P O L I T   A N A L ,   V 2 0 ,   P 3 5 1 ,   D O I   1 0 . 1 0 9 3 / p a n / m p r 0 5 7 ;   B e r t i n   J . ,   1 9 8 3 ,   S E M I O L O G Y   G R A P H I C S ;   B l o c k e r   T J ,   1 9 9 7 ,   S O C   S C I   Q U A R T ,   V 7 8 ,   P 8 4 1 ;   C a n h a m   M ,   2 0 1 0 ,   L E A R N   I N S T R ,   V 2 0 ,   P 1 5 5 ,   D O I   1 0 . 1 0 1 6 / j . l e a r n i n s t r u c . 2 0 0 9 . 0 2 . 0 1 4 ;   C a r p e n t e r   P A ,   1 9 9 8 ,   J   E X P   P S Y C H O L - A P P L ,   V 4 ,   P 7 5 ,   D O I   1 0 . 1 0 3 7 / 1 0 7 6 - 8 9 8 X . 4 . 2 . 7 5 ;   C A S N E R   S M ,   1 9 9 1 ,   A C M   T   G R A P H I C ,   V 1 0 ,   P 1 1 1 ,   D O I   1 0 . 1 1 4 5 / 1 0 8 3 6 0 . 1 0 8 3 6 1 ;   C h e n   C M ,   2 0 0 0 ,   I N T   J   H U M - C O M P U T   S T ,   V 5 3 ,   P 6 3 1 ,   D O I   1 0 . 1 0 0 6 / i j h c . 2 0 0 0 . 0 4 2 1 ;   C h u a h   M C ,   1 9 9 6 ,   I E E E   S Y M P O S I U M   O N   I N F O R M A T I O N   V I S U A L I Z A T I O N   ' 9 6 ,   P R O C E E D I N G S ,   P 2 9 ;   C L E V E L A N D   W S ,   1 9 8 5 ,   S C I E N C E ,   V 2 2 9 ,   P 8 2 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 2 9 . 4 7 1 6 . 8 2 8 ;   C o l l i n s   C ,   2 0 0 7 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 3 ,   P 1 1 9 2 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 0 7 . 7 0 5 2 1 ;   C R O F T   W I L L I A M ,   2 0 0 4 ,   C O G N I T I V E   L I N G U I S T I C ;   C u l b e r t s o n   H .   M . ,   1 9 5 9 ,   E D   T E C H N O L O G Y   R E S   D E ,   V 7 ,   P 9 7 ;   C u r c i o   F .   R . ,   1 9 8 9 ,   D E V   G R A P H   C O M P R E H E N S ;   D a n i s   C M ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 2 7 5 ;   D E S A N C T I S   G ,   1 9 8 4 ,   D E C I S I O N   S C I ,   V 1 5 ,   P 4 6 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 9 1 5 . 1 9 8 4 . t b 0 1 2 3 6 . x ;   D o r k   M ,   2 0 0 8 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 4 ,   P 1 2 0 5 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 0 8 . 1 7 5 ;   D O W N E Y   D B ,   1 9 9 5 ,   A M   S O C I O L   R E V ,   V 6 0 ,   P 7 4 6 ,   D O I   1 0 . 2 3 0 7 / 2 0 9 6 3 2 0 ;   F a i n   H .   D . ,   1 9 9 7 ,   H U M A N   E C O L O G Y   R E V ,   V 3 ,   P 1 9 7 ;   F a u c o n n i e r   G . ,   1 9 9 4 ,   M E N T A L   S P A C E S   A S P E C T ;   F a u c o n n i e r   G . ,   2 0 0 8 ,   W A Y   W E   T H I N K   C O N C E P T ;   F i l l m o r e   C h a r l e s ,   1 9 8 5 ,   Q U A D E R N I   S E M A N T I C A ,   V 6 ,   P 2 2 2 ;   F r a n k   L D ,   2 0 0 4 ,   A M   J   P R E V   M E D ,   V 2 7 ,   P 8 7 ,   D O I   1 0 . 1 0 1 6 / j . a m e p r e . 2 0 0 4 . 0 4 . 0 1 1 ;   F r i e d m a n   M ,   1 9 3 7 ,   J   A M   S T A T   A S S O C ,   V 3 2 ,   P 6 7 5 ,   D O I   1 0 . 2 3 0 7 / 2 2 7 9 3 7 2 ;   F r i e l   S N ,   2 0 0 1 ,   J   R E S   M A T H   E D U C ,   V 3 2 ,   P 1 2 4 ,   D O I   1 0 . 2 3 0 7 / 7 4 9 6 7 1 ;   G i l l b o r n   D a v i d ,   2 0 0 0 ,   E D   I N E Q U A L I T Y   M A P P I N ;   G l a s e r   B . ,   1 9 6 7 ,   D I S C O V E R Y   G R O U N D E D   T ;   G o l d s m i t h   E . ,   1 9 8 4 ,   R E S   I L L U S T R A T I O N   A P P ;   G o t z   D . ,   2 0 0 9 ,   I U I ;   H A M M I N G   R W ,   1 9 5 0 ,   A T & T   T E C H   J ,   V 2 9 ,   P 1 4 7 ;   H a y e s   A .   F . ,   2 0 0 7 ,   C O M M U N I C A T I O N   M E T H O D ,   V 1 ,   P 7 7 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 9 3 1 2 4 5 0 7 0 9 3 3 6 6 6 4 ;   H e e r   J . ,   2 0 0 7 ,   C H I ;   H e e r   J ,   2 0 0 7 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 3 ,   P 1 2 4 0 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 0 7 . 7 0 5 3 9 ;   H e e r   J . ,   2 0 0 9 ,   C H I   0 9 ,   P 1 2 0 3 ;   H e e r   J ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 0 3 ;   I n s e l b e r g   A . ,   1 9 9 1 ,   H U M A N   M A C H I N E   I N T E R A ,   P 1 9 9 ;   I p e i r o t i s   P .   G . ,   2 0 1 0 ,   C E D E R 1 0 0 1   P G   I P ;   J a v e d   W ,   2 0 1 2 ,   I E E E   P A C I F I C   V I S U A L I Z A T I O N   S Y M P O S I U M   2 0 1 2 ,   P 1 ;   J o h n s o n   M . ,   1 9 9 0 ,   B O D Y   M I N D   B O D I L Y   B A S ;   K i m   S . - H . ,   2 0 1 2 ,   2 0 1 2   B E L I V   W O R K S H   T I ,   V 1 5 ;   K i t a m u r a   O . ,   1 9 9 8 ,   P R A D S ;   K O S S L Y N   S M ,   1 9 8 9 ,   A P P L   C O G N I T I V E   P S Y C H ,   V 3 ,   P 1 8 5 ,   D O I   1 0 . 1 0 0 2 / a c p . 2 3 5 0 0 3 0 3 0 2 ;   K o v e c s e s   Z ,   1 9 9 8 ,   C O G N   L I N G U I S T ,   V 9 ,   P 3 7 ,   D O I   1 0 . 1 5 1 5 / c o g l . 1 9 9 8 . 9 . 1 . 3 7 ;   L a k o f f   G . ,   2 0 0 8 ,   M E T A P H O R S   W E   L I V E   B Y ;   L a k o f f   G e o r g e ,   1 9 8 7 ,   W O M E N   F I R E   D A N G E R O U S ;   L e m a i r e   J . ,   1 9 8 5 ,   A U T O M O B I L E   I N S U R A N C E ;   M A C K I N L A Y   J ,   1 9 8 6 ,   A C M   T   G R A P H I C ,   V 5 ,   P 1 1 0 ,   D O I   1 0 . 1 1 4 5 / 2 2 9 4 9 . 2 2 9 5 0 ;   M a c k i n l a y   J D ,   2 0 0 7 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 3 ,   P 1 1 3 7 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 0 7 . 7 0 5 9 4 ;   M c C u l l a g h   P ,   1 9 8 9 ,   G E N   L I N E A R   M O D E L S ;   M e t o y e r   R . ,   2 0 1 2 ,   C H I   1 2 ;   N a t i o n a l   C e n t e r   o f   H e a l t h   S t a t i s t i c s ,   2 0 0 0 ,   N A T   H L T H   I N T   S U R V ;   N a t i o n a l   O p i n i o n   R e s e a r c h   C e n t e r ,   1 9 9 3 ,   G E N   S O C   S U R V   1 9 9 3 ;   N a t i o n a l   O p i n i o n   R e s e a r c h   C e n t e r ,   1 9 9 1 ,   G E N   S O C   S U R V   1 9 9 1 ;   N o r t h   C ,   2 0 0 6 ,   I E E E   C O M P U T   G R A P H ,   V 2 6 ,   P 6 ,   D O I   1 0 . 1 1 0 9 / M C G . 2 0 0 6 . 7 0 ;   P i n k e r   S . ,   1 9 9 0 ,   A R T I F   I N T E L L ,   P 7 3 ;   R o t h   S .   F . ,   1 9 9 1 ,   A A A I ;   R o t h   S F ,   1 9 9 7 ,   H U M - C O M P U T   I N T E R A C T ,   V 1 2 ,   P 1 3 1 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 0 5 1 h c i 1 2 0 1 & 2 _ 5 ;   S a r l e   W .   S . ,   1 9 9 0 ,   V A R C L U S   P R O C E D U R E ;   S h a h   P ,   1 9 9 9 ,   J   E D U C   P S Y C H O L ,   V 9 1 ,   P 6 9 0 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 0 6 6 3 . 9 1 . 4 . 6 9 0 ;   S h a h   P . ,   2 0 0 5 ,   C A M B R I D G E   H D B   V I S U O S ,   P 4 2 6 ,   D O I   1 0 . 1 0 1 7 / C B O 9 7 8 0 5 1 1 6 1 0 4 4 8 . 0 1 2 ;   S h a h   P ,   2 0 1 1 ,   T O P   C O G N   S C I ,   V 3 ,   P 5 6 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 5 6 - 8 7 6 5 . 2 0 0 9 . 0 1 0 6 6 . x ;   S h n e i d e r m a n   B ,   1 9 9 6 ,   I E E E   S Y M P O S I U M   O N   V I S U A L   L A N G U A G E S ,   P R O C E E D I N G S ,   P 3 3 6 ;   S i m k i n   D .   K . ,   1 9 8 6 ,   J   A M   S T A T   A S S O C ,   V 8 2 ,   P 4 5 4 ;   S t a s k o   J ,   2 0 0 0 ,   I N T   J   H U M - C O M P U T   S T ,   V 5 3 ,   P 6 6 3 ,   D O I   1 0 . 1 0 0 6 / i j h c . 2 0 0 0 . 0 4 2 0 ;   T a l m y   L ,   2 0 0 0 ,   C O G N I T I V E   S E M A N T I C S ,   V 2 ;   T h o m a s   J . ,   2 0 0 5 ,   I L L U M I N A T I N G   P A T H   R E ;   T u f t e   E .   R . ,   1 9 8 3 ,   V I S U A L   D I S P L A Y   Q U A N T ;   U n i t e d   N a t i o n s ,   1 9 9 5 ,   W O R L D   E C   S O C I A L   S U R V ;   V I E G A S   F B ,   2 0 0 7 ,   V I S U A L I Z A T I O N   C O M P U T ,   V 1 3 ,   P 1 1 2 1 ;   W e n   Z . ,   2 0 0 5 ,   I N F O V I S ,   P 2 5 ;   W e n   Z . ,   2 0 0 8 ,   I N T   C   I N T   U S   I N T ,   P 7 0 ;   W e n   Z ,   2 0 0 8 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 4 ,   P 1 3 0 9 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 0 8 . 1 2 9 ;   W i c k h a m   H ,   2 0 0 9 ,   U S E   R ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 0 - 3 8 7 - 9 8 1 4 1 - 3 _ 1 ;   W i c k h a m   H ,   2 0 1 1 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 7 ,   P 2 2 2 3 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 1 . 2 2 7 ;   W i l k i n s o n   L . ,   2 0 0 5 ,   G R A M M E R   G R A P H I C S ;   W i l k i n s o n   L . ,   2 0 1 2 ,   H D B   C O M P U T A T I O N   S T A T ,   P 3 7 5 ;   W O O D S   D D ,   1 9 8 4 ,   I N T   J   M A N   M A C H   S T U D ,   V 2 1 ,   P 2 2 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 2 0 - 7 3 7 3 ( 8 4 ) 8 0 0 4 3 - 7 ;   Z h o u   M . ,   2 0 0 3 ,   I J C A I ;   Z h o u   M .   X . ,   1 9 9 8 ,   C H I ;   Z h o u   M X ,   1 9 9 6 ,   I E E E   S Y M P O S I U M   O N   I N F O R M A T I O N   V I S U A L I Z A T I O N   ' 9 6 ,   P R O C E E D I N G S ,   P 1 3 ;   Z i p f   G .   K . ,   1 9 4 9 ,   H U M A N   B E H A V   P R I N C I P L 	 8 7 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 1 0 7 3 - 0 5 1 6 	 1 5 5 7 - 7 3 2 5 	 	 A C M   T   C O M P U T - H U M   I N T 	 A C M   T r a n s .   C o m p u t . - H u m .   I n t e r a c t . 	 F E B 	 2 0 1 4 	 2 1 	 1 	 	 	 	 	 	 	 6 	 1 0 . 1 1 4 5 / 2 5 4 1 2 8 8 	 	 3 0 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 A E 1 Q G 	 W O S : 0 0 0 3 3 3 7 4 3 7 0 0 0 0 6 	 	 
 J 	 C u i ,   L C ;   C a r t e r ,   R ;   Z h a n g ,   G Q 	 	 	 	 C u i ,   L i c o n g ;   C a r t e r ,   R e b e c c a ;   Z h a n g ,   G u o - Q i a n g 	 	 	 E v a l u a t i o n   o f   a   N o v e l   C o n j u n c t i v e   E x p l o r a t o r y   N a v i g a t i o n   I n t e r f a c e   f o r   C o n s u m e r   H e a l t h   I n f o r m a t i o n :   A   C r o w d s o u r c e d   C o m p a r a t i v e   S t u d y 	 J O U R N A L   O F   M E D I C A L   I N T E R N E T   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   c o n s u m e r   h e a l t h   i n f o r m a t i o n ;   h u m a n   c o m p u t e r   i n t e r a c t i o n ;   i n f o r m a t i o n   r e t r i e v a l ;   s e a r c h   i n t e r f a c e s ;   c o m p a r a t i v e   u s e r   e v a l u a t i o n 	 A M A Z O N   M E C H A N I C A L   T U R K ;   Q U A L I T Y 	 B a c k g r o u n d :   N u m e r o u s   c o n s u m e r   h e a l t h   i n f o r m a t i o n   w e b s i t e s   h a v e   b e e n   d e v e l o p e d   t o   p r o v i d e   c o n s u m e r s   a c c e s s   t o   h e a l t h   i n f o r m a t i o n .   H o w e v e r ,   l o o k u p   s e a r c h   i s   i n s u f f i c i e n t   f o r   c o n s u m e r s   t o   t a k e   f u l l   a d v a n t a g e   o f   t h e s e   r i c h   p u b l i c   i n f o r m a t i o n   r e s o u r c e s .   E x p l o r a t o r y   s e a r c h   i s   c o n s i d e r e d   a   p r o m i s i n g   c o m p l e m e n t a r y   m e c h a n i s m ,   b u t   i t s   e f f i c a c y   h a s   n e v e r   b e f o r e   b e e n   r i g o r o u s l y   e v a l u a t e d   f o r   c o n s u m e r   h e a l t h   i n f o r m a t i o n   r e t r i e v a l   i n t e r f a c e s .   O b j e c t i v e :   T h i s   s t u d y   a i m s   t o   ( 1 )   i n t r o d u c e   a   n o v e l   C o n j u n c t i v e   E x p l o r a t o r y   N a v i g a t i o n   I n t e r f a c e   ( C E N I )   f o r   s u p p o r t i n g   e f f e c t i v e   c o n s u m e r   h e a l t h   i n f o r m a t i o n   r e t r i e v a l   a n d   n a v i g a t i o n ,   a n d   ( 2 )   e v a l u a t e   t h e   e f f e c t i v e n e s s   o f   C E N I   t h r o u g h   a   s e a r c h - i n t e r f a c e   c o m p a r a t i v e   e v a l u a t i o n   u s i n g   c r o w d s o u r c i n g   w i t h   A m a z o n   M e c h a n i c a l   T u r k   ( A M T ) .   M e t h o d s :   W e   c o l l e c t e d   o v e r   6 0 , 0 0 0   c o n s u m e r   h e a l t h   q u e s t i o n s   f r o m   N e t W e l l n e s s ,   o n e   o f   t h e   f i r s t   c o n s u m e r   h e a l t h   w e b s i t e s   t o   p r o v i d e   h i g h - q u a l i t y   h e a l t h   i n f o r m a t i o n .   W e   d e s i g n e d   a n d   d e v e l o p e d   a   n o v e l   c o n j u n c t i v e   e x p l o r a t o r y   n a v i g a t i o n   i n t e r f a c e   t o   e x p l o r e   N e t W e l l n e s s   h e a l t h   q u e s t i o n s   w i t h   h e a l t h   t o p i c s   a s   d y n a m i c   a n d   s e a r c h a b l e   m e n u s .   T o   i n v e s t i g a t e   t h e   e f f e c t i v e n e s s   o f   C E N I ,   w e   d e v e l o p e d   a   s e c o n d   i n t e r f a c e   w i t h   k e y w o r d - b a s e d   s e a r c h   o n l y .   A   c r o w d s o u r c i n g   c o m p a r a t i v e   s t u d y   w a s   c a r e f u l l y   d e s i g n e d   t o   c o m p a r e   t h r e e   s e a r c h   m o d e s   o f   i n t e r e s t :   ( A )   t h e   t o p i c - n a v i g a t i o n - b a s e d   C E N I ,   ( B )   t h e   k e y w o r d - b a s e d   l o o k u p   i n t e r f a c e ,   a n d   ( C )   e i t h e r   t h e   m o s t   c o m m o n l y   a v a i l a b l e   l o o k u p   s e a r c h   i n t e r f a c e   w i t h   G o o g l e ,   o r   t h e   r e s i d e n t   a d v a n c e d   s e a r c h   o f f e r e d   b y   N e t W e l l n e s s .   T o   c o m p a r e   t h e   e f f e c t i v e n e s s   o f   t h e   t h r e e   s e a r c h   m o d e s ,   9   s e a r c h   t a s k s   w e r e   d e s i g n e d   w i t h   r e l e v a n t   h e a l t h   q u e s t i o n s   f r o m   N e t W e l l n e s s .   E a c h   t a s k   i n c l u d e d   a   r a t i n g   o f   d i f f i c u l t y   l e v e l   a n d   q u e s t i o n s   f o r   v a l i d a t i n g   t h e   q u a l i t y   o f   a n s w e r s .   N i n e t y   a n o n y m o u s   a n d   u n i q u e   A M T   w o r k e r s   w e r e   r e c r u i t e d   a s   p a r t i c i p a n t s .   R e s u l t s :   R e p e a t e d - m e a s u r e s   A N O V A   a n a l y s i s   o f   t h e   d a t a   s h o w e d   t h e   s e a r c h   m o d e s   A ,   B ,   a n d   C   h a d   s t a t i s t i c a l l y   s i g n i f i c a n t   d i f f e r e n c e s   a m o n g   t h e i r   l e v e l s   o f   d i f f i c u l t y   ( P < . 0 0 1 ) .   W i l c o x o n   s i g n e d - r a n k   t e s t   ( o n e - t a i l e d )   b e t w e e n   A   a n d   B   s h o w e d   t h a t   A   w a s   s i g n i f i c a n t l y   e a s i e r   t h a n   B   ( P < . 0 0 1 ) .   P a i r e d   t   t e s t s   ( o n e - t a i l e d )   b e t w e e n   A   a n d   C   s h o w e d   A   w a s   s i g n i f i c a n t l y   e a s i e r   t h a n   C   ( P < . 0 0 1 ) .   P a r t i c i p a n t   r e s p o n s e s   o n   t h e   p r e f e r r e d   s e a r c h   m o d e s   s h o w e d   t h a t   4 7 . 8 %   ( 4 3 / 9 0 )   p a r t i c i p a n t s   p r e f e r r e d   A ,   2 5 . 6 %   ( 2 3 / 9 0 )   p r e f e r r e d   B ,   2 4 . 4 %   ( 2 2 / 9 0 )   p r e f e r r e d   C .   P a r t i c i p a n t   c o m m e n t s   o n   t h e   p r e f e r r e d   s e a r c h   m o d e s   i n d i c a t e d   t h a t   C E N I   w a s   e a s y   t o   u s e ,   p r o v i d e d   b e t t e r   o r g a n i z a t i o n   o f   h e a l t h   q u e s t i o n s   b y   t o p i c s ,   a l l o w e d   u s e r s   t o   n a r r o w   d o w n   t o   t h e   m o s t   r e l e v a n t   c o n t e n t s   q u i c k l y ,   a n d   s u p p o r t e d   t h e   e x p l o r a t o r y   n a v i g a t i o n   b y   n o n - e x p e r t s   o r   t h o s e   u n s u r e   h o w   t o   i n i t i a t e   t h e i r   s e a r c h .   C o n c l u s i o n s :   W e   p r e s e n t e d   a   n o v e l   c o n j u n c t i v e   e x p l o r a t o r y   n a v i g a t i o n   i n t e r f a c e   f o r   c o n s u m e r   h e a l t h   i n f o r m a t i o n   r e t r i e v a l   a n d   n a v i g a t i o n .   C r o w d s o u r c i n g   p e r m i t t e d   a   c a r e f u l l y   d e s i g n e d   c o m p a r a t i v e   s e a r c h - i n t e r f a c e   e v a l u a t i o n   t o   b e   c o m p l e t e d   i n   a   t i m e l y   a n d   c o s t - e f f e c t i v e   m a n n e r   w i t h   a   r e l a t i v e l y   l a r g e   n u m b e r   o f   p a r t i c i p a n t s   r e c r u i t e d   a n o n y m o u s l y .   A c c o u n t i n g   f o r   p o s s i b l e   b i a s e s ,   o u r   s t u d y   h a s   s h o w n   f o r   t h e   f i r s t   t i m e   w i t h   c r o w d s o u r c i n g   t h a t   t h e   c o m b i n a t i o n   o f   e x p l o r a t o r y   n a v i g a t i o n   a n d   l o o k u p   s e a r c h   i s   m o r e   e f f e c t i v e   t h a n   l o o k u p   s e a r c h   a l o n e . 	 [ C u i ,   L i c o n g ;   Z h a n g ,   G u o - Q i a n g ]   C a s e   W e s t e r n   R e s e r v e   U n i v ,   D e p t   E l e c t   E n g n   &   C o m p   S c i ,   D i v   M e d   I n f o r m a t ,   C l e v e l a n d ,   O H   4 4 1 0 6   U S A ;   [ C a r t e r ,   R e b e c c a ]   C a s e   W e s t e r n   R e s e r v e   U n i v ,   S c h   M e d ,   D e p t   E p i d e m i o l   &   B i o s t a t ,   C l e v e l a n d ,   O H   4 4 1 0 6   U S A 	 Z h a n g ,   G Q   ( r e p r i n t   a u t h o r ) ,   C a s e   W e s t e r n   R e s e r v e   U n i v ,   D e p t   E l e c t   E n g n   &   C o m p   S c i ,   D i v   M e d   I n f o r m a t ,   2 1 0 3   C o r n e l l   R d ,   C l e v e l a n d ,   O H   4 4 1 0 6   U S A . 	 g q @ c a s e . e d u 	 	 	 	 	 A r o n s o n   A R ,   2 0 1 0 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 7 ,   P 2 2 9 ,   D O I   1 0 . 1 1 3 6 / j a m i a . 2 0 0 9 . 0 0 2 7 3 3 ;   B e r l a n d   G K ,   2 0 0 1 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 8 5 ,   P 2 6 1 2 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 8 5 . 2 0 . 2 6 1 2 ;   B o d e n r e i d e r   O ,   2 0 0 4 ,   N U C L E I C   A C I D S   R E S ,   V 3 2 ,   p D 2 6 7 ,   D O I   1 0 . 1 0 9 3 / n a r / g k h 0 6 1 ;   B r o d e r   A . ,   2 0 0 2 ,   S I G I R   F o r u m ,   V 3 6 ;   C r u m p   M J C ,   2 0 1 3 ,   P L O S   O N E ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 5 7 4 1 0 ;   D u m a i s   S ,   2 0 0 1 ,   S I G C H I   C   H U M   F A C T   C O ,   P 2 7 7 ;   F o x   S . ,   S O C I A L   L I F E   H L T H   I N F ;   H E A R S T   M ,   2 0 0 6 ,   A C M   S I G I R   W O R K S H   F A C ,   P 1 ;   H e a r s t   M A ,   2 0 0 6 ,   C O M M U N   A C M ,   V 4 9 ,   P 5 9 ,   D O I   1 0 . 1 1 4 5 / 1 1 2 1 9 4 9 . 1 1 2 1 9 8 3 ;   K i m   H ,   2 0 0 9 ,   J   M E D   I N T E R N E T   R E S ,   V 1 1 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 1 2 9 ;   K o m a r o v   S ,   2 0 1 3 ,   S I G C H I   C   H U M   F A C T   C O ,   P 2 0 7 ;   K u l e s   B ,   2 0 0 8 ,   I N F O R M   P R O C E S S   M A N A G ,   V 4 4 ,   P 4 6 3 ,   D O I   1 0 . 1 0 1 6 / j . i p m . 2 0 0 7 . 0 7 . 0 1 4 ;   K u l e s   B ,   2 0 0 6 ,   6   A C M   I E E E   C S   J O I N T ,   P 2 1 0 ;   L e s s l   M ,   2 0 1 1 ,   N A T   R E V   D R U G   D I S C O V ,   V 1 0 ,   P 2 4 1 ,   D O I   1 0 . 1 0 3 8 / n r d 3 4 1 2 ;   L u e n g o - O r o z   M A ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   P 2 0 7 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 3 3 8 ;   L u o   W ,   2 0 0 4 ,   C O M M U N   A C M ,   V 4 7 ,   P 1 0 8 ,   D O I   1 0 . 1 1 4 5 / 9 6 2 0 8 1 . 9 6 2 0 8 9 ;   M a r t i n   D W ,   2 0 0 8 ,   D O I N G   P S Y C H O L   E X P T ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   M i l l e r   N ,   2 0 0 0 ,   B   M E D   L I B R   A S S O C ,   V 8 8 ,   P 1 1 ;   M o r r i s   T A ,   1 9 9 7 ,   J   A M   M E D   I N F O R M   A S S N ,   V 4 ,   P 6 ;   M u   X M ,   2 0 1 1 ,   J   B I O M E D   I N F O R M ,   V 4 4 ,   P 5 7 6 ,   D O I   1 0 . 1 0 1 6 / j . j b i . 2 0 1 1 . 0 1 . 0 0 8 ;   S a u n d e r s   D R ,   2 0 1 3 ,   J   M E D   I N T E R N E T   R E S ,   V 1 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 6 2 0 ;   S n o w   R ,   2 0 0 8 ,   C   E M P   M E T H   N A T   L A N G ,   P 2 5 4 ;   S t u c k e n s c h m i d t   H ,   2 0 0 4 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 2 5 7 ,   P 4 3 3 ;   S w a n   M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 8 8 ;   T u r n e r   A M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   P 2 1 8 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 0 6 3 ;   W h i t e   R y e n   W . ,   2 0 0 6 ,   C O M M U N   A C M ,   V 4 9 ,   P 3 6 ,   D O I   1 0 . 1 1 4 5 / 1 1 2 1 9 4 9 . 1 1 2 1 9 7 8 ;   W i l s o n   M ,   2 0 1 0 ,   J   P E T R O L ,   V 5 1 ,   P 1 ,   D O I   1 0 . 1 0 9 3 / p e t r o l o g y / e g p 0 9 9 ;   Y u   B ,   2 0 1 3 ,   J   M E D   I N T E R N E T   R E S ,   V 1 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 5 1 3 ;   Z e n g   Q T ,   2 0 0 4 ,   I N T   J   M E D   I N F O R M ,   V 7 3 ,   P 4 5 ,   D O I   1 0 . 1 0 1 6 / j . i j m e d i n f . 2 0 0 3 . 1 2 . 0 1 5 ;   Z h a i   H J ,   2 0 1 3 ,   J   M E D   I N T E R N E T   R E S ,   V 1 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 4 2 6 	 3 1 	 1 	 1 	 J M I R   P U B L I C A T I O N S ,   I N C 	 T O R O N T O 	 5 9   W I N N E R S   C I R C L E ,   T O R O N T O ,   O N   M 4 L   3 Y 7 ,   C A N A D A 	 1 4 3 8 - 8 8 7 1 	 	 	 J   M E D   I N T E R N E T   R E S 	 J .   M e d .   I n t e r n e t   R e s . 	 F E B 	 2 0 1 4 	 1 6 	 2 	 	 	 	 	 	 	 e 4 5 	 1 0 . 2 1 9 6 / j m i r . 3 1 1 1 	 	 1 5 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 A C 3 E J 	 W O S : 0 0 0 3 3 2 3 9 7 5 0 0 0 3 6 	 2 4 5 1 3 5 9 3 	 
 J 	 K i m ,   M ;   J u n g ,   Y ;   J u n g ,   D ;   H u r ,   C 	 	 	 	 K i m ,   M i n k i ;   J u n g ,   Y u c h u l ;   J u n g ,   D a i n ;   H u r ,   C i n y o u n g 	 	 	 I n v e s t i g a t i n g   t h e   C o n g r u e n c e   o f   C r o w d s o u r c e d   I n f o r m a t i o n   W i t h   O f f i c i a l   G o v e r n m e n t   D a t a :   T h e   C a s e   o f   P e d i a t r i c   C l i n i c s 	 J O U R N A L   O F   M E D I C A L   I N T E R N E T   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 o n l i n e   h e a l t h   c o m m u n i t y ;   c r o w d s o u r c i n g ;   r i s k   o f   m i s i n f o r m a t i o n ;   p u b l i c   h e a l t h 	 H E A L T H   I N F O R M A T I O N ;   S O C I A L   M E D I A ;   I N T E R N E T ;   O N L I N E ;   P R O F E S S I O N A L S ;   I N F O D E M I O L O G Y ;   Q U A L I T Y 	 B a c k g r o u n d :   H e a l t h   2 . 0   i s   a   b e n e f i t   t o   s o c i e t y   b y   h e l p i n g   p a t i e n t s   a c q u i r e   k n o w l e d g e   a b o u t   h e a l t h   c a r e   b y   h a r n e s s i n g   c o l l e c t i v e   i n t e l l i g e n c e .   H o w e v e r ,   a n y   m i s l e a d i n g   i n f o r m a t i o n   c a n   d i r e c t l y   a f f e c t   p a t i e n t s '   c h o i c e s   o f   h o s p i t a l s   a n d   d r u g s ,   a n d   p o t e n t i a l l y   e x a c e r b a t e   t h e i r   h e a l t h   c o n d i t i o n .   O b j e c t i v e :   T h i s   s t u d y   i n v e s t i g a t e s   t h e   c o n g r u e n c e   b e t w e e n   c r o w d s o u r c e d   i n f o r m a t i o n   a n d   o f f i c i a l   g o v e r n m e n t   d a t a   i n   t h e   h e a l t h   c a r e   d o m a i n   a n d   i d e n t i f i e s   t h e   d e t e r m i n a n t s   o f   l o w   c o n g r u e n c e   w h e r e   i t   e x i s t s .   I n - l i n e   w i t h   i n f o d e m i o l o g y ,   w e   s u g g e s t   m e a s u r e s   t o   h e l p   t h e   p a t i e n t s   i n   t h e   r e g i o n s   v u l n e r a b l e   t o   i n a c c u r a t e   h e a l t h   i n f o r m a t i o n .   M e t h o d s :   W e   t e x t - m i n e d   m u l t i p l e   o n l i n e   h e a l t h   c o m m u n i t i e s   i n   S o u t h   K o r e a   t o   c o n s t r u c t   t h e   d a t a   f o r   c r o w d s o u r c e d   i n f o r m a t i o n   o n   p u b l i c   h e a l t h   s e r v i c e s   ( 1 7 3 , 7 4 8   m e s s a g e s ) .   K e n d a l l   t a u   a n d   S p e a r m a n   r a n k   o r d e r   c o r r e l a t i o n   c o e f f i c i e n t s   w e r e   u s e d   t o   c o m p u t e   t h e   d i f f e r e n c e s   i n   2   r a n k i n g   s y s t e m s   o f   h e a l t h   c a r e   q u a l i t y :   a c t u a l   g o v e r n m e n t   e v a l u a t i o n s   o f   7 7 9   h o s p i t a l s   a n d   m i n i n g   r e s u l t s   o f   g e o s p e c i f i c   o n l i n e   h e a l t h   c o m m u n i t i e s .   T h e n   w e   e s t i m a t e d   t h e   e f f e c t   o f   s o c i o d e m o g r a p h i c   c h a r a c t e r i s t i c s   o n   t h e   l e v e l   o f   c o n g r u e n c e   b y   u s i n g   a n   o r d i n a r y   l e a s t   s q u a r e s   r e g r e s s i o n .   R e s u l t s :   T h e   r e g r e s s i o n   r e s u l t s   i n d i c a t e d   t h a t   t h e   s t a n d a r d   d e v i a t i o n   o f   m a r r i e d   w o m e n ' s   e d u c a t i o n   ( P = . 0 4 6 ) ,   p o p u l a t i o n   d e n s i t y   ( P = . 0 1 ) ,   n u m b e r   o f   d o c t o r s   p e r   p e d i a t r i c   c l i n i c   ( P = . 0 4 8 ) ,   a n d   b i r t h r a t e   ( P = . 0 0 2 )   h a v e   a   s i g n i f i c a n t   e f f e c t   o n   t h e   c o n g r u e n c e   o f   c r o w d s o u r c e d   d a t a   ( a d j u s t e d   R - 2 = . 3 3 ) .   S p e c i f i c a l l y ,   ( 1 )   t h e   h i g h e r   t h e   b i r t h r a t e   i n   a   g i v e n   r e g i o n ,   ( 2 )   t h e   l a r g e r   t h e   v a r i a n c e   i n   e d u c a t i o n a l   a t t a i n m e n t ,   ( 3 )   t h e   h i g h e r   t h e   p o p u l a t i o n   d e n s i t y ,   a n d   ( 4 )   t h e   g r e a t e r   t h e   n u m b e r   o f   d o c t o r s   p e r   c l i n i c ,   t h e   m o r e   l i k e l y   t h a t   c r o w d s o u r c e d   i n f o r m a t i o n   f r o m   o n l i n e   c o m m u n i t i e s   i s   c o n g r u e n t   w i t h   o f f i c i a l   g o v e r n m e n t   d a t a .   C o n c l u s i o n s :   T o   i n v e s t i g a t e   t h e   c a u s e   o f   t h e   s p r e a d   o f   m i s l e a d i n g   h e a l t h   i n f o r m a t i o n   i n   t h e   o n l i n e   w o r l d ,   w e   a d o p t e d   a   u n i q u e   a p p r o a c h   b y   a s s o c i a t i n g   m i n i n g   r e s u l t s   o n   h o s p i t a l s   f r o m   g e o s p e c i f i c   o n l i n e   h e a l t h   c o m m u n i t i e s   w i t h   t h e   s o c i o d e m o g r a p h i c   c h a r a c t e r i s t i c s   o f   c o r r e s p o n d i n g   r e g i o n s .   W e   f o u n d   t h a t   t h e   c o n g r u e n c e   o f   c r o w d s o u r c e d   i n f o r m a t i o n   o n   h e a l t h   c a r e   s e r v i c e s   v a r i e d   a c r o s s   r e g i o n s   a n d   t h a t   t h e s e   v a r i a t i o n s   c o u l d   b e   e x p l a i n e d   b y   g e o s p e c i f i c   d e m o g r a p h i c   f a c t o r s .   T h i s   f i n d i n g   c a n   b e   h e l p f u l   t o   g o v e r n m e n t s   i n   r e d u c i n g   t h e   p o t e n t i a l   r i s k   o f   m i s l e a d i n g   o n l i n e   i n f o r m a t i o n   a n d   t h e   a c c o m p a n y i n g   s a f e t y   i s s u e s . 	 [ K i m ,   M i n k i ;   J u n g ,   D a i n ]   K o r e a   A d v   I n s t   S c i   &   T e c h n o l ,   D e p t   B u s i n e s s   &   T e c h n o l   M a n a g e m e n t ,   T a e j o n   3 0 5 7 0 1 ,   S o u t h   K o r e a ;   [ J u n g ,   Y u c h u l ]   K o r e a   I n s t   S c i   &   T e c h n o l ,   T a e j o n ,   S o u t h   K o r e a ;   [ H u r ,   C i n y o u n g ]   E l e c t   &   T e l e c o m m u n   R e s   I n s t ,   T a e j o n   3 0 5 6 0 6 ,   S o u t h   K o r e a 	 K i m ,   M   ( r e p r i n t   a u t h o r ) ,   K o r e a   A d v   I n s t   S c i   &   T e c h n o l ,   D e p t   B u s i n e s s   &   T e c h n o l   M a n a g e m e n t ,   K A I S T   N 5 - 2 1 0 9 , 2 9 1   D a e h a k   R o ,   T a e j o n   3 0 5 7 0 1 ,   S o u t h   K o r e a . 	 m i n k i . k i m @ k a i s t . a c . k r 	 K i m ,   M i n k i / C - 1 8 5 1 - 2 0 1 1 	 	 	 	 C l a u s o n   K A ,   2 0 0 8 ,   A N N   P H A R M A C O T H E R ,   V 4 2 ,   P 1 8 1 4 ,   D O I   1 0 . 1 3 4 5 / a p h . 1 L 4 7 4 ;   C o t t e n   S R ,   2 0 0 4 ,   S O C   S C I   M E D ,   V 5 9 ,   P 1 7 9 5 ,   D O I   1 0 . 1 0 1 6 / j . s o c s c i m e d . 2 0 0 4 . 0 2 . 0 2 0 ;   D a n e b a c k   K ,   2 0 0 8 ,   C Y B E R P S Y C H O L O G Y   J   P S ,   V 2 ;   E y s e n b a c h   G ,   2 0 0 0 ,   B R I T   M E D   J ,   V 3 2 0 ,   P 1 7 1 3 ,   D O I   1 0 . 1 1 3 6 / b m j . 3 2 0 . 7 2 5 1 . 1 7 1 3 ;   E y s e n b a c h   G ,   2 0 0 2 ,   A M   J   M E D ,   V 1 1 3 ,   P 7 6 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 0 2 - 9 3 4 3 ( 0 2 ) 0 1 4 7 3 - 0 ;   E y s e n b a c h   G ,   2 0 0 9 ,   J   M E D   I N T E R N E T   R E S ,   V 1 1 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 1 5 7 ;   E y s e n b a c h   G ,   2 0 0 2 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 8 7 ,   P 2 6 9 1 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 8 7 . 2 0 . 2 6 9 1 ;   G a o   G G ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 0 0 3 ;   G r e a v e s   F ,   2 0 1 3 ,   J   M E D   I N T E R N E T   R E S ,   V 1 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 7 2 1 ;   H a l e   T M ,   2 0 1 0 ,   A M   B E H A V   S C I ,   V 5 3 ,   P 1 3 0 4 ,   D O I   1 0 . 1 1 7 7 / 0 0 0 2 7 6 4 2 1 0 3 6 1 6 8 5 ;   H a w n   C ,   2 0 0 9 ,   H E A L T H   A F F A I R ,   V 2 8 ,   P 3 6 1 ,   D O I   1 0 . 1 3 7 7 / h l t h a f f . 2 8 . 2 . 3 6 1 ;   I n t e r n e t   T r e n d ,   S E A R C H   E N G   M A R K   S H A R ;   K e n d a l l   M G ,   1 9 3 8 ,   B I O M E T R I K A ,   V 3 0 ,   P 8 1 ,   D O I   1 0 . 2 3 0 7 / 2 3 3 2 2 2 6 ;   K i m   B a e k N a m ,   2 0 1 2 ,   I n f e c t i o n   a n d   C h e m o t h e r a p y ,   V 4 4 ,   P 2 5 0 ,   D O I   1 0 . 3 9 4 7 / i c . 2 0 1 2 . 4 4 . 4 . 2 5 0 ;   L e o n a r d   R . ,   B E A U T I F U L   S O U P ;   M a i n o u s   A G ,   2 0 0 0 ,   F A M   M E D ,   V 3 2 ,   P 2 2 ;   M a r c u s   M A ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 8 6 8 ;   M o r a h a n - M a r t i n   J M ,   2 0 0 4 ,   C Y B E R P S Y C H O L   B E H A V ,   V 7 ,   P 4 9 7 ,   D O I   1 0 . 1 0 8 9 / c p b . 2 0 0 4 . 7 . 4 9 7 ;   O ' R e i l l y   T . ,   2 0 0 5 ,   W H A T   I S   W E B   2   0   D E S I ;   P a l u c k   E ,   2 0 0 1 ,   C A N   F A M   P H Y S I C I A N ,   V 4 7 ,   P 5 2 1 ;   P l a n t i n   L ,   2 0 0 9 ,   B M C   F A M   P R A C T ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 2 9 6 - 1 0 - 3 4 ;   P o p o i u   M C ,   2 0 1 2 ,   P R O C D   S O C   B E H V ,   V 4 6 ,   P 2 2 6 2 ,   D O I   1 0 . 1 0 1 6 / j . s b s p r o . 2 0 1 2 . 0 5 . 4 6 6 ;   R i c e   R E ,   2 0 0 6 ,   I N T   J   M E D   I N F O R M ,   V 7 5 ,   P 8 ,   D O I   1 0 . 1 0 1 6 / j . i j m e d i n f . 2 0 0 5 . 0 7 . 0 3 2 ;   S k i n n e r   H ,   2 0 0 3 ,   J   M E D   I N T E R N E T   R E S ,   V 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 5 . 4 . e 3 2 ;   S t a t i s t i c s   K o r e a ,   K O R   S T A T   I N F   S E R V ;   S t e r n   M J ,   2 0 1 1 ,   J   F A M I L Y   I S S U E S ,   V 3 3 ,   P 1 3 2 4 ,   D O I   [ 1 0 . 1 1 7 7 / 0 1 9 2 5 1 3 X 1 1 4 2 5 4 5 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 9 2 5 1 3 X 1 1 4 2 5 4 5 9 ] ] ;   T s a i   C h r i s t o p h e r   C ,   2 0 0 7 ,   A M I A   A n n u   S y m p   P r o c ,   P 1 1 3 7 ;   V i l a r e s   M ,   2 0 0 4 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 1 8 0 ,   P 3 0 6 ;   W e i s s m a n   J e n n i f e r ,   2 0 0 4 ,   S e m i n   P e d i a t r   I n f e c t   D i s ,   V 1 5 ,   P 4 1 ,   D O I   1 0 . 1 0 5 3 / j . s p i d . 2 0 0 4 . 0 1 . 0 0 4 ;   W i c k s   P ,   2 0 1 0 ,   J   M E D   I N T E R N E T   R E S ,   V 1 2 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 5 4 9 	 3 0 	 0 	 0 	 J M I R   P U B L I C A T I O N S ,   I N C 	 T O R O N T O 	 5 9   W I N N E R S   C I R C L E ,   T O R O N T O ,   O N   M 4 L   3 Y 7 ,   C A N A D A 	 1 4 3 8 - 8 8 7 1 	 	 	 J   M E D   I N T E R N E T   R E S 	 J .   M e d .   I n t e r n e t   R e s . 	 F E B 	 2 0 1 4 	 1 6 	 2 	 	 	 	 	 	 	 e 2 9 	 1 0 . 2 1 9 6 / j m i r . 3 0 7 8 	 	 1 2 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 A C 3 E J 	 W O S : 0 0 0 3 3 2 3 9 7 5 0 0 0 1 7 	 2 4 4 9 6 0 9 4 	 
 J 	 H a u t z ,   J ;   F u l l e r ,   J ;   H u t t e r ,   K ;   T h u r r i d l ,   C 	 	 	 	 H a u t z ,   J u l i a ;   F u e l l e r ,   J o h a n n ;   H u t t e r ,   K a t j a ;   T h u e r r i d l ,   C a r i n a 	 	 	 L e t   U s e r s   G e n e r a t e   Y o u r   V i d e o   A d s ?   T h e   I m p a c t   o f   V i d e o   S o u r c e   a n d   Q u a l i t y   o n   C o n s u m e r s '   P e r c e p t i o n s   a n d   I n t e n d e d   B e h a v i o r s 	 J O U R N A L   O F   I N T E R A C T I V E   M A R K E T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 U s e r - g e n e r a t e d   c o n t e n t ;   S o c i a l   m e d i a ;   C r o w d s o u r c i n g ;   S o u r c e   c r e d i b i l i t y ;   V i r a l   M a r k e t i n g 	 W O R D - O F - M O U T H ;   M E S S A G E   E V A L U A T I O N ;   O N L I N E   C O M M U N I T I E S ;   S O U R C E   C R E D I B I L I T Y ;   M E D I A T I O N   A N A L Y S I S ;   P E R S U A S I O N ;   R E C O M M E N D A T I O N S ;   C O M M U N I C A T I O N ;   D E T E R M I N A N T S ;   E X P E R I E N C E 	 T h e   a d v e n t   o f   s o c i a l   m e d i a   h a s   c h a l l e n g e d   c o m p a n i e s   a s   s o l e   c r e a t o r s   o f   m a r k e t i n g   m e s s a g e s .   W h e t h e r   i n t e n t i o n a l l y   b r a n d e d   o r   s u b c o n s c i o u s l y   p r o m o t e d ,   u s e r s   b e c o m e   a m b a s s a d o r s   f o r   p r o d u c t s   a n d   b r a n d s   b y   p r o d u c i n g   a n d   d i s s e m i n a t i n g   u s e r - g e n e r a t e d   c o n t e n t   ( U G C ) .   W h e r e a s   p r e v i o u s   s t u d i e s   o n   U G C   h a v e   m a i n l y   c o n s i d e r e d   v e r b a l   p e e r   r e c o m m e n d a t i o n s   o r   w r i t t e n   r e v i e w s ,   o u r   r e s e a r c h   f o c u s e s   o n   u s e r - g e n e r a t e d   v i d e o s   ( U G V s ) .   I n   o u r   2   ( s o u r c e :   u s e r   v s .   a g e n c y )   x   2   ( t e c h n i c a l   q u a l i t y :   l o w   v s .   h i g h )   e x p e r i m e n t a l   s t u d y ,   w e   e x p l o r e   t h e   i m p a c t   o f   u s e r - g e n e r a t e d   v i d e o s   ( U G V s )   v s .   a g e n c y - g e n e r a t e d   v i d e o s   ( A G V s )   o n   s p e c t a t o r s '   p e r c e i v e d   s o u r c e   c r e d i b i l i t y   a n d   t h e i r   i n t e n t i o n   t o   v i s i t   t h e   t o u r i s t   d e s t i n a t i o n   T y r o l   i n   A u s t r i a ,   a s   p r o m o t e d   i n   t h e   v i d e o .   I n   a d d i t i o n ,   w e   e x p l o r e   t h e   m o d e r a t i n g   r o l e   o f   v i d e o   q u a l i t y .   I n   c o n t r a s t   t o   c o n v e n t i o n a l   w i s d o m ,   o u r   r e s u l t s   i n d i c a t e   t h a t   t h e r e   i s   n o   g e n e r a l   s u p e r i o r i t y   o f   U G V s   o v e r   A G V s .   R a t h e r ,   t h e   i n f l u e n c e   o f   d i f f e r e n t   v i d e o   g e n e r a t o r s   ( u s e r   v s .   a g e n c y )   o n   s p e c t a t o r s '   p e r c e p t i o n   a n d   i n t e n d e d   b e h a v i o r   d e p e n d s   o n   t h e   t e c h n i c a l   q u a l i t y   o f   t h e   v i d e o .   I n   t h e   c a s e   o f   l o w   t e c h n i c a l   q u a l i t y ,   u s e r s   a s   g e n e r a t o r s   h a v e   a   s i g n i f i c a n t l y   s t r o n g e r   p o s i t i v e   e f f e c t   o n   s o u r c e   t r u s t w o r t h i n e s s   -   a n d   e x p e r t i s e   a n d   t h e r e b y   o n   c o n s u m e r s '   i n t e n d e d   b e h a v i o r s   -   t h a n   A G V s .   H o w e v e r ,   n o   i m p a c t   f r o m   t h e   g e n e r a t i n g   s o u r c e   o n   t r u s t w o r t h i n e s s   h a s   b e e n   f o u n d   u n d e r   t h e   c o n d i t i o n   o f   h i g h l y   t e c h n i c a l   q u a l i t y .   C o n c e r n i n g   s o u r c e   e x p e r t i s e ,   v i d e o s   g e n e r a t e d   b y   u s e r s   a r e   r a t e d   m o r e   h i g h l y   t h a n   a g e n c y - g e n e r a t e d   v i d e o s   u n d e r   b o t h   l o w   a n d   h i g h   t e c h n i c a l   q u a l i t i e s ,   b u t   t h e   a d v a n t a g e   i s   s i g n i f i c a n t l y   l o w e r   u n d e r   h i g h   t e c h n i c a l   q u a l i t y .   O u r   f i n d i n g s   c o n t r i b u t e   t o   a   b e t t e r   u n d e r s t a n d i n g   o f   u s e r - g e n e r a t e d   c o n t e n t   o v e r a l l   a n d   r e l a t i v i z e   t h e   w i d e l y   a s s u m e d   g e n e r a l   s u p e r i o r i t y   o f   u s e r - g e n e r a t e d   c o n t e n t   o v e r   c o m m e r c i a l ,   f i r m - g e n e r a t e d   c o n t e n t ,   a t   l e a s t   i n   t h e   c a s e   o f   v i d e o s .   ( C )   2 0 1 3   D i r e c t   M a r k e t i n g   E d u c a t i o n a l   F o u n d a t i o n ,   I n c .   P u b l i s h e d   b y   E l s e v i e r   I n c .   A l l   r i g h t s   r e s e r v e d . 	 [ H a u t z ,   J u l i a ;   F u e l l e r ,   J o h a n n ;   H u t t e r ,   K a t j a ]   U n i v   I n n s b r u c k ,   S c h   M a n a g e m e n t ,   D e p t   S t r a t e g   M a n a g e m e n t   M k t   &   T o u r i s m ,   A - 6 0 2 0   I n n s b r u c k ,   A u s t r i a ;   [ F u e l l e r ,   J o h a n n ;   T h u e r r i d l ,   C a r i n a ]   H Y V E   A G ,   D - 8 0 7 9 9   M u n i c h ,   G e r m a n y ;   [ H u t t e r ,   K a t j a ]   H a r v a r d   U n i v ,   N A S A   T o u r n a m e n t   L a b ,   I Q S S ,   C a m b r i d g e ,   M A   0 2 1 3 8   U S A 	 H u t t e r ,   K   ( r e p r i n t   a u t h o r ) ,   U n i v   I n n s b r u c k ,   S c h   M a n a g e m e n t ,   D e p t   S t r a t e g   M a n a g e m e n t   M k t   &   T o u r i s m ,   U n i v   S t r   1 5 ,   A - 6 0 2 0   I n n s b r u c k ,   A u s t r i a . 	 j u l i a . h a u t z @ u i b k . a c . a t ;   j o h a n n . f u e l l e r @ h y v e . d e ;   k a t j a . h u t t e r @ u i b k . a c . a t ;   c a r i n a . t h u e r r i d l @ s t u d e n t . u i b k . a c . a t 	 	 	 	 	 A i k e n   L . ,   1 9 9 1 ,   M U L T I P L E   R E G R E S S I O N ;   A j z e n   I . ,   1 9 7 5 ,   B E L I E F   A T T I T U D E   I N T E ;   A l j u k h a d a r   M ,   2 0 1 0 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 4 ,   P 1 0 3 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 4 0 4 0 4 ;   A n d s a g e r   J L ,   2 0 0 6 ,   C O M M U N   R E S ,   V 3 3 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 3 6 5 0 2 0 5 2 8 3 0 9 9 ;   B a g o z z i   R .   P . ,   1 9 8 8 ,   J   A C A D E M Y   M A R K E T I N G ,   V 1 6 ,   P 7 4 ,   D O I   D O I   1 0 . 1 0 0 7 / B F 0 2 7 2 3 3 2 7 ;   B A R O N   R M ,   1 9 8 6 ,   J   P E R S   S O C   P S Y C H O L ,   V 5 1 ,   P 1 1 7 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 5 1 . 6 . 1 1 7 3 ;   B e e r e n d s   J G ,   1 9 9 9 ,   J   A U D I O   E N G   S O C ,   V 4 7 ,   P 3 5 5 ;   B e r t h o n   P ,   2 0 0 8 ,   C A L I F   M A N A G E   R E V ,   V 5 0 ,   P 6 ;   B i c k a r t   B . ,   2 0 0 1 ,   J   I N T E R A C T   M A R K ,   P 3 1 ,   D O I   D O I   1 0 . 1 0 0 2 / D I R . 1 0 1 4 ;   B O N F E R R O N I   C .   E . ,   1 9 3 6 ,   P U B B L I C A Z I O N I   R   I   S U ,   V 8 ,   P 3 ;   B o o t h - B u t t e r f i e l d   S t e v e ,   1 9 9 3 ,   C O M M U N I C A T I O N   Q ,   V 4 1 ,   P 7 7 ;   B r o w n   J ,   2 0 0 7 ,   J   I N T E R A C T   M A R K ,   V 2 1 ,   P 2 ,   D O I   1 0 . 1 0 0 2 / d i r . 2 0 0 8 2 ;   B r o w n e   M . W . ,   1 9 9 3 ,   T E S T I N G   S T R U C T U R A L   E ,   P 1 3 6 ,   D O I   D O I   1 0 . 1 1 7 7 / 0 0 4 9 1 2 4 1 9 2 0 2 1 0 0 2 0 0 1 ;   C A C I O P P O   J T ,   1 9 8 3 ,   J   P E R S   S O C   P S Y C H O L ,   V 4 5 ,   P 8 0 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 4 5 . 4 . 8 0 5 ;   C H A I K E N   S ,   1 9 8 0 ,   J   P E R S   S O C   P S Y C H O L ,   V 3 9 ,   P 7 5 2 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 3 9 . 5 . 7 5 2 ;   C H A I K E N   S ,   1 9 8 3 ,   J   P E R S   S O C   P S Y C H O L ,   V 4 5 ,   P 2 4 1 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 4 5 . 2 . 2 4 1 ;   C h a k r a v a r t y   A ,   2 0 1 0 ,   J   I N T E R A C T   M A R K ,   V 2 4 ,   P 1 8 5 ,   D O I   1 0 . 1 0 1 6 / j . i n t m a r . 2 0 1 0 . 0 4 . 0 0 1 ;   C h e o n g   H .   J . ,   2 0 0 8 ,   J   I N T E R A C T I V E   A D V E R T ,   V 8 ,   P 1 ;   C h e u n g   M Y ,   2 0 0 9 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 3 ,   P 9 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 3 0 4 0 2 ;   C h i k k e r u r   S ,   2 0 1 1 ,   I E E E   T   B R O A D C A S T ,   V 5 7 ,   P 1 6 5 ,   D O I   1 0 . 1 1 0 9 / T B C . 2 0 1 1 . 2 1 0 4 6 7 1 ;   C h i u   H C ,   2 0 0 7 ,   J   A D V E R T I S I N G   R E S ,   V 4 7 ,   P 5 2 4 ,   D O I   1 0 . 2 5 0 1 / S 0 0 2 1 8 4 9 9 0 7 0 7 0 5 4 7 ;   C h u   S h u - C h u a n ,   2 0 0 8 ,   J   I N T E R A C T I V E   A D V E R T ,   V 8 ,   P 1 ;   C o x   C . ,   2 0 0 9 ,   J o u r n a l   o f   H o s p i t a l i t y   M a r k e t i n g   &   M a n a g e m e n t ,   V 1 8 ,   P 7 4 3 ,   D O I   1 0 . 1 0 8 0 / 1 9 3 6 8 6 2 0 9 0 3 2 3 5 7 5 3 ;   D h a r   V ,   2 0 0 9 ,   J   I N T E R A C T   M A R K ,   V 2 3 ,   P 3 0 0 ,   D O I   1 0 . 1 0 1 6 / j . i n t m a r . 2 0 0 9 . 0 7 . 0 0 4 ;   E A G L Y   A H ,   1 9 7 8 ,   J   P E R S   S O C   P S Y C H O L ,   V 3 6 ,   P 4 2 4 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 3 6 . 4 . 4 2 4 ;   E i s e n d   M . ,   2 0 0 6 ,   J   E M P I R I C A L   G E N   M A R K ,   V 1 0 ,   P 1 ;   E r t i m u r   B ,   2 0 1 2 ,   J   I N T E R A C T   M A R K ,   V 2 6 ,   P 1 1 5 ,   D O I   1 0 . 1 0 1 6 / j . i n t m a r . 2 0 1 1 . 1 0 . 0 0 2 ;   F o g g   B . J . ,   2 0 0 3 ,   P   2 0 0 3   C   D E S   U S   E X P ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 9 9 7 0 7 8 . 9 9 7 0 9 7 ;   F r i e s t a d ,   1 9 9 4 ,   J   C O N S U M   R E S ,   V 2 1 ,   P 1 ;   F r i t z   M S ,   2 0 0 7 ,   P S Y C H O L   S C I ,   V 1 8 ,   P 2 3 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 2 8 0 . 2 0 0 7 . 0 1 8 8 2 . x ;   F u c h s   C h r i s t o p h ,   2 0 1 3 ,   J   M A R K E T I N G ,   P 1 ;   G r u e n   T W ,   2 0 0 6 ,   J   B U S   R E S ,   V 5 9 ,   P 4 4 9 ,   D O I   1 0 . 1 0 1 6 / j . b u s r e s . 2 0 0 5 . 1 0 . 0 0 4 ;   H A I R   J . F . ,   2 0 0 6 ,   M U L T I V A R I A T E   D A T A   A N ;   H a v e n   B r i a n ,   2 0 0 7 ,   L E V E R A G I N G   U S E R   G E N E ;   H a y e s   A .   F . ,   2 0 1 3 ,   I N T R O   M E D I A T I O N   M O D E ;   H a y e s   A F ,   2 0 0 9 ,   C O M M U N   M O N O G R ,   V 7 6 ,   P 4 0 8 ,   D O I   1 0 . 1 0 8 0 / 0 3 6 3 7 7 5 0 9 0 3 3 1 0 3 6 0 ;   H E E S A C K E R   M ,   1 9 8 3 ,   J   P E R S ,   V 5 1 ,   P 6 5 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 6 4 9 4 . 1 9 8 3 . t b 0 0 8 7 2 . x ;   H e n n i g - T h u r a   F . ,   2 0 0 4 ,   J   I N T E R A C T   M A R K ,   V 1 8 ,   P 3 8 ,   D O I   1 0 . 1 0 0 2 / d i r . 1 0 0 7 3 ;   H o   J Y C ,   2 0 1 0 ,   J   B U S   R E S ,   V 6 3 ,   P 1 0 0 0 ,   D O I   1 0 . 1 0 1 6 / j . j b u s r e s . 2 0 0 8 . 0 8 . 0 1 0 ;   H O C H   S J ,   1 9 8 9 ,   J   M A R K E T I N G ,   V 5 3 ,   P 1 ,   D O I   1 0 . 2 3 0 7 / 1 2 5 1 4 1 0 ;   H o v l a n d   C . I . ,   1 9 5 3 ,   C O M M U N I C A T I O N   P E R S U A ;   H u a n g   J S ,   2 0 1 2 ,   S O C   B E H A V   P E R S O N A L ,   V 4 0 ,   P 5 ,   D O I   1 0 . 2 2 2 4 / s b p . 2 0 1 2 . 4 0 . 1 . 5 ;   J i n   S A A ,   2 0 0 9 ,   J   I N T E R A C T   M A R K ,   V 2 3 ,   P 2 3 4 ,   D O I   1 0 . 1 0 1 6 / j . i n t m a r . 2 0 0 9 . 0 4 . 0 0 5 ;   K a n o   N o r i a k i ,   1 9 8 4 ,   H I N S H I T S U   J   J A P A N E S E ,   V 4 ,   P 3 9 ;   K e e n   A n d r e w ,   2 0 0 7 ,   C U L T   A M A T E U R   T O D A Y S ;   K e l l e r   E ,   2 0 0 7 ,   J   A D V E R T I S I N G   R E S ,   V 4 7 ,   P 4 4 8 ,   D O I   1 0 . 2 5 0 1 / S 0 0 2 1 8 4 9 9 0 7 0 7 0 4 6 8 ;   K I D D   R F ,   1 9 7 6 ,   R E P R E S E N T   R   S O C   P S Y C ,   V 7 ,   P 1 6 0 ;   K l i n e   R .   B . ,   1 9 9 8 ,   P R I N C I P L E S   P R A C T I C E ;   K o z i n e t s   R V ,   2 0 1 0 ,   J   M A R K E T I N G ,   V 7 4 ,   P 7 1 ;   L a r c k e r   D .   F . ,   1 9 8 1 ,   J   M A R K E T I N G   R E S ,   V 1 8 ,   P 3 9 ,   D O I   D O I   1 0 . 2 3 0 7 / 3 1 5 1 3 1 2 ;   L e e   H ,   2 0 1 0 ,   P U B L I C   R E L A T   R E V ,   V 3 6 ,   P 3 1 0 ,   D O I   1 0 . 1 0 1 6 / j . p u b r e v . 2 0 1 0 . 0 4 . 0 0 3 ;   L i u   S c o t t   S . ,   1 9 8 7 ,   P S Y C H O L   M A R K E T ,   V 4 ,   P 1 6 7 ,   D O I   1 0 . 1 0 0 2 / m a r . 4 2 2 0 0 4 0 3 0 3 ;   L i u - T h o m p k i n s   Y ,   2 0 1 2 ,   J   I N T E R A C T   M A R K ,   V 2 6 ,   P 7 1 ,   D O I   1 0 . 1 0 1 6 / j . i n t m a r . 2 0 1 1 . 1 1 . 0 0 3 ;   L u t h j e   C ,   2 0 0 4 ,   T E C H N O V A T I O N ,   V 2 4 ,   P 6 8 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 6 - 4 9 7 2 ( 0 2 ) 0 0 1 5 0 - 5 ;   M a c K i n n o n   D a v i d   P . ,   2 0 0 4 ,   M U L T I V A R I A T E   B E H A V   R ,   V 3 9 ,   P 9 9 ;   M a c K i n n o n   D P ,   2 0 0 2 ,   P S Y C H O L   M E T H O D S ,   V 7 ,   P 8 3 ,   D O I   1 0 . 1 0 3 7 / / 1 0 8 2 - 9 8 9 X . 7 . 1 . 8 3 ;   M a t z l e r   K . ,   1 9 9 6 ,   J   P R O D U C T   B R A N D   M A N A ,   V 5 ,   P 6 ,   D O I   D O I   1 0 . 1 1 0 8 / 1 0 6 1 0 4 2 9 6 1 0 1 1 9 4 6 9 ;   M C C R A C K E N   G ,   1 9 8 9 ,   J   C O N S U M   R E S ,   V 1 6 ,   P 3 1 0 ,   D O I   1 0 . 1 0 8 6 / 2 0 9 2 1 7 ;   M e t z g e r   M J ,   2 0 1 0 ,   J   C O M M U N ,   V 6 0 ,   P 4 1 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 0 - 2 4 6 6 . 2 0 1 0 . 0 1 4 8 8 . x ;   M i l l i k e n   M a r y ,   2 0 0 8 ,   I N T   C O M M   A S S   I C A   A N N ;   M o r g a n   J ,   2 0 0 9 ,   J   H A P P I N E S S   S T U D ,   V 1 0 ,   P 1 9 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 9 0 2 - 0 0 7 - 9 0 7 5 - 0 ;   M o s o c o v i c i   S e r g e ,   1 9 8 5 ,   H D B   S O C I A L   P S Y C H O L   S ,   P 3 4 1 ;   M u i l i z   J r   A l b e r t   M . ,   2 0 0 7 ,   J   A D V E R T I S I N G ,   V 3 6 ,   P 1 8 7 ;   O E C D ,   2 0 0 7 ,   W O R K   P A R T   I N F   E C ;   O H A N I A N   R ,   1 9 9 0 ,   J   A D V E R T I S I N G ,   V 1 9 ,   P 3 9 ;   O H A N I A N   R ,   1 9 9 1 ,   J   A D V E R T I S I N G   R E S ,   V 3 1 ,   P 4 6 ;   O L I V E R   R L ,   1 9 8 0 ,   J   M A R K E T I N G   R E S ,   V 1 7 ,   P 4 6 0 ,   D O I   1 0 . 2 3 0 7 / 3 1 5 0 4 9 9 ;   P a e k   H J ,   2 0 1 1 ,   I N T   J   A D V E R T ,   V 3 0 ,   P 1 6 1 ,   D O I   1 0 . 2 5 0 1 / I J A - 3 0 - 1 - 1 6 1 - 1 8 8 ;   P E R D U E   B C ,   1 9 8 6 ,   J   M A R K E T I N G   R E S ,   V 2 3 ,   P 3 1 7 ,   D O I   1 0 . 2 3 0 7 / 3 1 5 1 8 0 7 ;   P e t t y   R .   E . ,   1 9 8 1 ,   A T T I T U D E S   P E R S U A S I O N ;   P o o r i s a t   T h a n o m w o n g ,   2 0 0 8 ,   I N T   C O M M   A S S   I C A   A N N ;   P r e a c h e r   K J ,   2 0 0 8 ,   B E H A V   R E S   M E T H O D S ,   V 4 0 ,   P 8 7 9 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 0 . 3 . 8 7 9 ;   R i e g n e r   C ,   2 0 0 7 ,   J   A D V E R T I S I N G   R E S ,   V 4 7 ,   P 4 3 6 ,   D O I   1 0 . 2 5 0 1 / S 0 0 2 1 8 4 9 9 0 7 0 7 0 4 5 6 ;   R o s s i t e r   J R ,   2 0 0 2 ,   I N T   J   R E S   M A R K ,   V 1 9 ,   P 3 0 5 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 8 1 1 6 ( 0 2 ) 0 0 0 9 7 - 6 ;   R O S S I T E R   J R ,   1 9 9 4 ,   J   A D V E R T I S I N G   R E S ,   V 3 4 ,   P 1 9 ;   R u c k e r   D e r e k   D . ,   2 0 1 1 ,   S O C I A L   P E R S O N A L I T Y   P ,   V 5 ,   P 3 5 9 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 7 5 1 - 9 0 0 4 . 2 0 1 1 . 0 0 3 5 5 . X ;   S c h r e i e r   M ,   2 0 0 4 ,   P O E T I C S   T O D A Y ,   V 2 5 ,   P 3 0 5 ,   D O I   1 0 . 1 2 1 5 / 0 3 3 3 5 3 7 2 - 2 5 - 2 - 3 0 5 ;   S h r o u t   P E ,   2 0 0 2 ,   P S Y C H O L   M E T H O D S ,   V 7 ,   P 4 2 2 ,   D O I   1 0 . 1 0 3 7 / / 1 0 8 2 - 9 8 9 X . 7 . 4 . 4 2 2 ;   S l a t e r   M D ,   1 9 9 6 ,   J O U R N A L I S M   M A S S   C O M M ,   V 7 3 ,   P 9 7 4 ;   S m i t h   A N ,   2 0 1 2 ,   J   I N T E R A C T   M A R K ,   V 2 6 ,   P 1 0 2 ,   D O I   1 0 . 1 0 1 6 / j . i n t m a r . 2 0 1 2 . 0 1 . 0 0 2 ;   S m i t h   D ,   2 0 0 5 ,   J   I N T E R A C T   M A R K ,   V 1 9 ,   P 1 5 ,   D O I   1 0 . 1 0 0 2 / d i r . 2 0 0 4 1 ;   S u n   T . ,   2 0 0 6 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 1 ,   P 1 1 0 4 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 0 8 3 - 6 1 0 1 . 2 0 0 6 . 0 0 3 1 0 . X ] ;   S u s s a n   F i o n a ,   2 0 0 6 ,   A D V   C O N S U M   R E S ,   V 3 3 ,   P 6 4 9 ;   T h e   N i e l s e n   C o m p a n y ,   2 0 0 9 ,   G L O B   A D V   C O N S   T R U S T ;   T o r m a l a   Z L ,   2 0 0 6 ,   J   E X P   S O C   P S Y C H O L ,   V 4 2 ,   P 6 8 4 ,   D O I   1 0 . 1 0 1 6 / j . j e s p . 2 0 0 5 . 1 0 . 0 0 5 ;   U r b a n   G .   L . ,   1 9 9 3 ,   D E S I G N   M A R K E T I N G   N E W ;   v a n   N o o r t   G ,   2 0 1 2 ,   J   I N T E R A C T   M A R K ,   V 2 6 ,   P 2 2 3 ,   D O I   1 0 . 1 0 1 6 / j . i n t m a r . 2 0 1 1 . 1 1 . 0 0 2 ;   W i l s o n   E .   J . ,   1 9 9 3 ,   J   A C A D   M A R K E T   S C I ,   V 2 1 ,   P 1 0 1 ,   D O I   D O I   1 0 . 1 0 0 7 / B F 0 2 8 9 4 4 2 1 ;   Z h a o   X S ,   2 0 1 0 ,   J   C O N S U M   R E S ,   V 3 7 ,   P 1 9 7 ,   D O I   1 0 . 1 0 8 6 / 6 5 1 2 5 7 	 8 9 	 0 	 0 	 E L S E V I E R   S C I E N C E   I N C 	 N E W   Y O R K 	 3 6 0   P A R K   A V E   S O U T H ,   N E W   Y O R K ,   N Y   1 0 0 1 0 - 1 7 1 0   U S A 	 1 0 9 4 - 9 9 6 8 	 1 5 2 0 - 6 6 5 3 	 	 J   I N T E R A C T   M A R K 	 J .   I n t e r a c t .   M a r k . 	 F E B 	 2 0 1 4 	 2 8 	 1 	 	 	 	 	 1 	 1 5 	 	 1 0 . 1 0 1 6 / j . i n t m a r . 2 0 1 3 . 0 6 . 0 0 3 	 	 1 5 	 B u s i n e s s 	 B u s i n e s s   &   E c o n o m i c s 	 A C 2 T K 	 W O S : 0 0 0 3 3 2 3 5 6 7 0 0 0 0 1 	 	 
 J 	 S h a m i r ,   L ;   Y e r b y ,   C ;   S i m p s o n ,   R ;   v o n   B e n d a - B e c k m a n n ,   A M ;   T y a c k ,   P ;   S a m a r r a ,   F ;   M i l l e r ,   P ;   W a l l i n ,   J 	 	 	 	 S h a m i r ,   L i o r ;   Y e r b y ,   C a r o l ;   S i m p s o n ,   R o b e r t ;   v o n   B e n d a - B e c k m a n n ,   A l e x a n d e r   M . ;   T y a c k ,   P e t e r ;   S a m a r r a ,   F i l i p a ;   M i l l e r ,   P a t r i c k ;   W a l l i n ,   J o h n 	 	 	 C l a s s i f i c a t i o n   o f   l a r g e   a c o u s t i c   d a t a s e t s   u s i n g   m a c h i n e   l e a r n i n g   a n d   c r o w d s o u r c i n g :   A p p l i c a t i o n   t o   w h a l e   c a l l s 	 J O U R N A L   O F   T H E   A C O U S T I C A L   S O C I E T Y   O F   A M E R I C A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 R E S I D E N T   K I L L E R   W H A L E S ;   F I N N E D   P I L O T   W H A L E S ;   O R C I N U S - O R C A ;   B R I T I S H - C O L U M B I A ;   I M A G E - A N A L Y S I S ;   D A T A   R E L E A S E ;   G A L A X Y   Z O O ;   S O U N D ;   W H I S T L E S ;   S O N A R 	 V o c a l   c o m m u n i c a t i o n   i s   a   p r i m a r y   c o m m u n i c a t i o n   m e t h o d   o f   k i l l e r   a n d   p i l o t   w h a l e s ,   a n d   i s   u s e d   f o r   t r a n s m i t t i n g   a   b r o a d   r a n g e   o f   m e s s a g e s   a n d   i n f o r m a t i o n   f o r   s h o r t   a n d   l o n g   d i s t a n c e .   T h e   l a r g e   v a r i a t i o n   i n   c a l l   t y p e s   o f   t h e s e   s p e c i e s   m a k e s   i t   c h a l l e n g i n g   t o   c a t e g o r i z e   t h e m .   I n   t h i s   s t u d y ,   s o u n d s   r e c o r d e d   b y   a u d i o   s e n s o r s   c a r r i e d   b y   t e n   k i l l e r   w h a l e s   a n d   e i g h t   p i l o t   w h a l e s   c l o s e   t o   t h e   c o a s t s   o f   N o r w a y ,   I c e l a n d ,   a n d   t h e   B a h a m a s   w e r e   a n a l y z e d   u s i n g   c o m p u t e r   m e t h o d s   a n d   c i t i z e n   s c i e n t i s t s   a s   p a r t   o f   t h e   W h a l e   F M   p r o j e c t .   R e s u l t s   s h o w   t h a t   t h e   c o m p u t e r   a n a l y s i s   a u t o m a t i c a l l y   s e p a r a t e d   t h e   k i l l e r   w h a l e s   i n t o   I c e l a n d i c   a n d   N o r w e g i a n   w h a l e s ,   a n d   t h e   p i l o t   w h a l e s   w e r e   s e p a r a t e d   i n t o   N o r w e g i a n   l o n g - f i n n e d   a n d   B a h a m a s   s h o r t - f i n n e d   p i l o t   w h a l e s ,   s h o w i n g   t h a t   a t   l e a s t   s o m e   w h a l e s   f r o m   t h e s e   t w o   l o c a t i o n s   h a v e   d i f f e r e n t   a c o u s t i c   r e p e r t o i r e s   t h a t   c a n   b e   s e n s e d   b y   t h e   c o m p u t e r   a n a l y s i s .   T h e   c i t i z e n   s c i e n c e   a n a l y s i s   w a s   a l s o   a b l e   t o   s e p a r a t e   t h e   w h a l e s   t o   l o c a t i o n s   b y   t h e i r   s o u n d s ,   b u t   t h e   s e p a r a t i o n   w a s   s o m e w h a t   l e s s   a c c u r a t e   c o m p a r e d   t o   t h e   c o m p u t e r   m e t h o d .   ( C )   2 0 1 4   A c o u s t i c a l   S o c i e t y   o f   A m e r i c a . 	 [ S h a m i r ,   L i o r ;   Y e r b y ,   C a r o l ]   L a w r e n c e   T e c h n o l   U n i v ,   S o u t h f i e l d ,   M I   4 8 0 7 5   U S A ;   [ S i m p s o n ,   R o b e r t ]   U n i v   O x f o r d ,   O x f o r d   O X 1   3 R H ,   E n g l a n d ;   [ v o n   B e n d a - B e c k m a n n ,   A l e x a n d e r   M . ]   N e t h e r l a n d s   O r g   A p p l   S c i   R e s ,   N L - 2 5 0 9   J G   T h e   H a g u e ,   Z u i d   H o l l a n d ,   N e t h e r l a n d s ;   [ T y a c k ,   P e t e r ;   S a m a r r a ,   F i l i p a ;   M i l l e r ,   P a t r i c k ]   U n i v   S t   A n d r e w s ,   S t   A n d r e w s   K Y 1 6   9 S T ,   F i f e ,   S c o t l a n d ;   [ W a l l i n ,   J o h n ]   M i d d l e   T e n n e s s e e   S t a t e   U n i v ,   M u r f r e e s b o r o ,   T N   3 7 1 3 0   U S A 	 S h a m i r ,   L   ( r e p r i n t   a u t h o r ) ,   L a w r e n c e   T e c h n o l   U n i v ,   2 1 0 0 0   T e n   M i l e   R d ,   S o u t h f i e l d ,   M I   4 8 0 7 5   U S A . 	 l s h a m i r @ m t u . e d u 	 	 	 N S F   [ 0 9 4 1 6 1 0 ,   1 1 5 7 1 6 2 ] ;   S c i e n t i f i c   A m e r i c a n ;   S e a   M a m m a l   R e s e a r c h   U n i t   a t   t h e   U n i v e r s i t y   o f   S t .   A n d r e w s ;   W o o d s   H o l e   O c e a n o g r a p h i c   I n s t i t u t i o n   f o r   t h e   W h a l e   F M   p r o j e c t ;   M a r i n e   A l l i a n c e   f o r   S c i e n c e   a n d   T e c h n o l o g y   f o r   S c o t l a n d   ( M A S T S ) ;   S c o t t i s h   F u n d i n g   C o u n c i l   [ H R 0 9 0 1 1 ] 	 Z o o n i v e r s e   i s   s u p p o r t e d   b y   N S F   G r a n t   N o .   0 9 4 1 6 1 0 .   W e   g r a t e f u l l y   a c k n o w l e d g e   h e l p   f r o m   d a t a   c o l l e c t o r s :   A r i   S h a p i r o ,   L a e l a   S a y i g h ,   R i c a r d o   A n t u n e s ,   a n d   A n a   C a t a r i n a   A l v e s .   A c o u s t i c   d a t a   w e r e   c o l l e c t e d   a s   p a r t   o f   t h e   B R S   a n d   3 S   b e h a v i o r a l   r e s p o n s e   s t u d i e s .   W e   t h a n k   a l l   W h a l e   F M   v o l u n t e e r s   w h o   h e l p e d   m a t c h i n g   d a t a   ( a   f u l l   l i s t   o f   c o n t r i b u t i n g   v o l u n t e e r s   c a n   b e   f o u n d   a t   h t t p : / / w h a l e . f m / c o n t r i b u t o r s ) .   F u r t h e r ,   w e   g r a t e f u l l y   a c k n o w l e d g e   S c i e n t i f i c   A m e r i c a n   f o r   s u p p o r t i n g   t h e   W h a l e   F M   p r o j e c t .   A .   M .   v .   B .   B .   a c k n o w l e d g e s   s u p p o r t   f r o m   t h e   S e a   M a m m a l   R e s e a r c h   U n i t   a t   t h e   U n i v e r s i t y   o f   S t .   A n d r e w s   ( P r o f e s s o r   I a n   B o y d )   a n d   W o o d s   H o l e   O c e a n o g r a p h i c   I n s t i t u t i o n   f o r   t h e   W h a l e   F M   p r o j e c t .   T h e   c o m p u t i n g   c l u s t e r   t h a t   p r o c e s s e d   t h e   d a t a   w a s   f u n d e d   b y   N S F   G r a n t   N o .   1 1 5 7 1 6 2 .   P .   T .   r e c e i v e d   f u n d i n g   f r o m   t h e   M a r i n e   A l l i a n c e   f o r   S c i e n c e   a n d   T e c h n o l o g y   f o r   S c o t l a n d   ( M A S T S )   a n d   t h e i r   s u p p o r t   i s   g r a t e f u l l y   a c k n o w l e d g e d .   M A S T S   i s   f u n d e d   b y   t h e   S c o t t i s h   F u n d i n g   C o u n c i l   ( g r a n t   H R 0 9 0 1 1 )   a n d   c o n t r i b u t i n g   i n s t i t u t i o n s . 	 B a r l o w   H .   B . ,   1 9 8 9 ,   N e u r a l   C o m p u t a t i o n ,   V 1 ,   D O I   1 0 . 1 1 6 2 / n e c o . 1 9 8 9 . 1 . 3 . 2 9 5 ;   B a r r e t t L e n n a r d   L G ,   1 9 9 6 ,   A N I M   B E H A V ,   V 5 1 ,   P 5 5 3 ,   D O I   1 0 . 1 0 0 6 / a n b e . 1 9 9 6 . 0 0 5 9 ;   B i s h o p   C .   M . ,   2 0 0 6 ,   P A T T E R N   R E C O G N ,   P 1 9 1 ;   D e e c k e   V B ,   1 9 9 9 ,   J   A C O U S T   S O C   A M ,   V 1 0 5 ,   P 2 4 9 9 ,   D O I   1 0 . 1 1 2 1 / 1 . 4 2 6 8 5 3 ;   F e l s e n s t e i n   M . ,   2 0 0 4 ,   P H Y L I P   P H Y L O G E N Y   I N F ,   V 3 6 ,   P 2 0 0 4 ;   F i s c h e r   D A ,   2 0 1 2 ,   M O N   N O T   R   A S T R O N   S O C ,   V 4 1 9 ,   P 2 9 0 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 1 1 . 1 9 9 3 2 . x ;   F o r d   J .   K .   B . ,   2 0 0 0 ,   K I L L E R   W H A L E S   N A T U R A ,   P 1 ;   F O R D   J K B ,   1 9 8 9 ,   C A N   J   Z O O L ,   V 6 7 ,   P 7 2 7 ;   G l o t i n   H . ,   2 0 0 8 ,   I N T   J   C A N   A C O U S T ,   V 3 6 ,   P 1 4 1 ;   J o h n s o n   M P ,   2 0 0 3 ,   I E E E   J   O C E A N I C   E N G ,   V 2 8 ,   P 3 ,   D O I   1 0 . 1 1 0 9 / J O E . 2 0 0 2 . 8 0 8 2 1 2 ;   K U M A R   A R ,   1 9 9 3 ,   J   A C O U S T   S O C   A M ,   V 9 3 ,   P 3 3 6 5 ,   D O I   1 0 . 1 1 2 1 / 1 . 4 0 5 6 9 2 ;   L i n t o t t   C ,   2 0 1 1 ,   M O N   N O T   R   A S T R O N   S O C ,   V 4 1 0 ,   P 1 6 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 1 0 . 1 7 4 3 2 . x ;   L i n t o t t   C J ,   2 0 0 8 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 8 9 ,   P 1 1 7 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 8 . 1 3 6 8 9 . x ;   M i l l e r   P J O ,   2 0 0 6 ,   J   C O M P   P H Y S I O L   A ,   V 1 9 2 ,   P 4 4 9 ,   D O I   1 0 . 1 0 6 7 / s 0 0 3 5 9 - 0 0 5 - 0 0 8 5 - 2 ;   M i l l e r   P J O ,   2 0 1 2 ,   A Q U A T   M A M M ,   V 3 8 ,   P 3 6 2 ,   D O I   1 0 . 1 5 7 8 / A M . 3 8 . 4 . 2 0 1 2 . 3 6 2 ;   M i l l e r   P J O ,   2 0 0 0 ,   A N I M   B E H A V ,   V 6 0 ,   P 6 1 7 ,   D O I   1 0 . 1 0 0 6 / a n b e . 2 0 0 0 . 1 5 0 3 ;   M i l l e r   P J O ,   2 0 0 4 ,   A N I M   B E H A V ,   V 6 7 ,   P 1 0 9 9 ,   D O I   1 0 . 1 0 1 6 / j . a n b e h a v . 2 0 0 3 . 0 6 . 0 1 7 ;   N o u s e k   A E ,   2 0 0 6 ,   B I O L   L E T T - U K ,   V 2 ,   P 4 8 1 ,   D O I   1 0 . 1 0 9 8 / r s b l . 2 0 0 6 . 0 5 1 7 ;   O s w a l d   J N ,   2 0 0 3 ,   M A R   M A M M A L   S C I ,   V 1 9 ,   P 2 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 8 - 7 6 9 2 . 2 0 0 3 . t b 0 1 0 9 0 . x ;   O t t e n s m e y e r   C A ,   2 0 0 3 ,   C A N   J   Z O O L ,   V 8 1 ,   P 1 3 2 7 ,   D O I   1 0 . 1 1 3 9 / Z 0 3 - 1 2 7 ;   P I C K O V E R   C A ,   1 9 8 6 ,   C O M P U T   G R A P H ,   V 1 0 ,   P 5 1 ,   D O I   1 0 . 1 0 1 6 / 0 0 9 7 - 8 4 9 3 ( 8 6 ) 9 0 0 6 8 - 3 ;   R i e s c h   R ,   2 0 1 1 ,   B E H A V   E C O L   S O C I O B I O L ,   V 6 5 ,   P 1 3 7 7 ,   D O I   1 0 . 1 0 0 7 / s 0 0 2 6 5 - 0 1 1 - 1 1 4 8 - 8 ;   R i e s c h   R ,   2 0 0 6 ,   A N I M   B E H A V ,   V 7 1 ,   P 7 9 ,   D O I   1 0 . 1 0 1 6 / j . a n b e h a v . 2 0 0 5 . 0 3 . 0 2 6 ;   S a m a r r a   F I P ,   2 0 1 0 ,   J   A C O U S T   S O C   A M ,   V 1 2 8 ,   p E L 2 0 5 ,   D O I   1 0 . 1 1 2 1 / 1 . 3 4 6 2 2 3 5 ;   S a y i g h   L ,   2 0 1 3 ,   M A R   M A M M A L   S C I ,   V 2 9 ,   P 3 1 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 8 - 7 6 9 2 . 2 0 1 2 . 0 0 5 7 7 . x ;   S C H E V I L L   W E ,   1 9 6 6 ,   Z O O L O G I C A - N   Y ,   V 5 1 ,   P 7 1 ;   S h a m i r   L i o r ,   2 0 0 8 ,   S o u r c e   C o d e   B i o l   M e d ,   V 3 ,   P 1 3 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 1 - 0 4 7 3 - 3 - 1 3 ;   S h a m i r   L ,   2 0 0 8 ,   M E D   B I O L   E N G   C O M P U T ,   V 4 6 ,   P 9 4 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 5 1 7 - 0 0 8 - 0 3 8 0 - 5 ;   S h a m i r   L ,   2 0 0 9 ,   I E E E   T   B I O - M E D   E N G ,   V 5 6 ,   P 4 0 7 ,   D O I   1 0 . 1 1 0 9 / T B M E . 2 0 0 8 . 2 0 0 6 0 2 5 ;   S h a m i r   L ,   2 0 0 9 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 9 9 ,   P 1 3 6 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 9 . 1 5 3 6 6 . x ;   S h a m i r   L ,   2 0 1 0 ,   P L O S   C O M P U T   B I O L ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p c b i . 1 0 0 0 9 7 4 ;   S h a m i r   L . ,   2 0 0 9 ,   B I O M E T R I C S ,   V 1 ,   P 3 6 5 ;   S h a m i r   L ,   2 0 1 0 ,   A C M   T   A P P L   P E R C E P T ,   V 7 ,   D O I   1 0 . 1 1 4 5 / 1 6 7 0 6 7 1 . 1 6 7 0 6 7 2 ;   S h a m i r   L . ,   2 0 1 2 ,   A C M   J   C O M P U T   C U L T U R A ,   V 5 ;   S i m p s o n   R J ,   2 0 1 2 ,   M O N   N O T   R   A S T R O N   S O C ,   V 4 2 4 ,   P 2 4 4 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 1 2 . 2 0 7 7 0 . x ;   S v a t o r a   S a r a h ,   2 0 1 2 ,   C o m p u t a t i o n a l   E c o l o g y   a n d   S o f t w a r e ,   V 2 ,   P 9 6 ;   T E A G U E   M R ,   1 9 8 0 ,   J   O P T   S O C   A M ,   V 7 0 ,   P 9 2 0 ,   D O I   1 0 . 1 3 6 4 / J O S A . 7 0 . 0 0 0 9 2 0 ;   T h o m s e n   F ,   2 0 0 2 ,   N A T U R W I S S E N S C H A F T E N ,   V 8 9 ,   P 4 0 4 ,   D O I   1 0 . 1 0 0 7 / s 0 0 1 1 4 - 0 0 2 - 0 3 5 1 - x ;   T y a c k   P L ,   2 0 0 6 ,   J   E X P   B I O L ,   V 2 0 9 ,   P 4 2 3 8 ,   D O I   1 0 . 1 2 4 2 / j e b . 0 2 5 0 5 ;   T z a n e t a k i s   G ,   2 0 0 2 ,   I E E E   T   S P E E C H   A U D I   P ,   V 1 0 ,   P 2 9 3 ,   D O I   1 0 . 1 1 0 9 / T S A . 2 0 0 2 . 8 0 0 5 6 0 ;   V a n   P a r i j s   S M ,   2 0 0 9 ,   M A R   E C O L   P R O G   S E R ,   V 3 9 5 ,   P 2 1 ,   D O I   1 0 . 3 3 5 4 / m e p s 0 8 1 2 3 ;   v o n   B e n d a - B e c k m a n n   A M ,   2 0 1 0 ,   A P P L   A C O U S T ,   V 7 1 ,   P 1 0 2 7 ,   D O I   1 0 . 1 0 1 6 / j . a p a c o u s t . 2 0 1 0 . 0 5 . 0 1 5 ;   W U   C M ,   1 9 9 2 ,   I E E E   T   M E D   I M A G I N G ,   V 1 1 ,   P 1 4 1 ;   Y u r k   H ,   2 0 0 2 ,   A N I M   B E H A V ,   V 6 3 ,   P 1 1 0 3 ,   D O I   1 0 . 1 0 0 6 / a n b e . 2 0 0 2 . 3 0 1 2 	 4 4 	 0 	 0 	 A C O U S T I C A L   S O C   A M E R   A M E R   I N S T   P H Y S I C S 	 M E L V I L L E 	 S T E   1   N O   1 ,   2   H U N T I N G T O N   Q U A D R A N G L E ,   M E L V I L L E ,   N Y   1 1 7 4 7 - 4 5 0 2   U S A 	 0 0 0 1 - 4 9 6 6 	 1 5 2 0 - 8 5 2 4 	 	 J   A C O U S T   S O C   A M 	 J .   A c o u s t .   S o c .   A m . 	 F E B 	 2 0 1 4 	 1 3 5 	 2 	 	 	 	 	 9 5 3 	 9 6 2 	 	 1 0 . 1 1 2 1 / 1 . 4 8 6 1 3 4 8 	 	 1 0 	 A c o u s t i c s ;   A u d i o l o g y   &   S p e e c h - L a n g u a g e   P a t h o l o g y 	 A c o u s t i c s ;   A u d i o l o g y   &   S p e e c h - L a n g u a g e   P a t h o l o g y 	 A B 5 R L 	 W O S : 0 0 0 3 3 1 8 4 6 0 0 0 0 4 8 	 2 5 2 3 4 9 0 3 	 
 J 	 F r i e d r i c h ,   J M 	 	 	 	 F r i e d r i c h ,   J o n   M . 	 	 	 A   C l a s s r o o m - B a s e d   D i s t r i b u t e d   W o r k f l o w   I n i t i a t i v e   f o r   t h e   E a r l y   I n v o l v e m e n t   o f   U n d e r g r a d u a t e   S t u d e n t s   i n   S c i e n t i f i c   R e s e a r c h 	 J O U R N A L   O F   S C I E N C E   E D U C A T I O N   A N D   T E C H N O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 D i s t r i b u t e d   w o r k f l o w ;   U n d e r g r a d u a t e   r e s e a r c h ;   C r o w d s o u r c i n g ;   X - r a y   m i c r o t o m o g r a p h y ;   I m a g e   p r o c e s s i n g 	 S I Z E - F R E Q U E N C Y - D I S T R I B U T I O N S ;   G E O L O G I C A L   S P E C I M E N S ;   O R D I N A R Y   C H O N D R I T E S ;   C H O N D R U L E S ;   M I C R O T O M O G R A P H Y ;   G R A I N S 	 E n g a g i n g   f r e s h m a n   a n d   s o p h o m o r e   s t u d e n t s   i n   m e a n i n g f u l   s c i e n t i f i c   r e s e a r c h   i s   c h a l l e n g i n g   b e c a u s e   o f   t h e i r   d e v e l o p i n g   s k i l l   s e t   a n d   t h e i r   n e c e s s a r y   t i m e   c o m m i t m e n t s   t o   r e g u l a r   c l a s s w o r k .   A   p r o j e c t   c a l l e d   t h e   C h o n d r u l e   A n a l y s i s   P r o j e c t   w a s   i n i t i a t e d   t o   e n g a g e   f i r s t -   a n d   s e c o n d - y e a r   s t u d e n t s   i n   a n   i n i t i a l   r e s e a r c h   e x p e r i e n c e   a n d   a l s o   a c c o m p l i s h   s e v e r a l   s c i e n t i f i c   o b j e c t i v e s .   S t u d e n t s   t a k e   p a r t   i n   a   c l a s s r o o m - b a s e d ,   d i s t r i b u t e d   w o r k f l o w   p r o j e c t   t h a t   a i m s   t o   p r o d u c e   h i g h - q u a l i t y   d a t a   o n   t h e   p h y s i c a l   d i m e n s i o n s   o f   c h o n d r u l e s ,   m m - s i z e d   s p h e r u l e s   c o n t a i n e d   i n   p r i m i t i v e   m e t e o r i t e s   c a l l e d   c h o n d r i t e s .   S u c h   d a t a   a r e   n e e d e d   t o   t e s t   a s t r o p h y s i c a l   m o d e l s   f o r   p r o c e s s e s   a c t i n g   i n   t h e   e a r l y   s o l a r   s y s t e m .   S t u d e n t   i n v e s t i g a t o r s   p r o c e s s   X - r a y   m i c r o t o m o g r a p h y   d a t a   w i t h   r e s o u r c e s   c o n t a i n e d   o n   p o r t a b l e   U S B   f l a s h   d r i v e s   d i s t r i b u t e d   t o   t h e m .   S t u d e n t s   a r e   e x p o s e d   t o   d a t a   c o l l e c t i o n ,   d a t a   q u a l i t y   e v a l u a t i o n ,   i n t e r p r e t a t i o n ,   a n d   p r e s e n t a t i o n   o f   t h e i r   r e s u l t s .   H e r e i n ,   a n   i n t r o d u c t i o n   t o   t h e   s c i e n t i f i c   o b j e c t i v e s   i s   g i v e n   a l o n g   w i t h   a n   e v o l u t i o n a r y   h i s t o r y   o f   t h e   p r o j e c t .   A   d e s c r i p t i o n   o f   t h e   c u r r e n t   i m p l e m e n t a t i o n   o f   t h e   c o u r s e   i s   p r e s e n t e d ,   a n d   f u t u r e   d i r e c t i o n s   a r e   d i s c u s s e d .   A n o n y m o u s   s t u d e n t   e v a l u a t i o n s   o f   t h e   c o u r s e   a r e   u s e d   t o   d e m o n s t r a t e   t h e   e d u c a t i o n a l   a n d   e n g a g i n g   n a t u r e   o f   t h e   p r o j e c t .   F i n a l l y ,   w e   r e f l e c t   o n   t h e   p o s s i b l e   b e n e f i t s   o f   s u c h   a   p r o j e c t   f o r   f i r s t -   a n d   s e c o n d - y e a r   s t u d e n t s   w i t h i n   S T E M   d i s c i p l i n e s . 	 [ F r i e d r i c h ,   J o n   M . ]   F o r d h a m   U n i v ,   D e p t   C h e m ,   B r o n x ,   N Y   1 0 4 5 8   U S A ;   [ F r i e d r i c h ,   J o n   M . ]   A m e r   M u s e u m   N a t   H i s t ,   D e p t   E a r t h   &   P l a n e t a r y   S c i ,   N e w   Y o r k ,   N Y   1 0 0 2 4   U S A 	 F r i e d r i c h ,   J M   ( r e p r i n t   a u t h o r ) ,   F o r d h a m   U n i v ,   D e p t   C h e m ,   4 4 1   E a s t   F o r d h a m   R d ,   B r o n x ,   N Y   1 0 4 5 8   U S A . 	 f r i e d r i c h @ f o r d h a m . e d u 	 	 	 F o r d h a m   C o l l e g e   a t   R o s e   H i l l   D e a n ' s   O f f i c e ;   F u n d   f o r   A s t r o p h y s i c a l   R e s e a r c h ;   N a t i o n a l   S c i e n c e   F o u n d a t i o n - E a r t h   S c i e n c e s   [ E A R - 1 1 2 8 7 9 9 ] ;   D e p a r t m e n t   o f   E n e r g y - G e o s c i e n c e s   [ D E - F G 0 2 - 9 4 E R 1 4 4 6 6 ] ;   U S   D e p a r t m e n t   o f   E n e r g y ,   O f f i c e   o f   S c i e n c e ,   O f f i c e   o f   B a s i c   E n e r g y   S c i e n c e s   [ D E - A C 0 2 - 0 6 C H 1 1 3 5 7 ] 	 T h e   a u t h o r   w o u l d   l i k e   t o   t h a n k   t h e   F o r d h a m   C o l l e g e   a t   R o s e   H i l l   D e a n ' s   O f f i c e   f o r   s u p p o r t   f o r   t h i s   i n i t i a t i v e .   T h e   F u n d   f o r   A s t r o p h y s i c a l   R e s e a r c h   p r o v i d e d   f i n a n c i a l   s u p p o r t   f o r   t h e   a c q u i s i t i o n   o f   c o m p u t a t i o n a l   r e s o u r c e s   u s e d   i n   t h e   C h o n d r u l e   A n a l y s i s   P r o j e c t .   D r s .   G .   M .   F l o r i o   ( S t .   J o h n ' s   U n i v e r s i t y ) ,   D .   S .   E b e l   ( A m e r i c a n   M u s e u m   o f   N a t u r a l   H i s t o r y ) ,   a n d   J .   C u z z i   ( N A S A   A m e s )   a r e   t h a n k e d   f o r   s c i e n t i f i c   a n d   l o g i s t i c   d i s c u s s i o n s .   M s .   K .   S h e r m a n   a n d   M r .   M .   P e r l o w i t z   p r o v i d e d   e a r l y   a s s i s t a n c e   w i t h   d e v e l o p i n g   t h e   n e c e s s a r y   c o m p u t a t i o n a l   w o r k f l o w .   K .   F l o r i o   ( L i b e r t y   S c i e n c e   C e n t e r ,   N J )   p r o v i d e d   m a n y   i n s i g h t f u l   s u g g e s t i o n s   o n   a n   e a r l y   v e r s i o n   o f   t h e   m a n u s c r i p t .   T w o   a n o n y m o u s   r e v i e w e r s   p r o v i d e d   v a l u a b l e   c o m m e n t s .   T h e   t o m o g r a m   s h o w n   i n   F i g .   1   w a s   c o l l e c t e d   d u r i n g   w o r k   p e r f o r m e d   a t   G e o S o i l E n v i r o C A R S   ( S e c t o r   1 3 ) ,   A d v a n c e d   P h o t o n   S o u r c e   ( A P S ) ,   A r g o n n e   N a t i o n a l   L a b o r a t o r y .   G e o S o i l E n v i r o C A R S   i s   s u p p o r t e d   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n - E a r t h   S c i e n c e s   ( E A R - 1 1 2 8 7 9 9 ) ,   a n d   D e p a r t m e n t   o f   E n e r g y - G e o s c i e n c e s   ( D E - F G 0 2 - 9 4 E R 1 4 4 6 6 ) .   U s e   o f   t h e   A d v a n c e d   P h o t o n   S o u r c e   w a s   s u p p o r t e d   b y   t h e   U S   D e p a r t m e n t   o f   E n e r g y ,   O f f i c e   o f   S c i e n c e ,   O f f i c e   o f   B a s i c   E n e r g y   S c i e n c e s ,   u n d e r   C o n t r a c t   N o .   D E - A C 0 2 - 0 6 C H 1 1 3 5 7 . 	 B a r y s k n i k o v a   G U ,   1 9 7 3 ,   M E T E O R I T I K A ,   V 3 2 ,   P 1 0 3 ;   B r e a r l e y   A J ,   1 9 9 8 ,   P L A N E T A R Y   M A T E R I A L S ,   V 3 6 ,   P 3 ;   C u z z i   J N ,   2 0 0 1 ,   A S T R O P H Y S   J ,   V 5 4 6 ,   P 4 9 6 ,   D O I   1 0 . 1 0 8 6 / 3 1 8 2 3 3 ;   C u z z i   J . N . ,   2 0 0 6 ,   M E T E O R I T E S   E A R L Y   S O L ,   P 3 5 3 ;   C u z z i   J N ,   1 9 9 9 ,   3 0   L U N   P L A N   S C I   C ;   E b e l   D S ,   2 0 0 7 ,   M E T E O R I T   P L A N E T   S C I ,   V 4 2 ,   P 1 6 2 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 9 4 5 - 5 1 0 0 . 2 0 0 7 . t b 0 0 5 9 5 . x ;   E i s e n h o u r   D D ,   1 9 9 6 ,   M E T O R I T   P L A N E T   S C I ,   V 3 1 ,   P 2 4 3 ;   E l a n g o v a n   P ,   2 0 1 2 ,   C O M P U T   G E O S C I - U K ,   V 4 8 ,   P 3 2 3 ,   D O I   1 0 . 1 0 1 6 / j . c a g e o . 2 0 1 2 . 0 1 . 0 1 4 ;   F r i e d r i c h   J M ,   2 0 1 2 ,   P A R T   P A R T   S Y S T   C H A R ,   V 2 9 ,   P 3 5 ,   D O I   1 0 . 1 0 0 2 / p p s c . 2 0 1 1 0 0 0 4 1 ;   F r i e d r i c h   J M ,   2 0 0 8 ,   E A R T H   P L A N E T   S C   L E T T ,   V 2 7 5 ,   P 1 7 2 ,   D O I   1 0 . 1 0 1 6 / j . e p s l . 2 0 0 8 . 0 8 . 0 2 4 ;   G o o d i n g   J L ,   1 9 7 8 ,   M E T E O R I T I C S ,   V 1 3 ,   P 4 7 6 ;   G r i f f i n   L D ,   2 0 1 2 ,   C O M P U T   G E O S C I - U K ,   V 3 9 ,   P 1 2 9 ,   D O I   1 0 . 1 0 1 6 / j . c a g e o . 2 0 1 1 . 0 7 . 0 0 2 ;   H e w i n s   R .   H . ,   1 9 9 6 ,   C H O N D R U L E S   P R O T O P L A N ;   H e w i t t   N .   M ,   1 9 9 7 ,   T A L K I N G   L E A V I N G   W H Y ;   H U G H E S   D W ,   1 9 7 8 ,   E A R T H   P L A N E T   S C   L E T T ,   V 3 8 ,   P 3 9 1 ,   D O I   1 0 . 1 0 1 6 / 0 0 1 2 - 8 2 1 X ( 7 8 ) 9 0 1 1 3 - 9 ;   K a n e f s k y   B . ,   2 0 0 1 ,   L U N   P L A N   S C I   C ;   K e t c h a m   R A ,   2 0 0 5 ,   G E O S P H E R E ,   V 1 ,   P 3 2 ,   D O I   1 0 . 1 1 3 0 / G E S 0 0 0 0 1 . 1 ;   K I N G   T V V ,   1 9 7 9 ,   M E T E O R I T I C S ,   V 1 4 ,   P 9 1 ;   K i n k e l   D o r e e n   H . ,   2 0 0 6 ,   J o u r n a l   o f   N a t u r a l   R e s o u r c e s   a n d   L i f e   S c i e n c e s   E d u c a t i o n ,   V 3 5 ,   P 1 9 4 ;   K u e b l e r   K E ,   1 9 9 9 ,   I C A R U S ,   V 1 4 1 ,   P 9 6 ,   D O I   1 0 . 1 0 0 6 / i c a r . 1 9 9 9 . 6 1 6 1 ;   M A R T I N   P M ,   1 9 8 0 ,   E A R T H   P L A N E T   S C   L E T T ,   V 4 9 ,   P 1 7 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 1 2 - 8 2 1 X ( 8 0 ) 9 0 0 6 1 - 8 ;   N e l s o n   V E ,   2 0 0 2 ,   M E T E O R I T   P L A N E T   S C I ,   V 3 7 ,   P 1 3 6 1 ;   P a q u e   J M ,   1 9 9 7 ,   2 8   L U N   P L A N   S C I   C ;   R U B I N   A E ,   1 9 8 7 ,   M E T E O R I T I C S ,   V 2 2 ,   P 2 3 7 ;   R U B I N   A E ,   1 9 8 9 ,   M E T E O R I T I C S ,   V 2 4 ,   P 1 7 9 ;   R u s s e l l   S H ,   2 0 0 7 ,   S C I E N C E ,   V 3 1 6 ,   P 5 4 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 4 0 3 8 4 ;   S c h n e i d e r   D M ,   1 9 9 8 ,   M E T E O R I T   P L A N E T   S C I ,   V 3 3 ,   p A 1 3 6 ;   S h e r m a n   K M ,   2 0 1 0 ,   4 1   L U N   P L A N   S C I   C ;   S h u   F H ,   1 9 9 6 ,   S C I E N C E ,   V 2 7 1 ,   P 1 5 4 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 7 1 . 5 2 5 5 . 1 5 4 5 ;   T a k a i   R ,   1 9 9 4 ,   R E S   P A T T E R N   F O R M A T I O ,   P 5 0 7 ;   T h e l e n   B A ,   2 0 0 8 ,   P A R K   S C I ,   V 2 5 ,   P 7 4 ;   T i n t o   V . ,   1 9 9 3 ,   L E A V I N G   C O L L   R E T H I N K ;   T r u m b u l l   D J ,   2 0 0 0 ,   S C I   E D U C ,   V 8 4 ,   P 2 6 5 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 8 - 2 3 7 X ( 2 0 0 0 0 3 ) 8 4 : 2 < 2 6 5 : : A I D - S C E 7 > 3 . 0 . C O ; 2 - 5 ;   W e s t p h a l   A .   J . ,   2 0 0 5 ,   3 6   L U N   P L A N   S C I   C ;   W e s t p h a l   A J ,   2 0 0 6 ,   3 7   L U N   P L A N   S C I   C 	 3 5 	 1 	 1 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 3   U S A 	 1 0 5 9 - 0 1 4 5 	 1 5 7 3 - 1 8 3 9 	 	 J   S C I   E D U C   T E C H N O L 	 J .   S c i .   E d u c .   T e c h n o l . 	 F E B 	 2 0 1 4 	 2 3 	 1 	 	 	 	 	 5 9 	 6 6 	 	 1 0 . 1 0 0 7 / s 1 0 9 5 6 - 0 1 3 - 9 4 5 0 - z 	 	 8 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h ;   E d u c a t i o n ,   S c i e n t i f i c   D i s c i p l i n e s 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 A A 3 E X 	 W O S : 0 0 0 3 3 0 9 7 6 8 0 0 0 0 5 	 	 
 J 	 X u ,   Q Q ;   X i o n g ,   J C ;   H u a n g ,   Q M ;   Y a o ,   Y 	 	 	 	 X u ,   Q i a n q i a n ;   X i o n g ,   J i e c h a o ;   H u a n g ,   Q i n g m i n g ;   Y a o ,   Y u a n 	 	 	 O n l i n e   H o d g e R a n k   o n   R a n d o m   G r a p h s   f o r   C r o w d s o u r c e a b l e   Q o E   E v a l u a t i o n 	 I E E E   T R A N S A C T I O N S   O N   M U L T I M E D I A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   H o d g e   t h e o r y ;   o n l i n e   a l g o r i t h m s ;   p a i r e d   c o m p a r i s o n ;   p e r s i s t e n t   h o m o l o g y ;   q u a l i t y   o f   e x p e r i e n c e ;   r a n d o m   g r a p h s ;   R o b b i n s - M o n r o   p r o c e d u r e ;   s t o c h a s t i c   a p p r o x i m a t i o n 	 L E A R N I N G   A L G O R I T H M S ;   C O M P L E X I T Y ;   N E T W O R K S ;   F L O W S ;   M O D E L 	 H o d g e R a n k   o n   r a n d o m   g r a p h s   i s   p r o p o s e d   r e c e n t l y   a s   a n   e f f e c t i v e   f r a m e w o r k   f o r   m u l t i m e d i a   q u a l i t y   a s s e s s m e n t   p r o b l e m   b a s e d   o n   p a i r e d   c o m p a r i s o n   m e t h o d s .   W i t h   a   r a n d o m   d e s i g n   o n   g r a p h s ,   i t   i s   p a r t i c u l a r l y   s u i t a b l e   f o r   l a r g e   s c a l e   c r o w d - s o u r c i n g   e x p e r i m e n t s   o n   t h e   I n t e r n e t .   H o w e v e r ,   t h e r e   s t i l l   l a c k s   a   s y s t e m a t i c   s t u d y   a b o u t   o n l i n e   s c h e m e s   t o   d e a l   w i t h   t h e   r i s i n g   s t r e a m i n g   a n d   m a s s i v e   d a t a   i n   c r o w d s o u r c e a b l e   s c e n a r i o s .   T o   f i l l   i n   t h i s   g a p ,   w e   p r o p o s e   i n   t h i s   p a p e r   a n   o n l i n e   r a n k i n g / r a t i n g   s c h e m e   b a s e d   o n   s t o c h a s t i c   a p p r o x i m a t i o n   o f   H o d g e R a n k   o n   r a n d o m   g r a p h s   f o r   Q u a l i t y   o f   E x p e r i e n c e   ( Q o E )   e v a l u a t i o n ,   w h e r e   a s s e s s o r s   a n d   r a t i n g   p a i r s   e n t e r   t h e   s y s t e m   i n   a   s e q u e n t i a l   o r   s t r e a m i n g   w a y .   T h e   s c h e m e   i s   s h o w n   i n   b o t h   t h e o r y   a n d   e x p e r i m e n t s   t o   b e   e f f i c i e n t   i n   o b t a i n i n g   g l o b a l   r a n k i n g   b y   e x h i b i t i n g   t h e   s a m e   a s y m p t o t i c   p e r f o r m a n c e   a s   b a t c h   H o d g e R a n k   u n d e r   a   g e n e r a l   e d g e - i n d e p e n d e n t   s a m p l i n g   p r o c e s s .   M o r e o v e r ,   t h e   p r o p o s e d   f r a m e w o r k   e n a b l e s   u s   t o   m o n i t o r   t o p o l o g i c a l   c h a n g e m e n t   a n d   t r i a n g u l a r   i n c o n s i s t e n c y   i n   r e a l   t i m e .   A m o n g   a   w i d e   s p e c t r u m   o f   c h o i c e s ,   t w o   p a r t i c u l a r   t y p e s   o f   r a n d o m   g r a p h s   a r e   s t u d i e d   i n   d e t a i l ,   i . e . ,   E r d o s - R e n y i   r a n d o m   g r a p h   a n d   p r e f e r e n t i a l   a t t a c h m e n t   r a n d o m   g r a p h .   T h e   f o r m e r   i s   t h e   s i m p l e s t   I . I . D .   ( i n d e p e n d e n t   a n d   i d e n t i c a l l y   d i s t r i b u t e d )   s a m p l i n g   a n d   t h e   l a t t e r   m a y   a c h i e v e   m o r e   e f f i c i e n t   p e r f o r m a n c e   i n   r a n k i n g   t h e   t o p - i t e m s   d u e   t o   i t s   R i c h - g e t - R i c h e r   p r o p e r t y .   W e   d e m o n s t r a t e   t h e   e f f e c t i v e n e s s   o f   t h e   p r o p o s e d   f r a m e w o r k   o n   L I V E   a n d   I V C   d a t a b a s e s . 	 [ X u ,   Q i a n q i a n ]   P e k i n g   U n i v ,   B I C M R ,   B e i j i n g   1 0 0 8 7 1 ,   P e o p l e s   R   C h i n a ;   [ X u ,   Q i a n q i a n ]   U n i v   C h i n e s e   A c a d   S c i ,   B e i j i n g   1 0 0 8 7 1 ,   P e o p l e s   R   C h i n a ;   [ X i o n g ,   J i e c h a o ;   Y a o ,   Y u a n ]   P e k i n g   U n i v ,   S c h   M a t h   S c i ,   B I C M R   L M A M   L M E Q F   L M P ,   B e i j i n g   1 0 0 8 7 1 ,   P e o p l e s   R   C h i n a ;   [ H u a n g ,   Q i n g m i n g ]   U n i v   C h i n e s e   A c a d   S c i ,   B e i j i n g   1 0 0 1 9 0 ,   P e o p l e s   R   C h i n a ;   [ H u a n g ,   Q i n g m i n g ]   C h i n e s e   A c a d   S c i ,   I n s t   C o m p   T e c h n o l ,   B e i j i n g   1 0 0 1 9 0 ,   P e o p l e s   R   C h i n a 	 X u ,   Q Q   ( r e p r i n t   a u t h o r ) ,   P e k i n g   U n i v ,   B I C M R ,   B e i j i n g   1 0 0 8 7 1 ,   P e o p l e s   R   C h i n a . 	 q q x u @ j d l . a c . c n ;   x i o n g j i e c h a o @ p k u . e d u . c n ;   q m h u a n g @ j d l . a c . c n ;   y u a n y @ m a t h . p k u . e d u . c n 	 	 	 N a t i o n a l   B a s i c   R e s e a r c h   P r o g r a m   o f   C h i n a   ( 9 7 3   P r o g r a m )   [ 2 0 1 2 C B 8 2 5 5 0 1 ,   2 0 1 2 C B 3 1 6 4 0 0 ] ;   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 6 1 0 2 5 0 1 1 ,   6 1 0 7 1 1 5 7 ,   6 1 3 3 2 0 1 6 ,   6 1 3 7 0 0 0 4 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   N a t i o n a l   B a s i c   R e s e a r c h   P r o g r a m   o f   C h i n a   ( 9 7 3   P r o g r a m ) :   2 0 1 2 C B 8 2 5 5 0 1   a n d   2 0 1 2 C B 3 1 6 4 0 0 ,   a n d   i n   p a r t   b y   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a :   6 1 0 2 5 0 1 1 ,   6 1 0 7 1 1 5 7 ,   6 1 3 3 2 0 1 6 ,   a n d   6 1 3 7 0 0 0 4 .   T h e   a s s o c i a t e   e d i t o r   c o o r d i n a t i n g   t h e   r e v i e w   o f   t h i s   m a n u s c r i p t   a n d   a p p r o v i n g   i t   f o r   p u b l i c a t i o n   w a s   D r .   S h e n g - W e i   ( K u a n - T a )   C h e n . 	 A i l o n   N ,   2 0 1 2 ,   J   M A C H   L E A R N   R E S ,   V 1 3 ,   P 1 3 7 ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   L I V E   I M A G E   V I D E O   Q U A ;   [ A n o n y m o u s ] ,   2 0 0 5 ,   S U B J E C T I V E   Q U A L I T Y   A ;   B a r a b a s i   A L ,   1 9 9 9 ,   S C I E N C E ,   V 2 8 6 ,   P 5 0 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 8 6 . 5 4 3 9 . 5 0 9 ;   B o l l o b a s   B . ,   2 0 0 1 ,   R A N D O M   G R A P H S ;   C a n d o g a n   O ,   2 0 1 1 ,   M A T H   O P E R   R E S ,   V 3 6 ,   P 4 7 4 ,   D O I   1 0 . 1 2 8 7 / m o o r . 1 1 1 0 . 0 5 0 0 ;   C a r l s s o n   G ,   2 0 0 9 ,   B   A M   M A T H   S O C ,   V 4 6 ,   P 2 5 5 ;   C h e n   K T ,   2 0 0 9 ,   M A T H   C O M P U T   S C I   E N G ,   P 4 9 1 ,   D O I   1 0 . 1 1 4 5 / 1 6 3 1 2 7 2 . 1 6 3 1 3 3 9 ;   C h o r i n   A . ,   1 9 9 3 ,   T E X T S   A P P L   M A T H ;   C h u n g   F . ,   2 0 0 6 ,   C B M S   R E G I O N A L   C   S E R I ;   C u c k e r   F ,   2 0 0 2 ,   B   A M   M A T H   S O C ,   V 3 9 ,   P 1 ;   D a v i d   H . ,   1 9 8 8 ,   M E T H O D   P A I R E D   C O M P ,   V 4 1 ;   E d e l s b r u n n e r   H . ,   2 0 1 0 ,   C O M P U T A T I O N A L   T O P O L O ;   E d e l s b r u n n e r   H ,   2 0 0 2 ,   D I S C R E T E   C O M P U T   G E O M ,   V 2 8 ,   P 5 1 1 ,   D O I   1 0 . 1 0 0 7 / s 0 0 4 5 4 - 0 0 2 - 2 8 8 5 - 2 ;   E i c h h o r n   A ,   2 0 1 0 ,   N O S S D A V   2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 0 T H   I N T E R N A T I O N A L   W O R K S H O P   O N   N E T W O R K   A N D   O P E R A T I N G   S Y S T E M S   S U P P O R T   F O R   D I G I T A L   A U D I O   A N D   V I D E O ,   P 6 3 ;   E l o   A .   E . ,   1 9 7 8 ,   R A T I N G   C H E S S   P L A Y E R S ;   E r d o s   P . ,   1 9 5 9 ,   P U B L   M A T H - D E B R E C E N ,   V I ,   P 2 9 0 ;   G l i c k m a n   M . ,   1 9 9 3 ,   T H E S I S   H A R V A R D   U   C A M ;   G l i c k m a n   M E ,   1 9 9 9 ,   J   R O Y   S T A T   S O C   C - A P P ,   V 4 8 ,   P 3 7 7 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 8 7 6 . 0 0 1 5 9 ;   H e r b r i c h   R ,   2 0 0 6 ,   P   2 0 0 6   A N N   C   A D V   N E U ,   V 1 9 ,   P 5 6 9 ;   H o s s f e l d   T o b i a s ,   2 0 1 1 ,   P r o c e e d i n g s   o f   t h e   2 0 1 1   I E E E   I n t e r n a t i o n a l   S y m p o s i u m   o n   M u l t i m e d i a   ( I S M   2 0 1 1 ) ,   D O I   1 0 . 1 1 0 9 / I S M . 2 0 1 1 . 8 7 ;   I T U - R ,   1 9 9 6 ,   M E T H   S U B J   D E T   T R A N S M ;   J a m i e s o n   K . ,   2 0 1 1 ,   P   A N N   C   N E U R   I N F   P R O ;   J i a n g   X Y ,   2 0 1 1 ,   M A T H   P R O G R A M ,   V 1 2 7 ,   P 2 0 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 1 0 7 - 0 1 0 - 0 4 1 9 - x ;   J i a n g   Y . - G . ,   2 0 1 3 ,   P   A A A I   C   A R T   I N T ;   K a l m a n   R .   E . ,   1 9 6 1 ,   J   B A S I C   E N G ,   V 8 3 ,   P 9 5 ,   D O I   D O I   1 0 . 1 1 1 5 / 1 . 3 6 5 8 9 0 2 ;   K a l m a n   R . E . ,   1 9 6 0 ,   T   A S M E   D ,   V 8 2 ,   P 3 5 ,   D O I   D O I   1 0 . 1 1 1 5 / 1 . 3 6 6 2 5 5 2 ;   K e n d a l l   M .   G . ,   1 9 9 0 ,   R A N K   C O R R E L A T I O N   M E T ;   K i m   M ,   2 0 1 2 ,   I N T E R N E T   M A T H ,   V 8 ,   P 1 1 3 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   L i n   W S ,   2 0 1 1 ,   J   V I S   C O M M U N   I M A G E   R ,   V 2 2 ,   P 2 9 7 ,   D O I   1 0 . 1 0 1 6 / j . j v c i r . 2 0 1 1 . 0 1 . 0 0 5 ;   M a   W Y ,   2 0 1 1 ,   P R O C   C V P R   I E E E ,   P 1 5 3 ;   O s t i n g   B . ,   2 0 1 3 ,   P   I N T   C   M A C H   L E A R N ,   P 4 8 9 ;   O s t i n g   B . ,   2 0 1 3 ,   A I M S   J   I N V E R S E   P R O B L ;   P e n r o s e   M . ,   2 0 0 3 ,   O X F O R D   S T U D I E S   P R O B A ;   R a k h l i n   A . ,   2 0 1 2 ,   L E C T   N O T E S   U   P E N N S Y L ;   R O B B I N S   H ,   1 9 5 1 ,   A N N   M A T H   S T A T ,   V 2 2 ,   P 4 0 0 ,   D O I   1 0 . 1 2 1 4 / a o m s / 1 1 7 7 7 2 9 5 8 6 ;   R O S E N B L A T T   F ,   1 9 5 8 ,   P S Y C H O L   R E V ,   V 6 5 ,   P 3 8 6 ,   D O I   1 0 . 1 0 3 7 / h 0 0 4 2 5 1 9 ;   S c h a t z   R . ,   2 0 1 2 ,   S P R I N G E R S   C O M P U T E R   C ;   S e x t o n   H . ,   2 0 0 9 ,   J P L E X   J A V A   S O F T W A R E ;   S h o r   N ,   1 9 8 5 ,   M I N I M I Z A T I O N   M E T H O D S ;   S m a l e   S ,   2 0 0 6 ,   F O U N D   C O M P U T   M A T H ,   V 6 ,   P 1 4 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 2 0 8 - 0 0 4 - 0 1 6 0 - z ;   V a p n i k   V . ,   1 9 9 8 ,   S T A T   L E A R N I N G   T H E O R Y ;   W a t t s   D J ,   1 9 9 8 ,   N A T U R E ,   V 3 9 3 ,   P 4 4 0 ,   D O I   1 0 . 1 0 3 8 / 3 0 9 1 8 ;   W i d r o w   B . ,   1 9 6 0 ,   I R E   W E S C O N   C O N V   R E   4 ,   P 9 6 ;   W u   C C ,   2 0 1 3 ,   I E E E   T   M U L T I M E D I A ,   V 1 5 ,   P 1 1 2 1 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 1 3 . 2 2 4 1 0 4 3 ;   X u   Q ,   2 0 1 2 ,   I E E E   T   M U L T I M E D I A ,   V 1 4 ,   P 8 4 4 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 1 2 . 2 1 9 0 9 2 4 ;   X u   Q . ,   2 0 1 3 ,   P   A C M   M U L T   I N   P R E S S ;   X u   Q . ,   2 0 1 2 ,   P   A C M   M U L T ,   P 3 5 9 ;   X u   Q . ,   2 0 1 1 ,   P   1 9   A C M   I N T   C   M U L T ,   P 3 9 3 ;   Y a o   Y A ,   2 0 1 0 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 5 6 ,   P 6 4 7 0 ,   D O I   1 0 . 1 1 0 9 / T I T . 2 0 1 0 . 2 0 7 9 0 1 0 ;   Y u a n   J ,   2 0 0 9 ,   J   M A T H   I M A G I N G   V I S ,   V 3 3 ,   P 1 6 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 8 5 1 - 0 0 8 - 0 1 2 2 - 1 ;   Z o m o r o d i a n   A ,   2 0 0 5 ,   D I S C R E T E   C O M P U T   G E O M ,   V 3 3 ,   P 2 4 9 ,   D O I   1 0 . 1 0 0 7 / s 0 0 4 5 4 - 0 0 4 - 1 1 4 6 - y 	 5 3 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 5 2 0 - 9 2 1 0 	 1 9 4 1 - 0 0 7 7 	 	 I E E E   T   M U L T I M E D I A 	 I E E E   T r a n s .   M u l t i m e d i a 	 F E B 	 2 0 1 4 	 1 6 	 2 	 	 	 	 	 3 7 3 	 3 8 6 	 	 1 0 . 1 1 0 9 / T M M . 2 0 1 3 . 2 2 9 2 5 6 8 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 2 9 7 H F 	 W O S : 0 0 0 3 3 0 2 4 5 8 0 0 0 0 8 	 	 
 J 	 H o s s f e l d ,   T ;   K e i m e l ,   C ;   H i r t h ,   M ;   G a r d l o ,   B ;   H a b i g t ,   J ;   D i e p o l d ,   K ;   P h u o c ,   T G 	 	 	 	 H o s s f e l d ,   T o b i a s ;   K e i m e l ,   C h r i s t i a n ;   H i r t h ,   M a t t h i a s ;   G a r d l o ,   B r u n o ;   H a b i g t ,   J u l i a n ;   D i e p o l d ,   K l a u s ;   P h u o c   T r a n - G i a 	 	 	 B e s t   P r a c t i c e s   f o r   Q o E   C r o w d t e s t i n g :   Q o E   A s s e s s m e n t   W i t h   C r o w d s o u r c i n g 	 I E E E   T R A N S A C T I O N S   O N   M U L T I M E D I A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 B e s t   p r a c t i c e s ;   c o g n i t i o n ;   h u m a n   c o m p u t e r   i n t e r a c t i o n ;   i n s t r u m e n t a t i o n   a n d   m e a s u r e m e n t m u l t i m e d i a   s y s t e m s ;   t e s t i n g 	 Q U A L I T Y   A S S E S S M E N T 	 Q u a l i t y   o f   E x p e r i e n c e   ( Q o E )   i n   m u l t i m e d i a   a p p l i c a t i o n s   i s   c l o s e l y   l i n k e d   t o   t h e   e n d   u s e r s '   p e r c e p t i o n   a n d   t h e r e f o r e   i t s   a s s e s s m e n t   r e q u i r e s   s u b j e c t i v e   u s e r   s t u d i e s   i n   o r d e r   t o   e v a l u a t e   t h e   d e g r e e   o f   d e l i g h t   o r   a n n o y a n c e   a s   e x p e r i e n c e d   b y   t h e   u s e r s .   Q o E   c r o w d t e s t i n g   r e f e r s   t o   Q o E   a s s e s s m e n t   u s i n g   c r o w d s o u r c i n g ,   w h e r e   a n o n y m o u s   t e s t   s u b j e c t s   c o n d u c t   s u b j e c t i v e   t e s t s   r e m o t e l y   i n   t h e i r   p r e f e r r e d   e n v i r o n m e n t .   T h e   a d v a n t a g e s   o f   Q o E   c r o w d t e s t i n g   l i e   n o t   o n l y   i n   t h e   r e d u c e d   t i m e   a n d   c o s t s   f o r   t h e   t e s t s ,   b u t   a l s o   i n   a   l a r g e   a n d   d i v e r s e   p a n e l   o f   i n t e r n a t i o n a l ,   g e o g r a p h i c a l l y   d i s t r i b u t e d   u s e r s   i n   r e a l i s t i c   u s e r   s e t t i n g s .   H o w e v e r ,   c o n c e p t u a l   a n d   t e c h n i c a l   c h a l l e n g e s   e m e r g e   d u e   t o   t h e   r e m o t e   t e s t   s e t t i n g s .   K e y   i s s u e s   a r i s i n g   f r o m   Q o E   c r o w d t e s t i n g   i n c l u d e   t h e   r e l i a b i l i t y   o f   u s e r   r a t i n g s ,   t h e   i n f l u e n c e   o f   i n c e n t i v e s ,   p a y m e n t   s c h e m e s   a n d   t h e   u n k n o w n   e n v i r o n m e n t a l   c o n t e x t   o f   t h e   t e s t s   o n   t h e   r e s u l t s .   I n   o r d e r   t o   c o u n t e r   t h e s e   i s s u e s ,   s t r a t e g i e s   a n d   m e t h o d s   n e e d   t o   b e   d e v e l o p e d ,   i n c l u d e d   i n   t h e   t e s t   d e s i g n ,   a n d   a l s o   i m p l e m e n t e d   i n   t h e   a c t u a l   t e s t   c a m p a i g n ,   w h i l e   s t a t i s t i c a l   m e t h o d s   a r e   r e q u i r e d   t o   i d e n t i f y   r e l i a b l e   u s e r   r a t i n g s   a n d   t o   e n s u r e   h i g h   d a t a   q u a l i t y .   T h i s   c o n t r i b u t i o n   t h e r e f o r e   p r o v i d e s   a   c o l l e c t i o n   o f   b e s t   p r a c t i c e s   a d d r e s s i n g   t h e s e   i s s u e s   b a s e d   o n   o u r   e x p e r i e n c e   g a i n e d   i n   a   l a r g e   s e t   o f   c o n d u c t e d   Q o E   c r o w d t e s t i n g   s t u d i e s .   T h e   f o c u s   o f   t h i s   a r t i c l e   i s   i n   p a r t i c u l a r   o n   t h e   i s s u e   o f   r e l i a b i l i t y   a n d   w e   u s e   v i d e o   q u a l i t y   a s s e s s m e n t   a s   a n   e x a m p l e   f o r   t h e   p r o p o s e d   b e s t   p r a c t i c e s ,   s h o w i n g   t h a t   o u r   r e c o m m e n d e d   t w o - s t a g e   Q o E   c r o w d t e s t i n g   d e s i g n   l e a d s   t o   m o r e   r e l i a b l e   r e s u l t s . 	 [ H o s s f e l d ,   T o b i a s ;   H i r t h ,   M a t t h i a s ;   P h u o c   T r a n - G i a ]   U n i v   W u r z b u r g ,   I n s t   C o m p   S c i ,   D - 9 7 0 7 4   W u r z b u r g ,   G e r m a n y ;   [ K e i m e l ,   C h r i s t i a n ;   H a b i g t ,   J u l i a n ;   D i e p o l d ,   K l a u s ]   T e c h   U n i v   M u n i c h ,   I n s t   D a t a   P r o c ,   D - 8 0 3 3 3   M u n i c h ,   G e r m a n y ;   [ G a r d l o ,   B r u n o ]   T e l e c o m m u n   R e s   C t r   V i e n n a   F T W ,   A - 1 2 2 0   V i e n n a ,   A u s t r i a 	 H o s s f e l d ,   T   ( r e p r i n t   a u t h o r ) ,   U n i v   W u r z b u r g ,   I n s t   C o m p   S c i ,   D - 9 7 0 7 4   W u r z b u r g ,   G e r m a n y . 	 t o b i a s . h o s s f e l d @ u n i - w u e r z b u r g . d e ;   c h r i s t i a n . k e i m e l @ t u m . d e ;   m a t t h i a s . h i r t h @ u n i - w u e r z b u r g . d e ;   g a r d l o @ f t w . a t ;   j h @ t u m . d e ;   k l d i @ t u m . d e ;   p h u o c . t r a n g i a @ u n i - w u e r z b u r g . d e 	 	 	 C O S T   A c t i o n   [ I C 1 0 0 3   Q u a l i n e t ] ;   D e u t s c h e   F o r s c h u n g s g e m e i n s c h a f t   ( D F G )   [ H O   4 7 7 0 / 1 - 1 ,   T R 2 5 7 / 3 1 - 1 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   C O S T   A c t i o n   I C 1 0 0 3   Q u a l i n e t   a n d   i n   p a r t   b y   t h e   D e u t s c h e   F o r s c h u n g s g e m e i n s c h a f t   ( D F G )   u n d e r   G r a n t s   H O   4 7 7 0 / 1 - 1   a n d   T R 2 5 7 / 3 1 - 1 .   T h e   a u t h o r s   a l o n e   a r e   r e s p o n s i b l e   f o r   t h e   c o n t e n t .   T h e   a s s o c i a t e   e d i t o r   c o o r d i n a t i n g   t h e   r e v i e w   o f   t h i s   m a n u s c r i p t   a n d   a p p r o v i n g   i t   f o r   p u b l i c a t i o n   w a s   D r .   S h e n g - W e i   ( K u a n - T a )   C h e n . 	 A h n   L V ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ;   A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   A s s e m b l y   I .   R . ,   1 9 9 7 ,   M E T H O D S   S U B J E C T I V E   A ;   A s s e m b l y   I . R . ,   2 0 0 9 ,   M E T H O D O L O G Y   S U B J E C T I ;   C a l l e t   P . L . ,   2 0 1 2 ,   Q U A L I N E T   W H I T E   P A P E R ;   C h e n   K T ,   2 0 0 9 ,   M A T H   C O M P U T   S C I   E N G ,   P 4 9 1 ,   D O I   1 0 . 1 1 4 5 / 1 6 3 1 2 7 2 . 1 6 3 1 3 3 9 ;   C h e n   K T ,   2 0 1 0 ,   I E E E   N E T W O R K ,   V 2 4 ,   P 2 8 ,   D O I   1 0 . 1 1 0 9 / M N E T . 2 0 1 0 . 5 4 3 0 1 4 1 ;   D a i   P . ,   2 0 1 0 ,   P   2 4   A A A I   C   A R T   I N T ;   D o w   S .   P . ,   2 0 1 1 ,   P   C H I   H U M   F A C T   C O M P ,   P 1 6 6 9 ;   D o w n s   J S ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 3 9 9 ;   E i c k h o f f   C ,   2 0 1 2 ,   P   A C M   S I G I R   C   R E S   D E ;   E i c k h o f f   C . ,   2 0 1 1 ,   P   W O R K S H   C R O W D S   S E A R ,   P 1 1 ;   E i c k h o f f   C . ,   2 0 1 2 ,   I N F   R E T R I E V ,   P 1 ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   G a r d l o   B . ,   2 0 1 2 ,   P   2 2   I N T   C   R A D   2 0 1 2 ;   G a r d l o   B . ,   2 0 1 2 ,   P   Q O M E X   2 0 1 2   Y A R R   V A ;   G w e t   K . ,   2 0 1 2 ,   H D B   I N T E R R A T E R   R E L I A ;   H a r r i s   C . ,   2 0 1 1 ,   P   W S D M   W O R K S H   C R O W D S ,   P 1 5 ;   H a y e s   A .   F . ,   2 0 0 7 ,   C O M M U N I C A T I O N   M E T H O D ,   V 1 ,   P 7 7 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 9 3 1 2 4 5 0 7 0 9 3 3 6 6 6 4 ;   H i r t h   M . ,   2 0 1 2 ,   M A T H   C O M P U T   M O D E L ;   H i r t h   M . ,   2 0 1 1 ,   P   W O R K S H   F U T   I N T   N E X ;   H o s s f e l d   T . ,   2 0 1 3 ,   S P R I N G E R S   C O M P U T E R   C ;   H o s s f e l d   T . ,   2 0 1 1 ,   P   Q O M E X   2 0 1 1   M E C H   B E ;   H o s s f e l d   T . ,   2 0 1 1 ,   P   2 3   I N T   T E L   C   I T C   2 ;   H o s s f e l d   T . ,   2 0 1 2 ,   P   Q O M E X   2 0 1 2   Y A R R   V A ;   H o s s f e l d   T . ,   2 0 1 1 ,   P   I N T   T E L   C   I T C   S A N ;   H o s s f e l d   T o b i a s ,   2 0 1 1 ,   P r o c e e d i n g s   o f   t h e   2 0 1 1   I E E E   I n t e r n a t i o n a l   S y m p o s i u m   o n   M u l t i m e d i a   ( I S M   2 0 1 1 ) ,   D O I   1 0 . 1 1 0 9 / I S M . 2 0 1 1 . 8 7 ;   H o s s f e l d   T ,   2 0 1 2 ,   I E E E   C O M M U N   M A G ,   V 5 0 ,   P 2 8 ;   H s u e h   P . - Y . ,   2 0 0 9 ,   H L T   0 9 ,   P 2 7 ;   I c k i n   S ,   2 0 1 2 ,   I E E E   C O M M U N   M A G ,   V 5 0 ,   P 4 8 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 2 . 6 1 7 8 8 3 3 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   I T U - R ,   2 0 0 9 ,   M E T H   S U B J   A S S   Q U A L   T ;   I T U - T ,   2 0 0 8 ,   S U B J   V I D   Q U A L   A S S   M E ;   K e i m e l   C . ,   2 0 1 2 ,   P A C K   V I D   W O R K S H   P V   2 ,   P 1 5 5 ,   D O I   D O I   1 0 . 1 1 0 9 / P V . 2 0 1 2 . 6 2 2 9 7 2 9 ;   K e i m e l   C . ,   2 0 1 2 ,   P   4   I N T   W O R K S H   Q U A L ;   K e i m e l   C ,   2 0 1 2 ,   2 0 1 2   P I C T U R E   C O D I N G   S Y M P O S I U M   ( P C S ) ,   P 2 4 5 ,   D O I   1 0 . 1 1 0 9 / P C S . 2 0 1 2 . 6 2 1 3 3 3 8 ;   K i m   S . - H . ,   2 0 1 2 ,   P   B E L I V   2 0 1 2   W O R K S H ;   K i t t u r   A ,   2 0 0 8 ,   C S C W :   2 0 0 8   A C M   C O N F E R E N C E   O N   C O M P U T E R   S U P P O R T E D   C O O P E R A T I V E   W O R K ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 3 7 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   L e   J . ,   2 0 1 0 ,   P   S I G I R   2 0 1 0   W O R K S H ,   P 2 1 ;   L e e   J S ,   2 0 1 2 ,   I E E E   C O M M U N   M A G ,   V 5 0 ,   P 3 8 ;   L i t t l e   G . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 2 9 ,   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 5 9 ;   O l e s o n   D . ,   2 0 1 1 ,   P   H C O M P ;   O w l   S . ,   2 0 1 2 ,   J A V A   M A R K E T   S H A R E ;   R i b e i r o   F ,   2 0 1 1 ,   I N T   C O N F   A C O U S T   S P E E ,   P 2 4 1 6 ;   S a b o u   M ,   2 0 1 2 ,   P   1 2   A C M   I N T   C   K N O W L ,   P 1 7 ;   S c h a t z   R . ,   2 0 1 2 ,   J   A U D I O   E N G   S C O   J A E S ;   S c h a t z   R . ,   2 0 1 3 ,   S P R I N G E R S   C O M P U T E R   C ;   S h a w   A .   D . ,   2 0 1 1 ,   C S C W   1 1 ,   P 2 7 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 5 8 8 2 4 . 1 9 5 8 8 6 5 ;   S i m o n e   F .   D . ,   2 0 1 0 ,   P   I E E E   I N T   C   A C   S P E E ,   P 2 4 3 0 ;   S i m o n e   F .   D . ,   2 0 0 9 ,   P   Q O M E X   2 0 0 9   S A N   D I E ;   S o l e y m a n i   M . ,   2 0 1 0 ,   P   S I G I R   2 0 1 0   W O R K S H ,   P 4 ;   S u r i   S ,   2 0 1 1 ,   H U M   C O M P   2 0 1 1   A A A I   W ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   W u   C . ,   I E E E   T   M U L T   I N   P R E S S ;   X u   Q ,   2 0 1 2 ,   I E E E   T   M U L T I M E D I A ,   V 1 4 ,   P 8 4 4 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 1 2 . 2 1 9 0 9 2 4 	 5 6 	 3 	 3 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 5 2 0 - 9 2 1 0 	 1 9 4 1 - 0 0 7 7 	 	 I E E E   T   M U L T I M E D I A 	 I E E E   T r a n s .   M u l t i m e d i a 	 F E B 	 2 0 1 4 	 1 6 	 2 	 	 	 	 	 5 4 1 	 5 5 8 	 	 1 0 . 1 1 0 9 / T M M . 2 0 1 3 . 2 2 9 1 6 6 3 	 	 1 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 2 9 7 H F 	 W O S : 0 0 0 3 3 0 2 4 5 8 0 0 0 2 1 	 	 
 J 	 B r a b h a m ,   D C ;   R i b i s l ,   K M ;   K i r c h n e r ,   T R ;   B e r n h a r d t ,   J M 	 	 	 	 B r a b h a m ,   D a r e n   C . ;   R i b i s l ,   K u r t   M . ;   K i r c h n e r ,   T h o m a s   R . ;   B e r n h a r d t ,   J a y   M . 	 	 	 C r o w d s o u r c i n g   A p p l i c a t i o n s   f o r   P u b l i c   H e a l t h 	 A M E R I C A N   J O U R N A L   O F   P R E V E N T I V E   M E D I C I N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 R A N D O M I Z E D   C O N T R O L L E D - T R I A L ;   S M O K I N G - C E S S A T I O N ;   S O C I A L   M E D I A ;   O N L I N E ;   I N T E R N E T ;   O U T C O M E S 	 C r o w d s o u r c i n g   i s   a n   o n l i n e ,   d i s t r i b u t e d ,   p r o b l e m - s o l v i n g ,   a n d   p r o d u c t i o n   m o d e l   t h a t   u s e s   t h e   c o l l e c t i v e   i n t e l l i g e n c e   o f   n e t w o r k e d   c o m m u n i t i e s   f o r   s p e c i f i c   p u r p o s e s .   A l t h o u g h   i t s   u s e   h a s   b e n e f i t e d   m a n y   s e c t o r s   o f   s o c i e t y ,   i t   h a s   y e t   t o   b e   f u l l y   r e a l i z e d   a s   a   m e t h o d   f o r   i m p r o v i n g   p u b l i c   h e a l t h .   T h i s   p a p e r   d e f i n e s   t h e   c o r e   c o m p o n e n t s   o f   c r o w d s o u r c i n g   a n d   p r o p o s e s   a   f r a m e w o r k   f o r   u n d e r s t a n d i n g   t h e   p o t e n t i a l   u t i l i t y   o f   c r o w d s o u r c i n g   i n   t h e   d o m a i n   o f   p u b l i c   h e a l t h .   F o u r   d i s c r e t e   c r o w d s o u r c i n g   a p p r o a c h e s   a r e   d e s c r i b e d   ( k n o w l e d g e   d i s c o v e r y   a n d   m a n a g e m e n t ;   d i s t r i b u t e d   h u m a n   i n t e l l i g e n c e   t a s k i n g ;   b r o a d c a s t   s e a r c h ;   a n d   p e e r - v e t t e d   c r e a t i v e   p r o d u c t i o n   t y p e s )   a n d   a   n u m b e r   o f   p o t e n t i a l   a p p l i c a t i o n s   f o r   c r o w d s o u r c i n g   f o r   p u b l i c   h e a l t h   s c i e n c e   a n d   p r a c t i c e   a r e   e n u m e r a t e d . 	 [ B r a b h a m ,   D a r e n   C . ]   U n i v   S o   C a l i f ,   A n n e n b e r g   S c h   C o m m u n   &   J o u r n a l i s m ,   L o s   A n g e l e s ,   C A   U S A ;   [ R i b i s l ,   K u r t   M . ]   U n i v   N   C a r o l i n a ,   G i l l i n g s   S c h   G l o b a l   P u b l   H l t h ,   C h a p e l   H i l l ,   N C   U S A ;   [ R i b i s l ,   K u r t   M . ]   U n i v   N   C a r o l i n a ,   L i n e b e r g e r   C o m p r e h e n s   C a n c   C t r ,   C h a p e l   H i l l ,   N C   2 7 5 9 9   U S A ;   [ K i r c h n e r ,   T h o m a s   R . ]   S t e v e n   A   S c h r o e d e r   N a t l   I n s t   T o b a c c o   R e s   &   P o l i c y ,   W a s h i n g t o n ,   D C   U S A ;   [ K i r c h n e r ,   T h o m a s   R . ]   J o h n s   H o p k i n s   B l o o m b e r g   S c h   P u b l   H l t h ,   B a l t i m o r e ,   M D   U S A ;   [ B e r n h a r d t ,   J a y   M . ]   U n i v   F l o r i d a ,   C t r   D i g i t a l   H l t h   &   W e l l n e s s ,   G a i n e s v i l l e ,   F L   U S A ;   [ B e r n h a r d t ,   J a y   M . ]   U n i v   F l o r i d a ,   D e p t   H l t h   E d u c   &   B e h a v ,   G a i n e s v i l l e ,   F L   U S A 	 B r a b h a m ,   D C   ( r e p r i n t   a u t h o r ) ,   U S C   A n n e n b e r g ,   3 5 0 2   W a t t   W a y ,   L o s   A n g e l e s ,   C A   9 0 0 8 9   U S A . 	 b r a b h a m @ u s c . e d u 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 2 ,   2   C O N S   C R E A T   D O R   C R A ;   A t k i n s o n   G M ,   2 0 0 7 ,   S E I S M O L   R E S   L E T T ,   V 7 8 ,   P 3 6 2 ,   D O I   1 0 . 1 7 8 5 / g s s r l . 7 8 . 3 . 3 6 2 ;   B a r r   J . ,   2 0 0 6 ,   A C M   Q u e u e ,   V 4 ;   B e n k l e r   Y ,   2 0 0 2 ,   Y A L E   L A W   J ,   V 1 1 2 ,   P 3 6 9 ,   D O I   1 0 . 2 3 0 7 / 1 5 6 2 2 4 7 ;   B o n g a r d   J C ,   2 0 1 3 ,   I E E E   T   S Y S T   M A N   C Y - S ,   V 4 3 ,   P 1 7 6 ,   D O I   1 0 . 1 1 0 9 / T S M C A . 2 0 1 2 . 2 1 9 5 1 6 8 ;   B o y e r a   S . ,   2 0 0 7 ,   I N T E R A C T I O N S ,   P 1 2 ;   B r a b h a m   D C ,   2 0 1 2 ,   I N T   J   C O M M U N - U S ,   V 6 ,   P 1 1 3 9 ;   B r a b h a m   D C ,   2 0 0 9 ,   P L A N   T H E O R ,   V 8 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 9 1 0 4 8 2 4 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r a b h a m   D C ,   2 0 1 2 ,   1   M O N D A Y ,   V 1 7 ;   B r a b h a m   D C ,   2 0 1 3 ,   M I T   P R E S S   E S S E N T ,   P 1 ;   B r a b h a m   D . C . ,   2 0 1 2 ,   P A R T I C I P A T O R Y   C U L T U R ,   P 1 2 0 ;   B r a b h a m   D C ,   2 0 1 2 ,   I N F O R M   C O M M U N   S O C ,   V 1 5 ,   P 3 9 4 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 1 . 6 4 1 9 9 1 ;   C a l l o w   P ,   2 0 1 2 ,   J   G L O B   H L T H   C A R E   S Y S ,   V 2 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C h i a u z z i   E ,   2 0 0 5 ,   J   A M   C O L L   H E A L T H ,   V 5 3 ,   P 2 6 3 ,   D O I   1 0 . 3 2 0 0 / J A C H . 5 3 . 6 . 2 6 3 - 2 7 4 ;   C o b b   N K ,   2 0 1 1 ,   J   M E D   I N T E R N E T   R E S ,   V 1 3 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 1 1 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   C u n n i n g h a m   B ,   2 0 1 2 ,   T H E S I S   A R I Z O N A   S T A T E ;   E a g l e   N ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 6 2 3 ,   P 4 4 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 2 7 6 7 - 3 _ 5 0 ;   E l l i o t t   M . ,   2 0 0 6 ,   J   M E D I A   C U L T ,   V 9 ;   F l e t c h e r   A ,   2 0 0 6 ,   T H E S I S   N O T T I N G H A M   T R ;   F r e e   C ,   2 0 0 9 ,   T O B   C O N T R O L ,   V 1 8 ,   P 8 8 ,   D O I   1 0 . 1 1 3 6 / t c . 2 0 0 8 . 0 2 6 1 4 6 ;   F r o s t   J H ,   2 0 0 8 ,   J   M E D   I N T E R N E T   R E S ,   V 1 0 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 0 5 3 ;   G i n s b e r g   J ,   2 0 0 9 ,   N A T U R E ,   V 4 5 7 ,   P 1 0 1 2 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 7 6 3 4 ;   H a r r y   E t z k o w i t z ,   2 0 0 0 ,   A T H E N A   U N B O U N D   A D V   W ;   H i l l   J O ,   2 0 0 5 ,   J   N U T R   E D U C   B E H A V ,   V 3 7 ,   P 2 0 6 ,   D O I   1 0 . 1 0 1 6 / S 1 4 9 9 - 4 0 4 6 ( 0 6 ) 6 0 2 4 8 - 0 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   E V I L   D ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   I s r a e l   B A ,   2 0 1 2 ,   M E T H O D S   C O M M U N I T Y   B A ;   J e n k i n s   H e n r i ,   2 0 0 6 ,   C O N V E R G E N C E   C U L T U R E ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   J o h n s o n   N B ,   2 0 1 0 ,   F E D E R A L   T I M E S       0 8 3 0 ;   K i r c h n e r   T R ,   2 0 1 3 ,   A M   J   P R E V   M E D ,   V 4 5 ,   P 3 7 9 ,   D O I   1 0 . 1 0 1 6 / j . a m e p r e . 2 0 1 3 . 0 5 . 0 1 6 ;   K r a t z k e   C ,   2 0 1 2 ,   I N T   E L E C T   J   H L T H   E D ,   V 1 5 ,   P 7 2 ;   L e v y   P . ,   1 9 9 5 ,   C O L L E C T I V E   I N T E L L I G E ;   M a l o n e   T W ,   2 0 1 2 ,   C O L L E C T I V E   I N T E L L I G E ;   M c G i l l   N ,   2 0 1 3 ,   N A T I O N S   H L T H ,   V 4 2 ,   p E 5 3 ;   M e r c h a n t   R ,   2 0 1 2 ,   H E A L T H   A F F A I R ,   V 3 1 ,   P 2 7 9 3 ,   D O I   1 0 . 1 3 7 7 / h l t h a f f . 2 0 1 2 . 1 1 1 5 ;   M e s s i n a   M J ,   2 0 1 2 ,   T H E S I S   T U F T S   U ;   N i k z a d   N ,   2 0 1 2 ,   W I R   H L T H   2 0 1 2   S A N   D I ;   N o r t o n   M I ,   2 0 1 0 ,   5 1 0 0 6 2   H A R V   B U S   S C H ;   N o v e c k   B . ,   2 0 0 6 ,   H A R V   J   L   T E C H ,   V 2 0 ,   P 1 2 3 ;   O ' L o a n   O J ,   1 9 9 9 ,   J   P H Y S   A - M A T H   G E N ,   V 3 2 ,   p L 9 9 ,   D O I   1 0 . 1 0 8 8 / 0 3 0 5 - 4 4 7 0 / 3 2 / 8 / 0 0 2 ;   P a g e   S E ,   2 0 0 7 ,   D I F F E R E N C E :   H O W   T H E   P O W E R   O F   D I V E R S I T Y   C R E A T E S   B E T T E R   G R O U P S ,   F I R M S ,   S C H O O L S ,   A N D   S O C I E T I E S ,   P 1 ;   P a r v a n t a   C l a u d i a ,   2 0 1 3 ,   H e a l t h   P r o m o t   P r a c t ,   V 1 4 ,   P 1 6 3 ,   D O I   1 0 . 1 1 7 7 / 1 5 2 4 8 3 9 9 1 2 4 7 0 6 5 4 ;   P o n t i n   J . ,   2 0 0 7 ,   N Y   T I M E S ;   P r e v o s t   L ,   2 0 1 1 ,   N Y   T I M E S ;   R a i n i e   L . ,   2 0 1 0 ,   I N T E R N E T   B R O A D B A N D   C ;   R o s s e r   B A ,   2 0 1 1 ,   J   T E L E M E D   T E L E C A R E ,   V 1 7 ,   P 3 0 8 ,   D O I   1 0 . 1 2 5 8 / j t t . 2 0 1 1 . 1 0 1 1 0 2 ;   S a n t i l l i   A ,   2 0 1 1 ,   A M   J   P U B L I C   H E A L T H ,   V 1 0 1 ,   P 2 2 0 7 ,   D O I   1 0 . 2 1 0 5 / A J P H . 2 0 1 1 . 3 0 0 3 5 1 ;   S c h m i d t   C W ,   2 0 1 2 ,   E N V I R O N   H E A L T H   P E R S P ,   V 1 2 0 ,   p A 3 0 ,   D O I   1 0 . 1 2 8 9 / e h p . 1 2 0 - a 3 0 ;   S m i t h   A ,   2 0 1 2 ,   E U R   U R B A N   R E G   S T U D ,   V 1 9 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 0 9 6 9 7 7 6 4 1 1 4 3 0 5 7 0 ;   S m i t h   A ,   2 0 1 0 ,   N E W   H A V E N   R E G I S T E R ;   S t r e c h e r   V ,   2 0 0 7 ,   A N N U   R E V   C L I N   P S Y C H O ,   V 3 ,   P 5 3 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . c l i n p s y . 3 . 0 2 2 8 0 6 . 0 9 1 4 2 8 ;   S t r e c h e r   V J ,   2 0 0 5 ,   A D D I C T I O N ,   V 1 0 0 ,   P 6 8 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 0 - 0 4 4 3 . 2 0 0 5 . 0 1 0 9 3 . x ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T a c e l o s k y   M ,   2 0 1 2 ,   W I R   H L T H   2 0 1 2   S A N   D I ;   T a k e m o t o   N ,   2 0 1 0 ,   C R O W D S O U R C E D   P L A C E M A ;   T a o   F ,   2 0 1 1 ,   P   I   M E C H   E N G   B - J   E N G ,   V 2 2 5 ,   P 1 9 6 9 ,   D O I   1 0 . 1 1 7 7 / 0 9 5 4 4 0 5 4 1 1 4 0 5 5 7 5 ;   T e r r a n o v a   T i z i a n a ,   2 0 0 4 ,   N E T W O R K   C U L T U R E   P O L I ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   U r q u h a r t   E S . ,   2 0 1 2 ,   T H E S I S   U   N   C A R O L I N A ;   V i l l a r r o e l   J A ,   2 0 1 0 ,   I N T R A C O R P O R A T E   C R O W D ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   W a l d   D J ,   2 0 0 6 ,   U S G S   D I S   Y O U   F E E L   I T ;   Z u c k e r m a n   H . ,   1 9 9 1 ,   O U T E R   C I R C L E   W O M E N   S ,   P 2 7 	 6 9 	 1 	 1 	 E L S E V I E R   S C I E N C E   I N C 	 N E W   Y O R K 	 3 6 0   P A R K   A V E   S O U T H ,   N E W   Y O R K ,   N Y   1 0 0 1 0 - 1 7 1 0   U S A 	 0 7 4 9 - 3 7 9 7 	 1 8 7 3 - 2 6 0 7 	 	 A M   J   P R E V   M E D 	 A m .   J .   P r e v .   M e d . 	 F E B 	 2 0 1 4 	 4 6 	 2 	 	 	 	 	 1 7 9 	 1 8 7 	 	 1 0 . 1 0 1 6 / j . a m e p r e . 2 0 1 3 . 1 0 . 0 1 6 	 	 9 	 P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h ;   M e d i c i n e ,   G e n e r a l   &   I n t e r n a l 	 P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h ;   G e n e r a l   &   I n t e r n a l   M e d i c i n e 	 2 9 1 V M 	 W O S : 0 0 0 3 2 9 8 5 9 2 0 0 0 1 3 	 2 4 4 3 9 3 5 3 	 
 J 	 F r a n z o n i ,   C ;   S a u e r m a n n ,   H 	 	 	 	 F r a n z o n i ,   C h i a r a ;   S a u e r m a n n ,   H e n r y 	 	 	 C r o w d   s c i e n c e :   T h e   o r g a n i z a t i o n   o f   s c i e n t i f i c   r e s e a r c h   i n   o p e n   c o l l a b o r a t i v e   p r o j e c t s 	 R E S E A R C H   P O L I C Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d   s c i e n c e ;   C i t i z e n   s c i e n c e ;   C r o w d s o u r c i n g ;   C o m m u n i t y - b a s e d   p r o d u c t i o n ;   P r o b l e m   s o l v i n g ;   O p e n   i n n o v a t i o n ;   F u n d i n g 	 O P E N - S O U R C E   S O F T W A R E ;   F O L D I N G   G A M E   P L A Y E R S ;   I N N O V A T I O N ;   M O T I V A T I O N ;   K N O W L E D G E ;   E C O N O M I C S ;   S E A R C H ;   C O M M U N I T I E S ;   U N C E R T A I N T Y ;   G O V E R N A N C E 	 A   g r o w i n g   a m o u n t   o f   s c i e n t i f i c   r e s e a r c h   i s   d o n e   i n   a n   o p e n   c o l l a b o r a t i v e   f a s h i o n ,   i n   p r o j e c t s   s o m e t i m e s   r e f e r r e d   t o   a s   " c r o w d   s c i e n c e " ,   " c i t i z e n   s c i e n c e " ,   o r   " n e t w o r k e d   s c i e n c e " .   T h i s   p a p e r   s e e k s   t o   g a i n   a   m o r e   s y s t e m a t i c   u n d e r s t a n d i n g   o f   c r o w d   s c i e n c e   a n d   t o   p r o v i d e   s c h o l a r s   w i t h   a   c o n c e p t u a l   f r a m e w o r k   a n d   a n   a g e n d a   f o r   f u t u r e   r e s e a r c h .   F i r s t ,   w e   b r i e f l y   p r e s e n t   t h r e e   c a s e   e x a m p l e s   t h a t   s p a n   d i f f e r e n t   f i e l d s   o f   s c i e n c e   a n d   i l l u s t r a t e   t h e   h e t e r o g e n e i t y   c o n c e r n i n g   w h a t   c r o w d   s c i e n c e   p r o j e c t s   d o   a n d   h o w   t h e y   a r e   o r g a n i z e d .   S e c o n d ,   w e   i d e n t i f y   t w o   f u n d a m e n t a l   e l e m e n t s   t h a t   c h a r a c t e r i z e   c r o w d   s c i e n c e   p r o j e c t s   -   o p e n   p a r t i c i p a t i o n   a n d   o p e n   s h a r i n g   o f   i n t e r m e d i a t e   i n p u t s   -   a n d   d i s t i n g u i s h   c r o w d   s c i e n c e   f r o m   o t h e r   k n o w l e d g e   p r o d u c t i o n   r e g i m e s   s u c h   a s   i n n o v a t i o n   c o n t e s t s   o r   t r a d i t i o n a l   " M e r t o n i a n "   s c i e n c e .   T h i r d ,   w e   e x p l o r e   p o t e n t i a l   k n o w l e d g e - r e l a t e d   a n d   m o t i v a t i o n a l   b e n e f i t s   t h a t   c r o w d   s c i e n c e   o f f e r s   o v e r   a l t e r n a t i v e   o r g a n i z a t i o n a l   m o d e s ,   a n d   p o t e n t i a l   c h a l l e n g e s   i t   i s   l i k e l y   t o   f a c e .   D r a w i n g   o n   p r i o r   r e s e a r c h   o n   t h e   o r g a n i z a t i o n   o f   p r o b l e m   s o l v i n g ,   w e   a l s o   c o n s i d e r   f o r   w h a t   k i n d s   o f   t a s k s   p a r t i c u l a r   b e n e f i t s   o r   c h a l l e n g e s   a r e   l i k e l y   t o   b e   m o s t   p r o n o u n c e d .   W e   c o n c l u d e   b y   o u t l i n i n g   a n   a g e n d a   f o r   f u t u r e   r e s e a r c h   a n d   b y   d i s c u s s i n g   i m p l i c a t i o n s   f o r   f u n d i n g   a g e n c i e s   a n d   p o l i c y   m a k e r s .   ( C )   2 0 1 3   T h e   A u t h o r s .   P u b l i s h e d   b y   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d , 	 [ F r a n z o n i ,   C h i a r a ]   P o l i t e c n   M i l a n ,   D e p t   M a n a g e m e n t   E c o n   &   I n d   E n g n   D I G ,   I - 2 0 1 3 3   M i l a n ,   I t a l y ;   [ S a u e r m a n n ,   H e n r y ]   G e o r g i a   I n s t   T e c h n o l ,   S c h e l l e r   C o l l   B u s i n e s s ,   A t l a n t a ,   G A   3 0 3 0 8   U S A 	 F r a n z o n i ,   C   ( r e p r i n t   a u t h o r ) ,   P o l i t e c n   M i l a n ,   D e p t   M a n a g e m e n t   E c o n   &   I n d   E n g n   D I G ,   P   L e o n a r d o   d a   V i n c i   3 2 ,   I - 2 0 1 3 3   M i l a n ,   I t a l y . 	 c h i a r a . f r a n z o n i @ p o l i m i . i t ;   h e n r y . s a u e r m a n n @ s c h e l l e r . g a t e c h . e d u 	 	 	 	 	 A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   A l e x y   O ,   2 0 1 1 ,   E U R   M A N A G   R E V ,   V 8 ,   P 1 6 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 0 - 4 7 6 2 . 2 0 1 1 . 0 1 0 1 7 . x ;   A m a b i l e   T .   M ,   1 9 9 6 ,   C R E A T I V I T Y   C O N T E X T ;   A r d a l   C ,   2 0 1 2 ,   P L O S   N E G L E C T   T R O P   D ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p n t d . 0 0 0 1 8 2 7 ;   B a l d w i n   C Y ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 1 1 6 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 4 6 ;   B i k a r d   M . ,   2 0 1 1 ,   W O R K I N G   P A P E R ;   B o n a c c o r s i   A ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 2 4 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 5 1 - 9 ;   B o o k m a n   R . J . ,   2 0 1 2 ,   E X   L E A D   M   A S S   A C   H L T ;   B o u d r e a u   K J ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 8 4 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 2 2 ;   B r o k a w   L ,   2 0 1 1 ,   M I T   S L O A N   M A N A G E M E N T ;   C a r d a m o n e   C ,   2 0 0 9 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 9 9 ,   P 1 1 9 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 9 . 1 5 3 8 3 . x ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C o h e n   W .   M . ,   2 0 0 0 ,   7 5 5 2   N B E R ;   C o o k   G . ,   2 0 1 1 ,   B O S T O N   G L O B E ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   C r o w s t o n   K ,   2 0 0 8 ,   W O R K I N G   P A P E R ;   C u m m i n g s   J N ,   2 0 0 7 ,   R E S   P O L I C Y ,   V 3 6 ,   P 1 6 2 0 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 7 . 0 9 . 0 0 1 ;   D a h l a n d e r   L . ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 2 ,   P 9 6 1 ;   D a h l a n d e r   L ,   2 0 1 0 ,   R E S   P O L I C Y ,   V 3 9 ,   P 6 9 9 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 0 . 0 1 . 0 1 3 ;   D a s g u p t a   P . ,   1 9 9 4 ,   S C I   P O L I C Y ,   V 2 3 ,   P 4 8 7 ;   D a v i d   P A ,   2 0 0 8 ,   C A P I T A L I S M   S O C ,   V 3 ;   F l e m i n g   L ,   2 0 0 1 ,   M A N A G E   S C I ,   V 4 7 ,   P 1 1 7 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 7 . 1 . 1 1 7 . 1 0 6 7 1 ;   H a e f l i g e r   S ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 8 0 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 7 0 . 0 7 4 8 ;   H a e u s s l e r   C ,   2 0 1 3 ,   R E S   P O L I C Y ,   V 4 2 ,   P 6 8 8 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 2 . 0 9 . 0 0 9 ;   H a e u s s l e r   C . ,   2 0 0 9 ,   1 5 3 1 5   N B E R ;   H a r h o f f   D ,   2 0 1 0 ,   O R G A N   D Y N ,   V 3 9 ,   P 1 3 7 ,   D O I   1 0 . 1 0 1 6 / j . o r g d y n . 2 0 1 0 . 0 1 . 0 0 5 ;   H a r s   A ,   2 0 0 2 ,   I N T   J   E L E C T R O N   C O M M ,   V 6 ,   P 2 5 ;   H a y d e n   E C ,   2 0 1 3 ,   N A T U R E ,   V 4 9 8 ,   P 1 6 ,   D O I   1 0 . 1 0 3 8 / 4 9 8 0 1 7 a ;   H e r t e l   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 7 - 7 ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   J o n e s   B F ,   2 0 0 9 ,   R E V   E C O N   S T U D ,   V 7 6 ,   P 2 8 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 7 X . 2 0 0 8 . 0 0 5 3 1 . x ;   J O V A N O V I C   B ,   1 9 7 9 ,   J   P O L I T   E C O N ,   V 8 7 ,   P 9 7 2 ,   D O I   1 0 . 1 0 8 6 / 2 6 0 8 0 8 ;   K h a t i b   F ,   2 0 1 1 ,   N A T   S T R U C T   M O L   B I O L ,   V 1 8 ,   P 1 1 7 5 ,   D O I   1 0 . 1 0 3 8 / n s m b . 2 1 1 9 ;   K h a t i b   F ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 1 8 9 4 9 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 1 1 5 8 9 8 1 0 8 ;   K u h n   T .   S . ,   1 9 6 2 ,   S T R U C T U R E   S C I   R E V O L U ;   L a c e t e r a   N ,   2 0 1 1 ,   J   L A W   E C O N   O R G A N ,   V 2 7 ,   P 5 6 8 ,   D O I   1 0 . 1 0 9 3 / j l e o / e w p 0 3 1 ;   L a k h a n i   K . ,   2 0 0 6 ,   P E R S P E C T I V E S   F R E E   O P ;   L a t o u r   B . ,   1 9 7 9 ,   L A B   L I F E   S O C I A L   C O N S ;   L e r n e r   J ,   2 0 0 5 ,   J   E C O N   P E R S P E C T ,   V 1 9 ,   P 9 9 ,   D O I   1 0 . 1 2 5 7 / 0 8 9 5 3 3 0 0 5 4 0 4 8 6 7 8 ;   L i n t o t t   C . ,   2 0 1 0 ,   G A L A X Y   Z O O   1   D A T A   R E ;   M a l o n e   T .   W . ,   2 0 0 7 ,   I N N O V A T I O N S   T E C H N O L O ,   V 2 ,   P 1 5 ,   D O I   D O I   1 0 . 1 1 6 2 / I T G G . 2 0 0 7 . 2 . 3 . 1 5 ;   M a r c u s   A .   D . ,   2 0 1 1 ,   W A L L   S T R E E T   J ;   M a t e o s - G a r c i a   J . ,   2 0 0 8 ,   C O M M U N I T Y   E C   C R E A T I V ,   P 2 5 4 ;   M c G o w a n   D ,   2 0 0 1 ,   U   I L L I N O I S   L A W   R E V ,   P 2 4 1 ;   M e r t o n   R .   K . ,   1 9 7 3 ,   S O C I O L O G Y   S C I   T H E O R E ;   M u r r a y   F ,   2 0 0 7 ,   O R G A N   S C I ,   V 1 8 ,   P 1 0 0 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 7 0 . 0 3 2 5 ;   N e l s o n   R R ,   2 0 0 4 ,   R E S   P O L I C Y ,   V 3 3 ,   P 4 5 5 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 3 . 0 9 . 0 0 8 ;   N i c k e r s o n   J A ,   2 0 0 4 ,   O R G A N   S C I ,   V 1 5 ,   P 6 1 7 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 4 0 . 0 0 9 3 ;   N i e l s e n   M . ,   2 0 1 1 ,   R E I N V E N T I N G   D I S C O V E R ;   O ' M a h o n y   S ,   2 0 0 7 ,   A C A D   M A N A G E   J ,   V 5 0 ,   P 1 0 7 9 ;   P o l y m a t h   D H J ,   2 0 1 2 ,   A N N   M A T H ,   V 1 7 5 ,   P 1 2 8 3 ,   D O I   1 0 . 4 0 0 7 / a n n a l s . 2 0 1 2 . 1 7 5 . 3 . 6 ;   P r e s t o p n i k   N .   R . ,   2 0 1 1 ,   I E E E   7   I N T   C   E   S C I   W ,   V 2 0 1 1 ,   P 2 8 ;   R a a s c h   C . ,   2 0 1 2 ,   W O R K I N G   P A P E R ;   R a d d i c k   M .   J . ,   2 0 1 3 ,   W O R K I N G   P A P E R ;   R i t t i   R . ,   1 9 6 8 ,   I N D   R E L A T ,   V 8 ,   P 1 1 8 ;   R u l l a n i   F ,   2 0 1 3 ,   R E S   P O L I C Y ,   V 4 2 ,   P 9 4 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 2 . 1 0 . 0 0 8 ;   R y a n   R M ,   2 0 0 0 ,   C O N T E M P   E D U C   P S Y C H O L ,   V 2 5 ,   P 5 4 ,   D O I   1 0 . 1 0 0 6 / c e p s . 1 9 9 9 . 1 0 2 0 ;   S a u e r m a n n   H ,   2 0 1 0 ,   M A N A G E   S C I ,   V 5 6 ,   P 2 1 3 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 0 0 . 1 2 4 1 ;   S a u e r m a n n   H ,   2 0 1 4 ,   R E S   P O L I C Y ,   V 4 3 ,   P 3 2 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 3 . 0 7 . 0 0 6 ;   S a u e r m a n n   H ,   2 0 1 3 ,   O R G A N   S C I ,   V 2 4 ,   P 8 8 9 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 2 0 . 0 7 6 9 ;   S h a h   S K ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 0 0 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 3 ;   S h a p i n   S . ,   2 0 0 8 ,   S C I   L I F E   M O R A L   H I S T ;   S i m o n   H .   A . ,   1 9 6 2 ,   P   A M   P H I L O S   S O C ,   V 1 0 6 ,   P 4 6 7 ;   S I M O N   H A ,   1 9 7 3 ,   A R T I F   I N T E L L ,   V 4 ,   P 1 8 1 ,   D O I   1 0 . 1 0 1 6 / 0 0 0 4 - 3 7 0 2 ( 7 3 ) 9 0 0 1 1 - 8 ;   S i m p s o n   E . ,   2 0 1 2 ,   D Y N A M I C   B A Y E S I A N   C O M ;   S i n g h   J ,   2 0 1 0 ,   M A N A G E   S C I ,   V 5 6 ,   P 4 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 9 0 . 1 0 7 2 ;   S o r e n s o n   O . ,   2 0 0 4 ,   R E S   P O L I C Y ,   V 3 3 ,   P 1 6 1 5 ;   S t e p h a n   P . ,   2 0 1 2 ,   E C   S H A P E S   S C I ;   S t e p h a n   P E ,   1 9 9 6 ,   J   E C O N   L I T ,   V 3 4 ,   P 1 1 9 9 ;   T a o   T ,   2 0 1 2 ,   M A T H   C O M P U T ,   V 8 1 ,   P 1 2 3 3 ;   T r a u t h   E . ,   2 0 1 2 ,   P   8   A M   C   I N F   S Y S T ;   U z z i   B ,   2 0 0 5 ,   A M   J   S O C I O L ,   V 1 1 1 ,   P 4 4 7 ,   D O I   1 0 . 1 0 8 6 / 4 3 2 7 8 2 ;   V o n   H i p p e l   E ,   2 0 0 6 ,   D E M O C R A T I Z I N G   I N N O V A ;   v o n   H i p p e l   E ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 2 0 9 ;   v o n   K r o g h   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 2 1 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 5 0 - 7 ;   v o n   K r o g h   G ,   2 0 1 2 ,   M I S   Q U A R T ,   V 3 6 ,   P 6 4 9 ;   W a l s h   J P ,   2 0 0 5 ,   S C I E N C E ,   V 3 0 9 ,   P 2 0 0 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 1 5 8 1 3 ;   W e i s b e r g   R .   W . ,   2 0 0 6 ,   C R E A T I V I T Y   U N D E R S T A N ;   W i g g i n s   A . ,   2 0 1 1 ,   4 4   H A W   I N T   C   S Y S T   S C ;   W i l k i n s o n   D .   M . ,   2 0 0 8 ,   P   9   A C M   C   E L   C O M M ;   W u c h t y   S ,   2 0 0 7 ,   S C I E N C E ,   V 3 1 6 ,   P 1 0 3 6 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 3 6 0 9 9 ;   Y o u n g   J . ,   2 0 1 0 ,   C H R O N I C L E   H I G H E   0 5 2 8 ;   Z e n g e r   T .   R . ,   2 0 1 2 ,   W O R K I N G   P A P E R ;   Z u c k e r m a n   H . ,   1 9 8 8 ,   H D B   S O C I O L O G Y ,   P 5 1 1 	 8 4 	 3 	 3 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 0 4 8 - 7 3 3 3 	 1 8 7 3 - 7 6 2 5 	 	 R E S   P O L I C Y 	 R e s .   P o l i c y 	 F E B 	 2 0 1 4 	 4 3 	 1 	 	 	 	 	 1 	 2 0 	 	 1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 3 . 0 7 . 0 0 5 	 	 2 0 	 M a n a g e m e n t ;   P l a n n i n g   &   D e v e l o p m e n t 	 B u s i n e s s   &   E c o n o m i c s ;   P u b l i c   A d m i n i s t r a t i o n 	 2 8 5 H R 	 W O S : 0 0 0 3 2 9 3 8 5 1 0 0 0 0 1 	 	 
 J 	 B o h a n n o n ,   J 	 	 	 	 B o h a n n o n ,   J o h n 	 	 	 C R O W D S O U R C I N G   O n l i n e   V i d e o   G a m e   P l u g s   P l a y e r s   I n t o   R e m o t e - C o n t r o l l e d   B i o c h e m i s t r y   L a b 	 S C I E N C E 	 	 	 E n g l i s h 	 N e w s   I t e m 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 A M E R   A S S O C   A D V A N C E M E N T   S C I E N C E 	 W A S H I N G T O N 	 1 2 0 0   N E W   Y O R K   A V E ,   N W ,   W A S H I N G T O N ,   D C   2 0 0 0 5   U S A 	 0 0 3 6 - 8 0 7 5 	 1 0 9 5 - 9 2 0 3 	 	 S C I E N C E 	 S c i e n c e 	 J A N   3 1 	 2 0 1 4 	 3 4 3 	 6 1 7 0 	 	 	 	 	 4 7 5 	 4 7 5 	 	 	 	 1 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 2 9 8 S C 	 W O S : 0 0 0 3 3 0 3 4 3 7 0 0 0 1 3 	 2 4 4 8 2 4 5 8 	 
 J 	 P a r i s i ,   F ;   S t r i n o ,   F ;   N a d l e r ,   B ;   K l u g e r ,   Y 	 	 	 	 P a r i s i ,   F a b i o ;   S t r i n o ,   F r a n c e s c o ;   N a d l e r ,   B o a z ;   K l u g e r ,   Y u v a l 	 	 	 R a n k i n g   a n d   c o m b i n i n g   m u l t i p l e   p r e d i c t o r s   w i t h o u t   l a b e l e d   d a t a 	 P R O C E E D I N G S   O F   T H E   N A T I O N A L   A C A D E M Y   O F   S C I E N C E S   O F   T H E   U N I T E D   S T A T E S   O F   A M E R I C A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 s p e c t r a l   a n a l y s i s ;   c l a s s i f i e r   b a l a n c e d   a c c u r a c y ;   u n s u p e r v i s e d   l e a r n i n g ;   c a r t e l s ;   c r o w d s o u r c i n g 	 	 I n   a   b r o a d   r a n g e   o f   c l a s s i f i c a t i o n   a n d   d e c i s i o n - m a k i n g   p r o b l e m s ,   o n e   i s   g i v e n   t h e   a d v i c e   o r   p r e d i c t i o n s   o f   s e v e r a l   c l a s s i f i e r s ,   o f   u n k n o w n   r e l i a b i l i t y ,   o v e r   m u l t i p l e   q u e s t i o n s   o r   q u e r i e s .   T h i s   s c e n a r i o   i s   d i f f e r e n t   f r o m   t h e   s t a n d a r d   s u p e r v i s e d   s e t t i n g ,   w h e r e   e a c h   c l a s s i f i e r ' s   a c c u r a c y   c a n   b e   a s s e s s e d   u s i n g   a v a i l a b l e   l a b e l e d   d a t a ,   a n d   r a i s e s   t w o   q u e s t i o n s :   G i v e n   o n l y   t h e   p r e d i c t i o n s   o f   s e v e r a l   c l a s s i f i e r s   o v e r   a   l a r g e   s e t   o f   u n l a b e l e d   t e s t   d a t a ,   i s   i t   p o s s i b l e   t o   ( i )   r e l i a b l y   r a n k   t h e m   a n d   ( i i )   c o n s t r u c t   a   m e t a c l a s s i f i e r   m o r e   a c c u r a t e   t h a n   m o s t   c l a s s i f i e r s   i n   t h e   e n s e m b l e ?   H e r e   w e   p r e s e n t   a   s p e c t r a l   a p p r o a c h   t o   a d d r e s s   t h e s e   q u e s t i o n s .   F i r s t ,   a s s u m i n g   c o n d i t i o n a l   i n d e p e n d e n c e   b e t w e e n   c l a s s i f i e r s ,   w e   s h o w   t h a t   t h e   o f f - d i a g o n a l   e n t r i e s   o f   t h e i r   c o v a r i a n c e   m a t r i x   c o r r e s p o n d   t o   a   r a n k - o n e   m a t r i x .   M o r e o v e r ,   t h e   c l a s s i f i e r s   c a n   b e   r a n k e d   u s i n g   t h e   l e a d i n g   e i g e n v e c t o r   o f   t h i s   c o v a r i a n c e   m a t r i x ,   b e c a u s e   i t s   e n t r i e s   a r e   p r o p o r t i o n a l   t o   t h e i r   b a l a n c e d   a c c u r a c i e s .   S e c o n d ,   v i a   a   l i n e a r   a p p r o x i m a t i o n   t o   t h e   m a x i m u m   l i k e l i h o o d   e s t i m a t o r ,   w e   d e r i v e   t h e   S p e c t r a l   M e t a - L e a r n e r   ( S M L ) ,   a n   u n s u p e r v i s e d   e n s e m b l e   c l a s s i f i e r   w h o s e   w e i g h t s   a r e   e q u a l   t o   t h e s e   e i g e n v e c t o r   e n t r i e s .   O n   b o t h   s i m u l a t e d   a n d   r e a l   d a t a ,   S M L   t y p i c a l l y   a c h i e v e s   a   h i g h e r   a c c u r a c y   t h a n   m o s t   c l a s s i f i e r s   i n   t h e   e n s e m b l e   a n d   c a n   p r o v i d e   a   b e t t e r   s t a r t i n g   p o i n t   t h a n   m a j o r i t y   v o t i n g   f o r   e s t i m a t i n g   t h e   m a x i m u m   l i k e l i h o o d   s o l u t i o n .   F u r t h e r m o r e ,   S M L   i s   r o b u s t   t o   t h e   p r e s e n c e   o f   s m a l l   m a l i c i o u s   g r o u p s   o f   c l a s s i f i e r s   d e s i g n e d   t o   v e e r   t h e   e n s e m b l e   p r e d i c t i o n   a w a y   f r o m   t h e   ( u n k n o w n )   g r o u n d   t r u t h . 	 [ P a r i s i ,   F a b i o ;   S t r i n o ,   F r a n c e s c o ;   K l u g e r ,   Y u v a l ]   Y a l e   U n i v ,   S c h   M e d ,   D e p t   P a t h o l ,   N e w   H a v e n ,   C T   0 6 5 2 0   U S A ;   [ N a d l e r ,   B o a z ]   W e i z m a n n   I n s t   S c i ,   D e p t   C o m p   S c i   &   A p p l   M a t h ,   I L - 7 6 1 0 0   R e h o v o t ,   I s r a e l ;   [ K l u g e r ,   Y u v a l ]   N Y U ,   L a n g o n e   M e d   C t r ,   N e w   Y o r k   U n i v   C t r   H l t h   I n f o r m a t   &   B i o i n f o r m a t ,   N e w   Y o r k ,   N Y   1 0 0 1 6   U S A 	 K l u g e r ,   Y   ( r e p r i n t   a u t h o r ) ,   Y a l e   U n i v ,   S c h   M e d ,   D e p t   P a t h o l ,   N e w   H a v e n ,   C T   0 6 5 2 0   U S A . 	 y u v a l . k l u g e r @ y a l e . e d u 	 	 	 A m e r i c a n - I t a l i a n   C a n c e r   F o u n d a t i o n ;   I s r a e l i   S c i e n c e   F o u n d a t i o n ;   C i t i   F o u n d a t i o n ;   P e t e r   T .   R o w l e y   B r e a s t   C a n c e r   R e s e a r c h   P r o j e c t s   ( N e w   Y o r k   S t a t e   D e p a r t m e n t   o f   H e a l t h ) ;   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   G r a n t   [ R 0 - 1   C A 1 5 8 1 6 7 ] 	 W e   t h a n k   A m i t   S i n g e r ,   A l e x   K o v n e r ,   R o n a l d   C o i f m a n ,   R o n e n   B a s r i ,   a n d   J o s e p h   C h a n g   f o r   t h e i r   i n v a l u a b l e   f e e d b a c k .   T h e   W i s c o n s i n   b r e a s t   c a n c e r   d a t a s e t   w a s   c o l l e c t e d   a t   t h e   U n i v e r s i t y   o f   W i s c o n s i n   H o s p i t a l s   b y   D r .   W . H .   W o l b e r g   a n d   c o l l e a g u e s .   F . S .   i s   s u p p o r t e d   b y   t h e   A m e r i c a n - I t a l i a n   C a n c e r   F o u n d a t i o n .   B . N .   i s   s u p p o r t e d   b y   g r a n t s   f r o m   t h e   I s r a e l i   S c i e n c e   F o u n d a t i o n   a n d   f r o m   C i t i   F o u n d a t i o n .   Y . K .   i s   s u p p o r t e d   b y   t h e   P e t e r   T .   R o w l e y   B r e a s t   C a n c e r   R e s e a r c h   P r o j e c t s   ( N e w   Y o r k   S t a t e   D e p a r t m e n t   o f   H e a l t h )   a n d   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   G r a n t   R 0 - 1   C A 1 5 8 1 6 7 . 	 C o l e   S ,   1 9 7 8 ,   P E E R   R E V   N A T L   S C I   F D ;   D a w i d   A . P . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   V 2 8 ,   P 2 0 ;   D E G R O O T   M H ,   1 9 7 4 ,   J   A M   S T A T   A S S O C ,   V 6 9 ,   P 1 1 8 ,   D O I   1 0 . 2 3 0 7 / 2 2 8 5 5 0 9 ;   D i e t t e r i c h   T G ,   2 0 0 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 1 8 5 7 ,   P 1 ;   G e n r e   V ,   2 0 1 0 ,   C O M B I N I N G   F O R E C A S T S ;   J i n   R ,   2 0 0 3 ,   A D V   N E U R A L   I N F O R M   P R ,   V 1 5 ,   P 8 9 7 ;   K a r g e r   D .   R . ,   2 0 1 1 ,   P   4 9   A N N   A L L   C   C O M M ,   P 2 8 4 ;   K a r g e r   D   R ,   2 0 1 1 ,   A R X I V 1 1 1 0 3 5 6 4 V 4 ;   L A U R I T Z E N   S L ,   1 9 9 5 ,   C O M P U T   S T A T   D A T A   A N ,   V 1 9 ,   P 1 9 1 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 7 - 9 4 7 3 ( 9 3 ) E 0 0 5 6 - A ;   L i n s t o n e   H . A . ,   1 9 7 5 ,   D E L P H I   M E T H O D   T E C H N I ;   M a r g o l i n   A A ,   2 0 1 3 ,   S C I   T R A N S L   M E D ,   V 5 ,   P 1 8 1 ;   M i c s i n a i   M ,   2 0 1 2 ,   N U C L E I C   A C I D S   R E S ,   V 4 0 ,   D O I   1 0 . 1 0 9 3 / n a r / g k s 0 4 8 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H I N E   L E A R N I N G   R ,   V 1 1 ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   S m y t h   P ,   1 9 9 4 ,   A D V   N E U R A L   I N F O R M   P R ,   P 1 0 8 5 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S t o c k   J H ,   2 0 0 6 ,   H B K   E C O N ,   V 2 4 ,   P 5 1 5 ,   D O I   1 0 . 1 0 1 6 / S 1 5 7 4 - 0 7 0 6 ( 0 5 ) 0 1 0 1 0 - 4 ;   S t r i n o   F ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 2 6 0 7 4 ;   T i m m e r m a n n   A ,   2 0 0 6 ,   H B K   E C O N ,   V 2 4 ,   P 1 3 5 ,   D O I   1 0 . 1 0 1 6 / S 1 5 7 4 - 0 7 0 6 ( 0 5 ) 0 1 0 0 4 - 9 ;   T s a i   C F ,   2 0 1 0 ,   D E C I S   S U P P O R T   S Y S T ,   V 5 0 ,   P 2 5 8 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 0 . 0 8 . 0 2 8 ;   W A L T E R   S D ,   1 9 8 8 ,   J   C L I N   E P I D E M I O L ,   V 4 1 ,   P 9 2 3 ,   D O I   1 0 . 1 0 1 6 / 0 8 9 5 - 4 3 5 6 ( 8 8 ) 9 0 1 1 0 - 2 ;   W e l i n d e r   P . ,   2 0 1 0 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 3 ,   P 2 4 2 4 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 2 ,   P 2 0 3 5 ;   W i t t e n   I H ,   2 0 1 1 ,   M O R   K A U F   D ,   P 1 ;   W r i g h t   F C ,   2 0 0 7 ,   E U R   J   C A N C E R ,   V 4 3 ,   P 1 0 0 2 ,   D O I   1 0 . 1 0 1 6 / j . e j c a . 2 0 0 7 . 0 1 . 0 2 5 ;   Y a n   Y . ,   2 0 1 0 ,   P   I N T   C   A R T   I N T   S T A T ,   V 9 ,   P 9 3 2 ;   Z w e i g   J . ,   2 0 1 1 ,   W A L L   S T R E E T   J 	 2 7 	 0 	 0 	 N A T L   A C A D   S C I E N C E S 	 W A S H I N G T O N 	 2 1 0 1   C O N S T I T U T I O N   A V E   N W ,   W A S H I N G T O N ,   D C   2 0 4 1 8   U S A 	 0 0 2 7 - 8 4 2 4 	 	 	 P   N A T L   A C A D   S C I   U S A 	 P r o c .   N a t l .   A c a d .   S c i .   U .   S .   A . 	 J A N   2 8 	 2 0 1 4 	 1 1 1 	 4 	 	 	 	 	 1 2 5 3 	 1 2 5 8 	 	 1 0 . 1 0 7 3 / p n a s . 1 2 1 9 0 9 7 1 1 1 	 	 6 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 2 9 7 B V 	 W O S : 0 0 0 3 3 0 2 3 1 1 0 0 0 2 4 	 2 4 4 7 4 7 4 4 	 
 J 	 C a r t e r ,   R R ;   D i F e o ,   A ;   B o g i e ,   K ;   Z h a n g ,   G Q ;   S u n ,   J Y 	 	 	 	 C a r t e r ,   R e b e c c a   R . ;   D i F e o ,   A n a l i s a ;   B o g i e ,   K a t h ;   Z h a n g ,   G u o - Q i a n g ;   S u n ,   J i a y a n g 	 	 	 C r o w d s o u r c i n g   A w a r e n e s s :   E x p l o r a t i o n   o f   t h e   O v a r i a n   C a n c e r   K n o w l e d g e   G a p   t h r o u g h   A m a z o n   M e c h a n i c a l   T u r k 	 P L O S   O N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 B R E A S T - C A N C E R ;   W O M E N ;   M A M M O G R A P H Y ;   S T A T I S T I C S ;   H E U R I S T I C S ;   A C C U R A C Y ;   S Y M P T O M S ;   F A M I L I E S ;   H B O C 	 B a c k g r o u n d :   O v a r i a n   c a n c e r   i s   t h e   m o s t   l e t h a l   g y n e c o l o g i c   d i s e a s e   i n   t h e   U n i t e d   S t a t e s ,   w i t h   m o r e   w o m e n   d y i n g   f r o m   t h i s   c a n c e r   t h a n   a l l   g y n e c o l o g i c a l   c a n c e r s   c o m b i n e d .   O v a r i a n   c a n c e r   h a s   b e e n   t e r m e d   t h e   " s i l e n t   k i l l e r "   b e c a u s e   s o m e   p a t i e n t s   d o   n o t   s h o w   c l e a r   s y m p t o m s   a t   a n   e a r l y   s t a g e .   C u r r e n t l y ,   t h e r e   i s   a   l a c k   o f   a p p r o v e d   a n d   e f f e c t i v e   e a r l y   d i a g n o s t i c   t o o l s   f o r   o v a r i a n   c a n c e r .   T h e r e   i s   a l s o   a n   a p p a r e n t   s e v e r e   k n o w l e d g e   g a p   o f   o v a r i a n   c a n c e r   i n   g e n e r a l   a n d   o f   i t s   i n d i c a t i v e   s y m p t o m s   a m o n g   b o t h   p u b l i c   a n d   m a n y   h e a l t h   p r o f e s s i o n a l s .   T h e s e   f a c t o r s   h a v e   s i g n i f i c a n t l y   c o n t r i b u t e d   t o   t h e   l a t e   s t a g e   d i a g n o s i s   o f   m o s t   o v a r i a n   c a n c e r   p a t i e n t s   ( 6 3 %   a r e   d i a g n o s e d   a t   S t a g e   I I I   o r   a b o v e ) ,   w h e r e   t h e   5 - y e a r   s u r v i v a l   r a t e   i s   l e s s   t h a n   3 0 % .   T h e   p a u c i t y   o f   k n o w l e d g e   c o n c e r n i n g   o v a r i a n   c a n c e r   i n   t h e   U n i t e d   S t a t e s   i s   u n k n o w n .   M e t h o d s :   T h e   p r e s e n t   i n v e s t i g a t i o n   e x a m i n e d   c u r r e n t   p u b l i c   a w a r e n e s s   a n d   k n o w l e d g e   a b o u t   o v a r i a n   c a n c e r .   T h e   s t u d y   i m p l e m e n t e d   d e s i g n   s t r a t e g i e s   t o   d e v e l o p   a n   u n b i a s e d   s u r v e y   w i t h   q u a l i t y   c o n t r o l   m e a s u r e s ,   i n c l u d i n g   t h e   m o d e r n   a p p l i c a t i o n   o f   m u l t i p l e   s t a t i s t i c a l   a n a l y s e s .   T h e   s u r v e y   a s s e s s e d   a   r e a s o n a b l e   p r o x y   o f   t h e   U S   p o p u l a t i o n   b y   c r o w d s o u r c i n g   p a r t i c i p a n t s   t h r o u g h   t h e   o n l i n e   t a s k   m a r k e t p l a c e   A m a z o n   M e c h a n i c a l   T u r k ,   a t   a   h i g h l y   c o n d e n s e d   r a t e   o f   c o s t   a n d   t i m e   c o m p a r e d   t o   t r a d i t i o n a l   r e c r u i t m e n t   m e t h o d s .   C o n c l u s i o n :   K n o w l e d g e   o f   o v a r i a n   c a n c e r   w a s   c o m p a r e d   t o   t h a t   o f   b r e a s t   c a n c e r   u s i n g   r e p e a t e d   m e a s u r e s ,   b i a s   c o n t r o l   a n d   o t h e r   q u a l i t y   c o n t r o l   m e a s u r e s   i n   t h e   s u r v e y   d e s i g n .   A n a l y s e s   i n c l u d e d   m u l t i n o m i a l   l o g i s t i c   r e g r e s s i o n   a n d   c a t e g o r i c a l   d a t a   a n a l y s i s   p r o c e d u r e s   s u c h   a s   c o r r e s p o n d e n c e   a n a l y s i s ,   a m o n g   o t h e r   s t a t i s t i c s .   W e   c o n f i r m e d   t h e   r e l a t i v e l y   p o o r   p u b l i c   k n o w l e d g e   o f   o v a r i a n   c a n c e r   a m o n g   t h e   U S   p o p u l a t i o n .   T h e   s i m p l e ,   y e t   n o v e l   d e s i g n   s h o u l d   s e t   a n   e x a m p l e   f o r   d e s i g n i n g   s u r v e y s   t o   o b t a i n   q u a l i t y   d a t a   v i a   A m a z o n   M e c h a n i c a l   T u r k   w i t h   t h e   a s s o c i a t e d   a n a l y s e s . 	 [ C a r t e r ,   R e b e c c a   R . ;   S u n ,   J i a y a n g ]   C a s e   W e s t e r n   R e s e r v e   U n i v ,   S c h   M e d ,   D e p t   E p i d e m i o l   &   B i o s t a t ,   C l e v e l a n d ,   O H   4 4 1 0 6   U S A ;   [ D i F e o ,   A n a l i s a ;   Z h a n g ,   G u o - Q i a n g ]   C a s e   W e s t e r n   R e s e r v e   U n i v ,   C a s e   C o m p r e h e n s   C a n c   C t r ,   C l e v e l a n d ,   O H   4 4 1 0 6   U S A ;   [ B o g i e ,   K a t h ]   C a s e   W e s t e r n   R e s e r v e   U n i v ,   D e p t   O r t h o p a e d ,   C l e v e l a n d ,   O H   4 4 1 0 6   U S A ;   [ B o g i e ,   K a t h ]   C a s e   W e s t e r n   R e s e r v e   U n i v ,   D e p t   B i o m e d   E n g n ,   C l e v e l a n d ,   O H   4 4 1 0 6   U S A 	 S u n ,   J Y   ( r e p r i n t   a u t h o r ) ,   C a s e   W e s t e r n   R e s e r v e   U n i v ,   S c h   M e d ,   D e p t   E p i d e m i o l   &   B i o s t a t ,   C l e v e l a n d ,   O H   4 4 1 0 6   U S A . 	 j s u n @ c a s e . e d u 	 	 	 C h o o s e   O h i o   F i r s t   S c h o l a r s h i p   p r o g r a m   i n   B i o m e d i c a l   I n f o r m a t i c s   t h r o u g h   t h e   E E C S   D e p a r t m e n t   i n   C o m p u t e r   S c i e n c e   &   E n g i n e e r i n g   a t   C a s e   W e s t e r n   R e s e r v e   U n i v e r s i t y ;   D i v i s i o n   o f   M e d i c a l   I n f o r m a t i c s   a t   C a s e   W e s t e r n   S c h o o l   o f   M e d i c i n e ;   N I H / N C A T S   [ U L 1 T R 0 0 0 4 3 9 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   C h o o s e   O h i o   F i r s t   S c h o l a r s h i p   p r o g r a m   i n   B i o m e d i c a l   I n f o r m a t i c s   t h r o u g h   t h e   E E C S   D e p a r t m e n t   i n   C o m p u t e r   S c i e n c e   &   E n g i n e e r i n g   a t   C a s e   W e s t e r n   R e s e r v e   U n i v e r s i t y   a n d   t h e   D i v i s i o n   o f   M e d i c a l   I n f o r m a t i c s   a t   C a s e   W e s t e r n   S c h o o l   o f   M e d i c i n e   f o r   R R C .   G Q Z   a c k n o w l e d g e s   s u p p o r t   f r o m   N I H / N C A T S   a w a r d   U L 1 T R 0 0 0 4 3 9 .   T h e   f u n d e r s   h a d   n o   r o l e   i n   t h e   s t u d y   d e s i g n ,   d a t a   c o l l e c t i o n   a n d   a n a l y s i s ,   d e c i s i o n   t o   p u b l i s h ,   o r   p r e p a r a t i o n   o f   t h e   m a n u s c r i p t . 	 A b e l   E K ,   1 9 9 8 ,   S E L E C T I V E   C O M P L I A N C E ,   P 3 1 0 ;   B a l d w i n   L M ,   2 0 1 2 ,   A N N   I N T E R N   M E D ,   V 1 5 6 ,   P 1 8 2 ,   D O I   1 0 . 7 3 2 6 / 0 0 0 3 - 4 8 1 9 - 1 5 6 - 3 - 2 0 1 2 0 2 0 7 0 - 0 0 0 0 6 ;   B e r g h   J ,   2 0 0 1 ,   A C T A   O N C O L ,   V 4 0 ,   P 2 5 3 ;   B e r i n s k y   A J ,   2 0 1 2 ,   P O L I T   A N A L ,   V 2 0 ,   P 3 5 1 ,   D O I   1 0 . 1 0 9 3 / p a n / m p r 0 5 7 ;   B r e e n   N ,   2 0 0 7 ,   C A N C E R ,   V 1 0 9 ,   P 2 4 0 5 ,   D O I   1 0 . 1 0 0 2 / c n c r . 2 2 7 2 3 ;   B u h r m e s t e r   M ,   2 0 1 1 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 6 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 0 3 9 3 9 8 0 ;   C a t a l a n o   R ,   2 0 0 3 ,   E U R   J   E P I D E M I O L ,   V 1 8 ,   P 5 4 5 ;   C t s u   R I ,   2 0 0 5 ,   L A N C E T ,   V 3 6 5 ,   P 1 6 8 7 ;   d ' A g i n c o u r t - C a n n i n g   L o r i ,   2 0 0 5 ,   J   G e n e t   C o u n s ,   V 1 4 ,   P 5 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 8 9 7 - 0 0 5 - 1 5 0 0 - 0 ;   F R I S O N   L ,   1 9 9 2 ,   S T A T   M E D ,   V 1 1 ,   P 1 6 8 5 ,   D O I   1 0 . 1 0 0 2 / s i m . 4 7 8 0 1 1 1 3 0 4 ;   G a r d n e r   R M ,   2 0 1 2 ,   B O D Y   I M A G E ,   V 9 ,   P 5 3 2 ,   D O I   1 0 . 1 0 1 6 / j . b o d y i m . 2 0 1 2 . 0 6 . 0 0 6 ;   G o f f   B A ,   2 0 0 7 ,   C A N C E R ,   V 1 0 9 ,   P 2 2 1 ,   D O I   1 0 . 1 0 0 2 / c n c r . 2 2 3 7 1 ;   G o f f   B A ,   2 0 0 4 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 9 1 ,   P 2 7 0 5 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 9 1 . 2 2 . 2 7 0 5 ;   G o o d m a n   J K ,   2 0 1 2 ,   J   B E H A V   D E C I S   M A K ;   G o s l i n g   S D ,   2 0 0 4 ,   A M   P S Y C H O L ,   V 5 9 ,   P 9 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 0 3 - 0 6 6 X . 5 9 . 2 . 9 3 ;   G r e e n   P E ,   1 9 7 8 ,   R E S   M A R K E T I N G   D E C I S I ;   G r e e n l a w   C ,   2 0 0 9 ,   E V A L U A T I O N   R E V ,   V 3 3 ,   P 4 6 4 ,   D O I   1 0 . 1 1 7 7 / 0 1 9 3 8 4 1 X 0 9 3 4 0 2 1 4 ;   H o r t o n   J J ,   2 0 1 1 ,   E X P   E C O N ,   V 1 4 ,   P 3 9 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 8 3 - 0 1 1 - 9 2 7 3 - 9 ;   H o w d e n   L M ,   2 0 1 1 ,   A G E   S E X   C O M P O S I T I O N ;   J a c o b s e n   G D ,   2 0 1 1 ,   J   H E A L T H   E C O N ,   V 3 0 ,   P 5 5 ,   D O I   1 0 . 1 0 1 6 / j . j h e a l e c o . 2 0 1 0 . 1 1 . 0 0 5 ;   K e n e n   R ,   2 0 0 3 ,   S O C I O L   H E A L T H   I L L ,   V 2 5 ,   P 8 3 8 ,   D O I   1 0 . 1 0 4 6 / j . 1 4 6 7 - 9 5 6 6 . 2 0 0 3 . 0 0 3 7 2 . x ;   K e n e n   R ,   2 0 0 4 ,   P S Y C H O - O N C O L ,   V 1 3 ,   P 3 3 5 ,   D O I   1 0 . 1 0 0 2 / p o n . 7 4 5 ;   K o b e l   M ,   2 0 1 0 ,   A M   J   S U R G   P A T H O L ,   V 3 4 ,   P 9 8 4 ,   D O I   1 0 . 1 0 9 7 / P A S . 0 b 0 1 3 e 3 1 8 1 e 1 a 3 b b ;   L e r n e r   B H ,   2 0 0 2 ,   N A T   R E V   C A N C E R ,   V 2 ,   P 2 2 5 ,   D O I   1 0 . 1 0 3 8 / n r c 7 4 4 ;   L o w   E L ,   2 0 1 3 ,   J   F A M   P L A N   R E P R O D   H ,   V 3 9 ,   P 1 6 3 ,   D O I   1 0 . 1 1 3 6 / j f p r h c - 2 0 1 2 - 1 0 0 4 7 3 ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   M c A l l i s t e r   M ,   2 0 0 2 ,   J   H E A L T H   P S Y C H O L ,   V 7 ,   P 4 9 1 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 9 1 0 5 3 0 2 0 0 7 0 0 5 6 2 8 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   R   D e v e l o p m e n t   c o r e   t e a m ,   2 0 0 8 ,   R   L A N G   E N V   S T A T   C O M P ;   R A D L O W   R ,   1 9 7 5 ,   J   A M   S T A T   A S S O C ,   V 7 0 ,   P 8 1 1 ,   D O I   1 0 . 2 3 0 7 / 2 2 8 5 4 4 0 ;   R a n d   D G ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 1 9 1 9 3 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 1 0 8 2 4 3 1 0 8 ;   S c h o n l a u   M ,   2 0 0 2 ,   M R 1 4 8 0 R C   R A N D ;   S i e g e l   R ,   2 0 1 2 ,   C A - C A N C E R   J   C L I N ,   V 6 2 ,   P 2 2 0 ,   D O I   1 0 . 3 3 2 2 / c a a c . 2 1 1 4 9 ;   S i m o n   A E ,   2 0 1 2 ,   J   F A M   P L A N   R E P R O D   H ,   V 3 8 ,   P 1 6 7 ,   D O I   1 0 . 1 1 3 6 / j f p r h c - 2 0 1 1 - 1 0 0 1 1 8 ;   S l o m s k i   A ,   2 0 1 2 ,   J A M A - J   A M   M E D   A S S O C ,   V 3 0 7 ,   P 2 4 7 4 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 0 1 2 . 5 6 4 6 ;   S u l i k   G a y l e ,   2 0 0 7 ,   Q U A L I T A T I V E   S O C I O L O G ,   V 3 0 ,   P 2 9 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 1 3 3 - 0 0 7 - 9 0 5 7 - x ;   S u r i   S ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 6 8 3 6 ;   T a b a r   L ,   2 0 0 3 ,   L A N C E T ,   V 3 6 1 ,   P 1 4 0 5 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 0 - 6 7 3 6 ( 0 3 ) 1 3 1 4 3 - 1 ;   T V E R S K Y   A ,   1 9 7 4 ,   S C I E N C E ,   V 1 8 5 ,   P 1 1 2 4 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 8 5 . 4 1 5 7 . 1 1 2 4 ;   V e n a b l e s   W N ,   1 9 9 7 ,   M O D E R N   A P P L   S T A T   S   P ;   W u   S ,   2 0 0 3 ,   J   H E A L T H   E C O N ,   V 2 2 ,   P 6 7 5 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 6 2 9 6 ( 0 3 ) 0 0 0 4 2 - 0 	 4 1 	 0 	 0 	 P U B L I C   L I B R A R Y   S C I E N C E 	 S A N   F R A N C I S C O 	 1 1 6 0   B A T T E R Y   S T R E E T ,   S T E   1 0 0 ,   S A N   F R A N C I S C O ,   C A   9 4 1 1 1   U S A 	 1 9 3 2 - 6 2 0 3 	 	 	 P L O S   O N E 	 P L o S   O n e 	 J A N   2 2 	 2 0 1 4 	 9 	 1 	 	 	 	 	 	 	 e 8 5 5 0 8 	 1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 8 5 5 0 8 	 	 1 0 	 	 	 2 9 7 V L 	 W O S : 0 0 0 3 3 0 2 8 3 1 0 0 0 4 3 	 2 4 4 6 5 5 8 0 	 
 J 	 D u ,   L ;   R o b l e s ,   A J ;   K i n g ,   J B ;   P o w e l l ,   D R ;   M i l l e r ,   A N ;   M o o b e r r y ,   S L ;   C i c h e w i c z ,   R H 	 	 	 	 D u ,   L i n ;   R o b l e s ,   A n d r e w   J . ;   K i n g ,   J a r r o d   B . ;   P o w e l l ,   D o u g l a s   R . ;   M i l l e r ,   A n d r e w   N . ;   M o o b e r r y ,   S u s a n   L . ;   C i c h e w i c z ,   R o b e r t   H . 	 	 	 C r o w d s o u r c i n g   N a t u r a l   P r o d u c t s   D i s c o v e r y   t o   A c c e s s   U n c h a r t e d   D i m e n s i o n s   o f   F u n g a l   M e t a b o l i t e   D i v e r s i t y 	 A N G E W A N D T E   C H E M I E - I N T E R N A T I O N A L   E D I T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 a n t i t u m o r   a g e n t s ;   b i o s y n t h e s i s ;   c r o w d s o u r c i n g ;   d r u g   d i s c o v e r y ;   e p i g e n e t i c s 	 A N T I T U M O R ;   A C I D 	 A   f u n d a m e n t a l   c o m p o n e n t   f o r   s u c c e s s   i n   d r u g   d i s c o v e r y   i s   t h e   a b i l i t y   t o   a s s e m b l e   a n d   s c r e e n   c o m p o u n d s   t h a t   e n c o m p a s s   a   b r o a d   s w a t h   o f   b i o l o g i c a l l y   r e l e v a n t   c h e m i c a l - d i v e r s i t y   s p a c e .   A c h i e v i n g   t h i s   g o a l   i n   a   n a t u r a l - p r o d u c t s - b a s e d   s e t t i n g   r e q u i r e s   a c c e s s   t o   a   w i d e   r a n g e   o f   b i o l o g i c a l l y   d i v e r s e   s p e c i m e n s .   F o r   t h i s   r e a s o n ,   w e   i n t r o d u c e d   a   c r o w d s o u r c i n g   p r o g r a m   i n   w h i c h   c i t i z e n   s c i e n t i s t s   f u r n i s h   s o i l   s a m p l e s   f r o m   w h i c h   n e w   m i c r o b i a l   i s o l a t e s   a r e   p r o c u r e d .   I l l u s t r a t i n g   t h e   s t r e n g t h   o f   t h i s   a p p r o a c h ,   w e   o b t a i n e d   a   u n i q u e   f u n g a l   m e t a b o l i t e ,   m a x i m i s c i n ,   f r o m   a   c r o w d s o u r c e d   A l a s k a n   s o i l   s a m p l e .   M a x i m i s c i n ,   w h i c h   e x h i b i t s   a   p u t a t i v e   c o m b i n a t i o n   o f   p o l y k e t i d e   s y n t h a s e   ( P K S ) ,   n o n - r i b o s o m a l   p e p t i d e   s y n t h e t a s e   ( N R P S ) ,   a n d   s h i k i m a t e   p a t h w a y   c o m p o n e n t s ,   w a s   i d e n t i f i e d   a s   a n   i n h i b i t o r   o f   U A C C - 6 2   m e l a n o m a   c e l l s   ( L C 5 0 = 0 . 9 3   m u   M ) .   T h e   m e t a b o l i t e   a l s o   e x h i b i t e d   e f f i c a c y   i n   a   x e n o g r a f t   m o u s e   m o d e l .   T h e s e   r e s u l t s   u n d e r s c o r e   t h e   v a l u e   o f   b u i l d i n g   c o o p e r a t i v e   r e l a t i o n s h i p s   b e t w e e n   r e s e a r c h   t e a m s   a n d   c i t i z e n   s c i e n t i s t s   t o   e n r i c h   d r u g   d i s c o v e r y   e f f o r t s . 	 [ D u ,   L i n ;   K i n g ,   J a r r o d   B . ;   P o w e l l ,   D o u g l a s   R . ;   C i c h e w i c z ,   R o b e r t   H . ]   U n i v   O k l a h o m a ,   S t e p h e n s o n   L i f e   S c i   R e s   C t r ,   D e p t   C h e m   &   B i o c h e m ,   N o r m a n ,   O K   7 3 0 1 9   U S A ;   [ R o b l e s ,   A n d r e w   J . ;   M o o b e r r y ,   S u s a n   L . ]   U n i v   T e x a s   H l t h   S c i   C t r   S a n   A n t o n i o ,   D e p t   P h a r m a c o l ,   S a n   A n t o n i o ,   T X   7 8 2 2 9   U S A ;   [ M i l l e r ,   A n d r e w   N . ]   U n i v   I l l i n o i s ,   I l l i n o i s   N a t   H i s t   S u r v e y ,   C h i c a g o ,   I L   6 0 6 8 0   U S A ;   [ D u ,   L i n ;   K i n g ,   J a r r o d   B . ;   C i c h e w i c z ,   R o b e r t   H . ]   U n i v   O k l a h o m a ,   N a t   P r o d   D i s c o v e r y   G r p ,   N o r m a n ,   O K   7 3 0 1 9   U S A ;   [ D u ,   L i n ;   K i n g ,   J a r r o d   B . ;   C i c h e w i c z ,   R o b e r t   H . ]   U n i v   O k l a h o m a ,   I n s t   N a t   P r o d   A p p l i c a t   &   R e s   T e c h n o l ,   N o r m a n ,   O K   7 3 0 1 9   U S A ;   [ M o o b e r r y ,   S u s a n   L . ]   U n i v   T e x a s   H l t h   S c i   C t r   S a n   A n t o n i o ,   C a n c   T h e r a p y   &   R e s   C t r ,   S a n   A n t o n i o ,   T X   7 8 2 2 9   U S A ;   [ M o o b e r r y ,   S u s a n   L . ]   U n i v   T e x a s   H l t h   S c i   C t r   S a n   A n t o n i o ,   D e p t   M e d ,   S a n   A n t o n i o ,   T X   7 8 2 2 9   U S A 	 M o o b e r r y ,   S L   ( r e p r i n t   a u t h o r ) ,   U n i v   T e x a s   H l t h   S c i   C t r   S a n   A n t o n i o ,   D e p t   P h a r m a c o l ,   7 7 0 3   F l o y d   C u r l   D r ,   S a n   A n t o n i o ,   T X   7 8 2 2 9   U S A . 	 m o o b e r r y @ u t h s c s a . e d u ;   r h c i c h e w i c z @ o u . e d u 	 	 	 N a t i o n a l   I n s t i t u t e   o f   G e n e r a l   M e d i c a l   S c i e n c e s   o f   t h e   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   [ R O 1 G M 0 9 2 2 1 9 ] ;   P r e s i d e n t ' s   C o u n c i l   E x c e l l e n c e   A w a r d ;   C T R C   P 3 0   C a n c e r   C e n t e r   S u p p o r t   G r a n t   [ C A 0 5 4 1 7 4 ] ;   F l o w   C y t o m e t r y   S h a r e d   R e s o u r c e ;   N S F   [ C H E - 0 1 3 0 8 3 5 ] ;   O f f i c e   o f   t h e   V i c e   P r e s i d e n t   f o r   R e s e a r c h ,   U n i v e r s i t y   o f   O k l a h o m a ,   N o r m a n   C a m p u s ;   S h i m a d z u   E q u i p m e n t   G r a n t   P r o g r a m 	 R e s e a r c h   r e p o r t e d   i n   t h i s   p u b l i c a t i o n   w a s   s u p p o r t e d   b y   t h e   N a t i o n a l   I n s t i t u t e   o f   G e n e r a l   M e d i c a l   S c i e n c e s   o f   t h e   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   R O 1 G M 0 9 2 2 1 9   ( R .   H .   C . ) ,   t h e   P r e s i d e n t ' s   C o u n c i l   E x c e l l e n c e   A w a r d   ( S .   L .   M . ) ,   a n d   w i t h   s u p p o r t   f r o m   t h e   C T R C   P 3 0   C a n c e r   C e n t e r   S u p p o r t   G r a n t   ( C A 0 5 4 1 7 4 )   a n d   t h e   F l o w   C y t o m e t r y   S h a r e d   R e s o u r c e   ( S .   L .   M . ) .   T h e   X - r a y   d i f f r a c t o m e t e r   w a s   p u r c h a s e d   t h r o u g h   a   g r a n t   f r o m   t h e   N S F   ( C H E - 0 1 3 0 8 3 5 ) .   T h e   L C - M S   i n s t r u m e n t   u s e d   f o r   t h i s   p r o j e c t   w a s   p r o v i d e d   i n   p a r t   b y   a   C h a l l e n g e   G r a n t   f r o m   t h e   O f f i c e   o f   t h e   V i c e   P r e s i d e n t   f o r   R e s e a r c h ,   U n i v e r s i t y   o f   O k l a h o m a ,   N o r m a n   C a m p u s   a n d   a n   a w a r d   t h r o u g h   t h e   S h i m a d z u   E q u i p m e n t   G r a n t   P r o g r a m   ( R .   H .   C . ) .   W e   g r a t e f u l l y   a c k n o w l e d g e   M s .   A .   R e y o r   f o r   s u p p l y i n g   t h e   s o i l   s a m p l e   u s e d   i n   t h i s   s t u d y . 	 A r m e s t o   N ,   2 0 0 6 ,   T E T R A H E D R O N ,   V 6 2 ,   P 5 4 0 1 ,   D O I   1 0 . 1 0 1 6 / j . t e t . 2 0 0 6 . 0 3 . 0 7 4 ;   B E N T L E Y   R ,   1 9 9 0 ,   C R I T   R E V   B I O C H E M   M O L ,   V 2 5 ,   P 3 0 7 ,   D O I   1 0 . 3 1 0 9 / 1 0 4 0 9 2 3 9 0 0 9 0 9 0 6 1 5 ;   B o e t t g e r   D ,   2 0 1 3 ,   C H E M B I O C H E M ,   V 1 4 ,   P 2 8 ,   D O I   1 0 . 1 0 0 2 / c b i c . 2 0 1 2 0 0 6 2 4 ;   B o y d   M .   R . ,   1 9 9 2 ,   C Y T O T O X I C   A N T I C A N C E R ,   P 1 1 3 4 ;   C i c h e w i c z   R H ,   2 0 0 5 ,   B I O O R G A N   M E D   C H E M ,   V 1 3 ,   P 5 6 0 0 ,   D O I   1 0 . 1 0 1 6 / j . b m c . 2 0 0 5 . 0 6 . 0 2 0 ;   D u   L ,   2 0 1 2 ,   J   N A T   P R O D ,   V 7 5 ,   P 1 8 1 9 ,   D O I   1 0 . 1 0 2 1 / n p 3 0 0 4 7 3 h ;   E n d o   A ,   2 0 1 0 ,   P   J P N   A C A D   B - P H Y S ,   V 8 6 ,   P 4 8 4 ,   D O I   1 0 . 2 1 8 3 / p j a b . 8 6 . 4 8 4 ;   F r e e d m a n   T B ,   2 0 0 5 ,   H E L V   C H I M   A C T A ,   V 8 8 ,   P 2 3 0 2 ,   D O I   1 0 . 1 0 0 2 / h l c a . 2 0 0 5 9 0 1 6 5 ;   G u r a   T r i s h a ,   2 0 1 3 ,   N a t u r e ,   V 4 9 6 ,   P 2 5 9 ;   H a w k s w o r t h   D L ,   2 0 0 4 ,   S T U D   M Y C O L ,   P 9 ;   I s a k a   M ,   2 0 0 1 ,   J   O R G   C H E M ,   V 6 6 ,   P 4 8 0 3 ,   D O I   1 0 . 1 0 2 1 / j o 0 1 0 0 9 0 6 ;   K a r d o s   N ,   2 0 1 1 ,   A P P L   M I C R O B I O L   B I O T ,   V 9 2 ,   P 6 7 7 ,   D O I   1 0 . 1 0 0 7 / s 0 0 2 5 3 - 0 1 1 - 3 5 8 7 - 6 ;   K a r t s o n i s   N A ,   2 0 0 3 ,   D R U G   R E S I S T   U P D A T E ,   V 6 ,   P 1 9 7 ,   D O I   1 0 . 1 0 1 6 / S 1 3 6 8 - 7 6 4 6 ( 0 3 ) 0 0 0 6 4 - 5 ;   L E E   M D ,   1 9 8 9 ,   J   A N T I B I O T ,   V 4 2 ,   P 1 0 7 0 ;   L i n t o t t   C ,   2 0 1 1 ,   M O N   N O T   R   A S T R O N   S O C ,   V 4 1 0 ,   P 1 6 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 1 0 . 1 7 4 3 2 . x ;   M e r c h a n t   R M ,   2 0 1 3 ,   C I R C - C A R D I O V A S C   Q U A L ,   V 6 ,   P 2 2 9 ,   D O I   1 0 . 1 1 6 1 / C I R C O U T C O M E S . 1 1 3 . 0 0 0 1 4 0 ;   M o m i y a m a   N ,   2 0 0 3 ,   J   A M   C H E M   S O C ,   V 1 2 5 ,   P 6 0 3 8 ,   D O I   1 0 . 1 0 2 1 / j a 0 2 9 6 7 0 2 ;   N o b i l i   S ,   2 0 1 2 ,   M E D   R E S   R E V ,   V 3 2 ,   P 1 2 2 0 ,   D O I   1 0 . 1 0 0 2 / m e d . 2 0 2 3 9 ;   R a t e b   M E ,   2 0 1 1 ,   N A T   P R O D   R E P ,   V 2 8 ,   P 2 9 0 ,   D O I   1 0 . 1 0 3 9 / c 0 n p 0 0 0 6 1 b ;   R e d d y   Y S ,   2 0 1 2 ,   T E T R A H E D R O N   L E T T ,   V 5 3 ,   P 1 3 2 ,   D O I   1 0 . 1 0 1 6 / j . t e t l e t . 2 0 1 1 . 1 0 . 1 3 5 ;   S a d a v a   D ,   2 0 0 2 ,   J   L I P O S O M E   R E S ,   V 1 2 ,   P 3 0 1 ,   D O I   1 0 . 1 0 8 1 / L P R - 1 2 0 0 1 6 1 9 6 ;   S t a d l e r   M ,   2 0 0 8 ,   M Y C O L   R E S ,   V 1 1 2 ,   P 1 2 7 ,   D O I   1 0 . 1 0 1 6 / j . m y c r e s . 2 0 0 7 . 1 2 . 0 0 2 ;   T a k a s h i   N . ,   2 0 0 7 ,   T A K A S H I   N ,   P a t e n t   N o .   J P   2 0 0 7 1 5 3 8 4 0   A   2 0 0 7 0 6 2 1 ;   T E S H I M A   Y ,   1 9 9 1 ,   J   A N T I B I O T ,   V 4 4 ,   P 6 8 5 ;   U s a m i   Y ,   2 0 0 7 ,   S Y N T H E S I S - S T U T T G A R T ,   P 3 2 1 9 ,   D O I   1 0 . 1 0 5 5 / s - 2 0 0 7 - 9 9 0 7 9 8 ;   U s a m i   Y ,   2 0 0 9 ,   O R G   L E T T ,   V 1 1 ,   P 2 6 9 9 ,   D O I   1 0 . 1 0 2 1 / o l 9 0 0 8 1 8 8 ;   W a n g   L W ,   2 0 1 1 ,   M I N I - R E V   M E D   C H E M ,   V 1 1 ,   P 1 0 5 6 ;   W a n g   X R ,   2 0 1 2 ,   J   N A T   P R O D ,   V 7 5 ,   P 7 0 7 ,   D O I   1 0 . 1 0 2 1 / n p 2 0 0 9 9 9 4 ;   Y a m a d a   T ,   2 0 0 7 ,   O R G   B I O M O L   C H E M ,   V 5 ,   P 3 9 7 9 ,   D O I   1 0 . 1 0 3 9 / b 7 1 3 0 6 0 k 	 2 9 	 2 	 2 	 W I L E Y - V   C   H   V E R L A G   G M B H 	 W E I N H E I M 	 B O S C H S T R A S S E   1 2 ,   D - 6 9 4 6 9   W E I N H E I M ,   G E R M A N Y 	 1 4 3 3 - 7 8 5 1 	 1 5 2 1 - 3 7 7 3 	 	 A N G E W   C H E M   I N T   E D I T 	 A n g e w .   C h e m . - I n t .   E d i t . 	 J A N   1 3 	 2 0 1 4 	 5 3 	 3 	 	 	 	 	 8 0 4 	 8 0 9 	 	 1 0 . 1 0 0 2 / a n i e . 2 0 1 3 0 6 5 4 9 	 	 6 	 C h e m i s t r y ,   M u l t i d i s c i p l i n a r y 	 C h e m i s t r y 	 A A 3 H K 	 W O S : 0 0 0 3 3 0 9 8 3 3 0 0 0 2 9 	 2 4 2 8 5 6 3 7 	 
 J 	 d e   L a n g e ,   C 	 	 	 	 d e   L a n g e ,   C a t h e r i n e 	 	 	 W h e n   c r o w d s o u r c i n g   m e e t s   l i f e l o g g i n g ,   m a g i c   h a p p e n s 	 N E W   S C I E N T I S T 	 	 	 E n g l i s h 	 N e w s   I t e m 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 R E E D   B U S I N E S S   I N F O R M A T I O N   L T D 	 S U T T O N 	 Q U A D R A N T   H O U S E   T H E   Q U A D R A N T ,   S U T T O N   S M 2   5 A S ,   S U R R E Y ,   E N G L A N D 	 0 2 6 2 - 4 0 7 9 	 	 	 N E W   S C I 	 N e w   S c i . 	 J A N   1 1 	 2 0 1 4 	 2 2 1 	 2 9 5 1 	 	 	 	 	 2 2 	 2 2 	 	 	 	 1 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 2 9 3 H D 	 W O S : 0 0 0 3 2 9 9 6 1 1 0 0 0 1 6 	 	 
 J 	 B o u g h z a l a ,   I ;   d e   V r e e d e ,   T ;   N g u y e n ,   C ;   d e   V r e e d e ,   G J 	 	 S p r a g u e ,   R H 	 	 B o u g h z a l a ,   I m e d ;   d e   V r e e d e ,   T r i p a r n a ;   C u o n g   N g u y e n ;   d e   V r e e d e ,   G e r t - J a n 	 	 	 T o w a r d s   a   M a t u r i t y   M o d e l   f o r   t h e   A s s e s s m e n t   o f   I d e a t i o n   i n   C r o w d s o u r c i n g   P r o j e c t s 	 2 0 1 4   4 7 T H   H A W A I I   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S Y S T E M   S C I E N C E S   ( H I C S S ) 	 P r o c e e d i n g s   o f   t h e   A n n u a l   H a w a i i   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m   S c i e n c e s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 7 t h   A n n u a l   H a w a i i   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m   S c i e n c e s 	 J A N   0 6 - 0 9 ,   2 0 1 4 	 W a i k o l o a ,   H I 	 U n i v   H a w a i i ,   S h i d l e r   C o l l   B u s i n e s s ,   I E E E   C o m p   S o c 	 	 	 I N F O R M A T I O N - S Y S T E M S ;   P R O D U C T   D E V E L O P M E N T ;   Q U A L I T Y 	 S o c i a l   m e d i a   t e c h n o l o g y   h a s   e n a b l e d   v i r t u a l   c o l l a b o r a t i v e   e n v i r o n m e n t s   s u c h   t h a t   p e o p l e   c a n   a c t i v e l y   i n t e r a c t ,   s h a r e   k n o w l e d g e ,   c o o r d i n a t e   a c t i v i t i e s ,   s o l v e   p r o b l e m s   a n d   c o - c r e a t e   v a l u e .   O r g a n i z a t i o n s   h a v e   b e g u n   t o   l e v e r a g e   a p p r o a c h e s   a n d   t e c h n o l o g i e s   t o   i n v o l v e   n u m e r o u s   p e o p l e   f r o m   o u t s i d e   t h e i r   b o u n d a r i e s   t o   p e r f o r m   o r g a n i z a t i o n a l   t a s k s .   C r o w d s o u r c i n g   i s   a   c o l l a b o r a t i o n   m o d e l   e n a b l e d   b y   p e o p l e - c e n t r i c   w e b   t e c h n o l o g i e s   t o   s o l v e   i n d i v i d u a l ,   o r g a n i z a t i o n a l ,   a n d   s o c i e t a l   p r o b l e m s   u s i n g   a   d y n a m i c a l l y   f o r m e d   c r o w d   o f   p e o p l e   w h o   r e s p o n d   t o   a n   o p e n   c a l l   f o r   p a r t i c i p a t i o n .   D e s p i t e   t h e   s u c c e s s   a n d   p o p u l a r i t y   o f   t h i s   p h e n o m e n o n ,   t h e r e   a p p e a r s   t o   b e   a   l a c k   o f   g u i d a n c e   o n   h o w   t o   o r g a n i z e   t h e   i d e a t i o n   p r o c e s s e s   i n   c r o w d s o u r c i n g .   T o   a d d r e s s   t h i s   n e e d ,   w e   p r o p o s e   a   C r o w d s o u r c i n g   I d e a t i o n   M a t u r i t y   A s s e s s m e n t   M o d e l   ( C I M A M ) .   T h e   C I M A M   i s   i n t e n d e d   t o   b e   s u f f i c i e n t l y   g e n e r i c   t o   b e   a p p l i e d   t o   d i f f e r e n t   t y p e s   o f   c r o w d s o u r c i n g   i n i t i a t i v e s / p r o j e c t s .   I t   c a n   b e   u s e d   b y   e x t e r n a l   a s s e s s o r s   o r   b y   c r o w d s o u r c i n g   o r g a n i z e r s   t h e m s e l v e s   f o r   s e l f - a s s e s s m e n t s .   C I M A M   w a s   d e v e l o p e d   t h r o u g h   a   l i t e r a t u r e   r e v i e w   a n d   b u i l t   o n   t h e   c o n s t r u c t s   o f   P e d e r s e n   e t   a l .   [ 2 2 ]   m o d e l .   T h i s   p a p e r   c o n t r i b u t e s   t o   r e s e a r c h   b y   e x a m i n i n g   t h e   v a r i o u s   f a c t o r s   i n f l u e n c i n g   c r o w d   e n g a g e m e n t   a n d   p r o d u c t i v i t y . 	 [ B o u g h z a l a ,   I m e d ]   T e l e c o m   E c o l e   M a n a g e m e n t ,   I n s t   M i n e s   T e l e c o m ,   P a r i s ,   F r a n c e 	 B o u g h z a l a ,   I   ( r e p r i n t   a u t h o r ) ,   T e l e c o m   E c o l e   M a n a g e m e n t ,   I n s t   M i n e s   T e l e c o m ,   P a r i s ,   F r a n c e . 	 i m e d . b o u g h z a l a @ t e l e c o m - e m . e u ;   t d e v r e e d e @ u n o m a h a . e d u ;   c n g u y e n @ u n o m a h a . e d u ;   g d e v r e e d e @ u n o m a h a . e d u 	 	 	 	 	 B o j i n   N . ,   2 0 1 1 ,   B U S   I N F   R E V ,   V 2 8 ,   P 4 1 ;   B o m m e r t   B . ,   2 0 1 0 ,   I N T   P U B L I C   M A N A G   J ,   V 1 1 ,   P 1 5 ;   B o n a b e a u   E . ,   2 0 0 9 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 4 4 ;   B o u g h z a l a   I . ,   2 0 1 2 ,   P   4 5   H A W   I N T   C   S Y S T ,   P 3 0 6 ;   B o u g h z a l a   I . ,   2 0 1 1 ,   P A C   A S   C   I N F   S Y S T   B R ;   B o u g h z a l a   I . ,   2 0 1 1 ,   P   I N T   C   K N O W L   M A N   I N ;   B r a b h a m   D . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ;   B r a b h a m   D C ,   2 0 0 9 ,   P L A N   T H E O R ,   V 8 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 9 1 0 4 8 2 4 ;   C h i e s a   V ,   1 9 9 6 ,   J   P R O D   I N N O V A T   M A N A G ,   V 1 3 ,   P 1 0 5 ,   D O I   1 0 . 1 0 1 6 / 0 7 3 7 - 6 7 8 2 ( 9 5 ) 0 0 1 0 9 - 3 ;   C o l e m a n   D . ,   2 0 0 8 ,   C O L L A B O R A T I O N   2   0   T E ;   C r o s b y   P . B . ,   1 9 7 9 ,   Q U A L I T Y   I S   F R E E ;   D o o l e y   K . ,   2 0 0 1 ,   R E S   E N G   D E S ,   V 1 3 ,   P 3 0 ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F r a s e r   P . ,   2 0 0 1 ,   8   I N T   P R O D   D E V   M A N   C ;   F r a s e r   P . ,   2 0 0 2 ,   I E E E   I N T   E N G   M A N   C   C ;   F r a s e r   P ,   2 0 0 3 ,   P   I   M E C H   E N G   B - J   E N G ,   V 2 1 7 ,   P 1 4 9 9 ,   D O I   1 0 . 1 2 4 3 / 0 9 5 4 4 0 5 0 3 7 7 1 9 0 9 8 9 0 ;   G o n g l a   P ,   2 0 0 1 ,   I B M   S Y S T   J ,   V 4 0 ,   P 8 4 2 ;   G r e g o r   S ,   2 0 0 6 ,   M I S   Q U A R T ,   V 3 0 ,   P 6 1 1 ;   G u i d o   J . ,   2 0 0 9 ,   H A R V A R D   B U S   R E V ,   V 8 7 ,   P 4 3 ;   H a r t e r   D E ,   2 0 0 0 ,   M A N A G E   S C I ,   V 4 6 ,   P 4 5 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 6 . 4 . 4 5 1 . 1 2 0 5 6 ;   H a y t h o r n t h w a i t e   C . ,   2 0 0 9 ,   P   4 2   H I C S S ;   H e e r   J ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 0 3 ;   H e r b s l e b   J ,   1 9 9 7 ,   C O M M U N   A C M ,   V 4 0 ,   P 3 0 ,   D O I   1 0 . 1 1 4 5 / 2 5 5 6 5 6 . 2 5 5 6 9 2 ;   H e v n e r   A R ,   2 0 0 4 ,   M I S   Q U A R T ,   V 2 8 ,   P 7 5 ;   H o w e   J . ,   2 0 0 6 ,   R I S E   C R O W D S O U R C I N G   D ,   V 1 4 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H s i e h   P J ,   2 0 0 9 ,   E X P E R T   S Y S T   A P P L ,   V 3 6 ,   P 4 0 8 7 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 0 8 . 0 3 . 0 0 5 ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   L e e   J ,   2 0 1 0 ,   E X P E R T   S Y S T   A P P L ,   V 3 7 ,   P 2 6 7 0 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 0 9 . 0 8 . 0 1 1 ;   L u f t m a n   J ,   2 0 0 0 ,   C O M M U N I C A T I O N S   A I S ,   V 4 ,   P 1 ;   M a c b e t h   D . ,   1 9 9 4 ,   P A R T N E R S H I P   S O U R C I N G ;   M a l o n e   T .   W . ,   2 0 0 9 0 0 1   M I T   C T R   C O L L ;   M c G r a t h   M .   E . ,   1 9 9 6 ,   S E T T I N G   P A C E   P R O D U C T ;   O h   O . ,   2 0 1 2 ,   P   G R O U P   D E C   N E G   2 0 1 2 ;   P a u l k   M . ,   1 9 9 3 ,   C M U S E I 9 3 T R 0 2 4 E S C T R 9 3 ;   P e d e r s e n   J . ,   2 0 1 3 ,   P r o c e e d i n g s   o f   t h e   2 0 1 3   4 6 t h   H a w a i i   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m   S c i e n c e s   ( H I C S S   2 0 1 3 ) ,   D O I   1 0 . 1 1 0 9 / H I C S S . 2 0 1 3 . 1 4 3 ;   S a k a m o t o   Y . ,   2 0 1 1 ,   P   I C I S   2 0 1 1   S H A N G H   C ;   S a n d e r   P C ,   2 0 0 0 ,   I N T   J   P R O D   E C O N ,   V 6 7 ,   P 3 7 ,   D O I   1 0 . 1 0 1 6 / S 0 9 2 5 - 5 2 7 3 ( 0 0 ) 0 0 0 0 8 - 6 ;   S m i t h   J . ,   1 9 9 4 ,   C O L L E C T I V E   I N T E L L I G E ;   S U R O W I E C K I   J A M E S ,   2 0 0 4 ,   W I S D O M   C R O W D S ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   Y u   L . ,   2 0 1 1 ,   P   I C I S   2 0 1 1   S H A N G H   C 	 4 2 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 6 0 - 3 4 2 5 	 	 9 7 8 - 1 - 4 7 9 9 - 2 5 0 4 - 9 	 P   A N N   H I C S S 	 	 	 2 0 1 4 	 	 	 	 	 	 	 4 8 3 	 4 9 0 	 	 1 0 . 1 1 0 9 / H I C S S . 2 0 1 4 . 6 7 	 	 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 5 F W 	 W O S : 0 0 0 3 4 3 8 0 6 6 0 0 0 6 0 	 	 
 J 	 F i c h m a n ,   P ;   H a r a ,   N ;   R o s e n b a u m ,   H 	 	 S p r a g u e ,   R H 	 	 F i c h m a n ,   P n i n a ;   H a r a ,   N o r i k o ;   R o s e n b a u m ,   H o w a r d 	 	 	 I n t r o d u c t i o n   t o   C r o w d s o u r c i n g   C o n t e n t   P r o d u c t i o n   a n d   O n l i n e   K n o w l e d g e   R e p o s i t o r i e s   M i n i t r a c k 	 2 0 1 4   4 7 T H   H A W A I I   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S Y S T E M   S C I E N C E S   ( H I C S S ) 	 P r o c e e d i n g s   o f   t h e   A n n u a l   H a w a i i   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m   S c i e n c e s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 7 t h   A n n u a l   H a w a i i   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m   S c i e n c e s 	 J A N   0 6 - 0 9 ,   2 0 1 4 	 W a i k o l o a ,   H I 	 U n i v   H a w a i i ,   S h i d l e r   C o l l   B u s i n e s s ,   I E E E   C o m p   S o c 	 	 	 	 	 [ F i c h m a n ,   P n i n a ;   H a r a ,   N o r i k o ;   R o s e n b a u m ,   H o w a r d ]   I n d i a n a   U n i v ,   S c h   I n f o r m a t   &   C o m p ,   B l o o m i n g t o n ,   I N   4 7 4 0 5   U S A 	 F i c h m a n ,   P   ( r e p r i n t   a u t h o r ) ,   I n d i a n a   U n i v ,   S c h   I n f o r m a t   &   C o m p ,   B l o o m i n g t o n ,   I N   4 7 4 0 5   U S A . 	 f i c h m a n @ i n d i a n a . e d u ;   n h a r a @ i n d i a n a . e d u ;   h r o s e n b a @ i n d i a n a . e d u 	 	 	 	 	 	 0 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 6 0 - 3 4 2 5 	 	 9 7 8 - 1 - 4 7 9 9 - 2 5 0 4 - 9 	 P   A N N   H I C S S 	 	 	 2 0 1 4 	 	 	 	 	 	 	 1 3 8 5 	 1 3 8 5 	 	 1 0 . 1 1 0 9 / H I C S S . 2 0 1 4 . 1 7 9 	 	 1 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 5 F W 	 W O S : 0 0 0 3 4 3 8 0 6 6 0 1 0 6 1 	 	 
 J 	 T a j e d i n ,   H ;   N e v o ,   D 	 	 S p r a g u e ,   R H 	 	 T a j e d i n ,   H a m e d ;   N e v o ,   D o r i t 	 	 	 V a l u e - A d d i n g   I n t e r m e d i a r i e s   i n   S o f t w a r e   C r o w d s o u r c i n g 	 2 0 1 4   4 7 T H   H A W A I I   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S Y S T E M   S C I E N C E S   ( H I C S S ) 	 P r o c e e d i n g s   o f   t h e   A n n u a l   H a w a i i   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m   S c i e n c e s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 7 t h   A n n u a l   H a w a i i   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m   S c i e n c e s 	 J A N   0 6 - 0 9 ,   2 0 1 4 	 W a i k o l o a ,   H I 	 U n i v   H a w a i i ,   S h i d l e r   C o l l   B u s i n e s s ,   I E E E   C o m p   S o c 	 	 	 2 - S I D E D   M A R K E T S ;   I D E N T I T Y   C R I S I S ;   O P E N   I N N O V A T I O N ;   C O M P E T I T I O N ;   I D E A S ;   R E S O U R C E S ;   C O N T E S T S ;   I N T E R N E T ;   S Y S T E M S ;   D E S I G N 	 T h e   i n f o r m a t i o n   s y s t e m s   ( I S )   d i s c i p l i n e   h a s   b e e n   f e r t i l e   g r o u n d   f o r   r e s e a r c h   t h a t   d e l i n e a t e s   t h e   r o l e   o f   t e c h n o l o g y   i n   t r a n s f o r m i n g   o r g a n i z a t i o n s .   C r o w d s o u r c i n g   c o u n t s   a s   o n e   s u c h   p h e n o m e n o n ,   b u t   o u r   e m p i r i c a l   u n d e r s t a n d i n g   o f   i t   i s   n a s c e n t   a t   b e s t .   T h i s   p a p e r   p r e s e n t s   a   p r e l i m i n a r y   t h e o r e t i c a l   j u s t i f i c a t i o n   f o r   t h e   e m e r g e n c e   o f   c r o w d s o u r c i n g   i n t e r m e d i a r i e s   b y   d e s c r i b i n g   h o w   t h e y   a d d   v a l u e   t o   t h i s   n e w   s o u r c i n g   a r r a n g e m e n t .   W e   r e p o r t   f i n d i n g s   o f   a   c a s e   s t u d y   a s   i n i t i a l   e v i d e n c e   c o n f i r m i n g   t w o   s e t s   o f   v a l u e - a d d i n g   a c t i v i t i e s   t a k i n g   p l a c e   i n   a   c r o w d s o u r c i n g   p l a t f o r m :   t h o s e   a t   t h e   m a r k e t   ( m a c r o )   l e v e l   a n d   t h o s e   a t   t h e   t r a n s a c t i o n   ( m i c r o )   l e v e l . 	 [ T a j e d i n ,   H a m e d ]   S c h u l i c h   S c h   B u s i n e s s ,   T o r o n t o ,   O N ,   C a n a d a 	 T a j e d i n ,   H   ( r e p r i n t   a u t h o r ) ,   S c h u l i c h   S c h   B u s i n e s s ,   T o r o n t o ,   O N ,   C a n a d a . 	 H t a j e d i n 1 1 @ s c h u l i c h . y o r k u . c a ;   n e v o d @ r p i . e d u 	 	 	 	 	 A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   A g a r w a l   R ,   2 0 0 5 ,   M I S   Q U A R T ,   V 2 9 ,   P 3 8 1 ;   A r c h a k   N . ,   2 0 0 9 ,   I C I S ;   B a k o s   Y ,   1 9 9 8 ,   C O M M U N   A C M ,   V 4 1 ,   P 3 5 ,   D O I   1 0 . 1 1 4 5 / 2 8 0 3 2 4 . 2 8 0 3 3 0 ;   B A R N E Y   J ,   1 9 9 1 ,   J   M A N A G E ,   V 1 7 ,   P 9 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 9 2 0 6 3 9 1 0 1 7 0 0 1 0 8 ;   B e n b a s a t   I ,   2 0 0 3 ,   M I S   Q U A R T ,   V 2 7 ,   P 1 8 3 ;   B e n g t s s o n   M . ,   2 0 0 3 ,   D E V   M A R K E T I N G   S C I ,   V 2 6 ,   P 3 8 ;   B o n a b e a u   E ,   2 0 0 9 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 4 5 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   C a r m e l   E . ,   2 0 0 6 ,   I N F O R M   S Y S T E M S   O U T S O ,   P 6 3 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 3 4 8 7 7 - 1 _ 2 2 ;   C o o k   S ,   2 0 0 8 ,   H A R V A R D   B U S   R E V ,   V 8 6 ,   P 6 0 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   E I S E N H A R D T   K M ,   1 9 8 9 ,   A C A D   M A N A G E   R E V ,   V 1 4 ,   P 5 3 2 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 5 5 7 ;   E v a n s   D . D . S . ,   2 0 0 6 ,   I N V I S I B L E   E N G I N E S ;   G e l l m a n   R ,   1 9 9 6 ,   G O V   I N F O R M   Q ,   V 1 3 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / S 0 7 4 0 - 6 2 4 X ( 9 6 ) 9 0 0 0 2 - 7 ;   G r e e n g a r d   S . ,   2 0 1 1 ,   C O M M U N I C A T I O N S   A C M ,   V 5 4 ,   P 2 0 ;   H a y t h o r n t h w a i t e   C . ,   2 0 0 9 ,   C R O W D S   C O M M   L I G H T   H E ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H u s t o n   L ,   2 0 0 6 ,   H A R V A R D   B U S   R E V ,   V 8 4 ,   P 5 8 ;   H u t t e r   K ,   2 0 1 1 ,   C R E A T   I N N O V   M A N A G ,   V 2 0 ,   P 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 1 1 . 0 0 5 8 9 . x ;   J o u r e t   G . ,   2 0 0 9 ,   H A R V A R D   B U S I N E S S   R E V ;   K l i n g   R ,   2 0 0 3 ,   I N F O R M   S O C ,   V 1 9 ,   P 2 2 1 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 7 2 2 4 0 3 9 0 2 1 0 0 5 5 ;   K r a u t   R E ,   2 0 1 1 ,   B U I L D I N G   S U C C E S S F U L   O N L I N E   C O M M U N I T I E S :   E V I D E N C E - B A S E D   S O C I A L   D E S I G N ,   P 1 ;   L a k h a n i ,   2 0 1 0 ,   T O P C O D E R   A   D E V   S O F T W ,   P 6 1 0 ;   L E E   A S ,   1 9 8 9 ,   M I S   Q U A R T ,   V 1 3 ,   P 3 3 ,   D O I   1 0 . 2 3 0 7 / 2 4 8 6 9 8 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   M a h n k e   V ,   2 0 0 8 ,   J   I N F   T E C H N O L ,   V 2 3 ,   P 1 8 ,   D O I   1 0 . 1 0 5 7 / p a l g r a v e . j i t . 2 0 0 0 1 2 4 ;   M i l e s   M . ,   1 9 9 4 ,   Q U A L I T A T I V E   D A T A   A N A ;   M o r g a n   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 7 7 ;   N e v o   D . ,   2 0 1 3 ,   N E W   C A P A B I L I T I E S   C A N ;   N e v o   S ,   2 0 1 0 ,   M I S   Q U A R T ,   V 3 4 ,   P 1 6 3 ;   P e n i n   J u l i e n ,   2 0 1 1 ,   I n t e r n a t i o n a l   J o u r n a l   o f   I n n o v a t i o n   a n d   S u s t a i n a b l e   D e v e l o p m e n t ,   V 5 ;   P o e t z   M K ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x ;   P r o u l x   S ,   2 0 1 1 ,   N E W   R E V   H Y P E R M E D I A   M ,   V 1 7 ,   P 9 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 1 4 5 6 8 . 2 0 1 1 . 5 5 2 6 4 6 ;   R o c h e t   J C ,   2 0 0 6 ,   R A N D   J   E C O N ,   V 3 7 ,   P 6 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 5 6 - 2 1 7 1 . 2 0 0 6 . t b 0 0 0 3 6 . x ;   R o c h e t   J C ,   2 0 0 3 ,   J   E U R   E C O N   A S S O C ,   V 1 ,   D O I   1 0 . 1 1 6 2 / 1 5 4 2 4 7 6 0 3 3 2 2 4 9 3 2 1 2 ;   R o c h e t   J . - C . ,   2 0 0 4 ,   D E F I N I N G   2   S I D E D   M A R ;   R o t h   A E ,   2 0 0 8 ,   E C O N   J ,   V 1 1 8 ,   P 2 8 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 0 2 9 7 . 2 0 0 7 . 0 2 1 2 1 . x ;   R o t t m a n   J W ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 5 5 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 3 3 ;   R o t t m a n   J . W . ,   2 0 0 4 ,   M I S   Q   E X E C ,   V 3 ,   P 1 1 7 ;   R y s m a n   M ,   2 0 0 9 ,   J   E C O N   P E R S P E C T ,   V 2 3 ,   P 1 2 5 ,   D O I   1 0 . 1 2 5 7 / j e p . 2 3 . 3 . 1 2 5 ;   S i e g   J H ,   2 0 1 0 ,   R & D   M A N A G E ,   V 4 0 ,   P 2 8 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 1 0 . 0 0 5 9 6 . x ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   V E N K A T E S H   V ,   2 0 0 3 ,   U S E R   A C C E P T A N C E   I N F O ,   V 2 7 ,   P 4 2 5 ;   W e x l e r   M . N . ,   2 0 1 1 ,   I N T   J   S O C I O L O G Y   S O C I ,   V 3 1 ,   P 6 ,   D O I   D O I   1 0 . 1 1 0 8 / 0 1 4 4 3 3 3 1 1 1 1 1 0 4 7 7 9 ;   Y a n g   J . ,   2 0 0 8 ,   P   9   A C M   C   E L   C O M M   A C ;   Y i n   R .   K . ,   1 9 8 4 ,   C A S E   S T U D Y   R E S   D E S I G 	 4 8 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 6 0 - 3 4 2 5 	 	 9 7 8 - 1 - 4 7 9 9 - 2 5 0 4 - 9 	 P   A N N   H I C S S 	 	 	 2 0 1 4 	 	 	 	 	 	 	 1 3 9 6 	 1 4 0 5 	 	 1 0 . 1 1 0 9 / H I C S S . 2 0 1 4 . 1 8 1 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 5 F W 	 W O S : 0 0 0 3 4 3 8 0 6 6 0 1 0 6 3 	 	 
 J 	 M e r g e l ,   I ;   B r e t s c h n e i d e r ,   S I ;   L o u i s ,   C ;   S m i t h ,   J 	 	 S p r a g u e ,   R H 	 	 M e r g e l ,   I n e s ;   B r e t s c h n e i d e r ,   S t u a r t   I . ;   L o u i s ,   C l a u d i a ;   S m i t h ,   J a s o n 	 	 	 T h e   C h a l l e n g e s   o f   C h a l l e n g e .   G o v :   A d o p t i n g   P r i v a t e   S e c t o r   B u s i n e s s   I n n o v a t i o n s   i n   t h e   F e d e r a l   G o v e r n m e n t 	 2 0 1 4   4 7 T H   H A W A I I   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S Y S T E M   S C I E N C E S   ( H I C S S ) 	 P r o c e e d i n g s   o f   t h e   A n n u a l   H a w a i i   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m   S c i e n c e s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 7 t h   A n n u a l   H a w a i i   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m   S c i e n c e s 	 J A N   0 6 - 0 9 ,   2 0 1 4 	 W a i k o l o a ,   H I 	 U n i v   H a w a i i ,   S h i d l e r   C o l l   B u s i n e s s ,   I E E E   C o m p   S o c 	 	 	 	 A s   p a r t   o f   t h e   O p e n   G o v e r n m e n t   I n i t i a t i v e   i n   t h e   U .   S .   f e d e r a l   g o v e r n m e n t ,   t h e   W h i t e   H o u s e   h a s   i n t r o d u c e d   a   n e w   p o l i c y   i n s t r u m e n t   c a l l e d   " C h a l l e n g e s   a n d   P r i z e s " ,   i m p l e m e n t e d   a s   C h a l l e n g e .   g o v   t h a t   a l l o w s   f e d e r a l   d e p a r t m e n t s   t o   r u n   O p e n   I n n o v a t i o n   ( O I )   c o n t e s t s .   T h i s   i n i t i a t i v e   w a s   m o t i v a t e d   b y   s i m i l a r   O I   i n i t i a t i v e s   i n   t h e   p r i v a t e   s e c t o r   a n d   t o   e n h a n c e   i n n o v a t i v e n e s s   a n d   p e r f o r m a n c e   a m o n g   f e d e r a l   a g e n c i e s .   H e r e   w e   f i r s t   d e f i n e   t h e   u n d e r l y i n g   t h e o r e t i c a l   c o n c e p t s   o f   O I ,   c r o w d s o u r c i n g   a n d   c o n t e s t s   a n d   a p p l y   t h e m   t o   t h e   e x i s t i n g   t h e o r y   o f   p u b l i c n e s s   a n d   t h e   c r e a t i o n   o f   p u b l i c   g o o d s .   W e   t h e n   a n a l y z e   o v e r   2 0 0   c r o w d s o u r c i n g   c o n t e s t s   o n   C H A L L E N G E . G O V   a n d   c o n c l u d e   t h a t   f e d e r a l   d e p a r t m e n t s   a n d   a g e n c i e s   u s e   t h i s   p o l i c y   i n s t r u m e n t   f o r   f o u r   d i f f e r e n t   p u r p o s e :   a w a r e n e s s ,   s e r v i c e ,   k n o w l e d g e   a n d   t e c h n i c a l   s o l u t i o n s .   W e   c o n c l u d e   t h a t   C h a l l e n g e .   g o v   i s   c u r r e n t l y   u s e d   a s   a n   i n n o v a t i v e   f o r m a t   t o   i n f o r m   a n d   e d u c a t e   t h e   p u b l i c   a b o u t   p u b l i c   m a n a g e m e n t   p r o b l e m s   a n d   l e s s   f r e q u e n t l y   t o   s o l i c i t   c o m p l e x   t e c h n o l o g i c a l   s o l u t i o n s   f r o m   p r o b l e m   s o l v e r s . 	 [ M e r g e l ,   I n e s ;   B r e t s c h n e i d e r ,   S t u a r t   I . ;   L o u i s ,   C l a u d i a ;   S m i t h ,   J a s o n ]   S y r a c u s e   U n i v ,   S y r a c u s e ,   N Y   1 3 2 4 4   U S A 	 M e r g e l ,   I   ( r e p r i n t   a u t h o r ) ,   S y r a c u s e   U n i v ,   S y r a c u s e ,   N Y   1 3 2 4 4   U S A . 	 i a m e r g e l @ s y r . e d u ;   s i b r e t s c @ m a x w e l l . s y r . e d u ;   l o u i s . c l a u d i a @ g m a i l . c o m ;   J d s m i t 1 5 @ s y r . e d u 	 	 	 	 	 A L C H I A N   A A ,   1 9 7 2 ,   A M   E C O N   R E V ,   V 6 2 ,   P 7 7 7 ;   B o z e m a n   B . ,   1 9 8 7 ,   A L L   O R G   A R E   P U B L I C   B ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C h a k r a v o r t i   B ,   2 0 1 0 ,   J   P U B L I C   P O L I C Y   M A R K ,   V 2 9 ,   P 9 7 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C h e s b r o u g h   H ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 2 2 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 2 8 . x ;   C o l l m   A . ,   2 0 1 2 ,   I N T   P U B L I C   M A N A G   J ,   V 1 3 ,   P 1 ;   d e   T o c q u e v i l l e   A . ,   1 8 3 5 ,   D E M O C R A C Y   A M ;   D e l l ,   2 0 1 3 ,   I D E A S T O R M ;   F o r t e   A ,   2 0 1 3 ,   A M   B E H A V   S C I ,   V 5 7 ,   P 5 3 5 ,   D O I   1 0 . 1 1 7 7 / 0 0 0 2 7 6 4 2 1 2 4 6 9 3 6 2 ;   H a n s o n   W . ,   2 0 0 9 ,   S A N   J O S E   L A U N C H E S   W I ;   H o w e   J .   P . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E   O N L I N ,   V 1 4 ;   H u f f   A S ,   2 0 1 3 ,   L E A D I N G   O P E N   I N N O V A T I O N ,   P 1 ;   L a k h a n i   K .   R . ,   2 0 0 7 ,   I N N O V A T I O N S   T E C H N O L O ,   V 2 ,   P 9 7 ,   D O I   1 0 . 1 1 6 2 / i t g g . 2 0 0 7 . 2 . 3 . 9 7 ;   L e g o ,   2 0 1 3 ,   P R O J   G U I D   H O U S   R U L ;   M e r g e l   I . ,   2 0 1 1 ,   P A   T I M E S ,   V 3 4 ,   P 4 ;   M e r g e l   I . ,   2 0 1 1 ,   P A   T I M E S   A M   S O C   P U B L ,   V 3 4 ,   P 6 ;   M e r g e l   I . ,   2 0 1 1 ,   U S I N G   W I K I S   G O V T   G U I ;   N a d a u   K . ,   2 0 1 2 ,   T U R N S   S P I G I T   I N N O V A T ;   N e t F l i x . c o m ,   N E T F L   C O   T I M ;   R A I N E Y   H G ,   1 9 7 6 ,   P U B L I C   A D M I N   R E V ,   V 3 6 ,   P 2 3 3 ,   D O I   1 0 . 2 3 0 7 / 9 7 5 1 4 5 ;   S a m u e l s o n   P A ,   1 9 5 4 ,   R E V   E C O N   S T A T ,   V 3 6 ,   P 3 8 7 ,   D O I   1 0 . 2 3 0 7 / 1 9 2 5 8 9 5 ;   S c h w e i k   C M ,   2 0 1 1 ,   J   P U B L   A D M   R E S   T H E O R ,   V 2 1 ,   p I 1 7 5 ,   D O I   1 0 . 1 0 9 3 / j o p a r t / m u q 0 7 2 ;   [ T h e   W h i t e   H o u s e   O .   o .   M .   a .   B u d g e t ] ,   2 0 1 0 ,   G U I D A N C E   U S E   C H A L L E N ,   V M - 1 0 - 1 1 ;   V i l l a r r o e l   J A ,   2 0 1 3 ,   L E A D I N G   O P E N   I N N O V A T I O N ,   P 1 7 1 ;   V o n   H i p p e l   E . ,   1 9 8 8 ,   S O U R C E S   I N N O V A T I O I N ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   W h i t l a   P . ,   2 0 0 9 ,   C O N T   M A N A G E M E N T   R E S ,   V 5 ,   P 1 5 	 2 8 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 6 0 - 3 4 2 5 	 	 9 7 8 - 1 - 4 7 9 9 - 2 5 0 4 - 9 	 P   A N N   H I C S S 	 	 	 2 0 1 4 	 	 	 	 	 	 	 2 0 7 3 	 2 0 8 2 	 	 1 0 . 1 1 0 9 / H I C S S . 2 0 1 4 . 2 6 2 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 5 F W 	 W O S : 0 0 0 3 4 3 8 0 6 6 0 2 0 2 3 	 	 
 J 	 C h a t f i e l d ,   A T ;   B r a j a w i d a g d a ,   U 	 	 S p r a g u e ,   R H 	 	 C h a t f i e l d ,   A k e m i   T a k e o k a ;   B r a j a w i d a g d a ,   U u f 	 	 	 C r o w d s o u r c i n g   H a z a r d o u s   W e a t h e r   R e p o r t s   f r o m   C i t i z e n s   v i a   T w i t t e r s p h e r e   u n d e r   t h e   S h o r t   W a r n i n g   L e a d   T i m e s   o f   E F 5   I n t e n s i t y   T o r n a d o   C o n d i t i o n s 	 2 0 1 4   4 7 T H   H A W A I I   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S Y S T E M   S C I E N C E S   ( H I C S S ) 	 P r o c e e d i n g s   o f   t h e   A n n u a l   H a w a i i   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m   S c i e n c e s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 7 t h   A n n u a l   H a w a i i   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m   S c i e n c e s 	 J A N   0 6 - 0 9 ,   2 0 1 4 	 W a i k o l o a ,   H I 	 U n i v   H a w a i i ,   S h i d l e r   C o l l   B u s i n e s s ,   I E E E   C o m p   S o c 	 	 	 R A D A R 	 T h e   M a y   2 0   2 0 1 3   t o r n a d o   i n   O k l a h o m a   h a s   d e m o n s t r a t e d   t h e   s h o r t   w a r n i n g   l e a d   t i m e s   o f   E F 5   i n t e n s i t y   t o r n a d o e s ,   e v e n   w i t h   t h e   i n t e g r a t e d   N e x t   G e n e r a t i o n   W e a t h e r   S u r v e i l l a n c e   D o p p l e r   R a d a r   n e t w o r k ,   r e m a i n   a   c h a l l e n g e   b o t h   f o r   g o v e r n m e n t s   r e s p o n s i b l e   f o r   e a r l y   w a r n i n g s   a n d   c i t i z e n s   w h o   n e e d   t o   r e s p o n d   a p p r o p r i a t e l y .   A l t h o u g h   r e s e a r c h   o n   g o v e r n m e n t   u s e   o f   s o c i a l   m e d i a   f o r   a d a p t a b l e   d i s a s t e r   r e s p o n s e   i s   e m e r g i n g ,   l i t t l e   i s   k n o w n   a b o u t   s o c i a l   m e d i a - m e d i a t e d   e a r l y   t o r n a d o   w a r n i n g s   a n d   c r o w d s o u r c i n g   i n   t h e   e - g o v e r n m e n t   l i t e r a t u r e .   T h i s   r e s e a r c h ,   t h e r e f o r e ,   a i m s   t o   r e d u c e   t h i s   g a p   i n   t h e   l i t e r a t u r e   t h r o u g h   a   c a s e   s t u d y   o f   t h e   N a t i o n a l   W e a t h e r   S e r v i c e ' s   e x p e r i m e n t a l   u s e   o f   T w i t t e r   f o r   c r o w d s o u r c i n g   h a z a r d o u s   w e a t h e r   r e p o r t s   f r o m   c i t i z e n s   d u r i n g   a n d   i n   t h e   i m m e d i a t e   a f t e r m a t h   o f   t h e   M a y   2 0   t o r n a d o .   O u r   s o c i a l   n e t w o r k   a n a l y s i s   a n d   c o n t e n t   a n a l y s i s   r e s u l t s   f o u n d   e v i d e n c e   f o r   v a l u e   o f   t h e   # o k w x   T w i t t e r s p h e r e   t o   t i e   c l o s e l y   t h e   g o v e r n m e n t   a n d   v o l u n t e e r   c i t i z e n   t o r n a d o   w a t c h e r s   a n d   e n a b l e   m u l t i d i r e c t i o n a l   i n t e r a c t i v e   c o n v e r s a t i o n s   a n d   c r o w d s o u r c i n g . 	 [ C h a t f i e l d ,   A k e m i   T a k e o k a ;   B r a j a w i d a g d a ,   U u f ]   U n i v   W o l l o n g o n g ,   W o l l o n g o n g ,   N S W   2 5 2 2 ,   A u s t r a l i a 	 C h a t f i e l d ,   A T   ( r e p r i n t   a u t h o r ) ,   U n i v   W o l l o n g o n g ,   W o l l o n g o n g ,   N S W   2 5 2 2 ,   A u s t r a l i a . 	 a k e m i @ u o w . e d u . a u ;   u b 9 7 6 @ u o w m a i l . e d u . a u 	 	 	 	 	 A n d r a   D L ,   2 0 0 2 ,   W E A T H E R   F O R E C A S T ,   V 1 7 ,   P 5 5 9 ,   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 3 4 ( 2 0 0 2 ) 0 1 7 < 0 5 5 9 : W D M T R R > 2 . 0 . C O ; 2 ;   B a r n e s   L R ,   2 0 0 7 ,   W E A T H E R   F O R E C A S T ,   V 2 2 ,   P 1 1 4 0 ,   D O I   1 0 . 1 1 7 5 / W A F 1 0 3 1 . 1 ;   B i e r i n g e r   P ,   1 9 9 6 ,   W E A T H E R   F O R E C A S T ,   V 1 1 ,   P 4 7 ,   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 3 4 ( 1 9 9 6 ) 0 1 1 < 0 0 4 7 : A C O T W L > 2 . 0 . C O ; 2 ;   B o y d   D .   M . ,   2 0 0 7 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 3 ,   P 2 1 0 ,   D O I   [ 1 0 . 1 1 1 1 / j . 1 0 8 3 - 6 1 0 1 . 2 0 0 7 . 0 0 3 9 3 . x ,   D O I   1 0 . 1 1 1 1 / J . 1 0 8 3 - 6 1 0 1 . 2 0 0 7 . 0 0 3 9 3 . X ] ;   B r o t z g e   J ,   2 0 1 0 ,   W E A T H E R   F O R E C A S T ,   V 2 5 ,   P 1 5 9 ,   D O I   1 0 . 1 1 7 5 / 2 0 0 9 W A F 2 2 2 2 2 7 0 . 1 ;   C H A T F I E L D   A ,   2 0 1 0 ,   2 0 1 0   4 3   H A W   I N T   C   S Y ,   P 1 7 7 2 ;   C h a t f i e l d   A . T . ,   2 0 1 3 ,   G O V T   I N F O R M   I N   P R E S S ;   C h a t f i e l d   A . T . ,   2 0 1 2 ,   2 3   A U S T R   C   I N F   S Y S T ;   C h a t f i e l d   A . T . ,   2 0 1 3 ,   4 6   H A W   I N T   C   S Y S T   S C ;   D o s w e l l   I I I   C . A . ,   1 9 9 9 ,   W E A T H E R   F O R E C A S T ,   V 1 4 ,   P 5 4 4 ;   F o r t i e r   S . C . ,   2 0 0 8 ,   5   I N T   A S S   I N F   S Y S T   C ,   P 4 4 1 ;   G r o t h e   C ,   2 0 0 9 ,   S P A T   C O G N   C O M P U T ,   V 9 ,   P 1 9 5 ,   D O I   1 0 . 1 0 8 0 / 1 3 8 7 5 8 6 0 9 0 3 1 1 8 3 0 7 ;   I v a n o v   I ,   2 0 1 2 ,   M U L T I M E D   T O O L S   A P P L ,   V 5 6 ,   P 1 5 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 0 - 0 5 7 0 - 7 ;   M e i s s e n   U . ,   2 0 0 8 ,   5   I N T   A S S   I N F   S Y S T   C ,   P 4 3 1 ;   S c h o l l   H . J . ,   2 0 1 4 ,   I N T   J   P U B L   I N   P R E S S ,   V 1 ;   S i m m o n s   K M ,   2 0 0 5 ,   W E A T H E R   F O R E C A S T ,   V 2 0 ,   P 3 0 1 ,   D O I   1 0 . 1 1 7 5 / W A F 8 5 7 . 1 ;   S p e h e g e r   D A ,   2 0 0 2 ,   W E A T H E R   F O R E C A S T ,   V 1 7 ,   P 3 6 2 ,   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 3 4 ( 2 0 0 2 ) 0 1 7 < 0 3 6 2 : T T O M E V > 2 . 0 . C O ; 2 ;   S t a r b i r d   K . ,   2 0 1 0 ,   7   I N T   A S S   I N F   S Y S T   C ;   S u t t o n   J . ,   2 0 0 8 ,   5   I N T   A S S   I N F   S Y S T   C ,   P 1 ;   v o n   D r e h l e   D . ,   2 0 1 3 ,   1 6   M I N U T E S   P E O P L E   M O 	 2 0 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 6 0 - 3 4 2 5 	 	 9 7 8 - 1 - 4 7 9 9 - 2 5 0 4 - 9 	 P   A N N   H I C S S 	 	 	 2 0 1 4 	 	 	 	 	 	 	 2 2 3 1 	 2 2 4 1 	 	 1 0 . 1 1 0 9 / H I C S S . 2 0 1 4 . 2 8 1 	 	 1 1 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 5 F W 	 W O S : 0 0 0 3 4 3 8 0 6 6 0 2 0 4 2 	 	 
 J 	 H a n h a r t ,   P ;   K o r s h u n o v ,   P ;   E b r a h i m i ,   T 	 	 T e s c h e r ,   A G 	 	 H a n h a r t ,   P h i l i p p e ;   K o r s h u n o v ,   P a v e l ;   E b r a h i m i ,   T o u r a d j 	 	 	 C r o w d s o u r c i n g   e v a l u a t i o n   o f   h i g h   d y n a m i c   r a n g e   i m a g e   c o m p r e s s i o n 	 A P P L I C A T I O N S   O F   D I G I T A L   I M A G E   P R O C E S S I N G   X X X V I I 	 P r o c e e d i n g s   o f   S P I E 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 C o n f e r e n c e   o n   A p p l i c a t i o n s   o f   D i g i t a l   I m a g e   P r o c e s s i n g   X X X V I I 	 A U G   1 8 - 2 1 ,   2 0 1 4 	 S a n   D i e g o ,   C A 	 S P I E 	 	 H i g h   d y n a m i c   r a n g e ;   i m a g e   c o m p r e s s i o n ;   J P E G   X T ;   s u b j e c t i v e   q u a l i t y   a s s e s s m e n t ;   c r o w d s o u r c i n g 	 T O N E   R E P R O D U C T I O N 	 C r o w d s o u r c i n g   i s   b e c o m i n g   a   p o p u l a r   c o s t   e f f e c t i v e   a l t e r n a t i v e   t o   l a b - b a s e d   e v a l u a t i o n s   f o r   s u b j e c t i v e   q u a l i t y   a s s e s s m e n t .   H o w e v e r ,   c r o w d - b a s e d   e v a l u a t i o n s   a r e   c o n s t r a i n e d   b y   t h e   l i m i t e d   a v a i l a b i l i t y   o f   d i s p l a y   d e v i c e s   u s e d   b y   t y p i c a l   o n l i n e   w o r k e r s ,   w h i c h   m a k e s   t h e   e v a l u a t i o n   o f   h i g h   d y n a m i c   r a n g e   ( H D R )   c o n t e n t   a   c h a l l e n g i n g   t a s k .   I n   t h i s   p a p e r ,   w e   i n v e s t i g a t e   t h e   f e a s i b i l i t y   o f   u s i n g   l o w   d y n a m i c   r a n g e   v e r s i o n s   o f   o r i g i n a l   H D R   c o n t e n t   o b t a i n e d   w i t h   t o n e   m a p p i n g   o p e r a t o r s   ( T M O s )   i n   c r o w d s o u r c i n g   e v a l u a t i o n s .   W e   c o n d u c t e d   t w o   c r o w d s o u r c i n g   e x p e r i m e n t s   b y   e m p l o y i n g   w o r k e r s   f r o m   M i c r o w o r k e r s   p l a t f o r m .   I n   t h e   f i r s t   e x p e r i m e n t ,   w e   e v a l u a t e   f i v e   H D R   i m a g e s   e n c o d e d   a t   d i f f e r e n t   b i t   r a t e s   w i t h   t h e   u p c o m i n g   J P E G   X T   c o d i n g   s t a n d a r d .   T o   f i n d   b e s t   s u i t a b l e   T M O ,   w e   c r e a t e   e l e v e n   t o n e - m a p p e d   v e r s i o n s   o f   t h e s e   f i v e   H D R   i m a g e s   b y   u s i n g   e l e v e n   d i f f e r e n t   T M O s .   T h e   c r o w d s o u r c i n g   r e s u l t s   a r e   c o m p a r e d   t o   a   r e f e r e n c e   g r o u n d   t r u t h   o b t a i n e d   v i a   a   s u b j e c t i v e   a s s e s s m e n t   o f   t h e   s a m e   H D R   i m a g e s   o n   a   D o l b y   ' P u l s a r '   H D R   m o n i t o r   i n   a   l a b o r a t o r y   e n v i r o n m e n t .   T h e   s e c o n d   c r o w d s o u r c i n g   e v a l u a t i o n   u s e s   s e m a n t i c   d i f f e r e n t i a t o r s   t o   b e t t e r   u n d e r s t a n d   t h e   c h a r a c t e r i s t i c s   o f   e l e v e n   d i f f e r e n t   T M O s .   T h e   c r o w d s o u r c i n g   e v a l u a t i o n s   s h o w   t h a t   s o m e   T M O s   a r e   m o r e   s u i t a b l e   f o r   e v a l u a t i o n   o f   H D R   i m a g e   c o m p r e s s i o n . 	 [ H a n h a r t ,   P h i l i p p e ;   K o r s h u n o v ,   P a v e l ;   E b r a h i m i ,   T o u r a d j ]   E c o l e   P o l y t e c h   F e d   L a u s a n n e ,   M u l t i m e d i a   S i g n a l   P r o c   G r p ,   C H - 1 0 1 5   L a u s a n n e ,   S w i t z e r l a n d 	 H a n h a r t ,   P   ( r e p r i n t   a u t h o r ) ,   E c o l e   P o l y t e c h   F e d   L a u s a n n e ,   M u l t i m e d i a   S i g n a l   P r o c   G r p ,   C H - 1 0 1 5   L a u s a n n e ,   S w i t z e r l a n d . 	 p h i l i p p e . h a n h a r t @ e p f l . c h ;   p a v e l . k o r s h u n o v @ e p f l . c h ;   t o u r a d j . e b r a h i m i @ e p f l . c h 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 2 ,   B T 2 0 2 2   I T U R ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   B T 5 0 0 1 3   I T U R ;   A s h i k h m i n   M . ,   2 0 0 2 ,   P   1 3   E U R   W O R K S H   R E N D ,   P 1 4 5 ;   B A R N A R D   G A ,   1 9 4 5 ,   N A T U R E ,   V 1 5 6 ,   P 1 7 7 ;   C h i u   K . ,   1 9 9 3 ,   P   G R A P H I C S   I N T E R F A C E ,   V 9 3 ,   P 2 4 5 ;   D r a g o   F ,   2 0 0 3 ,   C O M P U T   G R A P H   F O R U M ,   V 2 2 ,   P 4 1 9 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 8 6 5 9 . 0 0 6 8 9 ;   D u r a n d   F ,   2 0 0 2 ,   A C M   T   G R A P H I C ,   V 2 1 ,   P 2 5 7 ;   F a t t a l   R ,   2 0 0 2 ,   A C M   T   G R A P H I C ,   V 2 1 ,   P 2 4 9 ;   H o s s f e l d   T ,   2 0 1 4 ,   I E E E   T   M U L T I M E D I A ,   V 1 6 ,   P 5 4 1 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 1 3 . 2 2 9 1 6 6 3 ;   I w a n a m i   T . ,   2 0 0 9 ,   C O L O R   I M A G I N G   1 4   D I S ,   V 7 2 4 1 ;   K e i m e l   C . ,   2 0 1 2 ,   P I C T   C O D   S   P C S   M A Y ;   K i m o t o   T . ,   2 0 1 4 ,   A D V   I M A G E   V I D E O   P R O C ,   V 2 ,   P 8 ;   L i s c h i n s k i   D ,   2 0 0 6 ,   A C M   T   G R A P H I C ,   V 2 5 ,   P 6 4 6 ,   D O I   1 0 . 1 1 4 5 / 1 1 4 1 9 1 1 . 1 1 4 1 9 3 6 ;   N a r w a r i a   M . ,   2 0 1 4 ,   H U M A N   V I S I O N   E L E C T   I ,   V 9 0 1 4 ;   R e i n h a r d   E ,   2 0 0 2 ,   A C M   T   G R A P H I C ,   V 2 1 ,   P 2 6 7 ;   R i c h t e r   T . ,   2 0 1 3 ,   P I C T   C O D   S   P C S   D E C ,   P 3 7 ;   S e e t z e n   H . ,   2 0 0 3 ,   P   S I D ,   V 3 4 ,   P 1 4 5 0 ;   T U M B L I N   J ,   1 9 9 3 ,   I E E E   C O M P U T   G R A P H ,   V 1 3 ,   P 4 2 ,   D O I   1 0 . 1 1 0 9 / 3 8 . 2 5 2 5 5 4 ;   W a r d   G . ,   1 9 9 4 ,   G R A P H I C S   G E M S ,   P 4 1 5 	 1 9 	 0 	 0 	 S P I E - I N T   S O C   O P T I C A L   E N G I N E E R I N G 	 B E L L I N G H A M 	 1 0 0 0   2 0 T H   S T ,   P O   B O X   1 0 ,   B E L L I N G H A M ,   W A   9 8 2 2 7 - 0 0 1 0   U S A 	 0 2 7 7 - 7 8 6 X 	 	 9 7 8 - 1 - 6 2 8 4 1 - 2 4 4 - 4 	 P R O C   S P I E 	 	 	 2 0 1 4 	 9 2 1 7 	 	 	 	 	 	 	 	 9 2 1 7 0 D 	 1 0 . 1 1 1 7 / 1 2 . 2 0 6 5 5 6 0 	 	 1 2 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   O p t i c s ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 E n g i n e e r i n g ;   O p t i c s ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 B B 5 P J 	 W O S : 0 0 0 3 4 4 0 1 4 1 0 0 0 1 1 	 	 
 J 	 V i t e k ,   S 	 	 T e s c h e r ,   A G 	 	 V i t e k ,   S t a n i s l a v 	 	 	 O p e n   s o u r c e   d a t a b a s e   o f   i m a g e s   D E I M O S :   e x t e n s i o n   f o r   l a r g e - s c a l e   s u b j e c t i v e   i m a g e   q u a l i t y   a s s e s s m e n t 	 A P P L I C A T I O N S   O F   D I G I T A L   I M A G E   P R O C E S S I N G   X X X V I I 	 P r o c e e d i n g s   o f   S P I E 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 C o n f e r e n c e   o n   A p p l i c a t i o n s   o f   D i g i t a l   I m a g e   P r o c e s s i n g   X X X V I I 	 A U G   1 8 - 2 1 ,   2 0 1 4 	 S a n   D i e g o ,   C A 	 S P I E 	 	 w e b - b a s e d   q u a l i t y   a s s e s m e n t ;   c r o w d s o u r c i n g ;   c i t i z e n   s c i e n c e ;   d a t a b a s e   o f   i m a g e s ;   s m a r t p h o n e 	 	 D E I M O S   ( D a t a b a s e   o f   I m a g e s :   O p e n   S o u r c e )   i s   a n   o p e n - s o u r c e   d a t a b a s e   o f   i m a g e s   a n d   v i d e o   s e q u e n c e s   f o r   t e s t i n g ,   v e r i f i c a t i o n   a n d   c o m p a r i s o n   o f   v a r i o u s   i m a g e   a n d / o r   v i d e o   p r o c e s s i n g   t e c h n i q u e s   s u c h   a s   c o m p r e s s i o n ,   r e c o n s t r u c t i o n   a n d   e n h a n c e m e n t .   T h i s   p a p e r   d e a l s   w i t h   e x t e n s i o n   o f   t h e   d a t a b a s e   a l l o w i n g   p e r f o r m i n g   l a r g e - s c a l e   w e b - b a s e d   s u b j e c t i v e   i m a g e   q u a l i t y   a s s e s s m e n t .   E x t e n s i o n   i m p l e m e n t s   b o t h   a d m i n i s t r a t i v e   a n d   c l i e n t   i n t e r f a c e .   T h e   p r o p o s e d   s y s t e m   i s   a i m e d   m a i n l y   a t   m o b i l e   c o m m u n i c a t i o n   d e v i c e s ,   t a k i n g   i n t o   a c c o u n t   a d v a n t a g e s   o f   H T M L 5   t e c h n o l o g y ;   i t   m e a n s   t h a t   p a r t i c i p a n t s   d o n t   n e e d   t o   i n s t a l l   a n y   a p p l i c a t i o n   a n d   a s s e s m e n t   c o u l d   b e   p e r f o r m e d   u s i n g   w e b   b r o w s e r .   T h e   a s s e s s m e n t   c a m p a i g n   a d m i n i s t r a t o r   c a n   s e l e c t   i m a g e s   f r o m   t h e   l a r g e   d a t a b a s e   a n d   t h e n   a p p l y   r u l e s   d e f i n e d   b y   v a r i o u s   t e s t   p r o c e d u r e   r e c o m m e n d a t i o n s .   T h e   s t a n d a r d   t e s t   p r o c e d u r e s   m a y   b e   f u l l y   c u s t o m i z e d   a n d   s a v e d   a s   a   t e m p l a t e .   A l t e r n a t i v e l y   t h e   a d m i n i s t r a t o r   c a n   d e f i n e   a   c u s t o m   t e s t ,   u s i n g   i m a g e s   f r o m   t h e   p o o l   a n d   o t h e r   c o m p o n e n t s ,   s u c h   a s   e v a l u a t i n g   f o r m s   a n d   o n g o i n g   q u e s t i o n n a i r e s .   I m a g e   s e q u e n c e   i s   d e l i v e r e d   t o   t h e   o n l i n e   c l i e n t ,   e . g .   s m a r t p h o n e   o r   t a b l e t ,   a s   a   f u l l y   a u t o m a t e d   a s s e s s m e n t   s e q u e n c e   o r   v i e w e r   c a n   d e c i d e   o n   t i m i n g   o f   t h e   a s s e s s m e n t   i f   r e q u i r e d .   E n v i r o n m e n t a l   d a t a   a n d   v i e w i n g   c o n d i t i o n s   ( e . g .   i l l u m i n a t i o n ,   v i b r a t i o n s ,   G P S   c o o r d i n a t e s ,   e t c . ) ,   m a y   b e   c o l l e c t e d   a n d   s u b s e q u e n t l y   a n a l y z e d . 	 C z e c h   T e c h   U n i v ,   F a c   E l e c t   E n g n ,   P r a g u e   1 6 6 2 7 ,   C z e c h   R e p u b l i c 	 V i t e k ,   S   ( r e p r i n t   a u t h o r ) ,   C z e c h   T e c h   U n i v ,   F a c   E l e c t   E n g n ,   P r a g u e   1 6 6 2 7 ,   C z e c h   R e p u b l i c . 	 v i t e k s @ f e l . c v u t . c z 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 0 2 ,   I T U   R   R E C   B T   5 0 0   1 1 ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   I T U   T   R E C   P   9 1 0   S U B J ;   C h e n   K . - T . ,   2 0 1 0 ,   N E T W O R K   I E E E ,   V 2 4 ,   P 2 8 ;   G a r c i a   R . ,   2 0 1 4 ,   C O N S U M E R   E L E C T   I E E E ,   V 6 0 ,   P 1 1 6 ;   G a r d l o   B . ,   2 0 1 4 ,   C R O W D S O U R C I N G   2   0   E N ;   H o s s f e l d   T . ,   2 0 1 4 ,   M U L T I M E D I A   I E E E   T ,   V 1 6 ,   P 5 4 1 ;   H o s s f e l d   T . ,   2 0 1 4 ,   1 6   I N T   W O R K S H   M U L T   S ;   K e i m e l   C . ,   2 0 1 2 ,   P A C K   V I D   W O R K S H   P V   2 ,   P 1 5 5 ,   D O I   D O I   1 0 . 1 1 0 9 / P V . 2 0 1 2 . 6 2 2 9 7 2 9 ;   K e i m e l   C . ,   2 0 1 2 ,   P I C T   C O D   S   P C S   M A Y ,   P 2 4 5 ;   K i m   S . - H . ,   2 0 1 2 ,   B E L I V   W O R K S H   T I M   E R R ;   K l i m a   M ,   2 0 1 1 ,   R A D I O E N G I N E E R I N G ,   V 2 0 ,   P 1 0 1 6 ;   L e e   B . ,   2 0 1 3 ,   B R O A D C A S T I N G   I E E E   T ,   V 5 9 ,   P 2 0 ;   N i e l s e n   M . ,   2 0 1 1 ,   R E I N V E N T I N G   D I S C O V E R ;   R a i n e r   B . ,   2 0 1 3 ,   Q U A L   M U L T   E X P   Q O M E X ,   P 2 4 ;   R i b e i r o   F . ,   2 0 1 1 ,   I M   P R O C   I C I P   2 0 1 1   1 8 ,   P 3 0 9 7 ;   R i b e i r o   F . ,   2 0 1 1 ,   A C   S P E E C H   S I G N   P R O C ,   P 2 4 1 6 ;   S a k i c   K . ,   2 0 1 4 ,   S Y S T   S I G N   I M   P R O C   I W ,   P 2 2 3 ;   S t a e l e n s   N . ,   2 0 1 0 ,   B R O A D C A S T I N G   I E E E   T ,   V 5 6 ,   P 4 5 8 ;   W e i   F . ,   2 0 1 2 ,   C O N S   E L   C O M M   N E T W   C E ,   P 2 8 6 1 	 1 9 	 0 	 0 	 S P I E - I N T   S O C   O P T I C A L   E N G I N E E R I N G 	 B E L L I N G H A M 	 1 0 0 0   2 0 T H   S T ,   P O   B O X   1 0 ,   B E L L I N G H A M ,   W A   9 8 2 2 7 - 0 0 1 0   U S A 	 0 2 7 7 - 7 8 6 X 	 	 9 7 8 - 1 - 6 2 8 4 1 - 2 4 4 - 4 	 P R O C   S P I E 	 	 	 2 0 1 4 	 9 2 1 7 	 	 	 	 	 	 	 	 9 2 1 7 0 J 	 1 0 . 1 1 1 7 / 1 2 . 2 0 6 1 3 6 9 	 	 8 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   O p t i c s ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 E n g i n e e r i n g ;   O p t i c s ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 B B 5 P J 	 W O S : 0 0 0 3 4 4 0 1 4 1 0 0 0 1 6 	 	 
 S 	 A m a r i l l i ,   A ;   A m s t e r d a m e r ,   Y ;   M i l o ,   T 	 	 H a n ,   W S ;   L e e ,   M L ;   M u l i a n t a r a ,   A ;   S a n j a y a ,   N A ;   T h a l h e i m ,   B ;   Z h o u ,   S 	 	 A m a r i l l i ,   A n t o i n e ;   A m s t e r d a m e r ,   Y a e l ;   M i l o ,   T o v a 	 	 	 U n c e r t a i n t y   i n   C r o w d   D a t a   S o u r c i n g   U n d e r   S t r u c t u r a l   C o n s t r a i n t s 	 D A T A B A S E   S Y S T E M S   F O R   A D V A N C E D   A P P L I C A T I O N S ,   D A S F A A   2 0 1 4 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 9 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D a t a b a s e   S y s t e m s   f o r   A d v a n c e d   A p p l i c a t i o n s   ( D A S F A A ) 	 A P R   2 1 - 2 4 ,   2 0 1 4 	 B a l i ,   I N D O N E S I A 	 	 	 	 	 A p p l i c a t i o n s   e x t r a c t i n g   d a t a   f r o m   c r o w d s o u r c i n g   p l a t f o r m s   m u s t   d e a l   w i t h   t h e   u n c e r t a i n t y   o f   c r o w d   a n s w e r s   i n   t w o   d i f f e r e n t   w a y s :   f i r s t ,   b y   d e r i v i n g   e s t i m a t e s   o f   t h e   c o r r e c t   v a l u e   f r o m   t h e   a n s w e r s ;   s e c o n d ,   b y   c h o o s i n g   c r o w d   q u e s t i o n s   w h o s e   a n s w e r s   a r e   e x p e c t e d   t o   m i n i m i z e   t h i s   u n c e r t a i n t y   r e l a t i v e   t o   t h e   o v e r a l l   d a t a   c o l l e c t i o n   g o a l .   S u c h   p r o b l e m s   a r e   a l r e a d y   c h a l l e n g i n g   w h e n   w e   a s s u m e   t h a t   q u e s t i o n s   a r e   u n r e l a t e d   a n d   a n s w e r s   a r e   i n d e p e n d e n t ,   b u t   t h e y   a r e   e v e n   m o r e   c o m p l i c a t e d   w h e n   w e   a s s u m e   t h a t   t h e   u n k n o w n   v a l u e s   f o l l o w   h a r d   s t r u c t u r a l   c o n s t r a i n t s   ( s u c h   a s   m o n o t o n i c i t y ) .   I n   t h i s   v i s i o n   p a p e r ,   w e   e x a m i n e   h o w   t o   f o r m a l l y   a d d r e s s   t h i s   i s s u e   w i t h   a n   a p p r o a c h   i n s p i r e d   b y   [ 2 ] .   W e   d e s c r i b e   a   g e n e r a l i z e d   s e t t i n g   w h e r e   w e   m o d e l   c o n s t r a i n t s   a s   l i n e a r   i n e q u a l i t i e s ,   a n d   u s e   t h e m   t o   g u i d e   t h e   c h o i c e   o f   c r o w d   q u e s t i o n s   a n d   t h e   p r o c e s s i n g   o f   a n s w e r s .   W e   p r e s e n t   t h e   m a i n   c h a l l e n g e s   a r i s i n g   i n   t h i s   s e t t i n g ,   a n d   p r o p o s e   d i r e c t i o n s   t o   s o l v e   t h e m . 	 [ A m a r i l l i ,   A n t o i n e ]   I n s t   M i n e s   T e l e c o m ,   P a r i s ,   F r a n c e 	 A m a r i l l i ,   A   ( r e p r i n t   a u t h o r ) ,   I n s t   M i n e s   T e l e c o m ,   P a r i s ,   F r a n c e . 	 a n t o i n e . a m a r i l l i @ t e l e c o m - p a r i s t e c h . f r 	 	 	 	 	 A m a r i l l i   A . ,   2 0 1 4 ,   P   I C D T   A T H   I N   P R E S S ;   A m s t e r d a m e r   Y . ,   2 0 1 3 ,   P   2 0 1 3   I N T   C   M A N   D A T ,   P 2 4 1 ;   D a v i d   H . A . ,   2 0 1 3 ,   O R D E R   S T A T ,   P 1 4 ;   K a r p   R . M . ,   2 0 0 7 ,   P   1 8   A C M   S I A M   S   D I S C ;   K o z l o v   M . K . ,   1 9 8 0 ,   U S S R   C O M P   M A T H   M A T H ,   V 2 0 ,   P 2 2 3 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 1 - 5 5 5 3 ( 8 0 ) 9 0 0 9 8 - 1 ;   P a r a m e s w a r a n   A . ,   2 0 1 2 ,   P   S I G M O D ;   P a r a m e s w a r a n   A . ,   2 0 1 1 ,   P   V L D B   E N D ,   V 4 ,   P 2 6 7 ;   P a r k e s   D . C . ,   2 0 0 0 ,   P   A A A I   I A A I ;   T r i a n t a p h y l l o u   E . ,   2 0 1 0 ,   D A T A   M I N   K N O W L   D I S C ;   T r u s h k o w s k y   B . ,   2 0 1 3 ,   P   I C D E ;   Y a n g   X . ,   2 0 1 3 ,   P   I C D E 	 1 1 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 6 2 - 4 3 9 8 4 - 5 ;   9 7 8 - 3 - 6 6 2 - 4 3 9 8 3 - 8 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 4 	 8 5 0 5 	 	 	 	 	 	 3 5 1 	 3 5 9 	 	 1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 6 2 - 4 3 9 8 4 - 5 _ 2 7 	 	 9 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 5 I B 	 W O S : 0 0 0 3 4 3 8 8 2 5 0 0 0 2 7 	 	 
 S 	 E l   M a a r r y ,   K ;   B a l k e ,   W T ;   C h o ,   H ;   H w a n g ,   S W ;   B a b a i ,   Y 	 	 H a n ,   W S ;   L e e ,   M L ;   M u l i a n t a r a ,   A ;   S a n j a y a ,   N A ;   T h a l h e i m ,   B ;   Z h o u ,   S 	 	 E l   M a a r r y ,   K i n d a ;   B a l k e ,   W o l f - T i l o ;   C h o ,   H y u n s o u k ;   H w a n g ,   S e u n g - w o n ;   B a b a i ,   Y u k i n o 	 	 	 S k i l l   O n t o l o g y - B a s e d   M o d e l   f o r   Q u a l i t y   A s s u r a n c e   i n   C r o w d s o u r c i n g 	 D A T A B A S E   S Y S T E M S   F O R   A D V A N C E D   A P P L I C A T I O N S ,   D A S F A A   2 0 1 4 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 9 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D a t a b a s e   S y s t e m s   f o r   A d v a n c e d   A p p l i c a t i o n s   ( D A S F A A ) 	 A P R   2 1 - 2 4 ,   2 0 1 4 	 B a l i ,   I N D O N E S I A 	 	 	 C r o w d s o u r c i n g ;   Q u a l i t y   a s s u r a n c e ;   S k i l l   o n t o l o g y ;   U n c e r t a i n   d a t a 	 I S S U E S 	 C r o w d s o u r c i n g   c o n t i n u e s   t o   g a i n   m o r e   m o m e n t u m   a s   i t s   p o t e n t i a l   b e c o m e s   m o r e   r e c o g n i z e d .   N e v e r t h e l e s s ,   t h e   a s s o c i a t e d   q u a l i t y   a s p e c t   r e m a i n s   a   v a l i d   c o n c e r n ,   w h i c h   i n t r o d u c e s   u n c e r t a i n t y   i n   t h e   r e s u l t s   o b t a i n e d   f r o m   t h e   c r o w d .   W e   i d e n t i f y   t h e   d i f f e r e n t   a s p e c t s   t h a t   d y n a m i c a l l y   a f f e c t   t h e   o v e r a l l   q u a l i t y   o f   a   c r o w d s o u r c i n g   t a s k .   A c c o r d i n g l y ,   w e   p r o p o s e   a   s k i l l   o n t o l o g y - b a s e d   m o d e l   t h a t   c a t e r s   f o r   t h e s e   a s p e c t s ,   a s   a   m a n a g e m e n t   t e c h n i q u e   t o   b e   a d o p t e d   b y   c r o w d s o u r c i n g   p l a t f o r m s .   T h e   m o d e l   m a i n t a i n s   a   d y n a m i c a l l y   e v o l v i n g   o n t o l o g y   o f   s k i l l s ,   w i t h   l i b r a r i e s   o f   s t a n d a r d i z e d   a n d   p e r s o n a l i z e d   a s s e s s m e n t s   f o r   a w a r d i n g   w o r k e r s   s k i l l s .   A l i g n i n g   a   w o r k e r ' s   s e t   o f   s k i l l s   t o   t h a t   r e q u i r e d   b y   a   t a s k ,   b o o s t s   t h e   u l t i m a t e   r e s u l t i n g   q u a l i t y .   W e   v i s u a l i z e   t h e   m o d e l ' s   c o m p o n e n t s   a n d   w o r k - f l o w ,   a n d   c o n s i d e r   h o w   t o   g u a r d   i t   a g a i n s t   m a l i c i o u s   o r   u n q u a l i f i e d   w o r k e r s ,   w h o s e   r e s p o n s e s   i n t r o d u c e   t h i s   u n c e r t a i n t y   a n d   d e g r a d e   t h e   o v e r a l l   q u a l i t y . 	 [ E l   M a a r r y ,   K i n d a ;   B a l k e ,   W o l f - T i l o ]   T U   B r a u n s c h w e i g ,   I n s t   I n f o r m a t   S y s t ,   B r a u n s c h w e i g ,   G e r m a n y 	 E l   M a a r r y ,   K   ( r e p r i n t   a u t h o r ) ,   T U   B r a u n s c h w e i g ,   I n s t   I n f o r m a t   S y s t ,   B r a u n s c h w e i g ,   G e r m a n y . 	 e l m a a r r y @ i f i s . c s . t u - b s . d e ;   b a l k e @ i f i s . c s . t u - b s . d e ;   p r o r y @ p o s t e c h . a c . k r ;   s w h w a n g @ p o s t e c h . a c . k r ;   y u k i n o _ b a b a @ m i s t . i . u - t o k y o . a c . j p 	 	 	 	 	 A l l a h b a k h s h   M ,   2 0 1 3 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 7 ,   P 7 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 3 . 2 0 ;   A l l a h b a k h s h   M . ,   2 0 1 2 ,   R E P U T A T I O N   M A N A G E M E N ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   S C O R I N G   W O R K E R S   C R O W ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   C a m p i o n   M A ,   2 0 1 1 ,   P E R S   P S Y C H O L ,   V 6 4 ,   P 2 2 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 4 - 6 5 7 0 . 2 0 1 0 . 0 1 2 0 8 _ 2 . x ;   C o l u c c i   S ,   2 0 0 3 ,   J   U N I V E R S   C O M P U T   S C I ,   V 9 ,   P 1 4 3 7 ;   D a w i d   A . P . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   V 2 8 ,   P 2 0 ;   D e   C o i   J L ,   2 0 0 7 ,   W E B I S T   2 0 0 7 :   P r o c e e d i n g s   o f   t h e   T h i r d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W e b   I n f o r m a t i o n   S y s t e m s   a n d   T e c h n o l o g i e s ,   V o l   S e B e G / e L ,   P 3 0 4 ;   G o t o   M . ,   2 0 1 1 ,   P   1 2   A N N   C   I N T   S P E E C ,   P 3 0 7 3 ;   H o w e   J . ,   2 0 0 6 ,   N O R T H ,   V 1 4 ,   P 1 ;   I g n j a t o v i c   A . ,   2 0 0 8 ,   I E E E   W I C   A C M   I N T   C   W ,   V 1 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   K a m p s   J . ,   2 0 0 9 ,   A C M   S I G I R   F O R U M ,   V 4 3 ,   P 1 3 ;   K a z a i   G ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 1 1 ,   P 1 6 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 1 6 1 - 5 _ 1 7 ;   K o e p p e n   K ,   2 0 0 8 ,   Z   P S Y C H O L ,   V 2 1 6 ,   P 6 1 ,   D O I   1 0 . 1 0 2 7 / 0 0 4 4 - 3 4 0 9 . 2 1 6 . 2 . 6 1 ;   K u n c h e v a   L I ,   2 0 0 3 ,   P A T T E R N   A N A L   A P P L ,   V 6 ,   P 2 2 ,   D O I   1 0 . 1 0 0 7 / s 1 0 0 4 4 - 0 0 2 - 0 1 7 3 - 7 ;   L a i   C ,   1 9 9 6 ,   J   E L E C T   P U B L I S H I N G ,   V 2 ;   L i u   X . ,   2 0 1 2 ,   P   1 8   A C M   S I G K D D   I N T ,   P 1 4 3 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 3 3 9 5 3 0 . 2 3 3 9 7 5 4 ;   L o f i   C ,   2 0 1 2 ,   D A T E N B A N K   S P E K T R U M ,   V 1 2 ,   P 1 0 9 ;   L u d w i g   H . ,   2 0 0 2 ,   P   4   I E E E   I N T   W O R K S H ;   M a s o n   W . ,   2 0 1 0 ,   A C M   S I G K D D   E X P L O R A T I ,   V 1 1 ,   P 1 0 0 ,   D O I   [ D O I   1 0 . 1 1 4 5 / 1 8 0 9 4 0 0 . 1 8 0 9 4 2 2 ,   D O I   1 0 . 1 1 4 5 / - 1 8 0 9 4 0 0 . 1 8 0 9 4 2 2 ] ;   N o o r i a n   Z e i n a b ,   2 0 1 0 ,   J o u r n a l   o f   T h e o r e t i c a l   a n d   A p p l i e d   E l e c t r o n i c   C o m m e r c e   R e s e a r c h ,   V 5 ,   D O I   1 0 . 4 0 6 7 / S 0 7 1 8 - 1 8 7 6 2 0 1 0 0 0 0 2 0 0 0 0 7 ;   P o d C a s t l e ,   2 0 0 9 ,   C O L L   T R A I N   A C   M O D   B A ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   S a h a i   A . ,   2 0 0 2 ,   A U T O M A T E D   S L A   M A N A G E ;   S c h a l l   D . ,   2 0 1 2 ,   S E R V I C E   O R I E N T E D   C R O ,   P 1 0 5 ;   S h i p p m a n n   J S ,   2 0 0 0 ,   P E R S   P S Y C H O L ,   V 5 3 ,   P 7 0 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 4 - 6 5 7 0 . 2 0 0 0 . t b 0 0 2 2 0 . x ;   S u r o w i e c k i   J . ,   2 0 0 5 ,   W I S D O M   C R O W D S ,   P 3 3 6 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   A D V   N E U R A L   I N F   P R O C E ,   V 2 2 ,   P 1 ;   Z h u   D . ,   2 0 1 0 ,   S I G I R   2 0 1 0   W O R K S H   C R ,   P 1 7 	 3 1 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 6 2 - 4 3 9 8 4 - 5 ;   9 7 8 - 3 - 6 6 2 - 4 3 9 8 3 - 8 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 4 	 8 5 0 5 	 	 	 	 	 	 3 7 6 	 3 8 7 	 	 1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 6 2 - 4 3 9 8 4 - 5 _ 2 9 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 5 I B 	 W O S : 0 0 0 3 4 3 8 8 2 5 0 0 0 2 9 	 	 
 S 	 H e ,   J Y ;   K u n z e ,   K ;   L o f i ,   C ;   M a d r i a ,   S K ;   S i g g ,   S 	 	 H a n ,   W S ;   L e e ,   M L ;   M u l i a n t a r a ,   A ;   S a n j a y a ,   N A ;   T h a l h e i m ,   B ;   Z h o u ,   S 	 	 H e ,   J i y i n ;   K u n z e ,   K a i ;   L o f i ,   C h r i s t o p h ;   M a d r i a ,   S a n j a y   K . ;   S i g g ,   S t e p h a n 	 	 	 T o w a r d s   M o b i l e   S e n s o r - A w a r e   C r o w d s o u r c i n g :   A r c h i t e c t u r e ,   O p p o r t u n i t i e s   a n d   C h a l l e n g e s 	 D A T A B A S E   S Y S T E M S   F O R   A D V A N C E D   A P P L I C A T I O N S ,   D A S F A A   2 0 1 4 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 9 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D a t a b a s e   S y s t e m s   f o r   A d v a n c e d   A p p l i c a t i o n s   ( D A S F A A ) 	 A P R   2 1 - 2 4 ,   2 0 1 4 	 B a l i ,   I N D O N E S I A 	 	 	 M o b i l e   p l a t f o r m s ;   S e n s o r - e n a b l e d   c r o w d s o u r c i n g ;   L o c a t i o n - a w a r e   c r o w d s o u r c i n g 	 	 T h e   r e c e n t   s u c c e s s   o f   g e n e r a l   p u r p o s e   c r o w d s o u r c i n g   p l a t f o r m s   l i k e   A m a z o n   M e c h a n i c a l   T u r k   p a v e d   t h e   w a y   f o r   a   p l e t h o r a   o f   c r o w d - e n a b l e d   a p p l i c a t i o n s   a n d   w o r k f l o w s .   H o w e v e r ,   t h e   v a r i e t y   o f   t a s k s   w h i c h   c a n   b e   a p p r o a c h e d   v i a   s u c h   c r o w d s o u r c i n g   p l a t f o r m s   i s   l i m i t e d   b y   c o n s t r a i n t s   o f   t h e   w e b - b a s e d   i n t e r f a c e .   I n   t h i s   p a p e r ,   w e   p r o p o s e   m o b i l e   u s e r   i n t e r f a c e   c l i e n t s .   S w i t c h i n g   t o   m o b i l e   c l i e n t s   h a s   t h e   p o t e n t i a l   t o   r a d i c a l l y   c h a n g e   t h e   w a y   c r o w d s o u r c i n g   i s   p e r f o r m e d ,   a n d   a l l o w s   f o r   a   n e w   b r e e d   o f   c r o w d s o u r c i n g   t a s k s .   H e r e ,   e s p e c i a l l y   t h e   a b i l i t y   t o   t a p   i n t o   t h e   w e a l t h   o f   p r e c i s i o n   s e n s o r s   e m b e d d e d   i n   m o d e r n   m o b i l e   h a r d w a r e   i s   a   g a m e   c h a n g e r .   I n   t h i s   p a p e r ,   w e   w i l l   d i s c u s s   o p p o r t u n i t i e s   a n d   c h a l l e n g e s   r e s u l t i n g   f r o m   s u c h   a   p l a t f o r m ,   a n d   d i s c u s s   a   r e f e r e n c e   a r c h i t e c t u r e . 	 [ H e ,   J i y i n ]   C t r   W i s k u n d e   &   I n f o r m a t ,   A m s t e r d a m ,   N e t h e r l a n d s 	 M a d r i a ,   S K   ( r e p r i n t   a u t h o r ) ,   M i s s o u r i   U n i v   S c i   &   T e c h n o l ,   R o l l a ,   M O   6 5 4 0 9   U S A . 	 j i y i n h e @ g m a i l . c o m ;   k a i . k u n z e @ g m a i l . c o m ;   l o f i @ n i i . a c . j p ;   m a d r i a s @ m s t . e d u ;   s s i g g @ g w d g . d e 	 	 	 	 	 B e h r e n d   T S ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 8 0 0 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 0 8 1 - 0 ;   B o n a b e a u   E ,   2 0 0 9 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 4 5 ;   B o r s t   I . ,   2 0 1 0 ,   T H E S I S   E R A S M U S   U   R O T ;   d e n   E n d e   J . V . ,   2 0 0 9 ,   P A N   S   A C   M A N   C ;   E a g l e   N ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 6 2 3 ,   P 4 4 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 2 7 6 7 - 3 _ 5 0 ;   F r a n k l i n   M . J . ,   2 0 1 1 ,   P   2 0 1 1   A C M   S I G M O D   I N ,   P 6 1 ;   G u p t a   A . ,   2 0 1 2 ,   P   2 0 1 2   A C M   A N N   C   H U M ,   P 1 8 4 3 ;   H e   J . ,   2 0 1 3 ,   P   1 0   C   O P   R E S   A R   I N F ,   P 5 7 ;   H o w e   J . ,   2 0 0 9 ,   R I S E   C R O W D S O U R C I N G ,   V 1 4 ;   J o u r e t   G ,   2 0 0 9 ,   H A R V A R D   B U S   R E V ,   V 8 7 ,   P 4 3 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K o m n i n o s   N . ,   2 0 0 9 ,   I N T   J   I N N O V A T I O N   R E G ,   V 1 ,   P 3 3 7 ;   K o m n i n o s   N . ,   2 0 0 2 ,   I N T E L L I G E N T   C I T I E S   I ;   K u n z e   K . ,   2 0 1 3 ,   C H I   1 3   H U M   F A C T   C O M P ,   P 2 1 7 ;   L a m p e l   J . ,   2 0 0 7 ,   J   C O M P U T   M E D I A T E D   C O ,   V 1 2 2 ;   L o f i   C ,   2 0 1 2 ,   D A T E N B A N K   S P E K T R U M ,   V 1 2 ,   P 1 0 9 ;   L u k o w i c z   P ,   2 0 1 2 ,   I E E E   P E R V A S   C O M P U T ,   V 1 1 ,   P 3 2 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 1 1 . 8 2 ;   N a r u l a   P . ,   2 0 1 1 ,   H U M A N   C O M P U T A T I O N ;   S c h u r m a n n   D ,   2 0 1 3 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 2 ,   P 3 5 8 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 1 . 2 7 1 ;   S e l k e   J . ,   P   V L D B   E N D O W M E N T ,   V 5 ,   P 5 3 8 ;   S i g g   S ,   2 0 1 2 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 1 ,   P 1 0 4 7 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 1 . 1 7 0 ;   S i g g   S . ,   2 0 1 3 ,   I E E E   T   M O B   C O M P U T ,   V 1 3 ;   S i g g   S . ,   2 0 1 4 ,   I E E E   I N T   C   P E R V   C O M P ;   S i g g   S . ,   2 0 1 1 ,   P   8   A N N   I N T   I C S T   C   M ;   W u   C G ,   2 0 0 7 ,   I N F O R M   M A N A G E - A M S T E R ,   V 4 4 ,   P 2 5 3 ,   D O I   1 0 . 1 0 1 6 / j . i m . 2 0 0 6 . 1 2 . 0 0 6 	 2 5 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 6 2 - 4 3 9 8 4 - 5 ;   9 7 8 - 3 - 6 6 2 - 4 3 9 8 3 - 8 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 4 	 8 5 0 5 	 	 	 	 	 	 4 0 3 	 4 1 2 	 	 1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 6 2 - 4 3 9 8 4 - 5 _ 3 1 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 5 I B 	 W O S : 0 0 0 3 4 3 8 8 2 5 0 0 0 3 1 	 	 
 S 	 C h a p m a n ,   P ;   S t a p l e t o n ,   G ;   R o d g e r s ,   P ;   M i c a l l e f ,   L ;   B l a k e ,   A 	 	 D w y e r ,   T ;   P u r c h a s e ,   H ;   D e l a n e y ,   A 	 	 C h a p m a n ,   P e t e r ;   S t a p l e t o n ,   G e m ;   R o d g e r s ,   P e t e r ;   M i c a l l e f ,   L u a n a ;   B l a k e ,   A n d r e w 	 	 	 V i s u a l i z i n g   S e t s :   A n   E m p i r i c a l   C o m p a r i s o n   o f   D i a g r a m   T y p e s 	 D I A G R A M M A T I C   R E P R E S E N T A T I O N   A N D   I N F E R E N C E ,   D I A G R A M S   2 0 1 4 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   t h e   T h e o r y   a n d   A p p l i c a t i o n   o f   D i a g r a m s   ( D i a g r a m s ) 	 J U L   2 8 - A U G   0 1 ,   2 0 1 4 	 M e l b o u r n e ,   A U S T R A L I A 	 M o n a s h   I m m e r s   A n a l y t   P r o j e c t 	 	 s e t   v i s u a l i z a t i o n ;   l i n e a r   d i a g r a m s ;   V e n n   d i a g r a m s ;   E u l e r   d i a g r a m s 	 E U L E R   D I A G R A M S ;   C O L O R 	 T h e r e   a r e   a   r a n g e   o f   d i a g r a m   t y p e s   t h a t   c a n   b e   u s e d   t o   v i s u a l i z e   s e t s .   H o w e v e r ,   t h e r e   i s   a   s i g n i f i c a n t   l a c k   o f   i n s i g h t   i n t o   w h i c h   i s   t h e   m o s t   e f f e c t i v e   v i s u a l i z a t i o n .   T o   a d d r e s s   t h i s   k n o w l e d g e   g a p ,   t h i s   p a p e r   e m p i r i c a l l y   e v a l u a t e s   f o u r   d i a g r a m   t y p e s :   V e n n   d i a g r a m s ,   E u l e r   d i a g r a m s   w i t h   s h a d i n g ,   E u l e r   d i a g r a m s   w i t h o u t   s h a d i n g ,   a n d   t h e   l e s s   w e l l - k n o w n   l i n e a r   d i a g r a m s .   B y   c o l l e c t i n g   p e r f o r m a n c e   d a t a   ( t i m e   t o   c o m p l e t e   t a s k s   a n d   e r r o r   r a t e ) ,   t h r o u g h   c r o w d s o u r c i n g ,   w e   e s t a b l i s h   t h a t   l i n e a r   d i a g r a m s   o u t p e r f o r m   t h e   o t h e r   t h r e e   d i a g r a m   t y p e s   i n   t e r m s   o f   b o t h   t a s k   c o m p l e t i o n   t i m e   a n d   n u m b e r   o f   e r r o r s .   V e n n   d i a g r a m s   p e r f o r m   w o r s t   f r o m   b o t h   p e r s p e c t i v e s .   T h u s ,   w e   p r o v i d e   e v i d e n c e   t h a t   l i n e a r   d i a g r a m s   a r e   t h e   m o s t   e f f e c t i v e   o f   t h e s e   f o u r   d i a g r a m   t y p e s   f o r   r e p r e s e n t i n g   s e t s . 	 [ C h a p m a n ,   P e t e r ;   S t a p l e t o n ,   G e m ;   B l a k e ,   A n d r e w ]   U n i v   B r i g h t o n ,   B r i g h t o n   B N 2   4 A T ,   E   S u s s e x ,   E n g l a n d 	 C h a p m a n ,   P   ( r e p r i n t   a u t h o r ) ,   U n i v   B r i g h t o n ,   B r i g h t o n   B N 2   4 A T ,   E   S u s s e x ,   E n g l a n d . 	 p . b . c h a p m a n @ b r i g h t o n . a c . u k ;   g . e . s t a p l e t o n @ b r i g h t o n . a c . u k ;   p . j . r o d g e r s @ k e n t . a c . u k ;   l . m i c a l l e f @ k e n t . a c . u k ;   a . l . b l a k e @ b r i g h t o n . a c . u k 	 	 	 	 	 B e n o y   F ,   2 0 0 7 ,   I E E E   I N T   C O N F   I N F   V I ,   P 7 7 1 ;   B e r t i n   J . ,   1 9 8 3 ,   S E M I O L O G Y   G R A P H I C S ;   B l a k e   A . ,   2 0 1 2 ,   1 8   I N T   C   D I S T R   M U L T ,   P 1 8 5 ;   C h e n   J . ,   2 0 1 1 ,   H U M A N   F A C T O R S ,   V 5 ;   C o u t u r a t   L ,   1 9 0 3 ,   O P U S C U L E S   F R A G M E N T S ;   F e l d m a n   J ,   2 0 0 7 ,   P E R C E P T   P S Y C H O P H Y S ,   V 6 9 ,   P 8 1 6 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 3 7 8 1 ;   G r a w e m e y e r   B ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 0 4 5 ,   P 1 5 4 ;   G u r r   C A ,   1 9 9 9 ,   J   V I S U A L   L A N G   C O M P U T ,   V 1 0 ,   P 3 1 7 ,   D O I   1 0 . 1 0 0 6 / j v l c . 1 9 9 9 . 0 1 3 0 ;   H a r r o w e r   M ,   2 0 0 3 ,   C A R T O G R   J ,   V 4 0 ,   P 2 7 ,   D O I   1 0 . 1 1 7 9 / 0 0 0 8 7 0 4 0 3 2 3 5 0 0 2 0 4 2 ;   H e e r   J ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 0 3 ;   H o f m a n n   H . ,   2 0 0 0 ,   A C M   S I G K D D   I N T   C   K N O ,   P 2 2 7 ;   I h a k a   R . ,   2 0 0 3 ,   3   I N T   W O R K S H   D I S T R   S ;   I s e n b e r g   P ,   2 0 1 1 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 7 ,   P 2 4 6 9 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 1 . 1 6 0 ;   L A R K I N   J H ,   1 9 8 7 ,   C O G N I T I V E   S C I ,   V 1 1 ,   P 6 5 ,   D O I   1 0 . 1 0 1 6 / S 0 3 6 4 - 0 2 1 3 ( 8 7 ) 8 0 0 2 6 - 5 ;   M i c a l l e f   L ,   2 0 1 2 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 8 ,   P 2 5 3 6 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 2 . 1 9 9 ;   M o o d y   D L ,   2 0 0 9 ,   I E E E   T   S O F T W A R E   E N G ,   V 3 5 ,   P 7 5 6 ,   D O I   1 0 . 1 1 0 9 / T S E . 2 0 0 9 . 6 7 ;   O p p e n h e i m e r   D M ,   2 0 0 9 ,   J   E X P   S O C   P S Y C H O L ,   V 4 5 ,   P 8 6 7 ,   D O I   1 0 . 1 0 1 6 / j . j e s p . 2 0 0 9 . 0 3 . 0 0 9 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   P u c h a s e   H . ,   1 9 9 7 ,   L N C S ,   V 1 3 5 3 ,   P 2 4 8 ;   P u r c h a s e   H . ,   2 0 1 2 ,   E X P T   H U M A N   C O M P U T E R ;   R i c h e   N H ,   2 0 1 0 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 6 ,   P 1 0 9 0 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 0 . 2 1 0 ;   R o d g e r s   P ,   2 0 1 2 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 8 ,   P 1 0 8 9 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 1 . 1 4 3 ;   R u s k e y   F . ,   1 9 9 7 ,   E L E C T   J   C O M B I N A T O R I C ;   S a t o   Y ,   2 0 1 0 ,   L E C T   N O T E S   A R T I F   I N T ,   V 6 1 7 0 ,   P 6 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 4 6 0 0 - 8 _ 6 ;   S a t o   Y . ,   2 0 1 2 ,   L E C T   N O T E S   C O M P U T E R ,   V 7 3 5 2 ,   P 3 5 2 ;   S i l v a   S ,   2 0 0 7 ,   I E E E   I N T   C O N F   I N F   V I ,   P 9 4 3 ;   S t a p l e t o n   G . ,   2 0 0 7 ,   P   L A Y O U T   S O F T W   E N G   D ;   W a g e m a n s   J . ,   1 9 8 5 ,   C O M P U T E R   V I S I O N   G R A P ,   V 3 1 ,   P 1 5 6 ;   W i t t e n b u r g   K . ,   2 0 0 1 ,   1 4   A C M   S   U S   I N T   S O F T ,   P 5 1 	 2 9 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 6 2 - 4 4 0 4 3 - 8 ;   9 7 8 - 3 - 6 6 2 - 4 4 0 4 2 - 1 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 4 	 8 5 7 8 	 	 	 	 	 	 1 4 6 	 1 6 0 	 	 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 5 I L 	 W O S : 0 0 0 3 4 3 8 8 7 9 0 0 0 1 8 	 	 
 S 	 H a r k o u s ,   H ;   R a h m a n ,   R ;   A b e r e r ,   K 	 	 D e C r i s t o f a r o ,   E ;   M u r d o c h ,   S J 	 	 H a r k o u s ,   H a m z a ;   R a h m a n ,   R a m e e z ;   A b e r e r ,   K a r l 	 	 	 C 3 P :   C o n t e x t - A w a r e   C r o w d s o u r c e d   C l o u d   P r i v a c y 	 P R I V A C Y   E N H A N C I N G   T E C H N O L O G I E S ,   P E T S   2 0 1 4 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 4 t h   I n t e r n a t i o n a l   P r i v a c y   E n h a n c i n g   T e c h n o l o g i e s   S y m p o s i u m   ( P E T S ) 	 J U L   1 6 - 1 8 ,   2 0 1 4 	 A m s t e r d a m ,   N E T H E R L A N D S 	 G o o g l e ,   S i l e n t   C i r c l e ,   P r i v a c y   &   I d e n t   L a b 	 	 	 	 D u e   t o   t h e   a b u n d a n c e   o f   a t t r a c t i v e   s e r v i c e s   a v a i l a b l e   o n   t h e   c l o u d ,   p e o p l e   a r e   p l a c i n g   a n   i n c r e a s i n g   a m o u n t   o f   t h e i r   d a t a   o n l i n e   o n   d i f f e r e n t   c l o u d   p l a t f o r m s .   H o w e v e r ,   g i v e n   t h e   r e c e n t   l a r g e - s c a l e   a t t a c k s   o n   u s e r s   d a t a ,   p r i v a c y   h a s   b e c o m e   a n   i m p o r t a n t   i s s u e .   O r d i n a r y   u s e r s   c a n n o t   b e   e x p e c t e d   t o   m a n u a l l y   s p e c i f y   w h i c h   o f   t h e i r   d a t a   i s   s e n s i t i v e ,   o r   t o   t a k e   a p p r o p r i a t e   m e a s u r e s   t o   p r o t e c t   s u c h   d a t a .   F u r t h e r m o r e ,   u s u a l l y   m o s t   p e o p l e   a r e   n o t   a w a r e   o f   t h e   p r i v a c y   r i s k   t h a t   d i f f e r e n t   s h a r e d   d a t a   i t e m s   c a n   p o s e .   I n   t h i s   p a p e r ,   w e   p r e s e n t   a   n o v e l   c o n c e p t u a l   f r a m e w o r k   i n   w h i c h   p r i v a c y   r i s k   i s   a u t o m a t i c a l l y   c a l c u l a t e d   u s i n g   t h e   s h a r i n g   c o n t e x t   o f   d a t a   i t e m s .   T o   o v e r c o m e   i g n o r a n c e   o f   p r i v a c y   r i s k   o n   t h e   p a r t   o f   m o s t   u s e r s ,   w e   u s e   a   c r o w d s o u r c i n g   b a s e d   a p p r o a c h .   W e   u s e   I t e m   R e s p o n s e   T h e o r y   ( I R T )   o n   t o p   o f   t h i s   c r o w d s o u r c e d   d a t a   t o   d e t e r m i n e   t h e   s e n s i t i v i t y   o f   i t e m s   a n d   d i v e r s e   a t t i t u d e s   o f   u s e r s   t o w a r d s   p r i v a c y .   F i r s t ,   w e   d e t e r m i n e   t h e   f e a s i b i l i t y   o f   I R T   f o r   t h e   c l o u d   s c e n a r i o   b y   a s k i n g   w o r k e r s   f e e d b a c k   o n   A m a z o n   m T u r k   o n   v a r i o u s   s h a r i n g   s c e n a r i o s .   W e   o b t a i n   a   g o o d   f i t   o f   t h e   r e s p o n s e s   w i t h   t h e   t h e o r y ,   a n d   t h u s   s h o w   t h a t   I R T ,   a   w e l l - k n o w n   p s y c h o m e t r i c   m o d e l   f o r   e d u c a t i o n a l   p u r p o s e s ,   c a n   b e   a p p l i e d   t o   t h e   c l o u d   s c e n a r i o .   T h e n ,   w e   p r e s e n t   a   l i g h t w e i g h t   m e c h a n i s m   s u c h   t h a t   u s e r s   c a n   c r o w d s o u r c e   t h e i r   s h a r i n g   c o n t e x t s   w i t h   t h e   s e r v e r   a n d   d e t e r m i n e   t h e   r i s k   o f   s h a r i n g   p a r t i c u l a r   d a t a   i t e m ( s )   p r i v a t e l y .   F i n a l l y ,   w e   u s e   t h e   E n r o n   d a t a s e t   t o   s i m u l a t e   o u r   c o n c e p t u a l   f r a m e w o r k   a n d   a l s o   p r o v i d e   e x p e r i m e n t a l   r e s u l t s   u s i n g   s y n t h e t i c   d a t a .   W e   s h o w   t h a t   o u r   s c h e m e   c o n v e r g e s   q u i c k l y   a n d   p r o v i d e s   a c c u r a t e   p r i v a c y   r i s k   s c o r e s   u n d e r   v a r y i n g   c o n d i t i o n s . 	 [ H a r k o u s ,   H a m z a ;   R a h m a n ,   R a m e e z ;   A b e r e r ,   K a r l ]   E c o l e   P o l y t e c h   F e d   L a u s a n n e ,   C H - 1 0 1 5   L a u s a n n e ,   S w i t z e r l a n d 	 H a r k o u s ,   H   ( r e p r i n t   a u t h o r ) ,   E c o l e   P o l y t e c h   F e d   L a u s a n n e ,   C H - 1 0 1 5   L a u s a n n e ,   S w i t z e r l a n d . 	 h a m z a . h a r k o u s @ e p f l . c h ;   r r a m e e z @ g m a i l . c o m ;   k a r l . a b e r e r @ e p f l . c h 	 	 	 	 	 B a k e r   F . B . ,   2 0 0 1 ,   B A S I C S   I T E M   R E S P O N S E ;   B i l o g r e v i c   I . ,   2 0 1 3 ,   P   2 0 1 3   A C M   I N T   J O I N T ,   P 6 5 7 ;   D e   A y a l a   R .   J . ,   2 0 0 9 ,   T H E O R Y   P R A C T I C E   I T E M ;   G a r g   V ,   2 0 1 3 ,   I N T   S Y M P   T E C H N O L   S O C ,   P 1 4 7 ,   D O I   1 0 . 1 1 0 9 / I S T A S . 2 0 1 3 . 6 6 1 3 1 1 4 ;   G e n t r y   C ,   2 0 0 9 ,   T H E S I S   S T A N F O R D   U ;   G r e e n w a l d   G . ,   2 0 1 3 ,   G U A R D I A N ,   V 7 ,   P 1 ;   I o n   I . ,   2 0 1 3 ,   P   3   A C M   C   D A T   A P P L   S ,   P 1 ;   I o n   I . ,   2 0 1 1 ,   P R O C E E D I N G S   O F   T H E   S ;   L e w i s   K ,   2 0 0 8 ,   S O C   N E T W O R K S ,   V 3 0 ,   P 3 3 0 ,   D O I   1 0 . 1 0 1 6 / j . s o c n e t . 2 0 0 8 . 0 7 . 0 0 2 ;   L i n a c r e   J M . ,   1 9 9 4 ,   R A S C H   M E A S U R E M E N T   T ,   V 7 ,   P 3 2 8 ;   L i u   K ,   2 0 1 0 ,   A C M   T   K N O W L   D I S C O V   D ,   V 5 ,   D O I   1 0 . 1 1 4 5 / 1 8 7 0 0 9 6 . 1 8 7 0 1 0 2 ;   M a i r   P . ,   2 0 0 7 ,   J   S T A T   S O F T W ,   V 2 0 ,   P 1 ;   N e r i n g   M . L . ,   2 0 1 1 ,   H D B   P O L Y T O M O U S   I T E M ;   N i s s e n b a u m   H ,   2 0 1 1 ,   D A E D A L U S - U S ,   V 1 4 0 ,   P 3 2 ;   P a l l a p a   G . ,   2 0 1 2 ,   I E E E   I N T   S   W O R L D   W I R ,   P 1 ;   P r o t i v i t i   I n c ,   2 0 1 3 ,   T E C H N I C A L   R E P O R T ;   Q u e r c i a   D . ,   2 0 1 2 ,   I N T   A A A I   C   W E B L   S O C ;   R e e v e   B . B . ,   2 0 0 5 ,   A S S E S S I N G   Q U A L I T Y   L I ,   V 2 ,   P 5 5 ;   S w e e n e y   L ,   2 0 0 2 ,   I N T   J   U N C E R T A I N   F U Z Z ,   V 1 0 ,   P 5 5 7 ,   D O I   1 0 . 1 1 4 2 / S 0 2 1 8 4 8 8 5 0 2 0 0 1 6 4 8 ;   V a n   D i j k   M . ,   2 0 1 0 ,   P   5   U S E N I X   C   H O T   T O P ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 8 2 8 1 . 1 8 6 8 2 9 3 	 2 0 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 3 1 9 - 0 8 5 0 6 - 7 ;   9 7 8 - 3 - 3 1 9 - 0 8 5 0 5 - 0 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 4 	 8 5 5 5 	 	 	 	 	 	 1 0 2 	 1 2 2 	 	 	 	 2 1 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 5 I J 	 W O S : 0 0 0 3 4 3 8 8 7 0 0 0 0 0 6 	 	 
 J 	 H i n t z ,   K J ;   H i n t z ,   C J ;   A l m o m e n ,   F ;   A d o u n v o ,   C ;   D ' A m a t o ,   M 	 	 K a d a r ,   I 	 	 H i n t z ,   K e n n e t h   J . ;   H i n t z ,   C h r i s t o p h e r   J . ;   A l m o m e n ,   F a r i s ;   A d o u n v o ,   C h r i s t i a n ;   D ' A m a t o ,   M i c h a e l 	 	 	 T H E L M A :   a   m o b i l e   a p p   f o r   c r o w d s o u r c i n g   e n v i r o n m e n t a l   d a t a 	 S I G N A L   P R O C E S S I N G ,   S E N S O R / I N F O R M A T I O N   F U S I O N ,   A N D   T A R G E T   R E C O G N I T I O N   X X I I I 	 P r o c e e d i n g s   o f   S P I E 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 C o n f e r e n c e   o n   S i g n a l   P r o c e s s i n g ,   S e n s o r / I n f o r m a t i o n   F u s i o n ,   a n d   T a r g e t   R e c o g n i t i o n   X X I I I 	 M A Y   0 5 - 0 8 ,   2 0 1 4 	 B a l t i m o r e ,   M A 	 S P I E 	 	 T H E L M A ;   s e a   t u r t l e s ;   c r o w d s o u r c i n g ;   e n v i r o n m e n t ;   m o b i l e   a p p 	 T U R T L E S ;   S E A 	 T h e   c o l l e c t i o n   o f   e n v i r o n m e n t a l   l i g h t   p o l l u t i o n   d a t a   r e l a t e d   t o   s e a   t u r t l e   n e s t i n g   s i t e s   i s   a   l a b o r i o u s   a n d   t i m e   c o n s u m i n g   e f f o r t   e n t a i l i n g   t h e   u s e   o f   s e v e r a l   p i e c e s   o f   m e a s u r e m e n t   e q u i p m e n t ,   t h e i r   t r a n s p o r t a t i o n   a n d   c a l i b r a t i o n ,   t h e   m a n u a l   l o g g i n g   o f   r e s u l t s   i n   t h e   f i e l d ,   a n d   s u b s e q u e n t   t r a n s f e r   o f   t h e   d a t a   t o   a   c o m p u t e r   f o r   p o s t - c o l l e c t i o n   a n a l y s i s .   S e r e n d i p i t o u s l y ,   t h e   c u r r e n t   g e n e r a t i o n   o f   m o b i l e   s m a r t   p h o n e s   ( e . g . ,   i P h o n e   ( R )   5 )   c o n t a i n s   t h e   r e q u i s i t e   m e a s u r e m e n t   c a p a b i l i t y ,   n a m e l y   l o c a t i o n   d a t a   i n   a i d e d   U P S   c o o r d i n a t e s ,   m a g n e t i c   c o m p a s s   h e a d i n g ,   a n d   e l e v a t i o n   a t   t h e   t i m e   a n   i m a g e   i s   t a k e n ,   i m a g e   p a r a m e t e r   d a t a ,   a n d   t h e   i m a g e   i t s e l f .   T h e   T u r t l e   H a b i t a t   E n v i r o n m e n t a l   L i g h t   M e a s u r e m e n t   A p p   ( T H E L M A )   i s   a   m o b i l e   p h o n e   a p p   w h o s e   g r a p h i c a l   u s e r   i n t e r f a c e   ( G U I )   g u i d e s   a n   u n t r a i n e d   u s e r   t h r o u g h   t h e   i m a g e   a c q u i s i t i o n   p r o c e s s   i n   o r d e r   t o   c a p t u r e   3 6 0   d e g r e e s   o f   i m a g e s   w i t h   p o i n t i n g   g u i d a n c e .   I t   s u b s e q u e n t l y   u p l o a d s   t h e   u s e r - t a g g e d   i m a g e s ,   a l l   o f   t h e   a s s o c i a t e d   i m a g e   p a r a m e t e r s ,   a n d   p o s i t i o n ,   a z i m u t h ,   e l e v a t i o n   m e t a d a t a   t o   a   c e n t r a l   i n t e r n e   r e p o s i t o r y .   P r o v i s i o n   i s   a l s o   m a d e   f o r   t h e   c a p t u r e   o f   c a l i b r a t i o n   i m a g e s   a n d   t h e   r e v i e w   o f   i m a g e s   b e f o r e   u p l o a d .   T H E L M A   a l l o w s   f o r   i n e x p e n s i v e ,   h i g h l y - e f f i c i e n t ,   w o r l d w i d e   c r o w d s o u r c i n g   o f   c a l i b r a t a b l e   b e a c h f r o n t   l i g h t i n g / l i g h t   p o l l u t i o n   d a t a   c o l l e c t e d   b y   u n t r a i n e d   v o l u n t e e r s .   T h i s   d a t a   c a n   b e   l a t e r   p r o c e s s e d ,   a n a l y z e d ,   a n d   u s e d   b y   s c i e n t i s t s   c o n d u c t i n g   s e a   t u r t l e   c o n s e r v a t i o n   i n   o r d e r   t o   i d e n t i f y   b e a c h   l o c a t i o n s   w i t h   h a z a r d o u s   l e v e l s   o f   l i g h t   p o l l u t i o n   t h a t   m a y   a l t e r   s e a   t u r t l e   b e h a v i o r   a n d   n e c e s s i t a t e   h u m a n   i n t e r v e n t i o n   a f t e r   h a t c h l i n g   e m e r g e n c e . 	 [ H i n t z ,   K e n n e t h   J . ;   A l m o m e n ,   F a r i s ;   A d o u n v o ,   C h r i s t i a n ;   D ' A m a t o ,   M i c h a e l ]   G e o r g e   M a s o n   U n i v ,   D e p t   E l e c t   &   C o m p   E n g n ,   F a i r f a x ,   V A   2 2 0 3 0   U S A 	 H i n t z ,   K J   ( r e p r i n t   a u t h o r ) ,   G e o r g e   M a s o n   U n i v ,   D e p t   E l e c t   &   C o m p   E n g n ,   4 4 0 0   U n i v   D r ,   F a i r f a x ,   V A   2 2 0 3 0   U S A . 	 k h i n t z @ g m u . e d u 	 	 	 	 	 C I P A   D C -   0 0 8   T r a n s l a t i o n ,   2 0 1 2 ,   E X C H   I M   F I L   F O R M   D I G ;   D E A N   R B ,   1 9 5 1 ,   A N A L   C H E M ,   V 2 3 ,   P 6 3 6 ,   D O I   1 0 . 1 0 2 1 / a c 6 0 0 5 2 a 0 2 5 ;   H o r c h   K W ,   2 0 0 8 ,   M A R   F R E S H W   B E H A V   P H Y ,   V 4 1 ,   P 7 9 ,   D O I   1 0 . 1 0 8 0 / 1 0 2 3 6 2 4 0 8 0 2 1 0 6 5 5 6 ;   K a w a m u r a   G ,   2 0 0 9 ,   M A R   F R E S H W   B E H A V   P H Y ,   V 4 2 ,   P 1 9 ,   D O I   1 0 . 1 0 8 0 / 1 0 2 3 6 2 4 0 8 0 2 6 6 3 5 8 0 ;   K e r r   D .   A . ,   2 0 0 7 ,   A P E X   A D D I T I V E   S Y S T E M ;   L i n d s a y   F . ,   2 0 0 3 ,   S A V I N G   S E A   T U R T L E S   L ;   S e a   T u r t l e   C o n s e r v a n c y ,   2 0 1 1 ,   S E A   T U R T L   T H R E A T S   A R 	 7 	 0 	 0 	 S P I E - I N T   S O C   O P T I C A L   E N G I N E E R I N G 	 B E L L I N G H A M 	 1 0 0 0   2 0 T H   S T ,   P O   B O X   1 0 ,   B E L L I N G H A M ,   W A   9 8 2 2 7 - 0 0 1 0   U S A 	 0 2 7 7 - 7 8 6 X 	 	 9 7 8 - 1 - 6 2 8 4 1 - 0 2 8 - 0 	 P R O C   S P I E 	 	 	 2 0 1 4 	 9 0 9 1 	 	 	 	 	 	 	 	 9 0 9 1 1 V 	 1 0 . 1 1 1 7 / 1 2 . 2 0 5 8 6 9 0 	 	 8 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   O p t i c s 	 E n g i n e e r i n g ;   O p t i c s 	 B B 5 G T 	 W O S : 0 0 0 3 4 3 8 6 4 0 0 0 0 6 0 	 	 
 J 	 F a g g i a n i ,   A ;   G i a r d i n a ,   P G ;   G r e g o r i ,   E ;   I m p r o t a ,   A ;   L e n z i n i ,   L ;   L u c o n i ,   V ;   P i s c h e d d a ,   A ;   R o s s i ,   L ;   S a n i ,   L 	 	 	 I E E E 	 F a g g i a n i ,   A d r i a n o ;   G i a r d i n a ,   P i e t r o   G . ;   G r e g o r i ,   E n r i c o ;   I m p r o t a ,   A l e s s a n d r o ;   L e n z i n i ,   L u c i a n o ;   L u c o n i ,   V a l e r i o ;   P i s c h e d d a ,   A l e s s a n d r o ;   R o s s i ,   L o r e n z o ;   S a n i ,   L u c a 	 	 	 W h e n   T r a c e r o u t e   M e t   B G P   . . .   H o w   t o   R e v e a l   H i d d e n   I n t e r n e t   A S - l e v e l   C o n n e c t i v i t y   w i t h   P o r t o l a n   a n d   I s o l a r i o 	 2 0 1 4   I E E E   C O N F E R E N C E   O N   C O M P U T E R   C O M M U N I C A T I O N S   W O R K S H O P S   ( I N F O C O M   W K S H P S ) 	 I E E E   C o n f e r e n c e   o n   C o m p u t e r   C o m m u n i c a t i o n s   W o r k s h o p s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   C o n f e r e n c e   o n   C o m p u t e r   C o m m u n i c a t i o n s   ( I N F O C O M ) 	 A P R   2 7 - M A Y   0 2 ,   2 0 1 4 	 T o r o n t o ,   C A N A D A 	 I E E E 	 	 B G P ;   r e a l - t i m e   m o n i t o r i n g ;   r o u t e   c o l l e c t o r ;   t r a c e r o u t e ;   c r o w d s o u r c i n g 	 	 T h e   i n c o m p l e t e n e s s   o f   t h e   I n t e r n e t   A S - l e v e l   t o p o l o g y   i s   t h e   m o s t   s e r i o u s   p i t f a l l   o f   r e s e a r c h   s t u d i e s   c o n c e r n i n g   t h e   I n t e r n e t   i n t e r - d o m a i n   e c o s y s t e m .   I n   t h i s   d e m o   w e   s h o w   t w o   p r o j e c t s   a i m e d   a t   f i l l i n g   t h i s   g a p   b y   o f f e r i n g   s e r v i c e s   t o   d i f f e r e n t   t y p e   o f   u s e r s .   T h e   f i r s t   i s   P o r t o l a n ,   a   s m a r t p h o n e - b a s e d   c r o w d s o u r c i n g   s y s t e m   w h i c h   p r o v i d e s   a n   a p p   f o r   A n d r o i d   t h a t   v o l u n t e e r s   c a n   i n s t a l l   t o   r u n   t r a c e r o u t e   m e a s u r e m e n t s   t o   d i s c o v e r   t h e   I n t e r n e t   t o p o l o g y .   T h e n ,   w e   i n t r o d u c e   I s o l a r i o ,   w h i c h   p r o v i d e s   r e a l - t i m e   s e r v i c e s   f o r   n e t w o r k   o p e r a t o r s   i n   c h a n g e   o f   t h e i r   f u l l   r o u t i n g   t a b l e .   F i n a l l y ,   w e   d e s c r i b e   j o i n t   s e r v i c e s   p r o v i d e d   b y   P o r t o l a n   a n d   I s o l a r i o   a n d   t h e   b e n e f i t   o b t a i n e d . 	 [ F a g g i a n i ,   A d r i a n o ;   L e n z i n i ,   L u c i a n o ;   L u c o n i ,   V a l e r i o ]   U n i v   P i s a ,   D e p t   I n f o r m a t   E n g n ,   P i s a ,   I t a l y 	 F a g g i a n i ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   P i s a ,   D e p t   I n f o r m a t   E n g n ,   P i s a ,   I t a l y . 	 a d r i a n o . f a g g i a n i @ i i t . c n r . i t ;   p i e t r o . g i a r d i n a @ i i t . c n r . i t ;   e n r i c o . g r e g o r i @ i i t . c n r . i t ;   a l e s s a n d r o . i m p r o t a @ i i t . c n r . i t ;   l . l e n z i n i @ i e t . u n i p i . i t ;   v a l e r i o . l u c o n i @ i e t . u n i p i . i t ;   a l e s s a n d r o . p i s c h e d d a @ i i t . c n r . i t ;   l o r e n z o . r o s s i @ i i t . c n r . i t ;   l u c a . s a n i @ i i t . c n r . i t 	 	 	 	 	 A u g u s t i n   B . ,   2 0 0 6 ,   P   6   A C M   S I G C O M M   C   I N ,   P 1 5 3 ,   D O I   1 0 . 1 1 4 5 / 1 1 7 7 0 8 0 . 1 1 7 7 1 0 0 ;   F a g g i a n i   A . ,   2 0 1 2 ,   P   1 0   I N T   S   M O D   O P T   M ,   P 3 1 8 ;   G r e g o r i   E ,   2 0 1 3 ,   2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   P E R V A S I V E   C O M P U T I N G   A N D   C O M M U N I C A T I O N S   W O R K S H O P S   ( P E R C O M   W O R K S H O P S ) ,   P 2 4 8 ;   G r e g o r i   E . ,   2 0 1 2 ,   P   1 2   A C M   S I G C O M M   C   I ,   P 2 5 3 ;   H e   Y H ,   2 0 0 9 ,   I E E E   A C M   T   N E T W O R K ,   V 1 7 ,   P 3 9 1 ,   D O I   1 0 . 1 1 0 9 / T N E T . 2 0 0 8 . 9 2 6 5 1 2 ;   O l i v e i r a   R ,   2 0 1 0 ,   I E E E   A C M   T   N E T W O R K ,   V 1 8 ,   P 1 0 9 ,   D O I   1 0 . 1 1 0 9 / T N E T . 2 0 0 9 . 2 0 2 0 7 9 8 	 6 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 1 5 9 - 4 2 2 8 	 	 9 7 8 - 1 - 4 7 9 9 - 3 0 8 8 - 3 	 I E E E   C O N F   C O M P U T 	 	 	 2 0 1 4 	 	 	 	 	 	 	 1 4 7 	 1 4 8 	 	 	 	 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B B 4 Z M 	 W O S : 0 0 0 3 4 3 5 8 2 7 0 0 0 4 0 	 	 
 J 	 C h e n ,   S ;   L i ,   M Y ;   R e n ,   K 	 	 	 I E E E 	 C h e n ,   S i ;   L i ,   M u y u a n ;   R e n ,   K u i 	 	 	 T h e   P o w e r   o f   I n d o o r   C r o w d :   I n d o o r   3 D   M a p s   f r o m   t h e   C r o w d 	 2 0 1 4   I E E E   C O N F E R E N C E   O N   C O M P U T E R   C O M M U N I C A T I O N S   W O R K S H O P S   ( I N F O C O M   W K S H P S ) 	 I E E E   C o n f e r e n c e   o n   C o m p u t e r   C o m m u n i c a t i o n s   W o r k s h o p s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   C o n f e r e n c e   o n   C o m p u t e r   C o m m u n i c a t i o n s   ( I N F O C O M ) 	 A P R   2 7 - M A Y   0 2 ,   2 0 1 4 	 T o r o n t o ,   C A N A D A 	 I E E E 	 	 I n d o o r   3 D   m a p ;   c r o w d s o u r c i n g ;   3 D   r e c o n s t r u c t i o n 	 	 R e m a r k a b l e   p r o g r e s s   w a s   m a d e   w i t h   s m a r t p h o n e s   i n   t h e   l a s t   f e w   y e a r s .   M o d e r n   s m a r t p h o n e s   a r e   n o w   e q u i p p e d   w i t h   h i g h - r e s o l u t i o n   c a m e r a s   a n d   v a r i o u s   m i c r o - e l e c t r i c a l   s e n s o r s   t h a t   o p e n   u p   n e w   m o b i l e   a p p l i c a t i o n   p o s s i b i l i t i e s .   I n   t h i s   w o r k ,   w e   a d d r e s s   a   c r i t i c a l   t a s k   o f   r e c o n s t r u c t   i n d o o r   l a r g e - s c a l e   3 D   m o d e l   f r o m   c r o w d - s o u r c e d   i m a g e s .   W e   p r o p o s e ,   d e s i g n ,   a n d   i m p l e m e n t   I n d o o r C r o w d ,   a   s m a r t p h o n e   e m p o w e r e d   c r o w d s o u r c i n g   s y s t e m   f o r   l a r g e - s c a l e   i n d o o r   3 D   s c e n e   r e c o n s t r u c t i o n .   I n d o o r C r o w d   f i l l s   a   g a p   i n   c u r r e n t   c l o u d - b a s e d   3 D   r e c o n s t r u c t i o n   s y s t e m s   a s   i t   e n s u r e s   a t   m o b i l e   s i d e   t h a t   t h e   c a p t u r e d   i m a g e   s e t   f u l f i l l s   d e s i r e d   q u a l i t y   f o r   i n d o o r   l a r g e - s c e n e   3 D   r e c o n s t r u c t i o n .   A t   t h e   c l o u d   s i d e ,   w e   d e p l o y   a n   a u t o m a t e d   i m a g e - b a s e d   3 D   r e c o n s t r u c t i o n   p i p e l i n e ,   w h i c h   g e n e r a t e s   3 D   m o d e l s   f r o m   i m a g e s   a n d   s e n s o r   d a t a .   M o r e o v e r ,   w e   p r o v i d e   a n   i n t u i t i v e   o n l i n e   a n n o t a t i o n   t o o l   t h a t   a l l o w s   e a s y   i m a g e   l a b e l i n g .   W e   p r e s e n t   t h a t   t h e s e   l a b e l i n g   i n f o r m a t i o n   c o m b i n e d   w i t h   s e n s o r   d a t a   h e l p s   I n d o o r C r o w d   r e d u c e   t h e   t o t a l   p r o c e s s i n g   t i m e   g r e a t l y . 	 [ C h e n ,   S i ;   L i ,   M u y u a n ;   R e n ,   K u i ]   S U N Y   B u f f a l o ,   D e p t   C o m p   S c i   &   E n g n ,   B u f f a l o ,   N Y   1 4 2 6 0   U S A 	 C h e n ,   S   ( r e p r i n t   a u t h o r ) ,   S U N Y   B u f f a l o ,   D e p t   C o m p   S c i   &   E n g n ,   B u f f a l o ,   N Y   1 4 2 6 0   U S A . 	 s c h e n 2 3 @ b u f f a l o . e d u ;   m u y u a n l i @ b u f f a l o . e d u ;   k u i r e n @ b u f f a l o . e d u 	 	 	 	 	 F u r u k a w a   Y . ,   2 0 1 0 ,   C V P R ;   F u r u k a w a   Y a s u t a k a ,   2 0 1 0 ,   I E E E   T   P A T T E R N   A N A L ;   L o w e   D a v i d   G ,   2 0 0 4 ,   I N T   J   C O M P U T   V I S I O N ;   N e w c o m b e   R i c h a r d   A . ,   2 0 1 1 ,   M I X   A U G M   R E A L   I S M A R ;   S n a v e l y   N o a h ,   2 0 0 6 ,   A C M   T   G R A P H ;   T a n s k a n e n   P e t r i ,   2 0 1 3 ,   I C C V 	 6 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 1 5 9 - 4 2 2 8 	 	 9 7 8 - 1 - 4 7 9 9 - 3 0 8 8 - 3 	 I E E E   C O N F   C O M P U T 	 	 	 2 0 1 4 	 	 	 	 	 	 	 2 1 7 	 2 1 8 	 	 	 	 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B B 4 Z M 	 W O S : 0 0 0 3 4 3 5 8 2 7 0 0 0 7 5 	 	 
 J 	 K e ,   H ;   L i ,   P ;   G u o ,   S 	 	 	 I E E E 	 K e ,   H u a n ;   L i ,   P e n g ;   G u o ,   S o n g 	 	 	 C r o w d s o u r c i n g   o n   M o b i l e   C l o u d :   C o s t   M i n i m i z a t i o n   o f   J o i n t   D a t a   A c q u i s i t i o n   a n d   P r o c e s s i n g 	 2 0 1 4   I E E E   C O N F E R E N C E   O N   C O M P U T E R   C O M M U N I C A T I O N S   W O R K S H O P S   ( I N F O C O M   W K S H P S ) 	 I E E E   C o n f e r e n c e   o n   C o m p u t e r   C o m m u n i c a t i o n s   W o r k s h o p s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   C o n f e r e n c e   o n   C o m p u t e r   C o m m u n i c a t i o n s   ( I N F O C O M ) 	 A P R   2 7 - M A Y   0 2 ,   2 0 1 4 	 T o r o n t o ,   C A N A D A 	 I E E E 	 	 	 	 A s   t h e   a d v a n c e   o f   m o b i l e   d e v i c e s ,   c r o w d s o u r c i n g   h a s   b e e n   s u c c e s s f u l l y   a p p l i e d   i n   m a n y   s c e n a r i o s   b y   e m p l o y i n g   d i s t r i b u t e d   m o b i l e   d e v i c e s   t o   c o l l e c t i v e l y   m o n i t o r   a   d i v e r s e   r a n g e   o f   h u m a n   a c t i v i t i e s   a n d   s u r r o u n d i n g   e n v i r o n m e n t .   U n f o r t u n a t e l y ,   t r e a t i n g   m o b i l e   d e v i c e s   a s   s i m p l e   s e n s o r s   t h a t   g e n e r a t e   r a w   s e n s i n g   d a t a   m a y   l e a d   t o   l o w   e f f i c i e n c y   b e c a u s e   o f   e x c e s s i v e   b a n d w i d t h   o c c u p a t i o n   a n d   a d d i t i o n a l   c o m p u t a t i o n   r e s o u r c e   c o n s u m p t i o n .   I n   t h i s   p a p e r ,   w e   i n t e g r a t e   c r o w d s o u r c i n g   i n t o   e x i s t i n g   m o b i l e   c l o u d   f r a m e w o r k   s u c h   t h a t   d a t a   a c q u i s i t i o n   a n d   p r o c e s s i n g   c a n   b e   c o n d u c t e d   i n   a   u n i f o r m   p l a t f o r m .   W e   c o n s i d e r   a   d y n a m i c   n e t w o r k   w h e r e   m o b i l e   d e v i c e s   m a y   j o i n   a n d   l e a v e   t h e   n e t w o r k   a t   a n y   t i m e .   T o   d e a l   w i t h   t h e   c h a l l e n g e s   o f   s e n s i n g   a n d   c o m p u t a t i o n   t a s k   a s s i g n m e n t   i n   s u c h   a   d y n a m i c   e n v i r o n m e n t ,   w e   p r o p o s e   a n   o n l i n e   a l g o r i t h m   w i t h   t h e   o b j e c t i v e   o f   m i n i m i z i n g   t h e   t o t a l   c o s t   i n c l u d i n g   s e n s i n g ,   p r o c e s s i n g ,   c o m m u n i c a t i o n   a n d   d e l a y   c o s t .   E x t e n s i v e   s i m u l a t i o n s   a r e   c o n d u c t e d   t o   d e m o n s t r a t e   t h a t   t h e   p r o p o s e d   a l g o r i t h m   c a n   s i g n i f i c a n t l y   r e d u c e   t h e   t o t a l   c o s t   o f   c r o w d s o u r c i n g . 	 [ K e ,   H u a n ;   L i ,   P e n g ;   G u o ,   S o n g ]   U n i v   A i z u ,   S c h   C o m p   S c i   &   E n g n ,   A i z u   W a k a m a t s u ,   F u k u s h i m a ,   J a p a n 	 K e ,   H   ( r e p r i n t   a u t h o r ) ,   U n i v   A i z u ,   S c h   C o m p   S c i   &   E n g n ,   A i z u   W a k a m a t s u ,   F u k u s h i m a ,   J a p a n . 	 m 5 1 7 2 1 0 5 @ u - a i z u . a c . j p ;   p e n g l i @ u - a i z u . a c . j p ;   s g u o @ u - a i z u . a c . j p 	 	 	 	 	 A r m b r u s t   M ,   2 0 1 0 ,   C O M M U N   A C M ,   V 5 3 ,   P 5 0 ,   D O I   1 0 . 1 1 4 5 / 1 7 2 1 6 5 4 . 1 7 2 1 6 7 2 ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ;   B u y y a   R ,   2 0 0 9 ,   F U T U R E   G E N E R   C O M P   S Y ,   V 2 5 ,   P 5 9 9 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e . 2 0 0 8 . 1 2 . 0 0 1 ;   C h a t z i m i l i o u d i s   G . ,   2 0 1 3 ,   M O B   D A T   M A N   M D M   2 0 1 3 ,   V 2 ,   P 3 ;   C h a t z i m i l i o u d i s   G ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 3 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 7 0 ;   C h u n   B G ,   2 0 1 1 ,   E U R O S Y S   1 1 :   P R O C E E D I N G S   O F   T H E   E U R O S Y S   2 0 1 1   C O N F E R E N C E ,   P 3 0 1 ;   D i n h   H . T . ,   2 0 1 1 ,   W I R E L E S S   C O M M U N I C A T I ;   F e r n a n d o   N ,   2 0 1 3 ,   F U T U R E   G E N E R   C O M P   S Y ,   V 2 9 ,   P 8 4 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e . 2 0 1 2 . 0 5 . 0 2 3 ;   H u a n g   D . ,   2 0 1 1 ,   I E E E   C O M S O C   M U L T I M E D ,   V 6 ,   P 2 7 ;   H u e r t a - C a n e p a   G . ,   2 0 1 0 ,   P   1   A C M   W O R K S H   M O B   C ,   P 6 ;   J i n   X . ,   2 0 1 0 ,   P   I E E E   1 6   I N T   C   P A R ,   P 8 0 0 ;   J u n g   E . ,   2 0 1 0 ,   P   1   A C M   W O R K S H   M O B   C ,   P 2 ;   K a e w p u a n g   R ,   2 0 1 3 ,   I E E E   J   S E L   A R E A   C O M M ,   V 3 1 ,   P 2 6 8 5 ,   D O I   1 0 . 1 1 0 9 / J S A C . 2 0 1 3 . 1 3 1 2 0 9 ;   K l e i n   A . ,   2 0 1 0 ,   M O B   D A T   M A N   M D M   2 0 1 0 ,   P 3 8 7 ;   L i a n g   H . ,   2 0 1 1 ,   C O M P   C O M M   W O R K S H   I N F ,   P 1 9 1 ;   L i u   Y ,   2 0 0 8 ,   P E E R   P E E R   N E T W   A P P L ,   V 1 ,   P 1 8 ,   D O I   1 0 . 1 0 0 7 / s 1 2 0 8 3 - 0 0 7 - 0 0 0 6 - y ;   L u o   X ,   2 0 0 9 ,   2 0 0 9   I N T E R N A T I O N A L   S Y M P O S I U M   O N   U B I Q U I T O U S   V I R T U A L   R E A L I T Y   ( I S U V R   2 0 0 9 ) ,   P 2 9 ,   D O I   1 0 . 1 1 0 9 / I S U V R . 2 0 0 9 . 1 3 ;   M a r i n e l l i   E .   E . ,   2 0 0 9 ,   H Y R A X   C L O U D   C O M P U T I N ;   M o h a n ,   2 0 0 8 ,   P   6   A C M   C   E M B   N E T W   S ,   P 3 2 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 6 0 4 1 2 . 1 4 6 0 4 4 4 ;   N k o s i   M . ,   2 0 1 0 ,   C L O U D   C O M P   T E C H N   S C I ,   P 6 2 9 ,   D O I   D O I   1 0 . 1 1 0 9 / C L 0 U D C 0 M . 2 0 1 0 . 3 1 ;   N u r m i   D ,   2 0 0 9 ,   C C G R I D :   2 0 0 9   9 T H   I E E E   I N T E R N A T I O N A L   S Y M P O S I U M   O N   C L U S T E R   C O M P U T I N G   A N D   T H E   G R I D ,   P 1 2 4 ;   O b e r h e i d e   J . ,   2 0 0 8 ,   P   1   W O R K S H   V I R T   M O B ,   P 3 1 ;   S t e v e n s   M . ,   2 0 1 0 ,   W O R K S H   U B   C R O W D S ;   T H I A G A R A J A N   A ,   2 0 0 9 ,   P   7   A C M   C   E M B   N E T W   S ,   P 8 5 ,   D O I   1 0 . 1 1 4 5 / 1 6 4 4 0 3 8 . 1 6 4 4 0 4 8 ;   W a n g   L Z ,   2 0 1 0 ,   N E W   G E N E R A T   C O M P U T ,   V 2 8 ,   P 1 3 7 ;   Y A N   T ,   2 0 0 9 ,   P   7   A C M   C   E M B   N E T W   S ,   P 3 4 7 ,   D O I   1 0 . 1 1 4 5 / 1 6 4 4 0 3 8 . 1 6 4 4 0 9 4 ;   Y A N G   D ,   2 0 1 2 ,   P   1 8   A N N   I N T   C   M O B   C ,   P 1 7 3 ;   Y a n g   L . ,   2 0 1 3 ,   A C M   S I G M E T R I C S   P E R F O ,   V 4 0 ,   P 2 3 	 2 8 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 1 5 9 - 4 2 2 8 	 	 9 7 8 - 1 - 4 7 9 9 - 3 0 8 8 - 3 	 I E E E   C O N F   C O M P U T 	 	 	 2 0 1 4 	 	 	 	 	 	 	 3 5 8 	 3 6 2 	 	 	 	 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B B 4 Z M 	 W O S : 0 0 0 3 4 3 5 8 2 7 0 0 1 0 0 	 	 
 S 	 M a t s u y a m a ,   M ;   N i s i m u r a ,   R ;   K a w a h a r a ,   H ;   Y a m a d a ,   J ;   I r i n o ,   T 	 	 Y a m a m o t o ,   S 	 	 M a t s u y a m a ,   M i n o r i ;   N i s i m u r a ,   R y u i c h i ;   K a w a h a r a ,   H i d e k i ;   Y a m a d a ,   J u n n o s u k e ;   I r i n o ,   T o s h i o 	 	 	 D e v e l o p m e n t   o f   a   M o b i l e   A p p l i c a t i o n   f o r   C r o w d s o u r c i n g   t h e   D a t a   C o l l e c t i o n   o f   E n v i r o n m e n t a l   S o u n d s 	 H U M A N   I N T E R F A C E   A N D   T H E   M A N A G E M E N T   O F   I N F O R M A T I O N :   I N F O R M A T I O N   A N D   K N O W L E D G E   D E S I G N   A N D   E V A L U A T I O N ,   P T   I 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 6 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   H u m a n - C o m p u t e r   I n t e r a c t i o n   ( H C I ) 	 J U N   2 2 - 2 7 ,   2 0 1 4 	 H e r a k l i o n ,   G R E E C E 	 	 	 e n v i r o n m e n t a l   s o u n d   c o l l e c t i o n ;   u s e r   i n t e r f a c e   d e s i g n ;   A n d r o i d   a p p ;   c r o w d s o u r c i n g 	 	 O u r   s t u d y   i n t r o d u c e s   a   m o b i l e   n a v i g a t i o n   s y s t e m   e n a b l i n g   a   s o u n d   i n p u t   i n t e r f a c e .   T o   r e a l i z e   h i g h - p e r f o r m a n c e   e n v i r o n m e n t a l   s o u n d   r e c o g n i t i o n   s y s t e m   u s i n g   A n d r o i d   d e v i c e s ,   w e   o r g a n i z e d   a   d a t a b a s e   o f   e n v i r o n m e n t a l   s o u n d s   c o l l e c t e d   i n   o u r   d a i l y   l i v e s .   C r o w d s o u r c i n g   i s   a   u s e f u l   a p p r o a c h   f o r   o r g a n i z i n g   a   d a t a b a s e   b a s e d   o n   c o l l a b o r a t i v e   w o r k s   o f   p e o p l e .   W e   r e c r u i t e d   t r i a l   u s e r s   t o   t e s t   o u r   s y s t e m   v i a   a   w e b - b a s e d   c r o w d s o u r c i n g   s e r v i c e   p r o v i d e r   i n   J a p a n .   H o w e v e r ,   w e   f o u n d   t h a t   i m p r o v e m e n t   o f   t h e   s y s t e m   i s   i m p o r t a n t   f o r   m a i n t a i n i n g   t h e   m o t i v a t i o n   o f   u s e r s   i n   o r d e r   t o   c o n t i n u e   t h e   c o l l e c t i o n   o f   s o u n d s .   W e   b e l i e v e   t h a t   t h e   i m p r o v e d   u s e r   i n t e r f a c e   ( U I )   d e s i g n   i n t r o d u c e d   t o   f a c i l i t a t e   t h e   a n n o t a t i o n   t a s k .   T h i s   p a p e r   d e s c r i b e s   a n   o v e r v i e w   o f   o u r   s y s t e m ,   f o c u s i n g   o n   a   m e t h o d   f o r   u t i l i z i n g   t h e   c r o w d s o u r c i n g   a p p r o a c h   u s i n g   A n d r o i d   d e v i c e s ,   a n d   i t s   U I   d e s i g n .   W e   d e v e l o p e d   a   t o u c h   p a n e l   U I   f o r   t h e   a n n o t a t i o n   t a s k   b y   s e l e c t i n g   a n   a p p r o p r i a t e   c l a s s   o f   a   s o u n d   s o u r c e . 	 [ M a t s u y a m a ,   M i n o r i ;   N i s i m u r a ,   R y u i c h i ;   K a w a h a r a ,   H i d e k i ;   I r i n o ,   T o s h i o ]   W a k a y a m a   U n i v ,   W a k a y a m a   6 4 0 8 5 1 0 ,   J a p a n 	 M a t s u y a m a ,   M   ( r e p r i n t   a u t h o r ) ,   W a k a y a m a   U n i v ,   9 3 0   S a k a e d a n i ,   W a k a y a m a   6 4 0 8 5 1 0 ,   J a p a n . 	 n i s i m u r a @ s y s . w a k a y a m a - u . a c . j p 	 	 	 	 	 F i e l d i n g   R . ,   1 9 9 9 ,   2 6 1 6   R F C ;   F r e u n d   Y ,   1 9 9 7 ,   J   C O M P U T   S Y S T   S C I ,   V 5 5 ,   P 1 1 9 ,   D O I   1 0 . 1 0 0 6 / j c s s . 1 9 9 7 . 1 5 0 4 ;   L e e   A . ,   2 0 0 4 ,   P   I C S L P ,   P 1 7 3 ;   P a r e n t   G . ,   2 0 1 1 ,   P   I N T E R S P E E C H ,   P 3 0 3 7 ;   R o b i n s o n   D . ,   2 0 0 4 ,   3 8 7 5   R F C   I E T F 	 5 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 3 1 9 - 0 7 7 3 1 - 4 ;   9 7 8 - 3 - 3 1 9 - 0 7 7 3 0 - 7 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 4 	 8 5 2 1 	 	 	 	 	 	 5 1 4 	 5 2 4 	 	 	 	 1 1 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 4 V Y 	 W O S : 0 0 0 3 4 3 4 1 3 9 0 0 0 5 1 	 	 
 J 	 P e t r o u ,   L ;   L a r k o u ,   G ;   L a o u d i a s ,   C ;   Z e i n a l i p o u r - Y a z t i ,   D ;   P a n a y i o t o u ,   C G 	 	 	 I E E E 	 P e t r o u ,   L a m b r o s ;   L a r k o u ,   G e o r g e ;   L a o u d i a s ,   C h r i s t o s ;   Z e i n a l i p o u r - Y a z t i ,   D e m e t r i o s ;   P a n a y i o t o u ,   C h r i s t o s   G . 	 	 	 D e m o n s t r a t i o n   A b s t r a c t :   C r o w d s o u r c e d   I n d o o r   L o c a l i z a t i o n   a n d   N a v i g a t i o n   w i t h   A n y p l a c e 	 P R O C E E D I N G S   O F   T H E   1 3 T H   I N T E R N A T I O N A L   S Y M P O S I U M   O N   I N F O R M A T I O N   P R O C E S S I N G   I N   S E N S O R   N E T W O R K S   ( I P S N '   1 4 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 3 t h   I E E E / A C M   I n t e r n a t i o n a l   S y m p o s i u m   o n   I n f o r m a t i o n   P r o c e s s i n g   i n   S e n s o r   N e t w o r k s   ( I P S N ) 	 A P R   1 5 - 1 7 ,   2 0 1 4 	 B e r l i n ,   G E R M A N Y 	 A s s o c   C o m p   M a c h i n e r y ,   I E E E ,   A C M   S I G B E D ,   I E E E   C o m p   S o c ,   C a r l   O s s i e t z k y   U n i v   O l d e n b u r g 	 	 C r o w d s o u r c i n g ;   i n d o o r   l o c a l i z a t i o n ;   n a v i g a t i o n 	 	 I n   t h i s   d e m o n s t r a t i o n   p a p e r ,   w e   p r e s e n t   t h e   A n y p l a c e   s y s t e m   t h a t   r e l i e s   o n   t h e   a b u n d a n c e   o f   s e n s o r y   d a t a   o n   s m a r t p h o n e s   ( e .   g . ,   W i F i   s i g n a l   s t r e n g t h   a n d   i n e r t i a l   m e a s u r e m e n t s )   t o   d e l i v e r   r e l i a b l e   i n d o o r   g e o l o c a t i o n   i n f o r m a t i o n .   O u r   s y s t e m   f e a t u r e s   t w o   h i g h l y   d e s i r a b l e   p r o p e r t i e s ,   n a m e l y   c r o w d s o u r c i n g   a n d   s c a l a b i l i t y .   A n y p l a c e   i m p l e m e n t s   a   s e t   o f   c r o w d s o u r c i n g - s u p p o r t i v e   m e c h a n i s m s   t o   h a n d l e   t h e   e n o r m o u s   a m o u n t   o f   c r o w d s e n s e d   d a t a ,   f i l t e r   i n c o r r e c t   u s e r   c o n t r i b u t i o n s   a n d   e x p l o i t   W i F i   d a t a   f r o m   h e t e r o g e n e o u s   m o b i l e   d e v i c e s .   M o r e o v e r ,   A n y p l a c e   f o l l o w s   a   b i g - d a t a   a r c h i t e c t u r e   f o r   e f f i c i e n t   a n d   s c a l a b l e   s t o r a g e   a n d   r e t r i e v a l   o f   l o c a l i z a t i o n   a n d   m a p p i n g   d a t a . 	 [ P e t r o u ,   L a m b r o s ;   L a r k o u ,   G e o r g e ;   Z e i n a l i p o u r - Y a z t i ,   D e m e t r i o s ]   U n i v   C y p r u s ,   D e p t   C o m p   S c i ,   C Y - 1 6 7 8   N i c o s i a ,   C y p r u s 	 P e t r o u ,   L   ( r e p r i n t   a u t h o r ) ,   U n i v   C y p r u s ,   D e p t   C o m p   S c i ,   C Y - 1 6 7 8   N i c o s i a ,   C y p r u s . 	 	 	 	 	 	 B o l l i g e r   P . ,   2 0 0 8 ,   1   A C M   I N T   W O R K S H   M O B ,   P 5 5 ;   E m p s o n   R . ,   2 0 1 3 ,   A P P L E   A C Q U I R E S   I N D O O ;   L a o u d i a s   C . ,   2 0 1 2 ,   1 3   I E E E   I N T   C   M O B   D A ,   P 3 1 2 ;   L a o u d i a s   C . ,   2 0 1 3 ,   I N T   C   I N D   P O S   I N D   N A ;   L e d l i e   J o n a t h a n ,   2 0 1 2 ,   J o u r n a l   o f   L o c a t i o n   B a s e d   S e r v i c e s ,   V 6 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 8 9 7 2 5 . 2 0 1 2 . 6 9 2 6 1 7 ;   L e e   M ,   2 0 1 2 ,   2 0 1 2   I E E E / I P S J   1 2 T H   I N T E R N A T I O N A L   S Y M P O S I U M   O N   A P P L I C A T I O N S   A N D   T H E   I N T E R N E T   ( S A I N T ) ,   P 1 9 0 ,   D O I   1 0 . 1 1 0 9 / S A I N T . 2 0 1 2 . 3 5 ;   Y a n g   S . ,   2 0 1 3 ,   3 2   I E E E   I N T   C   C O M P   C 	 7 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 7 9 9 - 3 1 4 6 - 0 	 	 	 	 2 0 1 4 	 	 	 	 	 	 	 3 3 1 	 3 3 2 	 	 	 	 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   R e m o t e   S e n s i n g 	 C o m p u t e r   S c i e n c e ;   R e m o t e   S e n s i n g 	 B B 5 A J 	 W O S : 0 0 0 3 4 3 5 9 2 2 0 0 0 5 3 	 	 
 S 	 C h o i ,   J ;   C h o i ,   H ;   S o ,   W ;   L e e ,   J ;   Y o u ,   J 	 	 M a r c u s ,   A 	 	 C h o i ,   J o o h e e ;   C h o i ,   H e e j i n ;   S o ,   W o o n s u b ;   L e e ,   J a e k i ;   Y o u ,   J o n g J u n 	 	 	 A   S t u d y   a b o u t   D e s i g n i n g   R e w a r d   f o r   G a m i f i e d   C r o w d s o u r c i n g   S y s t e m 	 D E S I G N ,   U S E R   E X P E R I E N C E ,   A N D   U S A B I L I T Y :   U S E R   E X P E R I E N C E   D E S I G N   F O R   D I V E R S E   I N T E R A C T I O N   P L A T F O R M S   A N D   E N V I R O N M E N T S ,   P T   I I 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 r d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D e s i g n ,   U s e r   E x p e r i e n c e ,   a n d   U s a b i l i t y   ( D U X U ) 	 J U N   2 2 - 2 7 ,   2 0 1 4 	 H e r a k l i o n ,   G R E E C E 	 	 	 g a m i f i c a t i o n ;   c r o w d s o u r c i n g ;   r e w a r d ;   p e r c e i v e d   d i v e r s i t y ;   f u n   e x p e r i e n c e 	 G A M E   E L E M E N T S ;   M O T I V A T I O N ;   I D E A S 	 T h e   g o a l   o f   t h i s   s t u d y   i s   t o   u n d e r s t a n d   t h e   m e c h a n i s m   o f   g a m i f i c a t i o n   i n   c r o w d s o u r c i n g   b y   i n v e s t i g a t i n g   t h e   w a y s   o f   g i v i n g   r e w a r d s .   P e r c e i v e d   r e w a r d   d i v e r s i t y   i s   p r o p o s e d   a s   a   c o n s t r u c t   t o   i n d u c e   f u n   e x p e r i e n c e   f r o m   p a r t i c i p a n t s   b a s e d   o n   p r e v i o u s   s t u d i e s   a b o u t   g a m i f i e d   c r o w d s o u r c i n g .   W i t h   r e s p e c t   t o   s y s t e m   m a n i p u l a t i o n ,   e x p l i c a t i n g   t h e   a n t i c i p a t e d   l e v e l   o f   r e w a r d s   b e f o r e   t a s k   p h a s e   i s   c o n d u c t e d .   T h e   e f f e c t   o f   e x p l i c a t i o n   o n   t a s k   o u t c o m e   a n d   p s y c h o l o g i c a l   o u t c o m e   i s   c o m p a r e d   w i t h   c o n t r o l   g r o u p .   A s   a   r e s u l t ,   b o t h   p e r c e i v e d   r e w a r d   d i v e r s i t y   a n d   e x p l i c a t i n g   t h e   a n t i c i p a t e d   l e v e l   o f   r e w a r d s   s i g n i f i c a n t l y   a f f e c t   b o t h   q u a l i t y   a n d   q u a n t i t y   o f   s u b m i t t e d   a n s w e r s ,   a s   w e l l   a s   f e e l i n g   o f   f u n   d u r i n g   t h e   t a s k   p h a s e .   T h e   l i m i t a t i o n   a n d   i m p l i c a t i o n   o f   t h e   s t u d y   i s   s t a t e d   i n   t h e   e n d . 	 [ C h o i ,   J o o h e e ;   C h o i ,   H e e j i n ;   S o ,   W o o n s u b ;   L e e ,   J a e k i ;   Y o u ,   J o n g J u n ]   E l e c t   &   T e l e c o m m u n   R e s   I n s t ,   T a e j o n ,   S o u t h   K o r e a 	 C h o i ,   J   ( r e p r i n t   a u t h o r ) ,   E l e c t   &   T e l e c o m m u n   R e s   I n s t ,   G a j e o n g   R o   2 1 8 ,   T a e j o n ,   S o u t h   K o r e a . 	 j o o h e e 2 7 @ e t r i . r e . k r ;   h j c h o i 2 @ e t r i . r e . k r ;   w s s o @ e t r i . r e . k r ;   j k i l e e @ e t r i . r e . k r ;   j j y o u @ e t r i . r e . k r 	 	 	 	 	 A M A B I L E   T M ,   1 9 8 2 ,   J   P E R S   S O C   P S Y C H O L ,   V 4 3 ,   P 9 9 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 4 3 . 5 . 9 9 7 ;   A m o r y   A ,   1 9 9 9 ,   B R I T   J   E D U C   T E C H N O L ,   V 3 0 ,   P 3 1 1 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 8 5 3 5 . 0 0 1 2 1 ;   B a n k e r   R D ,   1 9 9 6 ,   A C A D   M A N A G E   J ,   V 3 9 ,   P 9 2 0 ,   D O I   1 0 . 2 3 0 7 / 2 5 6 7 1 7 ;   B o u d r e a u   K J ,   2 0 0 9 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 6 9 ;   C a p l i n   A ,   2 0 0 1 ,   Q   J   E C O N ,   V 1 1 6 ,   P 5 5 ,   D O I   1 0 . 1 1 6 2 / 0 0 3 3 5 5 3 0 1 5 5 6 3 4 7 ;   D e t e r d i n g   S . ,   2 0 1 1 ,   P   1 5   I N T   A C   M I N D T R E K ,   P 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 1 8 1 0 3 7 . 2 1 8 1 0 4 0 ;   D e t e r d i n g   S . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 2 4 2 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 9 7 4 2 . 1 9 7 9 5 7 5 ;   E I S E N H A R D T   K M ,   1 9 8 9 ,   A C A D   M A N A G E   R E V ,   V 1 4 ,   P 5 3 2 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 5 5 7 ;   E i s e n h a r d t   K M ,   2 0 0 7 ,   A C A D   M A N A G E   J ,   V 5 0 ,   P 2 5 ;   F e d e r o f f   M . A . ,   2 0 0 2 ,   H E U R I S T I C S   U S A B I L I T Y ;   F e s t i n g e r   L . ,   1 9 6 2 ,   T H E O R Y   C O G N I T I V E   D I S ;   G R E E N W A L D   A G ,   1 9 7 8 ,   P S Y C H O L   R E V ,   V 8 5 ,   P 5 3 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 5 X . 8 5 . 1 . 5 3 ;   H o o n h o u t   J . ,   2 0 0 2 ,   D E V   R A T I N G   S C A L E   D E T ;   H o r t o n   J . J . ,   2 0 1 0 ,   P   1 1   A C M   C   E L   C O M M ,   P 2 0 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 0 7 3 4 2 . 1 8 0 7 3 7 6 ;   K o m a r o v   S . ,   2 0 1 3 ,   P   S I G C H I   C   H U M   F A C T ,   P 2 0 7 ;   K o s t e r   R . ,   2 0 1 0 ,   T H E O R Y   F U N   G A M E   D E S I ;   L a v y   V ,   2 0 0 7 ,   F U T U R E   C H I L D ,   V 1 7 ,   P 8 7 ,   D O I   1 0 . 1 3 5 3 / f o c . 2 0 0 7 . 0 0 0 7 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   M a l o n e   T . W . ,   1 9 8 2 ,   P   1 9 8 2   C   H U M   F A C T   C O ,   P 6 3 ,   D O I   1 0 . 1 1 4 5 / 8 0 0 0 4 9 . 8 0 1 7 5 6 ;   M a r t i n   A . L . ,   2 0 1 2 ,   I N T   J   C O M P U T E R   S C I   S ,   V 1 1 ,   P 1 3 5 ;   M e h r a b i a n   A . ,   1 9 7 4 ,   A P P R O A C H   E N V   P S Y C H O L ;   M u e l l e r   F . ,   2 0 0 3 ,   P   S I G C H I   C   H U M   F A C T ,   P 5 6 1 ;   O l e s o n   D . ,   2 0 1 1 ,   H U M A N   C O M P U T A T I O N ,   V 1 1 ,   P 1 1 ;   P E A R C E   J L ,   1 9 8 3 ,   J   A P P L   P S Y C H O L ,   V 6 8 ,   P 6 4 6 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 1 - 9 0 1 0 . 6 8 . 4 . 6 4 6 ;   P o e t z   M K ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x ;   R o b e r   N ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 3 2 6 ,   P 3 5 8 ;   R o s s   J . ,   2 0 1 0 ,   C H I   E A   1 0   P   2 8   I N T   C ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 ;   S c o l l a n   R . ,   2 0 0 7 ,   I N T E R A C T I O N   D E S I G N   I ;   V a l l e r a n d   R J ,   1 9 9 7 ,   A D V   E X P   S O C   P S Y C H O L ,   V 2 9 ,   P 2 7 1 ,   D O I   1 0 . 1 0 1 6 / S 0 0 6 5 - 2 6 0 1 ( 0 8 ) 6 0 0 1 9 - 2 ;   Z h e n g   H C ,   2 0 1 1 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 5 7 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 4 0 2 ;   Z i c h e r m a n n   G . ,   2 0 1 1 ,   G A M I F I C A T I O N   D E S I G N 	 3 1 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 3 1 9 - 0 7 6 2 6 - 3 ;   9 7 8 - 3 - 3 1 9 - 0 7 6 2 5 - 6 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 4 	 8 5 1 8 	 	 	 	 	 	 6 7 8 	 6 8 7 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 3 L Y 	 W O S : 0 0 0 3 4 2 8 4 6 9 0 0 0 6 4 	 	 
 S 	 H e a d ,   A ;   X u ,   Y ;   W a n g ,   J T 	 	 T r a u s a n M a t u ,   S ;   B o y e r ,   K E ;   C r o s b y ,   M ;   P a n o u r g i a ,   K 	 	 H e a d ,   A n d r e w ;   X u ,   Y i ;   W a n g ,   J i n g t a o 	 	 	 T o n e W a r s :   C o n n e c t i n g   L a n g u a g e   L e a r n e r s   a n d   N a t i v e   S p e a k e r s   t h r o u g h   C o l l a b o r a t i v e   M o b i l e   G a m e s 	 I N T E L L I G E N T   T U T O R I N G   S Y S T E M S ,   I T S   2 0 1 4 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e l l i g e n t   T u t o r i n g   S y s t e m s   ( I T S ) 	 J U N   0 5 - 0 9 ,   2 0 1 4 	 H o n o l u l u ,   H I 	 A s s o c   A d v a n c e m e n t   A r t i f i c i a l   I n t e l l i g e n c e ,   M A R i ,   I n t   A r t i f i c i a l   I n t e l l i g e n c e   E d u c   S o c 	 	 M o b i l e   L e a r n i n g ;   S e r i o u s   G a m e s ;   C r o w d s o u r c i n g ;   C o l l a b o r a t i v e   L e a r n i n g 	 	 I n   t h i s   p a p e r ,   w e   p r e s e n t   T o n e W a r s ,   a   c o l l a b o r a t i v e   m o b i l e   g a m e   f o r   l e a r n i n g   C h i n e s e   a s   a   S e c o n d   L a n g u a g e   ( C S L ) .   T o n e W a r s   p r o v i d e s   a   l e a r n i n g   e x p e r i e n c e   t h a t   c o m b i n e s   m a s t e r y   l e a r n i n g ,   m i c r o l e a r n i n g ,   a n d   g r o u p - b a s e d   i n t e r a c t i o n   b e t w e e n   C S L   l e a r n e r s   a n d   n a t i v e   s p e a k e r s .   T h e   g a m e   e x p l o r e s   h o w   u n i q u e   i n p u t   m o d a l i t i e s ,   l i k e   t o u c h   g e s t u r e s   a n d   s p e e c h   r e c o g n i t i o n ,   c a n   i m p r o v e   l a n g u a g e   a c q u i s i t i o n   t a s k s   o n   m o b i l e   d e v i c e s .   W e   r e p o r t   t h e   d e s i g n   m o t i v a t i o n s   a n d   l e s s o n s   l e a r n e d   t h r o u g h   t h e   i t e r a t i v e   d e s i g n   p r o c e s s .   W e   b e l i e v e   m a n y   i n s i g h t s   f r o m   d e v e l o p i n g   T o n e W a r s   a r e   g e n e r a l i z a b l e   t o   d e s i g n i n g   p r o d u c t i v e   l a n g u a g e   l e a r n i n g   t e c h n o l o g y .   T h r o u g h   a   2 4 - p a r t i c i p a n t   ( 1 2   C S L   a n d   n a t i v e   s p e a k e r   p a i r s )   u s e r   s t u d y ,   w e   f o u n d   T o n e W a r s   p r o v i d e s   l e a r n i n g   b e n e f i t s   f o r   s e c o n d - l a n g u a g e   l e a r n e r s   a n d   e n g a g e s   n a t i v e   s p e a k e r s . 	 [ H e a d ,   A n d r e w ;   W a n g ,   J i n g t a o ]   U n i v   P i t t s b u r g h ,   P i t t s b u r g h ,   P A   1 5 2 6 0   U S A 	 H e a d ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   P i t t s b u r g h ,   P i t t s b u r g h ,   P A   1 5 2 6 0   U S A . 	 a m h 1 4 0 @ p i t t . e d u ;   x u y i @ p i t t . e d u ;   j i n g t a o w @ c s . e d u 	 	 	 	 	 A C T F L ,   2 0 1 1 ,   T E C H N I C A L   R E P O R T ;   B l o o m   B . S . ,   1 9 7 1 ,   M A S T E R Y   L E A R N I N G   T H E ,   P 4 7 ;   d e B o t   K ,   1 9 9 6 ,   L A N G   L E A R N ,   V 4 6 ,   P 5 2 9 ;   E d g e   D . ,   2 0 1 1 ,   A C M   C   H U M   F A C T   C O M P ,   P 3 1 6 9 ;   E d g e   D . ,   2 0 1 2 ,   A C M   M O B I L E H C I   2 0 1 2 ,   P 4 2 7 ;   F u   I . - P . ,   2 0 0 5 ,   T H E S I S   V I R G I N I A   P O L Y ;   H u   C . ,   2 0 1 0 ,   G R A P H I C S   I N T E R F A C E ,   P 3 9 ;   K a m   M ,   2 0 0 7 ,   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1   A N D   2 ,   P 1 0 9 7 ;   K u m a r   A . ,   2 0 1 2 ,   A C M   C   H U M   F A C T   C O M P ,   P 1 1 4 9 ;   L e e   L ,   2 0 0 4 ,   L A N G   L E A R N   T E C H N O L ,   V 8 ,   P 8 3 ;   M c L a u g h l i n   B . ,   1 9 9 5 ,   N C R C D S L L   E D   P R A C T I C E ;   M o r e t t   L . M . ,   2 0 1 2 ,   3 4   A N N   C   C O G N   S C I   S O ,   P 7 7 3 ;   R i c o   J . ,   2 0 1 0 ,   A C M   C   H U M   F A C T   C O M P ,   P 8 8 7 ;   R i v e r a   G . ,   2 0 0 7 ,   F O R E I G N   L A N G U A G E   A N N ,   V 4 0 ;   T h o r n e   S L ,   2 0 0 9 ,   M O D   L A N G   J ,   V 9 3 ,   P 8 0 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 4 7 8 1 . 2 0 0 9 . 0 0 9 7 4 . x ;   T i a n   F . ,   2 0 1 0 ,   A C M   C   H U M   F A C T   C O M P ,   P 1 6 0 3 ;   W a n g   N . ,   1 9 9 7 ,   R E S   C H I N E S E   C O G N I T I O ;   X i n g   J . ,   2 0 0 6 ,   T E A C H I N G   L E A R N I N G   C H 	 1 8 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 3 1 9 - 0 7 2 2 1 - 0 ;   9 7 8 - 3 - 3 1 9 - 0 7 2 2 0 - 3 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 4 	 8 4 7 4 	 	 	 	 	 	 3 6 8 	 3 7 7 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 3 V L 	 W O S : 0 0 0 3 4 3 0 8 1 6 0 0 0 4 6 	 	 
 S 	 F e n g ,   J H ;   L i ,   G L ;   W a n g ,   H N ;   F e n g ,   J H 	 	 B h o w m i c k ,   S S ;   D y r e s o n ,   C E ;   J e n s e n ,   C S ;   L e e ,   M L ;   M u l i a n t a r a ,   A ;   T h a l h e i m ,   B 	 	 F e n g ,   J i a n h o n g ;   L i ,   G u o l i a n g ;   W a n g ,   H e n a n ;   F e n g ,   J i a n h u a 	 	 	 I n c r e m e n t a l   Q u a l i t y   I n f e r e n c e   i n   C r o w d s o u r c i n g 	 D A T A B A S E   S Y S T E M S   F O R   A D V A N C E D   A P P L I C A T I O N S ,   D A S F A A   2 0 1 4 ,   P T   I I 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 9 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D a t a b a s e   S y s t e m s   f o r   A d v a n c e d   A p p l i c a t i o n s   ( D A S F A A ) 	 A P R   2 1 - 2 4 ,   2 0 1 4 	 B a l i ,   I N D O N E S I A 	 	 	 	 	 C r o w d s o u r c i n g   h a s   a t t r a c t e d   s i g n i f i c a n t   a t t e n t i o n   f r o m   t h e   d a t a b a s e   c o m m u n i t y   i n   r e c e n t   y e a r s   a n d   s e v e r a l   c r o w d s o u r c e d   d a t a b a s e s   h a v e   b e e n   p r o p o s e d   t o   i n c o r p o r a t e   h u m a n   p o w e r   i n t o   t r a d i t i o n a l   d a t a b a s e   s y s t e m s .   O n e   b i g   i s s u e   i n   c r o w d s o u r c i n g   i s   t o   a c h i e v e   h i g h   q u a l i t y   b e c a u s e   w o r k e r s   m a y   r e t u r n   i n c o r r e c t   a n s w e r s .   A   t y p i c a l   s o l u t i o n   t o   a d d r e s s   t h i s   p r o b l e m   i s   t o   a s s i g n   e a c h   q u e s t i o n   t o   m u l t i p l e   w o r k e r s   a n d   c o m b i n e   w o r k e r s '   a n s w e r s   t o   g e n e r a t e   t h e   f i n a l   r e s u l t .   O n e   b i g   c h a l l e n g e   a r i s i n g   i n   t h i s   s t r a t e g y   i s   t o   i n f e r   w o r k e r ' s   q u a l i t y .   E x i s t i n g   m e t h o d s   u s u a l l y   a s s u m e   e a c h   w o r k e r   h a s   a   f i x e d   q u a l i t y   a n d   c o m p u t e   t h e   q u a l i t y   u s i n g   q u a l i f i c a t i o n   t e s t s   o r   h i s t o r i c a l   p e r f o r m a n c e .   H o w e v e r   t h e s e   m e t h o d s   c a n n o t   a c c u r a t e l y   e s t i m a t e   a   w o r k e r ' s   q u a l i t y .   T o   a d d r e s s   t h i s   p r o b l e m ,   w e   p r o p o s e   a   w o r k e r   m o d e l   a n d   d e v i s e   a n   i n c r e m e n t a l   i n f e r e n c e   s t r a t e g y   t o   a c c u r a t e l y   c o m p u t e   t h e   w o r k e r s '   q u a l i t y .   W e   a l s o   p r o p o s e   a   q u e s t i o n   m o d e l   a n d   d e v e l o p   t w o   e f f i c i e n t   s t r a t e g i e s   t o   c o m b i n e   t h e   w o r k e r ' s   m o d e l   t o   c o m p u t e   t h e   q u e s t i o n ' s   r e s u l t .   W e   i m p l e m e n t   o u r   m e t h o d   a n d   c o m p a r e   w i t h   e x i s t i n g   i n f e r e n c e   a p p r o a c h e s   o n   r e a l   c r o w d s o u r c i n g   p l a t f o r m s   u s i n g   r e a l - w o r l d   d a t a s e t s ,   a n d   t h e   e x p e r i m e n t s   i n d i c a t e   t h a t   o u r   m e t h o d   a c h i e v e s   h i g h   a c c u r a c y   a n d   o u t p e r f o r m s   e x i s t i n g   a p p r o a c h e s . 	 [ F e n g ,   J i a n h o n g ;   L i ,   G u o l i a n g ;   W a n g ,   H e n a n ;   F e n g ,   J i a n h u a ]   T s i n g h u a   U n i v ,   D e p t   C o m p   S c i ,   B e i j i n g   1 0 0 0 8 4 ,   P e o p l e s   R   C h i n a 	 F e n g ,   J H   ( r e p r i n t   a u t h o r ) ,   T s i n g h u a   U n i v ,   D e p t   C o m p   S c i ,   B e i j i n g   1 0 0 0 8 4 ,   P e o p l e s   R   C h i n a . 	 f e n g j h 1 1 @ m a i l s . t h u . e d u . c n ;   l i g u o l i a n g @ t s i n g h u a . e d u . c n ;   w h n 1 3 @ m a i l s . t h u . e d u . c n ;   f e n g j h @ t s i n g h u a . e d u . c n 	 	 	 	 	 D E M P S T E R   A P ,   1 9 7 7 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 3 9 ,   P 1 ;   F e n g   A . ,   2 0 1 1 ,   P   V L D B   E N D O W M E N T ,   V 4 ;   F r a n k l i n   M . J . ,   2 0 1 1 ,   P   2 0 1 1   A C M   S I G M O D   I N ,   P 6 1 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   P O W E R ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   K a r g e r   D . R . ,   2 0 1 1 ,   A D V A N C E S   I N   N E U R A L   I ,   P 1 9 5 3 ;   L i u   X . ,   2 0 1 2 ,   P   V L D B   E N D O W M E N T ,   V 5 ,   P 1 0 4 0 ;   M a r c u s   A . ,   2 0 1 1 ,   C I D R ;   M a r c u s   A . ,   2 0 1 1 ,   P   A C M   S I G M O D   A T H   G R E ,   P 1 3 1 5 ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   P a r k   H . ,   2 0 1 2 ,   P   V L D B   E N D O W M E N T ,   V 5 ,   P 1 9 9 0 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   W a n g   J . ,   2 0 1 2 ,   P V L D B ,   V 5 ,   P 1 4 8 3 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   P 2 0 3 5 ;   Y u e n   M . - C . ,   2 0 1 1 ,   2 0 1 1   I E E E   3   I N T   C   2 0 ,   P 7 6 6 	 1 5 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 3 1 9 - 0 5 8 1 3 - 9 ;   9 7 8 - 3 - 3 1 9 - 0 5 8 1 2 - 2 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 4 	 8 4 2 2 	 	 	 	 	 	 4 5 3 	 4 6 7 	 	 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 3 P Z 	 W O S : 0 0 0 3 4 2 9 9 1 2 0 0 0 3 0 	 	 
 S 	 L e e ,   D W 	 	 B h o w m i c k ,   S S ;   D y r e s o n ,   C E ;   J e n s e n ,   C S ;   L e e ,   M L ;   M u l i a n t a r a ,   A ;   T h a l h e i m ,   B 	 	 L e e ,   D o n g w o n 	 	 	 C r o w d s o u r c e d   A l g o r i t h m s   i n   D a t a   M a n a g e m e n t 	 D A T A B A S E   S Y S T E M S   F O R   A D V A N C E D   A P P L I C A T I O N S ,   D A S F A A   2 0 1 4 ,   P T   I I 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 9 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D a t a b a s e   S y s t e m s   f o r   A d v a n c e d   A p p l i c a t i o n s   ( D A S F A A ) 	 A P R   2 1 - 2 4 ,   2 0 1 4 	 B a l i ,   I N D O N E S I A 	 	 	 	 	 A s   a   n o v e l   c o m p u t a t i o n   p a r a d i g m ,   c r o w d s o u r c i n g   i s   b e i n g   a c t i v e l y   p u r s u e d   i n   d i v e r s e   a c a d e m i c   d i s c i p l i n e s .   W i t h i n   c o m p u t e r   s c i e n c e ,   m a n y   s u b - f i e l d s   h a v e   e m b r a c e d   t h e   c o n c e p t   o f   c r o w d s o u r c i n g   w i t h   o p e n   a r m s   a n d   a p p l i e d   t h e   c o n c e p t   t o   s o l v e   d i v e r s e   c h a l l e n g i n g   p r o b l e m s .   D a t a b a s e   c o m m u n i t y   i s   n o   e x c e p t i o n   t o   t h i s   p h e n o m e n o n   a n d   t h e r e   h a v e   b e e n   m a n y   e x c i t i n g   n e w   r e s u l t s   u s i n g   c r o w d s o u r c i n g   a p p e a r i n g   i n   r e c e n t   d a t a b a s e   l i t e r a t u r e .   T h i s   t u t o r i a l   i n   p a r t i c u l a r   s e e k s   t o   c o v e r   s t a t e - o f - t h e - a r t   c r o w d s o u r c e d   a l g o r i t h m s   i n   d a t a   m a n a g e m e n t .   A f t e r   g e n t l e   i n t r o d u c t i o n   o n   t h e   c o n c e p t   o f   c r o w d s o u r c i n g ,   t h i s   t u t o r i a l   p r o v i d e s   t h e   o v e r a l l   l a n d s c a p e   o f   c r o w d s o u r c e d   d a t a b a s e   r e s e a r c h ,   w i t h   t h e   f o c u s   o n   t h e   l a t e s t   c r o w d s o u r c e d   a l g o r i t h m s   t h a t   e x t e n d   c o n v e n t i o n a l   d a t a b a s e   a l g o r i t h m s   ( e .   g . ,   c o u n t ,   s o r t ,   m a t c h ,   a n d   s e a r c h ) . 	 P e n n   S t a t e   U n i v ,   C o l l   I n f o r m a t   S c i   &   T e c h n o l ,   U n i v e r s i t y   P k ,   P A   1 6 8 0 2   U S A 	 L e e ,   D W   ( r e p r i n t   a u t h o r ) ,   P e n n   S t a t e   U n i v ,   C o l l   I n f o r m a t   S c i   &   T e c h n o l ,   U n i v e r s i t y   P k ,   P A   1 6 8 0 2   U S A . 	 d o n g w o n @ p s u . e d u 	 	 	 	 	 A m s t e r d a m e r   Y . ,   2 0 1 3 ,   S I G M O D ,   P 2 4 1 ;   B e l l a r e   K . ,   2 0 1 2 ,   K D D ,   P 1 1 3 1 ;   B o z z o n   A . ,   2 0 1 2 ,   W W W   2 0 1 2 ,   P 1 0 0 9 ;   C o r m e n   T h o m a s   H . ,   2 0 0 9 ,   I N T R O   A L G O R I T H M S ;   D a v i d s o n   S . B . ,   2 0 1 3 ,   I C D T ;   F r a n k l i n   M . J . ,   2 0 1 1 ,   S I G M O D ,   P 6 1 ;   G a o   J . ,   2 0 1 3 ,   S I G M O D ,   P 2 1 7 ;   G u o   S . ,   2 0 1 2 ,   S I G M O D ,   P 3 8 5 ;   L i u   X . ,   2 0 1 2 ,   P   V L D B   E N D O W M E N T ,   V 5 ,   P 1 0 4 0 ;   L o f i   C . ,   2 0 1 3 ,   E D B T ;   M a r c u s   A . ,   2 0 1 2 ,   P V L D B ,   V 6 ,   P 1 0 9 ;   M a r c u s   A . ,   2 0 1 1 ,   S I G M O D ,   P 1 3 1 5 ;   M a r c u s   A . ,   2 0 1 1 ,   P   V L D B   E N D O W ,   V 5 ,   P 1 3 ;   P a r a m e s w a r a n   A . G . ,   2 0 1 2 ,   C I K M ,   P 1 2 0 3 ;   P a r a m e s w a r a n   A . G . ,   2 0 1 2 ,   S I G M O D ,   P 3 6 1 ;   P o l y c h r o n o p o u l o s   V . ,   2 0 1 3 ,   W E B D B ;   T r u s h k o w s k y   B ,   2 0 1 3 ,   P R O C   I N T   C O N F   D A T A ,   P 6 7 3 ,   D O I   1 0 . 1 1 0 9 / I C D E . 2 0 1 3 . 6 5 4 4 8 6 5 ;   V e n e t i s   P . ,   2 0 1 2 ,   W W W ,   P 9 8 9 ;   W a n g   J . ,   2 0 1 3 ,   S I G M O D   C ,   P 2 2 9 ;   W a n g   J . ,   2 0 1 2 ,   P V L D B ,   V 5 ,   P 1 4 8 3 ;   Y a n   T . ,   2 0 1 0 ,   M O B I S Y S   1 0 ,   P 7 7 	 2 1 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 3 1 9 - 0 5 8 1 3 - 9 ;   9 7 8 - 3 - 3 1 9 - 0 5 8 1 2 - 2 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 4 	 8 4 2 2 	 	 	 	 	 	 5 5 3 	 5 5 4 	 	 	 	 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 3 P Z 	 W O S : 0 0 0 3 4 2 9 9 1 2 0 0 0 4 4 	 	 
 S 	 L u z ,   N ;   P e r e i r a ,   C ;   S i l v a ,   N ;   N o v a i s ,   P ;   T e i x e i r a ,   A ;   e   S i l v a ,   M O 	 	 P o l y c a r p o u ,   M ;   D e C a r v a l h o ,   A C P L F ;   P a n ,   J S ;   W o z n i a k ,   M ;   Q u i n t i a n ,   H ;   C o r c h a d o ,   E 	 	 L u z ,   N u n o ;   P e r e i r a ,   C a r l o s ;   S i l v a ,   N u n o ;   N o v a i s ,   P a u l o ;   T e i x e i r a ,   A n t o n i o ;   e   S i l v a ,   M i g u e l   O l i v e i r a 	 	 	 A n   O n t o l o g y   f o r   H u m a n - M a c h i n e   C o m p u t a t i o n   W o r k f l o w   S p e c i f i c a t i o n 	 H Y B R I D   A R T I F I C I A L   I N T E L L I G E N C E   S Y S T E M S ,   H A I S   2 0 1 4 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 9 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   H y b r i d   A r t i f i c i a l   I n t e l l i g e n c e   S y s t e m s   ( H A I S ) 	 J U N   1 1 - 1 3 ,   2 0 1 4 	 S a l a m a n c a ,   S P A I N 	 I E E E   S e c c   E s p a n a ,   I E E E   S y s t ,   M a n   &   C y b e r n e t ,   A y u n t a m i e n t o   S a l a m a n c a ,   U n i v   S a l a m a n c a ,   M I R   L a b s ,   I n t   F e d e r a t   C o m p u t a t   L o g 	 	 W o r k f l o w ;   T a s k ;   O n t o l o g y ;   D o m a i n   K n o w l e d g e 	 W E B - S E R V I C E S 	 L a t e l y ,   a   f o c u s   h a s   b e e n   g i v e n   t o   t h e   r e - u s a b i l i t y   o f   w o r k f l o w   d e f i n i t i o n s   a n d   t o   f l e x i b l e   a n d   r e - u s a b l e   w o r k f l o w   c o m p o n e n t s ,   c u l m i n a t i n g   w i t h   a p p r o a c h e s   t h a t   h a r n e s s   t h e   b e n e f i t s   o f   t h e   e n r i c h e d   s e m a n t i c s   p r o v i d e d   b y   o n t o l o g i e s .   F o l l o w i n g   t h i s   t r e n d   a n d   t h e   n e e d s   o f   m u l t i p l e   a p p l i c a t i o n   d o m a i n s ,   s u c h   a s   m i c r o - t a s k   c r o w d s o u r c i n g   a n d   a m b i e n t   a s s i s t e d   l i v i n g ,   o f   i n c o r p o r a t i n g   c o o p e r a t i o n   b e t w e e n   t h e   e f f o r t s   o f   h u m a n   a n d   m a c h i n e   e n t i t i e s ,   t h i s   p a p e r   p r o p o s e s   a n   o n t o l o g y   a n d   p r o c e s s   f o r   t h e   d e f i n i t i o n ,   i n s t a n t i a t i o n   a n d   e x e c u t i o n   o f   s e m a n t i c a l l y   e n r i c h e d   w o r k f l o w s . 	 [ L u z ,   N u n o ;   S i l v a ,   N u n o ]   P o l y t e c h   P o r t o ,   G E C A D ,   O p o r t o ,   P o r t u g a l 	 L u z ,   N   ( r e p r i n t   a u t h o r ) ,   P o l y t e c h   P o r t o ,   G E C A D ,   O p o r t o ,   P o r t u g a l . 	 n m a l u @ i s e p . i p p . p t ;   c e p e r e i r a @ u a . p t ;   n p s @ i s e p . i p p . p t ;   p j o n @ d i . u m i n h o . p t ;   a j s t @ u a . p t ;   m o s @ u a . p t 	 N o v a i s ,   P a u l o / M - 4 0 5 3 - 2 0 1 3 	 N o v a i s ,   P a u l o / 0 0 0 0 - 0 0 0 2 - 3 5 4 9 - 0 7 5 4 	 	 	 A b r a h a m   A ,   2 0 1 2 ,   J   I N T E L L   F U Z Z Y   S Y S T ,   V 2 3 ,   P 4 1 ,   D O I   1 0 . 3 2 3 3 / I F S - 2 0 1 2 - 0 4 9 9 ;   B a a d e r   F . ,   2 0 0 7 ,   D E S C R I P T I O N   L O G I C   H D ;   E s h u i s   R . ,   2 0 0 1 ,   F O R M A L   S E M A N T I C S   U M L ;   E u g s t e r   P T ,   2 0 0 3 ,   A C M   C O M P U T   S U R V ,   V 3 5 ,   P 1 1 4 ,   D O I   1 0 . 1 1 4 5 / 8 5 7 0 7 6 . 8 5 7 0 7 8 ;   H a p p e l   H . ,   2 0 0 6 ,   P   W O R K S H   S E M   W E B   E N ,   P 5 ;   L u z   N . ,   2 0 1 4 ,   E S W C   2 0 1 4   U N P U B ;   M a r t i n   D ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 3 8 7 ,   P 2 6 ;   O b e r l e   D ,   2 0 0 9 ,   S E M A N T I C   W E B   J   I N T E R ;   O b r s t   L ,   2 0 0 3 ,   A I   M A G ,   V 2 4 ,   P 4 9 ;   Q u i n n   A J ,   2 0 1 1 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 4 0 3 ;   T e i x e i r a   A . ,   2 0 1 1 ,   L I V I N G   L A B   I N   P R E S S ;   v a n   d e r   A a l s t   W ,   2 0 0 3 ,   I E E E   I N T E L L   S Y S T ,   V 1 8 ,   P 7 2 ;   v a n   d e r   A a l s t   W M P ,   2 0 0 5 ,   I N F O R M   S Y S T ,   V 3 0 ,   P 2 4 5 ,   D O I   1 0 . 1 0 1 6 / j . i s . 2 0 0 4 . 0 2 . 0 0 2 ;   V i e i r a   T A S C ,   2 0 0 4 ,   W E B M E D I A   &   L A - W E B   2 0 0 4 ,   V O L   1 ,   P R O C E E D I N G S ,   P 7 0 ;   W e s k e   M ,   2 0 0 1 ,   P   3 4   A N N   H A W   I N T   C   S ;   W o d t k e   D ,   1 9 9 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 1 1 8 6 ,   P 2 3 0 	 1 6 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 3 1 9 - 0 7 6 1 7 - 1 ;   9 7 8 - 3 - 3 1 9 - 0 7 6 1 6 - 4 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 4 	 8 4 8 0 	 	 	 	 	 	 4 9 	 6 0 	 	 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 3 L K 	 W O S : 0 0 0 3 4 2 8 3 6 3 0 0 0 0 5 	 	 
 S 	 D i   N u n z i o ,   G M ;   B r u z a ,   P ;   S i t b o n ,   L 	 	 A t m a n s p a c h e r ,   H ;   H a v e n ,   E ;   K i t t o ,   K ;   R a i n e ,   D 	 	 D i   N u n z i o ,   G i o r g i o   M a r i a ;   B r u z a ,   P e t e r ;   S i t b o n ,   L a u r i a n n e 	 	 	 I n t e r f e r e n c e   i n   T e x t   C a t e g o r i s a t i o n   E x p e r i m e n t s 	 Q U A N T U M   I N T E R A C T I O N ,   Q I   2 0 1 3 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 7 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   Q u a n t u m   I n t e r a c t i o n   ( Q I ) 	 J U L   2 5 - 2 7 ,   2 0 1 3 	 L e i c e s t e r ,   U N I T E D   K I N G D O M 	 	 	 	 E X P L A N A T I O N 	 T h i s   a r t i c l e   e x a m i n e s   m a n u a l   t e x t u a l   c a t e g o r i s a t i o n   b y   h u m a n   c o d e r s   w i t h   t h e   h y p o t h e s i s   t h a t   t h e   l a w   o f   t o t a l   p r o b a b i l i t y   m a y   b e   v i o l a t e d   f o r   d i f f i c u l t   c a t e g o r i e s .   A n   e m p i r i c a l   e v a l u a t i o n   w a s   c o n d u c t e d   t o   c o m p a r e   a   o n e   s t e p   c a t e g o r i s a t i o n   t a s k   w i t h   a   t w o   s t e p   c a t e g o r i s a t i o n   t a s k   u s i n g   c r o w d s o u r c i n g .   I t   w a s   f o u n d   t h a t   t h e   l a w   o f   t o t a l   p r o b a b i l i t y   w a s   v i o l a t e d .   B o t h   a   q u a n t u m   a n d   c l a s s i c a l   p r o b a b i l i s t i c   i n t e r p r e t a t i o n s   f o r   t h i s   v i o l a t i o n   a r e   p r e s e n t e d .   F u r t h e r   s t u d i e s   a r e   r e q u i r e d   t o   r e s o l v e   w h e t h e r   q u a n t u m   m o d e l s   a r e   m o r e   a p p r o p r i a t e   f o r   t h i s   t a s k . 	 [ D i   N u n z i o ,   G i o r g i o   M a r i a ]   U n i v   P a d u a ,   D e p t   I n f o r m a t   E n g n ,   P a d u a ,   I t a l y 	 D i   N u n z i o ,   G M   ( r e p r i n t   a u t h o r ) ,   U n i v   P a d u a ,   D e p t   I n f o r m a t   E n g n ,   P a d u a ,   I t a l y . 	 d i n u n z i o @ d e i . u n i p d . i t ;   p . b r u z a @ q u t . e d u . a u ;   l a u r i a n n e . s i t b o n @ q u t . e d u . a u 	 	 	 	 	 A e r t s   D ,   2 0 0 9 ,   J   M A T H   P S Y C H O L ,   V 5 3 ,   P 3 1 4 ,   D O I   1 0 . 1 0 1 6 / j . j m p . 2 0 0 9 . 0 4 . 0 0 5 ;   A l o n s o   O ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 1 1 ,   P 1 5 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 1 6 1 - 5 _ 1 6 ;   A l o n s o   O . ,   2 0 0 9 ,   S I G I R   0 9   W O R K S H   F U T ;   B u s e m e y e r   J . ,   2 0 1 2 ,   Q U A N T U M   C O G N I T I O N   D E ;   B u s e m e y e r   J R ,   2 0 1 1 ,   P S Y C H O L   R E V ,   V 1 1 8 ,   P 1 9 3 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 2 5 4 2 ;   B u s e m e y e r   J R ,   2 0 0 9 ,   J   M A T H   P S Y C H O L ,   V 5 3 ,   P 4 2 3 ,   D O I   1 0 . 1 0 1 6 / j . j m p . 2 0 0 9 . 0 3 . 0 0 2 ;   G r a d y   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 7 2 ;   H a v e n   E . ,   2 0 1 3 ,   Q U A N T U M   S O C I A L   S C I ;   H a y e s   P .   J . ,   1 9 8 8 ,   P   2   C   A P P L   N A T   L A N G ,   P 9 ,   D O I   1 0 . 3 1 1 5 / 9 7 4 2 3 5 . 9 7 4 2 3 8 ;   K h r e n n i k o v   A ,   2 0 1 0 ,   U B I Q U I T O U S   Q U A N T U M   S T R U C T U R E :   F R O M   P S Y C H O L O G Y   T O   F I N A N C E ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 5 1 0 1 - 2 ;   P o t h o s   E M ,   2 0 0 9 ,   P   R   S O C   B ,   V 2 7 6 ,   P 2 1 7 1 ,   D O I   1 0 . 1 0 9 8 / r s p b . 2 0 0 9 . 0 1 2 1 ;   S e b a s t i a n i   F ,   2 0 0 2 ,   A C M   C O M P U T   S U R V ,   V 3 4 ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 5 0 5 2 8 2 . 5 0 5 2 8 3 ;   T o w n s e n d   J . ,   2 0 0 0 ,   P R A G M A T   C O G N ,   V 8 ,   P 8 3 ,   D O I   1 0 . 1 0 7 5 / p c . 8 . 1 . 0 5 t o w ;   T r u e b l o o d   J S ,   2 0 1 1 ,   C O G N I T I V E   S C I ,   V 3 5 ,   P 1 5 1 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 5 1 - 6 7 0 9 . 2 0 1 1 . 0 1 1 9 7 . x 	 1 4 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 5 4 9 4 3 - 4 ;   9 7 8 - 3 - 6 4 2 - 5 4 9 4 2 - 7 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 4 	 8 3 6 9 	 	 	 	 	 	 2 2 	 3 3 	 	 1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 5 4 9 4 3 - 4 _ 3 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 3 N K 	 W O S : 0 0 0 3 4 2 9 0 7 9 0 0 0 0 3 	 	 
 S 	 L e o n g ,   H U ;   Y a o ,   K ;   M a k ,   H F 	 	 L i ,   F ;   L i ,   G ;   H w a n g ,   S W ;   Y a o ,   B ;   Z h a n g ,   Z 	 	 L e o n g ,   H o u   U . ;   Y a o ,   K u n ;   M a k ,   H o i   F o n g 	 	 	 P a t h S i m E x t :   R e v i s i t i n g   P a t h S i m   i n   H e t e r o g e n e o u s   I n f o r m a t i o n   N e t w o r k s 	 W E B - A G E   I N F O R M A T I O N   M A N A G E M E N T ,   W A I M   2 0 1 4 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W e b - A g e   I n f o r m a t i o n   M a n a g e m e n t   ( W A I M ) 	 J U N   1 6 - 1 8 ,   2 0 1 4 	 M a c a u ,   P E O P L E S   R   C H I N A 	 	 	 	 	 S i m i l a r i t y   q u e r i e s   i n   g r a p h   d a t a b a s e s   h a v e   b e e n   s t u d i e d   o v e r   t h e   p a s t   f e w   d e c a d e s .   T y p i c a l l y ,   t h e   s i m i l a r i t y   q u e r i e s   a r e   u s e d   i n   h o m o g e n e o u s   n e t w o r k s ,   w h e r e   r a n d o m   w a l k   b a s e d   a p p r o a c h e s   ( e . g . ,   P e r s o n a l i z e d   P a g e R a n k   a n d   S i m - R a n k )   a r e   t h e   r e p r e s e n t a t i v e   m e t h o d s .   H o w e v e r ,   t h e s e   a p p r o a c h e s   d o   n o t   w e l l   s u i t   f o r   h e t e r o g e n e o u s   n e t w o r k s   t h a t   c o n s i s t   o f   m u l t i - t y p e d   a n d   i n t e r c o n n e c t e d   o b j e c t s ,   s u c h   a s   b i b l i o g r a p h i c   i n f o r m a t i o n ,   s o c i a l   m e d i a   n e t w o r k s ,   c r o w d s o u r c i n g   d a t a ,   e t c .   I n t u i t i v e l y ,   t w o   o b j e c t s   a r e   s i m i l a r   i n   h e t e r o g e n e o u s   n e t w o r k s   i f   t h e y   h a v e   s t r o n g   c o n n e c t i o n s   a m o n g   t h e   h e t e r o g e n e o u s   r e l a t i o n s h i p s .   P a t h S i m   i s   t h e   f i r s t   w o r k   t o   a d d r e s s   t h i s   p r o b l e m   w h i c h   c a p t u r e s   t h e   s i m i l a r i t y   o f   t w o   o b j e c t s   b a s e d   o n   t h e i r   c o n n e c t i v i t y   a l o n g   a   s e m a n t i c   p a t h .   H o w e v e r ,   P a t h S i m   o n l y   c o n s i d e r s   t h e   i n f o r m a t i o n   i n   t h e   s e m a n t i c   p a t h   b u t   s i m p l y   o m i t   o t h e r   s u p p o r t i v e   i n f o r m a t i o n   ( e . g . ,   n u m b e r   o f   c i t a t i o n s   i n   b i b l i o g r a p h i c   d a t a ) .   T h u s   w e   r e v i s i t   t h e   d e f i n i t i o n   o f   P a t h S i m   b y   i n t r o d u c i n g   e x t e r n a l   s u p p o r t   t o   e n r i c h   t h e   r e s u l t   o f   P a t h S i m . 	 [ L e o n g ,   H o u   U . ;   Y a o ,   K u n ;   M a k ,   H o i   F o n g ]   U n i v   M a c a u ,   D e p t   C o m p   &   I n f o r m a t   S c i ,   M a c a o ,   P e o p l e s   R   C h i n a 	 L e o n g ,   H U   ( r e p r i n t   a u t h o r ) ,   U n i v   M a c a u ,   D e p t   C o m p   &   I n f o r m a t   S c i ,   M a c a o ,   P e o p l e s   R   C h i n a . 	 r y a n l h u @ u m a c . m o ;   y a o k u n 5 2 7 @ q q . c o m ;   l e o m a k @ u m a c . m o 	 	 	 	 	 H a n   J . ,   2 0 0 9 ,   L N C S ,   V 5 8 0 9 ,   P 3 ;   J e h   G . ,   2 0 0 2 ,   K D D   0 2 ,   P 5 3 8 ,   D O I   D O I   1 0 . 1 1 4 5 / 7 7 5 0 4 7 . 7 7 5 1 2 6 ;   J e h   G . ,   2 0 0 3 ,   W W W   0 3 ,   P 2 7 1 ;   S u n   Y . ,   2 0 1 1 ,   P V L D B ,   V 4 ,   P 9 9 2 	 4 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 3 1 9 - 0 8 0 1 0 - 9 ;   9 7 8 - 3 - 3 1 9 - 0 8 0 0 9 - 3 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 4 	 8 4 8 5 	 	 	 	 	 	 3 8 	 4 2 	 	 	 	 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 3 L O 	 W O S : 0 0 0 3 4 2 8 3 8 5 0 0 0 0 6 	 	 
 S 	 F e n g ,   J H ;   F e n g ,   J H ;   H u ,   H Q 	 	 L i ,   F ;   L i ,   G ;   H w a n g ,   S W ;   Y a o ,   B ;   Z h a n g ,   Z 	 	 F e n g ,   J i a n h o n g ;   F e n g ,   J i a n h u a ;   H u ,   H u i q i 	 	 	 L e v e r a g i n g   A t t r i b u t e s   a n d   C r o w d s o u r c i n g   f o r   J o i n 	 W E B - A G E   I N F O R M A T I O N   M A N A G E M E N T ,   W A I M   2 0 1 4 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W e b - A g e   I n f o r m a t i o n   M a n a g e m e n t   ( W A I M ) 	 J U N   1 6 - 1 8 ,   2 0 1 4 	 M a c a u ,   P E O P L E S   R   C H I N A 	 	 	 	 	 J o i n   o p e r a t i o n   i s   u s u a l l y   h a r d   t o   a c h i e v e   h i g h   q u a l i t y   w i t h   m a c h i n e   a l o n e .   W e   a d o p t   c r o w d s o u r c i n g   t o   i m p r o v e   t h e   q u a l i t y   o f   j o i n .   D e p e n d i n g   o n   t h e   n u m b e r   o f   g e n e r a t e d   p a i r s ,   t h e   o v e r a l l   c o s t   c a n   b e   e x p e n s i v e   f o r   h i r i n g   w o r k e r s   t o   d o   t h e   v e r i f i c a t i o n .   W e   p r o p o s e   a   h y b r i d   a p p r o a c h   t o   g e n e r a t e   p a i r s   b y   l e v e r a g i n g   a t t r i b u t e s ,   w h i c h   c o m b i n e s   c a t e g o r y ,   s o r t i n g   a n d   c l u s t e r i n g   t e c h n i q u e s ,   c a l l e d   C S C E R .   W e   a l s o   p r o p o s e   a n   a d a p t i v e   a t t r i b u t e - s e l e c t i o n   s t r a t e g y   t o   e f f i c i e n t l y   g e n e r a t e   p a i r s   b a s e d   o n   a t t r i b u t e s .   E x p e r i m e n t s   o n   a   r e a l   c r o w d s o u r c i n g   p l a t f o r m   u s i n g   r e a l   d a t a s e t s   i n d i c a t e   t h a t   o u r   a p p r o a c h e s   s a v e   t h e   o v e r a l l   c o s t   c o m p a r e d   t o   e x i s t i n g   m e t h o d s   a n d   a c h i e v e   h i g h   q u a l i t y   o f   j o i n   r e s u l t s . 	 [ F e n g ,   J i a n h o n g ;   F e n g ,   J i a n h u a ;   H u ,   H u i q i ]   T s i n g h u a   U n i v ,   D e p t   C o m p   S c i ,   B e i j i n g   1 0 0 0 8 4 ,   P e o p l e s   R   C h i n a 	 F e n g ,   J H   ( r e p r i n t   a u t h o r ) ,   T s i n g h u a   U n i v ,   D e p t   C o m p   S c i ,   B e i j i n g   1 0 0 0 8 4 ,   P e o p l e s   R   C h i n a . 	 f e n g j h 1 1 @ m a i l s . t h u . e d u . c n ;   f e n g j h @ t s i n g h u a . e d u . c n ;   h h q 1 1 @ m a i l s . t h u . e d u . c n 	 	 	 	 	 M a r c u s   A . ,   2 0 1 1 ,   P   V L D B   E N D O W ,   V 5 ,   P 1 3 ;   W a n g   J . ,   2 0 1 3 ,   S I G M O D   C ,   P 2 2 9 ;   W a n g   J . ,   2 0 1 2 ,   P V L D B ,   V 5 ,   P 1 4 8 3 	 3 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 3 1 9 - 0 8 0 1 0 - 9 ;   9 7 8 - 3 - 3 1 9 - 0 8 0 0 9 - 3 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 4 	 8 4 8 5 	 	 	 	 	 	 4 4 8 	 4 5 2 	 	 	 	 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 3 L O 	 W O S : 0 0 0 3 4 2 8 3 8 5 0 0 0 4 7 	 	 
 S 	 Y e ,   C ;   W a n g ,   H Z ;   G a o ,   H ;   L i ,   J Z ;   X i e ,   H 	 	 L i ,   F ;   L i ,   G ;   H w a n g ,   S W ;   Y a o ,   B ;   Z h a n g ,   Z 	 	 Y e ,   C h e n ;   W a n g ,   H o n g z h i ;   G a o ,   H o n g ;   L i ,   J i a n z h o n g ;   X i e ,   H u i 	 	 	 T r u t h   D i s c o v e r y   B a s e d   o n   C r o w d s o u r c i n g 	 W E B - A G E   I N F O R M A T I O N   M A N A G E M E N T ,   W A I M   2 0 1 4 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W e b - A g e   I n f o r m a t i o n   M a n a g e m e n t   ( W A I M ) 	 J U N   1 6 - 1 8 ,   2 0 1 4 	 M a c a u ,   P E O P L E S   R   C H I N A 	 	 	 t r u t h   d i s c o v e r y ;   c r o w d s o u r c i n g ;   a c t i v e   l e a r n i n g 	 	 T r u t h   d i s c o v e r y   i s   a n   i m p o r t a n t   c o m p o n e n t   o f   d a t a   c l e a n i n g   a n d   i n f o r m a t i o n   i n t e g r a t i o n .   H o w e v e r ,   i n   t h e   a b s e n c e   o f   k n o w l e d g e ,   s o m e   t r u t h   c o u l d   n o t   b e   f o u n d   f r o m   d a t a b a s e s   t h e m s e l v e s .   A   p o s s i b l e   s o l u t i o n   i s   t o   i n v o l v e   c r o w d s   t o   f i n d   a l l   t h e   t r u t h   w i t h   t h e   k n o w l e d g e   o f   c r o w d s .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   t r u t h   d i s c o v e r y   f r a m e w o r k   b a s e d   o n   a c t i v e   l e a r n i n g   m o d e l   w i t h   c r o w d s o u r c i n g .   F i r s t ,   w e   g i v e   t h e   b a s i c   v o t i n g   a l g o r i t h m   B V o t e .   T h e n   w e   p r e s e n t   t h e   s i m p l e   c r o w d i n g - b a s e d   t r u t h   d i s c o v e r y   f r a m e w o r k   S T D A   b a s e d   o n   B V o t e .   E x p e r i m e n t a l   r e s u l t s   s h o w   t h a t   t h e   S T D A   f r a m e w o r k   f o r   t r u t h   d i s c o v e r y   h a s   i m p r o v e d   s i g n i f i c a n t l y   i n   a c c u r a c y   w i t h   m i n i m a l   e f f o r t s   o f   w o r k e r s . 	 [ Y e ,   C h e n ;   W a n g ,   H o n g z h i ;   G a o ,   H o n g ;   L i ,   J i a n z h o n g ;   X i e ,   H u i ]   H a r b i n   I n s t   T e c h n o l ,   H a r b i n   1 5 0 0 0 6 ,   P e o p l e s   R   C h i n a 	 Y e ,   C   ( r e p r i n t   a u t h o r ) ,   H a r b i n   I n s t   T e c h n o l ,   H a r b i n   1 5 0 0 0 6 ,   P e o p l e s   R   C h i n a . 	 s u n n y l e a v e s 0 2 2 8 @ q q . c o m ;   w a n g z h i @ h i t . e d u . c n ;   h o n g g a o @ h i t . e d u . c n ;   l i j z h @ h i t . e d u . c n ;   x i e h u i x b @ g m a i l . c o m 	 	 	 	 	 C o h n   D . A . ,   1 9 9 6 ,   C S 9 6 0 3 1 0 4   A R X I V ;   D o n g   X . L . ,   2 0 1 0 ,   V L D B   2 0 1 0 ;   G a l l a n d   A . ,   2 0 1 0 ,   W S D M   2 0 1 0 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   Y i n   X . ,   2 0 0 7 ,   K D D   2 0 0 7 	 5 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 3 1 9 - 0 8 0 1 0 - 9 ;   9 7 8 - 3 - 3 1 9 - 0 8 0 0 9 - 3 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 4 	 8 4 8 5 	 	 	 	 	 	 4 5 3 	 4 5 8 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 3 L O 	 W O S : 0 0 0 3 4 2 8 3 8 5 0 0 0 4 8 	 	 
 S 	 C h e n g ,   J ;   W a n g ,   M D ;   L i ,   B ;   W a n g ,   X L 	 	 L i ,   F ;   L i ,   G ;   H w a n g ,   S W ;   Y a o ,   B ;   Z h a n g ,   Z 	 	 C h e n g ,   J i ;   W a n g ,   M e n g d i ;   L i ,   B o ;   W a n g ,   X i a o l i n g 	 	 	 S m a r t C a r e :   L o c a t i o n   B a s e d   e - C a r e   A s s i s t a n t   o n   A z u r e 	 W E B - A G E   I N F O R M A T I O N   M A N A G E M E N T ,   W A I M   2 0 1 4 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W e b - A g e   I n f o r m a t i o n   M a n a g e m e n t   ( W A I M ) 	 J U N   1 6 - 1 8 ,   2 0 1 4 	 M a c a u ,   P E O P L E S   R   C H I N A 	 	 	 	 	 F a c i n g   t h e   s e v e r e   p o p u l a t i o n   a g i n g   t r e n d   i n   t h e   W o r l d ,   t h e   a s s i s t a n c e   o f   i n f o r m a t i o n   t e c h n o l o g y   i s   n e c e s s a r y   w h e n   t a k i n g   c a r e   o f   s e n i o r   c i t i z e n s .   W i t h   t h e   d e v e l o p m e n t   o f   h u m a n - c o m p u t e r   i n t e r a c t i o n   t h e   a c c e s s i b i l i t y   o f   e l e c t r o n i c   d e v i c e s   a r e   g r e a t l y   e n h a n c e d .   T h i s   d e m o n s t r a t i o n   p a p e r   p r e s e n t s   a   s y s t e m   a i m i n g   a t   a s s i s t i n g   g u a r d i a n s   t o   n u r s i n g   t h e   e l d e r s   m a i n l y   i n v o l v i n g   c l o u d   c o m p u t i n g ,   l o c a t i o n   b a s e d   s e r v i c e   a n d   c r o w d s o u r c i n g ;   i n c l u d e s   t h r e e   c o m p o n e n t s :   ( 1 )   A   p h o n e   a p p   w h i c h   a l l o w s   g u a r d i a n s   t o   s c h e d u l e   i t e m s ;   w i t h   r e g a r d i n g   t o   t h e   l o c a t i o n   a n d   t i m e   t h e   a p p   a l e r t s   t h e   e l d e r s   w i t h   t e x t - t o - s p e e c h   e n g i n e s .   ( 2 )   A   w e a r a b l e   b r a c e l e t   c o l l e c t s   t h e   v i t a l   s i g n s   o f   t h e   e l d e r s   a n d   s e n d s   d a t a   t o   t h e   c l o u d .   ( 3 )   A   r e a l - t i m e   d a t a   s t o r a g e   a n d   a n a l y s i s   s e r v i c e   d e p l o y e d   o n   A z u r e ,   w h i c h   c o l l e c t s   t h e   v i t a l   s i g n s   a n d   G P S   d a t a   o f   t h e   e l d e r s   t h e n   d e t e c t   a b n o r m a l   t r a j e c t o r i e s   a n d   v i t a l   s i g n s ,   i f   d e t e c t e d   i t   a l e r t s   t h e   g u a r d i a n . 	 [ C h e n g ,   J i ;   W a n g ,   M e n g d i ;   L i ,   B o ;   W a n g ,   X i a o l i n g ]   E   C h i n a   N o r m a l   U n i v ,   I n s t   S o f t w a r e   E n g n ,   I n s t   D a t a   S c i   &   E n g n ,   S h a n g h a i   K e y   L a b   T r u s t w o r t h y   C o m p ,   S h a n g h a i   2 0 0 0 6 2 ,   P e o p l e s   R   C h i n a 	 C h e n g ,   J   ( r e p r i n t   a u t h o r ) ,   E   C h i n a   N o r m a l   U n i v ,   I n s t   S o f t w a r e   E n g n ,   I n s t   D a t a   S c i   &   E n g n ,   S h a n g h a i   K e y   L a b   T r u s t w o r t h y   C o m p ,   S h a n g h a i   2 0 0 0 6 2 ,   P e o p l e s   R   C h i n a . 	 c h e n g j i r o b i n @ g m a i l . c o m 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 0 5 ,   U N   H U M A N   D E V   R E P O R T ;   D a q i n g   Z . ,   2 0 1 1 ,   P   1 3   I N T   C   U B   C O M P ,   P 9 9 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   J o h n s t o n   S . J . ,   2 0 1 3 ,   J   C L O U D   C O M P U T I N G ,   V 2 ,   P 1 ;   K o l l a r   D . ,   2 0 0 9 ,   P R O B A B I L I S T I C   G R A P H I 	 5 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 3 1 9 - 0 8 0 1 0 - 9 ;   9 7 8 - 3 - 3 1 9 - 0 8 0 0 9 - 3 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 4 	 8 4 8 5 	 	 	 	 	 	 8 3 2 	 8 3 4 	 	 	 	 3 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 3 L O 	 W O S : 0 0 0 3 4 2 8 3 8 5 0 0 0 9 0 	 	 
 S 	 L a r s o n ,   M ;   M e l e n h o r s t ,   M ;   M e n e n d e z ,   M ;   X u ,   P 	 	 I o n e s c u ,   B ;   B e n o i s P i n e a u ,   J ;   P i a t r i k ,   T ;   Q u e n o t ,   G 	 	 L a r s o n ,   M a r t h a ;   M e l e n h o r s t ,   M a r k ;   M e n e n d e z ,   M a r i a ;   X u ,   P e n g 	 	 	 U s i n g   C r o w d s o u r c i n g   t o   C a p t u r e   C o m p l e x i t y   i n   H u m a n   I n t e r p r e t a t i o n s   o f   M u l t i m e d i a   C o n t e n t 	 F U S I O N   I N   C O M P U T E R   V I S I O N :   U N D E R S T A N D I N G   C O M P L E X   V I S U A L   C O N T E N T 	 A d v a n c e s   i n   C o m p u t e r   V i s i o n   a n d   P a t t e r n   R e c o g n i t i o n 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 	 Q O E   A S S E S S M E N T 	 L a r g e - s c a l e   c r o w d s o u r c i n g   p l a t f o r m s   a r e   a   k e y   t o o l   a l l o w i n g   r e s e a r c h e r s   i n   t h e   a r e a   o f   m u l t i m e d i a   c o n t e n t   a n a l y s i s   t o   g a i n   i n s i g h t   i n t o   h o w   u s e r s   i n t e r p r e t   s o c i a l   m u l t i m e d i a .   T h e   g o a l   o f   t h i s   a r t i c l e   i s   t o   s u p p o r t   t h i s   p r o c e s s   i n   a   p r a c t i c a l   m a n n e r   t h a t   o p e n s   t h e   p a t h   f o r   p r o d u c t i v e   e x p l o i t a t i o n   o f   c o m p l e x   h u m a n   i n t e r p r e t a t i o n s   o f   m u l t i m e d i a   c o n t e n t   w i t h i n   m u l t i m e d i a   s y s t e m s .   W e   f i r s t   d i s c u s s   i n   d e t a i l   t h e   n a t u r e   o f   c o m p l e x i t y   i n   h u m a n   i n t e r p r e t a t i o n s   o f   m u l t i m e d i a ,   a n d   w h y   w e ,   a s   r e s e a r c h e r s ,   s h o u l d   l o o k   o u t w a r d   t o   t h e   c r o w d ,   r a t h e r   t h a n   i n w a r d   t o   o u r s e l v e s ,   t o   d e t e r m i n e   w h a t   u s e r s   c o n s i d e r   i m p o r t a n t   a b o u t   t h e   c o n t e n t   o f   i m a g e s   a n d   v i d e o s .   T h e n ,   w e   p r e s e n t   s t r a t e g i e s   a n d   i n s i g h t s   f r o m   o u r   o w n   e x p e r i e n c e   i n   d e s i g n i n g   t a s k s   f o r   c r o w d w o r k e r s .   O u r   t e c h n i q u e s   a r e   u s e f u l   t o   r e s e a r c h e r s   i n t e r e s t e d   i n   e l i c i t i n g   i n f o r m a t i o n   a b o u t   t h e   e l e m e n t s   a n d   a s p e c t s   o f   m u l t i m e d i a   t h a t   a r e   i m p o r t a n t   i n   t h e   c o n t e x t s   i n   w h i c h   h u m a n s   u s e   s o c i a l   m u l t i m e d i a . 	 [ L a r s o n ,   M a r t h a ;   M e l e n h o r s t ,   M a r k ;   X u ,   P e n g ]   D e l f t   U n i v   T e c h n o l ,   D e p t   I n t e l l i g e n t   S y s t ,   D e l f t ,   N e t h e r l a n d s ;   [ M e n e n d e z ,   M a r i a ]   U n i v   T r e n t o ,   D e p t   I n f o r m a t   E n g n   &   C o m p   S c i ,   T r e n t o ,   I t a l y 	 L a r s o n ,   M   ( r e p r i n t   a u t h o r ) ,   D e l f t   U n i v   T e c h n o l ,   D e p t   I n t e l l i g e n t   S y s t ,   D e l f t ,   N e t h e r l a n d s . 	 m . a . l a r s o n @ t u d e l f t . n l ;   m . s . m e l e n h o r s t @ t u d e l f t . n l ;   m e n e n d e z @ d i s i . u n i t n . i t ;   p . x u @ t u d e l f t . n l 	 	 	 	 	 B a r t h e s   R o l a n d ,   1 9 7 7 ,   I M A G E   M U S I C   T E X T ;   B e a v e r   D I ,   2 0 1 3 ,   S T A N F O R D   E N C Y   P H I L O S ;   B o r t h   D ,   2 0 1 3 ,   P   A C M   M M ,   P 2 2 3 ;   C h e n   K T ,   2 0 1 0 ,   I E E E   N E T W O R K ,   V 2 4 ,   P 2 8 ,   D O I   1 0 . 1 1 0 9 / M N E T . 2 0 1 0 . 5 4 3 0 1 4 1 ;   C o c k t o n   G ,   2 0 0 1 ,   P E O P L E   C O M P U T E R S ,   P 1 7 1 ;   C o n o t t e r   V ,   2 0 1 4 ,   P R O C   S P I E ,   V 9 0 1 4 ,   D O I   1 0 . 1 1 1 7 / 1 2 . 2 0 3 9 4 1 8 ;   D e n g   J ,   2 0 0 9 ,   P R O C   C V P R   I E E E ,   P 2 4 8 ;   G a l l i   L ,   2 0 1 2 ,   S O C I A L C O M M   2 0 1 2   A S E ,   P 9 1 4 ;   G e n e v i e v e   P ,   2 0 1 2 ,   P   2 0 1 2   I E E E   C   C O M P   V ,   P 2 7 5 1 ;   G l a s e r   B G ,   1 9 6 7 ,   S T R A T E G I E S   Q U A L I T A T I ;   H o s s f e l d   T ,   2 0 1 4 ,   I E E E   T   M U L T I M E D I A ,   V 1 6 ,   P 5 4 1 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 1 3 . 2 2 9 1 6 6 3 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   K e n n e d y   L ,   2 0 0 6 ,   9 4 9   C O M P   S C I   D E P ;   L i   X R ,   2 0 1 2 ,   I E E E   T   M U L T I M E D I A ,   V 1 4 ,   P 1 0 9 1 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 1 2 . 2 1 9 1 9 4 3 ;   L i u   D . ,   2 0 0 9 ,   W W W ,   P 3 5 1 ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   M o r r i s   R R ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 1 3 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 6 8 ;   M u r p h y   G .   L . ,   2 0 0 2 ,   B I G   B O O K   C O N C E P T S ;   N i e   L ,   2 0 1 2 ,   P   2 0   A C M   I N T   C   M U L T ,   P 5 9 ;   N i e l s e n   J ,   1 9 9 3 ,   P   A C M   I N T E R C H I   9 3   C ,   P 2 0 6 ,   D O I   1 0 . 1 1 4 5 / 1 6 9 0 5 9 . 1 6 9 1 6 6 ;   N i e l s e n   J ,   1 9 9 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 5 2 ,   D O I   1 0 . 1 1 4 5 / 1 9 1 6 6 6 . 1 9 1 7 2 9 ;   N o w a k   S ,   2 0 1 0 ,   M I R   1 0   P   I N T   C   M U L T ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 5 ;   P a r i k h   D ,   2 0 1 1 ,   P R O C   C V P R   I E E E ,   P 1 6 8 1 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 1 . 5 9 9 5 4 5 1   ;   P r e l e c   D ,   2 0 0 4 ,   S C I E N C E ,   V 3 0 6 ,   P 4 6 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 0 2 0 8 1 ;   Q u i n n   A J ,   2 0 1 1 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 4 0 3 ;   R a f f e r t y   P ,   2 0 0 5 ,   I N D E X I N G   M U L T I M E D I A ;   R o s s   J . ,   2 0 1 0 ,   C H I   E A   1 0   P   2 8   I N T   C ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 ;   S m e a t o n   A .   F . ,   2 0 0 6 ,   P   8   A C M   I N T   W O R K S H   M ,   P 3 2 1 ,   D O I   1 0 . 1 1 4 5 / 1 1 7 8 6 7 7 . 1 1 7 8 7 2 2 ;   S n o e k   C G M ,   2 0 1 0 ,   M M   1 0   P   I N T   C   M U L T ,   P 1 5 3 5 ;   S p y r i d a k i s   J H ,   2 0 0 0 ,   T E C H   C O M M U N ,   V 4 7 ,   P 3 5 9 ;   S z a b o   Z G ,   2 0 1 3 ,   S T A N F O R D   E N C Y   P H I L O S ;   V a n   d e n   H a a k   M J ,   2 0 0 4 ,   I N T E R A C T   C O M P U T ,   V 1 6 ,   P 1 1 5 3 ,   D O I   1 0 . 1 0 1 6 / j . i n t c o m . 2 0 0 4 . 0 7 . 0 0 7 ;   V l i e g e n d h a r t   R ,   2 0 1 2 ,   C R O W D S E A R C H   2 0 1 2   1   I ,   P 5 4 ;   W i e n e c k   L ,   2 0 1 3 ,   P   C   H I S T   2 0 1 3   K Y O T 	 3 5 	 0 	 0 	 S P R I N G E R - V E R L A G   L O N D O N   L T D 	 G O D A L M I N G 	 S W E E T A P P L E   H O U S E   C A T T E S H A L L   R D   F A R N C O M B E ,   G O D A L M I N G   G U 7   1 N H ,   S U R R E Y ,   E N G L A N D 	 2 1 9 1 - 6 5 8 6 	 	 9 7 8 - 3 - 3 1 9 - 0 5 6 9 6 - 8 ;   9 7 8 - 3 - 3 1 9 - 0 5 6 9 5 - 1 	 A D V   C O M P U T   V I S   P A T T 	 	 	 2 0 1 4 	 	 	 	 	 	 	 2 2 9 	 2 6 9 	 	 1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 0 5 6 9 6 - 8 _ 1 0 	 1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 0 5 6 9 6 - 8 	 4 1 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 B B 3 A T 	 W O S : 0 0 0 3 4 2 6 2 0 2 0 0 0 1 1 	 	 
 J 	 G i e s ,   L ;   B o r t o l u z z i ,   M 	 	 	 	 G i e s ,   L i e v e ;   B o r t o l u z z i ,   M a r i a 	 	 	 P u r i t y   a n d   c o n t a m i n a t i o n   i n   o n l i n e   p o p u l a r   f o r e n s i c s :   a m a t e u r - e x p e r t   r e a d i n g s   o f   t h e   M e r e d i t h   K e r c h e r   m u r d e r   c a s e 	 C O N T I N U U M - J O U R N A L   O F   M E D I A   &   C U L T U R A L   S T U D I E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 T h i s   a r t i c l e   e x a m i n e s   o n l i n e   d i s c o u r s e s   o f   i n n o c e n c e   a n d   g u i l t   i n   t h e   M e r e d i t h   K e r c h e r   m u r d e r   c a s e .   O n e   o f   i t s   p r o t a g o n i s t s ,   A m a n d a   K n o x ,   s p a r k e d   i n t e n s e   d i s c u s s i o n   a c r o s s   t h e   e n t i r e   m e d i a s c a p e .   W e   d i s c u s s   h o w   t h e   t w o   p r i n c i p a l   o n l i n e   c o m m u n i t i e s   i n   t h i s   c a s e   d e c o n s t r u c t e d   t h e   f o r e n s i c s   o f   a   c r i m e   t h a t   h a s   c o n t i n u e d   t o   d i v i d e   b o t h   s o c i a l   a n d   c o n v e n t i o n a l   m a s s   m e d i a .   E l a b o r a t i n g   t h e   c o n c e p t   o f   t h e   a m a t e u r - e x p e r t   w h i c h   h a s   e c h o e s   o f   c r o w d s o u r c i n g ,   f a n d o m ,   c o m m u n i t i e s   o f   p r a c t i c e   a n d   s e l f - h e l p   c u l t u r e s ,   w e   a r g u e   t h a t   o n l i n e   e n g a g e m e n t   w i t h   f o r e n s i c s   a m o u n t s   t o   a   p a r t i c u l a r l y   i n t e n s e   f o r m   o f   p a r t i c i p a t i o n   w h i c h   i s   n e i t h e r   t h a t   o f   a   p r o f e s s i o n a l   n o r   t h a t   o f   t h e   c a s u a l   o b s e r v e r .   A s   f o r   t h e   t y p e   o f   a m a t e u r - e x p e r t   d i s c o u r s e   t h a t   w a s   p r o d u c e d   i n   o r d e r   t o   m a k e   s e n s e   o f   t h e   K e r c h e r   m u r d e r ,   w e   o b s e r v e   h o w   n o t i o n s   o f   p u r i t y   a n d   c o n t a m i n a t i o n ,   w h i c h   c o n s t i t u t e   a   p r o m i n e n t   s o u r c e   o f   m e t a p h o r s   f o r   c u l t u r a l   r e p r e s e n t a t i o n s   o f   i n n o c e n c e   a n d   g u i l t ,   p u r v e y e d   t h e   l e x i c o n   w i t h   w h i c h   s u s p e c t s '   c u l p a b i l i t y   a n d   t h e   p r o b i t y   o f   l e g a l - f o r e n s i c   p r o c e d u r e s   w e r e   s c r u t i n i z e d   b y   o n l i n e   f o r u m s . 	 [ G i e s ,   L i e v e ]   U n i v   L e i c e s t e r ,   D e p t   M e d i a   &   C o m m u n ,   L e i c e s t e r ,   L e i c s ,   E n g l a n d ;   [ B o r t o l u z z i ,   M a r i a ]   U n i v   U d i n e ,   D e p t   F o r e i g n   L a n g u a g e s   &   L i t e r a t u r e s ,   I - 3 3 1 0 0   U d i n e ,   I t a l y 	 G i e s ,   L   ( r e p r i n t   a u t h o r ) ,   U n i v   L e i c e s t e r ,   D e p t   M e d i a   &   C o m m u n ,   L e i c e s t e r ,   L e i c s ,   E n g l a n d . 	 l g 1 4 9 @ l e . a c . u k 	 	 	 	 	 A n n u n z i a t o   S ,   2 0 1 1 ,   H I S T   J   F I L M   R A D I O   T V ,   V 3 1 ,   P 6 1 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 3 9 6 8 5 . 2 0 1 1 . 5 5 2 6 9 7 ;   B a u m a n   Z . ,   2 0 0 4 ,   W A S T E D   L I V E S   M O D E R N I ;   C a m p b e l l   M a t t h e w ,   2 0 1 1 ,   S U N D A Y   T I M E S ,   P 1 6 ;   C a m p k i n   B e n ,   2 0 0 7 ,   D I R T   N E W   G E O G R A P H I E S ,   P 6 8 ;   C e r t e a u   M . ,   1 9 8 4 ,   P R A C T I C E   E V E R Y D A Y   L I ;   C h i u   Y C ,   2 0 1 1 ,   Q U A L   H E A L T H   R E S ,   V 2 1 ,   P 1 6 5 8 ,   D O I   1 0 . 1 1 7 7 / 1 0 4 9 7 3 2 3 1 1 4 1 7 4 5 5 ;   C h u r c h e r   S h a r o n ,   2 0 0 7 ,   D A I L Y   M A I L ;   D e i g n a n   A l i c e ,   2 0 1 0 ,   M E T A P H O R   A N A L ,   P 4 4 ;   D o u g l a s   M a r y ,   1 9 6 6 ,   P U R I T Y   A N G E R   A N A L   C O ;   G i e s   L i e v e ,   2 0 1 3 ,   L A W   A G   M E D   L O G   W O R K S ;   J e n k i n s   H e n r y ,   1 9 9 2 ,   T E X T U A L   P O A C H E R S   T E L ;   J e r m y n   D ,   2 0 0 7 ,   C R I M E   W A T C H I N G   I N V E S ;   J e r m y n   D e b o r a h ,   2 0 0 7 ,   R E A D I N G   C S I   C R I M E   T V ,   P 7 9 ;   K o v e c s e s   Z o l t a n ,   2 0 1 0 ,   M E T A P H O R   P R A C T I C A L   I ;   L e a d b e a t e r   C h a r l e s ,   2 0 0 4 ,   P R O   A M   R E V O L U T I O N   E N ;   M a s l e n   R o b e r t ,   2 0 1 0 ,   M E T A P H O R   A N A L ;   M i r a b e l l a   J u l i a   G r a c e ,   2 0 1 2 ,   B O S T O N   U   I N T   L A W   J ,   V 3 0 ,   P 2 2 9 ;   R a y s o n   P . ,   2 0 0 8 ,   I N T   J   C O R P U S   L I N G U I S ,   V 1 3 ,   P 5 1 9 ,   D O I   D O I   1 0 . 1 0 7 5 / I J C L . 1 3 . 4 . 0 6 R A Y ;   R h e i n g o l d   H o w a r d ,   2 0 0 8 ,   J   V I R T U A L   W O R L D S   R E S ,   V 1 ,   P 2 ;   S e a l   L ,   2 0 1 0 ,   C U L T   C R I M I N O L ,   P 1 ,   D O I   1 0 . 1 0 5 7 / 9 7 8 0 2 3 0 2 9 4 5 0 9 ;   S e l k e t   K y r o ,   2 0 0 7 ,   D I R T   N E W   G E O G R A P H I E S ,   P 4 9 ;   S e m i n o   E ,   2 0 0 8 ,   M E T A P H O R   I N   D I S C O U R S E ,   P 1 ;   W e a v e r   R ,   2 0 1 2 ,   A U S T   J   F O R E N S I C   S C I ,   V 4 4 ,   P 3 8 1 ,   D O I   1 0 . 1 0 8 0 / 0 0 4 5 0 6 1 8 . 2 0 1 2 . 6 9 1 5 4 7 ;   W e i s m a n n   E l k e ,   2 0 0 7 ,   R E A D I N G   C S I   C R I M E   T V ,   P 9 0 ;   W E L L M A N   B . ,   2 0 0 3 ,   J   C O M P U T E R   M E D I A T E D ,   V 8 ;   W e n g e r   E t i e n n e ,   1 9 9 8 ,   C O M M U N I T I E S   P R A C T I C E ;   W o l k o w i t z   C . ,   2 0 0 7 ,   D I R T   N E W   G E O G R A P H I E S ,   P 1 5 ;   Z h o n g   C B ,   2 0 0 6 ,   S C I E N C E ,   V 3 1 3 ,   P 1 4 5 1 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 3 0 7 2 6 	 2 8 	 0 	 0 	 R O U T L E D G E   J O U R N A L S ,   T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X F O R D S H I R E ,   E N G L A N D 	 1 0 3 0 - 4 3 1 2 	 1 4 6 9 - 3 6 6 6 	 	 C O N T I N U U M - J   M E D I A   C U 	 C o n t i n u u m - J .   M e d i a   C u l t .   S t u d . 	 	 2 0 1 4 	 2 8 	 4 	 	 	 	 	 5 3 2 	 5 4 4 	 	 1 0 . 1 0 8 0 / 1 0 3 0 4 3 1 2 . 2 0 1 4 . 9 0 7 8 7 1 	 	 1 3 	 C u l t u r a l   S t u d i e s ;   C o m m u n i c a t i o n ;   F i l m ,   R a d i o ,   T e l e v i s i o n 	 C u l t u r a l   S t u d i e s ;   C o m m u n i c a t i o n ;   F i l m ,   R a d i o   &   T e l e v i s i o n 	 A P 7 W I 	 W O S : 0 0 0 3 4 2 2 8 8 2 0 0 0 0 9 	 	 
 J 	 R e c k e r ,   M ;   Y u a n ,   M ;   Y e ,   L 	 	 	 	 R e c k e r ,   M i m i ;   Y u a n ,   M i n ;   Y e ,   L e i 	 	 	 C r o w d t e a c h i n g :   S u p p o r t i n g   T e a c h i n g   a s   D e s i g n i n g   i n   C o l l e c t i v e   I n t e l l i g e n c e   C o m m u n i t i e s 	 I N T E R N A T I O N A L   R E V I E W   O F   R E S E A R C H   I N   O P E N   A N D   D I S T A N C E   L E A R N I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 D i s t r i b u t e d   l e a r n i n g   e n v i r o n m e n t s ;   e v a l u a t i o n   o f   C A L   s y s t e m s ;   i n t e r a c t i v e   l e a r n i n g   e n v i r o n m e n t s ;   p e d a g o g i c a l   i s s u e s 	 R E S O U R C E S ;   T E A C H E R S 	 T h e   w i d e s p r e a d   a v a i l a b i l i t y   o f   h i g h - q u a l i t y   W e b - b a s e d   c o n t e n t   o f f e r s   n e w   p o t e n t i a l   f o r   s u p p o r t i n g   t e a c h e r s   a s   d e s i g n e r s   o f   c u r r i c u l a   a n d   c l a s s r o o m   a c t i v i t i e s .   W h e n   c o u p l e d   w i t h   a   p a r t i c i p a t o r y   W e b   c u l t u r e   a n d   i n f r a s t r u c t u r e ,   t e a c h e r s   c a n   s h a r e   t h e i r   c r e a t i o n s   a s   w e l l   a s   l e v e r a g e   f r o m   t h e   b e s t   t h a t   t h e i r   p e e r s   h a v e   t o   o f f e r   t o   s u p p o r t   a   c o l l e c t i v e   i n t e l l i g e n c e   o r   c r o w d s o u r c i n g   c o m m u n i t y ,   w h i c h   w e   d u b   c r o w d t e a c h i n g .   W e   a p p l i e d   a   c o l l e c t i v e   i n t e l l i g e n c e   f r a m e w o r k   t o   c h a r a c t e r i z e   c r o w d t e a c h i n g   i n   t h e   c o n t e x t   o f   a   W e b - b a s e d   t o o l   f o r   t e a c h e r s   c a l l e d   t h e   I n s t r u c t i o n a l   A r c h i t e c t   ( I A ) .   T h e   I A   e n a b l e s   t e a c h e r s   t o   f i n d ,   c r e a t e ,   a n d   s h a r e   i n s t r u c t i o n a l   a c t i v i t i e s   ( c a l l e d   I A   p r o j e c t s )   f o r   t h e i r   s t u d e n t s   u s i n g   o n l i n e   l e a r n i n g   r e s o u r c e s .   T h e s e   I A   p r o j e c t s   c a n   f u r t h e r   b e   v i e w e d ,   c o p i e d ,   o r   a d a p t e d   b y   o t h e r   I A   u s e r s .   T h i s   s t u d y   e x a m i n e s   t h e   u s a g e   a c t i v i t i e s   o f   t w o   s a m p l e s   o f   t e a c h e r s ,   a n d   a l s o   a n a l y z e s   t h e   c h a r a c t e r i s t i c s   o f   a   s u b s e t   o f   t h e i r   I A   p r o j e c t s .   A n a l y s e s   o f   t e a c h e r   a c t i v i t i e s   s u g g e s t   t h a t   t h e y   a r e   e n g a g i n g   i n   c r o w d t e a c h i n g   p r o c e s s e s .   T e a c h e r s ,   o n   a v e r a g e ,   c h o s e   t o   s h a r e   o v e r   h a l f   o f   t h e i r   I A   p r o j e c t s ,   a n d   c o p i e d   s o m e   d i r e c t l y   f r o m   o t h e r   I A   p r o j e c t s .   T h u s ,   t h e s e   t e a c h e r s   c a n   b e   s e e n   a s   b o t h   c o n t r i b u t o r s   t o   a n d   c o n s u m e r s   o f   c r o w d t e a c h i n g   p r o c e s s e s .   I n   a d d i t i o n ,   I A   u s e r s   p r e f e r r e d   t o   v i e w   I A   p r o j e c t s   r a t h e r   t h a n   t o   c o m p l e t e l y   c o p y   t h e m .   F i n a l l y ,   c o r r e l a t i o n a l   r e s u l t s   b a s e d   o n   a n   a n a l y s i s   o f   t h e   c h a r a c t e r i s t i c s   o f   I A   p r o j e c t s   s u g g e s t   t h a t   s e v e r a l   e a s i l y   c o m p u t e d   m e t r i c s   ( n u m b e r   o f   v i e w s ,   n u m b e r   o f   c o p i e s ,   a n d   n u m b e r   o f   w o r d s   i n   I A   p r o j e c t s )   c a n   a c t   a s   a n   i n d i r e c t   p r o x y   o f   i n s t r u c t i o n a l l y   r e l e v a n t   i n d i c a t o r s   o f   t h e   c o n t e n t   o f   I A   p r o j e c t s . 	 [ R e c k e r ,   M i m i ;   Y u a n ,   M i n ]   U t a h   S t a t e   U n i v ,   L o g a n ,   U T   8 4 3 2 2   U S A ;   [ Y e ,   L e i ]   P a c i f i c   N o r t h w e s t   U n i v   H l t h   S c i ,   Y a k i m a ,   W A   U S A 	 R e c k e r ,   M   ( r e p r i n t   a u t h o r ) ,   U t a h   S t a t e   U n i v ,   L o g a n ,   U T   8 4 3 2 2   U S A . 	 	 	 	 	 	 A b r a m o v i c h   S ,   2 0 1 2 ,   C O M P U T   E D U C ,   V 5 8 ,   P 5 5 1 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e d u . 2 0 1 1 . 0 9 . 0 0 1 ;   A n d e r s o n   C . ,   2 0 0 6 ,   L O N G   T A I L   W H Y   F U T U R E ;   A t k i n s   D . E . ,   2 0 0 7 ,   R E V   O P E N   E D   R E S O U R C E ;   B a l l   D . L . ,   1 9 9 6 ,   E D U C   R E S ,   V 2 5 ,   P 6 ,   D O I   D O I   1 0 . 3 1 0 2 / 0 0 1 3 1 8 9 X 0 2 5 0 0 9 0 0 6 ;   B a r r o w s   H .   S . ,   1 9 9 6 ,   N E W   D I R E C T I O N S   T E A C H ,   P 3 ,   D O I   D O I   1 0 . 1 0 0 2 / T L . 3 7 2 1 9 9 6 6 8 0 4 ;   B e n k l e r   Y . ,   2 0 0 6 ,   W E A L T H   N E T W O R K S   S O C I ;   B l u m e n s t o c k   J . ,   2 0 0 8 ,   P   1 7   I N T   C   W O R L D   W I D ,   P 1 0 9 5 ,   D O I   1 0 . 1 1 4 5 / 1 3 6 7 4 9 7 . 1 3 6 7 6 7 3 ;   B o r g m a n   C . ,   2 0 0 8 ,   F O S T E R I N G   L E A R N I N G   N ;   B r o w n   M . ,   2 0 0 3 ,   D E S I G N   B R I E F ;   C u s t a r d   M . ,   2 0 0 5 ,   D   L I B   M A G A Z I N E ,   V 1 1 ;   D a v i s   E .   A . ,   2 0 0 5 ,   E D   R E S ,   V 3 4 ,   P 3 ,   D O I   D O I   1 0 . 3 1 0 2 / 0 0 1 3 1 8 9 X 0 3 4 0 0 3 0 0 3 ;   D r a k e   C ,   2 0 0 6 ,   C U R R I C U L U M   I N Q ,   V 3 6 ,   P 1 5 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 7 3 X . 2 0 0 6 . 0 0 3 5 1 . x ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F a r o o q   U . ,   2 0 0 7 ,   J   C O M P U T E R   S U P P O R T E D ,   V 1 6 ,   P 3 9 7 ;   F o g l e m a n   J ,   2 0 1 1 ,   J   R E S   S C I   T E A C H ,   V 4 8 ,   P 1 4 9 ,   D O I   1 0 . 1 0 0 2 / t e a . 2 0 3 9 9 ;   K a s t e n s   K . ,   2 0 0 5 ,   D   L I B   M A G A Z I N E ,   V 1 1 ,   D O I   [ 1 0 . 1 0 4 5 / n o v e m b e r 2 0 0 5 - k a s t e n s ,   D O I   1 0 . 1 0 4 5 / N 0 V E M B E R 2 0 0 5 - K A S T E N S ] ;   K h o o   M . ,   2 0 0 8 ,   P   8   A C M   I E E E   C S   J O I N ,   P 3 7 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 7 8 8 8 9 . 1 3 7 8 9 5 6 ;   L e a r y   H ,   2 0 0 9 ,   J C D L   0 9 :   P R O C E E D I N G S   O F   T H E   2 0 0 9   A C M / I E E E   J O I N T   C O N F E R E N C E   O N   D I G I T A L   L I B R A R I E S ,   P 4 2 1 ;   M a l o n e   T . ,   2 0 0 9 ,   4 7 3 2 0 9   M I T   S L O A N ;   M A R D I S   M A ,   2 0 1 2 ,   S C H O O L   L I B R A R I E S   W O R ,   V 1 8 ,   P 7 0 ;   N i e l s e n   J . ,   2 0 0 6 ,   C O N T R I B U T O R S   I N T E R N E ;   P e n u e l   W R ,   2 0 0 9 ,   J   L E A R N   S C I ,   V 1 8 ,   P 4 6 1 ,   D O I   1 0 . 1 0 8 0 / 1 0 5 0 8 4 0 0 9 0 3 1 9 1 9 0 4 ;   P o r c e l l o   D ,   2 0 1 3 ,   S C I E N C E ,   V 3 4 1 ,   P 2 4 0 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 3 4 7 2 2 ;   R e c k e r   M . ,   1 9 9 6 ,   A C M   T   C O M P U T - H U M   I N T ,   V 3 ,   P 3 5 2 ,   D O I   1 0 . 1 1 4 5 / 2 3 5 8 3 3 . 2 3 6 0 5 8 ;   R e c k e r   M ,   2 0 0 5 ,   P r o c e e d i n g s   o f   t h e   5 t h   A C M / I E E E   J o i n t   C o n f e r e n c e   o n   D i g i t a l   L i b r a r i e s ,   P r o c e e d i n g s ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 0 6 5 3 8 5 . 1 0 6 5 3 8 7 ;   R e c k e r   M . ,   2 0 0 6 ,   D   L I B   M A G A Z I N E ,   V 1 2 ;   R e c k e r   M ,   2 0 0 7 ,   N e w   R e v i e w   o f   H y p e r m e d i a   a n d   M u l t i m e d i a ,   V 1 3 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 1 4 5 6 0 7 0 1 7 0 9 8 4 6 ;   R e m i l l a r d   J T ,   2 0 0 5 ,   R E V   E D U C   R E S ,   V 7 5 ,   P 2 1 1 ,   D O I   1 0 . 3 1 0 2 / 0 0 3 4 6 5 4 3 0 7 5 0 0 2 2 1 1 ;   S u m n e r   T ,   2 0 0 3 ,   2 0 0 3   J O I N T   C O N F E R E N C E   O N   D I G I T A L   L I B R A R I E S ,   P R O C E E D I N G S ,   P 2 6 9 ,   D O I   1 0 . 1 1 0 9 / J C D L . 2 0 0 3 . 1 2 0 4 8 7 6 ;   V a r m a   K . ,   2 0 0 8 ,   D E S I G N I N G   C O H E R E N T   S ,   P 9 4 ;   W a l k e r   A ,   2 0 1 2 ,   E T R & D - E D U C   T E C H   R E S ,   V 6 0 ,   P 4 2 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 4 2 3 - 0 1 2 - 9 2 4 3 - 8 ;   W e t z l e r   P . ,   2 0 1 3 ,   T   I N T E R A C T I V E   I N T E L L ,   V 3 	 3 2 	 0 	 0 	 A T H A B A S C A   U N I V   P R E S S 	 A T H A B A S C A 	 1   U N I V E R S I T Y   D R ,   A T H A B A S C A ,   A B   T 9 S   3 A 3 ,   C A N A D A 	 1 4 9 2 - 3 8 3 1 	 	 	 I N T   R E V   R E S   O P E N   D I S 	 I n t .   R e v .   R e s .   O p e n   D i s t a n c e   L e a r n . 	 	 2 0 1 4 	 1 5 	 4 	 	 	 	 	 1 3 8 	 1 5 9 	 	 	 	 2 2 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 A P 9 N I 	 W O S : 0 0 0 3 4 2 4 0 6 1 0 0 0 0 8 	 	 
 J 	 G o n c a l v e s ,   A ;   S i l v a ,   C ;   M o r r e a l e ,   P ;   B o n a f i d e ,   J 	 	 	 I E E E 	 G o n c a l v e s ,   A l l a n ;   S i l v a ,   C a r l o s ;   M o r r e a l e ,   P a t r i c i a ;   B o n a f i d e ,   J a s o n 	 	 	 C r o w d s o u r c i n g   f o r   P u b l i c   S a f e t y 	 2 0 1 4   8 T H   A N N U A L   I E E E   S Y S T E M S   C O N F E R E N C E   ( S Y S C O N ) 	 A n n u a l   I E E E   S y s t e m s   C o n f e r e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   A n n u a l   I E E E   S y s t e m s   C o n f e r e n c e   ( S y s C o n ) 	 M A R   3 1 - A P R   0 3 ,   2 0 1 4 	 O t t a w a ,   C A N A D A 	 I E E E   S y s t   C o u n c i l ,   I E E E 	 	 c r o w d s o u r c i n g ;   r e a l - t i m e   n e t w o r k   d a t a ;   e x t r e m e   w e a t h e r ;   p u b l i c   s a f e t y 	 	 W i t h   a d v a n c e s   i n   m o b i l e   t e c h n o l o g y ,   t h e   a b i l i t y   t o   g e t   r e a l - t i m e   g e o g r a p h i c a l l y   a c c u r a t e   d a t a ,   i n c l u d i n g   p h o t o s   a n d   v i d e o s ,   b e c o m e s   i n t e g r a t e d   i n t o   d a i l y   a c t i v i t i e s .   B u s i n e s s e s   u s e   t h i s   t e c h n o l o g y   e d g e   t o   s t a y   a h e a d   o f   t h e i r   c o m p e t i t o r s .   S o c i a l   m e d i a   h a s   m a d e   p h o t o   a n d   v i d e o   s h a r i n g   a   w i d e l y   a c c e p t e d   a n d   a d o p t e d   b e h a v i o r .   T h i s   r e a l - t i m e   d a t a   a n d   i n f o r m a t i o n   e x c h a n g e ,   c r o w d s o u r c i n g ,   c a n   b e   u s e d   t o   h e l p   f i r s t   r e s p o n d e r s   a n d   p e r s o n n e l   i n   e m e r g e n c y   s i t u a t i o n s   c a u s e d   b y   e x t r e m e   w e a t h e r   s u c h   a s   e a r t h q u a k e s ,   h u r r i c a n e s ,   f l o o d s ,   a n d   s n o w   s t o r m s .   U s i n g   s m a r t p h o n e s ,   c i v i l i a n s   c a n   c o n t r i b u t e   d a t a   a n d   i m a g e s   t o   t h e   r e c o v e r y   p r o c e s s   a n d   m a k e   i t   m o r e   e f f i c i e n t ,   w h i c h   c a n   u l t i m a t e l y   s a v e   l i v e s   a n d   d e c r e a s e   t h e   e c o n o m i c   i m p a c t   c a u s e d   b y   e x t r e m e   w e a t h e r   c o n d i t i o n s . 	 [ G o n c a l v e s ,   A l l a n ;   S i l v a ,   C a r l o s ;   M o r r e a l e ,   P a t r i c i a ;   B o n a f i d e ,   J a s o n ]   K e a n   U n i v ,   D e p t   C o m p   S c i ,   U n i o n ,   N J   0 7 0 8 3   U S A 	 G o n c a l v e s ,   A   ( r e p r i n t   a u t h o r ) ,   K e a n   U n i v ,   D e p t   C o m p   S c i ,   U n i o n ,   N J   0 7 0 8 3   U S A . 	 g o n c a l a l @ k e a n . e d u ;   s a l v a d c a @ k e a n . e d u ;   p m o r r e a l @ k e a n . e d u ;   b o n a f i j a @ k e a n . e d u 	 	 	 	 	 D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   F i g u e r o a - G e r o n   C . ,   2 0 1 3 ,   P H I L I P P I N E S   G E O   T A G G ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ;   G i r i d h a r a d a s   A . ,   2 0 1 0 ,   N Y   T I M E S ;   K u r i a k o s e   D . ,   2 0 1 3 ,   M A S H A B L E                   J U L ;   M e i e r   P . ,   2 0 1 3 ,   M A T C H A P P   N E X T   G E N E R A ;   M o r r i s   C . ,   2 0 1 3 ,   K I C K S T A R T E R S   1 0   B I G G ;   P a n   Y . ,   2 0 1 1 ,   C O L L   T E C H N   S Y S T   C T S ,   P 3 9 7 ;   P o p p e r   B . ,   2 0 1 3 ,   V E R G E                         M A Y ;   S u l l i v a n   K . ,   2 0 1 3 ,   S E R V I C E   A S S E S S M E N T   H ;   W a r n e r   J . ,   2 0 1 1 ,   P   1 2   A N N   I N T   D I G   G O V ,   P 1 7 7 	 1 1 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 9 4 4 - 7 6 2 0 	 	 9 7 8 - 1 - 4 7 9 9 - 2 0 8 6 - 0 	 A N N   I E E E   S Y S T   C O N F 	 	 	 2 0 1 4 	 	 	 	 	 	 	 5 0 	 5 6 	 	 	 	 7 	 	 	 B B 2 N V 	 W O S : 0 0 0 3 4 1 9 4 9 7 0 0 0 0 9 	 	 
 J 	 M o r r i s ,   R R ;   P i c a r d ,   R 	 	 	 	 M o r r i s ,   R o b e r t   R . ;   P i c a r d ,   R o s a l i n d 	 	 	 C r o w d - p o w e r e d   p o s i t i v e   p s y c h o l o g i c a l   i n t e r v e n t i o n s 	 J O U R N A L   O F   P O S I T I V E   P S Y C H O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   a f f e c t i v e   c o m p u t i n g ;   r e a p p r a i s a l ;   s o c i a l   s u p p o r t 	 E M O T I O N   R E G U L A T I O N ;   D E P R E S S I V E   S Y M P T O M S ;   S O C I A L   S U P P O R T ;   A D H E R E N C E 	 R e c e n t   a d v a n c e s   i n   c r o w d s o u r c i n g   h a v e   l e d   t o   n e w   f o r m s   o f   a s s i s t i v e   t e c h n o l o g i e s ,   c o m m o n l y   r e f e r r e d   t o   a s   c r o w d - p o w e r e d   d e v i c e s .   T o   b e s t   s e r v e   t h e   u s e r ,   t h e s e   t e c h n o l o g i e s   c r o w d s o u r c e   h u m a n   i n t e l l i g e n c e   a s   n e e d e d ,   w h e n   a u t o m a t e d   m e t h o d s   a l o n e   a r e   i n s u f f i c i e n t .   I n   t h i s   p a p e r ,   w e   p r o v i d e   a n   o v e r v i e w   o f   h o w   t h e s e   s y s t e m s   w o r k   a n d   h o w   t h e y   c a n   b e   u s e d   t o   e n h a n c e   t e c h n o l o g i c a l   i n t e r v e n t i o n s   f o r   p o s i t i v e   p s y c h o l o g y .   A s   a   s p e c i f i c   e x a m p l e ,   w e   d e s c r i b e   p r e v i o u s   w o r k   t h a t   c r o w d s o u r c e s   p o s i t i v e   r e a p p r a i s a l s ,   p r o v i d i n g   u s e r s   t i m e l y   a n d   p e r s o n a l i z e d   s u g g e s t i o n s   f o r   w a y s   t o   r e c o n s t r u e   s t r e s s f u l   t h o u g h t s   a n d   s i t u a t i o n s .   W e   t h e n   d e s c r i b e   h o w   t h i s   a p p r o a c h   c o u l d   b e   e x t e n d e d   f o r   u s e   w i t h   o t h e r   p o s i t i v e   p s y c h o l o g i c a l   i n t e r v e n t i o n s .   F i n a l l y ,   w e   o u t l i n e   f u t u r e   d i r e c t i o n s   f o r   c r o w d - p o w e r e d   p o s i t i v e   p s y c h o l o g i c a l   i n t e r v e n t i o n s . 	 [ M o r r i s ,   R o b e r t   R . ;   P i c a r d ,   R o s a l i n d ]   M I T ,   M e d i a   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A 	 M o r r i s ,   R R   ( r e p r i n t   a u t h o r ) ,   M I T ,   M e d i a   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A . 	 r m o r r i s @ m e d i a . m i t . e d u 	 	 	 	 	 B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B e r n s t e i n   M . S . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 3 3 ;   B i g h a m   J . P . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 3 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 8 0 ;   B u c k i n g h a m   M . ,   2 0 1 0 ,   G O   P U T   Y O U R   S T R E N G T H ;   B u r t o n   M .   A . ,   2 0 1 2 ,   P   A C M   S I G A C C E S S   N E W ,   P 1 3 5 ;   C h e a v e n s   J S ,   2 0 0 6 ,   S O C   I N D I C   R E S ,   V 7 7 ,   P 6 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 0 5 - 0 0 5 - 5 5 5 3 - 0 ;   C h r i s t e n s e n   H ,   2 0 0 9 ,   J   M E D   I N T E R N E T   R E S ,   V 1 1 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 1 9 4 ;   D e c i   E L ,   1 9 9 9 ,   P S Y C H O L   B U L L ,   V 1 2 5 ,   P 6 2 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 2 5 . 6 . 6 2 7 ;   E y s e n b a c h   G ,   2 0 0 5 ,   J   M E D   I N T E R N E T   R E S ,   V 7 ,   D O I   1 0 . 2 1 9 6 / j m i r . 7 . 1 . e 1 1 ;   G a r n e f s k i   N ,   2 0 0 6 ,   P E R S   I N D I V   D I F F E R ,   V 4 0 ,   P 1 6 5 9 ,   D O I   1 0 . 1 0 1 6 / j . p a i d . 2 0 0 5 . 1 2 . 0 0 9 ;   G a r r e t t   J . J . ,   2 0 1 0 ,   E L E M E N T S   U S E R   E X P E R I ;   G r o s s   J J ,   2 0 0 3 ,   J   P E R S   S O C   P S Y C H O L ,   V 8 5 ,   P 3 4 8 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 8 5 . 2 . 3 4 8 ;   G r o s s   J J ,   1 9 9 8 ,   J   P E R S   S O C   P S Y C H O L ,   V 7 4 ,   P 2 2 4 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 7 4 . 1 . 2 2 4 ;   H o r o w i t z   D . ,   2 0 1 0 ,   W W W   1 0 ,   P 4 3 1 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   I p e i r o t i s   P . ,   2 0 1 0 ,   C E D E R 1 0 0 1   N E W   Y O R K   U ;   K a n e f s k y   B . ,   2 0 0 1 ,   P   L U N   P L A N   S C I ;   K h a t i b   F ,   2 0 1 1 ,   N A T   S T R U C T   M O L   B I O L ,   V 1 8 ,   P 1 1 7 5 ,   D O I   1 0 . 1 0 3 8 / n s m b . 2 1 1 9 ;   K i t t u r   A . ,   2 0 1 0 ,   X R D S ,   V 1 7 ,   P 2 2 ;   K i t t u r   A . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 4 3 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   L a y o u s   K . ,   L I G H T   D A R K   S I D E   P O S I ;   L i n l e y   P .   A . ,   2 0 1 0 ,   I N T   C O A C H I N G   P S Y C H O L ,   V 5 ,   P 6 ;   L y u b o m i r s k y   S ,   2 0 1 1 ,   E M O T I O N ,   V 1 1 ,   P 3 9 1 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 2 5 7 5 ;   L y u b o m i r s k y   S ,   2 0 0 5 ,   R E V   G E N   P S Y C H O L ,   V 9 ,   P 1 1 1 ,   D O I   1 0 . 1 0 3 7 / 1 0 8 9 - 2 6 8 0 . 9 . 2 . 1 1 1 ;   M a c L e o d   A K ,   2 0 0 8 ,   J   H A P P I N E S S   S T U D ,   V 9 ,   P 1 8 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 9 0 2 - 0 0 7 - 9 0 5 7 - 2 ;   M a m y k i n a   L . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 2 8 5 7 ;   M a r r o q u i n   B ,   2 0 1 1 ,   C L I N   P S Y C H O L   R E V ,   V 3 1 ,   P 1 2 7 6 ,   D O I   1 0 . 1 0 1 6 / j . c p r . 2 0 1 1 . 0 9 . 0 0 5 ;   M c R a e   K ,   2 0 1 2 ,   E M O T I O N ,   V 1 2 ,   P 2 5 0 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 6 3 5 1 ;   M o h r   D C ,   2 0 1 1 ,   J   M E D   I N T E R N E T   R E S ,   V 1 3 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 6 0 2 ;   M o r r i s   R .   R . ,   2 0 1 2 ,   C O L L   I N T   C A M B R   M A ;   M o r r i s   R .   R . ,   2 0 1 3 ,   P   I N T   C   A F F   C O M P   I N T ,   P 2 5 0 ;   M o s k o w i t z   J .   T . ,   2 0 1 1 ,   J   H E A L T H   P S Y C H O L ,   V 1 7 ,   P 6 7 6 ;   P a n z a r e l l a   C ,   2 0 0 6 ,   C O G N I T I V E   T H E R   R E S ,   V 3 0 ,   P 3 0 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 0 8 - 0 0 6 - 9 0 4 8 - 3 ;   P e t e r s o n   C . ,   2 0 0 9 ,   O X F O R D   H D B   P O S I T I V E ,   P 2 2 1 ;   P o e t z   M K ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x ;   P r o c t o r   C ,   2 0 1 1 ,   J   H A P P I N E S S   S T U D ,   V 1 2 ,   P 1 5 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 9 0 2 - 0 0 9 - 9 1 8 1 - 2 ;   R e i v i c h   K ,   2 0 1 3 ,   H A N D B O O K   O F   R E S I L I E N C E   I N   C H I L D R E N ,   S E C O N D   E D I T I O N ,   P 2 0 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 4 6 1 4 - 3 6 6 1 - 4 _ 1 2 ;   R e s n i c k   P ,   1 9 9 7 ,   C O M M U N   A C M ,   V 4 0 ,   P 5 6 ,   D O I   1 0 . 1 1 4 5 / 2 4 5 1 0 8 . 2 4 5 1 2 1 ;   R z e s z o t a r s k i   J .   M . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 0 4 7 1 9 6 . 2 0 4 7 1 9 9 ;   S c h u e l l e r   S M ,   2 0 1 3 ,   C U R R   D I R   P S Y C H O L   S C I ,   V 2 2 ,   P 4 7 8 ,   D O I   1 0 . 1 1 7 7 / 0 9 6 3 7 2 1 4 1 3 4 9 5 8 7 2 ;   S h a p i r o   D ,   2 0 1 3 ,   R E V I E W ,   V 4 6 ,   P 1 ,   D O I   1 0 . 1 0 8 0 / 0 8 9 0 5 7 6 2 . 2 0 1 3 . 7 8 0 8 9 0 ;   S h e p p e s   G ,   2 0 1 1 ,   P E R S   S O C   P S Y C H O L   R E V ,   V 1 5 ,   P 3 1 9 ,   D O I   1 0 . 1 1 7 7 / 1 0 8 8 8 6 8 3 1 0 3 9 5 7 7 8 ;   S h n e i d e r m a n   B . ,   2 0 0 9 ,   D E S I G N I N G   U S E R   I N T E R ;   S i n   N L ,   2 0 1 1 ,   S   A P P L   P S Y C ,   P 7 9 ;   S i n   N L ,   2 0 0 9 ,   J   C L I N   P S Y C H O L ,   V 6 5 ,   P 4 6 7 ,   D O I   1 0 . 1 0 0 2 / j c l p . 2 0 5 9 3 ;   S n y d e r   C R ,   2 0 0 2 ,   P S Y C H O L   I N Q ,   V 1 3 ,   P 2 4 9 ,   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 7 9 6 5 P L I 1 3 0 4 _ 0 1 ;   T a m i r   D I ,   2 0 1 2 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 9 ,   P 8 0 3 8 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 2 0 2 1 2 9 1 0 9 ;   T o r n i n g   K . ,   2 0 0 9 ,   P   4   I N T   C   P E R S   T E C H N ,   P 3 0 1 ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   V o n   A h n   L . ,   2 0 0 5 ,   T H E S I S   C A R N E G I E   M E L L ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   W o o d   A M ,   2 0 1 1 ,   P E R S   I N D I V   D I F F E R ,   V 5 0 ,   P 1 5 ,   D O I   1 0 . 1 0 1 6 / j . p a i d . 2 0 1 0 . 0 8 . 0 0 4 ;   Y u   L . ,   2 0 1 1 ,   P   2 9   S I G C H I   C   H U M   F A ,   P 1 3 9 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 7 ] ;   Z h a n g   H . ,   2 0 1 2 ,   P R O C E E D I N G S   O F   C H I ,   P 2 1 7 	 5 5 	 0 	 0 	 R O U T L E D G E   J O U R N A L S ,   T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X F O R D S H I R E ,   E N G L A N D 	 1 7 4 3 - 9 7 6 0 	 1 7 4 3 - 9 7 7 9 	 	 J   P O S I T   P S Y C H O L 	 J .   P o s i t .   P s y c h o l . 	 	 2 0 1 4 	 9 	 6 	 	 	 S I 	 	 5 0 9 	 5 1 6 	 	 1 0 . 1 0 8 0 / 1 7 4 3 9 7 6 0 . 2 0 1 4 . 9 1 3 6 7 1 	 	 8 	 P s y c h o l o g y ,   M u l t i d i s c i p l i n a r y 	 P s y c h o l o g y 	 A P 2 D H 	 W O S : 0 0 0 3 4 1 8 8 2 2 0 0 0 0 7 	 	 
 J 	 M a c D o n a l d ,   R 	 	 	 	 M a c D o n a l d ,   R o s s 	 	 	 C r o w d s o u r c i n g 	 O N L I N E   I N F O R M A T I O N   R E V I E W 	 	 	 E n g l i s h 	 B o o k   R e v i e w 	 	 	 	 	 	 	 	 	 [ M a c D o n a l d ,   R o s s ]   W e i l l   C o r n e l l   M e d   S c h ,   A r   R a y y a n ,   Q a t a r 	 M a c D o n a l d ,   R   ( r e p r i n t   a u t h o r ) ,   W e i l l   C o r n e l l   M e d   S c h ,   A r   R a y y a n ,   Q a t a r . 	 	 	 	 	 	 B r a b h a m   D C ,   2 0 1 3 ,   M I T   P R E S S   E S S E N T ,   P 1 	 1 	 0 	 0 	 E M E R A L D   G R O U P   P U B L I S H I N G   L I M I T E D 	 B I N G L E Y 	 H O W A R D   H O U S E ,   W A G O N   L A N E ,   B I N G L E Y   B D 1 6   1 W A ,   W   Y O R K S H I R E ,   E N G L A N D 	 1 4 6 8 - 4 5 2 7 	 1 4 6 8 - 4 5 3 5 	 	 O N L I N E   I N F O R M   R E V 	 O n l i n e   I n f .   R e v . 	 	 2 0 1 4 	 3 8 	 5 	 	 	 	 	 6 9 7 	 6 9 8 	 	 1 0 . 1 1 0 8 / O I R - 0 6 - 2 0 1 4 - 0 1 4 2 	 	 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 A P 3 U C 	 W O S : 0 0 0 3 4 2 0 0 2 3 0 0 0 0 7 	 	 
 J 	 H e r f o r t ,   B ;   d e   A l b u q u e r q u e ,   J P ;   S c h e l h o r n ,   S J ;   Z i p f ,   A 	 	 H u e r t a ,   J ;   S c h a d e ,   S ;   G r a n e l l ,   C 	 	 H e r f o r t ,   B e n j a m i n ;   d e   A l b u q u e r q u e ,   J o a o   P o r t o ;   S c h e l h o r n ,   S v e n d - J o n a s ;   Z i p f ,   A l e x a n d e r 	 	 	 E x p l o r i n g   t h e   G e o g r a p h i c a l   R e l a t i o n s   B e t w e e n   S o c i a l   M e d i a   a n d   F l o o d   P h e n o m e n a   t o   I m p r o v e   S i t u a t i o n a l   A w a r e n e s s 	 C O N N E C T I N G   A   D I G I T A L   E U R O P E   T H R O U G H   L O C A T I O N   A N D   P L A C E 	 L e c t u r e   N o t e s   i n   G e o i n f o r m a t i o n   a n d   C a r t o g r a p h y 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 7 t h   A G I L E   C o n f e r e n c e   o n   G e o g r a p h i c   I n f o r m a t i o n   S c i e n c e 	 J U N   0 3 - 0 6 ,   2 0 1 4 	 C a s t e l l o n ,   S P A I N 	 E S R I ,   U b i k   G e o s p a t i a l   S o l u t ,   Z e d ,   E S R I   E s p a n a ,   G o o g l e ,   G e o d a n ,   P r o d e v e l o p 	 	 S o c i a l   m e d i a ;   V o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n ;   D i s a s t e r   m a n a g e m e n t ;   F l o o d ;   S i t u a t i o n   a w a r e n e s s ;   E m e r g e n c y   m a n a g e m e n t 	 	 R e c e n t   r e s e a r c h   h a s   s h o w n   t h a t   s o c i a l   m e d i a   p l a t f o r m s   l i k e   t w i t t e r   c a n   p r o v i d e   r e l e v a n t   i n f o r m a t i o n   t o   i m p r o v e   s i t u a t i o n   a w a r e n e s s   d u r i n g   e m e r g e n c i e s .   P r e v i o u s   w o r k   i s   m o s t l y   c o n c e n t r a t e d   o n   t h e   c l a s s i f i c a t i o n   a n d   a n a l y s i s   o f   t w e e t s   u t i l i z i n g   c r o w d s o u r c i n g   o r   m a c h i n e   l e a r n i n g   t e c h n i q u e s .   H o w e v e r ,   m a n a g i n g   t h e   h i g h   v o l u m e   a n d   v e l o c i t y   o f   s o c i a l   m e d i a   m e s s a g e s   s t i l l   r e m a i n s   c h a l l e n g i n g .   I n   o r d e r   t o   e n h a n c e   i n f o r m a t i o n   e x t r a c t i o n   f r o m   s o c i a l   m e d i a ,   t h i s   c h a p t e r   p r e s e n t s   a   n e w   a p p r o a c h   t h a t   r e l i e s   u p o n   t h e   g e o g r a p h i c a l   r e l a t i o n s   b e t w e e n   t w i t t e r   d a t a   a n d   f l o o d   p h e n o m e n a .   O u r   a p p r o a c h   u s e s   s p e c i f i c   g e o g r a p h i c a l   f e a t u r e s   l i k e   h y d r o l o g i c a l   d a t a   a n d   d i g i t a l   e l e v a t i o n   m o d e l s   t o   p r i o r i t i z e   c r i s i s - r e l e v a n t   t w i t t e r   m e s s a g e s .   W e   a p p l y   t h i s   a p p r o a c h   t o   e x a m i n e   t h e   R i v e r   E l b e   F l o o d   i n   G e r m a n y   i n   J u n e   2 0 1 3 .   T h e   r e s u l t s   s h o w   t h a t   o u r   a p p r o a c h   b a s e d   o n   g e o g r a p h i c a l   r e l a t i o n s   c a n   e n h a n c e   i n f o r m a t i o n   e x t r a c t i o n   f r o m   v o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n ,   t h u s   b e i n g   v a l u a b l e   f o r   b o t h   c r i s i s   r e s p o n s e   a n d   p r e v e n t i v e   f l o o d   m o n i t o r i n g . 	 [ H e r f o r t ,   B e n j a m i n ;   d e   A l b u q u e r q u e ,   J o a o   P o r t o ;   S c h e l h o r n ,   S v e n d - J o n a s ;   Z i p f ,   A l e x a n d e r ]   H e i d e l b e r g   U n i v ,   C h a i r   G I S c i ,   H e i d e l b e r g ,   G e r m a n y 	 d e   A l b u q u e r q u e ,   J P   ( r e p r i n t   a u t h o r ) ,   U n i v   S a o   P a u l o ,   I C M C ,   D e p t   C o m p   S y s t ,   S a o   C a r l o s ,   S P ,   B r a z i l . 	 j p o r t o @ i c m c . u s p . b r 	 	 	 	 	 C h a t f i e l d   A k e m i   T a k e o k a ,   2 0 1 3 ,   P r o c e e d i n g s   o f   t h e   2 0 1 3   4 6 t h   H a w a i i   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m   S c i e n c e s   ( H I C S S   2 0 1 3 ) ,   D O I   1 0 . 1 1 0 9 / H I C S S . 2 0 1 3 . 5 7 9 ;   E N D S L E Y   M R ,   1 9 9 5 ,   H U M   F A C T O R S ,   V 3 7 ,   P 3 2 ,   D O I   1 0 . 1 5 1 8 / 0 0 1 8 7 2 0 9 5 7 7 9 0 4 9 5 4 3 ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ;   G o o d c h i l d   M F ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 3 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 7 5 9 2 5 5 ;   G o o l s b y   R . ,   2 0 1 0 ,   A C M   T   I N T E L   S Y S T   T E C ,   V 1 ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 5 8 9 4 8 . 1 8 5 8 9 5 5 ;   G r a h a m   M ,   2 0 1 2 ,   G U A R D I A N   D A T A B L O G ;   H i l t z   S R ,   2 0 1 3 ,   P   1 0   I N T   I S C R A M   C ,   P 8 2 3 ;   H u d s o n - S m i t h   A n d r e w ,   2 0 0 9 ,   J o u r n a l   o f   L o c a t i o n   B a s e d   S e r v i c e s ,   V 3 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 8 9 7 2 0 9 0 2 9 5 0 3 6 6 ;   I m r a n   M ,   2 0 1 3 ,   I S C R A M   B A D   B A D   G E R M ;   J a r v i s   A . ,   2 0 0 8 ,   E O S   T   A G U ,   V 8 9 ,   P 9 3 ,   D O I   D O I   1 0 . 1 0 2 9 / 2 0 0 8 E 0 1 0 0 0 0 1 ;   K a e w k i t i p o n g   L ,   2 0 1 2 ,   L E S S O N S   L E A R N E D   U S E ;   K o n g t h o n   A ,   2 0 1 2 ,   P I C M E T   ' 1 2 :   P R O C E E D I N G S   -   T E C H N O L O G Y   M A N A G E M E N T   F O R   E M E R G I N G   T E C H N O L O G I E S ,   P 2 2 2 7 ;   L o f i   C ,   2 0 1 2 ,   D A T E N B A N K   S P E K T R U M ,   V 1 2 ,   P 1 0 9 ;   M a c E a c h r e n   A M ,   2 0 1 1 ,   P   2 5   I N T   C A R T   C   P A R ;   M e i e r   P . ,   2 0 1 2 ,   J   M A P   G E O G R A P H Y   L I B ,   V 8 ,   P 8 9 ;   O k o l l o h   O . ,   2 0 0 9 ,   P A R T I C I P A T O R Y   L E A R N I ,   V 5 9 ,   P 6 5 ;   P a l e n   L ,   2 0 0 8 ,   E D U C A U S E   Q ,   V 3 1 ,   P 1 2 ;   R o g s t a d i u s   J ,   2 0 1 1 ,   P   C H I   W O R K S H   C R O W D S ;   S a c h s i s c h e s   L a n d e s a m t   f u r   U m w e l t   L a n d w i r t s c h a f t   u n d   G e o l o g i e ,   2 0 1 3 ,   G E W   M O N   V O R L   A U S W   H O ;   S a k a k i   T a k e s h i ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 8 5 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 7 7 ;   T e r p s t r a   T ,   2 0 1 2 ,   P   9   I N T   I S C R A M   C   V A N ;   T O B L E R   W R ,   1 9 7 0 ,   E C O N   G E O G R ,   V 4 6 ,   P 2 3 4 ,   D O I   1 0 . 2 3 0 7 / 1 4 3 1 4 1 ;   T r i g l a v - C e k a d a   M ,   2 0 1 3 ,   N A T   H A Z A R D   E A R T H   S Y S ,   V 1 ,   P 2 8 5 9 ;   V i e w e g   S ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 0 7 9 ;   Y i n   J ,   2 0 1 2 ,   I E E E   I N T E L L   S Y S T ,   V 2 7 ,   P 5 2 	 2 5 	 0 	 0 	 S P R I N G E R   I N T   P U B L I S H I N G   A G 	 C H A M 	 G E W E R B E S T R A S S E   1 1 ,   C H A M ,   C H - 6 3 3 0 ,   S W I T Z E R L A N D 	 1 8 6 3 - 2 2 4 6 	 	 9 7 8 - 3 - 3 1 9 - 0 3 6 1 1 - 3 	 L E C T   N O T E S   G E O I N F   C A 	 	 	 2 0 1 4 	 	 	 	 	 	 	 5 5 	 7 1 	 	 1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 0 3 6 1 1 - 3 _ 4 	 	 1 7 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   G e o g r a p h y ,   P h y s i c a l 	 C o m p u t e r   S c i e n c e ;   P h y s i c a l   G e o g r a p h y 	 B B 2 E P 	 W O S : 0 0 0 3 4 1 7 0 8 8 0 0 0 0 4 	 	 
 J 	 B a g g e t t ,   M P ;   B r i d g e s ,   A ;   W i s e ,   K ;   T a n n e r ,   S ;   M e z i c k ,   J 	 	 	 	 B a g g e t t ,   M a r k   P a t r i c k ;   B r i d g e s ,   A n n e ;   W i s e ,   K e n ;   T a n n e r ,   S a r a h ;   M e z i c k ,   J e n n i f e r 	 	 	 P o p u l a t i n g   t h e   w i l d e r n e s s :   c r o w d s o u r c i n g   d a t a b a s e   o f   t h e   s m o k i e s 	 L I B R A R Y   H I   T E C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A c a d e m i c   l i b r a r i e s ;   C r o w d s o u r c i n g ;   F o l k s o n o m y ;   C o n t r o l l e d   v o c a b u l a r y ;   D r u p a l ;   G r e a t   S m o k y   M o u n t a i n s 	 	 P u r p o s e   -   R e s e a r c h e r s   a t   t h e   U n i v e r s i t y   o f   T e n n e s s e e   L i b r a r i e s   e x p e r i m e n t e d   w i t h   c r o w d s o u r c i n g   t o   d e t e r m i n e   i f   c o n t r i b u t i o n s   b y   m e m b e r s   o f   t h e   p u b l i c   c o u l d   b e   u t i l i z e d   t o   a d d   c i t a t i o n s   a n d   s u b j e c t   t a g s   t o   a   n e w   o n l i n e   b i b l i o g r a p h y ,   D a t a b a s e   o f   t h e   S m o k i e s   ( D O T S :   d o t s . l i b . u t k . e d u ) .   T h e   p a p e r   a i m s   t o   d i s c u s s   t h i s   i s s u e .   D e s i g n / m e t h o d o l o g y / a p p r o a c h   -   T h e   d a t a b a s e   i s   b u i l t   i n   D r u p a l ,   a n   o p e n   s o u r c e   p l a t f o r m   t h a t   p r o v i d e s   a   c r o w d s o u r c i n g   m e c h a n i s m .   T h e   p u b l i c   w a s   o f f e r e d   t h e   o p p o r t u n i t y   t o   c r e a t e   a c c o u n t s   a n d   a d d   c o n t e n t   t o   D O T S .   A f t e r   t h r e e   m o n t h s ,   t h e   p r o j e c t   t e a m   p e r f o r m e d   a   t r a n s a c t i o n   l o g   a n a l y s i s   o f   u s e r   s u b m i s s i o n s   i n   o r d e r   t o   d e t e r m i n e   w h e t h e r   a n   e d i t o r i a l   p r o c e s s   w a s   n e c e s s a r y .   F i n d i n g s   -   T h i s   a n a l y s i s   r e v e a l e d   t h a t   1 8   p e r c e n t   o f   d a t a b a s e   c o n t e n t   w a s   t h e   r e s u l t   o f   c r o w d s o u r c i n g   a n d   t h a t   m u c h   o f   t h e   c o n t e n t   s u b m i t t e d   b y   p a r t i c i p a n t s   w a s   e i t h e r   o b s c u r e   o r   d i f f i c u l t   t o   l o c a t e .   T h e   a n a l y s i s   a l s o   s h o w e d   t h a t   w h i l e   c o n t r i b u t o r s   a d d e d   v a l u a b l e   c i t a t i o n s ,   a n   e d i t o r i a l   r e v i e w   p r o c e s s   w a s   n e c e s s a r y   t o   e n s u r e   t h i s   c r o w d s o u r c e d   c o n t e n t   c o u l d   b e   p u b l i s h e d   i n   t h e   d a t a b a s e .   I n   a d d i t i o n ,   c o n t r i b u t o r   s u p p l i e d   s u b j e c t   t a g s   w e r e   n o t   o f   s i g n i f i c a n t   u n i q u e n e s s   o r   q u a n t i t y   t o   s u b s t a n t i a l l y   i n f l u e n c e   t h e   e x i s t i n g   t a x o n o m y .   F i n a l l y ,   t h e   p u b l i c i t y   o f   t h e   c r o w d s o u r c i n g   f e a t u r e   a l l o w e d   o t h e r   i n s t i t u t i o n s   t o   c o n t r i b u t e   t o   t h e   p r o j e c t   a n d   a d d   r a r e   m a t e r i a l .   O r i g i n a l i t y / v a l u e   -   T h i s   p a p e r   o f f e r s   a   m o d e l   f o r   u t i l i z i n g   c r o w d s o u r c i n g   t o   e n t i c e   a   s o p h i s t i c a t e d   u s e r   g r o u p   t o   h e l p   b u i l d   a   b i b l i o g r a p h i c   d a t a b a s e . 	 [ B a g g e t t ,   M a r k   P a t r i c k ;   B r i d g e s ,   A n n e ;   W i s e ,   K e n ]   U n i v   T e n n e s s e e ,   K n o x v i l l e ,   T N   3 7 9 9 6   U S A ;   [ T a n n e r ,   S a r a h ]   U n i v   T e n n e s s e e ,   S c h   I n f o r m a t   S c i ,   K n o x v i l l e ,   T N   U S A ;   [ M e z i c k ,   J e n n i f e r ]   P e l l i s s i p p i   S t a t e   C o m m u n i t y   C o l l ,   K n o x v i l l e ,   T N   U S A 	 B a g g e t t ,   M P   ( r e p r i n t   a u t h o r ) ,   U n i v   T e n n e s s e e ,   K n o x v i l l e ,   T N   3 7 9 9 6   U S A . 	 m b a g g e t 1 @ u t k . e d u 	 	 	 	 	 B a k e r   K . ,   2 0 1 2 ,   I D A H O   L I B ,   V 6 2 ,   P 6 ;   C a u s e r   T ,   2 0 1 2 ,   L I T   L I N G U I S T   C O M P U T ,   V 2 7 ,   P 1 1 9 ,   D O I   1 0 . 1 0 9 3 / l l c / f q s 0 0 4 ;   F l e e t   C . ,   2 0 1 2 ,   D   L I B   M A G A Z I N E ,   V 1 8 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   V 1 4 ,   P 1 7 6 ;   L i h   A . ,   2 0 0 9 ,   W I K I P E D I A   R E V O L U T I O N ;   M a t h e s   A . ,   2 0 0 4 ,   F O L K S O N O M I E S   C O O P E R A ;   M a t u s i a k   K . K . ,   2 0 0 6 ,   I N T   D I G I T A L   L I B   P E R S ,   V 2 2 ,   P 2 8 3 ;   N a t i o n a l   L i b r a r y   o f   A u s t r a l i a ,   2 0 1 3 ,   A U S T R   N E W S P   D I G   P R O G ;   R a d d i c k   M . ,   2 0 1 0 ,   A S T R O N O M Y   E D   R E V ,   V 9 ;   S h i r k y   C . ,   2 0 0 5 ,   O N T O L O G Y   I S   O V E R R A T E ;   S t v i l i a   B ,   2 0 0 9 ,   L I B R   I N F O R M   S C I   R E S ,   V 3 1 ,   P 5 4 ,   D O I   1 0 . 1 0 1 6 / j . l i s r . 2 0 0 8 . 0 6 . 0 0 6 	 1 1 	 0 	 0 	 E M E R A L D   G R O U P   P U B L I S H I N G   L I M I T E D 	 B I N G L E Y 	 H O W A R D   H O U S E ,   W A G O N   L A N E ,   B I N G L E Y   B D 1 6   1 W A ,   W   Y O R K S H I R E ,   E N G L A N D 	 0 7 3 7 - 8 8 3 1 	 	 	 L I B R   H I   T E C H 	 L i b r .   H i   T e c h 	 	 2 0 1 4 	 3 2 	 2 	 	 	 S I 	 	 2 4 9 	 2 5 9 	 	 1 0 . 1 1 0 8 / L H T - 1 1 - 2 0 1 3 - 0 1 5 0 	 	 1 1 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 A P 3 N I 	 W O S : 0 0 0 3 4 1 9 8 2 4 0 0 0 0 4 	 	 
 J 	 A u b r y ,   E ;   S i l v e r s t o n ,   T ;   L a h m a d i ,   A ;   F e s t o r ,   O 	 	 	 I E E E 	 A u b r y ,   E l i a n ;   S i l v e r s t o n ,   T h o m a s ;   L a h m a d i ,   A b d e l k a d e r ;   F e s t o r ,   O l i v i e r 	 	 	 C r o w d O u t :   a   M o b i l e   C r o w d s o u r c i n g   S e r v i c e   f o r   R o a d   S a f e t y   i n   D i g i t a l   C i t i e s 	 2 0 1 4   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   P E R V A S I V E   C O M P U T I N G   A N D   C O M M U N I C A T I O N S   W O R K S H O P S   ( P E R C O M   W O R K S H O P S ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   P e r v a s i v e   C o m p u t i n g   a n d   C o m m u n i c a t i o n   ( P E R C O M ) 	 M A R   2 4 - 2 8 ,   2 0 1 4 	 B u d a p e s t ,   H U N G A R Y 	 I E E E ,   I B M   R e s ,   I E E E   C o m p   S o c ,   U n i v   T e x a s   A r l i n g t o n ,   B u d a p e s t   U n i v   T e c h n o l   &   E c o n ,   S c i   A s s o c   I n f o c o m m u n i c a t   H u n g a r y 	 	 	 	 N o w a d a y s   c i t i e s   i n v e s t   m o r e   i n   t h e i r   p u b l i c   s e r v i c e s ,   a n d   p a r t i c u l a r l y   d i g i t a l   o n e s ,   t o   i m p r o v e   t h e i r   r e s i d e n t ' s   q u a l i t y   o f   l i f e   a n d   a t t r a c t   m o r e   p e o p l e .   T h u s ,   n e w   c r o w d s o u r c i n g   s e r v i c e s   a p p e a r   a n d   t h e y   a r e   b a s e d   o n   c o n t r i b u t i o n s   m a d e   b y   m o b i l e   u s e r s   e q u i p p e d   w i t h   s m a r t p h o n e s .   F o r   e x a m p l e ,   t h e   r e s p e c t   o f   t h e   t r a f f i c   c o d e   i s   e s s e n t i a l   t o   e n s u r e   c i t i z e n s '   s e c u r i t y   a n d   w e l f a r e   i n   t h e i r   c i t y .   I n   t h i s   p a p e r ,   w e   p r e s e n t   C r o w d O u t ,   a   n e w   m o b i l e   c r o w d s o u r c i n g   s e r v i c e   f o r   i m p r o v i n g   r o a d   s a f e t y   i n   c i t i e s .   C r o w d O u t   a l l o w s   u s e r s   t o   r e p o r t   t r a f f i c   o f f e n c e   t h e y   w i t n e s s   i n   r e a l   t i m e   a n d   t o   m a p   t h e m   o n   a   c i t y   p l a n .   C r o w d O u t   s e r v i c e   h a s   b e e n   i m p l e m e n t e d   a n d   e x p e r i m e n t s   a n d   d e m o n s t r a t i o n s   h a v e   b e e n   p e r f o r m e d   i n   t h e   u r b a n   e n v i r o n m e n t   o f   t h e   G r a n d   N a n c y ,   i n   F r a n c e .   T h i s   s e r v i c e   a l l o w s   u s e r s   a p p r o p r i a t i n g   t h e i r   u r b a n   e n v i r o n m e n t   w i t h   a n   a c t i v e   p a r t i c i p a t i o n   r e g a r d i n g   t h e   c o l l e c t i v i t y .   T h i s   s e r v i c e   a l s o   r e p r e s e n t s   a   t o o l   f o r   c i t y   a d m i n i s t r a t o r s   t o   h e l p   f o r   d e c i s i o n s   a n d   i m p r o v e   t h e i r   u r b a n i z a t i o n   p o l i c y ,   o r   t o   c h e c k   t h e   i m p a c t   o f   t h e i r   p o l i c y   i n   t h e   c i t y   e n v i r o n m e n t . 	 [ A u b r y ,   E l i a n ;   S i l v e r s t o n ,   T h o m a s ;   L a h m a d i ,   A b d e l k a d e r ;   F e s t o r ,   O l i v i e r ]   U n i v   L o r r a i n e ,   L O R I A ,   U M R   7 5 0 3 ,   F - 5 4 5 0 6   V a n d o e u v r e   L e s   N a n c y ,   F r a n c e 	 A u b r y ,   E   ( r e p r i n t   a u t h o r ) ,   U n i v   L o r r a i n e ,   L O R I A ,   U M R   7 5 0 3 ,   F - 5 4 5 0 6   V a n d o e u v r e   L e s   N a n c y ,   F r a n c e . 	 e l i a n . a u b r y @ i n r i a . f r ;   t h o m a s . s i l v e r s t o n @ i n r i a . f r ;   a b d e l k a d e r . l a h m a d i @ i n r i a . f r ;   o l i v i e r . f e s t o r @ i n r i a . f r 	 	 	 	 	 C a i   S h u t i n g ,   2 0 1 2 ,   A C M   M M   M U L T   W O R K S H   C ;   C a p r a   L i c i a ,   2 0 1 2 ,   W I K I S Y M   1 2   A U G ;   C e r i   S t e f a n o ,   2 0 1 2 ,   S E A R C H   C O M P U T I N G ,   V 3 ,   P 2 0 7 ;   G o o d c h i l d   M i c h a e l   F . ,   2 0 1 2 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 3 1 ;   H e i p k e   C ,   2 0 1 0 ,   I S P R S   J   P H O T O G R A M M ,   V 6 5 ,   P 5 5 0 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 1 0 . 0 6 . 0 0 5 ;   H o l l i c k   M a t t h i a s ,   2 0 1 3 ,   P E R V A S I V E   M O B I L E   C O M ,   V 9 ;   K a n t e r   R o s a b e t h   M o s s ,   2 0 0 9 ,   I N F O R M E D   I N T E R C O N N E C ;   K r i s h n a m u r t h y   A r v i n d ,   2 0 1 0 ,   A C M   S I G C O M M ;   K T H ,   C R O W D S ;   M a s l i   M ,   2 0 1 1 ,   C O M P U T E R ,   V 4 4 ,   P 9 0 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 1 1 . 3 3 8 ;   M o n d a l   A n i r b a n ,   2 0 0 6 ,   I E E E   D E X A   2 0 0 6 ;   P s a i e r   H a r a l d ,   2 0 1 1 ,   I N F O R M   T E C H N O L O G Y ,   V 5 3 ,   P 1 0 8 ;   R o b k o p f   C h r i s t i a n ,   2 0 1 2 ,   P E R V A S I V E   M O B I L E   C O M ;   S c h l o s s e r   M a r i o   T . ,   2 0 0 3 ,   W W W 2 0 0 3   M A Y ;   S u v a n t o   M i k a ,   2 0 0 5 ,   H U T   T   1 1 0   5 5 1   S E M   I N ;   T o c h   E r a n ,   2 0 1 2 ,   P E R S O N A L   U B I Q U I T O U S ;   V a l i i y u r - R a m a l i n g a m   R a m a n ,   2 0 1 3 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 7 ,   P 5 7 ;   V a r s h n e y   L a v   R . ,   2 0 1 2 ,   I E E E   S E R V   R E S   I N N   I 	 1 8 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 7 9 9 - 2 7 3 6 - 4 	 	 	 	 2 0 1 4 	 	 	 	 	 	 	 8 6 	 9 1 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B B 1 V L 	 W O S : 0 0 0 3 4 1 4 0 2 9 0 0 0 1 4 	 	 
 B 	 B l a n k e ,   T 	 B l a n k e ,   T 	 	 	 B l a n k e ,   T o b i a s 	 B l a n k e ,   T 	 	 M e t h o d o l o g i e s   a n d   t e c h n o l o g i e s 	 D I G I T A L   A S S E T   E C O S Y S T E M S :   R E T H I N K I N G   C R O W D S   A N D   C L O U D S 	 C h a n d o s   I n f o r m a t i o n   P r o f e s s i o n a l   S e r i e s 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 w e b   e v o l u t i o n ;   w e b   s t a n d a r d s ;   w e b   a r c h i t e c t u r e ;   c l o u d   c o m p u t i n g ;   c r o w d s o u r c i n g ;   p r o g r a m m a b l e   w e b ;   A P I s 	 	 I n   t h i s   c h a p t e r ,   w e   d i s c u s s   i n   d e t a i l   t h e   t e c h n o l o g i e s   a n d   m e t h o d o l o g i e s   t h a t   a r e   e n a b l i n g   t h e   d i g i t a l   e c o s y s t e m .   W e   t r y   t o   u n d e r s t a n d   f u r t h e r   t h e   e v o l u t i o n   o f   t h e   w e b ,   h o w   w e b   A P I s   ( a p p l i c a t i o n   p r o g r a m m i n g   i n t e r f a c e s )   a r e   b e g i n n i n g   t o   c h a n g e   t h e   w a y   w e   e x c h a n g e   i n f o r m a t i o n   a n d   a p p l i c a t i o n s ,   a n d   h o w   t h e   w e b   h a s   b e c o m e   s o m e t h i n g   f o r   m a c h i n e s   a n d   h u m a n s   a l i k e .   C r o w d s   a n d   c l o u d s   c o m e   i n t o   t h e   m i x   t o   a d d   i n t e l l i g e n c e   t o   c o n t e n t ,   a p p l i c a t i o n s   a n d   s e r v i c e s .   W e   a r e   o n l y   b e g i n n i n g   t o   s e e   t h e   n e w   k i n d s   o f   t e c h n i c a l   i n f r a s t r u c t u r e s   t h a t   e n g a g e   c r o w d s   a n d   c l o u d s   m o s t   e f f e c t i v e l y . 	 [ B l a n k e ,   T o b i a s ]   K i n g s   C o l l   L o n d o n ,   C t r   e   R e s ,   D e p t   D i g i t a l   H u m a n i t i e s ,   L o n d o n   W C 2 R   2 L S ,   E n g l a n d 	 B l a n k e ,   T   ( r e p r i n t   a u t h o r ) ,   K i n g s   C o l l   L o n d o n ,   C t r   e   R e s ,   D e p t   D i g i t a l   H u m a n i t i e s ,   L o n d o n   W C 2 R   2 L S ,   E n g l a n d . 	 	 	 	 	 	 	 0 	 0 	 0 	 C H A N D O S   P U B L 	 S A W S T O N 	 8 0   H I G H   S T ,   S A W S T O N ,   C A M B R I D G E   C B 2 2   3 H J ,   E N G L A N D 	 	 	 9 7 8 - 1 - 7 8 0 6 3 - 3 8 2 - 4 ;   9 7 8 - 1 - 8 4 3 3 4 - 7 1 6 - 3 	 C H A N D O S   I N F   P R O F   S E R 	 	 	 2 0 1 4 	 	 	 	 	 	 	 3 5 	 6 0 	 	 	 	 2 6 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 B B 1 U T 	 W O S : 0 0 0 3 4 1 3 7 7 9 0 0 0 0 3 	 	 
 J 	 C o n l e y ,   C ;   T o s t i - K h a r a s ,   J 	 	 	 	 C o n l e y ,   C a r y n ;   T o s t i - K h a r a s ,   J e n n i f e r 	 	 	 C r o w d s o u r c i n g   c o n t e n t   a n a l y s i s   f o r   m a n a g e r i a l   r e s e a r c h 	 M A N A G E M E N T   D E C I S I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 Q u a l i t a t i v e   r e s e a r c h ;   C o n t e n t   a n a l y s i s ;   C r o w d s o u r c i n g ;   C o d i n g ;   M e c h a n i c a l   t u r k 	 A M A Z O N   M E C H A N I C A L   T U R K ;   A I D E D   T E X T   A N A L Y S I S ;   M A N A G E M E N T   R E S E A R C H ;   O R G A N I Z A T I O N ;   I N N O V A T I O N 	 P u r p o s e   -   T h e   p u r p o s e   o f   t h i s   p a p e r   i s   t o   e v a l u a t e   t h e   e f f e c t i v e n e s s   o f   a   n o v e l   m e t h o d   f o r   p e r f o r m i n g   c o n t e n t   a n a l y s i s   i n   m a n a g e r i a l   r e s e a r c h   -   c r o w d s o u r c i n g ,   a   s y s t e m   w h e r e   g e o g r a p h i c a l l y   d i s t r i b u t e d   w o r k e r s   c o m p l e t e   s m a l l ,   d i s c r e t e   t a s k s   v i a   t h e   i n t e r n e t   f o r   a   s m a l l   a m o u n t   o f   m o n e y .   D e s i g n / m e t h o d o l o g y / a p p r o a c h   -   T h e   a u t h o r s   e x a m i n e d   w h e t h e r   w o r k e r s   f r o m   o n e   p o p u l a r   c r o w d s o u r c i n g   m a r k e t p l a c e ,   A m a z o n ' s   M e c h a n i c a l   T u r k ,   c o u l d   p e r f o r m   s u b j e c t i v e   c o n t e n t   a n a l y t i c   t a s k s   i n v o l v i n g   t h e   a p p l i c a t i o n   o f   i n d u c t i v e l y   g e n e r a t e d   c o d e s   t o   u n s t r u c t u r e d ,   p e r s o n a l l y   w r i t t e n   t e x t u a l   p a s s a g e s .   F i n d i n g s   -   T h e   f i n d i n g s   s u g g e s t   t h a t   a n o n y m o u s ,   s e l f - s e l e c t e d ,   n o n - e x p e r t   c r o w d s o u r c e d   w o r k e r s   w e r e   a p p l i e d   c o n t e n t   c o d e s   e f f i c i e n t l y   a n d   a t   l o w   c o s t ,   a n d   t h a t   t h e i r   r e l i a b i l i t y   a n d   a c c u r a c y   c o m p a r e d   t o   t h a t   o f   t r a i n e d   r e s e a r c h e r s .   R e s e a r c h   l i m i t a t i o n s / i m p l i c a t i o n s   -   T h e   a u t h o r s   p r o v i d e   r e c o m m e n d a t i o n s   f o r   m a n a g e m e n t   r e s e a r c h e r s   i n t e r e s t e d   i n   u s i n g   c r o w d s o u r c i n g   m o s t   e f f e c t i v e l y   f o r   c o n t e n t   a n a l y s i s ,   i n c l u d i n g   a   d i s c u s s i o n   o f   t h e   l i m i t a t i o n s   a n d   e t h i c a l   i s s u e s   i n v o l v e d   i n   u s i n g   t h i s   m e t h o d .   F u t u r e   r e s e a r c h   c o u l d   e x t e n d   t h e   f i n d i n g s   b y   c o n s i d e r i n g   a l t e r n a t i v e   d a t a   s o u r c e s   a n d   c o d i n g   s c h e m e s   o f   i n t e r e s t   t o   m a n a g e m e n t   r e s e a r c h e r s .   O r i g i n a l i t y / v a l u e   -   S c h o l a r s   h a v e   b e g u n   t o   e x p l o r e   w h e t h e r   c r o w d s o u r c i n g   c a n   a s s i s t   i n   a c a d e m i c   r e s e a r c h ;   h o w e v e r ,   t h i s   i s   t h e   f i r s t   s t u d y   t o   e x a m i n e   h o w   c r o w d s o u r c i n g   m i g h t   f a c i l i t a t e   c o n t e n t   a n a l y s i s .   C r o w d s o u r c i n g   o f f e r s   s e v e r a l   a d v a n t a g e s   o v e r   e x i s t i n g   c o n t e n t   a n a l y t i c   a p p r o a c h e s   b y   c o m b i n i n g   t h e   e f f i c i e n c y   o f   c o m p u t e r - a i d e d   t e x t   a n a l y s i s   w i t h   t h e   i n t e r p r e t i v e   a b i l i t y   o f   t r a d i t i o n a l   h u m a n   c o d i n g . 	 [ C o n l e y ,   C a r y n ]   F l o r i d a   A t l a n t i c   U n i v ,   D e p t   I n f o r m a t   T e c h n o l   &   O p e r a t   M a n a g e m e n t ,   B o c a   R a t o n ,   F L   3 3 4 3 1   U S A ;   [ T o s t i - K h a r a s ,   J e n n i f e r ]   S a n   F r a n c i s c o   S t a t e   U n i v ,   D e p t   M a n a g e m e n t ,   S a n   F r a n c i s c o ,   C A   9 4 1 3 2   U S A 	 C o n l e y ,   C   ( r e p r i n t   a u t h o r ) ,   F l o r i d a   A t l a n t i c   U n i v ,   D e p t   I n f o r m a t   T e c h n o l   &   O p e r a t   M a n a g e m e n t ,   B o c a   R a t o n ,   F L   3 3 4 3 1   U S A . 	 c c o n l e y 8 @ f a u . e d u 	 	 	 	 	 B a r e g h e h   A ,   2 0 0 9 ,   M A N A G E   D E C I S ,   V 4 7 ,   P 1 3 2 3 ,   D O I   1 0 . 1 1 0 8 / 0 0 2 5 1 7 4 0 9 1 0 9 8 4 5 7 8 ;   B a r r   J . ,   2 0 0 6 ,   A C M   Q u e u e ,   V 4 ;   B e r e l s o n   B . ,   1 9 5 2 ,   C O N T E N T   A N A L   C O M M U N I ;   B u h r m e s t e r   M ,   2 0 1 1 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 6 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 0 3 9 3 9 8 0 ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ;   C e c i   F ,   2 0 1 2 ,   R E S   P O L I C Y ,   V 4 1 ,   P 5 6 5 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 1 . 1 0 . 0 0 3 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   C u l p a n   R . ,   1 9 8 9 ,   M A N A G E   D E C I S ,   V 2 7 ,   P 1 0 ;   D u r i a u   V J ,   2 0 0 7 ,   O R G A N   R E S   M E T H O D S ,   V 1 0 ,   P 5 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 4 4 2 8 1 0 6 2 8 9 2 5 2 ;   E v a n s   B M ,   2 0 0 8 ,   C S C W :   2 0 0 8   A C M   C O N F E R E N C E   O N   C O M P U T E R   S U P P O R T E D   C O O P E R A T I V E   W O R K ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 8 5 ;   F e n g   D . ,   2 0 0 9 ,   P   2 0 0 9   W O R K S H   P E O P L ,   P 5 1 ,   D O I   1 0 . 3 1 1 5 / 1 6 9 9 7 6 5 . 1 6 9 9 7 7 3 ;   G h o s e   A . ,   2 0 0 9 ,   W O R K S H   I N F   S Y S T   E C   W ;   H o r t o n   J J ,   2 0 1 1 ,   E C O N   L E T T ,   V 1 1 1 ,   P 1 0 ,   D O I   1 0 . 1 0 1 6 / j . e c o n l e t . 2 0 1 0 . 1 2 . 0 0 7 ;   H o r t o n   J J ,   2 0 1 1 ,   E X P   E C O N ,   V 1 4 ,   P 3 9 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 8 3 - 0 1 1 - 9 2 7 3 - 9 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   I p e i r o t i s   P . ,   2 0 1 0 ,   C E D E R   W O R K I N G   P A P E R S ;   K a b a n o f f   B ,   1 9 9 7 ,   J   O R G A N   B E H A V ,   V 1 8 ,   P 5 0 7 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 9 - 1 3 7 9 ( 1 9 9 7 1 1 ) 1 8 : 1 + < 5 0 7 : : A I D - J O B 9 0 4 > 3 . 3 . C O ; 2 - S ;   K A S S A R J I A N   H H ,   1 9 7 7 ,   J   C O N S U M   R E S ,   V 4 ,   P 8 ,   D O I   1 0 . 1 0 8 6 / 2 0 8 6 7 4 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K r i p p e n d o r f f   K . ,   2 0 0 4 ,   C O N T E N T   A N A L   I N T R O   I ;   L o m b a r d   M . ,   2 0 0 8 ,   P R A C T I C A L   R E S O U R C E S ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   M c G r a w   I . ,   2 0 0 9 ,   I N T E R S P E E C H   2 0 0 9   1 0 ;   M i l e s   M . ,   1 9 9 4 ,   Q U A L I T A T I V E   D A T A   A N A ;   M O R R I S   R ,   1 9 9 4 ,   J   M A N A G E ,   V 2 0 ,   P 9 0 3 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 9 2 0 6 3 9 4 0 2 0 0 0 4 1 0 ;   N e u e n d o r f   K .   A . ,   2 0 0 2 ,   C O N T E N T   A N A L   G U I D E B O ;   N i e l s e n   M . ,   2 0 1 1 ,   R E I N V E N T I N G   D I S C O V E R ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   P e t t i g r e w   A M ,   1 9 9 0 ,   O R G A N   S C I ,   V 1 ,   P 2 6 7 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 . 3 . 2 6 7 ;   P o l l a c h   I ,   2 0 1 2 ,   O R G A N   R E S   M E T H O D S ,   V 1 5 ,   P 2 6 3 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 4 4 2 8 1 1 1 4 1 7 4 5 1 ;   R a y   J L ,   2 0 1 2 ,   O R G A N   R E S   M E T H O D S ,   V 1 5 ,   P 2 8 8 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 4 4 2 8 1 1 1 4 3 1 1 1 0 ;   R o n d a n - C a t a l u n a   F J ,   2 0 1 2 ,   M A N A G E   D E C I S ,   V 5 0 ,   P 6 3 5 ,   D O I   1 0 . 1 1 0 8 / 0 0 2 5 1 7 4 1 2 1 1 2 2 0 2 2 8 ;   R o s s   J . ,   2 0 1 0 ,   C H I   E A   1 0   P   2 8   I N T   C ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 ;   S A C K M A N N   S A ,   1 9 9 2 ,   A D M I N   S C I   Q U A R T ,   V 3 7 ,   P 1 4 0 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 5 3 6 ;   S h a p i r o   G . ,   1 9 9 7 ,   T E X T   A N A L   S O C I A L   S C I ,   P 9 ;   S h o r t   J C ,   2 0 0 8 ,   O R G A N   R E S   M E T H O D S ,   V 1 1 ,   P 7 2 7 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 4 4 2 8 1 0 7 3 0 4 5 3 4 ;   S n o w   R . ,   2 0 0 8 ,   C   E M P   M E T H   N A T   L A N G ;   S o n p a r   K ,   2 0 0 8 ,   O R G A N   R E S   M E T H O D S ,   V 1 1 ,   P 7 9 5 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 4 4 2 8 1 0 6 2 9 7 8 0 4 ;   S o r o k i n   A ,   2 0 0 8 ,   P R O C   C V P R   I E E E ,   P 2 3 ;   S t r a u s s   A . ,   1 9 9 8 ,   B A S I C S   Q U A L I T A T I V E   R ;   W e b e r   R .   P . ,   1 9 9 0 ,   B A S I C   C O N T E N T   A N A L ;   W i g g i n s   A . ,   2 0 1 1 ,   P   4 4   H A W   I N T   C   S Y S T ;   W O L F E   R A ,   1 9 9 3 ,   J   M A N A G E ,   V 1 9 ,   P 6 3 7 	 4 3 	 0 	 0 	 E M E R A L D   G R O U P   P U B L I S H I N G   L I M I T E D 	 B I N G L E Y 	 H O W A R D   H O U S E ,   W A G O N   L A N E ,   B I N G L E Y   B D 1 6   1 W A ,   W   Y O R K S H I R E ,   E N G L A N D 	 0 0 2 5 - 1 7 4 7 	 1 7 5 8 - 6 0 7 0 	 	 M A N A G E   D E C I S 	 M a n a g .   D e c i s . 	 	 2 0 1 4 	 5 2 	 4 	 	 	 	 	 6 7 5 	 6 8 8 	 	 1 0 . 1 1 0 8 / M D - 0 3 - 2 0 1 2 - 0 1 5 6 	 	 1 4 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 A N 7 F S 	 W O S : 0 0 0 3 4 0 7 6 5 0 0 0 0 0 2 	 	 
 J 	 M i s r a ,   A ;   G o o z e ,   A ;   W a t k i n s ,   K ;   A s a d ,   M ;   L e   D a n t e c ,   C A 	 	 	 	 M i s r a ,   A d i t i ;   G o o z e ,   A a r o n ;   W a t k i n s ,   K a r i ;   A s a d ,   M a r i a m ;   L e   D a n t e c ,   C h r i s t o p h e r   A . 	 	 	 C r o w d s o u r c i n g   a n d   I t s   A p p l i c a t i o n   t o   T r a n s p o r t a t i o n   D a t a   C o l l e c t i o n   a n d   M a n a g e m e n t 	 T R A N S P O R T A T I O N   R E S E A R C H   R E C O R D 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 I N V O L V E M E N T 	 T h e   p a r t i c i p a t i o n   o f   a   l a r g e   a n d   v a r i e d   g r o u p   o f   p e o p l e   i n   t h e   p l a n n i n g   p r o c e s s   h a s   l o n g   b e e n   e n c o u r a g e d   t o   i n c r e a s e   t h e   e f f e c t i v e n e s s   a n d   a c c e p t a b i l i t y   o f   p l a n s .   H o w e v e r ,   i n   p r a c t i c e ,   p a r t i c i p a t i o n   b y   a f f e c t e d   s t a k e h o l d e r s   h a s   o f t e n   b e e n   l i m i t e d   t o   s m a l l   g r o u p s ,   b o t h   b e c a u s e   o f   t h e   l a c k   o f   r e a c h   o n   t h e   p a r t   o f   p l a n n e r s   a n d   b e c a u s e   o f   a   s e n s e   o f   l i t t l e   o r   n o   o w n e r s h i p   o f   t h e   p r o c e s s   o n   t h e   p a r t   o f   c i t i z e n s .   O v e r c o m i n g   t h e s e   c h a l l e n g e s   t o   s t a k e h o l d e r   p a r t i c i p a t i o n   i s   p a r t i c u l a r l y   i m p o r t a n t   f o r   a n y   t r a n s p o r t a t i o n   p l a n n i n g   p r o c e s s   b e c a u s e   t h e   s u c c e s s   o f   t h e   s y s t e m   d e p e n d s   p r i m a r i l y   o n   i t s   a b i l i t y   t o   c a t e r   t o   t h e   r e q u i r e m e n t s   a n d   p r e f e r e n c e s   o f   t h e   p e o p l e   w h o m   t h e   s y s t e m   s e r v e s .   C r o w d s o u r c i n g   u s e s   t h e   c o l l e c t i v e   w i s d o m   o f   a   c r o w d   t o   a c h i e v e   a   s o l u t i o n   t o   a   p r o b l e m   t h a t   a f f e c t s   t h e   c r o w d .   T h i s   p a p e r   p r o p o s e s   t h e   u s e   o f   c r o w d s o u r c i n g   a s   a   p o s s i b l e   m e c h a n i s m   t o   i n v o l v e   a   l a r g e   g r o u p   o f   s t a k e h o l d e r s   i n   t r a n s p o r t a t i o n   p l a n n i n g   a n d   o p e r a t i o n s .   M u l t i p l e   c a s e   s t u d i e s   s h o w   t h a t   c r o w d s o u r c i n g   w a s   u s e d   t o   c o l l e c t   d a t a   f r o m   a   w i d e   r a n g e   o f   s t a k e h o l d e r s   i n   t r a n s p o r t a t i o n   p r o j e c t s .   T w o   d i s t i n c t   c r o w d s o u r c i n g   u s a g e   t y p e s   a r e   i d e n t i f i e d :   c r o w d s o u r c i n g   f o r   c o l l e c t i n g   n o r m a l l y   s p a r s e   d a t a   o n   f a c i l i t i e s   s u c h   a s   b i k e   r o u t e s   a n d   c r o w d s o u r c i n g   f o r   s o l i c i t i n g   f e e d b a c k   o n   t r a n s i t   q u a l i t y   o f   s e r v i c e   a n d   r e a l - t i m e   i n f o r m a t i o n   q u a l i t y .   A   f i n a l   c a s e   s t u d y   e x e m p l i f i e s   t h e   u s e   o f   d a t a   q u a l i t y   a u d i t o r s   f o r   e n s u r i n g   t h e   u s a b i l i t y   o f   c r o w d - s o u r c e d   d a t a ,   o n e   o f   m a n y   p o t e n t i a l   i s s u e s   i n   c r o w d s o u r c i n g   p r e s e n t e d   i n   t h e   p a p e r .   T h e s e   c a s e   s t u d i e s   s h o w   t h a t   c r o w d s o u r c i n g   h a s   i m m e n s e   p o t e n t i a l   t o   r e p l a c e   o r   a u g m e n t   t r a d i t i o n a l   w a y s   o f   c o l l e c t i n g   d a t a   a n d   f e e d b a c k   f r o m   a   w i d e r   g r o u p   o f   a   t r a n s p o r t a t i o n   s y s t e m ' s   u s e r s   w i t h o u t   c r e a t i n g   a n   a d d i t i o n a l   f i n a n c i a l   b u r d e n . 	 [ M i s r a ,   A d i t i ;   G o o z e ,   A a r o n ;   W a t k i n s ,   K a r i ]   G e o r g i a   I n s t   T e c h n o l ,   A t l a n t a ,   G A   3 0 3 3 2   U S A ;   [ A s a d ,   M a r i a m ;   L e   D a n t e c ,   C h r i s t o p h e r   A . ]   G e o r g i a   I n s t   T e c h n o l ,   A t l a n t a ,   G A   3 0 3 0 8   U S A 	 M i s r a ,   A   ( r e p r i n t   a u t h o r ) ,   G e o r g i a   I n s t   T e c h n o l ,   7 9 0   A t l a n t i c   D r ,   A t l a n t a ,   G A   3 0 3 3 2   U S A . 	 a m i s r a 7 @ g a t e c h . e d u 	 	 	 	 	 B r a b h a m   D C ,   2 0 0 9 ,   P L A N   T H E O R ,   V 8 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 9 1 0 4 8 2 4 ;   B u r b y   R J ,   2 0 0 3 ,   J   A M   P L A N N   A S S O C ,   V 6 9 ,   P 3 3 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 4 4 3 6 0 3 0 8 9 7 6 2 9 2 ;   D i l l   J ,   2 0 1 3 ,   T R A N S P O R T   R E S   R E C ,   P 1 2 9 ,   D O I   1 0 . 3 1 4 1 / 2 3 8 7 - 1 5 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   E r i c k s o n   T . ,   2 0 1 0 ,   1   I N T   W O R K S H   U B   C R O W ;   F e r r i s   B . ,   2 0 1 0 ,   P   C H I   2 0 1 0   A T L   G E O R G ;   G a l s t o n   W . A . ,   2 0 0 4 ,   P S   P O L I T I C A L   S C I   P O L ,   V 3 7 ,   P 2 5 3 ;   G o o d c h i l d   M . ,   2 0 0 8 ,   E N V   P O L I T I C S   D E V   W O R ,   P 1 ;   G o o z e   A ,   2 0 1 3 ,   T R A N S P O R T   R E S   R E C ,   P 9 5 ,   D O I   1 0 . 3 1 4 1 / 2 3 5 1 - 1 1 ;   G o o z e   A .   I . ,   2 0 1 3 ,   T H E S I S   G E O R G I A   I   T E C ;   H a g u e   C . ,   2 0 0 3 ,   P A R T I C I P A T O R Y   P L A N N I ;   H e i p k e   C ,   2 0 1 0 ,   I S P R S   J   P H O T O G R A M M ,   V 6 5 ,   P 5 5 0 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 1 0 . 0 6 . 0 0 5 ;   H o o d   J ,   2 0 1 1 ,   T R A N S P   L E T T ,   V 3 ,   P 6 3 ,   D O I   1 0 . 3 3 2 8 / T L . 2 0 1 1 . 0 3 . 0 1 . 6 3 - 7 5 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   C O N D E   N A S T   D I G ;   I n n e s   J E ,   1 9 9 8 ,   J   A M   P L A N N   A S S O C ,   V 6 4 ,   P 5 2 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 4 4 3 6 9 8 0 8 9 7 5 9 5 6 ;   I n s u a   R .   D . ,   2 0 0 8 ,   I S E B ,   V 6 ,   P 1 6 1 ;   K i t c h i n   R . ,   2 0 1 1 ,   M A P   R E A D E R   T H E O R I E S ;   K u z n e t s o v   S . ,   2 0 1 1 ,   A C M   S I G C H I ;   K u z n e t s o v   S . ,   2 0 1 0 ,   A C M   C   D E S   I N T   S Y S T   A ;   M a s l i   M ,   2 0 1 1 ,   C O M P U T E R ,   V 4 4 ,   P 9 0 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 1 1 . 3 3 8 ;   P e w   R e s e a r c h   C e n t e r   f o r   t h e   P e o p l e   a n d   t h e   P r e s s ,   2 0 0 4 ,   C A B L   I N T   L O O M   L A R G   F ;   P r i e d h o r s k y   R . ,   2 0 0 7 ,   P   W I K I S Y M ,   P 9 3 ,   D O I   1 0 . 1 1 4 5 / 1 2 9 6 9 5 1 . 1 2 9 6 9 6 2 ;   R a b i n o w i t z   P . ,   2 0 1 3 ,   P A R T I C I P A T O R Y   A P P R O A ;   S a x t o n   G .   D . ,   R U L E S   C R O W D S O U R C I N G ;   S k o c p o l   T . ,   1 9 9 9 ,   C I V I C   E N G A G E M E N T   A M ;   S l o t t e r b a c k   C S ,   2 0 1 0 ,   J   A R C H I T   P L A N   R E S ,   V 2 7 ,   P 1 4 4 ;   S t e i n f e l d   A . ,   2 0 1 3 ,   B E S T   P R A C T I C E S   T R A N S ;   W a g n e r   J ,   2 0 1 3 ,   T R A N S P O R T   R E S   R E C ,   P 3 8 ,   D O I   1 0 . 3 1 4 1 / 2 3 9 7 - 0 5 ;   W i g g i n s   A . ,   2 0 1 1 ,   P   4 4   H A W   I N T   C   S Y S T ;   W i n d m i l l e r   S . ,   2 0 1 4 ,   9 3   A N N   M   T R A N S P   R E S ;   Z i m m e r m a n   J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 6 7 7 	 3 1 	 0 	 0 	 N A T L   A C A D   S C I E N C E S 	 W A S H I N G T O N 	 2 1 0 1   C O N S T I T U T I O N   A V E   N W ,   W A S H I N G T O N ,   D C   2 0 4 1 8   U S A 	 0 3 6 1 - 1 9 8 1 	 2 1 6 9 - 4 0 5 2 	 	 T R A N S P O R T   R E S   R E C 	 T r a n s p .   R e s .   R e c o r d 	 	 2 0 1 4 	 	 2 4 1 4 	 	 	 	 	 1 	 8 	 	 1 0 . 3 1 4 1 / 2 4 1 4 - 0 1 	 	 8 	 E n g i n e e r i n g ,   C i v i l ;   T r a n s p o r t a t i o n ;   T r a n s p o r t a t i o n   S c i e n c e   &   T e c h n o l o g y 	 E n g i n e e r i n g ;   T r a n s p o r t a t i o n 	 A O 2 Q B 	 W O S : 0 0 0 3 4 1 1 6 9 2 0 0 0 0 1 	 	 
 J 	 E m e r y ,   J ;   S t o n e ,   G 	 	 	 	 E m e r y ,   J i l l ;   S t o n e ,   G r a h a m 	 	 	 I n t r o d u c t i o n   t o   O A W A L :   O p e n   A c c e s s   W o r k f l o w s   f o r   A c a d e m i c   L i b r a r i a n s 	 S E R I A L S   R E V I E W 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 o p e n   a c c e s s   p u b l i s h i n g ;   a d v o c a c y ;   l i b r a r y   a s   p u b l i s h e r ;   o p e n   a c c e s s   s t a n d a r d s 	 	 T h i s   e d i t o r i a l   p r o v i d e s   a n   i n t r o d u c t i o n   t o   O A W A L :   O p e n   A c c e s s   W o r k f l o w s   f o r   A c a d e m i c   L i b r a r i a n s .   T h e   i n t e n t i o n   f o r   t h i s   c r o w d s o u r c i n g   p r o j e c t   i s   o u t l i n e d   a l o n g   w i t h   t h e   m a j o r   t o p i c s   o f   d i s c u s s i o n .   I n   c o n c l u s i o n ,   t h e   e d i t o r i a l   o u t l i n e s   n e x t   s t e p s   a n d   f u t u r e   p l a n s   o f   t h e   a u t h o r s   f o r   t h e   O A W A L   p r o j e c t . 	 [ E m e r y ,   J i l l ]   P o r t l a n d   S t a t e   U n i v ,   B r a n f o r d   P r i c e   M i l l a r   L i b ,   P o r t l a n d ,   O R   9 7 2 0 7   U S A ;   [ S t o n e ,   G r a h a m ]   U n i v   H u d d e r s f i e l d ,   C o m p   S e r v ,   H u d d e r s f i e l d   H D 1   3 D H ,   W   Y o r k s h i r e ,   E n g l a n d ;   [ S t o n e ,   G r a h a m ]   U n i v   H u d d e r s f i e l d ,   L i b   S e r v ,   H u d d e r s f i e l d   H D 1   3 D H ,   W   Y o r k s h i r e ,   E n g l a n d 	 E m e r y ,   J   ( r e p r i n t   a u t h o r ) ,   1 9 7 5   S W   P k   S t ,   P o r t l a n d ,   O R   9 7 2 0 1   U S A . 	 j e m e r y @ p d x . e d u 	 	 	 	 	 A m h e r s t   C o l l e g e ,   2 0 1 2 ,   A M H   C O L L   L A U N C H   1   O P ;   C o l l i n s   E . ,   2 0 1 3 ,   W O R K I N G   P A P E R ;   H a h n   K .   L . ,   2 0 0 8 ,   R E S   L I B   P U B L I S H I N G   S ;   H a r w o o d   P . ,   2 0 1 4 ,   U K S G   3 7   A N N   C   E X H   H A ;   J a c o b s   N . ,   2 0 1 4 ,   2 0 1 4   A N N   C   A S S   S U B S C ;   M u l l i n s   J .   L . ,   2 0 1 2 ,   L I B   P U B L I S H I N G   S E R V I ;   P e r r y   A M ,   2 0 1 1 ,   S E R I A L S   R E V ,   V 3 7 ,   P 1 9 6 ,   D O I   1 0 . 1 0 1 6 / j . s e r r e v . 2 0 1 1 . 0 6 . 0 0 6 ;   S o m m e r v i l l e   M .   M . ,   2 0 1 4 ,   C O L L A B O R A T I V E   I M P R O V ;   S t o n e   G . ,   2 0 1 4 ,   O A W A L   O P E N   A C C E S S   W O 	 9 	 0 	 0 	 R O U T L E D G E   J O U R N A L S ,   T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X F O R D S H I R E ,   E N G L A N D 	 0 0 9 8 - 7 9 1 3 	 1 8 7 9 - 0 9 5 X 	 	 S E R I A L S   R E V 	 S e r .   R e v . 	 	 2 0 1 4 	 4 0 	 2 	 	 	 	 	 8 3 	 8 7 	 	 1 0 . 1 0 8 0 / 0 0 9 8 7 9 1 3 . 2 0 1 4 . 9 2 4 3 0 7 	 	 5 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 A N 0 E U 	 W O S : 0 0 0 3 4 0 2 5 7 3 0 0 0 0 1 	 	 
 J 	 S e g e v ,   E ;   C h e n ,   J ;   E n g l i s h ,   B ;   J o h n s ,   R C 	 	 	 	 S e g e v ,   E r a n ;   C h e n ,   J o y c e ;   E n g l i s h ,   B r e n d a n ;   J o h n s ,   R o b e r t   C . 	 	 	 I m p a c t s   o f   P a r t i c i p a t o r y   S t r a t e g i c   P l a n n i n g   o n   A d v a n c i n g   I n n o v a t i o n   a t   t h e   V o l p e   C e n t e r 	 T R A N S P O R T A T I O N   R E S E A R C H   R E C O R D 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 S t r a t e g y   a n d   i n n o v a t i o n   a r e   c r i t i c a l   i n   e n s u r i n g   t h e   c o n t i n u e d   s u c c e s s   o f   r e s e a r c h   o r g a n i z a t i o n s   i n   t h e   f a c e   o f   r a p i d   e c o n o m i c ,   t e c h n o l o g i c a l ,   p o l i t i c a l ,   a n d   s o c i a l   c h a n g e s .   I n   2 0 1 0 ,   t h e   J o h n   A .   V o l p e   N a t i o n a l   T r a n s p o r t a t i o n   S y s t e m s   C e n t e r   ( V o l p e ) ,   a   f e e - f o r - s e r v i c e   r e s e a r c h   o r g a n i z a t i o n   i n   e x i s t e n c e   f o r   m o r e   t h a n   4 0   y e a r s   i n   t h e   U . S .   D e p a r t m e n t   o f   T r a n s p o r t a t i o n ,   e m b a r k e d   o n   a   p a r t i c i p a t o r y   s t r a t e g i c   p l a n n i n g   p r o c e s s .   T h i s   p a p e r   p r e s e n t s   a   c a s e   s t u d y   o f   t h i s   p r o c e s s ,   w h i c h   u s e d   c r o w d s o u r c i n g   a s   a   t o o l   f o r   s t a f f   e n g a g e m e n t .   I n   a d d i t i o n ,   t h e   p a p e r   e v a l u a t e s   t h e   e f f e c t i v e n e s s   o f   V o l p e ' s   s t r a t e g i c   p l a n n i n g   e f f o r t s   t h r o u g h   t h e   l e n s   o f   t h e   l i t e r a t u r e   o n   s t r a t e g i c   p l a n n i n g   a n d   i n n o v a t i o n .   E m p l o y i n g   b o t h   q u a n t i t a t i v e   a n d   q u a l i t a t i v e   m e t h o d s ,   t h e   p a p e r   e x a m i n e s   t w o   q u e s t i o n s .   F i r s t ,   h a s   t h e   p a r t i c i p a t o r y   s t r a t e g i c   p l a n n i n g   p r o c e s s   s t r e n g t h e n e d   V o l p e ' s   a b i l i t y   t o   c a r r y   o u t   i t s   p u r p o s e   o f   a d v a n c i n g   t r a n s p o r t a t i o n   i n n o v a t i o n   f o r   t h e   p u b l i c   g o o d ?   S e c o n d ,   d o e s   t h e   e m p l o y e e   e n g a g e m e n t   a n d   c r o w d s o u r c i n g   a p p r o a c h   u s e d   b y   V o l p e   o f f e r   a n   e f f e c t i v e   a n d   s u c c e s s f u l   a l t e r n a t i v e   t o   t h e   t r a d i t i o n a l   m o d e l   o f   c o n d u c t i n g   s t r a t e g i c   p l a n n i n g   a t   t h e   t o p   o r g a n i z a t i o n a l   l e v e l s ?   S t r a t e g i c   p l a n n i n g   a n d   i n n o v a t i o n   l i t e r a t u r e   p r o v i d e d   q u a n t i t a t i v e   m e t r i c s   w i t h   w h i c h   t o   m e a s u r e   c h a r a c t e r i s t i c s   a s s o c i a t e d   w i t h   i n n o v a t i v e   o r g a n i z a t i o n s .   F i n d i n g s   i n d i c a t e d   t h a t   s i x   c o m p l e t e d   s t r a t e g i c   i n i t i a t i v e s   w e r e   p e r c e i v e d   b y   s t a f f   a s   c o n t r i b u t i n g   p o s i t i v e l y   t o   V o l p e ' s   p u r p o s e   o f   a d v a n c i n g   i n n o v a t i o n .   D i f f e r e n c e s   b e t w e e n   m a n a g e r s '   a n d   n o n m a n a g e r s '   p e r c e p t i o n s   w e r e   f o u n d .   F i n d i n g s   a l s o   i n d i c a t e d   t h a t   c r o w d s o u r c i n g   w a s   a n   e f f e c t i v e   t o o l   w i t h   h i g h   p a r t i c i p a t i o n   r a t e s   a n d   p o s i t i v e   c o m m e n t s   i n   t h e   q u a l i t a t i v e   a n a l y s i s .   T h i s   r e s e a r c h   d e m o n s t r a t e d   t h e   c o n t i n u i n g   n e e d   f o r   f u r t h e r   r e s e a r c h   o n   t h e   i m p a c t s   o f   s t r a t e g i c   p l a n n i n g   a n d   o n   t h e   u s e   a n d   e f f e c t i v e n e s s   o f   c r o w d s o u r c i n g . 	 [ S e g e v ,   E r a n ;   C h e n ,   J o y c e ;   E n g l i s h ,   B r e n d a n ;   J o h n s ,   R o b e r t   C . ]   R e s   &   I n n o v a t   T e c h n o l   A d m ,   V o l p e   N a t l   T r a n s p o r t a t   S y s t   C t r ,   U S   D e p t   T r a n s p o r t a t ,   C a m b r i d g e ,   M A   0 2 1 4 2   U S A 	 S e g e v ,   E   ( r e p r i n t   a u t h o r ) ,   R e s   &   I n n o v a t   T e c h n o l   A d m ,   V o l p e   N a t l   T r a n s p o r t a t   S y s t   C t r ,   U S   D e p t   T r a n s p o r t a t ,   5 5   B r o a d w a y ,   C a m b r i d g e ,   M A   0 2 1 4 2   U S A . 	 e r a n . s e g e v @ d o t . g o v 	 	 	 	 	 B A R T L E T T   C A ,   1 9 9 4 ,   H A R V A R D   B U S   R E V ,   V 7 2 ,   P 7 9 ;   C o l l i n s   J C ,   1 9 9 6 ,   H A R V A R D   B U S   R E V ,   V 7 4 ,   P 6 5 ;   G a s t   A . ,   2 0 1 2 ,   M C K I N S E Y   Q ;   M I N T Z B E R G   H ,   1 9 9 4 ,   H A R V A R D   B U S   R E V ,   V 7 2 ,   P 1 0 7 ;   P r o k e s h   S ,   2 0 0 9 ,   H A R V A R D   B U S   R E V ,   V 8 7 ,   P 1 ;   T i d d   J . ,   2 0 1 1 ,   M A N A G I N G   I N N O V A T I O N 	 6 	 0 	 0 	 N A T L   A C A D   S C I E N C E S 	 W A S H I N G T O N 	 2 1 0 1   C O N S T I T U T I O N   A V E   N W ,   W A S H I N G T O N ,   D C   2 0 4 1 8   U S A 	 0 3 6 1 - 1 9 8 1 	 2 1 6 9 - 4 0 5 2 	 	 T R A N S P O R T   R E S   R E C 	 T r a n s p .   R e s .   R e c o r d 	 	 2 0 1 4 	 	 2 4 2 0 	 	 	 	 	 4 5 	 5 4 	 	 1 0 . 3 1 4 1 / 2 4 2 0 - 0 5 	 	 1 0 	 E n g i n e e r i n g ,   C i v i l ;   T r a n s p o r t a t i o n ;   T r a n s p o r t a t i o n   S c i e n c e   &   T e c h n o l o g y 	 E n g i n e e r i n g ;   T r a n s p o r t a t i o n 	 A N 1 N L 	 W O S : 0 0 0 3 4 0 3 5 0 5 0 0 0 0 5 	 	 
 J 	 D o n n e l l y ,   C ;   A t i a ,   M M ;   K o r e n b e r g ,   M J ;   N o u r e l d i n ,   A 	 	 	 I O N 	 D o n n e l l y ,   C . ;   A t i a ,   M .   M . ;   K o r e n b e r g ,   M .   J . ;   N o u r e l d i n ,   A b o e l m a g d 	 	 	 H a r d w a r e - I n d e p e n d e n t   A u t o m a t i c   C r o w d s o u r c i n g - B a s e d   H y b r i d   W L A N - R F I D   A d a p t i v e   I n d o o r   T r a c k i n g   S y s t e m   U s i n g   F a s t   O r t h o g o n a l   S e a r c h   a n d   M u l t i p l e   P a r t i c l e   F i l t e r s 	 P R O C E E D I N G S   O F   T H E   2 0 1 4   I N T E R N A T I O N A L   T E C H N I C A L   M E E T I N G   O F   T H E   I N S T I T U T E   O F   N A V I G A T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I n t e r n a t i o n a l   T e c h n i c a l   M e e t i n g   o f   t h e   I n s t i t u t e - o f - N a v i g a t i o n 	 J A N   2 7 - 2 9 ,   2 0 1 4 	 S a n   D i e g o ,   C A 	 I n s t   N a v i g a t 	 	 	 	 T h i s   p a p e r   i n t r o d u c e s   a   n o v e l   m e t h o d o l o g y   t o   i m p r o v e   i n d o o r   t r a c k i n g   s y s t e m s   i n   l o c a l   a r e a   w i r e l e s s   n e t w o r k s   ( W L A N )   b a s e d   o n   r e c e i v e d   s i g n a l   s t r e n g t h   ( R S S ) .   T h e   p r o p o s e d   m e t h o d o l o g y   a d d r e s s e s   s i g n i f i c a n t   s h o r t c o m i n g s   a n d   d r a w b a c k s   i n   c u r r e n t   e x i s t i n g   i n d o o r   W L A N - b a s e d   t r a c k i n g   s y s t e m s .   F i r s t ,   i t   d o e s   n o t   n e e d   o f f l i n e   c a l i b r a t i o n   o r   m a n u a l   d a t a   c o l l e c t i o n .   I n s t e a d ,   i t   u s e s   a n   a u t o m a t i c   c r o w d s o u r c i n g - b a s e d   t e c h n i q u e   w i t h   a   F a s t   O r t h o g o n a l   S e a r c h   a l g o r i t h m   t o   p r o c e s s   s p a r s e   u n e q u a l l y - s p a c e d   R S S   m e a s u r e m e n t s .   S e c o n d ,   i t   s o l v e s   t h e   h a r d w a r e   v a r i a t i o n s   p r o b l e m   w h e r e   m u l t i p l e   m o b i l e   d e v i c e s   f r o m   d i f f e r e n t   m a n u f a c t u r e r s   w i t h   d i f f e r e n t   R S S   l e v e l s   a r e   t o   b e   t r a c k e d .   T h i r d ,   t h e   p r o p o s e d   s y s t e m   h a n d l e s   b o t h   s h o r t - t e r m   a n d   l o n g - t e r m   R S S   v a r i a t i o n s   t h r o u g h   a   n o v e l   m u l t i p l e - p a r t i c l e   f i l t e r   a p p r o a c h   F i n a l l y ,   t r a c k i n g   i s   p e r f o r m e d   t h r o u g h   a   t i g h t l y - c o u p l e d   p a r t i c l e   f i l t e r   a l g o r i t h m   t h a t   f u s e s   R S S   o b s e r v a t i o n s   w i t h   a   s i m p l e   p e d e s t r i a n   w a l k i n g   m o d e l .   E x p e r i m e n t a l   a n d   s i m u l a t i o n   w o r k   s h o w e d   t h a t   t h e   p r o p o s e d   s y s t e m   c a n   e f f i c i e n t l y   b u i l d   R S S   m o d e l s   f o r   d i f f e r e n t   u s e r ' s   d e v i c e s   h a r d w a r e ,   g r e a t l y   s m o o t h   R S S   m e a s u r e m e n t s   a n d   t r a c k   u s e r s '   d e v i c e s   w i t h   a n   a v e r a g e   o f   2 m   a c c u r a c y . 	 [ D o n n e l l y ,   C . ;   A t i a ,   M .   M . ;   N o u r e l d i n ,   A b o e l m a g d ]   R o y a l   M i l   C o l l   C a n a d a ,   V i c t o r i a ,   B C ,   C a n a d a 	 D o n n e l l y ,   C   ( r e p r i n t   a u t h o r ) ,   R o y a l   M i l   C o l l   C a n a d a ,   V i c t o r i a ,   B C ,   C a n a d a . 	 	 	 	 	 	 A t i a   M .   M . ,   2 0 1 2 ,   I E E E   T   M O B I L E   C O M P U T ,   V 9 ;   B o s e   A . ,   2 0 0 7 ,   I N T   C   I N F   C O M M   S I G N ;   D i a r d   J . ,   2 0 0 3 ,   I N T   C   C O M P   I N T   R O B   A ;   D u r r a n t - W h y t e   H . ,   2 0 0 1 ,   I N T R O   E S T I M A T I O N   K A L ;   D y c k m a n   H . ,   2 0 0 4 ,   P   I O N   G N S S   2 0 0 4   L O N G ;   E l - R a b b a n y   A . ,   2 0 0 2 ,   I N T R O   G P S   G L O B A L   P O S ;   F a r r e l l   A . ,   2 0 0 8 ,   A I D E D   N A V I G A T I O N   G P S ;   F a u l k n e r   N . ,   2 0 0 2 ,   I E E E   P O S   L O C   N A V   S ,   P 3 0 6 ;   I n d o o r   L B S   C o n s u l t a n c y ,   2 0 1 3 ,   I N D   L B S   M A R K ;   K i m   B .   Y . ,   2 0 1 2 ,   4   I N T   C   U B   F U T   N E T W ;   K o r e n b e r g   M J ,   1 9 9 8 ,   A N N   B I O M E D   E N G ,   V 2 6 ,   P 3 1 5 ,   D O I   1 0 . 1 1 1 4 / 1 . 9 0 ;   M a n n i n g s   R . ,   2 0 0 8 ,   M O B I L E   C O M M U N I C A T I O N ;   M i s r a   P r a t a p ,   2 0 1 1 ,   G L O B A L   P O S I T I O N I N G   S ;   P u r o h i t   A . ,   2 0 1 3 ,   I E E E   S E C O N   N E W   O R L   U ;   S u n   G L ,   2 0 0 5 ,   I E E E   S I G N A L   P R O C   M A G ,   V 2 2 ,   P 1 2 ;   T h e   I n t e r n a t i o n a l   T e l e c o m m u n i c a t i o n   U n i o n ,   2 0 1 1 ,   I C T   F A C T S   F I G ;   T i t t e r t o n   D H ,   2 0 0 4 ,   S T R A P D O W N   I N E R T I A L   N ;   Y a n g   P . ,   2 0 1 2 ,   I E E E   T   I N D   E L E C T ,   V 6 0 	 1 8 	 0 	 0 	 I N S T   N A V I G A T I O N 	 W A S H I N G T O N 	 8 1 5   1 5 T H   S T   N W ,   S T E   8 3 2 ,   W A S H I N G T O N ,   D C   2 0 0 0 5   U S A 	 	 	 	 	 	 	 2 0 1 4 	 	 	 	 	 	 	 3 7 7 	 3 8 3 	 	 	 	 7 	 T e l e c o m m u n i c a t i o n s 	 T e l e c o m m u n i c a t i o n s 	 B A 9 O A 	 W O S : 0 0 0 3 3 9 6 3 0 9 0 0 0 3 9 	 	 
 S 	 W e b e r ,   M E A ;   V a n   d e r   L a a n ,   D H 	 	 B r u n o e ,   T D ;   N i e l s e n ,   K ;   J o e r g e n s e n ,   K A ;   T a p s ,   S B 	 	 W e b e r ,   M a r c e l   E .   A . ;   V a n   d e r   L a a n ,   D i r k   H . 	 	 	 D o e s   C u s t o m e r   C o - c r e a t i o n   R e a l l y   P a y   O f f ?   A n   I n v e s t i g a t i o n   i n t o   t h e   F i r m ' s   B e n e f i t s   f r o m   C u s t o m e r   I n v o l v e m e n t   i n   N e w   P r o d u c t   a n d   S e r v i c e   D e v e l o p m e n t 	 P R O C E E D I N G S   O F   T H E   7 T H   W O R L D   C O N F E R E N C E   O N   M A S S   C U S T O M I Z A T I O N ,   P E R S O N A L I Z A T I O N ,   A N D   C O - C R E A T I O N   ( M C P C   2 0 1 4 )   -   T W E N T Y   Y E A R S   O F   M A S S   C U S T O M I Z A T I O N   -   T O W A R D S   N E W   F R O N T I E R S 	 L e c t u r e   N o t e s   i n   P r o d u c t i o n   E n g i n e e r i n g 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 7 t h   W o r l d   C o n f e r e n c e   o n   M a s s   C u s t o m i z a t i o n ,   P e r s o n a l i z a t i o n ,   a n d   C o - C r e a t i o n   ( M C P C )   -   T w e n t y   Y e a r s   o f   M a s s   C u s t o m i z a t i o n   -   T o w a r d s   N e w   F r o n t i e r s 	 F E B   0 4 - 0 7 ,   2 0 1 4 	 A a l b o r g ,   D E N M A R K 	 	 A a l b o r g   U n i v 	 O p e n   i n n o v a t i o n ;   C u s t o m e r   c o - c r e a t i o n ;   I n n o v a t i o n   s u c c e s s ;   C u s t o m e r   i n v o l v e m e n t   i n   N P D   a n d   N S D 	 F I N A N C I A L   S E R V I C E S ;   B R A N D   C O M M U N I T Y ;   I N N O V A T I O N ;   U S E R ;   C O N S U M E R S ;   M O D E L ;   M A N A G E M E N T ;   B E H A V I O R ;   S U C C E S S ;   D E S I G N 	 T h e   a c t i v e   i n v o l v e m e n t   o r   c o - c r e a t i o n   o f   c u s t o m e r s   i n   t h e   i n n o v a t i o n   p r o c e s s   i s   n o w a d a y s   v e r y   c o m m o n   f o r   f i r m s .   S i n c e   t h e   a w a r e n e s s   t h a t   i t   a l s o   e n t a i l s   t h e   i n v o l v e m e n t   o f   c u s t o m e r s ,   m a n y   o r g a n i z a t i o n s   h a v e   t a k e n   t h i s   s t e p .   C u s t o m e r s   a r e   n o w a d a y s   a s s a i l e d   b y   f i r m s '   r e q u e s t s   t o   p a r t i c i p a t e   i n   c o - c r e a t i o n   c h a l l e n g e s ,   c r o w d s o u r c i n g   i n v i t a t i o n s ,   a n d   s o   o n .   U n t i l   n o w   r e s e a r c h   h a s   m a i n l y   f o c u s e d   o n   t h e   q u e s t i o n   w h y   c u s t o m e r s   i n d u l g e   o n   s u c h   r e q u e s t s   a n d   w h a t   t h e y   g e t   o u t   o f   t h e s e   p a r t i c i p a t i o n s .   H o w e v e r ,   l i t t l e   a t t e n t i o n   h a s   b e e n   g i v e n   t o   t h e   b e n e f i t s   f i r m s   r e a p   f r o m   c o - c r e a t i o n   i n i t i a t i v e s .   T h i s   r e s e a r c h   t r i e s   t o   b r i d g e   t h a t   g a p   a n d   i n v e s t i g a t e s   t h e   o u t c o m e s   o r g a n i z a t i o n s   p e r c e i v e   f r o m   c o - c r e a t i n g   w i t h   t h e i r   c u s t o m e r s .   T h r o u g h   a   r e s e a r c h   d a t a   o n   t h e   e m p l o y m e n t   o f   c o - c r e a t i o n   b y   1 5 4   D u t c h   o r g a n i z a t i o n s ,   w e   i n v e s t i g a t e   h o w   t h i s   c o - c r e a t i o n   a f f e c t s   i n n o v a t i o n   s u c c e s s ,   f i n a n c i a l   r e s u l t s ,   r e p u t a t i o n a l   r e s u l t s ,   a n d   o r g a n i z a t i o n a l   b e n e f i t s .   C o m p a r e d   w i t h   o r g a n i z a t i o n s   t h a t   d o   n o t   c o - c r e a t e   w i t h   t h e i r   c u s t o m e r s ,   o r g a n i z a t i o n s   e n g a g e   i n   c o - c r e a t i o n   b e n e f i t   b e t t e r   f r o m   t h e s e   e f f o r t s ,   c u l m i n a t i n g   i n   m o r e   s u c c e s s f u l   i n n o v a t i o n s ,   a n   i n c r e a s e   i n   b u s i n e s s   r e p u t a t i o n   a n d   a n   i n c r e a s e   i n   o r g a n i z a t i o n a l   c a p a b i l i t i e s .   H o w e v e r ,   c u s t o m e r   c o - c r e a t i o n   d o e s   n o t   s e e m   t o   h a v e   a   b e t t e r   e f f e c t   o n   t h e   f i n a n c i a l   r e s u l t s . 	 [ W e b e r ,   M a r c e l   E .   A . ;   V a n   d e r   L a a n ,   D i r k   H . ]   W i n d e s h e i m   U n i v   A p p l   S c i ,   Z w o l l e ,   N e t h e r l a n d s 	 W e b e r ,   M E A   ( r e p r i n t   a u t h o r ) ,   W i n d e s h e i m   U n i v   A p p l   S c i ,   Z w o l l e ,   N e t h e r l a n d s . 	 m e a . w e b e r @ w i n d e s h e i m . n l ;   d h . v a n . d e r . l a a n @ w i n d e s h e i m . n l 	 	 	 	 	 A a k e r   J ,   2 0 0 4 ,   J   C O N S U M   R E S ,   V 3 1 ,   P 1 ,   D O I   1 0 . 1 0 8 6 / 3 8 3 4 1 9 ;   A g g a r w a l   P ,   2 0 0 4 ,   J   C O N S U M   R E S ,   V 3 1 ,   P 8 7 ,   D O I   1 0 . 1 0 8 6 / 3 8 3 4 2 6 ;   A k a m a v i   R . K . ,   2 0 0 5 ,   J   S E R V   M A R K ,   V 1 9 ,   P 3 5 9 ,   D O I   1 0 . 1 1 0 8 / 0 8 8 7 6 0 4 0 5 1 0 6 2 0 1 4 8 ;   A l a m   I ,   2 0 0 6 ,   S E R   T E C H N O L   M A N A G E ,   V 1 1 ,   P 1 5 ;   A l a m   I . ,   2 0 0 2 ,   J   S E R V   M A R K ,   V 1 6 ,   P 5 1 5 ,   D O I   1 0 . 1 1 0 8 / 0 8 8 7 6 0 4 0 2 1 0 4 4 3 3 9 1 ;   A n c a r a n i   F ,   2 0 0 3 ,   J   I N T E R A C T   M A R K ,   V 1 7 ,   P 5 6 ,   D O I   1 0 . 1 0 0 2 / d i r . 1 0 0 4 8 ;   A N D E R S O N   W L ,   1 9 9 3 ,   C O M M U N   A C M ,   V 3 6 ,   P 4 9 ,   D O I   1 0 . 1 1 4 5 / 1 5 3 5 7 1 . 2 5 6 0 1 5 ;   A u h   S ,   2 0 0 7 ,   J   R E T A I L I N G ,   V 8 3 ,   P 3 5 9 ,   D O I   1 0 . 1 0 1 6 / j . j r e t a i . 2 0 0 7 . 0 3 . 0 0 1 ;   B A I L E T T I   A J ,   1 9 9 1 ,   J   P R O D   I N N O V A T   M A N A G ,   V 8 ,   P 9 1 ,   D O I   1 0 . 1 0 1 6 / 0 7 3 7 - 6 7 8 2 ( 9 1 ) 9 0 0 0 3 - H ;   B e n d a p u d i   N ,   1 9 9 6 ,   J   M A R K E T I N G ,   V 6 0 ,   P 3 3 ,   D O I   1 0 . 2 3 0 7 / 1 2 5 1 8 4 0 ;   B I E M A N S   W G ,   1 9 9 1 ,   T E C H N O V A T I O N ,   V 1 1 ,   P 1 6 3 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 6 - 4 9 7 2 ( 9 1 ) 9 0 0 3 2 - Y ;   B l a c k b u r n   J . ,   1 9 9 1 ,   T I M E   B A S E D   C O M P E T I T I ;   B O L A N D   R J ,   1 9 7 8 ,   M A N A G E   S C I ,   V 2 4 ,   P 8 8 7 ,   D O I   1 0 . 1 2 8 7 / m n s c . 2 4 . 9 . 8 8 7 ;   B r a d y   M K ,   2 0 0 2 ,   P S Y C H O L   M A R K E T ,   V 1 9 ,   P 9 1 9 ,   D O I   1 0 . 1 0 0 2 / m a r . 1 0 0 4 4 ;   B r o c k h o f f   K ,   2 0 0 3 ,   I N T   J   T E C H N O L   M A N A G E ,   V 2 6 ,   P 4 6 4 ,   D O I   1 0 . 1 5 0 4 / I J T M . 2 0 0 3 . 0 0 3 4 1 8 ;   B r o w n   T J ,   2 0 0 5 ,   J   A C A D   M A R K E T   S C I ,   V 3 3 ,   P 1 2 3 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 2 0 7 0 3 0 4 2 6 8 4 1 7 ;   C h a n   K W ,   2 0 1 0 ,   J   M A R K E T I N G ,   V 7 4 ,   P 4 8 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C h i e n   S H ,   2 0 1 0 ,   S E R V   I N D   J ,   V 3 0 ,   P 1 8 5 ,   D O I   1 0 . 1 0 8 0 / 0 2 6 4 2 0 6 0 8 0 2 1 1 6 3 5 4 ;   C l a r k   K .   B . ,   1 9 9 1 ,   P R O D U C T   D E V   P E R F O R M A ;   C o m e r   J M ,   1 9 9 7 ,   I N D   M A R K E T   M A N A G ,   V 2 6 ,   P 2 0 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 1 9 - 8 5 0 1 ( 9 6 ) 0 0 1 1 4 - 9 ;   C o n w a y   S . ,   1 9 9 3 ,   R O L E   U S E R S   I N N O V A T I O ;   C O O P E R   R G ,   1 9 8 6 ,   J   P R O D   I N N O V A T   M A N A G ,   V 3 ,   P 7 1 ,   D O I   1 0 . 1 0 1 6 / 0 7 3 7 - 6 7 8 2 ( 8 6 ) 9 0 0 3 0 - 5 ;   D a v e n p o r t   T . ,   2 0 0 6 ,   S T R A T E G I C   M A N A G E M E N T ;   E n n e w   C . T . ,   1 9 9 6 ,   I N T   J   B A N K   M A R K E T I N G ,   V 1 4 ,   P 5 ,   D O I   1 0 . 1 1 0 8 / 0 2 6 5 2 3 2 9 6 1 0 1 0 6 8 7 2 ;   F i s h e r   R J ,   1 9 9 8 ,   J   C O N S U M   R E S ,   V 2 5 ,   P 2 6 2 ,   D O I   1 0 . 1 0 8 6 / 2 0 9 5 3 8 ;   F o u r n i e r   S ,   1 9 9 8 ,   J   C O N S U M   R E S ,   V 2 4 ,   P 3 4 3 ,   D O I   1 0 . 1 0 8 6 / 2 0 9 5 1 5 ;   F r a n k e   N ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 9 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 9 - 0 ;   F r a n k e   N ,   2 0 0 4 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 1 ,   P 4 0 1 ,   D O I   1 0 . 1 1 1 1 / j . 0 7 3 7 - 6 7 8 2 . 2 0 0 4 . 0 0 0 9 4 . x ;   F r i e s e n   G . B . ,   2 0 0 1 ,   C O N S U L T I N G   M A N A G E M E N ,   V 1 2 ,   P 2 8 ;   F u l l e r   J . ,   2 0 0 7 ,   M A S S   C U S T   P E R S   C   2 0 0 ;   G A L E S   L ,   1 9 9 5 ,   J   E N G   T E C H N O L   M A N A G E ,   V 1 2 ,   P 7 7 ,   D O I   1 0 . 1 0 1 6 / 0 9 2 3 - 4 7 4 8 ( 9 5 ) 0 0 0 0 5 - 7 ;   G a r d i n e r   P . ,   1 9 8 5 ,   D E S I G N   S T U D I E S ,   V 6 ,   P 7 ,   D O I   1 0 . 1 0 1 6 / 0 1 4 2 - 6 9 4 X ( 8 5 ) 9 0 0 3 6 - 5 ;   G r u n e r   K E ,   2 0 0 0 ,   J   B U S   R E S ,   V 4 9 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 8 - 2 9 6 3 ( 9 9 ) 0 0 0 1 3 - 2 ;   J e p p e s e n   L B ,   2 0 0 6 ,   O R G A N   S C I ,   V 1 7 ,   P 4 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 5 6 ;   J o h n s o n   J W ,   2 0 1 0 ,   J   B U S   R E S ,   V 6 3 ,   P 7 8 7 ,   D O I   1 0 . 1 0 1 6 / j . j b u s r e s . 2 0 0 8 . 0 3 . 0 0 6 ;   J o n e s   M A ,   2 0 0 7 ,   J   S E R V   R E S - U S ,   V 9 ,   P 3 3 5 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 4 6 7 0 5 0 7 2 9 9 3 8 2 ;   K A R A G O Z O G L U   N ,   1 9 9 3 ,   J   P R O D   I N N O V A T   M A N A G ,   V 1 0 ,   P 2 0 4 ,   D O I   1 0 . 1 0 1 6 / 0 7 3 7 - 6 7 8 2 ( 9 3 ) 9 0 0 2 6 - M ;   K e l l e y   S .   W . ,   1 9 9 2 ,   J   A C A D   M A R K E T   S C I ,   V 2 0 ,   P 2 7 ;   K e s s l e r   E H ,   1 9 9 6 ,   A C A D   M A N A G E   R E V ,   V 2 1 ,   P 1 1 4 3 ,   D O I   1 0 . 2 3 0 7 / 2 5 9 1 6 7 ;   K o z i n e t s   R V ,   2 0 0 2 ,   J   M A R K E T I N G   R E S ,   V 3 9 ,   P 6 1 ,   D O I   1 0 . 1 5 0 9 / j m k r . 3 9 . 1 . 6 1 . 1 8 9 3 5 ;   L a n g e r a k   F ,   1 9 9 9 ,   J   P R O D   I N N O V A T   M A N A G ,   V 1 6 ,   P 1 7 3 ,   D O I   1 0 . 1 0 1 6 / S 0 7 3 7 - 6 7 8 2 ( 9 8 ) 0 0 0 4 3 - 5 ;   L e e   R P ,   2 0 0 9 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 6 ,   P 9 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 0 9 . 0 0 3 3 7 . x ;   L e o n a r d   D . ,   1 9 9 9 ,   B R O N N E N   I N N O V A T I E   O P ;   L E O N A R D B A R T O N   D ,   1 9 9 3 ,   A C A D   M A N A G E   J ,   V 3 6 ,   P 1 1 2 5 ,   D O I   1 0 . 2 3 0 7 / 2 5 6 6 4 9 ;   L e w i s   J .   D . ,   1 9 9 5 ,   C O N N E C T E D   C O R P O R A T I O ;   L i l i e n   G L ,   2 0 0 2 ,   M A N A G E   S C I ,   V 4 8 ,   P 1 0 4 2 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 8 . 8 . 1 0 4 2 . 1 7 1 ;   M a g n u s s o n   P .   R . ,   2 0 0 3 ,   E u r o p e a n   J o u r n a l   o f   I n n o v a t i o n   M a n a g e m e n t ,   V 6 ,   D O I   1 0 . 1 1 0 8 / 1 4 6 0 1 0 6 0 3 1 0 5 0 0 9 4 0 ;   Z I R G E R   B J ,   1 9 9 0 ,   M A N A G E   S C I ,   V 3 6 ,   P 8 6 7 ,   D O I   1 0 . 1 2 8 7 / m n s c . 3 6 . 7 . 8 6 7 ;   M a k i p a a   M . ,   2 0 0 6 ,   D E V   S T E P S   C L O S E D   I N N ;   M a l h o t r a   M K ,   1 9 9 6 ,   O M E G A - I N T   J   M A N A G E   S ,   V 2 4 ,   P 4 2 5 ,   D O I   1 0 . 1 0 1 6 / 0 3 0 5 - 0 4 8 3 ( 9 6 ) 0 0 0 0 7 - 2 ;   M A R T I N   C R ,   1 9 9 5 ,   I N T   J   S E R V   I N D   M A N A G ,   V 6 ,   P 4 0 ;   M a t t h i n g   J ,   2 0 0 4 ,   I N T   J   S E R V   I N D   M A N A G ,   V 1 5 ,   P 4 7 9 ,   D O I   1 0 . 1 1 0 8 / 0 9 5 6 4 2 3 0 4 1 0 5 6 4 9 4 8 ;   M c A l e x a n d e r   J H ,   2 0 0 2 ,   J   M A R K E T I N G ,   V 6 6 ,   P 3 8 ,   D O I   1 0 . 1 5 0 9 / j m k g . 6 6 . 1 . 3 8 . 1 8 4 5 1 ;   F u l l e r   J . ,   2 0 0 6 ,   E l e c t r o n i c   C o m m e r c e   R e s e a r c h ,   V 6 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 6 0 - 0 0 6 - 5 9 8 8 - 7 ;   M I L L S O N   M R ,   1 9 9 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 9 ,   P 5 3 ,   D O I   1 0 . 1 0 1 6 / 0 7 3 7 - 6 7 8 2 ( 9 2 ) 9 0 0 6 1 - G ;   M u n i z   A M ,   2 0 0 1 ,   J   C O N S U M   R E S ,   V 2 7 ,   P 4 1 2 ;   N a m b i s a n   S ,   2 0 0 8 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 9 ,   P 5 3 ;   N a m b i s a n   S ,   2 0 0 9 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 6 ,   P 3 8 8 ;   P r a h a l a d   C . K . ,   2 0 0 4 ,   O P T I M I Z E                   J A N ,   P 6 0 ;   R a m a s w a m y   V . ,   2 0 1 0 ,   P O W E R   C O C R E A T I O N   B U I ;   R o t h w e l l   R . ,   1 9 9 4 ,   I N T   M A R K E T   R E V ,   V 1 1 ,   P 7 ,   D O I   1 0 . 1 1 0 8 / 0 2 6 5 1 3 3 9 4 1 0 0 5 7 4 9 1 ;   R O T H W E L L   R ,   1 9 7 4 ,   R E S   P O L I C Y ,   V 3 ,   P 2 5 8 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 8 - 7 3 3 3 ( 7 4 ) 9 0 0 1 0 - 9 ;   S A L A N C I K   G R ,   1 9 7 7 ,   O R G A N   D Y N ,   V 6 ,   P 6 2 ,   D O I   1 0 . 1 0 1 6 / 0 0 9 0 - 2 6 1 6 ( 7 7 ) 9 0 0 3 5 - 3 ;   S a r g e a n t   A ,   2 0 0 4 ,   P S Y C H O L   M A R K E T ,   V 2 1 ,   P 6 1 3 ,   D O I   1 0 . 1 0 0 2 / m a r . 2 0 0 2 1 ;   S c h r e i e r   M ,   2 0 1 2 ,   J   M A R K E T I N G ,   V 7 6 ,   P 1 8 ;   S e y b o l d   P . ,   2 0 0 6 ,   O U T S I D E   I N N O V A T I O N   Y ;   S m e d l u n d   A ,   2 0 0 8 ,   M A N A G E   D E C I S ,   V 4 6 ,   P 8 6 4 ,   D O I   1 0 . 1 1 0 8 / 0 0 2 5 1 7 4 0 8 1 0 8 8 2 6 4 4 ;   S y a m   N B ,   2 0 1 3 ,   M A R K E T   S C I ,   V 3 2 ,   P 8 0 5 ,   D O I   1 0 . 1 2 8 7 / m k s c . 2 0 1 3 . 0 7 9 1 ;   T a p s c o t t   D . ,   2 0 0 7 ,   W I K I N O M I C S   M A S S   C O L L ;   T h o m s o n   M ,   2 0 0 5 ,   J   C O N S U M   P S Y C H O L ,   V 1 5 ,   P 7 7 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 6 6 3 j c p 1 5 0 1 _ 1 0 ;   V e r h o e f   P C ,   2 0 0 3 ,   J   M A R K E T I N G ,   V 6 7 ,   P 3 0 ,   D O I   1 0 . 1 5 0 9 / j m k g . 6 7 . 4 . 3 0 . 1 8 6 8 5 ;   V o n   H i p p e l   E ,   1 9 8 8 ,   S O U R C E S   I N N O V A T I O N ;   V O N H I P P E L   E ,   1 9 8 6 ,   M A N A G E   S C I ,   V 3 2 ,   P 7 9 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 3 2 . 7 . 7 9 1 ;   W e b e r   M . E . A . ,   2 0 1 1 ,   I N D   E N G   I N N O V A T I O N   S ,   P 5 0 7 	 7 5 	 0 	 0 	 S P R I N G E R   I N T   P U B L I S H I N G   A G 	 C H A M 	 G E W E R B E S T R A S S E   1 1 ,   C H A M ,   C H - 6 3 3 0 ,   S W I T Z E R L A N D 	 2 1 9 4 - 0 5 2 5 	 	 9 7 8 - 3 - 3 1 9 - 0 4 2 7 1 - 8 ;   9 7 8 - 3 - 3 1 9 - 0 4 2 7 0 - 1 	 L E C T   N   P R O D   E N G 	 	 	 2 0 1 4 	 	 	 	 	 	 	 1 4 5 	 1 5 7 	 	 1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 0 4 2 7 1 - 8 _ 1 4 	 	 1 3 	 E n g i n e e r i n g ,   M a n u f a c t u r i n g 	 E n g i n e e r i n g 	 B A 9 I R 	 W O S : 0 0 0 3 3 9 4 4 4 7 0 0 0 1 4 	 	 
 S 	 R a y n a ,   T ;   S t r i u k o v a ,   L ;   D a r l i n g t o n ,   J 	 	 B r u n o e ,   T D ;   N i e l s e n ,   K ;   J o e r g e n s e n ,   K A ;   T a p s ,   S B 	 	 R a y n a ,   T h i e r r y ;   S t r i u k o v a ,   L u d m i l a ;   D a r l i n g t o n ,   J o h n 	 	 	 O p e n   I n n o v a t i o n ,   C o - C r e a t i o n   a n d   M a s s   C u s t o m i s a t i o n :   W h a t   R o l e   f o r   3 D   P r i n t i n g   P l a t f o r m s ? 	 P R O C E E D I N G S   O F   T H E   7 T H   W O R L D   C O N F E R E N C E   O N   M A S S   C U S T O M I Z A T I O N ,   P E R S O N A L I Z A T I O N ,   A N D   C O - C R E A T I O N   ( M C P C   2 0 1 4 )   -   T W E N T Y   Y E A R S   O F   M A S S   C U S T O M I Z A T I O N   -   T O W A R D S   N E W   F R O N T I E R S 	 L e c t u r e   N o t e s   i n   P r o d u c t i o n   E n g i n e e r i n g 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 7 t h   W o r l d   C o n f e r e n c e   o n   M a s s   C u s t o m i z a t i o n ,   P e r s o n a l i z a t i o n ,   a n d   C o - C r e a t i o n   ( M C P C )   -   T w e n t y   Y e a r s   o f   M a s s   C u s t o m i z a t i o n   -   T o w a r d s   N e w   F r o n t i e r s 	 F E B   0 4 - 0 7 ,   2 0 1 4 	 A a l b o r g ,   D E N M A R K 	 	 A a l b o r g   U n i v 	 3 D   P r i n t i n g ;   C r o w d s o u r c i n g ;   O p e n   i n n o v a t i o n ;   M a s s   c u s t o m i s a t i o n ;   C o - c r e a t i o n ;   O n l i n e   p l a t f o r m s 	 	 B o t h   o p e n   i n n o v a t i o n   a n d   3 D   p r i n t i n g   t e c h n o l o g i e s   h a v e   a t t r a c t e d   a   l o t   o f   a t t e n t i o n   r e c e n t l y .   O u r   m a i n   a i m   i s   t o   i n v e s t i g a t e   t h e   r o l e   o f   o n l i n e   3 D   p r i n t i n g   p l a t f o r m s   i n   o p e n   i n n o v a t i o n   w i t h   c u s t o m e r s .   T h e r e   a r e   f o u r   m a i n   c o n t r i b u t i o n s   i n   t h i s   p a p e r .   F i r s t l y ,   i t   o f f e r s   a   b e t t e r   u n d e r s t a n d i n g   o f   t h e   r e l a t i o n s h i p   b e t w e e n   o p e n   i n n o v a t i o n ,   c o - c r e a t i o n   a n d   m a s s   c u s t o m i s a t i o n   a n d   i n d i c a t e s   i n   w h i c h   c a s e   t h e y   o v e r l a p .   S e c o n d l y ,   i t   p r o v i d e s   a n   ' i n s i d e - o u t s i d e '   t y p o l o g y   o f   c o - c r e a t i o n   t h a t   e n a b l e s   t o   c l a s s i f y   c o - c r e a t i o n   a c t i v i t i e s   a c c o r d i n g   t o   t h e i r   a i m   a n d   t y p e   o f   c o l l a b o r a t i o n .   T h e   t h i r d   m a i n   c o n t r i b u t i o n   i s   a   t y p o l o g y   o f   o n l i n e   3 D   p r i n t i n g   p l a t f o r m s ,   b a s e d   o n   t h e i r   c o r e   s e r v i c e s .   F i n a l l y ,   b y   c o m b i n i n g   t h e   t w o   t y p o l o g i e s ,   w e   a r e   a b l e   t o   d e m o n s t r a t e   t h e   r o l e   p l a y e d   b y   e a c h   p l a t f o r m   b a s e d   o n   t y p e   o f   c o - c r e a t i o n   a c t i v i t y   c o n s i d e r e d . 	 [ R a y n a ,   T h i e r r y ]   E S G   M a n a g e m e n t   S c h ,   P a r i s ,   F r a n c e 	 R a y n a ,   T   ( r e p r i n t   a u t h o r ) ,   E S G   M a n a g e m e n t   S c h ,   P a r i s ,   F r a n c e . 	 t r a y n a @ e s g . f r ;   l . s t r i u k o v a @ u c l . a c . u k ;   j . d a r l i n g t o n @ i m p e r i a l . a c . u k 	 	 	 	 	 B a l d w i n   C ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 1 2 9 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 4 . 0 1 2 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C h e s b r o u g h   H . ,   2 0 1 2 ,   P   M C P C   2 0 1 1   C   M A S S   C ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ;   C h r i s t e n s e n   C M ,   1 9 9 7 ,   I N N O V A T O R S   D I L E M M A   N ;   G a s s m a n n   O . ,   2 0 0 4 ,   P   R   D   M A N   C   L I S B ;   N a m b i s a n   S . ,   2 0 0 2 ,   A C A D   M A N A G E   R E V ,   V 2 7 ,   P 3 1 4 ;   P i l l e r   F . ,   2 0 0 4 ,   S Y S T   S C I   2 0 0 4   P   3 7   A ,   P 1 0 ;   P i l l e r   F . ,   2 0 1 0 ,   T Y P O L O G Y   C U S T O M E R   C O ;   P i l l e r   F . T . ,   2 0 1 0 ,   H D B   R E S   M A S S   C U S T O M I ,   V 1 ;   P r a h a l a d   C K ,   2 0 0 4 ,   J   I N T E R A C T   M A R K ,   V 1 8 ,   P 5 ,   D O I   1 0 . 1 0 0 2 / d i r . 2 0 0 1 5 ;   S a w h n e y   M ,   2 0 0 0 ,   C A L I F   M A N A G E   R E V ,   V 4 2 ,   P 2 4 ;   S h a h   S K ,   2 0 0 7 ,   S T R A T E G   E N T R E P   J ,   V 1 ,   P 1 2 3 ,   D O I   1 0 . 1 0 0 2 / s e j . 1 5 ;   v o n   H i p p e l   E . ,   1 9 8 8 ,   S O U R C E   I N N O V A T I O N ;   Z w a s s   V ,   2 0 1 0 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 1 1 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 1 0 1 	 1 5 	 1 	 1 	 S P R I N G E R   I N T   P U B L I S H I N G   A G 	 C H A M 	 G E W E R B E S T R A S S E   1 1 ,   C H A M ,   C H - 6 3 3 0 ,   S W I T Z E R L A N D 	 2 1 9 4 - 0 5 2 5 	 	 9 7 8 - 3 - 3 1 9 - 0 4 2 7 1 - 8 ;   9 7 8 - 3 - 3 1 9 - 0 4 2 7 0 - 1 	 L E C T   N   P R O D   E N G 	 	 	 2 0 1 4 	 	 	 	 	 	 	 4 2 5 	 4 3 5 	 	 1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 0 4 2 7 1 - 8 _ 3 6 	 	 1 1 	 E n g i n e e r i n g ,   M a n u f a c t u r i n g 	 E n g i n e e r i n g 	 B A 9 I R 	 W O S : 0 0 0 3 3 9 4 4 4 7 0 0 0 3 6 	 	 
 S 	 H o s s f e l d ,   T ;   K e i m e l ,   C 	 	 M o l l e r ,   S ;   R a a k e ,   A 	 	 H o s s f e l d ,   T o b i a s ;   K e i m e l ,   C h r i s t i a n 	 	 	 C r o w d s o u r c i n g   i n   Q o E   E v a l u a t i o n 	 Q U A L I T Y   O F   E X P E R I E N C E :   A D V A N C E D   C O N C E P T S ,   A P P L I C A T I O N S   A N D   M E T H O D S 	 T - L a b s   S e r i e s   i n   T e l e c o m m u n i c a t i o n   S e r v i c e s 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 	 	 C r o w d s o u r c i n g   e n a b l e s   n e w   p o s s i b i l i t i e s   f o r   Q o E   e v a l u a t i o n   b y   m o v i n g   t h e   e v a l u a t i o n   t a s k   f r o m   t h e   t r a d i t i o n a l   l a b o r a t o r y   e n v i r o n m e n t   i n t o   t h e   I n t e r n e t ,   a l l o w i n g   r e s e a r c h e r s   t o   e a s i l y   a c c e s s   a   g l o b a l   p o o l   o f   s u b j e c t s   f o r   t h e   e v a l u a t i o n   t a s k .   T h i s   m a k e s   i t   n o t   o n l y   p o s s i b l e   t o   i n c l u d e   a   m o r e   d i v e r s e   p o p u l a t i o n   a n d   r e a l - l i f e   e n v i r o n m e n t s   i n t o   t h e   e v a l u a t i o n ,   b u t   a l s o   r e d u c e s   t h e   t u r n - a r o u n d   t i m e   a n d   i n c r e a s e s   t h e   n u m b e r   o f   s u b j e c t s   p a r t i c i p a t i n g   i n   a n   e v a l u a t i o n   c a m p a i g n   s i g n i f i c a n t l y   b y   c i r c u m v e n t i n g   b o t t l e - n e c k s   i n   t r a d i t i o n a l   l a b o r a t o r y   s e t u p .   I n   o r d e r   t o   u t i l i s e   t h e s e   a d v a n t a g e s ,   t h e   d i f f e r e n c e s   b e t w e e n   l a b o r a t o r y - b a s e d   a n d   c r o w d - b a s e d   Q o E   e v a l u a t i o n   m u s t   b e   c o n s i d e r e d   a n d   w e   t h e r e f o r e   d i s c u s s   b o t h   t h e s e   d i f f e r e n c e s   a n d   t h e i r   i m p a c t   o n   t h e   Q o E   e v a l u a t i o n   i n   t h i s   c h a p t e r . 	 [ H o s s f e l d ,   T o b i a s ]   U n i v   W u r z b u r g ,   I n s t   C o m p   S c i ,   C h a i r   C o m m u n   N e t w o r k s ,   D - 9 7 0 7 0   W u r z b u r g ,   G e r m a n y ;   [ K e i m e l ,   C h r i s t i a n ]   T e c h   U n i v   M u n i c h ,   I n s t   D a t a   P r o c ,   M u n i c h ,   G e r m a n y 	 H o s s f e l d ,   T   ( r e p r i n t   a u t h o r ) ,   U n i v   W u r z b u r g ,   I n s t   C o m p   S c i ,   C h a i r   C o m m u n   N e t w o r k s ,   D - 9 7 0 7 0   W u r z b u r g ,   G e r m a n y . 	 h o s s f e l d @ i n f o r m a t i k . u n i - w u e r z b u r g . d e ;   c h r i s t i a n . k e i m e l @ t u m . d e 	 	 	 	 	 A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   B T 5 0 0 1 3   I T U R ;   B a r k o w s k y   M ,   2 0 1 3 ,   I S   T   S P I E   E L E C T   I M A G ,   p [ 8 6 4 ,   8 0 9 ] ;   C a t e l l i e r   A ,   2 0 1 2 ,   2 0 1 2   4   I N T   W O R K S H   Q U ,   P 3 9 ;   C h e n   K T ,   2 0 1 0 ,   I E E E   N E T W O R K ,   V 2 4 ,   P 2 8 ,   D O I   1 0 . 1 1 0 9 / M N E T . 2 0 1 0 . 5 4 3 0 1 4 1 ;   D E S I M O N E   F ,   2 0 0 9 ,   P   I N T   W O R K S H   Q U A L   M U ,   P 2 0 4 ,   D O I   D O I   1 0 . 1 1 0 9 / Q 0 M E X . 2 0 0 9 . 5 2 4 6 9 5 2 ;   D o w n s   J S ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 3 9 9 ;   E i c k h o f f   C ,   2 0 1 2 ,   P   A C M   S I G I R   C   R E S   D E ;   E i c k h o f f   C ,   2 0 1 3 ,   I N F O R M   R E T R I E V A L ,   V 1 6 ,   P 1 2 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 1 - 9 1 8 1 - 9 ;   G a r d l o   B ,   2 0 1 2 ,   2 2   I N T   C   R A D   2 0 1 2   S P ;   H i r t h   M ,   2 0 1 1 ,   W O R K S H   F U T   I N T   N E X T ,   D O I   [ 1 0 . 1 1 0 9 / I M I S . 2 0 1 1 . 8 9 ,   D O I   1 0 . 1 1 0 9 / I M I S . 2 0 1 1 . 8 9 ] ;   H o s s f e l d   T ,   2 0 1 3 ,   4 8 6   U   W U R Z B ;   H o s s f e l d   T ,   2 0 1 1 ,   2 0 1 1   I E E E   I N T   S   M U L T ,   P 4 9 4 ,   D O I   [ 1 0 . 1 1 0 9 / I S M . 2 0 1 1 . 8 7 ,   D O I   1 0 . 1 1 0 9 / I S M . 2 0 1 1 . 8 7 ] ;   H s u e h   P . ,   2 0 0 9 ,   P   N A A C L   H L T   2 0 0 9   W O R ,   P 2 7 ,   D O I   1 0 . 3 1 1 5 / 1 5 6 4 1 3 1 . 1 5 6 4 1 3 7 ;   K e i m e l   C ,   2 0 1 2 ,   2 0 1 2   4   I N T   W O R K S H   Q U ,   P 1 3 ,   D O I   [ 1 0 . 1 1 0 9 / Q o M E X . 2 0 1 2 . 6 2 6 3 8 6 6 ,   D O I   1 0 . 1 1 0 9 / Q O M E X . 2 0 1 2 . 6 2 6 3 8 6 6 ] ;   K e i m e l   C . ,   2 0 1 2 ,   P A C K   V I D   W O R K S H   P V   2 ,   P 1 5 5 ,   D O I   D O I   1 0 . 1 1 0 9 / P V . 2 0 1 2 . 6 2 2 9 7 2 9 ;   K e i m e l   C ,   2 0 1 2 ,   2 0 1 2   P I C T U R E   C O D I N G   S Y M P O S I U M   ( P C S ) ,   P 2 4 5 ,   D O I   1 0 . 1 1 0 9 / P C S . 2 0 1 2 . 6 2 1 3 3 3 8 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   P i n s o n   M H ,   2 0 1 1 ,   S E L E C T E D   T O P I C S   S I G N ,   V 6 ,   P 6 4 0 ,   D O I   [ 1 0 . 1 1 0 9 / J S T S P . 2 0 1 2 . 2 2 1 5 3 0 6 ,   D O I   1 0 . 1 1 0 9 / J S T S P . 2 0 1 2 . 2 2 1 5 3 0 6 ] ;   R o s s   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 . A C C E S S E D ;   S a b o u   M ,   2 0 1 2 ,   P   1 2   A C M   I N T   C   K N O W L ,   P 1 7 ;   S h a w   A . D . ,   2 0 1 1 ,   P   A C M   2 0 1 1   C   C O M P   S U ,   P 2 7 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 5 8 8 2 4 . 1 9 5 8 8 6 ;   S u r i   S ,   2 0 1 1 ,   H U M   C O M P   2 0 1 1   A A A I   W ;   T e c h n i s c h e   U n i v e r s i t a t   M u n c h e n ,   2 0 1 3 ,   Q U A L ;   V a r e l a   M ,   2 0 1 3 ,   4   I N T   W O R K S H   P E R C   Q U ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   W a n g   Z ,   2 0 0 4 ,   I E E E   T   I M A G E   P R O C E S S ,   V 1 3 ,   P 6 0 0 ,   D O I   1 0 . 1 1 0 9 / T I P . 2 0 0 3 . 8 1 9 8 6 1 	 2 7 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 2 1 9 2 - 2 8 1 0 	 	 9 7 8 - 3 - 3 1 9 - 0 2 6 8 1 - 7 ;   9 7 8 - 3 - 3 1 9 - 0 2 6 8 0 - 0 	 T - L A B   S E R   T E L E C O M M U N 	 	 	 2 0 1 4 	 	 	 	 	 	 	 3 1 5 	 3 2 7 	 	 1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 0 2 6 8 1 - 7 _ 2 1 	 1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 0 2 6 8 1 - 7 	 1 3 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B A 7 P X 	 W O S : 0 0 0 3 3 7 7 0 0 2 0 0 0 2 2 	 	 
 J 	 K o r s h u n o v ,   P ;   N e m o t o ,   H ;   S k o d r a s ,   A ;   E b r a h i m i ,   T 	 	 S c h e l k e n s ,   P ;   E b r a h i m i ,   T ;   C r i s t o b a l ,   G ;   T r u c h e t e t ,   F ;   S a a r i k k o ,   P 	 	 K o r s h u n o v ,   P a v e l ;   N e m o t o ,   H i r o m i ;   S k o d r a s ,   A t h a n a s s i o s ;   E b r a h i m i ,   T o u r a d j 	 	 	 C r o w d s o u r c i n g - b a s e d   E v a l u a t i o n   o f   P r i v a c y   i n   H D R   I m a g e s 	 O P T I C S ,   P H O T O N I C S ,   A N D   D I G I T A L   T E C H N O L O G I E S   F O R   M U L T I M E D I A   A P P L I C A T I O N S   I I I 	 P r o c e e d i n g s   o f   S P I E 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 O p t i c s ,   P h o t o n i c s ,   a n d   D i g i t a l   T e c h n o l o g i e s   f o r   M u l t i m e d i a   A p p l i c a t i o n s   I I I 	 A P R   1 6 - 1 7 ,   2 0 1 4 	 B r u s s e l s ,   B E L G I U M 	 S o c   P h o t o   O p t   I n s t r u m e n t a t   E n g n ,   B r u s s e l s   P h o t o n   T e a m ,   F o n d s   W e t e n s c h a p p e l i j k   O n d e r z o e k 	 	 H D R   i m a g i n g ;   p r i v a c y   p r o t e c t i o n ;   c r o w d s o u r c i n g ;   e v a l u a t i o n 	 T O N E   M A P P I N G   O P E R A T O R S ;   S C E N E S 	 T h e   a b i l i t y   o f   H i g h   D y n a m i c   R a n g e   i m a g i n g   ( H D R i )   t o   c a p t u r e   d e t a i l s   i n   h i g h - c o n t r a s t   e n v i r o n m e n t s ,   m a k i n g   b o t h   d a r k   a n d   b r i g h t   r e g i o n s   c l e a r l y   v i s i b l e ,   h a s   a   s t r o n g   i m p l i c a t i o n   o n   p r i v a c y .   H o w e v e r ,   t h e   e x t e n t   t o   w h i c h   H D R i   a f f e c t s   p r i v a c y   w h e n   i t   i s   u s e d   i n s t e a d   o f   t y p i c a l   S t a n d a r d   D y n a m i c   R a n g e   i m a g i n g   ( S D R i )   i s   n o t   y e t   c l e a r .   I n   t h i s   p a p e r ,   w e   i n v e s t i g a t e   t h e   e f f e c t   o f   H D R i   o n   p r i v a c y   v i a   c r o w d s o u r c i n g   e v a l u a t i o n   u s i n g   t h e   M i c r o w o r k e r s   p l a t f o r m .   D u e   t o   t h e   l a c k   o f   H D R i   s t a n d a r d   p r i v a c y   e v a l u a t i o n   d a t a s e t ,   w e   h a v e   c r e a t e d   s u c h   d a t a s e t   c o n t a i n i n g   p e o p l e   o f   v a r y i n g   g e n d e r ,   r a c e ,   a n d   a g e ,   s h o t   i n d o o r   a n d   o u t d o o r   a n d   u n d e r   l a r g e   r a n g e   o f   l i g h t i n g   c o n d i t i o n s .   W e   e v a l u a t e   t h e   t o n e - m a p p e d   v e r s i o n s   o f   t h e s e   i m a g e s ,   o b t a i n e d   b y   s e v e r a l   r e p r e s e n t a t i v e   t o n e - m a p p i n g   a l g o r i t h m s ,   u s i n g   s u b j e c t i v e   p r i v a c y   e v a l u a t i o n   m e t h o d o l o g y .   E v a l u a t i o n   w a s   p e r f o r m e d   u s i n g   c r o w d s o u r c i n g - b a s e d   f r a m e w o r k ,   b e c a u s e   i t   i s   a   p o p u l a r   a n d   e f f e c t i v e   a l t e r n a t i v e   t o   t r a d i t i o n a l   l a b - b a s e d   a s s e s s m e n t .   T h e   r e s u l t s   o f   t h e   e x p e r i m e n t s   d e m o n s t r a t e   a   s i g n i f i c a n t   l o s s   o f   p r i v a c y   w h e n   e v e n   t o n e - m a p p e d   v e r s i o n s   o f   H D R   i m a g e s   a r e   u s e d   c o m p a r e d   t o   t y p i c a l   S D R   i m a g e s   s h o t   w i t h   a   s t a n d a r d   e x p o s u r e . 	 [ K o r s h u n o v ,   P a v e l ;   N e m o t o ,   H i r o m i ;   E b r a h i m i ,   T o u r a d j ]   E P F L ,   M u l t i m e d i a   S i g n a l   P r o c   G r p ,   Z u r i c h ,   S w i t z e r l a n d 	 K o r s h u n o v ,   P   ( r e p r i n t   a u t h o r ) ,   E P F L ,   M u l t i m e d i a   S i g n a l   P r o c   G r p ,   Z u r i c h ,   S w i t z e r l a n d . 	 p a v e l . k o r s h u n o v @ e p f l . c h ;   h i r o m i . n e m o t o @ e p f l . c h ;   s k o d r a s @ u p a t r a s . g r ;   t o u r a d j . e b r a h i m i @ e p f l . c h 	 	 	 	 	 A n n i g h o f e r   B . ,   2 0 1 0 ,   J   E L E C T R O N   I M A G I N G ,   V 1 9 ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   B T 5 0 0 1 3 R   I T U R ;   A v e d   A J ,   2 0 1 2 ,   M U L T I M E D I A   S Y S T ,   V 1 8 ,   P 1 2 3 ,   D O I   1 0 . 1 0 0 7 / s 0 0 5 3 0 - 0 1 1 - 0 2 4 5 - x ;   D r a g o   F ,   2 0 0 3 ,   C O M P U T   G R A P H   F O R U M ,   V 2 2 ,   P 4 1 9 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 8 6 5 9 . 0 0 6 8 9 ;   D u f a u x   F ,   2 0 0 8 ,   I E E E   T   C I R C   S Y S T   V I D ,   V 1 8 ,   P 1 1 6 8 ,   D O I   1 0 . 1 1 0 9 / T C S V T . 2 0 0 8 . 9 2 8 2 2 5 ;   D u f a u x   F . ,   2 0 1 0 ,   P   I E E E   I N T   C   M U L T   E X ;   E b r a h i m i   T . ,   2 0 0 1 ,   P   I N T   C   I M   P R O C   T H E S ,   V 3 ,   P 6 0 0 ;   H o s s f e l d   T . ,   2 0 1 3 ,   I E E E   T   M U L T I M E D I A ,   P 1 ;   K e i m e l   C ,   2 0 1 2 ,   2 0 1 2   P I C T U R E   C O D I N G   S Y M P O S I U M   ( P C S ) ,   P 2 4 5 ,   D O I   1 0 . 1 1 0 9 / P C S . 2 0 1 2 . 6 2 1 3 3 3 8 ;   K o r s h u n o v   P . ,   2 0 1 1 ,   A C M   T   M U L T I M   C O M P U T ,   V 7 ,   P 1 4 ;   K o r s h u n o v   P . ,   2 0 1 3 ,   S P I E   A P P L   D I G I T A L   I M ,   V 8 8 5 6 ;   K o r s h u n o v   P . ,   2 0 1 3 ,   I E E E   I N T   C   A D V   V I D   S ,   P 2 0 8 ;   K o r s h u n o v   P . ,   2 0 1 3 ,   1 8   I N T   C   D I G   S I G N   P R ,   P 1 ;   K o r s h u n o v   P . ,   2 0 1 2 ,   P   A C M   M U L T   2 0 1 2   W O R K ,   P 3 5 ;   K o r s h u n o v   P ,   2 0 1 2 ,   2 0 1 2   I E E E   1 4 T H   I N T E R N A T I O N A L   W O R K S H O P   O N   M U L T I M E D I A   S I G N A L   P R O C E S S I N G   ( M M S P ) ,   P 3 7 8 ,   D O I   1 0 . 1 1 0 9 / M M S P . 2 0 1 2 . 6 3 4 3 4 7 2 ;   K u a n g   J . ,   2 0 0 7 ,   A C M   T   A P P L   P E R C E P T ,   V 4 ;   L e d d a   P ,   2 0 0 5 ,   A C M   T   G R A P H I C ,   V 2 4 ,   P 6 4 0 ,   D O I   1 0 . 1 1 4 5 / 1 0 7 3 2 0 4 . 1 0 7 3 2 4 2 ;   M a i   Z . ,   2 0 1 1 ,   1 7   I N T   C   D I G   S I G N   P R ,   P 1 ;   M a n t i u k   R ,   2 0 1 2 ,   L E C T   N O T E S   C O M P U T   S C ,   V 7 3 2 4 ,   P 3 6 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 1 2 9 5 - 3 _ 4 3 ;   N e w t o n   E M ,   2 0 0 5 ,   I E E E   T   K N O W L   D A T A   E N ,   V 1 7 ,   P 2 3 2 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 0 5 . 3 2 ;   P a r k   S H ,   2 0 0 7 ,   J   V I S   C O M M U N   I M A G E   R ,   V 1 8 ,   P 4 1 5 ,   D O I   1 0 . 1 0 1 6 / j . j v c i r . 2 0 0 7 . 0 6 . 0 0 8 ;   P a r k   S . - W . ,   2 0 1 1 ,   I N T   C   I N F   T E C H N   M U L T ,   P 1 ;   R e i n h a r d   E ,   2 0 0 5 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 1 ,   P 1 3 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 0 5 . 9 ;   S e n i o r   A ,   2 0 0 5 ,   I E E E   S E C U R   P R I V ,   V 3 ,   P 5 0 ,   D O I   1 0 . 1 1 0 9 / M S P . 2 0 0 5 . 6 5 ;   W a r d   G . ,   2 0 0 5 ,   A C M   S I G G R A P H   2 0 0 5   C O ;   W i c k r a m a s u r i y a   J . ,   2 0 0 4 ,   P   1 2   A N N   A C M   I N T   C   M ,   P 4 8 ,   D O I   1 0 . 1 1 4 5 / 1 0 2 7 5 2 7 . 1 0 2 7 5 3 7 ;   Y o s h i d a   A ,   2 0 0 5 ,   P   S O C   P H O T O - O P T   I N S ,   V 5 6 6 6 ,   P 1 9 2 ,   D O I   1 0 . 1 1 1 7 / 1 2 . 5 8 7 7 8 2 ;   Z h a n g   W . ,   2 0 0 5 ,   P   I E E E   I N T   C   I M   P R O C 	 2 8 	 0 	 0 	 S P I E - I N T   S O C   O P T I C A L   E N G I N E E R I N G 	 B E L L I N G H A M 	 1 0 0 0   2 0 T H   S T ,   P O   B O X   1 0 ,   B E L L I N G H A M ,   W A   9 8 2 2 7 - 0 0 1 0   U S A 	 0 2 7 7 - 7 8 6 X 	 	 9 7 8 - 1 - 6 2 8 4 1 - 0 8 6 - 0 	 P R O C   S P I E 	 	 	 2 0 1 4 	 9 1 3 8 	 	 	 	 	 	 	 	 9 1 3 8 0 2 	 1 0 . 1 1 1 7 / 1 2 . 2 0 5 4 5 4 1 	 	 1 1 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   O p t i c s 	 E n g i n e e r i n g ;   O p t i c s 	 B A 8 W N 	 W O S : 0 0 0 3 3 8 9 2 2 9 0 0 0 0 1 	 	 
 J 	 M o o n e y ,   P ;   C o r c o r a n ,   P 	 	 	 	 M o o n e y ,   P e t e r ;   C o r c o r a n ,   P a d r a i g 	 	 	 H a s   O p e n S t r e e t M a p   a   r o l e   i n   D i g i t a l   E a r t h   a p p l i c a t i o n s ? 	 I N T E R N A T I O N A L   J O U R N A L   O F   D I G I T A L   E A R T H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 O p e n S t r e e t M a p ;   D i g i t a l   E a r t h ;   v o l u n t e e r s ;   s p a t i a l   d a t a ;   c r o w d s o u r c i n g 	 V O L U N T E E R E D   G E O G R A P H I C   I N F O R M A T I O N ;   P E R S P E C T I V E ;   G E R M A N Y ;   C I T Y ;   M A P 	 V o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n   ( V G I ) ,   a s   a   s p e c i a l   s u b s e t   o f   c r o w d s o u r c i n g ,   h a s   p r o v o k e d   i n t e r e s t   f r o m   m a n y   s c i e n t i f i c   d i s c i p l i n e s   a n d   i n d u s t r y   i n   t h e   p a s t   f e w   y e a r s .   O p e n S t r e e t M a p   ( O S M )   i s   t h e   m o s t   f a m o u s   a n d   w e l l   s u p p o r t e d   e x a m p l e   o f   a   V G I   p r o j e c t   o n   t h e   I n t e r n e t   t o d a y .   A s   a   t e c h n o l o g y ,   D i g i t a l   E a r t h   ( D E )   o f f e r s   i m m e d i a t e   a c c e s s   t o   e n o r m o u s   q u a n t i t i e s   o f   d a t a   a n d   i n f o r m a t i o n ,   r e f e r e n c e d   b y   l o c a t i o n s   o n   t h e   s u r f a c e   o f   t h e   p l a n e t .   O n e   o f   D E ' s   g o a l s   i s   t o   m a k e   g l o b a l   s p a t i a l   i n f o r m a t i o n   u b i q u i t o u s l y   a v a i l a b l e   a s   a n   e s s e n t i a l   c o m p o n e n t   o f   d e m o c r a c y .   O S M ' s   m i s s i o n   i s   w e l l   p o s i t i o n e d   w i t h i n   t h i s   g o a l   w h e r e   O S M   a i m s   t o   c r e a t e   a   f r e e l y   a v a i l a b l e   e d i t a b l e   m a p   d a t a b a s e   o f   t h e   w o r l d .   T h i s   p a p e r   e x p l o r e s   t h e   c h a r a c t e r i s t i c s   o f   t h e   c o l l a b o r a t i v e ,   c r o w d - b a s e d ,   e d i t i n g   o f   s p a t i a l   d a t a   i n   O S M   a n d   t h e   c r o w d   i t s e l f .   W e   p r o v i d e   s o m e   c o n c l u s i o n s   o n   h o w   O S M   c a n   b e   b e s t   i n t e g r a t e d   i n t o   t h e   f a b r i c   o f   D E . 	 [ M o o n e y ,   P e t e r ]   N a t l   U n i v   I r e l a n d ,   D e p t   C o m p   S c i ,   M a y n o o t h ,   K i l d a r e ,   I r e l a n d ;   [ C o r c o r a n ,   P a d r a i g ]   U n i v   C o l l   D u b l i n ,   S c h   C o m p   S c i   &   I n f o r m a t ,   B e l f i e l d ,   I r e l a n d 	 M o o n e y ,   P   ( r e p r i n t   a u t h o r ) ,   N a t l   U n i v   I r e l a n d ,   D e p t   C o m p   S c i ,   M a y n o o t h ,   K i l d a r e ,   I r e l a n d . 	 p e t e r . m o o n e y @ n u i m . i e 	 	 	 I r i s h   E n v i r o n m e n t a l   P r o t e c t i o n   A g e n c y   ( E P A )   S T R I V E   p r o g r a m m e   [ 2 0 0 8 - F S - D M - 1 4 - S 4 ] ;   I r i s h   R e s e a r c h   C o u n c i l   ( I R C )   E M P O W E R   p r o g r a m 	 R e s e a r c h   p r e s e n t e d   i n   t h i s   p a p e r   w a s   p r i m a r i l y   f u n d e d   b y   f u n d e d   b y   t h e   I r i s h   E n v i r o n m e n t a l   P r o t e c t i o n   A g e n c y   ( E P A )   S T R I V E   p r o g r a m m e   ( G r a n t   2 0 0 8 - F S - D M - 1 4 - S 4 ) .   F u n d i n g   w a s   a l s o   p r o v i d e d   b y   t h e   I r i s h   R e s e a r c h   C o u n c i l   ( I R C )   E M P O W E R   p r o g r a m .   T h e   a u t h o r s   w o u l d   l i k e   t o   s i n c e r e l y   t h a n k   t h e   a n o n y m o u s   r e v i e w e r s   w h o s e   e f f o r t s   s i g n i f i c a n t l y   i m p r o v e d   t h e   q u a l i t y   o f   t h e   r e s e a r c h   p r e s e n t e d .   F i n a l l y ,   w e   w o u l d   l i k e   t o   t h a n k   t h e   g u e s t   e d i t o r s   D r .   R o l f   d e   B y   a n d   P r o f .   Y o l a   G e o r g i a d o u   f o r   t h e i r   a s s i s t a n c e   w i t h   t h e   p r e p a r a t i o n   o f   t h i s   p a p e r . 	 A l - B a k r i   M ,   2 0 1 2 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 6 ,   P 1 4 3 7 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 6 . 2 0 1 1 . 6 3 6 0 1 2 ;   A l t o g e t h e r l o s t ,   2 0 1 3 ,   D A I L   U P D   S T A T   O P ;   A n n o n i   A ,   2 0 1 1 ,   I N T   J   D I G I T   E A R T H ,   V 4 ,   P 2 7 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 1 1 . 5 8 2 8 8 8 ;   B a l l a t o r e   A ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 5 7 4 ,   P 7 8 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 9 1 7 3 - 2 _ 8 ;   B e n n e t t   J ,   2 0 1 0 ,   O P E N S T R E E T M A P   B E   Y O U ;   B u d h a t h o k i   N . ,   2 0 1 0 ,   G E O M A T I C A ,   V 6 4 ,   P 1 1 ;   C o l e m a n   D .   J . ,   2 0 0 9 ,   I N T   J   S P A T I A L   D A T A   I ,   V 4 ,   P 3 3 2 ;   C o r c o r a n   P ,   2 0 1 3 ,   E U R   P H Y S   J - S P E C   T O P ,   V 2 1 5 ,   P 1 0 9 ,   D O I   1 0 . 1 1 4 0 / e p j s t / e 2 0 1 3 - 0 1 7 1 8 - 2 ;   C r a g l i a   M ,   2 0 1 2 ,   I N T   J   D I G I T   E A R T H ,   V 5 ,   P 3 9 8 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 1 2 . 7 1 2 2 7 3 ;   C u f f   D a n a ,   2 0 0 8 ,   C o m m u n i c a t i o n s   o f   t h e   A C M ,   V 5 1 ,   D O I   1 0 . 1 1 4 5 / 1 3 2 5 5 5 5 . 1 3 2 5 5 6 2 ;   d e   L e e u w   J ,   2 0 1 1 ,   R E M O T E   S E N S - B A S E L ,   V 3 ,   P 2 4 7 ,   D O I   1 0 . 3 3 9 0 / r s 3 0 2 0 2 4 7 ;   D i a z   L ,   2 0 1 1 ,   F U T U R E   G E N E R   C O M P   S Y ,   V 2 7 ,   P 3 0 4 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e . 2 0 1 0 . 0 9 . 0 0 2 ;   D o d g e   M . ,   2 0 1 1 ,   M A P P I G N   E X P E R I E N C E   C ;   E l m e s   G . ,   2 0 0 9 ,   I N T   E N C Y   H U M A N   G E O G R ,   P 1 9 8 ;   E S R I ,   2 0 1 2 ,   A R C G   E D   O S M   S E R V   C O M ;   F i s c h e r   G . ,   2 0 1 1 ,   A C M   I N T E R A C T I O N S ,   V 1 8 ,   P 4 2 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 6 2 4 3 8 . 1 9 6 2 4 5 0 ;   F o u r s q u a r e ,   2 0 1 2 ,   F O U R S Q U A R E   I S   J O I N I N ;   F r i t z   S ,   2 0 0 9 ,   R E M O T E   S E N S - B A S E L ,   V 1 ,   P 3 4 5 ,   D O I   1 0 . 3 3 9 0 / r s 1 0 3 0 3 4 5 ;   F r i t z   S ,   2 0 1 2 ,   E N V I R O N   M O D E L L   S O F T W ,   V 3 1 ,   P 1 1 0 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 1 1 . 1 1 . 0 1 5 ;   G e i g e r   R .   S . ,   2 0 1 1 ,   C R I T I C A L   P O I N T   V I E W ,   P 7 8 ;   G e o f a b r i k ,   2 0 1 3 ,   O P   D A T   D O W N L ;   G i r r e s   J F ,   2 0 1 0 ,   T   G I S ,   V 1 4 ,   P 4 3 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 0 . 0 1 2 0 3 . x ;   G o e t z   M a r c u s ,   2 0 1 2 ,   F u t u r e   I n t e r n e t ,   V 4 ,   D O I   1 0 . 3 3 9 0 / f i 4 0 2 0 5 7 5 ;   G o o d c h i l d   M . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 2 3 9 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 9 0 - 4 ;   G o o d c h i l d   M i c h a e l ,   2 0 0 9 ,   J o u r n a l   o f   L o c a t i o n   B a s e d   S e r v i c e s ,   V 3 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 8 9 7 2 0 9 0 2 9 5 0 3 7 4 ;   G o o d c h i l d   M i c h a e l   F . ,   2 0 1 2 ,   S P A T I A L   S T A T ,   V 1 ,   P 1 1 0 ,   D O I   [ D O I   1 0 . 1 0 1 6 / J . S P A S T A . 2 0 1 2 . 0 3 . 0 0 2 ,   1 0 . 1 0 1 6 / j . s p a s t a . 2 0 1 2 . 0 3 . 0 0 2 ] ;   G r e e n s t e i n   S . ,   2 0 1 2 ,   I E E E   M i c r o ,   V 3 2 ,   D O I   1 0 . 1 1 0 9 / M M . 2 0 1 2 . 1 0 ;   G r o s s n e r   K .   E . ,   2 0 0 8 ,   T   G I S ,   V 1 2 ,   P 1 4 5 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 4 6 7 - 9 6 7 1 . 2 0 0 8 . 0 1 0 9 0 . X ;   G u o   H D ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 6 5 0 7 0 2 ;   H a g e n a u e r   J ,   2 0 1 2 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 6 ,   P 9 6 3 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 6 . 2 0 1 1 . 6 1 9 5 0 1 ;   H a k l a y   M ,   2 0 1 0 ,   C A R T O G R   J ,   V 4 7 ,   P 3 1 5 ,   D O I   1 0 . 1 1 7 9 / 0 0 0 8 7 0 4 1 0 X 1 2 9 1 1 3 0 4 9 5 8 8 2 7 ;   H a k l a y   M ,   2 0 1 0 ,   E N V I R O N   P L A N N   B ,   V 3 7 ,   P 6 8 2 ,   D O I   1 0 . 1 0 6 8 / b 3 5 0 9 7 ;   H o   S . ,   2 0 1 0 ,   G S D I   1 2   W O R L D   C   R E A L ;   J a n o w i c z   K . ,   2 0 1 2 ,   S E M A N T I C   W E B ,   V 3 ,   P 2 1 3 ,   D O I   D O I   1 0 . 3 2 3 3 / S W - 2 0 1 2 - 0 0 7 0 ;   J a n o w i c z   K . ,   2 0 1 1 ,   I N T   J   D I G I T   E A R T H ,   V 1 ,   P 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 1 1 . 6 1 4 6 9 8 ;   J i a n g   B ,   2 0 1 2 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 6 ,   P 2 1 5 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 6 . 2 0 1 1 . 5 7 5 0 7 4 ;   J o n e s   C E ,   2 0 1 2 ,   T   G I S ,   V 1 6 ,   P 5 2 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 2 . 0 1 3 1 9 . x ;   K o u k o l e t s o s   T ,   2 0 1 2 ,   T   G I S ,   V 1 6 ,   P 4 7 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 2 . 0 1 3 0 4 . x ;   L a m   S K ,   2 0 1 1 ,   C O M P U T E R ,   V 4 4 ,   P 8 7 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 1 1 . 9 4 ;   L i n   Y W ,   2 0 1 1 ,   N E W   R E V   H Y P E R M E D I A   M ,   V 1 7 ,   P 5 3 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 1 4 5 6 8 . 2 0 1 1 . 5 5 2 6 4 7 ;   L u d w i g   I ,   2 0 1 1 ,   L E C T   N O T E S   G E O I N F   C A ,   P 6 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 9 7 8 9 - 5 _ 4 ;   M a p Q u e s t ,   2 0 1 3 ,   M A P Q   O S M   T I L   M A P Q   O P ;   M a t e i   S A ,   2 0 1 1 ,   I N F O R M   S O C ,   V 2 7 ,   P 4 0 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 7 2 2 4 3 . 2 0 1 1 . 5 3 4 3 6 8 ;   M c L a r e n   R . ,   2 0 1 1 ,   C R O W D S O U R C I N G   S U P P O R ;   M o o n e y   P . ,   2 0 1 0 ,   P   1 8   S I G S P A T I A L   I N T ,   P 5 1 4 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 9 7 9 0 . 1 8 6 9 8 7 5 ;   M o o n e y   P . ,   2 0 1 2 ,   L E C T   N O T E S   G E O I N F O R M ,   V 1 ,   P 3 5 ;   M o o n e y   P e t e r ,   2 0 1 2 ,   F u t u r e   I n t e r n e t ,   V 4 ,   D O I   1 0 . 3 3 9 0 / f i 4 0 1 0 2 8 5 ;   M o o n e y   P . ,   2 0 1 2 ,   P   1 5   A G I L E   I N T   C   G E O ,   P 5 1 4 ;   M o o n e y   P . ,   2 0 1 0 ,   P   6   G I S C I E N C E   I N T   C ,   P 1 5 0 ;   M o o n e y   P ,   2 0 1 2 ,   T   G I S ,   V 1 6 ,   P 5 6 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 2 . 0 1 3 0 6 . x ;   N e i s   P a s c a l ,   2 0 1 2 ,   F u t u r e   I n t e r n e t ,   V 4 ,   D O I   1 0 . 3 3 9 0 / f i 4 0 1 0 0 0 1 ;   N e i s   P . ,   2 0 1 2 ,   I S P R S   I N T   J   G E O I N F O R ,   V 1 ,   P 1 ;   N e i s   P a s c a l ,   2 0 1 2 ,   I n t e r n a t i o n a l   J o u r n a l   o f   G e o - I n f o r m a t i o n ,   V 1 ,   D O I   1 0 . 3 3 9 0 / i j g i 1 0 3 0 3 1 5 ;   N e s t o r i a ,   2 0 1 1 ,   W H Y   W E V   S W I T C H   A W   G O ;   O p e n S t r e e t M a p ,   2 0 1 3 ,   O S M   M A P   F E A T   S U M M   C O ;   O p e n S t r e e t M a p ,   2 0 1 3 ,   W H A T   A R   O P   M A P P   P A R T ;   O S M - T a l k - L i s t ,   2 0 1 1 ,   M A I L   L I S T   C O N V   R E G   D ;   O v e r   M ,   2 0 1 0 ,   C O M P U T   E N V I R O N   U R B A N ,   V 3 4 ,   P 4 9 6 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e n v u r b s y s . 2 0 1 0 . 0 5 . 0 0 1 ;   P e r k i n s   C . ,   2 0 0 8 ,   N   W   G E O G R A P H Y ,   V 8 ,   P 1 9 ;   P o o r e   B . ,   2 0 1 2 ,   C R O W D S O U R C I N G   G E O G R A ,   P 4 3 ;   P r a s a r n p h a n i c h   P ,   2 0 1 1 ,   I E E E   T   I N D   E L E C T R O N ,   V 5 8 ,   P 2 0 6 5 ,   D O I   1 0 . 1 1 0 9 / T I E . 2 0 0 9 . 2 0 2 7 2 4 8 ;   R a m m   F . ,   2 0 1 0 ,   O P E N S T R E E T M A P   U S I N G ;   R e a g l e   J . ,   2 0 1 1 ,   C R I T I C A L   P O I N T   V I E W ,   P 1 4 ;   R i c h t e r   C . ,   2 0 1 0 ,   I N T   J   S P A T I A L   D A T A   I ,   V 5 ,   P 2 8 6 ;   R i c h t e r   K . - F . ,   2 0 1 1 ,   A D V   S P A T I A L   T E M P O R A L ,   V 6 8 4 9 ,   P 4 4 5 ;   S m a r t   P D ,   2 0 1 1 ,   I S P R S   J   P H O T O G R A M M ,   V 6 6 ,   P 2 2 3 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 1 0 . 1 2 . 0 0 4 ;   S u h   B o n g w o n ,   2 0 0 9 ,   P   5   I N T   S   W I K   O P   C O L ;   W a n g   L .   S . ,   2 0 1 2 ,   P   A C M   2 0 1 2   C   C O M P   S U ,   P 9 8 9 ;   W i k i m e d i a ,   2 0 1 2 ,   W I K   F D N   F I N   R E P ;   W i k i p e d i a S t a t s ,   2 0 1 3 ,   S T A T   C O N T R   W I K ;   Z i e l s t r a   D . ,   2 0 1 1 ,   G I M   I N T   J ,   V 2 5 ,   P 7 ;   Z i e l s t r a   D ,   2 0 1 1 ,   T R A N S P O R T   R E S   R E C ,   P 1 4 5 ,   D O I   1 0 . 3 1 4 1 / 2 2 1 7 - 1 8 ;   Z o o k   M . ,   2 0 1 0 ,   W o r l d   M e d i c a l   a n d   H e a l t h   P o l i c y ,   V 2 ,   P 7 ,   D O I   1 0 . 2 2 0 2 / 1 9 4 8 - 4 6 8 2 . 1 0 6 9 	 7 3 	 1 	 1 	 T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X O N ,   E N G L A N D 	 1 7 5 3 - 8 9 4 7 	 1 7 5 3 - 8 9 5 5 	 	 I N T   J   D I G I T   E A R T H 	 I n t .   J .   D i g i t .   E a r t h 	 	 2 0 1 4 	 7 	 7 	 	 	 S I 	 	 5 3 4 	 5 5 3 	 	 1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 1 3 . 7 8 1 6 8 8 	 	 2 0 	 G e o g r a p h y ,   P h y s i c a l ;   R e m o t e   S e n s i n g 	 P h y s i c a l   G e o g r a p h y ;   R e m o t e   S e n s i n g 	 A J 7 U T 	 W O S : 0 0 0 3 3 7 9 0 4 7 0 0 0 0 3 	 	 
 J 	 F o o d y ,   G M 	 	 	 	 F o o d y ,   G i l e s   M . 	 	 	 R a t i n g   c r o w d s o u r c e d   a n n o t a t i o n s :   e v a l u a t i n g   c o n t r i b u t i o n s   o f   v a r i a b l e   q u a l i t y   a n d   c o m p l e t e n e s s 	 I N T E R N A T I O N A L   J O U R N A L   O F   D I G I T A L   E A R T H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 v o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n ;   a c c u r a c y ;   e r r o r 	 2 0 1 0   H A I T I   E A R T H Q U A K E ;   G R O U N D   R E F E R E N C E   D A T A ;   L A N D - C O V E R   C H A N G E ;   G E O G R A P H I C   I N F O R M A T I O N ;   D I S A S T E R   R E S P O N S E ;   D A M A G E   A S S E S S M E N T ;   A C C U R A C Y ;   W I K I P E D I A 	 C r o w d s o u r c i n g   h a s   b e c o m e   a   p o p u l a r   m e a n s   t o   a c q u i r e   d a t a   a b o u t   t h e   E a r t h   a n d   i t s   e n v i r o n m e n t   i n e x p e n s i v e l y ,   b u t   t h e   d a t a - s e t s   o b t a i n e d   a r e   t y p i c a l l y   i m p e r f e c t   a n d   o f   u n k n o w n   q u a l i t y .   T w o   c o m m o n   i m p e r f e c t i o n s   w i t h   c r o w d s o u r c e d   d a t a   a r e   t h e   c o n t r i b u t i o n s   f r o m   c h e a t s   o r   s p a m m e r s   a n d   m i s s i n g   c a s e s .   T h e   e f f e c t   o f   t h e   l a t t e r   t w o   i m p e r f e c t i o n s   o n   a   m e t h o d   t o   e v a l u a t e   t h e   a c c u r a c y   o f   c r o w d s o u r c e d   d a t a   v i a   a   l a t e n t   c l a s s   m o d e l   w a s   e x p l o r e d .   U s i n g   s i m u l a t e d   a n d   r e a l   d a t a - s e t s ,   i t   w a s   s h o w n   t h a t   t h e   m e t h o d   i s   a b l e   t o   d e r i v e   u s e f u l   i n f o r m a t i o n   o n   t h e   a c c u r a c y   o f   c r o w d s o u r c e d   d a t a   e v e n   w h e n   t h e   d e g r e e   o f   i m p e r f e c t i o n   w a s   v e r y   h i g h .   T h e   p r a c t i c a l   p o t e n t i a l   o f   t h i s   a b i l i t y   t o   o b t a i n   a c c u r a c y   i n f o r m a t i o n   w i t h i n   t h e   g e o s p a t i a l   s c i e n c e s   a n d   t h e   r e a l m   o f   D i g i t a l   E a r t h   a p p l i c a t i o n s   w a s   i n d i c a t e d   w i t h   r e f e r e n c e   t o   a n   e v a l u a t i o n   o f   b u i l d i n g   d a m a g e   m a p s   p r o d u c e d   b y   m u l t i p l e   b o d i e s   a f t e r   t h e   2 0 1 0   e a r t h q u a k e   i n   H a i t i .   C r i t i c a l l y ,   t h e   m e t h o d   a l l o w e d   d a t a - s e t s   t o   b e   r a n k e d   i n   a p p r o x i m a t e l y   t h e   c o r r e c t   o r d e r   o f   a c c u r a c y   a n d   t h i s   c o u l d   h e l p   e n s u r e   t h a t   t h e   m o s t   a p p r o p r i a t e   d a t a - s e t s   a r e   u s e d . 	 U n i v   N o t t i n g h a m ,   S c h   G e o g ,   N o t t i n g h a m   N G 7   2 R D ,   E n g l a n d 	 F o o d y ,   G M   ( r e p r i n t   a u t h o r ) ,   U n i v   N o t t i n g h a m ,   S c h   G e o g ,   N o t t i n g h a m   N G 7   2 R D ,   E n g l a n d . 	 g i l e s . f o o d y @ n o t t i n g h a m . a c . u k 	 	 	 E u r o p e a n   U n i o n   C O S T   A c t i o n   [ T D 1 2 0 2 ] 	 I   a m   g r a t e f u l   t o   V   R a y k a r   f o r   p r o v i d i n g   s o m e   o f   t h e   d a t a   u s e d   a n d   T   M e a d o w s   f o r   a s s i s t a n c e   i n   a c q u i r i n g   t h e   d a t a   r e l a t i n g   t o   t h e   H a i t i   e a r t h q u a k e .   T h i s   w o r k   b e n e f i t e d   f r o m   s u p p o r t   v i a   t h e   E u r o p e a n   U n i o n   C O S T   A c t i o n   T D 1 2 0 2 .   T h e   l a t e n t   c l a s s   a n a l y s e s   w e r e   u n d e r t a k e   w i t h   t h e   L E M   ( a v a i l a b l e   f r e e   f r o m   h t t p : / / w w w . t i l b u r g u n i v e r s i t y . e d u / n l / o v e r - t i l b u r g - u n i v e r s i t y / s c h o o l s / s o c i a l s c i e n c e s / o r g a n i s a t i e / d e p a r t e m e n t e n / m t o / o n d e r z o e k / s o f t w a r e / )   a n d   L a t e n t G o l d   p a c k a g e s   ( h t t p : / / s t a t i s t i c a l i n n o v a t i o n s . c o m / p r o d u c t s / a b o u t l c . h t m l ) .   F i n a l l y ,   I   w o u l d   l i k e   t o   t h a n k   t h e   r e f e r e e s   f o r   t h e i r   h e l p f u l   c o m m e n t s   o n   t h e   a r t i c l e . 	 A j m a r   A ,   2 0 1 3 ,   I N T   J   D I G I T   E A R T H ,   V 6 ,   P 1 0 3 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 1 1 . 6 3 8 9 9 1 ;   A l l o u c h e   O ,   2 0 0 6 ,   J   A P P L   E C O L ,   V 4 3 ,   P 1 2 2 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 6 6 4 . 2 0 0 6 . 0 1 2 1 4 . x ;   A n t o n i o u   V . ,   2 0 1 0 ,   G E O M A T I C A ,   V 6 4 ,   P 9 9 ;   B o o t h   E . ,   2 0 1 0 ,   H A I T I   E A R T H Q U A K E   1 2 ;   B r a b h a m   D C ,   2 0 1 2 ,   I N F O R M   C O M M U N   S O C ,   V 1 5 ,   P 3 9 4 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 1 . 6 4 1 9 9 1 ;   C a r r i o n   D ,   2 0 1 3 ,   I N T   J   D I G I T   E A R T H ,   V 6 ,   P 5 0 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 1 2 . 6 7 4 5 6 3 ;   C r a g l i a   M ,   2 0 1 2 ,   I N T   J   D I G I T   E A R T H ,   V 5 ,   P 4 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 1 1 . 6 3 8 5 0 0 ;   C S D G S N D   ( C o m m i t t e e   o n   S t r a t e g i c   D i r e c t i o n s   f o r   t h e   G e o g r a p h i c a l   S c i e n c e s   i n   t h e   N e x t   D e c a d e ) ,   2 0 1 0 ,   U N D   C H A N G   P L A N   S T R A T ;   D u d a   K A ,   2 0 1 1 ,   P H O T O G R A M M   E N G   R E M   S ,   V 7 7 ,   P 8 9 9 ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F i c h m a n   P ,   2 0 1 1 ,   J   I N F   S C I ,   V 3 7 ,   P 4 7 6 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 1 4 1 5 5 8 4 ;   F l a n a g i n   A . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 3 7 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 8 8 - Y ;   F o o d y   G .   M . ,   C A R T O G R A P H I C   J   U N P U B ;   F o o d y   G M ,   2 0 1 0 ,   R E M O T E   S E N S   E N V I R O N ,   V 1 1 4 ,   P 2 2 7 1 ,   D O I   1 0 . 1 0 1 6 / j . r s e . 2 0 1 0 . 0 5 . 0 0 3 ;   F o o d y   G M ,   2 0 1 3 ,   R E M O T E   S E N S   L E T T ,   V 4 ,   P 7 8 3 ,   D O I   1 0 . 1 0 8 0 / 2 1 5 0 7 0 4 X . 2 0 1 3 . 7 9 8 7 0 8 ;   F o o d y   G M ,   2 0 1 2 ,   I E E E   T   G E O S C I   R E M O T E ,   V 5 0 ,   P 2 8 2 7 ,   D O I   1 0 . 1 1 0 9 / T G R S . 2 0 1 1 . 2 1 7 4 1 5 6 ;   F o o d y   G M ,   2 0 1 3 ,   T   G I S ,   V 1 7 ,   P 8 4 7 ,   D O I   1 0 . 1 1 1 1 / t g i s . 1 2 0 3 3 ;   F o o d y   G M ,   2 0 1 3 ,   I E E E   J - S T A R S ,   V 6 ,   P 1 3 0 5 ,   D O I   1 0 . 1 1 0 9 / J S T A R S . 2 0 1 3 . 2 2 5 0 2 5 7 ;   F o w l e r   A ,   2 0 1 3 ,   T   G I S ,   V 1 7 ,   P 4 8 8 ,   D O I   1 0 . 1 1 1 1 / t g i s . 1 2 0 3 4 ;   F r i t z   S ,   2 0 1 2 ,   E N V I R O N   M O D E L L   S O F T W ,   V 3 1 ,   P 1 1 0 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 1 1 . 1 1 . 0 1 5 ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ;   G e o r g i a d o u   Y ,   2 0 1 4 ,   I N T   J   D I G I T   E A R T H ,   V 7 ,   P 5 1 6 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 1 3 . 7 8 2 0 7 3 ;   G e r k e   M ,   2 0 1 1 ,   P H O T O G R A M M   E N G   R E M   S ,   V 7 7 ,   P 8 8 5 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G o o d c h i l d   M F ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 3 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 7 5 9 2 5 5 ;   G o o d c h i l d   M i c h a e l   F . ,   2 0 1 2 ,   S P A T I A L   S T A T ,   V 1 ,   P 1 1 0 ,   D O I   [ D O I   1 0 . 1 0 1 6 / J . S P A S T A . 2 0 1 2 . 0 3 . 0 0 2 ,   1 0 . 1 0 1 6 / j . s p a s t a . 2 0 1 2 . 0 3 . 0 0 2 ] ;   H a k l a y   M ,   2 0 1 3 ,   E N V I R O N   P L A N N   A ,   V 4 5 ,   P 5 5 ,   D O I   1 0 . 1 0 6 8 / a 4 5 1 8 4 ;   H i r t h   M ,   2 0 1 3 ,   M A T H   C O M P U T   M O D E L ,   V 5 7 ,   P 2 9 1 8 ,   D O I   1 0 . 1 0 1 6 / j . m c m . 2 0 1 2 . 0 1 . 0 0 6 ;   H i s a d a   Y . ,   2 0 0 4 ,   B   E A R T H Q   R E S   I   T O K Y O ,   V 7 9 ,   P 8 1 ;   I w a o   K ,   2 0 0 6 ,   G E O P H Y S   R E S   L E T T ,   V 3 3 ,   D O I   [ 1 0 . 1 0 2 9 / 2 0 0 6 G L 0 2 7 7 6 8 ,   1 0 . 1 0 2 9 / 2 0 0 6 G L 0 2 7 7 6 8 , ] ;   K a z a i   G . ,   2 0 1 2 ,   I N F O R M   R E T R I E V A L ,   V 1 6 ,   P 1 3 8 ,   D O I   [ 1 0 . 1 0 0 7 / s / 1 0 7 9 1 - 0 1 2 - 9 2 0 5 - 0 ,   D O I   1 0 . 1 0 0 7 / S / 1 0 7 9 1 - 0 1 2 - 9 2 0 5 - 0 ] ;   K e r l e   N ,   2 0 1 0 ,   I N T   J   A P P L   E A R T H   O B S ,   V 1 2 ,   P 4 6 6 ,   D O I   1 0 . 1 0 1 6 / j . j a g . 2 0 1 0 . 0 7 . 0 0 4 ;   L i   D R ,   2 0 1 4 ,   I N T   J   D I G I T   E A R T H ,   V 7 ,   P 6 8 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 1 3 . 7 8 3 6 3 4 ;   L I U   C ,   2 0 0 9 ,   P   1 8   W O R L D   I M A C S   M O D ,   P 4 2 4 1 ;   M a g i d s o n   J . ,   2 0 0 4 ,   S A G E   H D B   Q U A N T I T A T I V ,   P 1 7 5 ;   M o o n e y   P e t e r ,   2 0 1 2 ,   F u t u r e   I n t e r n e t ,   V 4 ,   D O I   1 0 . 3 3 9 0 / f i 4 0 1 0 2 8 5 ;   M o o n e y   P ,   2 0 1 4 ,   I N T   J   D I G I T   E A R T H ,   V 7 ,   P 5 3 4 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 1 3 . 7 8 1 6 8 8 ;   N a r o d i t s k i y   V ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 4 5 9 2 4 ;   N e i s   P a s c a l ,   2 0 1 2 ,   F u t u r e   I n t e r n e t ,   V 4 ,   D O I   1 0 . 3 3 9 0 / f i 4 0 1 0 0 0 1 ;   N e i s   P a s c a l ,   2 0 1 2 ,   I n t e r n a t i o n a l   J o u r n a l   o f   G e o - I n f o r m a t i o n ,   V 1 ,   D O I   1 0 . 3 3 9 0 / i j g i 1 0 3 0 3 1 5 ;   N e w e l l   D a v i d   A . ,   2 0 1 2 ,   F u t u r e   I n t e r n e t ,   V 4 ,   D O I   1 0 . 3 3 9 0 / f i 4 0 2 0 5 5 1 ;   R a d d i c k   M J ,   2 0 1 0 ,   S C I E N C E ,   V 3 2 9 ,   P 1 0 2 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 8 6 9 3 6 ;   R a y k a r   V .   C . ,   2 0 1 1 ,   I E E E   P   3   N A T   C   C O M P ,   P 2 9 ,   D O I   [ 1 0 . 1 1 0 9 / N C V P R I P G . 2 0 1 1 . 1 4 ,   D O I   1 0 . 1 1 0 9 / N C V P R I P G . 2 0 1 1 . 1 4 ] ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   R a y k a r   V C ,   2 0 1 2 ,   J   M A C H   L E A R N   R E S ,   V 1 3 ,   P 4 9 1 ;   R I N D S K O P F   D ,   1 9 8 6 ,   S T A T   M E D ,   V 5 ,   P 2 1 ,   D O I   1 0 . 1 0 0 2 / s i m . 4 7 8 0 0 5 0 1 0 5 ;   R O M A N   D ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 1 2 ;   S h a c h a f   P ,   2 0 1 0 ,   J   I N F   S C I ,   V 3 6 ,   P 3 5 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 0 3 6 5 3 9 0 ;   S h a n   J ,   2 0 1 1 ,   P H O T O G R A M M   E N G   R E M   S ,   V 7 7 ,   P 8 8 3 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   T i e d e   D ,   2 0 1 1 ,   P H O T O G R A M M   E N G   R E M   S ,   V 7 7 ,   P 9 3 3 ;   T o w n s h e n d   J R ,   2 0 1 2 ,   I N T   J   D I G I T   E A R T H ,   V 5 ,   P 3 7 3 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 1 2 . 7 1 3 1 9 0 ;   v a n   A a r d t   J A N ,   2 0 1 1 ,   P H O T O G R A M M   E N G   R E M   S ,   V 7 7 ,   P 9 4 3 ;   V e r m u n t   J .   K . ,   2 0 0 3 ,   S A G E   E N C Y   S O C I A L   S C I ,   V 2 ,   P 5 4 9 ;   V e r m u n t   J e r o e n   K . ,   1 9 9 7 ,   L O G   L I N E A R   M O D E L S   E V ;   V o i g t   S ,   2 0 1 1 ,   P H O T O G R A M M   E N G   R E M   S ,   V 7 7 ,   P 9 2 3 ;   W e l i n d e r   P . ,   2 0 1 0 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 3 ,   P 2 4 2 4 ;   W i e r s m a   Y F ,   2 0 1 0 ,   A V I A N   C O N S E R V   E C O L ,   V 5 ;   Y a a r i   E ,   2 0 1 1 ,   J   I N F   S C I ,   V 3 7 ,   P 4 8 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 1 4 1 6 0 6 5 ;   Y a m a z a k i   F . ,   2 0 0 5 ,   E A R T H Q   S P E C T R A ,   V 2 1 ,   P 3 2 9 ,   D O I   [ 1 0 . 1 1 9 3 / 1 . 2 1 0 1 8 0 7 . ,   D O I   1 0 . 1 1 9 3 / 1 . 2 1 0 1 8 0 7 ] ;   Y a n g   I ,   1 9 9 7 ,   B I O M E T R I C S ,   V 5 3 ,   P 9 4 8 ,   D O I   1 0 . 2 3 0 7 / 2 5 3 3 5 5 5 	 6 1 	 0 	 0 	 T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X O N ,   E N G L A N D 	 1 7 5 3 - 8 9 4 7 	 1 7 5 3 - 8 9 5 5 	 	 I N T   J   D I G I T   E A R T H 	 I n t .   J .   D i g i t .   E a r t h 	 	 2 0 1 4 	 7 	 8 	 	 	 	 	 6 5 0 	 6 7 0 	 	 1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 1 3 . 8 3 9 0 0 8 	 	 2 1 	 G e o g r a p h y ,   P h y s i c a l ;   R e m o t e   S e n s i n g 	 P h y s i c a l   G e o g r a p h y ;   R e m o t e   S e n s i n g 	 A J 7 U X 	 W O S : 0 0 0 3 3 7 9 0 5 1 0 0 0 0 2 	 	 
 S 	 L o r d e m a n n ,   A ;   D a n i e l s s o n ,   K ;   L i n ,   J C H 	 	 B a l i ,   R K ;   B o s ,   L ;   G i b b o n s ,   M C ;   I b e l l ,   S R 	 	 L o r d e m a n n ,   A m a n d a ;   D a n i e l s s o n ,   K r i s s i ;   L i n ,   J i m m y   C h e n g - H o 	 	 	 I n n o v a t i v e   F u n d i n g   M o d e l s   f o r   R a r e   D i s e a s e s 	 R A R E   D I S E A S E S   I N   T H E   A G E   O F   H E A L T H   2 . 0 	 C o m m u n i c a t i o n s   i n   M e d i c a l   a n d   C a r e   C o m p u n e t i c s 	 	 E n g l i s h 	 A r t i c l e ;   B o o k   C h a p t e r 	 	 	 	 	 	 	 	 I n   t h e   f i e l d   o f   h u m a n   g e n e t i c   d i s e a s e s ,   a p p r o x i m a t e l y   7 , 0 0 0   d i f f e r e n t   d i s e a s e s   a c c o u n t   f o r   a p p r o x i m a t e l y   1 0   %   o f   t h e   t o t a l   d i s e a s e   p r e v a l e n c e .   F o r   r a r e   d i s e a s e   r e s e a r c h ,   i t   i s   a   v e r y   d i f f i c u l t   t a s k   f o r   a   c e n t r a l ,   t o p - d o w n   e n t i t y   t o   c r e a t e   a n d   f u n d   r e s e a r c h   f o r   s o   m a n y   d i f f e r e n t   d i s e a s e s .   W i t h   t h e   t r a d i t i o n a l   r e s e a r c h   m o d e l ,   t h e r a p i e s   h a v e   b e e n   d e v e l o p e d   f o r   l e s s   t h a n   5 0 0   o f   t h e s e   d i s e a s e s ,   m e a n i n g   t h a t   m o r e   t h a n   9   i n   1 0   d i s e a s e s   d o   n o t   h a v e   a n y   t y p e   o f   t h e r a p y .   C u r r e n t   s o l u t i o n s   t o   t h i s   p r o b l e m   h a v e   l e v e r a g e d   a   b o t t o m - u p   a p p r o a c h   t o   a l l o w   f o r   m a n y   s t a k e h o l d e r s   t o   c o n t r i b u t e   f r o m   t h e i r   p e r s p e c t i v e s ,   a   m e t h o d   o f t e n   r e f e r r e d   t o   a s   " c r o w d s o u r c i n g " .   H e r e ,   w e   p r o p o s e   t h e   c r o w d s o u r c i n g   m o d e l   f o r   b o t h   r e s e a r c h   a s   w e l l   a s   f u n d i n g   a s   a   s u i t a b l e   w a y   f o r w a r d   f o r   r a r e   d i s e a s e   r e s e a r c h .   S p u r r e d   o n   b y   t h e   d u a l   a d v a n c e s   i n   c r o w d f u n d i n g   a n d   g e n o m i c s ,   w e   a t   t h e   R a r e   G e n o m i c s   I n s t i t u t e   a r e   t r y i n g   t o   c o m b i n e   t h e s e   a s p e c t s   t o   a d v a n c e   u n d e r s t a n d i n g   a n d   p r o g r e s s   t o w a r d s   a   c u r e   f o r   a l l   7 , 0 0 0   r a r e   d i s e a s e s .   B e c a u s e   t h e s e   p r o j e c t s   a r e   u n i q u e   a n d   o f t e n   d o   n o t   f i t   i n t o   e x i s t i n g   g r a n t s ,   a   w e b   p a g e   f o r   e a c h   p a t i e n t   i s   c r e a t e d   a n d   t h e   f u n d s   c o l l e c t e d   g o   d i r e c t l y   t o   t h e   r e s e a r c h   f o r   t h a t   p a t i e n t .   T h i s   c h a p t e r   d i s c u s s e s   h o w   c r o w d f u n d i n g   p r o v i d e s   a   p o w e r f u l   a l t e r n a t i v e   f u n d i n g   m e c h a n i s m   t o   c o m p l e m e n t   t h e   e x i s t i n g   i n f r a s t r u c t u r e . 	 [ L o r d e m a n n ,   A m a n d a ;   D a n i e l s s o n ,   K r i s s i ;   L i n ,   J i m m y   C h e n g - H o ]   R a r e   G e n o m   I n s t ,   S t   L o u i s ,   M O   6 3 1 0 8   U S A 	 L i n ,   J C H   ( r e p r i n t   a u t h o r ) ,   R a r e   G e n o m   I n s t ,   4 1 0 0   F o r e s t   P k   A v e , S u i t e   2 0 4 ,   S t   L o u i s ,   M O   6 3 1 0 8   U S A . 	 j i m m y . l i n @ r a r e g e n o m i c s . o r g 	 	 	 	 	 	 0 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 2 1 9 1 - 3 8 1 1 	 	 9 7 8 - 3 - 6 4 2 - 3 8 6 4 3 - 5 ;   9 7 8 - 3 - 6 4 2 - 3 8 6 4 2 - 8 	 C O M M U N   M E D   C A R E   C O M P 	 	 	 2 0 1 4 	 4 	 	 	 	 	 	 4 3 	 5 0 	 	 1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 8 6 4 3 - 5 _ 5 	 1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 8 6 4 3 - 5 	 8 	 E n g i n e e r i n g ,   B i o m e d i c a l ;   M e d i c a l   I n f o r m a t i c s 	 E n g i n e e r i n g ;   M e d i c a l   I n f o r m a t i c s 	 B A 1 Z V 	 W O S : 0 0 0 3 3 3 2 0 5 3 0 0 0 0 7 	 	 
 J 	 S a m i m i ,   P ;   R a v a n a ,   S D 	 	 	 	 S a m i m i ,   P a r n i a ;   R a v a n a ,   S r i   D e v i 	 	 	 C r e a t i o n   o f   R e l i a b l e   R e l e v a n c e   J u d g m e n t s   i n   I n f o r m a t i o n   R e t r i e v a l   S y s t e m s   E v a l u a t i o n   E x p e r i m e n t a t i o n   t h r o u g h   C r o w d s o u r c i n g :   A   R e v i e w 	 S C I E N T I F I C   W O R L D   J O U R N A L 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 	 S E C U R I T Y 	 T e s t   c o l l e c t i o n   i s   u s e d   t o   e v a l u a t e   t h e   i n f o r m a t i o n   r e t r i e v a l   s y s t e m s   i n   l a b o r a t o r y - b a s e d   e v a l u a t i o n   e x p e r i m e n t a t i o n .   I n   a   c l a s s i c   s e t t i n g ,   g e n e r a t i n g   r e l e v a n c e   j u d g m e n t s   i n v o l v e s   h u m a n   a s s e s s o r s   a n d   i s   a   c o s t l y   a n d   t i m e   c o n s u m i n g   t a s k .   R e s e a r c h e r s   a n d   p r a c t i t i o n e r s   a r e   s t i l l   b e i n g   c h a l l e n g e d   i n   p e r f o r m i n g   r e l i a b l e   a n d   l o w - c o s t   e v a l u a t i o n   o f   r e t r i e v a l   s y s t e m s .   C r o w d s o u r c i n g   a s   a   n o v e l   m e t h o d   o f   d a t a   a c q u i s i t i o n   i s   b r o a d l y   u s e d   i n   m a n y   r e s e a r c h   f i e l d s .   I t   h a s   b e e n   p r o v e n   t h a t   c r o w d s o u r c i n g   i s   a n   i n e x p e n s i v e   a n d   q u i c k   s o l u t i o n   a s   w e l l   a s   a   r e l i a b l e   a l t e r n a t i v e   f o r   c r e a t i n g   r e l e v a n c e   j u d g m e n t s .   O n e   o f   t h e   c r o w d s o u r c i n g   a p p l i c a t i o n s   i n   I R   i s   t o   j u d g e   r e l e v a n c y   o f   q u e r y   d o c u m e n t   p a i r .   I n   o r d e r   t o   h a v e   a   s u c c e s s f u l   c r o w d s o u r c i n g   e x p e r i m e n t ,   t h e   r e l e v a n c e   j u d g m e n t   t a s k s   s h o u l d   b e   d e s i g n e d   p r e c i s e l y   t o   e m p h a s i z e   q u a l i t y   c o n t r o l .   T h i s   p a p e r   i s   i n t e n d e d   t o   e x p l o r e   d i f f e r e n t   f a c t o r s   t h a t   h a v e   a n   i n f l u e n c e   o n   t h e   a c c u r a c y   o f   r e l e v a n c e   j u d g m e n t s   a c c o m p l i s h e d   b y   w o r k e r s   a n d   h o w   t o   i n t e n s i f y   t h e   r e l i a b i l i t y   o f   j u d g m e n t s   i n   c r o w d s o u r c i n g   e x p e r i m e n t . 	 [ S a m i m i ,   P a r n i a ;   R a v a n a ,   S r i   D e v i ]   U n i v   M a l a y a ,   F a c   C o m p   S c i   &   I n f o r m a t   T e c h n o l ,   D e p t   I n f o r m a t   S y s t ,   K u a l a   L u m p u r   5 0 6 0 3 ,   M a l a y s i a 	 R a v a n a ,   S D   ( r e p r i n t   a u t h o r ) ,   U n i v   M a l a y a ,   F a c   C o m p   S c i   &   I n f o r m a t   T e c h n o l ,   D e p t   I n f o r m a t   S y s t ,   K u a l a   L u m p u r   5 0 6 0 3 ,   M a l a y s i a . 	 s d e v i @ u m . e d u . m y 	 	 	 H i g h   I m p a c t   R e s e a r c h   f r o m   U n i v e r s i t y   o f   M a l a y a   [ U M . C / 6 2 5 / 1 / H I R / M O H E / F C S I T / 1 4 ] ;   M i n i s t r y   o f   E d u c a t i o n ,   M a l a y s i a 	 T h i s   r e s e a r c h   w a s   s u p p o r t e d   b y   H i g h   I m p a c t   R e s e a r c h   G r a n t   U M .   C / 6 2 5 / 1 / H I R / M O H E / F C S I T / 1 4   f r o m   U n i v e r s i t y   o f   M a l a y a   a n d   M i n i s t r y   o f   E d u c a t i o n ,   M a l a y s i a . 	 A l l a h b a k h s h   M ,   2 0 1 3 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 7 ,   P 7 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 3 . 2 0 ;   A l o n s o   O ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 1 1 ,   P 1 5 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 1 6 1 - 5 _ 1 6 ;   A l o n s o   O . ,   2 0 0 8 ,   A C M   S I G I R   F O R U M ,   V 4 2 ,   P 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   A l o n s o   O ,   2 0 1 3 ,   I N F O R M   R E T R I E V A L ,   V 1 6 ,   P 1 0 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 2 - 9 2 0 4 - 1 ;   A l o n s o   O ,   2 0 1 2 ,   I N F O R M   P R O C E S S   M A N A G ,   V 4 8 ,   P 1 0 5 3 ,   D O I   1 0 . 1 0 1 6 / j . i p m . 2 0 1 2 . 0 1 . 0 0 4 ;   A m b a t i   V . ,   2 0 1 0 ,   L A N G   R E S O U R   E V A L ,   V 7 ,   P 2 1 6 9 ;   B a e z a - Y a t e s   R . ,   2 0 1 1 ,   M O D E R N   I N F O R M   R E T R I V ;   B r a b h a m   D C ,   2 0 0 9 ,   P L A N   T H E O R ,   V 8 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 9 1 0 4 8 2 4 ;   B R E W   A ,   2 0 1 0 ,   P   2 0 1 0   C   E C A I   2 0 1 0   1 ,   V 2 1 5 ,   P 1 4 5 ,   D O I   D O I   1 0 . 3 2 3 3 / 9 7 8 - 1 - 6 0 7 5 0 - 6 0 6 - 5 - 1 4 5 ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   V 1 ,   P 2 8 6 ,   D O I   1 0 . 3 1 1 5 / 1 6 9 9 5 1 0 . 1 6 9 9 5 4 8 ;   C a r p e n t e r   B . ,   2 0 0 8 ,   M U L T I L E V E L   B A Y E S I A N ;   C h e n   J . ,   2 0 1 1 ,   H U M A N   F A C T O R S ,   V 5 ;   C H O F F N E S   D R ,   2 0 1 0 ,   P   7   I N T   C   A U T   C O M P   S ,   V 4 0 ,   P 3 8 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 5 1 2 7 5 . 1 8 5 1 2 2 8 ;   C L E V E R D O . C ,   1 9 6 7 ,   A S L I B   P R O C ,   V 1 9 ,   P 1 7 3 ,   D O I   1 0 . 1 1 0 8 / e b 0 5 0 0 9 7 ;   C l o u g h   P . ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 7 ,   P 3 2 ;   C O H E N   J ,   1 9 6 0 ,   E D U C   P S Y C H O L   M E A S ,   V 2 0 ,   P 3 7 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 3 1 6 4 4 6 0 0 2 0 0 0 1 0 4 ;   D a w i d   A P ,   1 9 7 9 ,   A P P L I E D   S T A T I S T I C S ,   V 2 8 ,   P 2 0 ,   D O I   1 0 . 2 3 0 7 / 2 3 4 6 8 0 6 ;   d e   A l f a r o   L ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 1 ,   D O I   1 0 . 1 1 4 5 / 1 9 7 8 5 4 2 . 1 9 7 8 5 6 0 ;   D i f a l l a h   D .   E . ,   2 0 1 2 ,   P   C R O W D S E A R C H   W O R K S H ;   D o w   S .   P . ,   2 0 1 1 ,   P   C H I   H U M   F A C T   C O M P ,   P 1 6 6 9 ;   E i c k h o f f   C ,   2 0 1 3 ,   I N F O R M   R E T R I E V A L ,   V 1 6 ,   P 1 2 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 1 - 9 1 8 1 - 9 ;   F L E I S S   J L ,   1 9 7 1 ,   P S Y C H O L   B U L L ,   V 7 6 ,   P 3 7 8 ,   D O I   1 0 . 1 0 3 7 / h 0 0 3 1 6 1 9 ;   G r a d y   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 7 2 ;   H E E R   J ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 3 2 6 . 1 7 5 3 3 5 7 ;   H i p p n e r   H . ,   2 0 1 2 ,   B U S I N E S S   I N F O R M   S Y S T ,   V 4 ,   P 1 6 5 ;   H i r t h   M ,   2 0 1 3 ,   M A T H   C O M P U T   M O D E L ,   V 5 7 ,   P 2 9 1 8 ,   D O I   1 0 . 1 0 1 6 / j . m c m . 2 0 1 2 . 0 1 . 0 0 6 ;   H o l l e y   R . ,   2 0 0 9 ,   C R O W D S O U R C I N G   S O C I A L ;   H o s s e i n i   M e h d i ,   2 0 1 2 ,   A d v a n c e s   i n   I n f o r m a t i o n   R e t r i e v a l .   P r o c e e d i n g s   o f   t h e   3 4 t h   E u r o p e a n   C o n f e r e n c e   o n   I R   R e s e a r c h   ( E C I R   2 0 1 2 ) ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 8 9 9 7 - 2 _ 1 6 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   I p e i r o t i s   P ,   2 0 1 0 ,   D E M O G R A P H I C S   M E C H   T U ;   I p e i r o t i s   P G ,   2 0 1 4 ,   D A T A   M I N   K N O W L   D I S C ,   V 2 8 ,   P 4 0 2 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 1 8 - 0 1 3 - 0 3 0 6 - 1 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   J u n g   H .   J . ,   2 0 1 2 ,   P   2 6   A A A I   C   A R T   I N T ;   J u n g   H .   J . ,   2 0 1 2 ,   P   S I G I R   1 2 ,   P 1 0 9 5 ;   K a z a i   G . ,   2 0 1 1 ,   P   3 4   A C M   S I G I R   C ,   P 2 0 5 ;   K a z a i   G ,   2 0 1 3 ,   I N F O R M   R E T R I E V A L ,   V 1 6 ,   P 1 3 8 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 2 - 9 2 0 5 - 0 ;   K A Z A I   G ,   2 0 1 1 ,   A D V   I N F O R M   R E T R I E V A L ,   V 6 6 1 1 ,   P 1 6 5 ;   K a z a i   G . ,   2 0 1 2 ,   P   2 1   A C M   I N T   C   I N F   K ,   P 2 5 8 3 ;   K a z a i   G . ,   2 0 1 1 ,   P   2 0   A C M   I N T   C   I N F   K ,   P 1 9 4 1 ;   K h a n n a   S . ,   2 0 1 0 ,   P   1   A C M   S   C O M P   D E V   D ;   K i t t u r   A . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 4 3 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K R I P P E N D . K ,   1 9 7 0 ,   E D U C   P S Y C H O L   M E A S ,   V 3 0 ,   P 6 1 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 3 1 6 4 4 7 0 0 3 0 0 0 1 0 5 ;   K u l k a r n i   A . ,   2 0 1 2 ,   P   2 0 1 2   A C M   C   C O M P   S U ,   P 1 0 0 3 ;   L e   J . ,   2 0 1 0 ,   P   S I G I R   2 0 1 0   W O R K S H ,   P 2 1 ;   M a l o n e   T .   W . ,   2 0 0 9 ,   4 7 3 2 0 9   M I T   S L O A N   S C H ;   M a s o n   W . ,   2 0 1 0 ,   A C M   S I G K D D   E X P L O R A T I ,   V 1 1 ,   P 1 0 0 ,   D O I   [ D O I   1 0 . 1 1 4 5 / 1 8 0 9 4 0 0 . 1 8 0 9 4 2 2 ,   D O I   1 0 . 1 1 4 5 / - 1 8 0 9 4 0 0 . 1 8 0 9 4 2 2 ] ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   M c C r e a d i e   R .   M . ,   2 0 1 0 ,   P   A C M   S I G I R   2 0 1 0   W O R ,   P 3 1 ;   M o g h a d a s i   S I ,   2 0 1 3 ,   J   I N F O R M E T R ,   V 7 ,   P 3 0 1 ,   D O I   1 0 . 1 0 1 6 / j . j o i . 2 0 1 2 . 1 2 . 0 0 1 ;   M u n r o   R . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 2 2 ;   P a n   Y . ,   2 0 1 1 ,   P   1 2   I N T   C   C O L L   T E C H ,   P 3 9 7 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   P o t t h a s t   M . ,   2 0 1 0 ,   P   2 3   I N T   C   C O M P   L I N G ,   P 9 9 7 ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   R o s s   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 . A C C E S S E D ;   S a l a k h u t d i n o v   R u s l a n ,   2 0 0 8 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 0 ,   P 1 2 5 7 ;   S c e k i c   O g n j e n ,   2 0 1 2 ,   B u s i n e s s   P r o c e s s   M a n a g e m e n t .   P r o c e e d i n g s   o f   t h e   1 0 t h   I n t e r n a t i o n a l   C o n f e r e n c e ,   B P M   2 0 1 2 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 2 8 8 5 - 5 _ 1 1 ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S o l e y m a n i   M . ,   2 0 1 0 ,   P   S I G I R   2 0 1 0   W O R K S H ,   P 4 ;   S t o l e e   K .   T . ,   2 0 1 0 ,   P   4   I N T   S   E M P   S O F T W ;   T a n g   W . ,   2 0 1 1 ,   P   S I G I R   W O R K S H   C R O W D ;   v o n   A h n   L ,   2 0 0 3 ,   L E C T   N O T E S   C O M P U T   S C ,   V 2 6 5 6 ,   P 2 9 4 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   V o o r h e e s   E M ,   2 0 0 2 ,   L E C T   N O T E S   C O M P U T   S C ,   V 2 4 0 6 ,   P 3 5 5 ;   V u u r e n s   J . ,   2 0 1 1 ,   P   A C M   S I G I R   W O R K S H   C ,   P 2 1 ;   V u u r e n s   J B P ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 2 0 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 7 1 ;   W e l i n d e r   P . ,   2 0 1 0 ,   P   I E E E   C   C O M P   V I S   P A ,   P 2 5 ;   X i a   T ,   2 0 1 2 ,   P R O C E E D I N G S   O F   T H E   3 R D   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   N E T W O R K   I N F R A S T R U C T U R E   A N D   D I G I T A L   C O N T E N T   ( I E E E   I C - N I D C   2 0 1 2 ) ,   P 5 3 5 ;   Z h a o   Y . ,   2 0 1 2 ,   I N F O R M   S Y S T E M S   F R O N T ;   Z h u   D . ,   2 0 1 0 ,   P   S I G I R   W O R K S H   C R O W D ,   P 1 7 ;   Z u c c o n   G ,   2 0 1 3 ,   I N F O R M   R E T R I E V A L ,   V 1 6 ,   P 2 6 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 2 - 9 2 0 6 - z 	 7 4 	 0 	 0 	 H I N D A W I   P U B L I S H I N G   C O R P O R A T I O N 	 N E W   Y O R K 	 4 1 0   P A R K   A V E N U E ,   1 5 T H   F L O O R ,   # 2 8 7   P M B ,   N E W   Y O R K ,   N Y   1 0 0 2 2   U S A 	 1 5 3 7 - 7 4 4 X 	 	 	 S C I   W O R L D   J 	 S c i .   W o r l d   J . 	 	 2 0 1 4 	 	 	 	 	 	 	 	 	 1 3 5 6 4 1 	 1 0 . 1 1 5 5 / 2 0 1 4 / 1 3 5 6 4 1 	 	 1 3 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 A I 0 N Y 	 W O S : 0 0 0 3 3 6 5 4 5 6 0 0 0 0 1 	 	 
 J 	 B e l l o ,   O M ;   A i n a ,   Y A 	 	 E f e ,   R ;   O z t u r k ,   M ;   A t a l a y ,   I 	 	 B e l l o ,   O l a l e k a n   M u m i n ;   A i n a ,   Y u s u f   A d e d o y i n 	 	 	 S a t e l l i t e   r e m o t e   s e n s i n g   a s   a   t o o l   i n   d i s a s t e r   m a n a g e m e n t   a n d   s u s t a i n a b l e   d e v e l o p m e n t :   t o w a r d s   a   s y n e r g i s t i c   a p p r o a c h 	 3 R D   I N T E R N A T I O N A L   G E O G R A P H Y   S Y M P O S I U M ,   G E O M E D 2 0 1 3 	 P r o c e d i a   S o c i a l   a n d   B e h a v i o r a l   S c i e n c e s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 r d   I n t e r n a t i o n a l   G e o g r a p h y   S y m p o s i u m   ( G E O M E D ) 	 J U N   1 0 - 1 3 ,   2 0 1 3 	 A n t a l y a ,   T U R K E Y 	 	 	 D i s a s t e r   m a n a g e m e n t ;   G e o s p a t i a l   d a t a ;   N a t u r a l   h a z a r d ;   S a t e l l i t e   i m a g e r y ;   S u s t a i n a b l e   d e v e l o p m e n t 	 G E O G R A P H I C   I N F O R M A T I O N ;   E A R T H Q U A K E ;   L A N D S L I D E ;   H A Z A R D S ;   S E A 	 D i s a s t e r s   h a v e   b e c o m e   a n   i s s u e   o f   g r o w i n g   c o n c e r n   t h r o u g h o u t   t h e   w o r l d ,   w h e t h e r   i t   i s   n a t u r a l   h a z a r d s   o r   t h r o u g h   h u m a n   f a c t o r s .   T h e   f r e q u e n c y ,   a s   w e l l   a s   m a g n i t u d e ,   o f   d i s a s t e r s   t h r e a t e n i n g   l a r g e   p o p u l a t i o n   l i v i n g   i n   d i v e r s e   e n v i r o n m e n t s   i s   i n c r e a s i n g   i n   r e c e n t   y e a r s   a c r o s s   t h e   w o r l d .   T h e s e   d i s a s t e r s   a l s o   h a v e   f a r - r e a c h i n g   i m p l i c a t i o n s   o n   s u s t a i n a b l e   d e v e l o p m e n t   t h r o u g h   s o c i a l ,   e c o n o m i c   a n d   e n v i r o n m e n t a l   i m p a c t s .   I t   i s   h i g h l y   i m p e r a t i v e   t o   d e v e l o p   e f f e c t i v e   t o o l s   f o r   d i s a s t e r   m a n a g e m e n t .   R e m o t e   s e n s i n g   s y s t e m s   h a v e   b e e n   p l a y i n g   a   g r e a t   r o l e   i n   d i s a s t e r   m a n a g e m e n t   i n   s u c h   a r e a s   a s   f l o o d i n g ,   c y c l o n e s ,   d r o u g h t ,   e a r t h q u a k e   a n d   t s u n a m i .   S a t e l l i t e   r e m o t e   s e n s i n g   i s   l a r g e l y   a d o p t e d   d u e   t o   i t s   c o s t   e f f e c t i v e n e s s ,   s h o r t   t e m p o r a l   o r b i t i n g   a n d   l a r g e   a r e a   o f   c o v e r a g e .   R e m o t e   s e n s i n g   t e c h n o l o g i e s   h a v e   b e e n   u s e d   i n   d i s a s t e r   m a n a g e m e n t   e s p e c i a l l y   d u r i n g   t h e   p r e p a r e d n e s s / w a r n i n g   a n d   r e s p o n s e / m o n i t o r i n g   s t a g e s .   D e s p i t e   t h e   c a p a b i l i t i e s   o f   r e m o t e   s e n s i n g   t e c h n o l o g i e s   i n   n a t u r a l   a n d   h u m a n   d i s a s t e r   m a n a g e m e n t ,   t h e r e   a r e   s t i l l   s o m e   l i m i t a t i o n s   i n   i t s   d e p l o y m e n t   d u e   t o   t h e   d i v i d e   b e t w e e n   d e v e l o p e d   a n d   d e v e l o p i n g   c o u n t r i e s ,   d a t a   a c c e s s i b i l i t y   ( e s p e c i a l l y   h i g h   r e s o l u t i o n   i m a g e r y )   a n d   t e c h n o l o g i c a l   l i m i t a t i o n s .   T h i s   p a p e r   e x a m i n e s   t h e   r e c e n t   d e v e l o p m e n t s   i n   t h e   a p p l i c a t i o n   o f   r e m o t e   s e n s i n g   i n   d i s a s t e r   m a n a g e m e n t   s u c h   a s   t h e   p r o l i f e r a t i o n   o f   d a t a   t h r o u g h   u n p r e c e d e n t e d   s o u r c e s   ( G o o g l e   E a r t h ,   c r o w d s o u r c i n g ,   G l o b a l   L a n d   C o v e r )   a n d   i m p r o v e m e n t   i n   d a t a   r e s o l u t i o n s   a n d   i n t e g r a t i o n   o f   t e c h n o l o g i e s .   I t   e x a m i n e s   h o w   r e c e n t   d e v e l o p m e n t s   c a n   h e l p   i n   o v e r c o m i n g   t h e   l i m i t a t i o n s   o f   u s i n g   r e m o t e l y   s e n s e d   d a t a   i n   d i s a s t e r   m a n a g e m e n t .   T h e r e   i s   a   n e e d   f o r   m o r e   c o l l a b o r a t i v e   a n d   i n t e r d i s c i p l i n a r y   f r a m e w o r k s   t o   f u l l y   u t i l i z e   t h e   c a p a b i l i t i e s   o f   r e m o t e   s e n s i n g   i n   h a z a r d   a n d   d i s a s t e r   m a n a g e m e n t .   ( C )   2 0 1 3   T h e   A u t h o r s .   P u b l i s h e d   b y   E l s e v i e r   L t d . 	 [ B e l l o ,   O l a l e k a n   M u m i n ]   U m a r u   M u s a   Y a r   A d u a   U n i v ,   D e p t   G e o g ,   K a t s i n a ,   N i g e r i a 	 	 b e l l o s o f t @ y a h o o . c o m 	 	 	 	 	 A i n a   Y . A . ,   2 0 1 2 ,   E M E R G I N G   I N F O R M   I N N O ,   P 1 ;   A l e e m   K . F . ,   2 0 1 3 ,   P   I N T   F E D   S U R V   F I G   W ;   B a r r e t   E . C . ,   1 9 9 6 ,   R E M O T E   S E N S I N G   R E V ,   V 1 4 ;   B i n   L . ,   2 0 0 6 ,   I E E E   I N T   C   G E O S C   R E M ;   C E O S / I G O S ,   1 9 9 9 ,   C E O S   I G O S   D I S   M A N   S U ;   C h a k r a b o r t i   A . K . ,   1 9 9 9 ,   W O R K S H   N A T   D I S   T H E I R ;   C H U V I E C O   E ,   1 9 8 9 ,   R E M O T E   S E N S   E N V I R O N ,   V 2 9 ,   P 1 4 7 ,   D O I   1 0 . 1 0 1 6 / 0 0 3 4 - 4 2 5 7 ( 8 9 ) 9 0 0 2 3 - 0 ;   D e   L o n g u e v i l l e   B ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 4 2 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 7 . 2 0 1 0 . 4 8 4 8 6 9 ;   G o o d c h i l d   M F ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 3 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 7 5 9 2 5 5 ;   H a n s e n   P . Y . ,   1 9 9 4 ,   S T O P   D I S A S T E R ,   V 1 8 ,   P 4 ;   I s a e v   A S ,   2 0 0 2 ,   C L I M A T I C   C H A N G E ,   V 5 5 ,   P 2 3 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 0 2 2 1 1 2 3 8 8 4 ;   J o y c e   K a r e n   E . ,   2 0 0 9 ,   A d v a n c e s   i n   G e o s c i e n c e   a n d   R e m o t e   S e n s i n g ;   J o y c e   K E ,   2 0 0 9 ,   P R O G   P H Y S   G E O G ,   V 3 3 ,   P 1 8 3 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 9 1 3 3 3 0 9 3 3 9 5 6 3 ;   K o r d z a k h i a   G ,   2 0 1 1 ,   P R O C D   S O C   B E H V ,   V 1 9 ,   P 5 3 2 ,   D O I   1 0 . 1 0 1 6 / j . s b s p r o . 2 0 1 1 . 0 5 . 1 6 6 ;   L e b l o n   B . ,   2 0 1 2 ,   S U S T A I N A B L E   D E V   A U T H ,   P 5 5 ;   L i   X G ,   2 0 0 9 ,   P H O T O G R A M M   E N G   R E M   S ,   V 7 5 ,   P 8 0 7 ;   M a r a   S . ,   2 0 1 3 ,   E A R T H Q U A K E   R E S   A N A L ,   P 2 1 ;   P a r v a i z   I ,   2 0 1 2 ,   I N T   J   R E M O T E   S E N S ,   V 3 3 ,   P 6 5 5 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 3 1 1 6 1 . 2 0 1 0 . 5 1 2 9 4 8 ;   P h i n n   S . R . ,   2 0 0 6 ,   R E M O T E   S E N S I N G   A Q U A T ;   P h i n n   S R ,   1 9 9 8 ,   I N T   J   R E M O T E   S E N S ,   V 1 9 ,   P 3 4 5 7 ;   Q u a r a n t e l l i   E L ,   1 9 9 7 ,   D I S A S T E R S ,   V 2 1 ,   P 3 9 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 7 7 1 7 . 0 0 0 4 3 ;   T r a l l i   D M ,   2 0 0 5 ,   I S P R S   J   P H O T O G R A M M ,   V 5 9 ,   P 1 8 5 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 0 5 . 0 2 . 0 0 2 ;   U N D R O   ( U n i t e d   N a t i o n s   D i s a s t e r   R e l i e f   O r g a n i z a t i o n ) ,   1 9 9 1 ,   M I T   N A T   D I S   P H E N   E F F ,   P 1 ;   V a n   W e s t e n   C . J . ,   2 0 0 2 ,   E N V   M O D E L L I N G   G I S   R E ,   P 2 0 0 ;   V a n   W e s t e n   K . ,   1 9 9 6 ,   I N T   A R C H   P H O T O G R A M M E ,   V X X X 1 ;   v a n   A a r d t   J A N ,   2 0 1 1 ,   P H O T O G R A M M   E N G   R E M   S ,   V 7 7 ,   P 9 4 3 ;   V e r s t a p p e n   H . T . ,   1 9 9 9 ,   G E O I N F O R M A T I O N   T E C H N ,   P 5 7 	 2 7 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 S A R A   B U R G E R H A R T S T R A A T   2 5 ,   P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 1 8 7 7 - 0 4 2 8 	 	 	 P R O C D   S O C   B E H V 	 	 	 2 0 1 4 	 1 2 0 	 	 	 	 	 	 3 6 5 	 3 7 3 	 	 1 0 . 1 0 1 6 / j . s b s p r o . 2 0 1 4 . 0 2 . 1 1 4 	 	 9 	 G e o g r a p h y 	 G e o g r a p h y 	 B A 4 J C 	 W O S : 0 0 0 3 3 5 8 2 1 2 0 0 0 4 0 	 	 
 J 	 G a d g i l ,   N J ;   T a h b o u b ,   K ;   K i r s h ,   D ;   D e l p ,   E J 	 	 L i n ,   Q ;   A l l e b a c h ,   J P ;   F a n ,   Z 	 	 G a d g i l ,   N e e r a j   J . ;   T a h b o u b ,   K h a l i d ;   K i r s h ,   D a v i d ;   D e l p ,   E d w a r d   J . 	 	 	 A   W e b - B a s e d   V i d e o   A n n o t a t i o n   S y s t e m   f o r   C r o w d s o u r c i n g   S u r v e i l l a n c e   V i d e o s 	 I M A G I N G   A N D   M U L T I M E D I A   A N A L Y T I C S   I N   A   W E B   A N D   M O B I L E   W O R L D   2 0 1 4 	 P r o c e e d i n g s   o f   S P I E 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 C o n f e r e n c e   o n   I m a g i n g   a n d   M u l t i m e d i a   A n a l y t i c s   i n   a   W e b   a n d   M o b i l e   W o r l d 	 F E B   0 5 - 0 6 ,   2 0 1 4 	 S a n   F r a n c i s c o ,   C A 	 S o c   I m a g i n g   S c i   &   T e c h n o l ,   S P I E 	 	 v i d e o   s u r v e i l l a n c e ;   c r o w d s o u r c i n g ;   v i d e o   a n n o t a t i o n ;   w e b - b a s e d   s y s t e m 	 A U T O M A T E D   V I S U A L   S U R V E I L L A N C E 	 V i d e o   s u r v e i l l a n c e   s y s t e m s   a r e   o f   a   g r e a t   v a l u e   t o   p r e v e n t   t h r e a t s   a n d   i d e n t i f y / i n v e s t i g a t e   c r i m i n a l   a c t i v i t i e s .   M a n u a l   a n a l y s i s   o f   a   h u g e   a m o u n t   o f   v i d e o   d a t a   f r o m   s e v e r a l   c a m e r a s   o v e r   a   l o n g   p e r i o d   o f   t i m e   o f t e n   b e c o m e s   i m p r a c t i c a b l e .   T h e   u s e   o f   a u t o m a t i c   d e t e c t i o n   m e t h o d s   c a n   b e   c h a l l e n g i n g   w h e n   t h e   v i d e o   c o n t a i n s   m a n y   o b j e c t s   w i t h   c o m p l e x   m o t i o n   a n d   o c c l u s i o n s .   C r o w d s o u r c i n g   h a s   b e e n   p r o p o s e d   a s   a n   e f f e c t i v e   m e t h o d   f o r   u t i l i z i n g   h u m a n   i n t e l l i g e n c e   t o   p e r f o r m   s e v e r a l   t a s k s .   O u r   s y s t e m   p r o v i d e s   a   p l a t f o r m   f o r   t h e   a n n o t a t i o n   o f   s u r v e i l l a n c e   v i d e o   i n   a n   o r g a n i z e d   a n d   c o n t r o l l e d   w a y .   O n e   c a n   m o n i t o r   a   s u r v e i l l a n c e   s y s t e m   u s i n g   a   s e t   o f   t o o l s   s u c h   a s   t r a i n i n g   m o d u l e s ,   r o l e s   a n d   l a b e l s ,   t a s k   m a n a g e m e n t .   T h i s   s y s t e m   c a n   b e   u s e d   i n   a   r e a l - t i m e   s t r e a m i n g   m o d e   t o   d e t e c t   a n y   p o t e n t i a l   t h r e a t s   o r   a s   a n   i n v e s t i g a t i v e   t o o l   t o   a n a l y z e   p a s t   e v e n t s .   A n n o t a t o r s   c a n   a n n o t a t e   v i d e o   c o n t e n t s   a s s i g n e d   t o   t h e m   f o r   s u s p i c i o u s   a c t i v i t y   o r   c r i m i n a l   a c t s .   F i r s t   r e s p o n d e r s   a r e   t h e n   a b l e   t o   v i e w   t h e   c o l l e c t i v e   a n n o t a t i o n s   a n d   r e c e i v e   e m a i l   a l e r t s   a b o u t   a   n e w l y   r e p o r t e d   i n c i d e n t .   T h e y   c a n   a l s o   k e e p   t r a c k   o f   t h e   a n n o t a t o r s '   t r a i n i n g   p e r f o r m a n c e ,   m a n a g e   t h e i r   a c t i v i t i e s   a n d   r e w a r d   t h e i r   s u c c e s s .   B y   p r o v i d i n g   t h i s   s y s t e m ,   t h e   p r o c e s s   o f   v i d e o   a n a l y s i s   i s   m a d e   m o r e   e f f i c i e n t . 	 [ G a d g i l ,   N e e r a j   J . ;   T a h b o u b ,   K h a l i d ;   D e l p ,   E d w a r d   J . ]   P u r d u e   U n i v ,   S c h   E l e c t   &   C o m p   E n g n ,   V i d e o   &   I m a g e   P r o c   L a b   V I P E R ,   W   L a f a y e t t e ,   I N   4 7 9 0 6   U S A 	 D e l p ,   E J   ( r e p r i n t   a u t h o r ) ,   P u r d u e   U n i v ,   S c h   E l e c t   &   C o m p   E n g n ,   V i d e o   &   I m a g e   P r o c   L a b   V I P E R ,   W   L a f a y e t t e ,   I N   4 7 9 0 6   U S A . 	 a c e @ e c n . p u r d u e . e d u 	 D e l p ,   E d w a r d / C - 3 6 1 6 - 2 0 1 3 	 D e l p ,   E d w a r d / 0 0 0 0 - 0 0 0 2 - 2 9 0 9 - 7 3 2 3 	 	 	 A g g a r w a l   J K ,   2 0 1 1 ,   A C M   C O M P U T   S U R V ,   V 4 3 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 2 6 4 9 . 1 9 2 2 6 5 3 ;   A g g a r w a l   J .   K . ,   1 9 9 7 ,   P r o c e e d i n g s .   I E E E   N o n r i g i d   a n d   A r t i c u l a t e d   M o t i o n   W o r k s h o p   ( C a t .   N o . 9 7 T B 1 0 0 1 4 7 ) ,   D O I   1 0 . 1 1 0 9 / N A M W . 1 9 9 7 . 6 0 9 8 5 9 ;   A s s f a l g   J ,   2 0 0 2 ,   I E E E   M U L T I M E D I A ,   V 9 ,   P 5 2 ,   D O I   1 0 . 1 1 0 9 / 9 3 . 9 9 8 0 6 0 ;   B e n f o l d   B . ,   2 0 1 1 ,   P   I E E E   C   C O M P   V I S   P A ,   P 3 4 5 7 ;   B r a b h a m   D C ,   2 0 1 3 ,   M I T   P R E S S   E S S E N T ,   P 1 ;   B R A N T I N G H A M   R ,   2 0 1 3 ,   P   I S   T   S P I E   C   D E F   S E ;   C h e n   K T ,   2 0 1 0 ,   I E E E   N E T W O R K ,   V 2 4 ,   P 2 8 ,   D O I   1 0 . 1 1 0 9 / M N E T . 2 0 1 0 . 5 4 3 0 1 4 1 ;   D a v i s   M . ,   1 9 9 3 ,   P r o c e e d i n g s   1 9 9 3   I E E E   S y m p o s i u m   o n   V i s u a l   L a n g u a g e s   ( C a t .   N o . 9 3 T H 0 5 6 2 - 9 ) ,   D O I   1 0 . 1 1 0 9 / V L . 1 9 9 3 . 2 6 9 5 9 6 ;   D e e   H M ,   2 0 0 8 ,   M A C H   V I S I O N   A P P L ,   V 1 9 ,   P 3 2 9 ,   D O I   1 0 . 1 0 0 7 / s 0 0 1 3 8 - 0 0 7 - 0 0 7 7 - z ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   F r a n c o i s   A R J ,   2 0 0 5 ,   I E E E   M U L T I M E D I A ,   V 1 2 ,   P 7 6 ,   D O I   1 0 . 1 1 0 9 / M M U L . 2 0 0 5 . 8 7 ;   H a e r i n g   N ,   2 0 0 8 ,   M A C H   V I S I O N   A P P L ,   V 1 9 ,   P 2 7 9 ,   D O I   1 0 . 1 0 0 7 / s 0 0 1 3 8 - 0 0 8 - 0 1 5 2 - 0 ;   H o s s f e l d   T o b i a s ,   2 0 1 1 ,   P r o c e e d i n g s   o f   t h e   2 0 1 1   I E E E   I n t e r n a t i o n a l   S y m p o s i u m   o n   M u l t i m e d i a   ( I S M   2 0 1 1 ) ,   D O I   1 0 . 1 1 0 9 / I S M . 2 0 1 1 . 8 7 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H u   W M ,   2 0 0 4 ,   I E E E   T   S Y S T   M A N   C Y   C ,   V 3 4 ,   P 3 3 4 ,   D O I   1 0 . 1 1 0 9 / T S M C C . 2 0 0 4 . 8 2 9 2 7 4 ;   K e o g h   E . ,   2 0 1 1 ,   U C R   T I M E   S E R I E S   C L A S ;   K h a n   S M ,   2 0 0 9 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 1 ,   P 5 0 5 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 8 . 1 0 2 ;   L E   J ,   2 0 1 0 ,   A C M   S P E C   I N T   G R O U P   I ,   P 2 1 ;   O L E S O N   D ,   2 0 1 1 ,   P   A S S   A D V   A R T   I N T   A A ,   V 1 1 ,   P 4 3 ;   Q U I N N   A ,   2 0 1 0 ,   T E C H N I C A L   R E P O R T ;   S A L A S   O ,   2 0 1 3 ,   P   2   A C M   I N T   W O R K S H   C ,   P 2 3 ;   S a l e e m i   I ,   2 0 0 9 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 1 ,   P 1 4 7 2 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 8 . 1 7 5 ;   S h a h   M ,   2 0 0 7 ,   I E E E   M U L T I M E D I A ,   V 1 4 ,   P 3 0 ,   D O I   1 0 . 1 1 0 9 / M M U L . 2 0 0 7 . 3 ;   S O R O K I N   A ,   2 0 1 0 ,   P   1 9   I E E E   R S J   I N T   C ,   P 2 1 1 7 ;   S R I V A S T A V A   S ,   2 0 1 3 ,   J   E L E C T R O N   I M A G I N G ,   V 2 2 ;   S r i v a s t a v a   S . ,   2 0 1 1 ,   P r o c e e d i n g s   o f   t h e   2 0 1 1   8 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A d v a n c e d   V i d e o   a n d   S i g n a l   B a s e d   S u r v e i l l a n c e   ( A V S S   2 0 1 1 ) ,   D O I   1 0 . 1 1 0 9 / A V S S . 2 0 1 1 . 6 0 2 7 2 9 5 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T u r a g a   P ,   2 0 0 8 ,   I E E E   T   C I R C   S Y S T   V I D ,   V 1 8 ,   P 1 4 7 3 ,   D O I   1 0 . 1 1 0 9 / T C S V T . 2 0 0 8 . 2 0 0 5 5 9 4 ;   V a l e r a   M ,   2 0 0 5 ,   I E E   P - V I S   I M A G E   S I G N ,   V 1 5 2 ,   P 1 9 2 ,   D O I   1 0 . 1 0 4 9 / i p - v i s : 2 0 0 4 1 1 4 7 ;   V i j a y a n a r a s i m h a n   S ,   2 0 1 1 ,   P R O C   C V P R   I E E E ,   P 1 4 4 9 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 1 . 5 9 9 5 4 3 0 ;   V o n d r i c k   C ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 3 1 4 ,   P 6 1 0 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 5 5 6 1 - 1 _ 4 4 ;   V o n d r i c k   C ,   2 0 1 3 ,   I N T   J   C O M P U T   V I S I O N ,   V 1 0 1 ,   P 1 8 4 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 1 2 - 0 5 6 4 - 1 ;   W i l l e t t   W . ,   2 0 1 2 ,   P R O C E E D I N G S   O F   C H I ,   P 2 2 7 ;   Y i l m a z   A ,   2 0 0 6 ,   A C M   C O M P U T   S U R V ,   V 3 8 ,   D O I   1 0 . 1 1 4 5 / 1 1 7 7 3 5 2 . 1 1 7 7 3 5 5 ;   Z h a n   B B ,   2 0 0 8 ,   M A C H   V I S I O N   A P P L ,   V 1 9 ,   P 3 4 5 ,   D O I   1 0 . 1 0 0 7 / s 0 0 1 3 8 - 0 0 8 - 0 1 3 2 - 4 	 3 5 	 0 	 0 	 S P I E - I N T   S O C   O P T I C A L   E N G I N E E R I N G 	 B E L L I N G H A M 	 1 0 0 0   2 0 T H   S T ,   P O   B O X   1 0 ,   B E L L I N G H A M ,   W A   9 8 2 2 7 - 0 0 1 0   U S A 	 0 2 7 7 - 7 8 6 X 	 	 9 7 8 - 0 - 8 1 9 4 - 9 9 4 4 - 8 	 P R O C   S P I E 	 	 	 2 0 1 4 	 9 0 2 7 	 	 	 	 	 	 	 	 9 0 2 7 0 A 	 1 0 . 1 1 1 7 / 1 2 . 2 0 4 2 4 4 0 	 	 1 2 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   O p t i c s 	 E n g i n e e r i n g ;   O p t i c s 	 B A 4 H X 	 W O S : 0 0 0 3 3 5 7 5 5 0 0 0 0 0 8 	 	 
 J 	 N u n e s ,   A A ;   G a l v a o ,   T ;   C u n h a ,   J F E 	 	 D e S o u s a ,   J F ;   D e S o u s a ,   J P ;   C o s t a ,   A ;   F a r i a s ,   T ;   M e l o ,   S 	 	 N u n e s ,   A n t o n i o   A . ;   G a l v a o ,   T e r e s a ;   F a l c a o   e   C u n h a ,   J o a o 	 	 	 U r b a n   p u b l i c   t r a n s p o r t   s e r v i c e   c o - c r e a t i o n :   l e v e r a g i n g   p a s s e n g e r ' s   k n o w l e d g e   t o   e n h a n c e   t r a v e l   e x p e r i e n c e 	 T R A N S P O R T A T I O N :   C A N   W E   D O   M O R E   W I T H   L E S S   R E S O U R C E S ?   -   1 6 T H   M E E T I N G   O F   T H E   E U R O   W O R K I N G   G R O U P   O N   T R A N S P O R T A T I O N   -   P O R T O   2 0 1 3 	 P r o c e d i a   S o c i a l   a n d   B e h a v i o r a l   S c i e n c e s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 6 t h   M e e t i n g   o f   t h e   E u r o - W o r k i n g - G r o u p - i n - T r a n s p o r t a t i o n 	 S E P ,   2 0 1 3 	 P o r t o ,   P O R T U G A L 	 E u r o   W o r k i n g   G r p   T r a n s p o r t a t 	 	 p u b l i c   t r a n s p o r t ;   v a l u e ;   m o b i l e ;   c r o w d s o u r c i n g 	 D O M I N A N T   L O G I C ;   I N F O R M A T I O N 	 M o b i l e   d e v i c e s   a r e   i n c r e a s i n g l y   p e r v a s i v e   a n d   a r e   t r a n s f o r m i n g   i n f o r m a t i o n   d i s t r i b u t i o n   p a r a d i g m s .   A   r a p i d l y   g r o w i n g   s e g m e n t   o f   u r b a n   p u b l i c   t r a n s p o r t   p a s s e n g e r s   c a r r y   m o b i l e   c o m p u t i n g   d e v i c e s ,   p e r m a n e n t l y   a n d   o n   t h e   m o v e .   I n   a   c o n t e x t   o f   t h i n n i n g   f i n a n c i a l   r e s o u r c e s ,   g e t t i n g   c u s t o m e r s   i n v o l v e d   i n   t h e   a c t u a l   d e l i v e r y   o f   a   p u b l i c   t r a n s p o r t   s e r v i c e   a s   r e a l - t i m e   i n f o r m a t i o n   c o n s u m e r s   a n d   p r o v i d e r s ,   m a y   b e   a   p o w e r f u l   m e t h o d   t o   e n h a n c e   t r a v e l   e x p e r i e n c e   w h i l e   r e d u c i n g   o p e r a t i o n a l   c o s t s   f o r   t h e   s e r v i c e   o p e r a t o r .   E a c h   a n d   e v e r y   c u s t o m e r   t r a v e l l i n g   o n   a   p u b l i c   t r a n s p o r t   n e t w o r k   h a s   u n i q u e   k n o w l e d g e   a b o u t   t h e   s e r v i c e   o p e r a t i o n   a s   i t   u n f o l d s .   T h i s   p a p e r   p r o p o s e s   a   f r a m e w o r k   t h a t   a i m s   t o   u n i f y   p u b l i c   t r a n s p o r t   p a s s e n g e r s '   c o l l e c t i v e   i n t e l l i g e n c e   t h r o u g h   c r o w d s o u r c i n g ,   u s i n g   t h e i r   m o b i l e   c o m p u t i n g   d e v i c e s   a n d   d e d i c a t e d   w e b   s e r v i c e s .   I t   s t r i v e s   t o   i n t e n s i f y   w i n - w i n   r e l a t i o n s h i p s   b e t w e e n   p u b l i c   t r a n s p o r t   p a s s e n g e r s   a n d   o p e r a t o r s .   T h e   s t r u c t u r e d   e x c h a n g e   o f   i n f o r m a t i o n   i s   s u s t a i n e d   b y   a   v a l i d a t i o n   m e c h a n i s m   f o r   d a t a   r e l i a b i l i t y ,   a n d   a n   i n c e n t i v e   m e c h a n i s m   t o   e n c o u r a g e   p a s s e n g e r   p a r t i c i p a t i o n .   P a s s e n g e r s   b e n e f i t   f r o m   r i c h   r e a l - t i m e   d a t a   t a i l o r e d   t o   t h e i r   p r o f i l e s ,   t o   e a s e   t h e i r   j o u r n e y s   a n d   i m p r o v e   t r a v e l   e x p e r i e n c e ,   i n   e x c h a n g e   f o r   t h e i r   o w n   p a r t i c i p a t i o n   p r o v i d i n g   a n d   v a l i d a t i n g   i n f o r m a t i o n .   O p e r a t o r s   g a i n   a c c e s s   t o   r i c h   c u s t o m e r   g e n e r a t e d   d a t a ,   w h i c h   i n   a n   a g g r e g a t e d   f o r m a t   m a y   p r o v i d e   a   r e a l - t i m e   a s s e s s m e n t   o f   c u s t o m e r   e x p e r i e n c e   a n d   o f   l o c a l   p e r f o r m a n c e   a c r o s s   t h e   e n t i r e   n e t w o r k   o p e r a t i o n .   O p e r a t o r s   m a y   b e   r e q u i r e d   t o   r e w a r d   t r a v e l l e r s   w h o   b e c o m e   p r o l i f i c   c o - c r e a t o r s   o f   t h e   p u b l i c   t r a n s p o r t   s e r v i c e ,   b u t   h i g h e r   c u s t o m e r   e x p e r i e n c e   l e v e l s ,   l e s s e r   n e e d s   f o r   i n v e s t m e n t   i n   c o n t r o l l i n g   m e c h a n i s m s ,   a n d   c o n t i n u o u s   f r e e   m o n i t o r i n g   o f   c u s t o m e r   o p i n i o n s   c a n   j o i n t l y   l e a d   t o   f i n a n c i a l   r e t u r n s .   ( C )   2 0 1 3   T h e   A u t h o r s .   P u b l i s h e d   b y   E l s e v i e r   L t d . 	 [ N u n e s ,   A n t o n i o   A . ;   G a l v a o ,   T e r e s a ;   F a l c a o   e   C u n h a ,   J o a o ]   U n i v   P o r t o ,   F a c   E n g n ,   P - 4 2 0 0 4 6 5   O p o r t o ,   P o r t u g a l 	 	 a n t o n i o . n u n e s @ f e . u p . p t 	 	 	 	 	 A l v e s   H . ,   2 0 1 2 ,   S E R V I C E   I N D   J   I F I R S T ,   P 1 ;   A n d r i o l e   S J ,   2 0 1 0 ,   C O M M U N   A C M ,   V 5 3 ,   P 6 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 5 9 2 0 4 . 1 8 5 8 2 2 5 ;   B a n k s   J   H u m p h r e y s   S ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 4 0 1 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 8 0 9 4 6 6 0 ;   C a s s i a   F . ,   2 0 0 9 ,   I N T   J   Q U A L I T Y   S E R V I C ,   V 1 ,   P 3 3 4 ;   C h o r u s   C G ,   2 0 0 7 ,   J   I N T E L L   T R A N S P O R T   S ,   V 1 1 ,   P 5 7 ,   D O I   1 0 . 1 0 8 0 / 1 5 4 7 2 4 5 0 7 0 1 2 9 3 8 4 1 ;   C h o r u s   C G ,   2 0 0 6 ,   T R A N S P O R T   R E V ,   V 2 6 ,   P 1 2 7 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 4 1 6 4 0 5 0 0 3 3 3 6 7 7 ;   F e r r i s   B . ,   2 0 1 0 ,   P   M T S   I E E E   C   O C E A N S ,   P 1 ;   G e b a u e r   H ,   2 0 1 0 ,   M A N A G   S E R V   Q U A L ,   V 2 0 ,   P 5 1 1 ,   D O I   1 0 . 1 1 0 8 / 0 9 6 0 4 5 2 1 0 1 1 0 9 2 8 6 6 ;   G o n c a l v e s   T . ,   2 0 1 2 ,   T H E S I S   F A C U L D A D E   E N G ;   G R E E N G A R D   S ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 2 0 ;   G r o s s m a n   L . ,   2 0 0 6 ,   T I M E   M A G A Z I N E ;   J a c o b s   J . ,   1 9 6 1 ,   D E A T H   L I F E   G R E A T   A M ;   M a n o v i c h   L ,   2 0 0 9 ,   C R I T   I N Q U I R Y ,   V 3 5 ,   P 3 1 9 ,   D O I   1 0 . 1 0 8 6 / 5 9 6 6 4 5 ;   N u n e s   A .   A . ,   2 0 1 3 ,   I N T   C   E X P L   S E R V   S C I ;   N u n e s   A .   A . ,   2 0 1 1 ,   2 0 1 1   I E E E   1 3 t h   C o n f e r e n c e   o n   C o m m e r c e   a n d   E n t e r p r i s e   C o m p u t i n g ,   D O I   1 0 . 1 1 0 9 / C E C . 2 0 1 1 . 6 0 ;   O ' R e i l l y   T . ,   2 0 0 5 ,   O R E I L L Y   N E T W O R K ;   P a y n e   A F ,   2 0 0 8 ,   J   A C A D   M A R K E T   S C I ,   V 3 6 ,   P 8 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 7 4 7 - 0 0 7 - 0 0 7 0 - 0 ;   P i n e   I . ,   1 9 9 8 ,   H A R V A R D   B U S   R E V ,   V 7 4 ,   P 9 7 ;   P r a h a l a d   C K ,   2 0 0 4 ,   J   I N T E R A C T   M A R K ,   V 1 8 ,   P 5 ,   D O I   1 0 . 1 0 0 2 / d i r . 2 0 0 1 5 ;   P r a h a l a d   C K ,   2 0 0 0 ,   H A R V A R D   B U S   R E V ,   V 7 8 ,   P 7 9 ;   S a h a   D ,   2 0 0 3 ,   C O M P U T E R ,   V 3 6 ,   P 2 5 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 3 . 1 1 8 5 2 1 4 ;   S m i t h   A . ,   2 0 1 0 ,   M O B I L E   A C C E S S   2 0 1 0   S ,   P 1 ;   S m i t h   A . ,   2 0 1 2 ,   4 6   A M   A D U L T S   S M A R T P H ,   P 1 ;   V a r g o   S L ,   2 0 0 4 ,   J   M A R K E T I N G ,   V 6 8 ,   P 1 ,   D O I   1 0 . 1 5 0 9 / j m k g . 6 8 . 1 . 1 . 2 4 0 3 6 ;   V a r g o   S L ,   2 0 0 8 ,   J   A C A D   M A R K E T   S C I ,   V 3 6 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 7 4 7 - 0 0 7 - 0 0 6 9 - 6 ;   W o l f s o n   O . ,   2 0 1 0 ,   B   T E C H N I C A L   C O M M I T T E ,   V 3 3 ,   P 1 8 	 2 6 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 S A R A   B U R G E R H A R T S T R A A T   2 5 ,   P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 1 8 7 7 - 0 4 2 8 	 	 	 P R O C D   S O C   B E H V 	 	 	 2 0 1 4 	 1 1 1 	 	 	 	 	 	 5 7 7 	 5 8 5 	 	 1 0 . 1 0 1 6 / j . s b s p r o . 2 0 1 4 . 0 1 . 0 9 1 	 	 9 	 T r a n s p o r t a t i o n 	 T r a n s p o r t a t i o n 	 B A 4 F G 	 W O S : 0 0 0 3 3 5 5 8 2 5 0 0 0 5 9 	 	 
 J 	 C o n o t t e r ,   V ;   D a n g - N g u y e n ,   D T ;   B o a t o ,   G ;   M e n e n d e z ,   M ;   L a r s o n ,   M 	 	 R o g o w i t z ,   B E ;   P a p p a s ,   T N ;   D e R i d d e r ,   H 	 	 C o n o t t e r ,   V a l e n t i n a ;   D u c - T i e n   D a n g - N g u y e n ;   B o a t o ,   G i u l i a ;   M e n e n d e z ,   M a r i a ;   L a r s o n ,   M a r t h a 	 	 	 A s s e s s i n g   t h e   I m p a c t   o f   I m a g e   M a n i p u l a t i o n   o n   U s e r s '   P e r c e p t i o n s   o f   D e c e p t i o n 	 H U M A N   V I S I O N   A N D   E L E C T R O N I C   I M A G I N G   X I X 	 P r o c e e d i n g s   o f   S P I E 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 C o n f e r e n c e   o n   H u m a n   V i s i o n   a n d   E l e c t r o n i c   I m a g i n g   X I X 	 F E B   0 3 - 0 6 ,   2 0 1 4 	 S a n   F r a n c i s c o ,   C A 	 S o c   I m a g i n g   S c i   &   T e c h n o l ,   S P I E ,   Q u a l c o m m   I n c ,   R I T   S c h   M e d i a   S c i 	 	 	 	 G e n e r a l l y ,   w e   e x p e c t   i m a g e s   t o   b e   a n   h o n e s t   r e f l e c t i o n   o f   r e a l i t y .   H o w e v e r ,   t h i s   a s s u m p t i o n   i s   u n d e r m i n e d   b y   t h e   n e w   i m a g e   e d i t i n g   t e c h n o l o g y ,   w h i c h   a l l o w s   f o r   e a s y   m a n i p u l a t i o n   a n d   d i s t o r t i o n   o f   d i g i t a l   c o n t e n t s .   O u r   u n d e r s t a n d i n g   o f   t h e   i m p l i c a t i o n s   r e l a t e d   t o   t h e   u s e   o f   a   m a n i p u l a t e d   d a t a   i s   l a g g i n g   b e h i n d .   I n   t h i s   p a p e r   w e   p r o p o s e   t o   e x p l o i t   c r o w d s o u r c i n g   t o o l s   i n   o r d e r   t o   a n a l y z e   t h e   i m p a c t   o f   d i f f e r e n t   t y p e s   o f   m a n i p u l a t i o n   o n   u s e r s '   p e r c e p t i o n s   o f   d e c e p t i o n .   O u r   g o a l   i s   t o   g a i n   s i g n i f i c a n t   i n s i g h t s   a b o u t   h o w   d i f f e r e n t   t y p e s   o f   m a n i p u l a t i o n s   i m p a c t   u s e r s '   p e r c e p t i o n s   a n d   h o w   t h e   c o n t e x t   i n   w h i c h   a   m o d i f i e d   i m a g e   i s   u s e d   i n f l u e n c e s   h u m a n   p e r c e p t i o n   o f   i m a g e   d e c e p t i v e n e s s .   T h r o u g h   a n   e x t e n s i v e   c r o w d s o u r c i n g   u s e r   s t u d y ,   w e   a i m   a t   d e m o n s t r a t i n g   t h a t   t h e   p r o b l e m   o f   p r e d i c t i n g   u s e r - p e r c e i v e d   d e c e p t i o n   c a n   b e   a p p r o a c h e d   b y   a u t o m a t i c   m e t h o d s .   A n a l y s i s   o f   r e s u l t s   c o l l e c t e d   o n   A m a z o n   M e c h a n i c a l   T u r k   p l a t f o r m   h i g h l i g h t s   h o w   d e c e p t i o n   i s   r e l a t e d   t o   t h e   l e v e l   o f   m o d i f i c a t i o n s   a p p l i e d   t o   t h e   i m a g e   a n d   t o   t h e   c o n t e x t   w i t h i n   m o d i f i e d   p i c t u r e s   a r e   u s e d .   T o   t h e   b e s t   o f   o u r   k n o w l e d g e ,   t h i s   w o r k   r e p r e s e n t s   t h e   f i r s t   a t t e m p t   t o   a d d r e s s   t o   t h e   i m a g e   e d i t i n g   d e b a t e   u s i n g   a u t o m a t i c   a p p r o a c h e s   a n d   g o i n g   b e y o n d   i n v e s t i g a t i o n   o f   f o r g e r i e s . 	 [ C o n o t t e r ,   V a l e n t i n a ;   D u c - T i e n   D a n g - N g u y e n ;   B o a t o ,   G i u l i a ;   M e n e n d e z ,   M a r i a ]   D I S I   U n i v   T r e n t o ,   T r e n t o ,   I t a l y 	 C o n o t t e r ,   V   ( r e p r i n t   a u t h o r ) ,   D I S I   U n i v   T r e n t o ,   T r e n t o ,   I t a l y . 	 c o n o t t e r @ d i s i . u n i t n . i t 	 	 	 	 	 D e l p   E . ,   2 0 0 9 ,   I E E E   S I G N A L   P R O C E S S I ,   V 2 ,   P 1 4 ;   F a r i d   H ,   2 0 1 2 ,   D I G I T   I N V E S T ,   V 8 ,   P 2 2 6 ,   D O I   1 0 . 1 0 1 6 / j . d i i n . 2 0 1 1 . 0 6 . 0 0 3 ;   G r o s s   L . ,   2 0 0 3 ,   I M A G E   E T H I C S   D I G I T A L ;   H a n j a l i c   A . ,   2 0 1 2 ,   A C M   M U L T I M E D I A ;   H o w e   J ,   2 0 0 6 ,   R I S E   C R O W D S O U R C I N G ;   K e n n e d y   L . ,   2 0 0 8 ,   A C M   M M ,   P 3 4 9 ;   M a s o n   W . ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ;   N o w a k   S . ,   2 0 1 0 ,   I N T   C   M U L T   I N F   R E T R ;   P a o l a c c i   G . ,   2 0 1 0 ,   J U D G M E N T   D E C I S I O N   M A ,   V 5 ;   Q u i n n   A . ,   2 0 1 1 ,   S I G C H I   C   H U M   F A C T   C O ;   S a c c h i   D L M ,   2 0 0 7 ,   A P P L   C O G N I T I V E   P S Y C H ,   V 2 1 ,   P 1 0 0 5 ,   D O I   1 0 . 1 0 0 2 / a c p . 1 3 9 4 ;   S o l e y m a n i   M . ,   2 0 1 0 ,   S I G I R   W O R K S H   C R O W D S ;   V l i e g e n d h a r t   R . ,   2 0 1 2 ,   W O R K S H   C R O W D S   W E B   S E ;   V o l o s h y n o v s k i y   S ,   1 9 9 9 ,   P   3   I N T   W O R K S H   I N F   H ,   P 2 1 1 ;   W a n g   Z ,   2 0 0 4 ,   I E E E   T   I M A G E   P R O C E S S ,   V 1 3 ,   P 6 0 0 ,   D O I   1 0 . 1 1 0 9 / T I P . 2 0 0 3 . 8 1 9 8 6 1 ;   Z o n t o n e   P ,   2 0 1 0 ,   I E E E   I M A G E   P R O C ,   P 1 7 5 7 ,   D O I   1 0 . 1 1 0 9 / I C I P . 2 0 1 0 . 5 6 5 1 5 0 9 	 1 6 	 1 	 1 	 S P I E - I N T   S O C   O P T I C A L   E N G I N E E R I N G 	 B E L L I N G H A M 	 1 0 0 0   2 0 T H   S T ,   P O   B O X   1 0 ,   B E L L I N G H A M ,   W A   9 8 2 2 7 - 0 0 1 0   U S A 	 0 2 7 7 - 7 8 6 X 	 	 9 7 8 - 0 - 8 1 9 4 - 9 9 3 1 - 8 	 P R O C   S P I E 	 	 	 2 0 1 4 	 9 0 1 4 	 	 	 	 	 	 	 	 9 0 1 4 0 Y 	 1 0 . 1 1 1 7 / 1 2 . 2 0 3 9 4 1 8 	 	 9 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   O p t i c s ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 E n g i n e e r i n g ;   O p t i c s ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 B A 3 L U 	 W O S : 0 0 0 3 3 4 3 5 0 6 0 0 0 2 6 	 	 
 J 	 M a z z a ,   F ;   D a   S i l v a ,   M P ;   L e   C a l l e t ,   P 	 	 R o g o w i t z ,   B E ;   P a p p a s ,   T N ;   D e R i d d e r ,   H 	 	 M a z z a ,   F . ;   D a   S i l v a ,   M .   P . ;   L e   C a l l e t ,   P . 	 	 	 W o u l d   y o u   h i r e   m e ?   S e l f i e   p o r t r a i t   i m a g e s   p e r c e p t i o n   i n   a   r e c r u i t m e n t   c o n t e x t 	 H U M A N   V I S I O N   A N D   E L E C T R O N I C   I M A G I N G   X I X 	 P r o c e e d i n g s   o f   S P I E 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 C o n f e r e n c e   o n   H u m a n   V i s i o n   a n d   E l e c t r o n i c   I m a g i n g   X I X 	 F E B   0 3 - 0 6 ,   2 0 1 4 	 S a n   F r a n c i s c o ,   C A 	 S o c   I m a g i n g   S c i   &   T e c h n o l ,   S P I E ,   Q u a l c o m m   I n c ,   R I T   S c h   M e d i a   S c i 	 	 i m a g e   a e s t h e t i c s ;   c o n t e n t   p e r c e p t i o n ;   p o r t r a i t   i m a g e s ;   s o c i a l   b i a s ;   s o c i a l   n e t w o r k s ;   c r o w d s o u r c i n g 	 	 H u m a n   c o n t e n t   p e r c e p t i o n   h a s   b e e n   u n d e r l i n e d   t o   b e   i m p o r t a n t   i n   m u l t i m e d i a   q u a l i t y   e v a l u a t i o n .   R e c e n t l y   a e s t h e t i c   c o n s i d e r a t i o n s   h a v e   b e e n   s u b j e c t   o f   r e s e a r c h   i n   t h i s   f i e l d .   F i r s t   a t t e m p t s   i n   a e s t h e t i c s   t o o k   i n t o   a c c o u n t   p e r c e i v e d   l o w - l e v e l   f e a t u r e s ,   e s p e c i a l l y   t a k e n   f r o m   p h o t o g r a p h y   t h e o r y .   H o w e v e r   t h e y   d e m o n s t r a t e d   t o   b e   i n s u f f i c i e n t   t o   c h a r a c t e r i z e   h u m a n   c o n t e n t   p e r c e p t i o n .   M o r e   r e c e n t l y   i m a g e   p s y c h o l o g y   s t a r t e d   t o   b e   c o n s i d e r e d   a s   h i g h e r   c o g n i t i v e   f e a t u r e   i m p a c t i n g   u s e r   p e r c e p t i o n .   I n   t h i s   p a p e r   w e   f o l l o w   t h i s   i d e a   i n t r o d u c i n g   s o c i a l   c o g n i t i v e   e l e m e n t s .   O u r   e x p e r i m e n t s   f o c u s   o n   t h e   i n f l u e n c e   o f   d i f f e r e n t   v e r s i o n s   o f   p o r t r a i t   p i c t u r e s   i n   c o n t e x t   w h e r e   t h e y   a r e   s h o w e d   a s i d e   s o m e   c o m p l e t e l y   u n r e l a t e d   i n f o r m a t i o n s ;   t h i s   c a n   h a p p e n   f o r   e x a m p l e   i n   s o c i a l   n e t w o r k s   i n t e r a c t i o n s   b e t w e e n   u s e r s ,   w h e r e   p r o f i l e   p i c t u r e s   a r e   p r e s e n t   a s i d e   a l m o s t   e v e r y   u s e r   a c t i o n .   I n   p a r t i c u l a r ,   w e   t e s t e d   t h i s   i m p a c t   o n   r e s u m e s   b e t w e e n   p r o f e s s i o n a l   p o r t r a i t   a n d   s e l f   s h o t   p i c t u r e s .   M o r e o v e r ,   a s   w e   r u n   t e s t s   i n   c r o w d s o u r c i n g ,   w e   w i l l   d i s c u s s   t h e   u s e   o f   t h i s   m e t h o d o l o g y   f o r   t h e s e   t e s t s .   O u r   f i n a l   a i m   i s   t o   a n a l y s e   s o c i a l   b i a s e s '   i m p a c t   o n   m u l t i m e d i a   a e s t h e t i c s   e v a l u a t i o n   a n d   h o w   t h i s   b i a s   i n f l u e n c e s   m e s s a g e s   t h a t   g o   a l o n g   w i t h   p i c t u r e s ,   a s   i n   p u b l i c   o n l i n e   p l a t f o r m s   a n d   s o c i a l   n e t w o r k s . 	 [ M a z z a ,   F . ]   E c o l e   C e n t   N a n t e s ,   I R C C y N ,   C N R S ,   L U N A M , U M R   6 5 9 7 ,   N a n t e s ,   F r a n c e 	 M a z z a ,   F   ( r e p r i n t   a u t h o r ) ,   E c o l e   C e n t   N a n t e s ,   I R C C y N ,   C N R S ,   L U N A M , U M R   6 5 9 7 ,   N a n t e s ,   F r a n c e . 	 	 	 	 	 	 B A R N A R D   G A ,   1 9 4 7 ,   B I O M E T R I K A ,   V 3 4 ,   P 1 2 3 ,   D O I   1 0 . 2 3 0 7 / 2 3 3 2 5 1 7 ;   B A R N A R D   G A ,   1 9 4 5 ,   N A T U R E ,   V 1 5 6 ,   P 1 7 7 ;   C h u   S .   L . ,   2 0 1 3 ,   E F F E C T   F A M I L I A R I T Y   P ,   V 8 6 5 1 ;   D a t t a   R . ,   2 0 1 0 ,   P   I E E E   C   E V   C O M P   B A R ,   P 1 ;   D a t t a   R . ,   2 0 0 8 ,   I M   P R O C   2 0 0 8   I C I P   2 0 ,   P 8 ;   F e d o r o v s k a y a   E .   a . ,   2 0 1 3 ,   S P I E   P ,   V 8 6 5 1 ;   F u   H . ,   2 0 1 2 ,   T H E S I S ;   G a r d l o   B . ,   2 0 1 2 ,   T H E S I S   U   Z I L I N A ;   H i r t h   M . ,   2 0 1 1 ,   C O M P U T E R   S C I ;   H o r c h   C . ,   2 0 1 1 ,   Q U A L I T Y   C R O W D   C R O W D S ;   H o s s   f e l d   T . ,   2 0 1 1 ,   M O D E L I N G   Y O U T U B E   Q O E ;   K a z a i   G . ,   2 0 1 2 ,   I N F O R M   R E T R I E V A L ,   V 1 6 ,   P 1 3 8 ,   D O I   [ 1 0 . 1 0 0 7 / s / 1 0 7 9 1 - 0 1 2 - 9 2 0 5 - 0 ,   D O I   1 0 . 1 0 0 7 / S / 1 0 7 9 1 - 0 1 2 - 9 2 0 5 - 0 ] ;   K e   Y ,   2 0 0 6 ,   I E E E   C O M P   S O C   C   C O M P ,   V 1 ,   P 4 1 9 ;   K e i m e l   C . ,   2 0 1 2 ,   Q U A L I T Y   M U L T I M E D I A ,   P 1 3 ;   K r a u s e   J . ,   2 0 0 5 ,   P H O T O   I D E A   I N D E X ;   L i   J . ,   2 0 1 3 ,   I V M S P   W O R K S H   2 0 1 3   I E ;   N e t M a r k e t S h a r e ,   2 0 1 3 ,   I N T   U S   S C R E E N   R E S   S T ;   R i b e i r o   F . ,   2 0 1 1 ,   I M   P R O C   I C I P   2 0 1 1   I E ,   P 3 1 5 8 ;   W a n g   C . ,   2 0 1 0 ,   P   I N F O C O M   2 0 1 0 ,   P 1 ;   W H I T F I E L D   T W A ,   1 9 9 0 ,   G E N E T   S O C   G E N   P S Y C H ,   V 1 1 6 ,   P 3 8 5 	 2 0 	 0 	 0 	 S P I E - I N T   S O C   O P T I C A L   E N G I N E E R I N G 	 B E L L I N G H A M 	 1 0 0 0   2 0 T H   S T ,   P O   B O X   1 0 ,   B E L L I N G H A M ,   W A   9 8 2 2 7 - 0 0 1 0   U S A 	 0 2 7 7 - 7 8 6 X 	 	 9 7 8 - 0 - 8 1 9 4 - 9 9 3 1 - 8 	 P R O C   S P I E 	 	 	 2 0 1 4 	 9 0 1 4 	 	 	 	 	 	 	 	 9 0 1 4 0 X 	 1 0 . 1 1 1 7 / 1 2 . 2 0 4 2 4 1 1 	 	 1 0 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   O p t i c s ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 E n g i n e e r i n g ;   O p t i c s ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 B A 3 L U 	 W O S : 0 0 0 3 3 4 3 5 0 6 0 0 0 2 5 	 	 
 J 	 K a r g e r ,   D R ;   O h ,   S ;   S h a h ,   D 	 	 	 	 K a r g e r ,   D a v i d   R . ;   O h ,   S e w o o n g ;   S h a h ,   D e v a v r a t 	 	 	 B u d g e t - O p t i m a l   T a s k   A l l o c a t i o n   f o r   R e l i a b l e   C r o w d s o u r c i n g   S y s t e m s 	 O P E R A T I O N S   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 C r o w d s o u r c i n g   s y s t e m s ,   i n   w h i c h   n u m e r o u s   t a s k s   a r e   e l e c t r o n i c a l l y   d i s t r i b u t e d   t o   n u m e r o u s   " i n f o r m a t i o n   p i e c e w o r k e r s , "   h a v e   e m e r g e d   a s   a n   e f f e c t i v e   p a r a d i g m   f o r   h u m a n - p o w e r e d   s o l v i n g   o f   l a r g e - s c a l e   p r o b l e m s   i n   d o m a i n s   s u c h   a s   i m a g e   c l a s s i f i c a t i o n ,   d a t a   e n t r y ,   o p t i c a l   c h a r a c t e r   r e c o g n i t i o n ,   r e c o m m e n d a t i o n ,   a n d   p r o o f r e a d i n g .   B e c a u s e   t h e s e   l o w - p a i d   w o r k e r s   c a n   b e   u n r e l i a b l e ,   n e a r l y   a l l   s u c h   s y s t e m s   m u s t   d e v i s e   s c h e m e s   t o   i n c r e a s e   c o n f i d e n c e   i n   t h e i r   a n s w e r s ,   t y p i c a l l y   b y   a s s i g n i n g   e a c h   t a s k   m u l t i p l e   t i m e s   a n d   c o m b i n i n g   t h e   a n s w e r s   i n   a n   a p p r o p r i a t e   m a n n e r ,   e . g . ,   m a j o r i t y   v o t i n g .   I n   t h i s   p a p e r ,   w e   c o n s i d e r   a   g e n e r a l   m o d e l   o f   s u c h   c r o w d s o u r c i n g   t a s k s   a n d   p o s e   t h e   p r o b l e m   o f   m i n i m i z i n g   t h e   t o t a l   p r i c e   ( i . e . ,   n u m b e r   o f   t a s k   a s s i g n m e n t s )   t h a t   m u s t   b e   p a i d   t o   a c h i e v e   a   t a r g e t   o v e r a l l   r e l i a b i l i t y .   W e   g i v e   a   n e w   a l g o r i t h m   f o r   d e c i d i n g   w h i c h   t a s k s   t o   a s s i g n   t o   w h i c h   w o r k e r s   a n d   f o r   i n f e r r i n g   c o r r e c t   a n s w e r s   f r o m   t h e   w o r k e r s '   a n s w e r s .   W e   s h o w   t h a t   o u r   a l g o r i t h m ,   i n s p i r e d   b y   b e l i e f   p r o p a g a t i o n   a n d   l o w - r a n k   m a t r i x   a p p r o x i m a t i o n ,   s i g n i f i c a n t l y   o u t p e r f o r m s   m a j o r i t y   v o t i n g   a n d ,   i n   f a c t ,   i s   o p t i m a l   t h r o u g h   c o m p a r i s o n   t o   a n   o r a c l e   t h a t   k n o w s   t h e   r e l i a b i l i t y   o f   e v e r y   w o r k e r .   F u r t h e r ,   w e   c o m p a r e   o u r   a p p r o a c h   w i t h   a   m o r e   g e n e r a l   c l a s s   o f   a l g o r i t h m s   t h a t   c a n   d y n a m i c a l l y   a s s i g n   t a s k s .   B y   a d a p t i v e l y   d e c i d i n g   w h i c h   q u e s t i o n s   t o   a s k   t o   t h e   n e x t   s e t   o f   a r r i v i n g   w o r k e r s ,   o n e   m i g h t   h o p e   t o   r e d u c e   u n c e r t a i n t y   m o r e   e f f i c i e n t l y .   W e   s h o w   t h a t ,   p e r h a p s   s u r p r i s i n g l y ,   t h e   m i n i m u m   p r i c e   n e c e s s a r y   t o   a c h i e v e   a   t a r g e t   r e l i a b i l i t y   s c a l e s   i n   t h e   s a m e   m a n n e r   u n d e r   b o t h   a d a p t i v e   a n d   n o n a d a p t i v e   s c e n a r i o s .   H e n c e ,   o u r   n o n a d a p t i v e   a p p r o a c h   i s   o r d e r   o p t i m a l   u n d e r   b o t h   s c e n a r i o s .   T h i s   s t r o n g l y   r e l i e s   o n   t h e   f a c t   t h a t   w o r k e r s   a r e   f l e e t i n g   a n d   c a n n o t   b e   e x p l o i t e d .   T h e r e f o r e ,   a r c h i t e c t u r a l l y ,   o u r   r e s u l t s   s u g g e s t   t h a t   b u i l d i n g   a   r e l i a b l e   w o r k e r - r e p u t a t i o n   s y s t e m   i s   e s s e n t i a l   t o   f u l l y   h a r n e s s i n g   t h e   p o t e n t i a l   o f   a d a p t i v e   d e s i g n s . 	 [ K a r g e r ,   D a v i d   R . ;   S h a h ,   D e v a v r a t ]   M I T ,   D e p t   E l e c t   E n g n   &   C o m p   S c i ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A ;   [ O h ,   S e w o o n g ]   U n i v   I l l i n o i s ,   D e p t   I n d   &   E n t e r p r i s e   S y s t   E n g n ,   U r b a n a ,   I L   6 1 8 0 1   U S A 	 K a r g e r ,   D R   ( r e p r i n t   a u t h o r ) ,   M I T ,   D e p t   E l e c t   E n g n   &   C o m p   S c i ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A . 	 k a r g e r @ m i t . e d u ;   s w o h @ i l l i n o i s . e d u ;   d e v a v r a t @ m i t . e d u 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ 1 1 1 7 3 8 1 ] ;   N S F   E M T   p r o j e c t ;   A i r   F o r c e   O f f i c e   o f   S c i e n t i f i c   R e s e a r c h   C o m p l e x   N e t w o r k s   p r o j e c t ;   A r m y   R e s e a r c h   O f f i c e   [ 5 8 1 5 3 - M A - M U R ] 	 T h e   f i r s t   a u t h o r   i s   s u p p o r t e d   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ G r a n t   1 1 1 7 3 8 1 ] .   T h e   s e c o n d   a n d   t h i r d   a u t h o r s   a r e   s u p p o r t e d   i n   p a r t   b y   N S F   E M T   p r o j e c t ,   A i r   F o r c e   O f f i c e   o f   S c i e n t i f i c   R e s e a r c h   C o m p l e x   N e t w o r k s   p r o j e c t ,   a n d   A r m y   R e s e a r c h   O f f i c e   [ M u l t i d i s c i p l i n a r y   U n i v e r s i t y   R e s e a r c h   I n i t i a t i v e   A w a r d   5 8 1 5 3 - M A - M U R ] .   T h e   s e c o n d   a u t h o r   w o u l d   l i k e   t o   t h a n k   J i a n   P e n g   f o r   s t i m u l a t i n g   d i s c u s s i o n s   o n   t h e   s u b j e c t   o f   t h i s   p a p e r . 	 B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B e r n s t e i n   M . S . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 3 3 ;   B i g h a m   J . P . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 3 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 8 0 ;   B o l l o b a s   B . ,   2 0 0 1 ,   R A N D O M   G R A P H S ;   C h i l t o n   L .   B . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 8 8 9 ;   D a w i d   A . P . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   V 2 8 ,   P 2 0 ;   D o n m e z   P ,   2 0 0 9 ,   K D D - 0 9 :   1 5 T H   A C M   S I G K D D   C O N F E R E N C E   O N   K N O W L E D G E   D I S C O V E R Y   A N D   D A T A   M I N I N G ,   P 2 5 9 ;   E r t e k i n   S ,   2 0 1 1 ,   P   2   W O R K S H   C O M P   S O C ;   E v a n s   W ,   2 0 0 0 ,   A N N   A P P L   P R O B A B ,   V 1 0 ,   P 4 1 0 ;   E z r i   J ,   2 0 0 8 ,   2 0 0 8   I E E E   I N T E R N A T I O N A L   S Y M P O S I U M   O N   I N F O R M A T I O N   T H E O R Y   P R O C E E D I N G S ,   V O L S   1 - 6 ,   P 1 4 4 3 ,   D O I   1 0 . 1 1 0 9 / I S I T . 2 0 0 8 . 4 5 9 5 2 2 6 ;   E z r i   J ,   2 0 0 8 ,   2 0 0 8   I E E E   I N T E R N A T I O N A L   S Y M P O S I U M   O N   I N F O R M A T I O N   T H E O R Y   P R O C E E D I N G S ,   V O L S   1 - 6 ,   P 1 4 4 8 ,   D O I   1 0 . 1 1 0 9 / I S I T . 2 0 0 8 . 4 5 9 5 2 2 7 ;   F a r a d a n i   S ,   2 0 1 1 ,   H U M A N   C O M P U T   1 1 ;   F r e u n d   Y ,   1 9 9 7 ,   M A C H   L E A R N ,   V 2 8 ,   P 1 3 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 7 3 3 0 5 0 8 5 3 4 ;   H a t a n o   Y ,   2 0 0 5 ,   I E E E   T   A U T O M A T   C O N T R ,   V 5 0 ,   P 1 8 6 7 ,   D O I   1 0 . 1 1 0 9 / T A C . 2 0 0 5 . 8 5 8 6 7 0 ;   H o l m e s   S ,   2 0 1 1 ,   M A R C H   2 0 1 1   S T A T   S E M ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   X R D S   C R O S S R O A D S   A C M ,   V 1 7 ,   P 1 6 ;   J i n   R . ,   2 0 0 2 ,   A D V   N E U R A L   I N F O R M   P R ,   P 9 2 1 ;   K a a r i a i n e n   M ,   2 0 0 6 ,   L E C T   N O T E S   A R T I F   I N T ,   V 4 2 6 4 ,   P 6 3 ;   K a r g e r   D R ,   2 0 1 1 ,   P   A L L   C   C O M M   C O N T R   C ;   L A N C Z O S   C ,   1 9 5 0 ,   J   R E S   N A T   B U R   S T A N D ,   V 4 5 ,   P 2 5 5 ,   D O I   1 0 . 6 0 2 8 / j r e s . 0 4 5 . 0 2 6 ;   L i t t l e s t o n e   N . ,   1 9 8 9 ,   F O C S ,   P 2 5 6 ;   L i u   Q ,   2 0 1 2 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 5 ,   P 7 0 1 ;   M a s o n   W . ,   2 0 1 0 ,   S I G K D D   E X P L O R   N E W S L ,   V 1 1 ,   P 1 0 0 ;   M e z a r d   M . ,   2 0 0 9 ,   I N F O R M   P H Y S   C O M P U T A T ;   O s w a l d   P ,   2 0 0 2 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 4 8 ,   P 3 0 1 7 ,   D O I   1 0 . 1 1 0 9 / T I T . 2 0 0 2 . 8 0 5 0 6 7 ;   P e a r l   J u d e a ,   1 9 8 8 ,   P R O B A B I L I S T I C   R E A S O N ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   R a y k a r   V C ,   2 0 1 2 ,   J   M A C H   L E A R N   R E S ,   V 1 3 ,   P 4 9 1 ;   R i c h a r d s o n   T . ,   2 0 0 8 ,   M O D E R N   C O D I N G   T H E O R Y ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   S m y t h   P . ,   1 9 9 5 ,   A d v a n c e s   i n   N e u r a l   I n f o r m a t i o n   P r o c e s s i n g   S y s t e m s   7 ;   W e l i n d e r   P . ,   2 0 1 0 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 3 ,   P 2 4 2 4 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 2 ,   P 2 0 3 5 ;   W y s z e c k i   G ,   1 9 6 7 ,   C O L O R   S C I   C O N C E P T S   M ;   Y a n   T . ,   2 0 1 0 ,   P   8   I N T   C   M O B   S Y S T   A ,   P 7 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 1 4 4 3 3 . 1 8 1 4 4 4 3 ;   Y e d i d i a   J ,   2 0 0 3 ,   U N D E R S T A N D I N G   B E L I E F ,   V 8 ,   P 2 3 9 ;   Z h e n g   Y ,   2 0 1 0 ,   D A T   M I N   I C D M   2 0 1 0   I E ,   P 6 3 9 	 3 7 	 0 	 0 	 I N F O R M S 	 C A T O N S V I L L E 	 5 5 2 1   R E S E A R C H   P A R K   D R ,   S U I T E   2 0 0 ,   C A T O N S V I L L E ,   M D   2 1 2 2 8   U S A 	 0 0 3 0 - 3 6 4 X 	 	 	 O P E R   R E S 	 O p e r .   R e s . 	 J A N - F E B 	 2 0 1 4 	 6 2 	 1 	 	 	 	 	 1 	 2 4 	 	 1 0 . 1 2 8 7 / o p r e . 2 0 1 3 . 1 2 3 5 	 	 2 4 	 M a n a g e m e n t ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 B u s i n e s s   &   E c o n o m i c s ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 A B 8 A U 	 W O S : 0 0 0 3 3 2 0 1 3 3 0 0 0 0 1 	 	 
 J 	 H o n g ,   S G ;   S h i n ,   S ;   Y i ,   M Y 	 	 	 	 H o n g ,   S o o n   G i l l ;   S h i n ,   S u n g h o ;   Y i ,   M u n   Y o n g 	 	 	 C o n t e x t u a l   k e y w o r d   e x t r a c t i o n   b y   b u i l d i n g   s e n t e n c e s   w i t h   c r o w d s o u r c i n g 	 M U L T I M E D I A   T O O L S   A N D   A P P L I C A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   K e y w o r d   e x t r a c t i o n ;   D o c u m e n t   s u m m a r y ;   C o n t e n t   e x t r a c t i o n ;   S e n t e n c e   b u i l d i n g ;   C o n t e x t u a l   t e r m   e x t r a c t i o n 	 	 A u t o m a t i c   k e y w o r d   e x t r a c t i o n   f r o m   d o c u m e n t s   h a s   l o n g   b e e n   u s e d   a n d   p r o v e n   i t s   u s e f u l n e s s   i n   v a r i o u s   a r e a s .   C r o w d s o u r c e d   t a g g i n g   f o r   m u l t i m e d i a   r e s o u r c e s   h a s   e m e r g e d   a n d   l o o k s   p r o m i s i n g   t o   a   c e r t a i n   e x t e n t .   A u t o m a t i c   a p p r o a c h e s   f o r   u n s t r u c t u r e d   d a t a ,   a u t o m a t i c   k e y w o r d   e x t r a c t i o n   a n d   c r o w d s o u r c e d   t a g g i n g   a r e   e f f i c i e n t   b u t   t h e y   a l l   s u f f e r   f r o m   t h e   l a c k   o f   c o n t e x t u a l   u n d e r s t a n d i n g .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   n e w   m o d e l   o f   e x t r a c t i n g   k e y   c o n t e x t u a l   t e r m s   f r o m   u n s t r u c t u r e d   d a t a ,   e s p e c i a l l y   f r o m   d o c u m e n t s ,   w i t h   c r o w d s o u r c i n g .   T h e   m o d e l   c o n s i s t s   o f   f o u r   s e q u e n t i a l   p r o c e s s e s :   ( 1 )   t e r m   s e l e c t i o n   b y   f r e q u e n c y ,   ( 2 )   s e n t e n c e   b u i l d i n g ,   ( 3 )   r e v i s e d   t e r m   s e l e c t i o n   r e f l e c t i n g   t h e   n e w l y   b u i l t   s e n t e n c e s ,   a n d   ( 4 )   s e n t e n c e   v o t i n g .   O n l i n e   w o r k e r s   r e a d   o n l y   a   f r a c t i o n   o f   a   d o c u m e n t   a n d   p a r t i c i p a t e d   i n   s e n t e n c e   b u i l d i n g   a n d   s e n t e n c e   v o t i n g   p r o c e s s e s ,   a n d   k e y   s e n t e n c e s   w e r e   g e n e r a t e d   a s   a   r e s u l t .   W e   c o m p a r e d   t h e   g e n e r a t e d   s e n t e n c e s   t o   t h e   k e y w o r d s   e n t e r e d   b y   t h e   a u t h o r   a n d   t o   t h e   s e n t e n c e s   g e n e r a t e d   b y   o f f l i n e   w o r k e r s   w h o   r e a d   t h e   w h o l e   d o c u m e n t .   T h e   r e s u l t s   s u p p o r t   t h e   i d e a   t h a t   s e n t e n c e   b u i l d i n g   p r o c e s s   c a n   h e l p   s e l e c t i n g   t e r m s   w i t h   m o r e   c o n t e x t u a l   m e a n i n g ,   c l o s i n g   t h e   g a p   b e t w e e n   k e y w o r d s   f r o m   a u t o m a t e d   a p p r o a c h e s   a n d   c o n t e x t u a l   u n d e r s t a n d i n g   r e q u i r e d   b y   h u m a n s . 	 [ H o n g ,   S o o n   G i l l ;   Y i ,   M u n   Y o n g ]   K o r e a   A d v   I n s t   S c i   &   T e c h n o l ,   D e p t   K n o w l e d g e   S e r v   E n g n ,   T a e j o n   3 0 5 7 0 1 ,   S o u t h   K o r e a ;   [ S h i n ,   S u n g h o ]   K o r e a   I n s t   S c i   &   T e c h n o l   I n f o r m a t ,   T a e j o n ,   S o u t h   K o r e a 	 Y i ,   M Y   ( r e p r i n t   a u t h o r ) ,   K o r e a   A d v   I n s t   S c i   &   T e c h n o l ,   D e p t   K n o w l e d g e   S e r v   E n g n ,   T a e j o n   3 0 5 7 0 1 ,   S o u t h   K o r e a . 	 h s o o n g i l @ k a i s t . a c . k r ;   m a x i m u s 7 4 @ k i s t i . r e . k r ;   m u n y i @ k a i s t . a c . k r 	 Y i ,   M u n   Y o n g / C - 2 0 6 5 - 2 0 1 1 	 	 N a t i o n a l   R e s e a r c h   F o u n d a t i o n   o f   K o r e a   ( N R F ) ;   K o r e a   g o v e r n m e n t   ( M E S T )   [ 2 0 1 1 - 0 0 2 9 1 8 5 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   N a t i o n a l   R e s e a r c h   F o u n d a t i o n   o f   K o r e a   ( N R F )   g r a n t   f u n d e d   b y   t h e   K o r e a   g o v e r n m e n t   ( M E S T )   ( N o .   2 0 1 1 - 0 0 2 9 1 8 5 ) . 	 B a r k e r   K ,   2 0 0 0 ,   L E C T   N O T E S   A R T I F   I N T ,   V 1 8 2 2 ,   P 4 0 ;   B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   F r a n k   E ,   1 9 9 9 ,   P   1 6   I N T   J O I N T   C   A R T ,   V 1 ,   P 6 6 8 ;   G l i g o r o v   R i s t e ,   2 0 1 2 ,   P   2 1   I N T   C ,   P 1 3 9 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H s u   W ,   2 0 0 8 ,   P   1 7   I N T   C   W O R L D   W I D ,   P 6 6 5 ;   H u l t h   A ,   2 0 0 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 2 0 0 4 ,   P 4 7 2 ;   H u l t h   A ,   2 0 0 3 ,   P R O C E E D I N G S   O F   T H E   2 0 0 3   C O N F E R E N C E   O N   E M P I R I C A L   M E T H O D S   I N   N A T U R A L   L A N G U A G E   P R O C E S S I N G ,   P 2 1 6 ;   K i t t u r   B A ,   2 0 1 0 ,   X R D S   C R O S S R O A D S   A C M ,   V 1 7 ,   P 2 2 ;   M a t s u o   Y . ,   2 0 0 4 ,   I n t e r n a t i o n a l   J o u r n a l   o n   A r t i f i c i a l   I n t e l l i g e n c e   T o o l s   ( A r c h i t e c t u r e s ,   L a n g u a g e s ,   A l g o r i t h m s ) ,   V 1 3 ,   D O I   1 0 . 1 1 4 2 / S 0 2 1 8 2 1 3 0 0 4 0 0 1 4 6 6 ;   S h a w   A D ,   2 0 1 1 ,   P   A C M   C   C O M P   S U P P   C O ;   S n o w   R ,   2 0 0 8 ,   C   E M P   M E T H   N A T   L A N G ,   P 2 5 4 ;   T u r n e y   P .   D . ,   2 0 0 0 ,   I n f o r m a t i o n   R e t r i e v a l ,   V 2 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 9 9 7 6 2 2 7 8 0 2 ;   v o n   A h n   L u i s ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   W i t t e n   I H ,   1 9 9 9 ,   P   4   A C M   C   D I G   L I B ,   P 2 5 4 ,   D O I   1 0 . 1 1 4 5 / 3 1 3 2 3 8 . 3 1 3 4 3 7 	 1 5 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 0 - 7 5 0 1 	 1 5 7 3 - 7 7 2 1 	 	 M U L T I M E D   T O O L S   A P P L 	 M u l t i m e d .   T o o l s   A p p l . 	 J A N 	 2 0 1 4 	 6 8 	 2 	 	 	 	 	 4 0 1 	 4 1 2 	 	 1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 2 - 1 3 3 8 - z 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 A A 4 R I 	 W O S : 0 0 0 3 3 1 0 8 3 4 0 0 0 1 4 	 	 
 J 	 N o l t e ,   T ;   W i t t ,   A 	 	 	 	 N o l t e ,   T o b i a s ;   W i t t ,   A n d r e w 	 	 	 G E H R Y   P A R T N E R S '   F O N D A T I O N   L O U I S   V U I T T O N   C R O W D S O U R C I N G   E M B E D D E D   I N T E L L I G E N C E 	 A R C H I T E C T U R A L   D E S I G N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 F o n d a t i o n   L o u i s   V u i t t o n   p o u r   l a   c r e a t i o n ;   P a r i s ;   B o i s   d e   B o u l o g n e ;   S t u d i o s   A r c h i t e c t u r e ;   R F R ;   T E S S ;   S e t e c   B a t i m e n t ;   V i n c i ;   E i f f a g e   C o n s t r u c t i o n   M e t a l l i q u e ;   H o f m e i s t e r   R o o f i n g ;   S u n g l a s s ;   B o n n a   S a b l a ;   g l a s s   a n d   c o n c r e t e   p a n e l s ;   G e h r y   T e c h n o l o g i e s ;   D u c t a l   p a n e l ;   S u b v e r s i o n   ( S V N ) ;   D i g i t a l   P r o j e c t ;   X S t e e l ;   S k e t c h U p ;   R h i n o ;   G T e a m 	 	 T h e   c o m p l e x i t y   o f   t h e   m a s s - c u s t o m i s e d   f o r m s   o f   G e h r y   P a r t n e r s '   n e w   a r t   m u s e u m   i n   P a r i s ,   t h e   F o n d a t i o n   L o u i s   V u i t t o n   p o u r   l a   c r e a t i o n ,   h a s   t a k e n   h i g h - d e f i n i t i o n   s i m u l a t i o n   t e c h n i q u e s   a n d   e m b e d d e d   i n t e l l i g e n c e   t o   a   n e w   l e v e l .   T o b i a s   N o l t e   a n d   A n d r e w   W i t t   o f   G e h r y   T e c h n o l o g i e s   d e s c r i b e   h o w   t h e   r e a l i s a t i o n   o f   t h e   F o n d a t i o n   r e q u i r e d   t h e   d e v e l o p m e n t   o f   a   3 D   c o n c u r r e n t   d e s i g n   s y s t e m   t h a t   c o u l d   s y n c h r o n i s e   h u n d r e d s   o f   p a r t i c i p a n t s .   T h i s   s e l f - o p t i m i s a t i o n   s y s t e m   h a s   e n a b l e d   b o t h   i n t r i c a t e   c o l l a b o r a t i o n   a n d   u n p r e c e d e n t e d   e n g i n e e r i n g ' .   T h e   b e n e f i t s   h a v e   b e e n   f a r   r e a c h i n g ,   r a n g i n g   f r o m   t h e   d e t a i l i n g   o f   t o l e r a n c e s   t o   m a t e r i a l   c o n s t r a i n t s . 	 [ N o l t e ,   T o b i a s ]   H a r v a r d   U n i v ,   G S D ,   C a m b r i d g e ,   M A   0 2 1 3 8   U S A ;   [ N o l t e ,   T o b i a s ]   P r e s t o n   S c o t t   C o h e n   I n c ,   C a m b r i d g e ,   M A   U S A ;   [ N o l t e ,   T o b i a s ]   E c o l e   S p e c i a l e   A r c h i t e c t u r e ,   P a r i s ,   F r a n c e ;   [ N o l t e ,   T o b i a s ]   U n i v   A p p l   A r t s   V i e n n a ,   V i e n n a ,   A u s t r i a ;   [ W i t t ,   A n d r e w ]   G e h r y   T e c h n o l ,   L o s   A n g e l e s ,   C A   9 0 0 6 6   U S A ;   [ W i t t ,   A n d r e w ]   H a r v a r d   U n i v ,   C a m b r i d g e ,   M A   0 2 1 3 8   U S A ;   [ W i t t ,   A n d r e w ]   G T ,   P a r i s   O f f ,   P a r i s ,   F r a n c e ;   [ W i t t ,   A n d r e w ]   U C L ,   B a r t l e t t   S c h   A r c h i t e c t u r e ,   P r i n c e t o n ,   N J   U S A ;   [ W i t t ,   A n d r e w ]   M I T ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A 	 N o l t e ,   T   ( r e p r i n t   a u t h o r ) ,   G e h r y   T e c h n o l ,   L o s   A n g e l e s ,   C A   9 0 0 6 6   U S A . 	 	 	 	 	 	 	 0 	 0 	 0 	 W I L E Y   P E R I O D I C A L S ,   I N C 	 S A N   F R A N C I S C O 	 O N E   M O N T G O M E R Y   S T ,   S U I T E   1 2 0 0 ,   S A N   F R A N C I S C O ,   C A   9 4 1 0 4   U S A 	 0 0 0 3 - 8 5 0 4 	 1 5 5 4 - 2 7 6 9 	 	 A R C H I T   D E S I G N 	 A r c h i t .   D e s . 	 J A N 	 2 0 1 4 	 8 4 	 1 	 	 	 S I 	 	 8 2 	 8 9 	 	 1 0 . 1 0 0 2 / a d . 1 7 0 5 	 	 8 	 A r c h i t e c t u r e 	 A r c h i t e c t u r e 	 A A 1 N D 	 W O S : 0 0 0 3 3 0 8 6 2 1 0 0 0 1 0 	 	 
 J 	 F a g g i a n i ,   A ;   G r e g o r i ,   E ;   L e n z i n i ,   L ;   L u c o n i ,   V ;   V e c c h i o ,   A 	 	 	 	 F a g g i a n i ,   A d r i a n o ;   G r e g o r i ,   E n r i c o ;   L e n z i n i ,   L u c i a n o ;   L u c o n i ,   V a l e r i o ;   V e c c h i o ,   A l e s s i o 	 	 	 S m a r t p h o n e - B a s e d   C r o w d s o u r c i n g   f o r   N e t w o r k   M o n i t o r i n g :   O p p o r t u n i t i e s ,   C h a l l e n g e s ,   a n d   a   C a s e   S t u d y 	 I E E E   C O M M U N I C A T I O N S   M A G A Z I N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 S m a r t p h o n e - b a s e d   c r o w d s o u r c i n g   f o s t e r s   t h e   r i s e   o f   r a d i c a l l y   n o v e l   s y s t e m s   a n d   a p p l i c a t i o n s   i n   t h e   c o n t e x t   o f   n e t w o r k   m o n i t o r i n g .   T h i s   a r t i c l e   d i s c u s s e s   t h e   m o s t   s i g n i f i c a n t   o p p o r t u n i t i e s   o f f e r e d   b y   t h i s   a p p r o a c h ,   a n d   t h e   m a j o r   c h a l l e n g e s   t h a t   h a v e   t o   b e   f a c e d .   O u r   e x p e r i e n c e   i n   b u i l d i n g   a   s m a r t p h o n e - b a s e d   c r o w d s o u r c i n g   s y s t e m ,   P o r t o l a n ,   i s   a l s o   i n c l u d e d   t o   p r o v i d e   a   p r a c t i c a l   b a c k g r o u n d   t o   t h e   d i s c u s s i o n   a n d   t o   d e m o n s t r a t e   t h e   p o s s i b l e   b e n e f i t s . 	 [ F a g g i a n i ,   A d r i a n o ;   G r e g o r i ,   E n r i c o ;   L e n z i n i ,   L u c i a n o ;   L u c o n i ,   V a l e r i o ;   V e c c h i o ,   A l e s s i o ]   U n i v   P i s a ,   I - 5 6 1 0 0   P i s a ,   I t a l y 	 F a g g i a n i ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   P i s a ,   I - 5 6 1 0 0   P i s a ,   I t a l y . 	 A d r i a n o . F a g g i a n i @ i e t . u n i p i . i t ;   E n r i c o . G r e g o r i @ i e t . u n i p i . i t ;   L u c i a n o . L e n z i n i @ i e t . u n i p i . i t ;   V a l e r i o . L u c o n i @ i e t . u n i p i . i t ;   A l e s s i o . V e c c h i o @ i e t . u n i p i . i t 	 	 	 E u r o p e a n   C o m m i s s i o n   [ F P 7 - I C T - 2 0 1 1 - 8 - 3 1 7 6 7 2 ] 	 T h i s   w o r k   h a s   b e e n   p a r t i a l l y   s u p p o r t e d   b y   t h e   E u r o p e a n   C o m m i s s i o n   w i t h i n   t h e   f r a m e w o r k   o f   t h e   C O N G A S   p r o j e c t   F P 7 - I C T - 2 0 1 1 - 8 - 3 1 7 6 7 2 . 	 B i s c h o f   Z .   S . ,   2 0 1 1 ,   P   1   A C M   S I G C O M M   W O R K ,   P 6 1 ;   C h e n   K T ,   2 0 1 0 ,   I E E E   N E T W O R K ,   V 2 4 ,   P 2 8 ,   D O I   1 0 . 1 1 0 9 / M N E T . 2 0 1 0 . 5 4 3 0 1 4 1 ;   C h o f f n e s   D .   R . ,   2 0 1 1 ,   C O M P U T   C O M M U N   R E V ,   V 4 1 ,   P 3 8 7 ;   C o r n e l i u s   C ,   2 0 0 8 ,   M O B I S Y S ' 0 8 :   P R O C E E D I N G S   O F   T H E   S I X T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   S Y S T E M S ,   A P P L I C A T I O N S ,   A N D   S E R V I C E S ,   P 2 1 1 ;   D i s c h i n g e r   M . ,   2 0 1 0 ,   P   7   U S E N I X   C   N E T W   S Y ,   P 2 7 ;   F a g g i a n i   A . ,   2 0 1 2 ,   P   1 0   I N T   S   M O D   O P T   M ,   P 3 1 8 ;   G r e g o r i   E . ,   2 0 1 3 ,   P   2   I E E E   P E R C O M   W K S P ;   G r u t e s e r   M . ,   2 0 0 3 ,   P   1   I N T   C   M O B   S Y S T   A ,   V 3 4 6 8 / 2 0 0 5 ,   P 3 1 ;   H o n i c k y   R J ,   2 0 1 1 ,   C O M P U T E R ,   V 4 4 ,   P 2 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 1 1 . 1 2 9 ;   H o s s f e l d   T ,   2 0 1 1 ,   I E E E   I N T   S   M U L T ,   P 4 9 4 ,   D O I   1 0 . 1 1 0 9 / I S M . 2 0 1 1 . 8 7 ;   L a k i   S . ,   2 0 1 1 ,   P   I E E E   I N F O C O M ,   P 3 1 7 3 ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   R a i   A . ,   2 0 1 2 ,   P   1 8   A N N   I N T   C   M O B   C ,   P 2 9 3 ;   S a n c h e z   M .   A . ,   2 0 1 3 ,   P   1 0   U S E N I X   C   N E T W   S ,   P 4 8 7 ;   S h a v i t t   Y ,   2 0 0 5 ,   A C M   S I G C O M M   C O M P   C O M ,   V 3 5 ,   P 7 1 ,   D O I   1 0 . 1 1 4 5 / 1 0 9 6 5 3 6 . 1 0 9 6 5 4 6 ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 	 1 7 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 0 1 6 3 - 6 8 0 4 	 1 5 5 8 - 1 8 9 6 	 	 I E E E   C O M M U N   M A G 	 I E E E   C o m m u n .   M a g . 	 J A N 	 2 0 1 4 	 5 2 	 1 	 	 	 	 	 1 0 6 	 1 1 3 	 	 	 	 8 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 2 9 5 O Q 	 W O S : 0 0 0 3 3 0 1 2 5 8 0 0 0 1 5 	 	 
 J 	 J i a n ,   L ;   U s h e r ,   N 	 	 	 	 J i a n ,   L i a n ;   U s h e r ,   N i k k i 	 	 	 C r o w d - F u n d e d   J o u r n a l i s m 	 J O U R N A L   O F   C O M P U T E R - M E D I A T E D   C O M M U N I C A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d f u n d i n g ;   j o u r n a l i s m ;   n e w s ;   m a s s   c o m m u n i c a t i o n ;   c r o w d s o u r c i n g 	 O N L I N E   N E W S ;   M E D I A 	 C r o w d - f u n d e d   j o u r n a l i s m   i s   a   n o v e l   b u s i n e s s   m o d e l   i n   w h i c h   j o u r n a l i s t s   r e l y   o n   m i c r o p a y m e n t s   f r o m   o r d i n a r y   p e o p l e   t o   f i n a n c e   t h e i r   r e p o r t i n g .   B a s e d   o n   a n a l y s e s   o f   t h e   d a t a b a s e   o f   S p o t . u s ,   a   p i o n e e r i n g   c r o w d - f u n d e d   j o u r n a l i s m   w e b s i t e ,   w e   e x a m i n e   t h e   i m p a c t   o f   c r o w d - f u n d e d   j o u r n a l i s m   o n   t h e   n e w s   p r o d u c e d .   W e   a p p l y   a   u s e s   a n d   g r a t i f i c a t i o n s   a p p r o a c h   t o   s t u d y   c o n s u m e r s '   c h o i c e s   w h e n   t h e y   d o n a t e   t o   c r o w d - f u n d e d   j o u r n a l i s m   a n d   f i n d   t h a t   c o n s u m e r s   a r e   m o r e   l i k e l y   t o   d o n a t e   t o   s t o r i e s   t h a t   p r o v i d e   t h e m   w i t h   p r a c t i c a l   g u i d a n c e   f o r   d a i l y   l i v i n g   ( e . g . ,   s t o r i e s   a b o u t   p u b l i c   h e a l t h   o r   l o c a l   c i t y   i n f r a s t r u c t u r e ) ,   a s   o p p o s e d   t o   s t o r i e s   f r o m   w h i c h   t h e y   g a i n   a   g e n e r a l   a w a r e n e s s   o f   t h e   w o r l d   ( e . g . ,   c u l t u r a l   d i v e r s i t y ,   o r   g o v e r n m e n t   a n d   p o l i t i c s ) .   W e   d i s c u s s   t h e   i m p l i c a t i o n s   f o r   t h e   f u t u r e   o f   n e w s . 	 [ J i a n ,   L i a n ]   U n i v   S o   C a l i f ,   A n n e n b e r g   S c h   C o m m u n ,   L o s   A n g e l e s ,   C A   9 0 0 8 9   U S A ;   [ U s h e r ,   N i k k i ]   G e o r g e   W a s h i n g t o n   U n i v ,   S c h   M e d i a ,   W a s h i n g t o n ,   D C   2 0 0 5 2   U S A 	 J i a n ,   L   ( r e p r i n t   a u t h o r ) ,   3 5 0 2   W a t t   W a y ,   L o s   A n g e l e s ,   C A   9 0 0 8 9   U S A . 	 	 	 	 	 	 A g r a w a l   A . ,   2 0 1 1 ,   F R I E N D S   F A M I L Y   F L A T ;   A I T A M U R T O   T . ,   2 0 1 1 ,   J O U R N A L I S M   P R A C T I C E ,   V 5 ,   P 4 2 9 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 1 2 7 8 6 . 2 0 1 0 . 5 5 1 0 1 8 ;   A n c u   M . ,   2 0 0 9 ,   J   B R O A D C A S T   E L E C T R O N ,   V 5 3 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   W F P L   N E W S ;   B e n k l e r   Y . ,   2 0 0 6 ,   W E A L T H   N E T W O R K S   S O C I ;   B e r e l s o n   B . ,   1 9 4 9 ,   C O M M U N I C A T I O N S   R E S   1 ,   P 1 1 1 ;   B l u m l e r   J G ,   1 9 6 8 ,   T E L E V I S I O N   P O L I T I C S ;   B o c z k o w s k i   P a b l o   J . ,   2 0 1 0 ,   N E W S   W O R K   I M I T A T I O N ;   B o c z k o w s k i   P J ,   2 0 1 1 ,   J   C O M M U N ,   V 6 1 ,   P 8 5 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 0 - 2 4 6 6 . 2 0 1 1 . 0 1 5 8 2 . x ;   B o g a r t   L . ,   1 9 8 9 ,   P R E S S   P U B L I C   W H O   R E A ;   B r o w n e   D . ,   2 0 1 0 ,   S T O R I E S   M A C A R T H U R   P A ;   B u r t c h   G . ,   2 0 1 3 ,   I N F O R M   S Y S T E M S   R E S ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 1 2 0 . 0 4 6 8 ;   C h a m e y   T . ,   2 0 0 2 ,   C O M M U N I C A T I O N   T E C H N O ,   P 3 7 9 ;   C h y i   H I ,   2 0 0 5 ,   J   M E D I A   E C O N ,   V 1 8 ,   P 1 3 1 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 7 3 6 m e 1 8 0 2 _ 4 ;   C o o k   C . ,   2 0 1 1 ,   T A L E S   2   C E N S U S   T R A C T ;   C r o w e   A . ,   2 0 0 9 ,   F U T U R E   B A Y   A R E A   N E W S ;   C u r r a n   J . ,   1 9 8 0 ,   N E W S P A P E R S   D E M O C R A C Y ;   D o c t o r   K . ,   2 0 1 0 ,   N E W S O N O M I C S   1 2   N E W   T ;   D o m i n g o   D . ,   2 0 1 1 ,   M A K I N G   O N L I N E   N E W S ,   V 2 ;   E a s t i n   M .   S . ,   2 0 0 4 ,   J   B R O A D C A S T   E L E C T R O N ,   V 4 8 ,   P 3 5 8 ,   D O I   D O I   1 0 . 1 2 0 7 / S 1 5 5 0 6 8 7 8 J O B E M 4 8 0 3 _ 2 ;   F S R N   D o c u m e n t a r i e s ,   2 0 1 1 ,   S O U N D T R   A R   S P R I N G ;   G i l l m o r   D a n ,   2 0 0 4 ,   W E   M E D I A   G R A S S R O O T S ;   G o e n k a   A . ,   2 0 0 9 ,   L A W   B A N N I N G   L E A D   C H I ;   G u e n s b u r g   C . ,   2 0 0 8 ,   A M   J O U R N A L I S M   R E V ,   V 3 0 ,   P 2 6 ;   H a m i l t o n   J T ,   2 0 0 4 ,   A L L   T H E   N E W S   T H A T ' S   F I T   T O   S E L L :   H O W   T H E   M A R K E T   T R A N S F O R M S   I N F O R M A T I O N   I N T O   N E W S ,   P 1 ;   H o r o w i t z   J K ,   2 0 0 2 ,   J   E N V I R O N   E C O N   M A N A G ,   V 4 4 ,   P 4 2 6 ,   D O I   1 0 . 1 0 0 6 / j e e m . 2 0 0 1 . 1 2 1 5 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   I n v e s t i g a t e W e s t ,   2 0 1 0 ,   G R E E N   A R   C R U I S   S H I P ;   I s i k o f f   M . ,   2 0 0 8 ,   O B A M A S   G O O D   W I L L   H U N ;   J i a n   L . ,   2 0 1 2 ,   W O R K I N G   P A P E R ;   K a t z   E . ,   1 9 5 9 ,   S T U D I E S   P U B L I C   C O M M U ,   V 2 ,   P 1 ;   K A T Z   E ,   1 9 7 3 ,   A M   S O C I O L   R E V ,   V 3 8 ,   P 1 6 4 ,   D O I   1 0 . 2 3 0 7 / 2 0 9 4 3 9 3 ;   K a y e   B K ,   2 0 0 2 ,   J   B R O A D C A S T   E L E C T R O N ,   V 4 6 ,   P 5 4 ,   D O I   1 0 . 1 2 0 7 / s 1 5 5 0 6 8 7 8 j o b e m 4 6 0 1 _ 4 ;   K e r s h a w   S . ,   2 0 0 8 ,   N Y   T I M E S ;   K i m   Y C ,   2 0 0 6 ,   C O M M U N   T H E O R ,   V 1 6 ,   P 1 7 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 2 8 8 5 . 2 0 0 6 . 0 0 2 6 7 . x ;   K l i n e n b e r g   E ,   2 0 0 5 ,   A N N   A M   A C A D   P O L I T   S S ,   V 5 9 7 ,   P 4 8 ,   D O I   1 0 . 1 1 7 7 / 0 0 0 2 7 1 6 2 0 4 2 7 0 3 4 6 ;   L e w i s   S C ,   2 0 1 2 ,   I N F O R M   C O M M U N   S O C ,   V 1 5 ,   P 8 3 6 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 2 . 6 7 4 1 5 0 ;   M a s - C o l e l l   A . ,   1 9 9 5 ,   M I C R O E C O N O M I C   T H E O R Y ;   N e i l s o n   L A ,   2 0 1 0 ,   J   C O N S U M   B E H A V ,   V 9 ,   P 2 1 4 ,   D O I   1 0 . 1 0 0 2 / c b . 3 1 3 ;   N g u y e n   A .   F .   E . ,   2 0 0 5 ,   A U S T R   S T U D I E S   J O U R N A ,   V 1 5 ,   P 5 ;   N o v   O . ,   2 0 0 7 ,   C O M M U N I C A T I O N S   A C M ,   V 5 0 ;   O v e r h o l s e r   G . ,   2 0 0 6 ,   J O U R N A L I S M   M A N I F E S T O ;   P e w   P r o j e c t   f o r   E x c e l l e n c e   i n   J o u r n a l i s m ,   2 0 1 0 ,   S T A T   N E W S   M E D   A N N   R E ;   P e w   P r o j e c t   f o r   E x c e l l e n c e   i n   J o u r n a l i s m ,   2 0 1 1 ,   S T A T   N E W S   M E D   A N N   R E ;   R u b i n   A .   M . ,   2 0 0 2 ,   M E D I A   E F F E C T S   A D V   T H ,   P 5 2 5 ;   R u g g i e r o   T .   E . ,   2 0 0 0 ,   M A S S   C O M M U N I C A T I O N   S ,   V 3 ,   P 3 ,   D O I   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 7 8 2 5 M C S 0 3 0 1 _ 0 2 ;   S c h u d s o n   M . ,   2 0 0 3 ,   S O C I O L O G Y   N E W S ;   S F   A p p e a l ,   2 0 0 9 ,   I N D   C I T   H A L L   R E P ;   S t a r r   P . ,   2 0 0 9 ,   N E W   R E P U B L I C ,   P 2 8 ;   S t e p p   C .   S . ,   2 0 0 4 ,   W H A T   T H E Y   A M   J O U R N   R ;   U n d e r w o o d   D . ,   1 9 9 3 ,   M B A S   R U L E   N E W R O O M ;   U s h e r   N ,   2 0 1 0 ,   N E W   M E D I A   S O C ,   V 1 2 ,   P 9 1 1 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 0 9 3 5 0 8 9 9 ;   U s h e r   N i k k i ,   2 0 1 1 ,   T H E S I S   U   S O   C A L I F O R N ;   Z a l l e r   J . ,   1 9 9 9 ,   1 9 9 9   A N N   M   A M   P O L   S C ;   Z a l l e r   J ,   2 0 0 3 ,   P O L I T   C O M M U N ,   V 2 0 ,   P 1 0 9 ,   D O I   1 0 . 1 0 8 0 / 1 0 5 8 4 6 0 0 3 9 0 2 1 1 1 3 6 	 5 5 	 1 	 1 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 1 0 8 3 - 6 1 0 1 	 	 	 J   C O M P U T - M E D I A T   C O M M 	 J .   C o m p u t . - M e d i a t .   C o m m u n . 	 J A N 	 2 0 1 4 	 1 9 	 2 	 	 	 	 	 1 5 5 	 1 7 0 	 	 1 0 . 1 1 1 1 / j c c 4 . 1 2 0 5 1 	 	 1 6 	 C o m m u n i c a t i o n ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m m u n i c a t i o n ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 2 9 0 G F 	 W O S : 0 0 0 3 2 9 7 4 1 8 0 0 0 0 3 	 	 
 J 	 N i c k o l o f f ,   S 	 	 	 	 N i c k o l o f f ,   S a r a h 	 	 	 C a p s u l e   C o m m e n t a r y   o n   R a n a r d   e t   a l . ,   C r o w d s o u r c i n g - H a r n e s s i n g   t h e   M a s s e s   t o   A d v a n c e   H e a l t h   a n d   M e d i c i n e ,   a   S y s t e m a t i c   R e v i e w 	 J O U R N A L   O F   G E N E R A L   I N T E R N A L   M E D I C I N E 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 	 Z a b l o c k i   V A   M e d   C t r ,   D i v   G e n   I n t e r n a l   M e d ,   M i l w a u k e e ,   W I   5 3 2 9 5   U S A 	 N i c k o l o f f ,   S   ( r e p r i n t   a u t h o r ) ,   Z a b l o c k i   V A   M e d   C t r ,   D i v   G e n   I n t e r n a l   M e d ,   M i l w a u k e e ,   W I   5 3 2 9 5   U S A . 	 S a r a h . n i c k o l o f f @ v a . g o v 	 	 	 	 	 L i n t o t t   C ,   2 0 1 1 ,   M O N   N O T   R   A S T R O N   S O C ,   V 4 1 0 ,   P 1 6 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 1 0 . 1 7 4 3 2 . x ;   R a n a r d   B L ,   2 0 1 4 ,   J   G E N   I N T E R N   M E D ,   V 2 9 ,   P 1 8 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 6 0 6 - 0 1 3 - 2 5 3 6 - 8 ;   S a y i g h   L ,   2 0 1 3 ,   M A R   M A M M A L   S C I ,   V 2 9 ,   P 3 1 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 8 - 7 6 9 2 . 2 0 1 2 . 0 0 5 7 7 . x 	 3 	 0 	 0 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 3   U S A 	 0 8 8 4 - 8 7 3 4 	 1 5 2 5 - 1 4 9 7 	 	 J   G E N   I N T E R N   M E D 	 J .   G e n .   I n t e r n .   M e d . 	 J A N 	 2 0 1 4 	 2 9 	 1 	 	 	 	 	 1 8 6 	 1 8 6 	 	 1 0 . 1 0 0 7 / s 1 1 6 0 6 - 0 1 3 - 2 6 2 0 - 0 	 	 1 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c i n e ,   G e n e r a l   &   I n t e r n a l 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   G e n e r a l   &   I n t e r n a l   M e d i c i n e 	 2 8 4 W R 	 W O S : 0 0 0 3 2 9 3 5 2 9 0 0 0 4 3 	 2 4 1 9 7 6 2 8 	 
 J 	 R a n a r d ,   B L ;   H a ,   Y P ;   M e i s e l ,   Z F ;   A s c h ,   D A ;   H i l l ,   S S ;   B e c k e r ,   L B ;   S e y m o u r ,   A K ;   M e r c h a n t ,   R M 	 	 	 	 R a n a r d ,   B e n j a m i n   L . ;   H a ,   Y o o n h e e   P . ;   M e i s e l ,   Z a c h a r y   F . ;   A s c h ,   D a v i d   A . ;   H i l l ,   S h a w n d r a   S . ;   B e c k e r ,   L a n c e   B . ;   S e y m o u r ,   A n n e   K . ;   M e r c h a n t ,   R a i n a   M . 	 	 	 C r o w d s o u r c i n g - H a r n e s s i n g   t h e   M a s s e s   t o   A d v a n c e   H e a l t h   a n d   M e d i c i n e ,   a   S y s t e m a t i c   R e v i e w 	 J O U R N A L   O F   G E N E R A L   I N T E R N A L   M E D I C I N E 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 c r o w d s o u r c i n g ;   c r o w d   s o u r c i n g ;   c i t i z e n   s c i e n t i s t ;   c i t i z e n   s c i e n c e ;   h u m a n   c o m p u t i n g 	 D I S T R I B U T E D   H U M A N   I N T E L L I G E N C E ;   F O L D I N G   G A M E   P L A Y E R S ;   C T   C O L O N O G R A P H Y ;   O N L I N E   G A M E 	 C r o w d s o u r c i n g   r e s e a r c h   a l l o w s   i n v e s t i g a t o r s   t o   e n g a g e   t h o u s a n d s   o f   p e o p l e   t o   p r o v i d e   e i t h e r   d a t a   o r   d a t a   a n a l y s i s .   H o w e v e r ,   p r i o r   w o r k   h a s   n o t   d o c u m e n t e d   t h e   u s e   o f   c r o w d s o u r c i n g   i n   h e a l t h   a n d   m e d i c a l   r e s e a r c h .   W e   s o u g h t   t o   s y s t e m a t i c a l l y   r e v i e w   t h e   l i t e r a t u r e   t o   d e s c r i b e   t h e   s c o p e   o f   c r o w d s o u r c i n g   i n   h e a l t h   r e s e a r c h   a n d   t o   c r e a t e   a   t a x o n o m y   t o   c h a r a c t e r i z e   p a s t   u s e s   o f   t h i s   m e t h o d o l o g y   f o r   h e a l t h   a n d   m e d i c a l   r e s e a r c h .   P u b M e d ,   E m b a s e ,   a n d   C I N A H L   t h r o u g h   M a r c h   2 0 1 3 .   P r i m a r y   p e e r - r e v i e w e d   l i t e r a t u r e   t h a t   u s e d   c r o w d s o u r c i n g   f o r   h e a l t h   r e s e a r c h .   T w o   a u t h o r s   i n d e p e n d e n t l y   s c r e e n e d   s t u d i e s   a n d   a b s t r a c t e d   d a t a ,   i n c l u d i n g   d e m o g r a p h i c s   o f   t h e   c r o w d   e n g a g e d   a n d   a p p r o a c h e s   t o   c r o w d s o u r c i n g .   T w e n t y - o n e   h e a l t h - r e l a t e d   s t u d i e s   u t i l i z i n g   c r o w d s o u r c i n g   m e t   e l i g i b i l i t y   c r i t e r i a .   F o u r   d i s t i n c t   t y p e s   o f   c r o w d s o u r c i n g   t a s k s   w e r e   i d e n t i f i e d :   p r o b l e m   s o l v i n g ,   d a t a   p r o c e s s i n g ,   s u r v e i l l a n c e / m o n i t o r i n g ,   a n d   s u r v e y i n g .   T h e s e   s t u d i e s   c o l l e c t i v e l y   e n g a g e d   a   c r o w d   o f   >   1 3 6 , 3 9 5   p e o p l e ,   y e t   f e w   s t u d i e s   r e p o r t e d   d e m o g r a p h i c s   o f   t h e   c r o w d .   O n l y   o n e   ( 5   % )   r e p o r t e d   a g e ,   s e x ,   a n d   r a c e   s t a t i s t i c s ,   a n d   s e v e n   ( 3 3   % )   r e p o r t e d   a t   l e a s t   o n e   o f   t h e s e   d e s c r i p t o r s .   M o s t   r e p o r t s   i n c l u d e d   d a t a   o n   c r o w d s o u r c i n g   l o g i s t i c s   s u c h   a s   t h e   l e n g t h   o f   c r o w d s o u r c i n g   ( n   =   1 8 ,   8 6   % )   a n d   t i m e   t o   c o m p l e t e   c r o w d s o u r c i n g   t a s k   ( n   =   1 5 ,   7 1   % ) .   A l l   a r t i c l e s   ( n   =   2 1 ,   1 0 0   % )   r e p o r t e d   e m p l o y i n g   s o m e   m e t h o d   f o r   v a l i d a t i n g   o r   i m p r o v i n g   t h e   q u a l i t y   o f   d a t a   r e p o r t e d   f r o m   t h e   c r o w d .   G r a y   l i t e r a t u r e   n o t   s e a r c h e d   a n d   o n l y   a   s a m p l e   o f   o n l i n e   s u r v e y   a r t i c l e s   i n c l u d e d .   U t i l i z i n g   c r o w d s o u r c i n g   c a n   i m p r o v e   t h e   q u a l i t y ,   c o s t ,   a n d   s p e e d   o f   a   r e s e a r c h   p r o j e c t   w h i l e   e n g a g i n g   l a r g e   s e g m e n t s   o f   t h e   p u b l i c   a n d   c r e a t i n g   n o v e l   s c i e n c e .   S t a n d a r d i z e d   g u i d e l i n e s   a r e   n e e d e d   o n   c r o w d s o u r c i n g   m e t r i c s   t h a t   s h o u l d   b e   c o l l e c t e d   a n d   r e p o r t e d   t o   p r o v i d e   c l a r i t y   a n d   c o m p a r a b i l i t y   i n   m e t h o d s . 	 [ R a n a r d ,   B e n j a m i n   L . ;   H a ,   Y o o n h e e   P . ]   U n i v   P e n n ,   P e r e l m a n   S c h   M e d ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A ;   [ A s c h ,   D a v i d   A . ;   M e r c h a n t ,   R a i n a   M . ]   U n i v   P e n n ,   P e n n   M e d   C t r   I n n o v a t ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A ;   [ M e i s e l ,   Z a c h a r y   F . ;   A s c h ,   D a v i d   A . ;   M e r c h a n t ,   R a i n a   M . ]   U n i v   P e n n ,   L e o n a r d   D a v i s   I n s t   H l t h   E c o n ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A ;   [ M e i s e l ,   Z a c h a r y   F . ;   B e c k e r ,   L a n c e   B . ;   M e r c h a n t ,   R a i n a   M . ]   U n i v   P e n n ,   D e p t   E m e r g e n c y   M e d ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A ;   [ A s c h ,   D a v i d   A . ]   P h i l a d e l p h i a   V e t   A f f a i r s   M e d   C t r ,   P h i l a d e l p h i a ,   P A   U S A ;   [ A s c h ,   D a v i d   A . ;   H i l l ,   S h a w n d r a   S . ]   U n i v   P e n n ,   W h a r t o n   S c h ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A ;   [ S e y m o u r ,   A n n e   K . ]   U n i v   P e n n ,   U n i v   P e n n   L i b ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A 	 M e r c h a n t ,   R M   ( r e p r i n t   a u t h o r ) ,   U n i v   P e n n ,   P e r e l m a n   S c h   M e d ,   4 2 3   G u a r d i a n   D r , B l o c k l e y   H a l l ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A . 	 r a i n a . m e r c h a n t @ u p h s . u p e n n . e d u 	 	 	 N I H ,   K 2 3   g r a n t   [ 1 0 7 1 4 0 3 8 ] 	 N I H ,   K 2 3   g r a n t   1 0 7 1 4 0 3 8   ( M e r c h a n t ) . 	 B e h r e n d   T S ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 8 0 0 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 0 8 1 - 0 ;   B e n d e r   J ,   2 0 1 1 ,   C O L L A B O R A T I V E   A U T H O R ;   C a r p e n t e r   J ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 1 ,   P 6 9 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 3 3 1 . 6 0 1 8 . 6 9 8 ;   C h u n a r a   R ,   2 0 1 2 ,   M A L A R I A   J ,   V 1 1 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 5 - 2 8 7 5 - 1 1 - 4 3 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   C o o p e r   S . ,   2 0 1 0 ,   C A L   P   5   I N T   C   F D N   D I ,   V 1 0 ,   P 4 0 ;   C o o p e r   S ,   2 0 1 1 ,   F R A N C   P   6   I N T   C   F D N ,   P 9 ;   C r u m p   M J C ,   2 0 1 3 ,   P L O S   O N E ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 5 7 4 1 0 ;   E i b e n   C B ,   2 0 1 2 ,   N A T   B I O T E C H N O L ,   V 3 0 ,   P 1 9 0 ,   D O I   1 0 . 1 0 3 8 / n b t . 2 1 0 9 ;   F r e i f e l d   C C ,   2 0 1 0 ,   P L O S   M E D ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 1 0 0 0 3 7 6 ;   H i g g i n s   J P T ,   2 0 1 1 ,   C O C H R A N E   C O L L A B O R A T I ,   D O I   D O I   1 0 . 1 1 3 6 / B M J . D 5 9 2 8 ;   H i p p   J A ,   2 0 1 3 ,   A M   J   P R E V   M E D ,   V 4 4 ,   P 9 6 ,   D O I   1 0 . 1 0 1 6 / j . a m e p r e . 2 0 1 2 . 0 9 . 0 5 1 ;   H u s s e i n   A l i ,   2 0 0 3 ,   I E E E   E n g   M e d   B i o l   M a g ,   V 2 2 ,   P 2 6 ;   I C T   D a t a   a n d   S t a t i s t i c s   D i v i s i o n ,   2 0 1 2 ,   M E A S   I N F   S O C   2 0 1 2 ;   J a r m o l o w i c z   D P ,   2 0 1 2 ,   B E H A V   P R O C E S S ,   V 9 1 ,   P 3 0 8 ,   D O I   1 0 . 1 0 1 6 / j . b e p r o c . 2 0 1 2 . 0 9 . 0 0 1 ;   K a w r y k o w   A ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 3 1 3 6 2 ;   K h a t i b   F ,   2 0 1 1 ,   N A T   S T R U C T   M O L   B I O L ,   V 1 8 ,   P 1 1 7 5 ,   D O I   1 0 . 1 0 3 8 / n s m b . 2 1 1 9 ;   K h a t i b   F ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 1 8 9 4 9 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 1 1 5 8 9 8 1 0 8 ;   L i n t o t t   C ,   2 0 1 1 ,   M O N   N O T   R   A S T R O N   S O C ,   V 4 1 0 ,   P 1 6 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 1 0 . 1 7 4 3 2 . x ;   L u e n g o - O r o z   M A ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   P 2 0 7 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 3 3 8 ;   M a r r i s   E ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 8 0 7 ,   D O I   1 0 . 1 0 3 8 / 4 6 6 8 0 7 a ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   M a v a n d a d i   S ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 3 7 2 4 5 ;   M a v a n d a d i   S ,   2 0 1 2 ,   L A B   C H I P ,   V 1 2 ,   P 4 1 0 2 ,   D O I   1 0 . 1 0 3 9 / c 2 l c 4 0 6 1 4 d ;   M c K e n n a   M T ,   2 0 1 2 ,   M E D   I M A G E   A N A L ,   V 1 6 ,   P 1 2 8 0 ,   D O I   1 0 . 1 0 1 6 / j . m e d i a . 2 0 1 2 . 0 4 . 0 0 7 ;   M e r c h a n t   R M ,   2 0 1 3 ,   C I R C - C A R D I O V A S C   Q U A L ,   V 6 ,   P 2 2 9 ,   D O I   1 0 . 1 1 6 1 / C I R C O U T C O M E S . 1 1 3 . 0 0 0 1 4 0 ;   N a t i o n a l   A u d u b o n   S o c i e t y ,   2 0 1 2 ,   H I S T   C H R I S T M   B I R D   C O ;   N a t u r e   P u b l i s h i n g   G r o u p ,   2 0 1 1 ,   S C I   A M   L A U N C H   C I T   S C ;   N g u y e n   T B ,   2 0 1 2 ,   R A D I O L O G Y ,   V 2 6 2 ,   P 8 2 4 ,   D O I   1 0 . 1 1 4 8 / r a d i o l . 1 1 1 1 0 9 3 8 ;   R e i p s   U . - D . ,   2 0 1 1 ,   H D B   H U M A N   F A C T O R S   W E ,   P 5 6 3 ;   S a y i g h   L ,   2 0 1 3 ,   M A R   M A M M A L   S C I ,   V 2 9 ,   P 3 1 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 8 - 7 6 9 2 . 2 0 1 2 . 0 0 5 7 7 . x ;   S i g n o r i n i   A ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 9 4 6 7 ;   S o b e l   D ,   1 9 9 5 ,   L O N G I T U D E   T R U E   S T O R Y ;   S u l l i v a n   B L ,   2 0 0 9 ,   B I O L   C O N S E R V ,   V 1 4 2 ,   P 2 2 8 2 ,   D O I   1 0 . 1 0 1 6 / j . b i o c o n . 2 0 0 9 . 0 5 . 0 0 6 ;   S w a n   M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 8 8 ;   T u r n e r   A M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   P 2 1 8 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 0 6 3 ;   W h e a t   R E ,   2 0 1 3 ,   T R E N D S   E C O L   E V O L ,   V 2 8 ,   P 7 1 ,   D O I   1 0 . 1 0 1 6 / j . t r e e . 2 0 1 2 . 1 1 . 0 0 1 	 3 7 	 7 	 7 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 3   U S A 	 0 8 8 4 - 8 7 3 4 	 1 5 2 5 - 1 4 9 7 	 	 J   G E N   I N T E R N   M E D 	 J .   G e n .   I n t e r n .   M e d . 	 J A N 	 2 0 1 4 	 2 9 	 1 	 	 	 	 	 1 8 7 	 2 0 3 	 	 1 0 . 1 0 0 7 / s 1 1 6 0 6 - 0 1 3 - 2 5 3 6 - 8 	 	 1 7 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c i n e ,   G e n e r a l   &   I n t e r n a l 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   G e n e r a l   &   I n t e r n a l   M e d i c i n e 	 2 8 4 W R 	 W O S : 0 0 0 3 2 9 3 5 2 9 0 0 0 4 4 	 2 3 8 4 3 0 2 1 	 
 J 	 S c h a l l ,   D ;   S a t z g e r ,   B ;   P s a i e r ,   H 	 	 	 	 S c h a l l ,   D a n i e l ;   S a t z g e r ,   B e n j a m i n ;   P s a i e r ,   H a r a l d 	 	 	 C r o w d s o u r c i n g   t a s k s   t o   s o c i a l   n e t w o r k s   i n   B P E L 4 P e o p l e 	 W O R L D   W I D E   W E B - I N T E R N E T   A N D   W E B   I N F O R M A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   B P E L 4 P e o p l e ;   n o n - f u n c t i o n a l   p r o p e r t i e s ;   s o c i a l   n e t w o r k s 	 W E B ;   S E R V I C E 	 H u m a n - i n t e r a c t i o n s   a r e   a   s u b s t a n t i a l   p a r t   o f   t o d a y ' s   b u s i n e s s   p r o c e s s e s .   I n   s e r v i c e - o r i e n t e d   s y s t e m s   t h i s   h a s   l e d   t o   s p e c i f i c a t i o n s   s u c h   a s   W S - H u m a n T a s k   a n d   B P E L 4 P e o p l e   w h i c h   a i m   a t   s t a n d a r d i z i n g   t h e   i n t e r a c t i o n   p r o t o c o l   b e t w e e n   s o f t w a r e   p r o c e s s e s   a n d   h u m a n s .   T h e s e   s p e c i f i c a t i o n s   r e c e i v e d   c o n s i d e r a b l e   a t t e n t i o n   f r o m   m a j o r   i n d u s t r y   p l a y e r s   d u e   t o   t h e i r   e x t e n s i b i l i t y   a n d   i n t e r o p e r a b i l i t y .   R e c e n t l y ,   c r o w d s o u r c i n g   h a s   e m e r g e d   a s   a   n e w   p a r a d i g m   f o r   l e v e r a g i n g   a   h u m a n   w o r k f o r c e   u s i n g   W e b   t e c h n o l o g i e s .   W e   a r g u e   t h a t   c r o w d s o u r c i n g   t e c h n i q u e s   a n d   p l a t f o r m s   c o u l d   b e n e f i t   f r o m   X M L - b a s e d   s t a n d a r d s   s u c h   a s   W S - H u m a n T a s k   a n d   B P E L 4 P e o p l e   a s   t h e s e   s p e c i f i c a t i o n s   a l l o w   f o r   e x t e n s i b i l i t y   a n d   c r o s s - p l a t f o r m   o p e r a t i o n .   H o w e v e r ,   m o s t   e f f o r t s   t o   m o d e l   h u m a n   i n t e r a c t i o n s   u s i n g   B P E L 4 P e o p l e   f o c u s   o n   r e l a t i v e l y   s t a t i c   r o l e   m o d e l s   f o r   s e l e c t i n g   t h e   r i g h t   p e r s o n   t o   i n t e r a c t   w i t h .   T h u s ,   B P E L 4 P e o p l e   i s   n o t   w e l l   s u i t e d   f o r   s p e c i f y i n g   a n d   e x e c u t i n g   p r o c e s s e s   i n v o l v i n g   c r o w d s o u r c i n g   o f   t a s k s   t o   o n l i n e   c o m m u n i t i e s .   H e r e ,   w e   e x t e n d   B P E L 4 P e o p l e   w i t h   n o n - f u n c t i o n a l   p r o p e r t i e s   t h a t   a l l o w   t o   c o p e   w i t h   t h e   i n h e r e n t   d y n a m i c s   o f   c r o w d s o u r c i n g   p r o c e s s e s .   S u c h   p r o p e r t i e s   i n c l u d e   h u m a n   c a p a b i l i t i e s   a n d   t h e   l e v e l   o f   s k i l l s .   W e   d i s c u s s   t h e   f o r m a t i o n   o f   s o c i a l   n e t w o r k s   t h a t   a r e   p a r t i c u l a r l y   b e n e f i c i a l   f o r   p r o c e s s i n g   e x t e n d e d   B P E L 4 P e o p l e   t a s k s .   F u r t h e r m o r e ,   w e   p r e s e n t   n o v e l   a p p r o a c h e s   f o r   t h e   a u t o m a t e d   a s s i g n m e n t   o f   t a s k s   t o   a   s o c i a l   g r o u p .   T h e   f e a s i b i l i t y   o f   o u r   a p p r o a c h   i s   s h o w n   t h r o u g h   a   p r o o f   o f   c o n c e p t   i m p l e m e n t a t i o n   o f   v a r i o u s   c o n c e p t s   a s   w e l l   a s   s i m u l a t i o n s   a n d   e x p e r i m e n t s   t o   e v a l u a t e   o u r   r a n k i n g   a n d   s e l e c t i o n   a p p r o a c h . 	 [ S c h a l l ,   D a n i e l ]   S i e m e n s   C o r p   T e c h n o l   C T   T   C E E ,   A - 1 2 1 1   V i e n n a ,   A u s t r i a ;   [ S a t z g e r ,   B e n j a m i n ;   P s a i e r ,   H a r a l d ]   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   A - 1 0 4 0   V i e n n a ,   A u s t r i a 	 S c h a l l ,   D   ( r e p r i n t   a u t h o r ) ,   S i e m e n s   C o r p   T e c h n o l   C T   T   C E E ,   S i e m e n s s t r   9 0 ,   A - 1 2 1 1   V i e n n a ,   A u s t r i a . 	 d a n i e l . s c h a l l @ s i e m e n s . c o m ;   S a t z g e r @ i n f o s y s . t u w i e n . a c . a t ;   P s a i e r @ i n f o s y s . t u w i e n . a c . a t 	 	 	 	 	 A d a m s   M ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 2 7 5 ,   P 2 9 1 ;   A g i c h t e i n   E . ,   2 0 0 8 ,   W S D M   0 8 ,   P 1 8 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 4 1 5 3 1 . 1 3 4 1 5 5 7 ;   A g r a w a l   A . ,   2 0 0 7 ,   W S   B P E L   E X T E N S I O N   P E ;   A m e n d   M . ,   2 0 0 7 ,   W E B   S E R V I C E S   H U M A N   T ;   A n d r e w s   T . ,   2 0 0 3 ,   B U S I N E S S   P R O C E S S   E X E ;   [ A n o n y m o u s ] ,   2 0 0 5 ,   A R C H   B L U E P R   A U T   C O M P ;   B a l t h a z a r d   P . ,   2 0 0 4 ,   D a t a   B a s e   f o r   A d v a n c e s   i n   I n f o r m a t i o n   S y s t e m s ,   V 3 5 ;   B a r a b a s i   A L ,   1 9 9 9 ,   S C I E N C E ,   V 2 8 6 ,   P 5 0 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 8 6 . 5 4 3 9 . 5 0 9 ;   B e n k l e r   Y . ,   2 0 0 1 ,   C O R R O S I O N ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r a n d e s   U ,   2 0 0 1 ,   J   M A T H   S O C I O L ,   V 2 5 ,   P 1 6 3 ;   B r e s l i n   J G ,   2 0 0 9 ,   S O C I A L   S E M A N T I C   W E B ,   P 2 5 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 1 1 7 2 - 6 _ 1 2 ;   C o z z i   A ,   2 0 0 6 ,   I B M   S Y S T   J ,   V 4 5 ,   P 6 9 5 ;   C u g o l a   G . ,   1 9 9 6 ,   A C M   T r a n s a c t i o n s   o n   S o f t w a r e   E n g i n e e r i n g   a n d   M e t h o d o l o g y ,   V 5 ,   D O I   1 0 . 1 1 4 5 / 2 3 4 4 2 6 . 2 3 4 4 2 7 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   D o l e v   S . ,   2 0 1 0 ,   J   A C M ,   V 5 7 ,   P 2 5 ;   D o m   B . ,   2 0 0 3 ,   D M K D   0 3   P   8   A C M   S I G M ,   P 4 2 ;   E a s l e y   D . ,   2 0 1 0 ,   N E T W O R K S   C R O W D S   M A R K ;   G e n t r y   C . ,   2 0 0 5 ,   E C   0 5 ,   P 1 5 5 ;   H e r r m a n n   K . ,   2 0 0 8 ,   W O R K S H   P E R V   A D   P E R A D ;   H o w e   J ,   2 0 0 6 ,   R I S E   C R O W D S O U R C I N G ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   S S R N   E L I B R A R Y ,   V 1 7 ,   P 1 6 ;   K l e i n b e r g   J ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 6 6 ,   D O I   1 0 . 1 1 4 5 / 1 4 0 0 2 1 4 . 1 4 0 0 2 3 2 ;   K l e i n b e r g   J M ,   1 9 9 9 ,   J   A C M ,   V 4 6 ,   P 6 0 4 ,   D O I   1 0 . 1 1 4 5 / 3 2 4 1 3 3 . 3 2 4 1 4 0 ;   K o s o r u k o f f   A . ,   2 0 0 1 ,   T E C H N I C A L   R E P O R T ;   K u m a r   A . ,   2 0 0 2 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 1 8 ,   P 1 5 7 ;   L a m p e   C ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 5 4 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 6 1 ;   L i u   L ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 9 3 4 ,   P 2 0 5 ;   M a x i m i l i e n   E . M . ,   2 0 0 4 ,   I C S O C   0 4 ,   P 2 1 2 ;   M e n d l i n g   J ,   2 0 0 8 ,   L E C T   N O T E S   B U S   I N F ,   V 7 ,   P 2 7 3 ;   N e w m a n   M E J ,   2 0 0 2 ,   P   N A T L   A C A D   S C I   U S A ,   V 9 9 ,   P 2 5 6 6 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 1 2 5 8 2 9 9 9 ;   N e w m a n   M E J ,   2 0 0 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 9 8 ,   P 4 0 4 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 2 1 5 4 4 8 9 8 ;   N e w m a n   M E J ,   2 0 0 1 ,   P H Y S   R E V   E ,   V 6 4 ,   D O I   1 0 . 1 1 0 3 / P h y s R e v E . 6 4 . 0 2 6 1 1 8 ;   P a g e   L ,   1 9 9 8 ,   T E C H N I C A L   R E P O R T ;   P a n t e l i   N ,   2 0 0 5 ,   I E E E   T   P R O F   C O M M U N ,   V 4 8 ,   P 1 9 1 ,   D O I   1 0 . 1 1 0 9 / T P C . 2 0 0 5 . 8 4 9 6 5 1 ;   P E T R I E   C ,   2 0 1 0 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 4 ,   P 9 2 ;   P s a i e r   H . ,   2 0 1 1 ,   E D O C ;   R e k a   A ,   2 0 0 2 ,   R E V   M O D   P H Y S ,   V 7 4 ,   P 4 7 ,   D O I   D O I   1 0 . 1 1 0 3 / R E V M 0 D P H Y S . 7 4 . 4 7 . [ ;   R u s s e l l   N . ,   2 0 0 7 ,   T E C H N I C A L   R E P O R T ;   S a t z g e r   B . ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T E R ;   S c h a l l   D ,   2 0 1 2 ,   D A T A   K N O W L   E N G ,   V 7 1 ,   P 9 2 ,   D O I   1 0 . 1 0 1 6 / j . d a t a k . 2 0 1 1 . 0 8 . 0 0 1 ;   S c h a l l   D . ,   2 0 0 9 ,   T H E S I S   V I E N N A   U   T E C H ;   S c h a l l   D ,   2 0 0 8 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 2 ,   P 6 2 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 8 . 6 6 ;   S c h a l l   D ,   2 0 1 1 ,   D I S T R I B   P A R A L L E L   D A T ,   V 2 9 ,   P 3 3 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 1 9 - 0 1 1 - 7 0 8 1 - z ;   S c h a l l   D ,   2 0 1 2 ,   I E E E   T   S E R V   C O M P U T ,   V 5 ,   P 2 3 3 ,   D O I   1 0 . 1 1 0 9 / T S C . 2 0 1 1 . 2 ;   S h e t t y   J . ,   2 0 0 5 ,   L I N K K D D   0 5 ,   P 7 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 3 4 2 7 1 . 1 1 3 4 2 8 2 ;   S h i   X . ,   2 0 0 8 ,   H T   0 8 ,   P 6 1 ;   S i o r p a e s   K ,   2 0 1 0 ,   W O R L D   W I D E   W E B ,   V 1 3 ,   P 3 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 8 0 - 0 0 9 - 0 0 7 8 - 0 ;   S k o p i k   F ,   2 0 1 0 ,   I N F O R M   S Y S T ,   V 3 5 ,   P 7 3 5 ,   D O I   1 0 . 1 0 1 6 / j . i s . 2 0 1 0 . 0 3 . 0 0 1 ;   S u   Q . ,   2 0 0 7 ,   W W W   0 7 ,   P 2 3 1 ;   T h o m a s   J . ,   2 0 0 7 ,   I N T   C   W E B   S E R V   I C W S ,   P 6 0 ,   D O I   D O I   1 0 . 1 1 0 9 / I C W S . 2 0 0 7 . 1 8 2 ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   V u k o v i c   M ,   2 0 0 9 ,   2 0 0 9   I E E E   C O N G R E S S   O N   S E R V I C E S   ( S E R V I C E S - 1   2 0 0 9 ) ,   V O L S   1   A N D   2 ,   P 6 8 6 ,   D O I   1 0 . 1 1 0 9 / S E R V I C E S - I . 2 0 0 9 . 5 6 ;   Y a n g   J . ,   2 0 0 8 ,   I N T   C   W E B L   S O C   M E D ;   Z h a n g   J . ,   2 0 0 7 ,   W W W   0 7 ,   P 2 2 1 ;   Z h a o   X H ,   2 0 1 1 ,   W O R L D   W I D E   W E B ,   V 1 4 ,   P 2 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 8 0 - 0 1 0 - 0 0 9 6 - y 	 5 6 	 0 	 0 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 3   U S A 	 1 3 8 6 - 1 4 5 X 	 1 5 7 3 - 1 4 1 3 	 	 W O R L D   W I D E   W E B 	 W o r l d   W i d e   W e b 	 J A N 	 2 0 1 4 	 1 7 	 1 	 	 	 	 	 1 	 3 2 	 	 1 0 . 1 0 0 7 / s 1 1 2 8 0 - 0 1 2 - 0 1 8 0 - 6 	 	 3 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 2 8 9 F P 	 W O S : 0 0 0 3 2 9 6 6 7 4 0 0 0 0 1 	 	 
 J 	 T u n g ,   Y H ;   T s e n g ,   S S ;   T s a i ,   W T 	 	 	 	 T u n g ,   Y u a n - H s i n ;   T s e n g ,   S h i a n - S h y o n g ;   T s a i ,   W e i - T e k 	 	 	 A   n o v e l   a p p r o a c h   t o   c o l l a b o r a t i v e   t e s t i n g   i n   a   c r o w d s o u r c i n g   e n v i r o n m e n t   ( v o l   8 6 ,   p g   2 1 4 3 ,   2 0 1 3 ) 	 J O U R N A L   O F   S Y S T E M S   A N D   S O F T W A R E 	 	 	 E n g l i s h 	 C o r r e c t i o n 	 	 	 	 	 	 	 	 	 [ T u n g ,   Y u a n - H s i n ]   N a t l   C h i a o   T u n g   U n i v ,   D e p t   C o m p   S c i   &   I n f o r m a t   E n g n ,   H s i n c h u ,   T a i w a n ;   [ T u n g ,   Y u a n - H s i n ]   A s i a   U n i v ,   D e p t   A p p l   I n f o r m a t   &   M u l t i m e d i a ,   T a i c h u n g ,   T a i w a n ;   [ T s e n g ,   S h i a n - S h y o n g ]   A r i z o n a   S t a t e   U n i v ,   S c h   C o m p   I n f o r m a t   &   D e c i s   S y s t   E n g n ,   T e m p e ,   A Z   U S A 	 	 y h d o n g @ c h t . c o m . t w ;   s s t s e n g @ a s i a . e d u . t w 	 	 	 	 	 T u n g   Y H ,   2 0 1 3 ,   J   S Y S T   S O F T W A R E ,   V 8 6 ,   P 2 1 4 3 ,   D O I   1 0 . 1 0 1 6 / j . j s s . 2 0 1 3 . 0 3 . 0 7 9 	 1 	 0 	 0 	 E L S E V I E R   S C I E N C E   I N C 	 N E W   Y O R K 	 3 6 0   P A R K   A V E   S O U T H ,   N E W   Y O R K ,   N Y   1 0 0 1 0 - 1 7 1 0   U S A 	 0 1 6 4 - 1 2 1 2 	 1 8 7 3 - 1 2 2 8 	 	 J   S Y S T   S O F T W A R E 	 J .   S y s t .   S o f t w . 	 J A N 	 2 0 1 4 	 8 7 	 	 	 	 	 	 1 3 7 	 1 3 7 	 	 1 0 . 1 0 1 6 / j . j s s . 2 0 1 3 . 0 8 . 0 2 3 	 	 1 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 2 8 3 U V 	 W O S : 0 0 0 3 2 9 2 7 3 4 0 0 0 1 0 	 	 
 J 	 T o c h ,   E 	 	 	 	 T o c h ,   E r a n 	 	 	 C r o w d s o u r c i n g   p r i v a c y   p r e f e r e n c e s   i n   c o n t e x t - a w a r e   a p p l i c a t i o n s 	 P E R S O N A L   A N D   U B I Q U I T O U S   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C o n t e x t   a w a r e n e s s ;   P r i v a c y ;   C r o w d s o u r c i n g ;   U s a b i l i t y 	 	 D e v e l o p e r s   o f   c o n t e x t - a w a r e   a p p l i c a t i o n s   a r e   f a c e d   w i t h   a   t o u g h   c h a l l e n g e :   p o w e r f u l   p r i v a c y   c o n t r o l s   a r e   e s s e n t i a l   t o   m a i n t a i n   u s e r   t r u s t ,   b u t   t h e y   a r e   a l s o   h a r d   t o   u s e   a n d   n o t   a d e q u a t e   i n   a l l   s i t u a t i o n s .   T o   a d d r e s s   t h i s   t r a d e o f f ,   w e   p r e s e n t   S u p e r - E g o ,   a   c r o w d s o u r c i n g   f r a m e w o r k   f o r   p r i v a c y   m a n a g e m e n t   o f   l o c a t i o n   i n f o r m a t i o n   i n   u b i q u i t o u s   e n v i r o n m e n t .   W e   s t u d y   h o w   c r o w d s o u r c i n g   c a n   b e   u s e d   t o   p r e d i c t   t h e   u s e r ' s   p r i v a c y   p r e f e r e n c e s   f o r   d i f f e r e n t   l o c a t i o n   o n   t h e   b a s i s   o f   t h e   g e n e r a l   u s e r   p o p u l a t i o n .   T h e   c r o w d s o u r c i n g   m e t h o d s   a r e   e v a l u a t e d   i n   a   2 - w e e k   u s e r   s t u d y   i n   w h i c h   w e   t r a c k e d   t h e   l o c a t i o n s   o f   3 0   s u b j e c t s   a n d   a s k e d   t h e m   t o   p r o v i d e   p r i v a c y   p r e f e r e n c e s   f o r   t h e   l o c a t i o n s   t h e y   h a d   v i s i t e d .   O u r   r e s u l t s   s h o w   t h a t   b y   e m p l o y i n g   s i m p l e   m e t h o d s   f o r   s e m a n t i c   a n a l y s i s   o f   l o c a t i o n s   a n d   b y   p r o f i l i n g   t h e   u s e r ' s   p r i v a c y   i n c l i n a t i o n ,   o u r   m e t h o d s   c a n   a c c u r a t e l y   p r e d i c t   t h e   p r i v a c y   p r e f e r e n c e s   f o r   8 0   %   o f   t h e   u s e r ' s   l o c a t i o n s .   B y   e m p l o y i n g   s e m i - a u t o m a t i c   d e c i s i o n   s t r a t e g i e s ,   w h i c h   a s k   t h e   u s e r   t o   d e c i d e   r e g a r d i n g   t h e   p r i v a c y   o f   s o m e   o f   t h e   l o c a t i o n s ,   t h e   a c c u r a c y   r a t e   r a i s e s   t o   9 0   % . 	 T e l   A v i v   U n i v ,   F a c   E n g n ,   I L - 6 9 9 7 8   T e l   A v i v ,   I s r a e l 	 T o c h ,   E   ( r e p r i n t   a u t h o r ) ,   T e l   A v i v   U n i v ,   F a c   E n g n ,   I L - 6 9 9 7 8   T e l   A v i v ,   I s r a e l . 	 e r a n t @ p o s t . t a u . a c . i l 	 	 	 	 	 A n t h o n y   D ,   2 0 0 7 ,   I E E E   P E R V A S   C O M P U T ,   V 6 ,   P 6 4 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 0 7 . 8 3 ;   A r t h u r   C ,   2 0 1 1 ,   I P H O N E   K E E P S   R E C O R D ;   B a l e b a k o   R ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ;   B a r k h u u s   L ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 9 7 ;   B e n i s c h   M ,   2 0 1 0 ,   P E R S   U B I Q U I T   C O M P U T ,   V 1 5 ,   P 6 7 9 ;   B i l t o n   N ,   2 0 1 0 ,   P R I C E   F A C E B O O K   P R I V A ;   C o s t a   P ,   2 0 0 8 ,   G L O B   T E L   C   2 0 0 8   I E E E ,   P 1 ;   C r a n s h a w   J ,   2 0 1 1 ,   P   2 5   C   A R T   I N T   A A A I ;   D e y   A K ,   2 0 0 1 ,   H U M - C O M P U T   I N T E R A C T ,   V 1 6 ,   P 9 7 ,   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 7 0 5 1 H C I 1 6 2 3 4 _ 0 2 ;   D o   T . M . T . ,   2 0 1 1 ,   P   1 3   I N T   C   M U L T   I N T ,   P 3 5 3 ;   D o u r i s h   P . ,   2 0 0 3 ,   C H I   0 3 ,   P 1 2 9 ;   D u c k h a m   M . ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T E R ,   V 3 4 6 8 ,   P 2 4 3 ;   G e d i k   B ,   2 0 0 8 ,   I E E E   T   M O B I L E   C O M P U T ,   V 7 ,   P 1 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 0 7 . 1 0 6 2 ;   H e i p k e   C ,   2 0 1 0 ,   I S P R S   J   P H O T O G R A M M ,   V 6 5 ,   P 5 5 0 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 1 0 . 0 6 . 0 0 5 ;   H e s s e l m a n   C ,   2 0 0 7 ,   I N T   S   A P P L   I N T   W O R K S ;   H o n g   J . ,   2 0 0 4 ,   P   2   I N T   C   M O B   S Y S T   A ,   P 1 7 7 ,   D O I   1 0 . 1 1 4 5 / 9 9 0 0 6 4 . 9 9 0 0 8 7 ;   I a c h e l l o   G ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 6 6 0 ,   P 2 1 3 ;   K h a l i l   A ,   2 0 0 6 ,   C S C W   0 6 ;   M a c h a n a v a j j h a l a   A . ,   2 0 0 7 ,   A C M   T   K N O W L   D I S C O V   D ,   V 1 ,   P 1 ;   N i s s e n b a u m   H ,   2 0 0 4 ,   W A S H   L A W   R E V ,   V 7 9 ,   P 1 1 9 ;   P r i e d h o r s k y   R ,   2 0 0 8 ,   C S C W :   2 0 0 8   A C M   C O N F E R E N C E   O N   C O M P U T E R   S U P P O R T E D   C O O P E R A T I V E   W O R K ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 2 6 7 ;   R o c h e   S .   E . ,   2 0 1 1 ,   G E O J O U R N A L ,   P 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 1 1 - 9 4 2 3 - 9 ;   S a d e h   N ,   2 0 0 9 ,   P E R S   U B I Q U I T   C O M P U T ,   V 1 3 ,   P 4 0 1 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 9 - 0 0 8 - 0 2 1 4 - 3 ;   T o c h   E ,   2 0 1 1 ,   P   5   A C M   I N T   W O R K S H   C ;   T o c h   E ,   2 0 1 0 ,   U B I C O M P   2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 0 1 0   A C M   C O N F E R E N C E   O N   U B I Q U I T O U S   C O M P U T I N G ,   P 1 2 9 ;   T u t t l i e s   V ,   2 0 0 9 ,   C I S I S :   2 0 0 9   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C O M P L E X ,   I N T E L L I G E N T   A N D   S O F T W A R E   I N T E N S I V E   S Y S T E M S ,   V O L S   1   A N D   2 ,   P 4 8 7 ;   W e s t i n   A .   F . ,   1 9 6 7 ,   P R I V A C Y   F R E E D O M ;   Y e   M a o ,   2 0 1 1 ,   P   3 4   I N T   A C M   S I G I R   C ,   P 3 2 5 ;   Z h e n g   V i n c e n t   W . ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 1 0 2 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 9 5 	 2 9 	 0 	 0 	 S P R I N G E R   L O N D O N   L T D 	 L O N D O N 	 2 3 6   G R A Y S   I N N   R D ,   6 T H   F L O O R ,   L O N D O N   W C 1 X   8 H L ,   E N G L A N D 	 1 6 1 7 - 4 9 0 9 	 1 6 1 7 - 4 9 1 7 	 	 P E R S   U B I Q U I T   C O M P U T 	 P e r s .   U b i q u i t o u s   C o m p u t . 	 J A N 	 2 0 1 4 	 1 8 	 1 	 	 	 S I 	 	 1 2 9 	 1 4 1 	 	 1 0 . 1 0 0 7 / s 0 0 7 7 9 - 0 1 2 - 0 6 3 2 - 0 	 	 1 3 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 2 8 3 H Z 	 W O S : 0 0 0 3 2 9 2 3 8 4 0 0 0 1 3 	 	 
 J 	 A r a n ,   O ;   B i e l ,   J I ;   G a t i c a - P e r e z ,   D 	 	 	 	 A r a n ,   O y a ;   B i e l ,   J o a n - I s a a c ;   G a t i c a - P e r e z ,   D a n i e l 	 	 	 B r o a d c a s t i n g   O n e s e l f :   V i s u a l   D i s c o v e r y   o f   V l o g g i n g   S t y l e s 	 I E E E   T R A N S A C T I O N S   O N   M U L T I M E D I A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 V i d e o   b l o g s ;   v l o g s ;   Y o u T u b e ;   n o n v e r b a l   b e h a v i o r ;   w e i g h t e d   m o t i o n   e n e r g y   i m a g e s ;   p a t t e r n   c l u s t e r i n g ;   c r o w d s o u r c i n g ;   p e r s o n a l i t y   i m p r e s s i o n s 	 V I D E O ;   R E C O G N I T I O N ;   C L A S S I F I C A T I O N ;   Y O U T U B E 	 W e   p r e s e n t   a   d a t a - d r i v e n   a p p r o a c h   t o   d i s c o v e r   d i f f e r e n t   s t y l e s   t h a t   p e o p l e   u s e   t o   p r e s e n t   t h e m s e l v e s   i n   o n l i n e   v i d e o   b l o g g i n g   ( v l o g g i n g ) .   B y   v l o g g i n g   s t y l e ,   w e   d e n o t e   t h e   c o m b i n a t i o n   o f   c o n s c i o u s   a n d   u n c o n s c i o u s   c h o i c e s   t h a t   t h e   v l o g g e r   m a d e   d u r i n g   t h e   p r o d u c t i o n   o f   t h e   v l o g ,   a f f e c t i n g   t h e   v i d e o   q u a l i t y ,   a p p e a r a n c e ,   a n d   s t r u c t u r e .   A   c o m p a c t   s e t   o f   v l o g g i n g   s t y l e s   i s   d i s c o v e r e d   u s i n g   c l u s t e r i n g   m e t h o d s   b a s e d   o n   a   f a s t   a n d   r o b u s t   s p a t i o - t e m p o r a l   d e s c r i p t o r   t o   c h a r a c t e r i z e   t h e   v i s u a l   a c t i v i t y   i n   a   v l o g .   O n   2 2 6 8   Y o u T u b e   v l o g s ,   o u r   r e s u l t s   s h o w   t h a t   t h e   v l o g g i n g   s t y l e s   a r e   d i f f e r e n t i a t e d   w i t h   r e s p e c t   t o   t h e   v l o g g e r s '   l e v e l   o f   e d i t i n g   a n d   c o n v e r s a t i o n a l   a c t i v i t y   i n   t h e   v i d e o .   F u r t h e r m o r e ,   w e   s h o w   t h a t   t h e s e   a u t o m a t i c a l l y   d i s c o v e r e d   s t y l e s   r e l a t e   t o   v l o g g e r s   w i t h   d i f f e r e n t   p e r s o n a l i t y   t r a i t   i m p r e s s i o n s   a n d   t o   v l o g s   t h a t   r e c e i v e   d i f f e r e n t   l e v e l s   o f   s o c i a l   a t t e n t i o n . 	 [ A r a n ,   O y a ;   B i e l ,   J o a n - I s a a c ]   I d i a p   R e s   I n s t ,   M a r t i g n y ,   S w i t z e r l a n d ;   [ G a t i c a - P e r e z ,   D a n i e l ]   I d i a p   R e s   I n s t ,   S o c i a l   C o m p   G r p ,   M a r t i g n y ,   S w i t z e r l a n d ;   [ G a t i c a - P e r e z ,   D a n i e l ]   E c o l e   P o l y t e c h   F e d   L a u s a n n e ,   C H - 1 0 1 5   L a u s a n n e ,   S w i t z e r l a n d 	 A r a n ,   O   ( r e p r i n t   a u t h o r ) ,   I d i a p   R e s   I n s t ,   M a r t i g n y ,   S w i t z e r l a n d . 	 o y a . a r a n @ i d i a p . c h ;   j i b i e l @ i d i a p . c h ;   g a t i c a @ i d i a p . c h 	 	 	 S w i s s   N a t i o n a l   S c i e n c e   F o u n d a t i o n   ( S N S F )   A m b i z i o n e   f e l l o w s h i p   u n d e r   t h e   p r o j e c t   " M u l t i m o d a l   C o m p u t a t i o n a l   M o d e l i n g   o f   N o n v e r b a l   S o c i a l   B e h a v i o r   i n   F a c e   t o   F a c e   I n t e r a c t i o n "   ( S O B E ) ;   S N S F   N a t i o n a l   C e n t e r   o f   C o m p e t e n c e   i n   R e s e a r c h   o n   I n t e r a c t i v e   M u l t i m o d a l   I n f o r m a t i o n   M a n a g e m e n t   ( I M 2 ) 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   S w i s s   N a t i o n a l   S c i e n c e   F o u n d a t i o n   ( S N S F )   A m b i z i o n e   f e l l o w s h i p   u n d e r   t h e   p r o j e c t   " M u l t i m o d a l   C o m p u t a t i o n a l   M o d e l i n g   o f   N o n v e r b a l   S o c i a l   B e h a v i o r   i n   F a c e   t o   F a c e   I n t e r a c t i o n "   ( S O B E )   a n d   t h e   S N S F   N a t i o n a l   C e n t e r   o f   C o m p e t e n c e   i n   R e s e a r c h   o n   I n t e r a c t i v e   M u l t i m o d a l   I n f o r m a t i o n   M a n a g e m e n t   ( I M 2 ) .   T h e   a s s o c i a t e   e d i t o r   c o o r d i n a t i n g   t h e   r e v i e w   o f   t h i s   m a n u s c r i p t   a n d   a p p r o v i n g   i t   f o r   p u b l i c a t i o n   w a s   D r .   V a s i l e i o s   M e z a r i s . 	 A d a m s   B ,   2 0 0 2 ,   I E E E   T   M U L T I M E D I A ,   V 4 ,   P 4 7 2 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 0 2 . 8 0 2 0 1 6 ;   B a r r y   B . ,   2 0 0 3 ,   P   I N T   C   M U L T   E X P   2 0 0 ,   V 2 ,   P 1 9 7 ;   B i e l   J . - I . ,   2 0 1 2 ,   P   I C W S M ;   B i e l   J I ,   2 0 1 3 ,   I E E E   T   M U L T I M E D I A ,   V 1 5 ,   P 4 1 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 1 2 . 2 2 2 5 0 3 2 ;   B i e l   J . - I . ,   2 0 1 1 ,   P   I C W S M ;   B i e l   J . - I . ,   2 0 1 1 ,   A C M   T   M U L T I M   C O M P U T ,   V 7 ,   P 3 3 ;   B o b i c k   A F ,   2 0 0 1 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 3 ,   P 2 5 7 ,   D O I   1 0 . 1 1 0 9 / 3 4 . 9 1 0 8 7 8 ;   B r e z e a l e   D ,   2 0 0 8 ,   I E E E   T   S Y S T   M A N   C Y   C ,   V 3 8 ,   P 4 1 6 ,   D O I   1 0 . 1 1 0 9 / T S M C C . 2 0 0 8 . 9 1 9 1 7 3 ;   C o u n t s   S . ,   2 0 0 9 ,   P   A A A I   I N T   C   W E B L   S O ;   D a l a l   N ,   2 0 0 5 ,   P R O C   C V P R   I E E E ,   P 8 8 6 ;   D i n g   C .   H .   Q . ,   2 0 0 4 ,   P   I C M L ;   G a o   W . ,   2 0 1 0 ,   A C M   C O M P U T   S U R V ,   V 4 2 ,   P 1 5 ;   G a t i c a - P e r e z   D ,   2 0 0 3 ,   I E E E   T   C I R C   S Y S T   V I D ,   V 1 3 ,   P 5 3 9 ,   D O I   1 0 . 1 1 0 9 / T C S V T . 2 0 0 3 . 8 1 3 4 2 8 ;   G o d w i n - J o n e s   R ,   2 0 0 7 ,   L A N G   L E A R N   T E C H N O L ,   V 1 1 ,   P 1 6 ;   G o s l i n g   S .   D . ,   2 0 0 7 ,   P   A A A I   I N T   C   W E B L   S O ;   G o s l i n g   S D ,   2 0 0 3 ,   J   R E S   P E R S ,   V 3 7 ,   P 5 0 4 ,   D O I   1 0 . 1 0 1 6 / S 0 0 9 2 - 6 5 6 6 ( 0 3 ) 0 0 0 4 6 - 1 ;   G r i f f i t h   M . ,   2 0 0 7 ,   P   A N N   M   A S S   E D   J O U R N ;   H a n   J ,   2 0 0 6 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 8 ,   P 3 1 6 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 6 . 3 8 ;   H u   W M ,   2 0 1 1 ,   I E E E   T   S Y S T   M A N   C Y   C ,   V 4 1 ,   P 7 9 7 ,   D O I   1 0 . 1 1 0 9 / T S M C C . 2 0 1 1 . 2 1 0 9 7 1 0 ;   I y e n g a r   G ,   1 9 9 7 ,   P   S O C   P H O T O - O P T   I N S ,   V 3 3 1 2 ,   P 2 1 6 ,   D O I   1 0 . 1 1 1 7 / 1 2 . 2 9 8 4 5 4 ;   J a i n   A K ,   2 0 1 0 ,   P A T T E R N   R E C O G N   L E T T ,   V 3 1 ,   P 6 5 1 ,   D O I   1 0 . 1 0 1 6 / j . p a t r e c . 2 0 0 9 . 0 9 . 0 1 1 ;   K n a p p   M . L . ,   2 0 0 9 ,   N O N V E R B A L   C O M M U N I C A T ;   L a n d r y   B . ,   2 0 0 8 ,   A R T   C I R C U S   C H A R A C T E R ;   L a n g e   P .   G . ,   2 0 0 7 ,   J   C O M P U T   M E D I A T E D   C O ,   V 1 ;   L a n g e   P .   G . ,   2 0 0 7 ,   P   S O C   A P P L   A N T H R   C   M ;   L a p t e v   I . ,   2 0 0 8 ,   P   C V P R ;   M o l y n e a u x   H . ,   2 0 0 8 ,   A M   C O M M U N   J ,   V 1 0 ;   R e n   W ,   2 0 0 9 ,   P A T T E R N   R E C O G N ,   V 4 2 ,   P 2 6 7 ,   D O I   1 0 . 1 0 1 6 / j . p a t c o g . 2 0 0 8 . 0 8 . 0 3 3 ;   S a n c h e z - C o r t e s   D ,   2 0 1 2 ,   I E E E   T   M U L T I M E D I A ,   V 1 4 ,   P 8 1 6 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 1 1 . 2 1 8 1 9 4 1 ;   S h e s k i n   D .   J . ,   2 0 0 7 ,   H D B   P A R A M E T R I C   N O N P A ;   S n o e k   C G M ,   2 0 0 6 ,   A C M   T   M U L T I M   C O M P U T ,   V 2 ,   P 9 1 ,   D O I   1 0 . 1 1 4 5 / 1 1 4 2 0 2 0 . 1 1 4 2 0 2 1 ;   S n o e k   C . G . M . ,   2 0 0 9 ,   F O U N D   T R E N D S   I N F   R E T ,   V 4 ,   P 2 1 5 ,   D O I   D O I   1 0 . 1 5 6 1 / 1 5 0 0 0 0 0 0 1 4 ;   S u n d a r a m   H ,   2 0 0 2 ,   I E E E   T   M U L T I M E D I A ,   V 4 ,   P 4 8 2 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 0 2 . 8 0 2 0 1 7 ;   W a n g   L . ,   2 0 0 6 ,   P   1 8   I N T   C   P A T T   R E C ;   W e i n l a n d   D ,   2 0 0 6 ,   C O M P U T   V I S   I M A G E   U N D ,   V 1 0 4 ,   P 2 4 9 ,   D O I   1 0 . 1 0 1 6 / j . c v i u . 2 0 0 6 . 0 7 . 0 1 3 ;   W e s c h   M . ,   2 0 0 9 ,   E X P L O R A T I O N S   M E D I A   E ,   V 8 ,   P 1 9 ;   W u   J ,   2 0 1 2 ,   I E E E   T   M U L T I M E D I A ,   V 1 4 ,   P 2 9 1 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 1 1 . 2 1 7 4 9 6 9 ;   Y a n g   L . ,   2 0 0 7 ,   P   I N T   W O R K S H   M U L T   I N ,   P 2 6 5 ,   D O I   1 0 . 1 1 4 5 / 1 2 9 0 0 8 2 . 1 2 9 0 1 1 9 ;   Y u   C . - C . ,   2 0 1 0 ,   E U R A S I P   J   A D V   S I G N A L 	 3 9 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 5 2 0 - 9 2 1 0 	 1 9 4 1 - 0 0 7 7 	 	 I E E E   T   M U L T I M E D I A 	 I E E E   T r a n s .   M u l t i m e d i a 	 J A N 	 2 0 1 4 	 1 6 	 1 	 	 	 	 	 2 0 1 	 2 1 5 	 	 1 0 . 1 1 0 9 / T M M . 2 0 1 3 . 2 2 8 4 8 9 3 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 2 7 9 G J 	 W O S : 0 0 0 3 2 8 9 4 8 1 0 0 0 1 7 	 	 
 J 	 K i m ,   S H ;   P h a n g ,   D ;   A n ,   T Y ;   Y i ,   J S ;   K e n n e y ,   R ;   U h a n ,   N A 	 	 	 	 K i m ,   S u n g - H e e ;   P h a n g ,   D a n i e l ;   A n ,   T u y i n ;   Y i ,   J i   S o o ;   K e n n e y ,   R a c h a e l ;   U h a n ,   N e l s o n   A . 	 	 	 P O E T I C :   I n t e r a c t i v e   s o l u t i o n s   t o   a l l e v i a t e   t h e   r e v e r s a l   e r r o r   i n   s t u d e n t - p r o f e s s o r   t y p e   p r o b l e m s 	 I N T E R N A T I O N A L   J O U R N A L   O F   H U M A N - C O M P U T E R   S T U D I E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M a t h e m a t i c s   e d u c a t i o n ;   R e v e r s a l   e r r o r ;   I n t e r a c t i v e   v i s u a l i z a t i o n ;   T e s t - C a s e ;   R o o m - M e t a p h o r 	 V I S U A L I Z A T I O N ;   F O R M U L A T I O N ;   M O D E L S 	 T h e   r e v e r s a l   e r r o r   r e v e r s i n g   t h e   r e l a t i o n s h i p   b e t w e e n   t w o   v a r i a b l e s   i n   a   m a t h e m a t i c a l   w o r d   p r o b l e m   i s   a   l o n g - s t a n d i n g   i s s u e   i n   m a t h e m a t i c s   e d u c a t i o n ,   d e s p i t e   i t s   a p p a r e n t   s i m p l i c i t y .   I n   t h i s   p a p e r ,   w e   d e s c r i b e   a n d   s t u d y   P O E T I C ,   a n   i n t e r a c t i v e   w e b - b a s e d   e n v i r o n m e n t   w e   d e v e l o p e d   t o   t e a c h   u s e r s   t o   a v o i d   t h e   r e v e r s a l   e r r o r .   P O E T I C   u s e s   t w o   t y p e s   o f   n o v e l   i n t e r a c t i v e   v i s u a l i z a t i o n ,   c a l l e d   t h e   T e s t - C a s e   a n d   R o o m - M e t a p h o r   a p p r o a c h e s .   T o   v e r i f y   t h e   e f f e c t i v e n e s s   o f   t h e s e   a p p r o a c h e s ,   w e   c o n d u c t e d   c r o w d s o u r c i n g - b a s e d   c o m p a r i s o n   s t u d i e s   w i t h   2 0 0   p a r t i c i p a n t s   a n d   f o u n d   t h a t   b o t h   a p p r o a c h e s   s i g n i f i c a n t l y   d e c r e a s e d   t h e   f r e q u e n c y   o f   r e v e r s a l   e r r o r s   f o r   c e r t a i n   t y p e s   o f   w o r d   p r o b l e m s .   O u r   r e s u l t s   s h o w   t h a t   i n t e r a c t i v e   v i s u a l i z a t i o n   o f   e q u a t i o n s   c a n   r e d u c e   t h e   o c c u r r e n c e   o f   t h e   r e v e r s a l   e r r o r .   ( C )   2 0 1 3   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ K i m ,   S u n g - H e e ;   Y i ,   J i   S o o ]   P u r d u e   U n i v ,   S c h   I n d   E n g n ,   W   L a f a y e t t e ,   I N   4 7 9 0 7   U S A ;   [ P h a n g ,   D a n i e l ]   L e h i g h   U n i v ,   P C   R o s s i n   C o l l   E n g n ,   B e t h l e h e m ,   P A   1 8 0 1 5   U S A ;   [ A n ,   T u y i n ;   K e n n e y ,   R a c h a e l ]   P u r d u e   U n i v ,   D e p t   C u r r i c u l u m   &   I n s t r u c t ,   W   L a f a y e t t e ,   I N   4 7 9 0 7   U S A ;   [ K e n n e y ,   R a c h a e l ]   P u r d u e   U n i v ,   D e p t   M a t h ,   W   L a f a y e t t e ,   I N   4 7 9 0 7   U S A ;   [ U h a n ,   N e l s o n   A . ]   U S   N a v a l   A c a d ,   D e p t   M a t h ,   A n n a p o l i s ,   M D   2 1 4 0 2   U S A 	 Y i ,   J S   ( r e p r i n t   a u t h o r ) ,   P u r d u e   U n i v ,   S c h   I n d   E n g n ,   W   L a f a y e t t e ,   I N   4 7 9 0 7   U S A . 	 y i j i s o o @ g m a i l . c o m 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ 1 0 4 4 1 8 2 ] ;   P u r d u e   E n g i n e e r   o f   S e e d   G r a n t   P r o g r a m 	 T h i s   m a t e r i a l   i s   b a s e d   u p o n   w o r k   s u p p o r t e d   b y   t h e   P u r d u e   E n g i n e e r   o f   2 0 2 0   S e e d   G r a n t   P r o g r a m   a n d   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   ( G r a n t   n o .   1 0 4 4 1 8 2 ) .   W e   a l s o   a p p r e c i a t e   D r .   Y u k i k o   M a e d a   f o r   h e r   t h o u g h t f u l   r e v i e w   a n d   s u g g e s t i o n s   f o r   o u r   s t a t i s t i c a l   a n a l y s i s ,   a n d   a l l   o f   t h e   h u m a n   s u b j e c t s   w h o   p a r t i c i p a t e d   i n   t h i s   s t u d y . 	 B e c k   K e n t ,   2 0 0 3 ,   T E S T   D R I V E N   D E V   E X A M ;   C l e m e n t   J . ,   1 9 8 2 ,   J   R E S   M A T H   E D U C ,   V 1 3 ,   P 1 6 ,   D O I   1 0 . 2 3 0 7 / 7 4 8 4 3 4 ;   C o h e n   E ,   2 0 0 5 ,   A M   J   P H Y S ,   V 7 3 ,   P 1 0 7 2 ,   D O I   1 0 . 1 1 1 9 / 1 . 2 0 6 3 0 4 8 ;   F i s h e r   K . J . ,   2 0 1 0 ,   M E M   C O G N I T I O N ,   V 3 9 ,   P 5 0 2 ;   F I S H E R   K M ,   1 9 8 8 ,   J   R E S   M A T H   E D U C ,   V 1 9 ,   P 2 6 0 ,   D O I   1 0 . 2 3 0 7 / 7 4 9 0 6 9 ;   H E G A R T Y   M ,   1 9 9 5 ,   J   E D U C   P S Y C H O L ,   V 8 7 ,   P 1 8 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 0 6 6 3 . 8 7 . 1 . 1 8 ;   H u n d h a u s e n   C . ,   1 9 9 9 ,   T H E S I S   U   O R E G O N ;   H u n d h a u s e n   C D ,   2 0 0 2 ,   J   V I S U A L   L A N G   C O M P U T ,   V 1 3 ,   P 2 5 9 ,   D O I   1 0 . 1 0 0 6 / S 1 0 4 5 - 9 2 6 X ( 0 2 ) 0 0 0 2 8 - 9 ;   K a p u t   J . J . ,   1 9 7 9 ,   J   C H I L D R E N S   M A T H   B E H ,   V 2 ,   P 2 0 8 ;   K a p u t   J . J . ,   1 9 8 5 ,   J   R E S   M A T H   E D U C ,   V 1 6 ,   P 5 6 ,   D O I   1 0 . 2 3 0 7 / 7 4 8 9 7 4 ;   K e n n e y   R . ,   2 0 1 1 ,   U N D E R S T A N D I N G   O V E R C O ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   L a w r e n c e   A . W . ,   1 9 9 3 ,   T H E S I S   G E O R G I A   I   T E C ;   L i u   Z C ,   2 0 1 0 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 6 ,   P 9 9 9 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 0 . 1 7 7 ;   L o c h h e a d   J . ,   1 9 8 0 ,   J   M A T H   B E H A V ,   V 3 ,   P 3 0 ;   M A C G R E G O R   M ,   1 9 9 3 ,   J   R E S   M A T H   E D U C ,   V 2 4 ,   P 2 1 7 ,   D O I   1 0 . 2 3 0 7 / 7 4 9 3 4 5 ;   M u l h o l l a n d   P ,   1 9 9 8 ,   S O F T W A R E   V I S U A L I Z A T I O N ,   P 4 3 9 ;   P a l m   T . ,   2 0 0 8 ,   E D U C   S T U D   M A T H ,   V 6 7 ,   P 3 7 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 6 4 9 - 0 0 7 - 0 0 8 3 - 3 ;   P h i l i p p   R . A . ,   1 9 9 2 ,   J   M A T H   B E H A V ,   V 1 1 ,   P 1 6 1 ;   R e s n i c k   L . ,   1 9 8 9 ,   K N O W I N G   L E A R N I N G   I N S ;   S i m s - K n i g h t   J . E . ,   1 9 8 3 ,   A C Q U I S I T I O N   S Y M B O L I C ,   P 5 6 1 ;   S t a c e y   K . ,   1 9 9 3 ,   N E W   D I R E C T I O N S   A L G E B ,   P 2 0 5 ;   S t a s k o   J . ,   1 9 9 3 ,   P   I N T E R C H I   9 3   C   H U M ,   P 6 1 ,   D O I   1 0 . 1 1 4 5 / 1 6 9 0 5 9 . 1 6 9 0 7 8 ;   S t o k e s   M E ,   2 0 0 0 ,   C A T E G O R I C A L   D A T A   A N A ;   S t y l i a n o u   D . A . ,   2 0 0 2 ,   J   M A T H   B E H A V ,   V 2 1 ,   P 3 0 3 ,   D O I   1 0 . 1 0 1 6 / S 0 7 3 2 - 3 1 2 3 ( 0 2 ) 0 0 1 3 1 - 1 ;   T u n g   S H ,   2 0 0 1 ,   I N T   J   H U M - C O M P U T   S T ,   V 5 4 ,   P 2 8 5 ,   D O I   1 0 . 1 0 0 6 / i j h c . 2 0 0 0 . 0 4 3 3 ;   T z u r   R . ,   2 0 0 4 ,   I N T   J   S C I   M A T H   E D U C ,   V 2 ,   P 2 8 7 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 6 3 - 0 0 4 - 7 4 7 9 - 4 ;   V r e d e n b u r g   K . ,   2 0 0 2 ,   P   S I G C H I   C   H U M   F A C T ,   P 4 7 1 ;   W a i s e l   L B ,   2 0 0 8 ,   J   O P E R   R E S   S O C ,   V 5 9 ,   P 3 5 3 ,   D O I   1 0 . 1 0 5 7 / p a l g r a v e . j o r s . 2 6 0 2 3 3 1 ;   W e i n b e r g   A . ,   2 0 0 9 ,   P   3 1   A N N   M   N   A M   C H A P ,   P 7 0 9 ;   W o l l m a n   W . ,   1 9 8 3 ,   J   R E S   M A T H   E D U C ,   V 1 4 ,   P 1 6 9 ,   D O I   1 0 . 2 3 0 7 / 7 4 8 3 8 0 ;   Y a z d a n i   M . ,   2 0 0 8 ,   J   M A T H   S C I   M A T H   E D ,   V 3 ,   P 5 6 	 3 2 	 0 	 0 	 A C A D E M I C   P R E S S   L T D -   E L S E V I E R   S C I E N C E   L T D 	 L O N D O N 	 2 4 - 2 8   O V A L   R D ,   L O N D O N   N W 1   7 D X ,   E N G L A N D 	 1 0 7 1 - 5 8 1 9 	 1 0 9 5 - 9 3 0 0 	 	 I N T   J   H U M - C O M P U T   S T 	 I n t .   J .   H u m . - C o m p u t .   S t u d . 	 J A N 	 2 0 1 4 	 7 2 	 1 	 	 	 	 	 1 2 	 2 2 	 	 1 0 . 1 0 1 6 / j . i j h c s . 2 0 1 3 . 0 9 . 0 1 0 	 	 1 1 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   E r g o n o m i c s ;   P s y c h o l o g y ,   M u l t i d i s c i p l i n a r y 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   P s y c h o l o g y 	 2 7 5 W U 	 W O S : 0 0 0 3 2 8 7 1 0 7 0 0 0 0 2 	 	 
 J 	 C o s t a ,   J ;   S i l v a ,   C ;   A n t u n e s ,   M ;   R i b e i r o ,   B 	 	 	 	 C o s t a ,   J o a n a ;   S i l v a ,   C a t a r i n a ;   A n t u n e s ,   M a r i o ;   R i b e i r o ,   B e r n a r d e t e 	 	 	 C u s t o m i z e d   c r o w d s   a n d   a c t i v e   l e a r n i n g   t o   i m p r o v e   c l a s s i f i c a t i o n 	 E X P E R T   S Y S T E M S   W I T H   A P P L I C A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   A c t i v e   l e a r n i n g ;   C l a s s i f i c a t i o n 	 C O N C E P T   D R I F T ;   S V M 	 T r a d i t i o n a l   c l a s s i f i c a t i o n   a l g o r i t h m s   c a n   b e   l i m i t e d   i n   t h e i r   p e r f o r m a n c e   w h e n   a   s p e c i f i c   u s e r   i s   t a r g e t e d .   U s e r   p r e f e r e n c e s ,   e . g .   i n   r e c o m m e n d a t i o n   s y s t e m s ,   c o n s t i t u t e   a   c h a l l e n g e   f o r   l e a r n i n g   a l g o r i t h m s .   A d d i t i o n a l l y ,   i n   r e c e n t   y e a r s   u s e r ' s   i n t e r a c t i o n   t h r o u g h   c r o w d s o u r c i n g   h a s   d r a w n   s i g n i f i c a n t   i n t e r e s t ,   a l t h o u g h   i t s   u s e   i n   l e a r n i n g   s e t t i n g s   i s   s t i l l   u n d e r u s e d .   I n   t h i s   w o r k   w e   f o c u s   o n   a n   a c t i v e   s t r a t e g y   t h a t   u s e s   c r o w d - b a s e d   n o n - e x p e r t   i n f o r m a t i o n   t o   a p p r o p r i a t e l y   t a c k l e   t h e   p r o b l e m   o f   c a p t u r i n g   t h e   d r i f t   b e t w e e n   u s e r   p r e f e r e n c e s   i n   a   r e c o m m e n d a t i o n   s y s t e m .   T h e   p r o p o s e d   m e t h o d   c o m b i n e s   t w o   m a i n   i d e a s :   t o   a p p l y   a c t i v e   s t r a t e g i e s   f o r   a d a p t a t i o n   t o   e a c h   u s e r ;   t o   i m p l e m e n t   c r o w d s o u r c i n g   t o   a v o i d   e x c e s s i v e   u s e r   f e e d b a c k .   A   s i m i l i t u d e   t e c h n i q u e   i s   p u t   f o r w a r d   t o   o p t i m i z e   t h e   c h o i c e   o f   t h e   m o r e   a p p r o p r i a t e   s i m i l i t u d e - w i s e   c r o w d ,   u n d e r   t h e   g u i d a n c e   o f   b a s i c   u s e r   f e e d b a c k .   T h e   p r o p o s e d   a c t i v e   l e a r n i n g   f r a m e w o r k   a l l o w s   n o n - e x p e r t s   c l a s s i f i c a t i o n   p e r f o r m e d   b y   c r o w d s   t o   b e   u s e d   t o   d e f i n e   t h e   u s e r   p r o f i l e ,   m i t i g a t i n g   t h e   l a b e l i n g   e f f o r t   n o r m a l l y   r e q u e s t e d   t o   t h e   u s e r .   T h e   f r a m e w o r k   i s   d e s i g n e d   t o   b e   g e n e r i c   a n d   s u i t a b l e   t o   b e   a p p l i e d ,   t o   d i f f e r e n t '   s c e n a r i o s ,   w h i l s t   c u s t o m i z a b l e   f o r   e a c h   s p e c i f i c   u s e r .   A   c a s e   s t u d y   o n   h u m o r   c l a s s i f i c a t i o n   s c e n a r i o   i s   u s e d   t o   d e m o n s t r a t e   e x p e r i m e n t a l l y   t h a t   t h e   a p p r o a c h   c a n   i m p r o v e   b a s e l i n e   a c t i v e   r e s u l t s .   ( C )   2 0 1 3   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ C o s t a ,   J o a n a ;   S i l v a ,   C a t a r i n a ;   R i b e i r o ,   B e r n a r d e t e ]   U n i v   C o i m b r a   C I S U C ,   C t r   I n f o r m a t   &   S y s t ,   D e p t   I n f o r m a t   E n g n ,   C o i m b r a ,   P o r t u g a l ;   [ C o s t a ,   J o a n a ;   S i l v a ,   C a t a r i n a ]   P o l y t e c h   I n s t   L e i r i a ,   S c h   T e c h n o l   &   M a n a g e m e n t ,   C o m p   S c i   C o m m u n   &   R e s   C t r ,   L e i r i a ,   P o r t u g a l ;   [ A n t u n e s ,   M a r i o ]   P o l y t e c h   I n s t   L e i r i a ,   S c h   T e c h n o l   &   M a n a g e m e n t ,   L e i r i a ,   P o r t u g a l 	 C o s t a ,   J   ( r e p r i n t   a u t h o r ) ,   U n i v   C o i m b r a   C I S U C ,   C t r   I n f o r m a t   &   S y s t ,   D e p t   I n f o r m a t   E n g n ,   C o i m b r a ,   P o r t u g a l . 	 j o a n a . c o s t a @ i p l e i r i a . p t ;   c a t a r - i n a @ i p l e i r i a . p t ;   m a r i o . a n t u n e s @ i p l e i r i a . p t ;   b r i b e i r o @ d e i . u c . p t 	 	 	 E R D F ,   t h r o u g h   t h e   C O M P E T E   P r o g r a m m e ;   F C T   [ P E s t - C / E E I / L A 0 0 1 4 / 2 0 1 1 ] ;   i C I S   [ C E N T R O - 0 7 - S T 2 4 - F E D E R - 0 0 2 0 0 3 ] 	 T h i s   w o r k   i s   p a r t l y   f u n d e d   b y   t h e   E R D F ,   t h r o u g h   t h e   C O M P E T E   P r o g r a m m e ,   b y   F C T   w i t h i n   p r o j e c t   P E s t - C / E E I / L A 0 0 1 4 / 2 0 1 1   a n d   b y   i C I S   ( C E N T R O - 0 7 - S T 2 4 - F E D E R - 0 0 2 0 0 3 ) . 	 A t t a r   V ,   2 0 1 2 ,   L E C T   N O T E S   A R T I F   I N T ,   V 7 1 0 3 ,   P 1 5 6 ;   B a r a m   Y ,   2 0 0 4 ,   J   M A C H   L E A R N   R E S ,   V 5 ,   P 2 5 5 ;   B a r r   J e f f ,   2 0 0 6 ,   Q U E U E ,   V 4 ,   P 2 4 ,   D O I   1 0 . 1 1 4 5 / 1 1 4 2 0 5 5 . 1 1 4 2 0 6 7 ;   B I N S T E D   K ,   1 9 9 4 ,   P R O C E E D I N G S   O F   T H E   T W E L F T H   N A T I O N A L   C O N F E R E N C E   O N   A R T I F I C I A L   I N T E L L I G E N C E ,   V O L S   1   A N D   2 ,   P 6 3 3 ;   B i s h o p   C M ,   1 9 9 8 ,   N A T O   A D V   S C I   I   D - B E H ,   V 8 9 ,   P 3 7 1 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r e w   A . ,   2 0 1 0 ,   2 4   A N N   C   N E U R   I N F   P R ;   B u r g u e r a   I . ,   2 0 1 1 ,   P   1   A C M   W O R K S H   S E C   P ,   P 1 5 ;   C H E N   Y Y ,   2 0 1 1 ,   P   2 0   I N T   C   C O M P   W O R L ,   P 2 5 ;   C o s t a   J . ,   2 0 1 1 ,   P r o c e e d i n g s   o f   t h e   2 0 1 1   1 1 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e l l i g e n t   S y s t e m s   D e s i g n   a n d   A p p l i c a t i o n s   ( I S D A ) ,   D O I   1 0 . 1 1 0 9 / I S D A . 2 0 1 1 . 6 1 2 1 7 0 0 ;   C o s t a   J ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 9 3 6 ,   P 2 7 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 3 8 7 8 - 9 _ 3 3 ;   D a n   S . ,   2 0 0 4 ,   T H E S I S   N A T L   U   S I N G A P ;   F l o r i d o   J P ,   2 0 1 1 ,   I N T   J   N E U R A L   S Y S T ,   V 2 1 ,   P 2 4 7 ,   D O I   1 0 . 1 1 4 2 / S 0 1 2 9 0 6 5 7 1 1 0 0 2 7 9 1 ;   F r a n k l i n   M . J . ,   2 0 1 1 ,   P   2 0 1 1   A C M   S I G M O D   I N ,   P 6 1 ;   G r e e n g a r d   S ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 2 0 ,   D O I   1 0 . 1 1 4 5 / 1 8 9 7 8 1 6 . 1 8 9 7 8 2 4 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   J o a c h i m s   T . ,   2 0 0 2 ,   L E A R N I N G   T E X T   C L A S S I ;   K i t t u r   A . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 4 3 ;   K o l t e r   J Z ,   2 0 0 7 ,   J   M A C H   L E A R N   R E S ,   V 8 ,   P 2 7 5 5 ;   K o n s t a n   O . ,   2 0 1 2 ,   I E E E   S P E C T R U M ,   V 1 0 ,   P 1 ;   L e b r u n   G ,   2 0 0 8 ,   I N T   J   N E U R A L   S Y S T ,   V 1 8 ,   P 1 9 ,   D O I   1 0 . 1 1 4 2 / S 0 1 2 9 0 6 5 7 0 8 0 0 1 3 4 8 ;   L e i m e i s t e r   J M ,   2 0 1 0 ,   B U S   I N F O R M   S Y S T   E N G + ,   V 2 ,   P 2 4 5 ,   D O I   1 0 . 1 0 0 7 / s 1 2 5 9 9 - 0 1 0 - 0 1 1 4 - 8 ;   M a r c u s   A ,   2 0 1 1 ,   5   B I E N N   C   I N N   D A T   S Y ,   P 2 1 1 ;   M c C a l l u m   A . ,   1 9 9 8 ,   P   1 5   I N T   C   M A C H   L E A R ,   P 3 5 0 ;   M i h a l c e a   R ,   2 0 0 6 ,   I E E E   I N T E L L   S Y S T ,   V 2 1 ,   P 3 3 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 6 . 1 0 4 ;   M i n k u   L L ,   2 0 1 0 ,   I E E E   T   K N O W L   D A T A   E N ,   V 2 2 ,   P 7 3 0 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 0 9 . 1 5 6 ;   M u h l b a i e r   M D ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 4 7 2 ,   P 4 9 0 ;   N e g r i   M . ,   2 0 1 1 ,   P   C   E M P   M E T H   N A T   L A N ,   P 6 7 0 ;   R a d a   M i h a l c e a ,   2 0 0 5 ,   P   C   H U M   L A N G   T E C H N   E ,   P 5 3 1 ,   D O I   1 0 . 3 1 1 5 / 1 2 2 0 5 7 5 . 1 2 2 0 6 4 2 ;   R e y e s   A . ,   2 0 1 0 ,   P   7   I N T   C   L A N G   R E S   E ,   P 1 1 3 8 ;   S e t t l e s   B . ,   2 0 1 0 ,   1 6 4 8   C S   U   W I S C   M A D ;   S i l v a   C ,   2 0 0 7 ,   S O F T   C O M P U T ,   V 1 1 ,   P 5 1 9 ,   D O I   1 0 . 1 0 0 7 / s 0 0 5 0 0 - 0 0 6 - 0 0 8 0 - 8 ;   S i l v a   C ,   2 0 0 8 ,   I N T   J   N E U R A L   S Y S T ,   V 1 8 ,   P 4 5 ,   D O I   1 0 . 1 1 4 2 / S 0 1 2 9 0 6 5 7 0 8 0 0 1 3 6 1 ;   S t o c k   O . ,   2 0 0 3 ,   I N T   J O I N T   C   A R T   I N T ,   V 1 8 ,   P 5 9 ;   S U R O W I E C K I   J A M E S ,   2 0 0 4 ,   W I S D O M   C R O W D S ;   T a r a s o v   A . ,   2 0 1 0 ,   E C A I   P R E S T I G I O U S   A P P ,   P 1 ;   T o n g   S ,   2 0 0 2 ,   J   M A C H   L E A R N   R E S ,   V 2 ,   P 4 5 ;   T s y m b a l   A ,   2 0 0 8 ,   I N F O R M   F U S I O N ,   V 9 ,   P 5 6 ,   D O I   1 0 . 1 0 1 6 / j . i n f f u s . 2 0 0 6 . 1 1 . 0 0 2 ;   v a n   R i j s b e r g e n   C . ,   1 9 7 9 ,   I N F O R M   R E T R I E V A L ;   V a p n i k   V l a d i m i r   N . ,   1 9 9 9 ,   N A T U R E   S T A T   L E A R N I N G ;   W e b b   G I ,   2 0 0 1 ,   U S E R   M O D E L   U S E R - A D A P ,   V 1 1 ,   P 1 9 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 1 1 1 7 1 0 2 1 7 5 ;   W e l i n d e r   P . ,   2 0 1 0 ,   I E E E   C O M P   S O C   C   C O M P ,   P 2 5 ;   W i d m e r   G ,   1 9 9 6 ,   M A C H   L E A R N ,   V 2 3 ,   P 6 9 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 1 1 6 9 0 0 ;   Z h a o   L . ,   2 0 1 1 ,   P   A A A I   2 0 1 1   W O R K S H   H ,   P 7 4 	 4 4 	 0 	 0 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 9 5 7 - 4 1 7 4 	 1 8 7 3 - 6 7 9 3 	 	 E X P E R T   S Y S T   A P P L 	 E x p e r t   S y s t .   A p p l . 	 D E C   1 5 	 2 0 1 3 	 4 0 	 1 8 	 	 	 	 	 7 2 1 2 	 7 2 1 9 	 	 1 0 . 1 0 1 6 / j . e s w a . 2 0 1 3 . 0 6 . 0 7 2 	 	 8 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 2 2 1 M M 	 W O S : 0 0 0 3 2 4 6 6 3 0 0 0 0 0 6 	 	 
 J 	 D i m o c k ,   W C 	 	 	 	 D i m o c k ,   W a i   C h e e 	 	 	 C r o w d s o u r c i n g   H i s t o r y :   I s h m a e l   R e e d ,   T o n y   K u s h n e r ,   a n d   S t e v e n   S p i e l b e r g   U p d a t e   t h e   C i v i l   W a r 	 A M E R I C A N   L I T E R A R Y   H I S T O R Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 	 Y a l e   U n i v ,   N e w   H a v e n ,   C T   0 6 5 2 0   U S A 	 D i m o c k ,   W C   ( r e p r i n t   a u t h o r ) ,   Y a l e   U n i v ,   N e w   H a v e n ,   C T   0 6 5 2 0   U S A . 	 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 0 ,   R E V   L I N C   M O V ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   H A R V A R D   M A G A Z I N E ;   B l o u n t   J r   R o y ,   2 0 1 2 ,   S M I T H S O N I A N ;   B R O M W I C H   D ,   2 0 1 3 ,   N E W   Y O R K   R E V   B O O K S ,   V 6 0 ,   P 8 ;   C r o c e   B e n e d e t t o ,   1 9 4 1 ,   S T O R I A   C O M E   P E N S I E R O ;   F o n e r   E r i c ,   2 0 1 0 ,   F I E R Y   T R I A L   A   L I N C O L ;   G I N Z B U R G   C ,   1 9 9 3 ,   C R I T   I N Q U I R Y ,   V 2 0 ,   P 1 0 ,   D O I   1 0 . 1 0 8 6 / 4 4 8 6 9 9 ;   G o o d w i n   D o r i s   K e a r n s ,   2 0 0 5 ,   T E A M   R I V A L S   P O L I T I C A ;   G o o d w i n   D o r i s   K e a r n s ,   L I N C O L N ,   p v i i ;   H o l z e r   H a r o l d ,   2 0 1 2 ,   D A I L Y   B E A S T   N E W   1 1 2 2 ;   K u s h n e r   T o n y ,   2 0 1 0 ,   L I N C O L N   S C R E E N P L A Y ;   K u s h n e r   T o n y ,   2 0 1 2 ,   C O M M U N I C A T I O N ;   M a s u r   K a t e ,   2 0 1 2 ,   N Y   T I M E S ;   M o r r i s o n   T o n i ,   1 9 9 8 ,   N E W   Y O R K E R ;   R e e d   I s h m a e l ,   1 9 7 6 ,   F L I G H T   C A N A D A ;   R o b e r t s   D a v i d   D . ,   1 9 8 7 ,   B   C R O C E   U S E S   H I S T ;   S c o t t   A .   O . ,   2 0 1 2 ,   A T L A N T I C ;   W h i t e   H . ,   1 9 7 3 ,   M E T A H I S T O R Y ;   W o o d   G o r d o n   S . ,   1 9 8 2 ,   N E W   Y O R K   R E V   B O   1 2 1 6 ,   P 5 9 	 1 9 	 0 	 0 	 O X F O R D   U N I V   P R E S S   I N C 	 C A R Y 	 J O U R N A L S   D E P T ,   2 0 0 1   E V A N S   R D ,   C A R Y ,   N C   2 7 5 1 3   U S A 	 0 8 9 6 - 7 1 4 8 	 1 4 6 8 - 4 3 6 5 	 	 A M   L I T   H I S T 	 A m .   L i t .   H i s t . 	 W I N 	 2 0 1 3 	 2 5 	 4 	 	 	 S I 	 	 8 9 6 	 9 1 4 	 	 1 0 . 1 0 9 3 / a l h / a j t 0 4 4 	 	 1 9 	 L i t e r a t u r e ,   A m e r i c a n 	 L i t e r a t u r e 	 2 9 6 V K 	 W O S : 0 0 0 3 3 0 2 1 3 3 0 0 0 1 0 	 	 
 J 	 S u m r a d a ,   R 	 	 	 	 S u m r a d a ,   R a d o s 	 	 	 C R O W D S O U R C I N G   O F   V O L U N T E E R E D   S P A T I A L   D A T A 	 G E O D E T S K I   V E S T N I K 	 	 	 S l o v e n e 	 A r t i c l e 	 	 	 	 	 	 C O S T   A c t i o n ;   V G I ;   c r o w d s o u r c i n g ;   v o l u n t a r y   s p a t i a l   d a t a 	 	 C r o w d s o u r c i n g   c a n   b e   a   s t a r t i n g - p o i n t   f o r   t h e   p r o c e s s   o f   s p a t i a l   d a t a - g a t h e r i n g   i n   t h e   f i e l d   o f   l a n d   m a n a g e m e n t ,   c a d a s t r a l   s y s t e m s   a n d   o t h e r   d a t a b a s e s   h o l d i n g   s p a t i a l   d a t a .   S u c h   v o l u n t a r y   s u p p l y   o f   s p a t i a l   d a t a   o n   t h e   p a r t   o f   u s e r s   m i g h t   s i g n i f i c a n t l y   i m p r o v e   t h e   a c q u i s i t i o n   a n d   e s p e c i a l l y   t h e   u p d a t i n g   o f   s p a t i a l   d a t a b a s e s .   T h e   c r o w d s o u r c i n g   p r o c e s s   a l s o   h a s   p e r c e i v a b l e   i n f l u e n c e   o n   t h e   q u a l i t y   o f   f o r m a l   s p a t i a l   d a t a .   T h e r e f o r e ,   t h i s   r e s e a r c h   d o m a i n   i s ,   t o g e t h e r   w i t h   i n f o r m a t i o n   t e c h n o l o g y ,   a   h i g h l y   p r o m i s i n g   d e v e l o p i n g   c o n c e p t   w i t h   r e s p e c t   t o   t h e   e f f e c t i v e n e s s   o f   s u c h   a c t i v i t i e s .   V o l u n t a r y   m a s s i v e   d a t a   a c q u i s i t i o n ,   b e s i d e s   p r o f e s s i o n a l   d o u b t s ,   a l s o   b r i n g s   s e v e r a l   l e g a l ,   o r g a n i z a t i o n a l ,   e c o n o m i c   a n d   s o c i a l   c o n c e r n s   t h a t   s h o u l d   b e   r e s o l v e d   i n   p a r a l l e l   w i t h   r a p i d   t e c h n o l o g i c a l   d e v e l o p m e n t .   T h u s   f a r ,   i n t e r n a t i o n a l   c o o p e r a t i o n   i n   t h e   d o m a i n   o f   v o l u n t a r y   m a s s i v e   s p a t i a l   d a t a   s u p p l y   d o e s   n o t   y e t   e x i s t   t o   a n   a p p r o p r i a t e   e x t e n t .   T h e   C O S T   I C T   a c t i o n   I C 1 2 0 3   " E u r o p e a n   N e t w o r k   E x p l o r i n g   R e s e a r c h   i n t o   G e o s p a t i a l   I n f o r m a t i o n   C r o w d s o u r c i n g :   s o f t w a r e   a n d   m e t h o d o l o g i e s   f o r   h a r n e s s i n g   g e o g r a p h i c   i n f o r m a t i o n   f r o m   t h e   c r o w d "   ( E N E R G I C )   e n a b l e s   t h e   c o n n e c t i o n s   a n d   e x c h a n g e   o f   s c i e n t i f i c   m e t h o d o l o g y   a n d   t e c h n o l o g i c a l   s o u r c e s   i n   t h e   f i e l d   o f   m a s s i v e   d a t a   a c q u i s i t i o n   f r o m   i n f o r m a l   s o u r c e s . 	 U n i v   L j u b l j a n i ,   F a k   G r a d b e n i s t v o   G e o d e z i j o ,   O d d e l e k   G e o d e z i j o ,   S I - 1 0 0 0   L j u b l j a n a ,   S l o v e n i a 	 S u m r a d a ,   R   ( r e p r i n t   a u t h o r ) ,   U n i v   L j u b l j a n i ,   F a k   G r a d b e n i s t v o   G e o d e z i j o ,   O d d e l e k   G e o d e z i j o ,   J a r n o v a   2 ,   S I - 1 0 0 0   L j u b l j a n a ,   S l o v e n i a . 	 R a d o s . S u m r a d a @ f g g . u n i - l j . s i 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 3 ,   T D 1 2 0 2   C O S T ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   I C 1 2 0 3   C O S T ;   B e n n e t t   R ,   2 0 1 2 ,   G I M   I N T ,   V 2 6 ,   P 2 0 ;   C r o w d s o u r c i n g ,   2 0 1 3 ,   C R O W D S ;   D e   V r i e s   W . ,   2 0 1 2 ,   C R O W D   S O U R C I N G   L A N D ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   H a a r s m a   D . ,   2 0 1 2 ,   C R O W D   G I M   I N T ,   V 2 6 ,   P 1 3 ;   I N S P I R E ,   2 0 1 3 ,   I N F R   P R O S T   I N F   E V R   S ;   K a l a n t a r i   M . ,   2 0 1 2 ,   G I M   I n t e r n a t i o n a l ,   V 2 6 ,   P 3 1 ;   L e m m e n s   M . ,   2 0 1 2 ,   G I M   I N T ,   V 2 6 ,   P 1 5 ;   L i   L . ,   2 0 1 2 ,   S P A T I A L   S T A T ,   V 1 ,   P 1 1 0 ;   M c L a r e n   R . ,   2 0 1 2 ,   C R O W D S O U R C I N G   S U P P O R ;   S i n g h   R . ,   2 0 1 2 ,   G I M   I N T ,   V 2 6 ,   P 2 6 	 1 3 	 0 	 0 	 A S S O C   S U R V E Y O R S   S L O V E N I A 	 L J U B L J A N A 	 Z E M L J E M E R S K A   1 2 ,   L J U B L J A N A ,   S I - 1 0 0 0 ,   S L O V E N I A 	 0 3 5 1 - 0 2 7 1 	 1 5 8 1 - 1 3 2 8 	 	 G E O D   V E S T N 	 G e o d .   V e s t n . 	 D E C 	 2 0 1 3 	 5 7 	 4 	 	 	 	 	 6 9 1 	 7 0 1 	 	 	 	 1 1 	 G e o g r a p h y 	 G e o g r a p h y 	 2 8 5 E S 	 W O S : 0 0 0 3 2 9 3 7 7 0 0 0 0 0 4 	 	 
 J 	 M a j c h r z a k ,   A ;   M a l h o t r a ,   A 	 	 	 	 M a j c h r z a k ,   A . ;   M a l h o t r a ,   A . 	 	 	 T o w a r d s   a n   i n f o r m a t i o n   s y s t e m s   p e r s p e c t i v e   a n d   r e s e a r c h   a g e n d a   o n   c r o w d s o u r c i n g   f o r   i n n o v a t i o n 	 J O U R N A L   O F   S T R A T E G I C   I N F O R M A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   C o l l e c t i v e   i n t e l l i g e n c e ;   I n n o v a t i o n ;   C o l l a b o r a t i o n ;   I n n o v a t i o n   t o u r n a m e n t s ;   P l a t f o r m s 	 P R O D U C T   D E V E L O P M E N T ;   I D E A S   C O M P E T I T I O N ;   C O M M U N I T I E S ;   U S E R S ;   K N O W L E D G E ;   C O N T E S T S ;   C O L L A B O R A T I O N ;   T E C H N O L O G I E S ;   C O O P E T I T I O N ;   C R E A T I O N 	 R e c e n t   y e a r s   h a v e   s e e n   a n   i n c r e a s i n g   e m p h a s i s   o n   o p e n   i n n o v a t i o n   b y   f i r m s   t o   k e e p   p a c e   w i t h   t h e   g r o w i n g   i n t r i c a c y   o f   p r o d u c t s   a n d   s e r v i c e s   a n d   t h e   e v e r   c h a n g i n g   n e e d s   o f   t h e   m a r k e t s .   M u c h   h a s   b e e n   w r i t t e n   a b o u t   o p e n   i n n o v a t i o n   a n d   i t s   m a n i f e s t a t i o n   i n   t h e   f o r m   o f   c r o w d s o u r c i n g .   U n f o r t u n a t e l y ,   m o s t   m a n a g e m e n t   r e s e a r c h   h a s   t a k e n   t h e   i n f o r m a t i o n   s y s t e m   ( I S )   a s   a   g i v e n .   I n   t h i s   e s s a y   w e   c o n t e n d   t h a t   I S   i s   n o t   j u s t   a n   e n a b l e r   b u t   r a t h e r   c a n   b e   a   s h a p e r   t h a t   o p t i m i z e s   o p e n   i n n o v a t i o n   i n   g e n e r a l   a n d   c r o w d s o u r c i n g   i n   p a r t i c u l a r .   T h i s   e s s a y   i s   i n t e n d e d   t o   f r a m e   c r o w d s o u r c i n g   f o r   i n n o v a t i o n   i n   a   m a n n e r   t h a t   m a k e s   m o r e   a p p a r e n t   t h e   i s s u e s   t h a t   r e q u i r e   r e s e a r c h   f r o m   a n   I S   p e r s p e c t i v e .   I n   d o i n g   s o ,   w e   d e l i n e a t e   t h e   c o n t r i b u t i o n s   t h a t   t h e   I S   f i e l d   c a n   m a k e   t o   t h e   f i e l d   o f   c r o w d s o u r c i n g .   ( C )   2 0 1 3   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ M a j c h r z a k ,   A . ]   U n i v   S o   C a l i f ,   M a r s h a l l   S c h   B u s i n e s s ,   L o s   A n g e l e s ,   C A   9 0 0 8 9   U S A ;   [ M a j c h r z a k ,   A . ]   E S A D E   B u s i n e s s   S c h ,   B a r c e l o n a ,   S p a i n ;   [ M a l h o t r a ,   A . ]   U n i v   N   C a r o l i n a ,   C h a p e l   H i l l ,   N C   2 7 5 1 5   U S A 	 M a j c h r z a k ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   S o   C a l i f ,   M a r s h a l l   S c h   B u s i n e s s ,   B r i d g e   H a l l   4 0 1 C ,   L o s   A n g e l e s ,   C A   9 0 0 8 9   U S A . 	 m a j c h r z a @ u s c . e d u 	 	 	 N S F   [ 1 2 1 9 8 3 2 ] 	 T h e   a u t h o r s   w o u l d   l i k e   t o   t h a n k   N S F   ( A w a r d   I d :   1 2 1 9 8 3 2 )   f o r   t h e   g e n e r o u s   g r a n t   t o   s u p p o r t   t h i s   r e s e a r c h   a s   w e l l   a s   h e l p f u l   c o m m e n t s   f r o m   t h e   J S I S   r e v i e w   t e a m . 	 A d l e r   P S ,   2 0 1 1 ,   A C C O U N T   O R G   S O C ,   V 3 6 ,   P 6 3 ,   D O I   1 0 . 1 0 1 6 / j . a o s . 2 0 1 1 . 0 2 . 0 0 2 ;   A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   A l m i r a l l   E ,   2 0 1 0 ,   A C A D   M A N A G E   R E V ,   V 3 5 ,   P 2 7 ;   A m a b i l e   T . M . ,   1 9 8 8 ,   I N N O V A T I O N   C R O S S   D I S ,   P 1 3 9 ;   A n d r i o l e   S J ,   2 0 1 0 ,   C O M M U N   A C M ,   V 5 3 ,   P 6 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 5 9 2 0 4 . 1 8 5 8 2 2 5 ;   A v i t a l   M ,   2 0 0 9 ,   I N F O R M   S Y S T   J ,   V 1 9 ,   P 3 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 5 7 5 . 2 0 0 7 . 0 0 2 9 1 . x ;   A w a z u   Y ,   2 0 0 9 ,   R E S   T E C H N O L   M A N A G E ,   V 5 2 ,   P 5 1 ;   B i n g h a m   A . ,   2 0 1 2 ,   O P E N   I N N O V A T I O N   M A R K ;   B l o h m   I . ,   2 0 1 1 ,   I N T   J   N E T W O R K I N G   V I R ,   V 9 ,   P 1 0 6 ;   B o u d r e a u   K ,   2 0 1 0 ,   M A N A G E   S C I ,   V 5 6 ,   P 1 8 4 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 0 0 . 1 2 1 5 ;   B o u d r e a u   K J ,   2 0 1 2 ,   O R G A N   S C I ,   V 2 3 ,   P 1 4 0 9 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 1 0 . 0 6 7 8 ;   B o u d r e a u   K J ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 8 4 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 2 2 ;   B o u d r e a u   K J ,   2 0 0 9 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 6 9 ;   B r a b h a m   D C ,   2 0 1 3 ,   M I T   P R E S S   E S S E N T ,   P 1 ;   B u e c h e l e r   T . ,   2 0 1 0 ,   A R T I F   L I F E ,   P 1 9 ;   C a r l i l e   P R ,   2 0 0 2 ,   O R G A N   S C I ,   V 1 3 ,   P 4 4 2 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 3 . 4 . 4 4 2 . 2 9 5 3 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C h e s b r o u g h   H . ,   2 0 0 8 ,   O P E N   I N N O V A T I O N   R E S ;   D a h a n   F . ,   2 0 0 1 ,   M A N A G E   S C I ,   V 4 7 ,   P 1 0 2 ;   D a h l a n d e r   L ,   2 0 1 0 ,   R E S   P O L I C Y ,   V 3 9 ,   P 6 9 9 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 0 . 0 1 . 0 1 3 ;   D i e n e r   K . ,   2 0 0 9 ,   R W T H   O P E N   I N N O V A T I O N ,   P 1 ;   D o a n   A . ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 7 ;   D o d g s o n   M ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 3 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 2 9 . x ;   E b n e r   W ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 4 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 6 4 . x ;   E n k e l   E ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 1 1 ;   E r d e n   Z . ,   2 0 0 8 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 1 7 ,   P 4 1 ;   E r i c k s o n   L . B . ,   2 0 1 2 ,   P   1 8   A M   C   I N F   S Y S T   A ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F a r a j   S ,   2 0 1 1 ,   O R G A N   S C I ,   V 2 2 ,   P 1 2 2 4 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 0 0 . 0 6 1 4 ;   F e l l e r   J ,   2 0 1 2 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 2 1 ,   P 2 1 6 ,   D O I   1 0 . 1 0 1 6 / j . j s i s . 2 0 1 2 . 0 3 . 0 0 2 ;   F e r g u s o n   D .   D . ,   2 0 1 0 ,   G L O B A L   P U L S E   2 0 1 0   I N ;   F r a n k e   N ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 5 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 0 6 - 9 ;   F u l l e r   J . ,   J   P R O D U C T   I N N O V A T I O N ;   F u l l e r   J ,   2 0 0 7 ,   J   B U S   R E S ,   V 6 0 ,   P 6 0 ,   D O I   1 0 . 1 0 1 6 / j . j b u s r e s . 2 0 0 6 . 0 9 . 0 1 9 ;   G a b l e   G ,   2 0 1 0 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 1 9 ,   P 3 ,   D O I   1 0 . 1 0 1 6 / j . j s i s . 2 0 1 0 . 0 2 . 0 0 3 ;   G a l l i e r s   R D ,   2 0 1 2 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 2 1 ,   P 8 5 ,   D O I   1 0 . 1 0 1 6 / j . j s i s . 2 0 1 2 . 0 7 . 0 0 1 ;   G i b s o n   J a m e s ,   1 9 7 7 ,   P E R C E I V I N G   A C T I N G   K N ,   P 6 7 ;   G o f f m a n   E r v i n g ,   1 9 5 9 ,   P R E S E N T A T I O N   S E L F   E V ;   H o w e   J H ,   2 0 0 6 ,   S C I   A M ,   V 2 9 5 ,   P 1 4 ;   H u i z i n g h   E .   K .   R .   E . ,   2 0 1 0 ,   T E C H N O V A T I O N ,   V 3 1 ,   P 1 ,   D O I   [ 1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 1 0 . 1 0 . 0 0 2 . ,   D O I   1 0 . 1 0 1 6 / J . T E C H N O V A T I 0 N . 2 0 1 0 . 1 0 . 0 0 2 ] ;   H u t t e r   K ,   2 0 1 1 ,   C R E A T   I N N O V   M A N A G ,   V 2 0 ,   P 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 1 1 . 0 0 5 8 9 . x ;   J a r v e n p a a   S L ,   2 0 1 1 ,   L O N G   R A N G E   P L A N N ,   V 4 4 ,   P 4 4 0 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 1 1 . 0 9 . 0 0 2 ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   J e p p e s e n   L B ,   2 0 0 6 ,   O R G A N   S C I ,   V 1 7 ,   P 4 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 5 6 ;   L a k h a n i   K . ,   2 0 1 2 ,   1 2 0 5 7   H A R V   B U S   S C H ;   L e e   S ,   2 0 1 0 ,   R E S   P O L I C Y ,   V 3 9 ,   P 2 9 0 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 9 . 1 2 . 0 0 9 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   L e o n a r d - B a r t o n   D . ,   1 9 9 5 ,   W E L L S P R I N G S   K N O W L E D G ;   L e u f   B . ,   2 0 0 1 ,   W I K I   W A Y   Q U I C K   C O L L A ,   P a t e n t   N o .   B o s t o n ,   M A ;   L i n d i c   J ,   2 0 1 1 ,   I N T   J   I N F O R M   M A N A G E ,   V 3 1 ,   P 1 8 3 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 1 0 . 1 2 . 0 0 4 ;   L u o   X M ,   2 0 0 6 ,   J   M A R K E T I N G ,   V 7 0 ,   P 6 7 ,   D O I   1 0 . 1 5 0 9 / j m k g . 7 0 . 2 . 6 7 ;   M a d s e n   T . ,   2 0 1 2 ,   A C   M A N   A N N   M   A U G   B O S ;   M a j c h r z a k   A ,   2 0 0 9 ,   M I S   Q   E X E C ,   V 8 ,   P 1 0 3 ;   M a j c h r z a k   A ,   2 0 1 2 ,   O R G A N   S C I ,   V 2 3 ,   P 9 5 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 1 0 . 0 6 7 7 ;   M a j c h r z a k   A . ,   2 0 1 3 ,   M I S   Q ;   M a j c h r z a k   A ,   2 0 1 3 ,   E N C Y   M A N A G E M E N T   T H E O ;   M a j c h r z a k   A ,   2 0 1 3 ,   M I S   Q U A R T ,   V 3 7 ,   P 4 5 5 ;   M a l h o t r a   A . ,   2 0 1 2 ,   A C M   T   M A N A G E   I N F   S Y S ,   V 3 ,   P 6 ;   M a l o n e   T W ,   2 0 1 0 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 1 ,   P 2 1 ;   M o r g a n   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 7 7 ;   N O R M A N N   R ,   1 9 9 3 ,   H A R V A R D   B U S   R E V ,   V 7 1 ,   P 6 5 ;   O ' R e i l l y   T . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ,   P 4 6 1 ;   P i l l e r   F T ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 0 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 2 . x ;   P o e t z   M K ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x ;   R a n s b o t h a m   S ,   2 0 1 2 ,   M A R K E T   S C I ,   V 3 1 ,   P 3 8 7 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 1 1 0 . 0 6 8 4 ;   R a n s b o t h a m   S ,   2 0 1 1 ,   M I S   Q U A R T ,   V 3 5 ,   P 6 1 3 ;   R h e i n g o l d   H . ,   2 0 0 3 ,   S M A R T   M O B S ;   S c h e n k   E . ,   2 0 1 1 ,   J   I N N O V A T I O N   E C ,   V 2 0 1 1 / 1 ,   P 9 3 ,   D O I   D O I   1 0 . 3 9 1 7 / J I E . 0 0 7 . 0 0 9 3 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   T e r w i e s c h   C . ,   2 0 0 9 ,   I N N O V A T I O N   T O U R N A M E N ;   T r o t t   P a u l ,   2 0 0 9 ,   I n t e r n a t i o n a l   J o u r n a l   o f   I n n o v a t i o n   M a n a g e m e n t ,   V 1 3 ,   D O I   1 0 . 1 1 4 2 / S 1 3 6 3 9 1 9 6 0 9 0 0 2 5 0 9 ;   T s a i   W P ,   2 0 0 2 ,   O R G A N   S C I ,   V 1 3 ,   P 1 7 9 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 3 . 2 . 1 7 9 . 5 3 6 ;   T s o u k a s   H ,   2 0 0 9 ,   O R G A N   S C I ,   V 2 0 ,   P 9 4 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 3 5 ;   V a n h a v e r b e k e   W . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ;   V o n   K r o g h   G . ,   2 0 1 2 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 2 1 ,   P 1 5 1 ;   V O N H I P P E L   E ,   1 9 8 6 ,   M A N A G E   S C I ,   V 3 2 ,   P 7 9 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 3 2 . 7 . 7 9 1 ;   W a g n e r   C ,   2 0 0 6 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 3 ,   P 1 7 ,   D O I   [ 1 0 . 2 7 5 3 / M I S 0 7 4 2 - I 2 2 2 2 3 0 3 0 2 ,   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 3 0 3 0 2 ] ;   W e s t   J ,   2 0 0 8 ,   I N D   I N N O V ,   V 1 5 ,   P 1 4 5 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 6 2 7 1 0 8 0 1 9 7 0 1 4 2 ;   W e s t   J . ,   2 0 1 3 ,   J   P R O D U C T   I   I N   P R E S S ;   W i l l i a m s   D . ,   2 0 1 2 ,   F O R R E S T E R   R E P O R T ;   W r i g h t   R . S . ,   2 0 1 3 ,   M I T   T E C H N O L O G Y   R E V ;   Y e   H . ,   2 0 1 2 ,   A N N   A C   M A N   M   A U G   B O S ;   Z w a s s   V ,   2 0 1 0 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 1 1 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 1 0 1 	 8 4 	 1 	 1 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 9 6 3 - 8 6 8 7 	 1 8 7 3 - 1 1 9 8 	 	 J   S T R A T E G I C   I N F   S Y S T 	 J .   S t r a t e g .   I n f .   S y s t . 	 D E C 	 2 0 1 3 	 2 2 	 4 	 	 	 	 	 2 5 7 	 2 6 8 	 	 1 0 . 1 0 1 6 / j . j s i s . 2 0 1 3 . 0 7 . 0 0 4 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 2 8 2 C P 	 W O S : 0 0 0 3 2 9 1 4 8 2 0 0 0 0 2 	 	 
 J 	 S c h a l l ,   D 	 	 	 	 S c h a l l ,   D a n i e l 	 	 	 A u t o m a t i c   Q u a l i t y   M a n a g e m e n t   i n   C r o w d s o u r c i n g 	 I E E E   T E C H N O L O G Y   A N D   S O C I E T Y   M A G A Z I N E 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   C a l l i s o n - B u r c h   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   X R D S   C R O S S R O A D S   A C M ,   V 1 7 ,   P 1 6 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   L i t t l e   G . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 5 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 4 0 ;   M u n r o   R . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 2 2 ;   R a m a k r i s h n a n   D o a n   R . ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ;   S c h a l l   D ,   2 0 0 8 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 2 ,   P 6 2 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 8 . 6 6 ;   S c h a l l   D . ,   2 0 1 2 ,   S P R I N G E R   B R I E F S   C O M P ;   S i g u r b j o r n s s o n   B . ,   2 0 0 8 ,   P   1 7   I N T   C   W O R L D   W I D ,   P 3 2 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 6 7 4 9 7 . 1 3 6 7 5 4 2 	 1 1 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 0 2 7 8 - 0 0 9 7 	 1 9 3 7 - 4 1 6 X 	 	 I E E E   T E C H N O L   S O C   M A G 	 I E E E   T e c h n o l .   S o c .   M a g . 	 W I N 	 2 0 1 3 	 3 2 	 4 	 	 	 	 	 9 	 1 3 	 	 1 0 . 1 1 0 9 / M T S . 2 0 1 3 . 2 2 8 6 4 2 0 	 	 5 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 E n g i n e e r i n g 	 2 7 5 Q Z 	 W O S : 0 0 0 3 2 8 6 9 3 7 0 0 0 0 4 	 	 
 J 	 W a r r i n e r ,   A B ;   K u p e r m a n ,   V ;   B r y s b a e r t ,   M 	 	 	 	 W a r r i n e r ,   A m y   B e t h ;   K u p e r m a n ,   V i c t o r ;   B r y s b a e r t ,   M a r c 	 	 	 N o r m s   o f   v a l e n c e ,   a r o u s a l ,   a n d   d o m i n a n c e   f o r   1 3 , 9 1 5   E n g l i s h   l e m m a s 	 B E H A V I O R   R E S E A R C H   M E T H O D S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 E m o t i o n ;   S e m a n t i c s ;   G e n d e r   d i f f e r e n c e s ;   A g e   d i f f e r e n c e s ;   C r o w d s o u r c i n g 	 L E X I C A L   D E C I S I O N   D A T A ;   A G E - O F - A C Q U I S I T I O N ;   E M O T I O N   W O R D S ;   I M A G E A B I L I T Y   R A T I N G S ;   G E N D E R - D I F F E R E N C E S ;   P R O J E C T ;   N O U N S ;   C O N C R E T E N E S S ;   A S S O C I A T I O N S ;   P E R S O N A L I T Y 	 I n f o r m a t i o n   a b o u t   t h e   a f f e c t i v e   m e a n i n g s   o f   w o r d s   i s   u s e d   b y   r e s e a r c h e r s   w o r k i n g   o n   e m o t i o n s   a n d   m o o d s ,   w o r d   r e c o g n i t i o n   a n d   m e m o r y ,   a n d   t e x t - b a s e d   s e n t i m e n t   a n a l y s i s .   T h r e e   c o m p o n e n t s   o f   e m o t i o n s   a r e   t r a d i t i o n a l l y   d i s t i n g u i s h e d :   v a l e n c e   ( t h e   p l e a s a n t n e s s   o f   a   s t i m u l u s ) ,   a r o u s a l   ( t h e   i n t e n s i t y   o f   e m o t i o n   p r o v o k e d   b y   a   s t i m u l u s ) ,   a n d   d o m i n a n c e   ( t h e   d e g r e e   o f   c o n t r o l   e x e r t e d   b y   a   s t i m u l u s ) .   T h u s   f a r ,   n e a r l y   a l l   r e s e a r c h   h a s   b e e n   b a s e d   o n   t h e   A N E W   n o r m s   c o l l e c t e d   b y   B r a d l e y   a n d   L a n g   ( 1 9 9 9 )   f o r   1 , 0 3 4   w o r d s .   W e   e x t e n d e d   t h a t   d a t a b a s e   t o   n e a r l y   1 4 , 0 0 0   E n g l i s h   l e m m a s ,   p r o v i d i n g   r e s e a r c h e r s   w i t h   a   m u c h   r i c h e r   s o u r c e   o f   i n f o r m a t i o n ,   i n c l u d i n g   g e n d e r ,   a g e ,   a n d   e d u c a t i o n a l   d i f f e r e n c e s   i n   e m o t i o n   n o r m s .   A s   a n   e x a m p l e   o f   t h e   n e w   p o s s i b i l i t i e s ,   w e   i n c l u d e d   s t i m u l i   f r o m   n e a r l y   a l l   o f   t h e   c a t e g o r y   n o r m s   ( e .   g . ,   t y p e s   o f   d i s e a s e s ,   o c c u p a t i o n s ,   a n d   t a b o o   w o r d s )   c o l l e c t e d   b y   V a n   O v e r s c h e l d e ,   R a w s o n ,   a n d   D u n l o s k y   ( J o u r n a l   o f   M e m o r y   a n d   L a n g u a g e   5 0 :   2 8 9 - 3 3 5 ,   2 0 0 4 ) ,   m a k i n g   i t   p o s s i b l e   t o   i n c l u d e   a f f e c t   i n   s t u d i e s   o f   s e m a n t i c   m e m o r y . 	 [ W a r r i n e r ,   A m y   B e t h ;   K u p e r m a n ,   V i c t o r ]   M c M a s t e r   U n i v ,   D e p t   L i n g u i s t   &   L a n g u a g e s ,   H a m i l t o n ,   O N   L 8 S   4 M 2 ,   C a n a d a ;   [ B r y s b a e r t ,   M a r c ]   U n i v   G h e n t ,   B - 9 0 0 0   G h e n t ,   B e l g i u m 	 K u p e r m a n ,   V   ( r e p r i n t   a u t h o r ) ,   M c M a s t e r   U n i v ,   D e p t   L i n g u i s t   &   L a n g u a g e s ,   T o g o   S a l m o n   H a l l   6 2 6 , 1 2 8 0   M a i n   S t   W e s t ,   H a m i l t o n ,   O N   L 8 S   4 M 2 ,   C a n a d a . 	 v i c k u p @ m c m a s t e r . c a 	 	 	 	 	 A l t a r r i b a   J ,   1 9 9 9 ,   B E H A V   R E S   M E T H   I N S   C ,   V 3 1 ,   P 5 7 8 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 0 0 7 3 8 ;   A m s e l   B D ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 0 2 8 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 2 - 0 2 1 5 - z ;   A u g u s t i n e   A A ,   2 0 1 1 ,   S O C   P S Y C H O L   P E R S   S C I ,   V 2 ,   P 5 0 8 ,   D O I   1 0 . 1 1 7 7 / 1 9 4 8 5 5 0 6 1 1 3 9 9 1 5 4 ;   B a a y e n   R H ,   2 0 0 6 ,   J   M E M   L A N G ,   V 5 5 ,   P 2 9 0 ,   D O I   1 0 . 1 0 1 6 / j . j m l . 2 0 0 6 . 0 3 . 0 0 8 ;   B a l o t a   D A ,   2 0 0 7 ,   B E H A V   R E S   M E T H O D S ,   V 3 9 ,   P 4 4 5 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 3 0 1 4 ;   B e s t g e n   Y ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 9 9 8 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 2 - 0 1 9 5 - z ;   B r a d l e y   M .   M . ,   1 9 9 9 ,   C 1   U   F L O R   N I M H   C T R   R ;   B r e m s   C . ,   2 0 1 0 ,   J o u r n a l   o f   H I V / A I D S   &   S o c i a l   S e r v i c e s ,   V 9 ,   P 3 5 6 ,   D O I   1 0 . 1 0 8 0 / 1 5 3 8 1 5 0 1 . 2 0 1 0 . 5 2 5 4 8 0 ;   B r y s b a e r t   M ,   2 0 0 9 ,   B E H A V   R E S   M E T H O D S ,   V 4 1 ,   P 9 7 7 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 1 . 4 . 9 7 7 ;   B r y s b a e r t   M ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 9 9 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 2 - 0 1 9 0 - 4 ;   B u r e a u   o f   L a b o r   S t a t i s t i c s ,   2 0 1 1 ,   N A T   O C C   E M P L   W A G   E S T ;   B u r g e s s   C ,   1 9 9 8 ,   B E H A V   R E S   M E T H   I N S   C ,   V 3 0 ,   P 1 8 8 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 0 0 6 4 3 ;   C O H E N   J ,   1 9 9 2 ,   P S Y C H O L   B U L L ,   V 1 1 2 ,   P 1 5 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 1 2 . 1 . 1 5 5 ;   C o r t e s e   M J ,   2 0 0 4 ,   B E H A V   R E S   M E T H   I N S   C ,   V 3 6 ,   P 3 8 4 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 5 5 8 5 ;   E i l o l a   T M ,   2 0 1 0 ,   B E H A V   R E S   M E T H O D S ,   V 4 2 ,   P 1 3 4 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 2 . 1 . 1 3 4 ;   F e r r a n d   L ,   2 0 1 0 ,   B E H A V   R E S   M E T H O D S ,   V 4 2 ,   P 4 8 8 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 2 . 2 . 4 8 8 ;   F r a g a   I ,   2 0 1 2 ,   Q   J   E X P   P S Y C H O L ,   V 6 5 ,   P 1 7 4 0 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 7 0 2 1 8 . 2 0 1 2 . 6 6 2 9 8 9 ;   G a r c i a   D . ,   2 0 1 2 ,   E P J   D A T A   S C I ,   V 1 ,   P 1 ,   D O I   [ 1 0 . 1 1 4 0 / e p j d s 3 ,   D O I   1 0 . 1 1 4 0 / E P J D S 3 ] ;   G I L H O O L Y   K J ,   1 9 8 0 ,   B E H A V   R E S   M E T H   I N S T R ,   V 1 2 ,   P 3 9 5 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 0 1 6 9 3 ;   J a n s c h e w i t z   K ,   2 0 0 8 ,   B E H A V   R E S   M E T H O D S ,   V 4 0 ,   P 1 0 6 5 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 0 . 4 . 1 0 6 5 ;   J u h a s z   B J ,   2 0 1 1 ,   Q   J   E X P   P S Y C H O L ,   V 6 4 ,   P 1 6 8 3 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 7 0 2 1 8 . 2 0 1 1 . 6 0 5 1 5 0 ;   J u h a s z   B J ,   2 0 1 3 ,   B E H A V   R E S   M E T H O D S ,   V 4 5 ,   P 1 6 0 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 2 - 0 2 4 2 - 9 ;   K e u l e e r s   E ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 2 8 7 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 1 8 - 4 ;   K e u l e e r s   E ,   2 0 1 0 ,   B E H A V   R E S   M E T H O D S ,   V 4 2 ,   P 6 4 3 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 2 . 3 . 6 4 3 ;   K l o u m a n n   I M ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 2 9 4 8 4 ;   K o u s t a   S T ,   2 0 0 9 ,   C O G N I T I O N ,   V 1 1 2 ,   P 4 7 3 ,   D O I   1 0 . 1 0 1 6 / j . c o g n i t i o n . 2 0 0 9 . 0 6 . 0 0 7 ;   K o u s t a   S T ,   2 0 1 1 ,   J   E X P   P S Y C H O L   G E N ,   V 1 4 0 ,   P 1 4 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 1 4 4 6 ;   K u p e r m a n   V ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 9 7 8 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 2 - 0 2 1 0 - 4 ;   L a n d a u e r   T K ,   1 9 9 7 ,   P S Y C H O L   R E V ,   V 1 0 4 ,   P 2 1 1 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 5 X . 1 0 4 . 2 . 2 1 1 ;   L e v e a u   N ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 0 0 7 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 2 - 0 2 0 8 - y ;   L i u   B ,   2 0 1 2 ,   S E N T I M E N T   A N A L   O P I N I ;   M e d l e r   D . ,   2 0 0 5 ,   W I S C O N S I N   P E R C E P T U A L ;   M e t L i f e   F o u n d a t i o n ,   2 0 1 1 ,   W H A T   A M   T H I N K S   M E T L I ;   M o h a m m a d   S . M . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 2 6 ;   M o o r s   A ,   2 0 1 3 ,   B E H A V   R E S   M E T H O D S ,   V 4 5 ,   P 1 6 9 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 2 - 0 2 4 3 - 8 ;   N e w m a n   M L ,   2 0 0 8 ,   D I S C O U R S E   P R O C E S S ,   V 4 5 ,   P 2 1 1 ,   D O I   1 0 . 1 0 8 0 / 0 1 6 3 8 5 3 0 8 0 2 0 7 3 7 1 2 ;   O s g o o d   C h a r l e s   E . ,   1 9 5 7 ,   M E A S U R E M E N T   M E A N I N G ;   P e t e r s e n   J L ,   2 0 1 0 ,   P S Y C H O L   B U L L ,   V 1 3 6 ,   P 2 1 ,   D O I   1 0 . 1 0 3 7 / a 0 0 1 7 5 0 4 ;   R a m m s t e d t   B ,   2 0 0 7 ,   E U R   J   P S Y C H O L   A S S E S S ,   V 2 3 ,   P 3 2 ,   D O I   1 0 . 1 0 2 7 / 1 0 1 5 - 5 7 5 9 . 2 3 . 1 . 3 2 ;   R e d o n d o   J ,   2 0 0 7 ,   B E H A V   R E S   M E T H O D S ,   V 3 9 ,   P 6 0 0 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 3 0 3 1 ;   S c h o c k   J ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 3 7 4 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 6 2 - 0 ;   S c o t t   G G ,   2 0 1 2 ,   J   E X P   P S Y C H O L   L E A R N ,   V 3 8 ,   P 7 8 3 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 7 2 0 9 ;   S h a o u l   C ,   2 0 1 0 ,   B E H A V   R E S   M E T H O D S ,   V 4 2 ,   P 3 9 3 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 2 . 2 . 3 9 3 ;   S o a r e s   A P ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 2 5 6 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 3 1 - 7 ;   S t a d t h a g e n - G o n z a l e z   H ,   2 0 0 6 ,   B E H A V   R E S   M E T H O D S ,   V 3 8 ,   P 5 9 8 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 3 8 9 1 ;   T i l l o t s o n   S M ,   2 0 0 8 ,   B E H A V   R E S   M E T H O D S ,   V 4 0 ,   P 1 0 7 5 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 0 . 4 . 1 0 7 5 ;   V a n   O v e r s c h e l d e   J P ,   2 0 0 4 ,   J   M E M   L A N G ,   V 5 0 ,   P 2 8 9 ,   D O I   1 0 . 1 0 1 6 / j . j m l . 2 0 0 3 . 1 0 . 0 0 3 ;   V e r o n a   E ,   2 0 1 2 ,   J   A B N O R M   P S Y C H O L ,   V 1 2 1 ,   P 4 9 8 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 5 3 0 8 ;   Y o u G o v ,   2 0 1 1 ,   C A N C   B R I T   M O S T   F E A R ;   Z h a o   X W ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 7 7 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 0 - 0 0 4 2 - z 	 5 0 	 7 	 7 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 3   U S A 	 1 5 5 4 - 3 5 1 X 	 1 5 5 4 - 3 5 2 8 	 	 B E H A V   R E S   M E T H O D S 	 B e h a v .   R e s .   M e t h o d s 	 D E C 	 2 0 1 3 	 4 5 	 4 	 	 	 	 	 1 1 9 1 	 1 2 0 7 	 	 1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 2 - 0 3 1 4 - x 	 	 1 7 	 P s y c h o l o g y ,   M a t h e m a t i c a l ;   P s y c h o l o g y ,   E x p e r i m e n t a l 	 P s y c h o l o g y 	 2 6 9 V Z 	 W O S : 0 0 0 3 2 8 2 7 2 1 0 0 0 2 2 	 2 3 4 0 4 6 1 3 	 
 J 	 K i n g ,   A J ;   G e h l ,   R W ;   G r o s s m a n ,   D ;   J e n s e n ,   J D 	 	 	 	 K i n g ,   A n d y   J . ;   G e h l ,   R o b e r t   W . ;   G r o s s m a n ,   D o u g l a s ;   J e n s e n ,   J a k o b   D . 	 	 	 S k i n   s e l f - e x a m i n a t i o n s   a n d   v i s u a l   i d e n t i f i c a t i o n   o f   a t y p i c a l   n e v i :   C o m p a r i n g   i n d i v i d u a l   a n d   c r o w d s o u r c i n g   a p p r o a c h e s 	 C A N C E R   E P I D E M I O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   P r e v e n t i o n ;   D e t e c t i o n ;   M e l a n o m a ;   S k i n   s e l f - e x a m i n a t i o n ;   V i s u a l   i d e n t i f i c a t i o n ;   S c r e e n i n g 	 M E L A N O M A ;   E F F I C A C Y ;   P A T I E N T ;   R I S K ;   T O O L 	 P u r p o s e :   S k i n   s e l f - e x a m i n a t i o n   ( S S E )   i s   o n e   m e t h o d   f o r   i d e n t i f y i n g   a t y p i c a l   n e v i   a m o n g   m e m b e r s   o f   t h e   g e n e r a l   p u b l i c .   U n f o r t u n a t e l y ,   p a s t   r e s e a r c h   h a s   s h o w n   t h a t   S S E   h a s   l o w   s e n s i t i v i t y   i n   d e t e c t i n g   a t y p i c a l   n e v i .   T h e   c u r r e n t   s t u d y   i n v e s t i g a t e s   w h e t h e r   c r o w d s o u r c i n g   ( c o l l e c t i v e   e f f o r t )   c a n   i m p r o v e   S S E   i d e n t i f i c a t i o n   a c c u r a c y .   C o l l e c t i v e   e f f o r t   i s   p o t e n t i a l l y   u s e f u l   f o r   i m p r o v i n g   p e o p l e ' s   v i s u a l   i d e n t i f i c a t i o n   o f   a t y p i c a l   n e v i   d u r i n g   S S E   b e c a u s e ,   e v e n   w h e n   a   s i n g l e   p e r s o n   h a s   l o w   r e l i a b i l i t y   a t   a   t a s k ,   t h e   p a t t e r n   o f   t h e   g r o u p   c a n   o v e r c o m e   t h e   l i m i t a t i o n s   o f   e a c h   i n d i v i d u a l .   M e t h o d s :   A d u l t s   ( N   =   5 0 0 )   w e r e   r e c r u i t e d   f r o m   a   s h o p p i n g   m a l l   i n   t h e   M i d w e s t .   P a r t i c i p a n t s   v i e w e d   e d u c a t i o n a l   p a m p h l e t s   a b o u t   S S E   a n d   t h e n   c o m p l e t e d   a   m o l e   i d e n t i f i c a t i o n   t a s k .   F o r   t h e   t a s k ,   p a r t i c i p a n t s   w e r e   a s k e d   t o   c i r c l e   m o l e   i m a g e s   t h a t   a p p e a r e d   a t y p i c a l .   F o r t y   n e v i   i m a g e s   w e r e   p r o v i d e d ;   n i n e   o f   t h e   i m a g e s   w e r e   o f   n e v i   t h a t   w e r e   l a t e r   d i a g n o s e d   a s   m e l a n o m a .   R e s u l t s :   C o n s i s t e n t   w i t h   p a s t   r e s e a r c h ,   i n d i v i d u a l   e f f o r t   e x h i b i t e d   m o d e s t   s e n s i t i v i t y   ( . 5 8 )   f o r   i d e n t i f y i n g   a t y p i c a l   n e v i   i n   t h e   m o l e   i d e n t i f i c a t i o n   t a s k .   A s   p r e d i c t e d ,   c o l l e c t i v e   e f f o r t   o v e r c a m e   t h e   l i m i t a t i o n s   o f   i n d i v i d u a l   e f f o r t .   S p e c i f i c a l l y ,   a   1 9 %   c o l l e c t i v e   e f f o r t   i d e n t i f i c a t i o n   t h r e s h o l d   e x h i b i t e d   s u p e r i o r   s e n s i t i v i t y   ( . 9 0 ) .   C o n c l u s i o n s :   T h e   r e s u l t s   o f   t h e   c u r r e n t   s t u d y   s u g g e s t   t h a t   l i m i t a t i o n s   o f   S S E   c a n   b e   c o u n t e r e d   b y   c o l l e c t i v e   e f f o r t ,   a   f i n d i n g   t h a t   s u p p o r t s   t h e   p u r s u i t   o f   i n t e r v e n t i o n s   p r o m o t i n g   e a r l y   m e l a n o m a   d e t e c t i o n   t h a t   c o n t a i n   c r o w d s o u r c e d   v i s u a l   i d e n t i f i c a t i o n   c o m p o n e n t s .   ( C )   2 0 1 3   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ K i n g ,   A n d y   J . ]   T e x a s   T e c h   U n i v ,   C o l l   M e d i a   &   C o m m u n ,   L u b b o c k ,   T X   7 9 4 0 9   U S A ;   [ G e h l ,   R o b e r t   W . ;   J e n s e n ,   J a k o b   D . ]   U n i v   U t a h ,   D e p t   C o m m u n ,   S a l t   L a k e   C i t y ,   U T   8 4 1 1 2   U S A ;   [ G r o s s m a n ,   D o u g l a s ]   U n i v   U t a h ,   D e p t   D e r m a t o l ,   S a l t   L a k e   C i t y ,   U T   8 4 1 1 2   U S A ;   [ G r o s s m a n ,   D o u g l a s ]   U n i v   U t a h ,   D e p t   O n c o l   S c i ,   S a l t   L a k e   C i t y ,   U T   8 4 1 1 2   U S A ;   [ J e n s e n ,   J a k o b   D . ]   U n i v   U t a h ,   D e p t   H l t h   P r o m o t   &   E d u c ,   S a l t   L a k e   C i t y ,   U T   8 4 1 1 2   U S A 	 K i n g ,   A J   ( r e p r i n t   a u t h o r ) ,   T e x a s   T e c h   U n i v ,   C o l l   M e d i a   &   C o m m u n ,   B o x   4 3 0 8 2 ,   L u b b o c k ,   T X   7 9 4 0 9   U S A . 	 a n d y . k i n g @ t t u . e d u ;   r o b e r t . g e h l @ u t a h . e d u ;   d o u g . g r o s s m a n @ h c i . u t a h . e d u ;   j a k o b . j e n s e n @ u t a h . e d u 	 	 	 N a t i o n a l   I n s t i t u t e s   o f   H e a l t h ;   C a n c e r   P r e v e n t i o n   I n t e r n s h i p   P r o g r a m   [ R 2 5 C A 1 2 8 7 7 0 ] ;   N a t i o n a l   C a n c e r   I n s t i t u t e 	 F u n d i n g   f o r   t h e   p r o j e c t   w a s   p r o v i d e d   b y   t h e   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h ,   N a t i o n a l   C a n c e r   I n s t i t u t e ,   R 2 5 C A 1 2 8 7 7 0   ( D .   T e e g a r d e n )   C a n c e r   P r e v e n t i o n   I n t e r n s h i p   P r o g r a m   ( A n d y   J .   K i n g )   a d m i n i s t e r e d   b y   t h e   O n c o l o g i c a l   S c i e n c e   C e n t e r   a n d   t h e   D i s c o v e r y   L e a r n i n g   R e s e a r c h   C e n t e r   a t   P u r d u e   U n i v e r s i t y . 	 A n e j a   S ,   2 0 1 2 ,   A R C H   D E R M A T O L ,   V 1 4 8 ,   P 1 7 4 ,   D O I   1 0 . 1 0 0 1 / a r c h d e r m a t o l . 2 0 1 1 . 3 4 5 ;   A r m s t r o n g   A p r i l   W ,   2 0 1 2 ,   D e r m a t o l   O n l i n e   J ,   V 1 8 ,   P 1 5 ;   A r n o l d   M R ,   2 0 0 5 ,   P R E V   M E D ,   V 4 0 ,   P 2 6 8 ,   D O I   1 0 . 1 0 1 6 / j . y p m e d . 2 0 0 4 . 0 5 . 0 3 1 ;   B u e t t n e r   P G ,   2 0 0 0 ,   A M   J   E P I D E M I O L ,   V 1 5 1 ,   P 7 2 ;   C a r l i   P ,   2 0 0 2 ,   B R I T   J   D E R M A T O L ,   V 1 4 6 ,   P 2 6 1 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 2 1 3 3 . 2 0 0 2 . 0 4 5 8 0 . x ;   C h a n a l   V ,   2 0 1 0 ,   M A N A G E M E N T ,   V 4 ,   P 3 1 8 ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ;   G e h l   R W ,   2 0 1 1 ,   N E W   M E D I A   S O C ,   V 1 3 ,   P 1 2 2 8 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 1 1 4 0 1 7 3 5 ;   G l a n z   K ,   2 0 0 3 ,   C A N C E R   D E T E C T   P R E V ,   V 2 7 ,   P 3 1 1 ,   D O I   1 0 . 1 0 1 6 / S 0 3 6 1 - 0 9 0 X ( 0 3 ) 0 0 0 9 4 - 1 ;   G o o d s o n   A G ,   2 0 0 9 ,   J   A M   A C A D   D E R M A T O L ,   V 6 0 ,   P 7 1 9 ,   D O I   1 0 . 1 0 1 6 / j . j a a d . 2 0 0 8 . 1 0 . 0 6 5 ;   G o o d s o n   A G ,   2 0 1 0 ,   D E R M A T O L   S U R G ,   V 3 6 ,   P 1 0 8 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 2 4 - 4 7 2 5 . 2 0 1 0 . 0 1 5 8 9 . x ;   G o u l a r t   J M ,   2 0 1 1 ,   A R C H   D E R M A T O L ,   V 1 4 7 ,   P 5 3 ,   D O I   1 0 . 1 0 0 1 / a r c h d e r m a t o l . 2 0 1 0 . 3 8 7 ;   G r i n e r   P   F ,   1 9 8 1 ,   A n n   I n t e r n   M e d ,   V 9 4 ,   P 5 5 7 ;   G r o b   J J ,   1 9 9 8 ,   A R C H   D E R M A T O L ,   V 1 3 4 ,   P 1 0 3 ,   D O I   1 0 . 1 0 0 1 / a r c h d e r m . 1 3 4 . 1 . 1 0 3 - a ;   H a m i d i   R ,   2 0 1 0 ,   I N T   J   D E R M A T O L ,   V 4 9 ,   P 1 2 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 4 6 3 2 . 2 0 0 9 . 0 4 2 6 8 . x ;   H e s s e   B W ,   2 0 1 1 ,   T R A N S L   B E H A V   M E D ,   V 1 ,   P 1 7 5 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 3 1 4 2 - 0 1 0 - 0 0 0 1 - 3 ;   H u t c h i s o n   L ,   2 0 0 5 ,   R U R A L   H L T H   P E O P L E   2 0 ,   V 3 ,   P 1 ;   J e n s e n   J D ,   2 0 0 8 ,   J   A M   C O L L   H E A L T H ,   V 5 6 ,   P 7 0 1 ,   D O I   1 0 . 3 2 0 0 / J A C H . 5 6 . 6 . 7 0 1 - 7 0 5 ;   L e s l i e   S ,   2 0 1 2 ,   M L A   N E W S ,   V 5 2 ,   P 8 ;   L i c h t e n t h a l e r   U . ,   2 0 0 8 ,   C R E A T I V I T Y   I N N O V A T I O ,   V 1 7 ,   P 1 4 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 4 6 7 - 8 6 9 1 . 2 0 0 7 . 0 0 4 6 1 . X ;   L i h   A . ,   2 0 0 9 ,   W I K I P E D I A   R E V O L U T I O N ;   M a l i n   M C ,   2 0 0 1 ,   J   G E O P H Y S   R E S - P L A N E T ,   V 1 0 6 ,   P 2 3 4 2 9 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 0 J E 0 0 1 4 5 5 ;   M a r j a n o v i c   S ,   2 0 1 2 ,   S C I   P U B L   P O L I C Y ,   V 3 9 ,   P 3 1 8 ,   D O I   1 0 . 1 0 9 3 / s c i p o l / s c s 0 0 9 ;   M C N E I L   B J ,   1 9 7 5 ,   N E W   E N G L   J   M E D ,   V 2 9 3 ,   P 2 1 1 ,   D O I   1 0 . 1 0 5 6 / N E J M 1 9 7 5 0 7 3 1 2 9 3 0 5 0 1 ;   M i l l e r   D R ,   1 9 9 6 ,   J   A M   A C A D   D E R M A T O L ,   V 3 4 ,   P 9 6 2 ,   D O I   1 0 . 1 0 1 6 / S 0 1 9 0 - 9 6 2 2 ( 9 6 ) 9 0 2 7 3 - X ;   N A S A   O p e n   G o v e r n m e n t   P l a n ,   2 0 1 0 ,   P U B L   P A R T   A E R   R E S   S P ;   P e p e   M S ,   2 0 0 4 ,   S T A T   E V A L U A T I O N   M E D ;   P o e t z   M K ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x ;   R a y m o n d   E S ,   2 0 0 5 ,   1   M O N D A Y ;   R o b i n s o n   J K ,   2 0 0 8 ,   J   A M   A C A D   D E R M A T O L ,   V 5 8 ,   P 7 5 5 ,   D O I   1 0 . 1 0 1 6 / j . j a a d . 2 0 0 7 . 1 2 . 0 2 7 ;   S i e g e l   R ,   2 0 1 2 ,   C A - C A N C E R   J   C L I N ,   V 6 2 ,   P 1 0 ,   D O I   1 0 . 3 3 2 2 / c a a c . 2 0 1 3 8 ;   S i m p s o n   C R ,   2 0 0 7 ,   C L I N   E X P   A L L E R G Y ,   V 3 7 ,   P 1 5 8 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 2 2 2 . 2 0 0 7 . 0 2 8 3 0 . x ;   S m i t h   J E ,   2 0 0 0 ,   A N N   I N T E R N   M E D ,   V 1 3 2 ,   P 8 0 4 ;   C a l o n g e   N ,   2 0 0 9 ,   A N N   I N T E R N   M E D ,   V 1 5 0 ,   P 1 8 8 ;   v o n   A h n   L ,   2 0 0 9 ,   D E S   A U T   C O N ,   P 4 1 8 	 3 5 	 3 	 3 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 1 8 7 7 - 7 8 2 1 	 1 8 7 7 - 7 8 3 X 	 	 C A N C E R   E P I D E M I O L 	 C a n c e r   E p i d e m i o l . 	 D E C 	 2 0 1 3 	 3 7 	 6 	 	 	 	 	 9 7 9 	 9 8 4 	 	 1 0 . 1 0 1 6 / j . c a n e p . 2 0 1 3 . 0 9 . 0 0 4 	 	 6 	 O n c o l o g y ;   P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h 	 O n c o l o g y ;   P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h 	 2 6 9 O O 	 W O S : 0 0 0 3 2 8 2 5 1 0 0 0 0 3 4 	 2 4 0 7 5 7 9 7 	 
 J 	 K a r v e t s k i ,   C W ;   O l s o n ,   K C ;   M a n d e l ,   D R ;   T w a r d y ,   C R 	 	 	 	 K a r v e t s k i ,   C h r i s t o p h e r   W . ;   O l s o n ,   K e n n e t h   C . ;   M a n d e l ,   D a v i d   R . ;   T w a r d y ,   C h a r l e s   R . 	 	 	 P r o b a b i l i s t i c   C o h e r e n c e   W e i g h t i n g   f o r   O p t i m i z i n g   E x p e r t   F o r e c a s t s 	 D E C I S I O N   A N A L Y S I S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 p r o b a b i l i s t i c   c o h e r e n c e ;   f o r e c a s t   a g g r e g a t i o n ;   c r o w d s o u r c i n g ;   l i n e a r   o p i n i o n   p o o l ;   f i f t y - f i f t y   b l i p ;   p r a c t i c e 	 S U B J E C T I V E - P R O B A B I L I T Y ;   R I S K   A N A L Y S I S ;   J U D G M E N T ;   A S S E S S M E N T S ;   E X P L A N A T I O N ;   S T R A T E G Y 	 M e t h o d s   f o r   e l i c i t i n g   a n d   a g g r e g a t i n g   e x p e r t   j u d g m e n t   a r e   n e c e s s a r y   w h e n   d e c i s i o n - r e l e v a n t   d a t a   a r e   s c a r c e .   S u c h   m e t h o d s   h a v e   b e e n   u s e d   f o r   a g g r e g a t i n g   t h e   j u d g m e n t s   o f   a   l a r g e ,   h e t e r o g e n e o u s   g r o u p   o f   f o r e c a s t e r s ,   a s   w e l l   a s   t h e   m u l t i p l e   j u d g m e n t s   p r o d u c e d   f r o m   a n   i n d i v i d u a l   f o r e c a s t e r .   T h i s   p a p e r   a d d r e s s e s   h o w   m u l t i p l e   r e l a t e d   i n d i v i d u a l   f o r e c a s t s   c a n   b e   u s e d   t o   i m p r o v e   a g g r e g a t i o n   o f   p r o b a b i l i t i e s   f o r   a   b i n a r y   e v e n t   a c r o s s   a   s e t   o f   f o r e c a s t e r s .   W e   e x t e n d   p r e v i o u s   e f f o r t s   t h a t   u s e   p r o b a b i l i s t i c   i n c o h e r e n c e   o f   a n   i n d i v i d u a l   f o r e c a s t e r ' s   s u b j e c t i v e   p r o b a b i l i t y   j u d g m e n t s   t o   w e i g h t   a n d   a g g r e g a t e   t h e   j u d g m e n t s   o f   m u l t i p l e   f o r e c a s t e r s   f o r   t h e   g o a l   o f   i n c r e a s i n g   t h e   a c c u r a c y   o f   f o r e c a s t s .   W i t h   d a t a   f r o m   t w o   s t u d i e s ,   w e   d e s c r i b e   a n   a p p r o a c h   f o r   e l i c i t i n g   e x t r a   p r o b a b i l i t y   j u d g m e n t s   t o   ( i )   a d j u s t   t h e   j u d g m e n t s   o f   e a c h   i n d i v i d u a l   f o r e c a s t e r ,   a n d   ( i i )   a s s i g n   w e i g h t s   t o   t h e   j u d g m e n t s   t o   a g g r e g a t e   o v e r   t h e   e n t i r e   s e t   o f   f o r e c a s t e r s .   W e   s h o w   i m p r o v e m e n t   o f   u p   t o   3 0 %   o v e r   t h e   e s t a b l i s h e d   b e n c h m a r k   o f   a   s i m p l e   e q u a l - w e i g h t e d   a v e r a g i n g   o f   f o r e c a s t s .   W e   a l s o   d e s c r i b e   h o w   t h i s   m e t h o d   c a n   b e   u s e d   t o   r e m e d y   t h e   " f i f t y - f i f t y   b l i p "   t h a t   o c c u r s   w h e n   f o r e c a s t e r s   u s e   t h e   p r o b a b i l i t y   v a l u e   o f   0 . 5   t o   r e p r e s e n t   e p i s t e m i c   u n c e r t a i n t y . 	 [ K a r v e t s k i ,   C h r i s t o p h e r   W . ;   O l s o n ,   K e n n e t h   C . ]   G e o r g e   M a s o n   U n i v ,   D e p t   A p p l   I n f o r m a t   T e c h n o l ,   F a i r f a x ,   V A   2 2 0 3 0   U S A ;   [ M a n d e l ,   D a v i d   R . ]   D R D C   T o r o n t o ,   S o c i o c o g n i t   S y s t   S e c t ,   T o r o n t o ,   O N   M 3 J   I P 3 ,   C a n a d a ;   [ M a n d e l ,   D a v i d   R . ]   Y o r k   U n i v ,   D e p t   P s y c h o l ,   T o r o n t o ,   O N   M 3 J   I P 3 ,   C a n a d a ;   [ T w a r d y ,   C h a r l e s   R . ]   G e o r g e   M a s o n   U n i v ,   C o m m a n d   C o n t r o l   C o m m u n   C o m p   &   I n t e l l i g e n c e   C t r ,   F a i r f a x ,   V A   2 2 0 3 0   U S A 	 K a r v e t s k i ,   C W   ( r e p r i n t   a u t h o r ) ,   G e o r g e   M a s o n   U n i v ,   D e p t   A p p l   I n f o r m a t   T e c h n o l ,   F a i r f a x ,   V A   2 2 0 3 0   U S A . 	 c k a r v e t s k i @ g m a i l . c o m ;   k o l s o n 8 @ g m u . e d u ;   d r m a n d e l 6 6 @ g m a i l . c o m ;   c t w a r d y @ g m u . e d u 	 	 	 	 	 M u r p h y   A .   H . ,   1 9 7 3 ,   J o u r n a l   o f   A p p l i e d   M e t e o r o l o g y ,   V 1 2 ,   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 5 0 ( 1 9 7 3 ) 0 1 2 < 0 5 9 5 : A N V P O T > 2 . 0 . C O ; 2 ;   B r i e r   G . W . ,   1 9 5 0 ,   M O N T H L Y   W E A T H E R   R E V I ,   V 7 8 ,   P 1 ,   D O I   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 9 3 ( 1 9 5 0 ) 0 7 8 < 0 0 0 1 : V O F E I T > 2 . 0 . C O ; 2 ;   B u r g m a n   M A ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   P 1 ;   C l e m e n   R T ,   2 0 0 8 ,   R E L I A B   E N G   S Y S T   S A F E ,   V 9 3 ,   P 7 6 0 ,   D O I   1 0 . 1 0 1 6 / j . r e s s . 2 0 0 8 . 0 2 . 0 0 3 ;   C l e m e n   R T ,   1 9 9 9 ,   R I S K   A N A L ,   V 1 9 ,   P 1 8 7 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 6 9 1 7 5 0 9 5 6 0 ;   C o o k e   R .   M . ,   1 9 9 1 ,   E X P E R T S   U N C E R T A I N T Y ;   C o o k e   R M ,   2 0 0 8 ,   R E L I A B   E N G   S Y S T   S A F E ,   V 9 3 ,   P 6 5 7 ,   D O I   1 0 . 1 0 1 6 / j . r e s s . 2 0 0 7 . 0 3 . 0 0 5 ;   D e   F i n e t t i   B ,   1 9 9 0 ,   T H E O R Y   P R O B A B I L I T Y   C ;   d e   B r u i n   W B ,   2 0 0 2 ,   R I S K   A N A L ,   V 2 2 ,   P 7 1 3 ;   G e n e s t   C ,   1 9 9 0 ,   J   F O R E C A S T I N G ,   V 9 ,   P 5 3 ;   G n e i t i n g   T ,   2 0 1 1 ,   J   A M   S T A T   A S S O C ,   V 1 0 6 ,   P 7 4 6 ,   D O I   1 0 . 1 1 9 8 / j a s a . 2 0 1 1 . r 1 0 1 3 8 ;   H e r z o g   S M ,   2 0 0 9 ,   P S Y C H O L   S C I ,   V 2 0 ,   P 2 3 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 2 8 0 . 2 0 0 9 . 0 2 2 7 1 . x ;   H I R T   E R ,   1 9 9 5 ,   J   P E R S   S O C   P S Y C H O L ,   V 6 9 ,   P 1 0 6 9 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 6 9 . 6 . 1 0 6 9 ;   H s e e   C K ,   1 9 9 6 ,   O R G A N   B E H A V   H U M   D E C ,   V 6 7 ,   P 2 4 7 ,   D O I   1 0 . 1 0 0 6 / o b h d . 1 9 9 6 . 0 0 7 7 ;   K a r v e t s k i   C W ,   2 0 1 3 ,   E U R O   J   D E C I S I O N   P R O C ;   K O L M O G O R O V   A N D R E I ,   1 9 5 6 ,   F D N   T H E O R Y   P R O B A B I L I ;   L a r r i c k   R P ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 1 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 5 0 . 0 4 5 9 ;   L I N D L E Y   D V ,   1 9 7 9 ,   J   R O Y   S T A T   S O C   A   S T A ,   V 1 4 2 ,   P 1 4 6 ,   D O I   1 0 . 2 3 0 7 / 2 3 4 5 0 7 8 ;   L O R D   C G ,   1 9 8 4 ,   J   P E R S   S O C   P S Y C H O L ,   V 4 7 ,   P 1 2 3 1 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 4 7 . 6 . 1 2 3 1 ;   M a c c h i   L ,   1 9 9 9 ,   P S Y C H O L   R E V ,   V 1 0 6 ,   P 2 1 0 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 5 X . 1 0 6 . 1 . 2 1 0 ;   M a n d e l   D R ,   2 0 0 8 ,   C O G N I T I O N ,   V 1 0 6 ,   P 1 3 0 ,   D O I   1 0 . 1 0 1 6 / j . c o g n i t i o n . 2 0 0 7 . 0 1 . 0 0 1 ;   M a n d e l   D R ,   2 0 0 5 ,   J   E X P   P S Y C H O L - A P P L ,   V 1 1 ,   P 2 7 7 ,   D O I   1 0 . 1 0 3 7 / 1 0 7 6 - 8 9 8 X . 1 1 . 4 . 2 7 7 ;   M e r r i c k   J R W ,   2 0 0 8 ,   D E C I S   A N A L ,   V 5 ,   P 4 3 ;   O p p e n h e i m e r   D M ,   2 0 0 9 ,   J   E X P   S O C   P S Y C H O L ,   V 4 5 ,   P 8 6 7 ,   D O I   1 0 . 1 0 1 6 / j . j e s p . 2 0 0 9 . 0 3 . 0 0 9 ;   O s h e r s o n   D ,   2 0 0 6 ,   G A M E   E C O N   B E H A V ,   V 5 6 ,   P 1 4 8 ;   P a t e C o r n e l l   M E ,   1 9 9 6 ,   R E L I A B   E N G   S Y S T   S A F E ,   V 5 4 ,   P 9 5 ,   D O I   1 0 . 1 0 1 6 / S 0 9 5 1 - 8 3 2 0 ( 9 6 ) 0 0 0 6 7 - 1 ;   P e t e r s   E ,   2 0 0 7 ,   M E D   C A R E   R E S   R E V ,   V 6 4 ,   P 1 6 9 ,   D O I   1 0 . 1 1 7 7 / 1 0 7 7 5 5 8 7 0 6 2 9 8 2 9 0 ;   P r e d d   J .   B . ,   2 0 0 8 ,   D E C I S   A N A L ,   V 5 ,   P 1 7 7 ,   D O I   1 0 . 1 2 8 7 / d e c a . 1 0 8 0 . 0 1 1 9 ;   R o h r e r   D ,   2 0 0 7 ,   C U R R   D I R   P S Y C H O L   S C I ,   V 1 6 ,   P 1 8 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 7 2 1 . 2 0 0 7 . 0 0 5 0 0 . x ;   S H A R P   G L ,   1 9 8 8 ,   O R G A N   B E H A V   H U M   D E C ,   V 4 2 ,   P 2 7 1 ,   D O I   1 0 . 1 0 1 6 / 0 7 4 9 - 5 9 7 8 ( 8 8 ) 9 0 0 0 1 - 5 ;   S i e c k   W R ,   2 0 0 7 ,   O R G   B E H A V   H U M A N   D E C I ,   V 1 0 3 ,   P 6 8 ;   S p r e n g e r   A M ,   2 0 1 1 ,   F R O N T I E R S   C O G N I T I V E ,   V 2 ,   P 1 ;   S u r o w i e c k i   J ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T e t l o c k   P E ,   2 0 0 5 ,   E X P E R T   P O L I T I C A L   J U D G M E N T :   H O W   G O O D   I S   I T ,   H O W   C A N   W E   K N O W ,   P 1 ;   T s a i   J ,   2 0 1 2 ,   P   H U M   F A C T   E R G   S O C   5 ,   P 3 1 3 ;   T V E R S K Y   A ,   1 9 9 4 ,   P S Y C H O L   R E V ,   V 1 0 1 ,   P 5 4 7 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 5 X . 1 0 1 . 4 . 5 4 7 ;   T V E R S K Y   A ,   1 9 7 4 ,   S C I E N C E ,   V 1 8 5 ,   P 1 1 2 4 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 8 5 . 4 1 5 7 . 1 1 2 4 ;   V u l   E ,   2 0 0 8 ,   P S Y C H O L   S C I ,   V 1 9 ,   P 6 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 2 8 0 . 2 0 0 8 . 0 2 1 3 6 . x ;   W a n g   G C ,   2 0 1 1 ,   D E C I S   A N A L ,   V 8 ,   P 1 2 8 ,   D O I   1 0 . 1 2 8 7 / d e c a . 1 1 1 0 . 0 2 0 6 ;   W e l l e r   J .   A . ,   2 0 1 2 ,   J   B E H A V   D E C I S   M A K I N G ,   V 2 6 ,   P 1 9 8 ;   W i l l i a m s   J .   J . ,   2 0 0 7 ,   P   2 9   A N N   M   C O G N   S C I ,   P 1 6 5 3 ;   W i n k l e r   R . L . ,   2 0 0 4 ,   D E C I S   A N A L ,   V 1 ,   P 1 6 7 ,   D O I   D O I   1 0 . 1 2 8 7 / D E C A . 1 0 3 0 . 0 0 0 8 ;   W R I G H T   G ,   1 9 9 4 ,   O R G A N   B E H A V   H U M   D E C ,   V 5 7 ,   P 1 ,   D O I   1 0 . 1 0 0 6 / o b h d . 1 9 9 4 . 1 0 0 1 ;   Y A N I V   I ,   1 9 9 1 ,   P S Y C H O L   B U L L ,   V 1 1 0 ,   P 6 1 1 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 1 0 . 3 . 6 1 1 	 4 4 	 4 	 4 	 I N F O R M S 	 C A T O N S V I L L E 	 5 5 2 1   R E S E A R C H   P A R K   D R ,   S U I T E   2 0 0 ,   C A T O N S V I L L E ,   M D   2 1 2 2 8   U S A 	 1 5 4 5 - 8 4 9 0 	 1 5 4 5 - 8 5 0 4 	 	 D E C I S   A N A L 	 D e c i s .   A n a l . 	 D E C 	 2 0 1 3 	 1 0 	 4 	 	 	 	 	 3 0 5 	 3 2 6 	 	 1 0 . 1 2 8 7 / d e c a . 2 0 1 3 . 0 2 7 9 	 	 2 2 	 M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 2 6 1 P K 	 W O S : 0 0 0 3 2 7 6 7 6 9 0 0 0 0 4 	 	 
 J 	 B l o h m ,   I ;   L e i m e i s t e r ,   J M ;   K r c m a r ,   H 	 	 	 	 B l o h m ,   I v o ;   L e i m e i s t e r ,   J a n   M a r c o ;   K r c m a r ,   H e l m u t 	 	 	 C r o w d s o u r c i n g :   H o w   t o   B e n e f i t   f r o m   ( T o o )   M a n y   G r e a t   I d e a s 	 M I S   Q U A R T E R L Y   E X E C U T I V E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 C U S T O M E R S 	 T h i s   a r t i c l e   f o c u s e s   o n   h o w   c o m p a n i e s   c a n   c o p e   w i t h   t h e   e n o r m o u s   v o l u m e   a n d   v a r i e t y   o f   d a t a   ( b i g   d a t a )   t h a t   i s   a c q u i r e d   o n   c r o w d s o u r c i n g   p l a t f o r m s   f r o m   t h e   w o r l d w i d e   c o m m u n i t y   o f   I n t e r n e t   u s e r s .   W e   i d e n t i f y   t h e   c h a l l e n g e s   o f   i m p l e m e n t i n g   c r o w d s o u r c i n g   p l a t f o r m s   a n d   s h o w   h o w   C I O s   a n d   o t h e r   o r g a n i z a t i o n a l   l e a d e r s   c a n   b u i l d   t h e   a b s o r p t i v e   c a p a c i t y   n e c e s s a r y   t o   e x t r a c t   b u s i n e s s   v a l u e   f r o m   c r o w d s o u r c e d   d a t a . ( 1 , 2 ) 	 [ B l o h m ,   I v o ;   L e i m e i s t e r ,   J a n   M a r c o ]   U n i v   S t   G a l l e n ,   I n s t   I n f o r m a t   M a n a g e m e n t ,   S t   G a l l e n ,   S w i t z e r l a n d ;   [ L e i m e i s t e r ,   J a n   M a r c o ]   U n i v   K a s s e l ,   C h a i r   I n f o r m a t   S y s t ,   K a s s e l ,   G e r m a n y ;   [ K r c m a r ,   H e l m u t ]   T e c h   U n i v   M u n i c h ,   D e p t   I n f o r m a t ,   C h a i r   I n f o r m a t   S y s t ,   D - 8 0 2 9 0   M u n i c h ,   G e r m a n y 	 B l o h m ,   I   ( r e p r i n t   a u t h o r ) ,   U n i v   S t   G a l l e n ,   I n s t   I n f o r m a t   M a n a g e m e n t ,   S t   G a l l e n ,   S w i t z e r l a n d . 	 i v o . b l o h m @ u n i s g . c h ;   j a n m a r c o . l e i m e i s t e r @ u n i s g . c h ;   k r c m a r @ i n . t u m . d e 	 	 	 	 	 A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   B j e l l a n d   O M ,   2 0 0 8 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 3 2 ;   B l o h m   I ,   2 0 1 3 ,   B U S   I N F O R M   S Y S T   E N G + ,   V 5 ,   P 2 7 5 ,   D O I   1 0 . 1 0 0 7 / s 1 2 5 9 9 - 0 1 3 - 0 2 7 3 - 5 ;   D i   G a n g i   P M ,   2 0 1 0 ,   M I S   Q   E X E C ,   V 9 ,   P 2 1 3 ;   D o n   T a p s c o t t ,   2 0 0 8 ,   W I K I N O M I C S   M A S S   C O L L ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F L A N A G A N   J C ,   1 9 5 4 ,   P S Y C H O L   B U L L ,   V 5 1 ,   P 3 2 7 ,   D O I   1 0 . 1 0 3 7 / h 0 0 6 1 4 7 0 ;   J a r v e n p a a   S L ,   2 0 1 3 ,   M I S   Q   E X E C ,   V 1 2 ,   P 1 2 5 ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   L a k h a n i   K R ,   2 0 1 3 ,   N A T   B I O T E C H N O L ,   V 3 1 ,   P 1 0 8 ,   D O I   1 0 . 1 0 3 8 / n b t . 2 4 9 5 ;   L A N D I S   J R ,   1 9 7 7 ,   B I O M E T R I C S ,   V 3 3 ,   P 1 5 9 ,   D O I   1 0 . 2 3 0 7 / 2 5 2 9 3 1 0 ;   R i e d l   C ,   2 0 1 3 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 7 ,   P 7 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 7 0 3 0 1 ;   T e o   T S H ,   2 0 1 1 ,   M I S   Q   E X E C ,   V 1 0 ,   P 1 ;   V a n   d e n   B o s c h   F .   A .   J . ,   2 0 0 5 ,   A C A D   M A N A G E   J ,   V 4 8 ,   P 9 9 9 ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   Y i n   R .   K . ,   2 0 0 9 ,   C A S E   S T U D Y   R E S   D E S I G ;   Z h a o   Y . ,   2 0 1 2 ,   I N F O R M   S Y S T E M S   F R O N T 	 1 7 	 0 	 0 	 I N D I A N A   U N I V ,   O P E R   &   D E C I S I O N   T E C H N O L   D E P T 	 B L O O M I N G T O N 	 K E L L E Y   S C H   B U S ,   E   1 0   S T ,   B L O O M I N G T O N ,   I N   4 7 4 0 5 - 1 7 0 1   U S A 	 1 5 4 0 - 1 9 6 0 	 1 5 4 0 - 1 9 7 9 	 	 M I S   Q   E X E C 	 M I S   Q .   E x e c . 	 D E C 	 2 0 1 3 	 1 2 	 4 	 	 	 	 	 1 9 9 	 2 1 1 	 	 	 	 1 3 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   M a n a g e m e n t 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   B u s i n e s s   &   E c o n o m i c s 	 2 6 2 Q L 	 W O S : 0 0 0 3 2 7 7 5 2 6 0 0 0 0 5 	 	 
 J 	 F o o d y ,   G M ;   S e e ,   L ;   F r i t z ,   S ;   V a n   d e r   V e l d e ,   M ;   P e r g e r ,   C ;   S c h i l l ,   C ;   B o y d ,   D S 	 	 	 	 F o o d y ,   G .   M . ;   S e e ,   L . ;   F r i t z ,   S . ;   V a n   d e r   V e l d e ,   M . ;   P e r g e r ,   C . ;   S c h i l l ,   C . ;   B o y d ,   D .   S . 	 	 	 A s s e s s i n g   t h e   A c c u r a c y   o f   V o l u n t e e r e d   G e o g r a p h i c   I n f o r m a t i o n   a r i s i n g   f r o m   M u l t i p l e   C o n t r i b u t o r s   t o   a n   I n t e r n e t   B a s e d   C o l l a b o r a t i v e   P r o j e c t 	 T R A N S A C T I O N S   I N   G I S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 L A N D - C O V E R   C H A N G E ;   C L A S S I F I C A T I O N   A C C U R A C Y ;   C I T I Z E N   S C I E N C E ;   W E B   2 . 0 ;   A G R E E M E N T ;   Q U A L I T Y ;   O N L I N E ;   W O R L D 	 T h e   r e c e n t   r i s e   o f   n e o g e o g r a p h y   a n d   c i t i z e n   s e n s i n g   h a s   i n c r e a s e d   t h e   o p p o r t u n i t i e s   f o r   t h e   u s e   o f   c r o w d s o u r c i n g   a s   a   m e a n s   t o   a c q u i r e   d a t a   t o   s u p p o r t   g e o g r a p h i c a l   r e s e a r c h .   T h e   v a l u e   o f   t h e   r e s u l t i n g   v o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n   i s ,   h o w e v e r ,   o f t e n   l i m i t e d   b y   c o n c e r n s   a s s o c i a t e d   w i t h   i t s   q u a l i t y   a n d   t h e   d e g r e e   t o   w h i c h   t h e   c o n t r i b u t i n g   d a t a   s o u r c e s   m a y   b e   t r u s t e d .   H e r e ,   i n f o r m a t i o n   o n   t h e   q u a l i t y   o f   s o u r c e s   o f   v o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n   w a s   d e r i v e d   u s i n g   a   l a t e n t   c l a s s   a n a l y s i s .   T h e   v o l u n t e e r e d   i n f o r m a t i o n   w a s   o n   l a n d   c o v e r   i n t e r p r e t e d   v i s u a l l y   f r o m   s a t e l l i t e   s e n s o r   i m a g e s   a n d   t h e   m a i n   f o c u s   w a s   o n   t h e   l a b e l i n g   o f   2 9 9   s i t e s   b y   s e v e n   o f   t h e   6 5   v o l u n t e e r s   w h o   c o n t r i b u t e d   t o   a n   I n t e r n e t - b a s e d   c o l l a b o r a t i v e   p r o j e c t .   U s i n g   t h e   i n f o r m a t i o n   o n   l a n d   c o v e r   a c q u i r e d   b y   t h e   m u l t i p l e   v o l u n t e e r s   i t   w a s   s h o w n   t h a t   t h e   r e l a t i v e ,   b u t   n o t   a b s o l u t e ,   q u a l i t y   o f   t h e   d a t a   f r o m   d i f f e r e n t   v o l u n t e e r s   c o u l d   b e   c h a r a c t e r i z e d   a c c u r a t e l y .   A d d i t i o n a l l y ,   c l a s s - s p e c i f i c   v a r i a t i o n s   i n   t h e   q u a l i t y   o f   t h e   i n f o r m a t i o n   p r o v i d e d   b y   a   s i n g l e   v o l u n t e e r   c o u l d   b e   c h a r a c t e r i z e d   b y   t h e   a n a l y s i s .   T h e   l a t e n t   c l a s s   a n a l y s i s ,   t h e r e f o r e ,   w a s   a b l e   t o   p r o v i d e   i n f o r m a t i o n   o n   t h e   q u a l i t y   o f   i n f o r m a t i o n   p r o v i d e d   o n   a n   i n t e r -   a n d   i n t r a - v o l u n t e e r   b a s i s . 	 [ F o o d y ,   G .   M . ;   B o y d ,   D .   S . ]   U n i v   N o t t i n g h a m ,   S c h   G e o g ,   N o t t i n g h a m   N G 7   2 R D ,   E n g l a n d ;   [ S c h i l l ,   C . ]   U n i v   F r e i b u r g ,   F r e i b u r g ,   G e r m a n y 	 F o o d y ,   G M   ( r e p r i n t   a u t h o r ) ,   U n i v   N o t t i n g h a m ,   S c h   G e o g ,   N o t t i n g h a m   N G 7   2 R D ,   E n g l a n d . 	 g i l e s . f o o d y @ n o t t i n g h a m . a c . u k 	 	 	 	 	 B a s i o u k a   S ,   2 0 1 2 ,   S U R V   R E V ,   V 4 4 ,   P 1 5 3 ,   D O I   1 0 . 1 1 7 9 / 1 7 5 2 2 7 0 6 1 1 Y . 0 0 0 0 0 0 0 0 3 7 ;   B i c h e r o n   P . ,   2 0 0 8 ,   G L O B C O V E R   P R O D U C T S   D ;   B r a b h a m   D C ,   2 0 1 2 ,   I N F O R M   C O M M U N   S O C ,   V 1 5 ,   P 3 9 4 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 1 . 6 4 1 9 9 1 ;   B r i a s s o u l i s   H ,   2 0 0 3 ,   L A N D   U S E   C H A N G E S   G L O ;   C O H E N   J ,   1 9 6 0 ,   E D U C   P S Y C H O L   M E A S ,   V 2 0 ,   P 3 7 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 3 1 6 4 4 6 0 0 2 0 0 0 1 0 4 ;   C S D G S N D   ( C o m m i t t e e   o n   S t r a t e g i c   D i r e c t i o n s   f o r   t h e   G e o g r a p h i c a l   S c i e n c e s   i n   t h e   N e x t   D e c a d e ) ,   2 0 1 0 ,   U N D   C H A N G   P L A N   S T R A T ;   D a v i s   C A ,   2 0 1 1 ,   T   G I S ,   V 1 5 ,   P 8 5 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 1 . 0 1 2 8 8 . x ;   D i c k i n s o n   J L ,   2 0 1 0 ,   A N N U   R E V   E C O L   E V O L   S ,   V 4 1 ,   P 1 4 9 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v - e c o l s y s - 1 0 2 2 0 9 - 1 4 4 6 3 6 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   F e d d e m a   J J ,   2 0 0 5 ,   S C I E N C E ,   V 3 1 0 ,   P 1 6 7 4 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 1 8 1 6 0 ;   F l a n a g i n   A . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 3 7 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 8 8 - Y ;   F o o d y   G   M ,   2 0 1 3 ,   I E E E   J   S E L E   I N   P R E S S ,   V 6 ;   F O O D Y   G M ,   1 9 9 2 ,   P H O T O G R A M M   E N G   R E M   S ,   V 5 8 ,   P 1 4 5 9 ;   F o o d y   G M ,   2 0 1 0 ,   R E M O T E   S E N S   E N V I R O N ,   V 1 1 4 ,   P 2 2 7 1 ,   D O I   1 0 . 1 0 1 6 / j . r s e . 2 0 1 0 . 0 5 . 0 0 3 ;   F o o d y   G M ,   2 0 1 2 ,   P   1 0   I N T   S   S P A T   A C C ,   P 2 0 3 ;   F o o d y   G M ,   2 0 0 8 ,   I N T   J   R E M O T E   S E N S ,   V 2 9 ,   P 3 1 3 7 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 3 1 1 6 0 7 0 1 4 4 2 1 2 0 ;   F o o d y   G M ,   2 0 0 2 ,   R E M O T E   S E N S   E N V I R O N ,   V 8 0 ,   P 1 8 5 ,   D O I   1 0 . 1 0 1 6 / S 0 0 3 4 - 4 2 5 7 ( 0 1 ) 0 0 2 9 5 - 4 ;   F o o d y   G M ,   2 0 1 2 ,   I E E E   T   G E O S C I   R E M O T E ,   V 5 0 ,   P 2 8 2 7 ,   D O I   1 0 . 1 1 0 9 / T G R S . 2 0 1 1 . 2 1 7 4 1 5 6 ;   F r e i t a s   H ,   2 0 0 6 ,   L A N D   U S E   L A N D   C O V E R ;   F r i t z   S ,   2 0 1 2 ,   E N V I R O N   M O D E L L   S O F T W ,   V 3 1 ,   P 1 1 0 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 1 1 . 1 1 . 0 1 5 ;   G i r r e s   J F ,   2 0 1 0 ,   T   G I S ,   V 1 4 ,   P 4 3 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 0 . 0 1 2 0 3 . x ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G o o d c h i l d   M F ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 3 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 7 5 9 2 5 5 ;   H a k l a y   M ,   2 0 1 0 ,   C A R T O G R   J ,   V 4 7 ,   P 3 1 5 ,   D O I   1 0 . 1 1 7 9 / 0 0 0 8 7 0 4 1 0 X 1 2 9 1 1 3 0 4 9 5 8 8 2 7 ;   H e i p k e   C ,   2 0 1 0 ,   I S P R S   J   P H O T O G R A M M ,   V 6 5 ,   P 5 5 0 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 1 0 . 0 6 . 0 0 5 ;   H u d s o n - S m i t h   A ,   2 0 0 9 ,   S O C   S C I   C O M P U T   R E V ,   V 2 7 ,   P 5 2 4 ,   D O I   1 0 . 1 1 7 7 / 0 8 9 4 4 3 9 3 0 9 3 3 2 2 9 9 ;   H u i   S   L ,   1 9 9 8 ,   S t a t   M e t h o d s   M e d   R e s ,   V 7 ,   P 3 5 4 ,   D O I   1 0 . 1 1 9 1 / 0 9 6 2 2 8 0 9 8 6 7 1 1 9 2 3 5 2 ;   I w a o   K . ,   2 0 0 6 ,   G E O P H Y S   R E S   L E T T ,   V 3 3 ;   L i u   C ,   2 0 0 9 ,   1 8 T H   W O R L D   I M A C S   C O N G R E S S   A N D   M O D S I M 0 9   I N T E R N A T I O N A L   C O N G R E S S   O N   M O D E L L I N G   A N D   S I M U L A T I O N ,   P 4 2 4 1 ;   M a g i d s o n   J . ,   2 0 0 4 ,   S A G E   H D B   Q U A N T I T A T I V ,   P 1 7 5 ;   N e i s   P a s c a l ,   2 0 1 2 ,   F u t u r e   I n t e r n e t ,   V 4 ,   D O I   1 0 . 3 3 9 0 / f i 4 0 1 0 0 0 1 ;   O l o f s s o n   P ,   2 0 1 3 ,   R E M O T E   S E N S   I N   P R E S S ,   V 1 2 8 ;   P e r g e r   C ,   2 0 1 2 ,   P   G I   F O R   C   2 0 1 2   S A L Z ;   P o n t i u s   R G ,   2 0 1 1 ,   I N T   J   R E M O T E   S E N S ,   V 3 2 ,   P 4 4 0 7 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 3 1 1 6 1 . 2 0 1 1 . 5 5 2 9 2 3 ;   R a d d i c k   M J ,   2 0 1 0 ,   S C I E N C E ,   V 3 2 9 ,   P 1 0 2 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 8 6 9 3 6 ;   R I N D S K O P F   D ,   1 9 8 6 ,   S T A T   M E D ,   V 5 ,   P 2 1 ,   D O I   1 0 . 1 0 0 2 / s i m . 4 7 8 0 0 5 0 1 0 5 ;   S c e p a n   J ,   1 9 9 9 ,   P H O T O G R A M M   E N G   R E M   S ,   V 6 5 ,   P 1 0 7 5 ;   S t e h m a n   S V ,   1 9 9 7 ,   R E M O T E   S E N S   E N V I R O N ,   V 6 2 ,   P 7 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 3 4 - 4 2 5 7 ( 9 7 ) 0 0 0 8 3 - 7 ;   S t r a h l e r   A .   H . ,   2 0 0 6 ,   G L O B A L   L A N D   C O V E R   V A ;   T a n g   W ,   2 0 1 1 ,   P   S I G I R   2 0 1 1   W O R K S H ;   V e r m u n t   J .   K . ,   2 0 0 3 ,   S A G E   E N C Y   S O C I A L   S C I ,   V 2 ,   P 5 4 9 ;   V e r m u n t   J e r o e n   K . ,   1 9 9 7 ,   L O G   L I N E A R   M O D E L S   E V ;   W i e r s m a   Y F ,   2 0 1 0 ,   A V I A N   C O N S E R V   E C O L ,   V 5 ;   Y a n g   I ,   1 9 9 7 ,   B I O M E T R I C S ,   V 5 3 ,   P 9 4 8 ,   D O I   1 0 . 2 3 0 7 / 2 5 3 3 5 5 5 	 4 4 	 2 	 2 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 1 3 6 1 - 1 6 8 2 	 1 4 6 7 - 9 6 7 1 	 	 T   G I S 	 T r a n s .   G I S 	 D E C 	 2 0 1 3 	 1 7 	 6 	 	 	 	 	 8 4 7 	 8 6 0 	 	 1 0 . 1 1 1 1 / t g i s . 1 2 0 3 3 	 	 1 4 	 G e o g r a p h y 	 G e o g r a p h y 	 2 6 2 I L 	 W O S : 0 0 0 3 2 7 7 2 7 7 0 0 0 0 5 	 	 
 J 	 W i l l e t t ,   W ;   G i n o s a r ,   S ;   S t e i n i t z ,   A ;   H a r t m a n n ,   B ;   A g r a w a l a ,   M 	 	 	 	 W i l l e t t ,   W e s l e y ;   G i n o s a r ,   S h i r y ;   S t e i n i t z ,   A v i t a l ;   H a r t m a n n ,   B j o e r n ;   A g r a w a l a ,   M a n e e s h 	 	 	 I d e n t i f y i n g   R e d u n d a n c y   a n d   E x p o s i n g   P r o v e n a n c e   i n   C r o w d s o u r c e d   D a t a   A n a l y s i s 	 I E E E   T R A N S A C T I O N S   O N   V I S U A L I Z A T I O N   A N D   C O M P U T E R   G R A P H I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   s o c i a l   d a t a   a n a l y s i s 	 	 W e   p r e s e n t   a   s y s t e m   t h a t   l e t s   a n a l y s t s   u s e   p a i d   c r o w d   w o r k e r s   t o   e x p l o r e   d a t a   s e t s   a n d   h e l p s   a n a l y s t s   i n t e r a c t i v e l y   e x a m i n e   a n d   b u i l d   u p o n   w o r k e r s '   i n s i g h t s .   W e   t a k e   a d v a n t a g e   o f   t h e   f a c t   t h a t ,   f o r   m a n y   t y p e s   o f   d a t a ,   i n d e p e n d e n t   c r o w d   w o r k e r s   c a n   r e a d i l y   p e r f o r m   b a s i c   a n a l y s i s   t a s k s   l i k e   e x a m i n i n g   v i e w s   a n d   g e n e r a t i n g   e x p l a n a t i o n s   f o r   t r e n d s   a n d   p a t t e r n s .   H o w e v e r ,   w o r k e r s   o p e r a t i n g   i n   p a r a l l e l   c a n   o f t e n   g e n e r a t e   r e d u n d a n t   e x p l a n a t i o n s .   M o r e o v e r ,   b e c a u s e   w o r k e r s   h a v e   d i f f e r e n t   c o m p e t e n c i e s   a n d   d o m a i n   k n o w l e d g e ,   s o m e   r e s p o n s e s   a r e   l i k e l y   t o   b e   m o r e   p l a u s i b l e   t h a n   o t h e r s .   T o   e f f i c i e n t l y   u t i l i z e   t h e   c r o w d ' s   w o r k ,   a n a l y s t s   m u s t   b e   a b l e   t o   q u i c k l y   i d e n t i f y   a n d   c o n s o l i d a t e   r e d u n d a n t   r e s p o n s e s   a n d   d e t e r m i n e   w h i c h   e x p l a n a t i o n s   a r e   t h e   m o s t   p l a u s i b l e .   I n   t h i s   p a p e r ,   w e   d e m o n s t r a t e   s e v e r a l   c r o w d - a s s i s t e d   t e c h n i q u e s   t o   h e l p   a n a l y s t s   m a k e   b e t t e r   u s e   o f   c r o w d s o u r c e d   e x p l a n a t i o n s :   ( 1 )   W e   e x p l o r e   c r o w d - a s s i s t e d   s t r a t e g i e s   t h a t   u t i l i z e   m u l t i p l e   w o r k e r s   t o   d e t e c t   r e d u n d a n t   e x p l a n a t i o n s .   W e   i n t r o d u c e   c o l o r   c l u s t e r i n g   w i t h   r e p r e s e n t a t i v e   s e l e c t i o n - a   s t r a t e g y   i n   w h i c h   m u l t i p l e   w o r k e r s   c l u s t e r   e x p l a n a t i o n s   a n d   w e   a u t o m a t i c a l l y   s e l e c t   t h e   m o s t - r e p r e s e n t a t i v e   r e s u l t - a n d   s h o w   t h a t   i t   g e n e r a t e s   c l u s t e r i n g s   t h a t   a r e   a s   g o o d   a s   t h o s e   p r o d u c e d   b y   e x p e r t s .   ( 2 )   W e   c a p t u r e   e x p l a n a t i o n   p r o v e n a n c e   b y   i n t r o d u c i n g   h i g h l i g h t i n g   t a s k s   a n d   c a p t u r i n g   w o r k e r s '   b r o w s i n g   b e h a v i o r   v i a   a n   e m b e d d e d   w e b   b r o w s e r ,   a n d   r e f i n e   t h a t   p r o v e n a n c e   i n f o r m a t i o n   v i a   s o u r c e - r e v i e w   t a s k s .   W e   e x p o s e   t h i s   i n f o r m a t i o n   i n   a n   e x p l a n a t i o n - m a n a g e m e n t   i n t e r f a c e   t h a t   a l l o w s   a n a l y s t s   t o   i n t e r a c t i v e l y   f i l t e r   a n d   s o r t   r e s p o n s e s ,   s e l e c t   t h e   m o s t   p l a u s i b l e   e x p l a n a t i o n s ,   a n d   d e c i d e   w h i c h   t o   e x p l o r e   f u r t h e r . 	 [ G i n o s a r ,   S h i r y ;   S t e i n i t z ,   A v i t a l ;   H a r t m a n n ,   B j o e r n ;   A g r a w a l a ,   M a n e e s h ]   U n i v   C a l i f   B e r k e l e y ,   B e r k e l e y ,   C A   U S A 	 	 w e s l e y . w i l l e t t @ i n r i a . f r ;   s h i r y @ e e c s . b e r k e l e y . e d u ;   s t e i n i t z @ e e c s . b e r k e l e y . e d u ;   b j o e r n @ e e c s . b e r k e l e y . e d u ;   m a n e e s h @ c s . b e r k e l e y . e d u 	 	 	 	 	 A m i g o   E . ,   2 0 0 8 ,   I N F O R M   R E T R I E V A L ,   V 1 2 ,   P 4 6 1 ;   B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B i g h a m   J . P . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 3 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 8 0 ;   C h i l t o n   L . ,   2 0 1 3 ,   P R O C   O F   C H I ;   F i s h e r   K ,   2 0 1 2 ,   P   S I G C H I   C   H U M   F A C T ,   P 2 4 7 ;   H e e r   J ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 8 7 ,   D O I   1 0 . 1 1 4 5 / 1 4 3 5 4 1 7 . 1 4 3 5 4 3 9 ;   L U T H E R   K ,   2 0 0 9 ,   P   C H I   2 0 0 9   A C M   N E W   Y ,   P 2 3 9 ,   D O I   1 0 . 1 1 4 5 / 1 5 1 8 7 0 1 . 1 5 1 8 7 4 1 ;   M a n n i n g   C . D . ,   2 0 0 8 ,   I N T R O D U C T I O N   T O   I N F O ;   P i r o l l i   P . ,   2 0 0 5 ,   P R O C E E D I N G S   O F   I N T E R ,   V 5 ;   R z e s z o t a r s k i   J .   M . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 0 4 7 1 9 6 . 2 0 4 7 1 9 9 ;   S t o n e   B .   P . ,   2 0 1 0 ,   T O P I C S   I N   C O G   S C I ,   V 3 ,   P 9 2 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T a m u z   O . ,   2 0 1 1 ,   A R X I V   O R G ;   T i b s h i r a n i   R ,   2 0 0 1 ,   J   R O Y   S T A T   S O C   B ,   V 6 3 ,   P 4 1 1 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 8 6 8 . 0 0 2 9 3 ;   T r u s h k o w s k y   B . ,   2 0 1 2 ,   A R X I V   O R G ;   V i e g a s   F .   B . ,   2 0 0 7 ,   T R A S A C T I O N S   O N   V I S U A ,   V 1 3 ,   P 1 1 2 1 ;   V i e g a s   F .   B . ,   2 0 0 8 ,   P R O C E E D I N G S   O F   H I C S S ;   W i l l e t t   W . ,   2 0 1 2 ,   P R O C E E D I N G S   O F   C H I ,   P 2 2 7 ;   W i l l e t t   W . ,   2 0 1 1 ,   P R O C E E D I N G S   O F   C H I ;   W u   M . ,   2 0 0 7 ,   P R O C E E D I N G S   O F   W E B D B ;   Y i   J . ,   2 0 1 2 ,   W O R K S H O P S   A T   T H E   C O N ;   Z h a n g   H . ,   2 0 1 2 ,   P R O C E E D I N G S   O F   C H I ,   P 2 1 7 	 2 2 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 7 7 - 2 6 2 6 	 1 9 4 1 - 0 5 0 6 	 	 I E E E   T   V I S   C O M P U T   G R 	 I E E E   T r a n s .   V i s .   C o m p u t .   G r a p h . 	 D E C 	 2 0 1 3 	 1 9 	 1 2 	 	 	 	 	 2 1 9 8 	 2 2 0 6 	 	 	 	 9 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 2 3 8 Z T 	 W O S : 0 0 0 3 2 5 9 9 1 6 0 0 0 2 6 	 2 4 0 5 1 7 8 6 	 
 J 	 S u ,   A I ;   G o o d ,   B M ;   v a n   W i j n e n ,   A J 	 	 	 	 S u ,   A n d r e w   I . ;   G o o d ,   B e n j a m i n   M . ;   v a n   W i j n e n ,   A n d r e   J . 	 	 	 G e n e   W i k i   R e v i e w s :   M a r r y i n g   c r o w d s o u r c i n g   w i t h   t r a d i t i o n a l   p e e r   r e v i e w 	 G E N E 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 G e n e   W i k i ;   G e n e t i c s ;   P u b l i s h i n g ;   C r o w d s o u r c i n g 	 R N A   F A M I L I E S 	 	 [ S u ,   A n d r e w   I . ;   G o o d ,   B e n j a m i n   M . ]   S c r i p p s   R e s   I n s t ,   D e p t   M o l   &   E x p t   M e d ,   L a   J o l l a ,   C A   9 2 0 3 7   U S A ;   [ v a n   W i j n e n ,   A n d r e   J . ]   M a y o   C l i n ,   D e p t   O r t h o p e d   S u r g ,   R o c h e s t e r ,   M N   5 5 9 0 5   U S A ;   [ v a n   W i j n e n ,   A n d r e   J . ]   M a y o   C l i n ,   D e p t   B i o c h e m   &   M o l   B i o l ,   R o c h e s t e r ,   M N   5 5 9 0 5   U S A 	 S u ,   A I   ( r e p r i n t   a u t h o r ) ,   S c r i p p s   R e s   I n s t ,   D e p t   M o l   &   E x p t   M e d ,   1 0 6 6 6   N   T o r r e y   P i n e s   R d ,   L a   J o l l a ,   C A   9 2 0 3 7   U S A . 	 a s u @ s c r i p p s . e d u 	 	 	 	 	 G a r d n e r   P ,   2 0 1 2 ,   R N A   B I O L ,   V 9 ,   P 2 ,   D O I   1 0 . 4 1 6 1 / r n a . 9 . 1 . 1 8 9 7 9 ;   G a r d n e r   P P ,   2 0 0 9 ,   R N A   B I O L ,   V 6 ,   P 2 ;   H a r r i s   T R ,   2 0 1 3 ,   G E N E ,   V 5 2 6 ,   P 6 1 ,   D O I   1 0 . 1 0 1 6 / j . g e n e . 2 0 1 3 . 0 5 . 0 0 8 ;   H u s s   J W ,   2 0 0 8 ,   P L O S   B I O L ,   V 6 ,   P 1 3 9 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p b i o . 0 0 6 0 1 7 5 ;   N o v   O ,   2 0 0 7 ,   C O M M U N   A C M ,   V 5 0 ,   P 6 0 ,   D O I   1 0 . 1 1 4 5 / 1 2 9 7 7 9 7 . 1 2 9 7 7 9 8 ;   S i l v e y r a   P ,   2 0 1 3 ,   G E N E ,   V 5 3 1 ,   P 1 2 6 ,   D O I   1 0 . 1 0 1 6 / j . g e n e . 2 0 1 2 . 0 9 . 1 1 1 ;   T o m k i n s o n   A E ,   2 0 1 3 ,   G E N E ,   V 5 3 1 ,   P 1 5 0 ,   D O I   1 0 . 1 0 1 6 / j . g e n e . 2 0 1 3 . 0 8 . 0 6 1 ;   W o d a k   S J ,   2 0 1 2 ,   P L O S   C O M P U T   B I O L ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p c b i . 1 0 0 2 4 4 6 ;   W o j c i k   E J ,   2 0 1 3 ,   G E N E ,   V 5 3 1 ,   P 1 3 3 ,   D O I   1 0 . 1 0 1 6 / j . g e n e . 2 0 1 3 . 0 8 . 0 0 4 	 9 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 3 7 8 - 1 1 1 9 	 1 8 7 9 - 0 0 3 8 	 	 G E N E 	 G e n e 	 D E C   1 	 2 0 1 3 	 5 3 1 	 2 	 	 	 	 	 1 2 5 	 1 2 5 	 	 1 0 . 1 0 1 6 / j . g e n e . 2 0 1 3 . 0 8 . 0 9 3 	 	 1 	 G e n e t i c s   &   H e r e d i t y 	 G e n e t i c s   &   H e r e d i t y 	 2 5 0 I Q 	 W O S : 0 0 0 3 2 6 8 4 6 8 0 0 0 0 1 	 2 4 0 1 2 8 7 0 	 
 J 	 O l s o n ,   D L ;   R o s a c k e r ,   K 	 	 	 	 O l s o n ,   D a v i d   L . ;   R o s a c k e r ,   K i r s t e n 	 	 	 C r o w d s o u r c i n g   a n d   o p e n   s o u r c e   s o f t w a r e   p a r t i c i p a t i o n 	 S E R V I C E   B U S I N E S S 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 C r o w d s o u r c i n g ;   O p e n   s o u r c e   s o f t w a r e ;   W e b   p a r t i c i p a t i o n 	 B U S I N E S S ;   P R O J E C T S 	 C r o w d s o u r c i n g   i s   a   p h e n o m e n o n   i n v o l v i n g   t h e   u s e   o f   v o l u n t e e r s   t o   a c c o m p l i s h   a   g o a l   o r   o b j e c t i v e   ( o f t e n   w o r k ) .   I n d i v i d u a l s ,   b u s i n e s s e s ,   a n d   g o v e r n m e n t   a g e n c i e s   f i n d   i t   p o s s i b l e   t o   h a r n e s s   t h e   p a r t i c i p a t i o n   o f   v o l u n t e e r s   t o   d e s i g n   p r o d u c t s   a n d   c o m p l e t e   p r o j e c t   w o r k .   S i m p l y   s t a t e d ,   O p e n   S o u r c e   S o f t w a r e   ( O S S )   i s   c r o w d s o u r c i n g   a p p l i e d   t o   s o f t w a r e   d e v e l o p m e n t .   O S S - b a s e d   s y s t e m s   h a v e   b e c o m e   a n   i m p o r t a n t   s o u r c e   o f   c o m p u t i n g   p r o d u c t s ,   t h r o u g h   o p e r a t i n g   s y s t e m s   s u c h   a s   L i n u x ,   W e b   s e r v i c e s   t h r o u g h   A p a c h e ,   o r   d e s k t o p   e n v i r o n m e n t s   s u c h   a s   G n o m e .   T h i s   s t u d y   a f f o r d s   a   t h r o u g h   l i t e r a t u r e   r e v i e w   d e v e l o p e d   w i t h i n   a   d i s c u s s i o n   o f   t h e   c o m m o n   m o t i v a t i o n s   a n d   r e l a t i o n s h i p s   b e t w e e n   c r o w d s o u r c i n g   a n d   O S S .   I t   c o n t r i b u t e s   t o   t h e   l i t e r a t u r e   b y   p r o v i d i n g   u s e f u l   i n s i g h t s   w h i c h   r e s e a r c h e r s   a n d   o r g a n i z a t i o n s   c a n   u t i l i z e   t o   l e v e r a g e   c r o w d s o u r c i n g   a n d   O S S   c o n c e p t s   i n   a d d r e s s i n g   t h e i r   e f f o r t s . 	 [ O l s o n ,   D a v i d   L . ]   U n i v   N e b r a s k a ,   D e p t   M a n a g e m e n t ,   L i n c o l n ,   N E   U S A ;   [ R o s a c k e r ,   K i r s t e n ]   U n i v   W i s c o n s i n ,   L a   C r o s s e ,   W I   5 4 6 0 1   U S A 	 R o s a c k e r ,   K   ( r e p r i n t   a u t h o r ) ,   U n i v   W i s c o n s i n ,   L a   C r o s s e ,   W I   5 4 6 0 1   U S A . 	 D o l s o n 3 @ u n l . e d u ;   k r o s a c k e r @ u w l a x . e d u 	 	 	 	 	 A g e r f a l k   P J ,   2 0 0 8 ,   M I S   Q U A R T ,   V 3 2 ,   P 3 8 5 ;   A u   Y A ,   2 0 0 9 ,   I N F O R M   M A N A G E - A M S T E R ,   V 4 6 ,   P 9 ,   D O I   1 0 . 1 0 1 6 / j . i m . 2 0 0 8 . 0 9 . 0 0 4 ;   B i t z e r   J ,   2 0 1 0 ,   R E S   P O L I C Y ,   V 3 9 ,   P 1 6 5 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 9 . 1 1 . 0 0 7 ;   B o n a c c o r s i   A ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 8 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 4 7 ;   B o r c h o k   D ,   2 0 0 9 ,   B   T   M A G ,   V 5 9 ,   P 1 5 ;   C o o k   S ,   2 0 0 8 ,   H A R V A R D   B U S   R E V ,   V 8 6 ,   P 6 0 ;   C r o m i e   J G ,   2 0 0 9 ,   J   B U S   R E S ,   V 6 2 ,   P 2 1 8 ,   D O I   1 0 . 1 0 1 6 / j . j b u s r e s . 2 0 0 8 . 0 1 . 0 2 9 ;   F a n g   Y L ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 5 ,   P 9 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 5 0 4 0 1 ;   F i t z g e r a l d   B ,   2 0 0 1 ,   I N F O R M   S Y S T   J ,   V 1 1 ,   P 2 7 3 ;   F l o r i d a   R . ,   2 0 0 3 ,   R I S E   C R E A T I V E   C L A S S ;   G a l l i v a n   M J ,   2 0 0 1 ,   I N F O R M   S Y S T   J ,   V 1 1 ,   P 2 7 7 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 2 5 7 5 . 2 0 0 1 . 0 0 1 0 8 . x ;   G a r z a r e l l i   G i a m p a o l o ,   2 0 0 8 ,   I n f o r m a t i o n   T e c h n o l o g y   f o r   D e v e l o p m e n t ,   V 1 4 ,   D O I   1 0 . 1 0 0 2 / i t d j . 2 0 0 9 2 ;   H a r s   A ,   2 0 0 2 ,   I N T   J   E L E C T R O N   C O M M ,   V 6 ,   P 2 5 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H o w e   J . ,   2 0 0 6 ,   C R O W D S O U R C I N G   D E F I N I ;   K l e e m a n n   F . ,   2 0 0 8 ,   S C I   T E C H N O L O G Y   I N N O V ,   V 4 ,   P 5 ;   L a i   H C ,   2 0 0 2 ,   J   C O M P U T   I N F O R M   S Y S T ,   V 4 2 ,   P 2 6 ;   L a k h a n i   K R ,   2 0 0 7 ,   H A R V A R D   B U S   R E V ,   V 8 5 ,   P 3 0 ;   M a x m e n   A ,   2 0 1 0 ,   C E L L ,   V 1 4 0 ,   P 1 7 1 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 1 0 . 0 1 . 0 1 2 ;   N o r t o n   M I ,   2 0 1 2 ,   J   C O N S U M   P S Y C H O L ,   V 2 2 ,   P 4 5 3 ,   D O I   1 0 . 1 0 1 6 / j . j c p s . 2 0 1 1 . 0 8 . 0 0 2 ;   P r a s a r n p h a n i c h   P ,   2 0 0 9 ,   J   C O M P U T   I N F O R M   S Y S T ,   V 4 9 ,   P 3 3 ;   R a y m o n d   E . ,   2 0 0 1 ,   C A T H E D R A L   B A Z A A R   M U S ;   S h a h   S K ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 0 0 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 3 ;   S h e n   B ,   2 0 0 8 ,   A M   J   P R E V   M E D ,   V 3 5 ,   p S 2 4 0 ,   D O I   1 0 . 1 0 1 6 / j . a m e p r e . 2 0 0 8 . 0 5 . 0 1 3 ;   S i n g e r   P .   W . ,   2 0 0 9 ,   W I R E D   W A R   R O B O T I C S   R ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   X u   B ,   2 0 0 9 ,   I N F O R M   M A N A G E - A M S T E R ,   V 4 6 ,   P 1 5 1 ,   D O I   1 0 . 1 0 1 6 / j . i m . 2 0 0 8 . 1 2 . 0 0 5 ;   Z i t t r a i n   J o n a t h a n ,   2 0 0 8 ,   F U T U R E   I N T E R N E T   S T O P 	 2 8 	 1 	 1 	 S P R I N G E R   H E I D E L B E R G 	 H E I D E L B E R G 	 T I E R G A R T E N S T R A S S E   1 7 ,   D - 6 9 1 2 1   H E I D E L B E R G ,   G E R M A N Y 	 1 8 6 2 - 8 5 1 6 	 1 8 6 2 - 8 5 0 8 	 	 S E R V   B U S 	 S e r v .   B u s . 	 D E C 	 2 0 1 3 	 7 	 4 	 	 	 	 	 4 9 9 	 5 1 1 	 	 1 0 . 1 0 0 7 / s 1 1 6 2 8 - 0 1 2 - 0 1 7 6 - 4 	 	 1 3 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 2 4 8 N I 	 W O S : 0 0 0 3 2 6 7 0 6 7 0 0 0 0 1 	 	 
 J 	 A v e n a l i ,   A ;   B a t t i s t e l l a ,   C ;   M a t t e u c c i ,   G ;   N o n i n o ,   F 	 	 	 	 A v e n a l i ,   A l e s s a n d r o ;   B a t t i s t e l l a ,   C i n z i a ;   M a t t e u c c i ,   G i o r g i o ;   N o n i n o ,   F a b i o 	 	 	 A   m e c h a n i s m   f o r   s u p p o r t i n g   c o l l e c t i v e   i n n o v a t i o n :   t h e   o p e n   c o n t r a c t - b a s e d   c h a l l e n g e 	 I N F O R M A T I O N   S Y S T E M S   A N D   E - B U S I N E S S   M A N A G E M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C o l l e c t i v e   i n n o v a t i o n ;   C r o w d s o u r c i n g ;   I n c o m p l e t e   c o n t r a c t s ;   M u l t i - a t t r i b u t e   a u c t i o n s ;   C o m b i n a t o r i a l   a u c t i o n s 	 O P E N   S O U R C E   S O F T W A R E ;   W E B - B A S E D   P L A T F O R M S ;   C O M B I N A T O R I A L   A U C T I O N S ;   M U L T I D I M E N S I O N A L   A U C T I O N S ;   M O T I V A T I O N S ;   D E S I G N ;   S E R V I C E S ;   P R O J E C T S ;   I M P A C T 	 T h e   p a p e r   p r o p o s e s   a   m u l t i - a t t r i b u t e   c o m b i n a t o r i a l   a u c t i o n - b a s e d   m e c h a n i s m ,   c a l l e d   o p e n   c o n t r a c t   m e c h a n i s m   ( O C M ) ,   w h i c h   a l l o w s   a n   o r g a n i z a t i o n   o r   a n   i n d i v i d u a l   ( s e e k e r )   t o   d y n a m i c a l l y   a n d   s i m u l t a n e o u s l y   b a r g a i n   t h e   f e a t u r e s   o f   d i s t i n c t   i n n o v a t i o n   c o n t r a c t s   w i t h   o t h e r   o r g a n i z a t i o n s   a n d   i n d i v i d u a l s   ( s o l v e r s ) ,   i n   g e n e r a l   c o l l e c t i v e   i n n o v a t i o n   e n v i r o n m e n t s .   I n   s u c h   c o n t e x t s ,   a   s e e k e r   d o e s   n o t   p o s s e s s   s p e c i f i c   s k i l l s   a n d   t e c h n i c a l   k n o w l e d g e   w h i c h   a r e   c r u c i a l   f o r   a n   i n n o v a t i o n   o r   f o r   a   p a r t   o f   a   n e w   p r o d u c t   d e v e l o p m e n t   p r o j e c t ,   w h i l e   s o m e   s o l v e r s   m i g h t   b e   w i l l i n g   t o   p r o v i d e   t h e i r   r e l e v a n t   k n o w - h o w   t o   t h e   s e e k e r .   T o   i n d u c e   c o l l a b o r a t i o n   b e t w e e n   t h e   s e e k e r   a n d   s o l v e r s ,   v o l u n t a r y   a n d   l e g a l l y   e n f o r c e a b l e   a g r e e m e n t s   n e e d   t o   b e   f o r m u l a t e d ,   w h e r e   a   f a i r   e v a l u a t i o n   o f   t h e   i n t e l l e c t u a l   p r o p e r t y   r i g h t s   o f   a n y   p a r t y   i s   g u a r a n t e e d ,   a n d   a l l   t e c h n i c a l   a n d   e c o n o m i c   a s p e c t s   a r e   d e t a i l e d .   T h e r e f o r e ,   O C M   a l l o w s   t h e   s e e k e r   t o   i n v o l v e   s o l v e r s   i n   d e f i n i n g   a   c o l l e c t i o n   o f   o p e n   c o n t r a c t   s c h e m e s ,   r e l a t e d   t o   t h e   s u p p l y   o f   t h e   r e q u i r e d   s p e c i f i c   s k i l l s   a n d   t e c h n i c a l   k n o w l e d g e .   T h e   s o l v e r s   m u s t   s u b m i t   o f f e r s   i n   t e r m s   o f   c o n t r a c t   v e r s i o n s   o f   t h e s e   c o n t r a c t   s c h e m e s .   I n   s u c h   a   w a y ,   O C M   a i m s   a t   p a r t i a l l y   e x t r a c t i n g   f r o m   t h e   s o l v e r s   t h e i r   m u l t i d i m e n s i o n a l   p r i v a t e   i n f o r m a t i o n   r e g a r d i n g   e c o n o m i c   a n d   t e c h n i c a l   i s s u e s ,   i n   o r d e r   t o   r e d u c e   t h e   o c c u r r e n c e s   o f   p r e -   a n d   p o s t - c o n t r a c t u a l   o p p o r t u n i s t i c   b e h a v i o u r s . 	 [ A v e n a l i ,   A l e s s a n d r o ;   M a t t e u c c i ,   G i o r g i o ;   N o n i n o ,   F a b i o ]   U n i v   R o m a   L a   S a p i e n z a ,   D e p t   C o m p   C o n t r o l   &   M a n a g e m e n t   E n g n   A n t o n i o   R u b e r ,   I - 0 0 1 8 5   R o m e ,   I t a l y ;   [ B a t t i s t e l l a ,   C i n z i a ]   U n i v   U d i n e ,   D e p t   E l e c t   M a n a g e r i a l   &   M e c h   E n g n ,   I - 3 3 1 0 0   U d i n e ,   I t a l y 	 A v e n a l i ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   R o m a   L a   S a p i e n z a ,   D e p t   C o m p   C o n t r o l   &   M a n a g e m e n t   E n g n   A n t o n i o   R u b e r ,   V i a   A r i o s t o   2 5 ,   I - 0 0 1 8 5   R o m e ,   I t a l y . 	 a l e s s a n d r o . a v e n a l i @ u n i r o m a 1 . i t 	 	 	 	 	 A l b o r s   J ,   2 0 0 8 ,   I N T   J   I N F O R M   M A N A G E ,   V 2 8 ,   P 1 9 4 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 0 7 . 0 9 . 0 0 6 ;   A l l i o   R .   J . ,   2 0 0 4 ,   S T R A T E G Y   L E A D E R S H I P ,   V 3 2 ,   P 4 ,   D O I   1 0 . 1 1 0 8 / 1 0 8 7 8 5 7 0 4 1 0 5 4 7 6 4 3 ;   A v e n a l   A ,   2 0 1 1 ,   D E P   C O M P U T E R   S Y S T E M ;   A v e n a l i   A ,   2 0 0 9 ,   E U R   J   O P E R   R E S ,   V 1 9 9 ,   P 2 6 2 ,   D O I   1 0 . 1 0 1 6 / j . e j o r . 2 0 0 8 . 1 0 . 0 2 1 ;   A v e n a l i   A ,   2 0 1 0 ,   P   I N T   P U B L   P R O C   C   2 6 ;   A v e n a l i   A ,   2 0 0 7 ,   O P E R   R E S ,   V 5 5 ,   P 9 3 2 ,   D O I   1 0 . 1 2 8 7 / o p r e . 1 0 7 0 . 0 3 9 7 ;   A v e n a l i   A ,   2 0 0 7 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 3 ,   P 2 1 1 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 6 . 0 9 . 0 0 8 ;   B A N K S   J S ,   1 9 8 9 ,   R A N D   J   E C O N ,   V 2 0 ,   P 1 ,   D O I   1 0 . 2 3 0 7 / 2 5 5 5 6 4 8 ;   B a t t i s t e l l a   C ,   2 0 1 2 ,   I N N O V   M A N A G   P O L I C Y   P ,   V 1 4 ;   B a t t i s t e l l a   C ,   2 0 1 2 ,   I N F O R M   R E S ,   V 1 7 ;   B a t t i s t e l l a   C ,   2 0 1 3 ,   P R O D   P L A N   C O N T R O L ,   V 2 4 ,   P 2 2 6 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 3 7 2 8 7 . 2 0 1 1 . 6 4 7 8 7 6 ;   B e r t h o n   P ,   1 9 9 9 ,   J   I N T   M A R K E T I N G ,   V 7 ,   P 8 4 ;   B r a n c o   F ,   1 9 9 7 ,   R A N D   J   E C O N ,   V 2 8 ,   P 6 3 ,   D O I   1 0 . 2 3 0 7 / 2 5 5 5 9 4 0 ;   C H E   Y K ,   1 9 9 3 ,   R A N D   J   E C O N ,   V 2 4 ,   P 6 6 8 ,   D O I   1 0 . 2 3 0 7 / 2 5 5 5 7 5 2 ;   C h e n   J ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 5 1 6 ,   P 5 7 8 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C h e s b r o u g h   H W ,   1 9 9 6 ,   H A R V A R D   B U S   R E V ,   V 7 4 ,   P 6 5 ;   C o n i t z e r   V . ,   2 0 0 6 ,   P   5   I N T   J O I N T   C   A U T ,   P 5 2 1 ,   D O I   1 0 . 1 1 4 5 / 1 1 6 0 6 3 3 . 1 1 6 0 7 2 9 ;   D a v i s   L ,   2 0 0 7 ,   P   E P I P   C   2 0   2 1   S E P T ,   P 2 8 ;   d e   V r i e s   S ,   2 0 0 3 ,   I N F O R M S   J   C O M P U T ,   V 1 5 ,   P 2 8 4 ,   D O I   1 0 . 1 2 8 7 / i j o c . 1 5 . 3 . 2 8 4 . 1 6 0 7 7 ;   D i m i t r i   N ,   2 0 0 6 ,   H A N D B O O K   O F   P R O C U R E M E N T ,   P 1 ,   D O I   1 0 . 1 0 1 7 / C B O 9 7 8 0 5 1 1 4 9 2 5 5 6 ;   E p s t e i n   R ,   2 0 0 2 ,   I N T E R F A C E S ,   V 3 2 ,   P 1 ,   D O I   1 0 . 1 2 8 7 / i n t e . 3 2 . 6 . 1 . 6 4 7 6 ;   F e l s t i n e r   A ,   2 0 1 0 ,   W O R K I N G   C R O W D   E M P L O Y ;   H a r s   A ,   2 0 0 2 ,   I N T   J   E L E C T R O N   C O M M ,   V 6 ,   P 2 5 ;   H e v n e r   A R ,   2 0 0 4 ,   M I S   Q U A R T ,   V 2 8 ,   P 7 5 ;   H o r t o n   J J ,   2 0 1 0 ,   P   C R O W D C O N F   4   O C T   2 0 ;   H o w e   J ,   2 0 0 6 ,   R I S E   C R O W D S O U R C I N G ;   K l e i n   B ,   1 9 9 6 ,   E C O N   I N Q ,   V 3 4 ,   P 4 4 4 ;   K L E I N   B ,   1 9 7 8 ,   J   L A W   E C O N ,   V 2 1 ,   P 2 9 7 ,   D O I   1 0 . 1 0 8 6 / 4 6 6 9 2 2 ;   K u e c h l e r   B i l l ,   2 0 1 1 ,   I n f o r m i n g   S c i e n c e ,   V 1 4 ;   K w a s n i c a   A M ,   2 0 0 5 ,   M A N A G E   S C I ,   V 5 1 ,   P 4 1 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 4 0 . 0 3 3 4 ;   L a k h a n i   K R ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 9 2 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 9 5 - 1 ;   L e r n e r   J ,   2 0 0 5 ,   J   L A W   E C O N   O R G A N ,   V 2 1 ,   P 2 0 ,   D O I   1 0 . 1 0 9 3 / j l e o / e w i 0 0 2 ;   L i c h t e n t h a l e r   U . ,   2 0 0 7 ,   I n t e r n a t i o n a l   J o u r n a l   o f   I n t e l l e c t u a l   P r o p e r t y   M a n a g e m e n t ,   V 1 ,   D O I   1 0 . 1 5 0 4 / I J I P M . 2 0 0 7 . 0 1 3 5 5 7 ;   M i l g r o m   P ,   1 9 9 2 ,   E C   O R G   M A N A G E M E N T ;   M o c h o n   A ,   2 0 1 0 ,   L E C T   N O T E S   E C   M A T H   S ,   V 6 4 5 ,   P 5 3 ;   M o c h o n   A ,   2 0 1 2 ,   J   E C O N   B E H A V   O R G A N ,   V 8 2 ,   P 4 6 2 ,   D O I   1 0 . 1 0 1 6 / j . j e b o . 2 0 1 2 . 0 2 . 0 1 8 ;   N a r i   L ,   2 0 1 0 ,   2 2 5   L A P P   U   T E C H N   D E P ;   O s t e r l o h   M ,   2 0 0 7 ,   R E S   P O L I C Y ,   V 3 6 ,   P 1 5 7 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 1 0 . 0 0 4 ;   P e k e c   A ,   2 0 0 3 ,   M A N A G E   S C I ,   V 4 9 ,   P 1 4 8 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 9 . 1 1 . 1 4 8 5 . 2 0 5 8 5 ;   P i t c h f o r d   R ,   2 0 0 4 ,   J   E C O N   T H E O R Y ,   V 1 1 4 ,   P 8 8 ,   D O I   1 0 . 1 0 1 6 / S 0 0 2 2 - 0 5 3 1 ( 0 3 ) 0 0 1 2 0 - 0 ;   R a i f f a   H . ,   1 9 8 2 ,   A R T   S C I   N E G O T I A T I O N ;   R a y m o n d   E . ,   2 0 0 1 ,   C A T H E D R A L   B A Z A A R   M U S ;   R h e i n g o l d   R ,   2 0 0 2 ,   S M A R T   M O B S   N E X T   S O C I ;   R o b e r t s   J A ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 9 8 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 4 ;   R o t h k o p f   M H ,   1 9 9 8 ,   M A N A G E   S C I ,   V 4 4 ,   P 1 1 3 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 4 . 8 . 1 1 3 1 ;   R y a n   R M ,   2 0 0 0 ,   C O N T E M P   E D U C   P S Y C H O L ,   V 2 5 ,   P 5 4 ,   D O I   1 0 . 1 0 0 6 / c e p s . 1 9 9 9 . 1 0 2 0 ;   S c h e n k   E ,   2 0 0 9 ,   T E C H N I C A L   R E P O R T ;   S c h n i z l e r   B ,   2 0 0 8 ,   E U R   J   O P E R   R E S ,   V 1 8 7 ,   P 9 4 3 ,   D O I   1 0 . 1 0 1 6 / j . e j o r . 2 0 0 6 . 0 5 . 0 4 9 ;   S t e w a r t   K J ,   2 0 0 6 ,   M I S   Q U A R T ,   V 3 0 ,   P 2 9 1 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   T e i c h   J E ,   2 0 0 4 ,   E U R   J   O P E R   R E S ,   V 1 5 9 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . e j o r . 2 0 0 3 . 0 5 . 0 0 1 ;   T i r o l e   J ,   2 0 0 6 ,   T H E O R Y   O F   C O R P O R A T E   F I N A N C E ,   P 1 ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   W i l l i a m s o n   O . E . ,   1 9 7 9 ,   J   L A W   E C O N ,   V 2 2 ,   P 3 ;   Z e i t l y n   D ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 2 8 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 5 3 - 2 	 5 7 	 1 	 1 	 S P R I N G E R   H E I D E L B E R G 	 H E I D E L B E R G 	 T I E R G A R T E N S T R A S S E   1 7 ,   D - 6 9 1 2 1   H E I D E L B E R G ,   G E R M A N Y 	 1 6 1 7 - 9 8 4 6 	 1 6 1 7 - 9 8 5 4 	 	 I N F   S Y S T   E - B U S   M A N A G 	 I n f .   S y s t .   E - B u s .   M a n a g . 	 D E C 	 2 0 1 3 	 1 1 	 4 	 	 	 	 	 5 4 1 	 5 6 8 	 	 1 0 . 1 0 0 7 / s 1 0 2 5 7 - 0 1 2 - 0 2 0 8 - 6 	 	 2 8 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 2 4 4 I H 	 W O S : 0 0 0 3 2 6 3 8 0 7 0 0 0 0 3 	 	 
 J 	 K a i k a t i ,   A M ;   K a i k a t i ,   J G 	 	 	 	 K a i k a t i ,   A n d r e w   M . ;   K a i k a t i ,   J a c k   G . 	 	 	 D o i n g   B u s i n e s s   W i t h o u t   E x c h a n g i n g   M o n e y :   T H E   S C A L E   A N D   C R E A T I V I T Y   O F   M O D E M   B A R T E R 	 C A L I F O R N I A   M A N A G E M E N T   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 B u s i n e s s   t o   b u s i n e s s   ( B 2 B ) ;   M a r k e t i n g ;   S t r a t e g i c   m a n a g e m e n t ;   B a r t e r ;   C r o w d s o u r c i n g 	 W O R D - O F - M O U T H ;   P R O D U C T   P L A C E M E N T ;   M O T I V A T I O N S ;   E C O N O M Y ;   F I R M S 	 A l t h o u g h   m o n e y   p l a y s   a   k e y   r o l e   i n   m o d e m   e c o n o m i e s ,   a n   i n c r e a s i n g   a m o u n t   o f   b u s i n e s s   i s   b e i n g   d o n e   w i t h o u t   t h e   u s e   o f   m o n e y .   T h i s   a r t i c l e   s h e d s   l i g h t   o n   t h e   i m p o r t a n t   r o l e s   o f   c a s h l e s s   d e a l s   a n d   i d e n t i f i e s   t h e   f a c t o r s   f u e l i n g   t h e i r   g r o w i n g   i m p o r t a n c e .   I t   p r o v i d e s   g u i d e l i n e s   f o r   n e g o t i a t i n g   m o n e y l e s s   m a r k e t p l a c e   e x c h a n g e s   i n   k e y   d o m a i n s ,   i n c l u d i n g   c r o w d s o u r c i n g   p r o m o t i o n s ,   a n d   w o r d   o f   m o u t h . 	 [ K a i k a t i ,   A n d r e w   M . ]   U n i v   G e o r g i a ,   T e r r y   C o l l   B u s i n e s s ,   A t h e n s ,   G A   3 0 6 0 2   U S A ;   [ K a i k a t i ,   J a c k   G . ]   S o   I l l i n o i s   U n i v ,   E d w a r d s v i l l e ,   I L   6 2 0 2 6   U S A 	 K a i k a t i ,   A M   ( r e p r i n t   a u t h o r ) ,   U n i v   G e o r g i a ,   T e r r y   C o l l   B u s i n e s s ,   A t h e n s ,   G A   3 0 6 0 2   U S A . 	 a k a i k a t i @ u g a . e d u ;   j k a i k a t @ s i u e . e d u 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 0 4 ,   I N C R E A S E   I N   P U B L I S H E ;   [ A n o n y m o u s ] ,   2 0 0 6 ,   B L O O M B E R G   B U S I N E S S W E ,   P 3 2 ;   [ A n o n y m o u s ] ,   2 0 0 9 ,   A M E R I C A N   E X P R E S S   O P E ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   F O U R   F A C T S   A B O U T   B A R ;   [ A n o n y m o u s ] ,   2 0 1 0 ,   L A B B R A N D ;   [ A n o n y m o u s ] ,   1 9 3 1 ,   N Y   T I M E S ,   P 2 0 ;   [ A n o n y m o u s ] ,   2 0 0 9 ,   M A R K E T I N G   C H A R T S ;   A n t i a   K D ,   2 0 0 6 ,   J   M A R K E T I N G ,   V 7 0 ,   P 9 2 ,   D O I   1 0 . 1 5 0 9 / j m k g . 2 0 0 6 . 7 0 . 1 . 9 2 ;   B a l a s u b r a m a n i a n   S K ,   2 0 0 6 ,   J   A D V E R T I S I N G ,   V 3 5 ,   P 1 1 5 ,   D O I   1 0 . 2 7 5 3 / J O A 0 0 9 1 - 3 3 6 7 3 5 0 3 0 8 ;   B a l t e r   D . ,   2 0 0 8 ,   G R A P E V I N E   W H Y   B U Z Z   W ;   B e l k   R ,   2 0 1 0 ,   J   C O N S U M   R E S ,   V 3 6 ,   P 7 1 5 ,   D O I   1 0 . 1 0 8 6 / 6 1 2 6 4 9 ;   B e n n e t t   D . ,   2 0 1 0 ,   B O S T O N   G L O B E ,   p C 1 ;   B i r c h a l l   J . ,   2 0 0 9 ,   F I N A N C I A L   T I M E S ;   B o t s m a n   R . ,   2 0 1 0 ,   W H A T S   M I N E   I S   Y O U R S ;   B o w e n   R M ,   2 0 0 2 ,   C O N T E M P   A C C O U N T   R E S ,   V 1 9 ,   P 5 2 3 ,   D O I   1 0 . 1 5 0 6 / 9 7 2 8 - 4 Y G 8 - G C 3 L - F P F A ;   B O Y L E   M ,   2 0 0 9 ,   B U S   W E E K   0 3 0 9 ,   P 3 0 ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   B u r r i d g e   N . ,   2 0 0 9 ,   I N D E P E N D E N T ;   C a r o l a n   M . ,   2 0 1 0 ,   W A L L   S T R E E T   J ,   p A 1 ;   C a r t e r   D . ,   2 0 1 0 ,   P E N S I O N S   A N D   I N V E S T M ,   P 3 ;   C h a r t o n   S . ,   2 0 0 2 ,   S O U T H E A S T   M I S S O U R I A N ;   C h e e m a   A ,   2 0 1 0 ,   J   M A R K E T I N G   R E S ,   V 4 7 ,   P 5 5 3 ;   C O H E N   S S ,   1 9 8 6 ,   C A L I F   M A N A G E   R E V ,   V 2 8 ,   P 4 1 ;   C o w l e y   E ,   2 0 0 8 ,   J   A D V E R T I S I N G ,   V 3 7 ,   P 8 9 ,   D O I   1 0 . 2 7 5 3 / J O A 0 0 9 1 - 3 3 6 7 3 7 0 1 0 7 ;   C z i n k o t a   M . R . ,   2 0 1 1 ,   I N T   B U S I N E S S ,   P 5 9 3 ;   D A L T O N   G ,   1 9 8 2 ,   J   E C O N   I S S U E S ,   V 1 6 ,   P 1 8 1 ;   D a m i t i o   J . W . ,   1 9 9 4 ,   J   H O S P I T A L I T Y   T O U R I S ,   V 1 7 ,   P 1 0 1 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 6 3 4 8 0 9 4 0 1 7 0 0 3 0 8 ;   D o b s o n   J . ,   2 0 0 6 ,   B U L L S   B E A R S   B O O M   A N D ,   P 8 ;   E d s f o r t h   R . ,   2 0 0 6 ,   T H E   N E W   D E A L   A M E R I C A ,   P 9 4 ;   E s p i n o z a   J . ,   2 0 1 0 ,   W A L L   S T R E E T   J ;   F l e t c h e r   C . ,   2 0 1 1 ,   B L O O M B E R G   B U S I N E S S W E ,   P 2 1 ;   F r e y   B S ,   1 9 9 7 ,   A M   E C O N   R E V ,   V 8 7 ,   P 7 4 6 ;   F u c h s   C ,   2 0 1 0 ,   J   M A R K E T I N G ,   V 7 4 ,   P 6 5 ;   G e i g e r   D . ,   2 0 1 1 ,   P R O C E E D I N G S   O F   T H E   S ;   G i s i n   B . ,   2 0 0 7 ,   T O U C H   T H E   S O I L ,   V 1 7 ,   P 4 6 ;   G o d e s   D ,   2 0 0 5 ,   M A R K E T   L E T T ,   V 1 6 ,   P 4 1 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 0 2 - 0 0 5 - 5 9 0 2 - 4 ;   G r e e n e   K . ,   2 0 0 9 ,   T E C H N O L O G Y   R E V ;   G r i f f i n   R . W . ,   2 0 1 3 ,   I N T   B U S I N E S S ,   P 1 4 4 ;   G u e r c i n i   S . ,   2 0 0 4 ,   M A N A G E   D E C I S ,   V 4 2 ,   P 4 7 1 ;   G u i d o   G . ,   2 0 1 0 ,   I N T E R N A T I O N A L   J O U R N A ,   V 2 ,   P 3 4 ;   H a m p p   A . ,   2 0 1 0 ,   A D V E R T I S I N G   A G E ;   H o m e r   S . ,   1 9 9 6 ,   H I S T   I N T E R E S T   R A T E S ,   P 2 7 5 ;   H o r o v i t z   B . ,   2 0 0 9 ,   U S   T O D A Y                 0 3 3 1 ,   p B 3 ;   I m m e l t   J . ,   2 0 0 9 ,   G E N E R A L   E L E C T R I C   A N N ;   J e v o n s   W . S . ,   1 8 7 5 ,   M O N E Y   M E C H   E X C H A N G E ,   P 3 ;   K a i k a t i   A M ,   2 0 0 4 ,   C A L I F   M A N A G E   R E V ,   V 4 6 ,   P 6 ;   K a r n i o u c h i n a   E V ,   2 0 1 1 ,   J   M A R K E T I N G ,   V 7 5 ,   P 2 7 ;   K a r r h   J A ,   2 0 0 3 ,   J   A D V E R T I S I N G   R E S ,   V 4 3 ,   P 1 3 8 ;   K e r s h n e r   L . ,   2 0 1 1 ,   C O L U M B I A   J O U R N A L I S M ;   K o p s i d i s   M ,   2 0 0 0 ,   P O S T - C O M M U N I S T   E C O N ,   V 1 2 ,   P 4 7 ,   D O I   1 0 . 1 0 8 0 / 1 4 6 3 1 3 7 0 0 5 0 0 0 2 6 6 6 ;   L a n g e   J . ,   2 0 0 2 ,   B A R T E R   I N D U S T R Y   N O T E ;   L E V Y   D ,   1 9 9 3 ,   E C O N   I N Q ,   V 3 1 ,   P 3 1 4 ;   L o v i n g   B . ,   1 9 3 4 ,   R I C H M O N D   T I M E S   D I S P A ;   M A G E N H E I M   E ,   1 9 8 8 ,   E C O N   I N Q ,   V 2 6 ,   P 4 4 9 ;   M a r v a s t i   A ,   1 9 9 8 ,   A P P L   E C O N ,   V 3 0 ,   P 1 0 7 7 ;   M c C o n n e l l   B . ,   2 0 0 3 ,   C R E A T I N G   C U S T O M E R   E V ;   M o o r e   G . ,   2 0 1 1 ,   M A S S   H I G H   T E C H ;   M o s e s   L . ,   2 0 1 0 ,   A D W E E K ;   N i e l s e n   W i r e ,   2 0 1 2 ,   N I E L S E N W I R E ;   O ' D o h e r t y   J . ,   2 0 1 0 ,   F I N A N C   T I M E S ,   P 1 8 ;   O ' L e a r y   N . ,   2 0 0 9 ,   B R A N D W E E K ,   P 2 4 ;   P a n t e l l i   C . ,   2 0 1 0 ,   G L O B A L   P E N S I O N S ;   P a u w e l s   K . ,   2 0 0 9 ,   J   M A R K E T I N G ,   V 7 3 ,   P 1 ;   P e r e z   M . ,   2 0 0 9 ,   I N F O R M A T I O N W E E K ;   P e t t y   R D ,   2 0 0 8 ,   J   P U B L I C   P O L I C Y   M A R K ,   V 2 7 ,   P 7 ,   D O I   1 0 . 1 5 0 9 / j p p m . 2 7 . 1 . 7 ;   R e c h t i n   M . ,   2 0 0 9 ,   A U T O M O T I V E   N E W S ,   P 4 ;   R o c h e   C . ,   2 0 1 1 ,   N A V I G A T I N G   T H E   N E W   C ;   R o s e n   E . ,   2 0 0 9 ,   T H E   A N A T O M Y   O F   B U Z Z ;   R o s m a n   K . ,   2 0 1 2 ,   W A L L   S T R E E T   J ,   p D 3 ;   R o s m a n   K . ,   2 0 1 2 ,   W A L L   S T R E E T   J ,   p D 1 ;   S a x   D . ,   2 0 1 1 ,   B L O O M B E R G   B U S I N E S S W E ,   P 8 3 ;   S e m u e l s   A . ,   2 0 0 8 ,   L O S   A N G E L E S   T I M E S ;   S e r n o v i t z   A . ,   2 0 1 0 ,   W O R D   O F   M O U T H   M A R K E T ;   S i l v e r m a n   G . ,   2 0 1 1 ,   T H E   S E C R E T S   O F   W O R D ;   T e r r o n e s   M . E . ,   2 0 0 9 ,   I M F   W O R L D   E C O N O M I C   O ,   P 1 0 3 ;   T e r r y   N . L . ,   2 0 0 6 ,   B A R T E R   A N D   T H E   F U T U R ,   P 2 0 4 ;   V i l l a n u e v a   J ,   2 0 0 8 ,   J   M A R K E T I N G   R E S ,   V 4 5 ,   P 4 8 ,   D O I   1 0 . 1 5 0 9 / j m k r . 4 5 . 1 . 4 8 ;   W a s k o   J . ,   2 0 0 3 ,   H O W   H O L L Y W O O D   W O R K S ;   W a t k i n s   T . H . ,   2 0 0 0 ,   T H E   H U N G A R Y   Y E A R S   A ,   P 9 5 ;   W E I G A N D   R E ,   1 9 7 9 ,   C A L I F   M A N A G E   R E V ,   V 2 2 ,   P 3 3 ;   W h i t n e y   L . ,   2 0 1 0 ,   M A N A G I N G   I N T E L L E C T U A ,   P 8 2 ;   W i l l i a m s   C .   C . ,   1 9 9 6 ,   J   P U B L I C   P O L I C Y ,   V 1 6 ,   P 8 5 ;   W I L L I A M S O N   S ,   1 9 9 4 ,   A M   E C O N   R E V ,   V 8 4 ,   P 1 0 4 ;   W i n t e r   C . ,   2 0 1 1 ,   B L O O M B E R G   B U S I N E S S   W ,   P 2 1 ;   W o n g   E . ,   2 0 0 8 ,   B R A N D W E E K ,   P 8 ;   Y a n g   H L ,   2 0 1 0 ,   C O M P U T   H U M   B E H A V ,   V 2 6 ,   P 1 3 7 7 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 0 . 0 4 . 0 1 1 	 8 6 	 0 	 0 	 U N I V   C A L I F 	 B E R K E L E Y 	 G R A D   S C H   B U S I N E S S   A D M I N ,   B E R K E L E Y ,   C A   9 4 7 2 0   U S A 	 0 0 0 8 - 1 2 5 6 	 	 	 C A L I F   M A N A G E   R E V 	 C a l i f .   M a n a g e .   R e v . 	 W I N 	 2 0 1 3 	 5 5 	 2 	 	 	 	 	 4 6 	 7 1 	 	 1 0 . 1 5 2 5 / c m r . 2 0 1 3 . 5 5 . 2 . 4 6 	 	 2 6 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 0 8 4 R F 	 W O S : 0 0 0 3 1 4 5 5 6 1 0 0 0 0 3 	 	 
 J 	 C e l i n o ,   I ;   K o t o u l a s ,   S 	 	 	 	 C e l i n o ,   I r e n e ;   K o t o u l a s ,   S p y r o s 	 	 	 S m a r t   C i t i e s 	 I E E E   I N T E R N E T   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 d a t a   s t r e a m s ;   s m a r t   c i t i e s ;   i n t e l l i g e n t   i n f r a s t r u c t u r e   m a n a g e m e n t ;   i n t e r n e t   t e c h n o l o g i e s ;   t r a f f i c   m a n a g e m e n t ;   c r o w d s o u r c i n g ;   w a t e r   m a n a g e m e n t ;   e n e r g y   c o n s u m p t i o n   m o n i t o r i n g 	 	 	 [ C e l i n o ,   I r e n e ]   P o l i t e c n   M i l a n ,   C E F R I E L ,   M i l a n ,   I t a l y ;   [ K o t o u l a s ,   S p y r o s ]   I B M   R e s   I r e l a n d ,   S m a r t e r   C i t i e s   T e c h n o l   C t r ,   D u b l i n ,   I r e l a n d 	 C e l i n o ,   I   ( r e p r i n t   a u t h o r ) ,   P o l i t e c n   M i l a n ,   C E F R I E L ,   M i l a n ,   I t a l y . 	 i r e n e . c e l i n o @ c e f r i e l . i t ;   s p y r o s . k o t o u l a s @ i e . i b m . c o m 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 2 ,   W O R L D   U R B   P R O S P ;   B i c e r   V . ,   2 0 1 3 ,   P   3 6   I N T   A C M   S I G I R   C ,   P 1 1 2 3 ;   D e l l ' A g l i o   D . ,   2 0 1 3 ,   S E M A N T I C   M A S H U P S   I N T ,   P 2 8 7 ,   D O I   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 6 4 0 3 - 7 _ ;   K i n d b e r g   T ,   2 0 0 7 ,   I E E E   P E R V A S   C O M P U T ,   V 6 ,   P 1 8 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 0 7 . 5 7 ;   K o t o u l a s   S . ,   J   W E B   S E M A N   I N   P R E S S ;   Z a m b o n e l l i   F . ,   2 0 1 1 ,   P   2 0 1 1   I E E E   I N T   C   P E ,   P 5 7 8 ,   D O I   [ 1 0 . 1 1 0 9 / P E R C O M W . 2 0 1 1 . 5 7 6 6 9 5 6 ,   D O I   1 0 . 1 1 0 9 / P E R C 0 M W . 2 0 1 1 . 5 7 6 6 9 5 6 ] 	 6 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 8 9 - 7 8 0 1 	 1 9 4 1 - 0 1 3 1 	 	 I E E E   I N T E R N E T   C O M P U T 	 I E E E   I n t e r n e t   C o m p u t . 	 N O V - D E C 	 2 0 1 3 	 1 7 	 6 	 	 	 	 	 8 	 1 1 	 	 1 0 . 1 1 0 9 / M I C . 2 0 1 3 . 1 1 7 	 	 4 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 2 7 9 F L 	 W O S : 0 0 0 3 2 8 9 4 5 7 0 0 0 0 2 	 	 
 J 	 B e n o u a r e t ,   K ;   V a l l i y u r - R a m a l i n g a m ,   R ;   C h a r o y ,   F 	 	 	 	 B e n o u a r e t ,   K a r i m ;   V a l l i y u r - R a m a l i n g a m ,   R a m a n ;   C h a r o y ,   F r a n c o i s 	 	 	 C r o w d S C :   B u i l d i n g   S m a r t   C i t i e s   w i t h   L a r g e - S c a l e   C i t i z e n   P a r t i c i p a t i o n 	 I E E E   I N T E R N E T   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C i t i e s   a n d   t o w n s ;   R o a d s ;   C o n t e x t ;   D a t a   c o l l e c t i o n ;   M a i n t e n a n c e   e n g i n e e r i n g ;   D a t a   m o d e l s ;   E n g i n e s ;   b u s i n e s s   p r o c e s s   m a n a g e m e n t ;   c r o w d s o u r c i n g ;   s m a r t   c i t i e s 	 	 A   p l a t f o r m   t h a t   c o n n e c t s   c i t i z e n s   e f f e c t i v e l y   t o   l o c a l   g o v e r n m e n t ,   l e t t i n g   t h e m   c o n t r i b u t e   t o   t h e i r   c o m m u n i t y ' s   g e n e r a l   w e l l - b e i n g ,   w o u l d   b e   a n   e l e g a n t   w a y   t o   m a k e   c i t i e s   s m a r t e r .   C r o w d S C   i s   a   c r o w d s o u r c i n g   f r a m e w o r k   d e s i g n e d   f o r   s m a r t e r   c i t i e s .   T h e   f r a m e w o r k   l e t s   u s e r s   c o m b i n e   d a t a   c o l l e c t i o n ,   s e l e c t i o n ,   a n d   a s s e s s m e n t   a c t i v i t i e s   i n   a   c r o w d s o u r c i n g   p r o c e s s   t o   a c h i e v e   s o p h i s t i c a t e d   g o a l s   w i t h i n   a   p r e d e f i n e d   c o n t e x t .   D e p e n d i n g   u p o n   t h i s   p r o c e s s ' s   e x e c u t i o n   s t r a t e g y ,   d i f f e r e n t   o u t c o m e s   a r e   p o s s i b l e .   T h e   a u t h o r s   d e s c r i b e   C r o w d S C ' s   p r o c e s s   m o d e l   a n d   e v a l u a t e   t h r e e   e x e c u t i o n   s t r a t e g i e s . 	 [ B e n o u a r e t ,   K a r i m ]   I n r i a ,   R e s   C t r ,   P a r i s ,   F r a n c e ;   [ V a l l i y u r - R a m a l i n g a m ,   R a m a n ;   C h a r o y ,   F r a n c o i s ]   U n i v   L o r r a i n e ,   I n r i a   L O R I A ,   L o r r a i n e ,   F r a n c e 	 B e n o u a r e t ,   K   ( r e p r i n t   a u t h o r ) ,   I n r i a ,   R e s   C t r ,   P a r i s ,   F r a n c e . 	 k a r i m . b e n o u a r e t @ i n r i a . f r ;   r a m a n v r @ k t h . s e ;   f r a n c o i s . c h a r o y @ l o r i a . f r 	 	 	 E u r o p e a n   I n s t i t u t e   o f   I n n o v a t i o n   a n d   T e c h n o l o g y   K n o w l e d g e   a n d   I n n o v a t i o n   C o m m u n i t y / I C T L a b s   a s   p a r t   o f   t h e   C i t y C r o w d S o u r c e   a c t i v i t y 	 T h i s   w o r k   i s   p a r t i a l l y   f u n d e d   b y   t h e   " D i g i t a l   C i t i e s "   a c t i o n   l i n e   o f   t h e   E u r o p e a n   I n s t i t u t e   o f   I n n o v a t i o n   a n d   T e c h n o l o g y   K n o w l e d g e   a n d   I n n o v a t i o n   C o m m u n i t y / I C T L a b s   a s   p a r t   o f   t h e   C i t y C r o w d S o u r c e   a c t i v i t y . 	 	 0 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 8 9 - 7 8 0 1 	 1 9 4 1 - 0 1 3 1 	 	 I E E E   I N T E R N E T   C O M P U T 	 I E E E   I n t e r n e t   C o m p u t . 	 N O V - D E C 	 2 0 1 3 	 1 7 	 6 	 	 	 	 	 5 7 	 6 3 	 	 1 0 . 1 1 0 9 / M I C . 2 0 1 3 . 8 8 	 	 7 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 2 7 9 F L 	 W O S : 0 0 0 3 2 8 9 4 5 7 0 0 0 0 8 	 	 
 J 	 K o k k a l i s ,   N ;   K o h n ,   T ;   H u e b n e r ,   J ;   L e e ,   M ;   S c h u l z e ,   F ;   K l e m m e r ,   S R 	 	 	 	 K o k k a l i s ,   N i c o l a s ;   K o e h n ,   T h o m a s ;   H u e b n e r ,   J o h a n n e s ;   L e e ,   M o o n t a e ;   S c h u l z e ,   F l o r i a n ;   K l e m m e r ,   S c o t t   R . 	 	 	 T a s k G e n i e s :   A u t o m a t i c a l l y   P r o v i d i n g   A c t i o n   P l a n s   H e l p s   P e o p l e   C o m p l e t e   T a s k s 	 A C M   T R A N S A C T I O N S   O N   C O M P U T E R - H U M A N   I N T E R A C T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 T a s k   m a n a g e m e n t ;   C r o w d s o u r c i n g ;   a c t i o n   p l a n s ;   i m p l e m e n t a t i o n   i n t e n t i o n s ;   t i m e   m a n a g e m e n t 	 E X A M P L E S 	 P e o p l e   c o m p l e t e   t a s k s   m o r e   q u i c k l y   w h e n   t h e y   h a v e   c o n c r e t e   p l a n s .   H o w e v e r ,   t h e y   o f t e n   f a i l   t o   c r e a t e   s u c h   a c t i o n   p l a n s .   ( H o w )   c a n   s y s t e m s   p r o v i d e   t h e s e   c o n c r e t e   s t e p s   a u t o m a t i c a l l y ?   T h i s   a r t i c l e   d e m o n s t r a t e s   t h a t   t h e s e   b e n e f i t s   c a n   a l s o   b e   r e a l i z e d   w h e n   t h e s e   p l a n s   a r e   c r e a t e d   b y   o t h e r s   o r   r e u s e d   f r o m   s i m i l a r   t a s k s .   F o u r   e x p e r i m e n t s   t e s t   t h e s e   a p p r o a c h e s ,   f i n d i n g   t h a t   p e o p l e   i n d e e d   c o m p l e t e   m o r e   t a s k s   w h e n   t h e y   r e c e i v e   e x t e r n a l l y - c r e a t e d   a c t i o n   p l a n s .   T o   a u t o m a t i c a l l y   p r o v i d e   p l a n s ,   w e   i n t r o d u c e   t h e   G e n i e s   w o r k f l o w   t h a t   c o m b i n e s   b e n e f i t s   o f   c r o w d   w i s d o m ,   c o l l a b o r a t i v e   r e f i n e m e n t ,   a n d   a u t o m a t i o n .   W e   d e m o n s t r a t e   a n d   e v a l u a t e   t h i s   a p p r o a c h   t h r o u g h   t h e   T a s k G e n i e s   s y s t e m ,   a n d   i n t r o d u c e   a n   N L P   s i m i l a r i t y   a l g o r i t h m   f o r   r e u s i n g   p l a n s .   W e   d e m o n s t r a t e   t h a t   i t   i s   p o s s i b l e   f o r   p e o p l e   t o   c r e a t e   a c t i o n   p l a n s   f o r   o t h e r s ,   a n d   w e   s h o w   t h a t   i t   c a n   b e   c o s t   e f f e c t i v e . 	 [ K o k k a l i s ,   N i c o l a s ;   K o e h n ,   T h o m a s ;   H u e b n e r ,   J o h a n n e s ;   L e e ,   M o o n t a e ;   S c h u l z e ,   F l o r i a n ;   K l e m m e r ,   S c o t t   R . ]   S t a n f o r d   U n i v ,   H C I   G r p ,   D e p t   C o m p   S c i ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A ;   [ K l e m m e r ,   S c o t t   R . ]   U n i v   C a l i f   S a n   D i e g o ,   S a n   D i e g o ,   C A   9 2 1 0 3   U S A 	 K o k k a l i s ,   N   ( r e p r i n t   a u t h o r ) ,   S t a n f o r d   U n i v ,   H C I   G r p ,   D e p t   C o m p   S c i ,   3 5 3   S e r r a   M a l l ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A . 	 n i c o l a s @ c s . s t a n f o r d . e d u ;   s r k @ u c s d . e d u 	 	 	 N S F   P O M I   [ C N S - 0 8 3 2 8 2 0 ] 	 T h i s   r e s e a r c h   w a s   s p o n s o r e d   i n   p a r t   b y   N S F   P O M I   2 0 2 0   G r a n t   N o .   C N S - 0 8 3 2 8 2 0 . 	 A c k e r m a n   M S ,   1 9 9 0 ,   P   A C M   C   O F F   I N F   S Y S T ,   P 3 1 ,   D O I   1 0 . 1 1 4 5 / 9 1 4 7 4 . 9 1 4 8 5 ;   A h m a d   S . ,   2 0 1 1 ,   P   U I S T ;   A l l e n   D a v i d ,   2 0 0 2 ,   G E T T I N G   T H I N G S   D O N E ;   A m a b i l e   T . ,   2 0 1 1 ,   P R O G R   P R I N C I P L E ;   B a n d u r a   A ,   1 9 7 7 ,   S O C I A L   L E A R N I N G   T H E O ;   B e l l o t t i   V . ,   2 0 0 3 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 4 5 ;   B e l l o t t i   V i c t o r i a ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 7 3 5 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 8 5 ;   B e r n s t e i n   M . ,   2 0 0 9 ,   P   U I S T ,   P 9 7 ,   D O I   1 0 . 1 1 4 5 / 1 6 2 2 1 7 6 . 1 6 2 2 1 9 5 ;   B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B r a n d t   J ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 5 1 3 ;   D a i   P . ,   2 0 1 1 ,   P   A A A I ;   D o w   S . ,   2 0 1 2 ,   P   C S C W ;   F e l l b a u m   C . ,   1 9 9 8 ,   W O R D N E T   E L E C T   L E X I C A ;   G I C K   M L ,   1 9 8 0 ,   C O G N I T I V E   P S Y C H O L ,   V 1 2 ,   P 3 0 6 ,   D O I   1 0 . 1 0 1 6 / 0 0 1 0 - 0 2 8 5 ( 8 0 ) 9 0 0 1 3 - 4 ;   G o l l w i t z e r   P .   M . ,   1 9 9 6 ,   P S Y C H O L   A C T I O N   L I N K I ;   H o r o w i t z   D . ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 4 3 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 3 5 ;   I q b a l   S .   T . ,   2 0 0 6 ,   P   A C M   C   H U M   F A C T   C O M ,   P 7 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 1 2 4 7 7 2 . 1 1 2 4 8 8 2 ;   I q b a l   S .   T . ,   2 0 0 8 ,   P   C H I ,   P 9 1 ;   K a r g e r   D . ,   2 0 1 1 ,   P   N I P S ;   K a r p i c k e   J D ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 1 ,   P 7 7 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 9 9 3 2 7 ;   K i t t u r   A . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 4 3 ;   K i t t u r   A . ,   2 0 1 3 ,   P   C S C W ;   K i t t u r   A . ,   2 0 0 7 ,   P   C H I ;   K o k k a l i s   N . ,   2 0 1 3 ,   P   C S C W ;   K u l k a r n i   A .   P . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   E X T   H U M ,   P 2 0 5 3 ;   K u l k a r n i   C . ,   2 0 1 2 ,   P   C O G N   S C I ;   L a w   E . ,   2 0 1 1 ,   S Y N T H E S I S   L E C T   A R T I F ,   V 5 ,   P 1 ,   D O I   D O I   1 0 . 2 2 0 0 / S 0 0 3 7 1 E D 1 V 0 1 Y 2 0 1 1 0 7 A I M 0 1 3 ;   L a w   E . ,   2 0 1 1 ,   P   A A A I ;   L e e   B ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 2 5 7 ;   L E V E N T H A L   H ,   1 9 6 5 ,   J   P E R S   S O C   P S Y C H O L ,   V 2 ,   P 2 0 ,   D O I   1 0 . 1 0 3 7 / h 0 0 2 2 0 8 9 ;   L i t t l e   G . ,   2 0 1 0 ,   P   K D D   H C O M P ;   L u s z c z y n s k a   A ,   2 0 0 6 ,   S O C   S C I   M E D ,   V 6 2 ,   P 9 0 0 ,   D O I   1 0 . 1 0 1 6 / j . s o c s c i m e d . 2 0 0 5 . 0 6 . 0 4 3 ;   M a n n i n g   C .   D ,   2 0 0 6 ,   P   5   I N T   C   L A N G   R E S   E ,   P 4 4 9 ;   M a r s h   R L ,   1 9 9 6 ,   M E M   C O G N I T I O N ,   V 2 4 ,   P 6 6 9 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 0 1 0 9 1 ;   M a t e j k a   J . ,   2 0 1 1 ,   P   U I S T ,   P 1 7 5 ;   M i l k m a n   K L ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 1 0 4 1 5 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 1 0 3 1 7 0 1 0 8 ;   M I L L E R   G A ,   1 9 9 5 ,   C O M M U N   A C M ,   V 3 8 ,   P 3 9 ,   D O I   1 0 . 1 1 4 5 / 2 1 9 7 1 7 . 2 1 9 7 4 8 ;   M O R R I S   M R ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 1 7 3 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 3 2 6 . 1 7 5 3 5 8 7 ;   O ' D o n o g h u e   T ,   2 0 0 1 ,   Q   J   E C O N ,   V 1 1 6 ,   P 1 2 1 ,   D O I   1 0 . 1 1 6 2 / 0 0 3 3 5 5 3 0 1 5 5 6 3 6 5 ;   R o b i n s o n   R ,   2 0 0 1 ,   A M   B I O L   T E A C H ,   V 6 3 ,   P 4 7 4 ,   D O I   1 0 . 1 6 6 2 / 0 0 0 2 - 7 6 8 5 ( 2 0 0 1 ) 0 6 3 [ 0 4 7 4 : C P R ] 2 . 0 . C O ; 2 ;   S a l v u c c i   D D ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 8 5 ;   S M I T H   S M ,   1 9 9 3 ,   M E M   C O G N I T I O N ,   V 2 1 ,   P 8 3 7 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 0 2 7 5 1 ;   S T R A U S S   A ,   1 9 8 5 ,   S O C I O L   Q U A R T ,   V 2 6 ,   P 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 3 3 - 8 5 2 5 . 1 9 8 5 . t b 0 0 2 1 2 . x ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   v o n   A h n   L . ,   2 0 0 8 ,   S C I E N C E ;   v o n   A h n   L . ,   2 0 0 4 ,   C O M M   A C M ;   V r a n d e c i c   D . ,   2 0 1 1 ,   P   I U I ,   P 3 2 3 ,   D O I   1 0 . 1 1 4 5 / 1 9 4 3 4 0 3 . 1 9 4 3 4 5 6 ;   W a n g   J . ,   2 0 1 1 ,   P   W I N T   C   B U S   I N T ;   W e i s b e r g   R .   W . ,   1 9 9 9 ,   H D B   C R E A T I V I T Y ,   P 2 2 6 ;   Y o r k e - S m i t h   N . ,   2 0 0 9 ,   L I K E   I N T U I T I V E   C O U R T ;   Z h a n g   H . ,   2 0 1 2 ,   P   C H I 	 5 2 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 1 0 7 3 - 0 5 1 6 	 1 5 5 7 - 7 3 2 5 	 	 A C M   T   C O M P U T - H U M   I N T 	 A C M   T r a n s .   C o m p u t . - H u m .   I n t e r a c t . 	 N O V 	 2 0 1 3 	 2 0 	 5 	 	 	 	 	 	 	 2 7 	 1 0 . 1 1 4 5 / 2 5 1 3 5 6 0 	 	 2 5 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 2 5 8 B J 	 W O S : 0 0 0 3 2 7 4 3 2 6 0 0 0 0 1 	 	 
 J 	 M e y e r ,   P ;   S i w o ,   G ;   Z e e v i ,   D ;   S h a r o n ,   E ;   N o r e l ,   R ;   S e g a l ,   E ;   S t o l o v i t z k y ,   G 	 	 	 	 M e y e r ,   P a b l o ;   S i w o ,   G e o f f r e y ;   Z e e v i ,   D a n n y ;   S h a r o n ,   E i l o n ;   N o r e l ,   R a q u e l ;   S e g a l ,   E r a n ;   S t o l o v i t z k y ,   G u s t a v o 	 	 D R E A M 6   P r o m o t e r   P r e d i c t i o n   C o n s o r t 	 I n f e r r i n g   g e n e   e x p r e s s i o n   f r o m   r i b o s o m a l   p r o m o t e r   s e q u e n c e s ,   a   c r o w d s o u r c i n g   a p p r o a c h 	 G E N O M E   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 P R O T E I N - S T R U C T U R E   P R E D I C T I O N ;   E U K A R Y O T I C   G E N O M E ;   P A T H W A Y ;   B I N D I N G ;   I F H 1 	 T h e   G e n e   P r o m o t e r   E x p r e s s i o n   P r e d i c t i o n   c h a l l e n g e   c o n s i s t e d   o f   p r e d i c t i n g   g e n e   e x p r e s s i o n   f r o m   p r o m o t e r   s e q u e n c e s   i n   a   p r e v i o u s l y   u n k n o w n   e x p e r i m e n t a l l y   g e n e r a t e d   d a t a   s e t .   T h e   c h a l l e n g e   w a s   p r e s e n t e d   t o   t h e   c o m m u n i t y   i n   t h e   f r a m e w o r k   o f   t h e   s i x t h   D i a l o g u e   f o r   R e v e r s e   E n g i n e e r i n g   A s s e s s m e n t s   a n d   M e t h o d s   ( D R E A M 6 ) ,   a   c o m m u n i t y   e f f o r t   t o   e v a l u a t e   t h e   s t a t u s   o f   s y s t e m s   b i o l o g y   m o d e l i n g   m e t h o d o l o g i e s .   N u c l e o t i d e - s p e c i f i c   p r o m o t e r   a c t i v i t y   w a s   o b t a i n e d   b y   m e a s u r i n g   f l u o r e s c e n c e   f r o m   p r o m o t e r   s e q u e n c e s   f u s e d   u p s t r e a m   o f   a   g e n e   f o r   y e l l o w   f l u o r e s c e n c e   p r o t e i n   a n d   i n s e r t e d   i n   t h e   s a m e   g e n o m i c   s i t e   o f   y e a s t   S a c c h a r o m y c e s   c e r e v i s i a e .   T w e n t y - o n e   t e a m s   s u b m i t t e d   r e s u l t s   p r e d i c t i n g   t h e   e x p r e s s i o n   l e v e l s   o f   5 3   d i f f e r e n t   p r o m o t e r s   f r o m   y e a s t   r i b o s o m a l   p r o t e i n   g e n e s .   A n a l y s i s   o f   p a r t i c i p a n t   p r e d i c t i o n s   s h o w s   t h a t   a c c u r a t e   v a l u e s   f o r   l o w - e x p r e s s e d   a n d   m u t a t e d   p r o m o t e r s   w e r e   d i f f i c u l t   t o   o b t a i n ,   a l t h o u g h   i n   t h e   l a t t e r   c a s e ,   o n l y   w h e n   t h e   m u t a t i o n   i n d u c e d   a   l a r g e   c h a n g e   i n   p r o m o t e r   a c t i v i t y   c o m p a r e d   t o   t h e   w i l d - t y p e   s e q u e n c e .   A s   i n   p r e v i o u s   D R E A M   c h a l l e n g e s ,   w e   f o u n d   t h a t   a g g r e g a t i o n   o f   p a r t i c i p a n t   p r e d i c t i o n s   p r o v i d e d   r o b u s t   r e s u l t s ,   b u t   d i d   n o t   f a r e   b e t t e r   t h a n   t h e   t h r e e   b e s t   a l g o r i t h m s .   F i n a l l y ,   t h i s   s t u d y   n o t   o n l y   p r o v i d e s   a   b e n c h m a r k   f o r   t h e   a s s e s s m e n t   o f   m e t h o d s   p r e d i c t i n g   a c t i v i t y   o f   a   s p e c i f i c   s e t   o f   p r o m o t e r s   f r o m   t h e i r   s e q u e n c e ,   b u t   i t   a l s o   s h o w s   t h a t   t h e   t o p   p e r f o r m i n g   a l g o r i t h m ,   w h i c h   u s e d   m a c h i n e - l e a r n i n g   a p p r o a c h e s ,   c a n   b e   i m p r o v e d   b y   t h e   a d d i t i o n   o f   b i o l o g i c a l   f e a t u r e s   s u c h   a s   t r a n s c r i p t i o n   f a c t o r   b i n d i n g   s i t e s . 	 [ M e y e r ,   P a b l o ;   N o r e l ,   R a q u e l ;   S t o l o v i t z k y ,   G u s t a v o ]   I B M   T J   W a t s o n   R e s   C t r ,   Y o r k t o w n   H t s ,   N Y   1 0 5 9 8   U S A ;   [ S i w o ,   G e o f f r e y ]   U n i v   N o t r e   D a m e ,   D e p t   B i o l   S c i ,   E c k   I n s t   G l o b a l   H l t h ,   N o t r e   D a m e ,   I N   4 6 5 5 6   U S A ;   [ Z e e v i ,   D a n n y ]   P r i n c e t o n   U n i v ,   L e w i s   S i g l e r   I n s t   I n t e g r a t   G e n o m ,   P r i n c e t o n ,   N J   0 8 5 4 0   U S A ;   [ S h a r o n ,   E i l o n ;   S e g a l ,   E r a n ]   W e i z m a n n   I n s t   S c i ,   D e p t   C o m p   S c i   &   A p p l   M a t h ,   I L - 7 6 1 0 0   R e h o v o t ,   I s r a e l 	 M e y e r ,   P   ( r e p r i n t   a u t h o r ) ,   I B M   T J   W a t s o n   R e s   C t r ,   Y o r k t o w n   H t s ,   N Y   1 0 5 9 8   U S A . 	 p m e y e r r @ u s . i b m . c o m 	 S a e y s ,   Y v a n / C - 1 3 1 1 - 2 0 0 9 ;   S z c z u r e k ,   E w a / K - 1 1 3 0 - 2 0 1 4 	 S z c z u r e k ,   E w a / 0 0 0 0 - 0 0 0 2 - 1 3 2 0 - 6 6 9 5 	 	 	 B a d i s   G ,   2 0 0 8 ,   M O L   C E L L ,   V 3 2 ,   P 8 7 8 ,   D O I   1 0 . 1 0 1 6 / j . m o l c e l . 2 0 0 8 . 1 1 . 0 2 0 ;   B a s e h o a r   A D ,   2 0 0 4 ,   C E L L ,   V 1 1 6 ,   P 6 9 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 9 2 - 8 6 7 4 ( 0 4 ) 0 0 2 0 5 - 3 ;   B e e r   M A ,   2 0 0 4 ,   C E L L ,   V 1 1 7 ,   P 1 8 5 ,   D O I   1 0 . 1 0 1 6 / S 0 0 9 2 - 8 6 7 4 ( 0 4 ) 0 0 3 0 4 - 6 ;   G e r t z   J ,   2 0 0 9 ,   M O L   S Y S T   B I O L ,   V 5 ,   D O I   [ 1 0 . 1 0 3 8 / m s b . 2 0 0 9 . 1 ,   1 0 . 1 0 3 8 / m s b 2 0 0 9 . 1 ] ;   G i e t z   R D ,   2 0 0 7 ,   N A T   P R O T O C ,   V 2 ,   P 5 ,   D O I   1 0 . 1 0 3 8 / n p r o t . 2 0 0 7 . 1 6 ;   H a r b i s o n   C T ,   2 0 0 4 ,   N A T U R E ,   V 4 3 1 ,   P 9 9 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 2 8 0 0 ;   I r i e   T ,   2 0 1 1 ,   N U C L E I C   A C I D S   R E S ,   V 3 9 ,   D O I   1 0 . 1 0 9 3 / n a r / g k r 1 7 3 ;   K a l i r   S ,   2 0 0 1 ,   S C I E N C E ,   V 2 9 2 ,   P 2 0 8 0 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 0 5 8 7 5 8 ;   K a p l a n   N ,   2 0 0 9 ,   N A T U R E ,   V 4 5 8 ,   P 3 6 2 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 7 6 6 7 ;   L i e b   J D ,   2 0 0 1 ,   N A T   G E N E T ,   V 2 8 ,   P 3 2 7 ,   D O I   1 0 . 1 0 3 8 / n g 5 6 9 ;   L i n s h i z   G ,   2 0 0 8 ,   M O L   S Y S T   B I O L ,   V 4 ,   D O I   1 0 . 1 0 3 8 / m s b . 2 0 0 8 . 2 6 ;   M o u l t   J ,   1 9 9 6 ,   C U R R   O P I N   B I O T E C H ,   V 7 ,   P 4 2 2 ,   D O I   1 0 . 1 0 1 6 / S 0 9 5 8 - 1 6 6 9 ( 9 6 ) 8 0 1 1 8 - 2 ;   M O U L T   J ,   1 9 9 5 ,   P R O T E I N S ,   V 2 3 ,   p R 2 ,   D O I   1 0 . 1 0 0 2 / p r o t . 3 4 0 2 3 0 3 0 3 ;   S c h a w a l d e r   S B ,   2 0 0 4 ,   N A T U R E ,   V 4 3 2 ,   P 1 0 5 8 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 3 2 0 0 ;   S h a r o n   E ,   2 0 1 2 ,   N A T   B I O T E C H N O L ,   V 3 0 ,   P 5 2 1 ,   D O I   1 0 . 1 0 3 8 / n b t . 2 2 0 5 ;   S H O R T L E   D ,   1 9 9 5 ,   N A T   S T R U C T   B I O L ,   V 2 ,   P 9 1 ,   D O I   1 0 . 1 0 3 8 / n s b 0 2 9 5 - 9 1 ;   S t o l o v i t z k y   G ,   2 0 0 7 ,   A N N   N Y   A C A D   S C I ,   V 1 1 1 5 ,   P 1 ,   D O I   1 0 . 1 1 9 6 / a n n a l s . 1 4 0 7 . 0 2 1 ;   W a d e   J T ,   2 0 0 4 ,   N A T U R E ,   V 4 3 2 ,   P 1 0 5 4 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 3 1 7 5 ;   Z e e v i   D ,   2 0 1 1 ,   G E N O M E   R E S ,   V 2 1 ,   P 2 1 1 4 ,   D O I   1 0 . 1 1 0 1 / g r . 1 1 9 6 6 9 . 1 1 0 ;   Z h u   C ,   2 0 0 9 ,   G E N O M E   R E S ,   V 1 9 ,   P 5 5 6 ,   D O I   1 0 . 1 1 0 1 / g r . 0 9 0 2 3 3 . 1 0 8 	 2 0 	 0 	 0 	 C O L D   S P R I N G   H A R B O R   L A B   P R E S S ,   P U B L I C A T I O N S   D E P T 	 C O L D   S P R I N G   H A R B O R 	 1   B U N G T O W N   R D ,   C O L D   S P R I N G   H A R B O R ,   N Y   1 1 7 2 4   U S A 	 1 0 8 8 - 9 0 5 1 	 1 5 4 9 - 5 4 6 9 	 	 G E N O M E   R E S 	 G e n o m e   R e s . 	 N O V 	 2 0 1 3 	 2 3 	 1 1 	 	 	 	 	 1 9 2 8 	 1 9 3 7 	 	 1 0 . 1 1 0 1 / g r . 1 5 7 4 2 0 . 1 1 3 	 	 1 0 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   B i o t e c h n o l o g y   &   A p p l i e d   M i c r o b i o l o g y ;   G e n e t i c s   &   H e r e d i t y 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   B i o t e c h n o l o g y   &   A p p l i e d   M i c r o b i o l o g y ;   G e n e t i c s   &   H e r e d i t y 	 2 4 7 T A 	 W O S : 0 0 0 3 2 6 6 4 2 5 0 0 0 1 6 	 2 3 9 5 0 1 4 6 	 
 J 	 M c C a r t n e y ,   P 	 	 	 	 M c C a r t n e y ,   P a t r i c i a 	 	 	 C r o w d s o u r c i n g   i n   H e a l t h c a r e 	 M C N - T H E   A M E R I C A N   J O U R N A L   O F   M A T E R N A L - C H I L D   N U R S I N G 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 	 [ M c C a r t n e y ,   P a t r i c i a ]   M e d S t a r   W a s h i n g t o n   H o s p   C t r ,   W a s h i n g t o n ,   D C   U S A ;   [ M c C a r t n e y ,   P a t r i c i a ]   S U N Y   B u f f a l o ,   B u f f a l o ,   N Y   1 4 2 6 0   U S A 	 M c C a r t n e y ,   P   ( r e p r i n t   a u t h o r ) ,   M e d S t a r   W a s h i n g t o n   H o s p   C t r ,   W a s h i n g t o n ,   D C   U S A . 	 p a t r i c i a . m c c a r t n e y @ g m a i l . c o m 	 	 	 	 	 H o w e   J e f f ,   2 0 0 9 ,   C R O W D S O U R C I N G ;   S w a n   M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 8 8 ;   W a g h o l i k a r   K B ,   2 0 1 3 ,   J   A M   M E D   I N F O R M   A S S N ,   V 2 0 ,   P 7 4 9 ,   D O I   1 0 . 1 1 3 6 / a m i a j n l - 2 0 1 3 - 0 0 1 6 1 3 	 3 	 1 	 1 	 L I P P I N C O T T   W I L L I A M S   &   W I L K I N S 	 P H I L A D E L P H I A 	 5 3 0   W A L N U T   S T ,   P H I L A D E L P H I A ,   P A   1 9 1 0 6 - 3 6 2 1   U S A 	 0 3 6 1 - 9 2 9 X 	 1 5 3 9 - 0 6 8 3 	 	 M C N - A M   J   M A T E R N - C H I L 	 M C N - A m .   J .   M a t e r n . - C h i l d   N u r s . 	 N O V - D E C 	 2 0 1 3 	 3 8 	 6 	 	 	 	 	 3 9 2 	 3 9 2 	 	 1 0 . 1 0 9 7 / N M C . 0 b 0 1 3 e 3 1 8 2 a 4 1 5 7 1 	 	 1 	 N u r s i n g 	 N u r s i n g 	 2 5 2 P R 	 W O S : 0 0 0 3 2 7 0 2 0 2 0 0 0 1 5 	 2 4 1 4 5 4 9 6 	 
 J 	 M e r g e l ,   I ;   D e s o u z a ,   K C 	 	 	 	 M e r g e l ,   I n e s ;   D e s o u z a ,   K e v i n   C . 	 	 	 I m p l e m e n t i n g   O p e n   I n n o v a t i o n   i n   t h e   P u b l i c   S e c t o r :   T h e   C a s e   o f   C h a l l e n g e . g o v 	 P U B L I C   A D M I N I S T R A T I O N   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 G O V E R N M E N T 	 A s   p a r t   o f   t h e   O p e n   G o v e r n m e n t   I n i t i a t i v e ,   t h e   B a r a c k   O b a m a   a d m i n i s t r a t i o n   h a s   c a l l e d   f o r   n e w   f o r m s   o f   c o l l a b o r a t i o n   w i t h   s t a k e h o l d e r s   t o   i n c r e a s e   t h e   i n n o v a t i v e n e s s   o f   p u b l i c   s e r v i c e   d e l i v e r y .   F e d e r a l   m a n a g e r s   a r e   e m p l o y i n g   a   n e w   p o l i c y   i n s t r u m e n t   c a l l e d   C h a l l e n g e . g o v   t o   i m p l e m e n t   o p e n   i n n o v a t i o n   c o n c e p t s   i n v e n t e d   i n   t h e   p r i v a t e   s e c t o r   t o   c r o w d s o u r c e   s o l u t i o n s   f r o m   p r e v i o u s l y   u n t a p p e d   p r o b l e m   s o l v e r s   a n d   t o   l e v e r a g e   c o l l e c t i v e   i n t e l l i g e n c e   t o   t a c k l e   c o m p l e x   s o c i a l   a n d   t e c h n i c a l   p u b l i c   m a n a g e m e n t   p r o b l e m s .   T h e   a u t h o r s   h i g h l i g h t   t h e   w o r k   c o n d u c t e d   b y   t h e   O f f i c e   o f   C i t i z e n   S e r v i c e s   a n d   I n n o v a t i v e   T e c h n o l o g i e s   a t   t h e   G e n e r a l   S e r v i c e s   A d m i n i s t r a t i o n ,   t h e   a d m i n i s t r a t o r   o f   t h e   C h a l l e n g e . g o v   p l a t f o r m .   S p e c i f i c a l l y ,   t h i s   A d m i n i s t r a t i v e   P r o f i l e   f e a t u r e s   t h e   w o r k   o f   T a m m i   M a r c o u l l i e r ,   p r o g r a m   m a n a g e r   f o r   C h a l l e n g e . g o v ,   a n d   K a r e n   T r e b o n ,   d e p u t y   p r o g r a m   m a n a g e r ,   a n d   t h e i r   r o l e   a s   c h a n g e   a g e n t s   w h o   m e d i a t e   c o l l a b o r a t i v e   p r a c t i c e s   b e t w e e n   p o l i c y   m a k e r s   a n d   p u b l i c   a g e n c i e s   a s   t h e y   n a v i g a t e   t h e   p o l i t i c a l   a n d   l e g a l   e n v i r o n m e n t s   o f   t h e i r   l o c a l   a g e n c i e s .   T h e   p r o f i l e   p r o v i d e s   i n s i g h t s   i n t o   t h e   i m p l e m e n t a t i o n   p r o c e s s   o f   c r o w d s o u r c i n g   s o l u t i o n s   f o r   p u b l i c   m a n a g e m e n t   p r o b l e m s ,   a s   w e l l   a s   l e s s o n s   l e a r n e d   f o r   d e s i g n i n g   o p e n   i n n o v a t i o n   p r o c e s s e s   i n   t h e   p u b l i c   s e c t o r . 	 [ M e r g e l ,   I n e s ]   S y r a c u s e   U n i v ,   M a x w e l l   S c h   C i t i z e n s h i p   &   P u b l   A f f a i r s ,   S y r a c u s e ,   N Y   1 3 2 4 4   U S A ;   [ D e s o u z a ,   K e v i n   C . ]   A r i z o n a   S t a t e   U n i v ,   C o l l   P u b l   P r o g r a m s ,   T e m p e ,   A Z   8 5 2 8 7   U S A ;   [ D e s o u z a ,   K e v i n   C . ]   A r i z o n a   S t a t e   U n i v ,   S c h   P u b l   A f f a i r s ,   T e m p e ,   A Z   8 5 2 8 7   U S A ;   [ D e s o u z a ,   K e v i n   C . ]   A r i z o n a   S t a t e   U n i v ,   O f f   K n o w l e d g e   E n t e r p r i s e   D e v ,   T e m p e ,   A Z   8 5 2 8 7   U S A 	 M e r g e l ,   I   ( r e p r i n t   a u t h o r ) ,   S y r a c u s e   U n i v ,   M a x w e l l   S c h   C i t i z e n s h i p   &   P u b l   A f f a i r s ,   S y r a c u s e ,   N Y   1 3 2 4 4   U S A . 	 i a m e r g e l @ m a x w e l l . s y r . e d u ;   k e v . d e s o u z a @ g m a i l . c o m 	 	 	 	 	 A w a z u   Y ,   2 0 0 4 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 5 ,   P 1 0 1 6 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 0 0 5 0 ;   B a s s l e r   A l l a n ,   2 0 0 8 ,   D E V   E F F E C T I V E   C I T I Z E ;   B o y n e   G A ,   1 9 9 8 ,   P U B L I C   A D M I N   R E V ,   V 5 8 ,   P 4 7 4 ,   D O I   1 0 . 2 3 0 7 / 9 7 7 5 7 5 ;   B o z e m a n   B . ,   1 9 8 7 ,   A L L   O R G   A R E   P U B L I C   B ;   B o z e m a n   B . ,   1 9 9 4 ,   J   P U B L   A D M   R E S   T H E O R ,   V 4 ,   P 1 9 7 ;   B r a b h a m   D C ,   2 0 1 3 ,   M I T   P R E S S   E S S E N T ,   P 1 ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ;   D e s o u z a   K e v i n   C ,   2 0 1 2 ,   C H A L L E N G E   G O V   U S I N G ;   F e r n a n d e z   S ,   2 0 0 6 ,   P U B L I C   A D M I N   R E V ,   V 6 6 ,   P 1 6 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 6 2 1 0 . 2 0 0 6 . 0 0 5 7 0 . x ;   G a v e n t a   J .   K . ,   2 0 1 0 ,   3 4 7   I   D E V   S T U D ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   K a l i l   T . ,   2 0 0 6 ,   P R I Z E S   T E C H N O L O G I C A L ;   K h a t i b   F ,   2 0 1 1 ,   N A T   S T R U C T   M O L   B I O L ,   V 1 8 ,   P 1 1 7 5 ,   D O I   1 0 . 1 0 3 8 / n s m b . 2 1 1 9 ;   L o u i s   C . ,   2 0 1 3 ,   P U B L   M A N   R E S   C   M A D   W ;   M e r g e l   I . ,   2 0 1 1 ,   P A   T I M E S ,   V 3 4 ,   P 4 ;   M e r g e l   I ,   2 0 1 3 ,   P U B L I C   A D M I N   R E V ,   V 7 3 ,   P 3 9 0 ,   D O I   1 0 . 1 1 1 1 / p u a r . 1 2 0 2 1 ;   P E R R Y   J L ,   1 9 8 8 ,   A C A D   M A N A G E   R E V ,   V 1 3 ,   P 1 8 2 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 5 7 1 ;   R e d d e l   T ,   2 0 0 4 ,   A U S T   J   P U B L   A D M I N ,   V 6 3 ,   P 7 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 5 0 0 . 2 0 0 4 . 0 0 3 9 2 . x ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   W h i t e   H o u s e ,   2 0 1 0 ,   G U I D   U S   C H A L L   P R I Z   P ;   W h i t e   H o u s e ,   2 0 0 9 ,   M E M   H E A D S   E X   D E P   A G ;   W h i t e   H o u s e ,   2 0 1 2 ,   M E M   N A T   S C I   T E C H N   C O 	 2 2 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 0 3 3 - 3 3 5 2 	 1 5 4 0 - 6 2 1 0 	 	 P U B L I C   A D M I N   R E V 	 P u b l i c   A d m .   R e v . 	 N O V 	 2 0 1 3 	 7 3 	 6 	 	 	 	 	 8 8 2 	 8 9 0 	 	 1 0 . 1 1 1 1 / p u a r . 1 2 1 4 1 	 	 9 	 P u b l i c   A d m i n i s t r a t i o n 	 P u b l i c   A d m i n i s t r a t i o n 	 2 5 2 O D 	 W O S : 0 0 0 3 2 7 0 1 5 3 0 0 0 1 5 	 	 
 J 	 C e l i n o ,   I 	 	 	 	 C e l i n o ,   I r e n e 	 	 	 H u m a n   C o m p u t a t i o n   V G I   P r o v e n a n c e :   S e m a n t i c   W e b - B a s e d   R e p r e s e n t a t i o n   a n d   P u b l i s h i n g 	 I E E E   T R A N S A C T I O N S   O N   G E O S C I E N C E   A N D   R E M O T E   S E N S I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 G e o s p a t i a l   d a t a ;   h u m a n   c o m p u t a t i o n ;   l i n k e d   d a t a ;   o n t o l o g y ;   p r o v e n a n c e ;   s e m a n t i c   w e b ;   v o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n 	 G E O S P A T I A L   W E B ;   S E R V I C E 	 T h e   c o l l e c t i o n   o f   v o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n   ( V G I )   i s   a   u s e r - g e n e r a t e d   c o n t e n t   p r a c t i c e   t o   e n g a g e   a   l a r g e   n u m b e r   o f   c i t i z e n s   t o   c o l l e c t i v e l y   c r e a t e   g e o s p a t i a l   d a t a .   B a s e d   o n   t h e   a d v e n t   o f   W e b   2 . 0   a n d   t h e   r e c e n t   i n c r e a s i n g   p o p u l a r i t y   o f   c r o w d s o u r c i n g   a p p r o a c h e s ,   V G I   h a s   g a i n e d   t h e   i n t e r e s t   o f   t h e   g e o s c i e n c e   c o m m u n i t y ,   b e c a u s e   o f   i t s   a b i l i t y   t o   c o m p l e m e n t   t h e   c o l l e c t i o n   o f   g e o g r a p h i c   i n f o r m a t i o n   c o m i n g   f r o m   t r a d i t i o n a l   s e n s i n g   t e c h n o l o g i e s .   H o w e v e r ,   t h e   i n v o l v e m e n t   o f   a   c r o w d   o f   v o l u n t e e r s ,   p o t e n t i a l l y   u n t r a i n e d   o r   n o n e x p e r t s ,   i m p l i e s   t h a t   V G I   c a n   b e   o f   v a r y i n g   q u a l i t y .   T r a c i n g   V G I   p r o v e n a n c e   e n a b l e s   t h e   r e c o r d i n g   o f   t h e   c o l l e c t i o n   a c t i v i t y ;   t h e   i n f o r m a t i o n   a b o u t   w h o   g a t h e r e d   w h a t ,   w h e r e   a n d   w h e n   c a n   t h e n   b e   e m p l o y e d   t o   j u d g e   t h e   V G I   q u a l i t y .   I n   t h i s   p a p e r ,   w e   f o c u s   o n   t h e   a d o p t i o n   o f   a   p r o v e n a n c e - b a s e d   H u m a n   C o m p u t a t i o n   a p p r o a c h   t o   a g g r e g a t e   a n d   c o n s o l i d a t e   V G I .   W e   d i s c u s s   t h e   r e p r e s e n t a t i o n ,   i n f e r e n c e   a n d   p u b l i c a t i o n   o f   H u m a n   C o m p u t a t i o n   V G I   a n d   i t s   p r o v e n a n c e .   A s   m o r e   a n d   m o r e   o f   t h o s e   c o m m u n i t y - b a s e d   d a t a   c o l l e c t i o n   e f f o r t s   h a p p e n   o n   t h e   W e b ,   w e   p r o p o s e   t h e   a d o p t i o n   o f   S e m a n t i c   W e b   t e c h n o l o g i e s ,   t h r o u g h   e m p l o y i n g   a n   o n t o l o g i c a l   f o r m u l a t i o n   t o   c a p t u r e   p r o v e n a n c e   a n d   b y   f o l l o w i n g   L i n k e d   D a t a   p r i n c i p l e s   t o   p u b l i s h   p r o v e n a n c e   d a t a   o n   t h e   W e b . 	 P o l i t e c n   M i l a n ,   C E F R I E L   I C T   I n s t ,   I - 2 0 1 3 3   M i l a n ,   I t a l y 	 C e l i n o ,   I   ( r e p r i n t   a u t h o r ) ,   P o l i t e c n   M i l a n ,   C E F R I E L   I C T   I n s t ,   I - 2 0 1 3 3   M i l a n ,   I t a l y . 	 i r e n e . c e l i n o @ c e f r i e l . i t 	 	 	 P l a n e t D a t a   P r o j e c t ;   E u r o p e a n   C o m m i s s i o n   [ F P 7 - 2 5 7 6 4 1 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   P l a n e t D a t a   P r o j e c t ,   C o - F u n d e d   b y   t h e   E u r o p e a n   C o m m i s s i o n   u n d e r   G r a n t   F P 7 - 2 5 7 6 4 1 . 	 A l e x a n d e r   K ,   2 0 1 1 ,   D E S C R I B I N G   L I N K E D   D A ;   [ A n o n y m o u s ] ,   2 0 0 3 ,   2 1 1   I S O T C ;   B e c k e t t   D . ,   2 0 1 3 ,   T U R T L E   T E R S E   R D F   T R I ;   B e l h a j j a m e   K . ,   2 0 1 2 ,   P R O V   O   P R O V   O N T O L O G Y ;   B e l h a j j a m e   K . ,   2 0 1 2 ,   P R O V   M O D E L   P R I M E R ;   B e r n e r s - L e e   T ,   2 0 0 1 ,   S C I   A M ,   V 2 8 4 ,   P 3 4 ;   B i s h r   M ,   2 0 0 7 ,   L E C T   N O T E S   G E O I N F   C A ,   P 3 6 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 7 2 3 8 5 - 1 _ 2 2 ;   B i s h r   M o h a m e d ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 2 2 9 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 8 2 - 4 ;   B r i c k l e y   D ,   2 0 0 4 ,   R D F   V O C A B U L A R Y   D E S C R ;   C e l i n o   I . ,   2 0 1 2 ,   P   4   I N T   C   S O C   C O M P   S ,   P 9 1 0 ;   C e l i n o   I . ,   2 0 1 2 ,   P   1 1   I N T   S E M   W E B   C ,   V 7 6 5 0 ,   P 3 4 ;   D e l l a   V a l l e   E . ,   2 0 1 0 ,   P   1   I N T   W O R K S H   P E R V ,   P 1 ;   D e   L o n g u e v i l l e   B ,   2 0 1 0 ,   C O M P U T   E N V I R O N   U R B A N ,   V 3 4 ,   P 2 9 9 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e n v u r b s y s . 2 0 1 0 . 0 4 . 0 0 4 ;   D e t e r d i n g   S . ,   2 0 1 1 ,   P   1 5   I N T   A C   M I N D T R E K ,   P 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 1 8 1 0 3 7 . 2 1 8 1 0 4 0 ;   D i n g   L . ,   2 0 1 0 ,   O P E N   P R O V E N A N C E   M O D E ;   D u r b h a   S S ,   2 0 0 9 ,   C O M P U T   G E O S C I - U K ,   V 3 5 ,   P 7 6 1 ,   D O I   1 0 . 1 0 1 6 / j . c a g e o . 2 0 0 8 . 0 4 . 0 1 1 ;   E l w o o d   S ,   2 0 1 0 ,   P R O G   H U M   G E O G ,   V 3 4 ,   P 3 4 9 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 9 1 3 2 5 0 9 3 4 0 7 1 1 ;   G i l   Y . ,   2 0 1 0 ,   P R O V E N A N C E   X G   F I N A L ;   G o o d c h i l d   M . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 2 3 9 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 9 0 - 4 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G u p t i l l   S .   C . ,   1 9 9 5 ,   I N T   C A R T O G R A P H I C   A S S ;   H a r t i g   O ,   2 0 1 2 ,   P R O V E N A N C E   V O C A B U L A R ;   H e a t h   T . ,   2 0 1 1 ,   S Y N T H E S I S   L E C T   S E M A N ;   H i l l   L .   L . ,   2 0 0 6 ,   D I G I T A L   L I B   E L E C T   P U ;   H i t z l e r   P ,   2 0 0 9 ,   O W L   2   W E B   O N T O L O G Y   L ;   K i m   J . ,   2 0 0 6 ,   P   5   I N T   S E M   W E B   C ,   P 5 ;   K r o t z s c h   M . ,   2 0 1 2 ,   P   C O R R ;   K y z i r a k o s   K . ,   2 0 1 2 ,   P   1 1   I N T   S E M   W E B   C ,   P 2 9 5 ;   L a w   E . ,   2 0 1 1 ,   S Y N T H E S I S   L E C T   A R T I F ;   L u t z   M ,   2 0 0 7 ,   G E O I N F O R M A T I C A ,   V 1 1 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 7 - 0 0 6 - 7 6 3 5 - 9 ;   M A N O L A   F . ,   2 0 0 4 ,   R D F   P R I M E R ;   M a r t i n   D ,   2 0 0 7 ,   W O R L D   W I D E   W E B ,   V 1 0 ,   P 2 4 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 8 0 - 0 0 7 - 0 0 3 3 - x ;   M a u e   P a t r i c k ,   2 0 0 9 ,   J o u r n a l   o f   C a s e s   o n   I n f o r m a t i o n   T e c h n o l o g y ,   V 1 1 ,   D O I   1 0 . 4 0 1 8 / j c i t . 2 0 0 9 0 7 2 1 0 5 ;   M o r e a u   L ,   2 0 1 1 ,   F U T U R E   G E N E R   C O M P   S Y ,   V 2 7 ,   P 7 4 3 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e . 2 0 1 0 . 0 7 . 0 0 5 ;   P e r r y   M . ,   2 0 1 1 ,   1 1 0 5 2 R 4   O G C ;   P r u d ' h o m m e a u x   E . ,   2 0 0 8 ,   S P A R Q L   Q U E R Y   L A N G U A G ;   S c h a d e   S v e n ,   2 0 1 2 ,   F u t u r e   I n t e r n e t ,   V 4 ,   D O I   1 0 . 3 3 9 0 / f i 4 0 3 0 8 0 7 ;   S h a d b o l t   N ,   2 0 0 6 ,   I E E E   I N T E L L   S Y S T ,   V 2 1 ,   P 9 6 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 6 . 6 2 ;   S p i n s a n t i   L . ,   2 0 1 1 ,   P   2   I T   I N F   R E T R   W O R K ,   P 1 ;   S t a d l e r   C . ,   2 0 1 2 ,   S E M A N T I C   W E B ,   V 3 ,   P 3 3 3 ;   S t a s c h   C . ,   2 0 1 1 ,   P   4   I N T   W O R K S H   S E M   S ,   P 1 ;   T u l l o c h   D L ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 6 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 8 - 9 1 8 5 - 1 ;   V i l c h e s - B l a z q u e z   L u i s   M . ,   2 0 1 0 ,   P   1 8   S I G S P A T I A L   I N T ,   P 4 4 6 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 9 7 9 0 . 1 8 6 9 8 5 8 ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   v o n   A h n   L ,   2 0 0 8 ,   P R O C   I N T   C O N F   D A T A ,   P 1 ,   D O I   1 0 . 1 1 0 9 / I C D E . 2 0 0 8 . 4 4 9 7 4 0 3 ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   Y u e   P ,   2 0 0 6 ,   I N T   G E O S C I   R E M O T E   S E ,   P 3 4 8 6 ,   D O I   1 0 . 1 1 0 9 / I G A R S S . 2 0 0 6 . 8 9 4 ;   Y u e   P ,   2 0 0 7 ,   C O M P U T   G E O S C I - U K ,   V 3 3 ,   P 6 4 9 ,   D O I   1 0 . 1 0 1 6 / j . c a g e o . 2 0 0 6 . 0 9 . 0 0 3 ;   Y u e   P ,   2 0 1 1 ,   C O M P U T   E N V I R O N   U R B A N ,   V 3 5 ,   P 3 3 3 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e n v u r b s y s . 2 0 1 1 . 0 2 . 0 0 6 ;   Y u e   P ,   2 0 1 0 ,   C O M P U T   G E O S C I - U K ,   V 3 6 ,   P 2 7 0 ,   D O I   1 0 . 1 0 1 6 / j . c a g e o . 2 0 0 9 . 0 9 . 0 0 2 ;   Z h a o   J . ,   2 0 1 0 ,   O P E N   P R O V E N A N C E   M O D E 	 5 1 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 0 1 9 6 - 2 8 9 2 	 1 5 5 8 - 0 6 4 4 	 	 I E E E   T   G E O S C I   R E M O T E 	 I E E E   T r a n s .   G e o s c i .   R e m o t e   S e n s i n g 	 N O V 	 2 0 1 3 	 5 1 	 1 1 	 	 	 S I 	 	 5 1 3 7 	 5 1 4 4 	 	 1 0 . 1 1 0 9 / T G R S . 2 0 1 3 . 2 2 5 2 0 1 5 	 	 8 	 G e o c h e m i s t r y   &   G e o p h y s i c s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   R e m o t e   S e n s i n g ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 G e o c h e m i s t r y   &   G e o p h y s i c s ;   E n g i n e e r i n g ;   R e m o t e   S e n s i n g ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 2 4 7 D Y 	 W O S : 0 0 0 3 2 6 5 9 6 5 0 0 0 1 0 	 	 
 J 	 K e u s k a m p ,   J A ;   D i n g e m a n s ,   B J J ;   L e h t i n e n ,   T ;   S a r n e e l ,   J M ;   H e f t i n g ,   M M 	 	 	 	 K e u s k a m p ,   J o o s t   A . ;   D i n g e m a n s ,   B a s   J .   J . ;   L e h t i n e n ,   T a r u ;   S a r n e e l ,   J u d i t h   M . ;   H e f t i n g ,   M a r i e t   M . 	 	 	 T e a   B a g   I n d e x :   a   n o v e l   a p p r o a c h   t o   c o l l e c t   u n i f o r m   d e c o m p o s i t i o n   d a t a   a c r o s s   e c o s y s t e m s 	 M E T H O D S   I N   E C O L O G Y   A N D   E V O L U T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c l i m a t e   c h a n g e ;   c r o w d s o u r c i n g ;   f i e l d   s a m p l i n g ;   g r e e n   t e a ;   l i t t e r   b a g ;   l i t t e r   d e c o m p o s i t i o n ;   m i c r o b i a l   e c o l o g y ;   r o o i b o s   t e a 	 L I T T E R   D E C O M P O S I T I O N ;   C A R B O N ;   C L I M A T E ;   Q U A L I T Y ;   R A T E S ;   F E E D B A C K S ;   P A T T E R N S ;   F O R E S T S 	 1 .   C h a n g e s   i n   t h e   b a l a n c e   b e t w e e n   s o i l   c a r b o n   s t o r a g e   a n d   r e l e a s e   c a n   s i g n i f i c a n t l y   a m p l i f y   o r   a t t e n u a t e   g l o b a l   w a r m i n g .   A l t h o u g h   a   l o t   o f   p r o g r e s s   h a s   b e e n   m a d e   i n   d e t e r m i n i n g   p o t e n t i a l   d r i v e r s   o f   c a r b o n   r e l e a s e   t h r o u g h   l a r g e - s c a l e   d e c o m p o s i t i o n   e x p e r i m e n t s ,   c l i m a t e   p r e d i c t i o n s   a r e   s t i l l   h a m p e r e d   b y   d a t a   l i m i t a t i o n   a t   a   g l o b a l   s c a l e   a s   a   r e s u l t   o f   h i g h   e f f o r t   a n d   m e a s u r e m e n t   c o s t s   o f   c o m p a r a t i v e   l i t t e r   d e c o m p o s i t i o n   s t u d i e s .   2 .   W e   i n t r o d u c e   a n   i n n o v a t i v e ,   c o s t - e f f e c t i v e ,   w e l l - s t a n d a r d i s e d   m e t h o d   t o   g a t h e r   d a t a   o n   d e c o m p o s i t i o n   r a t e   a n d   l i t t e r   s t a b i l i s a t i o n   u s i n g   c o m m e r c i a l l y   a v a i l a b l e   t e a   b a g s   a s   s t a n d a r d i s e d   t e s t   k i t s .   B y   u s i n g   t w o   t e a   t y p e s   w i t h   c o n t r a s t i n g   d e c o m p o s a b i l i t y ,   w e   c a n   c o n s t r u c t   a   d e c o m p o s i t i o n   c u r v e   u s i n g   a   s i n g l e   m e a s u r e m e n t   i n   t i m e .   T h e   a c q u i r e d   T e a   B a g   I n d e x   ( T B I )   c o n s i s t s   o f   t w o   p a r a m e t e r s   d e s c r i b i n g   d e c o m p o s i t i o n   r a t e   ( k )   a n d   l i t t e r   s t a b i l i s a t i o n   f a c t o r   ( S ) .   3 .   T h e   m e t h o d   w a s   t e s t e d   f o r   i t s   s e n s i t i v i t y   a n d   r o b u s t n e s s   i n   c o n t r a s t i n g   e c o s y s t e m s   a n d   b i o m e s ,   c o n f i r m i n g   t h a t   t h e   T B I   i s   s e n s i t i v e   e n o u g h   t o   d i s c r i m i n a t e   b e t w e e n   t h e s e   s y s t e m s .   W i t h i n   a n   e c o s y s t e m ,   T B I   i s   r e s p o n s i v e   t o   d i f f e r e n c e s   i n   a b i o t i c   c i r c u m s t a n c e s   s u c h   a s   s o i l   t e m p e r a t u r e   a n d   m o i s t u r e   c o n t e n t .   T h e   c o l l e c t e d   k   a n d   S   v a l u e s   a r e   i n   a c c o r d a n c e   w i t h   e x p e c t a t i o n s   b a s e d   o n   d e c o m p o s i t i o n   p r o c e s s   l i t e r a t u r e .   T h e y   a r e   t h e r e f o r e   i n t e r p r e t a b l e   w i t h i n   t h e   c u r r e n t   k n o w l e d g e   f r a m e w o r k .   4 .   T e a   B a g   I n d e x   i s   a   u n i q u e ,   m u l t i f u n c t i o n a l   m e t h o d   r e q u i r i n g   f e w   r e s o u r c e s   a n d   m i n i m a l   p r i o r   k n o w l e d g e .   T h e   s t a n d a r d i s a t i o n   a n d   s i m p l i c i t y   o f   t h e   m e t h o d   m a k e   i t   p o s s i b l e   t o   c o l l e c t   c o m p a r a b l e ,   g l o b a l l y   d i s t r i b u t e d   d a t a   t h r o u g h   c r o w d s o u r c i n g .   T B I   c a n   f u r t h e r   p r o v i d e   a n   e x c e l l e n t   d e c o m p o s i t i o n   r e f e r e n c e   a n d   h a s   t h e   p o t e n t i a l   t o   i n c r e a s e   r e l i a b i l i t y   o f   s o i l   c a r b o n   f l u x   e s t i m a t e s   b a s e d   o n   e x t r a p o l a t i o n s   o f   d e c o m p o s i t i o n   d a t a . 	 [ K e u s k a m p ,   J o o s t   A . ;   D i n g e m a n s ,   B a s   J .   J . ;   H e f t i n g ,   M a r i e t   M . ]   U n i v   U t r e c h t ,   N L - 3 5 0 8   T B   U t r e c h t ,   N e t h e r l a n d s ;   [ L e h t i n e n ,   T a r u ]   U n i v   I c e l a n d ,   I S - 1 0 1   R e y k j a v i k ,   I c e l a n d ;   [ L e h t i n e n ,   T a r u ]   U n i v   N a t   R e s o u r c e s   &   L i f e   S c i   B O K U ,   A T - 1 1 9 0   V i e n n a ,   A u s t r i a ;   [ S a r n e e l ,   J u d i t h   M . ]   N e t h e r l a n d s   I n s t   E c o l   N I O O   K N A W ,   N L - 6 7 0 0   A B   W a g e n i n g e n ,   N e t h e r l a n d s ;   [ S a r n e e l ,   J u d i t h   M . ]   U m e a   U n i v ,   S E - 9 0 1 8 7   U m e a ,   S w e d e n 	 K e u s k a m p ,   J A   ( r e p r i n t   a u t h o r ) ,   U n i v   U t r e c h t ,   P O B   8 0 - 0 8 4 ,   N L - 3 5 0 8   T B   U t r e c h t ,   N e t h e r l a n d s . 	 j . a . k e u s k a m p @ u u . n l 	 	 	 	 	 B E R G   B ,   1 9 9 3 ,   B I O G E O C H E M I S T R Y ,   V 2 0 ,   P 1 2 7 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 0 0 0 7 8 5 ;   B e r g   B ,   2 0 0 2 ,   P L A N T   S O I L ,   V 2 4 2 ,   P 8 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 9 6 3 7 8 0 7 0 2 1 ;   B o n a n   G .   B . ,   2 0 1 2 ,   G L O B A L   C H A N G E   B I O L ,   V 1 9 ,   P 9 5 7 ;   C o r r e l l   R L ,   1 9 9 7 ,   J   M I C R O B I O L   M E T H ,   V 3 1 ,   P 9 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 7 0 1 2 ( 9 7 ) 0 0 0 8 0 - 8 ;   D a v i d s o n   E A ,   2 0 0 6 ,   N A T U R E ,   V 4 4 0 ,   P 1 6 5 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 4 5 1 4 ;   F A O - F o o d   a n d   A g r i c u l t u r e   O r g a n i z a t i o n   o f   t h e   U n i t e d   N a t i o n s ,   2 0 0 0 ,   S U I T   S O I L   C L I M   C O N D ;   F r i t z   K M ,   2 0 1 1 ,   E C O H Y D R O L O G Y ,   V 4 ,   P 4 6 9 ,   D O I   1 0 . 1 0 0 2 / e c o . 1 2 8 ;   H a r r i s o n   A .   F . ,   1 9 8 8 ,   C O T T O N   S T R I P   A S S A Y   I ;   H e i m a n n   M ,   2 0 0 8 ,   N A T U R E ,   V 4 5 1 ,   P 2 8 9 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 6 5 9 1 ;   L a i o   F ,   2 0 0 6 ,   G E O P H Y S   R E S   L E T T ,   V 3 3 ;   P a r t o n   W ,   2 0 0 7 ,   S C I E N C E ,   V 3 1 5 ,   P 3 6 1 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 3 4 8 5 3 ;   P i n h e i r o   J . ,   2 0 1 2 ,   N L M E   L I N E A R   N O N L I N E A ;   P r e s c o t t   C E ,   2 0 1 0 ,   B I O G E O C H E M I S T R Y ,   V 1 0 1 ,   P 1 3 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 3 3 - 0 1 0 - 9 4 3 9 - 0 ;   R   C o r e   T e a m ,   2 0 1 2 ,   R   L A N G   E N V   S T A T   C O M P ;   R Y A N   M G ,   1 9 9 0 ,   C A N   J   F O R E S T   R E S ,   V 2 0 ,   P 1 6 6 ,   D O I   1 0 . 1 1 3 9 / x 9 0 - 0 2 3 ;   S a n c h e z   P A ,   2 0 0 9 ,   S C I E N C E ,   V 3 2 5 ,   P 6 8 0 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 7 5 0 8 4 ;   S c h e n k   H J ,   2 0 0 2 ,   E C O L   M O N O G R ,   V 7 2 ,   P 3 1 1 ,   D O I   1 0 . 2 3 0 7 / 3 1 0 0 0 9 2 ;   S e t a l a   H ,   1 9 9 6 ,   S O I L   B I O L   B I O C H E M ,   V 2 8 ,   P 1 6 6 1 ,   D O I   1 0 . 1 0 1 6 / S 0 0 3 8 - 0 7 1 7 ( 9 6 ) 0 0 2 5 2 - 0 ;   S l o c u m   M .   G . ,   2 0 0 9 ,   J   P L A N T   N U T R   S O I L   S C ,   V 1 7 2 ,   P 7 1 ,   D O I   D O I   1 0 . 1 0 0 2 / J P L N . 2 0 0 8 0 0 1 7 9 ;   S t o c k m a n n   U ,   2 0 1 3 ,   A G R   E C O S Y S T   E N V I R O N ,   V 1 6 4 ,   P 8 0 ,   D O I   1 0 . 1 0 1 6 / j . a g e e . 2 0 1 2 . 1 0 . 0 0 1 ;   T i e g s   S D ,   2 0 0 7 ,   J   N   A M   B E N T H O L   S O C ,   V 2 6 ,   P 7 0 ,   D O I   1 0 . 1 8 9 9 / 0 8 8 7 - 3 5 9 3 ( 2 0 0 7 ) 2 6 [ 7 0 : C S A A L S ] 2 . 0 . C O ; 2 ;   T r o f y m o w   J A ,   2 0 0 2 ,   C A N   J   F O R E S T   R E S ,   V 3 2 ,   P 7 8 9 ,   D O I   1 0 . 1 1 3 9 / X 0 1 - 1 1 7 ;   W I E D E R   R K ,   1 9 8 2 ,   E C O L O G Y ,   V 6 3 ,   P 1 6 3 6 ;   Z h a n g   D Q ,   2 0 0 8 ,   J   P L A N T   E C O L ,   V 1 ,   P 8 5 ,   D O I   1 0 . 1 0 9 3 / j p e / r t n 0 0 2 	 2 4 	 2 	 2 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 2 0 4 1 - 2 1 0 X 	 2 0 4 1 - 2 0 9 6 	 	 M E T H O D S   E C O L   E V O L 	 M e t h o d s   E c o l .   E v o l . 	 N O V 	 2 0 1 3 	 4 	 1 1 	 	 	 	 	 1 0 7 0 	 1 0 7 5 	 	 1 0 . 1 1 1 1 / 2 0 4 1 - 2 1 0 X . 1 2 0 9 7 	 	 6 	 E c o l o g y 	 E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y 	 2 4 8 U T 	 W O S : 0 0 0 3 2 6 7 3 0 6 0 0 0 0 9 	 	 
 J 	 C o l e y ,   H L ;   S a d a s i v a m ,   R S ;   W i l l i a m s ,   J H ;   V o l k m a n ,   J E ;   S c h o e n b e r g e r ,   Y M ;   K o h l e r ,   C L ;   S o b k o ,   H ;   R a y ,   M N ;   A l l i s o n ,   J J ;   F o r d ,   D E ;   G i l b e r t ,   G H ;   H o u s t o n ,   T K 	 	 	 	 C o l e y ,   H e a t h e r   L . ;   S a d a s i v a m ,   R a j a n i   S . ;   W i l l i a m s ,   J e s s i c a   H . ;   V o l k m a n ,   J u l i e   E . ;   S c h o e n b e r g e r ,   Y u - M e i ;   K o h l e r ,   C o n n i e   L . ;   S o b k o ,   H e a t h e r ;   R a y ,   M i d g e   N . ;   A l l i s o n ,   J e r o a n   J . ;   F o r d ,   D a n i e l   E . ;   G i l b e r t ,   G r e g g   H . ;   H o u s t o n ,   T h o m a s   K . 	 	 N a t l   D e n t a l   P B R N   Q U I T P R I M O   C o l l a b o 	 C r o w d s o u r c e d   P e e r -   V e r s u s   E x p e r t - W r i t t e n   S m o k i n g - C e s s a t i o n   M e s s a g e s 	 A M E R I C A N   J O U R N A L   O F   P R E V E N T I V E   M E D I C I N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 H E A L T H   B E H A V I O R - C H A N G E ;   P H Y S I C A L - A C T I V I T Y ;   N A R R A T I V E   C O M M U N I C A T I O N ;   T O B A C C O   C E S S A T I O N ;   R A N D O M I Z E D - T R I A L ;   P U B L I C - H E A L T H ;   I N T E R V E N T I O N ;   Q U I T ;   P R O G R A M S ;   P R E V E N T I O N 	 B a c k g r o u n d :   T a i l o r e d ,   w e b - a s s i s t e d   i n t e r v e n t i o n s   c a n   r e a c h   m a n y   s m o k e r s .   C o n t e n t   f r o m   o t h e r   s m o k e r s   ( p e e r s )   t h r o u g h   c r o w d s o u r c i n g   c o u l d   e n h a n c e   r e l e v a n c e .   P u r p o s e :   T o   e v a l u a t e   w h e t h e r   p e e r s   c a n   g e n e r a t e   t a i l o r e d   m e s s a g e s   e n c o u r a g i n g   o t h e r   s m o k e r s   t o   u s e   a   w e b - a s s i s t e d   t o b a c c o   i n t e r v e n t i o n   ( D e c i d e 2 Q u i t . o r g ) .   M e t h o d s :   P h a s e   1 :   I n   2 0 0 9 ,   s m o k e r s   w r o t e   m e s s a g e s   i n   r e s p o n s e   t o   s c e n a r i o s   f o r   p e e r   a d v i c e .   T h e s e   s m o k e r - t o - s m o k e r   ( S 2 S )   m e s s a g e s   w e r e   c o d e d   t o   i d e n t i f y   t h e m e s .   P h a s e   2 :   r e s u l t i n g   S 2 S   m e s s a g e s ,   a n d   c o m p a r i s o n   e x p e r t   m e s s a g e s ,   w e r e   t h e n   e - m a i l e d   t o   n e w l y   r e g i s t e r e d   s m o k e r s .   I n   2 0 1 2 ,   s u b s e q u e n t   D e c i d e 2 Q u i t . o r g   v i s i t s   f o l l o w i n g   S 2 S   o r   e x p e r t - w r i t t e n   e - m a i l s   w e r e   c o m p a r e d .   R e s u l t s :   P h a s e   1 :   a   t o t a l   o f   3 9   s m o k e r s   p r o d u c e d   2 8 8 6   m e s s a g e s   ( m e s s a g e   t h e m e s :   a t t i t u d e s   a n d   e x p e c t a t i o n s ,   i m p r o v e m e n t s   i n   q u a l i t y   o f   l i f e ,   s e e k i n g   h e l p ,   a n d   b e h a v i o r a l   s t r a t e g i e s ) .   F o r   n o t - r e a d y - t o - q u i t   s c e n a r i o s ,   S 2 S   m e s s a g e s   f o c u s e d   m o r e   o n   e x p e c t a t i o n s   a r o u n d   a   q u i t   a t t e m p t   a n d   h o w   q u i t t i n g   w o u l d   c h a n g e   a n   i n d i v i d u a l ' s   q u a l i t y   o f   l i f e .   I n   c o n t r a s t ,   f o r   r e a d y - t o - q u i t   s c e n a r i o s ,   S 2 S   m e s s a g e s   f o c u s e d   o n   b e h a v i o r a l   s t r a t e g i e s   f o r   q u i t t i n g .   P h a s e   2 :   I n   m u l t i v a r i a b l e   a n a l y s i s ,   S 2 S   m e s s a g e s   w e r e   m o r e   l i k e l y   t o   g e n e r a t e   a   r e t u r n   v i s i t   ( O R = 2 . 0 3 ,   9 5 %   C I = 1 . 7 4 ,   2 . 3 5 ) ,   c o m p a r e d   t o   e x p e r t   m e s s a g e s .   A   s i g n i f i c a n t   e f f e c t   m o d i f i c a t i o n   o f   t h i s   a s s o c i a t i o n   w a s   f o u n d ,   b y   t i m e - f r o m - r e g i s t r a t i o n   a n d   m e s s a g e   c o d e s   ( b o t h   i n t e r a c t i o n   t e r m s   p < 0 . 0 1 ) .   I n   s t r a t i f i e d   a n a l y s e s ,   S 2 S   c o d e s   t h a t   w e r e   r e l a t e d   m o r e   t o   " s o c i a l "   a n d   " r e a l - l i f e "   a s p e c t s   o f   s m o k i n g   w e r e   d r i v i n g   t h e   m a i n   a s s o c i a t i o n   o f   S 2 S   a n d   i n c r e a s e d   r e t u r n   v i s i t s .   C o n c l u s i o n s :   S 2 S   p e e r   m e s s a g e s   t h a t   i n c r e a s e d   l o n g i t u d i n a l   e n g a g e m e n t   i n   a   w e b - a s s i s t e d   t o b a c c o   i n t e r v e n t i o n   w e r e   s u c c e s s f u l l y   c o l l e c t e d   a n d   d e l i v e r e d .   S 2 S   m e s s a g e s   e x p a n d e d   b e y o n d   t h e   b i o m e d i c a l   m o d e l   t o   e n h a n c e   r e l e v a n c e   o f   m e s s a g e s .   T r i a l   r e g i s t r a t i o n :   T h i s   s t u d y   i s   r e g i s t e r e d   a t   w w w . c l i n i c a l t r i a l s . g o v   N C T 0 0 7 9 7 6 2 8   ( w e b - d e l i v e r e d   p r o v i d e r   i n t e r v e n t i o n   f o r   t o b a c c o   c o n t r o l   [ Q U I T - P R I M O ] )   a n d   N C T 0 1 1 0 8 4 3 2   ( D P B R N   H y g i e n i s t s   I n t e r n e t   Q u a l i t y   I m p r o v e m e n t   i n   T o b a c c o   C e s s a t i o n   [ H i Q u i t ] ) .   ( C )   2 0 1 3   A m e r i c a n   J o u r n a l   o f   P r e v e n t i v e   M e d i c i n e .   A l l   r i g h t s   r e s e r v e d . 	 [ C o l e y ,   H e a t h e r   L . ;   S c h o e n b e r g e r ,   Y u - M e i ;   S o b k o ,   H e a t h e r ]   U n i v   A l a b a m a   B i r m i n g h a m ,   D e p t   M e d ,   B i r m i n g h a m ,   A L   3 5 2 9 4   U S A ;   [ W i l l i a m s ,   J e s s i c a   H . ;   R a y ,   M i d g e   N . ]   U n i v   A l a b a m a   B i r m i n g h a m ,   D e p t   H l t h   S e r v   A d m ,   B i r m i n g h a m ,   A L   U S A ;   [ K o h l e r ,   C o n n i e   L . ]   U n i v   A l a b a m a   B i r m i n g h a m ,   D e p t   H l t h   B e h a v ,   B i r m i n g h a m ,   A L   U S A ;   [ G i l b e r t ,   G r e g g   H . ]   U n i v   A l a b a m a   B i r m i n g h a m ,   D e p t   D i a g n o s t   S c i ,   B i r m i n g h a m ,   A L   U S A ;   [ S a d a s i v a m ,   R a j a n i   S . ;   V o l k m a n ,   J u l i e   E . ;   H o u s t o n ,   T h o m a s   K . ]   U n i v   M a s s a c h u s e t t s ,   S c h   M e d ,   V A   e H e a l t h   Q u a l   E n h a n c e m e n t   R e s   I n i t i a t ,   B e d f o r d   V A M C ,   W o r c e s t e r ,   M A   U S A ;   [ F o r d ,   D a n i e l   E . ]   J o h n s   H o p k i n s   U n i v ,   D e p t   E p i d e m i o l ,   B a l t i m o r e ,   M D   U S A ;   [ F o r d ,   D a n i e l   E . ]   J o h n s   H o p k i n s   U n i v ,   D e p t   H l t h   P o l i c y   &   M a n a g e m e n t ,   B a l t i m o r e ,   M D   U S A 	 S a d a s i v a m ,   R S   ( r e p r i n t   a u t h o r ) ,   U n i v   M a s s a c h u s e t t s ,   S c h   M e d ,   D i v   H l t h   I n f o r m a t   &   I m p l e m e n t a t   S c i ,   5 5   L a k e   A v e   N ,   W o r c e s t e r ,   M A   0 1 6 5 5   U S A . 	 R a j a n i . S a d a s i v a m @ u m a s s m e d . e d u 	 	 	 N a t i o n a l   C a n c e r   I n s t i t u t e   [ R 0 1   C A 1 2 9 0 9 1 ] ;   N a t i o n a l   I n s t i t u t e   o f   D e n t a l   a n d   C r a n i o f a c i a l   R e s e a r c h   [ U 0 1   D E 1 6 7 4 6 ,   U 0 1   D E 1 6 7 4 7 ,   U 1 9   D E 2 2 5 1 6 ] 	 F u n d i n g   f o r   t h e s e   s t u d i e s   w a s   r e c e i v e d   f r o m   t h e   N a t i o n a l   C a n c e r   I n s t i t u t e ,   G r a n t   R 0 1   C A 1 2 9 0 9 1 ,   a n d   t h e   N a t i o n a l   I n s t i t u t e   o f   D e n t a l   a n d   C r a n i o f a c i a l   R e s e a r c h ,   G r a n t s   U 0 1   D E 1 6 7 4 6 ,   U 0 1   D E 1 6 7 4 7 ,   a n d   U 1 9   D E 2 2 5 1 6 . 	 A n   L C ,   2 0 0 8 ,   J   M E D   I N T E R N E T   R E S ,   V 1 0 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 0 1 8 ;   A s h i n g - G i w a   K ,   1 9 9 9 ,   W O M E N   H E A L T H ,   V 2 8 ,   P 5 3 ,   D O I   1 0 . 1 3 0 0 / J 0 1 3 v 2 8 n 0 4 _ 0 4 ;   B a n d u r a   A . ,   1 9 8 6 ,   S O C I A L   F D N   T H O U G H T   A ;   B e n t a l   D S ,   1 9 9 9 ,   P A T I E N T   E D U C   C O U N S ,   V 3 6 ,   P 1 7 1 ,   D O I   1 0 . 1 0 1 6 / S 0 7 3 8 - 3 9 9 1 ( 9 8 ) 0 0 1 3 3 - 5 ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   I N T   J   R E S   N E W   M E D I A ,   V 1 4 ,   P 7 5 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r u g   J ,   1 9 9 6 ,   P R E V   M E D ,   V 2 5 ,   P 2 3 6 ,   D O I   1 0 . 1 0 0 6 / p m e d . 1 9 9 6 . 0 0 5 2 ;   B u l l   F C ,   1 9 9 9 ,   P A T I E N T   E D U C   C O U N S ,   V 3 6 ,   P 1 8 1 ,   D O I   1 0 . 1 0 1 6 / S 0 7 3 8 - 3 9 9 1 ( 9 8 ) 0 0 1 3 4 - 7 ;   C A M P B E L L   M K ,   1 9 9 4 ,   A M   J   P U B L I C   H E A L T H ,   V 8 4 ,   P 7 8 3 ,   D O I   1 0 . 2 1 0 5 / A J P H . 8 4 . 5 . 7 8 3 ;   A u g u s t s o n   E r i k ,   2 0 1 2 ,   M o r b i d i t y   a n d   M o r t a l i t y   W e e k l y   R e p o r t ,   V 6 1 ,   P 6 6 7 ;   C o b b   N K ,   2 0 0 5 ,   N I C O T I N E   T O B   R E S ,   V 7 ,   P 2 0 7 ,   D O I   1 0 . 1 0 8 1 / 1 4 6 2 2 2 0 0 5 0 0 0 5 5 3 1 9 ;   D I C L E M E N T E   C C ,   1 9 9 1 ,   J   C O N S U L T   C L I N   P S Y C H ,   V 5 9 ,   P 2 9 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 0 0 6 X . 5 9 . 2 . 2 9 5 ;   D i j k s t r a   A ,   1 9 9 9 ,   P A T I E N T   E D U C   C O U N S ,   V 3 6 ,   P 1 9 3 ,   D O I   1 0 . 1 0 1 6 / S 0 7 3 8 - 3 9 9 1 ( 9 8 ) 0 0 1 3 5 - 9 ;   F i o r e   M C ,   2 0 0 8 ,   T R E A T I N G   T O B A C C O   U S E ;   F i o r e   M C ,   2 0 0 4 ,   A M   J   P U B L I C   H E A L T H ,   V 9 4 ,   P 2 0 5 ,   D O I   1 0 . 2 1 0 5 / A J P H . 9 4 . 2 . 2 0 5 ;   G u o   G ,   2 0 0 0 ,   A N N U   R E V   S O C I O L ,   V 2 6 ,   P 4 4 1 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . s o c . 2 6 . 1 . 4 4 1 ;   H i n y a r d   L J ,   2 0 0 7 ,   H E A L T H   E D U C   B E H A V ,   V 3 4 ,   P 7 7 7 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 0 1 9 8 1 0 6 2 9 1 9 6 3 ;   H o u s t o n   T K ,   2 0 1 0 ,   I M P L E M E N T   S C I ,   V 5 ,   D O I   1 0 . 1 1 8 6 / 1 7 4 8 - 5 9 0 8 - 5 - 8 7 ;   H o u s t o n   T K ,   2 0 1 1 ,   A N N   I N T E R N   M E D ,   V 1 5 4 ,   P 7 7 ,   D O I   [ 1 0 . 7 3 2 6 / 0 0 0 3 - 4 8 1 9 - 1 5 4 - 2 - 2 0 1 1 0 1 1 8 0 - 0 0 0 0 4 ,   1 0 . 1 0 5 9 / 0 0 0 3 - 4 8 1 9 - 1 5 4 - 2 - 2 0 1 1 0 1 1 8 0 - 0 0 0 0 4 ] ;   H o w e ,   2 0 0 6 ,   R I S E   C R O W D S O U R C I N G ;   I s r a e l   B A ,   1 9 9 8 ,   A N N U   R E V   P U B L   H E A L T H ,   V 1 9 ,   P 1 7 3 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . p u b l h e a l t h . 1 9 . 1 . 1 7 3 ;   K e l l y   C M ,   2 0 0 7 ,   E V A L   P R O G R A M   P L A N N ,   V 3 0 ,   P 2 8 2 ,   D O I   1 0 . 1 0 1 6 / j . e v a l p r o g p l a n . 2 0 0 7 . 0 5 . 0 0 7 ;   K o k   G ,   2 0 0 4 ,   J   H E A L T H   P S Y C H O L ,   V 9 ,   P 8 5 ,   D O I   1 0 . 1 1 7 7 / 1 3 5 9 1 0 5 3 0 4 0 3 8 3 7 9 ;   K r e u t e r   M W ,   1 9 9 6 ,   H E A L T H   E D U C   R E S ,   V 1 1 ,   P 9 7 ,   D O I   1 0 . 1 0 9 3 / h e r / 1 1 . 1 . 9 7 ;   K r e u t e r   M W ,   2 0 0 3 ,   H E A L T H   E D U C   B E H A V ,   V 3 0 ,   P 1 3 3 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 0 1 9 8 1 0 2 2 5 1 0 2 1 ;   K r e u t e r   M W ,   2 0 0 0 ,   T A I L O R I N G   H L T H   M E S S A ;   K r e u t e r   M W ,   2 0 0 7 ,   A N N   B E H A V   M E D ,   V 3 3 ,   P 2 2 1 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 8 7 9 9 0 4 ;   K u k a f k a   R ,   2 0 0 1 ,   S T   H E A L   T ,   V 8 4 ,   P 1 4 7 4 ;   L a n c a s t e r   T ,   2 0 0 8 ,   C O C H R A N E   D B   S Y S T   R E V ,   V 3 ,   D O I   [ 1 0 . 1 0 0 2 / 1 4 6 5 1 8 5 8 . C D 0 0 0 2 1 4 ,   D O I   1 0 . 1 0 0 2 / 1 4 6 5 1 8 5 8 . C D 0 0 1 2 9 2 . P U B 2 ] ;   L e n e r t   L ,   2 0 0 4 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 1 ,   P 2 3 5 ,   D O I   1 0 . 1 1 9 7 / j a m i a . M 1 4 6 4 ;   M a r c u s   B H ,   1 9 9 8 ,   A M   J   H E A L T H   P R O M O T ,   V 1 2 ,   P 2 4 6 ;   P R O C H A S K A   J O ,   1 9 9 3 ,   H E A L T H   P S Y C H O L ,   V 1 2 ,   P 3 9 9 ,   D O I   1 0 . 1 0 3 7 / / 0 2 7 8 - 6 1 3 3 . 1 2 . 5 . 3 9 9 ;   R a b e - H e s k e t h   S ,   2 0 0 2 ,   S T A T A   J ,   V 2 ,   P 1 ;   R e s n i c o w   K e n ,   1 9 9 9 ,   E t h n i c i t y   a n d   D i s e a s e ,   V 9 ,   P 1 0 ;   S a d a s i v a m   R a j a n i   S ,   2 0 1 2 ,   A M I A   A n n u   S y m p   P r o c ,   V 2 0 1 2 ,   P 7 8 9 ;   S a u l   J E ,   2 0 0 7 ,   J   M E D   I N T E R N E T   R E S ,   V 9 ,   D O I   1 0 . 2 1 9 6 / j m i r . 9 . 4 . e 2 8 ;   S c i a m a n n a   C N ,   1 9 9 9 ,   M   D   C O M P U T ,   V 1 6 ,   P 5 4 ;   S h i f f m a n   S ,   2 0 0 0 ,   A R C H   I N T E R N   M E D ,   V 1 6 0 ,   P 1 6 7 5 ,   D O I   1 0 . 1 0 0 1 / a r c h i n t e . 1 6 0 . 1 1 . 1 6 7 5 ;   S t r e c h e r   V ,   1 9 9 4 ,   D E V   T O O L   E V A L U A T I N G ;   S t r e c h e r   V J ,   2 0 0 8 ,   J   M E D   I N T E R N E T   R E S ,   V 1 0 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 0 0 2 ;   S t r e c h e r   V J ,   1 9 9 9 ,   P A T I E N T   E D U C   C O U N S ,   V 3 6 ,   P 1 0 7 ,   D O I   1 0 . 1 0 1 6 / S 0 7 3 8 - 3 9 9 1 ( 9 8 ) 0 0 1 2 8 - 1 ;   S u g g s   L S ,   2 0 0 9 ,   H E A L T H   E D U C   B E H A V ,   V 3 6 ,   P 2 7 8 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 0 1 9 8 1 0 7 3 0 3 3 0 9 ;   S w a n   M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 8 8 	 4 2 	 0 	 0 	 E L S E V I E R   S C I E N C E   I N C 	 N E W   Y O R K 	 3 6 0   P A R K   A V E   S O U T H ,   N E W   Y O R K ,   N Y   1 0 0 1 0 - 1 7 1 0   U S A 	 0 7 4 9 - 3 7 9 7 	 1 8 7 3 - 2 6 0 7 	 	 A M   J   P R E V   M E D 	 A m .   J .   P r e v .   M e d . 	 N O V 	 2 0 1 3 	 4 5 	 5 	 	 	 	 	 5 4 3 	 5 5 0 	 	 1 0 . 1 0 1 6 / j . a m e p r e . 2 0 1 3 . 0 7 . 0 0 4 	 	 8 	 P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h ;   M e d i c i n e ,   G e n e r a l   &   I n t e r n a l 	 P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h ;   G e n e r a l   &   I n t e r n a l   M e d i c i n e 	 2 3 7 Z S 	 W O S : 0 0 0 3 2 5 9 1 0 8 0 0 0 0 2 	 2 4 1 3 9 7 6 6 	 
 J 	 M a c L e a n ,   D L ;   H e e r ,   J 	 	 	 	 M a c L e a n ,   D i a n a   L y n n ;   H e e r ,   J e f f r e y 	 	 	 I d e n t i f y i n g   m e d i c a l   t e r m s   i n   p a t i e n t - a u t h o r e d   t e x t :   a   c r o w d s o u r c i n g - b a s e d   a p p r o a c h 	 J O U R N A L   O F   T H E   A M E R I C A N   M E D I C A L   I N F O R M A T I C S   A S S O C I A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 t e x t   m i n i n g ;   o n l i n e   h e a l t h   f o r u m s ;   m e d i c a l   t e r m   e x t r a c t i o n ;   c r o w d s o u r c i n g 	 C O N S U M E R   H E A L T H   V O C A B U L A R Y ;   I N F O R M A T I O N ;   U M L S ;   T E R M I N O L O G Y ;   W E B 	 B a c k g r o u n d   a n d   o b j e c t i v e   A s   p e o p l e   i n c r e a s i n g l y   e n g a g e   i n   o n l i n e   h e a l t h - s e e k i n g   b e h a v i o r   a n d   c o n t r i b u t e   t o   h e a l t h - o r i e n t e d   w e b s i t e s ,   t h e   v o l u m e   o f   m e d i c a l   t e x t   a u t h o r e d   b y   p a t i e n t s   a n d   o t h e r   m e d i c a l   n o v i c e s   g r o w s   r a p i d l y .   H o w e v e r ,   w e   l a c k   a n   e f f e c t i v e   m e t h o d   f o r   a u t o m a t i c a l l y   i d e n t i f y i n g   m e d i c a l   t e r m s   i n   p a t i e n t - a u t h o r e d   t e x t   ( P A T ) .   W e   d e m o n s t r a t e   t h a t   c r o w d s o u r c i n g   P A T   m e d i c a l   t e r m   i d e n t i f i c a t i o n   t a s k s   t o   n o n - e x p e r t s   i s   a   v i a b l e   m e t h o d   f o r   c r e a t i n g   l a r g e ,   a c c u r a t e l y - l a b e l e d   P A T   d a t a s e t s ;   m o r e o v e r ,   s u c h   d a t a s e t s   c a n   b e   u s e d   t o   t r a i n   c l a s s i f i e r s   t h a t   o u t p e r f o r m   e x i s t i n g   m e d i c a l   t e r m   i d e n t i f i c a t i o n   t o o l s .   M a t e r i a l s   a n d   m e t h o d s   T o   e v a l u a t e   t h e   v i a b i l i t y   o f   u s i n g   n o n - e x p e r t   c r o w d s   t o   l a b e l   P A T ,   w e   c o m p a r e   e x p e r t   ( r e g i s t e r e d   n u r s e s )   a n d   n o n - e x p e r t   ( A m a z o n   M e c h a n i c a l   T u r k   w o r k e r s ;   T u r k e r s )   r e s p o n s e s   t o   a   P A T   m e d i c a l   t e r m   i d e n t i f i c a t i o n   t a s k .   N e x t ,   w e   b u i l d   a   c r o w d - l a b e l e d   d a t a s e t   c o m p r i s i n g   1 0 0 0 0   s e n t e n c e s   f r o m   M e d H e l p .   W e   t r a i n   t w o   m o d e l s   o n   t h i s   d a t a s e t   a n d   e v a l u a t e   t h e i r   p e r f o r m a n c e ,   a s   w e l l   a s   t h a t   o f   M e t a M a p ,   O p e n   B i o m e d i c a l   A n n o t a t o r   ( O B A ) ,   a n d   N a C T e M ' s   T e r M I N E ,   a g a i n s t   t w o   g o l d   s t a n d a r d   d a t a s e t s :   o n e   f r o m   M e d H e l p   a n d   t h e   o t h e r   f r o m   C u r e T o g e t h e r .   R e s u l t s   W h e n   a g g r e g a t e d   a c c o r d i n g   t o   a   c o r r o b o r a t i v e   v o t i n g   p o l i c y ,   T u r k e r   r e s p o n s e s   p r e d i c t   e x p e r t   r e s p o n s e s   w i t h   a n   F 1   s c o r e   o f   8 4 % .   A   c o n d i t i o n a l   r a n d o m   f i e l d   ( C R F )   t r a i n e d   o n   1 0 0 0 0   c r o w d - l a b e l e d   M e d H e l p   s e n t e n c e s   a c h i e v e s   a n   F 1   s c o r e   o f   7 8 %   a g a i n s t   t h e   C u r e T o g e t h e r   g o l d   s t a n d a r d ,   w i d e l y   o u t p e r f o r m i n g   O B A   ( 4 7 % ) ,   T e r M I N E   ( 4 3 % ) ,   a n d   M e t a M a p   ( 3 9 % ) .   A   f a i l u r e   a n a l y s i s   o f   t h e   C R F   s u g g e s t s   t h a t   m i s c l a s s i f i e d   t e r m s   a r e   l i k e l y   t o   b e   e i t h e r   g e n e r i c   o r   r a r e .   C o n c l u s i o n s   O u r   r e s u l t s   s h o w   t h a t   c o m b i n i n g   s t a t i s t i c a l   m o d e l s   s e n s i t i v e   t o   s e n t e n c e - l e v e l   c o n t e x t   w i t h   c r o w d - l a b e l e d   d a t a   i s   a   s c a l a b l e   a n d   e f f e c t i v e   t e c h n i q u e   f o r   a u t o m a t i c a l l y   i d e n t i f y i n g   m e d i c a l   t e r m s   i n   P A T . 	 [ M a c L e a n ,   D i a n a   L y n n ;   H e e r ,   J e f f r e y ]   S t a n f o r d   U n i v ,   D e p t   C o m p   S c i ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A 	 M a c L e a n ,   D L   ( r e p r i n t   a u t h o r ) ,   S t a n f o r d   U n i v ,   D e p t   C o m p   S c i ,   3 7 2   G a t e s   H a l l   3 B   W i n g ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A . 	 m a l c d i @ s t a n f o r d . e d u 	 	 	 N S F   [ 0 9 6 4 1 7 3 ,   N I H   R 0 1   G M 0 7 9 7 1 9 - 0 7 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   N S F   g r a n t   n u m b e r   0 9 6 4 1 7 3   a n d   N I H   R 0 1   G M 0 7 9 7 1 9 - 0 7 . 	 A r o n s o n   A R ,   2 0 1 0 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 7 ,   P 2 2 9 ,   D O I   1 0 . 1 1 3 6 / j a m i a . 2 0 0 9 . 0 0 2 7 3 3 ;   A r o n s o n   A R ,   2 0 0 1 ,   J   A M   M E D   I N F O R M   A S S N ,   P 1 7 ;   B o s t o c k   J   M ,   2 0 1 0 ,   P   A C M   S I G C H I   C   H U M   F ,   P 2 0 3 ;   B r e n n a n   P F ,   2 0 0 3 ,   J   B I O M E D   I N F O R M ,   V 3 6 ,   P 3 3 4 ,   D O I   1 0 . 1 0 1 6 / j . j b i . 2 0 0 3 . 0 9 . 0 1 7 ;   C a r m i c h a e l   A ,   I N F E R T I L I T Y   A S T H M A   L ;   D e   B o c k   G e e r t r u i d a   J C ,   2 0 0 8 ,   B M C   C A N C E R ,   V 8 ,   P 2 0 3 ;   D o i n g - H a r r i s   K M ,   2 0 1 1 ,   J   M E D   I N T E R N E T   R E S ,   V 1 3 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 6 3 6 ;   D o w l i n g   J N ,   2 0 0 4 ,   M E D I N F O ,   V 1 1 ,   P 4 8 7 ;   R u a u   D a v i d ,   2 0 1 1 ,   J   B i o m e d   I n f o r m ,   V 4 4   S u p p l   1 ,   p S 3 9 ,   D O I   1 0 . 1 0 1 6 / j . j b i . 2 0 1 1 . 0 3 . 0 0 7 ;   F e r n a n d e z - L u q u e   L ,   2 0 1 1 ,   J   M E D   I N T E R N E T   R E S ,   V 1 3 ,   P 1 3 8 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 4 3 2 ;   F i n k e l   J ,   2 0 0 4 ,   P   J O I N T   W O R K S H   N A T   L ,   P 8 8 ,   D O I   1 0 . 3 1 1 5 / 1 5 6 7 5 9 4 . 1 5 6 7 6 1 4 ;   F r a n t z i   K . ,   2 0 0 0 ,   I n t e r n a t i o n a l   J o u r n a l   o n   D i g i t a l   L i b r a r i e s ,   V 3 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 9 9 9 9 0 0 0 2 3 ;   F r e i f e l d   C C ,   2 0 0 8 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 5 ,   P 1 5 0 ,   D O I   1 0 . 1 1 9 7 / j a m i a . M 2 5 4 4 ;   G I B B S   R D ,   1 9 8 7 ,   J   F A M   P R A C T I C E ,   V 2 5 ,   P 1 7 6 ;   G i n s b e r g   J ,   2 0 0 8 ,   N A T U R E ,   V 4 5 7 ,   P 1 0 1 2 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 7 6 3 4 ;   G u o D o n g   Z ,   2 0 0 4 ,   P   I N T   J O I N T   W O R K S H   N ,   P 9 6 ,   D O I   1 0 . 3 1 1 5 / 1 5 6 7 5 9 4 . 1 5 6 7 6 1 6 ;   J o n q u e t   C l e m e n t ,   2 0 0 9 ,   S u m m i t   o n   T r a n s l a t   B i o i n f o r m a ,   V 2 0 0 9 ,   P 5 6 ;   K e s e l m a n   A ,   2 0 0 8 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 5 ,   P 4 9 6 ,   D O I   1 0 . 1 1 9 7 / j a m i a . M 2 5 9 9 ;   K e s e l m a n   A ,   2 0 0 7 ,   J   M E D   I N T E R N E T   R E S ,   V 9 ,   D O I   1 0 . 2 1 9 6 / j m i r . 9 . 1 . e 5 ;   L A F F E R T Y   J ,   2 0 0 1 ,   P   1 8   I N T   C   M A C H   L E A R ,   P 2 8 2 ;   L i n d g a a r d   G ,   2 0 0 7 ,   P   A C M   S I G C H I   C   H U M   F ,   P 2 1 2 9 ;   M c C r a y   A T ,   1 9 9 9 ,   J   A M   M E D   I N F O R M   A S S N ,   P 1 0 7 ;   P r a t t   W ,   2 0 0 3 ,   P   A M I A   S ,   P 5 2 9 ;   S e t t l e s   B ,   2 0 0 4 ,   P   I N T   J O I N T   W O R K S H   N ,   P 1 0 4 ,   D O I   1 0 . 3 1 1 5 / 1 5 6 7 5 9 4 . 1 5 6 7 6 1 8 ;   S u h   B ,   2 0 0 9 ,   P   C H I   2 0 0 9 ,   P 4 5 3 ;   T a k e u c h i   K ,   2 0 0 5 ,   A R T I F   I N T E L L   M E D ,   V 3 3 ,   P 1 2 5 ,   D O I   1 0 . 1 0 1 6 / j . a r t m e d . 2 0 0 4 . 0 7 . 0 1 9 ;   W i c k s   P ,   2 0 1 1 ,   N A T   B I O T E C H N O L ,   V 2 9 ,   P 4 1 1 ,   D O I   1 0 . 1 0 3 8 / n b t . 1 8 3 7 ;   W i c k s   P J ,   2 0 0 8 ,   P   A M I A   S ,   P 6 8 2 ;   Z e n g   Q ,   2 0 0 2 ,   M E T H O D   I N F O R M   M E D ,   V 4 1 ,   P 2 8 9 ;   Z e n g   Q T ,   2 0 0 6 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 3 ,   P 2 4 ,   D O I   1 0 . 1 1 9 7 / j a m i a . M 1 7 6 1 ;   Z e n g   Q T ,   2 0 0 7 ,   J   M E D   I N T E R N E T   R E S ,   V 9 ,   D O I   1 0 . 2 1 9 6 / j m i r . 9 . 1 . e 4 	 3 1 	 1 	 1 	 B M J   P U B L I S H I N G   G R O U P 	 L O N D O N 	 B R I T I S H   M E D   A S S O C   H O U S E ,   T A V I S T O C K   S Q U A R E ,   L O N D O N   W C 1 H   9 J R ,   E N G L A N D 	 1 0 6 7 - 5 0 2 7 	 1 5 2 7 - 9 7 4 X 	 	 J   A M   M E D   I N F O R M   A S S N 	 J .   A m .   M e d .   I n f .   A s s o c . 	 N O V 	 2 0 1 3 	 2 0 	 6 	 	 	 	 	 1 1 2 0 	 1 1 2 7 	 	 1 0 . 1 1 3 6 / a m i a j n l - 2 0 1 2 - 0 0 1 1 1 0 	 	 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   M e d i c a l   I n f o r m a t i c s 	 C o m p u t e r   S c i e n c e ;   H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   M e d i c a l   I n f o r m a t i c s 	 2 3 3 G Z 	 W O S : 0 0 0 3 2 5 5 5 7 6 0 0 0 1 6 	 2 3 6 4 5 5 5 3 	 
 J 	 D r a h l ,   C 	 	 	 	 D r a h l ,   C a r m e n 	 	 	 C R O W D S O U R C I N G   I N D Y 	 C H E M I C A L   &   E N G I N E E R I N G   N E W S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 A M E R   C H E M I C A L   S O C 	 W A S H I N G T O N 	 1 1 5 5   1 6 T H   S T ,   N W ,   W A S H I N G T O N ,   D C   2 0 0 3 6   U S A 	 0 0 0 9 - 2 3 4 7 	 1 5 2 0 - 6 0 5 X 	 	 C H E M   E N G   N E W S 	 C h e m .   E n g .   N e w s 	 O C T   7 	 2 0 1 3 	 9 1 	 4 0 	 	 	 	 	 5 0 	 5 4 	 	 	 	 5 	 C h e m i s t r y ,   M u l t i d i s c i p l i n a r y ;   E n g i n e e r i n g ,   C h e m i c a l 	 C h e m i s t r y ;   E n g i n e e r i n g 	 2 4 4 D W 	 W O S : 0 0 0 3 2 6 3 6 8 3 0 0 0 4 5 	 	 
 J 	 R a o ,   M 	 	 	 	 R a o ,   M a h e n d r a 	 	 	 i P S C   C r o w d s o u r c i n g :   A   M o d e l   f o r   O b t a i n i n g   L a r g e   P a n e l s   o f   S t e m   C e l l   L i n e s   f o r   S c r e e n i n g 	 C E L L   S T E M   C E L L 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 A   k e y   t o   t a p p i n g   t h e   p o t e n t i a l   o f   i P S C s   i s   t h e   e s t a b l i s h m e n t   o f   r e a d i l y   a c c e s s i b l e   w e l l - c h a r a c t e r i z e d   p a n e l s   o f   l i n e s   f o r   c u s t o m   s c r e e n i n g .   H e r e ,   w e   p r o p o s e   a   c r o w d s o u r c i n g   s t r a t e g y   t o   r a p i d l y   d e v e l o p   a   l a r g e   r e p o s i t o r y   o f   i P S C s   a n d   p r o v i d e   a   m o d e l   f o r   h o w   t h e   N I H   c o u l d   s u p p o r t   t h i s   e f f o r t . 	 	 R a o ,   M   ( r e p r i n t   a u t h o r ) ,   5 0   S o u t h   D r , S u i t e   1 1 4 0 ,   B e t h e s d a ,   M D   2 0 8 9 2   U S A . 	 m a h e n d r a . r a o @ n i h . g o v 	 	 	 	 	 B r e w e r   G J ,   2 0 0 9 ,   T R A N S L   R E S ,   V 1 5 4 ,   P 3 1 4 ,   D O I   1 0 . 1 0 1 6 / j . t r s l . 2 0 0 9 . 0 3 . 0 0 8 ;   D a l e y   G Q ,   2 0 1 2 ,   C E L L   S T E M   C E L L ,   V 1 0 ,   P 7 4 0 ,   D O I   1 0 . 1 0 1 6 / j . s t e m . 2 0 1 2 . 0 5 . 0 1 0 ;   E n g l e   S J ,   2 0 1 3 ,   C E L L   S T E M   C E L L ,   V 1 2 ,   P 6 6 9 ,   D O I   1 0 . 1 0 1 6 / j . s t e m . 2 0 1 3 . 0 5 . 0 1 1 ;   H a m b u r g   M A ,   2 0 1 0 ,   N E W   E N G L   J   M E D ,   V 3 6 3 ,   P 3 0 1 ,   D O I   1 0 . 1 0 5 6 / N E J M p 1 0 0 6 3 0 4 ;   K a l i a   M ,   2 0 1 3 ,   M E T A B O L I S M ,   V 6 2 ,   p S 1 1 ,   D O I   1 0 . 1 0 1 6 / j . m e t a b o l . 2 0 1 2 . 0 8 . 0 1 6 ;   L e e   G ,   2 0 1 2 ,   N A T   B I O T E C H N O L ,   V 3 0 ,   P 1 2 4 4 ,   D O I   1 0 . 1 0 3 8 / n b t . 2 4 3 5 ;   M e r k l e   F T ,   2 0 1 3 ,   C E L L   S T E M   C E L L ,   V 1 2 ,   P 6 5 6 ,   D O I   1 0 . 1 0 1 6 / j . s t e m . 2 0 1 3 . 0 5 . 0 1 6 ;   P r e b u l a   R a n d y   J ,   2 0 1 0 ,   J   C o n t e m p   H e a l t h   L a w   P o l i c y ,   V 2 6 ,   P 3 4 3 ;   R a n a r d   B L ,   2 0 1 4 ,   J   G E N   I N T E R N   M E D ,   V 2 9 ,   P 1 8 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 6 0 6 - 0 1 3 - 2 5 3 6 - 8 ;   T a k a h a s h i   K ,   2 0 0 7 ,   C E L L ,   V 1 3 1 ,   P 8 6 1 ,   D O I   1 0 . 1 0 1 6 / j . c e l l . 2 0 0 7 . 1 1 . 0 1 9 	 1 0 	 2 	 2 	 C E L L   P R E S S 	 C A M B R I D G E 	 6 0 0   T E C H N O L O G Y   S Q U A R E ,   5 T H   F L O O R ,   C A M B R I D G E ,   M A   0 2 1 3 9   U S A 	 1 9 3 4 - 5 9 0 9 	 1 8 7 5 - 9 7 7 7 	 	 C E L L   S T E M   C E L L 	 C e l l   S t e m   C e l l 	 O C T   3 	 2 0 1 3 	 1 3 	 4 	 	 	 	 	 3 8 9 	 3 9 1 	 	 1 0 . 1 0 1 6 / j . s t e m . 2 0 1 3 . 0 9 . 0 0 5 	 	 3 	 C e l l   &   T i s s u e   E n g i n e e r i n g ;   C e l l   B i o l o g y 	 C e l l   B i o l o g y 	 2 8 7 V T 	 W O S : 0 0 0 3 2 9 5 7 1 1 0 0 0 0 8 	 2 4 0 9 4 3 2 1 	 
 J 	 B l o c k ,   K L ;   R o l s h a u s e n ,   P E ;   C a n t u ,   D 	 	 	 	 B l o c k ,   K a r e n   L . ;   R o l s h a u s e n ,   P h i l i p p e   E . ;   C a n t u ,   D a r i o 	 	 	 I n   s e a r c h   o f   s o l u t i o n s   t o   g r a p e v i n e   t r u n k   d i s e a s e s   t h r o u g h   " c r o w d - s o u r c e d "   s c i e n c e 	 F R O N T I E R S   I N   P L A N T   S C I E N C E 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 g r a p e v i n e   t r u n k   d i s e a s e s ;   e u t y p a   d i e b a c k ;   p a t h o g e n o m i c s ;   c r o w d s o u r c i n g ;   d a t a - s h a r e ;   b o t r y o s p h a e r i a   d i e b a c k ;   e s c a   d i e b a c k 	 E U T Y P A   D I E B A C K ;   S U S C E P T I B I L I T Y ;   B O T R Y O S P H A E R I A C E A E ;   L A T A 	 	 [ B l o c k ,   K a r e n   L . ;   C a n t u ,   D a r i o ]   U n i v   C a l i f   D a v i s ,   D e p t   V i t i c u l t u r e   &   E n o l ,   D a v i s ,   C A   9 5 6 1 6   U S A ;   [ R o l s h a u s e n ,   P h i l i p p e   E . ]   U n i v   C a l i f   R i v e r s i d e ,   D e p t   B o t   &   P l a n t   S c i ,   R i v e r s i d e ,   C A   9 2 5 2 1   U S A 	 C a n t u ,   D   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   D a v i s ,   D e p t   V i t i c u l t u r e   &   E n o l ,   D a v i s ,   C A   9 5 6 1 6   U S A . 	 d a c a n t u @ u c d a v i s . e d u 	 C a n t u ,   D a r i o   / E - 7 6 5 8 - 2 0 1 0 	 C a n t u ,   D a r i o   / 0 0 0 0 - 0 0 0 2 - 4 8 5 8 - 1 5 0 8 	 	 	 A m s e l e m   J ,   2 0 1 1 ,   P L O S   G E N E T ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p g e n . 1 0 0 2 2 3 0 ;   B e r t s c h   C ,   2 0 1 3 ,   P L A N T   P A T H O L ,   V 6 2 ,   P 2 4 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 3 0 5 9 . 2 0 1 2 . 0 2 6 7 4 . x ;   B l a n c o - U l a t e   B . ,   2 0 1 3 ,   G E N O M E   A N N O U N C ,   V 1 ,   D O I   1 0 . 1 1 2 8 / g e n o m e A . 0 0 3 3 9 - 1 3 ;   B l a n c o - U l a t e   B . ,   2 0 1 3 ,   G E N O M E   A N N O U N C ,   V 1 ,   D O I   [ 1 0 . 1 1 2 8 / g e n o m e A . 0 0 3 9 0 - 1 3 ,   D O I   1 0 . 1 1 2 8 / G E N 0 M E A . 0 0 3 9 0 - 1 3 ] ;   B l a n c o - U l a t e   B . ,   2 0 1 3 ,   G E N O M E   A N N O U N C ,   V 1 ,   D O I   [ 1 0 . 1 1 2 8 / g e n o m e A . 0 0 2 2 8 - 1 3 ,   D O I   1 0 . 1 1 2 8 / G E N 0 M E A . 0 0 2 2 8 - 1 3 ] ;   C a r t e r   M .   V . ,   1 9 9 1 ,   3 2   C A B   I N T   M Y C   I ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   J a i l l o n   O ,   2 0 0 7 ,   N A T U R E ,   V 4 4 9 ,   P 4 6 3 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 6 1 4 8 ;   M a c l e a n   D a n ,   2 0 1 3 ,   G i g a s c i e n c e ,   V 2 ,   P 2 ,   D O I   1 0 . 1 1 8 6 / 2 0 4 7 - 2 1 7 X - 2 - 2 ;   M u g n a i   L ,   1 9 9 9 ,   P L A N T   D I S ,   V 8 3 ,   P 4 0 4 ,   D O I   1 0 . 1 0 9 4 / P D I S . 1 9 9 9 . 8 3 . 5 . 4 0 4 ;   M U N K V O L D   G P ,   1 9 9 4 ,   P H Y T O P A T H O L O G Y ,   V 8 4 ,   P 1 8 6 ,   D O I   1 0 . 1 0 9 4 / P h y t o - 8 4 - 1 8 6 ;   P E R O S   J P ,   1 9 9 4 ,   A G R O N O M I E ,   V 1 4 ,   P 5 1 5 ,   D O I   1 0 . 1 0 5 1 / a g r o : 1 9 9 4 0 8 0 4 ;   R o l s h a u s e n   P E ,   2 0 0 8 ,   P H Y T O P A T H O L O G Y ,   V 9 8 ,   P 2 2 2 ,   D O I   1 0 . 1 0 9 4 / P H Y T O - 9 8 - 2 - 0 2 2 2 ;   R o l s h a u s e n   P E ,   2 0 1 0 ,   A M   J   E N O L   V I T I C U L T ,   V 6 1 ,   P 1 1 3 ;   S l i p p e r s   B e r n a r d ,   2 0 0 7 ,   F u n g a l   B i o l o g y   R e v i e w s ,   V 2 1 ,   P 9 0 ,   D O I   1 0 . 1 0 1 6 / j . f b r . 2 0 0 7 . 0 6 . 0 0 2 ;   S u r i c o   G i u s e p p e ,   2 0 0 8 ,   V 3 ,   P 1 1 9 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 4 0 2 0 - 8 5 7 1 - 0 _ 6 ;   U r b e z - T o r r e s   J .   R . ,   2 0 1 1 ,   P h y t o p a t h o l o g i a   M e d i t e r r a n e a ,   V 5 0 ,   P 5 ;   U r b e z - T o r r e s   J R ,   2 0 1 1 ,   P L A N T   P A T H O L ,   V 6 0 ,   P 2 6 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 3 0 5 9 . 2 0 1 0 . 0 2 3 8 1 . x ;   U r b e z - T o r r e s   J R ,   2 0 0 9 ,   P L A N T   D I S ,   V 9 3 ,   P 5 8 4 ,   D O I   1 0 . 1 0 9 4 / P D I S - 9 3 - 6 - 0 5 8 4 	 1 9 	 0 	 0 	 F R O N T I E R S   R E S E A R C H   F O U N D A T I O N 	 L A U S A N N E 	 P O   B O X   1 1 0 ,   L A U S A N N E ,   1 0 1 5 ,   S W I T Z E R L A N D 	 1 6 6 4 - 4 6 2 X 	 	 	 F R O N T   P L A N T   S C I 	 F r o n t .   P l a n t   S c i . 	 O C T   2 	 2 0 1 3 	 4 	 	 	 	 	 	 	 	 3 9 4 	 1 0 . 3 3 8 9 / f p l s . 2 0 1 3 . 0 0 3 9 4 	 	 4 	 P l a n t   S c i e n c e s 	 P l a n t   S c i e n c e s 	 A A 8 X A 	 W O S : 0 0 0 3 3 1 3 7 7 1 0 0 0 0 1 	 2 4 1 0 6 4 9 5 	 
 J 	 G r i m a l d o ,   F ;   P a o l u c c i ,   M 	 	 	 	 G r i m a l d o ,   F r a n c i s c o ;   P a o l u c c i ,   M a r i o 	 	 	 A   S I M U L A T I O N   O F   D I S A G R E E M E N T   F O R   C O N T R O L   O F   R A T I O N A L   C H E A T I N G   I N   P E E R   R E V I E W 	 A D V A N C E S   I N   C O M P L E X   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A r t i f i c i a l   s o c i a l   s y s t e m s ;   p e e r   r e v i e w ;   a g e n t - b a s e d   s i m u l a t i o n ;   t r u s t   r e l i a b i l i t y   a n d   r e p u t a t i o n 	 S Y S T E M S ;   S C I E N C E ;   C H A N C E ;   M O D E L 	 U n d e r s t a n d i n g   t h e   p e e r   r e v i e w   p r o c e s s   c o u l d   h e l p   r e s e a r c h   a n d   s h e d   l i g h t   o n   t h e   m e c h a n i s m s   t h a t   u n d e r l i e   c r o w d s o u r c i n g .   I n   t h i s   p a p e r ,   w e   p r e s e n t   a n   a g e n t - b a s e d   m o d e l   o f   p e e r   r e v i e w   b u i l t   o n   t h r e e   e n t i t i e s   -   t h e   p a p e r ,   t h e   s c i e n t i s t   a n d   t h e   c o n f e r e n c e .   T h e   s y s t e m   i s   i m p l e m e n t e d   o n   a   B D I   p l a t f o r m   ( J a s o n )   t h a t   a l l o w s   t o   d e f i n e   a   r i c h   m o d e l   o f   s c o r i n g ,   e v a l u a t i n g   a n d   s e l e c t i n g   p a p e r s   f o r   c o n f e r e n c e s .   T h e n ,   w e   p r o p o s e   a   p r o g r a m m e   c o m m i t t e e   u p d a t e   m e c h a n i s m   b a s e d   o n   d i s a g r e e m e n t   c o n t r o l   t h a t   i s   a b l e   t o   r e m o v e   r e v i e w e r s   a p p l y i n g   a   s t r a t e g y   a i m e d   t o   p r e v e n t   p a p e r s   b e t t e r   t h a n   t h e i r   o w n   t o   b e   a c c e p t e d   ( " r a t i o n a l   c h e a t i n g " ) .   W e   a n a l y z e   a   h o m o g e n e o u s   s c e n a r i o ,   w h e r e   a l l   c o n f e r e n c e s   a i m   t o   t h e   s a m e   l e v e l   o f   q u a l i t y ,   a n d   a   h e t e r o g e n e o u s   s c e n a r i o ,   i n   w h i c h   c o n f e r e n c e s   r e q u e s t   d i f f e r e n t   q u a l i t i e s ,   s h o w i n g   h o w   t h i s   a f f e c t s   t h e   u p d a t e   m e c h a n i s m   p r o p o s e d .   W e   a l s o   p r e s e n t   a   f i r s t   s t e p   t o w a r d   a n   e m p i r i c a l   v a l i d a t i o n   o f   o u r   m o d e l   t h a t   c o m p a r e s   t h e   a m o u n t   o f   d i s a g r e e m e n t s   f o u n d   i n   r e a l   c o n f e r e n c e s   w i t h   t h a t   o b t a i n e d   i n   o u r   s i m u l a t i o n s . 	 [ G r i m a l d o ,   F r a n c i s c o ]   U n i v   V a l e n c i a ,   D e p t   I n f o r m a t ,   E - 4 6 1 0 0   B u r j a s s o t ,   S p a i n ;   [ P a o l u c c i ,   M a r i o ]   I t a l i a n   N a t l   R e s   C o u n c i l ,   I n s t   C o g n i t   S c i   &   T e c h n o l ,   I - 0 0 1 8 5   R o m e ,   I t a l y 	 G r i m a l d o ,   F   ( r e p r i n t   a u t h o r ) ,   U n i v   V a l e n c i a ,   D e p t   I n f o r m a t ,   A v   U n i v   S - N ,   E - 4 6 1 0 0   B u r j a s s o t ,   S p a i n . 	 f r a n c i s c o . g r i m a l d o @ u v . e s ;   m a r i o . p a o l u c c i @ i s t c . c n r . i t 	 	 	 E u r o p e a n   U n i o n   [ 3 1 5 8 7 4 ] ;   S p a n i s h   M I C I N N ;   E u r o p e a n   C o m m i s s i o n   F E D E R   f u n d s ;   U n i v e r s i t a t   d e   V a l e n c i a   f u n d s   [ C S D 2 0 0 6 - 0 0 0 4 6 ,   T I N 2 0 0 9 - 1 4 4 7 5 - C 0 4 - 0 4 ,   U V - I N V - A E 1 1 - 4 0 9 9 0 . 6 2 ] ;   F u t u r I C T   c o o r d i n a t i o n   a c t i o n 	 T h e   r e s e a r c h   l e a d i n g   t o   t h e s e   r e s u l t s   h a s   r e c e i v e d   f u n d i n g   f r o m   t h e   E u r o p e a n   U n i o n ' s   S e v e n t h   F r a m e w o r k   P r o g r a m m e   ( F P 7 / 2 0 0 7 - 2 0 1 3 )   u n d e r   g r a n t   a g r e e m e n t   n   3 1 5 8 7 4 ,   G L O D E R S   P r o j e c t ;   i t   h a s   b e e n   s u p p o r t e d   b y   t h e   S p a n i s h   M I C I N N ,   C o n s o l i d e r   P r o g r a m m e   a n d   P l a n   E   f u n d s ,   E u r o p e a n   C o m m i s s i o n   F E D E R   f u n d s   a n d   U n i v e r s i t a t   d e   V a l e n c i a   f u n d s ,   u n d e r   G r a n t s   C S D 2 0 0 6 - 0 0 0 4 6 ,   T I N 2 0 0 9 - 1 4 4 7 5 - C 0 4 - 0 4   a n d   U V - I N V - A E 1 1 - 4 0 9 9 0 . 6 2 ,   a s   w e l l   a s   u n d e r   t h e   F u t u r I C T   c o o r d i n a t i o n   a c t i o n .   W e   g r a t e f u l l y   a c k n o w l e d g e   t h e   s u p p o r t i v e   c o n t r i b u t i o n   o f   t h e   a n o n y m o u s   r e v i e w e r s .   T h e   p r e s e n c e   o f   t h e   s e c t i o n   o n   v a l i d a t i o n   i s   d u e   t o   t h e i r   r e q u e s t s .   F o r   v a l i d a t i o n ,   w e   a r e   a l s o   v e r y   g r a t e f u l   t o w a r d s   t h e   c h a i r s   o f   c o n f e r e n c e s   t h a t   a l l o w e d   u s   t o   u s e   t h e i r   d a t a . 	 A l l e s i n a   S . ,   2 0 1 2 ,   I D E A S   E C O L   E V O L ,   V 5 ;   B o n a b e a u   E ,   2 0 0 2 ,   P   N A T L   A C A D   S C I   U S A ,   V 9 9 ,   P 7 2 8 0 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 8 2 0 8 0 8 9 9 ;   B o r d i n i   R . H . ,   2 0 0 7 ,   P R O G R A M M I N G   M U L T I A G E ;   B o r n m a n n   L . ,   2 0 1 1 ,   A N N U   R E V   I N F O R M   S C I ,   P 1 9 9 ;   B o r n m a n n   L ,   2 0 0 8 ,   S C I E N T O M E T R I C S ,   V 7 7 ,   P 4 1 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 1 9 2 - 0 0 7 - 1 9 5 0 - 2 ;   B r a b a z o n   T ,   2 0 0 6 ,   L I B R I ,   V 5 6 ,   P 1 5 7 ,   D O I   1 0 . 1 5 1 5 / L I B R . 2 0 0 6 . 1 5 7 ;   B r n e r   K . ,   2 0 0 9 ,   J   I N F O R M ,   V 3 ,   P 1 6 1 ;   B r n e r   K . ,   2 0 1 0 ,   A T L A S   S C I   V I S U A L I Z I N ;   B R U C K N E R   E ,   1 9 9 0 ,   S C I E N T O M E T R I C S ,   V 1 8 ,   P 2 1 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 0 1 9 1 6 0 ;   B u e c h e l e r   T . ,   2 0 1 1 ,   C R O W D S O U R C I N G   O P E N   I ,   P 6 7 9 ;   C a l l a h a n   D . ,   2 0 0 4 ,   J   F O R E N S I C   A C C O U N T I N ,   P 5 7 5 ;   C a s a t i   F . ,   2 0 0 9 ,   T E C H N I C A L   R E P O R T ;   C O L E   S ,   1 9 8 1 ,   S C I E N C E ,   V 2 1 4 ,   P 8 8 1 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 7 3 0 2 5 6 6 ;   C o n t e   R . ,   1 9 9 5 ,   C O G N I T I V E   S O C I A L   A C T ;   C o n t e   R ,   2 0 0 8 ,   A D V   C O M P L E X   S Y S T ,   V 1 1 ,   P 3 0 3 ,   D O I   1 0 . 1 1 4 2 / S 0 2 1 9 5 2 5 9 0 8 0 0 1 6 4 7 ;   E g g h e   L . ,   1 9 9 0 ,   I N T R O   Q U A N T I T A T I V E   M ;   F r i s h a u f   P . ,   2 0 0 9 ,   J   P A R T I C I P A T O R Y   M E D ,   V 1 ;   G i l b e r t   N . ,   1 9 9 7 ,   S O C I O L   R E S ,   V 2 ,   P 1 ;   G O F F M A N   W ,   1 9 6 6 ,   N A T U R E ,   V 2 1 2 ,   P 4 4 9 ,   D O I   1 0 . 1 0 3 8 / 2 1 2 4 4 9 a 0 ;   G r i m a l d o   M o r e n o   F . ,   2 0 1 0 ,   S O C I A L   S C I   R E S   N E T W O ;   H e l b i n g   D . ,   2 0 1 0 ,   S C I   C U L T ,   V 7 6 ,   P 3 1 5 ;   J a y a s i n g h e   U W ,   2 0 0 3 ,   J   R O Y   S T A T   S O C   A   S T A ,   V 1 6 6 ,   P 2 7 9 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 8 5 X . 0 0 2 7 8 ;   L o t k a   A J ,   1 9 2 6 ,   J   W A S H I N G T O N   A C A D   S C ,   P 3 1 7 ;   N e f f   B D ,   2 0 0 6 ,   B I O S C I E N C E ,   V 5 6 ,   P 3 3 3 ,   D O I   1 0 . 1 6 4 1 / 0 0 0 6 - 3 5 6 8 ( 2 0 0 6 ) 5 6 [ 3 3 3 : I P R A G O ] 2 . 0 . C O ; 2 ;   N e w m a n   M E J ,   2 0 1 1 ,   A M   J   P H Y S ,   V 7 9 ,   P 8 0 0 ,   D O I   1 0 . 1 1 1 9 / 1 . 3 5 9 0 3 7 2 ;   P a r i s e r   E . ,   2 0 1 1 ,   F I L T E R   B U B B L E   W H A T   I ;   P a y e t t e   N ,   2 0 1 1 ,   J A S S S - J   A R T I F   S O C   S ,   V 1 4 ;   R a g o n e   A . ,   2 0 1 1 ,   Q U A N T I T A T I V E   A N A L   P E ;   R a o   A .   S . ,   1 9 9 6 ,   L E C T   N O T E S   A R T I F   I N T ,   V 1 0 3 8 ,   P 4 2 ;   R o d r i g u e z   M A ,   2 0 0 7 ,   P R O C E E D I N G S   O F   T H E   7 T H   A C M / I E E   J O I N T   C O N F E R E N C E   O N   D I G I T A L   L I B R A R I E S ,   P 2 7 8 ,   D O I   1 0 . 1 1 4 5 / 1 2 5 5 1 7 5 . 1 2 5 5 2 2 9 ;   R o e b b e r   P J ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 8 6 8 0 ;   S c h a r n h o r s t   A ,   2 0 1 2 ,   U N D E R S T   C O M P L E X   S Y S T ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 3 0 6 8 - 4 ;   S c h u l t z   D M ,   2 0 1 0 ,   S C I E N T O M E T R I C S ,   V 8 4 ,   P 2 7 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 1 9 2 - 0 0 9 - 0 0 8 4 - 0 ;   S m i t h   R ,   2 0 0 6 ,   J   R O Y   S O C   M E D ,   V 9 9 ,   P 1 7 8 ,   D O I   1 0 . 1 2 5 8 / j r s m . 9 9 . 4 . 1 7 8 ;   S q u a z z o n i   F ,   2 0 1 2 ,   J   I N F O R M E T R ,   V 6 ,   P 2 6 5 ,   D O I   1 0 . 1 0 1 6 / j . j o i . 2 0 1 1 . 1 2 . 0 0 5 ;   S T E R M A N   J D ,   1 9 8 5 ,   T E C H N O L   F O R E C A S T   S O C ,   V 2 8 ,   P 9 3 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 0 - 1 6 2 5 ( 8 5 ) 9 0 0 0 9 - 5 ;   S u n   R . ,   2 0 0 9 ,   I N T   J O I N T   C   N E U R   N E T ,   P 3 0 1 1 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T h u r n e r   S ,   2 0 1 1 ,   E U R   P H Y S   J   B ,   V 8 4 ,   P 7 0 7 ,   D O I   1 0 . 1 1 4 0 / e p j b / e 2 0 1 1 - 2 0 5 4 5 - 7 	 3 9 	 1 	 1 	 W O R L D   S C I E N T I F I C   P U B L   C O   P T E   L T D 	 S I N G A P O R E 	 5   T O H   T U C K   L I N K ,   S I N G A P O R E   5 9 6 2 2 4 ,   S I N G A P O R E 	 0 2 1 9 - 5 2 5 9 	 1 7 9 3 - 6 8 0 2 	 	 A D V   C O M P L E X   S Y S T 	 A d v .   C o m p l e x   S y s t . 	 O C T 	 2 0 1 3 	 1 6 	 7 	 	 	 	 	 	 	 1 3 5 0 0 0 4 	 1 0 . 1 1 4 2 / S 0 2 1 9 5 2 5 9 1 3 5 0 0 0 4 5 	 	 2 4 	 M a t h e m a t i c s ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   M u l t i d i s c i p l i n a r y   S c i e n c e s 	 M a t h e m a t i c s ;   S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 A D 2 E C 	 W O S : 0 0 0 3 3 3 0 4 5 3 0 0 0 0 1 	 	 
 J 	 W a n g ,   T Y ;   W a n g ,   G ;   L i ,   X ;   Z h e n g ,   H T ;   Z h a o ,   B Y 	 	 	 	 W a n g ,   T i a n y i ;   W a n g ,   G a n g ;   L i ,   X i n g ;   Z h e n g ,   H a i t o ;   Z h a o ,   B e n   Y . 	 	 	 C h a r a c t e r i z i n g   a n d   D e t e c t i n g   M a l i c i o u s   C r o w d s o u r c i n g 	 A C M   S I G C O M M   C O M P U T E R   C O M M U N I C A T I O N   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 H u m a n   F a c t o r s ;   S e c u r i t y ;   M a l i c i o u s   c r o w d s o u r c i n g ;   c r o w d t u r f i n g ;   u s e r   b e h a v i o r 	 	 	 [ W a n g ,   T i a n y i ;   L i ,   X i n g ]   T s i n g h u a   U n i v ,   B e i j i n g   1 0 0 0 8 4 ,   P e o p l e s   R   C h i n a ;   [ W a n g ,   G a n g ;   Z h e n g ,   H a i t o ;   Z h a o ,   B e n   Y . ]   U n i v   C a l i f   S a n t a   B a r b a r a ,   D e p t   C o m p   S c i ,   S a n t a   B a r b a r a ,   C A   9 3 1 0 6   U S A 	 W a n g ,   T Y   ( r e p r i n t   a u t h o r ) ,   T s i n g h u a   U n i v ,   B e i j i n g   1 0 0 0 8 4 ,   P e o p l e s   R   C h i n a . 	 w t y 0 7 @ m a i l s . t s i n g h u a . e d u . c n ;   g a n g w @ c s . u c s b . e d u ;   h t z h e n g @ c s . u c s b . e d u ;   r a v e n b e n @ c s . u c s b . e d u ;   x i n g @ c e r n e t . e d u . c n 	 	 	 	 	 G a o   H . ,   2 0 1 0 ,   P   I M C ;   W a n g   G . ,   2 0 1 2 ,   P   W W W ;   W a n g   G . ,   2 0 1 3 ,   P   U S E N I X   S E C   W A S H   D C ;   W a n g   G . ,   2 0 1 3 ,   P   N D S S   S A N   D I E G   C A   F ;   Y a n g   Z h i ,   2 0 1 1 ,   P   I M C 	 5 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 0 1 4 6 - 4 8 3 3 	 1 9 4 3 - 5 8 1 9 	 	 A C M   S I G C O M M   C O M P   C O M 	 A C M   S I G C O M M   C o m p .   C o m m u n .   R e v . 	 O C T 	 2 0 1 3 	 4 3 	 4 	 	 	 	 	 5 3 7 	 5 3 8 	 	 1 0 . 1 1 4 5 / 2 5 3 4 1 6 9 . 2 4 9 1 7 1 9 	 	 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 2 5 8 N L 	 W O S : 0 0 0 3 2 7 4 6 5 9 0 0 0 8 5 	 	 
 J 	 A r c h a m b a u l t ,   P M ;   v a n   d e   B e l t ,   T H ;   G r a j a l e s ,   F J ;   F a b e r ,   M J ;   K u z i e m s k y ,   C E ;   G a g n o n ,   S ;   B i l o d e a u ,   A ;   R i o u x ,   S ;   N e l e n ,   W L D M ;   G a g n o n ,   M P ;   T u r g e o n ,   A F ;   A u b i n ,   K ;   G o l d ,   I ;   P o i t r a s ,   J ;   E y s e n b a c h ,   G ;   K r e m e r ,   J A M ;   L e g a r e ,   F 	 	 	 	 A r c h a m b a u l t ,   P a t r i c k   M . ;   v a n   d e   B e l t ,   T o m   H . ;   G r a j a l e s ,   F r a n c i s c o   J . ,   I I I ;   F a b e r ,   M a r j a n   J . ;   K u z i e m s k y ,   C r a i g   E . ;   G a g n o n ,   S u s i e ;   B i l o d e a u ,   A n d r e a ;   R i o u x ,   S i m o n ;   N e l e n ,   W i l l i a n n e   L .   D .   M . ;   G a g n o n ,   M a r i e - P i e r r e ;   T u r g e o n ,   A l e x i s   F . ;   A u b i n ,   K a r i n e ;   G o l d ,   I r v i n g ;   P o i t r a s ,   J u l i e n ;   E y s e n b a c h ,   G u n t h e r ;   K r e m e r ,   J a n   A .   M . ;   L e g a r e ,   F r a n c e 	 	 	 W i k i s   a n d   C o l l a b o r a t i v e   W r i t i n g   A p p l i c a t i o n s   i n   H e a l t h   C a r e :   A   S c o p i n g   R e v i e w 	 J O U R N A L   O F   M E D I C A L   I N T E R N E T   R E S E A R C H 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 c o l l a b o r a t i v e   w r i t i n g   a p p l i c a t i o n s ;   c o l l a b o r a t i v e   a u t h o r i n g ;   k n o w l e d g e   m a n a g e m e n t ;   c r o w d s o u r c i n g ;   m e d i c a l   i n f o r m a t i c s ;   e h e a l t h ;   I n t e r n e t ;   W i k i ;   W i k i p e d i a ;   G o o g l e   D o c s ;   G o o g l e   K n o l ;   W e b   2 . 0 ;   k n o w l e d g e   t r a n s l a t i o n ;   e v i d e n c e - b a s e d   m e d i c i n e ;   p a r t i c i p a t o r y   m e d 	 S O C I A L   M E D I A   U S E ;   W E B   2 . 0   T O O L S ;   I N F O R M A T I O N   R E S O U R C E S ;   C O M M U N I C A T I O N   T E C H N O L O G I E S ;   C L I N I C A L - R E S E A R C H ;   R A N D O M I Z E D - T R I A L ;   D E C I S I O N - M A K I N G ;   N E T   G E N E R A T I O N ;   P A T I E N T - C A R E ;   T R A U M A   C A R E 	 B a c k g r o u n d :   C o l l a b o r a t i v e   w r i t i n g   a p p l i c a t i o n s   ( e g ,   w i k i s   a n d   G o o g l e   D o c u m e n t s )   h o l d   t h e   p o t e n t i a l   t o   i m p r o v e   t h e   u s e   o f   e v i d e n c e   i n   b o t h   p u b l i c   h e a l t h   a n d   h e a l t h   c a r e .   T h e   r a p i d   r i s e   i n   t h e i r   u s e   h a s   c r e a t e d   t h e   n e e d   f o r   a   s y s t e m a t i c   s y n t h e s i s   o f   t h e   e v i d e n c e   o f   t h e i r   i m p a c t   a s   k n o w l e d g e   t r a n s l a t i o n   ( K T )   t o o l s   i n   t h e   h e a l t h   c a r e   s e c t o r   a n d   f o r   a n   i n v e n t o r y   o f   t h e   f a c t o r s   t h a t   a f f e c t   t h e i r   u s e .   O b j e c t i v e :   T h r o u g h   t h e   L e v a c   s i x - s t a g e   m e t h o d o l o g y ,   a   s c o p i n g   r e v i e w   w a s   u n d e r t a k e n   t o   e x p l o r e   t h e   d e p t h   a n d   b r e a d t h   o f   e v i d e n c e   a b o u t   t h e   e f f e c t i v e ,   s a f e ,   a n d   e t h i c a l   u s e   o f   w i k i s   a n d   c o l l a b o r a t i v e   w r i t i n g   a p p l i c a t i o n s   ( C W A s )   i n   h e a l t h   c a r e .   M e t h o d s :   M u l t i p l e   s t r a t e g i e s   w e r e   u s e d   t o   l o c a t e   s t u d i e s .   S e v e n   s c i e n t i f i c   d a t a b a s e s   a n d   6   g r e y   l i t e r a t u r e   s o u r c e s   w e r e   q u e r i e d   f o r   a r t i c l e s   o n   w i k i s   a n d   C W A s   p u b l i s h e d   b e t w e e n   2 0 0 1   a n d   S e p t e m b e r   1 6 ,   2 0 1 1 .   I n   t o t a l ,   4 4 3 6   c i t a t i o n s   a n d   1 9 2 1   g r e y   l i t e r a t u r e   i t e m s   w e r e   s c r e e n e d .   T w o   r e v i e w e r s   i n d e p e n d e n t l y   r e v i e w e d   c i t a t i o n s ,   s e l e c t e d   e l i g i b l e   s t u d i e s ,   a n d   e x t r a c t e d   d a t a   u s i n g   a   s t a n d a r d i z e d   f o r m .   W e   i n c l u d e d   a n y   p a p e r   p r e s e n t i n g   q u a l i t a t i v e   o r   q u a n t i t a t i v e   e m p i r i c a l   e v i d e n c e   c o n c e r n i n g   h e a l t h   c a r e   a n d   C W A s .   W e   d e f i n e d   a   C W A   a s   a n y   t e c h n o l o g y   t h a t   e n a b l e s   t h e   j o i n t   a n d   s i m u l t a n e o u s   e d i t i n g   o f   a   w e b p a g e   o r   a n   o n l i n e   d o c u m e n t   b y   m a n y   e n d   u s e r s .   W e   p e r f o r m e d   q u a l i t a t i v e   c o n t e n t   a n a l y s i s   t o   i d e n t i f y   t h e   f a c t o r s   t h a t   a f f e c t   t h e   u s e   o f   C W A s   u s i n g   t h e   G a g n o n   f r a m e w o r k   a n d   t h e i r   e f f e c t s   o n   h e a l t h   c a r e   u s i n g   t h e   D o n a b e d i a n   f r a m e w o r k .   R e s u l t s :   O f   t h e   1 1 1   s t u d i e s   i n c l u d e d ,   4   w e r e   e x p e r i m e n t a l ,   5   q u a s i - e x p e r i m e n t a l ,   5   o b s e r v a t i o n a l ,   5 2   c a s e   s t u d i e s ,   2 3   s u r v e y s   a b o u t   w i k i   u s e ,   a n d   2 2   d e s c r i p t i v e   s t u d i e s   a b o u t   t h e   q u a l i t y   o f   i n f o r m a t i o n   i n   w i k i s .   W e   c l a s s i f i e d   t h e m   b y   t h e m e :   p a t t e r n s   o f   u s e   o f   C W A s   ( n =   2 6 ) ,   q u a l i t y   o f   i n f o r m a t i o n   i n   e x i s t i n g   C W A s   ( n =   2 5 ) ,   a n d   C W A s   a s   K T   t o o l s   ( n =   7 3 ) .   A   h i g h   p r e v a l e n c e   o f   C W A   u s e   ( i e ,   m o r e   t h a n   5 0 % )   i s   r e p o r t e d   i n   5 8 %   ( 7 / 1 2 )   o f   s u r v e y s   c o n d u c t e d   w i t h   h e a l t h   c a r e   p r o f e s s i o n a l s   a n d   s t u d e n t s .   H o w e v e r ,   w e   f o u n d   o n l y   o n e   l o n g i t u d i n a l   s t u d y   s h o w i n g   t h a t   C W A   u s e   i s   i n c r e a s i n g   i n   h e a l t h   c a r e .   M o r e o v e r ,   c o n t r i b u t i o n   r a t e s   r e m a i n   l o w   a n d   t h e   q u a l i t y   o f   i n f o r m a t i o n   c o n t a i n e d   i n   d i f f e r e n t   C W A s   n e e d s   i m p r o v e m e n t .   W e   i d e n t i f i e d   4 8   b a r r i e r s   a n d   9 1   f a c i l i t a t o r s   i n   4   m a j o r   t h e m e s   ( f a c t o r s   r e l a t e d   t o   t h e   C W A ,   u s e r s '   k n o w l e d g e   a n d   a t t i t u d e   t o w a r d s   C W A s ,   h u m a n   e n v i r o n m e n t ,   a n d   o r g a n i z a t i o n a l   e n v i r o n m e n t ) .   W e   a l s o   f o u n d   5 7   p o s i t i v e   a n d   2 3   n e g a t i v e   e f f e c t s   t h a t   w e   c l a s s i f i e d   i n t o   p r o c e s s e s   a n d   o u t c o m e s .   C o n c l u s i o n s :   A l t h o u g h   w e   f o u n d   s o m e   e x p e r i m e n t a l   a n d   q u a s i - e x p e r i m e n t a l   s t u d i e s   o f   t h e   e f f e c t i v e n e s s   a n d   s a f e t y   o f   C W A s   a s   e d u c a t i o n a l   a n d   K T   i n t e r v e n t i o n s ,   t h e   v a s t   m a j o r i t y   o f   i n c l u d e d   s t u d i e s   w e r e   o b s e r v a t i o n a l   c a s e   s t u d i e s   a b o u t   C W A s   b e i n g   u s e d   b y   h e a l t h   p r o f e s s i o n a l s   a n d   p a t i e n t s .   M o r e   p r i m a r y   r e s e a r c h   i s   n e e d e d   t o   f i n d   w a y s   t o   a d d r e s s   t h e   d i f f e r e n t   b a r r i e r s   t o   t h e i r   u s e   a n d   t o   m a k e   t h e s e   a p p l i c a t i o n s   m o r e   u s e f u l   f o r   d i f f e r e n t   s t a k e h o l d e r s . 	 [ A r c h a m b a u l t ,   P a t r i c k   M . ;   P o i t r a s ,   J u l i e n ;   L e g a r e ,   F r a n c e ]   U n i v   L a v a l ,   D e p t   M e d   F a m i l i a l e   &   M e d   U r g e n c e ,   Q u e b e c   C i t y ,   P Q ,   C a n a d a ;   [ A r c h a m b a u l t ,   P a t r i c k   M . ;   G a g n o n ,   S u s i e ;   B i l o d e a u ,   A n d r e a ;   R i o u x ,   S i m o n ]   C t r   H o s p   A f f i l i e   U n i v   L e v i s ,   C t r   R e c h ,   C t r   S a n t e   &   S e r v   S o c i a u x   A l p h o n s e   D e s j a r d i n s ,   L e v i s ,   P Q   G 6 V   3 Z 1 ,   C a n a d a ;   [ A r c h a m b a u l t ,   P a t r i c k   M . ]   U n i v   L a v a l ,   D i v   S o i n s   I n t e n s i f s ,   Q u e b e c   C i t y ,   P Q ,   C a n a d a ;   [ A r c h a m b a u l t ,   P a t r i c k   M . ;   G a g n o n ,   M a r i e - P i e r r e ;   T u r g e o n ,   A l e x i s   F . ;   L e g a r e ,   F r a n c e ]   C H U   Q u e b e c ,   C t r   R e c h ,   Q u e b e c   C i t y ,   P Q ,   C a n a d a ;   [ v a n   d e   B e l t ,   T o m   H . ;   N e l e n ,   W i l l i a n n e   L .   D .   M . ;   K r e m e r ,   J a n   A .   M . ]   R a d b o u d   U n i v   N i j m e g e n   M e d   C t r ,   D e p t   O b s t e t   &   G y n e c o l ,   N i j m e g e n ,   N e t h e r l a n d s ;   [ v a n   d e   B e l t ,   T o m   H . ]   R a d b o u d   U n i v   N i j m e g e n   M e d   C t r ,   R a d b o u d   R E s h a p e   &   I n n o v a t   C t r ,   N i j m e g e n ,   N e t h e r l a n d s ;   [ G r a j a l e s ,   F r a n c i s c o   J . ,   I I I ]   I n t   M e d   I n f o r m a t   A s s o c ,   S o c i a l   M e d i a   W o r k i n g   G r p ,   G e n e v a ,   S w i t z e r l a n d ;   [ G r a j a l e s ,   F r a n c i s c o   J . ,   I I I ]   U n i v   B r i t i s h   C o l u m b i a ,   F a c   M e d ,   e H l t h   S t r a t e g y   O f f ,   V a n c o u v e r ,   B C ,   C a n a d a ;   [ F a b e r ,   M a r j a n   J . ;   K r e m e r ,   J a n   A .   M . ]   R a d b o u d   U n i v   N i j m e g e n   M e d   C t r ,   S c i   I n s t   Q u a l   H e a l t h c a r e ,   N i j m e g e n ,   N e t h e r l a n d s ;   [ K u z i e m s k y ,   C r a i g   E . ]   U n i v   O t t a w a ,   T e l f e r   S c h   M a n a g e m e n t ,   O t t a w a ,   O N ,   C a n a d a ;   [ G a g n o n ,   M a r i e - P i e r r e ]   U n i v   L a v a l ,   F a c   S c i   I n f i r m ,   Q u e b e c   C i t y ,   P Q ,   C a n a d a ;   [ T u r g e o n ,   A l e x i s   F . ]   U n i v   L a v a l ,   D e p t   A n e s t h e s i o l ,   D i v   S o i n s   I n t e n s i f s ,   Q u e b e c   C i t y ,   P Q ,   C a n a d a ;   [ A u b i n ,   K a r i n e ]   U n i v   Q u e b e c   R i m o u s k i ,   L e v i s ,   P Q ,   C a n a d a ;   [ G o l d ,   I r v i n g ]   A s s o c   F a c   M e d   C a n a d a ,   O t t a w a ,   O N ,   C a n a d a ;   [ P o i t r a s ,   J u l i e n ]   C t r   H o s p   A f f i l i e   U n i v   L e v i s ,   C t r   S a n t e   &   S e r v   S o c i a u x   A l p h o n s e   D e s j a r d i n s ,   L e v i s ,   P Q ,   C a n a d a ;   [ E y s e n b a c h ,   G u n t h e r ]   C t r   G l o b a l   E H l t h   I n n o v a t   &   T e c h n a   I n s t ,   U n i v   H l t h   N e t w o r k ,   T o r o n t o ,   O N ,   C a n a d a ;   [ E y s e n b a c h ,   G u n t h e r ]   U n i v   T o r o n t o ,   I n s t   H l t h   P o l i c y   M a n a g e m e n t   &   E v a l u a t ,   T o r o n t o ,   O N ,   C a n a d a ;   [ E y s e n b a c h ,   G u n t h e r ]   J M I R   P u b l i c a t   I n c ,   T o r o n t o ,   O N ,   C a n a d a ;   [ L e g a r e ,   F r a n c e ]   C a n a d a   R e s   C h a i r   I m p l e m e n t a t   S h a r e d   D e c i s   M a k i n g ,   Q u e b e c   C i t y ,   P Q ,   C a n a d a 	 A r c h a m b a u l t ,   P M   ( r e p r i n t   a u t h o r ) ,   C t r   H o s p   A f f i l i e   U n i v   L e v i s ,   C t r   R e c h ,   C t r   S a n t e   &   S e r v   S o c i a u x   A l p h o n s e   D e s j a r d i n s ,   1 4 3   R u e   W o l f e ,   L e v i s ,   P Q   G 6 V   3 Z 1 ,   C a n a d a . 	 p a t r i c k . m . a r c h a m b a u l t @ g m a i l . c o m 	 N e l e n ,   W i l l i a n n e / N - 4 2 3 9 - 2 0 1 3 ;   K r e m e r ,   J . A . M . / H - 8 0 6 3 - 2 0 1 4 	 	 C a n a d i a n   I n s t i t u t e s   f o r   H e a l t h   R e s e a r c h   K n o w l e d g e   S y n t h e s i s   G r a n t   [ F R N   1 1 6 6 3 2 ] ;   F o n d s   d e   r e c h e r c h e   d u   Q u e b e c - S a n t e   c a r e e r   s c i e n t i s t   a w a r d   [ 2 4 8 5 6 ] ;   F o n d s   d e   R e c h e r c h e   d u   Q u e b e c - S a n t e ,   E s t a b l i s h m e n t   o f   y o u n g   r e s e a r c h e r s - J u n i o r s   1   G r a n t   [ 2 4 8 5 6 ] ;   C e n t r e   d e   s a n t e   e t   s e r v i c e s   s o c i a u x   A l p h o n s e - D e s j a r d i n s   ( C H A U   d e   L e v i s ) 	 F u n d i n g   f o r   t h i s   p r o j e c t   w a s   p r o v i d e d   b y   a   C a n a d i a n   I n s t i t u t e s   f o r   H e a l t h   R e s e a r c h   K n o w l e d g e   S y n t h e s i s   G r a n t   ( F R N   1 1 6 6 3 2 ) ;   a   F o n d s   d e   r e c h e r c h e   d u   Q u e b e c - S a n t e   c a r e e r   s c i e n t i s t   a w a r d   ( 2 4 8 5 6 ) ;   a   F o n d s   d e   R e c h e r c h e   d u   Q u e b e c - S a n t e ,   E s t a b l i s h m e n t   o f   y o u n g   r e s e a r c h e r s - J u n i o r s   1   G r a n t   ( 2 4 8 5 6 ) ;   a n d   a   r e s e a r c h   g r a n t   f r o m   t h e   C e n t r e   d e   s a n t e   e t   s e r v i c e s   s o c i a u x   A l p h o n s e - D e s j a r d i n s   ( C H A U   d e   L e v i s ) .   T h e   f u n d e r s   h a d   n o   r o l e   i n   s t u d y   d e s i g n ,   d a t a   c o l l e c t i o n ,   a n d   a n a l y s i s ,   d e c i s i o n   t o   p u b l i s h ,   o r   p r e p a r a t i o n   o f   t h e   m a n u s c r i p t . 	 A d a m s   S A ,   2 0 1 0 ,   I N T   J   M E D   I N F O R M ,   V 7 9 ,   P 3 9 1 ,   D O I   1 0 . 1 0 1 6 / j . i j m e d i n f . 2 0 1 0 . 0 1 . 0 0 6 ;   A l d a i r y   T ,   2 0 1 2 ,   E U R   J   O R T H O D O N T ,   V 3 4 ,   P 4 6 6 ,   D O I   1 0 . 1 0 9 3 / e j o / c j r 0 4 6 ;   A l k h a t e e b   F a d i   M ,   2 0 1 1 ,   I n t   J   P h a r m   P r a c t ,   V 1 9 ,   P 1 4 0 ,   D O I   1 0 . 1 1 1 1 / j . 2 0 4 2 - 7 1 7 4 . 2 0 1 0 . 0 0 0 8 7 . x ;   A n d e r s o n   P ,   2 0 0 9   P O S   P R O F   1 0   I N T ;   A n d r u s   L C ,   2 0 1 0 ,   C O M M U N I C A T I N G   N U R S I N ,   V 4 3 ,   P 3 5 9 ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   P H A R M A C O L O G Y ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   H U M A N   P H Y S L ;   [ A n o n y m o u s ] ,   2 0 0 6 ,   M E D   I M A G I N G ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   O R T H O P A E D I C   S U R G ;   [ A n o n y m o u s ] ,   2 0 1 0 ,   D E A L   A U S T ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   E L S E V I E R   A M P   3 9   S   W I ;   D o n a b e d i a n   A ,   2 0 0 5 ,   M I L B A N K   Q ,   V 8 3 ,   P 6 9 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 0 0 0 9 . 2 0 0 5 . 0 0 3 9 7 . x ;   [ A n o n y m o u s ] ,   2 0 0 6 ,   D I A B   W I K ;   A n t w e r p e s   F ,   2 0 1 3 ,   D O C C H E C K   F L E X I K O N   C O ;   A r a z y   O ,   2 0 1 0 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 1 ,   P 1 1 6 6 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 3 2 6 ;   A r c h a m b a u l t   P ,   2 0 1 0 ,   O P E N   M E D ,   V 4 ;   A r c h a m b a u l t   P ,   2 0 1 1 ,   2 0 1 1   M E D   2   0   S O C   M E D ;   A r c h a m b a u l t   P M ,   2 0 1 1 ,   J   M E D   I N T E R N E T   R E S ,   V 1 3 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 6 1 ;   A r c h a m b a u l t   P a t r i c k   M i c h e l ,   2 0 1 2 ,   J M I R   R e s   P r o t o c ,   V 1 ,   p e 1 ,   D O I   1 0 . 2 1 9 6 / r e s p r o t . 1 9 9 3 ;   A r c h a m b a u l t   P M ,   2 0 1 0 ,   I M P L E M E N T   S C I ,   V 5 ,   D O I   1 0 . 1 1 8 6 / 1 7 4 8 - 5 9 0 8 - 5 - 4 5 ;   A r c h a m b a u l t   P a t r i c k   M ,   2 0 1 1 ,   I n f o r m   P r i m   C a r e ,   V 1 9 ,   P 2 0 7 ;   A r c h a m b a u l t   P M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 8 3 ;   A r i t a   M ,   2 0 0 9 ,   B R I E F   B I O I N F O R M ,   V 1 0 ,   P 2 9 5 ,   D O I   1 0 . 1 0 9 3 / b i b / b b n 0 5 3 ;   A r k s e y   H . ,   2 0 0 5 ,   I N T   J   S O C   R E S   M E T H O D ,   V 8 ,   P 1 9 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 3 6 4 5 5 7 0 3 2 0 0 0 1 1 9 6 1 6 ;   A s k D r W i k i   c o n t r i b u t o r s ,   2 0 1 2 ,   A S K D R W I K I   M E D   W I K   G O ;   A y e s   K B ,   2 0 1 0 ,   C L I N   T O X I C O L ,   V 4 8 ,   P 6 3 5 ;   B a r s k y   E u g e n e ,   2 0 0 8 ,   P h y s i o t h e r   C a n ,   V 6 0 ,   P 2 0 7 ,   D O I   1 0 . 3 1 3 8 / p h y s i o . 6 0 . 3 . 2 0 7 ;   B a t e s   D W ,   2 0 0 9 ,   P L O S   M E D ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 1 0 0 0 1 0 5 ;   B e l l e r   S E ,   2 0 1 3 ,   Q U A L I T Y   K N O W L E D G E   U N ;   B e l t   T ,   2 0 1 1 ,   M E D I C I N E B I O M E D I C A L R E ;   B e n d e r   J a c q u e l i n e   L ,   2 0 1 1 ,   O p e n   M e d ,   V 5 ,   p e 2 0 1 ;   B e n k l e r   Y ,   2 0 0 6 ,   J   P O L I T   P H I L O S ,   V 1 4 ,   P 3 9 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 7 6 0 . 2 0 0 6 . 0 0 2 3 5 . x ;   B e r n e r s - L e e   T . ,   2 0 0 1 ,   S C I   A M ,   V 2 8 4 ,   P 2 8 ;   B h u i   K ,   2 0 1 1 ,   M I G H E A L T H N E T   I N F O R M ;   B i s h o p   J ,   2 0 0 7 ,   C O M P U T   H U M   B E H A V ,   V 2 3 ,   P 1 8 8 1 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 0 5 . 1 1 . 0 0 4 ;   B l a c k   A D ,   2 0 1 1 ,   P L O S   M E D ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 1 0 0 0 3 8 7 ;   B l a k e l y   R . ,   2 0 0 7 ,   H L T H   C A R E   B L O G   T I M E S ;   B o o k s t a v e r   P B ,   2 0 1 1 ,   A M   J   P H A R M   E D U C ,   V 7 5 ;   B o u l o s   M a g e d   N   K a m e l ,   2 0 0 6 ,   B M C   M e d   E d u c ,   V 6 ,   P 4 1 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 2 - 6 9 2 0 - 6 - 4 1 ;   B r o k o w s k i   L ,   2 0 0 9 ,   A N N   P H A R M A C O T H E R ,   V 4 3 ,   P 1 9 1 2 ,   D O I   1 0 . 1 3 4 5 / a p h . 1 M 3 4 0 ;   B r o w n   T ,   2 0 1 3 ,   J   H U M   N U T R   D I E T ,   V 2 6 ,   P 1 8 2 ,   D O I   1 0 . 1 1 1 1 / j h n . 1 2 0 3 6 ;   B r y a n t   S L ,   2 0 0 5 ,   2 0 0 5   P   2 0 0 5   I N T   A C M ;   B u t l e r   D . ,   2 0 0 8 ,   N A T U R E ,   D O I   [ 1 0 . 1 0 3 8 / n e w s . 2 0 0 8 . 1 3 1 2 ,   D O I   1 0 . 1 0 3 8 / N E W S . 2 0 0 8 . 1 3 1 2 ] ] ;   B u y t a e r t   D . ,   D R U P A L   C O M E   S O F T W A R E ;   B u z z i   M a r i n a ,   2 0 0 9 ,   D i s a b i l   R e h a b i l   A s s i s t   T e c h n o l ,   V 4 ,   P 2 6 4 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 8 3 1 0 0 9 0 2 9 0 3 4 5 7 ;   C a l l i s   K L ,   2 0 0 9 ,   T R E N D S   E C O L   E V O L ,   V 2 4 ,   P 1 7 7 ,   D O I   1 0 . 1 0 1 6 / j . t r e e . 2 0 0 9 . 0 1 . 0 0 3 ;   C a p u t o   I . ,   2 0 0 9 ,   N I H   S T A F F E R S   G E T   W I K ;   C h a n   L e s l i e ,   2 0 0 9 ,   O p e n   M e d ,   V 3 ,   p e 1 1 1 ;   C h a n   L ,   2 0 1 1 ,   P L O S   M E D ,   V 8 ,   D O I   [ 1 0 . 1 3 7 1 / j o u r n a l . p m e d . 1 0 0 1 0 1 6 ,   D O I   1 0 . 1 3 7 1 / J 0 U R N A L . P M E D . 1 0 0 1 0 1 6 ] ] ;   C h e s h i r e   C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 5 3 7 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 3 9 8 5 8 ;   C h e s h i r e   C ,   2 0 0 8 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 3 ,   P 7 0 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 0 8 3 - 6 1 0 1 . 2 0 0 8 . 0 0 4 1 6 . x ;   C h e s t o n   C C ,   2 0 1 3 ,   A C A D   M E D ,   V 8 8 ,   P 8 9 3 ,   D O I   1 0 . 1 0 9 7 / A C M . 0 b 0 1 3 e 3 1 8 2 8 f f c 2 3 ;   C h i a r e l l a   D e b o r a h ,   2 0 0 9 ,   J o u r n a l   o f   C o n s u m e r   H e a l t h   o n   t h e   I n t e r n e t ,   V 1 3 ,   D O I   1 0 . 1 0 8 0 / 1 5 3 9 8 2 8 0 9 0 3 1 2 0 0 0 0 ;   C h o u   W e n - y i n g   S y l v i a ,   2 0 1 3 ,   A m   J   P u b l i c   H e a l t h ,   V 1 0 3 ,   p e 9 ,   D O I   1 0 . 2 1 0 5 / A J P H . 2 0 1 2 . 3 0 1 0 7 1 ;   C h u   L F ,   2 0 1 0 ,   C U R R   O P I N   A N E S T H E S I O ,   V 2 3 ,   P 2 1 8 ,   D O I   1 0 . 1 0 9 7 / A C O . 0 b 0 1 3 e 3 2 8 3 3 7 3 3 9 c ;   C i e s i e l k a   D . ,   2 0 1 0 ,   M E A D V I L L E   C O L L A B O R A T ;   C i e s i e l k a   D ,   2 0 0 8 ,   J   N U R S   E D U C ,   V 4 7 ,   P 4 7 3 ;   C i f f o l i l l i   A ,   2 0 0 3 ,   1   M O N D A Y ,   V 8 ,   P 1 ;   C i n n a m o n   J ,   2 0 1 0 ,   I N T   J   H E A L T H   G E O G R ,   V 9 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 6 - 0 7 2 X - 9 - 2 5 ;   C l a u s o n   K A ,   2 0 0 8 ,   A N N   P H A R M A C O T H E R ,   V 4 2 ,   P 1 8 1 4 ,   D O I   1 0 . 1 3 4 5 / a p h . 1 L 4 7 4 ;   C o b u s   L a u r a ,   2 0 0 9 ,   M e d i c a l   R e f e r e n c e   S e r v i c e s   Q u a r t e r l y ,   V 2 8 ,   P 2 2 ,   D O I   1 0 . 1 0 8 0 / 0 2 7 6 3 8 6 0 8 0 2 6 1 5 9 2 2 ;   C o h e n   N ,   2 0 0 9 ,   C O M P L A I N T   D O C T O R   W H O ;   C o l l i e r   J ,   2 0 1 0 ,   J   N U R S   E D U C ,   V 4 9 ,   P 7 1 8 ,   D O I   1 0 . 3 9 2 8 / 0 1 4 8 4 8 3 4 - 2 0 1 0 1 1 1 7 - 0 2 ;   C o l o s i m o   A ,   2 0 0 8 ,   M G G I L L   L I B   G L O B A L   H L ;   C o n t r i b u t o r s   o f   W i k i p e d i a :   T h e   F r e e   E n c y c l o p e d i a ,   2 0 1 3 ,   C O M P   W I K   S O F T W ;   C o o k   B ,   2 0 1 2 ,   R A D   O N C O L O G Y ;   C o s m o c o d e ,   W I K I M A T R I X   C O M P   T H E M ;   C o u s i n e a u   L K ,   2 0 0 9 ,   2 0 0 9   C   M E D   L I B   A S S   M ;   C r e s s   U ,   2 0 0 8 ,   I N T   J   C O M P - S U P P   C O L L ,   V 3 ,   P 1 0 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 4 1 2 - 0 0 7 - 9 0 3 5 - z ;   C r o t e a u   S . ,   2 0 1 1 ,   I N F O R M   U R G E N C E ;   C u l l e y   J o a n   M ,   2 0 1 2 ,   N u r s   E d u c   P e r s p e c t ,   V 3 3 ,   P 5 1 ;   C z a r n e c k a - K u j a w a   K ,   2 0 0 8 ,   G A S T R O E N T E R O L O G Y ,   V 1 3 4 ,   p A ,   D O I   [ 1 0 . 1 0 1 6 /   s 0 0 1 6 -   5 0 8 5 (   0 8 )   6 1 5 1 8 -   8 ,   D O I   1 0 . 1 0 1 6 / S 0 0 1 6 - 5 0 8 5 ( 0 8 ) 6 1 5 1 8 - 8 ] ;   D a m a n i   S ,   2 0 0 9 ,   2 0 0 9   C   M E D   L I B   A S S   M ;   D ' a v o l i o   L . ,   Q U A L I T Y   M E D   D A T A ;   D a v i e s   E . ,   2 0 1 3 ,   B M J - B R I T   M E D   J ,   V 3 4 6 ,   p f 2 0 7 5 ,   D O I   [ 1 0 . 1 1 3 6 / b m j . f 2 0 7 5 ,   D O I   1 0 . 1 1 3 6 / B M J . F 2 0 7 5 ] ] ;   d e   C a r v a l h o   E C A ,   2 0 1 0 ,   P L O S   O N E ,   V 5 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 0 9 3 1 4 ;   d e   S i l v a   V ,   2 0 1 0 ,   B R I T   M E D   J ,   V 3 4 1 ,   D O I   1 0 . 1 1 3 6 / b m j . c 4 7 3 8 ;   d e   D i o s   J G ,   2 0 1 1 ,   R E V   N E U R O L O G I A ,   V 5 2 ,   P 7 1 3 ;   d e n   B r e e j e n   E M E ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 0 8 0 ;   D e s h p a n d e   A ,   A S Y N C H R O N O U S   T E L E H E A ;   D e s h p a n d e   A m o l ,   2 0 0 9 ,   O p e n   M e d ,   V 3 ,   p e 6 9 ;   D e v g a n   L ,   2 0 0 7 ,   J   A M   C O L L   S U R G E O N S ,   V 2 0 5 ,   p S 7 6 ,   D O I   1 0 . 1 0 1 6 / j . j a m c o l l s u r g . 2 0 0 7 . 0 6 . 1 9 0 ;   D h i l l o n   S ,   2 0 1 1 ,   S K E L E T A L   R A D I O L ,   V 4 0 ,   P 5 0 6 ;   D o b r o g o w s k a - S c h l e b u s c h   E . ,   2 0 0 9 ,   Z E S Z Y T Y   N A U K O W E   O C H R ,   V 7 ,   P 1 0 2 ;   D o d s o n   S h e r r y ,   2 0 1 1 ,   M e d i c a l   R e f e r e n c e   S e r v i c e s   Q u a r t e r l y ,   V 3 0 ,   P 9 5 ,   D O I   1 0 . 1 0 8 0 / 0 2 7 6 3 8 6 9 . 2 0 1 1 . 5 6 2 7 9 7 ;   E a p e n   B R ,   2 0 0 7 ,   I N D I A N   J   D E R M A T O L   V E ,   V 7 3 ,   P 4 3 9 ;   E y s e n b a c h   G ,   2 0 0 4 ,   B R I T   M E D   J ,   V 3 2 8 ,   P 1 1 6 6 ,   D O I   1 0 . 1 1 3 6 / b m j . 3 2 8 . 7 4 4 9 . 1 1 6 6 ;   E y s e n b a c h   G ,   2 0 0 8 ,   J   M E D   I N T E R N E T   R E S ,   V 1 0 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 0 3 0 ;   F   W a n ,   2 0 0 9 ,   R E V E R S E   E N G   C O N T E N T ;   F e l s e n   U ,   2 0 1 0 ,   J   G E N   I N T E R N   M E D ,   V 2 5 ,   P 4 5 5 ;   F l a v a l l   E . ,   2 0 1 1 ,   P L O S   C U R R E N T S   I N F L U E ;   F o r t e   A . ,   2 0 0 5 ,   W H Y   D O   P E O P L E   W R I T E ;   F r i e d l i n   J ,   2 0 1 0 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 7 ,   P 2 8 3 ,   D O I   1 0 . 1 1 3 6 / j a m i a . 2 0 0 9 . 0 0 1 1 8 0 ;   F u r t a d o   V ,   2 0 1 0 ,   I N F O R M   S C I E N C E S ,   V 1 8 0 ,   P 4 ,   D O I   1 0 . 1 0 1 6 / j . i n s . 2 0 0 9 . 0 8 . 0 0 4 ;   G a g n o n   M P ,   2 0 1 2 ,   J   M E D   S Y S T ,   V 3 6 ,   P 2 4 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 9 1 6 - 0 1 0 - 9 4 7 3 - 4 ;   G a n f y d   c o n t r i b u t o r s ,   F R E E   M E D   K N O W L   B A S ;   G e o r g e   A . ,   2 0 0 7 ,   S S R N   J ,   V 2 0 0 7 ,   D O I   [ 1 0 . 2 1 3 9 / s s r n . 9 7 5 0 9 6 ,   D O I   1 0 . 2 1 3 9 / S S R N . 9 7 5 0 9 6 ] ] ;   G e r b e r   D ,   2 0 1 0 ,   J   C L I N   M O N I T   C O M P U T ,   V 2 4 ,   P 1 2 ,   D O I   [ 1 0 . 1 0 0 7 / s 1 0 8 7 7 - 0 0 9 - 9 2 1 1 - y ,   D O I   1 0 . 1 0 0 7 / S 1 0 8 7 7 - 0 0 9 - 9 2 1 1 - Y ] ] ;   G h o s h   S S ,   2 0 1 2 ,   F R O N T   C O M P U T   N E U R O S C ,   V 6 ,   D O I   1 0 . 3 3 8 9 / f n c o m . 2 0 1 2 . 0 0 0 1 8 ;   G i b s o n   M . ,   2 0 1 3 ,   W I K I D O C   L I V I N G   T X B   M ;   G i l e s   J ,   2 0 0 6 ,   N A T U R E ,   V 4 4 3 ,   P 4 9 3 ,   D O I   1 0 . 1 0 3 8 / 4 4 3 4 9 3 a ;   G i u s t i n i   D ,   H L W I K I   I N T ;   G i u s t i n i   D ,   2 0 0 7 ,   B R I T   M E D   J ,   V 3 3 5 ,   P 1 2 7 3 ,   D O I   1 0 . 1 1 3 6 / b m j . 3 9 4 2 8 . 4 9 4 2 3 6 . B E ;   G i u s t i n i   D ,   2 0 0 6 ,   B R I T   M E D   J ,   V 3 3 3 ,   P 1 2 8 3 ,   D O I   1 0 . 1 1 3 6 / b m j . 3 9 0 6 2 . 5 5 5 4 0 5 . 8 0 ;   G o d l e e   F ,   2 0 0 4 ,   L A N C E T ,   V 3 6 4 ,   P 2 9 5 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 0 - 6 7 3 6 ( 0 4 ) 1 6 6 8 1 - 6 ;   G o o d m a n   M i c h a e l   J ,   2 0 0 6 ,   M e d G e n M e d ,   V 8 ,   P 7 0 ;   G o o g l e   M a n b e r   U . ,   2 0 0 7 ,   E N C O U R A G I N G   P E O P L E   C ;   G r a v P a d   C o r n e l i   J . ,   2 0 1 0 ,   2 0 1 0   P   6   I N T   S   W I K   O ,   P 3 3 ;   G u p t a   S ,   2 0 1 0 ,   C H E S T ,   V 1 3 8 ,   p 1 7 2 A ,   D O I   [ 1 0 . 1 3 7 8 / c h e s t . 1 0 8 8 3 ,   D O I   1 0 . 1 3 7 8 / C H E S T . 1 0 8 8 3 ] ] ;   G u p t a   S ,   2 0 1 1 ,   J   M E D   I N T E R N E T   R E S ,   V 1 3 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 8 3 3 ;   H a i g h   C A ,   2 0 1 1 ,   N U R S   E D U C   T O D A Y ,   V 3 1 ,   P 1 3 5 ,   D O I   1 0 . 1 0 1 6 / j . n e d t . 2 0 1 0 . 0 5 . 0 0 4 ;   H a m i l t o n   A ,   2 0 0 8 ,   2 0 0 8   H L T H   R E S   T R A N S F ;   H a m m   K M ,   2 0 0 9 ,   2 0 0 9   N   A M   C   C L I N   T O X ;   H a n s o n   A H ,   2 0 1 1 ,   J   A M   A C A D   D E R M A T O L ,   V 6 5 ,   P 8 3 6 ,   D O I   1 0 . 1 0 1 6 / j . j a a d . 2 0 1 0 . 0 5 . 0 4 9 ;   H a r r i s   C M ,   2 0 1 0 ,   B E S T   P R A C T I C E S   T E A C H ,   P 1 2 5 ;   H a w k i n s   J ,   2 0 1 0 ,   R E F L E C T I O N S   N U R S I N G ,   V 3 6 ,   P 1 ;   H e i l m a n   J M ,   2 0 1 1 ,   J   M E D   I N T E R N E T   R E S ,   V 1 3 ,   P 1 5 3 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 5 8 9 ;   H i c k e r s o n   C A ,   2 0 0 9 ,   P R I S M   O N L I N E   P R   J ,   V 6 ,   P 1 ;   H o f f m a n n   R ,   2 0 0 8 ,   N A T   G E N E T ,   V 4 0 ,   P 1 0 4 7 ,   D O I   1 0 . 1 0 3 8 / n g . f . 2 1 7 ;   H o l l i n d e r b a u m e r   A ,   2 0 1 3 ,   G M S   Z   M E D   A U S B I L D ,   V 3 0 ,   D O I   [ 1 0 . 3 2 0 5 / z m a 0 0 0 8 5 7 ,   D O I   1 0 . 3 2 0 5 / Z M A 0 0 0 8 5 7 ] ] ;   H s i e h   H F ,   2 0 0 5 ,   Q U A L   H E A L T H   R E S ,   V 1 5 ,   P 1 2 7 7 ,   D O I   1 0 . 1 1 7 7 / 1 0 4 9 7 3 2 3 0 5 2 7 6 6 8 7 ;   H u g h e s   B ,   2 0 0 9 ,   I N T   J   M E D   I N F O R M ,   V 7 8 ,   P 6 4 5 ,   D O I   1 0 . 1 0 1 6 / j . i j m e d i n f . 2 0 0 9 . 0 4 . 0 0 8 ;   H u l b e r t - W i l l i a m s   N J ,   2 0 1 0 ,   P L A T ,   V 9 ,   P 4 5 ,   D O I   D O I   1 0 . 2 3 0 4 / P L A T . 2 0 1 0 . 9 . 1 . 4 5 ] ;   H u s s   J W ,   2 0 0 8 ,   P L O S   B I O L ,   V 6 ,   P 1 3 9 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p b i o . 0 0 6 0 1 7 5 ;   I o a n n i s   C h i o t e l i s   I ,   2 0 1 1 ,   E U R O P E A N   J   C A R D I O V A S ,   V 1 8 ,   p S 1 1 ;   I y e r   A K . ,   2 0 1 1 ,   D R U G   I N F O R M   S E E K I N G ;   J a i n   S H ,   2 0 0 9 ,   N E W   E N G L   J   M E D ,   V 3 6 1 ,   P 6 4 9 ,   D O I   1 0 . 1 0 5 6 / N E J M p 0 9 0 1 2 7 7 ;   J a l a l i   A ,   2 0 0 9 ,   M E D   E D U C ,   V 4 3 ,   P 1 1 1 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 2 3 . 2 0 0 9 . 0 3 4 8 0 . x ;   J o h n s o n   P T ,   2 0 0 8 ,   A C A D   R A D I O L ,   V 1 5 ,   P 1 1 6 5 ,   D O I   1 0 . 1 0 1 6 / j . a c r a . 2 0 0 8 . 0 2 . 0 1 0 ;   J o n e s   P . ,   2 0 1 0 ,   J   T E A C H I N G   S O C I A L   W O ,   V 3 0 ,   P 2 2 5 ,   D O I   D O I   1 0 . 1 0 8 0 / 0 8 8 4 1 2 3 1 0 0 3 7 0 5 3 9 6 ] ;   J u d d   T ,   2 0 1 1 ,   B R I T   J   E D U C   T E C H N O L ,   V 4 2 ,   P 3 5 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 5 3 5 . 2 0 0 9 . 0 1 0 1 9 . x ;   J u d d   T ,   2 0 1 0 ,   C O M P U T   E D U C ,   V 5 5 ,   P 1 5 6 4 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e d u . 2 0 1 0 . 0 6 . 0 2 2 ;   K a p l a n   A M ,   2 0 1 0 ,   B U S   H O R I Z O N S ,   V 5 3 ,   P 5 9 ,   D O I   1 0 . 1 0 1 6 / j . b u s h o r . 2 0 0 9 . 0 9 . 0 0 3 ;   K a r a s a v v i d i s   I ,   2 0 1 0 ,   I N T E R A C T   L E A R N   E N V I R ,   V 1 8 ,   P 2 1 9 ,   D O I   1 0 . 1 0 8 0 / 1 0 4 9 4 8 2 0 . 2 0 1 0 . 5 0 0 5 1 4 ;   K a r d o n g - E d g r e n   S E ,   2 0 0 9 ,   I N T   J   N U R S   E D   S C H O L A ,   V 6 ,   D O I   [ 1 0 . 2 2 0 2 / 1 5 4 8 - 9 2 3 X . 1 7 8 7 ,   D O I   1 0 . 2 2 0 2 / 1 5 4 8 - 9 2 3 X . 1 7 8 7 ] ] ;   K e n t   M L ,   2 0 0 2 ,   P U B L I C   R E L A T   R E V ,   V 2 8 ,   P 2 1 ,   D O I   1 0 . 1 0 1 6 / S 0 3 6 3 - 8 1 1 1 ( 0 2 ) 0 0 1 0 8 - X ;   K i m   J Y ,   2 0 1 0 ,   J   P A T H O L   I N F O R M ,   V 1 ,   D O I   [ 1 0 . 4 1 0 3 / 2 1 5 3 - 3 5 3 9 . 6 5 4 2 8 ,   D O I   1 0 . 4 1 0 3 / 2 1 5 3 - 3 5 3 9 . 6 5 4 2 8 ] ;   K i t s o n - R e y n o l d s   E . ,   2 0 0 9 ,   B R I T   J   M I D W I F E R Y ,   V 1 7 ,   P 1 1 8 ;   K i t t u r   A ,   2 0 0 7 ,   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1   A N D   2 ,   P 4 5 3 ;   K n o l   G o o g l e ,   2 0 1 1 ,   P U B L   L I B   S C I   P L O S   P L ;   K n o w l t o n   D .   S . ,   2 0 0 5 ,   J   I N T E R A C T I V E   L E A R N I ,   V 1 6 ,   P 1 5 5 ;   K o e r n e r   P ,   2 0 1 1 ,   2 0 1 1   1 1 2   A N N   M   A M   A S ,   P 6 6 ;   K o h l i   M D ,   2 0 1 1 ,   J   D I G I T   I M A G I N G ,   V 2 4 ,   P 1 7 0 ,   D O I   1 0 . 1 0 0 7 / s 1 0 2 7 8 - 0 1 0 - 9 2 9 2 - 7 ;   K r a f t   M ,   2 0 0 9   C   M E D   L I B   A S S   M ;   K r e b s   C . ,   2 0 0 9 ,   F A S E B   J ,   V 2 3 ,   P 4 7 6 ;   K r i p l e a n   T ,   2 0 0 8 ,   2 0 0 8   P   2 0 0 8   A C M   C   C O ;   L a n n i n g   L ,   2 0 0 9 ,   P A L L I A T I V E   C A R E   R E S O ;   L a n n i n g   L i s a   C ,   2 0 1 0 ,   J   P h y s i c i a n   A s s i s t   E d u c ,   V 2 1 ,   P 4 1 ;   L a u   A S M ,   2 0 0 9 ,   I N F O R M   H E A L T H   S O C   C A ,   V 3 4 ,   P 7 3 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 1 5 0 9 0 2 7 7 9 5 4 3 ;   L a u b e r   C A ,   2 0 0 9 ,   A T H L E T   T H E R   T O D A Y ,   V 1 4 ,   P 2 5 ;   L a u r e n t   M R ,   2 0 0 9 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 6 ,   P 4 7 1 ,   D O I   1 0 . 1 1 9 7 / j a m i a . M 3 0 5 9 ;   L a w   M R ,   2 0 1 1 ,   A N N   P H A R M A C O T H E R ,   V 4 5 ,   P 3 5 0 ,   D O I   1 0 . 1 3 4 5 / a p h . 1 P 5 7 2 ;   L e g a r e   F ,   2 0 1 2 ,   C A N   M E D   A S S O C   J ,   V 1 8 4 ,   p E 7 2 6 ,   D O I   1 0 . 1 5 0 3 / c m a j . 1 2 0 5 6 8 ;   L e i t h n e r   A ,   2 0 1 0 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 7 ,   P 3 7 3 ,   D O I   1 0 . 1 1 3 6 / j a m i a . 2 0 1 0 . 0 0 4 5 0 7 ;   L e m l e y   T ,   2 0 0 9 ,   J   M E D   L I B R   A S S O C ,   V 9 7 ,   P 5 0 ,   D O I   1 0 . 3 1 6 3 / 1 5 3 6 - 5 0 5 0 . 9 7 . 1 . 0 1 0 ;   L e u f   B . ,   2 0 0 1 ,   W I K I   W A Y   Q U I C K   C O L L A ,   P a t e n t   N o .   B o s t o n ,   M A ;   L e v a c   D ,   2 0 1 0 ,   I M P L E M E N T   S C I ,   V 5 ,   D O I   1 0 . 1 1 8 6 / 1 7 4 8 - 5 9 0 8 - 5 - 6 9 ;   L e v y   S ,   2 0 0 8 ,   W I R E D   N E W S ;   L i   L C ,   2 0 0 9 ,   I M P L E M E N T   S C I ,   V 4 ,   D O I   1 0 . 1 1 8 6 / 1 7 4 8 - 5 9 0 8 - 4 - 1 1 ;   L i   L C ,   2 0 0 9 ,   I M P L E M E N T   S C I ,   V 4 ,   D O I   1 0 . 1 1 8 6 / 1 7 4 8 - 5 9 0 8 - 4 - 2 7 ;   L i h   A . ,   2 0 0 9 ,   W I K I P E D I A   R E V O L U T I O N ;   L i h   A ,   2 0 0 4 ,   2 0 0 4   5   I N T   S   O N L   J O U ,   P 1 6 ;   L i m   W Y ,   2 0 1 0 ,   I N T E R A C T   L E A R N   E N V I R ,   V 1 8 ,   P 2 0 3 ,   D O I   1 0 . 1 0 8 0 / 1 0 4 9 4 8 2 0 . 2 0 1 0 . 5 0 0 5 0 7 ;   B u t c h e r   R O ,   2 0 1 1 ,   I N F L A M M   B O W E L   D I S ,   V 1 7 ,   p E 8 9 ,   D O I   1 0 . 1 0 0 2 / i b d . 2 1 7 4 9 ;   L l a m b i   L ,   2 0 1 1 ,   J   C O N T I N   E D U C   H E A L T H ,   V 3 1 ,   P 4 3 ,   D O I   1 0 . 1 0 0 2 / c h p . 2 0 1 0 0 ;   L o g a n   D W ,   2 0 1 0 ,   P L O S   C O M P U T   B I O L ,   V 6 ,   D O I   [ 1 0 . 1 3 7 1 / j o u r n a l . p c b i . 1 0 0 0 9 4 1 ,   D O I   1 0 . 1 3 7 1 / J 0 U R N A L . P C B I . 1 0 0 0 9 4 1 ] ] ;   L o r e n z   A n n e t t e ,   2 0 1 0 ,   S c h w e i z   M o n a t s s c h r   Z a h n m e d ,   V 1 2 0 ,   P 1 1 1 7 ;   L y k o u r e n t z o u   I ,   2 0 1 0 ,   I N F O R M   S C I E N C E S ,   V 1 8 0 ,   P 1 8 ,   D O I   1 0 . 1 0 1 6 / j . i n s . 2 0 0 9 . 0 8 . 0 0 3 ;   M a   Z S ,   2 0 0 8 ,   C L I N   O R T H O P   R E L A T   R ,   V 4 6 6 ,   P 2 4 2 8 ,   D O I   1 0 . 1 0 0 7 / s 1 1 9 9 9 - 0 0 8 - 0 3 9 6 - z ;   M a l o n e y - K r i c h m a r   D . ,   2 0 0 5 ,   A C M   T r a n s a c t i o n s   o n   C o m p u t e r - H u m a n   I n t e r a c t i o n ,   V 1 2 ,   D O I   1 0 . 1 1 4 5 / 1 0 6 7 8 6 0 . 1 0 6 7 8 6 4 ;   M a n d l   K D ,   2 0 0 8 ,   N E W   E N G L   J   M E D ,   V 3 5 8 ,   P 1 7 3 2 ,   D O I   1 0 . 1 0 5 6 / N E J M s b 0 8 0 0 2 2 0 ;   M a r t i n   J A ,   2 0 0 7 ,   A E R O S P A C E   A M ,   V 4 5 ,   P 6 ;   M a r t i n e z   J ,   2 0 1 1 ,   2 0 1 1   I E E E / P E S   P o w e r   S y s t e m s   C o n f e r e n c e   a n d   E x p o s i t i o n   ( P S C E   2 0 1 1 ) ,   D O I   1 0 . 1 1 0 9 / P S C E . 2 0 1 1 . 5 7 7 2 4 7 0 ;   M a s o n   F ,   2 0 0 9 ,   O P E N   M E D ,   V 3 ;   M a t l i n   T ,   2 0 0 9   C   M E D   L I B   A S S   M ;   M c G e e   J B ,   2 0 0 8 ,   M E D   T E A C H ,   V 3 0 ,   P 1 6 4 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 2 1 5 9 0 7 0 1 8 8 1 6 7 3 ;   M c G o w a n   B S ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 1 3 8 ;   M c I n n e s   N ,   2 0 1 1 ,   I N F O R M   H E A L T H   S O C   C A ,   V 3 6 ,   P 1 7 3 ,   D O I   1 0 . 3 1 0 9 / 1 7 5 3 8 1 5 7 . 2 0 1 0 . 5 4 2 5 2 9 ;   M c I n t o s h   B ,   2 0 1 1 ,   2   L I N E   T H E R A P Y   P A T I E ;   M c K i b b o n   K A ,   2 0 1 3 ,   I M P L E M E N T   S C I ,   V 8 ,   D O I   1 0 . 1 1 8 6 / 1 7 4 8 - 5 9 0 8 - 8 - 1 3 ;   M c L e a n   R ,   2 0 0 7 ,   M E D   J   A U S T R A L I A ,   V 1 8 7 ,   P 1 7 4 ;   M e e n a n   C ,   2 0 1 0 ,   J   D I G I T   I M A G I N G ,   V 2 3 ,   P 1 4 2 ,   D O I   1 0 . 1 0 0 7 / s 1 0 2 7 8 - 0 0 9 - 9 1 8 0 - 1 ;   M e r c e r   J . ,   2 0 0 7 ,   P S Y C H I A T   S O C I A L   W O R K ,   V 1 7 ,   P 3 7 3 ;   M i c h i e   S ,   2 0 0 5 ,   Q U A L   S A F   H E A L T H   C A R E ,   V 1 4 ,   P 2 6 ,   D O I   1 0 . 1 1 3 6 / q s h c . 2 0 0 4 . 0 1 1 1 5 5 ;   M i l l e r   A p r i l   D ,   2 0 0 9 ,   A m   J   P h a r m   E d u c ,   V 7 3 ,   P 1 3 9 ;   M i n J o u r n a l   c o n t r i b u t o r s ,   M I N J O U R N A L ;   M I R K   S M ,   2 0 1 0 ,   C U R R E N T S   P H A R M   T E A C H ,   V 2 ,   P 7 2 ,   D O I   D O I   1 0 . 1 0 1 6 / J . C P T L . 2 0 1 0 . 0 1 . 0 0 2 ] ;   M o e l l e r   S ,   2 0 1 0 ,   M E D   T E A C H ,   V 3 2 ,   p E 3 2 8 ,   D O I   1 0 . 3 1 0 9 / 0 1 4 2 1 5 9 X . 2 0 1 0 . 4 9 0 8 6 0 ;   M o e n   A ,   2 0 0 9 ,   S T U D   H E A L T H   T E C H N O L ,   V 1 5 0 ,   P 3 0 2 ,   D O I   1 0 . 3 2 3 3 / 9 7 8 - 1 - 6 0 7 5 0 - 0 4 4 - 5 - 3 0 2 ;   M o n t a n o   B S ,   2 0 1 0 ,   H E A L T H   I N F O   L I B R   J ,   V 2 7 ,   P 2 1 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 1 - 1 8 4 2 . 2 0 1 0 . 0 0 8 9 3 . x ;   M o o r h e a d   S A ,   2 0 1 3 ,   J   M E D   I N T E R N E T   R E S ,   V 1 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 3 3 ;   M o r l e y   D A ,   2 0 1 2 ,   N U R S   E D U C   T O D A Y ,   V 3 2 ,   P 2 6 1 ,   D O I   1 0 . 1 0 1 6 / j . n e d t . 2 0 1 1 . 0 3 . 0 0 7 ;   M o r o s e   T . ,   2 0 0 7 ,   U S I N G   I N T E R A C T I V E   W E ;   M o r s e   J .   M . ,   1 9 9 5 ,   Q U A L I T A T I V E   R E S   M E T H ;   M o s e r   R ,   2 0 1 1 ,   2 0 1 1   M E D   2   0   S O C   M E D ;   M o s q u e r a   M ,   2 0 1 0 ,   V A   W R E S T L E S   P H Y S   U S E ;   M o t u r u   S ,   2 0 0 9 ,   Q U A N T I F Y I N G   T R U S T W O R ;   M u h l h a u s e r   I ,   2 0 0 8 ,   F O R T B I L D U N G   Q U A L I T A T ,   V 1 0 2 ,   p e 1 ,   D O I   [ 1 0 . 1 0 1 6 / j . z e f q . 2 0 0 8 . 0 6 . 0 2 0 ,   D O I   1 0 . 1 0 1 6 / J . Z E F Q . 2 0 0 8 . 0 6 . 0 2 0 ] ] ;   M u i r   S ,   2 0 1 0 ,   P E D I A T   R A D I O L O G Y ,   V 4 0 ,   P 6 0 5 ;   M u r r a y   S a l l y ,   2 0 0 9 ,   O p e n   M e d ,   V 3 ,   p e 1 2 1 ;   M u r r a y   S a l l y ,   2 0 0 8 ,   O p e n   M e d ,   V 2 ,   p e 1 ;   M u s i l   E ,   2 0 1 1 ,   2 0 1 1   1 1 2   A N N   M   A M   A S ,   P 1 1 6 ;   N a i k   A D ,   2 0 1 0 ,   M E D   D E C I S   M A K I N G ,   V 3 0 ,   P 7 2 2 ,   D O I   1 0 . 1 1 7 7 / 0 2 7 2 9 8 9 X 1 0 3 8 5 8 4 6 ;   N a t i o n a l   I n s t i t u t e   o f   H e a l t h ,   2 0 1 1 ,   G U I D   P A R T   W I K   N I H   2 0 ;   N i e l s e n   F ,   2 0 1 2 ,   S S R N   J ,   D O I   [ 1 0 . 2 1 3 9 / s s r n . 2 1 2 9 8 7 4 ,   D O I   1 0 . 2 1 3 9 / S S R N . 2 1 2 9 8 7 4 ] ] ;   O ' G r a d y   L ,   2 0 0 9 ,   J   M E D   I N T E R N E T   R E S ,   V 1 1 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 0 5 8 ;   O k o l i   C ,   2 0 1 2 ,   S S R N   J ,   D O I   [ 1 0 . 2 1 3 9 / s s r n . 2 0 2 1 3 2 6 ,   D O I   1 0 . 2 1 3 9 / S S R N . 2 0 2 1 3 2 6 ] ] ;   O p e n W e t W a r e   W i k i   c o n t r i b u t o r s ,   2 0 0 9 ,   O P E N W E T W A R E   S H A R   Y O U ;   O r t h o C h i n a   c o n t r i b u t o r s ,   1 9 9 7 ,   O R T H O C H I N A   W E B   O R T H ;   P e n d e r   M P ,   2 0 0 9 ,   M E D   T E A C H ,   V 3 1 ,   P 1 0 9 5 ;   P h a d t a r e   A ,   2 0 0 9 ,   B M C   M E D   E D U C ,   V 9 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 2 - 6 9 2 0 - 9 - 2 7 ;   P h i l i p   C T ,   2 0 0 8 ,   A N A T   S C I   E D U C ,   V 1 ,   P 1 0 6 ,   D O I   1 0 . 1 0 0 2 / a s e . 2 6 ;   P i c o   A R ,   2 0 0 8 ,   P L O S   B I O L ,   V 6 ,   P 1 4 0 3 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p b i o . 0 0 6 0 1 8 4 ;   P l a n q u e   F . ,   2 0 0 3 ,   M O R E   B L O G   E V O   F A C T O R ;   P l u m m e r   T .   L . ,   2 0 1 1 ,   C U R R E N T S   P H A R M   T E A C H ,   V 3 ,   P 1 5 4 ,   D O I   D O I   1 0 . 1 0 1 6 / J . C P T L . 2 0 1 1 . 0 1 . 0 0 7 ] ;   P o w e r s   E ,   2 0 0 9 ,   2 0 0 9   C   M E D   L I B   A S S   M ;   R a j a g o p a l a n   M S ,   2 0 1 0 ,   J   C L I N   O N C O L O G Y ,   V 2 8 ;   R e s e a r c h N e t   -   C a n a d i a n   I n s t i t u t e s   o f   H e a l t h   R e s e a r c h ,   2 0 1 2 ,   F U N D   O P P   D E T ;   R e s t i v o   M ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 3 4 3 5 8 ;   R o s e n z w e i g   R ,   2 0 0 6 ,   J   A M   H I S T ,   V 9 3 ,   P 1 1 7 ;   R o t h m a n   D ,   2 0 0 6 ,   L I S T   M E D   W I K I S ;   S a l m o n   G . ,   2 0 0 2 ,   E   T I V I T I E S   K E Y   A C T I V ;   S a m p s o n   M ,   2 0 0 8 ,   P R E S S   P E E R   R E V   E L E C T ;   S a n d a r s   J ,   2 0 0 7 ,   P O S T G R A D   M E D   J ,   V 8 3 ,   P 7 5 9 ,   D O I   1 0 . 1 1 3 6 / p g m j . 2 0 0 7 . 0 6 3 1 2 3 ;   S a n d a r s   J ,   2 0 1 0 ,   M E D   T E A C H ,   D O I   [ 1 0 . 3 1 0 9 / 0 1 4 2 1 5 9 0 7 0 1 7 9 8 7 2 9 ,   D O I   1 0 . 3 1 0 9 / 0 1 4 2 1 5 9 0 7 0 1 7 9 8 7 2 9 ] ] ;   S a n d a r s   J ,   2 0 0 7 ,   M E D   T E A C H ,   V 2 9 ,   P 8 5 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 2 1 5 9 0 6 0 1 1 7 6 3 8 0 ;   S a n d a r s   J o h n ,   2 0 0 8 ,   M e d   T e a c h ,   V 3 0 ,   P 3 0 8 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 2 1 5 9 0 7 0 1 7 9 8 7 2 9 ;   S a n d a r s   J ,   2 0 0 7 ,   M E D   T E A C H ,   V 2 9 ,   P 3 0 7 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 2 1 5 9 0 6 0 1 1 7 6 4 0 6 ;   S a n t o s   A r r o n t e s   D ,   2 0 0 7 ,   A C T A S   U R O L   E S P ,   V 3 1 ,   P 1 1 6 1 ;   S c h r e i b e r   W E ,   2 0 0 9 ,   A M   J   C L I N   P A T H O L ,   V 1 3 2 ,   P 8 2 4 ,   D O I   1 0 . 1 3 0 9 / A J C P E C 9 F Z S B 4 D E D H ;   S c h w e i t z e r   N J ,   2 0 0 8 ,   T E A C H   P S Y C H O L ,   V 3 5 ,   P 8 1 ,   D O I   1 0 . 1 0 8 0 / 0 0 9 8 6 2 8 0 8 0 2 0 0 4 5 9 4 ;   S e e b r e g t s   C J ,   2 0 0 9 ,   I N T   J   M E D   I N F O R M ,   V 7 8 ,   P 7 1 1 ,   D O I   1 0 . 1 0 1 6 / j . i j m e d i n f . 2 0 0 8 . 0 9 . 0 0 5 ;   S e i t z   G M ,   2 0 1 0 ,   I J T M ,   V 5 2 ,   P 4 5 7 ,   D O I   [ 1 0 . 1 5 0 4 / I J T M . 2 0 1 0 . 0 3 5 9 8 5 ,   D O I   1 0 . 1 5 0 4 / I J T M . 2 0 1 0 . 0 3 5 9 8 5 ] ] ;   S h a w   A C ,   2 0 1 0 ,   A M   J   M E D   G E N E T   A ,   V 1 5 2 A ,   P 2 7 1 4 ,   D O I   1 0 . 1 0 0 2 / a j m g . a . 3 3 7 0 9 ;   S H I R K Y   C L A Y ,   2 0 0 8 ,   H E R E   C O M E S   E V E R Y B O D Y ;   S h n e i d e r m a n   B . ,   2 0 1 0 ,   D E S I G N I N G   U S E R   I N T E R ;   S t e i n i n g e r   K a t h a r i n a ,   2 0 1 0 ,   I n t e r n a t i o n a l   J o u r n a l   o f   H e a l t h c a r e   T e c h n o l o g y   a n d   M a n a g e m e n t ,   V 1 1 ,   D O I   1 0 . 1 5 0 4 / I J H T M . 2 0 1 0 . 0 3 3 2 7 2 ;   S t r a u s   S . ,   2 0 0 9 ,   K N O W L E D G E   T R A N S L A T I O ;   S t r e e t e r   J L ,   2 0 0 7 ,   R A D I O G R A P H I C S ,   V 2 7 ,   P 1 1 9 3 ,   D O I   1 0 . 1 1 4 8 / r g . 2 7 4 0 6 5 0 9 0 ;   S t u t s k y   B   J ,   2 0 0 9 ,   E M P O W E R M E N T   L E A D E R S H ;   S u l f i   S ,   2 0 1 2 ,   W I K I   E C H O ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   T e s c h   R . ,   1 9 9 0 ,   Q U A L I T A T I V E   R E S   A N A L ;   T h a c k e r a y   R ,   2 0 1 3 ,   J   M E D   I N T E R N E T   R E S ,   V 1 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 2 9 7 ;   T h e   C h a n g e   F o u n d a t i o n   H e a l t h   S t r a t e g y   I n n o v a t i o n   C e l l ,   2 0 1 1 ,   I N T R   K E Y   I S S   C U R R   1 ;   T h o m a s   G R ,   2 0 1 3 ,   S E M I N   D I A L Y S I S ,   V 2 6 ,   P 1 5 9 ,   D O I   1 0 . 1 1 1 1 / s d i . 1 2 0 5 9 ;   T o r o n t o   P u b l i c   L i b r a r y   W i k i   c o n t r i b u t o r s ,   2 0 1 0 ,   C A N   H L T H   I N F ;   T r e v e n a   L ,   2 0 1 1 ,   B R I T   M E D   J ,   V 3 4 2 ,   D O I   1 0 . 1 1 3 6 / b m j . d 3 3 8 7 ;   T u l b e r t   B r i t t a i n   H ,   2 0 1 1 ,   J   C l i n   A e s t h e t   D e r m a t o l ,   V 4 ,   P 2 7 ;   U m l a n d   E ,   2 0 1 1 ,   2 0 1 1   1 1 2   A N N   M   A M   A S ,   P 1 0 7 ;   U . S .   G o v e r n m e n t ,   I N T   D R I V   M I S S   E N   I N N ;   U s h e r   W ,   2 0 1 1 ,   S O C   W O R K   H E A L T H   C A R E ,   V 5 0 ,   P 3 0 5 ,   D O I   1 0 . 1 0 8 0 / 0 0 9 8 1 3 8 9 . 2 0 1 0 . 5 3 4 3 1 7 ;   V a n   d e   B e l t   T H ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   P 2 2 7 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 9 2 ;   V a n   D e r   S c h o o r - K n i j n e n b u r g   J ,   2 0 0 9 ,   2 0 0 9   J U N   3 0   2 5   A N N   M ,   P 1 5 8 ;   V a r g a - A t k i n s   T ,   2 0 1 2 ,   E N C Y   C Y B E R   B E H A V ,   P 1 6 4 ;   V a r g a - A t k i n s   T ,   2 0 1 0 ,   M E D   T E A C H ,   V 3 2 ,   P 8 2 4 ,   D O I   1 0 . 3 1 0 9 / 0 1 4 2 1 5 9 1 0 0 3 6 8 6 2 4 5 ;   V o g e l   L ,   2 0 1 1 ,   C A N   M E D   A S S O C   J ,   V 1 8 3 ,   P 6 4 7 ,   D O I   1 0 . 1 5 0 3 / c m a j . 1 0 9 - 3 8 1 2 ;   v o n   M u h l e n   M ,   2 0 1 2 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 9 ,   P 7 7 7 ,   D O I   1 0 . 1 1 3 6 / a m i a j n l - 2 0 1 2 - 0 0 0 9 9 0 ;   V r o o m   R W ,   2 0 0 9 ,   W O R L D   A C A D   S C I   E N G   T ,   V 5 7 ,   P 1 6 9 ;   W a l d r o p   M ,   2 0 0 8 ,   N A T U R E ,   V 4 5 5 ,   P 2 2 ,   D O I   1 0 . 1 0 3 8 / 4 5 5 0 2 2 a ;   W a l d r o p   M M ,   2 0 0 8 ,   S C I   A M ,   V 2 9 8 ,   P 6 8 ,   D O I   1 0 . 1 0 3 8 / s c i e n t i f i c a m e r i c a n 0 5 0 8 - 6 8 ;   W e i n b e r g e r   D a v i d ,   2 0 0 7 ,   E V E R Y T H I N G   I S   M I S C E L ;   W e l s h   A ,   2 0 0 7 ,   O N L I N E ,   V 3 1 ,   P 2 6 ;   W e n g e r   E ,   2 0 0 2 ,   C U L T I V A T I N G   C O M M U N I T ;   W i k i a   c o n t r i b u t o r s .   W i k i a ,   2 0 0 6 ,   S T R E E T   M E D ;   W i k i b o o k s   c o n t r i b u t o r s ,   2 0 1 2 ,   H D B   G E N   C O U N S ;   W i k i b o o k s   c o n t r i b u t o r s ,   2 0 1 2 ,   O P   C O N T   T X B   E M   M E D ;   W i k i b o o k s   c o n t r i b u t o r s ,   2 0 1 2 ,   I M M U N O L O G Y ;   W i k i b o o k s   c o n t r i b u t o r s ,   2 0 1 2 ,   R O S ;   W i k i b o o k s   c o n t r i b u t o r s ,   2 0 1 2 ,   S U R G   P R O C ;   W i k i b o o k s   c o n t r i b u t o r s ,   2 0 1 2 ,   D E M   D E P R ;   W i k i b o o k s   c o n t r i b u t o r s ,   2 0 1 2 ,   D I A G N   R A D ;   W i k i C a n c e r   c o n t r i b u t o r s ,   2 0 0 8 ,   C A N C   S T O R   S U P P   I N F ;   W i k i p e d i a ,   2 0 1 3 ,   W I K   F R E E   E N C ;   W i k i p r o j e c t   M e d i c i n e   c o n t r i b u t o r s ,   W I K   F R E E   E N C ;   W i k i v e r s i t y   c o n t r i b u t o r s ,   2 0 0 6 ,   S C H   M E D ;   W i l l i a m s   B ,   2 0 1 1 ,   J   P A R A M E D I C   P R A C T I C E ,   V 3 ,   P 3 8 8 ;   W o o d   A ,   2 0 1 0 ,   M E D   T E A C H ,   V 3 2 ,   P 6 1 8 ,   D O I   1 0 . 3 1 0 9 / 0 1 4 2 1 5 9 X . 2 0 1 0 . 4 9 7 7 1 9 ;   W o r l d   H e a l t h   O r g a n i z a t i o n ,   I C D 1 1   B E T   I N   P R E S S ;   W r i g h t   A ,   2 0 0 9 ,   J   B I O M E D   I N F O R M ,   V 4 2 ,   P 3 3 4 ,   D O I   1 0 . 1 0 1 6 / j . j b i . 2 0 0 8 . 0 9 . 0 0 3 ;   W u   H Y ,   2 0 1 0 ,   Q U A N T I T A T I V E   C O M P   O N ;   W u   L ,   2 0 0 9 ,   2 0 0 9   M A Y   C   M E D   L I B   A ,   P 1 5 ;   Y a n g   H L ,   2 0 1 0 ,   C O M P U T   H U M   B E H A V ,   V 2 6 ,   P 1 3 7 7 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 0 . 0 4 . 0 1 1 ;   Y a s s e r i   T ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 4 8 3 8 6 ;   Y a t e s   D ,   2 0 0 9 ,   J   A M   S O C   I N F O R M   S C I ,   D O I   [ 1 0 . 1 0 0 2 / a s i . 2 1 2 6 6 ,   D O I   1 0 . 1 0 0 2 / A S I . 2 1 2 6 6 ] ] ;   Y a t e s   D ,   2 0 1 1 ,   I N T   J   I N F O R M   M A N A G E ,   V 3 1 ,   P 6 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 1 0 . 1 0 . 0 0 1 ;   Y u   R ,   2 0 1 1 ,   2 0 1 1   S O C   H O S P   M E D   R E ,   P 1 4 0 	 2 8 7 	 3 	 3 	 J M I R   P U B L I C A T I O N S ,   I N C 	 T O R O N T O 	 5 9   W I N N E R S   C I R C L E ,   T O R O N T O ,   O N   M 4 L   3 Y 7 ,   C A N A D A 	 1 4 3 8 - 8 8 7 1 	 	 	 J   M E D   I N T E R N E T   R E S 	 J .   M e d .   I n t e r n e t   R e s . 	 O C T 	 2 0 1 3 	 1 5 	 1 0 	 	 	 	 	 4 	 3 8 	 	 1 0 . 2 1 9 6 / j m i r . 2 7 8 7 	 	 3 5 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 2 4 5 Y Q 	 W O S : 0 0 0 3 2 6 5 0 1 5 0 0 0 0 1 	 2 4 1 0 3 3 1 8 	 
 J 	 Z h a n g ,   L ;   R u i ,   Y 	 	 	 	 Z h a n g ,   L e i ;   R u i ,   Y o n g 	 	 	 I m a g e   S e a r c h - F r o m   T h o u s a n d s   t o   B i l l i o n s   i n   2 0   Y e a r s 	 A C M   T R A N S A C T I O N S   O N   M U L T I M E D I A   C O M P U T I N G   C O M M U N I C A T I O N S   A N D   A P P L I C A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A l g o r i t h m s ;   D o c u m e n t a t i o n ;   P e r f o r m a n c e ;   R e v i e w ;   i m a g e   r e t r i e v a l ;   W e b   i m a g e   s e a r c h ;   c o n t e n t - b a s e d ;   v i s u a l   r e p r e s e n t a t i o n ;   i m a g e   f e a t u r e ;   g l o b a l   f e a t u r e ;   l o c a l   f e a t u r e ;   i n d e x i n g ;   b i g   d a t a ;   i m a g e   k n o w l e d g e   b a s e 	 R E L E V A N C E   F E E D B A C K ;   W E B   I M A G E S ;   R E T R I E V A L ;   S C A L E ;   R E C O G N I T I O N ;   F E A T U R E S ;   D A T A B A S E ;   R E P R E S E N T A T I O N ;   D E S C R I P T O R S ;   C H A L L E N G E S 	 T h i s   a r t i c l e   p r e s e n t s   a   c o m p r e h e n s i v e   r e v i e w   a n d   a n a l y s i s   o n   i m a g e   s e a r c h   i n   t h e   p a s t   2 0   y e a r s ,   e m p h a s i z i n g   t h e   c h a l l e n g e s   a n d   o p p o r t u n i t i e s   b r o u g h t   b y   t h e   a s t o n i s h i n g   i n c r e a s e   o f   d a t a s e t   s c a l e s   f r o m   t h o u s a n d s   t o   b i l l i o n s   i n   t h e   s a m e   t i m e   p e r i o d ,   w h i c h   w a s   w i t n e s s e d   f i r s t - h a n d   b y   t h e   a u t h o r s   a s   a c t i v e   p a r t i c i p a n t s   i n   t h i s   r e s e a r c h   a r e a .   S t a r t i n g   w i t h   a   r e t r o s p e c t i v e   r e v i e w   o f   t h r e e   s t a g e s   o f   i m a g e   s e a r c h   i n   t h e   h i s t o r y ,   t h e   a r t i c l e   h i g h l i g h t s   m a j o r   b r e a k t h r o u g h s   a r o u n d   t h e   y e a r   2 0 0 0   i n   i m a g e   s e a r c h   f e a t u r e s ,   i n d e x i n g   m e t h o d s ,   a n d   c o m m e r c i a l   s y s t e m s ,   w h i c h   m a r k e d   t h e   t r a n s i t i o n   f r o m   s t a g e   t w o   t o   s t a g e   t h r e e .   S u b s e q u e n t   s e c t i o n s   d e s c r i b e   t h e   i m a g e   s e a r c h   r e s e a r c h   f r o m   f o u r   i m p o r t a n t   a s p e c t s :   s y s t e m   f r a m e w o r k ,   f e a t u r e   e x t r a c t i o n   a n d   i m a g e   r e p r e s e n t a t i o n ,   i n d e x i n g ,   a n d   b i g   d a t a ' s   p o t e n t i a l .   B a s e d   o n   t h e   r e v i e w ,   t h e   c o n c l u d i n g   s e c t i o n   d i s c u s s e s   o p e n   r e s e a r c h   c h a l l e n g e s   a n d   s u g g e s t s   f u t u r e   r e s e a r c h   d i r e c t i o n s   i n   e f f e c t i v e   v i s u a l   r e p r e s e n t a t i o n ,   i m a g e   k n o w l e d g e   b a s e   c o n s t r u c t i o n ,   i m p l i c i t   u s e r   f e e d b a c k   a n d   c r o w d s o u r c i n g ,   m o b i l e   i m a g e   s e a r c h ,   a n d   c r e a t i v e   m u l t i m e d i a   i n t e r f a c e s . 	 [ Z h a n g ,   L e i ;   R u i ,   Y o n g ]   M i c r o s o f t   R e s   A s i a ,   B e i j i n g   1 0 0 0 8 0 ,   P e o p l e s   R   C h i n a 	 Z h a n g ,   L   ( r e p r i n t   a u t h o r ) ,   M i c r o s o f t   R e s   A s i a ,   5   D a n l i n g   S t ,   B e i j i n g   1 0 0 0 8 0 ,   P e o p l e s   R   C h i n a . 	 l e i z h a n g @ m i c r o s o f t . c o m ;   y o n g r u i @ m i c r o s o f t . c o m 	 	 	 	 	 A h o n e n   T ,   2 0 0 4 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 0 2 1 ,   P 4 6 9 ;   A O A ,   2 0 0 6 ,   G O O D   V I S   L I F ;   B a y   H ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 9 5 1 ,   P 4 0 4 ;   B L A S E R   A . ,   1 9 7 9 ,   L E C T   N O T E S   C O M P U T E R ,   V 8 1 ;   C A O   Y . ,   2 0 1 0 ,   P   A C M   M U L T   C ,   P 1 6 0 5 ,   D O I   1 0 . 1 1 4 5 / 1 8 7 3 9 5 1 . 1 8 7 4 2 9 9 ;   C a o   Y ,   2 0 1 1 ,   P R O C   C V P R   I E E E ,   P 7 6 1 ;   C a o   Y ,   2 0 1 0 ,   P R O C   C V P R   I E E E ,   P 3 3 5 2 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 0 . 5 5 4 0 0 2 1 ;   C H A N G   N . ,   1 9 8 0 ,   L N C S ,   V 8 0 ,   P 2 8 8 ;   C H A N G   N S ,   1 9 8 0 ,   I E E E   T   S O F T W A R E   E N G ,   V 6 ,   P 5 1 9 ;   C H A N G   S K ,   1 9 8 1 ,   C O M P U T E R ,   V 1 4 ,   P 1 3 ;   C H A N G   S K ,   1 9 8 8 ,   I E E E   T   S O F T W A R E   E N G ,   V 1 4 ,   P 6 8 1 ,   D O I   1 0 . 1 1 0 9 / 3 2 . 6 1 4 7 ;   C h u m   O ,   2 0 0 9 ,   P R O C   C V P R   I E E E ,   P 1 7 ;   D a l a l   N ,   2 0 0 5 ,   P R O C   C V P R   I E E E ,   P 8 8 6 ;   D a t a r   M . ,   2 0 0 4 ,   P   2 0   A N N   S   C O M P   G E O M ,   P 2 5 3 ,   D O I   1 0 . 1 1 4 5 / 9 9 7 8 1 7 . 9 9 7 8 5 7 ;   D a t t a   R ,   2 0 0 8 ,   A C M   C O M P U T   S U R V ,   V 4 0 ,   D O I   1 0 . 1 1 4 5 / 1 3 4 8 2 4 6 . 1 3 4 8 2 4 8 ;   D e n g   J ,   2 0 0 9 ,   P R O C   C V P R   I E E E ,   P 2 4 8 ;   D O N G   W ,   2 0 0 8 ,   P   3 1   A N N   I N T   A C M   S I G ,   P 1 2 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 9 0 3 3 4 . 1 3 9 0 3 5 8 ] ;   F A L O U T S O S   C . ,   1 9 9 3 ,   P   S P I E   C   S T O R   R E T R   I ,   V 1 9 0 8 ,   P 1 7 3 ;   F A N   X . ,   2 0 0 5 ,   P   7   A C M   S I G M M   I N T   W O ,   P 1 4 3 ,   D O I   1 0 . 1 1 4 5 / 1 1 0 1 8 2 6 . 1 1 0 1 8 5 1 ;   F I S C H L E R   M A ,   1 9 8 1 ,   C O M M U N   A C M ,   V 2 4 ,   P 3 8 1 ,   D O I   1 0 . 1 1 4 5 / 3 5 8 6 6 9 . 3 5 8 6 9 2 ;   G i o n i s   A ,   1 9 9 9 ,   P R O C E E D I N G S   O F   T H E   T W E N T Y - F I F T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   V E R Y   L A R G E   D A T A   B A S E S ,   P 5 1 8 ;   G o r d o   A ,   2 0 1 1 ,   P R O C   C V P R   I E E E ,   P 7 2 9 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 1 . 5 9 9 5 5 0 5 ;   H a r r i s   C . ,   1 9 8 8 ,   P   A L V   V I S   C ,   V 1 5 ,   P 5 0 ;   H a y s   J . ,   2 0 0 8 ,   P   I E E E   C   C O M P   V I S   P A ,   P 1 ;   H a y s   J . ,   2 0 0 7 ,   A C M   T   G R A P H ,   V 2 6 ;   H e   J F ,   2 0 1 1 ,   P R O C   C V P R   I E E E ,   P 7 5 3 ;   H u a   G . ,   2 0 0 7 ,   P   I E E E   I N T   C   C O M P   V I ,   P 1 ;   J A I N   R . ,   1 9 9 3 ,   S I G M O D   R E C ,   V 2 2 ,   P 5 7 ;   J i n g   F . ,   2 0 0 6 ,   P   1 4   A N N   A C M   I N T   C   M ,   P 3 7 7 ,   D O I   1 0 . 1 1 4 5 / 1 1 8 0 6 3 9 . 1 1 8 0 7 2 0 ;   J I N G   Y . ,   2 0 0 9 ,   P   N I P S   W O R K S H   S T A T   M ;   J I N G   Y . ,   2 0 1 2 ,   P   I N T   W O R L D   W I D   W E B ,   P 5 3 9 ;   K a d i r   T ,   2 0 0 4 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 0 2 1 ,   P 2 2 8 ;   K e   Y ,   2 0 0 4 ,   P R O C   C V P R   I E E E ,   P 5 0 6 ;   K O E N D E R I N K   J J ,   1 9 8 4 ,   B I O L   C Y B E R N ,   V 5 0 ,   P 3 6 3 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 3 3 6 9 6 1 ;   L e   Q u o c   V . ,   2 0 1 2 ,   P   2 9   I N T   C   M A C H   L E A R ;   L e w   M S ,   2 0 0 6 ,   A C M   T   M U L T I M   C O M P U T ,   V 2 ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 1 2 6 0 0 4 . 1 1 2 6 0 0 5 ;   L i   B ,   2 0 1 1 ,   P R O C   C V P R   I E E E ,   P 1 7 3 7 ;   L i   J ,   2 0 0 8 ,   N E U R O C O M P U T I N G ,   V 7 1 ,   P 1 7 7 1 ,   D O I   1 0 . 1 0 1 6 / j . n e u c o m . 2 0 0 7 . 1 1 . 0 3 2 ;   L i   X . ,   2 0 0 6 ,   P   1 4   A N N   A C M   I N T   C   M ,   P 6 0 7 ,   D O I   1 0 . 1 1 4 5 / 1 1 8 0 6 3 9 . 1 1 8 0 7 6 4 ;   L i   Z W ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 5 7 7 ,   P 3 3 ;   L i n d e b e r g   T ,   1 9 9 8 ,   I N T   J   C O M P U T   V I S I O N ,   V 3 0 ,   P 7 9 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 8 0 4 5 1 0 8 9 3 5 ;   L i u   C ,   2 0 1 1 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 3 ,   P 9 7 8 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 1 0 . 1 4 7 ;   L i u   T Y ,   2 0 0 9 ,   F D N   T R E N D S   I N F O R M   R E ,   V 3 ,   P 2 2 5 ,   D O I   D O I   1 0 . 1 5 6 1 / 1 5 0 0 0 0 0 0 1 6 ;   L o w e   D . ,   1 9 9 9 ,   P   7   I E E E   I N T   C   C O M P ,   V 2 ,   P 1 1 5 0 ,   D O I   D O I   1 0 . 1 1 0 9 / I C C V . 1 9 9 9 . 7 9 0 4 1 0 ;   M a   W Y ,   1 9 9 7 ,   I N T E R N A T I O N A L   C O N F E R E N C E   O N   I M A G E   P R O C E S S I N G   -   P R O C E E D I N G S ,   V O L   I ,   P 5 6 8 ;   M a t a s   J ,   2 0 0 4 ,   I M A G E   V I S I O N   C O M P U T ,   V 2 2 ,   P 7 6 1 ,   D O I   1 0 . 1 0 1 6 / j . i m a v i s . 2 0 0 4 . 0 2 . 0 0 6 ;   M i k o l a j c z y k   K ,   2 0 0 5 ,   I N T   J   C O M P U T   V I S I O N ,   V 6 5 ,   P 4 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 5 - 3 8 4 8 - x ;   M i k o l a j c z y k   K ,   2 0 0 4 ,   I N T   J   C O M P U T   V I S I O N ,   V 6 0 ,   P 6 3 ,   D O I   1 0 . 1 0 2 3 / B : V I S I . 0 0 0 0 0 2 7 7 9 0 . 0 2 2 8 8 . f 2 ;   M i k o l a j c z y k   K ,   2 0 0 5 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 7 ,   P 1 6 1 5 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 5 . 1 8 8 ;   M I L L E R   G A ,   1 9 9 5 ,   C O M M U N   A C M ,   V 3 8 ,   P 3 9 ,   D O I   1 0 . 1 1 4 5 / 2 1 9 7 1 7 . 2 1 9 7 4 8 ;   M o r a v e c   H . ,   1 9 8 1 ,   P   I N T   J O I N T   C   A R T   I N ,   P 7 8 5 ;   N i s t e r   D ,   2 0 0 6 ,   P   I E E E   C O M P   S O C   C   C O ,   V 2 ,   P 2 1 6 1 ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 0 6 . 2 6 4 ;   O l s t o n   C h r i s t o p h e r ,   2 0 1 0 ,   F o u n d a t i o n s   a n d   T r e n d s   i n   I n f o r m a t i o n   R e t r i e v a l ,   V 4 ,   D O I   1 0 . 1 5 6 1 / 1 5 0 0 0 0 0 0 1 7 ;   O l i v a   A ,   2 0 0 1 ,   I N T   J   C O M P U T   V I S I O N ,   V 4 2 ,   P 1 4 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 1 1 3 9 6 3 1 7 2 4 ;   P E N T L A N D   A . ,   1 9 9 4 ,   P   S P I E   C   S T O R   R E T R   I ,   V 2 1 8 5 ;   P h i l b i n   J . ,   2 0 0 7 ,   P   I E E E   C   C O M P   V I S   P A ,   P 1 ;   Q u a c k   T . ,   2 0 0 4 ,   P   1 2   A N N   A C M   I N T   C   M ,   P 5 0 8 ,   D O I   1 0 . 1 1 4 5 / 1 0 2 7 5 2 7 . 1 0 2 7 6 5 0 ;   R o b i n s o n   J .   J . ,   1 9 8 1 ,   P a p e r ,   3 2 n d   A n n u a l   M e e t i n g   o f   t h e   E u r o p e a n   A s s o c i a t i o n   f o r   A n i m a l   P r o d u c t i o n ;   R o s t e n   E ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 9 5 1 ,   P 4 3 0 ;   R o s t e n   E ,   2 0 1 0 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 2 ,   P 1 0 5 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 8 . 2 7 5 ;   R u i   Y ,   1 9 9 9 ,   J   V I S   C O M M U N   I M A G E   R ,   V 1 0 ,   P 3 9 ,   D O I   1 0 . 1 0 0 6 / j v c i . 1 9 9 9 . 0 4 1 3 ;   R u i   Y ,   1 9 9 8 ,   I E E E   T   C I R C   S Y S T   V I D ,   V 8 ,   P 6 4 4 ;   S H I   S . ,   2 0 1 0 ,   P   2 3   I N T   C   C O M P   L I N G ,   P 9 9 3 ;   S H R I V A S T A V A   A . ,   2 0 1 1 ,   A C M   T   G R A P H I C ,   V 3 0 ,   P 6 ;   S i v i c   J . ,   2 0 0 3 ,   P   I C C V ,   V 2 ,   P 1 4 7 0 ,   D O I   D O I   1 0 . 1 1 0 9 / I C C V . 2 0 0 3 . 1 2 3 8 6 6 3 ] ;   S m e u l d e r s   A W M ,   2 0 0 0 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 2 ,   P 1 3 4 9 ,   D O I   1 0 . 1 1 0 9 / 3 4 . 8 9 5 9 7 2 ;   S M I T H   J . ,   1 9 9 6 ,   I E E E   M U L T I M E D I A   M A G ;   S m i t h   J R ,   1 9 9 7 ,   P   4   A C M   I N T   C   M U L T   B ,   P 8 7 ;   S U N   Z . ,   2 0 1 2 ,   P   2 0   A C M   I N T   C   M U L T ;   T o r r a l b a   A . ,   2 0 0 8 ,   P   I E E E   C   C O M P   V I S   P A ,   P 1 ;   T o r r a l b a   A . ,   2 0 0 3 ,   P   9   I E E E   I N T   C   C O M P ,   P 2 7 3 ;   T o r r a l b a   A ,   2 0 0 8 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 0 ,   P 1 9 5 8 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 8 . 1 2 8 ;   T r a p p e n b e r g   T ,   2 0 1 0 ,   F U N D A M E N T A L S   C O M P U T A ;   T s a i   D ,   2 0 1 1 ,   2 0 1 1   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C O M P U T E R   V I S I O N   ( I C C V ) ,   P 6 1 1 ,   D O I   1 0 . 1 1 0 9 / I C C V . 2 0 1 1 . 6 1 2 6 2 9 5 ;   T u y t e l a a r s   T . ,   2 0 0 8 ,   F D N   T R E N D S   C O M P U T E R ,   V 3 ,   P 1 7 7 ,   D O I   [ D O I   1 0 . 1 5 6 1 / 0 6 0 0 0 0 0 0 1 7 ,   D O I   1 0 . 1 5 6 1 / 0 6 0 0 0 0 0 0 1 7 > ] ;   T u y t e l a a r s   T ,   2 0 0 4 ,   I N T   J   C O M P U T   V I S I O N ,   V 5 9 ,   P 6 1 ,   D O I   1 0 . 1 0 2 3 / B : V I S I . 0 0 0 0 0 2 0 6 7 1 . 2 8 0 1 6 . e 8 ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   v o n   A h n   L ,   2 0 0 6 ,   P   S I G C H I   C   H U M   F A C T ,   P 5 5 ,   D O I   1 0 . 1 1 4 5 / 1 1 2 4 7 7 2 . 1 1 2 4 7 8 2 ;   W a n g   B . ,   2 0 0 6 ,   P   I E E E   I N T   C   M U L T   E X ,   P 3 5 3 ;   W a n g   J . ,   2 0 1 1 ,   A C M   T   I N T E L   S Y S T   T E C ,   V 3 ;   W A N G   J G ,   2 0 1 0 ,   M A G N   F R I N G   F I E L D S ,   P 1 ;   W a n g   J Z ,   2 0 0 1 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 3 ,   P 9 4 7 ,   D O I   1 0 . 1 1 0 9 / 3 4 . 9 5 5 1 0 9 ;   W A N G   X . ,   2 0 0 6 ,   P   I E E E   C   C O M P   V I S   P A ,   V 2 ,   P 1 4 8 3 ;   W a n g   X . ,   2 0 1 2 ,   P   2 0   A C M   I N T   C   M U L T ;   W a n g   X J ,   2 0 1 0 ,   P R O C   C V P R   I E E E ,   P 2 9 8 7 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 0 . 5 5 4 0 0 4 6 ;   W e b e r   R . ,   1 9 9 8 ,   P r o c e e d i n g s   o f   t h e   T w e n t y - F o u r t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   V e r y - L a r g e   D a t a b a s e s ;   W e i s s   Y . ,   2 0 0 8 ,   P   C   N E U R   I N F   P R O C   S Y ;   W E N   J . - R . ,   2 0 0 9 ,   E N C Y   D A T A   W A R E H O U S I N ,   P 7 5 8 ;   W i t k i n   A . P . ,   1 9 8 3 ,   P   8   I N T   J O I N T   C   A R T ,   V 2 ,   P 1 0 1 9 ;   W u   Z ,   2 0 0 9 ,   P R O C   C V P R   I E E E ,   P 2 5 ;   Z h a   Z h e n g - J u n ,   2 0 0 9 ,   P   1 7   A C M   I N T   C   M U L T ,   P 1 5 ,   D O I   1 0 . 1 1 4 5 / 1 6 3 1 2 7 2 . 1 6 3 1 2 7 8 ;   Z h a n g   S h u h o n g ,   2 0 0 9 ,   P r o c e e d i n g s   o f   t h e   2 0 0 9   S i x t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   F u z z y   S y s t e m s   a n d   K n o w l e d g e   D i s c o v e r y   ( F S K D   2 0 0 9 ) ,   D O I   1 0 . 1 1 0 9 / F S K D . 2 0 0 9 . 4 5 6 ;   Z h a n g   S G ,   2 0 1 0 ,   P R O C E E D I N G S   O F   T H E   A S M E   J O I N T   R A I L   C O N F E R E N C E ,   V O L   2 ,   P 5 0 1 ,   D O I   1 0 . 1 1 4 5 / 1 8 7 3 9 5 1 . 1 8 7 4 0 1 8 ;   Z h a n g   X ,   2 0 1 2 ,   I E E E   T   M U L T I M E D I A ,   V 1 4 ,   P 9 9 5 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 1 2 . 2 1 8 6 1 2 1 ;   Z h a n g   X ,   2 0 0 9 ,   I E E E   I   C O N F   C O M P   V I S ,   P 1 1 0 3 ;   Z h a n g   X ,   2 0 1 2 ,   P R O C   C V P R   I E E E ,   P 2 0 5 8 ;   Z h a n g   Y M ,   2 0 1 1 ,   P R O C   C V P R   I E E E ,   P 8 0 9 ;   Z h e n g   Y T ,   2 0 0 9 ,   P R O C   C V P R   I E E E ,   P 1 0 8 5 ;   Z h o u   X S ,   2 0 0 3 ,   M U L T I M E D I A   S Y S T ,   V 8 ,   P 5 3 6 ,   D O I   1 0 . 1 0 0 7 / s 0 0 5 3 0 - 0 0 2 - 0 0 7 0 - 3 	 9 9 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 1 5 5 1 - 6 8 5 7 	 1 5 5 1 - 6 8 6 5 	 	 A C M   T   M U L T I M   C O M P U T 	 A C M   T r a n s .   M u l t i m e d .   C o m p u t .   C o m m u n .   A p p l . 	 O C T 	 2 0 1 3 	 9 	 1 	 	 S 	 	 	 	 	 3 6 	 1 0 . 1 1 4 5 / 2 4 9 0 8 2 3 	 	 2 0 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 2 4 1 S J 	 W O S : 0 0 0 3 2 6 1 8 7 7 0 0 0 0 6 	 	 
 J 	 S r e i h ,   A G ;   A l d a g h l a w i ,   F 	 	 	 	 S r e i h ,   A n t o i n e   G . ;   A l d a g h l a w i ,   F a d i 	 	 	 C r o w d s o u r c i n g   U s i n g   T h e   A u d i e n c e   R e s p o n s e   S y s t e m   T o   S o l v e   M e d i c a l   P r o b l e m s :   A   P i l o t   S t u d y 	 A R T H R I T I S   A N D   R H E U M A T I S M 	 	 	 E n g l i s h 	 M e e t i n g   A b s t r a c t 	 7 7 t h   A n n u a l   M e e t i n g   o f   t h e   A m e r i c a n - C o l l e g e - o f - R h e u m a t o l o g y   /   4 8 t h   A n n u a l   M e e t i n g   o f   t h e   A s s o c i a t i o n - o f - R h e u m a t o l o g y - H e a l t h - P r o f e s s i o n a l s 	 O C T   2 5 - 3 0 ,   2 0 1 3 	 S a n   D i e g o ,   C A 	 A m e r   C o l l   R h e u m a t o l ,   A s s o c   R h e u m a t o l   H l t h   P r o f e s s 	 	 	 	 	 [ S r e i h ,   A n t o i n e   G . ]   U n i v   P e n n ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A ;   [ A l d a g h l a w i ,   F a d i ]   W e i s s   M e m   H o s p ,   C h i c a g o ,   I L   U S A 	 	 	 	 	 	 	 	 0 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 0 0 4 - 3 5 9 1 	 1 5 2 9 - 0 1 3 1 	 	 A R T H R I T I S   R H E U M - U S 	 A r t h r i t i s   R h e u m . 	 O C T 	 2 0 1 3 	 6 5 	 	 	 1 0 	 S I 	 1 9 3 3 	 S 8 2 3 	 S 8 2 3 	 	 	 	 1 	 R h e u m a t o l o g y 	 R h e u m a t o l o g y 	 2 3 0 R F 	 W O S : 0 0 0 3 2 5 3 5 9 2 0 4 3 9 1 	 	 
 J 	 M o n a h a n ,   T ;   M o k o s ,   J T 	 	 	 	 M o n a h a n ,   T o r i n ;   M o k o s ,   J e n n i f e r   T . 	 	 	 C r o w d s o u r c i n g   u r b a n   s u r v e i l l a n c e :   T h e   d e v e l o p m e n t   o f   h o m e l a n d   s e c u r i t y   m a r k e t s   f o r   e n v i r o n m e n t a l   s e n s o r   n e t w o r k s 	 G E O F O R U M 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S u r v e i l l a n c e ;   C r o w d s o u r c i n g ;   M o b i l e   p h o n e s ;   P o l l u t i o n ;   O u t s o u r c i n g 	 P O L I T I C S ;   P R I V A C Y ;   S Y S T E M S ;   S P A C E ;   W O R K ;   S E L F 	 M o b i l e   s y s t e m s   f o r   d e t e c t i n g   e n v i r o n m e n t a l   t h r e a t s   m a y   r a d i c a l l y   r e s t r u c t u r e   s p a t i a l   i m a g i n a r i e s   a s   p e o p l e   l e a r n   t o   s e e   a n d   e n g a g e   w i t h   h e r e t o f o r e   l a r g e l y   h i d d e n   d i m e n s i o n s   o f   u r b a n   s p a c e s .   W h i l e   t h e   d e s i g n   o f   s u c h   t e c h n o l o g i c a l   s y s t e m s   i s   c o n t i n g e n t   a n d   c u r r e n t l y   o p e n   t o   v a r i e d   o u t c o m e s ,   p o w e r f u l   s e c u r i t y   a n d   i n d u s t r y   p l a y e r s   a r e   a s s e r t i n g   t h e i r   i n f l u e n c e   t o   s e t   o v e r r i d i n g   p r o t o c o l s   t h a t   w i l l   e n s u r e   w i d e s p r e a d   a m b i e n t   d a t a   c o l l e c t i o n ,   e s p e c i a l l y   f o r   s e c u r i t y   a n d   c o m m e r c i a l   a p p l i c a t i o n s .   T h i s   p a p e r   c r i t i c a l l y   e x p l o r e s   t h e   e m e r g e n t   p o w e r   g e o g r a p h i e s   o f   s u r v e i l l a n c e   r e v e a l e d   b y   o n e   s u c h   s y s t e m :   t h e   D e p a r t m e n t   o f   H o m e l a n d   S e c u r i t y ' s   C e l l - A l l   p r o j e c t .   T h i s   p r o j e c t ,   w h i c h   h a s   b e e n   u n d e r   d e v e l o p m e n t   a t   t h e   U . S .   D e p a r t m e n t   o f   H o m e l a n d   S e c u r i t y   ( D H S )   s i n c e   2 0 0 7 ,   e q u i p s   m o b i l e   p h o n e s   w i t h   c h e m i c a l - a g e n t   d e t e c t o r s   a n d   l i n k s   t h e m   t o   s e c u r i t y   n e t w o r k s   s o   t h a t   t h r e a t s   t o   u r b a n   p o p u l a t i o n s   c a n   b e   a u t o m a t i c a l l y   d e t e c t e d   a n d   r a p i d l y   m i t i g a t e d .   I n   o r d e r   t o   a s s e s s   t h e   p o l i t i c s   o f   c r o w d s o u r c e d   s e n s i n g   s y s t e m s ,   f i r s t   w e   m a p   t h e   c o r e   c h a r a c t e r i s t i c s   o f   t h e   C e l l - A l l   d e v e l o p m e n t   m o d e l :   c r e a t i n g   a   p a r t i c i p a t o r y   s y s t e m ,   b u i l d i n g   p u b l i c - p r i v a t e   p a r t n e r s h i p s ,   a n d   o u t s o u r c i n g   r e s p o n s i b i l i t y   f o r   p r i v a c y   p r o t e c t i o n s .   S e c o n d ,   w e   d e s c r i b e   s o m e   a l t e r n a t i v e   d e s i g n s   f o r   m o b i l e ,   p a r t i c i p a t o r y   e n v i r o n m e n t a l   s e n s i n g   a n d   r e f l e c t   o n   t h e i r   p o t e n t i a l s   f o r   c o r r e c t i n g   p o w e r   i n e q u a l i t i e s   o r   a c h i e v i n g   e n v i r o n m e n t a l   j u s t i c e .   F i n a l l y ,   w e   c o n c l u d e   b y   d i s c u s s i n g   t h e   i m p l i c a t i o n s   o f   t h e s e   v a r i o u s   s y s t e m s   a n d   t h e   c o n d i t i o n s   t h a t   c o u l d   a l t e r   t h e i r   o u t c o m e s .   ( C )   2 0 1 3   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ M o n a h a n ,   T o r i n ]   U n i v   N   C a r o l i n a ,   D e p t   C o m m u n   S t u d i e s ,   C h a p e l   H i l l ,   N C   2 7 5 9 9   U S A ;   [ M o k o s ,   J e n n i f e r   T . ]   V a n d e r b i l t   U n i v ,   D e p t   H u m a n   &   O r g   D e v ,   N a s h v i l l e ,   T N   3 7 2 0 3   U S A 	 M o n a h a n ,   T   ( r e p r i n t   a u t h o r ) ,   U n i v   N   C a r o l i n a ,   D e p t   C o m m u n   S t u d i e s ,   C B   3 2 8 5 , 1 1 5   B i n g h a m   H a l l ,   C h a p e l   H i l l ,   N C   2 7 5 9 9   U S A . 	 t o r i n . m o n a h a n @ u n c . e d u ;   j e n n i f e r . m o k o s @ v a n d e r b i l t . e d u 	 	 	 	 	 A d e y   P . ,   2 0 0 6 ,   S U R V E I L L A N C E   S E C U R I T ,   P 1 9 5 ;   A k r i c h   M ,   1 9 9 2 ,   S H A P I N G   T E C H N O L O G Y   B ,   P 2 0 5 ;   A l t h e i d e   D .   L . ,   2 0 0 6 ,   T E R R O R I S M   P O L I T I C S   F ;   A n d r e j e v i c   M ,   2 0 0 2 ,   C R I T   S T U D   M E D I A   C O M M ,   V 1 9 ,   P 2 3 0 ,   D O I   1 0 . 1 0 8 0 / 0 7 3 9 3 1 8 0 2 1 6 5 6 1 ;   A n d r e j e v i c   M ,   2 0 1 1 ,   C U L T   S T U D ,   V 2 5 ,   P 6 0 4 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 0 2 3 8 6 . 2 0 1 1 . 6 0 0 5 5 1 ;   A n d r e j e v i c   M a r k ,   2 0 0 7 ,   I S P Y   S U R V E I L L A N C E   P O ;   A n g e l l   M a r c i a ,   2 0 0 4 ,   T R U T H   D R U G   C O   T H E Y   D ;   [ A n o n y m o u s ] ,   2 0 0 9 ,   N Y   T I M E S ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   P B S   N E W S H O U R         1 1 1 0 ;   B A R N A R D W I L L S   D ,   2 0 1 2 ,   S U R V E I L L A N C E   I D E N T I T ;   B a r r i e   A ,   2 0 1 1 ,   F O X   N E W S ;   B l a n c h e t t e   J F ,   2 0 1 2 ,   C O M M U N   A C M ,   V 5 5 ,   P 3 2 ,   D O I   1 0 . 1 1 4 5 / 2 3 4 7 7 3 6 . 2 3 4 7 7 4 8 ;   B o d d y   T . ,   2 0 0 7 ,   I N D E F E N S I B L E   S P A C E ,   P 2 7 7 ;   B o h m e   R ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 4 0 3 ;   B u l k e l e y   W .   M . ,   2 0 0 9 ,   W A L L   S T R E E T   J ;   B u s t a m a n t e   F .   E . ,   2 0 1 2 ,   P   1 3   W O R K S H   M O B   C O M P ;   C e n t e r   f o r   E m b e d d e d   N e t w o r k e d   S e n s i n g ,   2 0 0 8 ,   P A R T   S E N S ;   C h a n g   C . ,   2 0 1 2 ,   M O B I L E   A I R   Q U A L I T Y ;   C h a r m a z   K . ,   2 0 0 6 ,   C O N S T R U C T I N G   G R O U N D E ;   C l a r k e   R o g e r ,   2 0 0 9 ,   C o m p u t e r   L a w   a n d   S e c u r i t y   R e p o r t ,   V 2 5 ,   D O I   1 0 . 1 0 1 6 / j . c l s r . 2 0 0 9 . 0 2 . 0 0 2 ;   C o a f f e e   J ,   2 0 0 8 ,   N E W   S E C U R   C H A L L ,   P 1 ,   D O I   1 0 . 1 0 5 7 / 9 7 8 0 2 3 0 5 8 3 3 3 7 ;   C o a f f e e   J ,   2 0 0 4 ,   I N T   J   U R B A N   R E G I O N A L ,   V 2 8 ,   P 2 0 1 ,   D O I   1 0 . 1 1 1 1 / j . 0 3 0 9 - 1 3 1 7 . 2 0 0 4 . 0 0 5 1 1 . x ;   C u f f   D a n a ,   2 0 0 8 ,   C o m m u n i c a t i o n s   o f   t h e   A C M ,   V 5 1 ,   D O I   1 0 . 1 1 4 5 / 1 3 2 5 5 5 5 . 1 3 2 5 5 6 2 ;   C u r r y   M R ,   2 0 0 4 ,   I N F O R M   S O C ,   V 2 0 ,   P 3 5 7 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 7 2 2 4 0 4 9 0 5 0 8 0 1 8 ;   D e n n i s   S . ,   2 0 1 1 ,   C E L L   A L L   P R O G R A M   O V E ;   E l l e r b r o k   A ,   2 0 1 1 ,   S O C I O L   Q U A R T ,   V 5 2 ,   P 5 2 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 3 3 - 8 5 2 5 . 2 0 1 1 . 0 1 2 1 8 . x ;   F i n n   R L ,   2 0 1 2 ,   C O M P U T   L A W   S E C U R   R E V ,   V 2 8 ,   P 1 8 4 ,   D O I   1 0 . 1 0 1 6 / j . c l s r . 2 0 1 2 . 0 1 . 0 0 5 ;   F i s h e r   J A ,   2 0 0 9 ,   M E D   R E S   H I R E   P O L I T I C ;   F u s s e y   P . ,   2 0 1 1 ,   S E C U R I N G   S U S T A I N I N G ;   G I L L I O M   J ,   2 0 1 3 ,   S U P E R V I S I O N   I N T R O   S U ;   G r a h a m   S . ,   2 0 1 2 ,   S U R V E I L L A N C E   S O C ,   V 9 ,   P 3 2 1 ;   G r a h a m   S . ,   2 0 1 0 ,   C I T I E S   S I E G E   N E W   M I L ;   G r a h a m   S ,   2 0 0 3 ,   C R I T   S O C   P O L I C Y ,   V 2 3 ,   P 2 2 7 ,   D O I   1 0 . 1 1 7 7 / 0 2 6 1 0 1 8 3 0 3 0 2 3 0 0 2 0 0 6 ;   H a g g a r t y   K .   D . ,   2 0 0 6 ,   N E W   P O L I T I C S   S U R V E I L ,   P 3 ;   H o f f m a n   D . ,   2 0 1 1 ,   C O M M U N I C A T I O N       0 9 2 8 ;   K i n g   M . ,   2 0 0 7 ,   M o r b i d i t y   a n d   M o r t a l i t y   W e e k l y   R e p o r t ,   V 5 6 ,   P 1 3 0 9 ;   K i t c h i n   R ,   2 0 1 1 ,   S O F T W   S T U D ,   P 1 ,   D O I   1 0 . 7 5 5 1 / m i t p r e s s / 9 7 8 0 2 6 2 0 4 2 4 8 2 . 0 0 1 . 0 0 0 1 ;   K l a u s e r   F R ,   2 0 1 0 ,   E N V I R O N   P L A N N   D ,   V 2 8 ,   P 3 2 6 ,   D O I   1 0 . 1 0 6 8 / d 1 4 6 0 8 ;   K l a u s e r   F R ,   2 0 0 8 ,   P O L I T I C S   A I R P O R T ,   P 1 0 5 ;   K o s k e l a   H ,   2 0 1 0 ,   S P A C E   P O L I T Y ,   V 1 4 ,   P 1 0 3 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 3 5 6 2 5 7 6 . 2 0 1 0 . 5 0 5 7 8 7 ;   L i   J . ,   2 0 1 1 ,   N A N O S E N S O R   C E L L P H O N E ;   L i a n o s   M ,   2 0 0 0 ,   B R I T   J   C R I M I N O L ,   V 4 0 ,   P 2 6 1 ;   L y o n   D ,   2 0 0 1 ,   S U R V E I L L A N C E   S O C   M O N ;   L y o n   D a v i d ,   2 0 0 3 ,   S U R V E I L L A N C E   S O C I A L ;   M a g n e t   S .   A . ,   2 0 1 1 ,   B I O M E T R I C S   F A I L   G E N D ;   C r a n g   M i k e ,   2 0 0 7 ,   I n f o r m a t i o n   C o m m u n i c a t i o n   &   S o c i e t y ,   V 1 0 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 0 7 0 1 7 5 0 9 9 1 ;   M o n a h a n   T . ,   2 0 1 0 ,   I N T   R E V   I N F O R M   E T H I C ,   V 1 2 ,   P 2 1 ;   M o n a h a n   T ,   2 0 1 0 ,   S U R V E I L L A N C E   D E M O C R A ,   P 9 1 ;   M o n a h a n   T . ,   2 0 1 0 ,   S U R V E I L L A N C E   T I M E   I N ;   M o n a h a n   T ,   2 0 0 9 ,   S E C U R   D I A L O G U E ,   V 4 0 ,   P 6 1 7 ,   D O I   1 0 . 1 1 7 7 / 0 9 6 7 0 1 0 6 0 9 3 5 0 3 1 4 ;   M o n t a g n i n o   J . ,   2 0 1 2 ,   N C 4   S I T U A T I O N A L   R E A D ;   M u r a k a m i   W o o d   D . ,   2 0 0 9 ,   W I L L   B I G   R E D   B A L L O O N ;   M u r a k a m i   W o o d   D . ,   2 0 0 9 ,   C H I C A G O   F U T U R E   U S   C C ;   M u r a k a m i   W o o d   D . ,   2 0 0 7 ,   W O R K S H   S U R V   I N ;   N e e d s   C . ,   2 0 1 1 ,   C O M M U N I C A T I O N       0 9 2 8 ;   N e i g h b o r h o o d   L i n k ,   2 0 1 0 ,   L A N D L   C A N   U S   C R E D   S C ;   O ' H a r r o w   R ,   2 0 0 5 ,   N O   P L A C E   H I D E ;   O t t i n g e r   G ,   2 0 1 0 ,   S U R V E I L L A N C E   S O C ,   V 8 ,   P 2 2 1 ;   S h i l t o n   K ,   2 0 1 2 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 3 ,   P 1 9 0 5 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 2 6 5 5 ;   S h i l t o n   K ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 4 8 ,   D O I   1 0 . 1 1 4 5 / 1 5 9 2 7 6 1 . 1 5 9 2 7 7 8 ;   S y n k e r a   T e c h n o l o g i e s ,   2 0 1 1 ,   C H E M   S E N S   M O B   D E V ;   T h e   I m p a c t   P r o j e c t ,   2 0 1 2 ,   T R A D   H L T H   E N V   I M P   P R ;   T h r i f t   N ,   2 0 0 2 ,   T   I   B R I T   G E O G R ,   V 2 7 ,   P 3 0 9 ,   D O I   1 0 . 1 1 1 1 / 1 4 7 5 - 5 6 6 1 . 0 0 0 5 7 ;   U . S .   D e p a r t m e n t   o f   H o m e l a n d   S e c u r i t y ,   2 0 1 1 ,   C E L L   A L L   L I V   D E M   E N V ;   U . S .   D e p a r t m e n t   o f   H o m e l a n d   S e c u r i t y ,   2 0 1 1 ,   P R I V   I M P   A S S   C E L L   A L ;   U . S .   D e p a r t m e n t   o f   H o m e l a n d   S e c u r i t y ,   2 0 1 1 ,   M   D A T   P R I V   I N T   A D V   C ;   U . S .   D e p a r t m e n t   o f   H o m e l a n d   S e c u r i t y ,   2 0 1 0 ,   C E L L   A L L   S U P   S M A R T P H ;   U . S .   D e p a r t m e n t   o f   H o m e l a n d   S e c u r i t y ,   2 0 0 7 ,   C E L L   A L L   U B   B I O L   C H E ;   V e r r i c o   J .   S . ,   2 0 1 1 ,   C O M M U N I C A T I O N       0 9 2 8 ;   W a l l   T ,   2 0 1 1 ,   T H E O R   C R I M I N O L ,   V 1 5 ,   P 2 3 9 ,   D O I   1 0 . 1 1 7 7 / 1 3 6 2 4 8 0 6 1 0 3 9 6 6 5 0 ;   W e b e r   J . ,   2 0 1 1 ,   C   C O M P   T U R N   P R E S   F U T ,   P 1 6 8 ;   W h i t s o n   J R ,   2 0 0 8 ,   E C O N   S O C ,   V 3 7 ,   P 5 7 2 ,   D O I   1 0 . 1 0 8 0 / 0 3 0 8 5 1 4 0 8 0 2 3 5 7 9 5 0 ;   W i n n e r   L a n g d o n ,   1 9 8 6 ,   W H A L E   R E A C T O R   S E A R C H ;   W o o d   D M ,   2 0 1 1 ,   I N F   T E C H N O L   L A W   S E R ,   V 2 0 ,   P 1 5 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 9 0 - 6 7 0 4 - 7 3 1 - 9 _ 9 ;   W o o d h o u s e   E ,   2 0 0 2 ,   S O C   S T U D   S C I ,   V 3 2 ,   P 2 9 7 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 6 3 1 2 7 0 2 0 3 2 0 0 2 0 0 4 	 7 5 	 1 	 1 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 0 1 6 - 7 1 8 5 	 1 8 7 2 - 9 3 9 8 	 	 G E O F O R U M 	 G e o f o r u m 	 O C T 	 2 0 1 3 	 4 9 	 	 	 	 	 	 2 7 9 	 2 8 8 	 	 1 0 . 1 0 1 6 / j . g e o f o r u m . 2 0 1 3 . 0 2 . 0 0 1 	 	 1 0 	 G e o g r a p h y 	 G e o g r a p h y 	 2 3 9 G C 	 W O S : 0 0 0 3 2 6 0 0 9 6 0 0 0 3 4 	 	 
 J 	 B a l l a t o r e ,   A ;   W i l s o n ,   D C ;   B e r t o l o t t o ,   M 	 	 	 	 B a l l a t o r e ,   A n d r e a ;   W i l s o n ,   D a v i d   C . ;   B e r t o l o t t o ,   M i c h e l a 	 	 	 C o m p u t i n g   t h e   s e m a n t i c   s i m i l a r i t y   o f   g e o g r a p h i c   t e r m s   u s i n g   v o l u n t e e r e d   l e x i c a l   d e f i n i t i o n s 	 I N T E R N A T I O N A L   J O U R N A L   O F   G E O G R A P H I C A L   I N F O R M A T I O N   S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 l e x i c a l   d e f i n i t i o n s ;   s e m a n t i c   s i m i l a r i t y ;   v o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n ;   c r o w d s o u r c i n g ;   g e o - s e m a n t i c s ;   W o r d N e t ;   O p e n S t r e e t M a p 	 C O N T E X T 	 V o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n   ( V G I )   i s   g e n e r a t e d   b y   h e t e r o g e n o u s   i n f o r m a t i o n   c o m m u n i t i e s '   t h a t   c o - o p e r a t e   t o   p r o d u c e   r e u s a b l e   u n i t s   o f   g e o g r a p h i c   k n o w l e d g e .   A   c o n s e n s u a l   l e x i c o n   i s   a   k e y   f a c t o r   t o   e n a b l e   t h i s   o p e n   p r o d u c t i o n   m o d e l .   L e x i c a l   d e f i n i t i o n s   h e l p   d e m a r c a t e   t h e   b o u n d a r i e s   o f   t e r m s ,   f o r m i n g   a   t h i n   s e m a n t i c   g r o u n d   o n   w h i c h   k n o w l e d g e   c a n   t r a v e l .   I n   V G I ,   l e x i c a l   d e f i n i t i o n s   o f t e n   a p p e a r   t o   b e   i n c o n s i s t e n t ,   c i r c u l a r ,   n o i s y   a n d   h i g h l y   i d i o s y n c r a t i c .   C o m p u t i n g   t h e   s e m a n t i c   s i m i l a r i t y   o f   t h e s e   v o l u n t e e r e d   l e x i c a l   d e f i n i t i o n s '   h a s   a   w i d e   r a n g e   o f   a p p l i c a t i o n s   i n   G I S c i e n c e ,   i n c l u d i n g   i n f o r m a t i o n   r e t r i e v a l ,   d a t a   m i n i n g   a n d   i n f o r m a t i o n   i n t e g r a t i o n .   T h i s   a r t i c l e   d e s c r i b e s   a   k n o w l e d g e - b a s e d   a p p r o a c h   t o   q u a n t i f y   t h e   s e m a n t i c   s i m i l a r i t y   o f   l e x i c a l   d e f i n i t i o n s .   G r o u n d e d   i n   t h e   r e c u r s i v e   i n t u i t i o n   t h a t   s i m i l a r   t e r m s   a r e   d e s c r i b e d   u s i n g   s i m i l a r   t e r m s ,   t h e   a p p r o a c h   r e l i e s   o n   p a r a p h r a s e - d e t e c t i o n   t e c h n i q u e s   a n d   t h e   l e x i c a l   d a t a b a s e   W o r d N e t .   T h e   c o g n i t i v e   p l a u s i b i l i t y   o f   t h e   a p p r o a c h   i s   e v a l u a t e d   i n   t h e   c o n t e x t   o f   t h e   O p e n S t r e e t M a p   ( O S M )   S e m a n t i c   N e t w o r k ,   o b t a i n i n g   h i g h   c o r r e l a t i o n   w i t h   h u m a n   j u d g e m e n t s .   G u i d e l i n e s   a r e   p r o v i d e d   f o r   t h e   p r a c t i c a l   u s a g e   o f   t h e   a p p r o a c h . 	 [ B a l l a t o r e ,   A n d r e a ;   B e r t o l o t t o ,   M i c h e l a ]   U n i v   C o l l   D u b l i n ,   S c h   C o m p   S c i   &   I n f o r m a t ,   D u b l i n   4 ,   I r e l a n d ;   [ W i l s o n ,   D a v i d   C . ]   U n i v   N   C a r o l i n a ,   D e p t   S o f t w a r e   &   I n f o r m a t   S y s t ,   C h a r l o t t e ,   N C   2 8 2 2 3   U S A 	 B a l l a t o r e ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   C o l l   D u b l i n ,   S c h   C o m p   S c i   &   I n f o r m a t ,   D u b l i n   4 ,   I r e l a n d . 	 a n d r e a . b a l l a t o r e @ u c d . i e 	 	 	 	 	 A g i r r e   E . ,   2 0 0 9 ,   N A A C L   0 9   P   H U M   L A N G ,   P 1 9 ;   A s h i s h   N ,   2 0 1 1 ,   S E M A T   W E B   B E Y O N D - C O M ,   V 1 2 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 4 4 1 9 - 9 4 4 6 - 2 ;   B a l l a t o r e   A ,   2 0 1 2 ,   L N C S ,   V 7 5 1 8 ,   P 2 3 1 ,   D O I   [ D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 3 9 9 9 - 8 _ ,   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 3 9 9 9 - 8 _ 2 9 ] ;   B a l l a t o r e   A . ,   2 0 1 3 ,   I N T E L L I G E N T   S Y S T E M S ,   V 5 0 ,   P 9 3 ;   B a l l a t o r e   A . ,   2 0 1 2 ,   K N O W L E D G E   I N F O R M   S Y S ;   B a l l a t o r e   A ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 5 7 4 ,   P 7 8 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 9 1 7 3 - 2 _ 8 ;   B a l l a t o r e   A . ,   2 0 1 2 ,   L N C S ,   V 7 2 3 6 ,   P 1 5 1 ;   B a n e r j e e   S . ,   2 0 0 2 ,   L N C S ,   V 2 2 7 6 ,   P 1 1 7 ;   C a r d o s o   N . ,   2 0 0 7 ,   P   4   A C M   W O R K S H   G E O G R ,   P 5 5 ,   D O I   [ 1 0 . 1 1 4 5 / 1 3 1 6 9 4 8 . 1 3 1 6 9 6 3 ,   D O I   1 0 . 1 1 4 5 / 1 3 1 6 9 4 8 . 1 3 1 6 9 6 3 ] ;   C o r l e y   C . ,   2 0 0 5 ,   P   A C L   W O R K S H   E M P   M O D ,   P 1 3 ,   D O I   1 0 . 3 1 1 5 / 1 6 3 1 8 6 2 . 1 6 3 1 8 6 5 ;   F e l l b a u m   C . ,   1 9 9 8 ,   W O R D N E T   E L E C T   L E X I C A ;   F e r n a n d o   S . ,   2 0 0 8 ,   P   1 1   A N N   R E S   C   U K   S P ,   P 1 ;   F i e l d   A P ,   2 0 0 1 ,   P S Y C H O L   M E T H O D S ,   V 6 ,   P 1 6 1 ,   D O I   1 0 . 1 0 3 7 / / 1 0 8 2 - 9 8 9 X . 6 . 2 . 1 6 1 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G o o d c h i l d   M F ,   2 0 0 7 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 1 ,   P 2 3 9 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 6 0 0 9 6 5 2 7 1 ;   G r u b e r   T ,   2 0 0 7 ,   I N T   J   S E M A N T   W E B   I N F ,   V 3 ,   P 1 ,   D O I   1 0 . 4 0 1 8 / j s w i s . 2 0 0 7 0 1 0 1 0 1 ;   H a r r i s   Z S ,   1 9 5 4 ,   W O R D ,   V 1 0 ,   P 1 4 6 ;   H i r s t   G ,   1 9 9 8 ,   L A N G   S P E E C H   &   C O M M U N ,   P 3 0 5 ;   I s l a m   A . ,   2 0 0 8 ,   A C M   T   K N O W L   D I S C O V   D ,   V 2 ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 7 6 8 1 5 . 1 3 7 6 8 1 9 ;   J a n o w i c z   K . ,   2 0 1 1 ,   J   S P A T I A L   I N F O R M   S C I ,   V 2 ,   P 2 9 ;   J a n o w i c z   K ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 8 5 3 ,   P 1 2 8 ;   J i a n g   J . ,   1 9 9 7 ,   P   I N T   C   R E S   C O M P   L I N ,   V 1 ,   P 1 9 ;   K a v o u r a s   M ,   2 0 0 5 ,   C O M P U T   G E O S C I - U K ,   V 3 1 ,   P 1 4 5 ,   D O I   1 0 . 1 0 1 6 / j . c a g e o . 2 0 0 4 . 0 7 . 0 1 0 ;   K a v o u r a s   M ,   2 0 0 8 ,   T H E O R I E S   G E O G R A P H I C ;   K e   l e r   C ,   2 0 0 7 ,   L N C S ,   V 4 6 3 5 ,   P 2 7 7 ;   K u h n   W ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 5 3 4 ,   P 1 ;   K u h n   W . ,   2 0 1 3 ,   L N G C   C O G N I T I V E   L I N G U ,   P 1 5 9 ;   L a n d a u e r   T . ,   2 0 0 7 ,   H D B   L A T E N T   S E M A N T I C ;   L e a c o c k   C ,   1 9 9 8 ,   L A N G   S P E E C H   &   C O M M U N ,   P 2 6 5 ;   L i n   D . ,   1 9 9 8 ,   P   1 5   I N T   C   M A C H   L E A R ,   V 1 ,   P 2 9 6 ;   M a r c u s   M i t c h e l l   P . ,   1 9 9 3 ,   C O M P U T A T I O N A L   L I N G U I ,   V 1 9 ,   P 3 1 3 ;   M i h a l c e a   R . ,   2 0 0 6 ,   P   N A T   C   A R T   I N T ,   V 2 1 ,   P 7 7 5 ;   M i l l e r   C ,   1 9 9 0 ,   I N T   J   L E X I C O G R ,   V 3 ,   P 2 3 5 ;   P a t w a r d h a n   S . ,   2 0 0 6 ,   P   E A C L   2 0 0 6   W O R K S H   M ,   V 1 5 0 1 ,   P 1 ;   P e d e r s e n   T . ,   2 0 0 4 ,   P   5   A N N   M   N   A M   C H A P T ,   P 3 8 ;   P o t t h a s t   M . ,   2 0 1 0 ,   P   2 3   I N T   C   C O M P   L I N G ,   P 9 9 7 ;   R A D A   R ,   1 9 8 9 ,   I E E E   T   S Y S T   M A N   C Y B ,   V 1 9 ,   P 1 7 ,   D O I   1 0 . 1 1 0 9 / 2 1 . 2 4 5 2 8 ;   R a m a g e   D ,   2 0 0 9 ,   P   2 0 0 9   W O R K S H   G R A P H ,   P 2 3 ,   D O I   1 0 . 3 1 1 5 / 1 7 0 8 1 2 4 . 1 7 0 8 1 3 1 ;   R e s n i k   P . ,   1 9 9 5 ,   P   1 4   I N T   J O I N T   C   A R T ,   V 1 ,   P 4 4 8 ;   R o d r i g u e z   M A ,   2 0 0 4 ,   I N T   J   G E O G R   I N F   S C I ,   V 1 8 ,   P 2 2 9 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 3 1 0 0 0 1 6 2 9 5 9 2 ;   S c h w e r i n g   A ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 7 7 0 ,   P 2 5 9 ;   S c h w e r i n g   A . ,   2 0 0 8 ,   T   G I S ,   V 1 2 ,   P 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 0 8 . 0 1 0 8 4 . x ;   S h i r k y   C l a y ,   2 0 1 0 ,   C O G N I T I V E   S U R P L U S   C R ;   S o w a   J . ,   2 0 0 6 ,   R E S   T R E N D S   S C I   T E C H N ,   P 5 5 ;   J o n e s   K .   S . ,   2 0 0 0 ,   I n f o r m a t i o n   P r o c e s s i n g   &   M a n a g e m e n t ,   V 3 6 ;   T u r n e y   P .   D . ,   2 0 0 1 ,   P   1 2   E U R   C   M A C H   L E A R ,   V 2 1 6 7 ,   P 4 9 1 ;   T V E R S K Y   A ,   1 9 7 7 ,   P S Y C H O L   R E V ,   V 8 4 ,   P 3 2 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 5 X . 8 4 . 4 . 3 2 7 ;   V a r z i   A . ,   2 0 0 1 ,   P H I L O S   G E O G R A P H Y ,   V 4 ,   P 4 9 ,   D O I   1 0 . 1 0 8 0 / 1 0 9 0 3 7 7 0 1 2 4 1 2 5 ;   W u   Z . ,   1 9 9 4 ,   P   3 2   A N N   M   A S S   C O M P ,   V 9 4 ,   P 1 3 3 ,   D O I   D O I   1 0 . 3 1 1 5 / 9 8 1 7 3 2 . 9 8 1 7 5 1 	 4 9 	 1 	 1 	 T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X O N ,   E N G L A N D 	 1 3 6 5 - 8 8 1 6 	 1 3 6 2 - 3 0 8 7 	 	 I N T   J   G E O G R   I N F   S C I 	 I n t .   J .   G e o g r .   I n f .   S c i . 	 O C T   1 	 2 0 1 3 	 2 7 	 1 0 	 	 	 	 	 2 0 9 9 	 2 1 1 8 	 	 1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 6 . 2 0 1 3 . 7 9 0 5 4 8 	 	 2 0 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   G e o g r a p h y ;   G e o g r a p h y ,   P h y s i c a l ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   G e o g r a p h y ;   P h y s i c a l   G e o g r a p h y ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 2 3 2 U M 	 W O S : 0 0 0 3 2 5 5 1 9 9 0 0 0 1 5 	 	 
 J 	 W u ,   W J ;   T s a i ,   W T ;   L i ,   W 	 	 	 	 W u ,   W e n j u n ;   T s a i ,   W e i - T e k ;   L i ,   W e i 	 	 	 A n   e v a l u a t i o n   f r a m e w o r k   f o r   s o f t w a r e   c r o w d s o u r c i n g 	 F R O N T I E R S   O F   C O M P U T E R   S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   s o f t w a r e   e n g i n e e r i n g ;   c o m p e t i t i o n   r u l e s ;   g a m e   t h e o r y 	 S Y S T E M S ;   M O D E L 	 R e c e n t l y   s o f t w a r e   c r o w d s o u r c i n g   h a s   b e c o m e   a n   e m e r g i n g   a r e a   o f   s o f t w a r e   e n g i n e e r i n g .   F e w   p a p e r s   h a v e   p r e s e n t e d   a   s y s t e m a t i c   a n a l y s i s   o n   t h e   p r a c t i c e s   o f   s o f t w a r e   c r o w d s o u r c i n g .   T h i s   p a p e r   f i r s t   p r e s e n t s   a n   e v a l u a t i o n   f r a m e w o r k   t o   e v a l u a t e   s o f t w a r e   c r o w d s o u r c i n g   p r o j e c t s   w i t h   r e s p e c t   t o   s o f t w a r e   q u a l i t y ,   c o s t s ,   d i v e r s i t y   o f   s o l u t i o n s ,   a n d   c o m p e t i t i o n   n a t u r e   i n   c r o w d s o u r c i n g .   S p e c i f i c a l l y ,   c o m p e t i t i o n s   a r e   e v a l u a t e d   b y   t h e   m i n - m a x   r e l a t i o n s h i p   f r o m   g a m e   t h e o r y   a m o n g   p a r t i c i p a n t s   w h e r e   o n e   p a r t y   t r i e s   t o   m i n i m i z e   a n   o b j e c t i v e   f u n c t i o n   w h i l e   t h e   o t h e r   p a r t y   t r i e s   t o   m a x i m i z e   t h e   s a m e   o b j e c t i v e   f u n c t i o n .   T h e   p a p e r   t h e n   d e f i n e s   a   g a m e   t h e o r y   m o d e l   t o   a n a l y z e   t h e   p r i m a r y   f a c t o r s   i n   t h e s e   m i n m a x   c o m p e t i t i o n   r u l e s   t h a t   a f f e c t   t h e   n a t u r e   o f   p a r t i c i p a t i o n   a s   w e l l   a s   t h e   s o f t w a r e   q u a l i t y .   F i n a l l y ,   u s i n g   t h e   p r o p o s e d   e v a l u a t i o n   f r a m e w o r k ,   t h i s   p a p e r   i l l u s t r a t e s   t w o   c r o w d s o u r c i n g   p r o c e s s e s ,   H a r v a r d - T o p C o d e r   a n d   A p p S t o r i .   T h e   f r a m e w o r k   d e m o n s t r a t e s   t h e   s h a r p   c o n t r a s t s   b e t w e e n   b o t h   c r o w d s o u r c i n g   p r o c e s s e s   a s   p a r t i c i p a n t s   w i l l   h a v e   d r a s t i c   b e h a v i o r s   i n   e n g a g i n g   t h e s e   t w o   p r o j e c t s . 	 [ W u ,   W e n j u n ;   L i ,   W e i ]   B e i h a n g   U n i v ,   S t a t e   K e y   L a b   S o f t w a r e   D e v   E n v i r o n m ,   B e i j i n g   1 0 0 1 9 1 ,   P e o p l e s   R   C h i n a ;   [ T s a i ,   W e i - T e k ]   A r i z o n a   S t a t e   U n i v ,   S c h   C o m p   I n f o r m a t   &   D e c i s   S y s t   E n g n ,   T e m p e ,   A Z   8 5 2 8 1   U S A ;   [ T s a i ,   W e i - T e k ]   T s i n g h u a   U n i v ,   D e p t   C o m p   S c i   &   T e c h n o l ,   I N L I S T ,   B e i j i n g   1 0 0 0 8 4 ,   P e o p l e s   R   C h i n a 	 W u ,   W J   ( r e p r i n t   a u t h o r ) ,   B e i h a n g   U n i v ,   S t a t e   K e y   L a b   S o f t w a r e   D e v   E n v i r o n m ,   B e i j i n g   1 0 0 1 9 1 ,   P e o p l e s   R   C h i n a . 	 w w j @ n l s d e . b u a a . e d u . c n 	 	 	 U . S .   N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ D U E   0 9 4 2 4 5 3 ] ;   N a t i o n a l   N a t u r e   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 6 1 0 7 3 0 0 3 ] ;   N a t i o n a l   B a s i c   R e s e a r c h   P r o g r a m   o f   C h i n a   [ 2 0 1 1 C B 3 0 2 5 0 5 ] ;   O p e n   F u n d   o f   t h e   S t a t e   K e y   L a b o r a t o r y   o f   S o f t w a r e   D e v e l o p m e n t   E n v i r o n m e n t   [ S K L S D E - 2 0 0 9 K F - 2 - 0 X ,   S K L S D E - 2 0 1 2 Z X - 1 9 ] ;   F u j i t s u   L a b o r a t o r y 	 T h i s   p r o j e c t   w a s   s p o n s o r e d   b y   U . S .   N a t i o n a l   S c i e n c e   F o u n d a t i o n   p r o j e c t   D U E   0 9 4 2 4 5 3   a n d   N a t i o n a l   N a t u r e   S c i e n c e   F o u n d a t i o n   o f   C h i n a   ( G r a n t   N o .   6 1 0 7 3 0 0 3 ) ,   N a t i o n a l   B a s i c   R e s e a r c h   P r o g r a m   o f   C h i n a   ( 2 0 1 1 C B 3 0 2 5 0 5 ) ,   t h e   O p e n   F u n d   o f   t h e   S t a t e   K e y   L a b o r a t o r y   o f   S o f t w a r e   D e v e l o p m e n t   E n v i r o n m e n t   ( S K L S D E - 2 0 0 9 K F - 2 - 0 X   a n d   S K L S D E - 2 0 1 2 Z X - 1 9 ) ,   a n d   F u j i t s u   L a b o r a t o r y . 	 A r c h a k   N ,   2 0 0 9 ,   P   3 0   I N T   C   I N F   S Y S T ,   P 1 ;   A t w o o d   M . ,   1 9 8 8 ,   M I L I T A R Y   S T A N D A R D   D E ;   B a c o n   D   F ,   2 0 0 9 ,   P   2 4   A C M   S I G P L A N   C   C ,   P 9 7 3 ,   D O I   1 0 . 1 1 4 5 / 1 6 3 9 9 5 0 . 1 6 4 0 0 6 6 ;   B a l d w i n   C Y ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 1 1 6 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 4 6 ;   B o s c h   J . ,   2 0 0 9 ,   P   1 3   I N T   S O F T W   P R O D ,   P 1 1 1 ;   B u l l i n g e r   A   C ,   2 0 1 0 ,   P   1 6   A M   C   I N F   S Y S T ;   C o n s t a n t i n e s c u   R ,   2 0 0 7 ,   J   A P P L   Q U A N T I T A T I V E ,   V 2 ,   P 1 8 7 ;   D i P a l a n t i n o   D ,   2 0 0 9 ,   1 0 T H   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E   -   E C   2 0 0 9 ,   P 1 1 9 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   H e r b r i c h   R ,   2 0 0 6 ,   P   2 0 0 6   A N N   C   A D V   N E U ,   V 1 9 ,   P 5 6 9 ;   H o r t o n   J . J . ,   2 0 1 0 ,   P   1 1   A C M   C   E L   C O M M ,   P 2 0 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 0 7 3 4 2 . 1 8 0 7 3 7 6 ;   J a n s e n   S ,   2 0 0 9 ,   P R O C   I N T   C O N F   S O F T W ,   P 1 8 7 ,   D O I   1 0 . 1 1 0 9 / I C S E - C O M P A N I O N . 2 0 0 9 . 5 0 7 0 9 7 8 ;   K a z m a n   R ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 7 6 ,   D O I   1 0 . 1 1 4 5 / 1 5 3 8 7 8 8 . 1 5 3 8 8 0 8 ;   K i t t u r   A . ,   2 0 1 0 ,   X R D S ,   V 1 7 ,   P 2 2 ;   L a k h a n i   K ,   2 0 1 0 ,   T O P C O D E R   A   D E V   S O F T W ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   M o n e y   A r c h a k   N . ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 2 1 ;   R a n d   D G ,   2 0 0 9 ,   S C I E N C E ,   V 3 2 5 ,   P 1 2 7 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 7 7 4 1 8 ;   S c h e n k   E ,   2 0 0 9 ,   W O R K S H   O P   S O U R C   I N N ;   T o n g   R ,   2 0 1 2 ,   P U B L I C   P R I V A T E   P A R T N ;   W u   T   W ,   2 0 1 3 ,   C R E A T I V E   S O F T W A R E   C R 	 2 1 	 1 	 1 	 H I G H E R   E D U C A T I O N   P R E S S 	 B E I J I N G 	 S H A T A N H O U   S T   5 5 ,   B E I J I N G   1 0 0 0 0 9 ,   P E O P L E S   R   C H I N A 	 2 0 9 5 - 2 2 2 8 	 	 	 F R O N T   C O M P U T   S C I - C H I 	 F r o n t . .   C o m p u t .   S c i . 	 O C T 	 2 0 1 3 	 7 	 5 	 	 	 	 	 6 9 4 	 7 0 9 	 	 1 0 . 1 0 0 7 / s 1 1 7 0 4 - 0 1 3 - 2 3 2 0 - 2 	 	 1 6 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 2 2 7 Q X 	 W O S : 0 0 0 3 2 5 1 2 9 7 0 0 0 0 7 	 	 
 J 	 L i u ,   C H ;   F a n ,   J ;   H u i ,   P ;   C r o w c r o f t ,   J ;   D i n g ,   G Y 	 	 	 	 L i u ,   C h i   H a r o l d ;   F a n ,   J u n ;   H u i ,   P a n ;   C r o w c r o f t ,   J o n ;   D i n g ,   G a n g y i 	 	 	 Q o I - A w a r e   E n e r g y - E f f i c i e n t   P a r t i c i p a t o r y   C r o w d s o u r c i n g 	 I E E E   S E N S O R S   J O U R N A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 P a r t i c i p a t o r y   c r o w d s o u r c i n g ;   q u a l i t y - o f - i n f o r m a t i o n ;   e n e r g y   e f f i c i e n c y ;   g u r   G a m e 	 	 T o d a y ' s   s m a r t p h o n e s   n o t   o n l y   s e r v e   a s   a   m e a n s   o f   p e r s o n a l   c o m m u n i c a t i o n   d e v i c e ,   b u t   a r e   a l s o   f u n d a m e n t a l l y   t r a n s f o r m i n g   t h e   t r a d i t i o n a l   u n d e r s t a n d i n g   o f   c r o w d s o u r c i n g   t o   a n   e m e r g i n g   t y p e   o f   p a r t i c i p a t o r y ,   t a s k - o r i e n t e d   a p p l i c a t i o n s .   I t   a i m s   t o   s u p p o r t   t h e   s o - c a l l e d   C i t i z e n   S c i e n c e   e f f o r t s   f o r   k n o w l e d g e   d i s c o v e r y ,   t o   u n d e r s t a n d   t h e   h u m a n   b e h a v i o r   a n d   m e a s u r e / e v a l u a t e   t h e i r   o p i n i o n s .   I n   t h i s   p a p e r ,   t o   f a c i l i t a t e   t h e   a b o v e   s c e n a r i o s ,   w e   p r o p o s e   a   n o v e l   e n e r g y - e f f i c i e n t   p a r t i c i p a t o r y   c r o w d s o u r c i n g   f r a m e w o r k   t h a t   m e e t s   t h e   q u a l i t y - o f - i n f o r m a t i o n   ( Q o I )   r e q u i r e m e n t s   o f   t h e   r e q u e s t   i n   a   d i s t r i b u t e d   m a n n e r .   S p e c i f i c a l l y ,   w e   e x t e n d   t h e   t r a d i t i o n a l   f r a m e w o r k   o f   G u r   G a m e   f o r   d i s t r i b u t e d   d e c i s i o n - m a k i n g   t o   r e c o m m e n d   t h e   l e v e l   o f   i n f o r m a t i o n   c o n t r i b u t i o n   f o r   e a c h   p a r t i c i p a n t ,   b y   m e r g i n g   t h e   m u l t i p l e   a u t o m a t o n   c h a i n s   i n t o   a   s i n g l e   c h a i n   w i t h   m u l t i p l e   s t e a d y   s t a t e s .   W e   e v a l u a t e   t h e   p r o p o s e d   s c h e m e   u n d e r   t h e   M I T   s o c i a l   e v o l u t i o n   d a t a   s e t ,   w h e r e   t h e   Q o I   r e q u i r e m e n t s   o f   t h e   r e q u e s t   a r e   s u c c e s s f u l l y   a c h i e v e d ,   w i t h   a   s a t i s f a c t o r y   l e v e l   o f   e n e r g y   c o n s u m p t i o n   f a i r n e s s   a m o n g   p a r t i c i p a n t s ,   o f   n e g l i g i b l e   c o m p u t a t i o n a l   c o m p l e x i t y .   F i n a l l y ,   w e   e x p l o r e   t h e   i m p a c t   o f   c o m m u n i t y   s t r u c t u r e   o n   t h e   p r o p o s e d   a l g o r i t h m ,   a n d   p r o p o s e   a   f e a s i b l e   m e t h o d   t o   f a c i l i t a t e   t h e   l o c a l   d a t a   a g g r e g a t i o n . 	 [ L i u ,   C h i   H a r o l d ;   F a n ,   J u n ;   D i n g ,   G a n g y i ]   B e i j i n g   I n s t   T e c h n o l ,   D e p t   S o f t w a r e   S e r v   E n g n ,   B e i j i n g   1 0 0 0 8 1 ,   P e o p l e s   R   C h i n a ;   [ H u i ,   P a n ]   H o n g   K o n g   U n i v   S c i   &   T e c h n o l ,   D e p t   C o m p   S c i   &   E n g n ,   H o n g   K o n g   9 9 9 0 7 7 ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a ;   [ H u i ,   P a n ]   T e l e k o m   I n n o v a t   L a b s ,   D - 1 0 7 8 1   B e r l i n ,   G e r m a n y ;   [ H u i ,   P a n ]   A a l t o   U n i v ,   D e p t   C o m p   S c i   &   E n g n ,   E s p o o   0 2 1 5 0 ,   F i n l a n d ;   [ C r o w c r o f t ,   J o n ]   U n i v   C a m b r i d g e ,   C o m p   L a b ,   C a m b r i d g e   C B 2   1 T N ,   E n g l a n d 	 L i u ,   C H   ( r e p r i n t   a u t h o r ) ,   B e i j i n g   I n s t   T e c h n o l ,   D e p t   S o f t w a r e   S e r v   E n g n ,   B e i j i n g   1 0 0 0 8 1 ,   P e o p l e s   R   C h i n a . 	 c h i l i u @ b i t . e d u . c n ;   j f a n @ b i t . e d u . c n ;   p a n h u i @ c s e . u s t . h k ;   j o n . c r o w c r o f t @ c l . c a m . a c . u k ;   d g y @ b i t . e d u . c n 	 	 	 	 	 B i s d i k i a n   C ,   2 0 0 9 ,   F U S I O N :   2 0 0 9   1 2 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   I N F O R M A T I O N   F U S I O N ,   V O L S   1 - 4 ,   P 1 3 7 0 ;   B l o n d e l   V D ,   2 0 0 8 ,   J   S T A T   M E C H - T H E O R Y   E ,   D O I   1 0 . 1 0 8 8 / 1 7 4 2 - 5 4 6 8 / 2 0 0 8 / 1 0 / P 1 0 0 0 8 ;   B o n n e y   R ,   2 0 0 9 ,   B I O S C I E N C E ,   V 5 9 ,   P 9 7 7 ,   D O I   1 0 . 1 5 2 5 / b i o . 2 0 0 9 . 5 9 . 1 1 . 9 ;   B o y d   S . ,   2 0 0 3 ,   C O N V E X   O P T I M I Z A T I O N ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C a m p b e l l   A T ,   2 0 0 8 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 2 ,   P 1 2 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 8 . 9 0 ;   C a o   X H ,   2 0 0 8 ,   I S A   T ,   V 4 7 ,   P 2 4 7 ,   D O I   1 0 . 1 0 1 6 / j . i s a t r a . 2 0 0 8 . 0 2 . 0 0 1 ;   C l a r k   J .   J . ,   1 9 9 0 ,   D A T A   F U S I O N   S E N S O R Y ;   D i M i c c o   J .   M . ,   2 0 0 2 ,   P   A C M   W O R K S H   M O B   A D ,   P 1 ;   G a o n k a r   S ,   2 0 0 8 ,   M O B I S Y S ' 0 8 :   P R O C E E D I N G S   O F   T H E   S I X T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   S Y S T E M S ,   A P P L I C A T I O N S ,   A N D   S E R V I C E S ,   P 1 7 4 ;   G a s s   S ,   1 9 8 5 ,   L I N E A R   P R O G R A M M I N G   M ;   H e   S B ,   2 0 1 2 ,   I E E E   T   P A R A L L   D I S T R ,   V 2 3 ,   P 1 0 9 0 ,   D O I   1 0 . 1 1 0 9 / T P D S . 2 0 1 1 . 2 4 2 ;   H e   S B ,   2 0 1 2 ,   I E E E   T   P A R A L L   D I S T R ,   V 2 3 ,   P 1 6 5 7 ,   D O I   1 0 . 1 1 0 9 / T P D S . 2 0 1 2 . 1 0 0 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   I y e r   R . ,   2 0 0 3 ,   P   I E E E   I N T   C   C O M M   M A ,   P 5 1 7 ;   J o h n s o n   M .   K . ,   2 0 0 5 ,   P   A C M   M U L T   S E C   W O R K S ,   P 1 ;   J o r d a n   L . ,   2 0 1 1 ,   E N V   J U S T I C E ,   V 4 ,   P 1 5 5 ;   L a n e   N D ,   2 0 1 0 ,   U B I C O M P   2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 0 1 0   A C M   C O N F E R E N C E   O N   U B I Q U I T O U S   C O M P U T I N G ,   P 1 0 9 ;   L a n e   N D ,   2 0 1 0 ,   I E E E   C O M M U N   M A G ,   V 4 8 ,   P 1 4 0 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 0 . 5 5 6 0 5 9 8 ;   L i u   C . ,   2 0 1 1 ,   P   I E E E   I N T   C   P E R V   C O ,   P 8 ;   L i u   C .   H . ,   2 0 1 1 ,   P   8   A N N   I E E E   C O M M   S O ,   P 1 1 6 ;   L o f b e r g   J . ,   2 0 0 4 ,   P   C A C S D   C   T A I P   T A I W ,   P 2 8 4 ;   M a d a n   A ,   2 0 1 2 ,   I E E E   P E R V A S   C O M P U T ,   V 1 1 ,   P 3 6 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 1 1 . 7 9 ;   M a i s o n n e u v e   N . ,   2 0 0 9 ,   P   1 0   A N N   I N T   C   D I G   G ,   P 9 6 ;   M i l u z z o   E ,   2 0 0 8 ,   S E N S Y S ' 0 8 :   P R O C E E D I N G S   O F   T H E   6 T H   A C M   C O N F E R E N C E   O N   E M B E D D E D   N E T W O R K E D   S E N S O R   S Y S T E M S ,   P 3 3 7 ;   N a y e r   S I ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 3 4 3 ,   P 2 6 2 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 9 2 1 5 7 - 8 _ 2 3 ;   N e w m a n   M E J ,   2 0 0 4 ,   P H Y S   R E V   E ,   V 6 9 ,   D O I   1 0 . 1 1 0 3 / P h y s R e v E . 6 9 . 0 2 6 1 1 3 ;   N e w m a n   M E J ,   2 0 0 5 ,   S O C   N E T W O R K S ,   V 2 7 ,   P 3 9 ,   D O I   1 0 . 1 0 1 6 / j . s o c n e t . 2 0 0 4 . 1 1 . 0 0 9 ;   R a c h u r i   K .   K . ,   2 0 1 0 ,   P   1 2   A C M   I N T   C   U B   C O ,   P 2 8 1 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 4 3 4 9 . 1 8 6 4 3 9 3 ;   T s e t l i n   M . ,   1 9 6 4 ,   T H E S I S   G E O R G I A N   T U   T ;   T u n g   B . ,   1 9 9 3 ,   P r o c e e d i n g s   t h e   2 n d   I n t e r n a t i o n a l   S y m p o s i u m   o n   H i g h   P e r f o r m a n c e   D i s t r i b u t e d   C o m p u t i n g   ( C a t .   N o . 9 3 T H 0 5 5 0 - 4 ) ,   D O I   1 0 . 1 1 0 9 / H P D C . 1 9 9 3 . 2 6 3 8 4 0 ;   Y A N G   D ,   2 0 1 2 ,   P   1 8   A N N   I N T   C   M O B   C ,   P 1 7 3 ;   Z h a o   L . ,   2 0 0 6 ,   P R O C E E D I N G S   O F   T H E   W ,   P 1 	 3 3 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 5 3 0 - 4 3 7 X 	 	 	 I E E E   S E N S   J 	 I E E E   S e n s .   J . 	 O C T 	 2 0 1 3 	 1 3 	 1 0 	 	 	 	 	 3 7 4 2 	 3 7 5 3 	 	 1 0 . 1 1 0 9 / J S E N . 2 0 1 3 . 2 2 6 5 9 3 6 	 	 1 2 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   I n s t r u m e n t s   &   I n s t r u m e n t a t i o n ;   P h y s i c s ,   A p p l i e d 	 E n g i n e e r i n g ;   I n s t r u m e n t s   &   I n s t r u m e n t a t i o n ;   P h y s i c s 	 2 1 7 D V 	 W O S : 0 0 0 3 2 4 3 3 7 9 0 0 0 0 9 	 	 
 J 	 M o r t a r a ,   L ;   F o r d ,   S J ;   J a e g e r ,   M 	 	 	 	 M o r t a r a ,   L e t i z i a ;   F o r d ,   S i m o n   J . ;   J a e g e r ,   M a n u e l 	 	 	 I d e a   C o m p e t i t i o n s   u n d e r   s c r u t i n y :   A c q u i s i t i o n ,   i n t e l l i g e n c e   o r   p u b l i c   r e l a t i o n s   m e c h a n i s m ? 	 T E C H N O L O G I C A L   F O R E C A S T I N G   A N D   S O C I A L   C H A N G E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 I d e a   C o m p e t i t i o n s ;   I n n o v a t i o n   t o u r n a m e n t s ;   I n n o v a t i o n   c o n t e s t s ;   C r o w d s o u r c i n g ;   O p e n   i n n o v a t i o n ;   A c q u i s i t i o n   m e c h a n i s m ;   I n t e l l i g e n c e ;   U s e r   i n n o v a t i o n ;   P u b l i c   r e l a t i o n s 	 R E S E A R C H - A N D - D E V E L O P M E N T ;   O P E N   I N N O V A T I O N ;   P R O D U C T   D E V E L O P M E N T ;   T E C H N O L O G Y ;   U S E R S ;   P R O F E S S I O N A L S ;   C O M M U N I T Y ;   C O N T E S T S ;   P R O C T E R ;   C H O I C E 	 I d e a   C o m p e t i t i o n s   ( I C s )   a r e   b e c o m i n g   a   p o p u l a r   m e c h a n i s m   c h o s e n   b y   f i r m s   t o   p e r f o r m   O p e n   I n n o v a t i o n .   T h e y   a r e   a   w a y   t o   e n g a g e   w i t h   e x t e r n a l   s o u r c e s   o f   k n o w l e d g e   s u c h   a s   i n d i v i d u a l   e n t r e p r e n e u r s   a n d   s m a l l   f i r m s   w h o   a r e   a s k e d   t o   s u b m i t   i d e a s   a n d   c o m p e t e   f o r   a   p r i z e .   H o w e v e r ,   l i t t l e   i s   k n o w n   a b o u t   t h e   s u c c e s s   o f   I C s   a s   a c q u i s i t i o n   m e c h a n i s m s .   T h e   r e s e a r c h e r s   c o n d u c t e d   i n t e r v i e w s   i n   f i v e   m u l t i n a t i o n a l   c o m p a n i e s   t o   e v a l u a t e   t h e   e f f e c t s   o f   u s i n g   I C s   a s   a n   a c q u i s i t i o n   m e c h a n i s m .   A l t h o u g h   s t i l l   p r e l i m i n a r y ,   t h e   r e s u l t s   o f   t h i s   s t u d y   s h o w   t h a t   t h e   s u c c e s s   o f   I C s   a s   a n   a c q u i s i t i o n   m e c h a n i s m   r e m a i n s   u n c e r t a i n   b e c a u s e   t h e i r   o u t p u t   ( i . e .   t h e   n u m b e r   o f   i d e a s   a c q u i r e d )   i s   o f t e n   l o w   c o m p a r e d   t o   t h e   i n p u t   ( i . e .   t h e   n u m b e r   o f   i d e a s   s u b m i t t e d )   a n d   e f f o r t   r e q u i r e d   t o   r u n   t h e m   ( e . g .   t o   v e t   i d e a s ) .   A c r o s s   t h e   c a s e s   o b s e r v e d ,   I C s   a p p e a r   t o   b e   m o r e   s u c c e s s f u l   a t   i d e n t i f y i n g   a n d   a c q u i r i n g   e a r l y - s t a g e   i d e a s ,   p a r t i c u l a r l y   t h o s e   o u t s i d e   t h e   c u r r e n t   b u s i n e s s   f o c u s .   T h e   s t u d y   s h o w s   t h a t   I C s   d e l i v e r   o t h e r   f u n c t i o n a l   b e n e f i t s   s u c h   a s   i m p r o v e d   i n t e l l i g e n c e   a n d   p u b l i c   r e l a t i o n s   a n d   t h a t   t h e s e   n e e d   t o   b e   c o n s i d e r e d   a s   p a r t   o f   t h e   e v a l u a t i o n   o f   t h e   I C ' s   s u c c e s s .   T h e   p a p e r   c o n c l u d e s   b y   d i s c u s s i n g   t h e   c o n d i t i o n s   i n   w h i c h   I C s   a r e   i m p l e m e n t e d   a n d   t h e   i m p l i c a t i o n s   f o r   O p e n   I n n o v a t i o n   t h e o r y .   ( C )   2 0 1 3   E l s e v i e r   I n c .   A l l   r i g h t s   r e s e r v e d . 	 [ M o r t a r a ,   L e t i z i a ;   F o r d ,   S i m o n   J . ;   J a e g e r ,   M a n u e l ]   U n i v   C a m b r i d g e ,   I n s t   M f g ,   C t r   T e c h n o l   M a n a g e m e n t ,   C a m b r i d g e   C B 3   0 F S ,   E n g l a n d 	 M o r t a r a ,   L   ( r e p r i n t   a u t h o r ) ,   U n i v   C a m b r i d g e ,   I n s t   M f g ,   C t r   T e c h n o l   M a n a g e m e n t ,   1 7   C h a r l e s   B a b b a g e   R d ,   C a m b r i d g e   C B 3   0 F S ,   E n g l a n d . 	 l m 3 6 7 @ c a m . a c . u k 	 	 	 	 	 A d a m c z y k   S . ,   2 0 1 0 ,   R   D   M A N   C   2 0 1 0   M A N C H ;   A l e x y   O ,   2 0 1 2 ,   C A L I F   M A N A G E   R E V ,   V 5 4 ,   P 1 1 6 ,   D O I   1 0 . 1 5 2 5 / c m r . 2 0 1 2 . 5 4 . 3 . 1 1 6 ;   A r c h a k   N . ,   2 0 0 9 ,   I N T   C   I N F   S Y S T   I C I S ;   B a k k e r   H . ,   2 0 0 6 ,   C R E A T I V I T Y   I N N O V A T I O ,   V 1 5 ,   P 2 9 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 0 6 . 0 0 3 9 7 . x ;   B E S S A N T   J ,   1 9 9 5 ,   R E S   P O L I C Y ,   V 2 4 ,   P 9 7 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 8 - 7 3 3 3 ( 9 3 ) 0 0 7 5 1 - E ;   B j e l l a n d   O M ,   2 0 0 8 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 3 2 ;   B o g e r s   M ,   2 0 1 2 ,   C R E A T   I N N O V   M A N A G ,   V 2 1 ,   P 6 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 1 1 . 0 0 6 2 2 . x ;   B o j i n   N . ,   2 0 1 1 ,   B U S   I N F   R E V ,   V 2 8 ,   P 4 1 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B u l l i n g e r   A . C . ,   2 0 1 0 ,   A M   C   I N F   S Y S T ;   B u l l i n g e r   A C ,   2 0 1 0 ,   C R E A T   I N N O V   M A N A G ,   V 1 9 ,   P 2 9 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 1 0 . 0 0 5 6 5 . x ;   C h e s b r o u g h   H ,   2 0 0 3 ,   C A L I F   M A N A G E   R E V ,   V 4 5 ,   P 3 3 ;   C h e s b r o u g h   H ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 2 2 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 2 8 . x ;   C h e s b r o u g h   H ,   2 0 1 2 ,   C A L I F   M A N A G E   R E V ,   V 5 4 ,   P 1 4 0 ,   D O I   1 0 . 1 5 2 5 / c m r . 2 0 1 2 . 5 4 . 3 . 1 4 0 ;   D a h l a n d e r   L ,   2 0 1 0 ,   R E S   P O L I C Y ,   V 3 9 ,   P 6 9 9 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 0 . 0 1 . 0 1 3 ;   D o d g s o n   M ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 3 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 2 9 . x ;   d u   C h a t e n i e r   E ,   2 0 1 0 ,   R & D   M A N A G E ,   V 4 0 ,   P 2 7 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 1 0 . 0 0 5 9 0 . x ;   E b n e r   W ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 4 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 6 4 . x ;   E n k e l   E ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 1 1 ;   F o r d   S J ,   2 0 1 2 ,   R E S   T E C H N O L   M A N A G E ,   V 5 5 ,   P 4 0 ,   D O I   1 0 . 5 4 3 7 / 0 8 9 5 6 3 0 8 X 5 5 0 3 0 4 8 ;   H e   W ,   2 0 0 9 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 6 ,   P 8 2 6 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 8 . 1 1 . 0 0 7 ;   H e l a n d e r   M . ,   2 0 0 7 ,   9   W E B   K D D   W O R K S H   W E B ,   P 6 6 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   H u i z i n g h   E K R E ,   2 0 1 1 ,   T E C H N O V A T I O N ,   V 3 1 ,   P 2 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 1 0 . 1 0 . 0 0 2 ;   H u n g   S W ,   2 0 0 8 ,   T E C H N O V A T I O N ,   V 2 8 ,   P 5 5 1 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 0 7 . 1 0 . 0 0 5 ;   H u s t o n   L ,   2 0 0 6 ,   H A R V A R D   B U S   R E V ,   V 8 4 ,   P 5 8 ;   H u t t e r   K . ,   2 0 1 1 ,   C R E A T   I N N O V   M A N A G ,   V 2 0 ,   P 3 ;   J o u r e t   G ,   2 0 0 9 ,   H A R V A R D   B U S   R E V ,   V 8 7 ,   P 4 3 ;   K e r r   C .   I .   V . ,   2 0 0 6 ,   I n t e r n a t i o n a l   J o u r n a l   o f   T e c h n o l o g y   I n t e l l i g e n c e   a n d   P l a n n i n g ,   V 2 ,   D O I   1 0 . 1 5 0 4 / I J T I P . 2 0 0 6 . 0 1 0 5 1 1 ;   K e u p p   M M ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 3 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 6 3 . x ;   K i n g   R . ,   2 0 0 8 ,   B L O O M B E R G   B U S I N E S S S W ;   K i n g   R . ,   2 0 0 8 ,   B L O O M B E R G   B U S I N E S S W E ;   K l e i n   D . ,   2 0 0 9 ,   2 0   I S P I M   C   V I E N N   A U S ;   L i c h t e n t h a l e r   U ,   2 0 0 8 ,   O R G A N   S T U D ,   V 2 9 ,   P 1 0 0 3 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 0 8 0 9 0 5 3 1 ;   L i c h t e n t h a l e r   U ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 1 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 6 1 . x ;   L i c h t e n t h a l e r   U . ,   2 0 0 8 ,   C R E A T I V I T Y   I N N O V A T I O ,   V 1 7 ,   P 1 4 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 4 6 7 - 8 6 9 1 . 2 0 0 7 . 0 0 4 6 1 . X ;   M a n k i n s   J . C . ,   1 9 9 5 ,   T E C H N O L O G Y   R E A D I N E S S ;   F u l l e r   J . ,   2 0 0 6 ,   E l e c t r o n i c   C o m m e r c e   R e s e a r c h ,   V 6 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 6 0 - 0 0 6 - 5 9 8 8 - 7 ;   M I L L E R   D ,   1 9 8 3 ,   M A N A G E   S C I ,   V 2 9 ,   P 7 7 0 ,   D O I   1 0 . 1 2 8 7 / m n s c . 2 9 . 7 . 7 7 0 ;   M o r g a n   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 7 7 ;   M o r t a r a   L . ,   2 0 1 1 ,   E N T R E P R E N E U R S H I P   T E C ,   P 2 8 7 ;   M o r t a r a   L e t i z i a ,   2 0 1 0 ,   I n t e r n a t i o n a l   J o u r n a l   o f   E n t r e p r e n e u r s h i p   a n d   I n n o v a t i o n   M a n a g e m e n t ,   V 1 1 ,   D O I   1 0 . 1 5 0 4 / I J E I M . 2 0 1 0 . 0 3 2 2 6 4 ;   M o r t a r a   L ,   2 0 1 1 ,   T E C H N O V A T I O N ,   V 3 1 ,   P 5 8 6 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 1 1 . 0 5 . 0 0 2 ;   M o r t a r a   L ,   2 0 0 9 ,   I N T   J   T E C H N O L   M A N A G E ,   V 4 7 ,   P 3 2 2 ,   D O I   1 0 . 1 5 0 4 / I J T M . 2 0 0 9 . 0 2 4 4 3 3 ;   M u h d i   L o u i s e ,   2 0 1 1 ,   I n t e r n a t i o n a l   J o u r n a l   o f   I n n o v a t i o n   M a n a g e m e n t ,   V 1 5 ,   D O I   1 0 . 1 1 4 2 / S 1 3 6 3 9 1 9 6 1 1 0 0 3 4 7 7 ;   O g a w a   S ,   2 0 0 6 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 7 ,   P 6 5 ;   P e k a r   P . ,   2 0 0 3 ,   B u s i n e s s   S t r a t e g y   R e v i e w ,   V 1 4 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 8 6 1 6 . 0 0 2 5 9 ;   P e n g   G . ,   2 0 1 0 ,   1   I N T   C   E   B U S   E   G O V ,   P 4 8 9 8 ;   P i l l e r   F T ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 0 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 2 . x ;   P i s a n o   G P ,   2 0 0 8 ,   H A R V A R D   B U S   R E V ,   V 8 6 ,   P 7 8 ;   P o e t z   M K ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x ;   S a w h n e y   M ,   2 0 0 5 ,   J   I N T E R A C T   M A R K ,   V 1 9 ,   P 4 ,   D O I   1 0 . 1 0 0 2 / d i r . 2 0 0 4 6 ;   S c h w e i s f u r t h   T i m ,   2 0 1 1 ,   I n t e r n a t i o n a l   J o u r n a l   o f   P r o d u c t   D e v e l o p m e n t ,   V 1 3 ,   D O I   1 0 . 1 5 0 4 / I J P D . 2 0 1 1 . 0 3 8 8 6 7 ;   S c h w e i t z e r   F M ,   2 0 1 2 ,   R E S   T E C H N O L   M A N A G E ,   V 5 5 ,   P 3 2 ,   D O I   1 0 . 5 4 3 7 / 0 8 9 5 6 3 0 8 X 5 5 0 3 0 5 5 ;   S t e w a r t   J . ,   2 0 0 8 ,   I N T   J   I N N O V A T I O N   M A N ,   V 1 2 ,   P 2 9 5 ,   D O I   D O I   1 0 . 1 1 4 2 / S 1 3 6 3 9 1 9 6 0 8 0 0 2 0 3 5 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T e r w i e s c h   C . ,   2 0 0 9 ,   I N N O V A T I O N   T O U R N A M E N ;   T e t w i e s c h   C . ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ;   v a n   d e   V r a n d e   V ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 4 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 4 . x ;   v a n   d e   V r a n d e   V ,   2 0 0 9 ,   J   B U S   V E N T U R I N G ,   V 2 4 ,   P 6 2 ,   D O I   1 0 . 1 0 1 6 / j . j b u s v e n t . 2 0 0 7 . 1 0 . 0 0 1 ;   v a n   d e   V r a n d e   V ,   2 0 0 9 ,   T E C H N O V A T I O N ,   V 2 9 ,   P 4 2 3 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 0 8 . 1 0 . 0 0 1 ;   V o n   H i p p e l   E ,   1 9 8 8 ,   S O U R C E S   I N N O V A T I O N ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   W e s t   J . ,   2 0 1 1 ,   9   I N T   O P   U S   I N N   W O R K ;   W e s t   J ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 1 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 6 . x ;   Y a n g   Y . ,   2 0 0 9 ,   O P E N   I N N O V A T I O N   E M P I ;   Y i   Z . ,   2 0 1 1 ,   8   I N T   C   S E R V   S Y S T   S E ;   Y i n   R .   K . ,   2 0 0 3 ,   C A S E   S T U D Y   R E S   D E S I G ;   Z h e n g   H C ,   2 0 1 1 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 5 7 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 4 0 2 	 6 9 	 3 	 3 	 E L S E V I E R   S C I E N C E   I N C 	 N E W   Y O R K 	 3 6 0   P A R K   A V E   S O U T H ,   N E W   Y O R K ,   N Y   1 0 0 1 0 - 1 7 1 0   U S A 	 0 0 4 0 - 1 6 2 5 	 	 	 T E C H N O L   F O R E C A S T   S O C 	 T e c h n o l .   F o r e c a s t .   S o c .   C h a n g . 	 O C T 	 2 0 1 3 	 8 0 	 8 	 	 	 	 	 1 5 6 3 	 1 5 7 8 	 	 1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 1 3 . 0 1 . 0 0 8 	 	 1 6 	 B u s i n e s s ;   P l a n n i n g   &   D e v e l o p m e n t 	 B u s i n e s s   &   E c o n o m i c s ;   P u b l i c   A d m i n i s t r a t i o n 	 2 2 6 N R 	 W O S : 0 0 0 3 2 5 0 4 3 6 0 0 0 1 1 	 	 
 J 	 Z h a n g ,   Y ;   v a n   d e r   S c h a a r ,   M 	 	 	 	 Z h a n g ,   Y u ;   v a n   d e r   S c h a a r ,   M i h a e l a 	 	 	 R o b u s t   R e p u t a t i o n   P r o t o c o l   D e s i g n   f o r   O n l i n e   C o m m u n i t i e s :   A   S t o c h a s t i c   S t a b i l i t y   A n a l y s i s 	 I E E E   J O U R N A L   O F   S E L E C T E D   T O P I C S   I N   S I G N A L   P R O C E S S I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 O n l i n e   c o m m u n i t i e s ;   r e p u t a t i o n   p r o t o c o l s ;   s t o c h a s t i c a l l y   s t a b l e   e q u i l i b r i u m ;   s t r a t e g i c   a d a p t a t i o n 	 E V O L U T I O N ;   N E T W O R K S ;   G A M E S 	 T h i s   p a p e r   p r o p o s e s   a   n e w   c l a s s   o f   i n c e n t i v e   m e c h a n i s m s   a i m i n g   a t   c o m p e l l i n g   s e l f - i n t e r e s t e d   u s e r s   i n   o n l i n e   c o m m u n i t i e s   t o   c o o p e r a t e   w i t h   e a c h   o t h e r   b y   e x c h a n g i n g   r e s o u r c e s   o r   s e r v i c e s .   E x a m p l e s   o f   s u c h   c o m m u n i t i e s   a r e   s o c i a l   m u l t i m e d i a   p l a t f o r m s ,   s o c i a l   n e t w o r k s ,   o n l i n e   l a b o r   m a r k e t s ,   c r o w d s o u r c i n g   p l a t f o r m s ,   e t c .   T o   o p t i m i z e   t h e i r   i n d i v i d u a l   l o n g - t e r m   p e r f o r m a n c e ,   u s e r s   a d a p t   t h e i r   s t r a t e g i e s   b y   s o l v i n g   i n d i v i d u a l   s t o c h a s t i c   c o n t r o l   p r o b l e m s .   T h e   u s e r s '   a d a p t a t i o n   c a t a l y z e   a   s t o c h a s t i c   d y n a m i c   p r o c e s s ,   i n   w h i c h   t h e   s t r a t e g i e s   o f   u s e r s   i n   t h e   c o m m u n i t y   e v o l v e   o v e r   t i m e .   W e   f i r s t   c h a r a c t e r i z e   t h e   s t r u c t u r a l   p r o p e r t i e s   o f   t h e   u s e r s '   b e s t   r e s p o n s e   s t r a t e g i e s .   S u b s e q u e n t l y ,   u s i n g   t h e s e   s t r u c t u r a l   r e s u l t s   w e   d e s i g n   i n c e n t i v e   m e c h a n i s m s   b a s e d   o n   r e p u t a t i o n   p r o t o c o l s   f o r   g o v e r n i n g   t h e   o n l i n e   c o m m u n i t i e s ,   w h i c h   c a n   " m a n a g e "   t h e   l o n g - r u n   e v o l u t i o n   o f   t h e   c o m m u n i t y .   W e   p r o v e   t h a t   b y   a p p r o p r i a t e l y   p e n a l i z i n g   a n d   r e w a r d i n g   u s e r s   b a s e d   o n   t h e i r   b e h a v i o r   i n   t h e   c o m m u n i t y ,   s u c h   i n c e n t i v e   m e c h a n i s m s   c a n   e l i m i n a t e   f r e e - r i d i n g   a n d   e n s u r e   t h a t   t h e   c o m m u n i t y   c o n v e r g e s   t o   a   d e s i r a b l e   e q u i l i b r i u m   s e l e c t e d   b y   t h e   c o m m u n i t y   d e s i g n e r   s u c h   t h a t   s o c i a l   w e l f a r e   i s   m a x i m i z e d   a n d   i n   w h i c h   u s e r s   f i n d   i t   i n   t h e i r   s e l f - i n t e r e s t   t o   c o o p e r a t e   w i t h   e a c h   o t h e r . 	 [ Z h a n g ,   Y u ;   v a n   d e r   S c h a a r ,   M i h a e l a ]   U n i v   C a l i f   L o s   A n g e l e s ,   D e p t   E l e c t   E n g n ,   L o s   A n g e l e s ,   C A   9 0 0 9 5   U S A 	 Z h a n g ,   Y   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   L o s   A n g e l e s ,   D e p t   E l e c t   E n g n ,   L o s   A n g e l e s ,   C A   9 0 0 9 5   U S A . 	 y u z h a n g @ u c l a . e d u ;   m i h a e l a @ e e . u c l a . e d u 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ C C F   1 2 1 8 1 3 6 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   a w a r d   u n d e r   G r a n t   C C F   1 2 1 8 1 3 6 .   T h e   g u e s t   e d i t o r   c o - o r d i n a t i n g   t h e   r e v i e w   o f   t h i s   m a n u s c r i p t   a n d   a p p r o v i n g   i t   f o r   p u b l i c a t i o n   w a s   P r o f .   V e n u g o p a l   V e e r a v a l l i . 	 A c e m o g l u   D ,   2 0 1 0 ,   2 8 5 1   M I T   L I D S ;   A d a r   E . ,   2 0 0 0 ,   1   M O N D A Y ,   V 5 ;   C a m e r e r   C F ,   2 0 0 2 ,   J   E C O N   T H E O R Y ,   V 1 0 4 ,   P 1 3 7 ,   D O I   1 0 . 1 0 0 6 / j e t h . 2 0 0 2 . 2 9 2 7 ;   C o h e n   B ,   2 0 0 3 ,   P   P 2 P   E C   W O R K S H   B E R K ;   D e l l a r o c a s   C ,   2 0 0 7 ,   I N F O R M   S Y S T   R E S ,   V 1 7 ,   P 2 7 1 ;   D e l l a r o c a s   C ,   2 0 0 5 ,   I N F O R M   S Y S T   R E S ,   V 1 6 ,   P 2 0 9 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 5 0 . 0 0 5 4 ;   F e l d m a n   M . ,   2 0 0 4 ,   P   5   A C M   C   E L   C O M M ,   P 1 0 2 ,   D O I   D O I   1 0 . 1 1 4 5 / 9 8 8 7 7 2 . 9 8 8 7 8 8 ;   F O S T E R   D ,   1 9 9 0 ,   T H E O R   P O P U L   B I O L ,   V 3 8 ,   P 2 1 9 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 0 - 5 8 0 9 ( 9 0 ) 9 0 0 1 1 - J ;   F r e i d l i n   M .   I . ,   1 9 8 4 ,   R A N D O M   P E R T U R B A T I O N S ;   F u d e n b e r g   D . ,   1 9 9 8 ,   T H E O R Y   L E A R N I N G   G A M E ;   J o h n s o n   P ,   2 0 0 1 ,   J   E C O N   T H E O R Y ,   V 1 0 0 ,   P 1 ,   D O I   1 0 . 1 0 0 6 / j e t h . 2 0 0 1 . 2 8 2 3 ;   J u r c a   R ,   2 0 0 7 ,   P   6   I N T   C   A U T   A G   M U L ;   K A N D O R I   M ,   1 9 9 3 ,   E C O N O M E T R I C A ,   V 6 1 ,   P 2 9 ,   D O I   1 0 . 2 3 0 7 / 2 9 5 1 7 7 7 ;   K i t t u r   A . ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ;   K r i s h n a m u r t h y   V ,   2 0 1 1 ,   Q U I C K E S T   T I M E   H E R D I N ;   N o r r i s   J ,   1 9 9 8 ,   M A R K O V   C H A I N S ;   P a r k   H ,   2 0 1 0 ,   I E E E   T   S I G N A L   P R O C E S ,   V 5 8 ,   P 1 2 0 5 ,   D O I   1 0 . 1 1 0 9 / T S P . 2 0 0 9 . 2 0 3 3 7 3 1 ;   S h a m m a   J ,   2 0 0 9 ,   C O O P E R A T I V E   C O N T R O L ;   S u   Y ,   2 0 1 0 ,   I E E E   J   S E L   A R E A   C O M M ,   V 2 8 ,   P 5 8 7 ,   D O I   1 0 . 1 1 0 9 / J S A C . 2 0 1 0 . 1 0 0 5 0 8 ;   Z h a n g   Y ,   A C M   T   E C   C O   I N   P R E S S ;   Z h a n g a n d   Y ,   2 0 1 2 ,   E L S E V I E R   J   S I G N A L   P R ,   V 2 7 ,   P 3 8 3 	 2 1 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 9 3 2 - 4 5 5 3 	 	 	 I E E E   J - S T S P 	 I E E E   J .   S e l .   T o p .   S i g n a l   P r o c e s s . 	 O C T 	 2 0 1 3 	 7 	 5 	 	 	 	 	 9 0 7 	 9 2 0 	 	 1 0 . 1 1 0 9 / J S T S P . 2 0 1 3 . 2 2 6 3 7 8 5 	 	 1 4 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 E n g i n e e r i n g 	 2 2 0 G L 	 W O S : 0 0 0 3 2 4 5 7 0 7 0 0 0 1 5 	 	 
 J 	 K o m p a t s i a r i s ,   I ;   G a t i c a - P e r e z ,   D ;   X i e ,   X ;   L u o ,   J B 	 	 	 	 K o m p a t s i a r i s ,   I o a n n i s ;   G a t i c a - P e r e z ,   D a n i e l ;   X i e ,   X i n g ;   L u o ,   J i e b o 	 	 	 S p e c i a l   S e c t i o n   o n   S o c i a l   M e d i a   a s   S e n s o r s 	 I E E E   T R A N S A C T I O N S   O N   M U L T I M E D I A 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 S o c i a l   m e d i a ;   s o c i a l   m e d i a   a n a l y t i c s ;   s o c i a l   m e d i a   s e n s o r s ;   s o c i a l   s e n s i n g ;   c r o w d s o u r c i n g 	 	 S o c i a l   m e d i a   h a v e   t r a n s f o r m e d   t h e   W e b   i n t o   a n   i n t e r a c t i v e   s h a r i n g   p l a t f o r m   w h e r e   u s e r s   u p l o a d   d a t a   a n d   m e d i a ,   c o m m e n t   o n ,   a n d   s h a r e   t h i s   c o n t e n t   w i t h i n   t h e i r   s o c i a l   c i r c l e s .   E a c h   c o n t e n t   i t e m   i s   a s s o c i a t e d   w i t h   a n   a b u n d a n c e   o f   m e t a d a t a   a n d   r e l a t e d   i n f o r m a t i o n   s u c h   a s   l o c a t i o n ,   t a g s ,   c o m m e n t s ,   f a v o r i t e s   a n d   m o o d   i n d i c a t o r s ,   a c c e s s   l o g s ,   a n d   s o   o n .   A t   t h e   s a m e   t i m e ,   a l l   t h i s   i n f o r m a t i o n   i s   i m p l i c i t l y   o r   e x p l i c i t l y   i n t e r c o n n e c t e d   b a s e d   o n   v a r i o u s   p r o p e r t i e s   s u c h   a s   s o c i a l   l i n k s   a m o n g   u s e r s ,   g r o u p s ,   c o m m u n i t i e s ,   a n d   s h a r i n g   p a t t e r n s .   T h e s e   p r o p e r t i e s   t r a n s f o r m   s o c i a l   m e d i a   i n t o   d a t a   s o u r c e s   o f   a n   e x t r e m e l y   d y n a m i c   n a t u r e   t h a t   r e f l e c t   t o p i c s   o f   i n t e r e s t s ,   e v e n t s ,   a n d   t h e   e v o l u t i o n   o f   c o m m u n i t y   o p i n i o n   a n d   f o c u s .   S o c i a l   m e d i a   p r o c e s s i n g   o f f e r s   a   u n i q u e   o p p o r t u n i t y   t o   s t r u c t u r e   a n d   e x t r a c t   i n f o r m a t i o n   a n d   t o   b e n e f i t   m u l t i p l e   a r e a s   r a n g i n g   f r o m   c o m p u t e r   v i s i o n   t o   p s y c h o l o g y   a n d   m a r k e t i n g .   T h e   o b j e c t i v e   o f   t h i s   s p e c i a l   s e c t i o n   i s   t o   p r o v i d e   a n   o v e r v i e w   o f   t h e   c u r r e n t   r e s e a r c h   i n   e m e r g i n g   t o p i c s   r e l a t e d   t o   a p p l i c a t i o n s   w h e r e   s o c i a l   m e d i a   c a n   a c t   a s   s e n s o r s   o f   r e a l - l i f e   p h e n o m e n a   a n d   c a s e   s t u d i e s   t h a t   r e v e a l   v a l u a b l e   i n s i g h t s   u s u a l l y   n o t   p o s s i b l e   w i t h   e x i s t i n g ,   l i m i t e d ,   c o n t r o l l e d ,   a n d   l a b o r a t o r y - b a s e d   d a t a s e t s . 	 [ K o m p a t s i a r i s ,   I o a n n i s ]   C E R T H ,   I n s t   I n f o r m a t   T e c h n o l ,   T h e s s a l o n i k i ,   G r e e c e ;   [ G a t i c a - P e r e z ,   D a n i e l ]   I d i a p   R e s   I n s t ,   S o c i a l   C o m p   G r p ,   L a u s a n n e ,   S w i t z e r l a n d ;   [ G a t i c a - P e r e z ,   D a n i e l ]   E c o l e   P o l y t e c h   F e d   L a u s a n n e ,   C H - 1 0 1 5   L a u s a n n e ,   S w i t z e r l a n d ;   [ X i e ,   X i n g ]   M i c r o s o f t   R e s   A s i a ,   B e i j i n g ,   P e o p l e s   R   C h i n a ;   [ L u o ,   J i e b o ]   U n i v   R o c h e s t e r ,   R o c h e s t e r ,   N Y   U S A 	 K o m p a t s i a r i s ,   I   ( r e p r i n t   a u t h o r ) ,   C E R T H ,   I n s t   I n f o r m a t   T e c h n o l ,   T h e s s a l o n i k i ,   G r e e c e . 	 i k o m @ i t i . g r ;   g a t i c a @ i d i a p . c h ;   X i n g . X i e @ m i c r o s o f t . c o m ;   j l u o @ c s . r o c h e s t e r . e d u 	 	 	 	 	 	 0 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 5 2 0 - 9 2 1 0 	 	 	 I E E E   T   M U L T I M E D I A 	 I E E E   T r a n s .   M u l t i m e d i a 	 O C T 	 2 0 1 3 	 1 5 	 6 	 	 	 	 	 1 2 2 9 	 1 2 3 0 	 	 1 0 . 1 1 0 9 / T M M . 2 0 1 3 . 2 2 6 4 2 3 2 	 	 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 2 2 2 X H 	 W O S : 0 0 0 3 2 4 7 6 5 4 0 0 0 0 1 	 	 
 J 	 R u d i n a c ,   S ;   L a r s o n ,   M ;   H a n j a l i c ,   A 	 	 	 	 R u d i n a c ,   S t e v a n ;   L a r s o n ,   M a r t h a ;   H a n j a l i c ,   A l a n 	 	 	 L e a r n i n g   C r o w d s o u r c e d   U s e r   P r e f e r e n c e s   f o r   V i s u a l   S u m m a r i z a t i o n   o f   I m a g e   C o l l e c t i o n s 	 I E E E   T R A N S A C T I O N S   O N   M U L T I M E D I A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   i m a g e   a e s t h e t i c   a p p e a l ;   i m a g e   c o n t e n t   a n d   c o n t e x t ;   i m a g e   s e t   e v a l u a t i o n ;   l e a r n i n g   t o   r a n k ;   s e n t i m e n t   a n a l y s i s ;   s o c i a l   m e d i a ;   u s e r - i n f o r m e d   v i s u a l   s u m m a r i z a t i o n 	 	 I n   t h i s   p a p e r   w e   p r o p o s e   a   n o v e l   a p p r o a c h   t o   s e l e c t i n g   i m a g e s   s u i t a b l e   f o r   i n c l u s i o n   i n   t h e   v i s u a l   s u m m a r i e s .   T h e   a p p r o a c h   i s   g r o u n d e d   i n   i n s i g h t s   a b o u t   h o w   p e o p l e   s u m m a r i z e   i m a g e   c o l l e c t i o n s .   W e   u t i l i z e   t h e   A m a z o n   M e c h a n i c a l   T u r k   c r o w d s o u r c i n g   p l a t f o r m   t o   o b t a i n   a   l a r g e   n u m b e r   o f   m a n u a l l y   c r e a t e d   v i s u a l   s u m m a r i e s   a s   w e l l   a s   i n f o r m a t i o n   a b o u t   c r i t e r i a   f o r   i m a g e   i n c l u s i o n   i n   t h e   s u m m a r y .   B a s e d   o n   t h e s e   l a r g e - s c a l e   u s e r   t e s t s ,   w e   p r o p o s e   a n   a u t o m a t i c   i m a g e   s e l e c t i o n   a p p r o a c h ,   w h i c h   j o i n t l y   u t i l i z e s   t h e   a n a l y s i s   o f   i m a g e   c o n t e n t ,   c o n t e x t ,   p o p u l a r i t y ,   v i s u a l   a e s t h e t i c   a p p e a l   a s   w e l l   a s   t h e   s e n t i m e n t   d e r i v e d   f r o m   t h e   c o m m e n t s   p o s t e d   o n   t h e   i m a g e s .   I n   o u r   a p p r o a c h   w e   d o   n o t   d e s c r i b e   i m a g e s   b a s e d   o n   t h e i r   p r o p e r t i e s   o n l y ,   b u t   a l s o   i n   t h e   c o n t e x t   o f   s e m a n t i c a l l y   r e l a t e d   i m a g e s ,   w h i c h   i m p r o v e s   r o b u s t n e s s   a n d   e f f e c t i v e l y   e n a b l e s   p r o p a g a t i o n   o f   s e n t i m e n t ,   a e s t h e t i c   a p p e a l   a s   w e l l   a s   v a r i o u s   i n h e r e n t   a t t r i b u t e s   a s s o c i a t e d   w i t h   a   p a r t i c u l a r   g r o u p   o f   i m a g e s .   W e   d i s c u s s   t h e   p h e n o m e n o n   o f   a   l o w   i n t e r - u s e r   a g r e e m e n t ,   w h i c h   m a k e s   a n   a u t o m a t i c   e v a l u a t i o n   o f   v i s u a l   s u m m a r i e s   a   c h a l l e n g i n g   t a s k   a n d   p r o p o s e   a   s o l u t i o n   i n s p i r e d   b y   t h e   t e x t   s u m m a r i z a t i o n   a n d   m a c h i n e   t r a n s l a t i o n   c o m m u n i t i e s .   T h e   e x p e r i m e n t s   p e r f o r m e d   o n   a   c o l l e c t i o n   o f   g e o - r e f e r e n c e d   F l i c k r   i m a g e s   d e m o n s t r a t e   t h e   e f f e c t i v e n e s s   o f   o u r   i m a g e   s e l e c t i o n   a p p r o a c h . 	 [ R u d i n a c ,   S t e v a n ;   L a r s o n ,   M a r t h a ;   H a n j a l i c ,   A l a n ]   D e l f t   U n i v   T e c h n o l ,   M u l t i m e d i a   I n f o r m a t   R e t r i e v a l   L a b ,   D e l f t ,   N e t h e r l a n d s 	 R u d i n a c ,   S   ( r e p r i n t   a u t h o r ) ,   D e l f t   U n i v   T e c h n o l ,   M u l t i m e d i a   I n f o r m a t   R e t r i e v a l   L a b ,   D e l f t ,   N e t h e r l a n d s . 	 s . r u d i n a c @ t u d e l f t . n l ;   m . a . l a r s o n @ t u d e l f t . n l ;   a . h a n j a l i c @ t u d e l f t . n l 	 L a r s o n ,   M a r t h a / E - 9 9 8 3 - 2 0 1 4 	 	 E u r o p e a n   C o m m i s s i o n   [ 2 1 6 4 4 4 ] 	 M a n u s c r i p t   r e c e i v e d   S e p t e m b e r   0 7 ,   2 0 1 2 ;   r e v i s e d   J a n u a r y   3 1 ,   2 0 1 3   a n d   A p r i l   1 8 ,   2 0 1 3 ;   a c c e p t e d   A p r i l   2 4 ,   2 0 1 3 .   D a t e   o f   p u b l i c a t i o n   M a y   0 3 ,   2 0 1 3 ;   d a t e   o f   c u r r e n t   v e r s i o n   S e p t e m b e r   1 3 ,   2 0 1 3 .   T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   E u r o p e a n   C o m m i s s i o n ' s   7 t h   F r a m e w o r k   P r o g r a m m e   ( F P 7 )   u n d e r   g r a n t   a g r e e m e n t   n o .   2 1 6 4 4 4   ( N o E   P e t a M e d i a ) .   T h e   a s s o c i a t e   e d i t o r   c o o r d i n a t i n g   t h e   r e v i e w   o f   t h i s   m a n u s c r i p t   a n d   a p p r o v i n g   i t   f o r   p u b l i c a t i o n   w a s   D r .   D a n i e l   G a t i c a - P e r e z . 	 C a o   L L ,   2 0 1 0 ,   I N T   C O N F   A C O U S T   S P E E ,   P 2 2 7 4 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 2 0 1 0 . 5 4 9 5 9 0 5 ;   C A R B O N E L L   J ,   1 9 9 8 ,   S I G I R   9 8 ,   V 9 9 ,   P 3 3 5 ;   C h a p e l l e   O ,   2 0 1 0 ,   I N F O R M   R E T R I E V A L ,   V 1 3 ,   P 2 0 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 0 9 - 9 1 0 9 - 9 ;   C l e m e n t s   M . ,   2 0 1 0 ,   T H E S I S   T U   D E L F T   D E L F ;   D a n g   H .   T . ,   2 0 0 6 ,   D U C   0 6 ;   D a t t a   R ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 9 5 3 ,   P 2 8 8 ;   D e n e c k e   K . ,   2 0 0 8 ,   P   I E E E   2 4   I N T   C   D A T ,   P 5 0 7 ;   D w o r k   C . ,   2 0 0 1 ,   W W W   0 1 ,   P 6 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 3 7 1 9 2 0 . 3 7 2 1 6 5 ;   E i c k h o f f   C . ,   2 0 1 1 ,   P   C S D M   1 1 ;   E s u l i   A . ,   2 0 0 6 ,   L R E C   0 6 ,   P 4 1 7 ;   F r e y   B J ,   2 0 0 7 ,   S C I E N C E ,   V 3 1 5 ,   P 9 7 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 3 6 8 0 0 ;   H a r m a n   D . ,   2 0 0 2 ,   H L T   0 2 ,   P 4 4 ;   H a s l e r   D ,   2 0 0 3 ,   P   S O C   P H O T O - O P T   I N S ,   V 5 0 0 7 ,   P 8 7 ,   D O I   1 0 . 1 1 1 7 / 1 2 . 4 7 7 3 7 8 ;   J o a c h i m s   T . ,   2 0 0 2 ,   K D D   0 2 ,   P 1 3 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 7 7 5 0 4 7 . 7 7 5 0 6 7 ;   J o c h e m s   B ,   2 0 1 0 ,   1 1 T H   A N N U A L   C O N F E R E N C E   O F   T H E   I N T E R N A T I O N A L   S P E E C H   C O M M U N I C A T I O N   A S S O C I A T I O N   2 0 1 0   ( I N T E R S P E E C H   2 0 1 0 ) ,   V O L S   1 - 2 ,   P 4 9 0 ;   K a z a i   G ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 1 1 ,   P 1 6 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 1 6 1 - 5 _ 1 7 ;   K e n n e d y   L . S . ,   2 0 0 8 ,   W W W   0 8 ,   P 2 9 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 6 7 4 9 7 . 1 3 6 7 5 3 9 ;   L e e   Y J ,   2 0 1 2 ,   P R O C   C V P R   I E E E ,   P 1 3 4 6 ;   L i   Y . ,   2 0 1 0 ,   M M   1 0 ,   P 8 5 1 ;   L i n   C . - Y . ,   2 0 0 4 ,   P   W O R K S H   T E X T   S U M M   B ,   P 7 4 ;   L o w e   D G ,   2 0 0 4 ,   I N T   J   C O M P U T   V I S I O N ,   V 6 0 ,   P 9 1 ,   D O I   1 0 . 1 0 2 3 / B : V I S I . 0 0 0 0 0 2 9 6 6 4 . 9 9 6 1 5 . 9 4 ;   M I L L E R   G A ,   1 9 9 5 ,   C O M M U N   A C M ,   V 3 8 ,   P 3 9 ,   D O I   1 0 . 1 1 4 5 / 2 1 9 7 1 7 . 2 1 9 7 4 8 ;   M o o r t h y   A K ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 3 1 5 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 5 5 5 5 - 0 _ 1 ;   N a r v e k a r   N D ,   2 0 1 1 ,   I E E E   T   I M A G E   P R O C E S S ,   V 2 0 ,   P 2 6 7 8 ,   D O I   1 0 . 1 1 0 9 / T I P . 2 0 1 1 . 2 1 3 1 6 6 0 ;   N a r v e k a r   N .   D . ,   C P B D   S H A R P N E S S   M E T R I ;   N e n k o v a   A ,   2 0 0 4 ,   H L T - N A A C L   2 0 0 4 :   H U M A N   L A N G U A G E   T E C H N O L O G Y   C O N F E R E N C E   O F   T H E   N O R T H   A M E R I C A N   C H A P T E R   O F   T H E   A S S O C I A T I O N   F O R   C O M P U T A T I O N A L   L I N G U I S T I C S ,   P R O C E E D I N G S   O F   T H E   M A I N   C O N F E R E N C E ,   P 1 4 5 ;   N o w a k   S . ,   2 0 1 0 ,   M I R   1 0   P   I N T   C   M U L T ,   P 5 5 7 ;   O b r a d o r   P . ,   2 0 0 9 ,   I S   T   S P I E ,   V 7 2 4 2 ;   O v e r   P . ,   2 0 0 8 ,   T V S   0 8 ,   P 1 ;   O w c z a r z a k   K . ,   2 0 1 1 ,   P   T E X T   A N   C ;   P a n g   Y W ,   2 0 1 1 ,   C O M P U T   V I S   I M A G E   U N D ,   V 1 1 5 ,   P 3 5 2 ,   D O I   1 0 . 1 0 1 6 / j . c v i u . 2 0 1 0 . 1 0 . 0 1 0 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   P a p i n e n i   K . ,   2 0 0 2 ,   A C L ,   P 3 1 1 ;   P a r k   Y J ,   2 0 0 8 ,   R E C S Y S ' 0 8 :   P R O C E E D I N G S   O F   T H E   2 0 0 8   A C M   C O N F E R E N C E   O N   R E C O M M E N D E R   S Y S T E M S ,   P 1 1 ;   P i h u r   V ,   2 0 0 9 ,   B M C   B I O I N F O R M A T I C S ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 1 0 - 6 2 ;   P o p e s c u   A . ,   2 0 0 9 ,   C I K M   C ,   P 1 7 1 3 ;   R a d e v   D R ,   2 0 0 2 ,   C O M P U T   L I N G U I S T ,   V 2 8 ,   P 3 9 9 ,   D O I   1 0 . 1 1 6 2 / 0 8 9 1 2 0 1 0 2 7 6 2 6 7 1 9 2 7 ;   R o s s   J . ,   2 0 1 0 ,   C H I   E A   1 0   P   2 8   I N T   C ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 ;   R u d i n a c   S . ,   I E E E   T   M U L T I M E D I A ;   S a v a k i s   A E ,   2 0 0 0 ,   P   S O C   P H O T O - O P T   I N S ,   V 3 9 5 9 ,   P 1 1 1 ,   D O I   1 0 . 1 1 1 7 / 1 2 . 3 8 7 1 4 7 ;   S i e r s d o r f e r   S . ,   2 0 1 0 ,   W W W   1 0 ,   P 8 9 1 ;   S i e r s d o r f e r   S . ,   2 0 1 0 ,   M M   1 0 ,   P 7 1 5 ;   S i m a k o v   D . ,   2 0 0 8 ,   P   I E E E   C   C O M P   V I S   P A ,   P 1 ;   S t r e h l   A . ,   2 0 0 2 ,   J   M A C H I N E   L E A R N I N G   R ,   V 3 ,   P 5 8 3 ,   D O I   D O I   1 0 . 1 1 6 2 / 1 5 3 2 4 4 3 0 3 3 2 1 8 9 7 7 3 5 ;   W a c t l a r   H .   D . ,   1 9 9 6 ,   I E E E   C O M P U T ,   V 2 9 ,   P 4 6 ;   W h i s s e l l   C ,   2 0 0 9 ,   P S Y C H O L   R E P ,   V 1 0 5 ,   P 5 0 9 ,   D O I   1 0 . 2 4 6 6 / P R 0 . 1 0 5 . 2 . 5 0 9 - 5 2 1 ;   W i l s o n   T . ,   2 0 0 5 ,   H L T   0 5 ,   P 3 4 7 ;   W i n k l e r   S ,   2 0 0 1 ,   P   S O C   P H O T O - O P T   I N S ,   V 4 2 9 9 ,   P 1 1 4 ,   D O I   1 0 . 1 1 1 7 / 1 2 . 4 2 9 5 4 0 	 4 8 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 5 2 0 - 9 2 1 0 	 	 	 I E E E   T   M U L T I M E D I A 	 I E E E   T r a n s .   M u l t i m e d i a 	 O C T 	 2 0 1 3 	 1 5 	 6 	 	 	 	 	 1 2 3 1 	 1 2 4 3 	 	 1 0 . 1 1 0 9 / T M M . 2 0 1 3 . 2 2 6 1 4 8 1 	 	 1 3 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 2 2 2 X H 	 W O S : 0 0 0 3 2 4 7 6 5 4 0 0 0 0 2 	 	 
 J 	 B a l l a t o r e ,   A ;   B e r t o l o t t o ,   M ;   W i l s o n ,   D C 	 	 	 	 B a l l a t o r e ,   A n d r e a ;   B e r t o l o t t o ,   M i c h e l a ;   W i l s o n ,   D a v i d   C . 	 	 	 G e o g r a p h i c   k n o w l e d g e   e x t r a c t i o n   a n d   s e m a n t i c   s i m i l a r i t y   i n   O p e n S t r e e t M a p 	 K N O W L E D G E   A N D   I N F O R M A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S e m a n t i c   s i m i l a r i t y ;   O p e n S t r e e t M a p ;   V o l u n t e e r e d   G e o g r a p h i c   I n f o r m a t i o n ;   O S M   S e m a n t i c   N e t w o r k ;   S i m R a n k ;   P - R a n k ;   C o - c i t a t i o n ;   C r o w d s o u r c i n g 	 C O R R E L A T I O N - C O E F F I C I E N T S ;   M E T A A N A L Y S I S ;   D O C U M E N T S ;   W E B 	 I n   r e c e n t   y e a r s ,   a   w e b   p h e n o m e n o n   k n o w n   a s   V o l u n t e e r e d   G e o g r a p h i c   I n f o r m a t i o n   ( V G I )   h a s   p r o d u c e d   l a r g e   c r o w d s o u r c e d   g e o g r a p h i c   d a t a   s e t s .   O p e n S t r e e t M a p   ( O S M ) ,   t h e   l e a d i n g   V G I   p r o j e c t ,   a i m s   a t   b u i l d i n g   a n   o p e n - c o n t e n t   w o r l d   m a p   t h r o u g h   u s e r   c o n t r i b u t i o n s .   O S M   s e m a n t i c s   c o n s i s t s   o f   a   s e t   o f   p r o p e r t i e s   ( c a l l e d   ' t a g s ' )   d e s c r i b i n g   g e o g r a p h i c   c l a s s e s ,   w h o s e   u s a g e   i s   d e f i n e d   b y   p r o j e c t   c o n t r i b u t o r s   o n   a   d e d i c a t e d   W i k i   w e b s i t e .   B e c a u s e   o f   i t s   s i m p l e   a n d   o p e n   s e m a n t i c   s t r u c t u r e ,   t h e   O S M   a p p r o a c h   o f t e n   r e s u l t s   i n   n o i s y   a n d   a m b i g u o u s   d a t a ,   l i m i t i n g   i t s   u s a b i l i t y   f o r   a n a l y s i s   i n   i n f o r m a t i o n   r e t r i e v a l ,   r e c o m m e n d e r   s y s t e m s   a n d   d a t a   m i n i n g .   D e v i s i n g   a   m e c h a n i s m   f o r   c o m p u t i n g   t h e   s e m a n t i c   s i m i l a r i t y   o f   t h e   O S M   g e o g r a p h i c   c l a s s e s   c a n   h e l p   a l l e v i a t e   t h i s   s e m a n t i c   g a p .   T h e   c o n t r i b u t i o n   o f   t h i s   p a p e r   i s   t w o f o l d .   I t   c o n s i s t s   o f   ( 1 )   t h e   d e v e l o p m e n t   o f   t h e   O S M   S e m a n t i c   N e t w o r k   b y   m e a n s   o f   a   w e b   c r a w l e r   t a i l o r e d   t o   t h e   O S M   W i k i   w e b s i t e ;   t h i s   s e m a n t i c   n e t w o r k   c a n   b e   u s e d   t o   c o m p u t e   s e m a n t i c   s i m i l a r i t y   t h r o u g h   c o - c i t a t i o n   m e a s u r e s ,   p r o v i d i n g   a   n o v e l   s e m a n t i c   t o o l   f o r   O S M   a n d   G I S   c o m m u n i t i e s ;   ( 2 )   a   s t u d y   o f   t h e   c o g n i t i v e   p l a u s i b i l i t y   ( i . e .   t h e   a b i l i t y   t o   r e p l i c a t e   h u m a n   j u d g e m e n t )   o f   c o - c i t a t i o n   a l g o r i t h m s   w h e n   a p p l i e d   t o   t h e   c o m p u t a t i o n   o f   s e m a n t i c   s i m i l a r i t y   o f   g e o g r a p h i c   c o n c e p t s .   E m p i r i c a l   e v i d e n c e   s u p p o r t s   t h e   u s a g e   o f   c o - c i t a t i o n   a l g o r i t h m s - S i m R a n k   s h o w i n g   t h e   h i g h e s t   p l a u s i b i l i t y - t o   c o m p u t e   c o n c e p t   s i m i l a r i t y   i n   a   c r o w d s o u r c e d   s e m a n t i c   n e t w o r k . 	 [ B a l l a t o r e ,   A n d r e a ;   B e r t o l o t t o ,   M i c h e l a ]   U n i v   C o l l   D u b l i n ,   S c h   C o m p   S c i   &   I n f o r m a t ,   D u b l i n   4 ,   I r e l a n d ;   [ W i l s o n ,   D a v i d   C . ]   U n i v   N   C a r o l i n a ,   D e p t   S o f t w a r e   &   I n f o r m a t   S y s t ,   C h a r l o t t e ,   N C   2 8 2 2 3   U S A 	 B a l l a t o r e ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   C o l l   D u b l i n ,   S c h   C o m p   S c i   &   I n f o r m a t ,   D u b l i n   4 ,   I r e l a n d . 	 a n d r e a . b a l l a t o r e @ u c d . i e 	 	 	 S c i e n c e   F o u n d a t i o n   I r e l a n d   [ 0 7 / S R C / I 1 1 6 8 ] 	 T h e   r e s e a r c h   p r e s e n t e d   i n   t h i s   p a p e r   w a s   f u n d e d   b y   a   S t r a t e g i c   R e s e a r c h   C l u s t e r   g r a n t   ( 0 7 / S R C / I 1 1 6 8 )   b y   S c i e n c e   F o u n d a t i o n   I r e l a n d   u n d e r   t h e   N a t i o n a l   D e v e l o p m e n t   P l a n .   T h e   a u t h o r s   g r a t e f u l l y   a c k n o w l e d g e   t h i s   s u p p o r t .   T h e y   a l s o   w i s h   t o   t h a n k   t h e   a n o n y m o u s   r e v i e w e r s   f o r   t h e i r   v a l u a b l e   s u g g e s t i o n s ,   a n d   P r o f .   L e s l i e   D a l y   ( U C D   S c h o o l   o f   P u b l i c   H e a l t h ,   P h y s i o t h e r a p y   &   P o p u l a t i o n   S c i e n c e )   f o r   h i s   i n s i g h t f u l   c o m m e n t s   o n   s t a t i s t i c a l   m e t a - a n a l y s i s . 	 A d a f r e   S .   F i s s a h a ,   2 0 0 5 ,   P   3   I N T   W O R K S H   L I N K ,   P 9 0 ,   D O I   1 0 . 1 1 4 5 / 1 1 3 4 2 7 1 . 1 1 3 4 2 8 4 ;   A g i r r e   E . ,   2 0 0 9 ,   P   H U M   L A N G   T E C H N   2 0 0 ,   P 1 9 ,   D O I   1 0 . 3 1 1 5 / 1 6 2 0 7 5 4 . 1 6 2 0 7 5 8 ;   A L T M A N   D G ,   1 9 8 8 ,   B R I T   M E D   J ,   V 2 9 6 ,   P 1 2 3 8 ;   A m s l e r   R ,   1 9 7 2 ,   1 4   L I N G   R E S   C T R ;   A u e r   S ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 8 2 3 ,   P 7 3 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 4 9 3 0 - 9 _ 4 6 ;   B a l l a t o r e   A ,   2 0 1 2 ,   S T U D I E S   C O M   I N   P R E S S ;   B a l l a t o r e   A ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 5 7 4 ,   P 7 8 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 9 1 7 3 - 2 _ 8 ;   B r o d e r   A ,   2 0 0 0 ,   C O M P U T   N E T W ,   V 3 3 ,   P 3 0 9 ,   D O I   1 0 . 1 0 1 6 / S 1 3 8 9 - 1 2 8 6 ( 0 0 ) 0 0 0 8 3 - 9 ;   C O L L I N S   A M ,   1 9 7 5 ,   P S Y C H O L   R E V ,   V 8 2 ,   P 4 0 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 5 X . 8 2 . 6 . 4 0 7 ;   D i e n e r   M J ,   2 0 0 9 ,   P S Y C H O T H E R   R E S ,   V 1 9 ,   P 5 1 9 ,   D O I   1 0 . 1 0 8 0 / 1 0 5 0 3 3 0 0 8 0 2 4 9 1 4 1 0 ;   D o l b e a r   C ,   2 0 0 8 ,   P   A A A I   S P R I N G   S   S E M ,   P 2 6 ;   E g e n h o f e r   M . ,   2 0 0 2 ,   P   1 0   A C M   I N T   S   A D V   G ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 5 8 5 1 4 7 . 5 8 5 1 4 8 ;   F E G E A S   R G ,   1 9 9 2 ,   C A R T O G R   G E O G R   I N F O R M ,   V 1 9 ,   P 2 7 8 ,   D O I   1 0 . 1 5 5 9 / 1 5 2 3 0 4 0 9 2 7 8 3 7 6 2 2 0 9 ;   F i e l d   A P ,   2 0 0 1 ,   P S Y C H O L   M E T H O D S ,   V 6 ,   P 1 6 1 ,   D O I   1 0 . 1 0 3 7 / / 1 0 8 2 - 9 8 9 X . 6 . 2 . 1 6 1 ;   F o r m i c a   A ,   2 0 0 9 ,   K N O W L   I N F   S Y S T ,   V 2 0 ,   P 2 2 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 1 1 5 - 0 0 8 - 0 1 7 7 - 8 ;   G i u n c h i g l i a   F ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 0 8 8 ,   P 1 2 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 3 4 8 6 - 9 _ 9 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   H a k l a y   M ,   2 0 0 8 ,   I E E E   P E R V A S   C O M P U T ,   V 7 ,   P 1 2 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 0 8 . 8 0 ;   H a k l a y   M ,   2 0 1 0 ,   E N V I R O N   P L A N N   B ,   V 3 7 ,   P 6 8 2 ,   D O I   1 0 . 1 0 6 8 / b 3 5 0 9 7 ;   H a k l a y   M u k i ,   2 0 0 8 ,   G E O G R A P H Y   C O M P A S S ,   V 2 ,   P 2 0 1 1 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 7 4 9 - 8 1 9 8 . 2 0 0 8 . 0 0 1 6 7 . X ;   H a l p i n   H . ,   2 0 0 7 ,   P   1 6   I N T   C   W O R L D   W I D ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 2 4 2 5 7 2 . 1 2 4 2 6 0 2 ;   H u   B ,   2 0 1 0 ,   K N O W L   I N F   S Y S T ,   V 2 5 ,   P 4 4 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 1 1 5 - 0 0 9 - 0 2 4 7 - 6 ;   H u n t e r   J .   E . ,   1 9 9 0 ,   M E T H O D S   M E T A A N A L Y S I S ;   J a n o w i c z   K . ,   2 0 1 1 ,   J   S P A T I A L   I N F O R M   S C I ,   V 2 ,   P 2 9 ;   J a n o w i c z   K ,   2 0 0 8 ,   L E C T   N O T E S   G E O I N F O R M ,   P 1 1 5 ;   J a n o w i c z   K ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 8 5 3 ,   P 1 2 8 ;   J a n o w i c z   K ,   2 0 0 8 ,   T   G I S ,   V 1 2 ,   P 6 5 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 0 8 . 0 1 1 2 9 . x ;   J e h   G . ,   2 0 0 2 ,   P   8   A C M   S I G K D D   I N T   C ,   P 5 3 8 ,   D O I   D O I   1 0 . 1 1 4 5 / 7 7 5 0 4 7 . 7 7 5 1 2 6 ;   K e s s l e r   C ,   2 0 1 1 ,   K N O W L   I N F   S Y S T ,   V 3 0 ,   P 3 1 9 ;   K E S S L E R   M M ,   1 9 6 3 ,   A M   D O C ,   V 1 4 ,   P 1 0 ,   D O I   1 0 . 1 0 0 2 / a s i . 5 0 9 0 1 4 0 1 0 3 ;   K u h n   W ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 5 3 4 ,   P 1 ;   L i   P . ,   2 0 1 0 ,   P   S I A M   I N T   C   D A T   M I N ,   P 5 7 1 ;   L i n   Y W ,   2 0 1 1 ,   N E W   R E V   H Y P E R M E D I A   M ,   V 1 7 ,   P 5 3 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 1 4 5 6 8 . 2 0 1 1 . 5 5 2 6 4 7 ;   L i n   Z ,   2 0 1 1 ,   K N O W L   I N F   S Y S T ,   V 3 2 ,   P 1 ;   L i u   J ,   2 0 1 1 ,   P   1 1   I E E E   I N T   C   D A T ,   P 1 1 9 9 ;   L i z o r k i n   D . ,   2 0 0 8 ,   P   V L D B   E N D   V E R   L A R G ,   V 1 ,   P 4 2 2 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 5 3 8 5 6 . 1 4 5 3 9 0 4 ;   M i k a   P ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 7 2 9 ,   P 5 2 2 ;   M I L L E R   G A ,   1 9 9 5 ,   C O M M U N   A C M ,   V 3 8 ,   P 3 9 ,   D O I   1 0 . 1 1 4 5 / 2 1 9 7 1 7 . 2 1 9 7 4 8 ;   M I L L E R   G A ,   1 9 9 1 ,   L A N G   C O G N I T I V E   P R O C ,   V 6 ,   P 1 ,   D O I   1 0 . 1 0 8 0 / 0 1 6 9 0 9 6 9 1 0 8 4 0 6 9 3 6 ;   M i r i z z i   R ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 1 8 9 ,   P 3 3 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 3 9 1 1 - 6 _ 2 3 ;   M o o n e y   P . ,   2 0 1 0 ,   P   1 8   S I G S P A T I A L   I N T ,   P 5 1 4 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 9 7 9 0 . 1 8 6 9 8 7 5 ;   M o o n e y   P e t e r ,   2 0 1 2 ,   F u t u r e   I n t e r n e t ,   V 4 ,   D O I   1 0 . 3 3 9 0 / f i 4 0 1 0 2 8 5 ;   M o r i t a   T . ,   2 0 0 7 ,   C A R T O G R   G E O G R   I N F   S C ,   V 3 4 ,   P 2 4 7 ,   D O I   1 0 . 1 5 5 9 / 1 5 2 3 0 4 0 0 7 7 8 2 3 8 2 9 6 3 ;   M u l l i g a n n i   C ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 8 9 9 ,   P 3 5 0 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 3 1 9 6 - 4 _ 1 9 ;   N a k a y a m a   K ,   2 0 0 8 ,   C E U R   W O R K S H O P   P ,   V 3 3 4 ,   P 5 9 ;   N i t z s c h k e   J ,   2 0 1 2 ,   T E C H N I C A L   R E P O R T ;   P r i e d h o r s k y   R ,   2 0 0 8 ,   C S C W :   2 0 0 8   A C M   C O N F E R E N C E   O N   C O M P U T E R   S U P P O R T E D   C O O P E R A T I V E   W O R K ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 2 6 7 ;   R e s n i k   P . ,   1 9 9 5 ,   P   1 4   I N T   J O I N T   C   A R T ,   V 1 ,   P 4 4 8 ;   R o b u   V ,   2 0 0 9 ,   A C M   T   W E B ,   V 3 ,   D O I   1 0 . 1 1 4 5 / 1 5 9 4 1 7 3 . 1 5 9 4 1 7 6 ;   R o d r i g u e z   M A ,   2 0 0 4 ,   I N T   J   G E O G R   I N F   S C I ,   V 1 8 ,   P 2 2 9 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 3 1 0 0 0 1 6 2 9 5 9 2 ;   R U B E N S T E . H ,   1 9 6 5 ,   C O M M U N   A C M ,   V 8 ,   P 6 2 7 ,   D O I   1 0 . 1 1 4 5 / 3 6 5 6 2 8 . 3 6 5 6 5 7 ;   S c h w e r i n g   A . ,   2 0 0 8 ,   T   G I S ,   V 1 2 ,   P 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 0 8 . 0 1 0 8 4 . x ;   C a n d a n   K .   S . ,   2 0 0 1 ,   K n o w l e d g e   a n d   I n f o r m a t i o n   S y s t e m s ,   V 3 ;   S M A L L   H ,   1 9 7 3 ,   J   A M   S O C   I N F O R M   S C I ,   V 2 4 ,   P 2 6 5 ,   D O I   1 0 . 1 0 0 2 / a s i . 4 6 3 0 2 4 0 4 0 6 ;   S o w a   J F ,   1 9 9 1 ,   P R I N C I P L E S   S E M A N T I C ;   S p e a r m a n   C ,   1 9 0 4 ,   A M   J   P S Y C H O L ,   V 1 5 ,   P 7 2 ,   D O I   1 0 . 2 3 0 7 / 1 4 1 2 1 5 9 ;   S u i   D Z ,   2 0 0 8 ,   C O M P U T   E N V I R O N   U R B A N ,   V 3 2 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e n v u r b s y s . 2 0 0 7 . 1 2 . 0 0 1 ;   T u r d a k o v   D . ,   2 0 0 8 ,   C E U R   W O R K S H O P   P ,   V 3 5 5 ;   T u r n e r   A . ,   2 0 0 6 ,   I N T R O   N E O G E O G R A P H Y ;   W a n   X J ,   2 0 0 8 ,   K N O W L   I N F   S Y S T ,   V 1 5 ,   P 5 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 1 1 5 - 0 0 6 - 0 0 4 7 - 1 ;   W i t t g e n s t e i n   L . ,   2 0 0 9 ,   P H I L O S   I N V E S T I G A T I O N ;   Z h a o   P . ,   2 0 0 9 ,   P   1 8   A C M   C   I N F   K N O W L ,   P 5 5 3 ,   D O I   1 0 . 1 1 4 5 / 1 6 4 5 9 5 3 . 1 6 4 6 0 2 5 	 6 2 	 4 	 4 	 S P R I N G E R   L O N D O N   L T D 	 L O N D O N 	 2 3 6   G R A Y S   I N N   R D ,   6 T H   F L O O R ,   L O N D O N   W C 1 X   8 H L ,   E N G L A N D 	 0 2 1 9 - 1 3 7 7 	 	 	 K N O W L   I N F   S Y S T 	 K n o w l .   I n f .   S y s t . 	 O C T 	 2 0 1 3 	 3 7 	 1 	 	 	 	 	 6 1 	 8 1 	 	 1 0 . 1 0 0 7 / s 1 0 1 1 5 - 0 1 2 - 0 5 7 1 - 0 	 	 2 1 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 2 2 1 J A 	 W O S : 0 0 0 3 2 4 6 5 2 9 0 0 0 0 3 	 	 
 J 	 D e m a r t i n i ,   G ;   D i f a l l a h ,   D E ;   C u d r e - M a u r o u x ,   P 	 	 	 	 D e m a r t i n i ,   G i a n l u c a ;   D i f a l l a h ,   D j e l l e l   E d d i n e ;   C u d r e - M a u r o u x ,   P h i l i p p e 	 	 	 L a r g e - s c a l e   l i n k e d   d a t a   i n t e g r a t i o n   u s i n g   p r o b a b i l i s t i c   r e a s o n i n g   a n d   c r o w d s o u r c i n g 	 V L D B   J O U R N A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 I n s t a n c e   m a t c h i n g ;   E n t i t y   l i n k i n g ;   D a t a   i n t e g r a t i o n ;   C r o w d s o u r c i n g ;   P r o b a b i l i s t i c   r e a s o n i n g 	 R E C O R D - L I N K A G E 	 W e   t a c k l e   t h e   p r o b l e m s   o f   s e m i a u t o m a t i c a l l y   m a t c h i n g   l i n k e d   d a t a   s e t s   a n d   o f   l i n k i n g   l a r g e   c o l l e c t i o n s   o f   W e b   p a g e s   t o   l i n k e d   d a t a .   O u r   s y s t e m ,   Z e n C r o w d ,   ( 1 )   u s e s   a   t h r e e - s t a g e   b l o c k i n g   t e c h n i q u e   i n   o r d e r   t o   o b t a i n   t h e   b e s t   p o s s i b l e   i n s t a n c e   m a t c h e s   w h i l e   m i n i m i z i n g   b o t h   c o m p u t a t i o n a l   c o m p l e x i t y   a n d   l a t e n c y ,   a n d   ( 2 )   i d e n t i f i e s   e n t i t i e s   f r o m   n a t u r a l   l a n g u a g e   t e x t   u s i n g   s t a t e - o f - t h e - a r t   t e c h n i q u e s   a n d   a u t o m a t i c a l l y   c o n n e c t s   t h e m   t o   t h e   l i n k e d   o p e n   d a t a   c l o u d .   F i r s t ,   w e   u s e   s t r u c t u r e d   i n v e r t e d   i n d i c e s   t o   q u i c k l y   f i n d   p o t e n t i a l   c a n d i d a t e   r e s u l t s   f r o m   e n t i t i e s   t h a t   h a v e   b e e n   i n d e x e d   i n   o u r   s y s t e m .   O u r   s y s t e m   t h e n   a n a l y z e s   t h e   c a n d i d a t e   m a t c h e s   a n d   r e f i n e s   t h e m   w h e n e v e r   d e e m e d   n e c e s s a r y   u s i n g   c o m p u t a t i o n a l l y   m o r e   e x p e n s i v e   q u e r i e s   o n   a   g r a p h   d a t a b a s e .   F i n a l l y ,   w e   r e s o r t   t o   h u m a n   c o m p u t a t i o n   b y   d y n a m i c a l l y   g e n e r a t i n g   c r o w d s o u r c i n g   t a s k s   i n   c a s e   t h e   a l g o r i t h m i c   c o m p o n e n t s   f a i l   t o   c o m e   u p   w i t h   c o n v i n c i n g   r e s u l t s .   W e   i n t e g r a t e   a l l   r e s u l t s   f r o m   t h e   i n v e r t e d   i n d i c e s ,   f r o m   t h e   g r a p h   d a t a b a s e   a n d   f r o m   t h e   c r o w d   u s i n g   a   p r o b a b i l i s t i c   f r a m e w o r k   i n   o r d e r   t o   m a k e   s e n s i b l e   d e c i s i o n s   a b o u t   c a n d i d a t e   m a t c h e s   a n d   t o   i d e n t i f y   u n r e l i a b l e   h u m a n   w o r k e r s .   I n   t h e   f o l l o w i n g ,   w e   g i v e   a n   o v e r v i e w   o f   t h e   a r c h i t e c t u r e   o f   o u r   s y s t e m   a n d   d e s c r i b e   i n   d e t a i l   o u r   n o v e l   t h r e e - s t a g e   b l o c k i n g   t e c h n i q u e   a n d   o u r   p r o b a b i l i s t i c   d e c i s i o n   f r a m e w o r k .   W e   a l s o   r e p o r t   o n   a   s e r i e s   o f   e x p e r i m e n t a l   r e s u l t s   o n   a   s t a n d a r d   d a t a   s e t ,   s h o w i n g   t h a t   o u r   s y s t e m   c a n   a c h i e v e   a   9 5   %   a v e r a g e   a c c u r a c y   o n   i n s t a n c e   m a t c h i n g   ( a s   c o m p a r e d   t o   t h e   i n i t i a l   8 8   %   a v e r a g e   a c c u r a c y   o f   t h e   p u r e l y   a u t o m a t i c   b a s e l i n e )   w h i l e   d r a s t i c a l l y   l i m i t i n g   t h e   a m o u n t   o f   w o r k   p e r f o r m e d   b y   t h e   c r o w d .   T h e   e x p e r i m e n t a l   e v a l u a t i o n   o f   o u r   s y s t e m   o n   t h e   e n t i t y   l i n k i n g   t a s k   s h o w s   a n   a v e r a g e   r e l a t i v e   i m p r o v e m e n t   o f   1 4   %   o v e r   o u r   b e s t   a u t o m a t i c   a p p r o a c h . 	 [ D e m a r t i n i ,   G i a n l u c a ;   D i f a l l a h ,   D j e l l e l   E d d i n e ;   C u d r e - M a u r o u x ,   P h i l i p p e ]   U n i v   F r i b o u r g ,   e X a s c a l e   I n f o l a b ,   C H - 1 7 0 0   F r i b o u r g ,   S w i t z e r l a n d 	 D e m a r t i n i ,   G   ( r e p r i n t   a u t h o r ) ,   U n i v   F r i b o u r g ,   e X a s c a l e   I n f o l a b ,   C H - 1 7 0 0   F r i b o u r g ,   S w i t z e r l a n d . 	 g i a n l u c a . d e m a r t i n i @ u n i f r . c h ;   d j e l l e l e d d i n e . d i f a l l a h @ u n i f r . c h ;   p h i l i p p e . c u d r e - m a u r o u x @ u n i f r . c h 	 D e m a r t i n i ,   G i a n l u c a / G - 4 6 3 5 - 2 0 1 2 	 	 S w i s s   N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ P P 0 0 P 2 _ 1 2 8 4 5 9 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   S w i s s   N a t i o n a l   S c i e n c e   F o u n d a t i o n   u n d e r   g r a n t   n u m b e r   P P 0 0 P 2 _ 1 2 8 4 5 9 . 	 A l o n s o   O ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 1 1 ,   P 1 5 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 1 6 1 - 5 _ 1 6 ;   B a i l e y   P . ,   2 0 0 7 ,   T R E C ;   B a l o g   K . ,   2 0 1 0 ,   T R E C ;   B a n k o   M ,   2 0 0 7 ,   2 0 T H   I N T E R N A T I O N A L   J O I N T   C O N F E R E N C E   O N   A R T I F I C I A L   I N T E L L I G E N C E ,   P 2 6 7 0 ;   B i l e n k o   M . ,   2 0 0 3 ,   P   9   A C M   S I G K D D   I N T   C ,   P 3 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 9 5 6 7 5 0 . 9 5 6 7 5 9 ;   B l a n c o   R ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 7 0 3 1 ,   P 8 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 5 0 7 3 - 6 _ 6 ;   B l a n c o   R . ,   2 0 1 1 ,   S I G I R ,   P 9 2 3 ;   B o u q u e t   P . ,   2 0 0 8 ,   P   I E E E   I N T   C   S E M   C O M ,   P 5 5 4 ;   B u n e s c u   R .   C . ,   2 0 0 6 ,   E A C L ;   C h r i s t e n   P ,   2 0 1 2 ,   I E E E   T   K N O W L   D A T A   E N ,   V 2 4 ,   P 1 5 3 7 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 1 1 . 1 2 7 ;   C i a r a m i t a   M a s s i m i l i a n o ,   2 0 0 6 ,   P   2 0 0 6   C   E M P   M E T H   N A ,   P 5 9 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 0 0 7 5 . 1 6 1 0 1 5 8 ;   C u c e r z a n   S . ,   2 0 0 7 ,   P   E M N L P   C O N L L ,   V 2 0 0 7 ,   P 7 0 8 ;   C u d r e - M a u r o u x   P . ,   2 0 0 6 ,   I N T   C   D A T   E N G   I C D E ;   C u d r e - M a u r o u x   P . ,   2 0 0 9 ,   W W W   2 0 0 9 ,   P 5 9 1 ,   D O I   1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 7 8 9 ;   C u n n i n g h a m   H . ,   2 0 0 2 ,   P   4 0   A N N   M   A C L ;   D e m a r t i n i   G . ,   2 0 1 2 ,   P   2 1   I N T   C   W O R L D   W I D ,   P 4 6 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 1 8 7 8 3 6 . 2 1 8 7 9 0 0 ;   D e m a r t i n i   G . ,   2 0 0 9 ,   I N E X ,   P 2 5 4 ;   D e m p s t e r   A .   P . ,   1 9 7 7 ,   J   R   S T A T   S O C ,   V 3 9 ;   D i f a l l a h   D . E . ,   2 0 1 3 ,   W W W   1 3 ;   D o n g   X . ,   2 0 0 5 ,   S I G M O D   C ,   P 8 5 ;   F e n g   A . ,   2 0 1 1 ,   P V L D B ,   V 4 ,   P 1 3 8 7 ;   F I N I N   T . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 8 0 ;   G e t o o r   L . ,   2 0 1 2 ,   V L D B ;   H a a s   K . ,   2 0 1 1 ,   S I G I R ,   P 7 2 5 ;   H a n   X . ,   2 0 0 9 ,   P   1 8   A C M   C   I N F   K N O W L ,   P 2 1 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 4 5 9 5 3 . 1 6 4 5 9 8 3 ;   J A R O   M A ,   1 9 8 9 ,   J   A M   S T A T   A S S O C ,   V 8 4 ,   P 4 1 4 ,   D O I   1 0 . 2 3 0 7 / 2 2 8 9 9 2 4 ;   K a z a i   G . ,   2 0 1 1 ,   S I G I R ,   P 2 0 5 ;   K a z a i   G ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 1 1 ,   P 1 6 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 1 6 1 - 5 _ 1 7 ;   K l e i n   D . ,   2 0 0 3 ,   P   4 1   A N N   M   A S S   C O M P ,   V 1 ,   P 4 2 3 ,   D O I   D O I   1 0 . 3 1 1 5 / 1 0 7 5 0 9 6 . 1 0 7 5 1 5 0 ;   K o h l s c h u t t e r   C . ,   2 0 1 0 ,   W S D M ,   P 4 4 1 ;   K s c h i s c h a n g   F . ,   2 0 0 1 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 4 7 ;   L e v e n s h t e i n   V .   I . ,   1 9 6 6 ,   S O V   P H Y S   D O K L ,   V 1 0 ,   P 7 0 7 ;   L i m   E P ,   1 9 9 6 ,   I N F O R M   S C I E N C E S ,   V 8 9 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 0 - 0 2 5 5 ( 9 5 ) 0 0 1 8 5 - 9 ;   L i u   X . ,   2 0 1 2 ,   P   V L D B   E N D O W M E N T ,   V 5 ,   P 1 0 4 0 ;   M a r c u s   A . ,   2 0 1 1 ,   P   V L D B   E N D O W ,   V 5 ,   P 1 3 ;   M e n d e s   P . N . ,   2 0 1 1 ,   P   7   I N T   C   S E M   S Y S T   I ;   M i h a l c e a   R ,   2 0 0 7 ,   P   1 6   A C M   C   I N F   K N O W L ,   P 2 3 3 ,   D O I   1 0 . 1 1 4 5 / 1 3 2 1 4 4 0 . 1 3 2 1 4 7 5 ;   M u r p h y   K . M . ,   1 9 9 9 ,   U N C E R T A I N T Y   A R T I F I C I ;   O n   B . ,   2 0 0 7 ,   P   2 3   I E E E   I N T   C   D A T ,   P 4 9 6 ;   P a p a d a k i s   G . ,   2 0 1 2 ,   P   5   A C M   I N T   C   W E B   S E ,   P 5 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 1 2 4 2 9 5 . 2 1 2 4 3 0 5 ;   P a s c a   M . ,   2 0 0 6 ,   P   E A C L ,   V 6 ;   P o u n d   J . ,   2 0 1 0 ,   W W W ,   P 7 7 1 ;   S e l k e   J . ,   2 0 1 2 ,   P   V L D B   E N D O W ,   V 5 ,   P 5 3 8 ;   S h e n   W . ,   2 0 1 2 ,   P   1 8   A C M   S I G K D D   I N T ,   P 1 4 2 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 3 3 9 5 3 0 . 2 3 3 9 7 5 3 ;   T o n o n   A l b e r t o ,   2 0 1 2 ,   P r o c e e d i n g s   o f   t h e   3 5 t h   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   &   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l   ( S I G I R   2 0 1 2 ) ,   D O I   1 0 . 1 1 4 5 / 2 3 4 8 2 8 3 . 2 3 4 8 3 0 4 ;   v o n   A h n   L ,   2 0 0 6 ,   P   S I G C H I   C   H U M   F A C T ,   P 5 5 ,   D O I   1 0 . 1 1 4 5 / 1 1 2 4 7 7 2 . 1 1 2 4 7 8 2 ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   W a n g   J . ,   2 0 1 2 ,   P V L D B ,   V 5 ,   P 1 4 8 3 ;   W h a n g   S E ,   2 0 0 9 ,   A C M   S I G M O D / P O D S   2 0 0 9   C O N F E R E N C E ,   P 2 1 9 ;   W i n k l e r   W . ,   1 9 9 9 ,   S T A T   R E S   D I V I S I O N ;   W y l o t   M ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 7 0 3 1 ,   P 7 7 8 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 5 0 7 3 - 6 _ 4 9 	 5 1 	 0 	 0 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 3   U S A 	 1 0 6 6 - 8 8 8 8 	 	 	 V L D B   J 	 V L D B   J . 	 O C T 	 2 0 1 3 	 2 2 	 5 	 	 	 S I 	 	 6 6 5 	 6 8 7 	 	 1 0 . 1 0 0 7 / s 0 0 7 7 8 - 0 1 3 - 0 3 2 4 - z 	 	 2 3 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 2 2 1 R V 	 W O S : 0 0 0 3 2 4 6 7 7 4 0 0 0 0 5 	 	 
 J 	 L e e ,   J ;   C h o ,   H ;   P a r k ,   J W ;   C h a ,   Y R ;   H w a n g ,   S W ;   N i e ,   Z Q ;   W e n ,   J R 	 	 	 	 L e e ,   J o n g w u k ;   C h o ,   H y u n s o u k ;   P a r k ,   J i n - W o o ;   C h a ,   Y o u n g - R o k ;   H w a n g ,   S e u n g - W o n ;   N i e ,   Z a i q i n g ;   W e n ,   J i - R o n g 	 	 	 H y b r i d   e n t i t y   c l u s t e r i n g   u s i n g   c r o w d s   a n d   d a t a 	 V L D B   J O U R N A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 E n t i t y - l e v e l   s e a r c h ;   S u b s p a c e   c l u s t e r i n g ;   H y b r i d   e n t i t y   c l u s t e r i n g ;   C r o w d s o u r c i n g 	 A L G O R I T H M ;   W E B 	 Q u e r y   r e s u l t   c l u s t e r i n g   h a s   a t t r a c t e d   c o n s i d e r a b l e   a t t e n t i o n   a s   a   m e a n s   o f   p r o v i d i n g   u s e r s   w i t h   a   c o n c i s e   o v e r v i e w   o f   r e s u l t s .   H o w e v e r ,   l i t t l e   r e s e a r c h   e f f o r t   h a s   b e e n   d e v o t e d   t o   o r g a n i z i n g   t h e   q u e r y   r e s u l t s   f o r   e n t i t i e s   w h i c h   r e f e r   t o   r e a l - w o r l d   c o n c e p t s ,   e . g . ,   p e o p l e ,   p r o d u c t s ,   a n d   l o c a t i o n s .   E n t i t y - l e v e l   r e s u l t   c l u s t e r i n g   i s   m o r e   c h a l l e n g i n g   b e c a u s e   d i v e r s e   s i m i l a r i t y   n o t i o n s   b e t w e e n   e n t i t i e s   n e e d   t o   b e   s u p p o r t e d   i n   h e t e r o g e n e o u s   d o m a i n s ,   e . g . ,   i m a g e   r e s o l u t i o n   i s   a n   i m p o r t a n t   f e a t u r e   f o r   c a m e r a s ,   b u t   n o t   f o r   f r u i t s .   T o   a d d r e s s   t h i s   c h a l l e n g e ,   w e   p r o p o s e   a   h y b r i d   r e l a t i o n s h i p   c l u s t e r i n g   a l g o r i t h m ,   c a l l e d   H y d r a ,   u s i n g   c o - o c c u r r e n c e   a n d   n u m e r i c   f e a t u r e s .   A l g o r i t h m   H y d r a   c a p t u r e s   d i v e r s e   u s e r   p e r c e p t i o n s   f r o m   c o - o c c u r r e n c e   a n d   d i s a m b i g u a t e s   d i f f e r e n t   s e n s e s   u s i n g   f e a t u r e - b a s e d   s i m i l a r i t y .   I n   a d d i t i o n ,   w e   e x t e n d   H y d r a   i n t o   w i t h   d i f f e r e n t   s o u r c e s ,   i . e . ,   e n t i t y   t y p e s   a n d   c r o w d s o u r c i n g .   E x p e r i m e n t a l   r e s u l t s   s h o w   t h a t   t h e   p r o p o s e d   a l g o r i t h m s   a c h i e v e   e f f e c t i v e n e s s   a n d   e f f i c i e n c y   i n   r e a l - l i f e   a n d   s y n t h e t i c   d a t a s e t s . 	 [ L e e ,   J o n g w u k ;   C h o ,   H y u n s o u k ;   P a r k ,   J i n - W o o ;   C h a ,   Y o u n g - R o k ;   H w a n g ,   S e u n g - W o n ]   P o h a n g   U n i v   S c i   &   T e c h n o l   P O S T E C H ,   P o h a n g ,   S o u t h   K o r e a ;   [ N i e ,   Z a i q i n g ]   M i c r o s o f t   R e s   A s i a ,   B e i j i n g ,   P e o p l e s   R   C h i n a ;   [ W e n ,   J i - R o n g ]   R e n m i n   U n i v   C h i n a ,   B e i j i n g ,   P e o p l e s   R   C h i n a 	 H w a n g ,   S W   ( r e p r i n t   a u t h o r ) ,   P o h a n g   U n i v   S c i   &   T e c h n o l   P O S T E C H ,   P o h a n g ,   S o u t h   K o r e a . 	 j u l e e @ p o s t e c h . a c . k r ;   p r o r y @ p o s t e c h . a c . k r ;   j w p a r k 8 5 @ p o s t e c h . a c . k r ;   l i n e 0 9 3 0 @ p o s t e c h . a c . k r ;   s e u n g w o n . h w a n g @ g m a i l . c o m ;   z n i e @ m i c r o s o f t . c o m ;   j i r o n g . w e n @ g m a i l . c o m 	 	 	 M i n i s t r y   o f   K n o w l e d g e   E c o n o m y   ( M K E ) ,   K o r e a ;   M i c r o s o f t   R e s e a r c h ,   u n d e r   I T / S W   C r e a t i v e   r e s e a r c h   p r o g r a m 	 T h i s   r e s e a r c h   w a s   s u p p o r t e d   b y   t h e   M i n i s t r y   o f   K n o w l e d g e   E c o n o m y   ( M K E ) ,   K o r e a   a n d   M i c r o s o f t   R e s e a r c h ,   u n d e r   I T / S W   C r e a t i v e   r e s e a r c h   p r o g r a m   s u p e r v i s e d   b y   t h e   N I P A   ( N a t i o n a l   I T   I n d u s t r y   P r o m o t i o n   A g e n c y ) .   ( N I P A - 2 0 1 2 - H 0 5 0 3 - 1 2 - 1 0 3 6 ) . 	 A g g a r w a l   C .   C . ,   1 9 9 9 ,   S I G M O D ;   A g g a r w a l   C . C . ,   2 0 0 1 ,   K D D ;   A g g a r w a l   C . C . ,   2 0 0 0 ,   S I G M O D ;   A g r a w a l   R . ,   1 9 9 8 ,   S I G M O D ;   A g r a w a l   R . ,   2 0 0 9 ,   W S D M ,   P 5 ;   A n a n t h a k r i s h n a   R . ,   2 0 0 2 ,   V L D B ,   P 5 8 6 ,   D O I   1 0 . 1 0 1 6 / B 9 7 8 - 1 5 5 8 6 0 8 6 9 - 6 / 5 0 0 5 8 - 5 ;   A r a s u   A . ,   2 0 1 0 ,   S I G M O D   C ,   P 7 8 3 ;   B a s u   S . ,   2 0 0 4 ,   K D D   0 4 ,   P 5 9 ;   B a z z a n e l l a   B a r b a r a ,   2 0 1 1 ,   J o u r n a l   o f   I n f o r m a t i o n   &   K n o w l e d g e   M a n a g e m e n t ,   V 1 0 ,   D O I   1 0 . 1 1 4 2 / S 0 2 1 9 6 4 9 2 1 1 0 0 2 9 4 8 ;   B i l e n k o   M . ,   2 0 0 5 ,   I C D M ;   B o u q u e t   P ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 9 2 6 ,   P 4 6 ;   C a r t e r e t t e   B . ,   2 0 0 9 ,   C I K M ,   P 1 2 8 7 ;   C h e n g   C . - H . ,   1 9 9 9 ,   K D D ;   C h e n g   D . ,   2 0 0 5 ,   S O D A ;   C o h e n   W .   W . ,   1 9 9 8 ,   S I G M O D   R e c o r d ,   V 2 7 ;   C u i   Y ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 6 2 7 ,   P 2 5 8 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   F r a n k l i n   M . J . ,   2 0 1 1 ,   S I G M O D ,   P 6 1 ;   G o i l   S . ,   1 9 9 9 ,   T E C H N I C A L   R E P O R T ;   G o m e s   R . ,   2 0 1 1 ,   N I P S ,   P 5 5 8 ;   H e a r s t   M .   A . ,   1 9 9 6 ,   S I G I R ;   J a i n   A . ,   2 0 1 0 ,   C O L I N G ,   P 5 1 0 ;   J a n g   M . ,   2 0 1 2 ,   A A A I ;   J i   X . ,   2 0 0 6 ,   S I G I R ;   J i n d a l   N . ,   2 0 0 6 ,   S I G I R ,   P 2 4 4 ;   L e e   J . ,   2 0 1 0 ,   I C D E ,   P 1 1 1 3 ;   L e e   J ,   2 0 0 9 ,   K D D - 0 9 :   1 5 T H   A C M   S I G K D D   C O N F E R E N C E   O N   K N O W L E D G E   D I S C O V E R Y   A N D   D A T A   M I N I N G ,   P 1 2 0 5 ;   L e e   T . ,   2 0 1 1 ,   P V L D B ,   V 4 ,   P 1 2 9 5 ;   L i   S . ,   2 0 1 0 ,   A C L ,   P 6 5 0 ;   L i u   Y . ,   2 0 0 8 ,   S I G I R ;   M a r c u s   A . ,   2 0 1 1 ,   C   I N N   D A T   S Y S T   R E S   2 ,   P 2 1 1 ;   M e c c a   G ,   2 0 0 7 ,   D A T A   K N O W L   E N G ,   V 6 2 ,   P 5 0 4 ,   D O I   1 0 . 1 0 1 6 / j . d a t a k . 2 0 0 6 . 1 0 . 0 0 6 ;   N i e   Z . ,   2 0 0 7 ,   C I D R ;   N i e   Z . ,   2 0 0 5 ,   W W W ;   N i e   Z . ,   2 0 0 7 ,   W W W ;   N i e   Z Q ,   2 0 1 2 ,   P   I E E E ,   V 1 0 0 ,   P 2 6 7 5 ,   D O I   1 0 . 1 1 0 9 / J P R O C . 2 0 1 2 . 2 1 9 1 3 6 9 ;   P a r a m e s w a r a n   A .   G . ,   2 0 1 1 ,   C I D R ,   P 1 6 0 ;   P a r s o n s   L . ,   2 0 0 4 ,   S I G K D D   E X P L O R A T I O N S ,   V 6 ,   P 9 0 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 0 0 7 7 3 0 . 1 0 0 7 7 3 1 ;   P a t r i k a i n e n   A ,   2 0 0 6 ,   I E E E   T   K N O W L   D A T A   E N ,   V 1 8 ,   P 9 0 2 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 0 6 . 1 0 6 ;   R a d l i n s k i   F . ,   2 0 0 6 ,   S I G I R ,   P 6 9 1 ;   S c r i p p s   J . ,   2 0 0 6 ,   S D M ;   S e l k e   J . ,   2 0 1 2 ,   P   V L D B   E N D O W ,   V 5 ,   P 5 3 8 ;   S o n g   Y . ,   2 0 1 1 ,   I J C A I ,   P 2 3 3 0 ;   W a g s t a f f   K . ,   2 0 0 1 ,   I C M L ;   W a n g   J . ,   2 0 1 2 ,   P V L D B ,   V 5 ,   P 1 4 8 3 ;   W a n g   X . ,   2 0 0 7 ,   S I G I R ;   W a n g   X . - J . ,   2 0 0 4 ,   A C M   M U L T I M E D I A ,   P 4 3 6 ;   W h a n g   S . E . ,   2 0 1 3 ,   P V L D B ;   W h a n g   S E ,   2 0 0 9 ,   V L D B   J ,   V 1 8 ,   P 1 2 6 1 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 8 - 0 0 9 - 0 1 3 6 - 3 ;   W o o   K G ,   2 0 0 4 ,   I N F O R M   S O F T W A R E   T E C H ,   V 4 6 ,   P 2 5 5 ,   D O I   1 0 . 1 0 1 6 / j . i n f s o f . 2 0 0 3 . 0 7 . 0 0 3 ;   X u   W . ,   2 0 0 3 ,   S I G I R ;   Y i p   K Y ,   2 0 0 4 ,   I E E E   T   K N O W L   D A T A   E N ,   V 1 6 ,   P 1 3 8 7 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 0 4 . 7 4 ;   Y i p   K . Y . ,   2 0 0 5 ,   I C D E ;   Z a m i r   O . ,   1 9 9 8 ,   S I G I R ;   Z e n g   H . - J . ,   2 0 0 4 ,   S I G I R ;   Z h u   X . ,   2 0 0 3 ,   I C M L ,   V 2 0 ,   P 9 1 2 	 5 6 	 0 	 0 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 3   U S A 	 1 0 6 6 - 8 8 8 8 	 	 	 V L D B   J 	 V L D B   J . 	 O C T 	 2 0 1 3 	 2 2 	 5 	 	 	 S I 	 	 7 1 1 	 7 2 6 	 	 1 0 . 1 0 0 7 / s 0 0 7 7 8 - 0 1 3 - 0 3 2 8 - 8 	 	 1 6 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 2 2 1 R V 	 W O S : 0 0 0 3 2 4 6 7 7 4 0 0 0 0 7 	 	 
 J 	 S i m k o ,   J ;   T v a r o z e k ,   M ;   B i e l i k o v a ,   M 	 	 	 	 S i m k o ,   J a k u b ;   T v a r o z e k ,   M i c h a l ;   B i e l i k o v a ,   M a r i a 	 	 	 H u m a n   c o m p u t a t i o n :   I m a g e   m e t a d a t a   a c q u i s i t i o n   b a s e d   o n   a   s i n g l e - p l a y e r   a n n o t a t i o n   g a m e 	 I N T E R N A T I O N A L   J O U R N A L   O F   H U M A N - C O M P U T E R   S T U D I E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 H u m a n   c o m p u t a t i o n ;   G a m e   w i t h   a   p u r p o s e ;   M e t a d a t a ;   C r o w d s o u r c i n g ;   I m a g e ;   S e m a n t i c s 	 W E B 	 E f f e c t i v e   a c q u i s i t i o n   o f   d e s c r i p t i v e   s e m a n t i c s   f o r   i m a g e s   i s   s t i l l   a n   o p e n   i s s u e   t o d a y .   C r o w d - b a s e d   h u m a n   c o m p u t a t i o n   r e p r e s e n t s   a   f a m i l y   o f   a p p r o a c h e s   a b l e   t o   p r o v i d e   l a r g e   s c a l e   m e t a d a t a   w i t h   d e c e n t   q u a l i t y .   W i t h i n   t h i s   f i e l d ,   g a m e s   w i t h   a   p u r p o s e   ( G W A P )   h a v e   b e c o m e   i n c r e a s i n g l y   i m p o r t a n t ,   a s   t h e y   h a v e   t h e   p o t e n t i a l   t o   m o t i v a t e   c o n t r i b u t o r s   t o   t h e   p r o c e s s   t h r o u g h   e n t e r t a i n m e n t .   H o w e v e r ,   t h e   e x i s t i n g   s o l u t i o n s   a r e   w e a k ,   w h e n   s p e c i f i c   m e t a d a t a   a r e   n e e d e d .   I n   t h i s   w o r k ,   w e   p r e s e n t   a   g a m e   w i t h   a   p u r p o s e   c a l l e d   P e x A c e ,   w h i c h   u t i l i z e s   m a n p o w e r   t o   c o l l e c t   t a g s   c h a r a c t e r i z i n g   a   s e t   o f   g i v e n   i m a g e s .   U s i n g   n o v e l   g a m e   m e c h a n i c s ,   t h e   g a m e   i s   a   s i n g l e - p l a y e r ,   l e s s   p r o n e   t o   c o l d - s t a r t   p r o b l e m s   a n d   s u i t a b l e   f o r   d e p l o y m e n t   i n   t h e   d o m a i n   o f   p e r s o n a l   i m a g e r y .   A s   o u r   e x p e r i m e n t s   s h o w ,   t h e   g a m e   d e l i v e r s   t a g s   t h a t   c h a r a c t e r i z e   i m a g e s   w i t h   h i g h   p r e c i s i o n   ( u s i n g   a   p o s t e r i o r i   e x p e r t   e v a l u a t i o n   a n d   e v a l u a t i o n   a g a i n s t   t h e   g o l d   s t a n d a r d :   t h e   e x t e n d e d   C o r e l   5 k   d a t a s e t ) .   W e   a l s o   e m p l o y   t h e   g a m e   i n   t h e   d o m a i n   o f   p e r s o n a l   i m a g e s ,   w h e r e   v e r y   s p e c i f i c   m e t a d a t a   a r e   n e e d e d   f o r   t h e i r   p r o p e r   o r g a n i z a t i o n   ( p e r s o n   n a m e s ,   p l a c e s ,   e v e n t s )   a n d   s h o w ,   t h a t   t h e   g a m e   i s   a b l e   t o   c o l l e c t   e v e n   t h e s e   k i n d s   o f   m e t a d a t a .   W e   s h o w   t h a t   t h e   k e y   t o   h i g h e r   q u a l i t y   m e t a d a t a   l i e s   i n   c o m b i n i n g   t h e   f u n   f a c t o r   o f   t h e   g a m e   w i t h   m o t i v a t i o n   f o r   p e r s o n a l   g a i n .   ( C )   2 0 1 3   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ S i m k o ,   J a k u b ;   T v a r o z e k ,   M i c h a l ;   B i e l i k o v a ,   M a r i a ]   S l o v a k   U n i v   T e c h n o l   B r a t i s l a v a ,   F a c   I n f o r m a t   &   I n f o r m a t   T e c h n o l ,   I n s t   I n f o r m a t   &   S o f t w a r e   E n g n ,   B r a t i s l a v a   8 4 2 1 6 ,   S l o v a k i a 	 B i e l i k o v a ,   M   ( r e p r i n t   a u t h o r ) ,   S l o v a k   U n i v   T e c h n o l   B r a t i s l a v a ,   F a c   I n f o r m a t   &   I n f o r m a t   T e c h n o l ,   I n s t   I n f o r m a t   &   S o f t w a r e   E n g n ,   I l k o v i c o v a   3 ,   B r a t i s l a v a   8 4 2 1 6 ,   S l o v a k i a . 	 j s i m k o @ f i i t . s t u b a . s k ;   t v a r o z e k @ f i i t . s t u b a . s k ;   b i e l i k @ f i i t . s t u b a . s k 	 B i e l i k o v a ,   M a r i a / E - 5 7 8 7 - 2 0 1 3 	 B i e l i k o v a ,   M a r i a / 0 0 0 0 - 0 0 0 3 - 4 1 0 5 - 3 4 9 4 	 R e s e a r c h   a n d   D e v e l o p m e n t   O p e r a t i o n a l   P r o g r a m   f o r   t h e   p r o j e c t   S u p p o r t   o f   C e n t e r   o f   E x c e l l e n c e   f o r   S m a r t   T e c h n o l o g i e s ,   S y s t e m s   a n d   S e r v i c e s   [ I T M S   2 6 2 4 0 1 2 0 0 0 5 ] ;   E R D F ;     [ V G 1 / 0 6 7 5 / 1 1 ] ;     [ A P V V   0 2 0 8 - 1 0 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   g r a n t s   n o s .   V G 1 / 0 6 7 5 / 1 1   a n d   A P V V   0 2 0 8 - 1 0 ,   a n d   i t   i s   a   p a r t i a l   r e s u l t   o f   t h e   R e s e a r c h   a n d   D e v e l o p m e n t   O p e r a t i o n a l   P r o g r a m   f o r   t h e   p r o j e c t   S u p p o r t   o f   C e n t e r   o f   E x c e l l e n c e   f o r   S m a r t   T e c h n o l o g i e s ,   S y s t e m s   a n d   S e r v i c e s ,   I T M S   2 6 2 4 0 1 2 0 0 0 5   c o - f u n d e d   b y   E R D F . 	 A h n   L .   V . ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   B o l e t t i e r i   P ,   2 0 0 7 ,   W O R K S H   M U L T   I N F   R E T R ,   P 2 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 2 9 0 0 6 7 . 1 2 9 0 0 7 2 ;   C h a m b e r l a i n   J . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 2 3 ,   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 5 6 ;   C h a n g   E ,   2 0 0 3 ,   I E E E   T   C I R C   S Y S T   V I D ,   V 1 3 ,   P 2 6 ,   D O I   1 0 . 1 1 0 9 / T C S V T . 2 0 0 2 . 8 0 8 0 7 9 ;   C o o p e r   S . ,   2 0 1 0 ,   P   5   I N T   C   F D N   D I G   G A ,   P 4 0 ,   D O I   D O I   1 0 . 1 0 3 8 / N A T U R E 0 9 3 0 4 ;   C u s a n o   C ,   2 0 0 4 ,   P   S O C   P H O T O - O P T   I N S ,   V 5 3 0 4 ,   P 3 3 0 ;   D U Y G U L U   P ,   2 0 0 2 ,   7   E U R   C   C O M P   V I S ,   V 2 3 5 3 ,   P 9 7 ;   F e n g   S L ,   2 0 0 4 ,   P R O C   C V P R   I E E E ,   P 1 0 0 2 ;   F o s s   J . G . K . ,   2 0 1 0 ,   P   2 1   A C M   C   H Y P   H Y P   H ,   P 8 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 1 0 6 1 7 . 1 8 1 0 6 3 3 ;   G u y   I . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 3 7 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 5 ;   H l a d k a   B . ,   2 0 0 9 ,   P   3   L I N G   A N N   W O R K S H ,   P 5 2 ,   D O I   1 0 . 3 1 1 5 / 1 6 9 8 3 8 1 . 1 6 9 8 3 8 9 ;   H o   C . - J . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 1 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 5 3 ;   K e   X . ,   2 0 1 1 ,   M U L T I M E D   T O O L S   A P P L ,   V 6 1 ,   P 1 9 5 ;   K r a u s e   M . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 2 2 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 8 9 3 ;   K u r i c   E . ,   2 0 1 1 ,   P   I N T   W O R K S H   S E M   M E D ,   P 3 3 ,   D O I   D O I   1 0 . 1 1 0 9 / S M A P . 2 0 1 1 . 1 4 ;   L a v r e n k o   V . ,   2 0 0 3 ,   P   1 7   A N N   C   N E U R   I N F ,   V 1 6 ,   P 5 5 3 ;   M a n d e l   M ,   2 0 0 8 ,   J   N E W   M U S I C   R E S ,   V 3 7 ,   P 1 5 1 ,   D O I   1 0 . 1 0 8 0 / 0 9 2 9 8 2 1 0 8 0 2 4 7 9 3 0 0 ;   M a r k o t s c h i   T . ,   2 0 1 0 ,   P   W O R K S H   K N O W L   I N J   E ,   P 2 8 ;   P a p a d o p o u l o s   G T ,   2 0 0 6 ,   I N T   J   S E M A N T   W E B   I N F ,   V 2 ,   P 1 7 ,   D O I   1 0 . 4 0 1 8 / j s w i s . 2 0 0 6 0 7 0 1 0 2 ;   P e c k   E . ,   2 0 0 7 ,   P   2 0 0 7   C   F U T   P L A Y   F U ,   P 2 4 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 2 8 2 0 2 . 1 3 2 8 2 5 0 ;   R O M A N   D ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 1 2 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 1 0 2 5 2 . 1 6 1 0 2 5 8 ;   S e n e v i r a t n e   L . ,   2 0 1 0 ,   P   A C M   M U L T   I N F   R E T ,   P 5 1 7 ,   D O I   1 0 . 1 1 4 5 / 1 7 4 3 3 8 4 . 1 7 4 3 4 7 3 ;   S i m k o   J ,   2 0 1 1 ,   I N T   J   S E M A N T   W E B   I N F ,   V 7 ,   P 2 3 ,   D O I   1 0 . 4 0 1 8 / j s w i s . 2 0 1 1 0 7 0 1 0 2 ;   S i m k o   J . ,   2 0 1 2 ,   P   8   I N T   C   S E M   S Y S T   I ,   P 8 8 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 3 6 2 4 9 9 . 2 3 6 2 5 1 2 ;   S i o r p a e s   K ,   2 0 0 8 ,   I E E E   I N T E L L   S Y S T ,   V 2 3 ,   P 5 0 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 8 . 4 5 ;   T e r r y   L . ,   2 0 0 9 ,   H A R N E S S I N G   H U M A N   C O M ,   P 1 8 8 ;   V a i n i o   T . ,   2 0 0 9 ,   P   6   I N T   C   M O B   T E C H N ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 1 0 0 3 5 . 1 7 1 0 0 8 6 ;   V e r b o r g h   R ,   2 0 1 2 ,   M U L T I M E D   T O O L S   A P P L ,   V 6 1 ,   P 1 0 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 0 - 0 7 0 9 - 6 ;   W a n g   L ,   2 0 0 6 ,   M U L T I M E D   T O O L S   A P P L ,   V 2 9 ,   P 5 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 0 6 - 7 8 1 3 - 7 ;   W a n g   Y ,   2 0 0 9 ,   P A T T E R N   R E C O G N ,   V 4 2 ,   P 2 5 9 ,   D O I   1 0 . 1 0 1 6 / j . p a t c o g . 2 0 0 8 . 0 5 . 0 1 0 ;   Z i c h e r m a n n   G . ,   2 0 1 0 ,   G A M I F I C A T I O N   D E S I G N ;   Z s o m b o r i   V ,   2 0 1 1 ,   P   2 2   A C M   C   H Y P   H Y P   H ,   P 3 2 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 9 5 9 6 6 . 1 9 9 6 0 0 9 	 3 2 	 1 	 1 	 A C A D E M I C   P R E S S   L T D -   E L S E V I E R   S C I E N C E   L T D 	 L O N D O N 	 2 4 - 2 8   O V A L   R D ,   L O N D O N   N W 1   7 D X ,   E N G L A N D 	 1 0 7 1 - 5 8 1 9 	 	 	 I N T   J   H U M - C O M P U T   S T 	 I n t .   J .   H u m . - C o m p u t .   S t u d . 	 O C T 	 2 0 1 3 	 7 1 	 1 0 	 	 	 	 	 9 3 3 	 9 4 5 	 	 1 0 . 1 0 1 6 / j . i j h c s . 2 0 1 3 . 0 5 . 0 0 2 	 	 1 3 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   E r g o n o m i c s ;   P s y c h o l o g y ,   M u l t i d i s c i p l i n a r y 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   P s y c h o l o g y 	 2 1 7 I K 	 W O S : 0 0 0 3 2 4 3 5 3 0 0 0 0 0 1 	 	 
 J 	 S y d o w ,   M ;   P i k u l a ,   M ;   S c h e n k e l ,   R 	 	 	 	 S y d o w ,   M a r c i n ;   P i k u l a ,   M a r i u s z ;   S c h e n k e l ,   R a l f 	 	 	 T h e   n o t i o n   o f   d i v e r s i t y   i n   g r a p h i c a l   e n t i t y   s u m m a r i s a t i o n   o n   s e m a n t i c   k n o w l e d g e   g r a p h s 	 J O U R N A L   O F   I N T E L L I G E N T   I N F O R M A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 D i v e r s i t y ;   S e m a n t i c   k n o w l e d g e   g r a p h ;   G r a p h i c a l   e n t i t y   s u m m a r i s a t i o n ;   S u m m a r i s a t i o n ;   D i v e r s i t y   m e a s u r e ;   A l g o r i t h m ;   E x p e r i m e n t ;   C r o w d s o u r c i n g 	 	 G i v e n   a n   e n t i t y   r e p r e s e n t e d   b y   a   s i n g l e   n o d e   q   i n   s e m a n t i c   k n o w l e d g e   g r a p h   D ,   t h e   G r a p h i c a l   E n t i t y   S u m m a r i s a t i o n   p r o b l e m   ( G E S )   c o n s i s t s   i n   s e l e c t i n g   o u t   o f   D   a   v e r y   s m a l l   s u r r o u n d i n g   g r a p h   S   t h a t   c o n s t i t u t e s   a   g e n e r i c   s u m m a r y   o f   t h e   i n f o r m a t i o n   c o n c e r n i n g   t h e   e n t i t y   q   w i t h   g i v e n   l i m i t   o n   s i z e   o f   S .   T h i s   a r t i c l e   c o n c e r n s   t h e   r o l e   o f   d i v e r s i t y   i n   t h i s   q u i t e   n o v e l   p r o b l e m .   I t   g i v e s   a n   o v e r v i e w   o f   t h e   d i v e r s i t y   c o n c e p t   i n   i n f o r m a t i o n   r e t r i e v a l ,   a n d   p r o p o s e s   h o w   t o   a d a p t   i t   t o   G E S .   A   m e a s u r e   o f   d i v e r s i t y   f o r   G E S ,   c a l l e d   A L C ,   i s   d e f i n e d   a n d   t w o   a l g o r i t h m s   p r e s e n t e d ,   b a s e l i n e ,   d i v e r s i t y - o b l i v i o u s   P R E C I S   a n d   d i v e r s i t y - a w a r e   D I V E R S U M .   A   r e p o r t e d   e x p e r i m e n t   s h o w s   t h a t   D I V E R S U M   a c t u a l l y   a c h i e v e s   h i g h e r   v a l u e s   o f   t h e   A L C   d i v e r s i t y   m e a s u r e   t h a n   P R E C I S .   N e x t ,   a n   o b j e c t i v e   e v a l u a t i o n   e x p e r i m e n t   d e m o n s t r a t e s   t h a t   d i v e r s i t y - a w a r e   a l g o r i t h m   i s   s u p e r i o r   t o   t h e   d i v e r s i t y - o b l i v i o u s   o n e   i n   t e r m s   o f   f a c t   s e l e c t i o n .   M o r e   p r e c i s e l y ,   D I V E R S U M   c l e a r l y   a c h i e v e s   h i g h e r   r e c a l l   t h a n   P R E C I S   o n   g r o u n d   t r u t h   r e f e r e n c e   e n t i t y   s u m m a r i e s   e x t r a c t e d   f r o m   W i k i p e d i a .   W e   a l s o   r e p o r t   a n o t h e r   i n t r i n s i c   e x p e r i m e n t ,   i n   w h i c h   t h e   o u t p u t   o f   d i v e r s i t y - a w a r e   a l g o r i t h m   i s   s i g n i f i c a n t l y   p r e f e r r e d   b y   h u m a n   e x p e r t   e v a l u a t o r s .   I m p o r t a n t l y ,   t h e   u s e r   f e e d b a c k   c l e a r l y   i n d i c a t e s   t h a t   t h e   n o t i o n   o f   d i v e r s i t y   i s   t h e   k e y   r e a s o n   f o r   t h e   p r e f e r e n c e .   I n   a d d i t i o n ,   t h e   e x p e r i m e n t   i s   r e p e a t e d   t w i c e   o n   a n   a n o n y m o u s   s a m p l e   o f   b r o a d   p o p u l a t i o n   o f   I n t e r n e t   u s e r s   b y   m e a n s   o f   a   c r o w d - s o u r c i n g   p l a t f o r m ,   t h a t   f u r t h e r   c o n f i r m s   t h e   r e s u l t s   m e n t i o n e d   a b o v e . 	 [ S y d o w ,   M a r c i n ;   P i k u l a ,   M a r i u s z ]   P o l i s h   J a p a n e s e   I n s t   I n f o r m a t   T e c h n o l ,   W e b   M i n   L a b ,   W a r s a w ,   P o l a n d ;   [ S y d o w ,   M a r c i n ]   P o l i s h   A c a d   S c i ,   I n s t   C o m p   S c i ,   P L - 0 0 9 0 1   W a r s a w ,   P o l a n d ;   [ S c h e n k e l ,   R a l f ]   U n i v   S a a r l a n d ,   D - 6 6 1 2 3   S a a r b r u c k e n ,   G e r m a n y ;   [ S c h e n k e l ,   R a l f ]   M P I   I n f o r m a t ,   S a a r b r u c k e n ,   G e r m a n y 	 S y d o w ,   M   ( r e p r i n t   a u t h o r ) ,   P o l i s h   J a p a n e s e   I n s t   I n f o r m a t   T e c h n o l ,   W e b   M i n   L a b ,   W a r s a w ,   P o l a n d . 	 m s y d @ p o l j a p . e d u . p l ;   m a r i u s z . p i k u l a @ p o l j a p . e d u . p l ;   s c h e n k e l @ m m c i . u n i - s a a r l a n d . d e 	 	 	 P o l i s h   M i n i s t r y   o f   S c i e n c e   a n d   H i g h e r   E d u c a t i o n   [ N   N 5 1 6   4 8 1 9 4 0 ] ;   D A A D 	 T h e   w o r k   i s   s u p p o r t e d   b y   t h e   N   N 5 1 6   4 8 1 9 4 0   g r a n t   o f   t h e   P o l i s h   M i n i s t r y   o f   S c i e n c e   a n d   H i g h e r   E d u c a t i o n .   T h e   f i r s t   a u t h o r   w a s   s u p p o r t e d   b y   t h e   D A A D   P r i z e   i n   2 0 1 0   f o r   v i s i t i n g   M P I I ,   S a a r b r u e c k e n ,   w h e r e   e a r l y   p a r t   o f   t h i s   w o r k   w a s   d o n e .   T h e   a u t h o r s   w o u l d   l i k e   t o   t h a n k   a l l   t h e   v o l u n t e e r s   f r o m   t h e   M P I   f o r   I n f o r m a t i c s   t h a t   p a r t i c i p a t e d   i n   t h e   e x p e r t - b a s e d   e x p e r i m e n t a l   e v a l u a t i o n . 	 A b u - J b a r a   A . ,   2 0 1 1 ,   P   4 9   A N N   M   A S S   C O M P ,   V 1 ,   P 5 0 0 ;   A g r a w a l   R . ,   2 0 0 9 ,   P   2   A C M   I N T   C   W E B   S E ,   P 5 ,   D O I   1 0 . 1 1 4 5 / 1 4 9 8 7 5 9 . 1 4 9 8 7 6 6 ;   A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   B a r z i l a y   R ,   2 0 0 5 ,   C O M P U T   L I N G U I S T ,   V 3 1 ,   P 2 9 7 ,   D O I   1 0 . 1 1 6 2 / 0 8 9 1 2 0 1 0 5 7 7 4 3 2 1 0 9 1 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C a r b o n e l l   J . ,   1 9 9 8 ,   P   2 1   A N N   I N T   A C M   S I G ,   V 9 9 ,   P 3 3 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 9 0 9 4 1 . 2 9 1 0 2 5 < H T T P : / / D 0 L A C M . 0 R G / 1 0 . 1 1 4 5 / 2 9 0 9 4 1 . 2 9 1 0 2 5 > ;   C a r e n i n i   G . ,   2 0 1 1 ,   M E T H O D S   M I N I N G   S U M M A ;   C h e n   H . ,   2 0 0 6 ,   P r o c e e d i n g s   o f   t h e   T w e n t y - N i n t h   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ,   D O I   1 0 . 1 1 4 5 / 1 1 4 8 1 7 0 . 1 1 4 8 2 4 5 ;   C h e n g   G . ,   2 0 1 1 ,   P   2 0   I N T   C   C O M P   W O R L ,   P 2 7 ;   C h e n g   G ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 7 0 3 1 ,   P 1 1 4 ;   C l a r k e   C . L . A . ,   P   3 1   A N N   I N T   A C M   S I G ,   P 6 5 9 ;   C o r m e n   T .   H . ,   1 9 9 0 ,   I N T R O   A L G O R I T H M S ;   D o k u l i l   J ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 9 1 0 ,   P 6 7 2 ;   E l b a s s u o n i   S . ,   2 0 0 9 ,   P   1 8   A C M   C   I N F   K N O W L ,   P 9 7 7 ,   D O I   1 0 . 1 1 4 5 / 1 6 4 5 9 5 3 . 1 6 4 6 0 7 8 ;   G O F F M A N   W ,   1 9 6 4 ,   I N F O R M   S T O R A G E   R E T ,   V 2 ,   P 7 3 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 0 - 0 2 7 1 ( 6 4 ) 9 0 0 0 6 - 3 ;   G o l l a p u d i   S ,   2 0 0 9 ,   P   1 8   I N T   C   W O R L D   W I D ,   P 3 8 1 ,   D O I   1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 7 6 1 ;   G u p t a   V i s h a l ,   2 0 1 0 ,   J o u r n a l   o f   E m e r g i n g   T e c h n o l o g i e s   i n   W e b   I n t e l l i g e n c e ,   V 2 ,   D O I   1 0 . 4 3 0 4 / j e t w i . 2 . 3 . 2 5 8 - 2 6 8 ;   H a m   F . ,   2 0 0 9 ,   P   1 2   I F I P   T C   1 3   I N T ,   P 4 2 9 ;   H o v y   E . H . ,   2 0 0 5 ,   A U T O M A T E D   T E X T   S U M M A ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   J o n e s   K S ,   2 0 0 7 ,   I N F O R M   P R O C E S S   M A N A G ,   V 4 3 ,   P 1 4 4 9 ,   D O I   1 0 . 1 0 1 6 / j . i p m . 2 0 0 7 . 0 3 . 0 0 9 ;   K a i r a m   S ,   2 0 1 2 ,   P R O C E E D I N G S   O F   T H E   I N T E R N A T I O N A L   W O R K I N G   C O N F E R E N C E   O N   A D V A N C E D   V I S U A L   I N T E R F A C E S ,   P 4 9 8 ,   D O I   1 0 . 1 1 4 5 / 2 2 5 4 5 5 6 . 2 2 5 4 6 5 1 ;   K i t t u r   A ,   2 0 0 8 ,   P   S I G C H I   C   H U M   F A C T ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   [ Ng=N  L I   L i ] ,   2 0 0 9 ,   [ ؚRP[b,   P o l y m e r   B u l l e t i n ] ,   P 7 1 ,   D O I   1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 7 2 0 ;   L i   P . ,   2 0 1 0 ,   P   4 8   A N N   M   A S S   C O M P ,   P 6 4 0 ;   L i n   C .   Y . ,   2 0 0 3 ,   L A N G   T E C H N   C ,   V 1 ,   P 7 1 ;   M a n i   I . ,   1 9 9 9 ,   A D V   A U T O M A T I C   T E X T   S ;   P e n i n   T ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 3 6 7 ,   P 4 9 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 8 9 7 0 4 - 0 _ 3 4 ;   R a m a n a t h   M . ,   2 0 0 9 ,   A B S 0 9 1 0 2 4 0 5   C O R R ;   R a m a n a t h   M . ,   2 0 0 9 ,   P   1 2   I N T   C   E X T   D A T   T ,   P 1 1 1 2 ,   D O I   1 0 . 1 1 4 5 / 1 5 1 6 3 6 0 . 1 5 1 6 4 9 0 ;   R O B E R T S O N   S E ,   1 9 7 7 ,   J   D O C ,   V 3 3 ,   P 2 9 4 ,   D O I   1 0 . 1 1 0 8 / e b 0 2 6 6 4 7 ;   S o b c z a k   G . ,   2 0 1 2 ,   L N C S ,   V 7 6 6 1 ,   P 1 8 2 ;   S y d o w   M ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 8 0 4 ,   P 4 9 0 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 1 9 1 6 - 0 _ 5 3 ;   S y d o w   M . ,   2 0 1 0 ,   P   D A T   E N G   W O R K S H   I C D ,   P 2 2 1 ;   S y d o w   M a r c i n ,   2 0 1 0 ,   P r o c e e d i n g s   2 0 1 0   I n t e r n a t i o n a l   M u l t i c o n f e r e n c e   o n   C o m p u t e r   S c i e n c e   a n d   I n f o r m a t i o n   T e c h n o l o g y   ( I M C S I T   2 0 1 0 ) ;   S y d o w   M . ,   2 0 1 1 ,   P   D I V   D O C   R E T R   W O R K S ,   P 1 6 ;   T h a l h a m m e r   A . ,   2 0 1 2 ,   A B S 1 2 0 4 2 7 1 8   C O R R ;   T h a l h a m m e r   A . ,   2 0 1 2 ,   L E C T   N O T E S   C O M P U T E R ,   P 3 5 0 ;   V e e   E ,   2 0 0 8 ,   P R O C   I N T   C O N F   D A T A ,   P 2 2 8 ,   D O I   1 0 . 1 1 0 9 / I C D E . 2 0 0 8 . 4 4 9 7 4 3 1 ;   W a c k e r l y   D . D . ,   1 9 9 0 ,   M A T H   S T A T   A P P L ;   W a i t e l o n i s   J ,   2 0 1 2 ,   M U L T I M E D   T O O L S   A P P L ,   V 5 9 ,   P 6 4 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 1 - 0 7 3 3 - 1 ;   W a n   X . ,   2 0 1 0 ,   A C M   T   I N F O R M   S Y S T E M ,   V 2 8 ,   P 8 ;   W a n   X ,   2 0 1 1 ,   P   3 4   I N T   A C M   S I G I R   C ,   P 7 3 5 ;   W a n   X . ,   2 0 0 9 ,   P   1 8   A C M   C   I N F   K N O W L ,   P 1 6 0 9 ,   D O I   1 0 . 1 1 4 5 / 1 6 4 5 9 5 3 . 1 6 4 6 1 8 4 ;   W a n   X . ,   2 0 1 0 ,   P   4 8   A N N   M   A S S   C O M P ,   P 9 1 7 ;   W a n   X J ,   2 0 1 0 ,   S I G I R   2 0 1 0 :   P R O C E E D I N G S   O F   T H E   3 3 R D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L ,   P 4 9 1 ;   W a t t e n b e r g   M . ,   2 0 0 6 ,   P   S I G C H I   C   H U M   F A C T ,   P 8 1 1 ,   D O I   1 0 . 1 1 4 5 / 1 1 2 4 7 7 2 . 1 1 2 4 8 9 1 ;   W i l l i a m s o n   C . ,   2 0 0 7 ,   P   1 6   I N T   C   W O R L D   W I D ,   P 7 0 7 ,   D O I   1 0 . 1 1 4 5 / 1 2 4 2 5 7 2 . 1 2 4 2 6 6 8 ;   Z h a n g   N ,   2 0 1 0 ,   P R O C   I N T   C O N F   D A T A ,   P 8 8 0 ,   D O I   1 0 . 1 1 0 9 / I C D E . 2 0 1 0 . 5 4 4 7 8 3 0 	 5 0 	 2 	 2 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 0 9 2 5 - 9 9 0 2 	 	 	 J   I N T E L L   I N F   S Y S T 	 J .   I n t e l l .   I n f .   S y s t . 	 O C T 	 2 0 1 3 	 4 1 	 2 	 	 	 	 	 1 0 9 	 1 4 9 	 	 1 0 . 1 0 0 7 / s 1 0 8 4 4 - 0 1 3 - 0 2 3 9 - 6 	 	 4 1 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 2 1 4 F R 	 W O S : 0 0 0 3 2 4 1 1 8 0 0 0 0 0 1 	 	 
 J 	 M a r t i n e z   G a l l a r d o ,   F D ;   A l b e r i c h   P a s c u a l ,   J 	 	 	 	 M a r t i n e z   G a l l a r d o ,   F r a n c i s c o   D a v i d ;   A l b e r i c h   P a s c u a l ,   J o r d i 	 	 	 C r o w d f u n d i n g   P l a t f o r m s   a n d   C r o w d s o u r c i n g   F i l m   P r o j e c t s   i n   S p a i n   ( 2 0 0 7 - 2 0 1 1 ) 	 H I S T O R I A   Y   C O M U N I C A C I O N   S O C I A L 	 	 	 S p a n i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   C r o w d f u n d i n g ;   F i l m   P r o d u c t i o n ;   F r e e   S o f t w a r e ;   C o l l a b o r a t i o n   C u l t u r e 	 	 T h i s   a r t i c l e   d i s c u s s e s   t h e   e m e r g e n c e   o f   p i o n e e r i n g   c r o w d s o u r c i n g   i n   S p a n i s h   c i n e m a t o g r a p h y   i n   t h e   p e r i o d   2 0 0 7 - 2 0 1 1 .   T h i s   w i l l   f i r s t   e x p l o r e   t h e   c h a n g i n g   t h a t   I n t e r n e t   i s   p r o m o t i n g   i n   c r e a t i v e   i n d u s t r i e s   a n d   t h e i r   l i n k s   w i t h   c o l l a b o r a t i v e   n e t w o r k i n g   s t r a t e g i e s .   A f t e r   t h a t ,   w e   f o c u s   o u r   a t t e n t i o n   o n   a   s e l e c t i o n   o f   e s p e c i f i c   s p a n i s h   p l a t f o r m s   a n d   p r o j e c t s   o f   a u d i o v i s u a l   c o l l a b o r a t i v e   p r o d u c t i o n   i n   t h e   p e r i o d   o f   a n a l y s i s   s e t .   F i n a l l y ,   t h e   p a p e r   c o n c l u d e s   b y   i d e n t i f y i n g   t h e   c u l t u r a l   a n d   i n d u s t r i a l   i m p l i c a t i o n s   o f   a l l   t h e   m o s t   i m p o r t a n t   p i o n e e r i n g   i n i t i a t i v e s   a n a l y z e d   i n   t h e   c o u r s e   o f   o u r   i n v e s t i g a t i o n . . 	 [ M a r t i n e z   G a l l a r d o ,   F r a n c i s c o   D a v i d ]   U n i v   C o r d o b a ,   E - 1 4 0 7 1   C o r d o b a ,   S p a i n ;   [ A l b e r i c h   P a s c u a l ,   J o r d i ]   U n i v   G r a n a d a ,   F a c   C o m u n i c a c   &   D o c u m e n t a c ,   E - 1 8 0 7 1   G r a n a d a ,   S p a i n 	 M a r t i n e z   G a l l a r d o ,   F D   ( r e p r i n t   a u t h o r ) ,   U n i v   C o r d o b a ,   E - 1 4 0 7 1   C o r d o b a ,   S p a i n . 	 z 2 2 m a g a f @ u c o . e s ;   j a l b e r i c h @ u g r . e s 	 	 	 	 	 A L B E R I C H   J . ,   2 0 0 8 ,   R E V   S O C   C O N O C I M I E N T O ;   A L B E R I C H   J . ,   2 0 1 0 ,   R E V   C O M U N I C A C I O N   A U D ,   V 1 5 ;   C A S A C U B E R T A   D . ,   2 0 0 3 ,   I N T E R N E T   P U B L I C O   C R E ;   C H R I S T O P H E R S O N   S . ,   2 0 0 8 ,   T H E O R   C U L T   S O C ,   V 2 5 ,   P 8 9 ;   E S T E L L E S   A R O L A S   E . ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ;   F E R N A N D E Z   F . ,   2 0 1 0 ,   P R O D U C C I O N   C I N E M A T O G ;   H A R T L E Y   J . ,   2 0 0 8 ,   M E D I A   I N D   H I S T   T H E O R ;   H A R T L E Y   J . ,   2 0 0 5 ,   C R E A T I V E   I N D ;   H e s m o n d h a l g h   D . ,   2 0 0 8 ,   S A G E   H D B   C U L T U R A L   A N ;   H i m a n e n   P . ,   2 0 0 1 ,   H A C K E R   E T H I C   S P I R I T ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   P 1 4 0 6 ;   J E N K I N S   H . ,   2 0 0 3 ,   R E T H I N K I N G   M E D I A   C H A ,   P 1 3 5 ;   J e n k i n s   H e n r i ,   2 0 0 6 ,   C O N V E R G E N C E   C U L T U R E ;   L E S S I G   L . ,   2 0 0 4 ,   F R E E   C U L T U R E ;   L e s s i g   L a w r e n c e ,   2 0 0 8 ,   R E M I X   M A K I N G   A R T   C O M ;   M A R T I N E Z   G A R C I A   M .   A . ,   2 0 1 2 ,   R E V   C O M U N I C A C I O N ,   V 1 ;   R a y m o n d   E r i c   S . ,   1 9 9 9 ,   C A T H E D R A L   B A Z A A R   M U S ;   R O I G   A . ,   2 0 1 2 ,   R E V   C O M U N I C A C I O N   A U D ,   V 1 0 ;   S t a l l m a n   R i c h a r d ,   2 0 0 2 ,   F R E E   S O F T W A R E   F R E E   S ;   X A L A B A R D E R   R . ,   2 0 0 6 ,   U O C   P A P E R S ,   V 2 	 2 0 	 0 	 0 	 U N I V   C O M P L U T E N S E   M A D R I D ,   S E R V I C I O   P U B L I C A C I O N E S 	 M A D R I D 	 C I U D A D   U N I V ,   O B I S P O   T R E J O   3 ,   M A D R I D ,   2 8 0 4 0 ,   S P A I N 	 1 1 3 7 - 0 7 3 4 	 1 9 8 8 - 3 0 5 6 	 	 H I S T   C O M U N   S O C 	 H i s t .   C o m u n .   S o c . 	 O C T 	 2 0 1 3 	 1 8 	 	 	 	 S I 	 	 8 5 	 9 5 	 	 1 0 . 5 2 0 9 / r e v _ H I C S . 2 0 1 3 . v 1 8 . 4 3 9 5 0 	 	 1 1 	 F i l m ,   R a d i o ,   T e l e v i s i o n ;   H i s t o r y 	 F i l m ,   R a d i o   &   T e l e v i s i o n ;   H i s t o r y 	 A Q 7 J W 	 W O S : 0 0 0 3 4 2 9 9 1 5 0 0 0 0 6 	 	 
 J 	 Z h a n g ,   P ;   C a o ,   W D ;   O b r a d o v i c ,   Z 	 	 	 	 Z h a n g ,   P i n g ;   C a o ,   W e i d a n ;   O b r a d o v i c ,   Z o r a n 	 	 	 L e a r n i n g   b y   a g g r e g a t i n g   e x p e r t s   a n d   f i l t e r i n g   n o v i c e s :   a   s o l u t i o n   t o   c r o w d s o u r c i n g   p r o b l e m s   i n   b i o i n f o r m a t i c s 	 B M C   B I O I N F O R M A T I C S 	 	 	 E n g l i s h 	 A r t i c l e ;   P r o c e e d i n g s   P a p e r 	 2 n d   W o r k s h o p   o n   D a t a   M i n i n g   o f   N e x t - G e n e r a t i o n   S e q u e n c i n g   i n   C o n j u n c t i o n   w i t h   t h e   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   B i o i n f o r m a t i c s   a n d   B i o m e d i c i n e 	 O C T   0 4 - 0 7 ,   2 0 1 2 	 P h i l a d e l p h i a ,   P A 	 I E E E 	 	 	 D I S O R D E R E D   R E G I O N S ;   P R E D I C T I O N ;   P R O T E I N S ;   C A S P 9 	 B a c k g r o u n d :   I n   m a n y   b i o m e d i c a l   a p p l i c a t i o n s ,   t h e r e   i s   a   n e e d   f o r   d e v e l o p i n g   c l a s s i f i c a t i o n   m o d e l s   b a s e d   o n   n o i s y   a n n o t a t i o n s .   R e c e n t l y ,   v a r i o u s   m e t h o d s   a d d r e s s e d   t h i s   s c e n a r i o   b y   r e l a y i n g   o n   u n r e l i a b l e   a n n o t a t i o n s   o b t a i n e d   f r o m   m u l t i p l e   s o u r c e s .   R e s u l t s :   W e   p r o p o s e d   a   p r o b a b i l i s t i c   c l a s s i f i c a t i o n   a l g o r i t h m   b a s e d   o n   l a b e l s   o b t a i n e d   b y   m u l t i p l e   n o i s y   a n n o t a t o r s .   T h e   n e w   a l g o r i t h m   i s   c a p a b l e   o f   e l i m i n a t i n g   a n n o t a t i o n s   p r o v i d e d   b y   n o v i c e   l a b e l l e r s   a n d   o f   p r o v i d i n g   a   m o r e   a c c u r a t e   e s t i m a t e   o f   t h e   g r o u n d   t r u t h   b y   c o n s e n s u s   l a b e l l i n g   a c c o r d i n g   t o   h i g h e r   q u a l i t y   a n n o t a t i o n s .   T h e   a p p r o a c h   i s   e v a l u a t e d   o n   t e x t   c l a s s i f i c a t i o n   a n d   p r e d i c t i o n   o f   p r o t e i n   d i s o r d e r .   O u r   s t u d y   s u g g e s t s   t h a t   t h e   h i g h e r   l e v e l s   o f   a c c u r a c y ,   e f f e c t i v e n e s s   a n d   p e r f o r m a n c e   c a n   b e   a c h i e v e d   b y   t h e   n e w   m e t h o d   a s   c o m p a r e d   t o   a l t e r n a t i v e s .   C o n c l u s i o n s :   T h e   p r o p o s e d   m e t h o d   i s   a p p l i c a b l e   f o r   m e t a - l e a r n i n g   f r o m   m u l t i p l e   e x i s t i n g   c l a s s i f i c a t i o n   m o d e l s   a n d   n o i s y   a n n o t a t i o n s   o b t a i n e d   b y   h u m a n s .   I t   i s   p a r t i c u l a r l y   b e n e f i c i a l   w h e n   m a n y   a n n o t a t i o n s   a r e   o b t a i n e d   b y   n o v i c e   l a b e l l e r s .   I n   a d d i t i o n ,   t h e   p r o p o s e d   m e t h o d   c a n   p r o v i d e   f u r t h e r   c h a r a c t e r i z a t i o n   o f   e a c h   a n n o t a t o r   t h a t   c a n   h e l p   i n   d e v e l o p i n g   m o r e   a c c u r a t e   c l a s s i f i e r s   b y   i d e n t i f y i n g   t h e   m o s t   c o m p e t e n t   a n n o t a t o r s   f o r   e a c h   d a t a   i n s t a n c e . 	 [ Z h a n g ,   P i n g ]   I B M   T J   W a t s o n   R e s   C t r ,   H e a l t h c a r e   A n a l y t   R e s ,   Y o r k t o w n   H t s ,   N Y   1 0 5 9 8   U S A ;   [ C a o ,   W e i d a n ]   T e m p l e   U n i v ,   S c h   M e d i a   &   C o m m u n ,   P h i l a d e l p h i a ,   P A   1 9 1 2 2   U S A ;   [ O b r a d o v i c ,   Z o r a n ]   T e m p l e   U n i v ,   C t r   D a t a   A n a l y t   &   B i o m e d   I n f o r m a t ,   P h i l a d e l p h i a ,   P A   1 9 1 2 2   U S A 	 O b r a d o v i c ,   Z   ( r e p r i n t   a u t h o r ) ,   T e m p l e   U n i v ,   C t r   D a t a   A n a l y t   &   B i o m e d   I n f o r m a t ,   P h i l a d e l p h i a ,   P A   1 9 1 2 2   U S A . 	 z o r a n . o b r a d o v i c @ t e m p l e . e d u 	 	 	 	 	 C h e n   S . ,   2 0 1 0 ,   P   2 4   A A A I   C   A R T   I N T ,   P 4 1 9 ;   C h o l l e t i   S R ,   2 0 0 9 ,   I N T   J   A R T I F   I N T E L L   T ,   V 1 8 ,   P 6 3 3 ,   D O I   1 0 . 1 1 4 2 / S 0 2 1 8 2 1 3 0 0 9 0 0 0 3 3 0 ;   D e k e l   O ,   2 0 0 9 ,   P   C   L E A R N   T H E O R ;   F a n   X ,   2 0 1 3 ,   J   B I O M O L E C U L A R   S T R U C ;   H y u n   J J ,   2 0 1 1 ,   P   H U M   C O M P   W O R K S H ,   P 8 8 ;   I s h i d a   T ,   2 0 0 8 ,   B I O I N F O R M A T I C S ,   V 2 4 ,   P 1 3 4 4 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t n 1 9 5 ;   K a j i n o   H . ,   2 0 1 2 ,   P   H U M   C O M P   W O R K S H ,   P 1 0 7 ;   K a j i n o   H ,   2 0 1 2 ,   P   A A A I   C   A R T   I N T ,   P 7 3 ;   K a s n e c i   G ,   2 0 1 1 ,   P   4   A C M   I N T   C   W E B   S E ,   P 4 6 5 ,   D O I   1 0 . 1 1 4 5 / 1 9 3 5 8 2 6 . 1 9 3 5 8 9 6 ;   K o z l o w s k i   L P ,   2 0 1 2 ,   B M C   B I O I N F O R M A T I C S ,   V 1 3 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 1 3 - 1 1 1 ;   L i u   Q ,   2 0 1 2 ,   A D V   N E U R A L   I N F O R M   P R ;   M a v a n d a d i   S ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 3 7 2 4 5 ;   M i z i a n t y   M J ,   2 0 1 0 ,   B I O I N F O R M A T I C S ,   V 2 6 ,   p i 4 8 9 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t q 3 7 3 ;   M o n a s t y r s k y y   B ,   2 0 1 1 ,   P R O T E I N S ,   V 7 9 ,   P 1 0 7 ,   D O I   1 0 . 1 0 0 2 / p r o t . 2 3 1 6 1 ;   P e n g   K a n g ,   2 0 0 5 ,   J o u r n a l   o f   B i o i n f o r m a t i c s   a n d   C o m p u t a t i o n a l   B i o l o g y ,   V 3 ,   P 3 5 ,   D O I   1 0 . 1 1 4 2 / S 0 2 1 9 7 2 0 0 0 5 0 0 0 8 8 6 ;   R a g h u p a t h i   L ,   2 0 1 3 ,   P   S P I E   M E D   I M A G I N G   C ;   R a y k a r   V .   C . ,   2 0 0 9 ,   P   2 6   A N N   I N T   C   M A C H ,   P 8 8 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 5 3 3 7 4 . 1 5 5 3 4 8 8 ;   R z h e t s k y   A ,   2 0 0 9 ,   P L O S   C O M P U T   B I O L ,   V 5 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p c b i . 1 0 0 0 3 9 1 ;   S c h l e s s i n g e r   A ,   2 0 0 9 ,   P L O S   O N E ,   V 4 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 0 4 4 3 3 ;   S h e n g   V .   S . ,   2 0 1 1 ,   P r o c e e d i n g s   o f   t h e   2 0 1 1   I E E E   1 1 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D a t a   M i n i n g   ( I C D M   2 0 1 1 ) ,   D O I   1 0 . 1 1 0 9 / I C D M . 2 0 1 1 . 1 3 3 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   V a l i z a d e g a n   H ,   2 0 1 2 ,   P   A M I A   A N N   S ,   P 9 2 1 ;   W e l i n d e r   P ,   2 0 1 0 ,   A D V   N E U R A L   I N F O R M   P R ,   P 2 4 2 4 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   P 2 0 3 5 ;   W i l b u r   W J ,   2 0 1 1 ,   B M C   B I O I N F O R M A T I C S ,   V 1 2 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 1 2 - S 3 - S 5 ;   W o l l e y   C ,   2 0 1 2 ,   P   A D V   D A T   M I N   A P P L ,   P 1 7 3 ;   X i a o   H ,   2 0 1 3 ,   P   P A C   A S   C   K N O W L   D I S ,   P 5 9 5 ;   X u e   B ,   2 0 1 0 ,   B B A - P R O T E I N S   P R O T E O M ,   V 1 8 0 4 ,   P 9 9 6 ,   D O I   1 0 . 1 0 1 6 / j . b b a p a p . 2 0 1 0 . 0 1 . 0 1 1 ;   Y a n   Y ,   2 0 1 0 ,   P   1 3   I N T   C   A R T   I N T   S ,   P 9 3 2 ;   Z h a n g   P e n g ,   2 0 1 0 ,   P r o c e e d i n g s   o f   t h e   2 0 1 0   I E E E / A C M   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W e b   I n t e l l i g e n c e - I n t e l l i g e n t   A g e n t   T e c h n o l o g y   -   W o r k s h o p s   ( W I - I A T   2 0 1 0 ) ,   D O I   1 0 . 1 1 0 9 / W I - I A T . 2 0 1 0 . 1 1 0 ;   Z h a n g   P ,   2 0 1 2 ,   B I O I N F   B I O M   B I B M   2 0 1 ,   P 1 ;   Z h a n g   P ,   2 0 1 1 ,   P R O T E O M E   S C I ,   V 9 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 7 - 5 9 5 6 - 9 - S 1 - S 1 2 ;   Z h a n g   P ,   2 0 1 1 ,   L E C T   N O T E S   A R T I F   I N T ,   V 6 9 1 3 ,   P 5 5 3 ;   Z h o u   D ,   2 0 1 2 ,   A D V   N E U R A L   I N F O R M   P R ;   Z h o u   X S ,   2 0 1 2 ,   A C M   S I G K D D   E X P L O R A T I ,   V 1 4 ,   P 2 5 	 3 5 	 0 	 0 	 B I O M E D   C E N T R A L   L T D 	 L O N D O N 	 2 3 6   G R A Y S   I N N   R D ,   F L O O R   6 ,   L O N D O N   W C 1 X   8 H L ,   E N G L A N D 	 1 4 7 1 - 2 1 0 5 	 	 	 B M C   B I O I N F O R M A T I C S 	 B M C   B i o i n f o r m a t i c s 	 S E P   2 4 	 2 0 1 3 	 1 4 	 	 	 1 2 	 	 	 	 	 S 5 	 1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 1 4 - S 1 2 - S 5 	 	 8 	 B i o c h e m i c a l   R e s e a r c h   M e t h o d s ;   B i o t e c h n o l o g y   &   A p p l i e d   M i c r o b i o l o g y ;   M a t h e m a t i c a l   &   C o m p u t a t i o n a l   B i o l o g y 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   B i o t e c h n o l o g y   &   A p p l i e d   M i c r o b i o l o g y ;   M a t h e m a t i c a l   &   C o m p u t a t i o n a l   B i o l o g y 	 2 4 8 Z L 	 W O S : 0 0 0 3 2 6 7 4 5 4 0 0 0 0 5 	 2 4 2 6 8 0 3 0 	 
 J 	 V u k o v i c ,   M ;   N a t a r a j a n ,   A 	 	 	 	 V u k o v i c ,   M a j a ;   N a t a r a j a n ,   A r j u n 	 	 	 E N H A N C I N G   Q U A L I T Y   O F   I T   S E R V I C E S   D E L I V E R Y   U S I N G   E N T E R P R I S E   C R O W D S O U R C I N G 	 I N T E R N A T I O N A L   J O U R N A L   O F   C O O P E R A T I V E   I N F O R M A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 E n t e r p r i s e   c r o w d s o u r c i n g ;   c o l l e c t i v e   i n t e l l i g e n c e ;   I T   s e r v i c e s   q u a l i t y 	 	 I T   o u t s o u r c i n g   c o m p a n i e s   h a v e   a d o p t e d   g l o b a l   d e l i v e r y   m o d e l ,   w h e r e   I T   s e r v i c e s ,   s u c h   a s   b a c k u p   m a n a g e m e n t ,   a r e   s u p p l i e d   o u t   o f   m u l t i p l e   l o c a t i o n s   w o r l d w i d e ,   b a s e d   o n   t h e   s k i l l   a n d   c o s t   o f   I T   d e l i v e r y   s t a f f ,   s u c h   a s   s y s t e m   a d m i n i s t r a t o r s   ( S A s )   a n d   c a l l   c e n t e r   a g e n t s .   M a n a g i n g   I T   s e r v i c e s   q u a l i t y   r e q u i r e s   i n s i g h t s   o b t a i n e d   b y   e x t r a c t i n g   l a r g e   v o l u m e s   o f   t a c i t   k n o w l e d g e   a b o u t   p r o c e s s e s ,   p r o d u c t s   a n d   p e o p l e ,   w h i c h   i s   i n   c o l l e c t i v e   p o s s e s s i o n   o f   e x p e r t s .   C u r r e n t   p r a c t i c e s   t o   d i s c o v e r i n g   t h i s   d i s t r i b u t e d   a n d   u n s t r u c t u r e d   k n o w l e d g e   a r e   s e m i - a u t o m a t e d .   O f t e n   t h e y   i n v o l v e   m a n u a l   d a t a   c o l l e c t i o n   u s i n g   s p r e a d s h e e t s   a n d   t r a c k i n g   o f   e x e r t s   t h r o u g h   e - m a i l .   A s   s u c h   t h e y   f a i l   t o   s c a l e   a n d   p r o v i d e   a c c u r a t e   i n s i g h t s   o n   d e m a n d ,   s u c h   a s   I T   i n f r a s t r u c t u r e   s n a p s h o t s .   W e   p r e s e n t   a n   e n t e r p r i s e   c r o w d s o u r c i n g   s e r v i c e   t h a t   e n a b l e s   h a r n e s s i n g   o f   h u m a n   k n o w l e d g e   t o   d e r i v e   q u a l i t y   i n s i g h t s   i n   I T   s e r v i c e s .   O u r   a p p r o a c h   a u t o m a t e s   k n o w l e d g e   a n d   k n o w l e d g e   o w n e r   d i s c o v e r y ,   a n d   i s   b a s e d   o n   t h e   c o n c e p t   o f   d i s t r i b u t e d   q u e s t i o n n a i r e s .   E x p e r t s   c a n   b r e a k d o w n   t h e   k n o w l e d g e   r e q u e s t s   i n t o   m u l t i p l e   p a r t s   a n d   e n g a g e   t h e i r   n e t w o r k s   t o   c o - c r e a t e   t h e   c o n t e n t .   W e   d i s c u s s   t h e   e f f e c t i v e n e s s   o f   o u r   a p p r o a c h   f o r   k n o w l e d g e   d i s c o v e r y   i n   t h e   c o n t e x t   o f   l a r g e - s c a l e ,   o n - g o i n g   b u s i n e s s   a c t i v i t i e s   i n   I T   o u t s o u r c i n g   o r g a n i z a t i o n ,   w h i c h   c o l l e c t i v e l y   e n g a g e d   o v e r   2 5 0 0   e x p e r t s   g l o b a l l y . 	 [ V u k o v i c ,   M a j a ;   N a t a r a j a n ,   A r j u n ]   I B M   T J   W a t s o n   R e s   C t r ,   Y o r k t o w n   H t s ,   N Y   1 0 5 9 8   U S A 	 V u k o v i c ,   M   ( r e p r i n t   a u t h o r ) ,   I B M   T J   W a t s o n   R e s   C t r ,   1 1 0 1   K i t c h a w a n   R d ,   Y o r k t o w n   H t s ,   N Y   1 0 5 9 8   U S A . 	 m a j a @ u s . i b m . c o m ;   a r j u n n @ u s . i b m . c o m 	 	 	 	 	 B e u l e n   E . ,   2 0 0 5 ,   E u r o p e a n   M a n a g e m e n t   J o u r n a l ,   V 2 3 ,   D O I   1 0 . 1 0 1 6 / j . e m j . 2 0 0 5 . 0 2 . 0 1 0 ;   B h a s k a r a n   K . ,   P   N E T W   O P   M A N   S   N O M S ;   B o s e   A . ,   2 0 0 8 ,   I E E E   S C C ;   B r a b h a m   D .   C . ,   2 0 0 9 ,   C R O W D S O U R C E D   A D V E R T I ;   B r y a n t   S .   L . ,   G R O U P   0 5   P   2 0 0 5   I N T ;   G r o v e r   V . ,   1 9 9 6 ,   J o u r n a l   o f   M a n a g e m e n t   I n f o r m a t i o n   S y s t e m s ,   V 1 2 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   K a u t z   H ,   1 9 9 7 ,   C O M M U N   A C M ,   V 4 0 ,   P 6 3 ,   D O I   1 0 . 1 1 4 5 / 2 4 5 1 0 8 . 2 4 5 1 2 3 ;   L a c i t y   M C ,   1 9 9 3 ,   I N F O R M   S Y S T E M S   O U T S O ;   L a r e d o   J . ,   2 0 1 1 ,   I N T   C   S E R V   O R   C O M P ;   L e e   J . - N . ,   2 0 0 1 ,   I N F O R M   M A N A G E M E N T ;   L e v y   P ,   2 0 1 0 ,   I N F O R M   S C I E N C E S ,   V 1 8 0 ,   P 7 1 ,   D O I   1 0 . 1 0 1 6 / j . i n s . 2 0 0 9 . 0 8 . 0 0 1 ;   M a l o n e   T . ,   2 0 0 9 ,   4 7 3 2 0 9   M I T   S L O A N ;   M a l o n e   T .   W . ,   2 0 0 4 ,   F U T U R E   W O R K   N E W   O R D E ;   S a n t o s   C . ,   2 0 1 3 ,   I M ,   P 1 4 3 ;   S h w a r t z   L . ,   2 0 1 0 ,   S O C A ,   P 1 ;   S u r o w i e c k i   J . ,   2 0 0 5 ,   A N C H O R ;   T e b o u l   J . ,   2 0 0 5 ,   S E R V I C E   I S   F R O N T   S T A ;   V u k o v i c   M . ,   2 0 1 2 ,   I E E E   S C C   H O N ;   V u k o v i c   M . ,   2 0 1 2 ,   I N T   C   S E R V   O R   C O M P   I ;   V u k o v i c   M . ,   2 0 1 1 ,   I E E E   S E R V   C O M P   C   S C C ;   V u k o v i c   M . ,   2 0 1 2 ,   I E E E   S E R V   C O M P   C   S C C ;   V u k o v i c   M . ,   2 0 0 9 ,   I C S O C   S E R V   W A V   W O R K S ,   P 1 0 9 	 2 3 	 0 	 0 	 W O R L D   S C I E N T I F I C   P U B L   C O   P T E   L T D 	 S I N G A P O R E 	 5   T O H   T U C K   L I N K ,   S I N G A P O R E   5 9 6 2 2 4 ,   S I N G A P O R E 	 0 2 1 8 - 8 4 3 0 	 1 7 9 3 - 6 3 6 5 	 	 I N T   J   C O O P   I N F   S Y S T 	 I n t .   J .   C o o p .   I n f .   S y s t . 	 S E P 	 2 0 1 3 	 2 2 	 3 	 	 	 S I 	 	 	 	 1 3 4 0 0 0 1 	 1 0 . 1 1 4 2 / S 0 2 1 8 8 4 3 0 1 3 4 0 0 0 1 7 	 	 2 1 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 2 8 0 U J 	 W O S : 0 0 0 3 2 9 0 5 6 0 0 0 0 0 2 	 	 
 J 	 R o g s t a d i u s ,   J ;   V u k o v i c ,   M ;   T e i x e i r a ,   C A ;   K o s t a k o s ,   V ;   K a r a p a n o s ,   E ;   L a r e d o ,   J A 	 	 	 	 R o g s t a d i u s ,   J . ;   V u k o v i c ,   M . ;   T e i x e i r a ,   C .   A . ;   K o s t a k o s ,   V . ;   K a r a p a n o s ,   E . ;   L a r e d o ,   J .   A . 	 	 	 C r i s i s T r a c k e r :   C r o w d s o u r c e d   s o c i a l   m e d i a   c u r a t i o n   f o r   d i s a s t e r   a w a r e n e s s 	 I B M   J O U R N A L   O F   R E S E A R C H   A N D   D E V E L O P M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 V i c t i m s ,   v o l u n t e e r s ,   a n d   r e l i e f   o r g a n i z a t i o n s   a r e   i n c r e a s i n g l y   u s i n g   s o c i a l   m e d i a   t o   r e p o r t   a n d   a c t   o n   l a r g e - s c a l e   e v e n t s ,   a s   w i t n e s s e d   i n   t h e   e x t e n s i v e   c o v e r a g e   o f   t h e   2 0 1 0 - 2 0 1 2   A r a b   S p r i n g   u p r i s i n g s   a n d   2 0 1 1   J a p a n e s e   t s u n a m i   a n d   n u c l e a r   d i s a s t e r s .   T w i t t e r A   f e e d s   c o n s i s t   o f   s h o r t   m e s s a g e s ,   o f t e n   i n   a   n o n s t a n d a r d   l o c a l   l a n g u a g e ,   r e q u i r i n g   n o v e l   t e c h n i q u e s   t o   e x t r a c t   r e l e v a n t   s i t u a t i o n   a w a r e n e s s   d a t a .   E x i s t i n g   a p p r o a c h e s   t o   m i n i n g   s o c i a l   m e d i a   a r e   a i m e d   a t   s e a r c h i n g   f o r   s p e c i f i c   i n f o r m a t i o n ,   o r   i d e n t i f y i n g   a g g r e g a t e   t r e n d s ,   r a t h e r   t h a n   p r o v i d i n g   n a r r a t i v e s .   W e   p r e s e n t   C r i s i s T r a c k e r ,   a n   o n l i n e   s y s t e m   t h a t   i n   r e a l   t i m e   e f f i c i e n t l y   c a p t u r e s   d i s t r i b u t e d   s i t u a t i o n   a w a r e n e s s   r e p o r t s   b a s e d   o n   s o c i a l   m e d i a   a c t i v i t y   d u r i n g   l a r g e - s c a l e   e v e n t s ,   s u c h   a s   n a t u r a l   d i s a s t e r s .   C r i s i s T r a c k e r   a u t o m a t i c a l l y   t r a c k s   s e t s   o f   k e y w o r d s   o n   T w i t t e r   a n d   c o n s t r u c t s   s t o r i e s   b y   c l u s t e r i n g   r e l a t e d   t w e e t s   o n   t h e   b a s i s   o f   t h e i r   l e x i c a l   s i m i l a r i t y .   I t   i n t e g r a t e s   c r o w d s o u r c i n g   t e c h n i q u e s ,   e n a b l i n g   u s e r s   t o   v e r i f y   a n d   a n a l y z e   s t o r i e s .   W e   r e p o r t   o u r   e x p e r i e n c e s   f r o m   a n   8 - d a y   C r i s i s T r a c k e r   p i l o t   d e p l o y m e n t   d u r i n g   2 0 1 2   f o c u s e d   o n   t h e   S y r i a n   c i v i l   w a r ,   w h i c h   p r o c e s s e d ,   o n   a v e r a g e ,   4 4 6 , 0 0 0   t w e e t s   d a i l y   a n d   r e d u c e d   t h e m   t o   c o n s u m a b l e   s t o r i e s   t h r o u g h   a n a l y t i c s   a n d   c r o w d s o u r c i n g .   W e   d i s c u s s   t h e   e f f e c t i v e n e s s   o f   C r i s i s T r a c k e r   b a s e d   o n   t h e   u s a g e   a n d   f e e d b a c k   f r o m   4 8   d o m a i n   e x p e r t s   a n d   v o l u n t e e r   c u r a t o r s . 	 [ R o g s t a d i u s ,   J . ;   T e i x e i r a ,   C .   A . ;   K o s t a k o s ,   V . ]   M a d e i r a   I n t e r a c t   T e c h n o l   I n s t ,   P - 9 0 2 0 1 0 5   F u n c h a l ,   P o r t u g a l ;   [ V u k o v i c ,   M . ;   L a r e d o ,   J .   A . ]   I B M   C o r p ,   D i v   R e s ,   T h o m a s   J   W a t s o n   R e s   C t r ,   Y o r k t o w n   H t s ,   N Y   1 0 5 9 8   U S A ;   [ K o s t a k o s ,   V . ]   U n i v   O u l u ,   D e p t   C o m p   S c i   &   E n g n ,   F I N - 9 0 5 7 0   O u l u ,   F i n l a n d 	 R o g s t a d i u s ,   J   ( r e p r i n t   a u t h o r ) ,   M a d e i r a   I n t e r a c t   T e c h n o l   I n s t ,   C a m i n h o   P e n t e a d a ,   P - 9 0 2 0 1 0 5   F u n c h a l ,   P o r t u g a l . 	 j a k o b @ m - i t i . o r g ;   m a j a @ u s . i b m . c o m ;   c l a u d i o . t e i x e i r a @ m - i t i . o r g ;   v a s s i l i s @ e e . o u l u . f i ;   e k a r a p a n o s @ u m a . p t ;   l a r e d o j @ u s . i b m . c o m 	 K o s t a k o s ,   V a s s i l i s / G - 8 9 9 7 - 2 0 1 1 	 K o s t a k o s ,   V a s s i l i s / 0 0 0 0 - 0 0 0 3 - 2 8 0 4 - 6 0 3 8 	 I B M   O p e n   C o l l a b o r a t i o n   R e s e a r c h   A w a r d ;   P o r t u g u e s e   F o u n d a t i o n   f o r   S c i e n c e   a n d   T e c h n o l o g y   [ C M U - P T / S E / 0 0 2 8 / 2 0 0 8 ] 	 W e   e x p r e s s   o u r   s i n c e r e   g r a t i t u d e   t o   a l l   t h e   c u r a t o r s   a n d   d i s a s t e r - r e s p o n s e   e x p e r t s   w h o   p a r t i c i p a t e d   i n   t h i s   s t u d y .   W e   t h a n k   P a t r i c k   M e i e r   f o r   p r o m o t i n g   t h e   e v a l u a t i o n   a s   a   S t a n d b y   T a s k   F o r c e   d e p l o y m e n t   a n d   f o r   h i s   g u i d a n c e   i n   c r o w d   m a n a g e m e n t .   W e   a l s o   t h a n k   S y r i a   T r a c k e r   f o r   i t s   s u p p o r t   i n   m a k i n g   t h e   d e p l o y m e n t   r e a l i s t i c   a n d   s a f e ,   a n d   f o r   a c t i v e l y   u s i n g   t h e   s y s t e m   i n   i t s   d a i l y   m o n i t o r i n g   o f   t h e   c o n f l i c t .   W e   t h a n k   R e b e c c a   C u r z o n   a n d   V i c k i   K r a e l i n g   f o r   p r o m o t i n g   t h e   s t u d y   w i t h   d i s a s t e r   p r a c t i t i o n e r s .   F i n a l l y ,   w e   t h a n k   K o - H s u n   H u a n g   f o r   k e y   g u i d a n c e   i n   g a t h e r i n g ,   a n a l y s i s ,   a n d   i n t e r p r e t a t i o n   o f   d a t a .   T h i s   w o r k   i s   s u p p o r t e d   b y   a n   I B M   O p e n   C o l l a b o r a t i o n   R e s e a r c h   A w a r d   a n d   b y   t h e   P o r t u g u e s e   F o u n d a t i o n   f o r   S c i e n c e   a n d   T e c h n o l o g y   ( g r a n t   C M U - P T / S E / 0 0 2 8 / 2 0 0 8 ;   W e b   S e c u r i t y   a n d   P r i v a c y ) . 	 A b e l   F . ,   2 0 1 2 ,   P   I N T   C   H Y P   S O C   M E D ,   P 2 8 5 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   D I S   R E L   2   0   F U T   I N F ;   B e s t   C . ,   2 0 0 5 ,   2 2 1 7 3 E N   E U R ;   B u s a r i   S . ,   T W E E T I N G   T E R R O R   S O C I ;   C h a r i k a r   M   S ,   2 0 0 2 ,   P   3 4   A N N   A C M   S   T H E O R ,   P 3 8 0 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   E n d s l e y   M R ,   2 0 0 0 ,   S I T U A T I O N   A W A R E N E S S   A N A L Y S I S   A N D   M E A S U R E M E N T ,   P 3 ;   G r a h a m   M . ,   2 0 1 2 ,   D I G I T A L   T R A I L S   U K   F L ;   G r a h a m   M . ,   W H A T   C A N   T W I T T E R   T E L ;   H s i e h   H F ,   2 0 0 5 ,   Q U A L   H E A L T H   R E S ,   V 1 5 ,   P 1 2 7 7 ,   D O I   1 0 . 1 1 7 7 / 1 0 4 9 7 3 2 3 0 5 2 7 6 6 8 7 ;   J a v a   A . ,   2 0 0 7 ,   P   J O I N T   9   W E B K D D   1   S ,   P 5 6 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 4 8 5 4 9 . 1 3 4 8 5 5 6 ;   K a p l a n   A M ,   2 0 1 0 ,   B U S   H O R I Z O N S ,   V 5 3 ,   P 5 9 ,   D O I   1 0 . 1 0 1 6 / j . b u s h o r . 2 0 0 9 . 0 9 . 0 0 3 ;   K a u f m a n n   N . ,   2 0 1 1 ,   P   A M   C   I N F   S Y S T   A M C I ;   K u m a r   S . ,   2 0 1 1 ,   5   I N T   A S S   A D V   A R T I F ;   K u z n e t s o v   S . ,   2 0 0 6 ,   A C M   S I G C A S   C O M P   S O C ,   V 3 6 ;   L a m o n t   I . ,   P L A N E   L A N D S   H U D S O N   R ;   M e i e r   P . ,   S O M E   T H O U G H T S   R E A L   T ;   M e i e r   P . ,   S C E N E S   D I G I T A L   O P E R A ;   M o r r o w   N . ,   2 0 1 1 ,   I N D E P E N D E N T   E V A L U A T I ;   P a l m e r   J ,   2 0 0 8 ,   N E W   S C I ,   V 1 9 8 ,   P 2 4 ,   D O I   1 0 . 1 0 1 6 / S 0 2 6 2 - 4 0 7 9 ( 0 8 ) 6 1 0 9 7 - 0 ;   P e t r o v i c   S . ,   2 0 1 0 ,   P   2 0 1 0   H U M   L A N G   T E C H ,   P 1 8 1 ;   R a b a n   D R ,   2 0 0 8 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 9 ,   P 2 2 8 4 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 0 9 4 2 ;   R o g s t a d i u s   J . ,   2 0 1 1 ,   P   A A A I   C   W E B L   S O C   M E ,   V 1 1 ,   P 3 2 1 ;   R o g s t a d i u s   J . ,   2 0 1 1 ,   P   W O R K S H   C R O W D S   H U M ;   R o g s t a d i u s   J . ,   2 0 1 1 ,   P   W O R K S H   C S C W S M A R T   E ;   S t a r b i r d   K ,   2 0 1 0 ,   P   7   I N T   I S C R A M   I N T   S ,   P 1 ;   S T A R B I R D   K ,   2 0 1 0 ,   P   2 0 1 0   A C M   C   C O M P   S U ,   P 2 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 7 1 8 9 1 8 . 1 7 1 8 9 6 5 ;   V i e w e g   S ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   D O I   [ 1 0 . 1 1 4 5 / 1 7 5 3 3 2 6 . 1 7 5 3 4 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 7 5 3 3 2 6 . 1 7 5 3 4 8 6 ] ;   V i e w e g   S . ,   2 0 1 2 ,   T H E S I S   U   C O L O R A D O   B O ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   V u k o v i c   M a j a ,   2 0 0 9 ,   P r o c e e d i n g s   o f   t h e   2 0 0 9   I E E E   C o n g r e s s   o n   S e r v i c e s .   S E R V I C E S   2 0 0 9 ,   D O I   1 0 . 1 1 0 9 / S E R V I C E S - I . 2 0 0 9 . 5 6 ;   Y i n   J ,   2 0 1 2 ,   I E E E   I N T E L L   S Y S T ,   V 2 7 ,   P 5 2 	 3 2 	 0 	 0 	 I B M   C O R P 	 A R M O N K 	 1   N E W   O R C H A R D   R O A D ,   A R M O N K ,   N Y   1 0 5 0 4   U S A 	 0 0 1 8 - 8 6 4 6 	 2 1 5 1 - 8 5 5 6 	 	 I B M   J   R E S   D E V 	 I B M   J .   R e s .   D e v . 	 S E P - O C T 	 2 0 1 3 	 5 7 	 5 	 	 	 	 	 	 	 4 	 1 0 . 1 1 4 7 / J R D . 2 0 1 3 . 2 2 6 0 6 9 2 	 	 1 3 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 2 5 5 T L 	 W O S : 0 0 0 3 2 7 2 6 2 9 0 0 0 0 5 	 	 
 J 	 M o h a m m a d ,   S M ;   D o r r ,   B J ;   H i r s t ,   G ;   T u r n e y ,   P D 	 	 	 	 M o h a m m a d ,   S a i f   M . ;   D o r r ,   B o n n i e   J . ;   H i r s t ,   G r a e m e ;   T u r n e y ,   P e t e r   D . 	 	 	 C o m p u t i n g   L e x i c a l   C o n t r a s t 	 C O M P U T A T I O N A L   L I N G U I S T I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 A N T O N Y M Y 	 K n o w i n g   t h e   d e g r e e   o f   s e m a n t i c   c o n t r a s t   b e t w e e n   w o r d s   h a s   w i d e s p r e a d   a p p l i c a t i o n   i n   n a t u r a l   l a n g u a g e   p r o c e s s i n g ,   i n c l u d i n g   m a c h i n e   t r a n s l a t i o n ,   i n f o r m a t i o n   r e t r i e v a l ,   a n d   d i a l o g u e   s y s t e m s .   M a n u a l l y   c r e a t e d   l e x i c o n s   f o c u s   o n   o p p o s i t e s ,   s u c h   a s   h o t   a n d   c o l d .   O p p o s i t e s   a r e   o f   m a n y   k i n d s   s u c h   a s   a n t i p o d a l s ,   c o m p l e m e n t a r i e s ,   a n d   g r a d a b l e .   E x i s t i n g   l e x i c o n s   o f t e n   d o   n o t   c l a s s i f y   o p p o s i t e s   i n t o   t h e   d i f f e r e n t   k i n d s ,   h o w e v e r .   T h e y   a l s o   d o   n o t   e x p l i c i t l y   l i s t   w o r d   p a i r s   t h a t   a r e   n o t   o p p o s i t e s   b u t   y e t   h a v e   s o m e   d e g r e e   o f   c o n t r a s t   i n   m e a n i n g ,   s u c h   a s   w a r m   a n d   c o l d   o r   t r o p i c a l   a n d   f r e e z i n g .   W e   p r o p o s e   a n   a u t o m a t i c   m e t h o d   t o   i d e n t i f y   c o n t r a s t i n g   w o r d   p a i r s   t h a t   i s   b a s e d   o n   t h e   h y p o t h e s i s   t h a t   i f   a   p a i r   o f   w o r d s ,   A   a n d   B ,   a r e   c o n t r a s t i n g ,   t h e n   t h e r e   i s   a   p a i r   o f   o p p o s i t e s ,   C   a n d   D ,   s u c h   t h a t   A   a n d   C   a r e   s t r o n g l y   r e l a t e d   a n d   B   a n d   D   a r e   s t r o n g l y   r e l a t e d .   ( F o r   e x a m p l e ,   t h e r e   e x i s t s   t h e   p a i r   o f   o p p o s i t e s   h o t   a n d   c o l d   s u c h   t h a t   t r o p i c a l   i s   r e l a t e d   t o   h o t ,   a n d   f r e e z i n g   i s   r e l a t e d   t o   c o l d . )   W e   w i l l   c a l l   t h i s   t h e   c o n t r a s t   h y p o t h e s i s . W e   b e g i n   w i t h   a   l a r g e   c r o w d s o u r c i n g   e x p e r i m e n t   t o   d e t e r m i n e   t h e   a m o u n t   o f   h u m a n   a g r e e m e n t   o n   t h e   c o n c e p t   o f   o p p o s i t e n e s s   a n d   i t s   d i f f e r e n t   k i n d s .   I n   t h e   p r o c e s s ,   w e   f l e s h   o u t   k e y   f e a t u r e s   o f   d i f f e r e n t   k i n d s   o f   o p p o s i t e s .   W e   t h e n   p r e s e n t   a n   a u t o m a t i c   a n d   e m p i r i c a l   m e a s u r e   o f   l e x i c a l   c o n t r a s t   t h a t   r e l i e s   o n   t h e   c o n t r a s t   h y p o t h e s i s ,   c o r p u s   s t a t i s t i c s ,   a n d   t h e   s t r u c t u r e   o f   a   R o g e t - l i k e   t h e s a u r u s .   W e   s h o w   h o w ,   u s i n g   f o u r   d i f f e r e n t   d a t a   s e t s ,   w e   e v a l u a t e d   o u r   a p p r o a c h   o n   t w o   d i f f e r e n t   t a s k s ,   s o l v i n g   m o s t   c o n t r a s t i n g   w o r d   q u e s t i o n s   a n d   d i s t i n g u i s h i n g   s y n o n y m s   f r o m   o p p o s i t e s .   T h e   r e s u l t s   a r e   a n a l y z e d   a c r o s s   f o u r   p a r t s   o f   s p e e c h   a n d   a c r o s s   f i v e   d i f f e r e n t   k i n d s   o f   o p p o s i t e s .   W e   s h o w   t h a t   t h e   p r o p o s e d   m e a s u r e   o f   l e x i c a l   c o n t r a s t   o b t a i n s   h i g h   p r e c i s i o n   a n d   l a r g e   c o v e r a g e ,   o u t p e r f o r m i n g   e x i s t i n g   m e t h o d s . 	 [ M o h a m m a d ,   S a i f   M . ;   T u r n e y ,   P e t e r   D . ]   N a t l   R e s   C o u n c i l   C a n a d a ,   O t t a w a ,   O N   K 1 A   0 R 6 ,   C a n a d a ;   [ D o r r ,   B o n n i e   J . ]   U n i v   M a r y l a n d ,   D e p t   C o m p   S c i ,   C o l l e g e   P k ,   M D   2 0 7 4 2   U S A ;   [ D o r r ,   B o n n i e   J . ]   U n i v   M a r y l a n d ,   I n s t   A d v   C o m p   S t u d i e s ,   C o l l e g e   P k ,   M D   2 0 7 4 2   U S A ;   [ H i r s t ,   G r a e m e ]   U n i v   T o r o n t o ,   D e p t   C o m p   S c i ,   T o r o n t o ,   O N   M 5 S   1 A 1 ,   C a n a d a 	 M o h a m m a d ,   S M   ( r e p r i n t   a u t h o r ) ,   N a t l   R e s   C o u n c i l   C a n a d a ,   O t t a w a ,   O N   K 1 A   0 R 6 ,   C a n a d a . 	 s a i f . m o h a m m a d @ n r c - c n r c . g c . c a ;   b o n n i e @ u m i a c s . u m d . e d u ;   g h @ c s . t o r o n t o . e d u ;   p e t e r . t u r n e y @ n r c - c n r c . g c . c a 	 	 	 N a t i o n a l   R e s e a r c h   C o u n c i l   C a n a d a ;   i n   p a r t   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ I I S - 0 7 0 5 8 3 2 ] ;   H u m a n   L a n g u a g e   T e c h n o l o g y   C e n t e r   o f   E x c e l l e n c e ;   N a t u r a l   S c i e n c e s   a n d   E n g i n e e r i n g   R e s e a r c h   C o u n c i l   o f   C a n a d a 	 W e   t h a n k   T a r a   S m a l l ,   S m a r a n d a   M u r e s a n ,   a n d   S i d d h a r t h   P a t w a r d h a n   f o r   t h e i r   v a l u a b l e   f e e d b a c k .   T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   N a t i o n a l   R e s e a r c h   C o u n c i l   C a n a d a ;   i n   p a r t   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   u n d e r   g r a n t   n o .   I I S - 0 7 0 5 8 3 2 ;   i n   p a r t   b y   t h e   H u m a n   L a n g u a g e   T e c h n o l o g y   C e n t e r   o f   E x c e l l e n c e ;   a n d   i n   p a r t   b y   t h e   N a t u r a l   S c i e n c e s   a n d   E n g i n e e r i n g   R e s e a r c h   C o u n c i l   o f   C a n a d a .   A n y   o p i n i o n s ,   f i n d i n g s ,   a n d   c o n c l u s i o n s   o r   r e c o m m e n d a t i o n s   e x p r e s s e d   i n   t h i s   m a t e r i a l   a r e   t h o s e   o f   t h e   a u t h o r s   a n d   d o   n o t   n e c e s s a r i l y   r e f l e c t   t h e   v i e w s   o f   t h e   s p o n s o r s 	 A g r e s t i   A . ,   1 9 9 0 ,   C A T E G O R I C A L   D A T A   A N A ;   B a n e r j e e   S a t a n j e e v ,   2 0 0 3 ,   I J C A I ,   P 8 0 5 ;   B e j a r   I .   I . ,   1 9 9 1 ,   C O G N I T I V E   P S Y C H O M E T R ;   B r a n t s   T . ,   2 0 0 6 ,   W E B   I T   5   G R A M   V E R S I O ;   B u d a n i t s k y   A ,   2 0 0 6 ,   C O M P U T   L I N G U I S T ,   V 3 2 ,   P 1 3 ,   D O I   1 0 . 1 1 6 2 / c o l i . 2 0 0 6 . 3 2 . 1 . 1 3 ;   B u r n a r d   L . ,   2 0 0 0 ,   R E F E R E N C E   G U I D E   B R I T ;   C H A R L E S   W G ,   1 9 8 9 ,   A P P L   P S Y C H O L I N G U I S T ,   V 1 0 ,   P 3 5 7 ,   D O I   1 0 . 1 0 1 7 / S 0 1 4 2 7 1 6 4 0 0 0 0 8 6 7 5 ;   C r u s e   D .   A l a n ,   1 9 8 6 ,   L E X I C A L   S E M A N T I C S ;   C u p e r t i n o   L u c e r t o ,   2 0 0 2 ,   W O R K S H   L E X   R E S   W E B   W ;   C u r r a n   J a m e s   R . ,   2 0 0 4 ,   T H E S I S   U   E D I N B U R G H   E ;   d e   M a r n e f f e   M a r i e - C a t h e r i n e ,   2 0 0 8 ,   P   4 6   A N N   M   A S S   C O M P ;   D e e s e   J . ,   1 9 6 5 ,   S T R U C T U R E   A S S   L A N G U A ;   E g a n   R o s e   F . ,   1 9 8 4 ,   W E B S T E R S   N E W   D I C T   S Y ,   p 5 a ;   F e l l b a u m   C . ,   1 9 9 5 ,   I N T   J   L E X I C O G R ,   V 8 ,   P 2 8 1 ,   D O I   1 0 . 1 0 9 3 / i j l / 8 . 4 . 2 8 1 ;   G R O S S   D ,   1 9 8 9 ,   J   M E M   L A N G ,   V 2 8 ,   P 9 2 ,   D O I   1 0 . 1 0 1 6 / 0 7 4 9 - 5 9 6 X ( 8 9 ) 9 0 0 3 0 - 2 ;   C h u r c h   K .   W . ,   1 9 9 0 ,   C o m p u t a t i o n a l   L i n g u i s t i c s ,   V 1 6 ;   H a r a b a g i u   S a n d a   M . ,   2 0 0 6 ,   P   2 1   N A T   C   A R T   I N T   B ,   P 7 5 5 ;   H a t z i v a s s i l o g l o u   V . ,   1 9 9 7 ,   P   3 5   A N N   M   A S S   C O M P ,   P 1 7 4 ,   D O I   D O I   1 0 . 3 1 1 5 / 9 7 6 9 0 9 . 9 7 9 6 4 0 ;   H e a r s t   M . ,   1 9 9 2 ,   P   1 4   I N T   C   C O M P   L I N G ,   P 5 3 9 ;   J o n e s   S t e v e n ,   2 0 0 7 ,   C O R P O R A ,   V 2 ,   P 1 2 9 ,   D O I   1 0 . 3 3 6 6 / c o r . 2 0 0 7 . 2 . 2 . 1 2 9 ;   J u s t e s o n   J .   S . ,   1 9 9 1 ,   C o m p u t a t i o n a l   L i n g u i s t i c s ,   V 1 7 ;   K a g a n   J . ,   1 9 8 4 ,   N A T U R E   C H I L D ;   K a y   M a i r e   W e i r ,   1 9 8 8 ,   W E B S T E R S   C O L L E G I A T E ;   K e m p s o n   R .   M . ,   1 9 7 7 ,   S E M A N T I C   T H E O R Y ,   P 3 7 ;   L E H R E R   A ,   1 9 8 2 ,   L I N G U I S T   P H I L O S ,   V 5 ,   P 4 8 3 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 3 5 5 5 8 4 ;   L i n   D ,   1 9 9 8 ,   P   1 7   I N T   C   C O M P   L I N G ,   P 7 6 8 ;   L i n   D . ,   2 0 0 3 ,   P   1 8   I N T   J O I N T   C   A R T ,   P 1 4 9 2 ;   L o b a n o v a   A ,   2 0 1 0 ,   I N T   J   L E X I C O G R ,   V 2 3 ,   P 1 9 ,   D O I   1 0 . 1 0 9 3 / i j l / e c p 0 3 9 ;   L y o n s   J o h n ,   1 9 7 7 ,   S E M A N T I C S ,   V 1 ;   M a r c u   D ,   2 0 0 2 ,   P   4 0   A N N   M   A S S   C O M P ,   P 3 6 8 ;   M c C a r t h y   D ,   2 0 0 9 ,   L A N G   R E S O U R   E V A L ,   V 4 3 ,   P 1 3 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 7 9 - 0 0 9 - 9 0 8 4 - 1 ;   M o h a m m a d   S . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 9 8 2 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 8 4 3 ;   M o h a m m a d   S a i f ,   2 0 0 7 ,   P   2 0 0 7   J O I N T   C   E M P   M ,   P 5 7 1 ;   M o h a m m a d   S a i f ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   P 5 9 9 ;   M o h a m m a d   S a i f ,   2 0 0 8 ,   T E X T   A N   C   T A C   G A I T H ;   M u r p h y   G r e g o r y   L . ,   1 9 9 3 ,   J   M E M   L A N G ,   V 3 2 ,   P 1 ;   M u r p h y   L . ,   2 0 0 3 ,   S E M A N T I C   R E L A T I O N S   L ;   M u r p h y   L y n n e   M . ,   2 0 0 8 ,   1   L A N G U A G E ,   V 2 8 ,   P 4 0 3 ;   P a n g   B . ,   2 0 0 2 ,   P   A C L   0 2   C   E M P   M E T H ,   V 1 0 ,   P 7 9 ,   D O I   1 0 . 3 1 1 5 / 1 1 1 8 6 9 3 . 1 1 1 8 7 0 4 ;   P a n g   B . ,   2 0 0 8 ,   F O U N D   T R E N D S   I N F   R E T ,   V 2 ,   P 1 ,   D O I   D O I   1 0 . 1 5 6 1 / 1 5 0 0 0 0 0 0 1 1 ;   P a r a d i s   C a r i t a ,   2 0 0 9 ,   M E N T A L   L E X I C O N ,   V 4 ,   P 3 8 0 ;   R a d a   M i h a l c e a ,   2 0 0 5 ,   P   C   H U M   L A N G   T E C H N   E ,   P 5 3 1 ,   D O I   1 0 . 3 1 1 5 / 1 2 2 0 5 7 5 . 1 2 2 0 6 4 2 ;   S c h w a b   D i d i e r ,   2 0 0 2 ,   P   1 9   I N T   C   C O M P   L I N G ,   P 9 0 4 ;   T u r n e y   P . D . ,   2 0 0 8 ,   P   2 2   I N T   C   C O M P   L I N G ,   P 9 0 5 ;   T u r n e y   P D ,   2 0 1 1 ,   J   E X P   T H E O R   A R T I F   I N ,   V 2 3 ,   P 3 4 3 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 2 8 1 3 X . 2 0 1 0 . 5 0 2 3 1 1 ;   V i c t o r r i   B . ,   1 9 9 8 ,   T R A I T E M E N T   A U T O M A T I Q ,   V 3 9 ,   P 1 6 1 ;   V o o r h e e s   E l l e n   M . ,   2 0 0 8 ,   P   4 6   A N N   M   A C L   H L T   C ,   P 6 3 ;   Y u v a l   M a r t o n ,   2 0 1 1 ,   P   6   W O R K S H   S T A T   M A C H ,   P 2 3 7 	 4 8 	 0 	 0 	 M I T   P R E S S 	 C A M B R I D G E 	 5 5   H A Y W A R D   S T R E E T ,   C A M B R I D G E ,   M A   0 2 1 4 2   U S A 	 0 8 9 1 - 2 0 1 7 	 1 5 3 0 - 9 3 1 2 	 	 C O M P U T   L I N G U I S T 	 C o m p u t .   L i n g u i s t . 	 S E P 	 2 0 1 3 	 3 9 	 3 	 	 	 	 	 5 5 5 	 5 9 0 	 	 1 0 . 1 1 6 2 / C O L I _ a _ 0 0 1 4 3 	 	 3 6 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   L i n g u i s t i c s ;   L a n g u a g e   &   L i n g u i s t i c s 	 C o m p u t e r   S c i e n c e ;   L i n g u i s t i c s 	 2 3 7 J E 	 W O S : 0 0 0 3 2 5 8 6 4 8 0 0 0 0 4 	 	 
 J 	 K i m ,   M ;   P a r k ,   S O ;   J o o ,   W K ;   C h o i ,   K ;   J e o n g ,   Y S ;   K i m ,   Y K 	 	 	 	 K i m ,   M u c h e o l ;   P a r k ,   S a n g   O h ;   J o o ,   W o n - K y u n ;   C h o i ,   K i s e o k ;   J e o n g ,   Y o u n g - S i k ;   K i m ,   Y o n g - K i 	 	 	 T a g   B a s e d   C o l l a b o r a t i v e   K n o w l e d g e   M a n a g e m e n t   S y s t e m   w i t h   C r o w d s o u r c i n g 	 J O U R N A L   O F   I N T E R N E T   T E C H N O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 W e b   2 . 0 ;   C o l l e c t i v e   i n t e l l i g e n c e ;   C r o w d s o u r c i n g ;   K n o w l e d g e   m a n a g e m e n t 	 	 M a n y   r e s e a r c h e r s   h a v e   t a k e n   a n   i n t e r e s t   i n   a   c o l l e c t i v e   i n t e l l i g e n c e   t h e   d e v e l o p m e n t   o f   t h e   u s e r - g e n e r a t e d   w e b .   K n o w l e d g e   p u b l i s h i n g   a n d   m a n a g e m e n t   w i t h   i n t e r a c t i o n s   b e t w e e n   u s e r s   a r e   m o s t l y   a   s o c i a l   r e v o l u t i o n   f r o m   t h e   w i s d o m   o f   c r o w d s .   T h i s   p a p e r   p r o p o s e s   a   t a g   b a s e d   c o l l a b o r a t i v e   k n o w l e d g e   m a n a g e m e n t   s y s t e m .   I t   c a n   b e   r e a l i z e d   b o t h   t h e   c o l l e c t i v e   i n t e l l i g e n c e   w i t h   t h e   c r o w d s o u r c i n g   s y s t e m   a n d   t h e   d y n a m i c   c a t e g o r i z a t i o n   w i t h   t h e   c o l l a b o r a t i v e   t a g g i n g   a p p r o a c h .   I n   a d d i t i o n ,   w e   e s t a b l i s h   t h e   t r u s t w o r t h y   k n o w l e d g e   t h r o u g h   s i g n i f i c a n t   r o l e   a l l o t m e n t   b e t w e e n   a   u s e r   g r o u p   a n d   a   k n o w l e d g e   e x p e r t   g r o u p . 	 [ J e o n g ,   Y o u n g - S i k ]   D o n g g u k   U n i v ,   D e p t   M u l t i m e d i a   E n g n ,   S e o u l ,   S o u t h   K o r e a 	 	 m u c h e o l . k i m @ g m a i l . c o m ;   s o p a r k 3 @ g m a i l . c o m ;   j o o @ k i s t i . r e . k r ;   c h o i @ k i s t i . r e . k r ;   y s j e o n g @ d o n g g u k . e d u ;   y k k i m @ k i s t i . r e . k r 	 K i m ,   Y o n g K i / D - 1 9 8 1 - 2 0 1 3 	 	 C o n s t r u c t i o n   o f   N T I S   ( N a t i o n a l   S c i e n c e   &   T e c h n o l o g y   I n f o r m a t i o n   S e r v i c e )   P r o g r a m   [ N - 1 3 - N M - L U 0 1 - 0 0 1 ] ;   M i n i s t r y   o f   S c i e n c e ,   I C T   &   P l a n n i n g   ( M S E P ) ,   K o r e a 	 P r o j e c t   ( N - 1 3 - N M - L U 0 1 - 0 0 1 )   s u p p o r t e d   b y   C o n s t r u c t i o n   o f   N T I S   ( N a t i o n a l   S c i e n c e   &   T e c h n o l o g y   I n f o r m a t i o n   S e r v i c e )   P r o g r a m   F u n d e d   b y   t h e   M i n i s t r y   o f   S c i e n c e ,   I C T   &   P l a n n i n g   ( M S E P ) ,   K o r e a . 	 B e r n e r s - L e e   T i m ,   1 9 9 0 ,   I N F O R M   M A N A G E M E N T   P R ;   B e r n e r s - L e e   T i m ,   1 9 9 0 ,   W O R L D W I D E W E B   P R O P O S A ;   B e y e r   M a r k   A . ,   2 0 1 2 ,   I M P O R T A N C E   B I G   D A T A ;   B r a b h a m   D a r e n ,   2 0 0 8 ,   C O N V E R G E N C E ,   V 1 4 ,   P 7 9 ;   C a t t u t o   C ,   2 0 0 8 ,   A D V   C O M P L E X   S Y S T ,   V 1 1 ,   P 5 9 7 ,   D O I   1 0 . 1 1 4 2 / S 0 2 1 9 5 2 5 9 0 8 0 0 1 8 1 7 ;   D i n g   Y ,   2 0 1 0 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 1 ,   P 5 0 5 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 2 7 1 ;   G a n t z   J . F . ,   2 0 0 8 ,   D I V E R S E   E X P L O D I N G   D I ;   G e m m e l l   J o n a t h a n ,   2 0 0 8 ,   P R O C   I N T E L L   T E C H   W E B ,   P 3 7 ;   G e m m e l l   J o n a t h a n ,   2 0 0 8 ,   P   1 0   I N T   C   D A T   W A R   K ,   P 1 9 6 ;   G u p t a   M a n i s h ,   2 0 1 0 ,   A C M   S I G K D D   E X P L O R A T I ,   V 1 2 ,   P 5 8 ;   H e c k n e r   M a r k u s ,   2 0 0 9 ,   P   3   I N T   A A A I   C   W E B L ,   P 4 2 ;   J a s c h k e   R ,   2 0 0 7 ,   L E C T   N O T E S   A R T I F   I N T ,   V 4 7 0 2 ,   P 5 0 6 ;   K i m   H L ,   2 0 1 3 ,   I E E E   T   S E R V   C O M P U T ,   V 6 ,   P 2 5 2 ,   D O I   1 0 . 1 1 0 9 / T S C . 2 0 1 1 . 5 4 ;   K i m   M ,   2 0 1 3 ,   M U L T I M E D   T O O L S   A P P L ,   V 6 4 ,   P 5 0 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 1 - 0 8 9 7 - 8 ;   K i m   M ,   2 0 1 2 ,   S E C U R   C O M M U N   N E T W ,   V 5 ,   P 8 8 7 ,   D O I   1 0 . 1 0 0 2 / s e c . 3 7 9 ;   S c h e n k e l   R a l f ,   2 0 0 8 ,   P   3 1   A N N   I N T   A C M   S I G ,   P 5 2 3 ;   S c h i f a n e l l a   R . ,   2 0 1 0 ,   P   3   A C M   I N T   C   W E B   S E ,   P 2 7 1 ,   D O I   1 0 . 1 1 4 5 / 1 7 1 8 4 8 7 . 1 7 1 8 5 2 1 ;   S h e p i t s e n   A ,   2 0 0 8 ,   R E C S Y S ' 0 8 :   P R O C E E D I N G S   O F   T H E   2 0 0 8   A C M   C O N F E R E N C E   O N   R E C O M M E N D E R   S Y S T E M S ,   P 2 5 9 ;   S o n g   Y ,   2 0 0 8 ,   P R O C E E D I N G S   O F   T H E   A S M E   I N T E R N A T I O N A L   D E S I G N   E N G I N E E R I N G   T E C H N I C A L   C O N F E R E N C E S   A N D   C O M P U T E R S   A N D   I N F O R M A T I O N   I N   E N G I N E E R I N G   C O N F E R E N C E   2 0 0 7 ,   V O L   6 ,   P T S   A   A N D   B ,   P 5 1 5 ,   D O I   1 0 . 1 1 4 5 / 1 3 9 0 3 3 4 . 1 3 9 0 4 2 3 ;   S t e w a r t   O . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 3 0 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 8 9 5 ;   Z h a   H . ,   2 0 0 1 ,   P   1 0   I N T   C   I N F   K N O W L ,   P 2 5 ;   Z l a t i c   V i n k o ,   2 0 0 9 ,   P H Y S   R E V   E ,   V 8 0 ,   P 1 	 2 2 	 1 	 1 	 N A T L   I L A N   U N I V ,   J I T 	 I L A N 	 L I B   &   I N F O R M A T I O N   C T R ,   I L A N ,   2 6 0 4 7 ,   T A I W A N 	 1 6 0 7 - 9 2 6 4 	 2 0 7 9 - 4 0 2 9 	 	 J   I N T E R N E T   T E C H N O L 	 J .   I n t e r n e t   T e c h n o l . 	 S E P 	 2 0 1 3 	 1 4 	 5 	 	 	 	 	 8 5 9 	 8 6 5 	 	 1 0 . 6 1 3 8 / J I T . 2 0 1 3 . 1 4 . 5 . 1 5 	 	 7 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 2 2 9 C J 	 W O S : 0 0 0 3 2 5 2 3 9 1 0 0 0 1 5 	 	 
 J 	 C r o o k s ,   A T ;   W i s e ,   S 	 	 	 	 C r o o k s ,   A n d r e w   T . ;   W i s e ,   S a r a h 	 	 	 G I S   a n d   a g e n t - b a s e d   m o d e l s   f o r   h u m a n i t a r i a n   a s s i s t a n c e 	 C O M P U T E R S   E N V I R O N M E N T   A N D   U R B A N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 G I S ;   A g e n t - b a s e d   m o d e l s ;   C r o w d s o u r c i n g ;   D i s a s t e r s ;   H a i t i ;   V o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n 	 C O P I N G   S E L F - E F F I C A C Y ;   E M E R G E N C Y   R E S P O N S E ;   D I S A S T E R ;   S I M U L A T I O N ;   R E S O U R C E S ;   C O N S E R V A T I O N ;   E A R T H Q U A K E ;   S U P P O R T ;   S Y S T E M S ;   R A T I O N A L I T Y 	 N a t u r a l   d i s a s t e r s   s u c h   a s   e a r t h q u a k e s   a n d   t s u n a m i s   o c c u r   a l l   o v e r   t h e   w o r l d ,   a l t e r i n g   t h e   p h y s i c a l   l a n d s c a p e   a n d   o f t e n   s e v e r e l y   d i s r u p t i n g   p e o p l e ' s   d a i l y   l i v e s .   R e c e n t l y   r e s e a r c h e r s '   a t t e n t i o n   h a s   f o c u s e d   o n   u s i n g   c r o w d s   o f   v o l u n t e e r s   t o   h e l p   m a p   t h e   d a m a g e d   i n f r a s t r u c t u r e   a n d   d e v a s t a t i o n   c a u s e d   b y   n a t u r a l   d i s a s t e r s ,   s u c h   a s   t h o s e   i n   H a i t i   a n d   P a k i s t a n .   T h i s   d a t a   i s   e x t r e m e l y   u s e f u l ,   a s   i t   i s   a l l o w s   u s   t o   a s s e s s   d a m a g e   a n d   t h u s   a i d   t h e   d i s t r i b u t i o n   o f   r e l i e f ,   b u t   i t   t e l l s   u s   l i t t l e   a b o u t   h o w   t h e   p e o p l e   i n   s u c h   a r e a s   w i l l   r e a c t   t o   t h e   d e v a s t a t i o n .   T h i s   p a p e r   d e m o n s t r a t e s   a   p r o t o t y p e   s p a t i a l l y   e x p l i c i t   a g e n t - b a s e d   m o d e l ,   c r e a t e d   u s i n g   c r o w d s o u r c e d   g e o g r a p h i c   i n f o r m a t i o n   a n d   o t h e r   s o u r c e s   o f   p u b l i c l y   a v a i l a b l e   d a t a ,   w h i c h   c a n   b e   u s e d   t o   s t u d y   t h e   a f t e r m a t h   o f   a   c a t a s t r o p h i c   e v e n t .   T h e   s p e c i f i c   c a s e   m o d e l l e d   h e r e   i s   t h e   H a i t i   e a r t h q u a k e   o f   J a n u a r y   2 0 1 0 .   C r o w d s o u r c e d   d a t a   i s   u s e d   t o   b u i l d   t h e   i n i t i a l   p o p u l a t i o n s   o f   p e o p l e   a f f e c t e d   b y   t h e   e v e n t ,   t o   c o n s t r u c t   t h e i r   e n v i r o n m e n t ,   a n d   t o   s e t   t h e i r   n e e d s   b a s e d   o n   t h e   d a m a g e   t o   b u i l d i n g s .   W e   e x p l o r e   h o w   p e o p l e   r e a c t   t o   t h e   d i s t r i b u t i o n   o f   a i d ,   a s   w e l l   a s   h o w   r u m o u r s   r e l a t i n g   t o   a i d   a v a i l a b i l i t y   p r o p a g a t e   t h r o u g h   t h e   p o p u l a t i o n .   S u c h   a   m o d e l   c o u l d   p o t e n t i a l l y   p r o v i d e   a   l i n k   b e t w e e n   s o c i o - c u l t u r a l   i n f o r m a t i o n   a b o u t   t h e   p e o p l e   a f f e c t e d   a n d   t h e   r e l e v a n t   h u m a n i t a r i a n   r e l i e f   o r g a n i z a t i o n s .   ( c )   2 0 1 3   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ C r o o k s ,   A n d r e w   T . ;   W i s e ,   S a r a h ]   G e o r g e   M a s o n   U n i v ,   D e p t   C o m p u t a t   S o c i a l   S c i ,   F a i r f a x ,   V A   2 2 0 3 0   U S A 	 C r o o k s ,   A T   ( r e p r i n t   a u t h o r ) ,   G e o r g e   M a s o n   U n i v ,   D e p t   C o m p u t a t   S o c i a l   S c i ,   F a i r f a x ,   V A   2 2 0 3 0   U S A . 	 a c r o o k s 2 @ g m u . e d u ;   s w i s e 5 @ g m u . e d u 	 	 	 	 	 A a b y   K ,   2 0 0 6 ,   J   P U B L I C   H E A L T H   M A N ,   V 1 2 ,   P 3 6 5 ;   A n d e r s o n   J a m e s ,   2 0 0 7 ,   H e a l t h   C a r e   M a n a g   S c i ,   V 1 0 ,   P 3 3 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 2 9 - 0 0 7 - 9 0 3 0 - y ;   [ A n o n y m o u s ] ,   2 0 1 0 ,   B B C ;   A X T E L L   R . ,   1 9 9 6 ,   C O M P U T A T I O N A L   M A T H   O ,   V 1 ,   P 1 2 3 ,   D O I   D O I   1 0 . 1 0 0 7 / B F 0 1 2 9 9 0 6 5 ;   A x t e l l   R ,   2 0 0 0 ,   1 7   C T R   S O C   E C   D Y N   B R ;   B a n d u r a   A ,   1 9 7 7 ,   S O C I A L   L E A R N I N G   T H E O ;   B a r r e t t   C h r i s   L ,   2 0 0 5 ,   S c i   A m ,   V 2 9 2 ,   P 4 2 ;   B e n e n s o n   I . ,   2 0 0 4 ,   C O M P U T E R S   E N V   U R B A N ,   V 2 8 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / S 0 1 9 8 - 9 7 1 5 ( 0 2 ) 0 0 0 6 7 - 4 ;   B e n i g h t   C C ,   1 9 9 9 ,   A N X I E T Y   S T R E S S   C O P I N ,   V 1 2 ,   P 1 0 7 ,   D O I   1 0 . 1 0 8 0 / 1 0 6 1 5 8 0 9 9 0 8 2 4 8 3 2 5 ;   B i r k i n   M ,   2 0 1 2 ,   A G E N T   B A S E D   M O D E L S   G ,   P 5 1 ;   B r o u w e r s   L ,   2 0 0 5 ,   T H E S I S   S T O C K H O L M   U   S ;   C h e n   X W ,   2 0 0 8 ,   P R O F   G E O G R ,   V 6 0 ,   P 1 6 0 ,   D O I   1 0 . 1 0 8 0 / 0 0 3 3 0 1 2 0 7 0 1 8 7 3 6 4 5 ;   C h e r i y a d a t   A . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 1 1 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 7 - 9 1 0 1 - 0 ;   C I A   ( C e n t r a l   I n t e l l i g e n c e   A g e n c y ) ,   2 0 1 1 ,   C I A   W O R L D   F A C T B ;   C l i f f   D . ,   1 9 9 7 ,   H P 9 7 9 1   H E W L   P A C K   R E S ;   C o v a   T J ,   2 0 0 3 ,   T R A N S P O R T   R E S   A - P O L ,   V 3 7 ,   P 5 7 9 ,   D O I   1 0 . 1 0 1 6 / S 0 9 6 5 - 8 5 6 4 ( 0 3 ) 0 0 0 0 7 - 7 ;   C o v a   T . J . ,   2 0 0 5 ,   G E O G R A P H I C A L   I N F O R M ,   P 8 4 5 ;   d e   S i l v a   F N ,   2 0 0 0 ,   J   O P E R   R E S   S O C ,   V 5 1 ,   P 4 2 3 ,   D O I   1 0 . 1 0 5 7 / p a l g r a v e . j o r s . 2 6 0 0 8 7 9 ;   D O U T Y   C M ,   1 9 7 2 ,   A M   E C O N   R E V ,   V 6 2 ,   P 5 8 0 ;   D R A B E K   T E ,   1 9 9 2 ,   D I S A S T E R S ,   V 1 6 ,   P 1 0 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 7 7 1 7 . 1 9 9 2 . t b 0 0 3 8 4 . x ;   D y n e s   R .   R . ,   1 9 9 4 ,   D I S A S T E R S   C O L L E C T I V E ;   E p s t e i n   J .   M . ,   1 9 9 4 ,   W I N T E R   B   S A N T A   F E   I ,   P 2 8 ;   E p s t e i n   J M ,   2 0 0 2 ,   P   N A T L   A C A D   S C I   U S A ,   V 9 9 ,   P 7 2 4 3 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 9 2 0 8 0 1 9 9 ;   E r g u n   O . ,   2 0 1 0 ,   W I L E Y   E N C Y   O P E R A T I O N ;   E u b a n k   S ,   2 0 0 4 ,   N A T U R E ,   V 4 2 9 ,   P 1 8 0 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 2 5 4 1 ;   F a w c e t t   W ,   2 0 0 0 ,   D I S A S T E R S ,   V 2 4 ,   P 2 7 1 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 7 7 1 7 . 0 0 1 4 8 ;   F i e d r i c h   F ,   2 0 0 7 ,   C O M M U N   A C M ,   V 5 0 ,   P 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 2 2 6 7 3 6 . 1 2 2 6 7 6 3 ;   F R E E D Y   J R ,   1 9 9 2 ,   J   T R A U M A   S T R E S S ,   V 5 ,   P 4 4 1 ,   D O I   1 0 . 1 0 0 2 / j t s . 2 4 9 0 0 5 0 3 0 8 ;   G e o c o m m o n s ,   2 0 1 0 ,   H A I T   R O A D   D A T ;   G i l b e r t   N . ,   2 0 0 5 ,   S I M U L A T I O N   S O C I A L   S C ;   G - M o s a i c ,   2 0 1 0 ,   H A I T   D A T ;   G O D E   D K ,   1 9 9 3 ,   J   P O L I T   E C O N ,   V 1 0 1 ,   P 1 1 9 ,   D O I   1 0 . 1 0 8 6 / 2 6 1 8 6 8 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G o o d c h i l d   M F ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 3 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 7 5 9 2 5 5 ;   G o r m a n   S . ,   2 0 1 0 ,   W O R L D   M E D   H L T H   P O L I C ,   V 2 ;   G r a h a m   P . ,   2 0 0 7 ,   W E B   2   0 ;   H o a r d   M ,   2 0 0 5 ,   I N T   J   H Y G   E N V I R   H E A L ,   V 2 0 8 ,   P 1 1 7 ,   D O I   1 0 . 1 0 1 6 / j . i j h e h . 2 0 0 5 . 0 1 . 0 1 1 ;   H O B F O L L   S E ,   1 9 8 9 ,   A M   P S Y C H O L ,   V 4 4 ,   P 5 1 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 0 3 - 0 6 6 X . 4 4 . 3 . 5 1 3 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   V 1 4 . 0 6 ,   P 1 6 1 ;   H u p e r t   N ,   2 0 0 2 ,   M E D   D E C I S   M A K I N G ,   V 2 2 ,   p S 1 7 ,   D O I   1 0 . 1 1 7 7 / 0 2 7 2 9 8 9 0 2 2 3 7 7 0 9 ;   J a n a h   L . ,   2 0 1 0 ,   T E C H C R U N C H   C R O W D S O U R ;   J a n t z   C A ,   2 0 1 0 ,   C O M P U T   E N V I R O N   U R B A N ,   V 3 4 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e n v u r b s y s . 2 0 0 9 . 0 8 . 0 0 3 ;   J o h n s o n   R a c h e l   T ,   2 0 0 9 ,   P r o c e e d i n g s   o f   t h e   2 0 0 9   W i n t e r   S i m u l a t i o n   C o n f e r e n c e   ( W S C   2 0 0 9 ) ,   D O I   1 0 . 1 1 0 9 / W S C . 2 0 0 9 . 5 4 2 9 1 8 0 ;   K a p l a n   E H ,   2 0 0 2 ,   P   N A T L   A C A D   S C I   U S A ,   V 9 9 ,   P 1 0 9 3 5 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 6 2 2 8 2 7 9 9 ;   K a r a n c i   N . ,   2 0 0 5 ,   T R A U M A T O L O G Y ,   V 1 1 ,   P 3 0 7 ,   D O I   1 0 . 1 5 2 8 / t r a u . 2 0 0 5 . 1 1 . 4 . 3 0 7 ;   K e n n e d y   W   G ,   2 0 1 2 ,   A G E N T   B A S E D   M O D E L S   G ,   P 1 6 7 ;   L a n d S c a n ,   2 0 1 1 ,   H A I T   D A T ;   L i u   S B ,   2 0 1 0 ,   C A R T O G R   G E O G R   I N F   S C ,   V 3 7 ,   P 6 9 ;   L o e w e n s t e i n   G F ,   2 0 0 1 ,   P S Y C H O L   B U L L ,   V 1 2 7 ,   P 2 6 7 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 0 9 . 1 2 7 . 2 . 2 6 7 ;   L u k e   S ,   2 0 0 5 ,   S I M U L - T   S O C   M O D   S I M ,   V 8 1 ,   P 5 1 7 ,   D O I   1 0 . 1 1 7 7 / 0 0 3 7 5 4 9 7 0 5 0 5 8 0 7 3 ;   M a d e y   G . ,   2 0 1 0 ,   2 0 1 0   C O M P   S O C   S C I   S O ;   M a g l i o c c a   N ,   2 0 1 2 ,   A G E N T   B A S E D   M O D E L S   G ,   P 5 4 3 ;   M a s l o w   A .   H . ,   1 9 6 8 ,   P S Y C H O L   B E I N G ;   M e i e r   P . ,   2 0 1 1 ,   O P E N S T R E E T M A P S   N E W   M ;   M e n g   X L ,   2 0 0 9 ,   2 0 0 9   I N T E R N A T I O N A L   C O N F E R E N C E   O N   N E T W O R K I N G   A N D   D I G I T A L   S O C I E T Y ,   V O L   2 ,   P R O C E E D I N G S ,   P 6 8 ,   D O I   1 0 . 1 1 0 9 / I C N D S . 2 0 0 9 . 9 7 ;   N a q v i   S .   A .   A . ,   2 0 0 9 ,   W O R K I N G   P A P E R ;   N i r u p a m a   N ,   2 0 1 3 ,   N A T   H A Z A R D S ,   V 6 6 ,   P 5 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 6 9 - 0 1 1 - 0 0 4 5 - 9 ;   P a r r y   M . ,   2 0 1 1 ,   C H R O N I C L E   H I G H E R   E D ;   S a l g a d o   M . ,   2 0 1 0 ,   3   W O R L D   C   S O C   S I M   S I ;   S h i m   K C ,   2 0 0 2 ,   J   W A T E R   R E S   P L - A S C E ,   V 1 2 8 ,   P 1 9 0 ,   D O I   1 0 . 1 0 6 1 / ( A S C E ) 0 7 3 3 - 9 4 9 6 ;   S l o v i c   P ,   2 0 0 4 ,   R I S K   A N A L ,   V 2 4 ,   P 3 1 1 ,   D O I   1 0 . 1 1 1 1 / j . 0 2 7 2 - 4 3 3 2 . 2 0 0 4 . 0 0 4 3 3 . x ;   S t a n i l o v   K . ,   2 0 1 2 ,   A G E N T   B A S E D   M O D E L S   G ,   P 2 5 3 ;   S u l l i v a n   K . ,   2 0 1 0 ,   G E O M A S O N   G E O S P A T I A L ;   S u m e r   N ,   2 0 0 5 ,   J   T R A U M A   S T R E S S ,   V 1 8 ,   P 3 3 1 ,   D O I   1 0 . 1 0 0 2 / j t s . 2 0 0 3 2 ;   T h o r p   J . ,   2 0 0 6 ,   P   A G   2 0 0 6   C   S O C   A G   R ;   T o r r e n s   P ,   2 0 1 1 ,   T   G I S ,   V 1 5 ,   P 6 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 1 . 0 1 2 6 1 . x ;   T o r r e n s   P .   M . ,   2 0 1 0 ,   G E O J O U R N A L ,   V 7 5 ,   P 1 3 3 ,   D O I   [ 1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 1 0 - 9 3 6 1 - y ,   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 1 0 - 9 3 6 1 - Y ] ;   T r a l l i   D M ,   2 0 0 5 ,   I S P R S   J   P H O T O G R A M M ,   V 5 9 ,   P 1 8 5 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 0 5 . 0 2 . 0 0 2 ;   U n i t e d   N a t i o n s   F o u n d a t i o n ,   2 0 1 1 ,   D I S   R E L   2   0   F U T   I N F ;   U S   D e p a r t m e n t   o f   H e a l t h   a n d   H u m a n   S e r v i c e s   U S   D e p a r t m e n t   o f   A g r i c u l t u r e ,   2 0 0 5 ,   D I E T   G U I D   A M ;   U s h a h i d i ,   2 0 1 1 ,   U S H   O P   S O U R C   S O F T W   I ;   V i l l e g a s   J ,   2 0 1 3 ,   N A T   H A Z A R D S ,   V 6 6 ,   P 9 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 6 9 - 0 1 2 - 0 1 1 9 - 3 ;   W e i n   L M ,   2 0 0 3 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 0 ,   P 4 3 4 6 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 6 3 6 8 6 1 1 0 0 ;   W u   B .   M . ,   2 0 1 2 ,   A G E N T   B A S E D   M O D E L S   O ,   P 3 4 7 ;   Y a m a z a k i   F . ,   2 0 0 1 ,   S T R U C T U R A L   S A F E T Y   R E 	 7 5 	 0 	 0 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 0 1 9 8 - 9 7 1 5 	 	 	 C O M P U T   E N V I R O N   U R B A N 	 C o m p u t .   E n v i r o n .   U r b a n   S y s t . 	 S E P 	 2 0 1 3 	 4 1 	 	 	 	 	 	 1 0 0 	 1 1 1 	 	 1 0 . 1 0 1 6 / j . c o m p e n v u r b s y s . 2 0 1 3 . 0 5 . 0 0 3 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E n g i n e e r i n g ,   E n v i r o n m e n t a l ;   E n v i r o n m e n t a l   S t u d i e s ;   G e o g r a p h y ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y ;   G e o g r a p h y ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 2 2 7 O D 	 W O S : 0 0 0 3 2 5 1 2 2 3 0 0 0 0 9 	 	 
 J 	 S h a k e r ,   N ;   Y a n n a k a k i s ,   G N ;   T o g e l i u s ,   J 	 	 	 	 S h a k e r ,   N o o r ;   Y a n n a k a k i s ,   G e o r g i o s   N . ;   T o g e l i u s ,   J u l i a n 	 	 	 C r o w d s o u r c i n g   t h e   A e s t h e t i c s   o f   P l a t f o r m   G a m e s 	 I E E E   T R A N S A C T I O N S   O N   C O M P U T A T I O N A L   I N T E L L I G E N C E   A N D   A I   I N   G A M E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C o m p u t a t i o n a l   a e s t h e t i c s ;   e x p e r i e n c e - d r i v e n   p r o c e d u r a l   c o n t e n t   g e n e r a t i o n ;   p l a y e r   e x p e r i e n c e   m o d e l i n g 	 P H Y S I C A L   P L A Y ;   P H Y S I O L O G Y 	 W h a t   a r e   t h e   a e s t h e t i c s   o f   p l a t f o r m   g a m e s   a n d   w h a t   m a k e s   a   p l a t f o r m   l e v e l   e n g a g i n g ,   c h a l l e n g i n g ,   a n d / o r   f r u s t r a t i n g ?   W e   a t t e m p t   t o   a n s w e r   s u c h   q u e s t i o n s   t h r o u g h   m i n i n g   a   l a r g e   s e t   o f   c r o w d s o u r c e d   g a m e p l a y   d a t a   o f   a   c l o n e   o f   t h e   c l a s s i c   p l a t f o r m   g a m e   S u p e r   M a r i o   B r o s   ( S M B ) .   T h e   d a t a   c o n s i s t   o f   4 0   s h o r t   g a m e   l e v e l s   t h a t   d i f f e r   a l o n g   s i x   k e y   l e v e l   d e s i g n   p a r a m e t e r s .   C o l l e c t i v e l y ,   t h e s e   l e v e l s   a r e   p l a y e d   1 5 6 0   t i m e s   o v e r   t h e   I n t e r n e t ,   a n d   t h e   p e r c e i v e d   e x p e r i e n c e   i s   a n n o t a t e d   b y   e x p e r i m e n t   p a r t i c i p a n t s   v i a   s e l f - r e p o r t e d   r a n k i n g   ( p a i r w i s e   p r e f e r e n c e s ) .   G i v e n   t h e   w e a l t h   o f   t h i s   c r o w d s o u r c e d   d a t a ,   a s   a l l   d e t a i l s   a b o u t   p l a y e r s '   i n - g a m e   b e h a v i o r   a r e   l o g g e d ,   t h e   p r o b l e m   b e c o m e s   o n e   o f   e x t r a c t i n g   m e a n i n g f u l   n u m e r i c a l   f e a t u r e s   a t   t h e   a p p r o p r i a t e   l e v e l   o f   a b s t r a c t i o n   f o r   t h e   c o n s t r u c t i o n   o f   g e n e r i c   c o m p u t a t i o n a l   m o d e l s   o f   p l a y e r   e x p e r i e n c e   a n d ,   t h e r e b y ,   g a m e   a e s t h e t i c s .   W e   e x p l o r e   d i s s i m i l a r   t y p e s   o f   f e a t u r e s ,   i n c l u d i n g   d i r e c t   m e a s u r e m e n t s   o f   e v e n t   a n d   i t e m   f r e q u e n c i e s ,   a n d   f e a t u r e s   c o n s t r u c t e d   t h r o u g h   f r e q u e n t   s e q u e n c e   m i n i n g ,   a n d   g o   t h r o u g h   a n   i n - d e p t h   a n a l y s i s   o f   t h e   i n t e r r e l a t i o n s h i p   b e t w e e n   l e v e l   c o n t e n t ,   p l a y e r s '   b e h a v i o r a l   p a t t e r n s ,   a n d   r e p o r t e d   e x p e r i e n c e .   F u r t h e r m o r e ,   t h e   f u s i o n   o f   t h e   e x t r a c t e d   f e a t u r e s   a l l o w s   u s   t o   p r e d i c t   r e p o r t e d   p l a y e r   e x p e r i e n c e   w i t h   a   h i g h   a c c u r a c y ,   e v e n   f r o m   s h o r t   g a m e   s e g m e n t s .   I n   a d d i t i o n   t o   a d v a n c i n g   o u r   i n s i g h t   o n   t h e   f a c t o r s   t h a t   c o n t r i b u t e   t o   p l a t f o r m   g a m e   a e s t h e t i c s ,   t h e   r e s u l t s   a r e   u s e f u l   f o r   t h e   p e r s o n a l i z a t i o n   o f   g a m e   e x p e r i e n c e   v i a   a u t o m a t i c   g a m e   a d a p t a t i o n . 	 [ S h a k e r ,   N o o r ;   T o g e l i u s ,   J u l i a n ]   I T   U n i v   C o p e n h a g e n ,   D K - 2 3 0 0   C o p e n h a g e n ,   D e n m a r k ;   [ Y a n n a k a k i s ,   G e o r g i o s   N . ]   U n i v   M a l t a ,   D e p t   D i g i t a l   G a m e s ,   M S D - 2 0 8 0   M s i d a ,   M a l t a 	 S h a k e r ,   N   ( r e p r i n t   a u t h o r ) ,   I T   U n i v   C o p e n h a g e n ,   D K - 2 3 0 0   C o p e n h a g e n ,   D e n m a r k . 	 n o s h @ i t u . d k ;   g e o r g i o s . y a n n a k a k i s @ u m . e d u . m t ;   j u l i a n @ t o g e l i u s . c o m 	 	 	 D a n i s h   R e s e a r c h   A g e n c y ,   M i n i s t r y   o f   S c i e n c e ,   T e c h n o l o g y   a n d   I n n o v a t i o n   [ 2 7 4 - 0 9 - 0 0 8 3 ] 	 T h e   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   D a n i s h   R e s e a r c h   A g e n c y ,   M i n i s t r y   o f   S c i e n c e ,   T e c h n o l o g y   a n d   I n n o v a t i o n   u n d e r   P r o j e c t   " A G a m e C o m I n "   ( 2 7 4 - 0 9 - 0 0 8 3 ) . 	 B j o r k   S . ,   2 0 0 3 ,   P   L E V   U P   1   I N T   D I G   G ,   P 4 ;   B o j a r s k i   S . ,   2 0 1 0 ,   P   I E E E   C   C O M P   I N T   G A ,   P 8 3 ,   D O I   1 0 . 1 1 0 9 / I T W . 2 0 1 0 . 5 5 9 3 3 6 7 ;   D r a c h e n   A . ,   2 0 0 9 ,   P   I E E E   S   C O M P   I N T   G A ,   D O I   [ 1 0 . 1 1 0 9 / C I G . 2 0 0 9 . 5 2 8 6 5 0 0 ,   D O I   1 0 . 1 1 0 9 / C I G . 2 0 0 9 . 5 2 8 6 5 0 0 ] ;   H o o k   K ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 0 3 3 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 6 8 5 0 4 - 3 _ 1 ;   H u l l e t t   K . ,   2 0 1 0 ,   P   I N T   C   F D N   D I G   G A M ,   P 7 8 ,   D O I   1 0 . 1 1 4 5 / 1 8 2 2 3 4 8 . 1 8 2 2 3 5 9 ;   J e n n i n g s - T e a t s   M . ,   2 0 1 0 ,   P   6   A R T   I N T   I N T   D I G ,   P 1 3 8 ;   K o s t e r   R a p h ,   2 0 0 4 ,   T H E O R Y   F U N   G A M E   D E S I ;   L i   M ,   2 0 0 4 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 5 0 ,   P 3 2 5 0 ,   D O I   1 0 . 1 1 0 9 / T I T . 2 0 0 4 . 8 3 8 1 0 1 ;   M a g e r k o   B . ,   2 0 0 8 ,   P   C   F U T   P L A Y   R E S   P L A ,   P 2 0 0 ,   D O I   1 0 . 1 1 4 5 / 1 4 9 6 9 8 4 . 1 4 9 7 0 2 1 ;   M a l o n e   T . ,   1 9 8 1 ,   P   J O I N T   C   E A S   M O R   2 ,   P 1 4 3 ;   M a r t i n e z   H P ,   2 0 1 1 ,   P   1 3   I N T   C   M U L T   I N T ,   P 3 ;   M a w h o r t e r   P . ,   2 0 1 0 ,   P   I E E E   C   C O M P   I N T   G A ,   P 3 5 1 ,   D O I   1 0 . 1 1 0 9 / I T W . 2 0 1 0 . 5 5 9 3 3 3 3 ;   M i l a m   D . ,   2 0 1 0 ,   P   5   A C M   S I G G R A P H   S   V ,   P 3 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 6 1 3 5 . 1 8 3 6 1 4 1 ;   M o u r a   D . ,   2 0 1 1 ,   P   A C M   S I G G R A P H   S   V I D ,   P 1 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 0 1 8 5 5 6 . 2 0 1 8 5 5 9 ;   N i c o l l e t   V . ,   2 0 0 4 ,   D I F F I C U L T Y   D E X T E R I T Y ;   P e d e r s e n   C . ,   2 0 0 9 ,   P   I E E E   S   C O M P   I N T   G A ,   P 1 3 2 ;   P e d e r s e n   C ,   2 0 1 0 ,   I E E E   T   C O M P   I N T E L   A I ,   V 2 ,   P 5 4 ,   D O I   1 0 . 1 1 0 9 / T C I A I G . 2 0 1 0 . 2 0 4 3 9 5 0 ;   P e r e z   D ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 2 4 ,   P 1 2 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 5 2 5 - 5 _ 1 3 ;   R i e k   L D ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 9 7 4 ,   P 2 7 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 4 6 0 0 - 5 _ 3 1 ;   S h a k e r   N . ,   2 0 1 0 ,   P   6   A R T   I N T   I N T   D I G ,   P 6 3 ;   S h a k e r   N ,   2 0 1 1 ,   I E E E   T   C O M P   I N T E L   A I ,   V 3 ,   P 3 3 2 ,   D O I   1 0 . 1 1 0 9 / T C I A I G . 2 0 1 1 . 2 1 6 6 2 6 7 ;   S h a k e r   N ,   2 0 1 1 ,   2 0 1 1   I E E E   C O N F E R E N C E   O N   C O M P U T A T I O N A L   I N T E L L I G E N C E   A N D   G A M E S   ( C I G ) ,   P 1 2 6 ,   D O I   1 0 . 1 1 0 9 / C I G . 2 0 1 1 . 6 0 3 1 9 9 8 ;   S m i t h   G ,   2 0 0 8 ,   S A N D B O X   S Y M P O S I U M   2 0 0 8 :   3 R D   A C M   S I G G R A P H   V I D E O G A M E   S Y M P O S I U M ,   P R O C E E D I N G S ,   P 7 5 ;   S m i t h   G . ,   2 0 1 0 ,   P   I N T   C   F D N   D I G   G A M ,   P 2 0 9 ,   D O I   1 0 . 1 1 4 5 / 1 8 2 2 3 4 8 . 1 8 2 2 3 7 6 ;   S o r e n s o n   N . ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T E R ,   V 6 0 2 4 ,   P 1 3 0 ;   S o r e n s o n   N ,   2 0 1 1 ,   I E E E   T   C O M P   I N T E L   A I ,   V 3 ,   P 2 2 9 ,   D O I   1 0 . 1 1 0 9 / T C I A I G . 2 0 1 1 . 2 1 6 1 3 1 0 ;   S r i k a n t   R ,   1 9 9 6 ,   L N C S ,   V 1 0 5 7 ,   P 1 ;   T h u r a u   C . ,   2 0 1 0 ,   P   I E E E   C   C O M P   I N T   G A ,   P 1 7 0 ,   D O I   1 0 . 1 1 0 9 / I T W . 2 0 1 0 . 5 5 9 3 3 5 8 ;   T o g e l i u s   J . ,   2 0 0 9 ,   P   I E E E   S   C O M P   I N T   G A ,   P 1 1 1 ;   Y a n n a k a k i s   G . ,   2 0 0 5 ,   P   I E E E   S   C O M P   I N T   G A ,   P 9 4 ;   Y a n n a k a k i s   G N ,   2 0 1 1 ,   I E E E   T   A F F E C T   C O M P U T ,   V 2 ,   P 1 4 7 ,   D O I   1 0 . 1 1 0 9 / T - A F F C . 2 0 1 1 . 6 ;   Y a n n a k a k i s   G N ,   2 0 0 8 ,   I N T   J   H U M - C O M P U T   S T ,   V 6 6 ,   P 7 4 1 ,   D O I   1 0 . 1 0 1 6 / j . i j h c s . 2 0 0 8 . 0 6 . 0 0 4 ;   Y a n n a k a k i s   G N ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 7 3 8 ,   P 2 5 4 ;   Y a n n a k a k i s   G N ,   2 0 0 9 ,   I E E E   T   S Y S T   M A N   C Y   A ,   V 3 9 ,   P 1 1 6 5 ,   D O I   1 0 . 1 1 0 9 / T S M C A . 2 0 0 9 . 2 0 2 8 1 5 2 ;   Z a k i   M J ,   2 0 0 1 ,   M A C H   L E A R N ,   V 4 2 ,   P 3 1 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 7 6 5 2 5 0 2 3 1 5 	 3 5 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 9 4 3 - 0 6 8 X 	 	 	 I E E E   T   C O M P   I N T E L   A I 	 I E E E   T r a n s .   C o m p u t .   I n t e l l .   A I   G a m e s 	 S E P 	 2 0 1 3 	 5 	 3 	 	 	 	 	 2 7 6 	 2 9 0 	 	 1 0 . 1 1 0 9 / T C I A I G . 2 0 1 2 . 2 2 3 1 4 1 3 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 2 2 0 L V 	 W O S : 0 0 0 3 2 4 5 8 6 3 0 0 0 0 7 	 	 
 J 	 W a n g ,   Y ;   J i a n g ,   J M ;   M u ,   T T 	 	 	 	 W a n g ,   Y a n ;   J i a n g ,   J i a n m i n ;   M u ,   T i n g t i n g 	 	 	 C o n t e x t - A w a r e   a n d   E n e r g y - D r i v e n   R o u t e   O p t i m i z a t i o n   f o r   F u l l y   E l e c t r i c   V e h i c l e s   v i a   C r o w d s o u r c i n g 	 I E E E   T R A N S A C T I O N S   O N   I N T E L L I G E N T   T R A N S P O R T A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A d v a n c e d   d r i v e r - a s s i s t a n c e   s y s t e m   ( A D A S ) ;   f u l l y   e l e c t r i c   v e h i c l e   ( F E V ) ;   r o u t e   o p t i m i z a t i o n 	 S H O R T E S T - P A T H ;   T I M E ;   N E T W O R K S ;   A L G O R I T H M ;   D I S S E M I N A T I O N 	 R o u t e   p l a n n i n g   f o r   f u l l y   e l e c t r i c   v e h i c l e s   ( F E V s )   m u s t   t a k e   e n e r g y   e f f i c i e n c y   i n t o   a c c o u n t   d u e   t o   l i m i t e d   b a t t e r y   c a p a c i t y   a n d   t i m e - c o n s u m i n g   r e c h a r g i n g .   I n   a d d i t i o n ,   t h e   p l a n n i n g   a l g o r i t h m   s h o u l d   a l l o w   f o r   n e g a t i v e   e n e r g y   c o s t s   i n   t h e   r o a d   n e t w o r k   d u e   t o   r e g e n e r a t i v e   b r a k i n g ,   w h i c h   i s   a   u n i q u e   f e a t u r e   o f   F E V s .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   f r a m e w o r k   f o r   e n e r g y - d r i v e n   a n d   c o n t e x t - a w a r e   r o u t e   p l a n n i n g   f o r   F E V s .   I t   h a s   t w o   n o v e l   a s p e c t s :   1 )   I t   i s   c o n t e x t   a w a r e ,   i . e . ,   t h e   f r a m e w o r k   h a s   a c c e s s   t o   r e a l - t i m e   t r a f f i c   d a t a   f o r   r o u t i n g   c o s t   e s t i m a t i o n ;   a n d   i t   i s   e n e r g y   d r i v e n ,   i . e . ,   b o t h   t i m e   a n d   e n e r g y   e f f i c i e n c y   a r e   a c c o u n t e d   f o r ;   w h i c h   i m p l i e s   a   b i o b j e c t i v e   n a t u r e   o f   t h e   o p t i m i z a t i o n .   I n   a d d i t i o n ,   i n   t h e   c a s e   o f   i n s u f f i c i e n t   e n e r g y   o n   b o a r d ,   a n   o p t i m a l   d e t o u r   v i a   r e c h a r g e   p o i n t s   i s   c o m p u t e d .   O u r   m a i n   c o n t r i b u t i o n s   t o   a d d r e s s   t h e s e   i s s u e s   c a n   b e   h i g h l i g h t e d   a s   f o l l o w s :   1 )   A   v e h i c l e - t o - v e h i c l e   ( V 2 V )   c o m m u n i c a t i o n   p r o t o c o l   i s   p r o p o s e d   t o   r e a l i z e   t h e   c o n t e x t   a w a r e n e s s ,   a n d   2 )   w e   r e p l a c e   t h e   o r i g i n a l   b i o b j e c t i v e   f o r m   o f   o p t i m a l i t y   w i t h   t w o   s i n g l e - o b j e c t i v e   f o r m s   a n d   p r o p o s e   a   c o n s t r a i n e d   A *   ( C A * )   a l g o r i t h m   t o   f i n d   t h e   s o l u t i o n s .   T h e   a l g o r i t h m   m a i n t a i n s   a   P a r e t o   f r o n t   w h i l e   i t   c o n f i n e s   i t s   s e a r c h   b y   e n e r g y   c o n s t r a i n t s .   T h e   b e s t   r e c h a r g i n g   d e t o u r   c a n   b e   a l s o   f o u n d   u s i n g   t h e   a l g o r i t h m .   W e   f i r s t   c o m p a r e d   t h e   p e r f o r m a n c e   o f   t h e   C A *   a l g o r i t h m   w i t h   o t h e r   a l g o r i t h m s .   W e   t h e n   e v a l u a t e   t h e   i m p a c t   o f   t h e   c o n t e x t   a w a r e n e s s   o n   r o a d   t r a f f i c   b y   s i m u l a t i o n s   u s i n g   a   r e a l i s t i c   r o a d   n e t w o r k   r e g a r d i n g   d i f f e r e n t   f o r m s   o f   o p t i m a l i t y .   F i n a l l y ,   w e   s h o w   t h a t   t h e   C A *   a l g o r i t h m   c a n   e f f e c t i v e l y   p r o d u c e   o p t i m a l   r e c h a r g i n g   d e t o u r s . 	 [ W a n g ,   Y a n ]   U n i v   B r a d f o r d ,   D i g i t a l   M e d i a   &   S y s t   R e s   I n s t ,   B r a d f o r d   B D 7   1 D P ,   Y o r k s ,   E n g l a n d ;   [ J i a n g ,   J i a n m i n ]   T i a n j i n   U n i v ,   S c h   C o m p   S c i   &   I n f o r m a t   T e c h n o l ,   T i a n j i n   3 0 0 0 7 2 ,   P e o p l e s   R   C h i n a ;   [ J i a n g ,   J i a n m i n ]   U n i v   S u r r e y ,   D e p t   C o m p ,   S u r r e y   G U 2   7 X H ,   E n g l a n d ;   [ M u ,   T i n g t i n g ]   U n i v   L i v e r p o o l ,   D e p t   E l e c t   E n g n ,   L i v e r p o o l   L 6 9   3 B X ,   M e r s e y s i d e ,   E n g l a n d 	 W a n g ,   Y   ( r e p r i n t   a u t h o r ) ,   U n i v   B r a d f o r d ,   D i g i t a l   M e d i a   &   S y s t   R e s   I n s t ,   B r a d f o r d   B D 7   1 D P ,   Y o r k s ,   E n g l a n d . 	 y a n w a n g n o t t @ g o o g l e m a i l . c o m ;   j m j i a n g @ t j u . e d u . c n ;   t . m u @ l i v e r p o o l . a c . u k 	 	 	 E u r o p e a n   U n i o n   S e v e n t h   F r a m e w o r k   P r o g r a m m e   u n d e r   E c o G e m   P r o j e c t   [ 2 6 0 0 9 7 ] 	 M a n u s c r i p t   r e c e i v e d   O c t o b e r   2 1 ,   2 0 1 2 ;   r e v i s e d   J a n u a r y   2 2 ,   2 0 1 3   a n d   A p r i l   1 3 ,   2 0 1 3 ;   a c c e p t e d   A p r i l   1 9 ,   2 0 1 3 .   D a t e   o f   p u b l i c a t i o n   M a y   1 6 ,   2 0 1 3 ;   d a t e   o f   c u r r e n t   v e r s i o n   A u g u s t   2 8 ,   2 0 1 3 .   T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   E u r o p e a n   U n i o n   S e v e n t h   F r a m e w o r k   P r o g r a m m e   u n d e r   E c o G e m   P r o j e c t   2 6 0 0 9 7 .   T h e   A s s o c i a t e   E d i t o r   f o r   t h i s   p a p e r   w a s   U .   N u n e s . 	 A g u i l e r a   L e a l   M . ,   2 0 1 0 ,   P   1 3   I E E E   C   I N T   T R A N ,   P 1 0 7 2 ;   A r t m e i e r   A . ,   2 0 1 0 ,   P   2   I N T   W O R K S H   C O N S T ,   P 1 ;   B a s t   H . ,   2 0 0 7 ,   P   W O R K S H   A L G   E N G   E X P ,   P 1 ;   B a t z   G . ,   2 0 0 8 ,   P   1 1   W O R K S H   A L G   E N G ,   P 9 7 ;   B a u e r   R ,   2 0 0 8 ,   S I A M   P R O C   S ,   P 1 3 ;   B e h r i s c h   M . ,   2 0 1 1 ,   P   3   I N T   C   A D V   S Y S T   S ,   P 2 3 ;   B E L L M A N   R ,   1 9 5 4 ,   B   A M   M A T H   S O C ,   V 6 0 ,   P 5 0 3 ,   D O I   1 0 . 1 0 9 0 / S 0 0 0 2 - 9 9 0 4 - 1 9 5 4 - 0 9 8 4 8 - 8 ;   B r o o k h u i s   K .   A . ,   2 0 0 1 ,   E U R O P E A N   J   T R A N S P O R T ,   V 1 ,   P 2 4 5 ;   B r o o k s   C .   A . ,   2 0 0 5 ,   P   S W E L   2 0 0 5   H E L D   C O N ,   P 1 ;   C e n e r a r i o   N ,   2 0 1 1 ,   I E E E   T   I N T E L L   T R A N S P ,   V 1 2 ,   P 7 7 1 ,   D O I   1 0 . 1 1 0 9 / T I T S . 2 0 1 1 . 2 1 5 8 8 2 1 ;   C h a b i n i   I ,   2 0 0 2 ,   I E E E   T   I N T E L L   T R A N S P ,   V 3 ,   P 6 0 ,   D O I   1 0 . 1 1 0 9 / 6 9 7 9 . 9 9 4 7 9 6 ;   C h a n   C .   C . ,   2 0 0 1 ,   M O D E R N   E L E C T   V E H I C L E ;   C h a n   C C ,   2 0 0 2 ,   P   I E E E ,   V 9 0 ,   P 2 4 7 ,   D O I   1 0 . 1 1 0 9 / 5 . 9 8 9 8 7 3 ;   C L I M A C O   J C N ,   1 9 8 2 ,   E U R   J   O P E R   R E S ,   V 1 1 ,   P 3 9 9 ;   D e l l i n g   D ,   2 0 1 1 ,   A L G O R I T H M I C A ,   V 6 0 ,   P 6 0 ,   D O I   1 0 . 1 0 0 7 / s 0 0 4 5 3 - 0 0 9 - 9 3 4 1 - 0 ;   D e l l i n g   D . ,   2 0 1 1 ,   I N F O R M S   J   C O M P U T ,   V 2 4 ,   P 1 8 7 ;   E i s n e r   J . ,   2 0 1 1 ,   P   2 5   A A A I   C   A R T   I N T ,   P 1 1 0 8 ;   F u   L P ,   2 0 0 1 ,   T R A N S P O R T   R E S   B - M E T H ,   V 3 5 ,   P 7 4 9 ,   D O I   1 0 . 1 0 1 6 / S 0 1 9 1 - 2 6 1 5 ( 0 0 ) 0 0 0 1 9 - 9 ;   G e i s b e r g e r   R ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 0 3 8 ,   P 3 1 9 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 6 8 5 5 2 - 4 _ 2 4 ;   G o l d b e r g   A . ,   2 0 0 4 ,   M S R T R 2 0 0 4 2 4 ;   H a a s   Z J ,   2 0 0 6 ,   I E E E   A C M   T   N E T W O R K ,   V 1 4 ,   P 4 7 9 ,   D O I   1 0 . 1 1 0 9 / T N E T . 2 0 0 6 . 8 7 6 1 8 6 ;   H A R T   P E ,   1 9 6 8 ,   I E E E   T   S Y S T   S C I   C Y B ,   V S S C 4 ,   P 1 0 0 ,   D O I   1 0 . 1 1 0 9 / T S S C . 1 9 6 8 . 3 0 0 1 3 6 ;   J O H N S O N   D B ,   1 9 7 7 ,   J   A C M ,   V 2 4 ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 3 2 1 9 9 2 . 3 2 1 9 9 3 ;   K a n o h   H . ,   2 0 0 7 ,   I n t e r n a t i o n a l   J o u r n a l   o f   K n o w l e d g e - B a s e d   a n d   I n t e l l i g e n t   E n g i n e e r i n g   S y s t e m s ,   V 1 1 ;   K i m   S ,   2 0 0 5 ,   I E E E   T   I N T E L L   T R A N S P ,   V 6 ,   P 1 7 8 ,   D O I   1 0 . 1 1 0 9 / T I T S . 2 0 0 5 . 8 4 8 3 6 2 ;   K r a u s s   S . ,   1 9 9 7 ,   T H E S I S   U   C O L O G N E   C O L ;   L a r m i n i e   J a m e s ,   2 0 1 2 ,   E L E C T   V E H I C L E   T E C H N O ;   L e o n t i a d i s   I ,   2 0 1 1 ,   I E E E   T   I N T E L L   T R A N S P ,   V 1 2 ,   P 1 5 3 7 ,   D O I   1 0 . 1 1 0 9 / T I T S . 2 0 1 1 . 2 1 6 1 4 6 9 ;   M a i a   R . ,   2 0 1 1 ,   P   2 0 1 1   I E E E   F O R   I N T ,   P 2 2 7 ;   M u   T T ,   2 0 1 3 ,   I E E E   T   I N T E L L   T R A N S P ,   V 1 4 ,   P 2 1 4 ,   D O I   1 0 . 1 1 0 9 / T I T S . 2 0 1 2 . 2 2 1 0 4 1 9 ;   N a d e e m   T . ,   2 0 0 6 ,   P   3   A N N   I N T   C   M O B   U B ,   P 1 ;   N a n n i c i n i   G ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 0 3 8 ,   P 3 3 4 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 6 8 5 5 2 - 4 _ 2 5 ;   O R D A   A ,   1 9 9 0 ,   J   A C M ,   V 3 7 ,   P 6 0 7 ,   D O I   1 0 . 1 1 4 5 / 7 9 1 4 7 . 2 1 4 0 7 8 ;   P a p a l e o n t i o u   L .   G . ,   2 0 0 8 ,   T H E S I S   U   C Y P R U S   N I C O ;   P a r u c h u r i   V .   K . ,   2 0 0 2 ,   O P T I M A L   F L O O D I N G   P R O ;   S a c h e n b a c h e r   M . ,   2 0 1 1 ,   P   A A A I   C   A R T   I N T ,   P 1 4 0 2 ;   S a n d e r s   P . ,   2 0 0 7 ,   L N C S ,   V 4 5 2 5 ,   P 6 6 ;   S T E N T Z   A ,   1 9 9 4 ,   I E E E   I N T   C O N F   R O B O T ,   P 3 3 1 0 ;   S t e u e r   R .   E . ,   1 9 8 6 ,   M U L T I P L E   C R I T E R I A   O P ;   S w e d a   T .   M . ,   2 0 1 2 ,   P   I E E E   I N T   E L   V E H   C ,   P 1 ;   W a k e f i e l d   E .   H . ,   1 9 9 3 ,   H I S T   E L E C T   A U T O M O B I L ;   Y e   F ,   2 0 1 2 ,   I E E E   J   S E L   A R E A   C O M M ,   V 3 0 ,   P 7 6 9 ,   D O I   1 0 . 1 1 0 9 / J S A C . 2 0 1 2 . 1 2 0 5 1 1 ;   Y i   Y . ,   2 0 0 3 ,   P   I E E E   I N T   C   C O M M   I C ,   P 1 0 5 9 ;   Y u   H . ,   2 0 1 0 ,   I N T   A R C H   P H O T O G R A M   1 ,   V 3 4 ,   P 3 4 3 	 4 4 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 5 2 4 - 9 0 5 0 	 	 	 I E E E   T   I N T E L L   T R A N S P 	 I E E E   T r a n s .   I n t e l l .   T r a n s p .   S y s t . 	 S E P 	 2 0 1 3 	 1 4 	 3 	 	 	 	 	 1 3 3 1 	 1 3 4 5 	 	 1 0 . 1 1 0 9 / T I T S . 2 0 1 3 . 2 2 6 1 0 6 4 	 	 1 5 	 E n g i n e e r i n g ,   C i v i l ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T r a n s p o r t a t i o n   S c i e n c e   &   T e c h n o l o g y 	 E n g i n e e r i n g ;   T r a n s p o r t a t i o n 	 2 1 7 D E 	 W O S : 0 0 0 3 2 4 3 3 6 1 0 0 0 2 7 	 	 
 J 	 W u ,   D ;   Z h a n g ,   Y ;   B a o ,   L ;   R e g a n ,   A C 	 	 	 	 W u ,   D . ;   Z h a n g ,   Y . ;   B a o ,   L . ;   R e g a n ,   A .   C . 	 	 	 L o c a t i o n - B a s e d   C r o w d s o u r c i n g   f o r   V e h i c u l a r   C o m m u n i c a t i o n   i n   H y b r i d   N e t w o r k s   ( v o l   1 4 ,   p g   8 3 7 ,   2 0 1 3 ) 	 I E E E   T R A N S A C T I O N S   O N   I N T E L L I G E N T   T R A N S P O R T A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 C o r r e c t i o n 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 W u   D ,   2 0 1 3 ,   I E E E   T   I N T E L L   T R A N S P ,   V 1 4 ,   P 8 3 7 ,   D O I   1 0 . 1 1 0 9 / T I T S . 2 0 1 3 . 2 2 4 3 4 3 7 	 1 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 5 2 4 - 9 0 5 0 	 	 	 I E E E   T   I N T E L L   T R A N S P 	 I E E E   T r a n s .   I n t e l l .   T r a n s p .   S y s t . 	 S E P 	 2 0 1 3 	 1 4 	 3 	 	 	 	 	 1 5 5 6 	 1 5 5 6 	 	 1 0 . 1 1 0 9 / T I T S . 2 0 1 3 . 2 2 7 8 8 7 5 	 	 1 	 E n g i n e e r i n g ,   C i v i l ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T r a n s p o r t a t i o n   S c i e n c e   &   T e c h n o l o g y 	 E n g i n e e r i n g ;   T r a n s p o r t a t i o n 	 2 1 7 D E 	 W O S : 0 0 0 3 2 4 3 3 6 1 0 0 0 4 8 	 	 
 J 	 F r a n k e ,   N ;   K e i n z ,   P ;   K l a u s b e r g e r ,   K 	 	 	 	 F r a n k e ,   N i k o l a u s ;   K e i n z ,   P e t e r ;   K l a u s b e r g e r ,   K a t h a r i n a 	 	 	 " D o e s   T h i s   S o u n d   L i k e   a   F a i r   D e a l ? " :   A n t e c e d e n t s   a n d   C o n s e q u e n c e s   o f   F a i r n e s s   E x p e c t a t i o n s   i n   t h e   I n d i v i d u a l ' s   D e c i s i o n   t o   P a r t i c i p a t e   i n   F i r m   I n n o v a t i o n 	 O R G A N I Z A T I O N   S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 p a r t i c i p a t i o n   i n   f i r m   i n n o v a t i o n ;   c r o w d s o u r c i n g ;   u s e r   i n n o v a t i o n ;   o p e n   i n n o v a t i o n ;   f a i r n e s s   e x p e c t a t i o n s ;   a n t i c i p a t o r y   j u s t i c e 	 V I R T U A L   C U S T O M E R   E N V I R O N M E N T S ;   O P E N   S O U R C E   S O F T W A R E ;   P R I V A T E - C O L L E C T I V E   I N N O V A T I O N ;   V A L U E   C O - C R E A T I O N ;   P R O D U C T   D E V E L O P M E N T ;   P R O C E D U R A L   J U S T I C E ;   U S E R   C O M M U N I T I E S ;   C O M P A N Y   I D E N T I F I C A T I O N ;   O R G A N I Z A T I O N A L - C H A N G E ;   I D E A S   C O M P E T I T I O N 	 T h e   I n t e r n e t   h a s   g i v e n   r i s e   t o   n e w   o r g a n i z a t i o n a l   f o r m s   o f   i n t e g r a t i n g   u s e r s   i n t o   f i r m   i n n o v a t i o n .   C o m p a n i e s   w i l l i n g   t o   m a k e   u s e   o f   e x t e r n a l   r e s o u r c e s   c a n   n o w   o u t s o u r c e   i n n o v a t i o n - r e l a t e d   t a s k s   t o   h u g e   " c r o w d s "   o u t s i d e   t h e   c o m p a n y .   T h e   e x t a n t   l i t e r a t u r e   o n   p a r t i c i p a t i o n   m o t i v e s   a s s u m e s   a   s y m b i o t i c   r e l a t i o n s h i p   b e t w e e n   t h e   f i r m   a n d   e x t e r n a l   c o n t r i b u t o r s   i n   w h i c h   b o t h   p a r t i e s   h a v e   l a r g e l y   c o m p l e m e n t a r y   m o t i v e s   a n d   a r e   o n l y   i n t e r e s t e d   i n   t h e i r   o w n   u t i l i t y .   I n   t w o   e x p e r i m e n t a l   s i m u l a t i o n s ,   w e   s h o w   t h a t   t h i s   u n d e r s t a n d i n g   h a s   t o   b e   a m e n d e d :   p o t e n t i a l   c o n t r i b u t o r s   n o t   o n l y   w a n t   a   g o o d   d e a l ,   t h e y   a l s o   w a n t   a   f a i r   d e a l .   F a i r n e s s   e x p e c t a t i o n s   w i t h   r e g a r d   t o   t h e   d i s t r i b u t i o n   o f   v a l u e   b e t w e e n   t h e   f i r m   a n d   c o n t r i b u t o r s   ( d i s t r i b u t i v e   f a i r n e s s )   a n d   t h e   f a i r n e s s   o f   t h e   p r o c e d u r e s   l e a d i n g   t o   t h i s   d i s t r i b u t i o n   ( p r o c e d u r a l   f a i r n e s s )   i m p a c t   t h e   l i k e l i h o o d   o f   p a r t i c i p a t i o n   b e y o n d   c o n s i d e r a t i o n s   o f   s e l f - i n t e r e s t .   F a i r n e s s   e x p e c t a t i o n s   a r e   f o r m e d   o n   t h e   b a s i s   o f   t h e   t e r m s   a n d   c o n d i t i o n s   o f   t h e   c r o w d s o u r c i n g   s y s t e m   a n d   t h e   e x   a n t e   l e v e l   o f   i d e n t i f i c a t i o n   w i t h   t h e   f i r m   o r g a n i z i n g   i t .   I n   t u r n ,   t h e y   i m p a c t   t h e   i n d i v i d u a l s '   t r a n s a c t i o n - s p e c i f i c   r e a c t i o n s   a n d   a l s o   i n f o r m   t h e i r   f u t u r e   i d e n t i f i c a t i o n   w i t h   t h e   f i r m .   T h e s e   f i n d i n g s   c o n t r i b u t e   n o t   o n l y   t o   r e s e a r c h   o n   o p e n   a n d   u s e r   i n n o v a t i o n   b u t   a l s o   t o   t h e o r i e s   o n   o r g a n i z a t i o n a l   f a i r n e s s   b y   e n h a n c i n g   o u r   u n d e r s t a n d i n g   o f   t h e   e m e r g e n t   f i e l d   o f   f a i r n e s s   e x p e c t a t i o n s . 	 [ F r a n k e ,   N i k o l a u s ;   K e i n z ,   P e t e r ;   K l a u s b e r g e r ,   K a t h a r i n a ]   W U   V i e n n a   U n i v ,   U s e r   I n n o v a t   R e s   I n i t i a t   V i e n n a ,   I n s t   E n t r e p r e n e u r s h i p   &   I n n o v a t ,   A - 1 0 9 0   V i e n n a ,   A u s t r i a 	 F r a n k e ,   N   ( r e p r i n t   a u t h o r ) ,   W U   V i e n n a   U n i v ,   U s e r   I n n o v a t   R e s   I n i t i a t   V i e n n a ,   I n s t   E n t r e p r e n e u r s h i p   &   I n n o v a t ,   A - 1 0 9 0   V i e n n a ,   A u s t r i a . 	 n i k o l a u s . f r a n k e @ w u . a c . a t ;   p e t e r . k e i n z @ w u . a c . a t ;   k k @ f i n d e r l y . c o m 	 	 	 	 	 A D A M S   J S ,   1 9 6 5 ,   A D V   E X P   S O C   P S Y C H O L ,   V 2 ,   P 2 6 7 ;   A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   A g e r f a l k   P J ,   2 0 0 8 ,   M I S   Q U A R T ,   V 3 2 ,   P 3 8 5 ;   A h e a r n e   M ,   2 0 0 5 ,   J   A P P L   P S Y C H O L ,   V 9 0 ,   P 5 7 4 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 1 - 9 0 1 0 . 9 0 . 3 . 5 7 4 ;   A j z e n   I ,   2 0 0 4 ,   P E R S   S O C   P S Y C H O L   B ,   V 3 0 ,   P 1 1 0 8 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 6 1 6 7 2 0 4 2 6 4 0 7 9 ;   A m b r o s e   M L ,   2 0 0 5 ,   H A N D B O O K   O F   O R G A N I Z A T I O N A L   J U S T I C E ,   P 5 9 ;   A q u i n o   K ,   2 0 0 0 ,   O R G A N   S C I ,   V 1 1 ,   P 5 2 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 . 5 . 5 2 5 . 1 5 2 0 5 ;   A S H F O R T H   B E ,   1 9 8 9 ,   A C A D   M A N A G E   R E V ,   V 1 4 ,   P 2 0 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 1 8 9 ;   A U S T I N   W ,   1 9 7 4 ,   J   E X P   S O C   P S Y C H O L ,   V 1 0 ,   P 5 2 8 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 2 - 1 0 3 1 ( 7 4 ) 9 0 0 7 7 - 8 ;   B a g o z z i   R .   P . ,   2 0 0 2 ,   J   I N T E R A C T   M A R K ,   V 1 6 ,   P 2 ,   D O I   D O I   1 0 . 1 0 0 2 / D I R . 1 0 0 0 6 ;   B a l d w i n   C ,   2 0 1 1 ,   O R G A N   S C I ,   V 2 2 ,   P 1 3 9 9 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 0 0 . 0 6 1 8 ;   B a r r y   B r i a n ,   1 9 8 9 ,   T H E O R I E S   J U S T I C E ;   B a y u s   B L ,   2 0 1 3 ,   M A N A G E   S C I ,   V 5 9 ,   P 2 2 6 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 2 0 . 1 5 9 9 ;   B E L K   R W ,   1 9 8 8 ,   J   C O N S U M   R E S ,   V 1 5 ,   P 1 3 9 ,   D O I   1 0 . 1 0 8 6 / 2 0 9 1 5 4 ;   B e l k   R W ,   1 9 8 5 ,   R E S   C O N S U M E R   B E H A V I O ,   V 1 ,   P 1 ;   B e l l   B S ,   2 0 0 4 ,   I N T E R N A T   J   S E L E C T I O N ,   V 1 2 ,   P 2 5 ;   B e l l   B S ,   2 0 0 6 ,   J   A P P L   P S Y C H O L ,   V 9 1 ,   P 4 5 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 1 - 9 0 1 0 . 9 1 . 2 . 4 5 5 ;   B e r g a m i   M ,   2 0 0 0 ,   B R I T   J   S O C   P S Y C H O L ,   V 3 9 ,   P 5 5 5 ,   D O I   1 0 . 1 3 4 8 / 0 1 4 4 6 6 6 0 0 1 6 4 6 3 3 ;   B h a t t a c h a r y a   C B ,   2 0 0 3 ,   J   M A R K E T I N G ,   V 6 7 ,   P 7 6 ,   D O I   1 0 . 1 5 0 9 / j m k g . 6 7 . 2 . 7 6 . 1 8 6 0 9 ;   B l a u   P .   M . ,   1 9 6 4 ,   E X C H A N G E   A N D   P O W E R   I ;   B o i n e y   L G ,   1 9 9 7 ,   O R G A N   B E H A V   H U M   D E C ,   V 7 2 ,   P 1 ,   D O I   1 0 . 1 0 0 6 / o b h d . 1 9 9 7 . 2 7 2 9 ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   B r o c k n e r   J ,   1 9 9 8 ,   J   P E R S   S O C   P S Y C H O L ,   V 7 5 ,   P 3 9 4 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 7 5 . 2 . 3 9 4 ;   B r u s o n i   S ,   2 0 0 1 ,   A D M I N   S C I   Q U A R T ,   V 4 6 ,   P 5 9 7 ,   D O I   1 0 . 2 3 0 7 / 3 0 9 4 8 2 5 ;   B u l l i n g e r   A C ,   2 0 1 0 ,   C R E A T   I N N O V   M A N A G ,   V 1 9 ,   P 2 9 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 1 0 . 0 0 5 6 5 . x ;   C h a t t e r j i   A K ,   2 0 1 2 ,   O R G A N   S C I ,   V 2 3 ,   P 9 7 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 1 0 . 0 6 7 5 ;   C h a u d h u r i   A ,   2 0 0 1 ,   J   M A R K E T I N G ,   V 6 5 ,   P 8 1 ,   D O I   1 0 . 1 5 0 9 / j m k g . 6 5 . 2 . 8 1 . 1 8 2 5 5 ;   C h e s b r o u g h   H . W . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N ;   C L E M E N T   S ,   1 9 8 7 ,   J   O C C U P   P S Y C H O L ,   V 6 0 ,   P 2 5 7 ;   C o h e n - C h a r a s h   Y ,   2 0 0 1 ,   O R G A N   B E H A V   H U M   D E C ,   V 8 6 ,   P 2 7 8 ,   D O I   1 0 . 1 0 0 6 / o b h d . 2 0 0 1 . 2 9 5 8 ;   C o l q u i t t   J A ,   2 0 0 1 ,   J   A P P L   P S Y C H O L ,   V 8 6 ,   P 4 2 5 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 1 - 9 0 1 0 . 8 6 . 3 . 4 2 5 ;   C o o k   S ,   2 0 0 8 ,   H A R V A R D   B U S   R E V ,   V 8 6 ,   P 6 0 ;   C r a w f o r d   C M ,   2 0 1 0 ,   N E W   P R O D U C T S   M A N A G E M ;   C r o p a n z a n o   R ,   2 0 0 3 ,   J   O R G A N   B E H A V ,   V 2 4 ,   P 1 0 1 9 ,   D O I   1 0 . 1 0 0 2 / j o b . 2 2 8 ;   D a h l a n d e r   L ,   2 0 1 2 ,   O R G A N   S C I ,   V 2 3 ,   P 9 8 8 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 1 0 . 0 6 7 3 ;   D a h l a n d e r   L ,   2 0 0 8 ,   L O N G   R A N G E   P L A N N ,   V 4 1 ,   P 6 2 9 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 0 8 . 0 9 . 0 0 3 ;   D a h l a n d e r   L ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 1 2 4 3 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 9 . 0 1 1 ;   D e a n   J W ,   1 9 9 8 ,   A C A D   M A N A G E   R E V ,   V 2 3 ,   P 3 4 1 ,   D O I   1 0 . 2 3 0 7 / 2 5 9 3 7 8 ;   D e r o u s   E ,   2 0 0 4 ,   I N T   J   S E L E C T   A S S E S S ,   V 1 2 ,   P 9 9 ,   D O I   1 0 . 1 1 1 1 / j . 0 9 6 5 - 0 7 5 X . 2 0 0 4 . 0 0 2 6 7 . x ;   D i   G a n g i   P M ,   2 0 0 9 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 8 ,   P 3 0 3 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 9 . 0 4 . 0 0 4 ;   D i   G a n g i   P M ,   2 0 1 0 ,   M I S   Q   E X E C ,   V 9 ,   P 2 1 3 ;   D U T T O N   J E ,   1 9 9 4 ,   A D M I N   S C I   Q U A R T ,   V 3 9 ,   P 2 3 9 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 2 3 5 ;   E b n e r   W ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 4 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 6 4 . x ;   E i n w i l l e r   S A ,   2 0 0 6 ,   J   A C A D   M A R K E T   S C I ,   V 3 4 ,   P 1 8 5 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 2 0 7 0 3 0 5 2 8 4 9 8 3 ;   E l k i n s   T J ,   2 0 0 3 ,   J   A P P L   S O C   P S Y C H O L ,   V 3 3 ,   P 1 1 1 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 5 9 - 1 8 1 6 . 2 0 0 3 . t b 0 1 9 4 1 . x ;   E U C H N E R   J A ,   2 0 1 0 ,   R E S   T E C H N O L   M A N A G E ,   V 5 3 ,   P 7 ;   F a r a j   S ,   2 0 1 1 ,   O R G A N   S C I ,   V 2 2 ,   P 1 2 2 4 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 0 0 . 0 6 1 4 ;   F e h r   E ,   2 0 0 0 ,   J   E C O N   P E R S P E C T ,   V 1 4 ,   P 1 5 9 ,   D O I   1 0 . 1 2 5 7 / j e p . 1 4 . 3 . 1 5 9 ;   F e l s t i n e r   A L ,   2 0 1 0 ,   W O R K I N G   P A P E R ;   F l e m i n g   L ,   2 0 0 7 ,   O R G A N   S C I ,   V 1 8 ,   P 1 6 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 6 0 . 0 2 4 2 ;   F O L G E R   R ,   1 9 7 7 ,   J   P E R S   S O C   P S Y C H O L ,   V 3 5 ,   P 1 0 8 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 3 5 . 2 . 1 0 8 ;   F o l g e r   R ,   2 0 0 5 ,   H A N D B O O K   O F   O R G A N I Z A T I O N A L   J U S T I C E ,   P 2 1 5 ;   F r a n k e   N ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 5 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 0 6 - 9 ;   F r a n k e   N ,   2 0 1 0 ,   M A N A G E   S C I ,   V 5 6 ,   P 1 2 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 9 0 . 1 0 7 7 ;   F u c h s   C ,   2 0 1 1 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 8 ,   P 1 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 0 . 0 0 7 7 8 . x ;   F u c h s   C ,   2 0 1 0 ,   J   M A R K E T I N G ,   V 7 4 ,   P 6 5 ;   F u l l e r   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 9 8 ;   F u l l e r   J ,   2 0 0 8 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 5 ,   P 6 0 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 0 8 . 0 0 3 2 5 . x ;   F u l l e r   J ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 7 1 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 3 0 3 ;   F u l l e r   J ,   2 0 1 0 ,   I N D   M A R K E T   M A N A G ,   V 3 9 ,   P 1 3 7 6 ,   D O I   1 0 . 1 0 1 6 / j . i n d m a r m a n . 2 0 1 0 . 0 4 . 0 0 3 ;   F u l l e r   J ,   2 0 0 6 ,   A D V   C O N S U M   R E S ,   V 3 3 ,   P 6 3 9 ;   F u l l e r   J ,   2 0 0 7 ,   J   B U S   R E S ,   V 6 0 ,   P 6 0 ,   D O I   1 0 . 1 0 1 6 / j . j b u s r e s . 2 0 0 6 . 0 9 . 0 1 9 ;   G a c h t e r   S ,   2 0 1 0 ,   R E S   P O L I C Y ,   V 3 9 ,   P 8 9 3 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 0 . 0 4 . 0 1 0 ;   G i l l e s p i e   J Z ,   2 0 0 5 ,   H A N D B O O K   O F   O R G A N I Z A T I O N A L   J U S T I C E ,   P 1 7 9 ;   G i l l i l a n d   S .   W . ,   1 9 9 3 ,   A C A D   M A N A G E   R E V ,   V 1 8 ,   P 6 9 4 ,   D O I   D O I   1 0 . 2 3 0 7 / 2 5 8 5 9 5 ;   G i l l i l a n d   S W ,   2 0 0 5 ,   H A N D B O O K   O F   O R G A N I Z A T I O N A L   J U S T I C E ,   P 4 1 1 ;   G r a y s o n   K . ,   2 0 0 8 ,   S O C I O L O G Y   C O M P A S S ,   V 2 ,   P 9 6 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 5 1 - 9 0 2 0 . 2 0 0 8 . 0 0 1 1 2 . x ;   G r e e n b e r g   J ,   2 0 0 5 ,   H A N D B O O K   O F   O R G A N I Z A ;   G R E E N W A L D   A G ,   1 9 7 6 ,   P S Y C H O L   B U L L ,   V 8 3 ,   P 3 1 4 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 0 9 . 8 3 . 2 . 3 1 4 ;   H a l l   H ,   2 0 0 4 ,   I N T   J   I N F O R M   M A N A G E ,   V 2 4 ,   P 2 3 5 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 0 4 . 0 2 . 0 0 4 ;   H a m b u r g   M ,   2 0 0 8 ,   M E   L I K E   T H E   I N T E R W E B ;   H a r h o f f   D ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 7 5 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 6 1 - 1 ;   H a r h o f f   D ,   2 0 1 0 ,   O R G A N   D Y N ,   V 3 9 ,   P 1 3 7 ,   D O I   1 0 . 1 0 1 6 / j . o r g d y n . 2 0 1 0 . 0 1 . 0 0 5 ;   H E C K M A N   J J ,   1 9 7 9 ,   E C O N O M E T R I C A ,   V 4 7 ,   P 1 5 3 ,   D O I   1 0 . 2 3 0 7 / 1 9 1 2 3 5 2 ;   H I R S C H M A N   A L B E R T   O . ,   1 9 7 0 ,   E X I T   V O I C E   A N D   L O Y A L ;   H o m b u r g   C ,   2 0 0 5 ,   J   M A R K E T I N G ,   V 6 9 ,   P 8 4 ,   D O I   1 0 . 1 5 0 9 / j m k g . 6 9 . 2 . 8 4 . 6 0 7 6 0 ;   H o w e   J P ,   2 0 0 7 ,   C R O W D S O U R C I N G ;   I n t e r b r a n d ,   2 0 1 1 ,   R E P O R T ;   J a r v e n p a a   S .   L . ,   1 9 9 4 ,   J o u r n a l   o f   M a n a g e m e n t   I n f o r m a t i o n   S y s t e m s ,   V 1 0 ;   J a s s a w a l l a   A R ,   1 9 9 8 ,   J   P R O D   I N N O V A T   M A N A G ,   V 1 5 ,   P 2 3 7 ,   D O I   1 0 . 1 0 1 6 / S 0 7 3 7 - 6 7 8 2 ( 9 7 ) 0 0 0 8 0 - 5 ;   J e p p e s e n   L B ,   2 0 0 9 ,   R E S   P O L I C Y ,   V 3 8 ,   P 1 5 8 2 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 9 . 0 9 . 0 0 2 ;   J e p p e s e n   L B ,   2 0 0 6 ,   O R G A N   S C I ,   V 1 7 ,   P 4 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 5 6 ;   J O H N S O N   D W ,   1 9 7 2 ,   S O C I O L   Q U A R T ,   V 1 3 ,   P 1 7 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 3 3 - 8 5 2 5 . 1 9 7 2 . t b 0 0 8 0 1 . x ;   J u s t e r   T . ,   1 9 6 6 ,   J   A M   S T A T   A S S O C ,   V 6 1 ,   P 6 5 8 ;   K i m   W C ,   1 9 9 8 ,   S T R A T E G I C   M A N A G E   J ,   V 1 9 ,   P 3 2 3 ;   K I M   W C ,   1 9 9 3 ,   A C A D   M A N A G E   J ,   V 3 6 ,   P 5 0 2 ,   D O I   1 0 . 2 3 0 7 / 2 5 6 5 9 0 ;   K U M A R   N ,   1 9 9 5 ,   J   M A R K E T I N G   R E S ,   V 3 2 ,   P 5 4 ,   D O I   1 0 . 2 3 0 7 / 3 1 5 2 1 1 0 ;   K U N D A   Z ,   1 9 9 0 ,   P S Y C H O L   B U L L ,   V 1 0 8 ,   P 4 8 0 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 0 9 . 1 0 8 . 3 . 4 8 0 ;   K u r l a n d   N B ,   1 9 9 9 ,   O R G A N   S C I ,   V 1 0 ,   P 5 0 0 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 . 4 . 5 0 0 ;   L a k h a n i   K .   R . ,   2 0 0 7 ,   I N N O V A T I O N S   T E C H N O L O ,   V 2 ,   P 9 7 ,   D O I   1 0 . 1 1 6 2 / i t g g . 2 0 0 7 . 2 . 3 . 9 7 ;   L E E   C ,   1 9 9 4 ,   J   A P P L   P S Y C H O L ,   V 7 9 ,   P 3 6 4 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 1 - 9 0 1 0 . 7 9 . 3 . 3 6 4 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   L e v e n t h a l   G . S . ,   1 9 8 0 ,   S O C I A L   E X C H A N G E   A D V ,   P 2 7 ,   D O I   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 4 6 1 3 - 3 0 8 7 - 5 _ 2 ;   L e w i c k i   R J ,   1 9 9 5 ,   C O N F L I C T   C O O P E R A T I O N ,   P 1 3 3 ;   L e w i c k i   R o y   J . ,   1 9 9 6 ,   T R U S T   O R G   F R O N T I E R S ,   P 1 1 4 ,   D O I   D O I   1 0 . 4 1 3 5 / 9 7 8 1 4 5 2 2 4 3 6 1 0 . N 7 ;   L i   H Y ,   2 0 0 7 ,   O R G A N   S C I ,   V 1 8 ,   P 2 0 0 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 6 0 . 0 2 3 1 ;   L i l i e n   G L ,   2 0 0 2 ,   M A N A G E   S C I ,   V 4 8 ,   P 1 0 4 2 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 8 . 8 . 1 0 4 2 . 1 7 1 ;   L i n d   A . ,   2 0 0 1 ,   A D V   O R G   J U S T I C E ,   P 5 6 ;   L i n d   A E ,   1 9 8 8 ,   T H E   S O C I A L   P S Y C H O L O G ;   L i n d e r m a n   M a t t ,   2 0 0 6 ,   S I G N A L   V S   N O I S E ;   L u t h j e   C ,   2 0 0 4 ,   R & D   M A N A G E ,   V 3 4 ,   P 5 5 3 ;   M A C K E N Z I E   S B ,   1 9 8 6 ,   J   C O N S U M   R E S ,   V 1 3 ,   P 1 7 4 ,   D O I   1 0 . 1 0 8 6 / 2 0 9 0 5 9 ;   M A E L   F ,   1 9 9 2 ,   J   O R G A N   B E H A V ,   V 1 3 ,   P 1 0 3 ,   D O I   1 0 . 1 0 0 2 / j o b . 4 0 3 0 1 3 0 2 0 2 ;   M a s t e r s o n   S S ,   2 0 0 0 ,   A C A D   M A N A G E   J ,   V 4 3 ,   P 7 3 8 ,   D O I   1 0 . 2 3 0 7 / 1 5 5 6 3 6 4 ;   M a y r h o f e r   P ,   2 0 0 6 ,   M A N A G I N G   D E V E L O P M E N T ,   P 4 0 ;   F u l l e r   J . ,   2 0 0 6 ,   E l e c t r o n i c   C o m m e r c e   R e s e a r c h ,   V 6 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 6 0 - 0 0 6 - 5 9 8 8 - 7 ;   M o r r i s o n   P D ,   2 0 0 0 ,   M A N A G E   S C I ,   V 4 6 ,   P 1 5 1 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 6 . 1 2 . 1 5 1 3 . 1 2 0 7 6 ;   M u n i z   A M ,   2 0 0 5 ,   J   C O N S U M   R E S ,   V 3 1 ,   P 7 3 7 ,   D O I   1 0 . 1 0 8 6 / 4 2 6 6 0 7 ;   N A M B I S A N   S ,   2 0 0 2 ,   A C A D   M A N A G E   R E V ,   V 2 7 ,   P 3 9 2 ,   D O I   D O I   1 0 . 2 3 0 7 / 4 1 3 4 3 8 6 ;   N a m b i s a n   S ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 5 5 4 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 6 0 ;   N a m b i s a n   S ,   2 0 0 9 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 6 ,   P 3 8 8 ;   N a m b i s a n   S ,   2 0 0 9 ,   A N N   I N F O R M   S Y S T ,   V 5 ,   P 1 0 9 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 4 4 1 9 - 1 0 8 1 - 3 _ 6 ;   N a t i o n a l   T e x t i l e   A s s o c i a t i o n ,   2 0 1 1 ,   U   S   T E X T I L E   A N D   A P P A ;   N i s b e t t   R .   E . ,   1 9 8 0 ,   H U M A N   I N F E R E N C E   S T R A ;   O ' H e r n   M .   S . ,   2 0 0 9 ,   R E V   M A R K E T I N G   R E S ,   V 6 ,   P 8 4 ;   O g a w a   S ,   2 0 0 6 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 7 ,   P 6 5 ;   O l s o n   J .   M . ,   1 9 9 6 ,   S O C I A L   P S Y C H O L   H D B   B ,   P 2 1 1 ;   O R T O N   J D ,   1 9 9 0 ,   A C A D   M A N A G E   R E V ,   V 1 5 ,   P 2 0 3 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 1 5 4 ;   O v e r t o n   S . ,   1 9 7 7 ,   J   M A R K E T I N G   R E S ,   V 1 4 ,   P 3 9 6 ;   O z e r   M ,   2 0 0 9 ,   R E S   P O L I C Y ,   V 3 8 ,   P 1 3 4 0 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 9 . 0 7 . 0 0 1 ;   P a r m e n t i e r   G ,   2 0 1 1 ,   H A L   W O R K I N G   P A P E R   0 0 ;   P i e r c e   J L ,   2 0 0 3 ,   R E V   G E N E R A L   P S Y C H ,   V 7 ,   P 8 4 ;   P i l l e r   F T ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 0 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 2 . x ;   P O D S A K O F F   P M ,   1 9 8 6 ,   J   M A N A G E ,   V 1 2 ,   P 5 3 1 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 9 2 0 6 3 8 6 0 1 2 0 0 4 0 8 ;   P o e t z   M K ,   2 0 1 1 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ;   P r a h a l a d   C K ,   2 0 0 0 ,   H A R V A R D   B U S   R E V ,   V 7 8 ,   P 7 9 ;   R e b   J ,   2 0 0 7 ,   J U D G M   D E C I S   M A K ,   V 2 ,   P 1 0 7 ;   R o d e l l   J B ,   2 0 0 9 ,   J   A P P L   P S Y C H O L ,   V 9 4 ,   P 9 8 9 ,   D O I   1 0 . 1 0 3 7 / a 0 0 1 5 3 5 1 ;   S a w h n e y   M ,   2 0 0 5 ,   J   I N T E R A C T   M A R K ,   V 1 9 ,   P 4 ,   D O I   1 0 . 1 0 0 2 / d i r . 2 0 0 4 6 ;   S c h w e i g e r   D .   M . ,   1 9 9 5 ,   A C A D   M A N A G E   J ,   V 3 8 ,   P 6 0 ;   S c o t t   S G ,   2 0 0 0 ,   A C A D   M A N A G E   R E V ,   V 2 5 ,   P 4 3 ,   D O I   1 0 . 2 3 0 7 / 2 5 9 2 6 2 ;   S h a h   S K ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 0 0 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 3 ;   S h a p i r o   D .   L . ,   2 0 0 1 ,   A D V   O R G   J U S T I C E ,   P 1 5 2 ;   S h a p i r o   D L ,   1 9 9 9 ,   J   O R G A N   C H A N G E   M A N A G ,   V 1 2 ,   P 5 2 ;   S i m o n s   T ,   2 0 0 2 ,   O R G A N   S C I ,   V 1 3 ,   P 1 8 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 3 . 1 . 1 8 . 5 4 3 ;   S i n h a   R K ,   2 0 1 0 ,   J   M A R K E T I N G ,   V 7 4 ,   P 4 0 ;   S k a r l i c k i   D P ,   1 9 9 9 ,   A C A D   M A N A G E   J ,   V 4 2 ,   P 1 0 0 ,   D O I   1 0 . 2 3 0 7 / 2 5 6 8 7 7 ;   S m i t h   A K ,   1 9 9 9 ,   J   M A R K E T I N G   R E S ,   V 3 6 ,   P 3 5 6 ,   D O I   1 0 . 2 3 0 7 / 3 1 5 2 0 8 2 ;   T a x   S S ,   1 9 9 8 ,   J   M A R K E T I N G ,   V 6 2 ,   P 6 0 ,   D O I   1 0 . 2 3 0 7 / 1 2 5 2 1 6 1 ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   T e r w i e s c h   C . ,   2 0 0 9 ,   I N N O V A T I O N   T O U R N A M E N ;   T H I B A U T   J O H N ,   1 9 7 5 ,   P R O C E D U R A L   J U S T I C E   A ;   T h o m s o n   M ,   2 0 0 6 ,   J   M A R K E T I N G ,   V 7 0 ,   P 1 0 4 ,   D O I   1 0 . 1 5 0 9 / j m k g . 7 0 . 3 . 1 0 4 ;   T i d d   J . ,   2 0 0 9 ,   M A N A G I N G   I N N O V A T I O N ;   T o u b i a   O ,   2 0 0 7 ,   M A R K E T   S C I ,   V 2 6 ,   P 3 4 2 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 7 0 . 0 2 7 3 ;   T r o t t   P . ,   2 0 0 8 ,   I N N O V A T I O N   M A N A G E M E N ;   T s o u k a s   H ,   2 0 0 2 ,   O R G A N   S C I ,   V 1 3 ,   P 5 6 7 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 3 . 5 . 5 6 7 . 7 8 1 0 ;   U n c l e s   M ,   2 0 0 6 ,   M A R K E T   L E T T ,   V 1 7 ,   P 1 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 0 2 - 0 0 6 - 3 7 5 6 - z ;   U R B A N   G L ,   1 9 8 8 ,   M A N A G E   S C I ,   V 3 4 ,   P 5 6 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 3 4 . 5 . 5 6 9 ;   v a n   d e n   B o s   K ,   2 0 0 2 ,   A D V   E X P   S O C   P S Y C H O L ,   V 3 4 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / S 0 0 6 5 - 2 6 0 1 ( 0 2 ) 8 0 0 0 3 - X ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   v o n   H i p p e l   E ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 2 9 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 5 . x ;   v o n   H i p p e l   E ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 2 0 9 ;   v o n   K r o g h   G ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 9 7 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 6 0 ;   W a d e   J B ,   2 0 0 6 ,   A C A D   M A N A G E   J ,   V 4 9 ,   P 6 4 3 ;   W A T S O N   D ,   1 9 8 4 ,   P S Y C H O L   B U L L ,   V 9 6 ,   P 4 6 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 9 6 . 3 . 4 6 5 ;   H o y e r   W D ,   2 0 1 0 ,   J   S E R V   R E S - U S ,   V 1 3 ,   P 2 8 3 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 4 6 7 0 5 1 0 3 7 5 6 0 4 ;   W i n d   J . ,   2 0 0 1 ,   J   I N T E R A C T   M A R K ,   V 1 5 ,   P 1 3 ,   D O I   1 0 . 1 0 0 2 / 1 5 2 0 - 6 6 5 3 ( 2 0 0 1 2 4 ) 1 5 : 1 < 1 3 : : A I D - D I R 1 0 0 1 > 3 . 0 . C O ; 2 - # ;   W u   W Y ,   2 0 1 0 ,   J   C O M P U T   I N F O R M   S Y S T ,   V 5 0 ,   P 1 1 	 1 5 9 	 2 	 2 	 I N F O R M S 	 C A T O N S V I L L E 	 5 5 2 1   R E S E A R C H   P A R K   D R ,   S U I T E   2 0 0 ,   C A T O N S V I L L E ,   M D   2 1 2 2 8   U S A 	 1 0 4 7 - 7 0 3 9 	 	 	 O R G A N   S C I 	 O r g a n   S c i . 	 S E P - O C T 	 2 0 1 3 	 2 4 	 5 	 	 	 	 	 1 4 9 5 	 1 5 1 6 	 	 1 0 . 1 2 8 7 / o r s c . 1 1 2 0 . 0 7 9 4 	 	 2 2 	 M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 2 2 3 E X 	 W O S : 0 0 0 3 2 4 7 8 8 6 0 0 0 1 0 	 	 
 J 	 D i v e n ,   Y B 	 	 	 	 D i v e n ,   Y v e t t e   B . 	 	 	 C o m m u n i t i e s   o f   K n o w l e d g e :   C r e a t i n g   a n d   C o n n e c t i n g   R e s o u r c e   M e t a d a t a 	 S E R I A L S   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 K n o w l e d g e   b a s e ;   E - r e s o u r c e s ;   C o m m u n i t y ;   C r o w d s o u r c i n g ;   C o o p e r a t i v e 	 	 A   g r o w i n g   n u m b e r   o f   a c a d e m i c   l i b r a r i e s   a n d   c o n s o r t i a   a r e   d e v e l o p i n g   t h e i r   o w n   e - r e s o u r c e   k n o w l e d g e   b a s e s .   T h e   s t r u c t u r e ,   f o r m a t ,   a n d   u l t i m a t e   g o a l s   o f   t h e i r   p r o j e c t s   v a r y .   I f   t h e y   a r e   s u c c e s s f u l ,   t h e s e   c o m m u n i t y - d r i v e n   k n o w l e d g e   b a s e s   h a v e   t h e   p o t e n t i a l   t o   m a k e   a   p o s i t i v e   i m p a c t   o n   e - r e s o u r c e   m a n a g e m e n t   a n d   d i s c o v e r y .   A   s i t u a t i o n   a n a l y s i s   o f   t h e   c u r r e n t   s t a t e   o f   a f f a i r s   c o n s i d e r s   t h e   p r o b l e m s   t h e s e   n e w   c o m m u n i t i e s   o f   k n o w l e d g e   a r e   a t t e m p t i n g   t o   s o l v e ,   c o m p a r e s   t h e   s c o p e   a n d   a p p r o a c h e s   o f   s e l e c t e d   p r o j e c t s ,   s u g g e s t s   o p p o r t u n i t i e s   f o r   c o n n e c t i v i t y   a c r o s s   c o m m u n i t i e s ,   a n d   o u t l i n e s   c h a l l e n g e s   t o   t h e i r   s u c c e s s .   T h i s   a r t i c l e   i s   t h e   o u t g r o w t h   o f   a   2 0 1 3   N o r t h   C a r o l i n a   S e r i a l s   C o n f e r e n c e   d i s c u s s i o n .   ( c )   2 0 1 3   P u b l i s h e d   b y   E l s e v i e r   I n c . 	 P r o Q u e s t   L L C ,   S e a t t l e ,   W A   9 8 1 0 3   U S A 	 D i v e n ,   Y B   ( r e p r i n t   a u t h o r ) ,   P r o Q u e s t   L L C ,   5 0 1   N   3 4 t h   S t , S u i t e   3 0 0 ,   S e a t t l e ,   W A   9 8 1 0 3   U S A . 	 y v e t t e . d i v e n @ p r o q u e s t . c o m 	 	 	 	 	 B r e e d i n g   M . ,   2 0 1 3 ,   K N O W L E D G E   B A S E   L I N K ;   B y r n e   G . ,   2 0 1 0 ,   D   L I B   M A G A Z I N E ,   V 1 6 ;   P h a n   T . ,   2 0 1 1 ,   2 0 1 2 3 6 5   N C E S ;   W i c k s   S . ,   2 C U L   T E C H N I C A L   S E R V I 	 4 	 0 	 0 	 E L S E V I E R   I N C 	 S A N   D I E G O 	 5 2 5   B   S T R E E T ,   S T E   1 9 0 0 ,   S A N   D I E G O ,   C A   9 2 1 0 1 - 4 4 9 5   U S A 	 0 0 9 8 - 7 9 1 3 	 	 	 S E R I A L S   R E V 	 S e r .   R e v . 	 S E P 	 2 0 1 3 	 3 9 	 3 	 	 	 S I 	 	 1 6 2 	 1 6 6 	 	 1 0 . 1 0 1 6 / j . s e r r e v . 2 0 1 3 . 0 6 . 0 0 1 	 	 5 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 2 2 2 I A 	 W O S : 0 0 0 3 2 4 7 2 3 2 0 0 0 0 3 	 	 
 J 	 D a i ,   P ;   L i n ,   C H ;   M a u s a m ;   W e l d ,   D S 	 	 	 	 D a i ,   P e n g ;   L i n ,   C h r i s t o p h e r   H . ;   M a u s a m ;   W e l d ,   D a n i e l   S . 	 	 	 P O M D P - b a s e d   c o n t r o l   o f   w o r k f l o w s   f o r   c r o w d s o u r c i n g 	 A R T I F I C I A L   I N T E L L I G E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 P a r t i a l l y - O b s e r v a b l e   M a r k o v   D e c i s i o n ;   P r o c e s s ;   P O M D P ;   P l a n n i n g   u n d e r   u n c e r t a i n t y ;   C r o w d s o u r c i n g 	 V A L U E - I T E R A T I O N 	 C r o w d s o u r c i n g ,   o u t s o u r c i n g   o f   t a s k s   t o   a   c r o w d   o f   u n k n o w n   p e o p l e   ( " w o r k e r s " )   i n   a n   o p e n   c a l l ,   i s   r a p i d l y   r i s i n g   i n   p o p u l a r i t y .   I t   i s   a l r e a d y   b e i n g   h e a v i l y   u s e d   b y   n u m e r o u s   e m p l o y e r s   ( " r e q u e s t e r s " )   f o r   s o l v i n g   a   w i d e   v a r i e t y   o f   t a s k s ,   s u c h   a s   a u d i o   t r a n s c r i p t i o n ,   c o n t e n t   s c r e e n i n g ,   a n d   l a b e l i n g   t r a i n i n g   d a t a   f o r   m a c h i n e   l e a r n i n g .   H o w e v e r ,   q u a l i t y   c o n t r o l   o f   s u c h   t a s k s   c o n t i n u e s   t o   b e   a   k e y   c h a l l e n g e   b e c a u s e   o f   t h e   h i g h   v a r i a b i l i t y   i n   w o r k e r   q u a l i t y .   I n   t h i s   p a p e r   w e   s h o w   t h e   v a l u e   o f   d e c i s i o n - t h e o r e t i c   t e c h n i q u e s   f o r   t h e   p r o b l e m   o f   o p t i m i z i n g   w o r k f l o w s   u s e d   i n   c r o w d s o u r c i n g .   I n   p a r t i c u l a r ,   w e   d e s i g n   A l   a g e n t s   t h a t   u s e   B a y e s i a n   n e t w o r k   l e a r n i n g   a n d   i n f e r e n c e   i n   c o m b i n a t i o n   w i t h   P a r t i a l l y - O b s e r v a b l e   M a r k o v   D e c i s i o n   P r o c e s s e s   ( P O M D P s )   f o r   o b t a i n i n g   e x c e l l e n t   c o s t - q u a l i t y   t r a d e o f f s .   W e   u s e   t h e s e   t e c h n i q u e s   f o r   t h r e e   d i s t i n c t   c r o w d s o u r c i n g   s c e n a r i o s :   ( 1 )   c o n t r o l   o f   v o t i n g   t o   a n s w e r   a   b i n a r y - c h o i c e   q u e s t i o n ,   ( 2 )   c o n t r o l   o f   a n   i t e r a t i v e   i m p r o v e m e n t   w o r k f l o w ,   a n d   ( 3 )   c o n t r o l   o f   s w i t c h i n g   b e t w e e n   a l t e r n a t e   w o r k f l o w s   f o r   a   t a s k .   I n   e a c h   s c e n a r i o ,   w e   d e s i g n   a   B a y e s   n e t   m o d e l   t h a t   r e l a t e s   w o r k e r   c o m p e t e n c y ,   t a s k   d i f f i c u l t y   a n d   w o r k e r   r e s p o n s e   q u a l i t y .   W e   a l s o   d e s i g n   a   P O M D P   f o r   e a c h   t a s k ,   w h o s e   s o l u t i o n   p r o v i d e s   t h e   d y n a m i c   c o n t r o l   p o l i c y .   W e   d e m o n s t r a t e   t h e   u s e f u l n e s s   o f   o u r   m o d e l s   a n d   a g e n t s   i n   l i v e   e x p e r i m e n t s   o n   A m a z o n   M e c h a n i c a l   T u r k .   W e   c o n s i s t e n t l y   a c h i e v e   s u p e r i o r   q u a l i t y   r e s u l t s   t h a n   n o n - a d a p t i v e   c o n t r o l l e r s ,   w h i l e   i n c u r r i n g   e q u a l   o r   l e s s   c o s t .   ( C )   2 0 1 3   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ D a i ,   P e n g ;   L i n ,   C h r i s t o p h e r   H . ;   M a u s a m ;   W e l d ,   D a n i e l   S . ]   U n i v   W a s h i n g t o n ,   D e p t   C o m p   S c i   &   E n g n ,   S e a t t l e ,   W A   9 8 1 9 5   U S A 	 D a i ,   P   ( r e p r i n t   a u t h o r ) ,   U n i v   W a s h i n g t o n ,   D e p t   C o m p   S c i   &   E n g n ,   S e a t t l e ,   W A   9 8 1 9 5   U S A . 	 d a i p e n g @ c s . w a s h i n g t o n . e d u ;   c h r i s l i n @ c s . w a s h i n g t o n . e d u ;   m a u s a m @ c s . w a s h i n g t o n . e d u ;   w e l d @ c s . w a s h i n g t o n . e d u 	 	 	 W R F / T J   C a b l e   P r o f e s s o r s h i p ;   O f f i c e   o f   N a v a l   R e s e a r c h   [ N 0 0 0 1 4 - 1 2 - 1 - 0 2 1 ,   N 0 0 0 1 4 - 0 6 - 1 - 0 1 4 7 ] ;   N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ I I S   1 0 1 6 7 1 3 ,   I I S   1 0 1 6 4 6 5 ] 	 T h a n k s   t o   t h e   a n o n y m o u s   r e v i e w e r s   a n d   J o n a t h a n   B r a g g   f o r   h e l p f u l   c o m m e n t s   o n   t h i s   m a n u s c r i p t .   C o n v e r s a t i o n s   w i t h   L y d i a n   C h i l t o n   a n d   G r e g   L i t t l e   i n f o r m e d   o u r   t h o u g h t s   o n   c r o w d s o u r c i n g .   T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   W R F / T J   C a b l e   P r o f e s s o r s h i p ,   O f f i c e   o f   N a v a l   R e s e a r c h   g r a n t s   N 0 0 0 1 4 - 1 2 - 1 - 0 2 1 1   a n d   N 0 0 0 1 4 - 0 6 - 1 - 0 1 4 7 ,   a n d   N a t i o n a l   S c i e n c e   F o u n d a t i o n   g r a n t s   I I S   1 0 1 6 7 1 3   a n d   I I S   1 0 1 6 4 6 5 . 	 B a l l a   R K ,   2 0 0 9 ,   2 1 S T   I N T E R N A T I O N A L   J O I N T   C O N F E R E N C E   O N   A R T I F I C I A L   I N T E L L I G E N C E   ( I J C A I - 0 9 ) ,   P R O C E E D I N G S ,   P 4 0 ;   B e l l m a n   R . ,   1 9 5 7 ,   D Y N A M I C   P R O G R A M M I N G ;   B e r n s t e i n   M i c h a e l   S . ,   2 0 1 1 ,   U I S T ;   B e r n s t e i n   M i c h a e l   S . ,   2 0 1 0 ,   U I S T ,   P 3 1 3 ;   B e r t s e k a s   D P ,   2 0 0 0 ,   D Y N A M I C   P R O G R A M M I N G ,   V 1 ;   B i g h a m   J e f f r e y   P . ,   2 0 1 0 ,   U I S T ,   P 3 3 3 ;   B r u n s k i l l   E m m a ,   2 0 0 8 ,   S   A R T   I N T   M A T H ;   C h a j e w s k a   U r s z u l a ,   2 0 0 0 ,   A A A I ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   C o s l e y   D . ,   2 0 0 3 ,   P   S I G C H I   C   H U M   F A C T ,   P 5 8 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 6 4 2 6 1 1 . 6 4 2 7 1 3 ;   D a w i d   A P ,   1 9 7 9 ,   A P P L I E D   S T A T I S T I C S ,   V 2 8 ,   P 2 0 ,   D O I   1 0 . 2 3 0 7 / 2 3 4 6 8 0 6 ;   D o n m e z   P i n a r ,   2 0 1 0 ,   S I A M   I N T   C   D A T   M I N   S ,   P 8 2 6 ;   D o n m e z   P i n a r ,   2 0 0 9 ,   K D D ;   D o u c e t   A . ,   2 0 0 1 ,   S E Q U E N T I A L   M O N T E   C A R ;   G e l l y   S y l v a i n ,   2 0 0 6 ,   N I P S   O N   L I N E   T R A D   E X ;   G r i e r   D a v i d   A l a n ,   2 0 1 1 ,   H C O M P ;   H o   C . - J . ,   2 0 1 2 ,   A A A I ;   H o f f m a n n   L ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 1 6 ,   D O I   1 0 . 1 1 4 5 / 1 4 6 7 2 4 7 . 1 4 6 7 2 5 4 ;   H u a n g   E . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 7 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 8 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   J u n g   H y u n   J o o n ,   2 0 1 1 ,   P   C R O W D C O N F ;   K a e l b l i n g   L P ,   1 9 9 8 ,   A R T I F   I N T E L L ,   V 1 0 1 ,   P 9 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 0 4 - 3 7 0 2 ( 9 8 ) 0 0 0 2 3 - X ;   K a j i n o   H i r o s h i ,   2 0 1 2 ,   A A A I ;   K a m a r   E . ,   2 0 1 2 ,   A A M A S ;   K a r g e r   D a v i d   R . ,   2 0 1 1 ,   A L L E R T O N ;   K o c s i s   L ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 2 1 2 ,   P 2 8 2 ;   K u l k a r n i   A n a n d ,   2 0 1 2 ,   P   C S C W ;   K u l k a r n i   A n a n d ,   2 0 1 2 ,   H C O M P ;   L a s e c k i   W a l t e r   S . ,   2 0 1 1 ,   P   U I S T ;   L a w   E . ,   2 0 1 1 ,   S Y N T H E S I S   L E C T   A R T I F ;   L i e m   B e a t r i c e ,   2 0 1 1 ,   H C O M P ;   L i n   C h r i s t o p h e r   H . ,   2 0 1 2 ,   A A A I ;   L i n   M a u s a m   C h r i s t o p h e r   H . ,   2 0 1 2 ,   U A I ;   L i t t l e   G r e g ,   2 0 0 9 ,   K D D   W O R K S H   H U M   C O M P ,   P 2 9 ;   M a d a n i   O ,   2 0 0 3 ,   A R T I F   I N T E L L ,   V 1 4 7 ,   P 5 ,   D O I   1 0 . 1 0 1 6 / S 0 0 0 4 - 3 7 0 2 ( 0 2 ) 0 0 3 7 8 - 8 ;   M a u s a m ,   2 0 0 5 ,   I J C A I   0 5 ,   P 1 2 4 4 ;   M a u s a m ,   2 0 1 2 ,   P L A N N I N G   M   D E C I S I O N ;   M a u s a m   D a n i e l   S . ,   2 0 1 1 ,   H C O M P ;   M a u s a m   P e n g   D a i ,   2 0 1 0 ,   A A A I ;   M a u s a m   P e n g   D a i ,   2 0 1 1 ,   A A A I ;   M i l n e   D a v i d ,   2 0 0 8 ,   P   A C M   C   I N F   K N O W L   M A ;   N o r o n h a   J o h n ,   2 0 1 1 ,   U I S T ;   P a r a m e s w a r a n   A d i t y a ,   2 0 1 0 ,   V L D B ;   P i n e a u   J ,   2 0 0 6 ,   J   A R T I F   I N T E L L   R E S ,   V 2 7 ,   P 3 3 5 ;   P o r t a   J M ,   2 0 0 6 ,   J   M A C H   L E A R N   R E S ,   V 7 ,   P 2 3 2 9 ;   R a t i n o v   L . ,   2 0 1 1 ,   P   A N N   M   A S S   C O M P   L I N ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   R O M N E Y   A K ,   1 9 8 6 ,   A M   A N T H R O P O L ,   V 8 8 ,   P 3 1 3 ,   D O I   1 0 . 1 5 2 5 / a a . 1 9 8 6 . 8 8 . 2 . 0 2 a 0 0 0 2 0 ;   R o s s   J . ,   2 0 1 0 ,   C H I ;   R o y   N ,   1 9 9 9 ,   A D V   N E U R A L   P R O C E S S I N ,   V 1 2 ,   P 1 0 4 3 ;   R z e s z o t a r s k i   J e f f e r y ,   2 0 1 3 ,   N O W   S O M E T H I N G   U N P U B ;   S h a h a f   D a f n a ,   2 0 1 0 ,   A A A I ;   S h a n i   G ,   2 0 0 8 ,   I E E E   T   S Y S T   M A N   C Y   B ,   V 3 8 ,   P 1 5 9 2 ,   D O I   1 0 . 1 1 0 9 / T S M C B . 2 0 0 8 . 9 2 8 2 2 2 ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ;   S i l v e r   D . ,   2 0 1 0 ,   N I P S ,   P 2 1 6 4 ;   S m i t h   T r e y ,   2 0 0 6 ,   A A A I ;   S n o w   R . ,   2 0 0 8 ,   E M N L P ,   P 2 5 4 ;   S o n d i k   E d w a r d   J . ,   1 9 7 1 ,   T H E S I S   S T A N F O R D ;   S o r o k i n   A ,   2 0 0 8 ,   C V P R W   2 0 0 8 ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R W . 2 0 0 8 . 4 5 6 2 9 5 3 ;   S p a a n   M T J ,   2 0 0 5 ,   J   A R T I F   I N T E L L   R E S ,   V 2 4 ,   P 1 9 5 ;   S u t t o n   R ,   1 9 9 8 ,   R E I N F O R C E M E N T   L E A R N I ;   T j o n g   E . ,   2 0 0 3 ,   P   C O N N L ;   v o n   A h n   L u i s ,   2 0 0 6 ,   I E E E   C O M P U T E R   M A G A Z I ,   P 9 6 ;   W a u t h i e r   F a b i a n   L . ,   2 0 1 1 ,   N I P S ;   W e l i n d e r   P e t e r ,   2 0 1 0 ,   N I P S ;   W h i t e h i l l   J . ,   2 0 0 9 ,   N I P S ;   W h i t e h i l l   J . ,   2 0 0 9 ,   P   C   A D V   N E U R   I N F   P R O ,   P 2 0 3 5 ;   Y a n   Y a n ,   2 0 1 1 ,   I C M L 	 6 8 	 1 	 1 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 0 0 4 - 3 7 0 2 	 	 	 A R T I F   I N T E L L 	 A r t i f .   I n t e l l . 	 S E P 	 2 0 1 3 	 2 0 2 	 	 	 	 	 	 5 2 	 8 5 	 	 1 0 . 1 0 1 6 / j . a r t i n t . 2 0 1 3 . 0 6 . 0 0 2 	 	 3 4 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 2 1 7 J B 	 W O S : 0 0 0 3 2 4 3 5 4 7 0 0 0 0 3 	 	 
 J 	 A z z a m ,   T ;   J a c o b s o n ,   M R 	 	 	 	 A z z a m ,   T a r e k ;   J a c o b s o n ,   M i r i a m   R . 	 	 	 F i n d i n g   a   C o m p a r i s o n   G r o u p :   I s   O n l i n e   C r o w d s o u r c i n g   a   V i a b l e   O p t i o n ? 	 A M E R I C A N   J O U R N A L   O F   E V A L U A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 m a t c h e d   c o m p a r i s o n   g r o u p ;   c r o w d s o u r c i n g ;   q u a s i - e x p e r i m e n t a l   d e s i g n ;   e x p e r i m e n t a l   d e s i g n ;   e v a l u a t i o n   m e t h o d s 	 M E C H A N I C A L   T U R K ;   P R O G R A M S 	 T h i s   a r t i c l e   e x p l o r e s   t h e   v i a b i l i t y   o f   o n l i n e   c r o w d s o u r c i n g   f o r   c r e a t i n g   m a t c h e d - c o m p a r i s o n   g r o u p s .   T h i s   e x p l o r a t o r y   s t u d y   c o m p a r e s   s u r v e y   r e s u l t s   f r o m   a   r a n d o m i z e d   c o n t r o l   g r o u p   t o   s u r v e y   r e s u l t s   f r o m   a   m a t c h e d - c o m p a r i s o n   g r o u p   c r e a t e d   f r o m   A m a z o n . c o m ' s   M T u r k   c r o w d s o u r c i n g   s e r v i c e   t o   d e t e r m i n e   t h e i r   c o m p a r a b i l i t y .   S t u d y   f i n d i n g s   i n d i c a t e   t h a t   o n l i n e   c r o w d s o u r c i n g ,   a   p r o c e s s   t h a t   a l l o w s   a c c e s s   t o   m a n y   p a r t i c i p a n t s   t o   c o m p l e t e   s p e c i f i c   t a s k s ,   i s   a   p o t e n t i a l l y   v i a b l e   r e s o u r c e   f o r   e v a l u a t i o n   d e s i g n s   w h e r e   a c c e s s   t o   c o m p a r i s o n   g r o u p s ,   l a r g e   b u d g e t s ,   a n d / o r   t i m e   a r e   l i m i t e d .   T h e   a r t i c l e   h i g h l i g h t s   t h e   s t r e n g t h s   a n d   l i m i t a t i o n s   o f   t h e   o n l i n e   c r o w d s o u r c i n g   a p p r o a c h   a n d   d e s c r i b e s   w a y s   t h a t   i t   c o u l d   p o t e n t i a l l y   b e   u s e d   i n   e v a l u a t i o n   p r a c t i c e . 	 [ A z z a m ,   T a r e k ;   J a c o b s o n ,   M i r i a m   R . ]   C l a r e m o n t   G r a d   U n i v ,   C l a r e m o n t ,   C A   9 1 7 1 1   U S A 	 A z z a m ,   T   ( r e p r i n t   a u t h o r ) ,   C l a r e m o n t   G r a d   U n i v ,   1 7 5   E a s t   1 2 t h   S t ,   C l a r e m o n t ,   C A   9 1 7 1 1   U S A . 	 t a r e k . a z z a m @ c g u . e d u 	 	 	 	 	 A z z a m   T . ,   2 0 0 6 ,   C A N A D I A N   J   P R O G R A M   E ,   V 2 2 ,   P 5 7 ;   B e h r e n d   T S ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 8 0 0 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 0 8 1 - 0 ;   B e r i n s k y   A J ,   2 0 1 2 ,   P O L I T   A N A L ,   V 2 0 ,   P 3 5 1 ,   D O I   1 0 . 1 0 9 3 / p a n / m p r 0 5 7 ;   B l o o m   H .   S . ,   2 0 0 5 ,   L E A R N I N G   M O R E   S O C I A L ,   P 1 7 3 ;   B r e w e r   M . ,   2 0 0 1 ,   P R I N C I P L E S   M E T H O D S   S ;   B u h r m e s t e r   M ,   2 0 1 1 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 6 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 0 3 9 3 9 8 0 ;   C h a n d l e r   D . ,   2 0 1 0 ,   B R E A K I N G   M O N O T O N Y   M E ;   C h a t m a n   S .   P . ,   2 0 0 7 ,   C O M M O N   F A C T O R   S O L U T I ;   C o o k   T D ,   2 0 0 8 ,   J   P O L I C Y   A N A L   M A N A G ,   V 2 7 ,   P 7 2 4 ,   D O I   1 0 . 1 0 0 2 / p a m . 2 0 3 7 5 ;   C o o k   T D ,   2 0 1 0 ,   A M   J   E V A L ,   V 3 1 ,   P 1 0 5 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 8 2 1 4 0 0 9 3 5 4 9 1 8 ;   D e h e j i a   R H ,   1 9 9 9 ,   J   A M   S T A T   A S S O C ,   V 9 4 ,   P 1 0 5 3 ,   D O I   1 0 . 2 3 0 7 / 2 6 6 9 9 1 9 ;   F r i e s s   S . ,   2 0 0 7 ,   W I R E D   M A G A Z I N E ;   G o t t f r i e d   A .   E . ,   1 9 8 6 ,   C H I L D R E N S   A C A D   I N T R I ;   G u o   S . ,   2 0 1 0 ,   P R O P E N S I T Y   S C O R E   A N A ;   H o r t o n   J . ,   2 0 1 0 ,   P   1 1   A C M   C   E L   C O M M ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   P 1 4 0 6 ;   K r a u t   R ,   2 0 0 4 ,   A M   P S Y C H O L ,   V 5 9 ,   P 1 0 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 0 3 - 0 6 6 X . 5 9 . 2 . 1 0 5 ;   K u h   G . ,   2 0 0 9 ,   N E W   D I R E C T I O N S   I   R E S ,   V 1 4 1 ,   P 5 ,   D O I   D O I   1 0 . 1 0 0 2 / I R . 2 8 3 ;   M a r s h   H W ,   1 9 9 8 ,   J   E X P   E D U C ,   V 6 6 ,   P 1 6 3 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   R O S E N B A U M   P R ,   1 9 8 3 ,   B I O M E T R I K A ,   V 7 0 ,   P 4 1 ,   D O I   1 0 . 1 0 9 3 / b i o m e t / 7 0 . 1 . 4 1 ;   R o s s   J . ,   2 0 1 0 ,   C H I   E A   1 0   P   2 8   I N T   C ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 ;   S h a d i s h   W .   R . ,   2 0 0 2 ,   E X P T   Q U A S I E X P E R I M E N T ;   S h a d i s h   W R ,   2 0 0 8 ,   J   A M   S T A T   A S S O C ,   V 1 0 3 ,   P 1 3 3 4 ,   D O I   1 0 . 1 1 9 8 / 0 1 6 2 1 4 5 0 8 0 0 0 0 0 0 7 3 3 ;   S m i t h   H L ,   1 9 9 7 ,   S O C I O L   M E T H O D O L ,   V 2 7 ,   P 3 2 5 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 5 3 1 . 2 7 1 0 3 0 ;   S t u a r t   E A ,   2 0 1 0 ,   S T A T   S C I ,   V 2 5 ,   P 1 ,   D O I   1 0 . 1 2 1 4 / 0 9 - S T S 3 1 3 ;   W i n c h e s t e r   S i m o n ,   2 0 0 3 ,   M E A N I N G   E V E R Y T H I N G   S ;   Z e c k h a u s e r   R . ,   2 0 1 0 ,   E X P T   E C ,   V 4 ,   P 3 9 9 	 2 8 	 1 	 1 	 S A G E   P U B L I C A T I O N S   I N C 	 T H O U S A N D   O A K S 	 2 4 5 5   T E L L E R   R D ,   T H O U S A N D   O A K S ,   C A   9 1 3 2 0   U S A 	 1 0 9 8 - 2 1 4 0 	 	 	 A M   J   E V A L 	 A m .   J .   E v a l . 	 S E P 	 2 0 1 3 	 3 4 	 3 	 	 	 	 	 3 7 2 	 3 8 4 	 	 1 0 . 1 1 7 7 / 1 0 9 8 2 1 4 0 1 3 4 9 0 2 2 3 	 	 1 3 	 S o c i a l   S c i e n c e s ,   I n t e r d i s c i p l i n a r y 	 S o c i a l   S c i e n c e s   -   O t h e r   T o p i c s 	 1 8 7 X R 	 W O S : 0 0 0 3 2 2 1 5 5 5 0 0 0 0 5 	 	 
 J 	 R o d r i g u e s ,   F ;   P e r e i r a ,   F ;   R i b e i r o ,   B 	 	 	 	 R o d r i g u e s ,   F i l i p e ;   P e r e i r a ,   F r a n c i s c o ;   R i b e i r o ,   B e r n a r d e t e 	 	 	 L e a r n i n g   f r o m   m u l t i p l e   a n n o t a t o r s :   D i s t i n g u i s h i n g   g o o d   f r o m   r a n d o m   l a b e l e r s 	 P A T T E R N   R E C O G N I T I O N   L E T T E R S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M u l t i p l e   a n n o t a t o r s ;   C r o w d s o u r c i n g ;   L a t e n t   v a r i a b l e   m o d e l s ;   E x p e c t a t i o n - M a x i m i z a t i o n ;   L o g i s t i c   R e g r e s s i o n 	 M U S I C A L   G E N R E 	 W i t h   t h e   i n c r e a s i n g   p o p u l a r i t y   o f   o n l i n e   c r o w d s o u r c i n g   p l a t f o r m s   s u c h   a s   A m a z o n   M e c h a n i c a l   T u r k   ( A M T ) ,   b u i l d i n g   s u p e r v i s e d   l e a r n i n g   m o d e l s   f o r   d a t a s e t s   w i t h   m u l t i p l e   a n n o t a t o r s   i s   r e c e i v i n g   a n   i n c r e a s i n g   a t t e n t i o n   f r o m   r e s e a r c h e r s .   T h e s e   p l a t f o r m s   p r o v i d e   a n   i n e x p e n s i v e   a n d   a c c e s s i b l e   r e s o u r c e   t h a t   c a n   b e   u s e d   t o   o b t a i n   l a b e l e d   d a t a ,   a n d   i n   m a n y   s i t u a t i o n s   t h e   q u a l i t y   o f   t h e   l a b e l s   c o m p e t e s   d i r e c t l y   w i t h   t h o s e   o f   e x p e r t s .   F o r   s u c h   r e a s o n s ,   m u c h   a t t e n t i o n   h a s   r e c e n t l y   b e e n   g i v e n   t o   a n n o t a t o r - a w a r e   m o d e l s .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   n e w   p r o b a b i l i s t i c   m o d e l   f o r   s u p e r v i s e d   l e a r n i n g   w i t h   m u l t i p l e   a n n o t a t o r s   w h e r e   t h e   r e l i a b i l i t y   o f   t h e   d i f f e r e n t   a n n o t a t o r s   i s   t r e a t e d   a s   a   l a t e n t   v a r i a b l e .   W e   e m p i r i c a l l y   s h o w   t h a t   t h i s   m o d e l   i s   a b l e   t o   a c h i e v e   s t a t e   o f   t h e   a r t   p e r f o r m a n c e ,   w h i l e   r e d u c i n g   t h e   n u m b e r   o f   m o d e l   p a r a m e t e r s ,   t h u s   a v o i d i n g   a   p o t e n t i a l   o v e r f i t t i n g .   F u r t h e r m o r e ,   t h e   p r o p o s e d   m o d e l   i s   e a s i e r   t o   i m p l e m e n t   a n d   e x t e n d   t o   o t h e r   c l a s s e s   o f   l e a r n i n g   p r o b l e m s   s u c h   a s   s e q u e n c e   l a b e l i n g   t a s k s .   ( C )   2 0 1 3   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ R o d r i g u e s ,   F i l i p e ;   R i b e i r o ,   B e r n a r d e t e ]   U n i v   C o i m b r a ,   C I S U C ,   D e p t   I n f o r m a t   E n g n ,   P - 3 0 3 0 2 9 0   C o i m b r a ,   P o r t u g a l ;   [ P e r e i r a ,   F r a n c i s c o ]   S M A R T ,   S i n g a p o r e   1 3 8 6 0 2 ,   S i n g a p o r e 	 R o d r i g u e s ,   F   ( r e p r i n t   a u t h o r ) ,   U n i v   C o i m b r a ,   C I S U C ,   D e p t   I n f o r m a t   E n g n ,   P - 3 0 3 0 2 9 0   C o i m b r a ,   P o r t u g a l . 	 f m p r @ d e i . u c . p t ;   c a m a r a @ s m a r t . m i t . e d u ;   b r i b e i r o @ d e i . u c . p t 	 	 	 	 	 A u c o u t u r i e r   J J ,   2 0 0 3 ,   J   N E W   M U S I C   R E S ,   V 3 2 ,   P 8 3 ,   D O I   1 0 . 1 0 7 6 / j n m r . 3 2 . 1 . 8 3 . 1 6 8 0 1 ;   B i s h o p   C .   M . ,   2 0 0 6 ,   P A T T E R N   R E C O G N I T I O N ;   D a w i d   A . P . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   V 2 8 ,   P 2 0 ;   D E M P S T E R   A P ,   1 9 7 7 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 3 9 ,   P 1 ;   D o n m e z   P . ,   2 0 1 0 ,   P   S I A M   I N T   C   D A T   M I N ,   P 8 2 6 ;   G r o o t   P ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 7 9 2 ,   P 1 5 9 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 1 7 3 8 - 8 _ 2 1 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   J a c o b s   R .   A . ,   1 9 9 1 ,   N e u r a l   C o m p u t a t i o n ,   V 3 ,   D O I   1 0 . 1 1 6 2 / n e c o . 1 9 9 1 . 3 . 1 . 7 9 ;   L e e   L . ,   2 0 0 5 ,   P   4 3   A N N   M   A S S   C O M P ,   P 1 1 5 ,   D O I   D O I   1 0 . 3 1 1 5 / 1 2 1 9 8 4 0 . 1 2 1 9 8 5 5 ;   L I U   D C ,   1 9 8 9 ,   M A T H   P R O G R A M ,   V 4 5 ,   P 5 0 3 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 5 8 9 1 1 6 ;   N o v o t n e y   S . ,   2 0 1 0 ,   P   H L T   N A A C L ,   V P r o c .   A s s o c .   C o m p u t .   L i n g u i s t .   ( A C L ) ,   P 2 0 7 ;   R a y k a r   V .   C . ,   2 0 0 9 ,   P   2 6   A N N   I N T   C   M A C H ,   P 8 8 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 5 3 3 7 4 . 1 5 5 3 4 8 8 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   S m y t h   P . ,   1 9 9 5 ,   A d v a n c e s   i n   N e u r a l   I n f o r m a t i o n   P r o c e s s i n g   S y s t e m s   7 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   S u t t o n   C h a r l e s ,   2 0 1 1 ,   F o u n d a t i o n s   a n d   T r e n d s   i n   M a c h i n e   L e a r n i n g ,   V 4 ,   D O I   1 0 . 1 5 6 1 / 2 2 0 0 0 0 0 0 1 3 ;   T z a n e t a k i s   G ,   2 0 0 2 ,   I E E E   T   S P E E C H   A U D I   P ,   V 1 0 ,   P 2 9 3 ,   D O I   1 0 . 1 1 0 9 / T S A . 2 0 0 2 . 8 0 0 5 6 0 ;   W u   O . ,   2 0 1 1 ,   P   2 2   I N T   J O I N T   C   A R T ,   P 1 5 7 1 ;   Y a n   Y . ,   2 0 1 0 ,   J   M A C H I N E   L E A R N I N G   R ,   V 9 ,   P 9 3 2 ;   Y a n   Y . ,   2 0 1 1 ,   P   2 8   I N T   C   M A C H   L E A R ,   P 1 1 6 1 	 2 1 	 1 	 1 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 1 6 7 - 8 6 5 5 	 	 	 P A T T E R N   R E C O G N   L E T T 	 P a t t e r n   R e c o g n i t .   L e t t . 	 S E P   1 	 2 0 1 3 	 3 4 	 1 2 	 	 	 	 	 1 4 2 8 	 1 4 3 6 	 	 1 0 . 1 0 1 6 / j . p a t r e c . 2 0 1 3 . 0 5 . 0 1 2 	 	 9 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 1 7 9 Q T 	 W O S : 0 0 0 3 2 1 5 3 7 1 0 0 0 1 4 	 	 
 J 	 M i t r y ,   D ;   P e t o ,   T ;   H a y a t ,   S ;   M o r g a n ,   J E ;   K h a w ,   K T ;   F o s t e r ,   P J 	 	 	 	 M i t r y ,   D a n n y ;   P e t o ,   T u n d e ;   H a y a t ,   S h a b i n a ;   M o r g a n ,   J a m e s   E . ;   K h a w ,   K a y - T e e ;   F o s t e r ,   P a u l   J . 	 	 	 C r o w d s o u r c i n g   a s   a   N o v e l   T e c h n i q u e   f o r   R e t i n a l   F u n d u s   P h o t o g r a p h y   C l a s s i f i c a t i o n :   A n a l y s i s   o f   I m a g e s   i n   t h e   E P I C   N o r f o l k   C o h o r t   o n   B e h a l f   o f   t h e   U K B i o b a n k   E y e   a n d   V i s i o n   C o n s o r t i u m 	 P L O S   O N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 D I A B E T I C - R E T I N O P A T H Y ;   D I A G N O S I S ;   Q U A L I T Y 	 A i m :   C r o w d s o u r c i n g   i s   t h e   p r o c e s s   o f   o u t s o u r c i n g   n u m e r o u s   t a s k s   t o   m a n y   u n t r a i n e d   i n d i v i d u a l s .   O u r   a i m   w a s   t o   a s s e s s   t h e   p e r f o r m a n c e   a n d   r e p e a t a b i l i t y   o f   c r o w d s o u r c i n g   f o r   t h e   c l a s s i f i c a t i o n   o f   r e t i n a l   f u n d u s   p h o t o g r a p h y .   M e t h o d s :   O n e   h u n d r e d   r e t i n a l   f u n d u s   p h o t o g r a p h   i m a g e s   w i t h   p r e - d e t e r m i n e d   d i s e a s e   c r i t e r i a   w e r e   s e l e c t e d   b y   e x p e r t s   f r o m   a   l a r g e   c o h o r t   s t u d y .   A f t e r   r e a d i n g   b r i e f   i n s t r u c t i o n s   a n d   a n   e x a m p l e   c l a s s i f i c a t i o n ,   w e   r e q u e s t e d   t h a t   k n o w l e d g e   w o r k e r s   ( K W s )   f r o m   a   c r o w d s o u r c i n g   p l a t f o r m   c l a s s i f i e d   e a c h   i m a g e   a s   n o r m a l   o r   a b n o r m a l   w i t h   g r a d e s   o f   s e v e r i t y .   E a c h   i m a g e   w a s   c l a s s i f i e d   2 0   t i m e s   b y   d i f f e r e n t   K W s .   F o u r   s t u d y   d e s i g n s   w e r e   e x a m i n e d   t o   a s s e s s   t h e   e f f e c t   o f   v a r y i n g   i n c e n t i v e   a n d   K W   e x p e r i e n c e   i n   c l a s s i f i c a t i o n   a c c u r a c y .   A l l   s t u d y   d e s i g n s   w e r e   c o n d u c t e d   t w i c e   t o   e x a m i n e   r e p e a t a b i l i t y .   P e r f o r m a n c e   w a s   a s s e s s e d   b y   c o m p a r i n g   t h e   s e n s i t i v i t y ,   s p e c i f i c i t y   a n d   a r e a   u n d e r   t h e   r e c e i v e r   o p e r a t i n g   c h a r a c t e r i s t i c   c u r v e   ( A U C ) .   R e s u l t s :   W i t h o u t   r e s t r i c t i o n   o n   e l i g i b l e   p a r t i c i p a n t s ,   t w o   t h o u s a n d   c l a s s i f i c a t i o n s   o f   1 0 0   i m a g e s   w e r e   r e c e i v e d   i n   u n d e r   2 4   h o u r s   a t   m i n i m a l   c o s t .   I n   t r i a l   1   a l l   s t u d y   d e s i g n s   h a d   a n   A U C   ( 9 5 % C I )   o f   0 . 7 0 1 ( 0 . 6 8 0 - 0 . 7 2 1 )   o r   g r e a t e r   f o r   c l a s s i f i c a t i o n   o f   n o r m a l / a b n o r m a l .   I n   t r i a l   1 ,   t h e   h i g h e s t   A U C   ( 9 5 % C I )   f o r   n o r m a l / a b n o r m a l   c l a s s i f i c a t i o n   w a s   0 . 7 5 7   ( 0 . 7 3 8 - 0 . 7 7 6 )   f o r   K W s   w i t h   m o d e r a t e   e x p e r i e n c e .   C o m p a r a b l e   r e s u l t s   w e r e   o b s e r v e d   i n   t r i a l   2 .   I n   t r i a l   1 ,   b e t w e e n   6 4 - 8 6 %   o f   a n y   a b n o r m a l   i m a g e   w a s   c o r r e c t l y   c l a s s i f i e d   b y   o v e r   h a l f   o f   a l l   K W s .   I n   t r i a l   2 ,   t h i s   r a n g e d   b e t w e e n   7 4 - 9 7 % .   S e n s i t i v i t y   w a s   > =   9 6 %   f o r   n o r m a l   v e r s u s   s e v e r e l y   a b n o r m a l   d e t e c t i o n s   a c r o s s   a l l   t r i a l s .   S e n s i t i v i t y   f o r   n o r m a l   v e r s u s   m i l d l y   a b n o r m a l   v a r i e d   b e t w e e n   6 1 - 7 9 %   a c r o s s   t r i a l s .   C o n c l u s i o n s :   W i t h   m i n i m a l   t r a i n i n g ,   c r o w d s o u r c i n g   r e p r e s e n t s   a n   a c c u r a t e ,   r a p i d   a n d   c o s t - e f f e c t i v e   m e t h o d   o f   r e t i n a l   i m a g e   a n a l y s i s   w h i c h   d e m o n s t r a t e s   g o o d   r e p e a t a b i l i t y .   L a r g e r   s t u d i e s   w i t h   m o r e   c o m p r e h e n s i v e   p a r t i c i p a n t   t r a i n i n g   a r e   n e e d e d   t o   e x p l o r e   t h e   u t i l i t y   o f   t h i s   c o m p e l l i n g   t e c h n i q u e   i n   l a r g e   s c a l e   m e d i c a l   i m a g e   a n a l y s i s . 	 [ M i t r y ,   D a n n y ;   P e t o ,   T u n d e ;   F o s t e r ,   P a u l   J . ]   M o o r f i e l d s   E y e   H o s p ,   N a t l   I n s t   H l t h   R e s ,   B i o m e d   R e s   C t r ,   L o n d o n ,   E n g l a n d ;   [ M i t r y ,   D a n n y ;   P e t o ,   T u n d e ;   F o s t e r ,   P a u l   J . ]   U C L ,   I n s t   O p h t h a l m o l ,   L o n d o n ,   E n g l a n d ;   [ H a y a t ,   S h a b i n a ]   U n i v   C a m b r i d g e ,   D e p t   P u b l   H l t h   &   P r i m a r y   C a r e ,   S t r a n g e w a y s   R e s   L a b ,   C a m b r i d g e ,   E n g l a n d ;   [ M o r g a n ,   J a m e s   E . ]   C a r d i f f   U n i v ,   S c h   O p t o m e t r y   &   V i s   S c i ,   C a r d i f f   C F 1 0   3 A X ,   S   G l a m ,   W a l e s ;   [ K h a w ,   K a y - T e e ]   U n i v   C a m b r i d g e ,   A d d e n b r o o k e s   H o s p ,   D e p t   C l i n   G e r o n t o l ,   C a m b r i d g e   C B 2   2 Q Q ,   E n g l a n d 	 M i t r y ,   D   ( r e p r i n t   a u t h o r ) ,   M o o r f i e l d s   E y e   H o s p ,   N a t l   I n s t   H l t h   R e s ,   B i o m e d   R e s   C t r ,   L o n d o n ,   E n g l a n d . 	 m i t r y d @ g m a i l . c o m 	 	 	 S p e c i a l   T r u s t e e s   o f   M o o r f i e l d s   E y e   H o s p i t a l ;   N a t i o n a l   I n s t i t u t e   f o r   H e a l t h   R e s e a r c h   B i o m e d i c a l   R e s e a r c h   C e n t r e   a t   M o o r f i e l d s   E y e   H o s p i t a l ;   U n i v e r s i t y   C o l l e g e   L o n d o n   I n s t i t u t e   o f   O p h t h a l m o l o g y ;   M e d i c a l   R e s e a r c h   C o u n c i l   [ G 0 4 0 1 5 2 7 ] ;   C a n c e r   R e s e a r c h   U n i t e d   K i n g d o m   [ C 8 6 4 / A 8 2 5 7 ] ;   R e s e a r c h   i n t o   A g e i n g   [ 2 6 2 ] 	 T h i s   w o r k   w a s   f u n d e d   b y   t h e   S p e c i a l   T r u s t e e s   o f   M o o r f i e l d s   E y e   H o s p i t a l   a n d   N a t i o n a l   I n s t i t u t e   f o r   H e a l t h   R e s e a r c h   B i o m e d i c a l   R e s e a r c h   C e n t r e   a t   M o o r f i e l d s   E y e   H o s p i t a l   a n d   U n i v e r s i t y   C o l l e g e   L o n d o n   I n s t i t u t e   o f   O p h t h a l m o l o g y .   E P I C - N o r f o l k   i n f r a s t r u c t u r e   a n d   c o r e   f u n c t i o n s   a r e   s u p p o r t e d   b y   g r a n t s   f r o m   t h e   M e d i c a l   R e s e a r c h   C o u n c i l   ( G 0 4 0 1 5 2 7 )   a n d   C a n c e r   R e s e a r c h   U n i t e d   K i n g d o m   ( C 8 6 4 / A 8 2 5 7 ) .   T h e   c l i n i c   f o r   t h e   t h i r d   h e a l t h   e x a m i n a t i o n   w a s   f u n d e d   b y   R e s e a r c h   i n t o   A g e i n g   ( 2 6 2 ) .   T h e   f u n d e r s   h a d   n o   r o l e   i n   s t u d y   d e s i g n ,   d a t a   c o l l e c t i o n   a n d   a n a l y s i s ,   d e c i s i o n   t o   p u b l i s h ,   o r   p r e p a r a t i o n   o f   t h e   m a n u s c r i p t . 	 A b r a m o f f   M D ,   2 0 1 0 ,   O P H T H A L M O L O G Y ,   V 1 1 7 ,   P 1 1 4 7 ,   D O I   1 0 . 1 0 1 6 / j . o p h t h a . 2 0 1 0 . 0 3 . 0 4 6 ;   B u h r m e s t e r   M ,   2 0 1 1 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 6 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 0 3 9 3 9 8 0 ;   C h i a n g   M F ,   2 0 0 7 ,   A R C H   O P H T H A L M O L - C H I C ,   V 1 2 5 ,   P 1 5 3 1 ,   D O I   1 0 . 1 0 0 1 / a r c h o p h t . 1 2 5 . 1 1 . 1 5 3 1 ;   E i b e n   C B ,   2 0 1 2 ,   N A T   B I O T E C H N O L ,   V 3 0 ,   P 1 9 0 ,   D O I   1 0 . 1 0 3 8 / n b t . 2 1 0 9 ;   F o r d   D V ,   2 0 0 9 ,   B M C   H E A L T H   S E R V   R E S ,   V 9 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 2 - 6 9 6 3 - 9 - 1 5 7 ;   K a n k a n a h a l l i   S ,   2 0 1 3 ,   I N V E S T   O P H T H A L M O L   V I ;   K h a w a j a   A P ,   2 0 1 3 ,   B M J   O P E N ,   V 3 ;   L e s s l   M ,   2 0 1 1 ,   N A T   R E V   D R U G   D I S C O V ,   V 1 0 ,   P 2 4 1 ,   D O I   1 0 . 1 0 3 8 / n r d 3 4 1 2 ;   M a v a n d a d i   S ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 3 7 2 4 5 ;   N g u y e n   T B ,   2 0 1 2 ,   R A D I O L O G Y ,   V 2 6 2 ,   P 8 2 4 ,   D O I   1 0 . 1 1 4 8 / r a d i o l . 1 1 1 1 0 9 3 8 ;   N i e m e i j e r   M ,   2 0 0 7 ,   I N V E S T   O P H T H   V I S   S C I ,   V 4 8 ,   P 2 2 6 0 ,   D O I   1 0 . 1 1 6 7 / i o v s . 0 6 - 0 9 9 6 ;   R a d d i c k   M J ,   2 0 1 3 ,   A R X I V 1 3 0 3 6 8 8 6 ;   S a n c h e z   C I ,   2 0 1 1 ,   I N V E S T   O P H T H   V I S   S C I ,   V 5 2 ,   P 4 8 6 6 ,   D O I   1 0 . 1 1 6 7 / i o v s . 1 0 - 6 6 3 3 ;   S i n c l a i r   S H ,   2 0 0 6 ,   E X P E R T   R E V   M E D   D E V I C ,   V 3 ,   P 3 0 1 ,   D O I   1 0 . 1 5 8 6 / 1 7 4 3 4 4 4 0 . 3 . 3 . 3 0 1 ;   T u r n e r   A M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   P 2 1 8 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 0 6 3 ;   1 9 8 1 ,   I N V E S T   O P H T H A L M O L   V I ,   V 2 1 ,   P 1 	 1 6 	 0 	 0 	 P U B L I C   L I B R A R Y   S C I E N C E 	 S A N   F R A N C I S C O 	 1 1 6 0   B A T T E R Y   S T R E E T ,   S T E   1 0 0 ,   S A N   F R A N C I S C O ,   C A   9 4 1 1 1   U S A 	 1 9 3 2 - 6 2 0 3 	 	 	 P L O S   O N E 	 P L o S   O n e 	 A U G   2 1 	 2 0 1 3 	 8 	 8 	 	 	 	 	 	 	 e 7 1 1 5 4 	 1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 7 1 1 5 4 	 	 7 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 2 1 8 Y W 	 W O S : 0 0 0 3 2 4 4 7 0 1 0 0 0 3 9 	 2 3 9 9 0 9 3 5 	 
 J 	 O v e r e e m ,   A ;   R o b i n s o n ,   J C R ;   L e i j n s e ,   H ;   S t e e n e v e l d ,   G J ;   H o r n ,   B K P ;   U i j l e n h o e t ,   R 	 	 	 	 O v e r e e m ,   A . ;   R o b i n s o n ,   J .   C .   R . ;   L e i j n s e ,   H . ;   S t e e n e v e l d ,   G .   J . ;   H o r n ,   B .   K .   P . ;   U i j l e n h o e t ,   R . 	 	 	 C r o w d s o u r c i n g   u r b a n   a i r   t e m p e r a t u r e s   f r o m   s m a r t p h o n e   b a t t e r y   t e m p e r a t u r e s 	 G E O P H Y S I C A L   R E S E A R C H   L E T T E R S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 m e t e o r o l o g y ;   t e m p e r a t u r e ;   u r b a n 	 9   F R E N C H   C I T I E S ;   C O M M U N I C A T I O N - N E T W O R K S ;   M O R T A L I T Y ;   C L I M A T E 	 A c c u r a t e   a i r   t e m p e r a t u r e   o b s e r v a t i o n s   i n   u r b a n   a r e a s   a r e   i m p o r t a n t   f o r   m e t e o r o l o g y   a n d   e n e r g y   d e m a n d   p l a n n i n g .   T h e y   a r e   i n d i s p e n s a b l e   t o   s t u d y   t h e   u r b a n   h e a t   i s l a n d   e f f e c t   a n d   t h e   a d v e r s e   e f f e c t s   o f   h i g h   t e m p e r a t u r e s   o n   h u m a n   h e a l t h .   H o w e v e r ,   t h e   a v a i l a b i l i t y   o f   t e m p e r a t u r e   o b s e r v a t i o n s   i n   c i t i e s   i s   o f t e n   l i m i t e d .   H e r e   w e   s h o w   t h a t   r e l a t i v e l y   a c c u r a t e   a i r   t e m p e r a t u r e   i n f o r m a t i o n   f o r   t h e   u r b a n   c a n o p y   l a y e r   c a n   b e   o b t a i n e d   f r o m   a n   a l t e r n a t i v e ,   n o w a d a y s   o m n i p r e s e n t   s o u r c e :   s m a r t p h o n e s .   I n   t h i s   s t u d y ,   b a t t e r y   t e m p e r a t u r e s   w e r e   c o l l e c t e d   b y   a n   A n d r o i d   a p p l i c a t i o n   f o r   s m a r t p h o n e s .   A   s t r a i g h t f o r w a r d   h e a t   t r a n s f e r   m o d e l   i s   e m p l o y e d   t o   e s t i m a t e   d a i l y   m e a n   a i r   t e m p e r a t u r e s   f r o m   s m a r t p h o n e   b a t t e r y   t e m p e r a t u r e s   f o r   e i g h t   m a j o r   c i t i e s   a r o u n d   t h e   w o r l d .   T h e   r e s u l t s   d e m o n s t r a t e   t h e   e n o r m o u s   p o t e n t i a l   o f   t h i s   c r o w d s o u r c i n g   a p p l i c a t i o n   f o r   r e a l - t i m e   t e m p e r a t u r e   m o n i t o r i n g   i n   d e n s e l y   p o p u l a t e d   a r e a s . 	 [ O v e r e e m ,   A . ;   U i j l e n h o e t ,   R . ]   W a g e n i n g e n   U n i v ,   H y d r o l   &   Q u a n t i t a t   W a t e r   M a n a g e m e n t   G r p ,   N L - 6 7 0 8   P B   W a g e n i n g e n ,   N e t h e r l a n d s ;   [ O v e r e e m ,   A . ;   L e i j n s e ,   H . ]   R o y a l   N e t h e r l a n d s   M e t e o r o l   I n s t   K N M I ,   D e   B i l t ,   N e t h e r l a n d s ;   [ R o b i n s o n ,   J .   C .   R . ]   O p e n S i g n a l ,   L o n d o n ,   E n g l a n d ;   [ S t e e n e v e l d ,   G .   J . ]   W a g e n i n g e n   U n i v ,   M e t e o r o l   &   A i r   Q u a l   S e c t ,   N L - 6 7 0 8   P B   W a g e n i n g e n ,   N e t h e r l a n d s ;   [ H o r n ,   B .   K .   P . ]   M I T ,   D e p t   E l e c t   E n g n   &   C o m p   S c i ,   C o m p   S c i   &   A r t i f i c i a l   I n t e l l i g e n c e   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A 	 O v e r e e m ,   A   ( r e p r i n t   a u t h o r ) ,   W a g e n i n g e n   U n i v ,   H y d r o l   &   Q u a n t i t a t   W a t e r   M a n a g e m e n t   G r p ,   D r o e v e n d a a l s e s t e e g   3 ,   N L - 6 7 0 8   P B   W a g e n i n g e n ,   N e t h e r l a n d s . 	 a a r t . o v e r e e m @ w u r . n l 	 S t e e n e v e l d ,   G e r t - J a n / B - 2 8 1 6 - 2 0 1 0 	 S t e e n e v e l d ,   G e r t - J a n / 0 0 0 0 - 0 0 0 2 - 5 9 2 2 - 8 1 7 9 	 N e t h e r l a n d s   T e c h n o l o g y   F o u n d a t i o n   S T W   [ 1 1 9 4 4 ] ;   N e t h e r l a n d s   O r g a n i s a t i o n   f o r   S c i e n t i f i c   R e s e a r c h   ( N W O )   [ 1 1 9 4 4 ] ;   N W O   E - s c i e n c e   p r o j e c t   " S u m m e r   i n   t h e   C i t y "   [ 0 2 7 . 0 1 2 . 1 0 3 ] 	 W e   t h a n k   t w o   a n o n y m o u s   r e v i e w e r s   f o r   t h e i r   v a l u a b l e   c o m m e n t s .   T h i s   w o r k   w a s   f i n a n c i a l l y   s u p p o r t e d   b y   T h e   N e t h e r l a n d s   T e c h n o l o g y   F o u n d a t i o n   S T W   ( p r o j e c t   1 1 9 4 4 ) .   W e   t h a n k   t h e   N e t h e r l a n d s   O r g a n i s a t i o n   f o r   S c i e n t i f i c   R e s e a r c h   ( N W O )   f o r   f i n a n c i n g   t h i s   p u b l i c a t i o n   t h r o u g h   t h e i r   I n c e n t i v e   F u n d   O p e n   A c c e s s   ( r e l a t e d   t o   S T W   p r o j e c t   1 1 9 4 4 ) .   G e r t - J a n   S t e e n e v e l d   a c k n o w l e d g e s   f u n d i n g   f r o m   t h e   N W O   E - s c i e n c e   p r o j e c t   " S u m m e r   i n   t h e   C i t y "   ( d o s s i e r   n u m b e r   0 2 7 . 0 1 2 . 1 0 3 ) . 	 A l l e g r i n i   J ,   2 0 1 2 ,   E N E R G   B U I L D I N G S ,   V 5 5 ,   P 8 2 3 ,   D O I   1 0 . 1 0 1 6 / j . e n b u i l d . 2 0 1 2 . 1 0 . 0 1 3 ;   C N E T ,   2 0 1 2 ,   G O O G L   5 0 0   M I L L   A N D R ;   F i l l e u l   L ,   2 0 0 6 ,   E N V I R O N   H E A L T H   P E R S P ,   V 1 1 4 ,   P 1 3 4 4 ,   D O I   1 0 . 1 2 8 9 / e h p . 8 3 2 8 ;   G S M   A s s o c i a t i o n ,   2 0 0 7 ,   U N   A C C   M O B   C A N   B R I N G ;   i S P E X ,   2 0 1 3 ,   I S P E X   M E A S   A E R   Y O U R ;   J O H N S O N   D B ,   1 9 8 5 ,   J   C L I M A T O L ,   V 5 ,   P 2 2 1 ;   K e i r s t e a d   J ,   2 0 1 2 ,   J   I N D   E C O L ,   V 1 6 ,   P 8 8 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 3 0 - 9 2 9 0 . 2 0 1 2 . 0 0 4 8 6 . x ;   L a a i d i   M ,   2 0 0 6 ,   I N T   J   B I O M E T E O R O L ,   V 5 1 ,   P 1 4 5 ,   D O I   1 0 . 1 0 0 7 / s 0 0 4 8 4 - 0 0 6 - 0 0 4 5 - 8 ;   L e i j n s e   H ,   2 0 0 7 ,   W A T E R   R E S O U R   R E S ,   V 4 3 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 6 W R 0 0 5 6 3 1 ;   L e   T e r t r e   A ,   2 0 0 6 ,   E P I D E M I O L O G Y ,   V 1 7 ,   P 7 5 ,   D O I   1 0 . 1 0 9 7 / 0 1 . e d e . 0 0 0 0 1 8 7 6 5 0 . 3 6 6 3 6 . 1 f ;   M e s s e r   H ,   2 0 0 6 ,   S C I E N C E ,   V 3 1 2 ,   P 7 1 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 2 0 0 3 4 ;   M u l l e r   C L ,   2 0 1 3 ,   I N T   J   C L I M A T O L ,   V 3 3 ,   P 1 5 8 5 ,   D O I   1 0 . 1 0 0 2 / j o c . 3 6 7 8 ;   N a t i o n a l   R e s e a r c h   C o u n c i l   o f   t h e   N a t i o n a l   A c a d e m i e s ,   2 0 1 2 ,   U R B   M E T   F O R   M O N   M   U S ;   N a t i o n a l   S e v e r e   S t o r m s   L a b o r a t o r y ,   2 0 1 3 ,   M P I N G   P R O J ;   O K E   T R ,   1 9 8 2 ,   Q   J   R O Y   M E T E O R   S O C ,   V 1 0 8 ,   P 1 ,   D O I   1 0 . 1 0 0 2 / q j . 4 9 7 1 0 8 4 5 5 0 2 ;   O k e   T . R . ,   1 9 7 6 ,   A T M O S P H E R E ,   V 1 4 ,   P 2 6 8 ;   O v e r e e m   A ,   2 0 1 3 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 1 0 ,   P 2 7 4 1 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 2 1 7 9 6 1 1 1 0 ;   O v e r e e m   A ,   2 0 1 1 ,   W A T E R   R E S O U R   R E S ,   V 4 7 ,   D O I   1 0 . 1 0 2 9 / 2 0 1 0 W R 0 1 0 3 5 0 ;   S o u c h   C ,   2 0 0 6 ,   P R O G   P H Y S   G E O G ,   V 3 0 ,   P 2 7 0 ,   D O I   1 0 . 1 1 9 1 / 0 3 0 9 1 3 3 3 0 6 p p 4 8 4 p r ;   S t e e n e v e l d   G J ,   2 0 1 1 ,   J   G E O P H Y S   R E S - A T M O S ,   V 1 1 6 ,   D O I   1 0 . 1 0 2 9 / 2 0 1 1 J D 0 1 5 9 8 8 ;   S t e w a r t   I D ,   2 0 1 2 ,   B   A M   M E T E O R O L   S O C ,   V 9 3 ,   P 1 8 7 9 ,   D O I   1 0 . 1 1 7 5 / B A M S - D - 1 1 - 0 0 0 1 9 . 1 ;   U n i t e d   N a t i o n s ,   2 0 0 5 ,   W O R L D   U R B   P R O S P   2 0 0 5 	 2 2 	 1 	 1 	 A M E R   G E O P H Y S I C A L   U N I O N 	 W A S H I N G T O N 	 2 0 0 0   F L O R I D A   A V E   N W ,   W A S H I N G T O N ,   D C   2 0 0 0 9   U S A 	 0 0 9 4 - 8 2 7 6 	 	 	 G E O P H Y S   R E S   L E T T 	 G e o p h y s .   R e s .   L e t t . 	 A U G   1 6 	 2 0 1 3 	 4 0 	 1 5 	 	 	 	 	 4 0 8 1 	 4 0 8 5 	 	 1 0 . 1 0 0 2 / g r l . 5 0 7 8 6 	 	 5 	 G e o s c i e n c e s ,   M u l t i d i s c i p l i n a r y 	 G e o l o g y 	 2 0 8 E O 	 W O S : 0 0 0 3 2 3 6 6 0 0 0 0 0 5 5 	 	 
 J 	 G o o d ,   B M ;   S u ,   A I 	 	 	 	 G o o d ,   B e n j a m i n   M . ;   S u ,   A n d r e w   I . 	 	 	 C r o w d s o u r c i n g   f o r   b i o i n f o r m a t i c s 	 B I O I N F O R M A T I C S 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 	 F O L D I N G   G A M E   P L A Y E R S ;   H U M A N   I N T E L L I G E N C E ;   C T   C O L O N O G R A P H Y ;   O N L I N E   G A M E ;   G A L A X Y   Z O O ;   P R O T E I N ;   V O L U N T E E R S 	 M o t i v a t i o n :   B i o i n f o r m a t i c s   i s   f a c e d   w i t h   a   v a r i e t y   o f   p r o b l e m s   t h a t   r e q u i r e   h u m a n   i n v o l v e m e n t .   T a s k s   l i k e   g e n o m e   a n n o t a t i o n ,   i m a g e   a n a l y s i s ,   k n o w l e d g e - b a s e   p o p u l a t i o n   a n d   p r o t e i n   s t r u c t u r e   d e t e r m i n a t i o n   a l l   b e n e f i t   f r o m   h u m a n   i n p u t .   I n   s o m e   c a s e s ,   p e o p l e   a r e   n e e d e d   i n   v a s t   q u a n t i t i e s ,   w h e r e a s   i n   o t h e r s ,   w e   n e e d   j u s t   a   f e w   w i t h   r a r e   a b i l i t i e s .   C r o w d s o u r c i n g   e n c o m p a s s e s   a n   e m e r g i n g   c o l l e c t i o n   o f   a p p r o a c h e s   f o r   h a r n e s s i n g   s u c h   d i s t r i b u t e d   h u m a n   i n t e l l i g e n c e .   R e c e n t l y ,   t h e   b i o i n f o r m a t i c s   c o m m u n i t y   h a s   b e g u n   t o   a p p l y   c r o w d s o u r c i n g   i n   a   v a r i e t y   o f   c o n t e x t s ,   y e t   f e w   r e s o u r c e s   a r e   a v a i l a b l e   t h a t   d e s c r i b e   h o w   t h e s e   h u m a n - p o w e r e d   s y s t e m s   w o r k   a n d   h o w   t o   u s e   t h e m   e f f e c t i v e l y   i n   s c i e n t i f i c   d o m a i n s .   R e s u l t s :   H e r e ,   w e   p r o v i d e   a   f r a m e w o r k   f o r   u n d e r s t a n d i n g   a n d   a p p l y i n g   s e v e r a l   d i f f e r e n t   t y p e s   o f   c r o w d s o u r c i n g .   T h e   f r a m e w o r k   c o n s i d e r s   t w o   b r o a d   c l a s s e s :   s y s t e m s   f o r   s o l v i n g   l a r g e - v o l u m e   ' m i c r o t a s k s '   a n d   s y s t e m s   f o r   s o l v i n g   h i g h - d i f f i c u l t y   ' m e g a t a s k s ' .   W i t h i n   t h e s e   c l a s s e s ,   w e   d i s c u s s   s y s t e m   t y p e s ,   i n c l u d i n g   v o l u n t e e r   l a b o r ,   g a m e s   w i t h   a   p u r p o s e ,   m i c r o t a s k   m a r k e t s   a n d   o p e n   i n n o v a t i o n   c o n t e s t s .   W e   i l l u s t r a t e   e a c h   s y s t e m   t y p e   w i t h   s u c c e s s f u l   e x a m p l e s   i n   b i o i n f o r m a t i c s   a n d   c o n c l u d e   w i t h   a   g u i d e   f o r   m a t c h i n g   p r o b l e m s   t o   c r o w d s o u r c i n g   s o l u t i o n s   t h a t   h i g h l i g h t s   t h e   p o s i t i v e s   a n d   n e g a t i v e s   o f   d i f f e r e n t   a p p r o a c h e s . 	 [ G o o d ,   B e n j a m i n   M . ;   S u ,   A n d r e w   I . ]   S c r i p p s   R e s   I n s t ,   D e p t   M o l   &   E x p t   M e d ,   L a   J o l l a ,   C A   9 2 0 3 7   U S A 	 G o o d ,   B M   ( r e p r i n t   a u t h o r ) ,   S c r i p p s   R e s   I n s t ,   D e p t   M o l   &   E x p t   M e d ,   1 0 6 6 6   N   T o r r e y   P i n e s   R d ,   L a   J o l l a ,   C A   9 2 0 3 7   U S A . 	 b g o o d @ s c r i p p s . e d u 	 	 	 N I H   [ G M 0 8 3 9 2 4 ,   G M 0 8 9 8 2 0 ] 	 N I H   g r a n t s   G M 0 8 3 9 2 4   a n d   G M 0 8 9 8 2 0   t o   A . S . 	 A h n   L .   V . ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   A h n   L . V . ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ;   A h n   L V ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   S C I   A M   B L O G ;   B e r n s t e i n   M .   S . ,   2 0 1 2 ,   T H E S I S   M I T   C A M B R I D G E ;   B r i s t e r   J R ,   2 0 1 2 ,   V I R O L O G Y ,   V 4 3 4 ,   P 1 7 5 ,   D O I   1 0 . 1 0 1 6 / j . v i r o l . 2 0 1 2 . 0 9 . 0 2 7 ;   B u r g e r   J o h n   D . ,   2 0 1 2 ,   D a t a   I n t e g r a t i o n   i n   t h e   L i f e   S c i e n c e s .   P r o c e e d i n g s   8 t h   I n t e r n a t i o n a l   C o n f e r e n c e ,   D I L S   2 0 1 2 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 1 0 4 0 - 9 _ 8 ;   C l e r y   D ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 3 ,   P 1 7 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 3 3 3 . 6 0 3 9 . 1 7 3 ;   C o h n   J P ,   2 0 0 8 ,   B I O S C I E N C E ,   V 5 8 ,   P 1 9 2 ,   D O I   1 0 . 1 6 4 1 / B 5 8 0 3 0 3 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   D o   C B ,   2 0 1 1 ,   P L O S   G E N E T ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p g e n . 1 0 0 2 1 4 1 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   E i b e n   C B ,   2 0 1 2 ,   N A T   B I O T E C H N O L ,   V 3 0 ,   P 1 9 0 ,   D O I   1 0 . 1 0 3 8 / n b t . 2 1 0 9 ;   F o r t   K ,   2 0 1 1 ,   C O M P U T   L I N G U I S T ,   V 3 7 ,   P 4 1 3 ,   D O I   1 0 . 1 1 6 2 / C O L I _ a _ 0 0 0 5 7 ;   G a l p e r i n   M Y ,   2 0 1 2 ,   N U C L E I C   A C I D S   R E S ,   V 4 0 ,   p D 1 ,   D O I   1 0 . 1 0 9 3 / n a r / g k r 1 1 9 6 ;   G o o d   B M ,   2 0 1 1 ,   G E N O M E   B I O L ,   V 1 2 ,   D O I   1 0 . 1 1 8 6 / g b - 2 0 1 1 - 1 2 - 1 2 - 1 3 5 ;   G r a b e r   M A ,   2 0 1 3 ,   J   M E D   E T H I C S ,   V 3 9 ,   P 1 1 5 ,   D O I   1 0 . 1 1 3 6 / m e d e t h i c s - 2 0 1 2 - 1 0 0 7 9 8 ;   H e r n a n d e z - C h a n   G . ,   2 0 1 2 ,   J o u r n a l   o f   M e d i c a l   S y s t e m s ,   V 3 6 ,   D O I   1 0 . 1 0 0 7 / s 1 0 9 1 6 - 0 1 2 - 9 8 8 6 - 3 ;   H i n g a m p   P ,   2 0 0 8 ,   P L O S   B I O L ,   V 6 ,   P 2 3 6 2 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p b i o . 0 0 6 0 2 9 6 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   K a w r y k o w   A ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 3 1 3 6 2 ;   K h a t i b   F ,   2 0 1 1 ,   N A T   S T R U C T   M O L   B I O L ,   V 1 8 ,   P 1 1 7 5 ,   D O I   1 0 . 1 0 3 8 / n s m b . 2 1 1 9 ;   K h a t i b   F ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 1 8 9 4 9 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 1 1 5 8 9 8 1 0 8 ;   K i m   J D ,   2 0 0 3 ,   B I O I N F O R M A T I C S ,   V 1 9 ,   p i 1 8 0 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t g 1 0 2 3 ;   K i t t u r   A . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 4 3 ;   K i t t u r   A ,   2 0 0 8 ,   C S C W :   2 0 0 8   A C M   C O N F E R E N C E   O N   C O M P U T E R   S U P P O R T E D   C O O P E R A T I V E   W O R K ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 3 7 ;   K o c h h a r   S . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 1 0 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 8 9 0 ;   K o e r n e r   B . I . ,   2 0 1 2 ,   W I R E D   S C I ;   L a k h a n i   K R ,   2 0 1 3 ,   N A T   B I O T E C H N O L ,   V 3 1 ,   P 1 0 8 ,   D O I   1 0 . 1 0 3 8 / n b t . 2 4 9 5 ;   L i n t o t t   C J ,   2 0 0 8 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 8 9 ,   P 1 1 7 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 8 . 1 3 6 8 9 . x ;   L i t t l e   G . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 5 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 4 0 ;   L u e n g o - O r o z   M A ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   P 2 0 7 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 3 3 8 ;   M a r b a c h   D ,   2 0 1 2 ,   N A T   M E T H O D S ,   V 9 ,   P 7 9 6 ,   D O I   [ 1 0 . 1 0 3 8 / n m e t h . 2 0 1 6 ,   1 0 . 1 0 3 8 / N M E T H . 2 0 1 6 ] ;   M a v a n d a d i   S ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 3 7 2 4 5 ;   M a v a n d a d i   S ,   2 0 1 2 ,   L A B   C H I P ,   V 1 2 ,   P 4 1 0 2 ,   D O I   1 0 . 1 0 3 9 / c 2 l c 4 0 6 1 4 d ;   M c C o y   A B ,   2 0 1 2 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 9 ,   P 7 1 3 ,   D O I   1 0 . 1 1 3 6 / a m i a j n l - 2 0 1 2 - 0 0 0 8 5 2 ;   M e r r i m a n   B ,   2 0 1 2 ,   E L E C T R O P H O R E S I S ,   V 3 3 ,   P 3 3 9 7 ,   D O I   1 0 . 1 0 0 2 / e l p s . 2 0 1 2 0 0 4 2 4 ;   N g u y e n   T B ,   2 0 1 2 ,   R A D I O L O G Y ,   V 2 6 2 ,   P 8 2 4 ,   D O I   1 0 . 1 1 4 8 / r a d i o l . 1 1 1 1 0 9 3 8 ;   Q u i n n   A . ,   2 0 1 1 ,   C H I ,   P 1 4 0 3 ;   R o h l   C A ,   2 0 0 4 ,   M E T H O D   E N Z Y M O L ,   V 3 8 3 ,   P 6 6 ;   S a b o u   M . ,   2 0 1 2 ,   P   1 2   I N T   C   K N O W L   M A N ,   P 1 ;   S a n s o m   C ,   2 0 1 1 ,   N A T   B I O T E C H N O L ,   V 2 9 ,   P 2 0 1 ,   D O I   1 0 . 1 0 3 8 / n b t . 1 7 9 2 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S w a n   M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 8 8 ;   T a l a n   J . ,   2 0 1 1 ,   N E U R O L O G Y   T O D A Y ,   V 1 1 ,   P 1 ;   T u n g   J Y ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 2 3 4 7 3 ;   W a n g   S J ,   2 0 1 1 ,   I   S   B I O M E D   I M A G I N G ,   P 1 6 0 ;   W h e a t   R E ,   2 0 1 3 ,   T R E N D S   E C O L   E V O L ,   V 2 8 ,   P 7 1 ,   D O I   1 0 . 1 0 1 6 / j . t r e e . 2 0 1 2 . 1 1 . 0 0 1 ;   Y e t i s g e n - Y i l d i z   M . ,   2 0 1 0 ,   C S L D A M T   1 0   P   N A A C L   H ,   P 1 8 0 ;   Z h a i   H . ,   2 0 1 2 ,   2 0 1 2   I E E E   2   I N T   C   H E ,   P 1 0 6 	 5 0 	 8 	 8 	 O X F O R D   U N I V   P R E S S 	 O X F O R D 	 G R E A T   C L A R E N D O N   S T ,   O X F O R D   O X 2   6 D P ,   E N G L A N D 	 1 3 6 7 - 4 8 0 3 	 	 	 B I O I N F O R M A T I C S 	 B i o i n f o r m a t i c s 	 A U G   1 5 	 2 0 1 3 	 2 9 	 1 6 	 	 	 	 	 1 9 2 5 	 1 9 3 3 	 	 1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t t 3 3 3 	 	 9 	 B i o c h e m i c a l   R e s e a r c h   M e t h o d s ;   B i o t e c h n o l o g y   &   A p p l i e d   M i c r o b i o l o g y ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   M a t h e m a t i c a l   &   C o m p u t a t i o n a l   B i o l o g y ;   S t a t i s t i c s   &   P r o b a b i l i t y 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   B i o t e c h n o l o g y   &   A p p l i e d   M i c r o b i o l o g y ;   C o m p u t e r   S c i e n c e ;   M a t h e m a t i c a l   &   C o m p u t a t i o n a l   B i o l o g y ;   M a t h e m a t i c s 	 1 9 0 K B 	 W O S : 0 0 0 3 2 2 3 3 7 4 0 0 0 0 1 	 2 3 7 8 2 6 1 4 	 
 J 	 C h u n a r a ,   R ;   S m o l i n s k i ,   M S ;   B r o w n s t e i n ,   J S 	 	 	 	 C h u n a r a ,   R u m i ;   S m o l i n s k i ,   M a r k   S . ;   B r o w n s t e i n ,   J o h n   S . 	 	 	 W h y   W e   N e e d   C r o w d s o u r c e d   D a t a   i n   I n f e c t i o u s   D i s e a s e   S u r v e i l l a n c e 	 C U R R E N T   I N F E C T I O U S   D I S E A S E   R E P O R T S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   S u r v e i l l a n c e ;   T e c h n o l o g y ;   B i a s 	 E P I D E M I C S ;   M O D E L 	 I n   i n f e c t i o u s   d i s e a s e   s u r v e i l l a n c e ,   p u b l i c   h e a l t h   d a t a   s u c h   a s   e n v i r o n m e n t a l ,   h o s p i t a l ,   o r   c e n s u s   d a t a   h a v e   b e e n   e x t e n s i v e l y   e x p l o r e d   t o   c r e a t e   r o b u s t   m o d e l s   o f   d i s e a s e   d y n a m i c s .   H o w e v e r ,   t h i s   i n f o r m a t i o n   i s   a l s o   s u b j e c t   t o   i t s   o w n   b i a s e s ,   i n c l u d i n g   l a t e n c y ,   h i g h   c o s t ,   c o n t r i b u t o r   b i a s e s ,   a n d   i m p r e c i s e   r e s o l u t i o n .   S i m u l t a n e o u s l y ,   n e w   t e c h n o l o g i e s   i n c l u d i n g   I n t e r n e t   a n d   m o b i l e   p h o n e   b a s e d   t o o l s ,   n o w   e n a b l e   i n f o r m a t i o n   t o   b e   g a r n e r e d   d i r e c t l y   f r o m   i n d i v i d u a l s   a t   t h e   p o i n t   o f   c a r e .   H e r e ,   w e   c o n s i d e r   h o w   t h e s e   c r o w d s o u r c e d   d a t a   o f f e r   t h e   o p p o r t u n i t y   t o   f i l l   g a p s   i n   a n d   a u g m e n t   c u r r e n t   e p i d e m i o l o g i c a l   m o d e l s .   C h a l l e n g e s   a n d   m e t h o d s   f o r   o v e r c o m i n g   l i m i t a t i o n s   o f   t h e   d a t a   a r e   a l s o   r e v i e w e d .   A s   m o r e   n e w   i n f o r m a t i o n   s o u r c e s   b e c o m e   m a t u r e ,   i n c o r p o r a t i n g   t h e s e   n o v e l   d a t a   i n t o   e p i d e m i o l o g i c a l   f r a m e w o r k s   w i l l   e n a b l e   u s   t o   l e a r n   m o r e   a b o u t   i n f e c t i o u s   d i s e a s e   d y n a m i c s . 	 [ C h u n a r a ,   R u m i ;   B r o w n s t e i n ,   J o h n   S . ]   H a r v a r d   U n i v ,   S c h   M e d ,   D e p t   P e d i a t ,   B o s t o n ,   M A   0 2 1 1 5   U S A ;   [ C h u n a r a ,   R u m i ;   B r o w n s t e i n ,   J o h n   S . ]   B o s t o n   C h i l d r e n s   H o s p ,   C h i l d r e n s   H o s p   I n f o r m a t   P r o g r a m ,   D i v   E m e r g e n c y   M e d ,   B o s t o n ,   M A   U S A ;   [ S m o l i n s k i ,   M a r k   S . ]   S k o l l   G l o b a l   T h r e a t s   F d n ,   S a n   F r a n c i s c o ,   C A   U S A 	 C h u n a r a ,   R   ( r e p r i n t   a u t h o r ) ,   1   A u t u m n   S t   F o u r t h   F l o o r , S u i t e   4 3 3 ,   B o s t o n ,   M A   0 2 2 1 5   U S A . 	 r u m i @ a l u m . m i t . e d u 	 	 	 N a t i o n a l   L i b r a r y   o f   M e d i c i n e   o f   t h e   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   [ G 0 8   L M 0 0 9 7 7 6 ,   R 0 1   L M 0 1 0 8 1 2 ] 	 R e s e a r c h   r e p o r t e d   i n   t h i s   p u b l i c a t i o n   w a s   s u p p o r t e d   b y   g r a n t s   f r o m   t h e   N a t i o n a l   L i b r a r y   o f   M e d i c i n e   o f   t h e   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   u n d e r   A w a r d   N u m b e r s   G 0 8   L M 0 0 9 7 7 6 ,   a n d   R 0 1   L M 0 1 0 8 1 2   a n d   G o o g l e . o r g . 	 A n d e r s o n   D P ,   2 0 0 2 ,   C O M M U N   A C M ,   V 4 5 ,   P 5 6 ,   D O I   1 0 . 1 1 4 5 / 5 8 1 5 7 1 . 5 8 1 5 7 3 ;   B a s u   S ,   2 0 1 2 ,   P L O S   M E D ,   V 9 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 1 0 0 1 2 4 4 ;   B e n g t s s o n   L ,   2 0 1 1 ,   P L O S   M E D ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 1 0 0 1 0 8 3 ;   B o g i c h   T L ,   2 0 1 2 ,   P L O S   M E D ,   V 9 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 1 0 0 1 3 5 4 ;   C a u c h e m e z   S ,   2 0 1 3 ,   P L O S   M E D ,   V 1 0 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 1 0 0 1 3 9 9 ;   C h a n   E H ,   2 0 1 1 ,   P L O S   N E G L E C T   T R O P   D ,   V 5 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p n t d . 0 0 0 1 2 0 6 ;   C h a n   E H ,   2 0 1 0 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 7 ,   P 2 1 7 0 1 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 0 0 6 2 1 9 1 0 7 ;   C h u n a r a   R ,   2 0 1 1 ,   J   T R O P   M E D   H Y G ,   V 8 6 ,   P 3 9 ;   C h u n a r a   R ,   2 0 1 2 ,   P A R A S I T O L O G Y ,   V 1 ,   P 1 ;   C h u n a r a   R ,   2 0 1 3 ,   P L O S   O N E ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 6 1 3 7 3 ;   C h u n a r a   R ,   2 0 1 3 ,   O N L I N E   J   P U B L I C   H L T H ,   V 5 ;   C h u n a r a   R ,   2 0 1 2 ,   M A L A   J ,   V 1 1 ;   C o p e l a n d   K R ,   2 0 0 5 ,   P   S U R V   R E S   M E T H   S E C T ;   D u g a s   A F ,   2 0 1 2 ,   C L I N   I N F E C T   D I S ,   V 5 4 ,   P 4 6 3 ,   D O I   1 0 . 1 0 9 3 / c i d / c i r 8 8 3 ;   F r e i f e l d   C C ,   2 0 0 8 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 5 ,   P 1 5 0 ,   D O I   1 0 . 1 1 9 7 / j a m i a . M 2 5 4 4 ;   G i n s b e r g   J ,   2 0 0 9 ,   N A T U R E ,   V 4 5 7 ,   P 1 0 1 2 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 7 6 3 4 ;   H a y   S I ,   2 0 0 6 ,   A D V   P A R A S I T ,   V 6 2 ,   P 3 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 6 5 - 3 0 8 X ( 0 5 ) 6 2 0 0 2 - 7 ;   H u f n a g e l   L ,   2 0 0 4 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 1 ,   P 1 5 1 2 4 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 3 0 8 3 4 4 1 0 1 ;   L a k h a n i   K R ,   2 0 1 3 ,   N A T   B I O T E C H N O L ,   V 3 1 ,   P 1 0 8 ,   D O I   1 0 . 1 0 3 8 / n b t . 2 4 9 5 ;   M e y m a r i s   K ,   2 0 0 8 ,   A G U   F A L L   M ;   M o r s e   S S ,   2 0 1 2 ,   L A N C E T ,   V 3 8 0 ,   P 1 9 5 6 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 0 - 6 7 3 6 ( 1 2 ) 6 1 6 8 4 - 5 ;   R e a d   J M ,   2 0 1 2 ,   E P I D E M I O L   I N F E C T ,   V 1 4 0 ,   P 2 1 1 7 ,   D O I   1 0 . 1 0 1 7 / S 0 9 5 0 2 6 8 8 1 2 0 0 0 8 4 2 ;   R e i s   B Y ,   2 0 0 3 ,   B M C   M E D   I N F O R M   D E C I S ,   V 3 ;   T a t e m   A J ,   2 0 0 7 ,   S C I E N C E ,   V 3 1 8 ,   P 4 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 3 1 8 . 5 8 4 7 . 4 3 a ;   T h e   W o r l d   H e a l t h   O r g a n i z a t i o n ,   G L O B   A L   R E S P   E P   I N T ;   T i l s t o n   N L ,   2 0 1 0 ,   B M C   P U B L I C   H E A L T H ,   V 1 0 ,   P 6 5 0 ;   T u i t e   A R ,   2 0 1 1 ,   A N N   I N T E R N   M E D ,   V 1 5 4 ,   P 5 9 3 ,   D O I   [ 1 0 . 7 3 2 6 / 0 0 0 3 - 4 8 1 9 - 1 5 4 - 9 - 2 0 1 1 0 5 0 3 0 - 0 0 3 3 4 ,   1 0 . 1 0 5 9 / 0 0 0 3 - 4 8 1 9 - 1 5 4 - 9 - 2 0 1 1 0 5 0 3 0 - 0 0 3 3 4 ] ;   W e s o l o w s k i   A ,   2 0 1 2 ,   S C I E N C E ,   V 3 3 8 ,   P 2 6 7 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 2 3 4 6 7 ;   W e s o l o w s k i   A ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 3 5 3 1 9 ;   W o l f e   N D ,   2 0 0 5 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 2 ,   P 7 9 9 4 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 5 0 1 7 3 4 1 0 2 ;   W o r l d   H e a l t h   O r g a n i s a t i o n ,   G L O B   O U T B R   A L   R E S P   N 	 3 1 	 0 	 0 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 3   U S A 	 1 5 2 3 - 3 8 4 7 	 1 5 3 4 - 3 1 4 6 	 	 C U R R   I N F E C T   D I S   R E P 	 C u r r .   I n f e c t .   D i s .   R e p . 	 A U G 	 2 0 1 3 	 1 5 	 4 	 	 	 	 	 3 1 6 	 3 1 9 	 	 1 0 . 1 0 0 7 / s 1 1 9 0 8 - 0 1 3 - 0 3 4 1 - 5 	 	 4 	 I n f e c t i o u s   D i s e a s e s 	 I n f e c t i o u s   D i s e a s e s 	 A K 2 Y S 	 W O S : 0 0 0 3 3 8 2 8 7 1 0 0 0 0 4 	 2 3 6 8 9 9 9 1 	 
 J 	 W u ,   C C ;   C h e n ,   K T ;   C h a n g ,   Y C ;   L e i ,   C L 	 	 	 	 W u ,   C h e n - C h i ;   C h e n ,   K u a n - T a ;   C h a n g ,   Y u - C h u n ;   L e i ,   C h i n - L a u n g 	 	 	 C r o w d s o u r c i n g   M u l t i m e d i a   Q o E   E v a l u a t i o n :   A   T r u s t e d   F r a m e w o r k 	 I E E E   T R A N S A C T I O N S   O N   M U L T I M E D I A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   m e a n   o p i n i o n   s c o r e ;   p a i r e d   c o m p a r i s o n ;   p r o b a b i l i s t i c   c h o i c e   m o d e l ;   q u a l i t y   o f   e x p e r i e n c e ;   s u b j e c t i v e   t e s t 	 Q U A L I T Y   P R E D I C T I O N ;   R A N K I N G S ;   M O D E L 	 C r o w d s o u r c i n g   h a s   e m e r g e d   i n   r e c e n t   y e a r s   a s   a   p o t e n t i a l   s t r a t e g y   t o   e n l i s t   t h e   g e n e r a l   p u b l i c   t o   s o l v e   a   w i d e   v a r i e t y   o f   t a s k s .   W i t h   t h e   a d v e n t   o f   u b i q u i t o u s   I n t e r n e t   a c c e s s ,   i t   i s   n o w   f e a s i b l e   t o   a s k   a n   I n t e r n e t   c r o w d   t o   c o n d u c t   Q o E   ( Q u a l i t y   o f   E x p e r i e n c e )   e x p e r i m e n t s   o n   t h e i r   p e r s o n a l   c o m p u t e r s   i n   t h e i r   o w n   r e s i d e n c e s   r a t h e r   t h a n   i n   a   l a b o r a t o r y .   T h e   c o n s i d e r a b l e   s i z e   o f   t h e   I n t e r n e t   c r o w d   a l l o w s   r e s e a r c h e r s   t o   c r o w d s o u r c e   t h e i r   e x p e r i m e n t s   t o   a   m o r e   d i v e r s e   s e t   o f   p a r t i c i p a n t   p o o l   a t   a   r e l a t i v e l y   l o w   e c o n o m i c   c o s t .   H o w e v e r ,   a s   p a r t i c i p a n t s   c a r r y   o u t   e x p e r i m e n t s   w i t h o u t   s u p e r v i s i o n ,   t h e   u n c e r t a i n t y   o f   t h e   q u a l i t y   o f   t h e i r   e x p e r i m e n t   r e s u l t s   i s   a   c h a l l e n g i n g   p r o b l e m .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   c r o w d s o u r c e a b l e   f r a m e w o r k   t o   q u a n t i f y   t h e   Q o E   o f   m u l t i m e d i a   c o n t e n t .   T o   o v e r c o m e   t h e   a f o r e m e n t i o n e d   q u a l i t y   p r o b l e m ,   w e   e m p l o y   a   p a i r e d   c o m p a r i s o n   m e t h o d   i n   o u r   f r a m e w o r k .   T h e   a d v a n t a g e s   o f   o u r   f r a m e w o r k   a r e :   1 )   t r u s t w o r t h i n e s s   d u e   t o   t h e   s u p p o r t   f o r   c h e a t   d e t e c t i o n ;   2 )   a   s i m p l e r   r a t i n g   p r o c e d u r e   t h a n   t h a t   o f   t h e   c o m m o n l y - u s e d   b u t   m o r e   d i f f i c u l t   m e a n   o p i n i o n   s c o r e   ( M O S ) ,   w h i c h   p l a c e s   l e s s   b u r d e n   o n   p a r t i c i p a n t s ;   3 )   e c o n o m i c   f e a s i b i l i t y   s i n c e   r e l i a b l e   Q o E   m e a s u r e s   c a n   b e   a c q u i r e d   w i t h   l e s s   e f f o r t   c o m p a r e d   w i t h   M O S ;   a n d   4 )   g e n e r a l i z a b i l i t y   a c r o s s   a   v a r i e t y   o f   m u l t i m e d i a   c o n t e n t .   W e   d e m o n s t r a t e   t h e   e f f e c t i v e n e s s   a n d   e f f i c i e n c y   o f   t h e   p r o p o s e d   f r a m e w o r k   b y   a   c o m p a r i s o n   w i t h   M O S .   M o r e o v e r ,   t h e   r e s u l t s   o f   f o u r   c a s e   s t u d i e s   s u p p o r t   o u r   a s s e r t i o n   t h a t   t h e   f r a m e w o r k   c a n   p r o v i d e   r e l i a b l e   Q o E   e v a l u a t i o n   a t   a   l o w e r   c o s t . 	 [ W u ,   C h e n - C h i ;   C h a n g ,   Y u - C h u n ;   L e i ,   C h i n - L a u n g ]   N a t l   T a i w a n   U n i v ,   D e p t   E l e c t   E n g n ,   T a i p e i   1 0 6 ,   T a i w a n ;   [ C h e n ,   K u a n - T a ]   A c a d   S i n i c a ,   I n s t   I n f o r m a t   S c i ,   T a i p e i   1 1 5 ,   T a i w a n ;   [ C h e n ,   K u a n - T a ]   A c a d   S i n i c a ,   R e s   C t r   I n f o r m a t   T e c h n o l   I n n o v a t ,   T a i p e i   1 1 5 ,   T a i w a n 	 W u ,   C C   ( r e p r i n t   a u t h o r ) ,   N a t l   T a i w a n   U n i v ,   D e p t   E l e c t   E n g n ,   T a i p e i   1 0 6 ,   T a i w a n . 	 b i p a @ f r a c t a l . e e . n t u . e d u . t w ;   k t c h e n @ i i s . s i n i c a . e d u . t w ;   c o n g o @ f r a c t a l . e e . n t u . e d u . t w ;   l e i @ c c . e e . n t u . e d u . t w 	 	 	 N a t i o n a l   S c i e n c e   C o u n c i l   [ N S C 1 0 1 - 2 2 2 1 - E - 0 0 1 - 0 1 2 - M Y 3 ,   N S C 1 0 1 - 2 2 2 1 - E - 0 0 2 - 1 9 0 - M Y 3 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   N a t i o n a l   S c i e n c e   C o u n c i l   u n d e r   t h e   g r a n t s   N S C 1 0 1 - 2 2 2 1 - E - 0 0 1 - 0 1 2 - M Y 3   a n d   N S C 1 0 1 - 2 2 2 1 - E - 0 0 2 - 1 9 0 - M Y 3 .   A   p r e l i m i n a r y   v e r s i o n   o f   t h i s   p a p e r   [ 1 3 ]   a p p e a r e d   i n   t h e   P r o c e e d i n g s   o f   t h e   1 7 t h   A C M   I n t e r n a t i o n a l   C o n f e r e n c e   o n   M u l t i m e d i a   ( A C M   M u l t i m e d i a   2 0 0 9 ) .   T h e   a s s o c i a t e   e d i t o r   c o o r d i n a t i n g   t h e   r e v i e w   o f   t h i s   m a n u s c r i p t   a n d   a p p r o v i n g   i t   f o r   p u b l i c a t i o n   w a s   P r o f .   C h a r l e s   D .   ( C h u c k )   C r e u s e r e . 	 A l o n s o   O . ,   2 0 0 8 ,   P   A C M   S I G I R   F O R ,   V 4 2 ,   P 9 ;   [ A n o n y m o u s ] ,   1 9 9 6 ,   M E T H O D S   S U B J E C T I V E   D ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   O B J E C T I V E   P E R C E P T U A L ;   [ A n o n y m o u s ] ,   2 0 1 0 ,   1 0 2 6 4 3   E T S I   T R ;   [ A n o n y m o u s ] ,   2 0 0 5 ,   G 1 0 7   I T U T ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   P 9 1 0   I T U T ;   [ A n o n y m o u s ] ,   2 0 0 1 ,   P E R C E P T U A L   E V A L U A T I O ;   B a s s o   A ,   2 0 0 9 ,   C O M P U T   S E C U R ,   V 2 8 ,   P 1 7 4 ,   D O I   1 0 . 1 0 1 6 / j . c o s e . 2 0 0 8 . 1 1 . 0 0 2 ;   B i r n b a u m   M .   H . ,   2 0 0 0 ,   P S Y C H O L   E X P T   I N T E R N E ;   B L A N D   J M ,   1 9 8 6 ,   L A N C E T ,   V 1 ,   P 3 0 7 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B R A D L E Y   R A ,   1 9 5 2 ,   B I O M E T R I K A ,   V 3 9 ,   P 3 2 4 ,   D O I   1 0 . 1 0 9 3 / b i o m e t / 3 9 . 3 - 4 . 3 2 4 ;   B u c h h o l z   S . ,   2 0 1 1 ,   P   I N T ,   P 3 0 5 3 ;   C a r n e r o   B ,   1 9 9 9 ,   I E E E   T   S I G N A L   P R O C E S ,   V 4 7 ,   P 1 6 2 2 ,   D O I   1 0 . 1 1 0 9 / 7 8 . 7 6 5 1 3 3 ;   C h a n   Y .   H . ,   2 0 1 0 ,   P   P R O G N   S Y S T   H L T H   M A ,   P 1 ;   C h e n   K . ,   2 0 1 1 ,   P   A C M   M U L T   S Y S T   2 0 1 1 ,   P 8 1 ,   D O I   1 0 . 1 1 4 5 / 1 9 4 3 5 5 2 . 1 9 4 3 5 6 3 ;   C h e n   K . - T . ,   2 0 0 9 ,   E U R A S I P   J   A D V   S I G N A L ,   V 2 0 0 9 ;   C h e n   K . - T . ,   2 0 0 9 ,   P   I E E E   I N F O C O M   2 0 0 9 ;   C h e n   K . - T . ,   2 0 0 9 ,   P   A C M   M U L T   2 0 0 9 ;   C h e n   K . - T . ,   2 0 0 6 ,   P   A C M   S I G C O M M   2 0 0 6   P ;   C h o i s e l   S ,   2 0 0 7 ,   J   A C O U S T   S O C   A M ,   V 1 2 1 ,   P 3 8 8 ,   D O I   1 0 . 1 1 2 1 / 1 . 2 3 8 5 0 4 3 ;   C i a r a m e l l o   F .   M . ,   2 0 1 1 ,   P   S P I E   H U M A N   V I S I O N ,   V 7 8 6 5 ;   D a v i d   H .   A . ,   1 9 8 8 ,   M E T H O D   P A I R E D   C O M P ;   D i n g   L J ,   2 0 0 3 ,   G L O B   T E L E C O M M   C O N F ,   P 3 9 7 4 ,   D O I   1 0 . 1 1 0 9 / G L O C O M . 2 0 0 3 . 1 2 5 8 9 7 5 ;   D i t t r i c h   R ,   1 9 9 8 ,   J   R O Y   S T A T   S O C   C - A P P ,   V 4 7 ,   P 5 1 1 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 8 7 6 . 0 0 1 2 5 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   E i c h h o r n   A ,   2 0 1 0 ,   N O S S D A V   2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 0 T H   I N T E R N A T I O N A L   W O R K S H O P   O N   N E T W O R K   A N D   O P E R A T I N G   S Y S T E M S   S U P P O R T   F O R   D I G I T A L   A U D I O   A N D   V I D E O ,   P 6 3 ;   E L L I O T T   E O ,   1 9 6 3 ,   A T & T   T E C H   J ,   V 4 2 ,   P 1 9 7 7 ;   G I L B E R T   E N ,   1 9 6 0 ,   A T & T   T E C H   J ,   V 3 9 ,   P 1 2 5 3 ;   G I R O D   B ,   1 9 8 9 ,   P   S O C   P H O T O - O P T   I N S ,   V 1 0 7 7 ,   P 1 7 8 ;   H i l l   R J ,   1 9 5 3 ,   A M   S O C I O L   R E V ,   V 1 8 ,   P 5 6 4 ,   D O I   1 0 . 2 3 0 7 / 2 0 8 7 4 4 2 ;   H o   C . J . ,   2 0 0 7 ,   P   2 2   C   A R T   I N T   A A A I ,   P 1 3 5 9 ;   H o   C . - J . ,   2 0 0 9 ,   P   H U M   C O M P   W O R K S H   2 0 ,   P 6 2 ,   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 7 2 ;   H o r t o n   J . J . ,   2 0 1 0 ,   P   1 1   A C M   C   E L   C O M M ,   P 2 0 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 0 7 3 4 2 . 1 8 0 7 3 7 6 ;   H o s s f e l d   T o b i a s ,   2 0 1 1 ,   P r o c e e d i n g s   o f   t h e   2 0 1 1   I E E E   I n t e r n a t i o n a l   S y m p o s i u m   o n   M u l t i m e d i a   ( I S M   2 0 1 1 ) ,   D O I   1 0 . 1 1 0 9 / I S M . 2 0 1 1 . 8 7 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   V 1 4 ,   P 1 7 6 ;   H u a n g   Z . ,   2 0 1 2 ,   P   A C M   M U L T   S Y S T   C   M M ,   P 2 9 ;   I t o   Y ,   2 0 0 5 ,   I E E E   T   M U L T I M E D I A ,   V 7 ,   P 5 7 2 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 0 5 . 8 4 6 7 8 5 ;   J a i n   R ,   2 0 0 4 ,   I E E E   M U L T I M E D I A ,   V 1 1 ,   P 9 6 ,   D O I   1 0 . 1 1 0 9 / M M U L . 2 0 0 4 . 1 2 6 1 1 1 4 ;   J a i n   S ,   2 0 0 9 ,   1 0 T H   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E   -   E C   2 0 0 9 ,   P 1 2 9 ;   K e n d a l l   M .   G . ,   1 9 4 0 ,   B I O M E T R I K A ,   V 3 1 ,   P 3 2 4 ,   D O I   1 0 . 2 3 0 7 / 2 3 3 2 6 1 3 ;   K e n d a l l   M G ,   1 9 3 9 ,   A N N   M A T H   S T A T ,   V 1 0 ,   P 2 7 5 ,   D O I   1 0 . 1 2 1 4 / a o m s / 1 1 7 7 7 3 2 1 8 6 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K n o t t   C .   L . ,   2 0 0 4 ,   I n t e r n a t i o n a l   T r a n s a c t i o n s   i n   O p e r a t i o n a l   R e s e a r c h ,   V 1 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 5 - 3 9 9 5 . 2 0 0 4 . 0 0 4 4 2 . x ;   L a n   K . - C . ,   2 0 1 1 ,   P   I E E E   W O R K S H   S T R E A M ;   L e e   C T ,   2 0 0 9 ,   2 0 0 9   I E E E / W I C / A C M   I N T E R N A T I O N A L   J O I N T   C O N F E R E N C E S   O N   W E B   I N T E L L I G E N C E   ( W I )   A N D   I N T E L L I G E N T   A G E N T   T E C H N O L O G I E S   ( I A T ) ,   V O L   1 ,   P 1 1 6 ;   L e e   J S ,   2 0 1 1 ,   I E E E   T   M U L T I M E D I A ,   V 1 3 ,   P 8 8 2 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 1 1 . 2 1 5 7 3 3 3 ;   L e e   J . - S . ,   2 0 1 1 ,   P   A C M   M U L T   2 0 1 1 ,   P 1 2 8 1 ;   L e e   Y e n g - T i n g ,   2 0 1 2 ,   P   I E E E   A C M   N E T G A M E S ;   L u c e   R .   D . ,   2 0 0 5 ,   I N D I V I D U A L   C H O I C E   B E ;   M a n j u n a t h   T . ,   2 0 1 2 ,   P   I E E E   I N T   S   B R O A D B ,   P 1 ;   M A T T H E W S   J N S ,   1 9 9 5 ,   J   R   S T A T   S O C   C - A P P L ,   V 4 4 ,   P 2 4 3 ;   P a s t r a n a - V i d a l   R R ,   2 0 0 4 ,   P   S O C   P H O T O - O P T   I N S ,   V 5 2 9 2 ,   P 1 9 4 ,   D O I   1 0 . 1 1 1 7 / 1 2 . 5 2 6 6 4 8 ;   P e t e r s o n   G L ,   1 9 9 8 ,   L A N D   E C O N ,   V 7 4 ,   P 2 4 0 ,   D O I   1 0 . 2 3 0 7 / 3 1 4 7 0 5 4 ;   P o w e r s   N .   L . ,   1 9 7 8 ,   J   F O O D   S C I ,   V 4 3 ,   P 4 1 ;   Q i u   G . ,   2 0 1 1 ,   P   S P I E ,   V 7 8 6 7 ;   R a n d   D G ,   2 0 0 9 ,   S C I E N C E ,   V 3 2 5 ,   P 1 2 7 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 7 7 4 1 8 ;   R A O   P V ,   1 9 6 7 ,   J   A M   S T A T   A S S O C ,   V 6 2 ,   P 1 9 4 ,   D O I   1 0 . 2 3 0 7 / 2 2 8 2 9 2 3 ;   R i b e i r o   F ,   2 0 1 1 ,   I N T   C O N F   A C O U S T   S P E E ,   P 2 4 1 6 ;   R i b e i r o   F . ,   2 0 1 1 ,   P   I E E E   I N T   C   I M   P R O C ,   P 3 0 9 7 ;   R o s s i   P E ,   2 0 0 1 ,   J   A M   S T A T   A S S O C ,   V 9 6 ,   P 2 0 ,   D O I   1 0 . 1 1 9 8 / 0 1 6 2 1 4 5 0 1 7 5 0 3 3 2 6 6 8 ;   S A A T Y   T L ,   1 9 7 7 ,   J   M A T H   P S Y C H O L ,   V 1 5 ,   P 2 3 4 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 2 - 2 4 9 6 ( 7 7 ) 9 0 0 3 3 - 5 ;   S H R O U T   P E ,   1 9 7 9 ,   P S Y C H O L   B U L L ,   V 8 6 ,   P 4 2 0 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 0 9 . 8 6 . 2 . 4 2 0 ;   S o r o k i n   A . ,   2 0 0 8 ,   P   1   I E E E   W O R K S H   I N T ,   P 1 ;   S p r o w   I . ,   2 0 0 9 ,   P   S P I E ,   V 7 2 4 2 ;   S u n   L F ,   2 0 0 6 ,   I E E E   T   M U L T I M E D I A ,   V 8 ,   P 8 0 9 ,   D O I   1 0 . 1 1 0 9 / F M M . 2 0 0 6 . 8 7 6 2 7 9 ;   S u p p e s   P . ,   2 0 0 6 ,   F D N   M E A S U R E M E N T ,   V I I ;   T a s a k a   S . ,   2 0 0 8 ,   P   A C M   M U L T I M E D I A 2 0 0 8 ,   P 2 5 9 ,   D O I   1 0 . 1 1 4 5 / 1 4 5 9 3 5 9 . 1 4 5 9 3 9 5 ;   W a t s o n   A . ,   1 9 9 8 ,   P r o c e e d i n g s   A C M   M u l t i m e d i a   9 8 ,   D O I   1 0 . 1 1 4 5 / 2 9 0 7 4 7 . 2 9 0 7 5 5 ;   W e l i n d e r   P . ,   2 0 1 0 ,   P   I E E E   C   C O M P   V I S   P A ,   P 2 5 ;   W u   W . ,   2 0 1 1 ,   P   A C M   M U L T   2 0 1 1   N O V ,   P 6 8 3 ;   X u   Q ,   2 0 1 2 ,   I E E E   T   M U L T I M E D I A ,   V 1 4 ,   P 8 4 4 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 1 2 . 2 1 9 0 9 2 4 	 7 2 	 1 	 1 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 5 2 0 - 9 2 1 0 	 	 	 I E E E   T   M U L T I M E D I A 	 I E E E   T r a n s .   M u l t i m e d i a 	 A U G 	 2 0 1 3 	 1 5 	 5 	 	 	 	 	 1 1 2 1 	 1 1 3 7 	 	 1 0 . 1 1 0 9 / T M M . 2 0 1 3 . 2 2 4 1 0 4 3 	 	 1 7 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 2 2 2 W T 	 W O S : 0 0 0 3 2 4 7 6 3 6 0 0 0 1 5 	 	 
 J 	 D a s g u p t a ,   N ;   F r e i f e l d ,   C ;   B r o w n s t e i n ,   J S ;   M e n o n e ,   C M ;   S u r r a t t ,   H L ;   P o p p i s h ,   L ;   G r e e n ,   J L ;   L a v o n a s ,   E J ;   D a r t ,   R C 	 	 	 	 D a s g u p t a ,   N a b a r u n ;   F r e i f e l d ,   C l a r k ;   B r o w n s t e i n ,   J o h n   S . ;   M e n o n e ,   C h r i s t o p h e r   M a r k ;   S u r r a t t ,   H i l a r y   L . ;   P o p p i s h ,   L u k e ;   G r e e n ,   J o d y   L . ;   L a v o n a s ,   E r i c   J . ;   D a r t ,   R i c h a r d   C . 	 	 	 C r o w d s o u r c i n g   B l a c k   M a r k e t   P r i c e s   F o r   P r e s c r i p t i o n   O p i o i d s 	 J O U R N A L   O F   M E D I C A L   I N T E R N E T   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 o p i o i d s ;   b l a c k   m a r k e t ;   e c o n o m i c s ;   d r u g   a b u s e ;   s u r v e i l l a n c e ;   c r o w d s o u r c i n g ;   I n t e r n e t ;   S i l k   R o a d ;   S t r e e t R x ;   R A D A R S   S y s t e m ;   p o l i c e ;   l a w   e n f o r c e m e n t 	 D I S C O U N T I N G   P R O C E S S E S ;   D I S E A S E   D E T E C T I O N ;   D R U G - D E P E N D E N C E ;   I L L I C I T   D R U G S ;   A D D I C T I O N ;   H E R O I N ;   D I V E R S I O N ;   P A T T E R N S ;   I N T E R N E T ;   D E L A Y 	 B a c k g r o u n d :   P r e s c r i p t i o n   o p i o i d   d i v e r s i o n   a n d   a b u s e   a r e   m a j o r   p u b l i c   h e a l t h   i s s u e s   i n   t h e   U n i t e d   S t a t e s   a n d   i n t e r n a t i o n a l l y .   S t r e e t   p r i c e s   o f   d i v e r t e d   p r e s c r i p t i o n   o p i o i d s   c a n   p r o v i d e   a n   i n d i c a t o r   o f   d r u g   a v a i l a b i l i t y ,   d e m a n d ,   a n d   a b u s e   p o t e n t i a l ,   b u t   t h e s e   d a t a   c a n   b e   d i f f i c u l t   t o   c o l l e c t .   C r o w d s o u r c i n g   i s   a   r a p i d   a n d   c o s t - e f f e c t i v e   w a y   t o   g a t h e r   i n f o r m a t i o n   a b o u t   s a l e s   t r a n s a c t i o n s .   W e   s o u g h t   t o   d e t e r m i n e   w h e t h e r   c r o w d s o u r c i n g   c a n   p r o v i d e   a c c u r a t e   m e a s u r e m e n t s   o f   t h e   s t r e e t   p r i c e   o f   d i v e r t e d   p r e s c r i p t i o n   o p i o i d   m e d i c a t i o n s .   O b j e c t i v e :   T o   a s s e s s   t h e   p o s s i b i l i t y   o f   c r o w d s o u r c i n g   b l a c k   m a r k e t   d r u g   p r i c e   d a t a   b y   c r o s s - v a l i d a t i o n   w i t h   l a w   e n f o r c e m e n t   o f f i c e r   r e p o r t s .   M e t h o d s :   U s i n g   a   c r o w d s o u r c i n g   r e s e a r c h   w e b s i t e   ( S t r e e t R x ) ,   w e   s o l i c i t e d   d a t a   a b o u t   t h e   p r i c e   t h a t   s i t e   v i s i t o r s   p a i d   f o r   d i v e r t e d   p r e s c r i p t i o n   o p i o i d   a n a l g e s i c s   d u r i n g   t h e   f i r s t   h a l f   o f   2 0 1 2 .   T h e s e   r e s u l t s   w e r e   c o m p a r e d   w i t h   a   s u r v e y   o f   l a w   e n f o r c e m e n t   o f f i c e r s   i n   t h e   R e s e a r c h e d   A b u s e ,   D i v e r s i o n ,   a n d   A d d i c t i o n - R e l a t e d   S u r v e i l l a n c e   ( R A D A R S )   S y s t e m ,   a n d   a c t u a l   t r a n s a c t i o n   p r i c e s   o n   a   " d a r k   I n t e r n e t "   m a r k e t p l a c e   ( S i l k   R o a d ) .   G e o m e t r i c   m e a n s   a n d   9 5 %   c o n f i d e n c e   i n t e r v a l s   w e r e   c a l c u l a t e d   f o r   c o m p a r i n g   p r i c e s   p e r   m i l l i g r a m   o f   d r u g   i n   U S   d o l l a r s .   I n   a   s e c o n d a r y   a n a l y s i s ,   w e   c o m p a r e d   p r i c e s   p e r   m i l l i g r a m   o f   m o r p h i n e   e q u i v a l e n t   u s i n g   s t a n d a r d   e q u i a n a l g e s i c   d o s i n g   c o n v e r s i o n s .   R e s u l t s :   A   t o t a l   o f   9 5 4   p r i c e   r e p o r t s   w e r e   o b t a i n e d   f r o m   c r o w d s o u r c i n g ,   7 3 7   f r o m   l a w   e n f o r c e m e n t ,   a n d   1 4 7   f r o m   t h e   o n l i n e   m a r k e t p l a c e .   C o r r e l a t i o n s   b e t w e e n   t h e   3   d a t a   s o u r c e s   w e r e   h i g h l y   l i n e a r ,   w i t h   S p e a r m a n   r h o   o f   0 . 9 3   ( P < . 0 0 1 )   b e t w e e n   c r o w d s o u r c e d   a n d   l a w   e n f o r c e m e n t ,   a n d   0 . 9 8   ( P < . 0 0 1 )   b e t w e e n   c r o w d s o u r c e d   a n d   o n l i n e   m a r k e t p l a c e .   O n   S t r e e t R x ,   t h e   m e a n   p r i c e s   p e r   m i l l i g r a m   w e r e   U S $ 3 . 2 9   h y d r o m o r p h o n e ,   U S $ 2 . 1 3   b u p r e n o r p h i n e ,   U S $ 1 . 5 7   o x y m o r p h o n e ,   U S $ 0 . 9 7   o x y c o d o n e ,   U S $ 0 . 9 6   m e t h a d o n e ,   U S $ 0 . 8 1   h y d r o c o d o n e ,   U S $ 0 . 5 2   m o r p h i n e ,   a n d   U S $ 0 . 0 5   t r a m a d o l .   T h e   o n l y   s i g n i f i c a n t   d i f f e r e n c e   b e t w e e n   d a t a   s o u r c e s   w a s   m o r p h i n e ,   w i t h   a   D r u g   D i v e r s i o n   p r i c e   o f   U S $ 0 . 6 7 / m g   ( 9 5 %   C I   0 . 5 9 - 0 . 7 5 )   a n d   a   S i l k   R o a d   p r i c e   o f   U S $ 0 . 4 2 / m g   ( 9 5 %   C I   0 . 3 7 - 0 . 4 8 ) .   S t r e e t   p r i c e s   g e n e r a l l y   f o l l o w e d   c l i n i c a l   e q u i a n a l g e s i c   p o t e n c y .   C o n c l u s i o n s :   C r o w d s o u r c e d   d a t a   p r o v i d e   a   v a l i d   e s t i m a t e   o f   t h e   s t r e e t   p r i c e   o f   d i v e r t e d   p r e s c r i p t i o n   o p i o i d s .   T h e   ( o s t e n s i b l y   f r e e )   b l a c k   m a r k e t   w a s   a b l e   t o   a c c u r a t e l y   p r e d i c t   t h e   r e l a t i v e   p h a r m a c o l o g i c   p o t e n c y   o f   o p i o i d   m o l e c u l e s . 	 [ D a s g u p t a ,   N a b a r u n ;   F r e i f e l d ,   C l a r k ;   B r o w n s t e i n ,   J o h n   S . ;   M e n o n e ,   C h r i s t o p h e r   M a r k ]   E p i d e m i c o ,   B o s t o n ,   M A   U S A ;   [ F r e i f e l d ,   C l a r k ;   B r o w n s t e i n ,   J o h n   S . ]   H a r v a r d   U n i v ,   S c h   M e d ,   B o s t o n   C h i l d r e n s   H o s p ,   C h i l d r e n s   H o s p   I n f o r m a t   P r o g r a m ,   B o s t o n ,   M A   U S A ;   [ B r o w n s t e i n ,   J o h n   S . ]   H a r v a r d   U n i v ,   S c h   M e d ,   D e p t   P e d i a t ,   B o s t o n   C h i l d r e n s   H o s p ,   B o s t o n ,   M A   0 2 1 1 5   U S A ;   [ S u r r a t t ,   H i l a r y   L . ]   N o v a   S E   U n i v ,   F t   L a u d e r d a l e ,   F L   3 3 3 1 4   U S A ;   [ P o p p i s h ,   L u k e ;   G r e e n ,   J o d y   L . ;   L a v o n a s ,   E r i c   J . ;   D a r t ,   R i c h a r d   C . ]   D e n v e r   H l t h ,   R o c k y   M t   P o i s o n   &   D r u g   C t r ,   R A D A R S   S y s t ,   D e n v e r ,   C O   U S A ;   [ D a r t ,   R i c h a r d   C . ]   U n i v   C o l o r a d o ,   S c h   M e d ,   D e p t   E m e r g e n c y   M e d ,   A u r o r a ,   C O   U S A 	 D a s g u p t a ,   N   ( r e p r i n t   a u t h o r ) ,   E p i d e m i c o ,   2 6 8   N e w b u r y   S t   2 n d   F l o o r ,   B o s t o n ,   M A   U S A . 	 n a b a r u n d @ g m a i l . c o m 	 	 	 R A D A R S   S y s t e m   ( D e n v e r ,   C o l o r a d o ,   U S A ) 	 T h e   a u t h o r s   w i s h   t o   t h a n k   K a r e n   L o w i t z   f o r   a s s i s t a n c e   i n   p r e p a r i n g   t h i s   m a n u s c r i p t .   T h i s   r e s e a r c h   w a s   f u n d e d   b y   t h e   R A D A R S   S y s t e m   ( D e n v e r ,   C o l o r a d o ,   U S A ) . 	 B a c h   P B ,   1 9 9 9 ,   A M   J   P U B L I C   H E A L T H ,   V 8 9 ,   P 6 6 2 ,   D O I   1 0 . 2 1 0 5 / A J P H . 8 9 . 5 . 6 6 2 ;   B e r g e   K H ,   2 0 1 2 ,   M A Y O   C L I N   P R O C ,   V 8 7 ,   P 6 7 4 ,   D O I   1 0 . 1 0 1 6 / j . m a y o c p . 2 0 1 2 . 0 3 . 0 1 3 ;   B i c k e l   W K ,   2 0 0 1 ,   A D D I C T I O N ,   V 9 6 ,   P 7 3 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 0 - 0 4 4 3 . 2 0 0 1 . 9 6 1 7 3 6 . x ;   B i c k e l   W K ,   2 0 0 7 ,   D R U G   A L C O H O L   D E P E N ,   V 9 0 ,   p S 8 5 ,   D O I   1 0 . 1 0 1 6 / j . d r u g a l c d e p . 2 0 0 6 . 0 9 . 0 1 6 ;   B i c k e l   W K ,   2 0 1 0 ,   C U R R   T O P   B E H A V   N E U R O ,   V 3 ,   P 3 1 9 ,   D O I   1 0 . 1 0 0 7 / 7 8 5 4 _ 2 0 0 9 _ 2 2 ;   B r e t t e v i l l e - J e n s e n   A L ,   1 9 9 9 ,   J   H E A L T H   E C O N ,   V 1 8 ,   P 3 9 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 6 2 9 6 ( 9 8 ) 0 0 0 5 7 - 5 ;   B r e t t e v i l l e - J e n s e n   A L ,   2 0 0 6 ,   S U B S T   U S E   M I S U S E ,   V 4 1 ,   P 5 5 5 ,   D O I   1 0 . 1 0 8 0 / 1 0 8 2 6 0 8 0 5 0 0 5 2 1 5 6 5 ;   B r e t t e v i l l e - J e n s e n   A L ,   2 0 1 1 ,   I N T   J   D R U G   P O L I C Y ,   V 2 2 ,   P 3 5 3 ,   D O I   1 0 . 1 0 1 6 / j . d r u g p o . 2 0 1 1 . 0 3 . 0 0 9 ;   B r i g h t   D A ,   2 0 1 0 ,   I N T   J   D R U G   P O L I C Y ,   V 2 1 ,   P 3 5 9 ,   D O I   1 0 . 1 0 1 6 / j . d r u g p o . 2 0 0 9 . 1 2 . 0 0 1 ;   B R O W N   G F ,   1 9 7 4 ,   J   A M   S T A T   A S S O C ,   V 6 9 ,   P 5 9 5 ,   D O I   1 0 . 2 3 0 7 / 2 2 8 5 9 8 9 ;   B r o w n s t e i n   J S ,   2 0 0 9 ,   N E W   E N G L   J   M E D ,   V 3 6 0 ,   P 2 1 5 3 ,   D O I   1 0 . 1 0 5 6 / N E J M p 0 9 0 0 7 0 2 ;   C a u l k i n s   J P ,   2 0 1 1 ,   I N T   J   D R U G   P O L I C Y ,   V 2 2 ,   P 3 7 4 ,   D O I   1 0 . 1 0 1 6 / j . d r u g p o . 2 0 1 1 . 0 2 . 0 0 5 ;   C A U L K I N S   J P ,   1 9 9 4 ,   A D D I C T I O N ,   V 8 9 ,   P 8 1 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 0 - 0 4 4 3 . 1 9 9 4 . t b 0 0 9 8 4 . x ;   C a u l k i n s   J P ,   1 9 9 8 ,   J   D R U G   I S S U E S ,   V 2 8 ,   P 5 9 3 ;   C a u l k i n s   J P ,   2 0 0 9 ,   I N T   J   D R U G   P O L I C Y ,   V 2 0 ,   P 4 8 0 ,   D O I   1 0 . 1 0 1 6 / j . d r u g p o . 2 0 0 9 . 0 2 . 0 1 0 ;   C a u l k i n s   J P ,   2 0 0 7 ,   D R U G   A L C O H O L   D E P E N ,   V 9 0 ,   p S 6 1 ,   D O I   1 0 . 1 0 1 6 / j . d r u g a l c d e p . 2 0 0 6 . 0 8 . 0 1 4 ;   C a u l k i n s   J P ,   2 0 0 6 ,   O P E R   R E S ,   V 5 4 ,   P 6 6 6 ,   D O I   1 0 . 1 2 8 7 / o p r e . 1 0 6 0 . 0 2 9 4 ;   C h a n   E H ,   2 0 1 0 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 7 ,   P 2 1 7 0 1 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 0 0 6 2 1 9 1 0 7 ;   C h e n   A . ,   2 0 1 1 ,   U N D E R G R O U N D   W E B S I T E ;   C h r i s t i n   N . ,   2 0 1 2 ,   T R A V E L I N G   S I L K   R O A D ,   V 2 1 ,   p 1 4 Z ;   C h u n a r a   R ,   2 0 1 2 ,   A M   J   T R O P   M E D   H Y G ,   V 8 6 ,   P 3 9 ,   D O I   1 0 . 4 2 6 9 / a j t m h . 2 0 1 2 . 1 1 - 0 5 9 7 ;   C i c e r o   T J ,   2 0 0 8 ,   P A I N   M E D ,   V 9 ,   P 7 1 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 2 6 - 4 6 3 7 . 2 0 0 7 . 0 0 3 2 3 . x ;   C o m e r   S D ,   2 0 1 0 ,   B E H A V   P H A R M A C O L ,   V 2 1 ,   P 2 5 1 ,   D O I   1 0 . 1 0 9 7 / F B P . 0 b 0 1 3 e 3 2 8 3 3 b b 9 f 8 ;   C o m e r   S D ,   2 0 1 2 ,   P A I N ,   V 1 5 3 ,   P 2 3 1 5 ,   D O I   1 0 . 1 0 1 6 / j . p a i n . 2 0 1 2 . 0 7 . 0 3 5 ;   S t o r t i   C C ,   2 0 0 9 ,   I N T   J   D R U G   P O L I C Y ,   V 2 0 ,   P 4 8 ,   D O I   1 0 . 1 0 1 6 / j . d r u g p o . 2 0 0 7 . 1 1 . 0 1 6 ;   D a r t   R i c h a r d   C ,   2 0 1 2 ,   J   O p i o i d   M a n a g ,   V 8 ,   P 3 9 5 ,   D O I   1 0 . 5 0 5 5 / j o m . 2 0 1 2 . 0 1 3 9 ;   D a s g u p t a   N ,   2 0 0 6 ,   D R U G   A L C O H O L   D E P E N ,   V 8 2 ,   P 1 3 5 ,   D O I   1 0 . 1 0 1 6 / j . d r u g a l c d e p . 2 0 0 5 . 0 8 . 0 1 9 ;   D r u g   E n f o r c e m e n t   A d m i n i s t r a t i o n   ( D E A ) ,   2 0 0 2 ,   F E D   R E G ,   V 6 7 ,   P 6 2 3 5 4 ;   G o o d   B M ,   2 0 1 3 ,   B I O I N F O R M A T I C S ,   V 2 9 ,   P 1 9 2 5 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t t 3 3 3 ;   G o o d m a n   L S ,   2 0 0 8 ,   G O O D M A N   G I L M A N S   M A N U ;   H a f f e y   F ,   2 0 1 3 ,   D R U G   S A F E T Y ,   V 3 6 ,   P 1 1 1 ,   D O I   1 0 . 1 0 0 7 / s 4 0 2 6 4 - 0 1 3 - 0 0 1 5 - 0 ;   I n c i a r d i   J A ,   2 0 0 9 ,   J   A D D I C T   D I S ,   V 2 8 ,   P 3 3 2 ,   D O I   1 0 . 1 0 8 0 / 1 0 5 5 0 8 8 0 9 0 3 1 8 2 9 8 6 ;   I n c i a r d i   J A ,   2 0 1 0 ,   D R U G   A L C O H O L   D E P E N ,   V 1 1 0 ,   P 2 1 ,   D O I   1 0 . 1 0 1 6 / j . d r u g a l c d e p . 2 0 1 0 . 0 1 . 0 1 5 ;   J a r m o l o w i c z   D P ,   2 0 1 2 ,   B E H A V   P R O C E S S ,   V 9 1 ,   P 3 0 8 ,   D O I   1 0 . 1 0 1 6 / j . b e p r o c . 2 0 1 2 . 0 9 . 0 0 1 ;   J o n a s   A B ,   2 0 1 2 ,   S O C   S C I   M E D ,   V 7 4 ,   P 1 6 0 2 ,   D O I   1 0 . 1 0 1 6 / j . s o c s c i m e d . 2 0 1 1 . 1 2 . 0 5 3 ;   K L E I M A N   M A R ,   1 9 9 3 ,   M A T H   C O M P U T   M O D E L ,   V 1 7 ,   P 6 5 ,   D O I   1 0 . 1 0 1 6 / 0 8 9 5 - 7 1 7 7 ( 9 3 ) 9 0 2 4 0 - Y ;   L u e n g o - O r o z   M A ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   P 2 0 7 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 3 3 8 ;   M a c l e a n   D L ,   2 0 1 3 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 ,   D O I   1 0 . 1 1 3 6 / a m i a j n l - 2 0 1 2 - 0 0 1 1 1 0 ;   M c D o n a l d   D C ,   2 0 1 3 ,   P L O S   O N E ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 6 9 2 4 1 ;   M i n r o n   J ,   2 0 0 3 ,   R E V   E C O N   S T A T ,   V 8 5 ,   P 5 2 2 ;   N o r d t   C ,   2 0 0 9 ,   I N T   J   D R U G   P O L I C Y ,   V 2 0 ,   P 4 9 7 ,   D O I   1 0 . 1 0 1 6 / j . d r u g p o . 2 0 0 9 . 0 2 . 0 0 9 ;   R a n a r d   B L ,   2 0 1 4 ,   J   G E N   I N T E R N   M E D ,   V 2 9 ,   P 1 8 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 6 0 6 - 0 1 3 - 2 5 3 6 - 8 ;   R i g g   K K ,   2 0 1 2 ,   D R U G S   A B I N G D O N   E N G L ,   V 1 9 ,   P 1 4 4 ,   D O I   D O I   1 0 . 3 1 0 9 / 0 9 6 8 7 6 3 7 . 2 0 1 1 . 6 3 1 1 9 7 ;   S a j a n   A ,   1 9 9 8 ,   C A N   M E D   A S S O C   J ,   V 1 5 9 ,   P 1 3 9 ;   S h e l l e y   W ,   2 0 1 3 ,   N A T U R E ,   V 4 9 6 ,   P 3 0 0 ,   D O I   1 0 . 1 0 3 8 / 4 9 6 3 0 0 d ;   H a n s e n   A L S ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 5 1 1 5 6 ;   S u b s t a n c e   A b u s e   a n d   M e n t a l   H e a l t h   S e r v i c e s   A d m i n i s t r a t i o n ,   2 0 1 0 ,   N S D U H   S E R   H ,   V I ,   P 1 1 ;   S u b s t a n c e   A b u s e   a n d   M e n t a l   H e a l t h   S e r v i c e s   A d m i n i s t r a t i o n ,   2 0 1 1 ,   N S D U H   S E R   H ,   V I ,   P 1 2 ;   T u r n e r   A M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   P 2 1 8 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 0 6 3 ;   W o o d   E ,   2 0 0 3 ,   C A N   M E D   A S S O C   J ,   V 1 6 8 ,   P 1 6 5 ;   Y u   B ,   2 0 1 3 ,   J   M E D   I N T E R N E T   R E S ,   V 1 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 5 1 3 ;   Z h a i   H J ,   2 0 1 3 ,   J   M E D   I N T E R N E T   R E S ,   V 1 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 4 2 6 	 5 2 	 4 	 4 	 J M I R   P U B L I C A T I O N S ,   I N C 	 T O R O N T O 	 5 9   W I N N E R S   C I R C L E ,   T O R O N T O ,   O N   M 4 L   3 Y 7 ,   C A N A D A 	 1 4 3 8 - 8 8 7 1 	 	 	 J   M E D   I N T E R N E T   R E S 	 J .   M e d .   I n t e r n e t   R e s . 	 A U G 	 2 0 1 3 	 1 5 	 8 	 	 	 	 	 	 	 	 1 0 . 2 1 9 6 / j m i r . 2 8 1 0 	 	 1 1 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 2 2 0 X N 	 W O S : 0 0 0 3 2 4 6 2 0 7 0 0 0 2 8 	 2 3 9 5 6 0 4 2 	 
 J 	 H y m a n ,   P 	 	 	 	 H y m a n ,   P a u l 	 	 	 S o f t w a r e   A i m s   t o   E n s u r e   F a i r n e s s   i n   C r o w d s o u r c i n g   P r o j e c t s 	 C O M M U N I C A T I O N S   O F   T H E   A C M 	 	 	 E n g l i s h 	 N e w s   I t e m 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 B i e w a l d   L . ,   I C W E   2 0 1 1 ;   C u s h i n g   E . ,   2 0 1 2 ,   E   B A Y   E X P R E S S ;   H e s t e r   V . ,   2 0 1 0 ,   A C M   S   C O M P U T I N G   D E V ;   I p e i r o t i s   P .   G . ,   2 0 1 0 ,   M E C H   T U R K   N O W   4 0   9 2 ;   I r a n i   L . ,   2 0 1 3 ,   A C M   S I G C H I   C   H U M   F A C ;   K i t t u r   A . ,   2 0 1 3 ,   F E B   2 0 1 3   1 6   A C M   C   C O ;   N e u m a n n   E . ,   2 0 1 2 ,   T E C H   C O   C R O W D F L O W E R ;   V a n   P e l t   C . ,   2 0 1 2   A C M   S I G M O D   I N T ;   v o n   A h n   L . ,   2 0 1 2 ,   H U M A N   C O M P U T A T I O N 	 9 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 0 0 0 1 - 0 7 8 2 	 	 	 C O M M U N   A C M 	 C o m m u n .   A C M 	 A U G 	 2 0 1 3 	 5 6 	 8 	 	 	 	 	 1 9 	 2 1 	 	 1 0 . 1 1 4 5 / 2 4 9 2 0 0 7 . 2 4 9 2 0 1 5 	 	 3 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 1 9 1 Z S 	 W O S : 0 0 0 3 2 2 4 5 4 3 0 0 0 1 0 	 	 
 J 	 F r a n g o s ,   M 	 	 	 	 F r a n g o s ,   M i k e 	 	 	 T r a n s m e d i a   B e c k e t t :   C o m e   a n d   G o   a n d   t h e   S o c i a l   M e d i a   A r c h i v e 	 A D A P T A T I O N - T H E   J O U R N A L   O F   L I T E R A T U R E   O N   S C R E E N   S T U D I E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S a m u e l   B e c k e t t ;   s o c i a l   m e d i a ;   a r c h i v e s ;   t r a n s m e d i a ;   a m a t e u r ;   c r o w d s o u r c i n g ;   C o m e   a n d   G o 	 	 B e c k e t t s   l a t e   w o r k s   f o r   f i l m ,   t h e a t r e ,   a n d   t e l e v i s i o n   a p p r o a c h   t h e   c o n d i t i o n   o f   i n s t a l l a t i o n   p i e c e s ,   m i n i m a l i s t i c   a n d   i t e r a t i v e   t e x t s   t h a t   r e s e m b l e   i n s t r u c t i o n   m a n u a l s   m o r e   t h a n   t h e a t r e .   A t   t h e   s a m e   t i m e ,   t h e s e   w o r k s   a r e   p r e o c c u p i e d   w i t h   a r c h i v a l   t h e m e s :   p e r s o n a l   a n d   p u b l i c   m e m o r y ,   h i s t o r y ,   d o c u m e n t s   a n d   t h e i r   t e c h n i c a l   m e d i a .   W h i l e   h i s   w o r k s   i n t e r r o g a t e   t h e   c o n d i t i o n   o f   a r c h i v e s ,   B e c k e t t s   o w n   a r c h i v e   i s   c h a r a c t e r i z e d   b y   t h e   i n c r e a s i n g   v i s i b i l i t y   i n   B e c k e t t s   l a t e r   t e x t s   o f   e l a b o r a t e   i n s t r u c t i o n s ,   m a p s ,   a n d   c h a r t s ,   a s   i n   t h e   d i a g r a m s   t h a t   f i l l   t h e   t e x t   o f   Q u a d .   Y e t ,   B e c k e t t s   a u t h o r i a l   c o n t r o l   o v e r   h i s   w o r k s   b e c a m e   k n o w n   f o r   i t s   i n s i s t e n c e   o n   m e d i a   s p e c i f i c i t y ,   t h e   r e l u c t a n c e   t o   t r a n s l a t e   a   w o r k   f r o m   o n e   m e d i u m   t o   a n o t h e r .   B e c k e t t s   e x t r a l i t e r a r y   t e x t s   ( a s   G o n t a r s k i   a n d   C h r i s   A c k e r l y   h a v e   d e s c r i b e d   t h e m )   s t r i v e   t o   b e c o m e   t h e i r   o w n   a r c h i v e ,   n o t   a s   a   d e f i n i t i v e   v e r s i o n   r e c o r d e d   i n   f i l m   o r   t e c h n i c a l   m e d i a ,   b u t   a s   s e t s   o f   i n s t r u c t i o n s   t o   b e   r e p e a t e d ,   a n d   t h u s   c a p a b l e   o f   p r o d u c i n g   t h e i r   o w n   s e r i e s   o f   i t e r a t i o n s .   T h e s e   i t e r a t i o n s ,   i n   f a c t ,   c h a r a c t e r i z e   c o n t e m p o r a r y   m e d i a   a r c h i v e s ,   a s   t h e y   b e c o m e   o r g a n i z e d   a c c o r d i n g   t o   t h e   m o d u l a r   l o g i c   o f   a   d a t a b a s e   o v e r   a n d   a g a i n s t   t h e   t e m p o r a l   l o g i c   o f   t h e   t r a d i t i o n a l   a r c h i v e .   T h i s   e s s a y   c o n c e p t u a l i z e s   t h e   a r c h i v e   o f   B e c k e t t s   w o r k s   i n   a   t r a n s m e d i a   c o n t e x t   i n   w h i c h   c o n c e p t s   o f   w o r k   a n d   a u t h o r   n o   l o n g e r   f u n c t i o n   t o   a u t h o r i z e   d i s c r e t e   v e r s i o n s   o f   B e c k e t t s   e x t r a l i t e r a r y   t e x t s . 	 U m e a   U n i v ,   H U M l a b ,   S - 9 0 1 8 7   U m e a ,   S w e d e n 	 F r a n g o s ,   M   ( r e p r i n t   a u t h o r ) ,   U m e a   U n i v ,   H U M l a b ,   S - 9 0 1 8 7   U m e a ,   S w e d e n . 	 m f r a n g o s @ u m a i l . u c s b . e d u 	 	 	 	 	 A c k e r l y   C h r i s   J . ,   2 0 0 4 ,   G R O V E   C O M P A N I O N   S   B E ;   A D A M O U   C ,   2 0 0 5 ,   H I S T   B E C K E T T   I S S U E S ,   V 1 5 ,   P 2 0 1 ;   A l b r i g h t   D a n i e l ,   2 0 0 3 ,   B E C K E T T   A E S T H E T I C S ;   [ A n o n y m o u s ] ,   2 0 0 7 ,   B E C K   F I L M ;   A u g e   M . ,   2 0 0 9 ,   N O N P L A C E S   I N T R O   S U P E ;   B a z i n   A n d r e ,   2 0 0 0 ,   F I L M   A D A P T A T I O N ;   B E N Z V I   L ,   1 9 8 5 ,   M O D   D R A M A ,   V 2 8 ,   P 2 2 ;   B e n - Z v i   L i n d a ,   2 0 0 7 ,   M O D   D R A M A ,   V 4 9 . 4 ,   P 4 6 9 ;   B e n - Z v i   L i n d a ,   1 9 9 2 ,   W O M E N   B E C K E T T   P E R F O R ;   B i g n e l l   J o n a t h a n ,   B E C K E T T   S C R E E N   T E L E V ;   B o l t e r   J a y   D a v i d ,   2 0 0 0 ,   R E M E D I A T I O N   U N D E R S T A ;   B o u l t e r   J o n a t h a n ,   2 0 0 8 ,   B E C K E T T   G U I D E   P E R P L E ;   B r a t e r   E n o c h ,   1 9 9 0 ,   M I N I M A L I S M   B E C K E T T S ;   C h u n   W H K ,   2 0 1 1 ,   P R O G R A M M E D   V I S I O N S   S ;   C o n n o r   S t e v e n ,   2 0 1 0 ,   T A P I N G   W O R L D ;   D E L E U Z E   G ,   1 9 9 5 ,   S U B - S T A N C E ,   P 3 ;   D e r r i d a   J a c q u e s ,   2 0 0 7 ,   D I F F E R E N C E S ,   V 1 8 . 1 ,   P 1 2 8 ;   D e r r i d a   J a c q u e s ,   1 9 9 7 ,   A R C H   F E V E R   F R E U D I A N ;   G o n t a r s k i   S .   E . ,   2 0 0 7 ,   M O D   D R A M A ,   V 4 9 . 4 ,   P 4 2 8 ;   H a l e   J a n e   A l i s o n ,   1 9 8 7 ,   B R O K E N   W I N D O W   B E C K E T ;   H e r r e n   G r a l e y ,   2 0 0 7 ,   S   B E C K E T T S   P L A Y S   F I L ;   H e r r e n   G r a l e y ,   1 9 9 4 ,   S   B E C K E T T   T O D A Y ,   V 7 ,   P 1 0 5 ;   H O R W A T H   A l e x a n d e r ,   2 0 0 5 ,   J   F I L M   P R E S E R V A T I O N ,   V 7 0 ,   P 5 ;   H u h t a m o   E ,   2 0 1 1 ,   M E D I A   A R C H A E O L O G Y :   A P P R O A C H E S ,   A P P L I C A T I O N S ,   A N D   I M P L I C A T I O N S ,   P 1 ;   H u t c h e o n   L . ,   2 0 0 6 ,   T H E O R Y   A D A P T A T I O N ;   J e n k i n s   H ,   2 0 0 8 ,   C O N V E R G E N C E   C U L T U R E ;   K e l l e r   S ,   2 0 1 0 ,   L I T - F I L M   Q U A R T ,   V 3 8 ,   P 2 3 0 ;   K e n n e d y   S e a n ,   2 0 0 9 ,   S   B E C K E T T   H I S T   M E M O R ;   K o v a c s   A n d r a s   B a l i n t ,   2 0 0 8 ,   S C R E E N I N G   M O D E R N I S M ;   M a n o v i c h   L e v ,   2 0 0 2 ,   L A N G U A G E   N E W   M E D I A ;   M c C a r t h y   S e a n ,   2 0 0 8 ,   T E X A S   S T U D I E S   L I T   L A ,   V 5 1 . 1 ,   P 1 0 2 ;   M o r r i s   A K ,   1 9 9 7 ,   S O U N D   S T A T E S   I N N O V A T ;   O p p e n h e i m   L o i s ,   1 9 9 9 ,   S   B E C K E T T   A R T S   M U S I C ;   S p i e k e r   S v e n ,   2 0 0 8 ,   B I G   A R C H   A R T   B U R E A U C ;   Z u r b r u g g   N i c h o l a s ,   1 9 8 3 ,   S   B E C K E T T   H U M A N I S T I C 	 3 5 	 0 	 0 	 O X F O R D   U N I V   P R E S S 	 O X F O R D 	 G R E A T   C L A R E N D O N   S T ,   O X F O R D   O X 2   6 D P ,   E N G L A N D 	 1 7 5 5 - 0 6 3 7 	 	 	 A D A P T A T I O N - U K 	 A d a p t a t i o n 	 A U G 	 2 0 1 3 	 6 	 2 	 	 	 	 	 2 1 5 	 2 2 9 	 	 1 0 . 1 0 9 3 / a d a p t a t i o n / a p s 0 2 5 	 	 1 5 	 F i l m ,   R a d i o ,   T e l e v i s i o n ;   L i t e r a t u r e 	 F i l m ,   R a d i o   &   T e l e v i s i o n ;   L i t e r a t u r e 	 1 9 0 J Q 	 W O S : 0 0 0 3 2 2 3 3 6 2 0 0 0 0 7 	 	 
 J 	 M o h a m m a d ,   S M ;   T u r n e y ,   P D 	 	 	 	 M o h a m m a d ,   S a i f   M . ;   T u r n e y ,   P e t e r   D . 	 	 	 C R O W D S O U R C I N G   A   W O R D - E M O T I O N   A S S O C I A T I O N   L E X I C O N 	 C O M P U T A T I O N A L   I N T E L L I G E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 a f f e c t ;   c r o w d s o u r c i n g ;   e m o t i o n   l e x i c o n ;   e m o t i o n s ;   M e c h a n i c a l ;   p o l a r i t y ;   p o l a r i t y   l e x i c o n ;   s e m a n t i c   o r i e n t a t i o n ;   s e n t i m e n t   a n a l y s i s ;   w o r d - e m o t i o n   a s s o c i a t i o n s 	 C O N S U M E R   C O M P L A I N T   I N T E N T I O N S ;   B A S I C   E M O T I O N S ;   S E R V I C E ;   T E X T ;   B E H A V I O R ;   L O Y A L T Y ;   R E L I A B I L I T Y ;   R E C O G N I T I O N ;   C O E F F I C I E N T ;   I N F O R M A T I O N 	 E v e n   t h o u g h   c o n s i d e r a b l e   a t t e n t i o n   h a s   b e e n   g i v e n   t o   t h e   p o l a r i t y   o f   w o r d s   ( p o s i t i v e   a n d   n e g a t i v e )   a n d   t h e   c r e a t i o n   o f   l a r g e   p o l a r i t y   l e x i c o n s ,   r e s e a r c h   i n   e m o t i o n   a n a l y s i s   h a s   h a d   t o   r e l y   o n   l i m i t e d   a n d   s m a l l   e m o t i o n   l e x i c o n s .   I n   t h i s   p a p e r ,   w e   s h o w   h o w   t h e   c o m b i n e d   s t r e n g t h   a n d   w i s d o m   o f   t h e   c r o w d s   c a n   b e   u s e d   t o   g e n e r a t e   a   l a r g e ,   h i g h - q u a l i t y ,   w o r d - e m o t i o n   a n d   w o r d - p o l a r i t y   a s s o c i a t i o n   l e x i c o n   q u i c k l y   a n d   i n e x p e n s i v e l y .   W e   e n u m e r a t e   t h e   c h a l l e n g e s   i n   e m o t i o n   a n n o t a t i o n   i n   a   c r o w d s o u r c i n g   s c e n a r i o   a n d   p r o p o s e   s o l u t i o n s   t o   a d d r e s s   t h e m .   M o s t   n o t a b l y ,   i n   a d d i t i o n   t o   q u e s t i o n s   a b o u t   e m o t i o n s   a s s o c i a t e d   w i t h   t e r m s ,   w e   s h o w   h o w   t h e   i n c l u s i o n   o f   a   w o r d   c h o i c e   q u e s t i o n   c a n   d i s c o u r a g e   m a l i c i o u s   d a t a   e n t r y ,   h e l p   t o   i d e n t i f y   i n s t a n c e s   w h e r e   t h e   a n n o t a t o r   m a y   n o t   b e   f a m i l i a r   w i t h   t h e   t a r g e t   t e r m   ( a l l o w i n g   u s   t o   r e j e c t   s u c h   a n n o t a t i o n s ) ,   a n d   h e l p   t o   o b t a i n   a n n o t a t i o n s   a t   s e n s e   l e v e l   ( r a t h e r   t h a n   a t   w o r d   l e v e l ) .   W e   c o n d u c t e d   e x p e r i m e n t s   o n   h o w   t o   f o r m u l a t e   t h e   e m o t i o n - a n n o t a t i o n   q u e s t i o n s ,   a n d   s h o w   t h a t   a s k i n g   i f   a   t e r m   i s   a s s o c i a t e d   w i t h   a n   e m o t i o n   l e a d s   t o   m a r k e d l y   h i g h e r   i n t e r a n n o t a t o r   a g r e e m e n t   t h a n   t h a t   o b t a i n e d   b y   a s k i n g   i f   a   t e r m   e v o k e s   a n   e m o t i o n . 	 [ M o h a m m a d ,   S a i f   M . ;   T u r n e y ,   P e t e r   D . ]   N a t l   R e s   C o u n c i l   C a n a d a ,   O t t a w a ,   O N ,   C a n a d a 	 M o h a m m a d ,   S M   ( r e p r i n t   a u t h o r ) ,   N a t l   R e s   C o u n c i l   C a n a d a ,   O t t a w a ,   O N ,   C a n a d a . 	 s a i f . m o h a m m a d @ n r c - c n r c . g c . c a 	 	 	 N a t i o n a l   R e s e a r c h   C o u n c i l   C a n a d a   ( N R C ) 	 T h i s   r e s e a r c h   w a s   f u n d e d   b y   t h e   N a t i o n a l   R e s e a r c h   C o u n c i l   C a n a d a   ( N R C ) .   W e   a r e   g r a t e f u l   t o   t h e   r e v i e w e r s   f o r   t h e i r   t h o u g h t f u l   c o m m e n t s .   T h a n k s   t o   J o e l   M a r t i n ,   D i a n a   I n k p e n ,   a n d   D i m a n   G h a z i   f o r   d i s c u s s i o n s   a n d   e n c o u r a g e m e n t .   T h a n k s   t o   N o r m   V i n s o n   a n d   t h e   E t h i c s   C o m m i t t e e   a t   N R C   f o r   e x a m i n i n g ,   g u i d i n g ,   a n d   a p p r o v i n g   t h e   s u r v e y .   A n d   l a s t   b u t   n o t   l e a s t ,   t h a n k s   t o   t h e   m o r e   t h a n   2 , 0 0 0   a n o n y m o u s   a n n o t a t o r s   w h o   a n s w e r e d   t h e   e m o t i o n   s u r v e y   w i t h   d i l i g e n c e   a n d   c a r e . 	 A d a m i c   L .   A . ,   2 0 0 8 ,   P   1 7   I N T   C   W O R L D   W I D ,   P 6 6 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 6 7 4 9 7 . 1 3 6 7 5 8 7 ;   A l m   C . O . ,   2 0 0 5 ,   P   H U M   L A N G   T E C H N   C   C ,   P 5 7 9 ,   D O I   D O I   1 0 . 3 1 1 5 / 1 2 2 0 5 7 5 . 1 2 2 0 6 4 8 ;   A m a n   S ,   2 0 0 7 ,   L E C T   N O T E S   A R T I F   I N T ,   V 4 6 2 9 ,   P 1 9 6 ;   A r i s t o t l e ,   1 9 1 3 ,   P H Y S I O G N O M O N I C A ,   P 8 0 5 ;   B e l l e g a r d a   J . ,   2 0 1 0 ,   P   N A A C L   H L   L O S   A N G   C ;   B o u c o u v a l a s   A .   C . ,   2 0 0 2 ,   E M E R G I N G   C O M M U N I C A T I ,   V 5 ,   P 3 0 5 ;   B o u g i e   J .   R .   G . ,   2 0 0 3 ,   A N G R Y   C U S T O M E R S   D O N T ;   B r a d l e y   M .   M . ,   1 9 9 9 ,   A F F E C T I V E   N O R M S   E N G L ;   B r a n t s ,   2 0 0 6 ,   W E B   I T   5   G R A M   V E R S I O ;   B r e a z e a l   C . ,   2 0 0 4 ,   W H O   N E E D S   E M O T I O N S ;   B R E N N A N   R L ,   1 9 8 1 ,   E D U C   P S Y C H O L   M E A S ,   V 4 1 ,   P 6 8 7 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 3 1 6 4 4 8 1 0 4 1 0 0 3 0 7 ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   P 2 8 6 ;   C O H E N   J ,   1 9 6 0 ,   E D U C   P S Y C H O L   M E A S ,   V 2 0 ,   P 3 7 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 3 1 6 4 4 6 0 0 2 0 0 0 1 0 4 ;   C o h e n   S .   H . ,   2 0 0 3 ,   S A W T   S O F T W   C   P   S A W T ,   P 6 1 ;   D a b h o l k a r   P A ,   2 0 0 0 ,   J   R E T A I L I N G ,   V 7 6 ,   P 1 3 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 2 2 - 4 3 5 9 ( 0 0 ) 0 0 0 2 9 - 4 ;   D a v e n p o r t ,   2 0 0 1 ,   M I ,   V 4 2 ,   P 6 3 ;   D i a z   A B C ,   2 0 0 2 ,   I N T   J   S E R V   I N D   M A N A G ,   V 1 3 ,   P 1 1 8 ,   D O I   1 0 . 1 1 0 8 / 0 9 5 6 4 2 3 0 2 1 0 4 2 5 3 3 1 ;   D u b e   L ,   1 9 9 6 ,   A D V   S E R V   M A R K   M A N ,   V 5 ,   P 1 2 7 ,   D O I   1 0 . 1 0 1 6 / S 1 0 6 7 - 5 6 7 1 ( 9 6 ) 0 5 0 5 4 - 8 ;   E K M A N   P ,   1 9 9 2 ,   C O G N I T I O N   E M O T I O N ,   V 6 ,   P 1 6 9 ,   D O I   1 0 . 1 0 8 0 / 0 2 6 9 9 9 3 9 2 0 8 4 1 1 0 6 8 ;   E k m a n   P . ,   2 0 0 5 ,   E M O T I O N   H U M A N   F A C E ;   E k m a n   P a u l ,   2 0 0 3 ,   U N M A S K I N G   F A C E   G U I D E ;   E l f e n b e i n   H .   A . ,   1 9 9 4 ,   P S Y C H O L   B U L L ,   V 1 1 5 ,   P 1 0 2 ;   F L E I S S   J L ,   1 9 7 1 ,   P S Y C H O L   B U L L ,   V 7 6 ,   P 3 7 8 ,   D O I   1 0 . 1 0 3 7 / h 0 0 3 1 6 1 9 ;   F O L K E S   V S ,   1 9 8 7 ,   J   C O N S U M   R E S ,   V 1 3 ,   P 5 3 4 ,   D O I   1 0 . 1 0 8 6 / 2 0 9 0 8 6 ;   F r a n c i s c o   V ,   2 0 0 6 ,   L E C T   N O T E S   A R T I F   I N T ,   V 4 1 8 8 ,   P 3 7 5 ;   G e n e r e u x   M . ,   2 0 0 6 ,   A A A I   2 0 0 6   S P R I N G   S   C ,   P 2 7 ;   G o y a l   A . ,   2 0 1 0 ,   P   N A A C L   H L   L O S   A N G   C ;   G r o s s   J .   J . ,   1 9 9 8 ,   R E V   G E N   P S Y C H O L ,   V 2 ,   P 2 7 1 ,   D O I   [ 1 0 . 1 0 3 7 / 1 0 8 9 - 2 6 8 0 . 2 . 3 . 2 7 1 ,   D O I   1 0 . 1 0 3 7 / 1 0 8 9 - 2 6 8 0 . 2 . 3 . 2 7 1 ] ;   G u o   K . ,   2 0 0 7 ,   A N I M A L   C O G N I T I O N ,   V 1 2 ,   P 4 0 9 ;   H a r r i s   L C ,   2 0 0 4 ,   J   R E T A I L I N G ,   V 8 0 ,   P 1 3 9 ,   D O I   1 0 . 1 0 1 6 / j . j r e t a i . 2 0 0 4 . 0 4 . 0 0 2 ;   H o l l i n g e r   G A ,   2 0 0 6 ,   2 0 0 6   I E E E / R S J   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e l l i g e n t   R o b o t s   a n d   S y s t e m s ,   V o l s   1 - 1 2 ,   P 3 0 9 3 ,   D O I   1 0 . 1 1 0 9 / I R O S . 2 0 0 6 . 2 8 2 3 2 7 ;   H o l s t i   O ,   1 9 6 9 ,   C O N T E N T   A N A L   S O C I A L ;   H o l z m a n   L .   E . ,   2 0 0 3 ,   C L A S S I F I C A T I O N   E M O T I ;   H o w e   J . ,   2 0 0 6 ,   C R O W D S O U R C I N G ;   J a m e s   W ,   1 8 8 4 ,   M I N D ,   V 9 ,   P 1 8 8 ,   D O I   D O I   1 0 . 1 0 9 3 / M I N D / O S - I X . 3 4 . 1 8 8 ;   J o h n   D ,   2 0 0 6 ,   P r o c e e d i n g s   o f   t h e   I A S T E D   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e r n e t   a n d   M u l t i m e d i a   S y s t e m s   a n d   A p p l i c a t i o n s ,   P 1 8 3 ;   K a l r a   A ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 5 8 5 ,   P 9 6 6 ;   K n a u t z   K ,   2 0 1 0 ,   S I G I R   2 0 1 0 :   P R O C E E D I N G S   O F   T H E   3 3 R D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L ,   P 7 9 1 ;   K o v e c s e s   Z ,   2 0 0 3 ,   M E T A P H O R   E M O T I O N   L A N ;   L A N D I S   J R ,   1 9 7 7 ,   B I O M E T R I C S ,   V 3 3 ,   P 1 5 9 ,   D O I   1 0 . 2 3 0 7 / 2 5 2 9 3 1 0 ;   L a z a r u s   R . ,   2 0 0 0 ,   H D B   E M O T I O N S ,   P 1 ;   L A Z A R U S   R S ,   1 9 8 4 ,   A M   P S Y C H O L ,   V 3 9 ,   P 1 2 4 ,   D O I   1 0 . 1 0 3 7 / 0 0 0 3 - 0 6 6 X . 3 9 . 2 . 1 2 4 ;   L e h r e r   A . ,   1 9 7 4 ,   S E M A T I C   F I E L D S   L E X I C ;   L i t m a n   D i a n e   J . ,   2 0 0 4 ,   P   4 2   A N N   M   A S S   C O M P ;   L i t t m a n   M . ,   2 0 0 3 ,   A C M ,   V 2 1 ,   P 3 1 5 ;   L i u   H u g o ,   2 0 0 3 ,   P   8   I N T   C   I N T   U S   I N T ,   P 1 2 5 ;   L o u v i e r e   J .   J . ,   1 9 9 2 ,   J   P U B L I C   P O L I C Y   M A R K ,   V 1 1 ,   P 1 2 ;   L o u v i e r e   J .   J . ,   1 9 9 1 ,   B E S T   W O R S T   S C A L I N G   M ;   M a   C L ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 7 8 4 ,   P 6 2 2 ;   M a s s o n   J .   M . ,   1 9 9 6 ,   E L E P H A N T S   W E E P ;   M a t y k i e w i c z   P . ,   2 0 0 9 ,   P   W O R K S H   C U R R   T R E N D S ,   P 1 7 9 ,   D O I   1 0 . 3 1 1 5 / 1 5 7 2 3 6 4 . 1 5 7 2 3 8 9 ;   M A U T E   M F ,   1 9 9 3 ,   J   E C O N   P S Y C H O L ,   V 1 4 ,   P 2 1 9 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 7 - 4 8 7 0 ( 9 3 ) 9 0 0 0 1 - 2 ;   M i h a l c e a   R . ,   2 0 0 6 ,   A A A I   2 0 0 6   S   C O M P   A P P ,   P 1 3 9 ;   M o h a m m a d   S .   M . ,   2 0 1 0 ,   P   N A A C L   H L   L O S   A N G   C ;   M o h a m m a d   S .   M . ,   2 0 1 1 ,   P   A C L   2 0 1 1   W O R K S H   L A ;   M o h a m m a d   S .   M . ,   2 0 1 1 ,   P   A C L   2 0 1 1   W O R K S H   C O ;   M o h a m m a d   S .   M . ,   2 0 1 1 ,   P   4 9   A N N   M   A S S   C O M P ;   M o h a m m a d   S a i f ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   P 5 9 9 ;   N e v i a r o u s k a y a   A ,   2 0 0 9 ,   P   3   I N T   C   W E B L   S O C   M ,   P 2 7 8 ;   N e v i a r o u s k a y a   A . ,   2 0 1 0 ,   N A T   L A N G   E N G ,   V 1 7 ,   P 9 5 ;   N O W L I S   V ,   1 9 5 6 ,   A N N   N Y   A C A D   S C I ,   V 6 5 ,   P 3 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 9 - 6 6 3 2 . 1 9 5 6 . t b 4 9 6 4 4 . x ;   O l i v e r   R .   L . ,   1 9 9 7 ,   S A T I S F A C T I O N   B E H A V   P ;   O R T O N Y   A ,   1 9 9 0 ,   P S Y C H O L   R E V ,   V 9 7 ,   P 3 1 5 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 5 X . 9 7 . 3 . 3 1 5 ;   O S G O O D   C E ,   1 9 5 9 ,   J   A B N O R M   S O C   P S Y C H ,   V 5 9 ,   P 5 8 ,   D O I   1 0 . 1 0 3 7 / h 0 0 4 7 0 7 8 ;   P a n g   B . ,   2 0 0 8 ,   F O U N D   T R E N D S   I N F   R E T ,   V 2 ,   P 1 ,   D O I   D O I   1 0 . 1 5 6 1 / 1 5 0 0 0 0 0 0 1 1 ;   P a r r o t   W .   G ,   2 0 0 1 ,   E M O T I O N S   S O C I A L   P S Y C ;   P e a r l   L . ,   2 0 1 0 ,   P   N A A C L   H L   L O S   A N G   C ;   P E R R E A U L T   W D ,   1 9 8 9 ,   J   M A R K E T I N G   R E S ,   V 2 6 ,   P 1 3 5 ,   D O I   1 0 . 2 3 0 7 / 3 1 7 2 6 0 1 ;   P e s t i a n   J .   P . ,   2 0 0 8 ,   P   W O R K S H   C U R R   T R E N D S ,   P 9 6 ,   D O I   1 0 . 3 1 1 5 / 1 5 7 2 3 0 6 . 1 5 7 2 3 2 7 ;   P L U T C H I K   R ,   1 9 8 5 ,   M O T I V   E M O T I O N ,   V 9 ,   P 1 9 7 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 9 9 1 5 7 6 ;   P l u t c h i k   R .   A . ,   1 9 8 0 ,   E M O T I O N   T H E O R Y   R E S   E ,   P 3 ;   R a s h i d   R ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 0 6 1 ,   P 2 4 ;   R a v a j a   N ,   2 0 0 6 ,   P R E S E N C E - T E L E O P   V I R T ,   V 1 5 ,   P 3 8 1 ,   D O I   1 0 . 1 1 6 2 / p r e s . 1 5 . 4 . 3 8 1 ;   R e a d   J . ,   2 0 0 4 ,   T H E S I S   U   S U S S E X   B R I G ;   R e i c h h e l d   F F ,   2 0 0 0 ,   H A R V A R D   B U S   R E V ,   V 7 8 ,   P 1 0 5 ;   R e n t o u m i   V . ,   2 0 0 9 ,   P   I N T   C   R A N L P ,   P 3 7 0 ;   R i c h i n s   M .   L . ,   1 9 8 7 ,   J   A C A D E M Y   M A R K E T I N G ,   V 1 5 ,   P 2 4 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 7 2 2 1 6 8 ;   R I C H I N S   M L ,   1 9 8 4 ,   A D V   C O N S U M   R E S ,   V 1 1 ,   P 6 9 7 ;   R U S S E L L   J A ,   1 9 9 4 ,   P S Y C H O L   B U L L ,   V 1 1 5 ,   P 1 0 2 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 1 5 . 1 . 1 0 2 ;   S a u t e r   D A ,   2 0 1 0 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 7 ,   P 2 4 0 8 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 9 0 8 2 3 9 1 0 6 ;   S c h e r e r   K .   R . ,   1 9 8 4 ,   R E V   P E R S O N A L I T Y   S O C I ,   V 5 ,   P 3 7 ;   S C H E R E R   K R ,   1 9 8 2 ,   S O C   S C I   I N F O R M ,   V 2 1 ,   P 5 5 5 ,   D O I   1 0 . 1 1 7 7 / 0 5 3 9 0 1 8 8 2 0 2 1 0 0 4 0 0 4 ;   S c o t t   W A ,   1 9 5 5 ,   P U B L I C   O P I N   Q U A R T ,   V 1 9 ,   P 3 2 1 ,   D O I   1 0 . 1 0 8 6 / 2 6 6 5 7 7 ;   S h a n k a r   V ,   2 0 0 2 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 1 1 ,   P 3 2 5 ,   D O I   1 0 . 1 0 1 6 / S 0 9 6 3 - 8 6 8 7 ( 0 2 ) 0 0 0 2 2 - 7 ;   S H A V E R   P ,   1 9 8 7 ,   J   P E R S   S O C   P S Y C H O L ,   V 5 2 ,   P 1 0 6 1 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 5 2 . 6 . 1 0 6 1 ;   S I N G H   J ,   1 9 8 8 ,   J   M A R K E T I N G ,   V 5 2 ,   P 9 3 ,   D O I   1 0 . 2 3 0 7 / 1 2 5 1 6 8 8 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S t r a p p a r a v a   C . ,   2 0 0 4 ,   P   L R E C   C I T ,   V 4 ,   P 1 0 8 3 ;   S u b a s i c   P ,   2 0 0 1 ,   I E E E   T   F U Z Z Y   S Y S T ,   V 9 ,   P 4 8 3 ,   D O I   1 0 . 1 1 0 9 / 9 1 . 9 4 0 9 6 2 ;   V e l a s q u e z   J D ,   1 9 9 7 ,   P   A A A I   9 7 ,   P 1 0 ;   W E I N E R   B ,   1 9 8 5 ,   P S Y C H O L   R E V ,   V 9 2 ,   P 5 4 8 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 5 X . 9 2 . 4 . 5 4 8 ;   W i e b e   J .   M . ,   1 9 9 4 ,   C o m p u t a t i o n a l   L i n g u i s t i c s ,   V 2 0 ;   Z A J O N C   R B ,   1 9 8 4 ,   A M   P S Y C H O L ,   V 3 9 ,   P 1 1 7 ,   D O I   1 0 . 1 0 3 7 / / 0 0 0 3 - 0 6 6 X . 3 9 . 2 . 1 1 7 ;   Z h e   X . ,   2 0 0 2 ,   I N T   S   C O M M   S Y S T   N E T W ,   P 1 6 4 	 9 4 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 8 2 4 - 7 9 3 5 	 	 	 C O M P U T   I N T E L L - U S 	 C o m p u t .   I n t e l l . 	 A U G 	 2 0 1 3 	 2 9 	 3 	 	 	 	 	 4 3 6 	 4 6 5 	 	 1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 4 0 . 2 0 1 2 . 0 0 4 6 0 . x 	 	 3 0 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 1 9 4 S U 	 W O S : 0 0 0 3 2 2 6 5 3 8 0 0 0 0 4 	 	 
 J 	 T u n g ,   Y H ;   T s e n g ,   S S 	 	 	 	 T u n g ,   Y u a n - H s i n ;   T s e n g ,   S h i a n - S h y o n g 	 	 	 A   n o v e l   a p p r o a c h   t o   c o l l a b o r a t i v e   t e s t i n g   i n   a   c r o w d s o u r c i n g   e n v i r o n m e n t 	 J O U R N A L   O F   S Y S T E M S   A N D   S O F T W A R E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   C l o u d   c o m p u t i n g ;   S o f t w a r e   t e s t i n g ;   C o l l a b o r a t i v e   t e s t i n g ;   I n t e g e r   l i n e a r   p r o g r a m m i n g 	 W E B   A P P L I C A T I O N S ;   V E R I F I C A T I O N ;   V A L I D A T I O N ;   S E R V I C E S 	 S o f t w a r e   t e s t i n g   p r o c e s s e s   a r e   g e n e r a l l y   l a b o r - i n t e n s i v e   a n d   o f t e n   i n v o l v e   s u b s t a n t i a l   c o l l a b o r a t i o n   a m o n g   t e s t e r s ,   d e v e l o p e r s ,   a n d   e v e n   u s e r s .   H o w e v e r ,   c o n s i d e r a b l e   h u m a n   r e s o u r c e   c a p a c i t y   e x i s t s   o n   t h e   I n t e r n e t   i n   s o c i a l   n e t w o r k s ,   e x p e r t   c o m m u n i t i e s ,   o r   i n t e r n e t   f o r u m s - r e f e r r e d   t o   a s   c r o w d s .   E f f e c t i v e l y   u s i n g   c r o w d   r e s o u r c e s   t o   s u p p o r t   c o l l a b o r a t i v e   t e s t i n g   i s   a n   i n t e r e s t i n g   a n d   c h a l l e n g i n g   t o p i c .   T h i s   p a p e r   d e f i n e s   t h e   c o l l a b o r a t i v e   t e s t i n g   p r o b l e m   i n   a   c r o w d   e n v i r o n m e n t   a s   a n   N P - C o m p l e t e   j o b   a s s i g n m e n t   p r o b l e m   a n d   f o r m u l a t e s   i t   a s   a n   i n t e g e r   l i n e a r   p r o g r a m m i n g   ( I L P )   p r o b l e m .   A l t h o u g h   p a c k a g e   t o o l s   c a n   b e   u s e d   t o   o b t a i n   t h e   o p t i m a l   s o l u t i o n   t o   a n   I L P   p r o b l e m ,   c o m p u t a t i o n a l   c o m p l e x i t y   m a k e s   t h e s e   t o o l s   u n s u i t a b l e   f o r   s o l v i n g   l a r g e - s c a l e   p r o b l e m s .   T h i s   s t u d y   u s e s   a   g r e e d y   a p p r o a c h   w i t h   f o u r   h e u r i s t i c   s t r a t e g i e s   t o   s o l v e   t h e   p r o b l e m .   T h i s   i s   c a l l e d   t h e   c r o w d s o u r c i n g - b a s e d   c o l l a b o r a t i v e   t e s t i n g   a p p r o a c h .   T h i s   a p p r o a c h   i n c l u d e s   t w o   p h a s e s ,   t r a i n i n g   p h a s e   a n d   t e s t i n g   p h a s e .   T h e   t r a i n i n g   p h a s e   t r a n s f o r m s   t h e   o r i g i n a l   p r o b l e m   i n t o   a n   I L P   p r o b l e m .   T h e   t e s t i n g   p h a s e   s o l v e s   t h e   I L P   u s i n g   h e u r i s t i c   s t r a t e g i e s .   A   p r o t o t y p e   s y s t e m ,   c a l l e d   t h e   C o l l a b o r a t i v e   T e s t i n g   S y s t e m   ( C O T S ) ,   i s   a l s o   i m p l e m e n t e d .   T h e   e x p e r i m e n t   r e s u l t s   s h o w   t h a t   t h e   p r o p o s e d   h e u r i s t i c   a l g o r i t h m s   p r o d u c e   g o o d   q u a l i t y   a p p r o x i m a t e   s o l u t i o n s   i n   a n   a c c e p t a b l e   t i m e f r a m e .   ( c )   2 0 1 3   E l s e v i e r   I n c .   A l l   r i g h t s   r e s e r v e d . 	 [ T u n g ,   Y u a n - H s i n ;   T s e n g ,   S h i a n - S h y o n g ]   N a t l   C h i a o   T u n g   U n i v ,   D e p t   C o m p   &   I n f o r m a t   S c i ,   H s i n c h u   3 0 0 5 0 ,   T a i w a n ;   [ T u n g ,   Y u a n - H s i n ]   A s i a   U n i v ,   D e p t   A p p l   I n f o r m a t   &   M u l t i m e d i a ,   T a i c h u n g ,   T a i w a n 	 	 y h d o n g @ c h t . c o m . t w ;   s s t s e n g @ a s i a . e d u . t w 	 	 	 N a t i o n a l   S c i e n c e   C o u n c i l   o f   t h e   R e p u b l i c   o f   C h i n a   [ N S C 1 0 1 - 2 5 1 1 - S - 4 6 8 - 0 0 7 - M Y 3 ,   N S C 1 0 1 - 2 5 1 1 - S - 4 6 8 - 0 0 1 ] 	 T h i s   w o r k   w a s   p a r t i a l l y   s u p p o r t e d   b y   t h e   N a t i o n a l   S c i e n c e   C o u n c i l   o f   t h e   R e p u b l i c   o f   C h i n a   u n d e r   g r a n t s   N S C 1 0 1 - 2 5 1 1 - S - 4 6 8 - 0 0 7 - M Y 3   a n d   N S C 1 0 1 - 2 5 1 1 - S - 4 6 8 - 0 0 1 . 	 A b d u l l a h   R . ,   2 0 0 9 ,   I N T   C   C O M P   T E C H N   D E V ;   A L B R E C H T   A J ,   1 9 8 3 ,   I E E E   T   S O F T W A R E   E N G ,   V 9 ,   P 6 3 9 ,   D O I   1 0 . 1 1 0 9 / T S E . 1 9 8 3 . 2 3 5 2 7 1 ;   A n d r e w s   A .   A . ,   2 0 0 5 ,   S O F T W A R E   S Y S T E M S   M O D ,   P 3 2 6 ;   B a i   X . ,   2 0 0 7 ,   I N T   J   S I M U L A T I O N   P R O ,   V 3 ,   P 6 6 ,   D O I   1 0 . 1 5 0 4 / I J S P M . 2 0 0 7 . 0 1 4 7 1 6 ;   B a i   X Y ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 6 0 8 ,   P 2 5 8 ;   B e n e d i k t   M . ,   2 0 0 2 ,   P   1 1   I N T   W O R L D   W I D   W ,   P 6 5 4 ;   B e r t o l i n o   A . ,   2 0 0 7 ,   F U T U R E   S O F T W A R E   E N G ;   B u y y a   R ,   2 0 0 9 ,   F U T U R E   G E N E R   C O M P   S Y ,   V 2 5 ,   P 5 9 9 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e . 2 0 0 8 . 1 2 . 0 0 1 ;   D e n g   Y ,   2 0 0 4 ,   S I G S O F T   S O F T W A R E   E N G ,   V 2 9 ,   P 1 ;   E l b a u m   S ,   2 0 0 5 ,   I E E E   T   S O F T W A R E   E N G ,   V 3 1 ,   P 1 8 7 ,   D O I   1 0 . 1 1 0 9 / T S E . 2 0 0 5 . 3 6 ;   G a r e y   M .   R . ,   1 9 7 9 ,   C O M P U T E R S   I N T R A C T A B I ;   H e d b e r g   H ,   2 0 0 4 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 0 0 9 ,   P 2 3 4 ;   H e l d   M ,   2 0 0 9 ,   F U T U R E   G E N E R   C O M P   S Y ,   V 2 5 ,   P 6 3 8 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e . 2 0 0 8 . 1 2 . 0 0 5 ;   H o m m a   K . ,   2 0 1 1 ,   I E I C E   T   I N F O R M   S Y S   D ,   V E 9 4 - D ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 7 ;   J e f f r e y   D ,   2 0 0 5 ,   P R O C   I E E E   I N T   C O N F   S ,   P 5 4 9 ;   L e o n   D ,   2 0 0 5 ,   P R O C   I N T   C O N F   S O F T W ,   P 4 1 2 ;   L I U   C H ,   2 0 0 0 ,   P   1   A S   P A C   C   Q U A L   S O ,   P 7 ;   L O W   G C ,   1 9 9 0 ,   I E E E   T   S O F T W A R E   E N G ,   V 1 6 ,   P 6 4 ,   D O I   1 0 . 1 1 0 9 / 3 2 . 4 4 3 6 4 ;   L u c c a   G . A . D . ,   2 0 0 6 ,   I N F O R M   S O F T W A R E   T E C H ,   V 4 8 ,   P 1 1 7 2 ;   M a c D o n a l d   F . ,   1 9 9 9 ,   A u t o m a t e d   S o f t w a r e   E n g i n e e r i n g ,   V 6 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 8 7 6 0 9 1 1 3 3 0 ;   M i a o   H . ,   2 0 0 8 ,   I N T   S   T H E O R   A S P   S O F T ;   P e a r s o n   K ,   1 8 9 7 ,   P   R O Y A L   S O C ,   V 6 2 ,   P 3 8 6 ;   R i c c a   F ,   2 0 0 1 ,   P R O C   I N T   C O N F   S O F T W ,   P 2 5 ,   D O I   1 0 . 1 1 0 9 / I C S E . 2 0 0 1 . 9 1 9 0 7 8 ;   R i c c a   F ,   2 0 0 6 ,   I E E E   M U L T I M E D I A ,   V 1 3 ,   P 4 4 ,   D O I   1 0 . 1 1 0 9 / M M U L . 2 0 0 6 . 2 6 ;   R i u n g u   L e a h   M u t h o n i ,   2 0 1 0 ,   3   I N T   C   S O F T W   T E S T   V ;   S h a h r i a r   H ,   2 0 1 2 ,   F U T U R E   G E N E R   C O M P   S Y ,   V 2 8 ,   P 1 2 5 8 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e . 2 0 1 1 . 0 2 . 0 0 1 ;   S h u k l a   S .   V . ,   1 9 9 6 ,   W O R K S H   A P P R   D I S T R   L E ;   S o u z a   C . R . ,   2 0 0 7 ,   P   2 0 0 7   I N T   A C M   C   S U P ;   T s a i   W T ,   2 0 0 4 ,   P   I N T   C O M P   S O F T W   A P P ,   P 1 7 0 ;   U t e s t ,   W H A T   W E   T E S T ;   W a n g   M . ,   2 0 0 8 ,   I N T   C   C O M P   S C I   S O F T W ;   W e s t   A G ,   2 0 1 2 ,   F U T U R E   G E N E R   C O M P   S Y ,   V 2 8 ,   P 1 2 3 8 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e . 2 0 1 1 . 0 2 . 0 0 7 ;   W e y e r s   B ,   2 0 1 1 ,   F U T U R E   G E N E R   C O M P   S Y ,   V 2 7 ,   P 1 2 7 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e . 2 0 1 0 . 0 5 . 0 0 1 ;   W h i t e h e a d   J . ,   2 0 0 7 ,   F U T   S O F T W   E N G   F O S E   0 	 3 5 	 1 	 1 	 E L S E V I E R   S C I E N C E   I N C 	 N E W   Y O R K 	 3 6 0   P A R K   A V E   S O U T H ,   N E W   Y O R K ,   N Y   1 0 0 1 0 - 1 7 1 0   U S A 	 0 1 6 4 - 1 2 1 2 	 	 	 J   S Y S T   S O F T W A R E 	 J .   S y s t .   S o f t w . 	 A U G 	 2 0 1 3 	 8 6 	 8 	 	 	 	 	 2 1 4 3 	 2 1 5 3 	 	 1 0 . 1 0 1 6 / j . j s s . 2 0 1 3 . 0 3 . 0 7 9 	 	 1 1 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 1 9 0 O W 	 W O S : 0 0 0 3 2 2 3 5 1 1 0 0 0 1 2 	 	 
 J 	 E d w a r d s ,   S V 	 	 	 	 E d w a r d s ,   S c o t t   V . 	 	 	 N e x t - g e n e r a t i o n   Q T L   m a p p i n g :   c r o w d s o u r c i n g   S N P s ,   w i t h o u t   p e d i g r e e s 	 M O L E C U L A R   E C O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 l i f e   h i s t o r y   t r a i t s ;   n a t u r a l   p o p u l a t i o n ;   p e d i g r e e ;   Q T L   m a p p i n g ;   q u a n t i t a t i v e   t r a i t s 	 G E N E T I C   A R C H I T E C T U R E ;   C O M P L E X   T R A I T S ;   C O M M O N   S N P S ;   W I L D ;   P O P U L A T I O N ;   E V O L U T I O N ;   G E N O M E ;   S T I C K L E B A C K S ;   C O L O R 	 F o r   m a n y   m o l e c u l a r   e c o l o g i s t s ,   t h e   m a n t r a   a n d   m i s s i o n   o f   t h e   f i e l d   o f   e c o l o g i c a l   g e n o m i c s   c o u l d   b e   e n c a p s u l a t e d   b y   t h e   p h r a s e   ' t o   f i n d   t h e   g e n e s   t h a t   m a t t e r '   ( M i t c h e l l - O l d s   2 0 0 1 ;   R o c k m a n   2 0 1 2 ) .   T h i s   p h r a s e   o f   c o u r s e   r e f e r s   t o   t h e   e a r l y   h o p e   a n d   c u r r e n t   i n c r e a s i n g   s u c c e s s   i n   t h e   s e a r c h   f o r   g e n e s   w h o s e   v a r i a t i o n   u n d e r l i e s   p h e n o t y p i c   v a r i a t i o n   a n d   f i t n e s s   i n   n a t u r a l   p o p u l a t i o n s .   I n   t h e   y e a r s   s i n c e   t h e   m o d e r n   i n c a r n a t i o n   o f   t h e   f i e l d   o f   e c o l o g i c a l   g e n o m i c s ,   m a n y   w o u l d   a g r e e   t h a t   t h e   l o w - h a n g i n g   f r u i t   h a s ,   a t   l e a s t   i n   p r i n c i p l e ,   b e e n   p l u c k e d :   w e   n o w   h a v e   s e v e r a l   e l e g a n t   e x a m p l e s   o f   g e n e s   w h o s e   v a r i a t i o n   i n f l u e n c e s   k e y   a d a p t i v e   t r a i t s   i n   n a t u r a l   p o p u l a t i o n s ,   a n d   t h e s e   e x a m p l e s   h a v e   r e v e a l e d   i m p o r t a n t   i n s i g h t s   i n t o   t h e   a r c h i t e c t u r e   o f   a d a p t i v e   v a r i a t i o n   ( H o e k s t r a   e t   a l .   2 0 0 6 ;   S h a p i r o   e t   a l .   2 0 0 9 ;   C h a n   e t   a l .   2 0 1 0 ) .   B u t   h o w   w e l l   w i l l   t h e s e   e a r l y   e x a m p l e s ,   o f t e n   i n v o l v i n g   s i n g l e   g e n e s   o f   l a r g e   e f f e c t   o n   d i s c r e t e   o r   n e a r - d i s c r e t e   p h e n o t y p e s ,   r e p r e s e n t   t h e   d y n a m i c s   o f   a d a p t i v e   c h a n g e   f o r   t h e   t o t a l i t y   o f   p h e n o t y p e s   i n   n a t u r e ?   W i l l   t r a i t s   e x h i b i t i n g   c o n t i n u o u s   r a t h e r   t h a n   d i s c r e t e   v a r i a t i o n   i n   n a t u r a l   p o p u l a t i o n s   h a v e   a s   s i m p l e   a   g e n e t i c   b a s i s   a s   t h e s e   e a r l y   e x a m p l e s   s u g g e s t   ( P r a s a d   e t   a l .   2 0 1 2 ;   R o c k m a n   2 0 1 2 ) ?   T w o   p a p e r s   i n   t h i s   i s s u e   ( R o b i n s o n   e t   a l .   2 0 1 3 ;   S a n t u r e   e t   a l .   2 0 1 3 )   n o t   o n l y   s u g g e s t   a n s w e r s   t o   t h e s e   q u e s t i o n s   b u t   a l s o   p r o v i d e   u s e f u l   e x t e n s i o n s   o f   s t a t i s t i c a l   a p p r o a c h e s   f o r   e c o l o g i c a l   g e n e t i c i s t s   t o   s t u d y   t h e   g e n e t i c s   o f   c o n t i n u o u s   v a r i a t i o n   i n   n a t u r e .   T o g e t h e r   t h e s e   p a p e r s ,   b y   t h e   s a m e   r e s e a r c h   g r o u p s   s t u d y i n g   e v o l u t i o n   i n   a   n a t u r a l   p o p u l a t i o n   o f   G r e a t   T i t s   ( P a r u s   m a j o r ) ,   p r o v i d e   a   g l i m p s e   o f   w h a t   w e   s h o u l d   e x p e c t   a s   t h e   f i e l d   b e g i n s   t o   d i s s e c t   t h e   g e n e t i c   b a s i s   o f   w h a t   i s   a r g u a b l y   t h e   m o s t   c o m m o n   t y p e   o f   v a r i a t i o n   i n   n a t u r e ,   a n d   h o w   g e n o m e - w i d e   s u r v e y s   o f   v a r i a t i o n   c a n   b e   a p p l i e d   t o   n a t u r a l   p o p u l a t i o n s   w i t h o u t   p e d i g r e e s . 	 H a r v a r d   U n i v ,   D e p t   O r g a n i s m   &   E v o l u t i o n a r y   B i o l ,   C a m b r i d g e ,   M A   0 2 1 3 8   U S A 	 E d w a r d s ,   S V   ( r e p r i n t   a u t h o r ) ,   H a r v a r d   U n i v ,   D e p t   O r g a n i s m   &   E v o l u t i o n a r y   B i o l ,   C a m b r i d g e ,   M A   0 2 1 3 8   U S A . 	 s e d w a r d s @ f a s . h a r v a r d . e d u 	 	 	 	 	 B a l a k r i s h n a n   C N ,   2 0 1 0 ,   E M U ,   V 1 1 0 ,   P 2 3 3 ,   D O I   1 0 . 1 0 7 1 / M U 0 9 0 8 7 ;   B O Y C E   M S ,   1 9 8 7 ,   E C O L O G Y ,   V 6 8 ,   P 1 4 2 ,   D O I   1 0 . 2 3 0 7 / 1 9 3 8 8 1 4 ;   C h a n   Y F ,   2 0 1 0 ,   S C I E N C E ,   V 3 2 7 ,   P 3 0 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 8 2 2 1 3 ;   C h a r m a n t i e r   A ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 0 ,   P 8 0 0 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 5 7 1 7 4 ;   H o e k s t r a   H E ,   2 0 0 6 ,   S C I E N C E ,   V 3 1 3 ,   P 1 0 1 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 2 6 1 2 1 ;   M i t c h e l l - O l d s   T ,   2 0 0 1 ,   T R E N D S   E C O L   E V O L ,   V 1 6 ,   P 6 9 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 9 - 5 3 4 7 ( 0 1 ) 0 2 2 9 1 - 1 ;   O B E R   U ,   2 0 1 2 ,   P L O S   G E N E T I C S ,   V 8 ;   P r a s a d   K V S K ,   2 0 1 2 ,   S C I E N C E ,   V 3 3 7 ,   P 1 0 8 1 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 2 1 6 3 6 ;   R o b i n s o n   M R ,   2 0 1 3 ,   M O L   E C O L ,   V 2 2 ,   P 3 9 6 3 ,   D O I   1 0 . 1 1 1 1 / m e c . 1 2 3 7 5 ;   R o c k m a n   M V ,   2 0 1 2 ,   E V O L U T I O N ,   V 6 6 ,   P 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 5 8 - 5 6 4 6 . 2 0 1 1 . 0 1 4 8 6 . x ;   S a n t u r e   A W ,   2 0 1 1 ,   B M C   G E N O M I C S ,   V 1 2 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 6 4 - 1 2 - 2 8 3 ;   S a n t u r e   A W ,   2 0 1 3 ,   M O L   E C O L ,   V 2 2 ,   P 3 9 4 9 ,   D O I   1 0 . 1 1 1 1 / m e c . 1 2 3 7 6 ;   S C H I E L Z E T H   H ,   2 0 1 1 ,   E V O L U T I O N ,   V 0 0 6 6 ;   S h a p i r o   M D ,   2 0 0 9 ,   C U R R   B I O L ,   V 1 9 ,   P 1 1 4 0 ,   D O I   1 0 . 1 0 1 6 / j . c u b . 2 0 0 9 . 0 5 . 0 2 9 ;   S l a t e   J ,   2 0 1 3 ,   E V O L U T I O N ,   V 6 7 ,   P 1 2 5 1 ,   D O I   1 0 . 1 1 1 1 / e v o . 1 2 0 6 0 ;   T a r k a   M ,   2 0 1 0 ,   P   R O Y   S O C   B - B I O L   S C I ,   V 2 7 7 ,   P 2 3 6 1 ,   D O I   1 0 . 1 0 9 8 / r s p b . 2 0 1 0 . 0 0 3 3 ;   V a n   B e r s   N E M ,   2 0 1 2 ,   M O L   E C O L   R E S O U R ,   V 1 2 ,   P 7 5 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 5 5 - 0 9 9 8 . 2 0 1 2 . 0 3 1 4 1 . x ;   V a n   B e r s   N E M ,   2 0 1 0 ,   M O L   E C O L ,   V 1 9 ,   P 8 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 4 X . 2 0 0 9 . 0 4 4 8 6 . x ;   Y a n g   J ,   2 0 1 1 ,   N A T   G E N E T ,   V 4 3 ,   P 5 1 9 ,   D O I   1 0 . 1 0 3 8 / n g . 8 2 3 ;   Y a n g   J A ,   2 0 1 0 ,   N A T   G E N E T ,   V 4 2 ,   P 5 6 5 ,   D O I   1 0 . 1 0 3 8 / n g . 6 0 8 	 2 0 	 2 	 2 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 9 6 2 - 1 0 8 3 	 	 	 M O L   E C O L 	 M o l .   E c o l . 	 A U G 	 2 0 1 3 	 2 2 	 1 5 	 	 	 	 	 3 8 8 5 	 3 8 8 7 	 	 1 0 . 1 1 1 1 / m e c . 1 2 4 0 1 	 	 3 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   E c o l o g y ;   E v o l u t i o n a r y   B i o l o g y 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y ;   E v o l u t i o n a r y   B i o l o g y 	 1 8 8 X A 	 W O S : 0 0 0 3 2 2 2 2 9 8 0 0 0 0 3 	 2 4 0 5 8 9 2 8 	 
 J 	 S e e ,   L ;   C o m b e r ,   A ;   S a l k ,   C ;   F r i t z ,   S ;   v a n   d e r   V e l d e ,   M ;   P e r g e r ,   C ;   S c h i l l ,   C ;   M c C a l l u m ,   I ;   K r a x n e r ,   F ;   O b e r s t e i n e r ,   M 	 	 	 	 S e e ,   L i n d a ;   C o m b e r ,   A l e x i s ;   S a l k ,   C a r l ;   F r i t z ,   S t e f f e n ;   v a n   d e r   V e l d e ,   M a r i j n ;   P e r g e r ,   C h r i s t o p h ;   S c h i l l ,   C h r i s t i a n ;   M c C a l l u m ,   I a n ;   K r a x n e r ,   F l o r i a n ;   O b e r s t e i n e r ,   M i c h a e l 	 	 	 C o m p a r i n g   t h e   Q u a l i t y   o f   C r o w d s o u r c e d   D a t a   C o n t r i b u t e d   b y   E x p e r t   a n d   N o n - E x p e r t s 	 P L O S   O N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 V O L U N T E E R E D   G E O G R A P H I C   I N F O R M A T I O N ;   L A N D - C O V E R 	 T h e r e   i s   c u r r e n t l y   a   l a c k   o f   i n - s i t u   e n v i r o n m e n t a l   d a t a   f o r   t h e   c a l i b r a t i o n   a n d   v a l i d a t i o n   o f   r e m o t e l y   s e n s e d   p r o d u c t s   a n d   f o r   t h e   d e v e l o p m e n t   a n d   v e r i f i c a t i o n   o f   m o d e l s .   C r o w d s o u r c i n g   i s   i n c r e a s i n g l y   b e i n g   s e e n   a s   o n e   p o t e n t i a l l y   p o w e r f u l   w a y   o f   i n c r e a s i n g   t h e   s u p p l y   o f   i n - s i t u   d a t a   b u t   t h e r e   a r e   a   n u m b e r   o f   c o n c e r n s   o v e r   t h e   s u b s e q u e n t   u s e   o f   t h e   d a t a ,   i n   p a r t i c u l a r   o v e r   d a t a   q u a l i t y .   T h i s   p a p e r   e x a m i n e d   c r o w d s o u r c e d   d a t a   f r o m   t h e   G e o - W i k i   c r o w d s o u r c i n g   t o o l   f o r   l a n d   c o v e r   v a l i d a t i o n   t o   d e t e r m i n e   w h e t h e r   t h e r e   w e r e   s i g n i f i c a n t   d i f f e r e n c e s   i n   q u a l i t y   b e t w e e n   t h e   a n s w e r s   p r o v i d e d   b y   e x p e r t s   a n d   n o n - e x p e r t s   i n   t h e   d o m a i n   o f   r e m o t e   s e n s i n g   a n d   t h e r e f o r e   t h e   e x t e n t   t o   w h i c h   c r o w d s o u r c e d   d a t a   d e s c r i b i n g   h u m a n   i m p a c t   a n d   l a n d   c o v e r   c a n   b e   u s e d   i n   f u r t h e r   s c i e n t i f i c   r e s e a r c h .   T h e   r e s u l t s   s h o w e d   t h a t   t h e r e   w a s   l i t t l e   d i f f e r e n c e   b e t w e e n   e x p e r t s   a n d   n o n - e x p e r t s   i n   i d e n t i f y i n g   h u m a n   i m p a c t   a l t h o u g h   r e s u l t s   v a r i e d   b y   l a n d   c o v e r   w h i l e   e x p e r t s   w e r e   b e t t e r   t h a n   n o n - e x p e r t s   i n   i d e n t i f y i n g   t h e   l a n d   c o v e r   t y p e .   T h i s   s u g g e s t s   t h e   n e e d   t o   c r e a t e   t r a i n i n g   m a t e r i a l s   w i t h   m o r e   e x a m p l e s   i n   t h o s e   a r e a s   w h e r e   d i f f i c u l t i e s   i n   i d e n t i f i c a t i o n   w e r e   e n c o u n t e r e d ,   a n d   t o   o f f e r   s o m e   m e t h o d   f o r   c o n t r i b u t o r s   t o   r e f l e c t   o n   t h e   i n f o r m a t i o n   t h e y   c o n t r i b u t e ,   p e r h a p s   b y   f e e d i n g   b a c k   t h e   e v a l u a t i o n s   o f   t h e i r   c o n t r i b u t e d   d a t a   o r   b y   m a k i n g   a d d i t i o n a l   t r a i n i n g   m a t e r i a l s   a v a i l a b l e .   A c c u r a c i e s   w e r e   a l s o   f o u n d   t o   b e   h i g h e r   w h e n   t h e   v o l u n t e e r s   w e r e   m o r e   c o n s i s t e n t   i n   t h e i r   r e s p o n s e s   a t   a   g i v e n   l o c a t i o n   a n d   w h e n   t h e y   i n d i c a t e d   h i g h e r   c o n f i d e n c e ,   w h i c h   s u g g e s t s   t h a t   t h e s e   a d d i t i o n a l   p i e c e s   o f   i n f o r m a t i o n   c o u l d   b e   u s e d   i n   t h e   d e v e l o p m e n t   o f   r o b u s t   m e a s u r e s   o f   q u a l i t y   i n   t h e   f u t u r e . 	 [ S e e ,   L i n d a ;   S a l k ,   C a r l ;   F r i t z ,   S t e f f e n ;   v a n   d e r   V e l d e ,   M a r i j n ;   P e r g e r ,   C h r i s t o p h ;   M c C a l l u m ,   I a n ;   K r a x n e r ,   F l o r i a n ;   O b e r s t e i n e r ,   M i c h a e l ]   I n t   I n s t   A p p l   S y s t   A n a l ,   E c o s y s t   S e r v   &   M a n a g e m e n t   P r o g r a m ,   A - 2 3 6 1   L a x e n b u r g ,   A u s t r i a ;   [ C o m b e r ,   A l e x i s ]   U n i v   L e i c e s t e r ,   D e p t   G e o g ,   L e i c e s t e r   L E 1   7 R H ,   L e i c s ,   E n g l a n d ;   [ S a l k ,   C a r l ]   U n i v   C o l o r a d o ,   I n s t   B e h a v   S c i ,   B o u l d e r ,   C O   8 0 3 0 9   U S A ;   [ P e r g e r ,   C h r i s t o p h ]   U n i v   A p p l   S c i ,   W i e n e r   N e u s t a d t ,   A u s t r i a ;   [ S c h i l l ,   C h r i s t i a n ]   U n i v   F r e i b u r g ,   D - 7 9 1 0 6   F r e i b u r g ,   G e r m a n y 	 S e e ,   L   ( r e p r i n t   a u t h o r ) ,   I n t   I n s t   A p p l   S y s t   A n a l ,   E c o s y s t   S e r v   &   M a n a g e m e n t   P r o g r a m ,   A - 2 3 6 1   L a x e n b u r g ,   A u s t r i a . 	 s e e @ i i a s a . a c . a t 	 v a n   d e r   V e l d e ,   M a r i j n / B - 3 3 0 5 - 2 0 0 9 	 	 A u s t r i a n   A g e n c y   f o r   t h e   P r o m o t i o n   o f   S c i e n c e   [ 8 2 8 3 3 2 ] 	 F u n d i n g   f r o m   t h e   A u s t r i a n   A g e n c y   f o r   t h e   P r o m o t i o n   o f   S c i e n c e   v i a   t h e   p r o j e c t   L a n d S p o t t i n g   ( N o .   8 2 8 3 3 2 ) .   T h e   f u n d e r s   h a d   n o   r o l e   i n   s t u d y   d e s i g n ,   d a t a   c o l l e c t i o n   a n d   a n a l y s i s ,   d e c i s i o n   t o   p u b l i s h ,   o r   p r e p a r a t i o n   o f   t h e   m a n u s c r i p t . 	 B o n n e y   R . ,   2 0 0 9 ,   P U B L I C   P A R T I C I P A T I O N ;   B o n t e r   D N ,   2 0 1 2 ,   F R O N T   E C O L   E N V I R O N ,   V 1 0 ,   P 3 0 5 ,   D O I   1 0 . 1 8 9 0 / 1 1 0 2 7 3 ;   C l e r y   D ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 3 ,   P 1 7 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 3 3 3 . 6 0 3 9 . 1 7 3 ;   C o m b e r   A ,   2 0 1 3 ,   I N T   J   A P P L   E A R T H   O B S ,   V 2 3 ,   P 3 7 ,   D O I   1 0 . 1 0 1 6 / j . j a g . 2 0 1 2 . 1 1 . 0 0 2 ;   F o o d y   G M ,   2 0 1 2 ,   U S I N G   V O L U N T E E R E D   D A ,   P 2 3 6 8 ;   F r i t z   S ,   2 0 1 1 ,   E N V I R O N   R E S   L E T T ,   V 6 ,   D O I   1 0 . 1 0 8 8 / 1 7 4 8 - 9 3 2 6 / 6 / 4 / 0 4 4 0 0 5 ;   F r i t z   S ,   2 0 0 5 ,   I N T   J   G E O G R   I N F   S C I ,   V 1 9 ,   P 7 8 7 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 5 0 0 0 7 2 0 2 0 ;   F r i t z   S ,   2 0 1 3 ,   E N V I R O N   S C I   T E C H N O L ,   V 4 7 ,   P 1 6 8 8 ,   D O I   1 0 . 1 0 2 1 / e s 3 0 3 1 4 1 h ;   F r i t z   S ,   2 0 0 9 ,   R E M O T E   S E N S - B A S E L ,   V 1 ,   P 3 4 5 ,   D O I   1 0 . 3 3 9 0 / r s 1 0 3 0 3 4 5 ;   F r i t z   S ,   2 0 1 2 ,   E N V I R O N   M O D E L L   S O F T W ,   V 3 1 ,   P 1 1 0 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 1 1 . 1 1 . 0 1 5 ;   G i n s b e r g   J ,   2 0 0 9 ,   N A T U R E ,   V 4 5 7 ,   P 1 0 1 2 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 7 6 3 4 ;   G o o d c h i l d   M i c h a e l   F . ,   2 0 1 2 ,   S P A T I A L   S T A T ,   V 1 ,   P 1 1 0 ,   D O I   [ D O I   1 0 . 1 0 1 6 / J . S P A S T A . 2 0 1 2 . 0 3 . 0 0 2 ,   1 0 . 1 0 1 6 / j . s p a s t a . 2 0 1 2 . 0 3 . 0 0 2 ] ;   H a k l a y   M ,   2 0 1 0 ,   C A R T O G R   J ,   V 4 7 ,   P 3 1 5 ,   D O I   1 0 . 1 1 7 9 / 0 0 0 8 7 0 4 1 0 X 1 2 9 1 1 3 0 4 9 5 8 8 2 7 ;   K h a t i b   F ,   2 0 1 1 ,   N A T   S T R U C T   M O L   B I O L ,   V 1 8 ,   P 1 1 7 5 ,   D O I   1 0 . 1 0 3 8 / n s m b . 2 1 1 9 ;   L o p r e s t i   D ,   2 0 0 2 ,   L E C T   N O T E S   C O M P U T   S C ,   V 2 3 9 0 ,   P 4 6 ;   M i l c i n s k i   G ,   2 0 1 1 ,   R I S E   C R O W D   S O U R C I N G ;   M i l l e r - R u s h i n g   A ,   2 0 1 2 ,   F R O N T   E C O L   E N V I R O N ,   V 1 0 ,   P 2 8 5 ,   D O I   1 0 . 1 8 9 0 / 1 1 0 2 7 8 ;   N a y a r   A ,   2 0 0 9 ,   N A T U R E   N E W S ;   P e r g e r   C . ,   2 0 1 2 ,   G I   F O R U M   2 0 1 2   G E O V I S ,   P 8 3 ;   P r e i s   T . ,   2 0 1 2 ,   S C I   R E P O R T S ,   V 2 ;   S c h u u r m a n   N ,   2 0 0 9 ,   E N V I R O N   P L A N N   D ,   V 2 7 ,   P 5 7 1 ;   S e e   L M ,   2 0 0 6 ,   I E E E   T   G E O S C I   R E M O T E ,   V 4 4 ,   P 1 7 4 0 ,   D O I   1 0 . 1 1 0 9 / T G R S . 2 0 0 6 . 8 7 4 7 5 0 ;   T h e o b a l d   D M ,   2 0 0 4 ,   F R O N T   E C O L   E N V I R O N ,   V 2 ,   P 1 3 9 ,   D O I   1 0 . 2 3 0 7 / 3 8 6 8 2 3 9 ;   v a n   d e r   V e l d e   M ,   2 0 1 2 ,   E N V I R O N   R E S   L E T T ,   V 7 ,   D O I   1 0 . 1 0 8 8 / 1 7 4 8 - 9 3 2 6 / 7 / 2 / 0 2 4 0 2 2 	 2 4 	 2 	 3 	 P U B L I C   L I B R A R Y   S C I E N C E 	 S A N   F R A N C I S C O 	 1 1 6 0   B A T T E R Y   S T R E E T ,   S T E   1 0 0 ,   S A N   F R A N C I S C O ,   C A   9 4 1 1 1   U S A 	 1 9 3 2 - 6 2 0 3 	 	 	 P L O S   O N E 	 P L o S   O n e 	 J U L   3 1 	 2 0 1 3 	 8 	 7 	 	 	 	 	 	 	 e 6 9 9 5 8 	 1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 6 9 9 5 8 	 	 1 1 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 1 9 4 L B 	 W O S : 0 0 0 3 2 2 6 3 3 7 0 0 0 4 8 	 2 3 9 3 6 1 2 6 	 
 J 	 P o r c e l l o ,   D ;   H s i ,   S 	 	 	 	 P o r c e l l o ,   D a r r e l l ;   H s i ,   S h e r r y 	 	 	 C r o w d s o u r c i n g   a n d   C u r a t i n g   O n l i n e   E d u c a t i o n   R e s o u r c e s 	 S C I E N C E 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 	 [ P o r c e l l o ,   D a r r e l l ;   H s i ,   S h e r r y ]   U n i v   C a l i f   B e r k e l e y ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A 	 P o r c e l l o ,   D   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   B e r k e l e y ,   L a w r e n c e   H a l l   S c i ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A . 	 p o r c e l l o @ b e r k e l e y . e d u 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 1 ,   2 0 1 0   S P E A K   U P   R E P ;   P r o j e c t   T o m o r r o w ,   2 0 1 2 ,   2 0 1 1   S P E A K   U P   R E P ;   W i k i m e d i a   F o u n d a t i o n ,   2 0 1 1   2 0 1 2   A N N   R E P ;   Z i a   L .   L . ,   2 0 0 0 ,   D   L I B ,   V 6 	 4 	 2 	 2 	 A M E R   A S S O C   A D V A N C E M E N T   S C I E N C E 	 W A S H I N G T O N 	 1 2 0 0   N E W   Y O R K   A V E ,   N W ,   W A S H I N G T O N ,   D C   2 0 0 0 5   U S A 	 0 0 3 6 - 8 0 7 5 	 	 	 S C I E N C E 	 S c i e n c e 	 J U L   1 9 	 2 0 1 3 	 3 4 1 	 6 1 4 3 	 	 	 	 	 2 4 0 	 2 4 1 	 	 1 0 . 1 1 2 6 / s c i e n c e . 1 2 3 4 7 2 2 	 	 2 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 1 8 5 H V 	 W O S : 0 0 0 3 2 1 9 5 9 3 0 0 0 2 7 	 2 3 8 6 9 0 0 7 	 
 J 	 D j e l a s s i ,   S ;   D e c o o p m a n ,   I 	 	 	 	 D j e l a s s i ,   S o u a d ;   D e c o o p m a n ,   I s a b e l l e 	 	 	 C u s t o m e r s '   p a r t i c i p a t i o n   i n   p r o d u c t   d e v e l o p m e n t   t h r o u g h   c r o w d s o u r c i n g :   I s s u e s   a n d   i m p l i c a t i o n s 	 I N D U S T R I A L   M A R K E T I N G   M A N A G E M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 O p e n   b u s i n e s s   m o d e l ;   C r o w d s o u r c i n g ;   V a l u e   c o - c r e a t i o n ;   C u s t o m e r   p a r t i c i p a t i o n 	 R E L A T I O N S H I P   M A N A G E M E N T ;   D O M I N A N T   L O G I C ;   I N N O V A T I O N ;   B U S I N E S S ;   F R A M E W O R K ;   C R E A T I O N 	 T h i s   p a p e r   f o c u s e s   o n   c u s t o m e r s '   p a r t i c i p a t i o n   i n   a   p r o d u c t   d e v e l o p m e n t   p r o c e s s   t h r o u g h   c r o w d s o u r c i n g   p r a c t i c e s .   R e s u l t s   f r o m   f i v e   c a s e   s t u d i e s   o f   c o n s u m e r   g o o d s   c o m p a n i e s   s u g g e s t   t h a t   t h e   i m p l e m e n t a t i o n   o f   c r o w d s o u r c i n g   o p e r a t i o n s   a f f e c t s   t h e   c o m p o n e n t s   o f   a n   e x i s t i n g   b u s i n e s s   m o d e l   a n d   r e q u i r e s   r e t h i n k i n g   t h e   m a r k e t i n g   f u n c t i o n .   M o r e o v e r ,   d e s p i t e   s o m e   o r g a n i z a t i o n a l   c o n s t r a i n t s   a n d   f e a r s ,   c r o w d s o u r c i n g   g e n e r a t e s   a   w i n - w i n   r e l a t i o n s h i p ,   c r e a t i n g   v a l u e   f o r   b o t h   f i r m s   a n d   c u s t o m e r s .   H o w e v e r ,   t h e   f i n d i n g s   r e v e a l   t w o   n e g a t i v e   c o n s u m e r   r e a c t i o n s   t o   c r o w d s o u r c i n g   p r a c t i c e s ,   i . e . ,   f e e l i n g s   o f   e x p l o i t a t i o n   a n d   b e i n g   c h e a t e d ,   t h a t   m a y   j e o p a r d i z e   t h e i r   s u c c e s s .   T h e   r e s u l t s   s u g g e s t   t h e   n e e d   t o   e s t a b l i s h   a n   o p e n   b u s i n e s s   m o d e l   b a s e d   o n   c r o w d s o u r c i n g .   ( C )   2 0 1 3   E l s e v i e r   I n c .   A l l   r i g h t s   r e s e r v e d . 	 [ D j e l a s s i ,   S o u a d ]   U n i v   L i l l e   N o r d   F r a n c e ,   S K E M A   B u s i n e s s   S c h ,   M E R C U R   E A   4 1 1 2 ,   I U T   C ,   F - 5 9 0 6 0   R o u b a i x ,   F r a n c e ;   [ D e c o o p m a n ,   I s a b e l l e ]   U n i v   L i l l e   N o r d   F r a n c e ,   S K E M A   B u s i n e s s   S c h ,   M E R C U R   E A   4 1 1 2 ,   F - 5 9 7 7 7   E u r a l i l l e ,   F r a n c e 	 D j e l a s s i ,   S   ( r e p r i n t   a u t h o r ) ,   U n i v   L i l l e   N o r d   F r a n c e ,   S K E M A   B u s i n e s s   S c h ,   M E R C U R   E A   4 1 1 2 ,   I U T   C ,   B P   5 5 7 ,   F - 5 9 0 6 0   R o u b a i x ,   F r a n c e . 	 s o u a d . d j e l a s s i @ u n i v - l i l l e 2 . f r ;   i s a b e l l e . d e c o o p m a n @ s k e m a . e d u 	 	 	 	 	 A m i t   R ,   2 0 0 1 ,   S T R A T E G I C   M A N A G E   J ,   V 2 2 ,   P 4 9 3 ,   D O I   1 0 . 1 0 0 2 / s m j . 1 8 7 ;   A r n o u l d   E ,   2 0 0 5 ,   J   R E T A I L I N G ,   V 8 1 ,   P 8 9 ,   D O I   1 0 . 1 0 1 6 / j . j r e t a i . 2 0 0 5 . 0 3 . 0 0 1 ;   A r n o u l d   E . J . ,   2 0 0 6 ,   S E R V I C E   D O M I N A N T   L O G ,   P 3 2 0 ;   B a r o n   S ,   2 0 1 1 ,   I N D   M A R K E T   M A N A G ,   V 4 0 ,   P 2 1 1 ,   D O I   1 0 . 1 0 1 6 / j . i n d m a r m a n . 2 0 1 0 . 0 6 . 0 3 3 ;   B u r g e r - H e l m c h e n   T . ,   2 0 1 1 ,   M A N A G E M E N T   A V E N I R ,   V 4 1 ,   P 2 5 4 ;   C a r p e n t e r   H . ,   2 0 1 1 ,   G U I D E   O P E N   I N N O V A T I O ,   P 7 6 ;   C h a n a l   V . ,   2 0 1 0 ,   M A N A G E M E N T ,   V 1 3 ,   P 3 1 8 ;   C h e n   J S ,   2 0 1 1 ,   I N D   M A R K E T   M A N A G ,   V 4 0 ,   P 1 3 3 1 ,   D O I   1 0 . 1 0 1 6 / j . i n d m a r m a n . 2 0 1 1 . 0 3 . 0 0 1 ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   B U S I N E S S   M O D E L S ;   C h e s b r o u g h   H ,   2 0 0 2 ,   I N D   C O R P   C H A N G E ,   V 1 1 ,   P 5 2 9 ,   D O I   1 0 . 1 0 9 3 / i c c / 1 1 . 3 . 5 2 9 ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   R E S ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   N E W ;   C o l l i n - L a c h a u d   I . ,   2 0 1 2 ,   M A R K E T I N G   M A N A G E M E N T ;   C o v a   B . ,   1 9 9 7 ,   E U R   J   M A R K E T I N G ,   V 3 1 ,   P 2 9 7 ,   D O I   1 0 . 1 1 0 8 / 0 3 0 9 0 5 6 9 7 1 0 1 6 2 3 8 0 ;   D e m i l   B ,   2 0 1 0 ,   L O N G   R A N G E   P L A N N ,   V 4 3 ,   P 2 2 7 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 1 0 . 0 2 . 0 0 4 ;   D e n e g r i - K n o t t   J ,   2 0 0 6 ,   E U R   J   M A R K E T I N G ,   V 4 0 ,   P 9 5 0 ,   D O I   1 0 . 1 1 0 8 / 0 3 0 9 0 5 6 0 6 1 0 6 8 0 9 5 2 ;   D r e s d e n   S . ,   2 0 0 6 ,   P   G E N E M E ,   P 2 3 ;   E h r e t   M ,   2 0 0 4 ,   I N D   M A R K E T   M A N A G ,   V 3 3 ,   P 4 6 5 ,   D O I   1 0 . 1 0 1 6 / j . i n d m a r m a n . 2 0 0 4 . 0 3 . 0 0 2 ;   E i s e n h a r d t   K .   M . ,   1 9 8 9 ,   A C A D   M A N A G E   R E V ,   V 1 4 ,   P 5 3 8 ;   H a g i u   A . ,   2 0 0 6 ,   0 6 1 2   A E I   B R O O K   J O I N T ;   H a m m e d i   W . ,   2 0 1 3 ,   J   S E R V I C E   M A N A G E M E N T ,   V 2 4 ;   H o e f n a g e l s   A . ,   2 0 1 3 ,   J   S E R V I C E   M A N A G E M E N T ,   V 2 4 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   K e l l e y   B . ,   2 0 1 1 ,   G U I D E   O P E N   I N N O V A T I O ,   P 3 7 ;   L a r i v i e r e   B . ,   2 0 1 3 ,   J   S E R V I C E   M A N A G E M E N T ,   V 2 4 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   L e t t l   C ,   2 0 0 7 ,   J   E N G   T E C H N O L   M A N A G E ,   V 2 4 ,   P 5 3 ,   D O I   1 0 . 1 0 1 6 / j . j e n g t e c m a n . 2 0 0 7 . 0 1 . 0 0 4 ;   L o r e n   J . K . ,   2 0 1 1 ,   G U I D E   O P E N   I N N O V A T I O ,   P 5 ;   M i l e s   M . ,   1 9 9 4 ,   Q U A L I T A T I V E   D A T A   A N A ;   M u n i z   A M ,   2 0 0 1 ,   J   C O N S U M   R E S ,   V 2 7 ,   P 4 1 2 ;   O ' R e i l l y   T . ,   2 0 0 5 ,   W H A T   I S   W E B   2   0   D E S I ;   O s t e r w a l d e r   A . ,   2 0 0 5 ,   A I S   C O M M U N I C A T I O N ,   V 1 5 ;   O s t e r w a l d e r   A . ,   2 0 0 4 ,   T H E S I S   U   L A U S A N N E ;   O s t e r w a l d e r   A . ,   2 0 1 0 ,   B U S I N E S S   M O D E L   G E N E R ;   P a y n e   A ,   2 0 0 5 ,   J   M A R K E T I N G ,   V 6 9 ,   P 1 6 7 ,   D O I   1 0 . 1 5 0 9 / j m k g . 2 0 0 5 . 6 9 . 4 . 1 6 7 ;   P E N A L O Z A   L ,   1 9 9 3 ,   A D V   C O N S U M   R E S ,   V 2 0 ,   P 1 2 3 ;   P l e   L . ,   2 0 1 0 ,   M A N A G E M E N T ,   V 1 3 ,   P 2 2 6 ;   P l o e t n e r   O ,   2 0 0 6 ,   I N D   M A R K E T   M A N A G ,   V 3 5 ,   P 4 ,   D O I   1 0 . 1 0 1 6 / j . i n d m a r m a n . 2 0 0 5 . 0 8 . 0 0 6 ;   P r a h a l a d   C .   K . ,   2 0 0 4 ,   F U T U R E   C O M P E T I T I O N   C ;   R a p p a   M . ,   2 0 0 1 ,   M A N A G I N G   D I G I T A L   E N T ;   R u s t   R .   T . ,   1 9 9 4 ,   J   M A R K E T I N G   R E S ,   V 3 ,   P 1 ;   S c h e n k   E . ,   2 0 1 1 ,   J   I N N O V A T I O N   E C ,   V 2 0 1 1 / 1 ,   P 9 3 ,   D O I   D O I   1 0 . 3 9 1 7 / J I E . 0 0 7 . 0 0 9 3 ;   S l o a n e   P . ,   2 0 1 1 ,   G U I D E   O P E N   I N N O V A T I O ,   P 1 5 ;   T e e c e   D J ,   2 0 1 0 ,   L O N G   R A N G E   P L A N N ,   V 4 3 ,   P 1 7 2 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 0 9 . 0 7 . 0 0 3 ;   V a n   D e   K l u n d e r t   J . ,   2 0 1 3 ,   J   S E R V I C E   M A N A G E M E N T ,   V 2 4 ;   V a r g o   S L ,   2 0 0 4 ,   J   M A R K E T I N G ,   V 6 8 ,   P 1 ,   D O I   1 0 . 1 5 0 9 / j m k g . 6 8 . 1 . 1 . 2 4 0 3 6 ;   V a r g o   S L ,   2 0 0 8 ,   J   A C A D   M A R K E T   S C I ,   V 3 6 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 7 4 7 - 0 0 7 - 0 0 6 9 - 6 ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   W i l l i a m s   A .   D . ,   2 0 0 7 ,   W I K I N O M I C S   M A S S   C O L L ;   W i r t z   B W ,   2 0 1 0 ,   L O N G   R A N G E   P L A N N ,   V 4 3 ,   P 2 7 2 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 1 0 . 0 1 . 0 0 5 ;   Y i n   R .   K . ,   2 0 0 3 ,   C A S E   S T U D Y   R E S   D E S I G ;   Y i p   G . S . ,   2 0 0 4 ,   B U S I N E S S   S T R A T E G Y   R E ,   V 1 5 ,   P 1 7 ,   D O I   1 0 . 1 1 1 1 / j . 0 9 5 5 - 6 4 1 9 . 2 0 0 4 . 0 0 3 0 8 . x ;   Z w i c k   D ,   2 0 0 8 ,   J   C O N S U M   C U L T ,   V 8 ,   P 1 6 3 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 9 5 4 0 5 0 8 0 9 0 0 8 9 	 5 3 	 0 	 0 	 E L S E V I E R   S C I E N C E   I N C 	 N E W   Y O R K 	 3 6 0   P A R K   A V E   S O U T H ,   N E W   Y O R K ,   N Y   1 0 0 1 0 - 1 7 1 0   U S A 	 0 0 1 9 - 8 5 0 1 	 	 	 I N D   M A R K E T   M A N A G 	 I n d .   M a r k .   M a n a g e . 	 J U L 	 2 0 1 3 	 4 2 	 5 	 	 	 S I 	 	 6 8 3 	 6 9 2 	 	 1 0 . 1 0 1 6 / j . i n d m a r m a n . 2 0 1 3 . 0 5 . 0 0 6 	 	 1 0 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 2 2 9 A F 	 W O S : 0 0 0 3 2 5 2 3 3 5 0 0 0 0 6 	 	 
 J 	 B e l l ,   S ;   U p c h u r c h ,   P ;   S n a v e l y ,   N ;   B a l a ,   K 	 	 	 	 B e l l ,   S e a n ;   U p c h u r c h ,   P a u l ;   S n a v e l y ,   N o a h ;   B a l a ,   K a v i t a 	 	 	 O P E N S U R F A C E S :   A   R i c h l y   A n n o t a t e d   C a t a l o g   o f   S u r f a c e   A p p e a r a n c e 	 A C M   T R A N S A C T I O N S   O N   G R A P H I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 m a t e r i a l s ;   r e f l e c t a n c e ;   t e x t u r e s ;   c r o w d s o u r c i n g 	 	 T h e   a p p e a r a n c e   o f   s u r f a c e s   i n   r e a l - w o r l d   s c e n e s   i s   d e t e r m i n e d   b y   t h e   m a t e r i a l s ,   t e x t u r e s ,   a n d   c o n t e x t   i n   w h i c h   t h e   s u r f a c e s   a p p e a r .   H o w e v e r ,   t h e   d a t a s e t s   w e   h a v e   f o r   v i s u a l i z i n g   a n d   m o d e l i n g   r i c h   s u r f a c e   a p p e a r a n c e   i n   c o n t e x t ,   i n   a p p l i c a t i o n s   s u c h   a s   h o m e   r e m o d e l i n g ,   a r e   q u i t e   l i m i t e d .   T o   h e l p   a d d r e s s   t h i s   n e e d ,   w e   p r e s e n t   O p e n S u r f a c e s ,   a   r i c h ,   l a b e l e d   d a t a b a s e   c o n s i s t i n g   o f   t h o u s a n d s   o f   e x a m p l e s   o f   s u r f a c e s   s e g m e n t e d   f r o m   c o n s u m e r   p h o t o g r a p h s   o f   i n t e r i o r s ,   a n d   a n n o t a t e d   w i t h   m a t e r i a l   p a r a m e t e r s   ( r e f l e c t a n c e ,   m a t e r i a l   n a m e s ) ,   t e x t u r e   i n f o r m a t i o n   ( s u r f a c e   n o r m a l s ,   r e c t i f i e d   t e x t u r e s ) ,   a n d   c o n t e x t u a l   i n f o r m a t i o n   ( s c e n e   c a t e g o r y ,   a n d   o b j e c t   n a m e s ) .   R e t r i e v i n g   u s a b l e   s u r f a c e   i n f o r m a t i o n   f r o m   u n c a l i b r a t e d   I n t e r n e t   p h o t o   c o l l e c t i o n s   i s   c h a l l e n g i n g .   W e   u s e   h u m a n   a n n o t a t i o n s   a n d   p r e s e n t   a   n e w   m e t h o d o l o g y   f o r   s e g m e n t i n g   a n d   a n n o t a t i n g   m a t e r i a l s   i n   I n t e r n e t   p h o t o   c o l l e c t i o n s   s u i t a b l e   f o r   c r o w d s o u r c i n g   ( e . g . ,   t h r o u g h   A m a z o n ' s   M e c h a n i c a l   T u r k ) .   B e c a u s e   o f   t h e   n o i s e   a n d   v a r i a b i l i t y   i n h e r e n t   i n   I n t e r n e t   p h o t o s   a n d   n o v i c e   a n n o t a t o r s ,   d e s i g n i n g   t h i s   a n n o t a t i o n   e n g i n e   w a s   a   k e y   c h a l l e n g e ;   w e   p r e s e n t   a   m u l t i - s t a g e   s e t   o f   a n n o t a t i o n   t a s k s   w i t h   q u a l i t y   c h e c k s   a n d   v a l i d a t i o n .   W e   d e m o n s t r a t e   t h e   u s e   o f   t h i s   d a t a b a s e   i n   p r o o f - o f - c o n c e p t   a p p l i c a t i o n s   i n c l u d i n g   s u r f a c e   r e t e x t u r i n g   a n d   m a t e r i a l   a n d   i m a g e   b r o w s i n g ,   a n d   d i s c u s s   f u t u r e   u s e s .   O p e n S u r f a c e s   i s   a   p u b l i c   r e s o u r c e   a v a i l a b l e   a t   h t t p : / / o p e n s u r f a c e s . c s . c o r n e l l . e d u / . 	 [ B e l l ,   S e a n ;   U p c h u r c h ,   P a u l ;   S n a v e l y ,   N o a h ;   B a l a ,   K a v i t a ]   C o r n e l l   U n i v ,   I t h a c a ,   N Y   1 4 8 5 3   U S A 	 B e l l ,   S   ( r e p r i n t   a u t h o r ) ,   C o r n e l l   U n i v ,   I t h a c a ,   N Y   1 4 8 5 3   U S A . 	 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ I I S - 1 1 6 1 6 4 5 ,   N S F - 1 0 1 1 9 1 9 ,   N S F - 1 1 4 9 3 9 3 ] ;   I n t e l   S c i e n c e   a n d   T e c h n o l o g y   C e n t e r   f o r   V i s u a l   C o m p u t i n g 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   ( g r a n t s   I I S - 1 1 6 1 6 4 5 ,   N S F - 1 0 1 1 9 1 9 ,   a n d   N S F - 1 1 4 9 3 9 3 )   a n d   t h e   I n t e l   S c i e n c e   a n d   T e c h n o l o g y   C e n t e r   f o r   V i s u a l   C o m p u t i n g .   W e   a r e   g r a t e f u l   t o   A l b e r t   L i u   a n d   K e v e n   M a t z e n ,   a n d   t o   K e v i n   f o r   t h e   p a p e r   v i d e o .   W e   a l s o   t h a n k   o u r   M T u r k   w o r k e r s ,   a n d   P a t t i   S t e i n b a c h e r   i n   p a r t i c u l a r .   I n   t h e   s u p p l e m e n t a r y   m a t e r i a l ,   w e   a c k n o w l e d g e   t h e   F l i c k r   u s e r s   w h o   r e l e a s e d   t h e i r   i m a g e s   u n d e r   C r e a t i v e   C o m m o n s   l i c e n s e s .   F i n a l l y ,   w e   t h a n k   t h e   r e v i e w e r s   f o r   t h e i r   v a l u a b l e   c o m m e n t s . 	 A D E L S O N   E .   H . ,   2 0 0 1 ,   P   S P I E   H U M   V I S   E L   I M ,   V 4 2 9 9 ;   B E N - A R T Z I   A . ,   2 0 0 6 ,   S I G G R A P H   C   P ;   B R A I N A R D   D .   H . ,   1 9 9 7 ,   J   O P T   S O C   A M ,   V 1 4 ,   P 9 ;   C H E N   X . ,   2 0 0 9 ,   S I G G R A P H   C   P ;   C O L E   F . ,   2 0 0 9 ,   S I G G R A P H   C   P ;   D a n a   K J ,   1 9 9 9 ,   A C M   T   G R A P H I C ,   V 1 8 ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 3 0 0 7 7 6 . 3 0 0 7 7 8 ;   D E B E V E C   P . ,   1 9 9 8 ,   S I G G R A P H   C   P ;   D e n g   J . ,   2 0 0 9 ,   P   C O M P   V I S   P A T T   R E C ;   D R O R   R . ,   2 0 0 1 ,   P   S P I E   H U M   V I S   E L   I M ;   E N D R E S   I . ,   2 0 1 0 ,   W O R K S H   A D V   C O M P   V I S ;   F E N G   C . ,   2 0 1 0 ,   I N T   C   C O N S T R   A P P L   V I ;   F L E M I N G   R .   W . ,   2 0 0 3 ,   J   V I S I O N ,   V 3 ,   P 5 ;   F L E M I N G   R .   W . ,   2 0 0 4 ,   J   V I S I O N ,   V 4 ,   P 9 ;   G E I S L E R - M O R O D E R   D . ,   2 0 1 0 ,   P   E U R   S   R E N D ;   G i n g o l d   Y . ,   2 0 1 2 ,   A C M   T   G R A P H I C S ,   V 3 1 ,   P 5 ;   H A Y S   J . ,   2 0 0 7 ,   S I G G R A P H   C   P ,   P 4 ;   H U   D ,   2 0 1 1 ,   P   B R I T   M A C H   V I S   C ;   J U R A C E K   J ,   1 9 9 6 ,   S U R F A C E S   V I S U A L   R E S ;   K A R S C H   K . ,   2 0 1 1 ,   S I G G R A P H   A S   C   P ;   K e r r   W . B . ,   2 0 1 0 ,   A C M   T   G R A P H I C S ,   V 2 9 ;   K O E N D E R I N K   J .   J . ,   1 9 9 2 ,   P E R C E P T I O N   P S Y C H O P H Y ;   L A L O N D E   J . - F . ,   2 0 0 7 ,   S I G G R A P H   C   P ;   L I U   C . ,   2 0 1 0 ,   P   C O M P   V I S   P A T T   R E C ;   L I U   Y . ,   2 0 0 4 ,   S I G G R A P H   C   P ;   M A R G E   M . ,   2 0 1 0 ,   I N T   C   A C   S P E E C H   S I G N ;   M A T U S I K   W . ,   2 0 0 3 ,   A C M   T   G R A P H I C S   S I G G R ,   V 2 2 ,   P 3 ;   N G A N   A . ,   2 0 0 5 ,   P   E U R   S   R E N D ;   P E L L A C I N I   F . ,   2 0 0 0 ,   S I G G R A P H   C   P ;   R A M A N A R A Y A N A N   G . ,   2 0 0 7 ,   S I G G R A P H   C   P ;   R E I N H A R D   E . ,   2 0 0 2 ,   S I G G R A P H   C   P ;   R E N   P . ,   2 0 1 1 ,   S I G G R A P H   C   P ;   R O M E I R O   F . ,   2 0 1 0 ,   P   E U R   C   C O M P   V I S ;   R U B I N S T E I N   M . ,   2 0 1 0 ,   S I G G R A P H   A S   C   P ;   R U S S E L   B C ,   2 0 0 8 ,   I N T   J   C O M P U T   V I S I O N ,   V 7 7 ,   P 1 ;   S H A R A N   L . ,   2 0 0 9 ,   J   V I S I O N ,   V 9 ,   P 8 ;   T A R D I F   J . - P . ,   2 0 0 9 ,   P   I N T   C   C O M P   V I S ;   T o l d o   R . ,   2 0 0 8 ,   P   E U R   C   C O M P   V I S ;   T O R R A L B A   A . ,   2 0 0 8 ,   T   P A T T E R N   A N A L   M A C H I ,   V 8 0 ,   P 1 1 ;   V A N G O R P   P . ,   2 0 0 7 ,   A C M   T   G R A P H I C ,   V 2 6 ,   P 3 ;   V O N   G I O I   R .   G . ,   2 0 1 0 ,   T   P A T T E R N   A N A L   M A C H I ,   V 3 2 ,   P 4 ;   W A L T E R   B . ,   2 0 1 2 ,   S I G G R A P H   C   P ;   W A R D   G . ,   1 9 9 2 ,   S I G G R A P H   C   P ;   W E L I N D E R   P . ,   2 0 1 0 ,   P   N E U R   I N F   P R O C   S Y S T ;   W e y r i c h   T . ,   2 0 0 9 ,   F D N   T R E N D S   C O M P U T E R ,   V 4 ,   P 2 ;   X I A O   J . ,   2 0 1 0 ,   P   C O M P   V I S   P A T T   R E C 	 4 5 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 0 7 3 0 - 0 3 0 1 	 	 	 A C M   T   G R A P H I C 	 A C M   T r a n s .   G r a p h . 	 J U L 	 2 0 1 3 	 3 2 	 4 	 	 	 	 	 	 	 1 1 1 	 1 0 . 1 1 4 5 / 2 4 6 1 9 1 2 . 2 4 6 2 0 0 2 	 	 1 1 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 1 8 3 T M 	 W O S : 0 0 0 3 2 1 8 4 0 1 0 0 0 8 0 	 	 
 J 	 L i m p a e c h e r ,   A ;   F e l t m a n ,   N ;   T r e u i l l e ,   A ;   C o h e n ,   M 	 	 	 	 L i m p a e c h e r ,   A l e x ;   F e l t m a n ,   N i c o l a s ;   T r e u i l l e ,   A d r i e n ;   C o h e n ,   M i c h a e l 	 	 	 R e a l - t i m e   D r a w i n g   A s s i s t a n c e   t h r o u g h   C r o w d s o u r c i n g 	 A C M   T R A N S A C T I O N S   O N   G R A P H I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 I n t e r a c t i v e   D r a w i n g s ;   C r o w d s o u r c i n g 	 	 W e   p r o p o s e   a   n e w   m e t h o d   f o r   t h e   l a r g e - s c a l e   c o l l e c t i o n   a n d   a n a l y s i s   o f   d r a w i n g s   b y   u s i n g   a   m o b i l e   g a m e   s p e c i f i c a l l y   d e s i g n e d   t o   c o l l e c t   s u c h   d a t a .   A n a l y z i n g   t h i s   c r o w d s o u r c e d   d r a w i n g   d a t a b a s e ,   w e   b u i l d   a   s p a t i a l l y   v a r y i n g   m o d e l   o f   a r t i s t i c   c o n s e n s u s   a t   t h e   s t r o k e   l e v e l .   W e   t h e n   p r e s e n t   a   s u r p r i s i n g l y   s i m p l e   s t r o k e - c o r r e c t i o n   m e t h o d   w h i c h   u s e s   o u r   a r t i s t i c   c o n s e n s u s   m o d e l   t o   i m p r o v e   s t r o k e s   i n   r e a l - t i m e .   I m p o r t a n t l y ,   o u r   a u t o - c o r r e c t i o n s   r u n   i n t e r a c t i v e l y   a n d   a p p e a r   n e a r l y   i n v i s i b l e   t o   t h e   u s e r   w h i l e   s e a m l e s s l y   p r e s e r v i n g   a r t i s t i c   i n t e n t .   C l o s i n g   t h e   l o o p ,   t h e   g a m e   i t s e l f   s e r v e s   a s   a   p l a t f o r m   f o r   l a r g e - s c a l e   e v a l u a t i o n   o f   t h e   e f f e c t i v e n e s s   o f   o u r   s t r o k e   c o r r e c t i o n   a l g o r i t h m . 	 [ L i m p a e c h e r ,   A l e x ;   F e l t m a n ,   N i c o l a s ;   T r e u i l l e ,   A d r i e n ]   C a r n e g i e   M e l l o n   U n i v ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A 	 L i m p a e c h e r ,   A   ( r e p r i n t   a u t h o r ) ,   C a r n e g i e   M e l l o n   U n i v ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A . 	 	 	 	 N S F   [ I I S 0 9 5 3 9 8 5 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   a n   N S F   G r a d u a t e   R e s e a r c h   F e l l o w s h i p ,   a n   N S F   C a r e e r   A w a r d   ( I I S 0 9 5 3 9 8 5 ) ,   a n d   b y   g e n e r o u s   g i f t s   f r o m   G o o g l e ,   Q u a l c o m m ,   A d o b e ,   I n t e l ,   a n d   t h e   O k a w a   F o u n d a t i o n .   T h a n k   y o u   t o   L a r r y   Z i t n i c k   f o r   h e l p   w i t h   t h e   i n i t i a l   g a m e   d e s i g n ,   a n d   t o   M a r t i n   A z i z y a n   f o r   h e l p i n g   w i t h   t h e   s t a t i s t i c a l   a n a l y s i s .   A l s o   s p e c i a l   t h a n k s   t o   E r d m u t h e   L i m p a e c h e r ,   K a t h e r i n e   M i l l e r ,   J a c k i e   B e l l o ,   P a u l   K o m p f n e r ,   a n d   S a m   G r o s s b e r g   f o r   p l a y t e s t i n g . 	 A l b i n s s o n   P . - A . ,   2 0 0 3 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 0 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 6 4 2 6 1 1 . 6 4 2 6 3 1 ;   B e n k o   H . ,   2 0 0 6 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 2 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 2 4 7 7 2 . 1 1 2 4 9 6 3 ;   B E N K O   H . ,   2 0 1 0 ,   S P R I N G E R   H C I   S E R I E S ;   B o t s c h   M ,   2 0 0 8 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 4 ,   P 2 1 3 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 0 7 . 1 0 5 4 ;   C O L E   F . ,   2 0 0 8 ,   A C M   T   G R A P H I C S ,   V 2 7 ,   P 8 8 ;   C o m a n i c i u   D ,   1 9 9 9 ,   C O M P   V I S   I E E E   I N T   C ,   V 2 ,   P 1 1 9 7 ;   D i x o n   D ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 8 9 7 ;   E I T Z   M ,   2 0 1 2 ,   A C M   T   G R A P H ,   V 3 1 ;   F O R L I N E S   C . ,   2 0 0 6 ,   U I S T   0 6 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 6 6 2 5 3 . 1 1 6 6 2 8 6 ;   G i n g o l d   Y . ,   2 0 1 2 ,   P   A A A I   W O R K S H   H U M   C O ;   L E E   Y .   J . ,   2 0 1 1 ,   A C M   T   G R A P H I C ,   V 2 2 ,   P 8 7 9 ;   M o r t e n s e n   E .   N . ,   1 9 9 5 ,   A C M   S I G G R A P H ,   P 1 9 1 ;   O r b a y   G ,   2 0 1 1 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 7 ,   P 6 9 4 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 0 . 1 0 5 ;   S c o t t   J . ,   2 0 1 0 ,   P   1 2   I N T   C   H U M   C O M P ,   P 1 7 1 ,   D O I   1 0 . 1 1 4 5 / 1 8 5 1 6 0 0 . 1 8 5 1 6 3 0 ;   T h i e l   Y ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 3 8 3 ;   V o g e l   D ,   2 0 0 7 ,   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1   A N D   2 ,   P 6 5 7 ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   v o n   A h n   L ,   2 0 0 6 ,   P   S I G C H I   C   H U M   F A C T ,   P 5 5 ,   D O I   1 0 . 1 1 4 5 / 1 1 2 4 7 7 2 . 1 1 2 4 7 8 2 ;   W I G D O R   D . ,   2 0 0 6 ,   P   U I S T   0 6 ,   P 2 5 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 6 6 2 5 3 . 1 1 6 6 2 9 4 ;   W i g d o r   D ,   2 0 0 9 ,   U I S T   2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 2 N D   A N N U A L   A C M   S Y M P O S I U M   O N   U S E R   I N T E R F A C E   S O F T W A R E   A N D   T E C H N O L O G Y ,   P 3 ;   W i g d o r   D ,   2 0 0 7 ,   U I S T   2 0 0 7 :   P R O C E E D I N G S   O F   T H E   2 0 T H   A N N U A L   A C M   S Y M P O S I U M   O N   U S E R   I N T E R F A C E   S O F T W A R E   A N D   T E C H N O L O G Y ,   P 2 6 9 ;   Z I T N I C K   L . ,   2 0 1 3 ,   A C M   T   G R A P H 	 2 2 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 0 7 3 0 - 0 3 0 1 	 	 	 A C M   T   G R A P H I C 	 A C M   T r a n s .   G r a p h . 	 J U L 	 2 0 1 3 	 3 2 	 4 	 	 	 	 	 	 	 5 4 	 1 0 . 1 1 4 5 / 2 4 6 1 9 1 2 . 2 4 6 2 0 1 6 	 	 8 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 1 8 3 T M 	 W O S : 0 0 0 3 2 1 8 4 0 1 0 0 0 2 3 	 	 
 J 	 B l o o d g o o d ,   J 	 	 	 	 B l o o d g o o d ,   J a m e s 	 	 	 C r o w d s o u r c i n g :   U s e f u l   f o r   P r o b l e m   S o l v i n g ,   B u t   W h a t   A b o u t   V a l u e   C a p t u r e ? 	 A C A D E M Y   O F   M A N A G E M E N T   R E V I E W 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 P E R S P E C T I V E ;   I M I T A T I O N ;   S E A R C H 	 	 K a n s a s   S t a t e   U n i v ,   M a n h a t t a n ,   K S   6 6 5 0 6   U S A 	 B l o o d g o o d ,   J   ( r e p r i n t   a u t h o r ) ,   K a n s a s   S t a t e   U n i v ,   M a n h a t t a n ,   K S   6 6 5 0 6   U S A . 	 j b l o o d @ k s u . e d u 	 	 	 	 	 A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   A l m i r a l l   E ,   2 0 1 0 ,   A C A D   M A N A G E   R E V ,   V 3 5 ,   P 2 7 ;   C H E N   M J ,   1 9 9 4 ,   S T R A T E G I C   M A N A G E   J ,   V 1 5 ,   P 8 5 ,   D O I   1 0 . 1 0 0 2 / s m j . 4 2 5 0 1 5 0 2 0 2 ;   C H E N   M J ,   1 9 9 6 ,   A C A D   M A N A G E   R E V ,   V 2 1 ,   P 1 0 0 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 6 3 1 ;   C h e n   M J ,   2 0 0 7 ,   A C A D   M A N A G E   J ,   V 5 0 ,   P 1 0 1 ;   D a v i d   P .   A . ,   1 9 9 0 ,   E C   I N N O V A T I O N   N E W   T E ,   V 1 ,   P 3 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 0 4 3 8 5 9 9 0 0 0 0 0 0 0 0 2 ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   L e p a k   D P ,   2 0 0 7 ,   A C A D   M A N A G E   R E V ,   V 3 2 ,   P 1 8 0 ;   L e r n e r   J ,   2 0 0 2 ,   J   I N D   E C O N ,   V 5 0 ,   P 1 9 7 ;   P a c h e c o - d e - A l m e i d a   G ,   2 0 1 0 ,   S T R A T E G I C   M A N A G E   J ,   V 3 1 ,   P 1 4 9 8 ,   D O I   1 0 . 1 0 0 2 / s m j . 8 9 6 ;   R E E D   R ,   1 9 9 0 ,   A C A D   M A N A G E   R E V ,   V 1 5 ,   P 8 8 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 1 0 7 ;   W e s t   J ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 2 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 5 2 - 0 ;   Z A N D E R   U ,   1 9 9 5 ,   O R G A N   S C I ,   V 6 ,   P 7 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 6 . 1 . 7 6 	 1 3 	 1 	 1 	 A C A D   M A N A G E M E N T 	 B R I A R C L I F F   M A N O R 	 P A C E   U N I V ,   P O   B O X   3 0 2 0 ,   2 3 5   E L M   R D ,   B R I A R C L I F F   M A N O R ,   N Y   1 0 5 1 0 - 8 0 2 0   U S A 	 0 3 6 3 - 7 4 2 5 	 1 9 3 0 - 3 8 0 7 	 	 A C A D   M A N A G E   R E V 	 A c a d .   M a n a g e .   R e v . 	 J U L 	 2 0 1 3 	 3 8 	 3 	 	 	 	 	 4 5 5 	 4 5 7 	 	 1 0 . 5 4 6 5 / a m r . 2 0 1 2 . 0 3 1 8 	 	 3 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 1 8 5 U H 	 W O S : 0 0 0 3 2 1 9 9 5 3 0 0 0 0 8 	 	 
 J 	 A f u a h ,   A ;   T u c c i ,   C L 	 	 	 	 A f u a h ,   A l l a n ;   T u c c i ,   C h r i s t o p h e r   L . 	 	 	 V a l u e   C a p t u r e   a n d   C r o w d s o u r c i n g 	 A C A D E M Y   O F   M A N A G E M E N T   R E V I E W 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 S E A R C H 	 	 [ A f u a h ,   A l l a n ]   U n i v   M i c h i g a n ,   A n n   A r b o r ,   M I   4 8 1 0 9   U S A ;   [ T u c c i ,   C h r i s t o p h e r   L . ]   E c o l e   P o l y t e c h   F e d   L a u s a n n e ,   C H - 1 0 1 5   L a u s a n n e ,   S w i t z e r l a n d 	 A f u a h ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   M i c h i g a n ,   A n n   A r b o r ,   M I   4 8 1 0 9   U S A . 	 a f u a h @ u m i c h . e d u ;   c h r i s t o p h e r . t u c c i @ e p f l . c h 	 	 	 	 	 a f u a h   A . ,   2 0 0 2 ,   I N T E R N E T   B U S I N E S S   M O ;   A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   C H E N   M J ,   1 9 9 4 ,   S T R A T E G I C   M A N A G E   J ,   V 1 5 ,   P 8 5 ,   D O I   1 0 . 1 0 0 2 / s m j . 4 2 5 0 1 5 0 2 0 2 ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   L e p a k   D P ,   2 0 0 7 ,   A C A D   M A N A G E   R E V ,   V 3 2 ,   P 1 8 0 ;   T E E C E   D J ,   1 9 8 6 ,   R E S   P O L I C Y ,   V 1 5 ,   P 2 8 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 8 - 7 3 3 3 ( 8 6 ) 9 0 0 2 7 - 2 ;   V A G E L O S   P R ,   1 9 9 1 ,   S C I E N C E ,   V 2 5 2 ,   P 1 0 8 0 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 5 2 . 5 0 0 9 . 1 0 8 0 	 7 	 0 	 0 	 A C A D   M A N A G E M E N T 	 B R I A R C L I F F   M A N O R 	 P A C E   U N I V ,   P O   B O X   3 0 2 0 ,   2 3 5   E L M   R D ,   B R I A R C L I F F   M A N O R ,   N Y   1 0 5 1 0 - 8 0 2 0   U S A 	 0 3 6 3 - 7 4 2 5 	 	 	 A C A D   M A N A G E   R E V 	 A c a d .   M a n a g e .   R e v . 	 J U L 	 2 0 1 3 	 3 8 	 3 	 	 	 	 	 4 5 7 	 4 6 0 	 	 1 0 . 5 4 6 5 / a m r . 2 0 1 2 . 0 4 2 3 	 	 4 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 1 8 5 U H 	 W O S : 0 0 0 3 2 1 9 9 5 3 0 0 0 0 9 	 	 
 J 	 E r i c k s o n ,   B 	 	 	 	 E r i c k s o n ,   B r i t t 	 	 	 C R O W D S O U R C I N G   T O X I C I T Y   P R E D I C T I O N 	 C H E M I C A L   &   E N G I N E E R I N G   N E W S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 A M E R   C H E M I C A L   S O C 	 W A S H I N G T O N 	 1 1 5 5   1 6 T H   S T ,   N W ,   W A S H I N G T O N ,   D C   2 0 0 3 6   U S A 	 0 0 0 9 - 2 3 4 7 	 	 	 C H E M   E N G   N E W S 	 C h e m .   E n g .   N e w s 	 J U L   1 	 2 0 1 3 	 9 1 	 2 6 	 	 	 	 	 1 8 	 1 8 	 	 	 	 1 	 C h e m i s t r y ,   M u l t i d i s c i p l i n a r y ;   E n g i n e e r i n g ,   C h e m i c a l 	 C h e m i s t r y ;   E n g i n e e r i n g 	 1 7 5 I N 	 W O S : 0 0 0 3 2 1 2 2 4 4 0 0 0 3 8 	 	 
 J 	 C l o u g h ,   P ;   S a n d e r s o n ,   M ;   T a n g ,   J Y ;   G o l l i n s ,   T ;   W a r n e r ,   A 	 	 	 	 C l o u g h ,   P a u l ;   S a n d e r s o n ,   M a r k ;   T a n g ,   J i a y u ;   G o l l i n s ,   T i m ;   W a r n e r ,   A m y 	 	 	 E x a m i n i n g   t h e   L i m i t s   o f   C r o w d s o u r c i n g   f o r   R e l e v a n c e   A s s e s s m e n t 	 I E E E   I N T E R N E T   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 E v a l u a t i o n   i s   i n s t r u m e n t a l   t o   d e v e l o p i n g   a n d   m a n a g i n g   e f f e c t i v e   i n f o r m a t i o n   r e t r i e v a l   s y s t e m s .   F o r   t h i s   p r o c e s s ,   e n l i s t i n g   c r o w d s o u r c i n g   h a s   p r o v e n   v i a b l e .   H o w e v e r ,   l e s s   u n d e r s t o o d   a r e   c r o w d s o u r c i n g ' s   l i m i t s   f o r   e v a l u a t i o n ,   p a r t i c u l a r l y   f o r   d o m a i n - s p e c i f i c   s e a r c h .   T h e   a u t h o r s   c o m p a r e   r e l e v a n c e   a s s e s s m e n t s   g a t h e r e d   u s i n g   c r o w d s o u r c i n g   w i t h   t h o s e   f r o m   a   d o m a i n   e x p e r t   t o   e v a l u a t e   d i f f e r e n t   s e a r c h   e n g i n e s   i n   a   l a r g e   g o v e r n m e n t   a r c h i v e .   A l t h o u g h   c r o w d s o u r c e d   j u d g m e n t s   r a n k   t h e   t e s t e d   s e a r c h   e n g i n e s   i n   t h e   s a m e   o r d e r   a s   e x p e r t   j u d g m e n t s ,   c r o w d s o u r c e d   w o r k e r s   a p p e a r   u n a b l e   t o   d i s t i n g u i s h   d i f f e r e n t   l e v e l s   o f   h i g h l y   a c c u r a t e   s e a r c h   r e s u l t s   t h e   w a y   e x p e r t   a s s e s s o r s   c a n . 	 [ C l o u g h ,   P a u l ]   U n i v   S h e f f i e l d ,   I n f o r m a t   S c h ,   S h e f f i e l d   S 1 0   2 T N ,   S   Y o r k s h i r e ,   E n g l a n d ;   [ S a n d e r s o n ,   M a r k ]   R M I T   U n i v ,   S c h   C o m p   S c i   &   I n f o r m a t   T e c h n o l ,   M e l b o u r n e ,   V i c ,   A u s t r a l i a ;   [ W a r n e r ,   A m y ]   U n i v   L o n d o n ,   L o n d o n   W C 1 E   7 H U ,   E n g l a n d 	 C l o u g h ,   P   ( r e p r i n t   a u t h o r ) ,   U n i v   S h e f f i e l d ,   I n f o r m a t   S c h ,   S h e f f i e l d   S 1 0   2 T N ,   S   Y o r k s h i r e ,   E n g l a n d . 	 p . d . c l o u g h @ s h e f f i e l d . a c . u k ;   m a r k . s a n d e r s o n @ r m i t . e d u . a u ;   j i a y u . t a n g j y @ a l i b a b a - i n c . c o m ;   t i m . g o l l i n s @ n a t i o n a l a r c h i v e s . g s i . g o v . u k ;   A m y . W a r n e r @ r h u l . a c . u k 	 	 	 U K   N a t i o n a l   A r c h i v e s 	 W e   t h a n k   t h e   U K   N a t i o n a l   A r c h i v e s   f o r   p r o v i d i n g   a c c e s s   t o   i t s   d a t a s e t s   a n d   f o r   f u n d i n g   t h i s   r e s e a r c h . 	 A l - M a s k a r i   A . ,   2 0 0 8 ,   P   3 1   A N N   I N T   A C M   S I G ,   P 5 9 ,   D O I   1 0 . 1 1 4 5 / 1 3 9 0 3 3 4 . 1 3 9 0 3 4 7 ;   B a i l e y   P . ,   2 0 0 8 ,   P   3 1   A N N   I N T   A C M   S I G ,   P 6 6 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 9 0 3 3 4 . 1 3 9 0 4 4 7 ;   B r o d e r   A . ,   2 0 0 2 ,   S I G I R   F o r u m ,   V 3 6 ;   C a r v a l h o   V . R . ,   2 0 1 0 ,   A C M   S I G I R   F O R U M ,   V 4 4 ,   P 1 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 7 5 . 1 9 2 4 4 8 1 ;   C l e v e r d o n   C .   W . ,   1 9 7 0 ,   3   C R A N F   I   T E C H   C R A N F ;   C l e v e r d o n   C .   W . ,   1 9 6 2 ,   R E P O R T   T E S T I N G   A N A L ;   S a n d e r s o n   M ,   2 0 1 1 ,   I N F O R M   R E T R I E V A L   S E R ,   V 3 1 ,   P 1 6 9 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 2 5 1 1 - 6 _ 1 2 ;   V o o r h e e s   E .   M . ,   1 9 9 8 ,   P r o c e e d i n g s   o f   t h e   2 1 s t   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ,   D O I   1 0 . 1 1 4 5 / 2 9 0 9 4 1 . 2 9 1 0 1 7 ;   V o o r h e e s   E M ,   2 0 0 9 ,   P R O C E E D I N G S   3 2 N D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   A N D   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L ,   P 8 0 6 ,   D O I   1 0 . 1 1 4 5 / 1 5 7 1 9 4 1 . 1 5 7 2 1 3 8 ;   Z h a i   J . ,   2 0 0 8 ,   P   1 7   A C M   C   I N F   K N O W L ,   P 5 9 1 ,   D O I   1 0 . 1 1 4 5 / 1 4 5 8 0 8 2 . 1 4 5 8 1 6 0 ;   Z h u   H . ,   2 0 0 7 ,   P   1 6   I N T   C   W O R L D   W I D ,   P 4 9 1 ,   D O I   1 0 . 1 1 4 5 / 1 2 4 2 5 7 2 . 1 2 4 2 6 3 9 	 1 1 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 8 9 - 7 8 0 1 	 	 	 I E E E   I N T E R N E T   C O M P U T 	 I E E E   I n t e r n e t   C o m p u t . 	 J U L - A U G 	 2 0 1 3 	 1 7 	 4 	 	 	 	 	 3 2 	 3 8 	 	 	 	 7 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 1 7 0 D V 	 W O S : 0 0 0 3 2 0 8 3 1 1 0 0 0 0 5 	 	 
 J 	 L a u t o ,   G ;   V a l e n t i n ,   F ;   H a t z a c k ,   F ;   C a r l s e n ,   M 	 	 	 	 L a u t o ,   G i a n c a r l o ;   V a l e n t i n ,   F i n n ;   H a t z a c k ,   F r a n k ;   C a r l s e n ,   M a r i a 	 	 	 M a n a g i n g   F r o n t - E n d   I n n o v a t i o n   t h r o u g h   I d e a   M a r k e t s   a t   N o v o z y m e s 	 R E S E A R C H - T E C H N O L O G Y   M A N A G E M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 F r o n t   e n d   o f   i n n o v a t i o n ;   I n t e r n a l   i n n o v a t i o n   c o m m u n i t i e s ;   C r o w d s o u r c i n g 	 P R O D U C T   D E V E L O P M E N T ;   S T O C K ;   T E C H N O L O G Y ;   C O M M U N I T Y ;   K N O W L E D G E ;   M O D E L 	 O n l i n e   c o l l a b o r a t i o n   i s   a   p o w e r f u l   t o o l   f o r   b o o s t i n g   i d e a   g e n e r a t i o n   i n   l a r g e   c o r p o r a t i o n s .   H o w e v e r ,   m a n a g e m e n t   m a y   e x p e r i e n c e   a n   o v e r l o a d   o f   p r o p o s a l s   f r o m   e m p l o y e e s .   T o   i m p r o v e   f r o n t - e n d   i n n o v a t i o n ,   t h e   D a n i s h   i n d u s t r i a l   b i o t e c h   c o m p a n y   N o v o z y m e s   i m p l e m e n t e d   a n   i n t e r n a l   i d e a   c o m p e t i t i o n   i n   w h i c h   a   r e l a t i v e l y   s m a l l   n u m b e r   o f   h i g h l y   m o t i v a t e d   p a r t i c i p a n t s   s c r e e n e d   t h e i r   c o l l e a g u e s '   i n v e n t i o n s   t h r o u g h   a n   " i d e a   m a r k e t . "   T h e   i d e a   c o m p e t i t i o n   f u l f i l l e d   i t s   g o a l s   o f   g e n e r a t i n g   t w o   i d e a s   w i t h   h i g h   g r o w t h   p o t e n t i a l   w i t h i n   a   s h o r t   t i m e ,   u n c o v e r i n g   a n d   r e c o m b i n i n g   o l d   p r o p o s a l s   t h a t   i n v e n t o r s   h a d   n o t   p r e v i o u s l y   b e e n   a b l e   t o   a d v a n c e   i n   t h e   o r g a n i z a t i o n   a n d   f o c u s i n g   m a n a g e r i a l   a t t e n t i o n   o n   t h e   s e l e c t i o n   p r o c e s s .   T h e   c a m p a i g n   i s   a n   e f f e c t i v e   t o o l   t o   r e c o m b i n e   e x i s t i n g   k n o w l e d g e   t h a t   h a d   n o t   b e e n   u t i l i z e d .   T h e   p r o c e s s   d e m o n s t r a t e d   t h a t   a s k i n g   p a r t i c i p a n t s   t o   c o m m e n t   o n   p r o p o s a l s   i m p r o v e s   i d e a   g e n e r a t i o n   a n d   s c r e e n i n g   a n d   t h a t   a c t i v e   i n v o l v e m e n t   o f   R & D   m a n a g e m e n t   i s   a   k e y   s u c c e s s   f a c t o r   i n   a n y   i d e a   c o m p e t i t i o n . 	 [ L a u t o ,   G i a n c a r l o ]   U n i v   U d i n e ,   I - 3 3 1 0 0   U d i n e ,   I t a l y ;   [ L a u t o ,   G i a n c a r l o ]   C o p e n h a g e n   B u s i n e s s   S c h ,   R e s   C t r   B i o t e c h   B u s i n e s s ,   D e p t   I n n o v a t   &   O r g   E c o n ,   C o p e n h a g e n ,   D e n m a r k ;   [ V a l e n t i n ,   F i n n ]   C o p e n h a g e n   B u s i n e s s   S c h ,   D e p t   I n n o v a t   &   O r g   E c o n ,   C o p e n h a g e n ,   D e n m a r k ;   [ V a l e n t i n ,   F i n n ]   R e s   C t r   B i o t e c h   B u s i n e s s ,   C o p e n h a g e n ,   D e n m a r k ;   [ V a l e n t i n ,   F i n n ]   M a s t e r s   P r o g r a m   B i o b u s i n e s s   &   I n n o v a t ,   C o p e n h a g e n ,   D e n m a r k ;   [ H a t z a c k ,   F r a n k ;   C a r l s e n ,   M a r i a ]   N o v o z y m e s   I n n o v a t   O f f ,   C o p e n h a g e n ,   D e n m a r k ;   [ C a r l s e n ,   M a r i a ]   C o p e n h a g e n   B u s i n e s s   S c h ,   C o p e n h a g e n ,   D e n m a r k 	 L a u t o ,   G   ( r e p r i n t   a u t h o r ) ,   U n i v   U d i n e ,   I - 3 3 1 0 0   U d i n e ,   I t a l y . 	 g i a n c a r l o . l a u t o @ u n i u d . i t ;   f v . i n o @ c b s . d k ;   f h a t @ n o v o z y m e s . c o m ;   m c r x @ n o v o z y m e s . c o m 	 	 	 	 	 B o r i s o n   A ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 1 2 5 ;   B o t h o s   E ,   2 0 1 2 ,   E X P E R T   S Y S T   A P P L ,   V 3 9 ,   P 1 3 3 3 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 1 . 0 8 . 0 1 4 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C h e n   L . ,   2 0 1 0 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 4 5 ;   D a h a n   E ,   2 0 1 0 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 7 ,   P 9 3 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 0 . 0 0 7 6 3 . x ;   D a h l   A ,   2 0 1 1 ,   R E S   T E C H N O L   M A N A G E ,   V 5 4 ,   P 1 9 ,   D O I   1 0 . 5 4 3 7 / 0 8 9 5 6 3 0 8 X 5 4 0 5 0 0 6 ;   D o d g s o n   M ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 3 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 2 9 . x ;   d o s   S a n t o s   R ,   2 0 1 1 ,   R & D   M A N A G E ,   V 4 1 ,   P 4 4 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 1 1 . 0 0 6 6 0 . x ;   E b n e r   W ,   2 0 0 9 ,   R & D   M A N A G E ,   V 3 9 ,   P 3 4 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 9 . 0 0 5 6 4 . x ;   E U C H N E R   J A ,   2 0 1 0 ,   R E S   T E C H N O L O G Y   M A N A G ,   V 5 3 ,   P 7 ;   H a n s o n   R . ,   2 0 0 7 ,   J   P R E D I C T I O N   M A R K E T S ,   V 1 ,   P 3 ;   H a n s o n   R ,   2 0 0 3 ,   I N F O R M   S Y S T   F R O N T ,   V 5 ,   P 1 0 7 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 2 0 5 8 2 0 9 0 7 3 ;   I d e l c h i k   M ,   2 0 1 2 ,   R E S   T E C H N O L   M A N A G E ,   V 5 5 ,   P 2 8 ,   D O I   1 0 . 5 4 3 7 / 0 8 9 5 6 3 0 8 X 5 5 0 4 1 0 1 ;   K a m p   G . ,   2 0 0 9 ,   J   P R E D I C T I O N   M A R K E T S ,   V 3 ,   P 3 9 ;   K a r n i o u c h i n a   E V ,   2 0 1 1 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 8 ,   P 4 7 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 2 0 . x ;   L a C o m b   C A ,   2 0 0 7 ,   I N F O R M   S Y S T   F R O N T ,   V 9 ,   P 2 4 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 6 - 0 0 7 - 9 0 2 4 - 9 ;   L e e   C Y ,   2 0 1 2 ,   M A N A G E   D E C I S ,   V 5 0 ,   P 1 0 9 6 ,   D O I   1 0 . 1 1 0 8 / 0 0 2 5 1 7 4 1 2 1 1 2 . 3 8 3 5 5 ;   L u c k n e r   S . ,   2 0 1 2 ,   P R E D I C T I O N   M A R K E T S   F ;   O ' C o n n o r   G .   C . ,   2 0 0 4 ,   P D M A   T O O L B O O K   2   N E W ,   P 3 3 ;   O s t r o v e r   S . ,   2 0 0 5 ,   J   B U S I N E S S   F O R E C A S T I ,   V 2 4 ,   P 9 ;   R e i d   S E ,   2 0 0 4 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 1 ,   P 1 7 0 ,   D O I   1 0 . 1 1 1 1 / j . 0 7 3 7 - 6 7 8 2 . 2 0 0 4 . 0 0 0 6 8 . x ;   S c h w e i t z e r   F M ,   2 0 1 2 ,   R E S   T E C H N O L   M A N A G E ,   V 5 5 ,   P 3 2 ,   D O I   1 0 . 5 4 3 7 / 0 8 9 5 6 3 0 8 X 5 5 0 3 0 5 5 ;   S m i t h   K G ,   2 0 0 5 ,   A C A D   M A N A G E   J ,   V 4 8 ,   P 3 4 6 ;   S o u k h o r o u k o v a   A ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 1 0 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 8 1 . x ;   S p a n n   M ,   2 0 0 9 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 6 ,   P 3 2 2 ;   S p e a r s   B . ,   2 0 1 0 ,   J   P R E D I C T I O N   M A R K E T S ,   V 3 ,   P 1 7 ;   S u r o w i e c k i   J . ,   2 0 0 6 ,   W I S D O M   C R O W D S 	 2 7 	 1 	 1 	 I N D U S T R I A L   R E S E A R C H   I N S T ,   I N C 	 A R L I N G T O N 	 2 2 0 0   C L A R E N D O N   B L V D ,   S T E   1 1 0 2 ,   A R L I N G T O N ,   V A   2 2 2 0 1   U S A 	 0 8 9 5 - 6 3 0 8 	 1 9 3 0 - 0 1 6 6 	 	 R E S   T E C H N O L   M A N A G E 	 R e s . - T e c h n o l .   M a n a g e . 	 J U L - A U G 	 2 0 1 3 	 5 6 	 4 	 	 	 	 	 1 7 	 2 6 	 	 1 0 . 5 4 3 7 / 0 8 9 5 6 3 0 8 X 5 6 0 4 1 2 6 	 	 1 0 	 B u s i n e s s ;   E n g i n e e r i n g ,   I n d u s t r i a l ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s ;   E n g i n e e r i n g 	 A I 8 X S 	 W O S : 0 0 0 3 3 7 2 1 0 9 0 0 0 0 7 	 	 
 J 	 Y u ,   B ;   W i l l i s ,   M ;   S u n ,   P Y ;   W a n g ,   J 	 	 	 	 Y u ,   B e i ;   W i l l i s ,   M a t t ;   S u n ,   P e i y u a n ;   W a n g ,   J u n 	 	 	 C r o w d s o u r c i n g   P a r t i c i p a t o r y   E v a l u a t i o n   o f   M e d i c a l   P i c t o g r a m s   U s i n g   A m a z o n   M e c h a n i c a l   T u r k 	 J O U R N A L   O F   M E D I C A L   I N T E R N E T   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   A m a z o n   M e c h a n i c a l   T u r k ;   p a r t i c i p a t o r y   d e s i g n ;   m e d i c a l   i n s t r u c t i o n ;   p i c t o g r a m ;   p a t i e n t   c o m m u n i c a t i o n ;   r e a d a b i l i t y ;   h e a l t h   l i t e r a c y 	 P H A R M A C E U T I C A L   P I C T O G R A M S ;   D E S I G N ;   C O M P R E H E N S I O N ;   I N S T R U C T I O N S ;   I N F O R M A T I O N ;   A D H E R E N C E ;   S Y M B O L S 	 B a c k g r o u n d :   C o n s u m e r   a n d   p a t i e n t   p a r t i c i p a t i o n   p r o v e d   t o   b e   a n   e f f e c t i v e   a p p r o a c h   f o r   m e d i c a l   p i c t o g r a m   d e s i g n ,   b u t   i t   c a n   b e   c o s t l y   a n d   t i m e - c o n s u m i n g .   W e   p r o p o s e d   a n d   e v a l u a t e d   a n   i n e x p e n s i v e   a p p r o a c h   t h a t   c r o w d s o u r c e d   t h e   p i c t o g r a m   e v a l u a t i o n   t a s k   t o   A m a z o n   M e c h a n i c a l   T u r k   ( M T u r k )   w o r k e r s ,   w h o   a r e   u s u a l l y   r e f e r r e d   t o   a s   t h e   " t u r k e r s " .   O b j e c t i v e :   T o   a n s w e r   t w o   r e s e a r c h   q u e s t i o n s :   ( 1 )   I s   t h e   t u r k e r s '   c o l l e c t i v e   e f f o r t   e f f e c t i v e   f o r   i d e n t i f y i n g   d e s i g n   p r o b l e m s   i n   m e d i c a l   p i c t o g r a m s ?   a n d   ( 2 )   D o   t h e   t u r k e r s '   d e m o g r a p h i c   c h a r a c t e r i s t i c s   a f f e c t   t h e i r   p e r f o r m a n c e   i n   m e d i c a l   p i c t o g r a m   c o m p r e h e n s i o n ?   M e t h o d s :   W e   d e s i g n e d   a   W e b - b a s e d   s u r v e y   ( o p e n - e n d e d   t e s t s )   t o   a s k   1 0 0   U S   t u r k e r s   t o   t y p e   i n   t h e i r   g u e s s e s   o f   t h e   m e a n i n g   o f   2 0   U S   p h a r m a c o p e i a l   p i c t o g r a m s .   T w o   j u d g e s   i n d e p e n d e n t l y   c o d e d   t h e   t u r k e r s '   g u e s s e s   i n t o   f o u r   c a t e g o r i e s :   c o r r e c t ,   p a r t i a l l y   c o r r e c t ,   w r o n g ,   a n d   c o m p l e t e l y   w r o n g .   T h e   c o m p r e h e n s i b i l i t y   o f   a   p i c t o g r a m   w a s   m e a s u r e d   b y   t h e   p e r c e n t a g e   o f   c o r r e c t   g u e s s e s ,   w i t h   e a c h   p a r t i a l l y   c o r r e c t   g u e s s   c o u n t e d   a s   0 . 5   c o r r e c t .   W e   t h e n   c o n d u c t e d   a   c o n t e n t   a n a l y s i s   o n   t h e   t u r k e r s '   i n t e r p r e t a t i o n s   t o   i d e n t i f y   m i s u n d e r s t a n d i n g s   a n d   a s s e s s   w h e t h e r   t h e   m i s u n d e r s t a n d i n g s   w e r e   c o m m o n .   W e   a l s o   c o n d u c t e d   a   s t a t i s t i c a l   a n a l y s i s   t o   e x a m i n e   t h e   r e l a t i o n s h i p   b e t w e e n   t u r k e r s '   d e m o g r a p h i c   c h a r a c t e r i s t i c s   a n d   t h e i r   p i c t o g r a m   c o m p r e h e n s i o n   p e r f o r m a n c e .   R e s u l t s :   T h e   s u r v e y   w a s   c o m p l e t e d   w i t h i n   3   d a y s   o f   o u r   p o s t i n g   t h e   t a s k   t o   t h e   M T u r k ,   a n d   t h e   c o l l e c t e d   d a t a   a r e   p u b l i c l y   a v a i l a b l e   i n   t h e   m u l t i m e d i a   a p p e n d i x   f o r   d o w n l o a d .   T h e   c o m p r e h e n s i b i l i t y   f o r   t h e   2 0   t e s t e d   p i c t o g r a m s   r a n g e d   f r o m   4 5 %   t o   9 8 % ,   w i t h   a n   a v e r a g e   o f   7 2 . 5 % .   T h e   c o m p r e h e n s i b i l i t y   s c o r e s   o f   1 0   p i c t o g r a m s   w e r e   s t r o n g l y   c o r r e l a t e d   t o   t h e   s c o r e s   o f   t h e   s a m e   p i c t o g r a m s   r e p o r t e d   i n   a n o t h e r   s t u d y   t h a t   u s e d   o r a l   r e s p o n s e - b a s e d   o p e n - e n d e d   t e s t i n g   w i t h   l o c a l   p e o p l e .   T h e   t u r k e r s '   m i s i n t e r p r e t a t i o n s   s h a r e d   c o m m o n   e r r o r s   t h a t   e x p o s e d   d e s i g n   p r o b l e m s   i n   t h e   p i c t o g r a m s .   P a r t i c i p a n t   p e r f o r m a n c e   w a s   p o s i t i v e l y   c o r r e l a t e d   w i t h   t h e i r   e d u c a t i o n a l   l e v e l .   C o n c l u s i o n s :   T h e   r e s u l t s   c o n f i r m e d   t h a t   c r o w d s o u r c i n g   c a n   b e   u s e d   a s   a n   e f f e c t i v e   a n d   i n e x p e n s i v e   a p p r o a c h   f o r   p a r t i c i p a t o r y   e v a l u a t i o n   o f   m e d i c a l   p i c t o g r a m s .   T h r o u g h   W e b - b a s e d   o p e n - e n d e d   t e s t i n g ,   t h e   c r o w d   c a n   e f f e c t i v e l y   i d e n t i f y   p r o b l e m s   i n   p i c t o g r a m   d e s i g n s .   T h e   r e s u l t s   a l s o   c o n f i r m e d   t h a t   e d u c a t i o n   h a s   a   s i g n i f i c a n t   e f f e c t   o n   t h e   c o m p r e h e n s i o n   o f   m e d i c a l   p i c t o g r a m s .   S i n c e   l o w - l i t e r a t e   p e o p l e   a r e   u n d e r r e p r e s e n t e d   i n   t h e   t u r k e r   p o p u l a t i o n ,   f u r t h e r   i n v e s t i g a t i o n   i s   n e e d e d   t o   e x a m i n e   t o   w h a t   e x t e n t   t u r k e r s '   m i s u n d e r s t a n d i n g s   o v e r l a p   w i t h   t h o s e   e l i c i t e d   f r o m   l o w - l i t e r a t e   p e o p l e . 	 [ Y u ,   B e i ;   W i l l i s ,   M a t t ;   S u n ,   P e i y u a n ;   W a n g ,   J u n ]   S y r a c u s e   U n i v ,   S c h   I n f o r m a t   S t u d i e s ,   S y r a c u s e ,   N Y   1 3 2 4 4   U S A 	 Y u ,   B   ( r e p r i n t   a u t h o r ) ,   S y r a c u s e   U n i v ,   S c h   I n f o r m a t   S t u d i e s ,   H i n d s   H a l l ,   S y r a c u s e ,   N Y   1 3 2 4 4   U S A . 	 b y u @ s y r . e d u 	 	 	 J o u r n a l   o f   M e d i c a l   I n t e r n e t   R e s e a r c h 	 W e   t h a n k   a l l   t h e   t u r k e r s   a n d   a n o n y m o u s   v o l u n t e e r s   w h o   p a r t i c i p a t e d   i n   t h i s   s t u d y   a n d   t h e   U S   P h a r m a c o p e i a l   C o n v e n t i o n   f o r   p r o v i d i n g   t h e   p i c t o g r a m s .   T h a n k s   t o   t h e   r e v i e w e r s   f o r   v e r y   v a l u a b l e   c o m m e n t s .   P u b l i c a t i o n   o f   t h i s   a r t i c l e   w a s   c o - s p o n s o r e d   b y   t h e   J o u r n a l   o f   M e d i c a l   I n t e r n e t   R e s e a r c h .   A l l   a u t h o r s   d e c l a r e d   t h a t   t h e y   f a i l e d   t o   i d e n t i f y   a n y   f u n d i n g   s o u r c e   f o r   t h e   p r o j e c t   d e s c r i b e d   i n   t h e   p a p e r   t o   e n a b l e   c o v e r a g e   o f   t h e   p u b l i c a t i o n   c o s t s .   A l l   d e p a r t m e n t / d i v i s i o n   h e a d s / c h a i r s   o f   t h e   a u t h o r   i n s t i t u t i o n s   h a v e   d e c l a r e d   t h a t   n o   i n s t i t u t i o n a l   f u n d i n g   m e c h a n i s m s   f o r   k n o w l e d g e   d i s s e m i n a t i o n   a c t i v i t i e s   a n d / o r   c o v e r a g e   o f   o p e n - a c c e s s   p u b l i s h i n g   c o s t s   a t   t h e i r   d e p a r t m e n t   o r   u n i v e r s i t y   l e v e l   e x i s t . 	 A m e r i c a n   N a t i o n a l   S t a n d a r d s   I n s t i t u t e ,   2 0 0 7 ,   Z 5 3 5 3   A N S I ,   P 3 ;   B u h r m e s t e r   M ,   2 0 1 1 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 6 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 0 3 9 3 9 8 0 ;   B u i   D ,   2 0 1 2 ,   A M I A   A N N   S   P ,   P 1 1 5 8 ;   C h a n   A H S ,   2 0 1 3 ,   P A T I E N T   E D U C   C O U N S ,   V 9 0 ,   P 2 6 8 ,   D O I   1 0 . 1 0 1 6 / j . p e c . 2 0 1 2 . 1 0 . 0 0 9 ;   C h o i   J ,   2 0 1 1 ,   J   C L I N   N U R S ,   V 2 0 ,   P 2 9 8 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 7 0 2 . 2 0 1 1 . 0 3 8 1 4 . x ;   D o w s e   R ,   2 0 0 5 ,   P A T I E N T   E D U C   C O U N S ,   V 5 8 ,   P 6 3 ,   D O I   1 0 . 1 0 1 6 / j . p e c . 2 0 0 4 . 0 6 . 0 1 2 ;   D o w s e   R ,   2 0 0 1 ,   P A T I E N T   E D U C   C O U N S ,   V 4 5 ,   P 8 7 ,   D O I   1 0 . 1 0 1 6 / S 0 7 3 8 - 3 9 9 1 ( 0 0 ) 0 0 1 9 7 - X ;   D o w s e   R ,   2 0 0 3 ,   I N T   J   P H A R M   P R A C T ,   V 1 1 ,   P 1 1 ,   D O I   1 0 . 1 2 1 1 / 0 0 2 2 3 5 7 0 2 8 1 0 ;   F o x   S ,   2 0 1 2 ,   M O B I L E   H L T H   2 0 1 2 ;   G a l t o n   F ,   1 9 0 7 ,   N A T U R E ,   V 7 5 ,   P 4 5 0 ,   D O I   1 0 . 1 0 3 8 / 0 7 5 4 5 0 a 0 ;   H a m e e n - A n t t i l a   K ,   2 0 0 4 ,   P A T I E N T   E D U C   C O U N S ,   V 5 5 ,   P 3 7 1 ,   D O I   1 0 . 1 0 1 6 / j . p e c . 2 0 0 3 . 0 4 . 0 0 6 ;   H e e r   J ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 0 3 ;   H o u t s   P S ,   2 0 0 6 ,   P A T I E N T   E D U C   C O U N S ,   V 6 4 ,   P 3 9 3 ,   D O I   1 0 . 1 0 1 6 / j . p e c . 2 0 0 6 . 0 6 . 0 2 3 ;   I p e i r o t i s   P ,   2 0 1 0 ,   D E M O G R A P H I C S   M E C H   T U ,   P 1 ;   K a t z   M G ,   2 0 0 6 ,   A M   J   H E A L T H - S Y S T   P H ,   V 6 3 ,   P 2 3 9 1 ,   D O I   1 0 . 2 1 4 6 / a j h p 0 6 0 1 6 2 ;   K i m   H ,   2 0 0 9 ,   J   M E D   I N T E R N E T   R E S ,   V 1 1 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 1 2 9 ;   L e s c h   M F ,   2 0 0 2 ,   P   4 6   A N N   H U M   F A C T   E R ,   D O I   [ 1 0 . 1 1 7 7 / 1 5 4 1 9 3 1 2 0 2 0 4 6 0 1 9 1 2 ,   D O I   1 0 . 1 1 7 7 / 1 5 4 1 9 3 1 2 0 2 0 4 6 0 1 9 1 2 ] ] ;   L u e n g o - O r o z   M A ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   P 2 0 7 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 3 3 8 ;   M a n s o o r   L E ,   2 0 0 4 ,   E R G O N   S A ,   V 1 6 ,   P 2 9 ;   M o r r o w   D G ,   1 9 9 6 ,   A P P L   E R G O N ,   V 2 7 ,   P 2 6 7 ,   D O I   1 0 . 1 0 1 6 / 0 0 0 3 - 6 8 7 0 ( 9 6 ) 0 0 0 1 1 - 7 ;   N a k a m u r a   C ,   2 0 1 2 ,   I N T   J   H U M - C O M P U T   S T ,   V 7 0 ,   P 5 3 5 ,   D O I   1 0 . 1 0 1 6 / j . i j h c s . 2 0 1 2 . 0 2 . 0 0 9 ;   N g o h   L   N ,   1 9 9 7 ,   P a t i e n t   E d u c   C o u n s ,   V 3 1 ,   P 2 4 5 ,   D O I   1 0 . 1 0 1 6 / S 0 7 3 8 - 3 9 9 1 ( 9 7 ) 8 9 8 6 6 - 7 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   R i c h l e r   M ,   2 0 1 2 ,   J   C O M M U N I C A T I O N   H E A L ,   V 5 ,   P 2 2 0 ,   D O I   [ 1 0 . 1 1 7 9 / 1 7 5 3 8 0 7 6 1 2 Y . 0 0 0 0 0 0 0 0 1 2 ,   D O I   1 0 . 1 1 7 9 / 1 7 5 3 8 0 7 6 1 2 Y . 0 0 0 0 0 0 0 0 1 2 ] ] ;   R u l a n d   C M ,   2 0 0 8 ,   J   B I O M E D   I N F O R M ,   V 4 1 ,   P 6 2 4 ,   D O I   1 0 . 1 0 1 6 / j . j b i . 2 0 0 7 . 1 0 . 0 0 4 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S o a r e s   M A ,   2 0 1 3 ,   I N T   J   C L I N   P H A R M - N E T ,   V 3 5 ,   P 2 2 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 9 6 - 0 1 2 - 9 6 9 8 - z ;   S w a n   M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 8 8 ;   T u r n e r   A M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   P 2 1 8 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 0 6 3 ;   U . S .   D e p a r t m e n t   o f   H e a l t h   a n d   H u m a n   S e r v i c e s ,   2 0 1 0 ,   H L T H   P E O P L ;   W o g a l t e r   M S ,   2 0 0 6 ,   H U M   F A C   E R ,   P 1 5 9 ;   W o l f f   J S ,   1 9 9 8 ,   H U M   F A C T O R S ,   V 4 0 ,   P 1 7 3 ,   D O I   1 0 . 1 5 1 8 / 0 0 1 8 7 2 0 9 8 7 7 9 4 8 0 4 3 3 ;   Y u   L . ,   2 0 1 1 ,   P   2 9   S I G C H I   C   H U M   F A ,   P 1 3 9 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 7 ] ;   Z e n g - T r e i t l e r   Q i n g ,   2 0 0 8 ,   A M I A   A n n u   S y m p   P r o c ,   P 8 4 9 	 3 4 	 2 	 2 	 J M I R   P U B L I C A T I O N S ,   I N C 	 T O R O N T O 	 5 9   W I N N E R S   C I R C L E ,   T O R O N T O ,   O N   M 4 L   3 Y 7 ,   C A N A D A 	 1 4 3 8 - 8 8 7 1 	 	 	 J   M E D   I N T E R N E T   R E S 	 J .   M e d .   I n t e r n e t   R e s . 	 J U N 	 2 0 1 3 	 1 5 	 6 	 	 	 	 	 	 	 	 1 0 . 2 1 9 6 / j m i r . 2 5 1 3 	 	 1 2 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 1 8 5 I Q 	 W O S : 0 0 0 3 2 1 9 6 1 5 0 0 0 0 9 	 2 3 7 3 2 5 7 2 	 
 J 	 B u r r o w s ,   S ;   P o t t h a s t ,   M ;   S t e i n ,   B 	 	 	 	 B u r r o w s ,   S t e v e n ;   P o t t h a s t ,   M a r t i n ;   S t e i n ,   B e n n o 	 	 	 P a r a p h r a s e   A c q u i s i t i o n   v i a   C r o w d s o u r c i n g   a n d   M a c h i n e   L e a r n i n g 	 A C M   T R A N S A C T I O N S   O N   I N T E L L I G E N T   S Y S T E M S   A N D   T E C H N O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 H u m a n   F a c t o r s ;   E x p e r i m e n t a t i o n ;   P a r a p h r a s e   g e n e r a t i o n ;   p l a g i a r i s m ;   M e c h a n i c a l   T u r k ;   c o r p u s ;   c o s t   a n a l y s i s 	 	 T o   p a r a p h r a s e   m e a n s   t o   r e w r i t e   c o n t e n t   w h i l e   p r e s e r v i n g   t h e   o r i g i n a l   m e a n i n g .   P a r a p h r a s i n g   i s   i m p o r t a n t   i n   f i e l d s   s u c h   a s   t e x t   r e u s e   i n   j o u r n a l i s m ,   a n o n y m i z i n g   w o r k ,   a n d   i m p r o v i n g   t h e   q u a l i t y   o f   c u s t o m e r - w r i t t e n   r e v i e w s .   T h i s   a r t i c l e   c o n t r i b u t e s   t o   p a r a p h r a s e   a c q u i s i t i o n   a n d   f o c u s e s   o n   t w o   a s p e c t s   t h a t   a r e   n o t   a d d r e s s e d   b y   c u r r e n t   r e s e a r c h :   ( 1 )   a c q u i s i t i o n   v i a   c r o w d s o u r c i n g ,   a n d   ( 2 )   a c q u i s i t i o n   o f   p a s s a g e - l e v e l   s a m p l e s .   T h e   c h a l l e n g e   o f   t h e   f i r s t   a s p e c t   i s   a u t o m a t i c   q u a l i t y   a s s u r a n c e ;   w i t h o u t   s u c h   a   m e a n s   t h e   c r o w d s o u r c i n g   p a r a d i g m   i s   n o t   e f f e c t i v e ,   a n d   w i t h o u t   c r o w d s o u r c i n g   t h e   c r e a t i o n   o f   t e s t   c o r p o r a   i s   u n a c c e p t a b l y   e x p e n s i v e   f o r   r e a l i s t i c   o r d e r   o f   m a g n i t u d e s .   T h e   s e c o n d   a s p e c t   a d d r e s s e s   t h e   d e f i c i t   t h a t   m o s t   o f   t h e   p r e v i o u s   w o r k   i n   g e n e r a t i n g   a n d   e v a l u a t i n g   p a r a p h r a s e s   h a s   b e e n   c o n d u c t e d   u s i n g   s e n t e n c e - l e v e l   p a r a p h r a s e s   o r   s h o r t e r ;   t h e s e   s h o r t - s a m p l e   a n a l y s e s   a r e   l i m i t e d   i n   t e r m s   o f   a p p l i c a t i o n   t o   p l a g i a r i s m   d e t e c t i o n ,   f o r   e x a m p l e .   W e   p r e s e n t   t h e   W e b i s   C r o w d   P a r a p h r a s e   C o r p u s   2 0 1 1   ( W e b i s - C P C - 1 1 ) ,   w h i c h   r e c e n t l y   f o r m e d   p a r t   o f   t h e   P A N   2 0 1 0   i n t e r n a t i o n a l   p l a g i a r i s m   d e t e c t i o n   c o m p e t i t i o n .   T h i s   c o r p u s   c o m p r i s e s   p a s s a g e - l e v e l   p a r a p h r a s e s   w i t h   4 0 6 7   p o s i t i v e   s a m p l e s   a n d   3 7 9 2   n e g a t i v e   s a m p l e s   t h a t   f a i l e d   o u r   c r i t e r i a ,   u s i n g   A m a z o n ' s   M e c h a n i c a l   T u r k   f o r   c r o w d s o u r c i n g .   I n   t h i s   a r t i c l e ,   w e   r e v i e w   t h e   l e s s o n s   l e a r n e d   a t   P A N   2 0 1 0 ,   a n d   e x p l a i n   i n   d e t a i l   t h e   m e t h o d   u s e d   t o   c o n s t r u c t   t h e   c o r p u s .   T h e   e m p i r i c a l   c o n t r i b u t i o n s   i n c l u d e   m a c h i n e   l e a r n i n g   e x p e r i m e n t s   t o   e x p l o r e   i f   p a s s a g e - l e v e l   p a r a p h r a s e s   c a n   b e   i d e n t i f i e d   i n   a   t w o - c l a s s   c l a s s i f i c a t i o n   p r o b l e m   u s i n g   p a r a p h r a s e   s i m i l a r i t y   f e a t u r e s ,   a n d   w e   f i n d   t h a t   a   k - n e a r e s t - n e i g h b o r   c l a s s i f i e r   c a n   c o r r e c t l y   d i s t i n g u i s h   b e t w e e n   p a r a p h r a s e d   a n d   n o n p a r a p h r a s e d   s a m p l e s   w i t h   0 . 9 8 0   p r e c i s i o n   a t   0 . 5 2 3   r e c a l l .   T h i s   r e s u l t   i m p l i e s   t h a t   j u s t   u n d e r   h a l f   o f   o u r   s a m p l e s   m u s t   b e   d i s c a r d e d   ( r e m a i n i n g   0 . 4 7 7   f r a c t i o n ) ,   b u t   o u r   c o s t   a n a l y s i s   s h o w s   t h a t   t h e   a u t o m a t i o n   w e   i n t r o d u c e   r e s u l t s   i n   a   1 8 %   f i n a n c i a l   s a v i n g   a n d   o v e r   1 0 0   h o u r s   o f   t i m e   r e t u r n e d   t o   t h e   r e s e a r c h e r s   w h e n   r e p e a t i n g   a   s i m i l a r   c o r p u s   d e s i g n .   O n   t h e   o t h e r   h a n d ,   w h e n   b u i l d i n g   a n   u n r e l a t e d   c o r p u s   r e q u i r i n g ,   s a y ,   2 5 %   t r a i n i n g   d a t a   f o r   t h e   a u t o m a t e d   c o m p o n e n t ,   w e   s h o w   t h a t   t h e   f i n a n c i a l   o u t c o m e   i s   c o s t   n e u t r a l ,   w h i l e   s t i l l   r e t u r n i n g   o v e r   7 0   h o u r s   o f   t i m e   t o   t h e   r e s e a r c h e r s .   T h e   w o r k   p r e s e n t e d   h e r e   i s   t h e   f i r s t   t o   j o i n   t h e   p a r a p h r a s i n g   a n d   p l a g i a r i s m   c o m m u n i t i e s . 	 [ B u r r o w s ,   S t e v e n ;   P o t t h a s t ,   M a r t i n ;   S t e i n ,   B e n n o ]   B a u h a u s   U n i v   W e i m a r ,   W e i m a r ,   G e r m a n y 	 B u r r o w s ,   S   ( r e p r i n t   a u t h o r ) ,   B a u h a u s   U n i v   W e i m a r ,   W e i m a r ,   G e r m a n y . 	 s t e v e n . b u r r o w s @ u n i - w e i m a r . d e 	 	 	 	 	 A l o n s o   O . ,   2 0 0 9 ,   P   S I G I R   2 0 0 9   W O R K S H ,   P 1 5 ;   A m b a t i   V . ,   2 0 1 0 ,   P   L R E C ,   V 2 0 1 0 ,   P 2 1 6 9 ;   A n d r o u t s o p o u l o s   I ,   2 0 1 0 ,   J   A R T I F   I N T E L L   R E S ,   V 3 8 ,   P 1 3 5 ;   B a r r   J e f f ,   2 0 0 6 ,   Q U E U E ,   V 4 ,   P 2 4 ,   D O I   1 0 . 1 1 4 5 / 1 1 4 2 0 5 5 . 1 1 4 2 0 6 7 ;   B a r z i l a y   R . ,   2 0 0 3 ,   P   H L T   N A A C L ,   P 1 6 ;   B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B O O N T H U M   C . ,   2 0 0 4 ,   P   5   A C L   W O R K S H   S T U D ,   P 5 5 ,   D O I   1 0 . 3 1 1 5 / 1 2 1 9 0 7 9 . 1 2 1 9 0 8 9 ;   B R A B H A M   D .   C . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B R O C K E T T   C ,   2 0 0 5 ,   P   3   I N T   W O R K S H   P A R   J ,   P 1 ,   D O I   1 0 . 1 0 1 7 / C B O 9 7 8 0 5 1 1 6 1 4 3 7 8 . 0 0 1 ;   B U Z E K   O ,   2 0 1 0 ,   P   N A A C L   H L T   W O R K S H   C ,   P 2 1 7 ;   C a l l i s o n - B u r c h   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   P 2 8 6 ;   C H E N   D . ,   2 0 1 1 ,   P   4 9   A N N   M   A S S   C O M P ,   P 1 9 0 ;   C h e v e l u   J . ,   2 0 0 9 ,   P   4 7   A N N   M   A S S   C O M P ,   P 2 4 9 ,   D O I   1 0 . 3 1 1 5 / 1 6 6 7 5 8 3 . 1 6 6 7 6 6 0 ;   C l o u g h   P ,   2 0 0 2 ,   P   4 0   A N N   M   A S S   C O M P ,   P 1 5 2 ;   C o h n   T ,   2 0 0 8 ,   C O M P U T   L I N G U I S T ,   V 3 4 ,   P 5 9 7 ,   D O I   1 0 . 1 1 6 2 / c o l i . 0 8 - 0 0 3 - R 1 - 0 7 - 0 4 4 ;   C o r d e i r o   J . ,   2 0 0 7 ,   J   S O F T W A R E ,   V 2 ,   P 1 2 ;   C O R D E I R O   J ,   2 0 0 7 ,   P   2   I N T   M U L T   C O M P   G L ,   P 1 ;   C o r l e y   C . ,   2 0 0 5 ,   P   A C L   W O R K S H   E M P   M O D ,   P 1 3 ,   D O I   1 0 . 3 1 1 5 / 1 6 3 1 8 6 2 . 1 6 3 1 8 6 5 ;   D a s   D . ,   2 0 0 9 ,   P   J O I N T   C   4 7   A N N   M   A ,   P 4 6 8 ;   D e n k o w s k i   M i c h a e l ,   2 0 1 0 ,   P   H L T   N A A C L ,   P 6 6 ;   D O L A N   W .   B . ,   2 0 0 5 ,   P   3   I N T   W O R K S H   P A R ,   P 1 ;   D O R D O Y   A . ,   2 0 0 2 ,   P   N O R T H   C   E D   F U T ,   P 1 ;   F e r n a n d o   S . ,   2 0 0 8 ,   P   1 1   A N N   R E S   C   U K   S P ,   P 1 ;   F E R N A N D O   S . ,   2 0 0 7 ,   T H E S I S   U   S H E F F I E L D   S ;   F R A N K L Y N S T O K E S   A ,   1 9 9 5 ,   S T U D   H I G H   E D U C ,   V 2 0 ,   P 1 5 9 ,   D O I   1 0 . 1 0 8 0 / 0 3 0 7 5 0 7 9 5 1 2 3 3 1 3 8 1 6 7 3 ;   H A M I L T O N   M . ,   2 0 0 4 ,   P   1 2   I N T   C   C O M P   E D ,   P 1 2 7 5 ;   H o l m e s   G . ,   1 9 9 4 ,   P r o c e e d i n g s   o f   t h e   1 9 9 4   S e c o n d   A u s t r a l i a n   a n d   N e w   Z e a l a n d   C o n f e r e n c e   o n   I n t e l l i g e n t   I n f o r m a t i o n   S y s t e m s   ( C a t .   N o . 9 4 T H 8 0 1 9 ) ,   D O I   1 0 . 1 1 0 9 / A N Z I I S . 1 9 9 4 . 3 9 6 9 8 8 ;   K i t t u r   A . ,   2 0 0 8 ,   P   2 6   A N N   S I G C H I   C   H U ,   P 4 5 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 5 7 0 5 4 . 1 3 5 7 1 2 7 ;   K n i g h t   K ,   2 0 0 2 ,   A R T I F   I N T E L L ,   V 1 3 9 ,   P 9 1 ,   D O I   1 0 . 1 0 1 6 / S 0 0 0 4 - 3 7 0 2 ( 0 2 ) 0 0 2 2 2 - 9 ;   K O Z A R E V A   Z ,   2 0 0 6 ,   P   5   I N T   C   N A T   L A N G   P ,   P 5 2 4 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   M a d n a n i   N ,   2 0 1 0 ,   C O M P U T   L I N G U I S T ,   V 3 6 ,   P 3 4 1 ,   D O I   1 0 . 1 1 6 2 / c o l i _ a _ 0 0 0 0 2 ;   M A L A K A S I O T I S   P . ,   2 0 0 9 ,   P   A C L   I J C N L P   2 0 0 9   S T ,   P 2 7 ,   D O I   1 0 . 3 1 1 5 / 1 6 6 7 8 8 4 . 1 6 6 7 8 8 9 ;   M a u r e r   H ,   2 0 0 6 ,   J   U N I V E R S   C O M P U T   S C I ,   V 1 2 ,   P 1 0 5 0 ;   M c C a b e   D .   L . ,   2 0 0 5 ,   I N T   J   E D   I N T E G R I T Y ,   V 1 ,   P 1 ;   P a p i n e n i   K i s h o r e ,   2 0 0 2 ,   P   4 0   A N N   M   A S S   C O M P ,   P 3 1 1 ;   P e d e r s e n   T . ,   2 0 0 4 ,   P   5   A N N   M   N   A M   C H A P T ,   P 3 8 ;   P o t t h a s t   M . ,   2 0 1 0 ,   P   2 3   I N T   C   C O M P   L I N G ,   P 9 9 7 ;   P o t t h a s t   M . ,   2 0 1 0 ,   C L E F   1 0   L A B S   W O R K S H ;   Q i u   L . ,   2 0 0 6 ,   P   2 0 0 6   C   E M P   M E T H   N A ,   P 1 8 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 0 0 7 5 . 1 6 1 0 0 7 9 ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   S H E A R D   J ,   2 0 0 2 ,   P   7   A N N   C   I N N   T E C H N ,   P 1 8 3 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S U   J . ,   2 0 0 7 ,   P R O B A B I L I T Y   E S T I M A T I ;   T a x   D ,   2 0 0 1 ,   T H E S I S   D E L F T   U   T E C H N ;   W a n   S . ,   2 0 0 6 ,   P   A U S T R   L A N G   T E C H N   W ,   P 1 3 1 ;   Z h a o   S h i q i ,   2 0 0 9 ,   P   4 7   A N N   M   A S S   C O M P ,   P 8 3 4 	 4 9 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 2 1 5 7 - 6 9 0 4 	 	 	 A C M   T   I N T E L   S Y S T   T E C 	 A C M   T r a n s .   I n t e l l .   S y s t .   T e c h n o l . 	 J U N 	 2 0 1 3 	 4 	 3 	 	 	 	 	 	 	 	 1 0 . 1 1 4 5 / 2 4 8 3 6 6 9 . 2 4 8 3 6 7 6 	 	 2 1 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 1 7 5 I H 	 W O S : 0 0 0 3 2 1 2 2 3 6 0 0 0 0 7 	 	 
 J 	 R e s n i k ,   P ;   B u z e k ,   O ;   K r o n r o d ,   Y ;   H u ,   C ;   Q u i n n ,   A J ;   B e d e r s o n ,   B B 	 	 	 	 R e s n i k ,   P h i l i p ;   B u z e k ,   O l i v i a ;   K r o n r o d ,   Y a k o v ;   H u ,   C h a n g ;   Q u i n n ,   A l e x a n d e r   J . ;   B e d e r s o n ,   B e n j a m i n   B . 	 	 	 U s i n g   T a r g e t e d   P a r a p h r a s i n g   a n d   M o n o l i n g u a l   C r o w d s o u r c i n g   t o   I m p r o v e   T r a n s l a t i o n 	 A C M   T R A N S A C T I O N S   O N   I N T E L L I G E N T   S Y S T E M S   A N D   T E C H N O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 D e s i g n ;   E x p e r i m e n t a t i o n ;   H u m a n   F a c t o r s ;   L a n g u a g e s ;   M o n o l i n g u a l ;   p a r a p h r a s e ;   m a c h i n e   t r a n s l a t i o n ;   t r a n s l a t i o n ;   t r a n s l a t i o n   i n t e r f a c e ;   h u m a n   c o m p u t a t i o n ;   w i s d o m   o f   c r o w d s ;   c r o w d s o u r c i n g 	 	 T a r g e t e d   p a r a p h r a s i n g   i s   a   n e w   a p p r o a c h   t o   t h e   p r o b l e m   o f   o b t a i n i n g   c o s t - e f f e c t i v e ,   r e a s o n a b l e   q u a l i t y   t r a n s l a t i o n ,   w h i c h   m a k e s   u s e   o f   s i m p l e   a n d   i n e x p e n s i v e   h u m a n   c o m p u t a t i o n s   b y   m o n o l i n g u a l   s p e a k e r s   i n   c o m b i n a t i o n   w i t h   m a c h i n e   t r a n s l a t i o n .   T h e   k e y   i n s i g h t   b e h i n d   t h e   p r o c e s s   i s   t h a t   i t   i s   p o s s i b l e   t o   s p o t   l i k e l y   t r a n s l a t i o n   e r r o r s   w i t h   o n l y   m o n o l i n g u a l   k n o w l e d g e   o f   t h e   t a r g e t   l a n g u a g e ,   a n d   i t   i s   p o s s i b l e   t o   g e n e r a t e   a l t e r n a t i v e   w a y s   t o   s a y   t h e   s a m e   t h i n g   ( i . e . ,   p a r a p h r a s e s )   w i t h   o n l y   m o n o l i n g u a l   k n o w l e d g e   o f   t h e   s o u r c e   l a n g u a g e .   F o r m a l   e v a l u a t i o n   d e m o n s t r a t e s   t h a t   t h i s   a p p r o a c h   c a n   y i e l d   s u b s t a n t i a l   i m p r o v e m e n t s   i n   t r a n s l a t i o n   q u a l i t y ,   a n d   t h e   i d e a   h a s   b e e n   i n t e g r a t e d   i n t o   a   b r o a d e r   f r a m e w o r k   f o r   m o n o l i n g u a l   c o l l a b o r a t i v e   t r a n s l a t i o n   t h a t   p r o d u c e s   f u l l y   a c c u r a t e ,   f u l l y   f l u e n t   t r a n s l a t i o n s   f o r   a   m a j o r i t y   o f   s e n t e n c e s   i n   a   r e a l - w o r l d   t r a n s l a t i o n   t a s k ,   w i t h   n o   i n v o l v e m e n t   o f   h u m a n   b i l i n g u a l   s p e a k e r s . 	 [ R e s n i k ,   P h i l i p ;   K r o n r o d ,   Y a k o v ]   U n i v   M a r y l a n d ,   D e p t   L i n g u i s t ,   C o l l e g e   P k ,   M D   2 0 7 4 2   U S A ;   [ B u z e k ,   O l i v i a ;   H u ,   C h a n g ;   Q u i n n ,   A l e x a n d e r   J . ;   B e d e r s o n ,   B e n j a m i n   B . ]   U n i v   M a r y l a n d ,   D e p t   C o m p   S c i ,   C o l l e g e   P k ,   M D   2 0 7 4 2   U S A 	 R e s n i k ,   P   ( r e p r i n t   a u t h o r ) ,   U n i v   M a r y l a n d ,   D e p t   L i n g u i s t ,   C o l l e g e   P k ,   M D   2 0 7 4 2   U S A . 	 r e s n i k @ u m d . e d u 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ B C S 0 9 4 1 4 5 5 ,   I I S 0 8 3 8 8 0 1 ] ;   G o o g l e   R e s e a r c h   A w a r d 	 T h i s   w o r k   h a s   b e e n   s u p p o r t e d   i n   p a r t   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   u n d e r   a w a r d s   B C S 0 9 4 1 4 5 5   a n d   I I S 0 8 3 8 8 0 1   a n d   b y   a   G o o g l e   R e s e a r c h   A w a r d . 	 [ A n o n y m o u s ] ,   2 0 0 6 ,   P   4 4   A N N   M   A S S   C O M P ,   D O I   1 0 . 3 1 1 5 / 1 2 7 3 0 7 3 . 1 2 7 3 1 3 4 ;   [ A n o n y m o u s ] ,   2 0 0 9 ,   P   1 2   C   E U R   C H A P T   A S S ,   D O I   1 0 . 3 1 1 5 / 1 6 0 9 0 6 7 . 1 6 0 9 0 7 3 ;   B a n n a r d   C . ,   2 0 0 5 ,   P   4 3   A N N   M   A S S   C O M P ,   P 5 9 7 ,   D O I   D O I   1 0 . 3 1 1 5 / 1 2 1 9 8 4 0 . 1 2 1 9 9 1 4 ;   B E D E R S O N   B .   B . ,   2 0 1 0 ,   P   G R A P H   I N T   O T T ,   P 3 9 ;   B O W K E R   L . ,   2 0 0 4 ,   P   2   I N T   W O R K S H   L A N G ,   P 7 0 ,   D O I   1 0 . 3 1 1 5 / 1 7 0 8 0 8 7 . 1 7 0 8 0 9 6 ;   B U Z E K   O ,   2 0 1 0 ,   P   N A A C L   H L T   W O R K S H   C ,   P 2 1 7 ;   C A L L I S O N -   B U R C H   C . ,   2 0 0 6 ,   P   H U M   L A N G   T E C H N   C   N ;   C a l l i s o n - B u r c h   C ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 1 9 6 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 4 3 ;   C A L L I S O N - B U R C H   C . ,   2 0 0 4 ,   P   W O R K S H   E U R   A S S   M A C ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   P 2 8 6 ;   C a l l i s o n - B u r c h   C . ,   2 0 1 0 ,   P   J O I N T   5   W O R K S H   S T A ,   P 1 7 ;   D A B B A D I E   M . ,   2 0 0 2 ,   P   W O R K S H   M A C H   T R A N S L ,   P 8 ;   D O Y O N   J . ,   1 9 9 8 ,   P   A N N   M   A S S   M A C H   T R A ;   D U   J . ,   2 0 1 0 ,   P   C   E M P   M E T H   N A T   L A N ;   D Y E R   C . ,   2 0 1 0 ,   P   C   N M   A M   C H A P T   A S S ;   D Y E R   C . ,   2 0 0 8 ,   P   4 6   A N N   M   A S S   C O M P ;   D Y E R   C . ,   2 0 0 7 ,   P   2   W O R K S H   S T A T   M A C H ;   D y e r   C . ,   2 0 1 0 ,   P   A C L   J U L ,   P 7 ;   E S T E B A N   J . ,   2 0 0 4 ,   P   4 2   A N N   M   A S S   C O M P ,   P 9 4 ;   F A C E B O O K ,   2 0 1 1 ,   F A C   T R A N S L   A P P ;   G U E R R A   L . ,   2 0 0 3 ,   T H E S I S   D U B L I N   C I T Y   U ;   H a b a s h   N . ,   2 0 0 9 ,   P   4   W O R K S H   S T A T   M A C H ,   P 1 7 3 ,   D O I   1 0 . 3 1 1 5 / 1 6 2 6 4 3 1 . 1 6 2 6 4 6 7 ;   H e s t e r   V a u g h n ,   2 0 1 0 ,   P   1   A C M   S   C O M P   D E V   A ;   H o u r c a d e   J P ,   2 0 0 3 ,   I N T E R A C T   C O M P U T ,   V 1 5 ,   P 1 5 1 ,   D O I   1 0 . 1 0 1 6 / S 0 9 5 3 - 5 4 3 8 ( 0 3 ) 0 0 0 0 5 - 5 ;   H U   C . ,   2 0 1 1 ,   H U M A N   F A C T O R S   C O M P U T ;   H U B E R D E A U   L . - P . ,   2 0 0 8 ,   P   4   I N T   S   W I K   W I K I S Y ,   P 1 3 ;   K l e i n   D . ,   2 0 0 2 ,   P   1 5   N E U R   I N F   P R O C   S ,   P 3 ;   K O E H N   P . ,   2 0 0 9 ,   P   A C L   I J C N L P   2 0 0 9   S O ,   P 1 7 ,   D O I   1 0 . 3 1 1 5 / 1 6 6 7 8 7 2 . 1 6 6 7 8 7 7 ;   L A U R I A N   A . - M . ,   1 9 8 4 ,   1 0   I N T   C   C O M P   L I N G   2 ;   M a r t o n   Y . ,   2 0 0 9 ,   P   C   E M P   M E T H   N A T   L A N ,   P 3 8 1 ;   M A X   A . ,   2 0 0 9 ,   P   W O R K S H   A P P L   T E X T   I ,   P 1 8 ,   D O I   1 0 . 3 1 1 5 / 1 7 0 8 1 4 1 . 1 7 0 8 1 4 5 ;   M A X   A . ,   2 0 1 0 ,   P   C   E M P   M E T H   N A T   L A N ;   M E E D A N ,   2 0 1 1 ,   M E E D   A R   E N G L   F O R   U S ;   M o r i t a   D ,   2 0 0 9 ,   L E C T   N O T E S   A R T I F   I N T ,   V 5 9 2 5 ,   P 1 7 ;   M u n r o   R o b e r t ,   2 0 1 0 ,   H A I T I   E M E R G E N C Y   R E S P ;   O c h   F . J . ,   2 0 0 4 ,   P   H U M   L A N G   T E C H N   C   H ,   P 1 6 1 ;   P a p i n e n i   K i s h o r e ,   2 0 0 2 ,   P   4 0   A N N   M   A S S   C O M P ,   P 3 1 1 ;   P R Z Y B O C K I   M . ,   2 0 0 9 ,   M A C H   T R A N S ,   V 2 3 ,   P 7 1 ;   Q U I N N   A .   J ,   2 0 1 1 ,   P   2 4   A A A I   C   A R T   I N T ;   R E S N I K   P . ,   2 0 1 0 ,   P   2 0 1 0   C   E M P   M E T H   N A ,   P 1 2 7 ;   H w a   R . ,   2 0 0 5 ,   N a t u r a l   L a n g u a g e   E n g i n e e r i n g ,   D O I   1 0 . 1 0 1 7 / S 1 3 5 1 3 2 4 9 0 5 0 0 3 8 4 0 ;   S H A H A F   D . ,   2 0 1 0 ,   P   2 4   A A A I   C   A R T   I N T ;   S N O V E R   M . ,   2 0 0 9 ,   M A C H   T R A N S ,   V 2 3 ,   P 1 1 7 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 5 9 0 - 0 0 9 - 9 0 6 2 - 9 ;   S n o v e r   M a t t h e w ,   2 0 0 6 ,   P   7   C   A S S   M A C H   T R A N S ,   P 2 2 3 ;   S O R I C U T   R . ,   2 0 1 0 ,   P   4 8   A N N   M   A S S   C O M P ,   P 6 1 2 ;   T E D ,   2 0 1 1 ,   T E D   I D   W O R T H   S P R E A D ;   V i l a r   D . ,   2 0 0 6 ,   P   5   I N T   C   L A N G   R E S   E ,   P 6 9 7 ;   Y a r o w s k y   D . ,   2 0 0 1 ,   P   1   I N T   C   H U M   L A N G   T ,   P 1 ,   D O I   1 0 . 3 1 1 5 / 1 0 7 2 1 3 3 . 1 0 7 2 1 8 7 ;   Z A I D A N   O .   A N D   C A L L I S O N -   B U R C H ,   2 0 1 1 ,   4 9   A N N   M   A S S   C O M P   L I 	 4 9 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 2 1 5 7 - 6 9 0 4 	 	 	 A C M   T   I N T E L   S Y S T   T E C 	 A C M   T r a n s .   I n t e l l .   S y s t .   T e c h n o l . 	 J U N 	 2 0 1 3 	 4 	 3 	 	 	 	 	 	 	 	 1 0 . 1 1 4 5 / 2 4 8 3 6 6 9 . 2 4 8 3 6 7 1 	 	 2 1 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 1 7 5 I H 	 W O S : 0 0 0 3 2 1 2 2 3 6 0 0 0 0 2 	 	 
 J 	 G r a h a m ,   G 	 	 	 	 G r a h a m ,   G a r y 	 	 	 E x p l o r i n g   i m a g i n a t i v e   f u t u r e s   w r i t i n g   t h r o u g h   t h e   f i c t i o n a l   p r o t o t y p e   ' c r i m e - s o u r c i n g ' 	 F U T U R E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 T h i s   f i c t i o n a l   p r o t o t y p e   p r e s e n t s   a   f u t u r e   p r o p o s i t i o n   o f   p e o p l e   i n t e r a c t i n g   w i t h   t e c h n o l o g i c a l l y   d e s i g n e d   o r   s o c i a l l y   e n g i n e e r e d   p r o d u c e r   e n t i t i e s .   E n t i t i e s   c u s t o m i s e d   s p e c i f i c a l l y   t o   s o l v e   c o m p l e x   s o c i e t a l   p r o b l e m s .   I n   t h i s   c a s e   t h a t   o f   c r i m e   a n d   p u n i s h m e n t .   T h e   p r o t o t y p e   s p e c u l a t e s   h o w   e n t r e p r e n e u r i a l   f i r m s   w i l l   b e   a b l e   t o   e x p l o i t   ' c r o w d s o u r c i n g '   t e c h n o l o g i e s .   I t   a l s o   e x p l o r e s   ' c r o w d s o u r c i n g '   e n t i t i e s   b y   m e a n s   o f   a   f i c t i o n a l   r e f l e c t i o n   o f   h o w   l i f e   m i g h t   u n f o l d   i n   t h e   c r i m i n a l   i n t e r a c t i o n   s p a c e .   T h e   v i g n e t t e   i s   b a s e d   o n   a   f a c t u a l   d i s c u s s i o n / a n a l y s i s   o f   t h e   r e s e a r c h   i n s p i r i n g   t h e s e   v i e w s .   I n   t h e   f i n a l   s e c t i o n   t h e   a u t h o r   e x p l a i n s   h o w   t h i s   p r o t o t y p e   w i l l   b e   d e v e l o p e d   t h r o u g h   f i e l d   r e s e a r c h .   ( C )   2 0 1 3   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 U n i v   L e e d s ,   S c h   B u s i n e s s ,   L e e d s   L S 2   9 J T ,   W   Y o r k s h i r e ,   E n g l a n d 	 G r a h a m ,   G   ( r e p r i n t   a u t h o r ) ,   U n i v   L e e d s ,   S c h   B u s i n e s s ,   M a u r i c e   K e y w o r t h   B l d g ,   L e e d s   L S 2   9 J T ,   W   Y o r k s h i r e ,   E n g l a n d . 	 g . g r a h a m @ l e e d s . a c . u k 	 	 	 	 	 A l d i s s   B . ,   2 0 0 7 ,   S C I   F I C T I O N   O M N I B U S ;   A s i m o v   I . ,   1 9 5 0 ,   I   R O B O T ;   A u g e   M . ,   1 9 9 5 ,   N O N P L A C E S   I N T R O   A N T H ,   p [ 3 0 ,   2 6 ] ;   B a l l a r d   J . G . ,   1 9 9 8 ,   C O C A I N E   N I G H T S ;   B a l l a r d   J . G . ,   2 0 0 8 ,   K I N G D O M   C O M E ;   B r i t t o   J . ,   2 0 1 1 ,   R I O T S   L O N D O N   C R O W D S O ;   C h i a n g   T . ,   1 9 9 8 ,   S T O R Y   Y O U R   L I F E   S T A R ,   V 2 ;   C l a r k e   A . C . ,   1 9 7 3 ,   R E N D E Z V O U S   R A M A ;   D o c t o r o w   C . ,   2 0 0 7 ,   O V E R C L O C K E D   S T O R I E S ;   E g e r t o n   S . ,   2 0 1 1 ,   W O R K S H   P   7   I N T   C   I N T ,   P 1 2 8 ;   G i b s o n   W ,   1 9 8 4 ,   N E U R O M A N C E R ;   H a g e r   M . ,   2 0 1 1 ,   A N A T O M Y   R I O T ;   H e i n l e i n   R .   A . ,   1 9 6 1 ,   S T R A N G E R   S T R A N G E   L A N ;   H e r o d o t o u   H . ,   2 0 1 1 ,   P   5   B I E N N   C   I N N   D A T ;   H o w e   J ,   2 0 0 6 ,   R I S E   C R O W D S O U R C I N G ;   J a m e s o n   F . ,   2 0 0 5 ,   A R C H A E O L O G I E S   F U T U R E ;   J o h n s o n   B . D . ,   2 0 1 0 ,   S C R E E N   F U T U R E   F U T U R E ;   J o h n s o n   B . D . ,   2 0 1 1 ,   S Y N T H E S I S   L E C T   C O M P U ;   L e   G u i n   U r s u l a ,   1 9 7 4 ,   T H E   D I S P O S S E S S E D ;   M c C u l l a g h   P . ,   2 0 1 1 ,   W O R K S H   P   7   I N T   C   I N T ,   P 2 5 5 ;   M c G r a t h   R G ,   2 0 1 0 ,   L O N G   R A N G E   P L A N N ,   V 4 3 ,   P 2 4 7 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 0 9 . 0 7 . 0 0 5 ;   P a n e c k   R . ,   2 0 0 4 ,   I N V I S I B L E   C E N T U R Y ;   P e a r l   J . ,   2 0 1 2 ,   G I V I N G   C O M P U T E R S   F R E ;   R a n d   A y n ,   1 9 4 3 ,   F O U N T A I N H E A D ;   S e l l a r s   S . ,   2 0 1 2 ,   C O M M U N I C A T I O N ,   P 3 6 7 ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   T e e c e   D J ,   2 0 1 0 ,   L O N G   R A N G E   P L A N N ,   V 4 3 ,   P 1 7 2 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 0 9 . 0 7 . 0 0 3 ;   W u   H . - Y . ,   2 0 1 1 ,   W O R K S H   P   7   I N T   C   I N T ,   P 1 5 5 ;   W y s o c k i   E . ,   2 0 1 2 ,   G R E A T   H E I N L E I N   M Y S T E 	 2 9 	 1 	 1 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 0 0 1 6 - 3 2 8 7 	 	 	 F U T U R E S 	 F u t u r e s 	 J U N 	 2 0 1 3 	 5 0 	 	 	 	 S I 	 	 9 4 	 1 0 0 	 	 1 0 . 1 0 1 6 / j . f u t u r e s . 2 0 1 3 . 0 4 . 0 0 2 	 	 7 	 E c o n o m i c s ;   P l a n n i n g   &   D e v e l o p m e n t 	 B u s i n e s s   &   E c o n o m i c s ;   P u b l i c   A d m i n i s t r a t i o n 	 1 8 5 T L 	 W O S : 0 0 0 3 2 1 9 9 3 1 0 0 0 1 1 	 	 
 J 	 C h a n d l e r ,   D ;   K a p e l n e r ,   A 	 	 	 	 C h a n d l e r ,   D a n a ;   K a p e l n e r ,   A d a m 	 	 	 B r e a k i n g   m o n o t o n y   w i t h   m e a n i n g :   M o t i v a t i o n   i n   c r o w d s o u r c i n g   m a r k e t s 	 J O U R N A L   O F   E C O N O M I C   B E H A V I O R   &   O R G A N I Z A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 N a t u r a l   f i e l d   e x p e r i m e n t ;   W o r k e r   m o t i v a t i o n ;   C r o w d s o u r c i n g ;   O n l i n e   l a b o r   m a r k e t s 	 F I E L D   E X P E R I M E N T S ;   P R E F E R E N C E S ;   W O R L D 	 W e   c o n d u c t   t h e   f i r s t   n a t u r a l   f i e l d   e x p e r i m e n t   t o   e x p l o r e   t h e   r e l a t i o n s h i p   b e t w e e n   t h e   " m e a n i n g f u l n e s s "   o f   a   t a s k   a n d   w o r k e r   e f f o r t .   W e   e m p l o y e d   a b o u t   2 5 0 0   w o r k e r s   f r o m   A m a z o n ' s   M e c h a n i c a l   T u r k   ( M T u r k ) ,   a n   o n l i n e   l a b o r   m a r k e t ,   t o   l a b e l   m e d i c a l   i m a g e s .   A l t h o u g h   g i v e n   a n   i d e n t i c a l   t a s k ,   w e   e x p e r i m e n t a l l y   m a n i p u l a t e d   h o w   t h e   t a s k   w a s   f r a m e d .   S u b j e c t s   i n   t h e   m e a n i n g f u l   t r e a t m e n t   w e r e   t o l d   t h a t   t h e y   w e r e   l a b e l i n g   t u m o r   c e l l s   i n   o r d e r   t o   a s s i s t   m e d i c a l   r e s e a r c h e r s ,   s u b j e c t s   i n   t h e   z e r o - c o n t e x t   c o n d i t i o n   ( t h e   c o n t r o l   g r o u p )   w e r e   n o t   t o l d   t h e   p u r p o s e   o f   t h e   t a s k ,   a n d ,   i n   s t a r k   c o n t r a s t ,   s u b j e c t s   i n   t h e   s h r e d d e d   t r e a t m e n t   w e r e   n o t   g i v e n   c o n t e x t   a n d   w e r e   a d d i t i o n a l l y   t o l d   t h a t   t h e i r   w o r k   w o u l d   b e   d i s c a r d e d .   W e   f o u n d   t h a t   w h e n   a   t a s k   w a s   f r a m e d   m o r e   m e a n i n g f u l l y ,   w o r k e r s   w e r e   m o r e   l i k e l y   t o   p a r t i c i p a t e .   W e   a l s o   f o u n d   t h a t   t h e   m e a n i n g f u l   t r e a t m e n t   i n c r e a s e d   t h e   q u a n t i t y   o f   o u t p u t   ( w i t h   a n   i n s i g n i f i c a n t   c h a n g e   i n   q u a l i t y )   w h i l e   t h e   s h r e d d e d   t r e a t m e n t   d e c r e a s e d   t h e   q u a l i t y   o f   o u t p u t   ( w i t h   n o   c h a n g e   i n   q u a n t i t y ) .   W e   b e l i e v e   t h e s e   r e s u l t s   w i l l   g e n e r a l i z e   t o   o t h e r   s h o r t - t e r m   l a b o r   m a r k e t s .   O u r   s t u d y   a l s o   d i s c u s s e s   M T u r k   a s   a n   e x c i t i n g   p l a t f o r m   f o r   r u n n i n g   n a t u r a l   f i e l d   e x p e r i m e n t s   i n   e c o n o m i c s .   ( C )   2 0 1 3   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ C h a n d l e r ,   D a n a ]   M I T ,   C a m b r i d g e ,   M A   0 2 1 4 2   U S A ;   [ K a p e l n e r ,   A d a m ]   U n i v   P e n n ,   W h a r t o n   S c h ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A 	 C h a n d l e r ,   D   ( r e p r i n t   a u t h o r ) ,   M I T ,   5 0   M e m   D r ,   C a m b r i d g e ,   M A   0 2 1 4 2   U S A . 	 d c h a n d l e r @ m i t . e d u ;   k a p e l n e r @ w h a r t o n . u p e n n . e d u 	 	 	 	 	 A n g r i s t   J . D . ,   2 0 0 1 ,   J   B U S I N E S S   E C   S T A T ,   V 1 9 ,   P 2 ;   A r i e l y   D ,   2 0 0 8 ,   J   E C O N   B E H A V   O R G A N ,   V 6 7 ,   P 6 7 1 ,   D O I   1 0 . 1 0 1 6 / j . j e b o . 2 0 0 8 . 0 1 . 0 0 4 ;   B a r a n k a y   I . ,   2 0 1 0 ,   R A N K I N G S   S O C I A L   T O U R ;   B e r i n s k y   A . J . ,   2 0 1 2 ,   P O L I T   A N A L ,   V 2 0 ,   P 3 5 1 ;   C r o s o n   R ,   2 0 0 9 ,   J   E C O N   L I T ,   V 4 7 ,   P 4 4 8 ,   D O I   1 0 . 1 2 5 7 / j e l . 4 7 . 2 . 4 4 8 ;   E r i k s s o n   K . ,   2 0 1 0 ,   J U D G M E N T   D E C I S I O N   M A ,   V 5 ,   P 1 5 9 ;   G n e e z y   U ,   2 0 0 6 ,   E C O N O M E T R I C A ,   V 7 4 ,   P 1 3 6 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 0 2 6 2 . 2 0 0 6 . 0 0 7 0 7 . x ;   H a r r i s o n   G W ,   2 0 0 4 ,   J   E C O N   L I T ,   V 4 2 ,   P 1 0 0 9 ,   D O I   1 0 . 1 2 5 7 / 0 0 2 2 0 5 1 0 4 3 0 0 4 5 7 7 ;   H e n r i c h   J . ,   2 0 1 0 ,   B E H A V   B R A I N   S C I ,   V 3 3 ,   P 6 1 ;   H o l m e s   S . ,   2 0 1 0 ,   D I S T R I B U T E E Y E S   U N P U B ;   H o r t o n   J .   J . ,   P   A C M   C   E L   I N   P R E S S ;   H o r t o n   J J ,   2 0 1 1 ,   E X P   E C O N ,   V 1 4 ,   P 3 9 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 8 3 - 0 1 1 - 9 2 7 3 - 9 ;   I p e i r o t i s   P . ,   2 0 1 0 ,   C E D E R 1 0 0 1   N E W   Y O R K   U ;   L e v i t t   S D ,   2 0 0 9 ,   E U R   E C O N   R E V ,   V 5 3 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . e u r o e c o r e v . 2 0 0 8 . 1 2 . 0 0 1 ;   L e v i t t   S D ,   2 0 0 7 ,   J   E C O N   P E R S P E C T ,   V 2 1 ,   P 1 5 3 ,   D O I   1 0 . 1 2 5 7 / j e p . 2 1 . 2 . 1 5 3 ;   P a o l a c c i   G . ,   2 0 1 0 ,   J U D G M E N T   D E C I S I O N   M A ,   V 5 ,   P 4 1 1 ;   P R E S T O N   A E ,   1 9 8 9 ,   J   L A B O R   E C O N ,   V 7 ,   P 4 3 8 ,   D O I   1 0 . 1 0 8 6 / 2 9 8 2 1 6 ;   R o s e n   S ,   1 9 8 6 ,   H D B   L A B O R   E C ,   V I ,   P 6 4 1 ,   D O I   1 0 . 1 0 1 6 / S 1 5 7 3 - 4 4 6 3 ( 8 6 ) 0 1 0 1 5 - 5 ;   R o s s o   B .   D . ,   2 0 1 0 ,   R E S   O R G   B E H A V ,   V 3 0 ,   P 9 1 ;   S p r o u s e   J ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 1 5 5 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 0 - 0 0 3 9 - 7 ;   S t e r n   S ,   2 0 0 4 ,   M A N A G E   S C I ,   V 5 0 ,   P 8 3 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 4 0 . 0 2 4 1 ;   W r z e s n i e w s k i   A . ,   1 9 9 7 ,   J   R E S   P E R S O N A L I T Y ,   V 3 3 ,   P 2 1 	 2 2 	 5 	 5 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 1 6 7 - 2 6 8 1 	 	 	 J   E C O N   B E H A V   O R G A N 	 J .   E c o n .   B e h a v .   O r g a n . 	 J U N 	 2 0 1 3 	 9 0 	 	 	 	 	 	 1 2 3 	 1 3 3 	 	 1 0 . 1 0 1 6 / j . j e b o . 2 0 1 3 . 0 3 . 0 0 3 	 	 1 1 	 E c o n o m i c s 	 B u s i n e s s   &   E c o n o m i c s 	 1 6 4 M K 	 W O S : 0 0 0 3 2 0 4 1 4 0 0 0 0 0 9 	 	 
 J 	 W u ,   D ;   Z h a n g ,   Y ;   B a o ,   L C ;   R e g a n ,   A C 	 	 	 	 W u ,   D i ;   Z h a n g ,   Y u a n ;   B a o ,   L i c h u n ;   R e g a n ,   A m e l i a   C . 	 	 	 L o c a t i o n - B a s e d   C r o w d s o u r c i n g   f o r   V e h i c u l a r   C o m m u n i c a t i o n   i n   H y b r i d   N e t w o r k s 	 I E E E   T R A N S A C T I O N S   O N   I N T E L L I G E N T   T R A N S P O R T A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   l o c a l i z a t i o n ;   m u l t i c a s t   r o u t i n g ;   o p p o r t u n i s t i c   r o u t i n g ;   v e h i c u l a r   c o m m u n i c a t i o n 	 A D   H O C   N E T W O R K S ;   C O D E S 	 I t   i s   a   c h a l l e n g e   t o   d e s i g n   e f f i c i e n t   r o u t i n g   p r o t o c o l s   f o r   v e h i c u l a r   a d   h o c   n e t w o r k s   ( V A N E T s )   b e c a u s e   o f   t h e i r   h i g h l y   d y n a m i c   p r o p e r t i e s .   W e   a d d r e s s   t h e   v e h i c u l a r   c o m m u n i c a t i o n   p r o b l e m   i n   u r b a n   h y b r i d   n e t w o r k s   a n d   p r e s e n t   a   h y b r i d   r o u t i n g   s c h e m e   f o r   d a t a   d i s s e m i n a t i o n   i n   V A N E T s .   L o c a t i o n - b a s e d   c r o w d s o u r c i n g   o f   n e a r b y   r o a d s i d e   u n i t s   ( R S U s )   h a s   b e e n   a p p l i e d   t o   t h e   i n f r a s t r u c t u r a l   s u p p o r t   o f   i n t e r - v e h i c l e ,   v e h i c l e - t o - r o a d s i d e ,   a n d   i n t e r - r o a d s i d e   c o m m u n i c a t i o n s   i n   h y b r i d   V A N E T s .   T h e   c o m b i n a t i o n   o f   R S U   r e s o u r c e s   a n d   a d   h o c   n e t w o r k s   i n v o l v e s   a n   o n l i n e   p r o b a b i l i s t i c   R S U   r e t r i e v a l   a l g o r i t h m   t h a t   u s e s   c o a r s e - a n d   f i n e - g r a i n e d   l o c a l i z a t i o n   t o   e s t i m a t e   t h e   n u m b e r   a n d   l o c a t i o n   o f   a v a i l a b l e   R S U s ;   a   n e t w o r k   c o d i n g   b a s e d   m u l t i c a s t   r o u t i n g   f o r   d e n s e   V A N E T s   u s i n g   m a x i m u m   d i s t a n c e   s e p a r a t i o n   ( M D S )   c o d e   a n d   l o c a l   t o p o l o g y   i n f o r m a t i o n   f r o m   t h e   f o r w a r d i n g   s e t   t o   a c h i e v e   r o b u s t   c o m m u n i c a t i o n   a n d   m a x - f l o w   m i n - c u t   d a t a   d i s s e m i n a t i o n ;   a n   a p p l i c a t i o n   o f   o p p o r t u n i s t i c   r o u t i n g ,   u s i n g   a   c a r r y - a n d - f o r w a r d   s c h e m e   t o   s o l v e   t h e   f o r w a r d i n g   d i s c o n n e c t i o n   p r o b l e m   i n   s p a r s e   V A N E T s ;   a n d   a   r o u t i n g   s w i t c h   m e c h a n i s m   t o   g u a r a n t e e   q u a l i t y   o f   s e r v i c e   ( Q o S )   u n d e r   v a r i o u s   n e t w o r k   c o n n e c t i v i t y   a n d   d e p l o y m e n t   c o n f i g u r a t i o n s .   T h e   p e r f o r m a n c e   o f   o u r   h y b r i d   r o u t i n g   s c h e m e   i s   e v a l u a t e d   u s i n g   b o t h   s i m u l a t i o n s   a n d   r e a l   t e s t b e d   e x p e r i m e n t s . 	 [ W u ,   D i ;   R e g a n ,   A m e l i a   C . ]   U n i v   C a l i f   I r v i n e ,   D e p t   C o m p   S c i ,   I r v i n e ,   C A   9 2 6 1 7   U S A ;   [ Z h a n g ,   Y u a n ]   S t a t e   F o o d   &   D r u g   A d m   I n f o r m a t   C t r ,   B e i j i n g   1 0 0 0 5 3 ,   P e o p l e s   R   C h i n a ;   [ B a o ,   L i c h u n ]   F 5   N e t w o r k s ,   S a n   J o s e ,   C A   9 5 1 3 4   U S A 	 W u ,   D   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   I r v i n e ,   D e p t   C o m p   S c i ,   I r v i n e ,   C A   9 2 6 1 7   U S A . 	 d w u 3 @ i c s . u c i . e d u ;   z h a n g _ y u a n @ s f d a . g o v . c n ;   b a o l i c h u n @ g m a i l . c o m 	 	 	 U n i v e r s i t y   o f   C a l i f o r n i a   O f f i c e   o f   t h e   P r e s i d e n t 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   U n i v e r s i t y   o f   C a l i f o r n i a   O f f i c e   o f   t h e   P r e s i d e n t   t h r o u g h   t h e   M u l t i c a m p u s   R e s e a r c h   P r o g r a m s   a n d   I n i t i a t i v e s .   T h e   A s s o c i a t e   E d i t o r   f o r   t h i s   p a p e r   w a s   W .   F a n . 	 A b r o u g u i   K ,   2 0 1 1 ,   I E E E   T   I N T E L L   T R A N S P ,   V 1 2 ,   P 7 1 7 ,   D O I   1 0 . 1 1 0 9 / T I T S . 2 0 1 1 . 2 1 5 9 3 7 7 ;   B a s a g n i   S t e f a n ,   1 9 9 9 ,   P   W C N C   9 9 ,   P 3 0 1 ;   D I N G   M ,   2 0 0 9 ,   P   A C M   M O B I H O C   2 0 0 9   N ,   P 1 2 5 ,   D O I   1 0 . 1 1 4 5 / 1 5 3 0 7 4 8 . 1 5 3 0 7 6 6 ;   H a r t e n s t e i n   H ,   2 0 0 8 ,   I E E E   C O M M U N   M A G ,   V 4 6 ,   P 1 6 4 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 0 8 . 4 5 3 9 4 8 1 ;   L e e   K C ,   2 0 0 7 ,   2 0 0 7   M O B I L E   N E T W O R K I N G   F O R   V E H I C U L A R   E N V I R O N M E N T S ,   P 1 0 9 ,   D O I   1 0 . 1 1 0 9 / M O V E . 2 0 0 7 . 4 3 0 0 8 1 4 ;   L i   F ,   2 0 0 7 ,   I E E E   V E H   T E C H N O L   M A G ,   V 2 ,   P 1 2 ,   D O I   1 0 . 1 1 0 9 / M V T . 2 0 0 7 . 9 1 2 9 2 7 ;   L i   S Y R ,   2 0 0 3 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 4 9 ,   P 3 7 1 ,   D O I   1 0 . 1 1 0 9 / T I T . 2 0 0 2 . 8 0 7 2 8 5 ;   M a c W i l l i a m s   F .   J . ,   1 9 7 7 ,   T H E O R Y   E R R O R   C O R R E C T ;   R a p p a p o r t   T .   S . ,   2 0 0 1 ,   W I R E L E S S   C O M M U N I C A T I ;   S I N G L E T O N   R C ,   1 9 6 4 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 1 0 ,   P 1 1 6 ,   D O I   1 0 . 1 1 0 9 / T I T . 1 9 6 4 . 1 0 5 3 6 6 1 ;   T r e i b e r   M . ,   2 0 1 0 ,   I E E E   T   I N T E L L   T R A N S P ,   V 1 1 ,   P 1 7 2 ;   V E R M A N I   L R ,   1 9 8 3 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 2 9 ,   P 1 3 6 ,   D O I   1 0 . 1 1 0 9 / T I T . 1 9 8 3 . 1 0 5 6 6 1 6 ;   W a n g   F Y ,   2 0 1 0 ,   I E E E   T   I N T E L L   T R A N S P ,   V 1 1 ,   P 6 3 0 ,   D O I   1 0 . 1 1 0 9 / T I T S . 2 0 1 0 . 2 0 6 0 2 1 8 ;   W u   D ,   2 0 1 1 ,   I E E E   I N T   C   I N T E L L   T R ,   P 2 0 5 7 ;   W u   D ,   2 0 0 8 ,   I E E E   I P C C C ,   P 1 8 ;   W u   D i ,   2 0 1 0 ,   P   I E E E   W O W M O M   J U N ,   P 5 6 2 ;   X u   K X ,   2 0 0 2 ,   G L O B   T E L E C O M M   C O N F ,   P 7 2 ;   Y A N G   D ,   2 0 1 2 ,   P   1 8   A N N   I N T   C   M O B   C ,   P 1 7 3 	 1 8 	 2 	 2 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 5 2 4 - 9 0 5 0 	 1 5 5 8 - 0 0 1 6 	 	 I E E E   T   I N T E L L   T R A N S P 	 I E E E   T r a n s .   I n t e l l .   T r a n s p .   S y s t . 	 J U N 	 2 0 1 3 	 1 4 	 2 	 	 	 	 	 8 3 7 	 8 4 6 	 	 1 0 . 1 1 0 9 / T I T S . 2 0 1 3 . 2 2 4 3 4 3 7 	 	 1 0 	 E n g i n e e r i n g ,   C i v i l ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T r a n s p o r t a t i o n   S c i e n c e   &   T e c h n o l o g y 	 E n g i n e e r i n g ;   T r a n s p o r t a t i o n 	 1 5 6 N K 	 W O S : 0 0 0 3 1 9 8 2 8 8 0 0 0 3 2 	 	 
 J 	 C h e n ,   T ;   K a n ,   M Y 	 	 	 	 C h e n ,   T a o ;   K a n ,   M i n - Y e n 	 	 	 C r e a t i n g   a   l i v e ,   p u b l i c   s h o r t   m e s s a g e   s e r v i c e   c o r p u s :   t h e   N U S   S M S   c o r p u s 	 L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S M S   c o r p u s ;   C o r p u s   c r e a t i o n ;   E n g l i s h ;   C h i n e s e ;   C r o w d s o u r c i n g ;   M e c h a n i c a l   t u r k ;   Z h u b a j i e 	 S E P T E M B E R   1 1 	 S h o r t   M e s s a g e   S e r v i c e   ( S M S )   m e s s a g e s   a r e   s h o r t   m e s s a g e s   s e n t   f r o m   o n e   p e r s o n   t o   a n o t h e r   f r o m   t h e i r   m o b i l e   p h o n e s .   T h e y   r e p r e s e n t   a   m e a n s   o f   p e r s o n a l   c o m m u n i c a t i o n   t h a t   i s   a n   i m p o r t a n t   c o m m u n i c a t i v e   a r t i f a c t   i n   o u r   c u r r e n t   d i g i t a l   e r a .   A s   m o s t   e x i s t i n g   s t u d i e s   h a v e   u s e d   p r i v a t e   a c c e s s   t o   S M S   c o r p o r a ,   c o m p a r a t i v e   s t u d i e s   u s i n g   t h e   s a m e   r a w   S M S   d a t a   h a v e   n o t   b e e n   p o s s i b l e   u p   t o   n o w .   W e   d e s c r i b e   o u r   e f f o r t s   t o   c o l l e c t   a   p u b l i c   S M S   c o r p u s   t o   a d d r e s s   t h i s   p r o b l e m .   W e   u s e   a   b a t t e r y   o f   m e t h o d o l o g i e s   t o   c o l l e c t   t h e   c o r p u s ,   p a y i n g   p a r t i c u l a r   a t t e n t i o n   t o   p r i v a c y   i s s u e s   t o   a d d r e s s   c o n t r i b u t o r s '   c o n c e r n s .   O u r   l i v e   p r o j e c t   c o l l e c t s   n e w   S M S   m e s s a g e   s u b m i s s i o n s ,   c h e c k s   t h e i r   q u a l i t y ,   a n d   a d d s   v a l i d   m e s s a g e s .   W e   r e l e a s e   t h e   r e s u l t a n t   c o r p u s   a s   X M L   a n d   a s   S Q L   d u m p s ,   a l o n g   w i t h   m o n t h l y   c o r p u s   s t a t i s t i c s .   W e   o p p o r t u n i s t i c a l l y   c o l l e c t   a s   m u c h   m e t a d a t a   a b o u t   t h e   m e s s a g e s   a n d   t h e i r   s e n d e r s   a s   p o s s i b l e ,   s o   a s   t o   e n a b l e   d i f f e r e n t   t y p e s   o f   a n a l y s e s .   T o   d a t e ,   w e   h a v e   c o l l e c t e d   m o r e   t h a n   7 1 , 0 0 0   m e s s a g e s ,   f o c u s i n g   o n   E n g l i s h   a n d   M a n d a r i n   C h i n e s e . 	 [ C h e n ,   T a o ;   K a n ,   M i n - Y e n ]   N a t l   U n i v   S i n g a p o r e ,   S c h   C o m p ,   S i n g a p o r e   1 1 7 4 1 7 ,   S i n g a p o r e 	 C h e n ,   T   ( r e p r i n t   a u t h o r ) ,   N a t l   U n i v   S i n g a p o r e ,   S c h   C o m p ,   A S 6   0 4 - 1 3 , 1 3   C o m p   D r ,   S i n g a p o r e   1 1 7 4 1 7 ,   S i n g a p o r e . 	 t a o c h e n @ c o m p . n u s . e d u . s g ;   k a n m y @ c o m p . n u s . e d u . s g 	 	 	 C h i n a - S i n g a p o r e   I n s t i t u t e   o f   D i g i t a l   M e d i a   [ R   2 5 2 - 0 0 2 - 3 7 2 - 4 9 0 ] 	 W e   w o u l d   l i k e   t o   t h a n k   m a n y   o f   o u r   c o l l e a g u e s   w h o   h a v e   m a d e   v a l u a b l e   s u g g e s t i o n s   o n   t h e   S M S   c o l l e c t i o n ,   i n c l u d i n g   J e s s e   P r a b a w a   G o z a l i ,   Z i h e n g   L i n ,   J u n - P i n g   N g ,   K a z u n a r i   S u g i y a m a ,   Y e e   F a n   T a n ,   A o b o   W a n g   a n d   J i n   Z h a o .   T h e   a u t h o r s   g r a t e f u l l y   a c k n o w l e d g e   t h e   s u p p o r t   o f   t h e   C h i n a - S i n g a p o r e   I n s t i t u t e   o f   D i g i t a l   M e d i a ' s   s u p p o r t   o f   t h i s   w o r k   b y   t h e   " C o - t r a i n i n g   N L P   s y s t e m s   a n d   L a n g u a g e   L e a r n e r s ' '   g r a n t   R   2 5 2 - 0 0 2 - 3 7 2 - 4 9 0 . 	 B A C H   C ,   2 0 1 0 ,   T H E S I S   L U N D   U ;   B a c k   M D ,   2 0 1 1 ,   P S Y C H O L   S C I ,   V 2 2 ,   P 8 3 7 ,   D O I   1 0 . 1 1 7 7 / 0 9 5 6 7 9 7 6 1 1 4 0 9 5 9 2 ;   B a c k   M D ,   2 0 1 0 ,   P S Y C H O L   S C I ,   V 2 1 ,   P 1 4 1 7 ,   D O I   1 0 . 1 1 7 7 / 0 9 5 6 7 9 7 6 1 0 3 8 2 1 2 4 ;   B A R A S A   S ,   2 0 1 0 ,   T H E S I S   L E I D E N   U ;   B O D O M O   A B ,   2 0 1 0 ,   G R A M M A R   M O B I L E   P H O N E ,   P 1 1 0 ;   C a l l i s o n - B u r c h   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 ;   C h i l t o n   L .   B . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 8 8 9 ;   C h o u d h u r y   M . ,   2 0 0 7 ,   P   I J C A I   W O R K S H   A N   N O ,   P 6 3 ;   C r i s p i n   T h u r l o w ,   2 0 0 3 ,   D I S C O U R S E   A N A L   O N L I N ,   V 1 ,   P 3 0 ;   C r y s t a l   D ,   2 0 0 8 ,   T X T N G   G R 8   D B 8 ;   D E N B Y   L ,   2 0 1 0 ,   T H E S I S   U   L E E D S ;   D e u m e r t   A . ,   2 0 0 8 ,   E N G L   W O R L D - W I D E ,   V 2 9 ,   P 1 1 7 ,   D O I   1 0 . 1 0 7 5 / e w w . 2 9 . 2 . 0 2 d e u ;   D I P A L A N T I N O   D ,   2 0 1 1 ,   T E C H N I C A L   R E P O R T ;   D U R S C H E I D   C ,   2 0 1 1 ,   S M S 4 S C I E N C E   I N T   C O R P ,   p C H 5 ;   E L I Z O N D O   J ,   2 0 1 1 ,   T H E S I S   S W A R T H M O R E   C O ;   E L V I S   F W ,   2 0 0 9 ,   I N T   J   L A N G U A G E   S O C   C ,   P 2 5 ;   F A I R O N   C ,   2 0 0 6 ,   P   L A N G   R E S   E V ;   G A O   Q ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 3 0 ;   G I B B O N   D ,   2 0 0 8 ,   P   5   I N T   T A G   P E R S P   J U ;   G r i n t e r   R . ,   2 0 0 3 ,   P   S I G C H I   C   H U M   F A C T ,   P 4 4 1 ;   H E R R I N G   S ,   2 0 0 9 ,   W R I T   C O M M U N ,   V 2 6 ,   P 2 7 ;   H o w   Y . ,   2 0 0 4 ,   T H E S I S   N A T L   U   S I N G A P ;   H O W   Y ,   2 0 0 5 ,   P   H C I I   L A W R   E R L B   A S S ;   H u t c h b y   I ,   2 0 0 8 ,   D I S C O U R S E   C O M M U N ,   V 2 ,   P 1 4 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 5 0 4 8 1 3 0 7 0 8 8 4 8 1 ;   I p e i r o t i s   P . ,   2 0 1 0 ,   C E D E R 1 0 0 1   N E W   Y O R K   U ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   X R D S   C R O S S R O A D S   A C M ,   V 1 7 ,   P 1 6 ;   J O N S S O N   H ,   2 0 1 0 ,   2 0 1 0   1 4   I N T   C   I N T   N E ,   P 1 ;   J U   Y ,   2 0 0 9 ,   P   I N T   C I T ,   P 1 ;   K a s e s n i e m i   E L ,   2 0 0 2 ,   P E R P E T U A L   C O N T A C T :   M O B I L E   C O M M U N I C A T I O N ,   P R I V A T E   T A L K ,   P U B L I C   P E R F O R M A N C E ,   P 1 7 0 ;   L E X A N D E R   K V ,   2 0 1 1 ,   W O R K I N G   P A P E R ;   L i n g   R ,   2 0 0 5 ,   C O M P   S U P P   C O M P   W   S E R ,   P 3 3 5 ;   L i n g   R ,   2 0 0 7 ,   J   L A N G   S O C   P S Y C H O L ,   V 2 6 ,   P 2 9 1 ,   D O I   1 0 . 1 1 7 7 / 0 2 6 1 9 2 7 X 0 6 3 0 3 4 8 0 ;   L I U   F ,   2 0 0 7 ,   I N T   J   K N O W L E D G E   S Y S T ,   V 4 ,   P 3 2 ;   L i u   W . ,   2 0 1 0 ,   J   C O M P U T E R S ,   V 5 ,   P 8 4 4 ,   D O I   D O I   1 0 . 4 3 0 4 / J C P . 5 . 6 . 8 4 4 - 8 5 1 ;   M a s o n   W ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 7 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 7 5 ;   M U N R O   R ,   2 0 1 2 ,   P   2   A C M   S   C O M P   D E V   A ;   O G L E   T ,   2 0 0 5 ,   T H E S I S   U   S H E F F I E L D ;   P i a o   C H ,   2 0 0 9 ,   P R O C E E D I N G S   O F   T H E   S E C O N D   I N T E R N A T I O N A L   S Y M P O S I U M   O N   E L E C T R O N I C   C O M M E R C E   A N D   S E C U R I T Y ,   V O L   I I ,   P 4 7 4 ,   D O I   1 0 . 1 1 0 9 / I S E C S . 2 0 0 9 . 2 2 2 ;   P I E T R I N I   D ,   2 0 0 1 ,   I T A L I E N I S C H ,   V 4 6 ,   P 9 2 ;   Q u i n n   A J ,   2 0 0 9 ,   T E C H N I C A L   R E P O R T ;   R E S N I K   P . ,   2 0 1 0 ,   P   2 0 1 0   C   E M P   M E T H   N A ,   P 1 2 7 ;   R e t t i e   R . ,   2 0 0 7 ,   P S Y C H N O L O G Y   J ,   V 5 ,   P 3 3 ;   R i t t e r   A . ,   2 0 1 1 ,   P   C   E M P   M E T H   N A T   L A N ,   P 5 8 3 ;   S C H L O B I N S K I   P ,   2 0 0 1 ,   S I M S E N   P I L O T S T U D I E   S ;   S E G E R S T A D   Y ,   2 0 0 2 ,   T H E S I S   U   G O T H E N B U R G ;   S H O R T I S   T ,   2 0 0 1 ,   I N T   L I T   R E S   N E T W   C   L ;   S O T I L L O   S ,   2 0 1 0 ,   S M S   T E X T I N G   P R A C T I C E ,   P 2 5 2 ;   S u n   Y Q ,   2 0 1 1 ,   C O M P U T   H U M   B E H A V ,   V 2 7 ,   P 1 0 3 3 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 0 . 1 2 . 0 0 7 ;   T a g g   C . ,   2 0 0 9 ,   T H E S I S   U   B I R M I N G H A M ;   W A L K O W S K A   J ,   2 0 0 9 ,   R E C E N T   A D V   I N T E L L I G E ;   W a n g   A . ,   2 0 1 2 ,   P   2   W O R K S H   L A N G   S O C ,   P 4 6 ;   W a n g   A B ,   2 0 1 3 ,   L A N G   R E S O U R   E V A L ,   V 4 7 ,   P 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 7 9 - 0 1 2 - 9 1 7 6 - 1 ;   Y a n g   J ,   2 0 0 8 ,   E C ' 0 8 :   P R O C E E D I N G S   O F   T H E   2 0 0 8   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E ,   P 2 4 6 ;   Y A N G   J ,   2 0 0 8 ,   P   I N T   A A A I   C   W E B L   S O ;   Z h a n g   L . ,   2 0 1 1 ,   8   I N T   C   S E R V   S Y S T   S E ,   p 1   ;   [ hTKQpQ  Z H O U   K e l a n ] ,   2 0 0 7 ,   [ -NeOo`f[b,   J o u r n a l   o f   C h i n e s e   I n f o r m a t i o n   P r o c e s s i n g ] ,   V 2 1 ,   P 6 7 ;   F u c h s   M Z ,   2 0 0 8 ,   J E Z I K O S L O V L J E ,   V 9 ,   P 1 0 9 	 5 7 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 5 7 4 - 0 2 0 X 	 	 	 L A N G   R E S O U R   E V A L 	 L a n g .   R e s o u r .   E v a l . 	 J U N 	 2 0 1 3 	 4 7 	 2 	 	 	 	 	 2 9 9 	 3 3 5 	 	 1 0 . 1 0 0 7 / s 1 0 5 7 9 - 0 1 2 - 9 1 9 7 - 9 	 	 3 7 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 C o m p u t e r   S c i e n c e 	 1 5 5 V M 	 W O S : 0 0 0 3 1 9 7 7 6 5 0 0 0 0 2 	 	 
 J 	 L l o r e t ,   E ;   P l a z a ,   L ;   A k e r ,   A 	 	 	 	 L l o r e t ,   E l e n a ;   P l a z a ,   L a u r a ;   A k e r ,   A h m e t 	 	 	 A n a l y z i n g   t h e   c a p a b i l i t i e s   o f   c r o w d s o u r c i n g   s e r v i c e s   f o r   t e x t   s u m m a r i z a t i o n 	 L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 I n f o r m a t i o n   r e t r i e v a l ;   T e x t   s u m m a r i z a t i o n ;   C r o w d s o u r c i n g   s e r v i c e s ;   C r o w d f l o w e r ;   M e c h a n i c a l   T u r k 	 	 T h i s   p a p e r   p r e s e n t s   a   d e t a i l e d   a n a l y s i s   o f   t h e   u s e   o f   c r o w d s o u r c i n g   s e r v i c e s   f o r   t h e   T e x t   S u m m a r i z a t i o n   t a s k   i n   t h e   c o n t e x t   o f   t h e   t o u r i s t   d o m a i n .   I n   p a r t i c u l a r ,   o u r   a i m   i s   t o   r e t r i e v e   r e l e v a n t   i n f o r m a t i o n   a b o u t   a   p l a c e   o r   a n   o b j e c t   p i c t u r e d   i n   a n   i m a g e   i n   o r d e r   t o   p r o v i d e   a   s h o r t   s u m m a r y   w h i c h   w i l l   b e   o f   g r e a t   h e l p   f o r   a   t o u r i s t .   F o r   t a c k l i n g   t h i s   t a s k ,   w e   p r o p o s e d   a   b r o a d   s e t   o f   e x p e r i m e n t s   u s i n g   c r o w d s o u r c i n g   s e r v i c e s   t h a t   c o u l d   b e   u s e f u l   a s   a   r e f e r e n c e   f o r   o t h e r s   w h o   w a n t   t o   r e l y   a l s o   o n   c r o w d s o u r c i n g .   F r o m   t h e   a n a l y s i s   c a r r i e d   o u t   t h r o u g h   o u r   e x p e r i m e n t a l   s e t u p   a n d   t h e   r e s u l t s   o b t a i n e d ,   w e   c a n   c o n c l u d e   t h a t   a l t h o u g h   c r o w d s o u r c i n g   s e r v i c e s   w e r e   n o t   g o o d   t o   s i m p l y   g a t h e r   g o l d - s t a n d a r d   s u m m a r i e s   ( i . e . ,   f r o m   t h e   r e s u l t s   o b t a i n e d   f o r   e x p e r i m e n t s   1 ,   2   a n d   4 ) ,   t h e   e n c o u r a g i n g   r e s u l t s   o b t a i n e d   i n   t h e   t h i r d   a n d   s i x t h   e x p e r i m e n t s   m o t i v a t e   u s   t o   s t r o n g l y   b e l i e v e   t h a t   t h e y   c a n   b e   s u c c e s s f u l l y   e m p l o y e d   f o r   f i n d i n g   s o m e   p a t t e r n s   o f   b e h a v i o u r   h u m a n s   h a v e   w h e n   g e n e r a t i n g   s u m m a r i e s ,   a n d   f o r   v a l i d a t i n g   a n d   c h e c k i n g   o t h e r   t a s k s .   F u r t h e r m o r e ,   t h i s   a n a l y s i s   s e r v e s   a s   a   g u i d e l i n e   f o r   t h e   t y p e s   o f   e x p e r i m e n t s   t h a t   m i g h t   o r   m i g h t   n o t   w o r k   w h e n   u s i n g   c r o w d s o u r c i n g   i n   t h e   c o n t e x t   o f   t e x t   s u m m a r i z a t i o n . 	 [ L l o r e t ,   E l e n a ]   U n i v   A l i c a n t e ,   E - 0 3 0 8 0   A l i c a n t e ,   S p a i n ;   [ P l a z a ,   L a u r a ]   U n i v   C o m p l u t e n s e   M a d r i d ,   E - 2 8 0 4 0   M a d r i d ,   S p a i n ;   [ A k e r ,   A h m e t ]   U n i v   S h e f f i e l d ,   S h e f f i e l d   S 1   4 D P ,   S   Y o r k s h i r e ,   E n g l a n d 	 L l o r e t ,   E   ( r e p r i n t   a u t h o r ) ,   U n i v   A l i c a n t e ,   A p d o   C o r r e o s   9 9 ,   E - 0 3 0 8 0   A l i c a n t e ,   S p a i n . 	 e l l o r e t @ d l s i . u a . e s ;   l p l a z a m @ f d i . u c m . e s ;   a . a k e r @ d c s . s h e f . a c . u k 	 	 	 E U   [ I S T - F P 6 - 0 4 5 3 3 5 ] ;   S p a n i s h   G o v e r n m e n t   t h r o u g h   t h e   F P U   p r o g r a m ;   S p a n i s h   G o v e r n m e n t   [ T I N 2 0 0 9 - 1 4 6 5 9 - C 0 3 - 0 1 ,   T S I   0 2 0 3 1 2 - 2 0 0 9 - 4 4 ,   T I N 2 0 0 9 - 1 3 3 9 1 - C 0 4 - 0 1 ] ;   C o n s e l l e r i a   d ' E d u c a c i o ' - G e n e r a l i t a t   V a l e n c i a n a   [ P R O M E T E O / 2 0 0 9 / 1 1 9 ,   A C O M P / 2 0 1 0 / 2 8 6 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   E U - f u n d e d   T R I P O D   p r o j e c t   ( I S T - F P 6 - 0 4 5 3 3 5 )   a n d   b y   t h e   S p a n i s h   G o v e r n m e n t   t h r o u g h   t h e   F P U   p r o g r a m   a n d   t h e   p r o j e c t s   T I N 2 0 0 9 - 1 4 6 5 9 - C 0 3 - 0 1 ,   T S I   0 2 0 3 1 2 - 2 0 0 9 - 4 4 ,   a n d   T I N 2 0 0 9 - 1 3 3 9 1 - C 0 4 - 0 1 ;   a n d   b y   C o n s e l l e r i a   d ' E d u c a c i o ' - G e n e r a l i t a t   V a l e n c i a n a   ( g r a n t   n o .   P R O M E T E O / 2 0 0 9 / 1 1 9   a n d   g r a n t   n o .   A C O M P / 2 0 1 0 / 2 8 6 ) . 	 A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   B e d e r s o n   B .   B . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ;   B i e w a l d   L . ,   2 0 1 0 ,   P   S I G I R   W O R K S H   C R O W D ,   P 1 7 ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   P 2 8 6 ;   D a k k a   W ,   2 0 0 8 ,   P R O C   I N T   C O N F   D A T A ,   P 4 6 6 ,   D O I   1 0 . 1 1 0 9 / I C D E . 2 0 0 8 . 4 4 9 7 4 5 5 ;   D r e d z e   M . ,   2 0 1 0 ,   C S L D A M T ,   P 8 0 ;   F e n g   D . ,   2 0 0 9 ,   P   2 0 0 9   W O R K S H   P E O P L ,   P 5 1 ,   D O I   1 0 . 3 1 1 5 / 1 6 9 9 7 6 5 . 1 6 9 9 7 7 3 ;   F o r s y t h   D . ,   2 0 0 8 ,   U T I L I T Y   D A T A   A N N O T A T ,   P 1 ;   F o x   C . ,   2 0 1 0 ,   P   7   C   I N T   L A N G   R E S   E ;   G a i z a u s k a s   R . ,   2 0 1 0 ,   P   7   C   I N T   L A N G   R E S   E ;   G i a n n a k o p o u l o s   G . ,   2 0 0 8 ,   A C M   T   S P E E C H   L A N G   P R ,   V 5 ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 4 1 0 3 5 8 . 1 4 1 0 3 5 9 ;   G i l l i c k   D . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ;   H e i l m a n   M . ,   2 0 1 0 ,   P   N A A C L   H L T H   2 0 1 0   W O ,   P 0 0 ;   K a i s s e r   M . ,   2 0 0 8 ,   P   A C L   0 8 ,   P 7 0 1 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K r u s c h w i t z   U . ,   2 0 1 2 ,   P   L R E C ;   L i n   C . - Y . ,   2 0 0 4 ,   P   W O R K S H   T E X T   S U M M   B ,   P 7 4 ;   M a s o n   W . ,   2 0 1 0 ,   S I G K D D   E X P L O R   N E W S L ,   V 1 1 ,   P 1 0 0 ;   M e h d a d   Y . ,   2 0 1 0 ,   C S L D A M T   1 0 ,   P 2 1 2 ;   N a k o v   P ,   2 0 0 8 ,   L E C T   N O T E S   A R T I F   I N T ,   V 5 2 5 3 ,   P 1 0 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 8 5 7 7 6 - 1 _ 1 0 ;   S h e n g   V . ,   2 0 0 8 ,   K D D   0 8 ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   S i n d h w a n i   V . ,   2 0 0 9 ,   H L T   0 9 ,   P 2 7 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   T a n g   J . ,   2 0 1 0 ,   P   3 2   E U R   C   I N F   R E T R 	 2 4 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 5 7 4 - 0 2 0 X 	 	 	 L A N G   R E S O U R   E V A L 	 L a n g .   R e s o u r .   E v a l . 	 J U N 	 2 0 1 3 	 4 7 	 2 	 	 	 	 	 3 3 7 	 3 6 9 	 	 1 0 . 1 0 0 7 / s 1 0 5 7 9 - 0 1 2 - 9 1 9 8 - 8 	 	 3 3 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 C o m p u t e r   S c i e n c e 	 1 5 5 V M 	 W O S : 0 0 0 3 1 9 7 7 6 5 0 0 0 0 3 	 	 
 J 	 B o w ,   H C ;   D a t t i l o ,   J R ;   J o n a s ,   A M ;   L e h m a n n ,   C U 	 	 	 	 B o w ,   H a n s e n   C . ;   D a t t i l o ,   J o n a t h a n   R . ;   J o n a s ,   A n d r e a   M . ;   L e h m a n n ,   C h r i s t o p h   U . 	 	 	 A   C r o w d s o u r c i n g   M o d e l   f o r   C r e a t i n g   P r e c l i n i c a l   M e d i c a l   E d u c a t i o n   S t u d y   T o o l s 	 A C A D E M I C   M E D I C I N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 D u r i n g   t h e i r   p r e c l i n i c a l   c o u r s e   w o r k ,   m e d i c a l   s t u d e n t s   m u s t   m e m o r i z e   a n d   r e c a l l   s u b s t a n t i a l   a m o u n t s   o f   i n f o r m a t i o n .   R e c e n t   t r e n d s   i n   m e d i c a l   e d u c a t i o n   e m p h a s i z e   c o l l a b o r a t i o n   t h r o u g h   t e a m - b a s e d   l e a r n i n g .   I n   t h e   t e c h n o l o g y   w o r l d ,   t h e   t r e n d   t o w a r d   c o l l a b o r a t i o n   h a s   b e e n   c h a r a c t e r i z e d   b y   t h e   c r o w d s o u r c i n g   m o v e m e n t .   I n   2 0 1 1 ,   t h e   a u t h o r s   d e v e l o p e d   a n   i n n o v a t i v e   a p p r o a c h   t o   t e a m - b a s e d   l e a r n i n g   t h a t   c o m b i n e d   s t u d e n t s '   u s e   o f   f l a s h c a r d s   t o   m a s t e r   l a r g e   v o l u m e s   o f   c o n t e n t   w i t h   a   c r o w d s o u r c i n g   m o d e l ,   u s i n g   a   s i m p l e   i n f o r m a t i c s   s y s t e m   t o   e n a b l e   t h o s e   s t u d e n t s   t o   s h a r e   i n   t h e   e f f o r t   o f   g e n e r a t i n g   c o n c i s e ,   h i g h y i e l d   s t u d y   m a t e r i a l s .   T h e   a u t h o r s   u s e d   G o o g l e   D r i v e   a n d   d e v e l o p e d   a   s i m p l e   J a v a   s o f t w a r e   p r o g r a m   t h a t   e n a b l e d   s t u d e n t s   t o   s i m u l t a n e o u s l y   a c c e s s   a n d   e d i t   s e t s   o f   q u e s t i o n s   a n d   a n s w e r s   i n   t h e   f o r m   o f   f l a s h c a r d s .   T h r o u g h   t h i s   c r o w d s o u r c i n g   m o d e l ,   m e d i c a l   s t u d e n t s   i n   t h e   c l a s s   o f   2 0 1 4   a t   t h e   J o h n s   H o p k i n s   U n i v e r s i t y   S c h o o l   o f   M e d i c i n e   c r e a t e d   a   d a t a b a s e   o f   o v e r   1 6 , 0 0 0   q u e s t i o n s   t h a t   c o r r e s p o n d e d   t o   t h e   G e n e s   t o   S o c i e t y   b a s i c   s c i e n c e   c u r r i c u l u m .   A n   a n a l y s i s   o f   e x a m   s c o r e s   r e v e a l e d   t h a t   s t u d e n t s   i n   t h e   c l a s s   o f   2 0 1 4   o u t p e r f o r m e d   t h o s e   i n   t h e   c l a s s   o f   2 0 1 3 ,   w h o   d i d   n o t   h a v e   a c c e s s   t o   t h e   f l a s h c a r d   s y s t e m ,   a n d   a   s u r v e y   o f   s t u d e n t s   d e m o n s t r a t e d   t h a t   u s e r s   w e r e   g e n e r a l l y   s a t i s f i e d   w i t h   t h e   s y s t e m   a n d   f o u n d   i t   a   v a l u a b l e   s t u d y   t o o l .   I n   t h i s   a r t i c l e ,   t h e   a u t h o r s   d e s c r i b e   t h e   d e v e l o p m e n t   a n d   i m p l e m e n t a t i o n   o f   t h e i r   c r o w d s o u r c i n g   m o d e l   f o r   c r e a t i n g   s t u d y   m a t e r i a l s ,   e m p h a s i z e   i t s   s i m p l i c i t y   a n d   u s e r - f r i e n d l i n e s s ,   d e s c r i b e   i t s   i m p a c t   o n   s t u d e n t s '   e x a m   p e r f o r m a n c e ,   a n d   d i s c u s s   h o w   s t u d e n t s   i n   a n y   e d u c a t i o n a l   d i s c i p l i n e   c o u l d   i m p l e m e n t   a   s i m i l a r   m o d e l   o f   c o l l a b o r a t i v e   l e a r n i n g . 	 [ B o w ,   H a n s e n   C . ;   D a t t i l o ,   J o n a t h a n   R . ;   J o n a s ,   A n d r e a   M . ]   J o h n s   H o p k i n s   U n i v ,   S c h   M e d ,   B a l t i m o r e ,   M D   U S A ;   [ L e h m a n n ,   C h r i s t o p h   U . ]   V a n d e r b i l t   U n i v ,   S c h   M e d ,   N a s h v i l l e ,   T N   3 7 2 1 2   U S A 	 L e h m a n n ,   C U   ( r e p r i n t   a u t h o r ) ,   2 2 0 0   C h i l d r e n s   W a y , 1 1 1 1 1   D o c t o r s   O f f   T o w e r ,   N a s h v i l l e ,   T N   3 7 2 3 2   U S A . 	 c h r i s t o p h . u . l e h m a n n @ V a n d e r b i l t . E d u 	 H e r r i n g ,   A n n a / L - 7 8 5 9 - 2 0 1 4 	 	 	 	 A l l e n   E B ,   2 0 0 8 ,   M E D   T E A C H ,   V 3 0 ,   P 4 0 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 2 1 5 9 0 7 0 1 7 5 3 5 1 8 ;   B o t t i r o l i   S ,   2 0 1 0 ,   A G I N G   N E U R O P S Y C H O L   C ,   V 1 7 ,   P 5 9 1 ,   D O I   1 0 . 1 0 8 0 / 1 3 8 2 5 5 8 5 . 2 0 1 0 . 4 8 1 3 5 6 ;   B o w   H ,   2 0 1 2 ,   C O M M U N I C A T I O N ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C a n t i l l o n   P ,   2 0 0 8 ,   M E D   E D U C ,   V 4 2 ,   P 9 5 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 2 3 . 2 0 0 8 . 0 3 1 6 4 . x ;   E l m e s   D ,   A N K I ;   L e h m a n n   H   P ,   1 9 9 7 ,   J A M A ,   V 2 7 8 ,   P 1 7 8 8 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 7 8 . 2 1 . 1 7 8 8 ;   H o w e   J ,   2 0 0 6 ,   C R O W D S O U R C I N G       0 6 0 2 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   K a r p i c k e   J D ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 1 ,   P 7 7 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 9 9 3 2 7 ;   K o r n e l l   N ,   2 0 0 9 ,   M E M O R Y ,   V 1 7 ,   P 4 9 3 ,   D O I   1 0 . 1 0 8 0 / 0 9 6 5 8 2 1 0 9 0 2 8 3 2 9 1 5 ;   L a r s e n   D P ,   2 0 0 8 ,   M E D   E D U C ,   V 4 2 ,   P 9 5 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 2 3 . 2 0 0 8 . 0 3 1 2 4 . x ;   S e i d e l   C L ,   2 0 0 1 ,   A C A D   M E D ,   V 7 6 ,   P 5 3 3 ,   D O I   1 0 . 1 0 9 7 / 0 0 0 0 1 8 8 8 - 2 0 0 1 0 5 0 0 0 - 0 0 0 7 1 ;   T h o m p s o n   B M ,   2 0 0 7 ,   M E D   E D U C ,   V 4 1 ,   P 2 5 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 2 9 . 2 0 0 6 . 0 2 6 8 4 . x 	 1 4 	 2 	 2 	 L I P P I N C O T T   W I L L I A M S   &   W I L K I N S 	 P H I L A D E L P H I A 	 5 3 0   W A L N U T   S T ,   P H I L A D E L P H I A ,   P A   1 9 1 0 6 - 3 6 2 1   U S A 	 1 0 4 0 - 2 4 4 6 	 1 9 3 8 - 8 0 8 X 	 	 A C A D   M E D 	 A c a d .   M e d . 	 J U N 	 2 0 1 3 	 8 8 	 6 	 	 	 	 	 7 7 2 	 7 7 6 	 	 1 0 . 1 0 9 7 / A C M . 0 b 0 1 3 e 3 1 8 2 8 f 8 6 e f 	 	 5 	 E d u c a t i o n ,   S c i e n t i f i c   D i s c i p l i n e s ;   H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h ;   H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s 	 1 5 4 F W 	 W O S : 0 0 0 3 1 9 6 5 8 5 0 0 0 1 4 	 2 3 6 1 9 0 6 1 	 
 J 	 S u t h e r l i n ,   G 	 	 	 	 S u t h e r l i n ,   G w y n e t h 	 	 	 A   v o i c e   i n   t h e   c r o w d :   B r o a d e r   i m p l i c a t i o n s   f o r   c r o w d s o u r c i n g   t r a n s l a t i o n   d u r i n g   c r i s i s 	 J O U R N A L   O F   I N F O R M A T I O N   S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r i s i s   m a n a g e m e n t ;   c r o w d s o u r c i n g ;   p a r t i c i p a t i o n ;   t r a n s l a t i o n 	 W I S D O M 	 B o t h   i n t e r n a t i o n a l   n o n - g o v e r n m e n t a l   o r g a n i z a t i o n s   a n d   g o v e r n m e n t   a c t o r s   h a v e   e m b r a c e d   t h e   t e c h n o l o g i c a l   u n i o n   o f   h u m a n s   a n d   s o f t w a r e ,   k n o w n   a s   c r o w d s o u r c i n g ,   t o   m a n a g e   t h e   f l o o d   o f   i n f o r m a t i o n   p r o d u c e d   d u r i n g   r e c e n t   c r i s e s .   H o w e v e r ,   u n l i k e   a   b u s i n e s s   s o l u t i o n ,   t h e   t a s k   o f   t r a n s l a t i o n   i s   u n i q u e   d u r i n g   a   c r i s i s   s i t u a t i o n ;   t h e   c o s t s   a r e   h u m a n ,   a n d   t h e   i m p a c t   i s   s o c i a l   a n d   p o l i t i c a l .   T h i s   p a p e r   f o l l o w s   f o u r   c r i s e s   i n   w h i c h   d i f f e r e n t   c r o w d s o u r c i n g   a p p l i c a t i o n s   w e r e   d e v e l o p e d   b y   a   r a n g e   o f   a c t o r s .   I n   e a c h   i n s t a n c e ,   t h e   d e s i g n   a p p r o a c h   f a i l e d   t o   i n c o r p o r a t e   t h e   u n i q u e   c i r c u m s t a n c e s   o f   t h e   c o n f l i c t   c o n t e x t ,   r e s u l t i n g   i n   a   t r a n s l a t i o n   a p p l i c a t i o n   t h a t   r e m o v e d   a u t h o r s h i p ,   d i s s o l v e d   i n t e n t i o n a l i t y ,   a n d   s h e d   c o n t e x t u a l   m a r k e r s   f r o m   o r i g i n a l   s o u r c e s .   T h i s   f l a w e d   a p p l i c a t i o n   p r e v e n t e d   t h e   o r i g i n a l   c o n t r i b u t o r s   f r o m   i n t e r a c t i n g   w i t h   t h e   i n f o r m a t i o n   d i r e c t l y   r e l a t e d   t o   t h e i r   o w n   l i f e - t h r e a t e n i n g   s i t u a t i o n ,   a n d   t h e   i n f o r m a t i o n   i t   a m a s s e d   f o r m e d   a n   u n s o u n d   b a s i s   f o r   d e c i s i o n - m a k i n g   b y   i n t e r n a t i o n a l   a c t o r s .   T h e   a s s o c i a t e d   c o n s e q u e n c e s   d u r i n g :   p o s t - e a r t h q u a k e   H a i t i   2 0 1 0 ,   L i b y a   a n d   E g y p t   2 0 1 1   a n d   S o m a l i a   2 0 1 1 / 1 2   a r e   i n t e n d e d   t o   p r o v o k e   p r o c e s s   i m p r o v e m e n t   a m o n g   a l l   s t a k e h o l d e r s . 	 U n i v   B r a d f o r d ,   D e p t   P e a c e   S t u d i e s ,   S c h   S o c i a l   &   I n t   S t u d i e s ,   B r a d f o r d   B D 7   1 D P ,   W   Y o r k s h i r e ,   E n g l a n d 	 S u t h e r l i n ,   G   ( r e p r i n t   a u t h o r ) ,   U n i v   B r a d f o r d ,   D e p t   P e a c e   S t u d i e s ,   S c h   S o c i a l   &   I n t   S t u d i e s ,   B r a d f o r d   B D 7   1 D P ,   W   Y o r k s h i r e ,   E n g l a n d . 	 g b s u t h e r l i n @ g m a i l . c o m 	 	 	 S i d e n s i ;   I K M ;   E A D I 	 I   w o u l d   l i k e   t o   t h a n k   S i d e n s i ,   I K M ,   a n d   E A D I   f o r   t h e i r   s u p p o r t   a n d ,   i n   p a r t i c u l a r ,   W a n g u i   W a   G o r o .   T h i s   r e s e a r c h   r e c e i v e d   n o   s p e c i f i c   g r a n t   f r o m   a n y   f u n d i n g   a g e n c y   i n   t h e   p u b l i c ,   c o m m e r c i a l   o r   n o t - f o r - p r o f i t   s e c t o r s . 	 A n a s t a s i o u   D ,   2 0 1 1 ,   J   I N F O R M   S C I ,   V 3 7 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   R E P O R T S   2 6 7 2 1 3 5 0 ;   A s h b r o o k   T . ,   2 0 1 1 ,   C R O W D S O U R C I N G   F U T U R E ;   B a h a r a d   E ,   2 0 1 1 ,   A U T O N   A G E N T   M U L T I - A G ,   V 2 2 ,   P 3 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 5 8 - 0 0 9 - 9 1 2 0 - y ;   B e r t o t   J T ,   2 0 1 0 ,   P   1 1   A N N   I N T   D I G   G O V ;   C h a n   J ,   2 0 1 1 ,   U S H A H I D I   K E N Y A   E V A L U ;   C u t l e r   K . ,   2 0 1 0 ,   T W E E T   B R O U G H T   M A K E S H ;   D z i e z a   J . ,   2 0 1 0 ,   D A I L Y   B E A S T ;   F l e w   T ,   2 0 1 0 ,   J O U R N A L I S M ,   V 1 1 ,   P 1 3 1 ;   H a r v a r d   H u m a n i t a r i a n   I n i t i a t i v e ,   2 0 1 1 ,   D I S   R E L   2   0   F U T   I N F ;   H e r s m a n   E ,   2 0 0 9 ,   C R I S I S   I N F O   C R O W D S O U ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   V 6 ,   P 1 7 6 ;   I C T 4 P e a c e ,   2 0 1 2 ,   I C T   P E A C   F D N   W H A T   W E ;   I C T 4 P e a c e ,   2 0 1 2 ,   I C T 4 P E A C E   I N V   W I K   G E ;   K o z i n e t s   R V ,   2 0 0 8 ,   J   M A C R O M A R K E T I N G ,   V 2 8 ,   P 3 3 9 ,   D O I   1 0 . 1 1 7 7 / 0 2 7 6 1 4 6 7 0 8 3 2 5 3 8 2 ;   L e s s i g   L ,   2 0 0 6 ,   C O D E   V 2   O N L I N E   C R E A T ;   L e w i s   S C ,   2 0 1 0 ,   J O U R N A L I S M   P R A C T I C E ,   V 4 ,   P 1 6 3 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 4 6 1 6 7 0 0 9 0 3 1 5 6 9 1 9 ;   M a c   G i o l l a   C h r i o s t   D . ,   2 0 0 3 ,   L A N G U A G E   I D E N T I T Y   C O ,   P 1 5 1 ;   M e i e r   P ,   2 0 0 9 ,   H A R V A R D   H U M A N I T A R I A N ;   M e i e r   P . ,   2 0 1 1 ,   A M P L I F Y I N G   S O M A L I   V O ;   N e s b i t   J ,   2 0 1 0 ,   I N N O V A T I O N S ,   V 5 ,   P 6 9 ,   D O I   D O I   1 0 . 1 1 6 2 / I N 0 V _ ;   N i e d e r e r   S ,   2 0 1 0 ,   N E W   M E D I A   S O C ,   V 1 2 ,   P 1 3 6 8 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 1 0 3 6 5 2 9 7 ;   O d e j o b i   T ,   2 0 1 0 ,   H D B   R E S   D I S C O U R S E   B E ;   R a s m u s s e n   R ,   2 0 1 1 ,   T W I T T E R   T R A N S L A T I O N ;   R e s n i k   P ,   2 0 1 1 ,   4   R E V O L U T I O N S   C O M P U T ;   S i n g h   U . ,   2 0 1 1 ,   S O M E   W E E K E N D   W O R K   W I ;   S u l e i m a n   Y a s i r ,   2 0 0 3 ,   A R A B I C   L A N G U A G E   N A T L ;   S u t h e r l i n   G . ,   2 0 1 0 ,   V O I C E S   4 6 3 6   H A I T I   1 ;   T h e   S t a n d b y   T a s k   F o r c e ,   2 0 1 1 ,   L I B   C R I S   M A P   A C T   R E V ;   T h e   S t a n d b y   T a s k   F o r c e   A d m i n ,   2 0 1 1 ,   L I B   C R I S   M A P   D E P L   2 0 ;   U n i t e d   S t a t e s   I n s t i t u t e   o f   P e a c e ,   2 0 1 1 ,   C R I S   C O M M   M A P P   P E A C ;   W e i n s t e i n   D . ,   2 0 1 1 ,   A L T A N T I C   W I R E ;   W e x l e r   M . N . ,   2 0 1 1 ,   I N T   J   S O C I O L O G Y   S O C I ,   V 3 1 ,   P 6 ,   D O I   D O I   1 0 . 1 1 0 8 / 0 1 4 4 3 3 3 1 1 1 1 1 0 4 7 7 9 ;   X i n   X . ,   2 0 1 0 ,   J O U R N A L I S M   P R A C T I C E ,   V 4 ,   P 3 3 3 	 3 4 	 1 	 1 	 S A G E   P U B L I C A T I O N S   L T D 	 L O N D O N 	 1   O L I V E R S   Y A R D ,   5 5   C I T Y   R O A D ,   L O N D O N   E C 1 Y   1 S P ,   E N G L A N D 	 0 1 6 5 - 5 5 1 5 	 	 	 J   I N F   S C I 	 J .   I n f .   S c i . 	 J U N 	 2 0 1 3 	 3 9 	 3 	 	 	 	 	 3 9 7 	 4 0 9 	 	 1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 7 1 5 9 3 	 	 1 3 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 1 4 9 B C 	 W O S : 0 0 0 3 1 9 2 9 2 0 0 0 0 0 9 	 	 
 J 	 S k i d m o r e ,   J R ;   M u r p h y ,   J G 	 	 	 	 S k i d m o r e ,   J .   R . ;   M u r p h y ,   J .   G . 	 	 	 A L C O H O L   U S E ,   R E L A T E D   P R O B L E M S ,   A N D   B E H A V I O R A L   E C O N O M I C S   M E A S U R E S   O F   R E W A R D   V A L U E   A M O N G   Y O U N G   A D U L T S   R E C R U I T E D   U S I N G   A   N O V E L   C R O W D S O U R C I N G   W E B S I T E 	 A L C O H O L I S M - C L I N I C A L   A N D   E X P E R I M E N T A L   R E S E A R C H 	 	 	 E n g l i s h 	 M e e t i n g   A b s t r a c t 	 3 6 t h   A n n u a l   S c i e n t i f i c   M e e t i n g   o f   t h e   R e s e a r c h - S o c i e t y - o n - A l c o h o l i s m 	 J U N   2 2 - 2 6 ,   2 0 1 3 	 O r l a n d o ,   F L 	 R e s   S o c   A l c o h o l i s m 	 	 	 	 	 [ S k i d m o r e ,   J .   R . ;   M u r p h y ,   J .   G . ]   U n i v   M e m p h i s ,   D e p t   P s y c h o l ,   M e m p h i s ,   T N   3 8 1 5 2   U S A 	 	 	 	 	 	 	 	 0 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 1 4 5 - 6 0 0 8 	 	 	 A L C O H O L   C L I N   E X P   R E S 	 A l c o h o l i s m   ( N Y ) 	 J U N 	 2 0 1 3 	 3 7 	 	 	 2 	 S I 	 	 1 9 7 A 	 1 9 7 A 	 	 	 	 1 	 S u b s t a n c e   A b u s e 	 S u b s t a n c e   A b u s e 	 1 4 5 E U 	 W O S : 0 0 0 3 1 8 9 9 8 3 0 0 7 4 7 	 	 
 J 	 P a r k e r ,   C J ;   M a y ,   A ;   M i t c h e l l ,   V ;   B u r r o w s ,   A 	 	 	 	 P a r k e r ,   C h r i s t o p h e r   J . ;   M a y ,   A n d r e w ;   M i t c h e l l ,   V a l ;   B u r r o w s ,   A l i s o n 	 	 	 C a p t u r i n g   V o l u n t e e r e d   I n f o r m a t i o n   f o r   I n c l u s i v e   S e r v i c e   D e s i g n :   P o t e n t i a l   B e n e f i t s   a n d   C h a l l e n g e s 	 D E S I G N   J O U R N A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 V o l u n t e e r e d   G e o g r a p h i c   I n f o r m a t i o n ;   i n c l u s i v e   s e r v i c e   d e s i g n ;   h u m a n   f a c t o r s ;   c r o w d s o u r c i n g 	 U R I N A R Y - I N C O N T I N E N C E ;   G E O G R A P H I C   I N F O R M A T I O N ;   M O T I V A T I O N S ;   P O P U L A T I O N ;   P R E V A L E N C E ;   W E L L 	 I n c l u s i v e   D e s i g n   f o c u s e s   o n   u n d e r s t a n d i n g   t h e   b r o a d   s p e c t r u m   o f   p e o p l e s '   n e e d s   a n d   a b i l i t i e s ,   w i t h   a   v i e w   t o   d e v e l o p i n g   m o r e   s u c c e s s f u l   p r o d u c t s   a n d   s e r v i c e s .   H o w e v e r ,   p e o p l e s '   e x p e r i e n c e s   w i t h   p r o d u c t s   a n d   s e r v i c e s   a r e   d y n a m i c   a n d   m u l t i - l a y e r e d ,   p r e s e n t i n g   a   u n i q u e   s e t   o f   c h a l l e n g e s   f o r   I n c l u s i v e   D e s i g n e r s .   T h i s   p a p e r   p r e s e n t s   t h e   c o n c e p t   o f   V o l u n t e e r e d   G e o g r a p h i c   I n f o r m a t i o n   ( V G I )   a s   a n   i n t e g r a l   p a r t   o f   f u t u r e   i n c l u s i v e   s e r v i c e s .   B y   u t i l i z i n g   c r o w d - s o u r c e d   d a t a ,   s e r v i c e s   c a n   b e c o m e   m o r e   e f f i c i e n t ,   i n t u i t i v e   a n d   r e l e v a n t   f o r   a   w i d e r   p o p u l a t i o n   t h a n   p r e v i o u s l y   p o s s i b l e .   T h e   p o t e n t i a l   b e n e f i t s   a n d   c h a l l e n g e s   a r e   p r e s e n t e d   a n d   e x p l o r e d   t h r o u g h   a   s e r i e s   o f   q u a l i t a t i v e   c a s e   s t u d i e s .   T h e s e   f o c u s   o n   t h e   d i f f e r e n c e s   i n   d a t a   g e n e r a t e d   b y   d i s a b l e d   a n d   o l d e r   p e o p l e ,   a n d   t h e   u n i q u e n e s s   o f   t h e   i n f o r m a t i o n   g a i n e d .   T h i s   t y p e   o f   i n f o r m a t i o n   h a s   t h e   p o t e n t i a l   t o   p r o v i d e   a   b e t t e r   m a t c h   b e t w e e n   u s e r   n e e d s   a n d   s e r v i c e   d e l i v e r y ,   a n d   e n a b l e   t h e   s u c c e s s f u l   l o n g e r - t e r m   e v o l u t i o n   o f   s e r v i c e s . 	 [ P a r k e r ,   C h r i s t o p h e r   J . ;   M a y ,   A n d r e w ;   M i t c h e l l ,   V a l ;   B u r r o w s ,   A l i s o n ]   L o u g h b o r o u g h   D e s i g n   S c h ,   L o u g h b o r o u g h ,   L e i c s ,   E n g l a n d 	 P a r k e r ,   C J   ( r e p r i n t   a u t h o r ) ,   U n i v   L o u g h b o r o u g h ,   L o u g h b o r o u g h   L E 1 1   3 T U ,   L e i c s ,   E n g l a n d . 	 c . p a r k e r @ l b o r o . a c . u k ;   a . j . m a y @ l b o r o . a c . u k ;   v . a . m i t c h e l l @ l b o r o . a c . u k ;   a . b . b u r r o w s @ l b o r o . a c . u k 	 	 	 	 	 A b l e y   S . ,   2 0 0 5 ,   D E S I G N I N G   L I V I N G   S T R ;   A l o n s o   O . ,   2 0 0 8 ,   A C M   S I G I R   F O R U M ,   V 4 2 ,   P 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   B i c h a r d   J o - A n n e ,   2 0 1 2 ,   G R E A T   B R I T   P U B L I C   T O ;   B i s h r   M ,   2 0 0 7 ,   L E C T   N O T E S   G E O I N F   C A ,   P 3 6 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 7 2 3 8 5 - 1 _ 2 2 ;   B u d h a t h o k i   N . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 4 9 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 8 9 - X ;   B u r n s   R L ,   2 0 0 9 ,   S P A T I A L I Z I N G   P L A C E S ;   C i n d e r b y   S ,   2 0 0 6 ,   R O Y A L   G E O G R   S O C   A N N ;   C o l e m a n   D .   J . ,   2 0 0 9 ,   I N T   J   S P A T I A L   D A T A   I ,   V 4 ,   P 3 3 2 ;   C r o n e   G R ,   1 9 6 8 ,   M A P S   T H E I R   M A K E R S   I N ;   D o n   T a p s c o t t ,   2 0 0 8 ,   W I K I N O M I C S   M A S S   C O L L ;   E l w o o d   S . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 7 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 8 - 9 1 8 6 - 0 ;   E v a n s   G . ,   2 0 0 9 ,   B U I L T   E N V ,   V 3 5 ,   P 3 6 6 ;   F o n s e c a   F ,   2 0 0 2 ,   G E O S P A T I A L   S E M A N T I C ;   G o o d c h i l d   M   F ,   2 0 0 7 ,   I N T   J   S P A T I A L   D A T A   I ,   V 2 ,   P 2 4 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G o o g l e ,   2 0 1 2 ,   G O O G L   M A P S ;   G r e a t   B r i t a i n ,   1 9 9 5 ,   D I S   D I S C R   A C T   1 9 9 5 ;   G r e a t   B r i t a i n ,   2 0 1 0 ,   E Q U   A C T   2 0 1 0 ;   H a g g l u n d   D ,   2 0 0 7 ,   S C A N D   J   C A R I N G   S C I ,   V 2 1 ,   P 3 0 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 1 - 6 7 1 2 . 2 0 0 7 . 0 0 4 8 1 . x ;   H a k l a y   M ,   2 0 1 0 ,   C A R T O G R   J ,   V 4 7 ,   P 3 1 5 ,   D O I   1 0 . 1 1 7 9 / 0 0 0 8 7 0 4 1 0 X 1 2 9 1 1 3 0 4 9 5 8 8 2 7 ;   H a k l a y   M u k i ,   2 0 0 8 ,   G E O G R A P H Y   C O M P A S S ,   V 2 ,   P 2 0 1 1 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 7 4 9 - 8 1 9 8 . 2 0 0 8 . 0 0 1 6 7 . X ;   H a n d y   S L ,   1 9 9 7 ,   E N V I R O N   P L A N N   A ,   V 2 9 ,   P 1 1 7 5 ,   D O I   1 0 . 1 0 6 8 / a 2 9 1 1 7 5 ;   H a n n e s t a d   Y S ,   2 0 0 0 ,   J   C L I N   E P I D E M I O L ,   V 5 3 ,   P 1 1 5 0 ,   D O I   1 0 . 1 0 1 6 / S 0 8 9 5 - 4 3 5 6 ( 0 0 ) 0 0 2 3 2 - 8 ;   H a s s e n z a h l   M ,   2 0 0 6 ,   B E H A V   I N F O R M   T E C H N O L ,   V 2 5 ,   P 9 1 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 4 9 2 9 0 5 0 0 3 3 0 3 3 1 ;   H o l o n e   H ,   2 0 0 7 ,   I N T   C O N F   N E X T   G E N ,   P 9 1 ;   I m r i e   R ,   1 9 9 8 ,   D I S A B I L   S O C ,   V 1 3 ,   P 3 5 7 ;   K i m b e l l   L . ,   2 0 0 9 ,   D E S I G N   C R E A T I V I T Y   P O ,   P 1 5 7 ;   K i n g s b u r y   P ,   2 0 0 9 ,   G E O F O R U M ,   V 4 0 ,   P 5 0 2 ,   D O I   1 0 . 1 0 1 6 / j . g e o f o r u m . 2 0 0 8 . 1 0 . 0 0 2 ;   K n i g h t   G . ,   2 0 1 1 ,   P U B L I C A L L Y   A C C E S S I B L ;   L u t h j e   C ,   2 0 0 5 ,   R E S   P O L I C Y ,   V 3 4 ,   P 9 5 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 5 . 0 5 . 0 0 5 ;   L y n c h   A C ,   2 0 0 0 ,   S P I N A L   C O R D ,   V 3 8 ,   P 7 1 7 ,   D O I   1 0 . 1 0 3 8 / s j . s c . 3 1 0 1 0 5 8 ;   N e t w o r k   R a i l ,   2 0 1 1 ,   L O N D   V I C T ;   N e t w o r k   R a i l ,   2 0 1 1 ,   L O N D   W A T ;   N e t w o r k   R a i l ,   2 0 1 1 ,   L O N D   B R I D G ;   O p t i o n s   f o r   i n d e p e n d e n t   l i v i n g ,   2 0 1 0 ,   U S   P U B L   T R A N S P   C H O I C ;   P a r k e r   C J ,   2 0 1 2 ,   T   G I S ,   V 1 6 ,   P 5 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 2 . 0 1 3 0 2 . x ;   P a r k e r   C . J . ,   2 0 1 0 ,   P   G I S   R E S   U K   1 8   A N N ,   P 1 3 7 ;   P a r k e r   C J ,   2 0 1 2 ,   P   G I S   R E S   U K   2 0   A N N ,   P 1 7 1 ;   P o r t e r   J M ,   2 0 0 4 ,   I N T   J   I N D   E R G O N O M ,   V 3 3 ,   P 2 4 9 ,   D O I   1 0 . 1 0 1 6 / j . e r g o n . 2 0 0 3 . 0 8 . 0 0 2 ;   P u l t a r   E ,   2 0 0 9 ,   T   G I S ,   V 1 3 ,   P 8 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 0 9 . 0 1 1 5 7 . x ;   R a y   N M ,   2 0 0 3 ,   T O U R I S M   M A N A G E ,   V 2 4 ,   P 5 7 ,   D O I   1 0 . 1 0 1 6 / S 0 2 6 1 - 5 1 7 7 ( 0 2 ) 0 0 0 3 7 - 7 ;   R o s s   T ,   2 0 1 2 ,   T R A N S P O R T   P L A N   T E C H N ,   V 3 5 ,   P 4 6 9 ,   D O I   1 0 . 1 0 8 0 / 0 3 0 8 1 0 6 0 . 2 0 1 2 . 6 8 0 8 2 0 ;   S a f f e r   D . ,   2 0 0 6 ,   D E S I G N I N G   I N T E R A C T I O ;   S a m u e l s s o n   E ,   1 9 9 7 ,   A C T A   O B S T E T   G Y N   S C A N ,   V 7 6 ,   P 7 4 ,   D O I   1 0 . 3 1 0 9 / 0 0 0 1 6 3 4 9 7 0 9 0 4 7 7 8 9 ;   S a n d e r s   E l i z a b e t h   B . - N ,   2 0 0 8 ,   C o D e s i g n ,   V 4 ,   D O I   1 0 . 1 0 8 0 / 1 5 7 1 0 8 8 0 7 0 1 8 7 5 0 6 8 ;   S c h u e t t   M .   A . ,   1 9 9 3 ,   J o u r n a l   o f   P a r k   a n d   R e c r e a t i o n   A d m i n i s t r a t i o n ,   V 1 1 ,   P 6 7 ;   S h i r k y   C ,   2 0 0 9 ,   T E D   S T A T E ;   S o u t h e a s t e r n ,   2 0 1 1 ,   G R E E N W I C H ;   S o z i a l H e l d e n ,   2 0 1 2 ,   W H E E L M   L O U G H B ;   S t a r c k   P . ,   2 0 1 2 ,   P H I L I P P E   S T A R C K   Q U O T ;   S t i c k d o r n   M . ,   2 0 1 0 ,   T H I S   I S   S E R V I C E   D E S I ,   P 2 8 ;   T F L ,   2 0 1 0 ,   S T E P   F R E E   T U B   G U I D ;   T r a c k s 4 A f r i c a ,   2 0 1 2 ,   A F R   M A P   K A M P ;   T u r n e r   A . ,   2 0 0 6 ,   I N T R O   N E O G E O G R A P H Y ;   V e r h o e f   M ,   2 0 0 5 ,   S P I N A L   C O R D ,   V 4 3 ,   P 3 3 1 ,   D O I   1 0 . 1 0 3 8 / s j . s c . 3 1 0 1 7 0 5 ;   W h e e l M a p ,   2 0 1 2 ,   W H E E L M   F I N D   W H E E L C H ;   W o o d   D e n n i s ,   2 0 0 3 ,   C A R T O G R A P H I C   P E R S P E C ,   V 4 5 ,   P 4 ;   W o o d c o c k   A ,   2 0 0 3 ,   W O R K ,   V 4 1 ,   P 4 8 7 9 ;   Z i e l s t r a   D ,   2 0 1 0 ,   G E O S P A T I A L   T H I N K I N G ,   P 1 ;   Z o o k   M . ,   2 0 1 0 ,   W o r l d   M e d i c a l   a n d   H e a l t h   P o l i c y ,   V 2 ,   P 7 ,   D O I   1 0 . 2 2 0 2 / 1 9 4 8 - 4 6 8 2 . 1 0 6 9 	 6 0 	 1 	 1 	 B L O O M S B U R Y   P U B L   P L C 	 L O N D O N 	 5 0   B E D F O R D   S Q ,   L O N D O N ,   W C 1 B   3 D P ,   E N G L A N D 	 1 4 6 0 - 6 9 2 5 	 	 	 D E S   J 	 D e s .   J . 	 J U N 	 2 0 1 3 	 1 6 	 2 	 	 	 S I 	 	 1 9 7 	 2 1 8 	 	 1 0 . 2 7 5 2 / 1 7 5 6 3 0 6 1 3 X 1 3 5 8 4 3 6 7 9 8 4 9 4 7 	 	 2 2 	 A r t 	 A r t 	 1 4 6 K X 	 W O S : 0 0 0 3 1 9 0 9 1 1 0 0 0 0 5 	 	 
 J 	 G a r l a n d ,   E 	 	 	 	 G a r l a n d ,   E r i c 	 	 	 T E D ' s   H a r d - L e a r n e d   L e s s o n s   i n   C r o w d s o u r c i n g 	 H A R V A R D   B U S I N E S S   R E V I E W 	 	 	 E n g l i s h 	 L e t t e r 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 H A R V A R D   B U S I N E S S   S C H O O L   P U B L I S H I N G   C O R P O R A T I O N 	 W A T E R T O W N 	 3 0 0   N O R T H   B E A C O N   S T R E E T ,   W A T E R T O W N ,   M A   0 2 4 7 2   U S A 	 0 0 1 7 - 8 0 1 2 	 	 	 H A R V A R D   B U S   R E V 	 H a r v .   B u s .   R e v . 	 J U N 	 2 0 1 3 	 9 1 	 6 	 	 	 	 	 2 0 	 2 0 	 	 	 	 1 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 1 5 0 D E 	 W O S : 0 0 0 3 1 9 3 6 9 6 0 0 0 1 6 	 	 
 J 	 K e m p ,   J 	 	 	 	 K e m p ,   J a s o n 	 	 	 T E D ' s   H a r d - L e a r n e d   L e s s o n s   i n   C r o w d s o u r c i n g 	 H A R V A R D   B U S I N E S S   R E V I E W 	 	 	 E n g l i s h 	 L e t t e r 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 H A R V A R D   B U S I N E S S   S C H O O L   P U B L I S H I N G   C O R P O R A T I O N 	 W A T E R T O W N 	 3 0 0   N O R T H   B E A C O N   S T R E E T ,   W A T E R T O W N ,   M A   0 2 4 7 2   U S A 	 0 0 1 7 - 8 0 1 2 	 	 	 H A R V A R D   B U S   R E V 	 H a r v .   B u s .   R e v . 	 J U N 	 2 0 1 3 	 9 1 	 6 	 	 	 	 	 2 0 	 2 0 	 	 	 	 1 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 1 5 0 D E 	 W O S : 0 0 0 3 1 9 3 6 9 6 0 0 0 1 7 	 	 
 J 	 M e r c h a n t ,   N 	 	 	 	 M e r c h a n t ,   N i l o f e r 	 	 	 T E D ' s   H a r d - L e a r n e d   L e s s o n s   i n   C r o w d s o u r c i n g 	 H A R V A R D   B U S I N E S S   R E V I E W 	 	 	 E n g l i s h 	 L e t t e r 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 H A R V A R D   B U S I N E S S   S C H O O L   P U B L I S H I N G   C O R P O R A T I O N 	 W A T E R T O W N 	 3 0 0   N O R T H   B E A C O N   S T R E E T ,   W A T E R T O W N ,   M A   0 2 4 7 2   U S A 	 0 0 1 7 - 8 0 1 2 	 	 	 H A R V A R D   B U S   R E V 	 H a r v .   B u s .   R e v . 	 J U N 	 2 0 1 3 	 9 1 	 6 	 	 	 	 	 2 0 	 2 0 	 	 	 	 1 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 1 5 0 D E 	 W O S : 0 0 0 3 1 9 3 6 9 6 0 0 0 1 5 	 	 
 J 	 S c h e u r e r ,   P 	 	 	 	 S c h e u r e r ,   P a s c a l e 	 	 	 T E D ' s   H a r d - L e a r n e d   L e s s o n s   i n   C r o w d s o u r c i n g 	 H A R V A R D   B U S I N E S S   R E V I E W 	 	 	 E n g l i s h 	 L e t t e r 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 H A R V A R D   B U S I N E S S   S C H O O L   P U B L I S H I N G   C O R P O R A T I O N 	 W A T E R T O W N 	 3 0 0   N O R T H   B E A C O N   S T R E E T ,   W A T E R T O W N ,   M A   0 2 4 7 2   U S A 	 0 0 1 7 - 8 0 1 2 	 	 	 H A R V A R D   B U S   R E V 	 H a r v .   B u s .   R e v . 	 J U N 	 2 0 1 3 	 9 1 	 6 	 	 	 	 	 2 0 	 2 0 	 	 	 	 1 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 1 5 0 D E 	 W O S : 0 0 0 3 1 9 3 6 9 6 0 0 0 1 9 	 	 
 J 	 S i s n e y ,   L 	 	 	 	 S i s n e y ,   L e x 	 	 	 T E D ' s   H a r d - L e a r n e d   L e s s o n s   i n   C r o w d s o u r c i n g 	 H A R V A R D   B U S I N E S S   R E V I E W 	 	 	 E n g l i s h 	 L e t t e r 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 H A R V A R D   B U S I N E S S   S C H O O L   P U B L I S H I N G   C O R P O R A T I O N 	 W A T E R T O W N 	 3 0 0   N O R T H   B E A C O N   S T R E E T ,   W A T E R T O W N ,   M A   0 2 4 7 2   U S A 	 0 0 1 7 - 8 0 1 2 	 	 	 H A R V A R D   B U S   R E V 	 H a r v .   B u s .   R e v . 	 J U N 	 2 0 1 3 	 9 1 	 6 	 	 	 	 	 2 0 	 2 0 	 	 	 	 1 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 1 5 0 D E 	 W O S : 0 0 0 3 1 9 3 6 9 6 0 0 0 2 0 	 	 
 J 	 S t o n e ,   J I 	 	 	 	 S t o n e ,   J o h n   I s a a c 	 	 	 T E D ' s   H a r d - L e a r n e d   L e s s o n s   i n   C r o w d s o u r c i n g 	 H A R V A R D   B U S I N E S S   R E V I E W 	 	 	 E n g l i s h 	 L e t t e r 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 H A R V A R D   B U S I N E S S   S C H O O L   P U B L I S H I N G   C O R P O R A T I O N 	 W A T E R T O W N 	 3 0 0   N O R T H   B E A C O N   S T R E E T ,   W A T E R T O W N ,   M A   0 2 4 7 2   U S A 	 0 0 1 7 - 8 0 1 2 	 	 	 H A R V A R D   B U S   R E V 	 H a r v .   B u s .   R e v . 	 J U N 	 2 0 1 3 	 9 1 	 6 	 	 	 	 	 2 0 	 2 0 	 	 	 	 1 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 1 5 0 D E 	 W O S : 0 0 0 3 1 9 3 6 9 6 0 0 0 1 8 	 	 
 J 	 H i r t h ,   M ;   H o s s f e l d ,   T ;   P h u o c ,   T G 	 	 	 	 H i r t h ,   M a t t h i a s ;   H o s s f e l d ,   T o b i a s ;   P h u o c   T r a n - G i a 	 	 	 A n a l y z i n g   c o s t s   a n d   a c c u r a c y   o f   v a l i d a t i o n   m e c h a n i s m s   f o r   c r o w d s o u r c i n g   p l a t f o r m s 	 M A T H E M A T I C A L   A N D   C O M P U T E R   M O D E L L I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   Q u a l i t y   a s s u r a n c e ;   C o s t   e s t i m a t i o n 	 	 C r o w d s o u r c i n g   i s   b e c o m i n g   m o r e   a n d   m o r e   i m p o r t a n t   f o r   c o m m e r c i a l   p u r p o s e s .   W i t h   t h e   g r o w t h   o f   c r o w d s o u r c i n g   p l a t f o r m s   l i k e   A m a z o n   M e c h a n i c a l   T u r k   o r   M i c r o w o r k e r s ,   a   h u g e   w o r k   f o r c e   a n d   a   l a r g e   k n o w l e d g e   b a s e   c a n   b e   e a s i l y   a c c e s s e d   a n d   u t i l i z e d .   B u t   d u e   t o   t h e   a n o n y m i t y   o f   t h e   w o r k e r s ,   t h e y   a r e   e n c o u r a g e d   t o   c h e a t   t h e   e m p l o y e r s   i n   o r d e r   t o   m a x i m i z e   t h e i r   i n c o m e .   I n   t h i s   p a p e r ,   w e   a n a l y z e   t w o   w i d e l y   u s e d   c r o w d - b a s e d   a p p r o a c h e s   t o   v a l i d a t e   t h e   s u b m i t t e d   w o r k .   1   B o t h   a p p r o a c h e s   a r e   e v a l u a t e d   w i t h   r e g a r d   t o   t h e i r   d e t e c t i o n   q u a l i t y ,   t h e i r   c o s t s   a n d   t h e i r   a p p l i c a b i l i t y   t o   d i f f e r e n t   t y p e s   o f   t y p i c a l   c r o w d s o u r c i n g   t a s k s .   ( C )   2 0 1 2   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ H i r t h ,   M a t t h i a s ;   H o s s f e l d ,   T o b i a s ;   P h u o c   T r a n - G i a ]   U n i v   W u r z b u r g ,   I n s t   C o m p   S c i ,   W u r z b u r g ,   G e r m a n y 	 H i r t h ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   W u r z b u r g ,   I n s t   C o m p   S c i ,   W u r z b u r g ,   G e r m a n y . 	 m a t t h i a s . h i r t h @ i n f o r m a t i k . u n i - w u e r z b u r g . d e ;   t o b i a s . h o s s f e l d @ i n f o r m a t i k . u n i - w u e r z b u r g . d e ;   p h u o c . t r a n g i a @ i n f o r m a t i k . u n i - w u e r z b u r g . d e 	 	 	 	 	 A l o n s o   O . ,   2 0 0 8 ,   S I G I R   F O R U M ,   V 4 2 ;   C h e n   K . ,   2 0 1 0 ,   I E E E   N E T W O R K ,   V 2 4 ;   D a i   P . ,   2 0 1 0 ,   P   2 4   A A A I   C   A R T   I N T ;   D e m i r b a s   M u r a t ,   2 0 1 0 ,   2 0 1 0   I E E E   I n t e r n a t i o n a l   S y m p o s i u m   o n   " A   W o r l d   o f   W i r e l e s s ,   M o b i l e   a n d   M u l t i m e d i a   N e t w o r k s "   ( W o W M o M ) ,   D O I   1 0 . 1 1 0 9 / W O W M O M . 2 0 1 0 . 5 5 3 4 9 1 0 ;   D o w   S ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ;   E i c k h o f f   C . ,   2 0 1 1 ,   P   A C M   W S D M   W O R K S H   C R ;   H i r t h   M . ,   2 0 1 1 ,   P   W O R K S H   F U T   I N T   N E X ;   H o s s f e l d   T . ,   2 0 1 1 ,   P   2 3   I N T   T E L   C   I T C   S ;   H o s s f e l d   T . ,   2 0 1 1 ,   P   I E E E   I N T   W O R K S H   M U ;   H o w e   J ,   2 0 0 6 ,   R I S E   C R O W D S O U R C I N G ;   H s u e h   P . ,   2 0 0 9 ,   P   N A A C L   H L T   W O R K S H   A ;   I p e i r o t i s   P . ,   2 0 1 0 ,   C E D E R   W O R K I N G   P A P E R S ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ;   K a z a i   G . ,   2 0 1 1 ,   P   A C M   S I G I R   C   R E S   D E ;   K i t t u r   A . ,   2 0 0 8 ,   P   A C M   S I G C H I   C   H U M   F ;   K i t t u r   A n i k e t ,   2 0 0 8 ,   P   A C M   C   C O M P   S U P P   C O ;   L e   J . ,   2 0 1 0 ,   P   S I G I R   2 0 1 0   W O R K S H ;   L i t t l e   G . ,   2 0 0 9 ,   P   1   H U M   C O M P   W O R K S H ;   O l e s o n   D . ,   2 0 1 1 ,   P   3   H U M   C O M P   W O R K S H ;   R o s s   J . ,   2 0 1 0 ,   P   S I G C H I   C   H U M   F A C T ;   S U R I   S ,   2 0 1 1 ,   P   3   H U M   C O M P   W O R K S H ;   v o n   A h n   L . ,   2 0 0 4 ,   P   A C M   S I G C H I   C   H U M   F 	 2 2 	 4 	 4 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 8 9 5 - 7 1 7 7 	 1 8 7 2 - 9 4 7 9 	 	 M A T H   C O M P U T   M O D E L 	 M a t h .   C o m p u t .   M o d e l . 	 J U N 	 2 0 1 3 	 5 7 	 1 1 - 1 2 	 	 	 	 	 2 9 1 8 	 2 9 3 2 	 	 1 0 . 1 0 1 6 / j . m c m . 2 0 1 2 . 0 1 . 0 0 6 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   M a t h e m a t i c s ,   A p p l i e d 	 C o m p u t e r   S c i e n c e ;   M a t h e m a t i c s 	 1 4 4 B Y 	 W O S : 0 0 0 3 1 8 9 1 5 8 0 0 0 3 1 	 	 
 J 	 M a n t y l a ,   M V ;   I t k o n e n ,   J 	 	 	 	 M a n t y l a ,   M i k a   V . ;   I t k o n e n ,   J u h a 	 	 	 M o r e   t e s t e r s   -   T h e   e f f e c t   o f   c r o w d   s i z e   a n d   t i m e   r e s t r i c t i o n   i n   s o f t w a r e   t e s t i n g 	 I N F O R M A T I O N   A N D   S O F T W A R E   T E C H N O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S o f t w a r e   t e s t i n g ;   G r o u p   p e r f o r m a n c e ;   D i v i s i o n   o f   l a b o r ;   H u m a n   f a c t o r s ;   C r o w d s o u r c i n g ;   M e t h o d s   f o r   S Q A   a n d   V & V 	 C A P T U R E - R E C A P T U R E   M O D E L S ;   W A L K T H R O U G H S ;   I N S P E C T I O N S ;   P E R F O R M A N C E ;   S T R A T E G I E S ;   P R E S S U R E ;   Q U A L I T Y ;   E R R O R S ;   T E A M S 	 C o n t e x t :   T h e   q u e s t i o n s   o f   h o w   m a n y   i n d i v i d u a l s   a n d   h o w   m u c h   t i m e   t o   u s e   f o r   a   s i n g l e   t e s t i n g   t a s k   a r e   c r i t i c a l   i n   s o f t w a r e   v e r i f i c a t i o n   a n d   v a l i d a t i o n .   I n   s o f t w a r e   r e v i e w   a n d   u s a b i l i t y   e v a l u a t i o n   c o n t e x t s ,   p o s i t i v e   e f f e c t s   o f   u s i n g   m u l t i p l e   i n d i v i d u a l s   f o r   a   t a s k   h a v e   b e e n   f o u n d ,   b u t   s o f t w a r e   t e s t i n g   h a s   n o t   b e e n   s t u d i e d   f r o m   t h i s   v i e w p o i n t .   O b j e c t i v e :   W e   s t u d y   h o w   a d d i n g   i n d i v i d u a l s   a n d   i m p o s i n g   t i m e   p r e s s u r e   a f f e c t s   t h e   e f f e c t i v e n e s s   a n d   e f f i c i e n c y   o f   m a n u a l   t e s t i n g   t a s k s .   W e   a p p l i e d   t h e   g r o u p   p r o d u c t i v i t y   t h e o r y   f r o m   s o c i a l   p s y c h o l o g y   t o   c h a r a c t e r i z e   t h e   t y p e   o f   s o f t w a r e   t e s t i n g   t a s k s .   M e t h o d :   W e   c o n d u c t e d   a n   e x p e r i m e n t   w h e r e   1 3 0   s t u d e n t s   p e r f o r m e d   m a n u a l   t e s t i n g   u n d e r   t w o   c o n d i t i o n s ,   o n e   w i t h   a   t i m e   r e s t r i c t i o n   a n d   p r e s s u r e ,   i . e . ,   a   2 - h   f i x e d   s l o t ,   a n d   a n o t h e r   w h e r e   t h e   i n d i v i d u a l s   c o u l d   u s e   a s   m u c h   t i m e   a s   t h e y   n e e d e d .   R e s u l t s :   W e   f o u n d   e v i d e n c e   t h a t   m a n u a l   s o f t w a r e   t e s t i n g   i s   a n   a d d i t i v e   t a s k   w i t h   a   c e i l i n g   e f f e c t ,   l i k e   s o f t w a r e   r e v i e w s   a n d   u s a b i l i t y   i n s p e c t i o n s .   O u r   r e s u l t s   s h o w   t h a t   a   c r o w d   o f   f i v e   t i m e - r e s t r i c t e d   t e s t e r s   u s i n g   1 0   h   i n   t o t a l   d e t e c t e d   7 1 %   m o r e   d e f e c t s   t h a n   a   s i n g l e   n o n - t i m e - r e s t r i c t e d   t e s t e r   u s i n g   9 . 9   h .   F u r t h e r m o r e ,   w e   u s e   F - s c o r e   m e a s u r e   f r o m   t h e   i n f o r m a t i o n   r e t r i e v a l   d o m a i n   t o   a n a l y z e   t h e   o p t i m a l   n u m b e r   o f   t e s t e r s   i n   t e r m s   o f   b o t h   e f f e c t i v e n e s s   a n d   v a l i d i t y   o f   t e s t i n g   r e s u l t s .   W e   s u g g e s t   t h a t   f u t u r e   s t u d i e s   o n   v e r i f i c a t i o n   a n d   v a l i d a t i o n   p r a c t i c e s   u s e   F - s c o r e   t o   p r o v i d e   a   m o r e   t r a n s p a r e n t   v i e w   o f   t h e   r e s u l t s .   C o n c l u s i o n s :   T h e   r e s u l t s   s e e m   p r o m i s i n g   f o r   t h e   t i m e - p r e s s u r e d   c r o w d s   b y   i n d i c a t i n g   t h a t   m u l t i p l e   t i m e - p r e s s u r e d   i n d i v i d u a l s   d e l i v e r   s u p e r i o r   d e f e c t   d e t e c t i o n   e f f e c t i v e n e s s   i n   c o m p a r i s o n   t o   n o n - t i m e - p r e s s u r e d   i n d i v i d u a l s .   H o w e v e r ,   c a u t i o n   i s   n e e d e d ,   a s   t h e   l i m i t a t i o n s   o f   t h i s   s t u d y   n e e d   t o   b e   a d d r e s s e d   i n   f u t u r e   w o r k s .   F i n a l l y ,   w e   s u g g e s t   t h a t   t h e   s i z e   o f   t h e   c r o w d   u s e d   i n   s o f t w a r e   t e s t i n g   t a s k s   s h o u l d   b e   d e t e r m i n e d   b a s e d   o n   t h e   s h a r e   o f   d u p l i c a t e   a n d   i n v a l i d   r e p o r t s   p r o d u c e d   b y   t h e   c r o w d   a n d   b y   t h e   e f f e c t i v e n e s s   o f   t h e   d u p l i c a t e   h a n d l i n g   m e c h a n i s m s .   ( C )   2 0 1 2   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ M a n t y l a ,   M i k a   V . ;   I t k o n e n ,   J u h a ]   A a l t o   U n i v ,   D e p t   C o m p   S c i   &   E n g n ,   H e l s i n k i ,   F i n l a n d ;   [ M a n t y l a ,   M i k a   V . ]   L u n d   U n i v ,   D e p t   C o m p   S c i ,   S - 2 2 1 0 0   L u n d ,   S w e d e n 	 M a n t y l a ,   M V   ( r e p r i n t   a u t h o r ) ,   A a l t o   U n i v ,   D e p t   C o m p   S c i   &   E n g n ,   H e l s i n k i ,   F i n l a n d . 	 m i k a . m a n t y l a @ a a l t o . f i ;   j u h a . i t k o n e n @ a a l t o . f i 	 M a n t y l a ,   M i k a / E - 7 6 4 4 - 2 0 1 2 	 	 E L L I I T ,   t h e   S t r a t e g i c   A r e a   f o r   I C T   r e s e a r c h ;   S w e d i s h   g o v e r n m e n t ;   T E K E S ,   t h e   F i n n i s h   F u n d i n g   A g e n c y   f o r   T e c h n o l o g y   a n d   I n n o v a t i o n 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   E L L I I T ,   t h e   S t r a t e g i c   A r e a   f o r   I C T   r e s e a r c h ,   f u n d e d   b y   t h e   S w e d i s h   g o v e r n m e n t ,   a n d   b y   T E K E S ,   t h e   F i n n i s h   F u n d i n g   A g e n c y   f o r   T e c h n o l o g y   a n d   I n n o v a t i o n . 	 A g r a w a l   M ,   2 0 0 7 ,   I E E E   T   S O F T W A R E   E N G ,   V 3 3 ,   P 1 4 5 ,   D O I   1 0 . 1 1 0 9 / T S E . 2 0 0 7 . 2 9 ;   A n d e r s s o n   C . ,   2 0 0 3 ,   P r o c e e d i n g s   2 0 0 3   I n t e r n a t i o n a l   S y m p o s i u m   o n   E m p i r i c a l   S o f t w a r e   E n g i n e e r i n g .   I S E S E   2 0 0 3 ;   A u s t i n   R D ,   2 0 0 1 ,   I N F O R M   S Y S T   R E S ,   V 1 2 ,   P 1 9 5 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 2 . 2 . 1 9 5 . 9 6 9 9 ;   B a e z a - Y a t e s   R . ,   1 9 9 9 ,   M O D E R N   I N F O R M   R E T R I E ;   B a l i j e p a l l y   V ,   2 0 0 9 ,   M I S   Q U A R T ,   V 3 3 ,   P 9 1 ;   B A S I L I   V R ,   1 9 8 7 ,   I E E E   T   S O F T W A R E   E N G ,   V 1 3 ,   P 1 2 7 8 ,   D O I   1 0 . 1 1 0 9 / T S E . 1 9 8 7 . 2 3 2 8 8 1 ;   B e r n e r   S ,   2 0 0 5 ,   P R O C   I N T   C O N F   S O F T W ,   P 5 7 1 ;   B E R T O L I N O   A ,   2 0 0 7 ,   P   2 9   I N T   C   S O F T W   E N G ,   P 8 5 ;   B e t t e n b u r g   N ,   2 0 0 8 ,   P R O C   I E E E   I N T   C O N F   S ,   P 3 3 7 ,   D O I   1 0 . 1 1 0 9 / I C S M . 2 0 0 8 . 4 6 5 8 0 8 2 ;   B i f f l   S ,   2 0 0 3 ,   I E E E   T   S O F T W A R E   E N G ,   V 2 9 ,   P 3 8 5 ,   D O I   1 0 . 1 1 0 9 / T S E . 2 0 0 3 . 1 1 9 9 0 6 9 ;   B r i a n d   L .   C . ,   2 0 0 7 ,   F I R S T   I N T E R N A T I O N A L ,   P 1 ;   B r i a n d   L C ,   2 0 0 0 ,   I E E E   T   S O F T W A R E   E N G ,   V 2 6 ,   P 5 1 8 ,   D O I   1 0 . 1 1 0 9 / 3 2 . 8 5 2 7 4 1 ;   C h a b r i s   C . ,   2 0 1 1 ,   T H E   I N V I S I B L E   G O R I L L ;   C o e   R . ,   2 0 0 2 ,   P A P E R   P R E S E N T E D   A T   T ;   C o h e n   J . ,   1 9 8 8 ,   S T A T   P O W E R   A N A L   B E H A ;   C r o s k e r r y   P ,   2 0 0 3 ,   A C A D   M E D ,   V 7 8 ,   P 7 7 5 ,   D O I   1 0 . 1 0 9 7 / 0 0 0 0 1 8 8 8 - 2 0 0 3 0 8 0 0 0 - 0 0 0 0 3 ;   D e s i k a n   S ,   2 0 0 6 ,   S O F T W A R E   T E S T I N G   P R I ;   D O L A N   R J ,   1 9 9 3 ,   J   P R O D   I N N O V A T   M A N A G ,   V 1 0 ,   P 3 1 8 ,   D O I   1 0 . 1 0 1 6 / 0 7 3 7 - 6 7 8 2 ( 9 3 ) 9 0 0 7 4 - Z ;   D u n s m o r e   A ,   2 0 0 3 ,   I E E E   T   S O F T W A R E   E N G ,   V 2 9 ,   P 6 7 7 ,   D O I   1 0 . 1 1 0 9 / T S E . 2 0 0 3 . 1 2 2 3 6 4 3 ;   E l b e r z h a g e r   F ,   2 0 1 2 ,   I N F O R M   S O F T W A R E   T E C H ,   V 5 4 ,   P 1 0 9 2 ,   D O I   1 0 . 1 0 1 6 / j . i n f s o f . 2 0 1 2 . 0 4 . 0 0 7 ;   E l d h   S ,   2 0 1 1 ,   I E E E   F O U R T H   I N T E R N A T ,   P 7 0 ;   E l l i s   P D ,   2 0 1 0 ,   T H E   E S S E N T I A L   G U I D E ;   F o l s t a d   A ,   2 0 1 0 ,   I N T E R A C T   C O M P U T ,   V 2 2 ,   P 7 5 ,   D O I   1 0 . 1 0 1 6 / j . i n t c o m . 2 0 0 9 . 0 9 . 0 0 1 ;   F r y   Z . P . ,   2 0 1 0 ,   I N T   C   S O F T W   M A I N T ,   P 1 ;   G l e r u m   K . ,   2 0 0 9 ,   P   A C M   S I G O P S   2 2   S   O P ,   P 1 0 3 ,   D O I   1 0 . 1 1 4 5 / 1 6 2 9 5 7 5 . 1 6 2 9 5 8 6 ;   G r a b e r   M ,   2 0 0 2 ,   A C A D   M E D ,   V 7 7 ,   P 9 8 1 ,   D O I   1 0 . 1 0 9 7 / 0 0 0 0 1 8 8 8 - 2 0 0 2 1 0 0 0 0 - 0 0 0 0 9 ;   H a n n a y   J E ,   2 0 0 7 ,   I E E E   T   S O F T W A R E   E N G ,   V 3 3 ,   P 8 7 ,   D O I   1 0 . 1 1 0 9 / T S E . 2 0 0 7 . 1 2 ;   H a r t s o n   H R ,   2 0 0 1 ,   I N T   J   H U M - C O M P U T   I N T ,   V 1 3 ,   P 3 7 3 ,   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 7 5 9 0 I J H C 1 3 0 4 _ 0 3 ;   H e r t z u m   M ,   2 0 0 3 ,   I N T   J   H U M - C O M P U T   I N T ,   V 1 5 ,   P 1 8 3 ,   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 7 5 9 0 I J H C 1 5 0 1 _ 1 4 ;   H o s t   M . ,   2 0 0 0 ,   E m p i r i c a l   S o f t w a r e   E n g i n e e r i n g ,   V 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 6 5 8 6 4 1 5 0 5 4 ;   I t k o n e n   J ,   2 0 1 3 ,   I E E E   T   S O F T W A R E   E N G ,   V 3 9 ,   P 7 0 7 ,   D O I   1 0 . 1 1 0 9 / T S E . 2 0 1 2 . 5 5 ;   I t k o n e n   J . ,   2 0 0 7 ,   F I R S T   I N T E R N A T I O N A L ,   P 6 1 ;   J a c o b s o n   I . ,   2 0 0 9 ,   W H Y   W E   N E E D   A   T H E O R Y ;   J o n e s   C ,   1 9 9 6 ,   C O M P U T E R ,   V 2 9 ,   P 9 4 ,   D O I   1 0 . 1 1 0 9 / 2 . 4 8 8 3 6 1 ;   J u r i s t o   N ,   2 0 0 4 ,   E M P I R   S O F T W   E N G ,   V 9 ,   P 7 ,   D O I   1 0 . 1 0 2 3 / B : E M S E . 0 0 0 0 0 1 3 5 1 3 . 4 8 9 6 3 . 1 b ;   K a m s t i e s   E . ,   1 9 9 6 ,   P   5   E U R   S O F T W   E N G   C ,   P 3 6 2 ;   K e l l e y   K ,   2 0 0 5 ,   E D U C   P S Y C H O L   M E A S ,   V 6 5 ,   P 5 1 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 3 1 6 4 4 0 4 2 6 4 8 5 0 ;   K e m e r e r   C F ,   2 0 0 9 ,   I E E E   T   S O F T W A R E   E N G ,   V 3 5 ,   P 5 3 4 ,   D O I   1 0 . 1 1 0 9 / T S E . 2 0 0 9 . 2 7 ;   K r o n z   J D ,   1 9 9 9 ,   C A N C E R ,   V 8 6 ,   P 2 4 2 6 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 7 - 0 1 4 2 ( 1 9 9 9 1 2 0 1 ) 8 6 : 1 1 < 2 4 2 6 : : A I D - C N C R 3 4 > 3 . 0 . C O ; 2 - 3 ;   L i n g   C ,   2 0 0 9 ,   I N T   J   H U M - C O M P U T   S T ,   V 6 7 ,   P 3 8 2 ,   D O I   1 0 . 1 0 1 6 / j . i j h c s . 2 0 0 8 . 1 1 . 0 0 2 ;   M a c k   A . ,   1 9 9 8 ,   I N A T T E N T I O N A L   B L I N D N ;   M a l d o n a d o   J C ,   2 0 0 6 ,   E M P I R   S O F T W   E N G ,   V 1 1 ,   P 1 1 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 6 4 - 0 0 6 - 5 9 6 7 - 6 ;   M a n t y l a   M V ,   2 0 1 2 ,   I N T   S Y M P   E M P   S O F T W A R ,   P 3 1 1 ,   D O I   1 0 . 1 1 4 5 / 2 3 7 2 2 5 1 . 2 3 7 2 3 0 7 ;   M a n t y l a   M V ,   2 0 1 2 ,   S O F T W A R E   Q U A L   J ,   V 2 0 ,   P 1 4 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 1 9 - 0 1 1 - 9 1 5 7 - 4 ;   M a r t i n   D ,   2 0 0 7 ,   P R O C   I N T   C O N F   S O F T W ,   P 6 0 2 ;   M C D A N I E L   L S ,   1 9 9 0 ,   J   A C C O U N T I N G   R E S ,   V 2 8 ,   P 2 6 7 ,   D O I   1 0 . 2 3 0 7 / 2 4 9 1 1 5 0 ;   M i l l e r   J ,   2 0 0 4 ,   I E E E   T   S O F T W A R E   E N G ,   V 3 0 ,   P 8 1 1 ,   D O I   1 0 . 1 1 0 9 / T S E . 2 0 0 4 . 6 9 ;   M o u c h a w r a b   S ,   2 0 1 1 ,   I E E E   T   S O F T W A R E   E N G ,   V 3 7 ,   P 1 6 1 ,   D O I   1 0 . 1 1 0 9 / T S E . 2 0 1 0 . 3 2 ;   M Y E R S   G J ,   1 9 7 8 ,   C O M M U N   A C M ,   V 2 1 ,   P 7 6 0 ,   D O I   1 0 . 1 1 4 5 / 3 5 9 5 8 8 . 3 5 9 6 0 2 ;   N a n   N ,   2 0 0 9 ,   I E E E   T   S O F T W A R E   E N G ,   V 3 5 ,   P 6 2 4 ,   D O I   1 0 . 1 1 0 9 / T S E . 2 0 0 9 . 1 8 ;   N i e l s e n   J . ,   1 9 9 2 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 7 3 ,   D O I   1 0 . 1 1 4 5 / 1 4 2 7 5 0 . 1 4 2 8 3 4 ;   P e t e r s s o n   H ,   2 0 0 4 ,   J   S Y S T   S O F T W A R E ,   V 7 2 ,   P 2 4 9 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 4 - 1 2 1 2 ( 0 3 ) 0 0 0 9 0 - 6 ;   P u t t i c k   G . ,   2 0 0 8 ,   T H E   P R I N C I P L E S   A N D   P ;   R a i l   D .   M . ,   2 0 1 2 ,   7   I N T   W O R K S H   A U T   S O F ,   P 3 6 ;   R a s t k a r   S . ,   2 0 1 0 ,   A C M   I E E E   3 2 N D   I N T E R N ,   P 5 0 5 ;   R a y m o n d   E .   S . ,   1 9 9 9 ,   K N O W L E D G E   T E C H N O L O G Y ,   V 1 2 ,   P 2 3 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 2 1 3 0 - 9 9 9 - 1 0 2 6 - 0 ;   R i j s b e r g e n   C ,   1 9 7 9 ,   I N F O R M   R E T R I E V A L ;   R U N E S O N   P ,   2 0 0 7 ,   2 9   I E E E   A C M   I N T   C   S O ,   P 4 9 9 ,   D O I   1 0 . 1 1 0 9 / I C S E . 2 0 0 7 . 3 2 ;   S e a r s   A ,   1 9 9 7 ,   I N T   J   H U M - C O M P U T   I N T ,   V 9 ,   P 2 1 3 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 5 9 0 i j h c 0 9 0 3 _ 2 ;   S t e i n e r   I .   D . ,   1 9 7 2 ,   G R O U P   P R O C E S S   P R O D U C ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T E A S L E Y   B E ,   1 9 9 4 ,   J   A P P L   P S Y C H O L ,   V 7 9 ,   P 1 4 2 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 1 - 9 0 1 0 . 7 9 . 1 . 1 4 2 ;   T h o m p s o n   R .   F . ,   1 9 7 3 ,   H A B I T U A T I O N   B E H A V I O R ,   V 1 ,   P 2 3 9 ;   T i c h y   W .   F . ,   2 0 0 0 ,   E m p i r i c a l   S o f t w a r e   E n g i n e e r i n g ,   V 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 9 8 4 4 1 1 9 1 5 8 ;   T o p i   H ,   2 0 0 5 ,   I N T   J   H U M - C O M P U T   S T ,   V 6 2 ,   P 3 4 9 ,   D O I   1 0 . 1 0 1 6 / j . i j h c s . 2 0 0 4 . 1 0 . 0 0 3 ;   V A L E T T   J D ,   1 9 8 9 ,   J   S Y S T   S O F T W A R E ,   V 9 ,   P 1 3 7 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 4 - 1 2 1 2 ( 8 9 ) 9 0 0 1 6 - 2 ;   W a l i a   G u r s i m r a n   S i n g h ,   2 0 0 8 ,   2 0 0 8   A C M / I E E E   3 0 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S o f t w a r e   E n g i n e e r i n g .   I C S E ' 0 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 6 8 0 8 8 . 1 3 6 8 1 3 4 ;   W a l i a   G .   S . ,   2 0 0 7 ,   T H E   1 8 T H   I E E E   I N T E R N ,   P 7 1 ;   W I T K I N   H A ,   1 9 7 7 ,   R E V   E D U C   R E S ,   V 4 7 ,   P 1 ;   W o h l i n   C . ,   2 0 0 0 ,   E X P T   S O F T W A R E   E N G   I N ;   W o o d   M ,   1 9 9 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 1 3 0 1 ,   P 2 6 2 ;   Y A N G   M C K ,   1 9 9 5 ,   I E E E   T   R E L I A B ,   V 4 4 ,   P 3 1 5 ,   D O I   1 0 . 1 1 0 9 / 2 4 . 3 8 7 3 8 8 ;   Y e r k e s   R M ,   1 9 0 8 ,   J   C O M P   N E U R O L   P S Y C H O ,   V 1 8 ,   P 4 5 9 ,   D O I   1 0 . 1 0 0 2 / c n e . 9 2 0 1 8 0 5 0 3 	 7 3 	 1 	 1 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 9 5 0 - 5 8 4 9 	 1 8 7 3 - 6 0 2 5 	 	 I N F O R M   S O F T W A R E   T E C H 	 I n f .   S o f t w .   T e c h n o l . 	 J U N 	 2 0 1 3 	 5 5 	 6 	 	 	 	 	 9 8 6 	 1 0 0 3 	 	 1 0 . 1 0 1 6 / j . i n f s o f . 2 0 1 2 . 1 2 . 0 0 4 	 	 1 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 1 3 9 L S 	 W O S : 0 0 0 3 1 8 5 8 4 8 0 0 0 0 5 	 	 
 J 	 Z e i n a l i p o u r - Y a z t i ,   D ;   L a o u d i a s ,   C ;   C o s t a ,   C ;   V l a c h o s ,   M ;   A n d r e o u ,   M I ;   G u n o p u l o s ,   D 	 	 	 	 Z e i n a l i p o u r - Y a z t i ,   D e m e t r i o s ;   L a o u d i a s ,   C h r i s t o s ;   C o s t a ,   C o n s t a n d i n o s ;   V l a c h o s ,   M i c h a i l ;   A n d r e o u ,   M a r i a   I . ;   G u n o p u l o s ,   D i m i t r i o s 	 	 	 C r o w d s o u r c e d   T r a c e   S i m i l a r i t y   w i t h   S m a r t p h o n e s 	 I E E E   T R A N S A C T I O N S   O N   K N O W L E D G E   A N D   D A T A   E N G I N E E R I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   t r a j e c t o r y   s i m i l a r i t y   s e a r c h ;   s m a r t p h o n e s ;   l o n g e s t   c o m m o n   s u b s e q u e n c e ;   a n d r o i d   O S 	 S E R V I C E S ;   O B J E C T S 	 S m a r t p h o n e s   a r e   n o w a d a y s   e q u i p p e d   w i t h   a   n u m b e r   o f   s e n s o r s ,   s u c h   a s   W i F i ,   G P S ,   a c c e l e r o m e t e r s ,   e t c .   T h i s   c a p a b i l i t y   a l l o w s   s m a r t p h o n e   u s e r s   t o   e a s i l y   e n g a g e   i n   c r o w d s o u r c e d   c o m p u t i n g   s e r v i c e s ,   w h i c h   c o n t r i b u t e   t o   t h e   s o l u t i o n   o f   c o m p l e x   p r o b l e m s   i n   a   d i s t r i b u t e d   m a n n e r .   I n   t h i s   w o r k ,   w e   l e v e r a g e   s u c h   a   c o m p u t i n g   p a r a d i g m   t o   s o l v e   e f f i c i e n t l y   t h e   f o l l o w i n g   p r o b l e m :   c o m p a r i n g   a   q u e r y   t r a c e   Q   a g a i n s t   a   c r o w d   o f   t r a c e s   g e n e r a t e d   a n d   s t o r e d   o n   d i s t r i b u t e d   s m a r t p h o n e s .   O u r   p r o p o s e d   f r a m e w o r k ,   c o i n e d   S m a r t T r a c e ( + ) ,   p r o v i d e s   a n   e f f e c t i v e   s o l u t i o n   w i t h o u t   d i s c l o s i n g   a n y   p a r t   o f   t h e   c r o w d   t r a c e s   t o   t h e   q u e r y   p r o c e s s o r .   S m a r t T r a c e ( + ) ,   r e l i e s   o n   a n   i n - s i t u   d a t a   s t o r a g e   m o d e l   a n d   i n t e l l i g e n t   t o p - K   q u e r y   p r o c e s s i n g   a l g o r i t h m s   t h a t   e x p l o i t   d i s t r i b u t e d   t r a j e c t o r y   s i m i l a r i t y   m e a s u r e s ,   r e s i l i e n t   t o   s p a t i a l   a n d   t e m p o r a l   n o i s e ,   i n   o r d e r   t o   d e r i v e   t h e   m o s t   r e l e v a n t   a n s w e r s   t o   Q .   W e   e v a l u a t e   o u r   a l g o r i t h m s   o n   b o t h   s y n t h e t i c   a n d   r e a l   w o r k l o a d s .   W e   d e s c r i b e   o u r   p r o t o t y p e   s y s t e m   d e v e l o p e d   o n   t h e   A n d r o i d   O S .   T h e   s o l u t i o n   i s   d e p l o y e d   o v e r   o u r   o w n   S m a r t L a b   t e s t b e d   o f   2 5   s m a r t p h o n e s .   O u r   s t u d y   r e v e a l s   t h a t   c o m p u t a t i o n s   o v e r   S m a r t T r a c e ( + )   r e s u l t   i n   s u b s t a n t i a l   e n e r g y   c o n s e r v a t i o n ;   i n   a d d i t i o n ,   r e s u l t s   c a n   b e   c o m p u t e d   f a s t e r   t h a n   c o m p e t i t i v e   a p p r o a c h e s . 	 [ Z e i n a l i p o u r - Y a z t i ,   D e m e t r i o s ;   C o s t a ,   C o n s t a n d i n o s ]   U n i v   C y p r u s ,   D e p t   C o m p   S c i ,   C Y - 1 6 7 8   N i c o s i a ,   C y p r u s ;   [ L a o u d i a s ,   C h r i s t o s ]   U n i v   C y p r u s ,   K I O S   R e s   C t r   I n t e l l i g e n t   S y s t   &   N e t w o r k s ,   C Y - 1 6 7 8   N i c o s i a ,   C y p r u s ;   [ L a o u d i a s ,   C h r i s t o s ]   U n i v   C y p r u s ,   D e p t   E l e c t   &   C o m p   E n g n ,   C Y - 1 6 7 8   N i c o s i a ,   C y p r u s ;   [ V l a c h o s ,   M i c h a i l ]   I B M   R e s   Z u r i c h ,   C H - 8 8 0 3   R u s c h l i k o n ,   S w i t z e r l a n d ;   [ A n d r e o u ,   M a r i a   I . ]   O p e n   U n i v   C y p r u s ,   S c h   P u r e   &   A p p l   S c i ,   C Y - 1 3 0 4   N i c o s i a ,   C y p r u s ;   [ G u n o p u l o s ,   D i m i t r i o s ]   U n i v   A t h e n s ,   D e p t   I n f o r m a t   &   T e l e c o m m u n ,   A t h e n s   1 5 7 8 4 ,   G r e e c e 	 Z e i n a l i p o u r - Y a z t i ,   D   ( r e p r i n t   a u t h o r ) ,   U n i v   C y p r u s ,   D e p t   C o m p   S c i ,   P O B   2 0 5 3 7 ,   C Y - 1 6 7 8   N i c o s i a ,   C y p r u s . 	 d z e i n a @ c s . u c y . a c . c y ;   l a o u d i a s @ u c y . a c . c y ;   c s 0 7 c c 6 @ c s . u c y . a c . c y ;   Z R L M V L @ c h . i b m . c o m ;   a n d r e o u @ o u c . a c . c y ;   d g @ d i . u o a . g r 	 	 	 U n i v e r s i t y   o f   C y p r u s ;   E U ' s   F P 6   M a r i e   C u r i e   T O K   " S E A R C H i N "   p r o j e c t ;   E U ' s   F P 7   " C O N E T "   p r o j e c t ;   E U ' s   F P 7   " M O D A P "   p r o j e c t ;   E U ;   G r e e k   N a t i o n a l   f u n d s   t h r o u g h   t h e   O p e r a t i o n a l   P r o g r a m   " E d u c a t i o n   a n d   L i f e l o n g   L e a r n i n g "   o f   t h e   N a t i o n a l   S t r a t e g i c   R e f e r e n c e   F r a m e w o r k   ( N S R F )   -   R e s e a r c h   F u n d i n g   P r o g r a m :   " A R I S T E I A   -   M M D " 	 T h e   a u t h o r s   w o u l d   l i k e   t o   t h a n k   t h e   a n o n y m o u s   r e v i e w e r s   f o r   t h e i r   v a l u a b l e   c o m m e n t s   a n d   s u g g e s t i o n s .   T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   f i r s t   a u t h o r ' s   S t a r t u p   G r a n t ,   f u n d e d   b y   t h e   U n i v e r s i t y   o f   C y p r u s ,   E U ' s   F P 6   M a r i e   C u r i e   T O K   " S E A R C H i N "   p r o j e c t ,   E U ' s   F P 7   " C O N E T "   p r o j e c t   a n d   E U ' s   F P 7   " M O D A P "   p r o j e c t .   T h e   w o r k   o f   t h e   l a s t   a u t h o r   w a s   c o f i n a n c e d   b y   E U   a n d   G r e e k   N a t i o n a l   f u n d s   t h r o u g h   t h e   O p e r a t i o n a l   P r o g r a m   " E d u c a t i o n   a n d   L i f e l o n g   L e a r n i n g "   o f   t h e   N a t i o n a l   S t r a t e g i c   R e f e r e n c e   F r a m e w o r k   ( N S R F )   -   R e s e a r c h   F u n d i n g   P r o g r a m :   " A R I S T E I A   -   M M D "   a n d   t h e   E U   f u n d e d   F P 7   p r o j e c t   " I N S I G H T . " 	 A l - A h a   K . ,   1 9 9 3 ,   A C M   S I G M O D   R E C O R D ,   V 2 2 ,   P 5 9 ;   A n d r e o u   P ,   2 0 1 1 ,   I N F O R M   S Y S T ,   V 3 6 ,   P 2 6 7 ,   D O I   1 0 . 1 0 1 6 / j . i s . 2 0 1 0 . 0 6 . 0 0 1 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   N S F   W O R K S H   S U S T   E N   D ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   G E O L   A P I ;   A z i z y a n   M . ,   2 0 0 9 ,   P   M O B I C O M ;   B a b c o c k   B . ,   2 0 0 3 ,   P   A C M   S I G M O D   I N T   C   M ;   B a k a l o v   P . ,   2 0 0 5 ,   P   1 3   A N N   A C M   I N T   W O R ;   B e r n d t   D . ,   1 9 9 4 ,   P   K N O W L   D I S C   D A T   M I N ;   B r e w   A . ,   2 0 1 0 ,   P   1 9   E U R   C   A R T   I N T   E ;   B r i n k h o f f   T ,   2 0 0 2 ,   G E O I N F O R M A T I C A ,   V 6 ,   P 1 5 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 5 2 3 1 1 2 6 5 9 4 ;   B r u n o   N . ,   2 0 0 2 ,   P   1 8   I N T   C   D A T   E N G   I ;   C a m p b e l l   A .   T . ,   2 0 0 6 ,   P   2   A N N   I N T   W O R K S H   W ;   C h e n   L . ,   2 0 0 5 ,   P   A C M   S I G M O D   I N T   C   M ;   C h e n   L . ,   P   3 0   I N T   C   V E R   L A R G ;   C h e n   Z . ,   2 0 1 0 ,   P   A C M   S I G M O D   I N T   C   M ;   C h o f f n e s   D .   R . ,   2 0 1 1 ,   P   S I G C O M M ;   C h o w   C Y ,   2 0 0 9 ,   A C M   T   D A T A B A S E   S Y S T ,   V 3 4 ,   D O I   1 0 . 1 1 4 5 / 1 6 2 0 5 8 5 . 1 6 2 0 5 9 1 ;   C h u n   B ,   2 0 0 3 ,   A C M   S I G C O M M   C O M P   C O M ,   V 3 3 ,   P 3 ,   D O I   1 0 . 1 1 4 5 / 9 5 6 9 9 3 . 9 5 6 9 9 5 ;   C o s t a   C . ,   2 0 1 1 ,   P   2 7   I N T   C   D A T   E N G   I ;   D a s   G . ,   1 9 9 7 ,   P   1   E U R   S   P R I N C   D A T ;   D a s   T . ,   2 0 1 0 ,   P   8   I N T   C   M O B   S Y S T   A ;   E r i k s s o n   J . ,   2 0 0 8 ,   P   6   I N T   C   M O B   S Y S T   A ;   F a g i n   R ,   2 0 0 3 ,   J   C O M P U T   S Y S T   S C I ,   V 6 6 ,   P 6 1 4 ,   D O I   1 0 . 1 0 1 6 / S 0 0 2 2 - 0 0 0 0 ( 0 3 ) 0 0 0 2 6 - 6 ;   F r a n k l i n   M . ,   2 0 1 1 ,   P   A C M   S I G M O D   I N T   C   M ;   F r e n t z o s   E . ,   2 0 0 7 ,   P   2 3   I N T   C   D A T   E N G   I ;   H a d j i e l e f t h e r i o u   M . ,   2 0 0 5 ,   P   3 1   I N T   C   V E R   L A R G ;   I l y a s   I .   F . ,   2 0 0 8 ,   A C M   C O M P U T I N G   S U R V E Y ,   V 4 0 ;   J e u n g   H . ,   2 0 0 8 ,   P   V L D B   E N D O W ,   V 1 ,   P 1 0 6 8 ;   K o l l i o s   G ,   2 0 0 1 ,   I E E E   T   K N O W L   D A T A   E N ,   V 1 3 ,   P 7 5 8 ,   D O I   1 0 . 1 1 0 9 / 6 9 . 9 5 6 0 9 9 ;   K r i s h n a   R . ,   2 0 1 1 ,   P   9   I N T   C   M O B   S Y S T   A ;   L i u   T . ,   2 0 0 4 ,   P   2   I N T   C   M O B   S Y S T   A ;   M a r c u s   A . ,   2 0 1 1 ,   P   5   B I E N N   C   I N N   D A T ;   M o n e y   N .   A . ,   2 0 1 1 ,   P   W O R L D   W I D   W E B   C   W W ;   M u s o l e s i   M . ,   2 0 1 0 ,   P   8   I N T   C   P E R V   C O M P ;   N i   J F ,   2 0 0 7 ,   I E E E   T   K N O W L   D A T A   E N ,   V 1 9 ,   P 6 6 3 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 0 7 . 1 0 0 6 ;   R a n a   R .   K . ,   2 0 1 1 ,   P   I E E E   9   A C M   I N T   C   I ;   T a o   Y F ,   2 0 0 3 ,   A C M   T   D A T A B A S E   S Y S T ,   V 2 8 ,   P 2 9 5 ,   D O I   1 0 . 1 1 4 5 / 9 5 8 9 4 2 . 9 5 8 9 4 3 ;   T h i a g a r a j a n   A . ,   2 0 0 9 ,   P   7   A C M   C   E M B   N E T W   S ;   U . S .   D e p t .   o f   T r a n s p o r t a t i o n   F e d .   T r a n s i t   A d m i n i s t r a t i o n ,   2 0 0 8 ,   C R O W D S   P U B L   P A R T   T R A ;   V i e i r a   M . ,   2 0 0 9 ,   P   1 7   A C M   S I G S P A T I A L ;   V l a c h o s   M . ,   2 0 0 3 ,   P   9   A C M   S I G K D D   I N T   C ;   W e r n e r - A l l e n   G . ,   2 0 0 5 ,   P   4   I N T   S   I N F   P R O C   S ;   Z a i d a n   O . ,   2 0 1 1 ,   P   4 9   A N N   M   A S S   C O M P ;   Z e i n a l i p o u r - Y a z t i   D . ,   2 0 0 6 ,   P   1 5   A C M   I N T   C   I N F   K ;   Z e i n a l i p o u r - Y a z t i   D . ,   2 0 1 1 ,   P   I E E E   1 2   I N T   C   M O B ;   Z h e n g   Y . ,   2 0 0 9 ,   P   1 8   I N T   C   W O R L D   W I D ;   Z h e n g   Y u ,   2 0 0 8 ,   P   1 7   I N T   C   W O R L D   W I D 	 4 7 	 2 	 3 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 4 1 - 4 3 4 7 	 1 5 5 8 - 2 1 9 1 	 	 I E E E   T   K N O W L   D A T A   E N 	 I E E E   T r a n s .   K n o w l .   D a t a   E n g . 	 J U N 	 2 0 1 3 	 2 5 	 6 	 	 	 	 	 1 2 4 0 	 1 2 5 3 	 	 1 0 . 1 1 0 9 / T K D E . 2 0 1 2 . 5 5 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 1 2 9 R T 	 W O S : 0 0 0 3 1 7 8 6 0 3 0 0 0 0 4 	 	 
 J 	 N i s h i k a w a ,   H ;   S c h r e i e r ,   M ;   O g a w a ,   S 	 	 	 	 N i s h i k a w a ,   H i d e h i k o ;   S c h r e i e r ,   M a r t i n ;   O g a w a ,   S u s u m u 	 	 	 U s e r - g e n e r a t e d   v e r s u s   d e s i g n e r - g e n e r a t e d   p r o d u c t s :   A   p e r f o r m a n c e   a s s e s s m e n t   a t   M u j i 	 I N T E R N A T I O N A L   J O U R N A L   O F   R E S E A R C H   I N   M A R K E T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 U s e r   d e s i g n ;   U s e r - g e n e r a t e d   p r o d u c t s ;   U s e r   i n n o v a t i o n ;   C o - c r e a t i o n ;   C u s t o m e r   i n t e g r a t i o n ;   C r o w d s o u r c i n g ;   M a r k e t   p e r f o r m a n c e ;   N e w   p r o d u c t   d e v e l o p m e n t ;   I d e a   g e n e r a t i o n 	 I N N O V A T I O N ;   I D E A S ;   B R E A K T H R O U G H S ;   C O N S U M E R S 	 I n   r e c e n t   y e a r s ,   m o r e   a n d   m o r e   c o n s u m e r   g o o d s   f i r m s   h a v e   s t a r t e d   t o   t a p   i n t o   t h e   c r e a t i v e   p o t e n t i a l   o f   t h e i r   u s e r   c o m m u n i t i e s   t o   f u e l   t h e i r   n e w   p r o d u c t   d e v e l o p m e n t   p i p e l i n e s .   A l t h o u g h   m a n y   h a v e   h a i l e d   t h i s   p a r a d i g m   s h i f t   a s   a   h i g h l y   p r o m i s i n g   d e v e l o p m e n t   f o r   f i r m s ,   h a r d l y   a n y   r e s e a r c h   h a s   s y s t e m a t i c a l l y   c o m p a r e d   t h e   a c t u a l   m a r k e t   p e r f o r m a n c e   o f   u s e r - g e n e r a t e d   p r o d u c t s   w i t h   d e s i g n e r - g e n e r a t e d   o n e s .   W e   f i l l   t h i s   v o i d   b y   p r e s e n t i n g   a   u n i q u e   d a t a   s e t   g a t h e r e d   f r o m   t h e   J a p a n e s e   c o n s u m e r   g o o d s   b r a n d   M u j i ,   w h i c h   h a s   d r a w n   o n   b o t h   s o u r c e s   o f   i d e a s   i n   p a r a l l e l   i n   r e c e n t   y e a r s .   W e   d e m o n s t r a t e   t h a t   u s e r - g e n e r a t e d   p r o d u c t s ,   w h i c h   a r e   f o u n d   t o   g e n e r a l l y   c o n t a i n   h i g h e r   n o v e l t y ,   o u t p e r f o r m e d   t h e i r   d e s i g n e r - g e n e r a t e d   c o u n t e r p a r t s   o n   k e y   m a r k e t   p e r f o r m a n c e   m e t r i c s .   S p e c i f i c a l l y ,   i n   t h e   f i r s t   y e a r   a f t e r   i n t r o d u c t i o n ,   s a l e s   r e v e n u e s   f r o m   u s e r - g e n e r a t e d   p r o d u c t s   w e r e   t h r e e   t i m e s   h i g h e r   a n d   g r o s s   m a r g i n s   w e r e   f o u r   t i m e s   g r e a t e r   t h a n   t h o s e   o f   d e s i g n e r - g e n e r a t e d   p r o d u c t s .   T h e s e   e f f e c t s   a l s o   i n c r e a s e d   o v e r   t i m e :   a f t e r   t h r e e   y e a r s ,   t h e   a g g r e g a t e   s a l e s   r e v e n u e s   o f   u s e r - g e n e r a t e d   p r o d u c t s   w e r e ,   o n   a v e r a g e ,   1 . 2 5   b i l l i o n   y e n   ( a p p r o x i m a t e l y   1 6   m i l l i o n   d o l l a r s )   h i g h e r ,   o r   f i v e   t i m e s   g r e a t e r ,   t h a n   t h e   s a l e s   o f   d e s i g n e r - g e n e r a t e d   p r o d u c t s .   T h e   c o r r e s p o n d i n g   a v e r a g e   m a r g i n   w a s   a n   i m p r e s s i v e   6 1 9   m i l l i o n   y e n   ( a p p r o x i m a t e l y   8   m i l l i o n   d o l l a r s )   h i g h e r ,   o r   s i x   t i m e s   g r e a t e r ,   t h a n   t h e   m a r g i n   f o r   d e s i g n e r - g e n e r a t e d   p r o d u c t s .   F i n a l l y ,   u s e r - g e n e r a t e d   p r o d u c t s   w e r e   m o r e   l i k e l y   t o   s u r v i v e   t h e   t h r e e - y e a r   o b s e r v a t i o n   p e r i o d   t h a n   d e s i g n e r - g e n e r a t e d   p r o d u c t s   ( i . e . ,   w e r e   s t i l l   o n   t h e   m a r k e t   t h r e e   y e a r s   a f t e r   i n t r o d u c t i o n ) .   T h e s e   f i n d i n g s   c l e a r l y   f a v o r   t h e   p a r a d i g m   s h i f t   i d e n t i f i e d   i n   m a r k e t i n g   r e s e a r c h   a n d   a p p e a l   t o   m a n a g e r s   c o n s i d e r i n g   t h e   i n t e g r a t i o n   o f   u s e r   i d e a s   i n t o   t h e   p r o c e s s   o f   n e w   p r o d u c t   d e v e l o p m e n t .   W e   d i s c u s s   o u r   s t u d y ' s   l i m i t a t i o n s   a n d   i d e n t i f y   i m p o r t a n t   a v e n u e s   f o r   f u t u r e   r e s e a r c h .   ( C )   2 0 1 2   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ N i s h i k a w a ,   H i d e h i k o ]   H o s e i   U n i v ,   F a c   B u s i n e s s   A d m ,   C h i y o d a   K u ,   T o k y o   1 0 2 8 1 6 0 ,   J a p a n ;   [ S c h r e i e r ,   M a r t i n ]   W U   V i e n n a   U n i v   E c o n   &   B u s i n e s s ,   D e p t   M k t ,   A - 1 0 9 0   V i e n n a ,   A u s t r i a ;   [ O g a w a ,   S u s u m u ]   K o b e   U n i v ,   S c h   B u s i n e s s   A d m ,   N a d a   K u ,   K o b e ,   H y o g o   6 5 7 8 5 0 1 ,   J a p a n 	 S c h r e i e r ,   M   ( r e p r i n t   a u t h o r ) ,   W U   V i e n n a   U n i v   E c o n   &   B u s i n e s s ,   D e p t   M k t ,   A u g a s s e   2 - 6 ,   A - 1 0 9 0   V i e n n a ,   A u s t r i a . 	 h i d e h i k o @ h o s e i . a c . j p ;   m a r t i n . s c h r e i e r @ w u . a c . a t ;   o g a w a @ k o b e - u . a c . j p 	 	 	 	 	 A m a b i l e   T M ,   1 9 9 8 ,   H A R V A R D   B U S   R E V ,   V 7 6 ,   P 7 6 ;   B a y u s   B L ,   2 0 1 3 ,   M A N A G E   S C I ,   V 5 9 ,   P 2 2 6 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 2 0 . 1 5 9 9 ;   B o u d r e a u   K J ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 8 4 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 2 2 ;   C o o p e r   R .   G . ,   2 0 0 1 ,   W I N N I N G   N E W   P R O D U C T S ;   C r a w f o r d   C . M . ,   2 0 0 0 ,   N E W   P R O D U C T S   M A N A G E M ;   F l e m i n g   L ,   2 0 0 7 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 9 ,   P 6 9 ;   F r a n k e   N ,   2 0 0 6 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 3 ,   P 3 0 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 0 6 . 0 0 2 0 3 . x ;   F u c h s   C ,   2 0 1 1 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 8 ,   P 1 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 0 . 0 0 7 7 8 . x ;   G R O S S   I ,   1 9 7 2 ,   S L O A N   M A N A G E   R E V ,   V 1 4 ,   P 8 3 ;   H e r t e l   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 7 - 7 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   L i l i e n   G .   L . ,   2 0 0 2 ,   M A N A G E   S C I ,   V 4 8 ,   P 1 0 4 1 ;   M o r e a u   C P ,   2 0 1 0 ,   J   C O N S U M   R E S ,   V 3 6 ,   P 8 0 6 ,   D O I   1 0 . 1 0 8 6 / 6 4 4 6 1 2 ;   O g a w a   S ,   2 0 0 6 ,   M I T   S L O A N   M A N A G E   R E V ,   V 4 7 ,   P 6 5 ;   P i l l e r   F T ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 0 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 2 . x ;   P o e t z   M K ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x ;   S c h r e i e r   M ,   2 0 1 2 ,   J   M A R K E T I N G ,   V 7 6 ,   P 1 8 ;   S c h u l z e   A ,   2 0 0 8 ,   R E S   P O L I C Y ,   V 3 7 ,   P 1 7 4 2 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 8 . 0 7 . 0 0 2 ;   S i n g h   J ,   2 0 1 0 ,   M A N A G E   S C I ,   V 5 6 ,   P 4 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 9 0 . 1 0 7 2 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T e r w i e s c h   C . ,   2 0 0 9 ,   I N N O V A T I O N   T O U R N A M E N ;   T o u b i a   O ,   2 0 0 7 ,   M A R K E T   S C I ,   V 2 6 ,   P 3 4 2 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 7 0 . 0 2 7 3 ;   U l r i c h   K a r l   T . ,   2 0 0 7 ,   D E S I G N   C R E A T I O N   A R T E ;   U L R I C H   K . T . ,   1 9 9 5 ,   P R O D U C T   D E S I G N   D E V ;   U r b a n   G .   L . ,   1 9 9 3 ,   D E S I G N   M A R K E T I N G   N E W ;   V o n   H i p p e l   E ,   1 9 8 8 ,   S O U R C E S   I N N O V A T I O N ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   v o n   H i p p e l   E ,   2 0 1 1 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 3 ,   P 2 7 ;   W e i s b e r g   R .   W . ,   1 9 9 3 ,   C R E A T I V I T Y   M Y T H   G E N I 	 3 0 	 1 	 1 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 1 6 7 - 8 1 1 6 	 	 	 I N T   J   R E S   M A R K 	 I n t .   J .   R e s .   M a r k . 	 J U N 	 2 0 1 3 	 3 0 	 2 	 	 	 	 	 1 6 0 	 1 6 7 	 	 1 0 . 1 0 1 6 / j . i j r e s m a r . 2 0 1 2 . 0 9 . 0 0 2 	 	 8 	 B u s i n e s s 	 B u s i n e s s   &   E c o n o m i c s 	 1 3 5 C M 	 W O S : 0 0 0 3 1 8 2 6 3 6 0 0 0 0 6 	 	 
 J 	 S a t z g e r ,   B ;   P s a i e r ,   H ;   S c h a l l ,   D ;   D u s t d a r ,   S 	 	 	 	 S a t z g e r ,   B e n j a m i n ;   P s a i e r ,   H a r a l d ;   S c h a l l ,   D a n i e l ;   D u s t d a r ,   S c h a h r a m 	 	 	 A u c t i o n - b a s e d   c r o w d s o u r c i n g   s u p p o r t i n g   s k i l l   m a n a g e m e n t 	 I N F O R M A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 H u m a n - c e n t r i c   B P M ;   C r o w d s o u r c i n g ;   O n l i n e   c o m m u n i t i e s ;   T a s k   m a r k e t s ;   A u c t i o n s ;   S k i l l   e v o l u t i o n 	 W O R L D ;   W E B 	 C r o w d s o u r c i n g   i s   a   p r o m i s i n g   a p p r o a c h   f o r   e n t e r p r i s e s   t o   m a i n t a i n   a   f l e x i b l e   w o r k f o r c e   t h a t   i s   a b l e   t o   s o l v e   p a r t s   o f   b u s i n e s s   p r o c e s s e s   f o r m e r l y   p r o c e s s e d   i n - h o u s e .   C o m p a n i e s   p e r c e i v e   c r o w d s o u r c i n g   a s   a   c o n c e p t   t h a t   a l l o w s   r e c e i v i n g   s o l u t i o n s   q u i c k l y   a n d   a t   l i t t l e   c o s t .   S i m i l a r   t o   c l o u d   c o m p u t i n g   w h e r e   c o m p u t i n g   p o w e r   i s   p r o v i d e d   o n   d e m a n d ,   t h e   c r o w d   p r o m i s e s   a   f l e x i b l e   o n - d e m a n d   w o r k f o r c e .   H o w e v e r ,   b u s i n e s s e s   r e a l i z e   t h a t   t h e s e   b e n e f i t s   e n t a i l   a   l a c k   o f   q u a l i t y   c o n t r o l .   T h e   m a i n   d i f f e r e n c e   c o m p a r e d   t o   t r a d i t i o n a l   a p p r o a c h e s   i n   b u s i n e s s   p r o c e s s   e x e c u t i o n   i s   t h a t   t a s k s   o r   a c t i v i t i e s   c a n n o t   b e   d i r e c t l y   a s s i g n e d   t o   e m p l o y e e s   b u t   a r e   p o s t e d   t o   t h e   c r o w d s o u r c i n g   p l a t f o r m .   I t s   m e m b e r s   c a n   c h o o s e   d e l i b e r a t e l y   w h i c h   t a s k s   t o   b o o k   a n d   w o r k   o n .   I n   f a c t ,   c r o w d s o u r c i n g   i s   h e a v i l y   a f f e c t e d   b y   t h e   l o o s e - c o u p l i n g   o f   w o r k e r s   t o   c r o w d s o u r c e r s   a n d   t h e   d y n a m i c s   o f   t h e   e n v i r o n m e n t .   H e n c e ,   i t   r e m a i n s   a   m a j o r   c h a l l e n g e   t o   g u a r a n t e e   h i g h - q u a l i t y   p r o c e s s i n g   o f   t a s k s   w i t h i n   t h e   p r e s c r i b e d   t i m e   l i m i t .   A   f u r t h e r   o b s t a c l e   f o r   a d o p t i o n   o f   c r o w d s o u r c i n g   i n   e n t e r p r i s e s   i s   t h e   f a c t   t h a t   i t   i s   h a r d   t o   s p e c i f y   a   f a i r   m o n e t a r y   r e w a r d   i n   a d v a n c e .   T h e   c o n c e p t s   i n t r o d u c e d   i n   t h i s   w o r k   a l l o w   t o   s m o o t h l y   i n t e g r a t e   n e w   w o r k e r s ,   t o   k e e p   t h e m   m o t i v a t e d ,   a n d   t o   h e l p   t h e m   d e v e l o p   a n d   i m p r o v e   s k i l l s   n e e d e d   i n   t h e   s y s t e m .   W e   p r e s e n t   a   c r o w d s o u r c i n g   m a r k e t p l a c e   t h a t   m a t c h e s   c o m p l e x   t a s k s ,   r e q u i r i n g   m u l t i p l e   s k i l l s ,   t o   s u i t a b l e   w o r k e r s .   T h e   k e y   t o   e n s u r i n g   h i g h   q u a l i t y   l i e s   i n   s k i l l e d   m e m b e r s   w h o s e   c a p a b i l i t i e s   c a n   b e   e s t i m a t e d   c o r r e c t l y .   T o   t h a t   e n d ,   w e   p r e s e n t   a u c t i o n   m e c h a n i s m s   t h a t   h e l p   t o   c o r r e c t l y   e s t i m a t e   w o r k e r s   a n d   t o   e v o l v e   s k i l l s   t h a t   a r e   n e e d e d   i n   t h e   s y s t e m .   C r o w d s o u r c e r s   d o   n o t   n e e d   t o   p r e d e f i n e   e x a c t   p r i c e s   b u t   o n l y   m a x i m u m   p r i c e s   t h e y   a r e   w i l l i n g   t o   p a y   s i n c e   t h e   a c t u a l   r e w a r d s   f o r   t a s k s   a r e   f o r m e d   b y   s u p p l y   a n d   d e m a n d .   E x t e n s i v e   e x p e r i m e n t s   s h o w   t h a t   o u r   a p p r o a c h   l e a d s   t o   i m p r o v e d   c r o w d s o u r c i n g ,   i n   m o s t   c a s e s .   ( C )   2 0 1 2   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ S a t z g e r ,   B e n j a m i n ;   P s a i e r ,   H a r a l d ;   D u s t d a r ,   S c h a h r a m ]   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   A - 1 0 4 0   V i e n n a ,   A u s t r i a ;   [ S c h a l l ,   D a n i e l ]   S i e m e n s   C o r p   T e c h n o l   C T   T   C E E ,   A - 1 2 1 1   V i e n n a ,   A u s t r i a 	 S a t z g e r ,   B   ( r e p r i n t   a u t h o r ) ,   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   A r g e n t i n i e r s t r   8 - 1 8 4 - 1 ,   A - 1 0 4 0   V i e n n a ,   A u s t r i a . 	 s a t z g e r @ d s g . t u w i e n . a c . a t ;   p s a i e r @ d s g . t u w i e n . a c . a t ;   d a n i e l . s c h a l l @ s i e m e n s . c o m ;   d u s t d a r @ d s g . t u w i e n . a c . a t 	 	 	 E U   F P 7   p r o g r a m   [ 2 1 5 4 8 3 ,   2 5 7 4 8 3 ] 	 T h i s   w o r k   r e c e i v e d   f u n d i n g   f r o m   t h e   E U   F P 7   p r o g r a m   u n d e r   t h e   a g r e e m e n t s   2 1 5 4 8 3   ( S C u b e )   a n d   2 5 7 4 8 3   ( I n d e n i c a ) . 	 A g r a w a l   A . ,   2 0 0 7 ,   W E B   S E R V I C E S   H U M A N   T ;   B r a b h a m   D a r e n   C . ,   2 0 1 2 ,   R O U T L E D G E   H D B   P A R T I C ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C a s t e l l a n o   C ,   2 0 0 9 ,   R E V   M O D   P H Y S ,   V 8 1 ,   P 5 9 1 ,   D O I   1 0 . 1 1 0 3 / R e v M o d P h y s . 8 1 . 5 9 1 ;   C h a w l a   S . ,   2 0 1 2 ,   P   2 3   A N N   A C M   S I A M   S ,   P 8 5 6 ;   C h i l t o n   L . B . ,   2 0 1 0 ,   S I G K D D   W O R K S H   H U M   C O ,   P 1 ;   D i P a l a n t i n o   D ,   2 0 0 9 ,   1 0 T H   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E   -   E C   2 0 0 9 ,   P 1 1 9 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   G n e e z y   U ,   2 0 0 6 ,   J   E C O N   B E H A V   O R G A N ,   V 6 1 ,   P 2 5 5 ,   D O I   1 0 . 1 0 1 6 / j . j e b o . 2 0 0 4 . 0 9 . 0 1 3 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   S I G K D D   W O R K S H   H U M   C O ,   P 6 4 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   S S R N   E L I B R A R Y ,   V 1 7 ,   P 1 6 ;   K h a z a n k i n   R . ,   2 0 1 2 ,   8   I N T   C   C O L L   C O M P   N E ;   K l e m p e r e r   P . ,   2 0 0 4 ,   A U C T I O N S   T H E O R Y   P R A C ;   K l o p p m a n n   M . ,   2 0 0 5 ,   W S   B P E L   E X T E N S I O N   P E ;   K u m a r   R . ,   2 0 1 0 ,   P   3   A C M   I N T   C   W E B   S E ,   P 3 1 1 ,   D O I   1 0 . 1 1 4 5 / 1 7 1 8 4 8 7 . 1 7 1 8 5 2 6 ;   L e y m a n n   F ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 2 7 5 ,   P 2 ;   L i u   T X ,   2 0 1 1 ,   P   A M   S O C   I N F O R M   S C I ,   V 4 8 ,   P 1 ;   M I L G R O M   P ,   1 9 8 9 ,   J   E C O N   P E R S P E C T ,   V 3 ,   P 3 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   P s a i e r   H . ,   2 0 1 0 ,   4   I N T   C   S E L F   A D   S E L F ,   P 1 6 4 ;   R o s s   J . ,   2 0 1 0 ,   2 8   I N T   C   H U M   F A C T   C O ,   P 2 8 6 3 ;   S a t z g e r   B . ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T E R ,   P 6 6 ;   S c h a l l   D . ,   2 0 1 2 ,   C R O W D O S O U R C I N G   T A S K S ;   S c h a l l   D ,   2 0 0 8 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 2 ,   P 6 2 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 8 . 6 6 ;   S u   Q . ,   2 0 0 7 ,   P   1 6   I N T   C   W O R L D   W I D ,   P 2 3 1 ,   D O I   1 0 . 1 1 4 5 / 1 2 4 2 5 7 2 . 1 2 4 2 6 0 4 ;   V u k o v i c   M ,   2 0 0 9 ,   2 0 0 9   I E E E   C O N G R E S S   O N   S E R V I C E S   ( S E R V I C E S - 1   2 0 0 9 ) ,   V O L S   1   A N D   2 ,   P 6 8 6 ,   D O I   1 0 . 1 1 0 9 / S E R V I C E S - I . 2 0 0 9 . 5 6 ;   W a i s   P . ,   2 0 1 0 ,   W O R K S H   C O M P   S O C   S C I 	 2 7 	 1 	 1 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 3 0 6 - 4 3 7 9 	 	 	 I N F O R M   S Y S T 	 I n f .   S y s t . 	 J U N 	 2 0 1 3 	 3 8 	 4 	 	 	 S I 	 	 5 4 7 	 5 6 0 	 	 1 0 . 1 0 1 6 / j . i s . 2 0 1 2 . 0 9 . 0 0 3 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 1 1 2 J G 	 W O S : 0 0 0 3 1 6 5 8 7 9 0 0 0 0 8 	 	 
 J 	 C o l a o ,   J J 	 	 	 	 C o l a o ,   J .   J . 	 	 	 C r o w d s o u r c i n g   E d i s o n 	 F O R B E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 Q u i r k y   l e t s   c o n s u m e r s   v o t e   o n   i n v e n t i o n s .   W i l l   t h e y   c o m e   t o   a   s t o r e   t o   b u y   t h e m ? 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 F O R B E S   I N C 	 N E W   Y O R K 	 6 0   F I F T H   A V E ,   N E W   Y O R K ,   N Y   1 0 0 1 1   U S A 	 0 0 1 5 - 6 9 1 4 	 	 	 F O R B E S 	 F o r b e s 	 M A Y   2 7 	 2 0 1 3 	 1 9 1 	 7 	 	 	 	 	 7 2 	 + 	 	 	 	 3 	 B u s i n e s s ,   F i n a n c e 	 B u s i n e s s   &   E c o n o m i c s 	 1 4 3 T Q 	 W O S : 0 0 0 3 1 8 8 9 1 5 0 0 0 1 6 	 	 
 J 	 C r o w e ,   J E 	 	 	 	 C r o w e ,   J a m e s   E . ,   J r . 	 	 	 C r o w d s o u r c i n g   I m m u n i t y 	 S C I E N C E 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 M E M O R Y   B - C E L L S ;   N E U T R A L I Z I N G   A N T I B O D I E S ;   P L A S M A - C E L L S ;   D E S I G N ;   B R O A D 	 	 V a n d e r b i l t   U n i v ,   M e d   C t r ,   N a s h v i l l e ,   T N   3 7 2 3 2   U S A 	 C r o w e ,   J E   ( r e p r i n t   a u t h o r ) ,   V a n d e r b i l t   U n i v ,   M e d   C t r ,   N a s h v i l l e ,   T N   3 7 2 3 2   U S A . 	 j a m e s . c r o w e @ v a n d e r b i l t . e d u 	 C r o w e ,   J a m e s / B - 5 5 4 9 - 2 0 0 9 	 C r o w e ,   J a m e s / 0 0 0 0 - 0 0 0 2 - 0 0 4 9 - 1 0 7 9 	 	 	 C o r t i   D ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 3 ,   P 8 5 0 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 0 5 6 6 9 ;   D i s k i n   R ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 4 ,   P 1 2 8 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 1 3 7 8 2 ;   F l e i s h m a n   S J ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 2 ,   P 8 1 6 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 0 2 6 1 7 ;   G e o r g i e v   I S ,   2 0 1 3 ,   S C I E N C E ,   V 3 4 0 ,   P 7 5 1 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 3 3 9 8 9 ;   J a r d i n e   J ,   2 0 1 3 ,   S C I E N C E ,   V 3 4 0 ,   P 7 1 1 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 3 4 1 5 0 ;   K r a u s e   J C ,   2 0 1 1 ,   J   I M M U N O L ,   V 1 8 7 ,   P 3 7 0 4 ,   D O I   1 0 . 4 0 4 9 / j i m m u n o l . 1 1 0 1 8 2 3 ;   L i a o   H X ,   2 0 1 3 ,   N A T U R E ,   V 4 9 6 ,   P 4 6 9 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 1 2 0 5 3 ;   P u r t h a   W E ,   2 0 1 1 ,   J   E X P   M E D ,   V 2 0 8 ,   P 2 5 9 9 ,   D O I   1 0 . 1 0 8 4 / j e m . 2 0 1 1 0 7 4 0 ;   S c h a r f   L ,   2 0 1 3 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 1 0 ,   P 6 0 4 9 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 3 0 3 6 8 2 1 1 0 ;   S c h e i d   J F ,   2 0 0 9 ,   N A T U R E ,   V 4 5 8 ,   P 6 3 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 7 9 3 0 ;   W a l k e r   L M ,   2 0 0 9 ,   S C I E N C E ,   V 3 2 6 ,   P 2 8 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 7 8 7 4 6 ;   Y u   X C ,   2 0 0 8 ,   N A T U R E ,   V 4 5 5 ,   P 5 3 2 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 7 2 3 1 ;   Z h u   J ,   2 0 1 3 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 1 0 ,   P 6 4 7 0 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 2 1 9 3 2 0 1 1 0 	 1 3 	 0 	 0 	 A M E R   A S S O C   A D V A N C E M E N T   S C I E N C E 	 W A S H I N G T O N 	 1 2 0 0   N E W   Y O R K   A V E ,   N W ,   W A S H I N G T O N ,   D C   2 0 0 0 5   U S A 	 0 0 3 6 - 8 0 7 5 	 1 0 9 5 - 9 2 0 3 	 	 S C I E N C E 	 S c i e n c e 	 M A Y   1 0 	 2 0 1 3 	 3 4 0 	 6 1 3 3 	 	 	 	 	 6 9 2 	 6 9 3 	 	 1 0 . 1 1 2 6 / s c i e n c e . 1 2 3 8 6 2 8 	 	 2 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 1 3 9 X R 	 W O S : 0 0 0 3 1 8 6 1 9 0 0 0 0 2 3 	 2 3 6 6 1 7 4 7 	 
 J 	 B u d h a t h o k i ,   N R ;   H a y t h o r n t h w a i t e ,   C 	 	 	 	 B u d h a t h o k i ,   N a m a   R . ;   H a y t h o r n t h w a i t e ,   C a r o l i n e 	 	 	 M o t i v a t i o n   f o r   O p e n   C o l l a b o r a t i o n :   C r o w d   a n d   C o m m u n i t y   M o d e l s   a n d   t h e   C a s e   o f   O p e n S t r e e t M a p 	 A M E R I C A N   B E H A V I O R A L   S C I E N T I S T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 O p e n S t r e e t M a p ;   c r o w d s o u r c i n g ;   c o m m u n i t y 	 I D E N T I T Y ;   I N T E R N E T ;   M A P S 	 T h i s   a r t i c l e   p r e s e n t s   a n   e x a m i n a t i o n   o f   m o t i v a t i o n a l   f a c t o r s   r e l a t i n g   t o   c o n t r i b u t i o n   t o   t h e   w i k i   O p e n S t r e e t M a p ,   a   s i t e   f o r   v o l u n t a r y   g e o g r a p h i c   i n f o r m a t i o n .   B a s e d   o n   a   w i d e   l i t e r a t u r e   r e v i e w   o f   m o t i v a t i o n ,   o p e n   s o u r c e ,   v o l u n t e e r i s m ,   a n d   s e r i o u s   l e i s u r e ,   a   q u e s t i o n n a i r e   w a s   c r e a t e d   a n d   c o m p l e t e d   b y   4 4 4   O p e n S t r e e t M a p   c o n t r i b u t o r s .   R e s u l t s   o f   j u d g m e n t s   o f   t h e   m o t i v a t i o n a l   i m p o r t a n c e   o f   3 9   r e a s o n s   f o r   c o n t r i b u t i o n   a r e   p r e s e n t e d   a n d   c o n s i d e r e d   i n   r e l a t i o n   t o   m o d e l s   o f   c o n t r i b u t o r y   b e h a v i o r   f o r   c r o w d -   a n d   c o m m u n i t y - b a s e d   o n l i n e   c o l l a b o r a t i o n s .   P o s i t i v e   a n d   i m p o r t a n t   m o t i v a t o r s   w e r e   f o u n d   t h a t   a c c o r d e d   w i t h   i d e a s   o f   t h e   p e r s o n a l   b u t   s h a r e d   n e e d   a s s o c i a t e d   w i t h   c o n t r i b u t i o n   t o   o p e n - s o u r c e   p r o j e c t s ,   c o - o r i e n t a t i o n   t o   o p e n - s o u r c e   a n d   g e o g r a p h i c   k n o w l e d g e ,   a n d   a t t e n t i o n   t o   p a r t i c i p a t i o n   i n   a n d   b y   t h e   c o m m u n i t y .   D i f f e r e n c e s   i n   m o t i v a t i o n   b e t w e e n   s e r i o u s   a n d   c a s u a l   m a p p e r s   s h o w e d   t h a t   s e r i o u s   m a p p e r s   w e r e   m o r e   o r i e n t e d   t o   c o m m u n i t y ,   l e a r n i n g ,   l o c a l   k n o w l e d g e ,   a n d   c a r e e r   m o t i v a t i o n s   ( a l t h o u g h   t h e   l a t t e r   m o t i v a t i o n   i s   l o w   i n   g e n e r a l ) ,   a n d   c a s u a l   m a p p e r s   w e r e   m o r e   o r i e n t e d   t o   g e n e r a l   p r i n c i p l e s   o f   f r e e   a v a i l a b i l i t y   o f   m a p p i n g   d a t a . 	 [ B u d h a t h o k i ,   N a m a   R . ]   W o r l d   B a n k ,   O p e n   D a t a   R e s i l i e n c e   I n i t i a t   O p e n D R I ,   K a t h m a n d u ,   N e p a l ;   [ H a y t h o r n t h w a i t e ,   C a r o l i n e ]   U n i v   B r i t i s h   C o l u m b i a ,   S c h   L i b   A r c h i v a l   &   I n f o r m a t   S t u d i e s ,   i S c h   U B C ,   V a n c o u v e r ,   B C   V 6 T   1 Z 1 ,   C a n a d a 	 H a y t h o r n t h w a i t e ,   C   ( r e p r i n t   a u t h o r ) ,   U n i v   B r i t i s h   C o l u m b i a ,   i S c h   U B C ,   S c h   L i b   A r c h i v a l   &   I n f o r m a t   S t u d i e s ,   I r v i n g   K   B a r b e r   L e a r n i n g   C t r ,   S u i t e   4 7 0 , 1 9 6 1   E a s t   M a l l ,   V a n c o u v e r ,   B C   V 6 T   1 Z 1 ,   C a n a d a . 	 c . h a y t h o r n @ u b c . c a 	 	 	 	 	 A l e x a n d e r   A . ,   2 0 0 8 ,   S E T I   H O M E   H O M I N I D   F O ;   B e n k l e r   Y . ,   2 0 0 6 ,   W E A L T H   N E T W O R K S   S O C I ;   B r o w n   J J ,   2 0 0 8 ,   L E I S U R E   S T U D ,   V 2 7 ,   P 3 9 5 ,   D O I   1 0 . 1 0 8 0 / 0 2 6 1 4 3 6 0 8 0 2 3 3 4 9 2 2 ;   B r u c k m e n   A . ,   2 0 0 2 ,   B U I L D I N G   V I R T U A L   C O M ,   P 2 1 ,   D O I   D O I   1 0 . 1 0 1 7 / C B O 9 7 8 0 5 1 1 6 0 6 3 7 3 . 0 0 6 ;   B r u n s   A x e l ,   2 0 0 8 ,   B L O G S   W I K I P E D I A   2   L I ;   B u d h a t h o k i   N . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 4 9 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 8 9 - X ;   B u d h a t h o k i   N . ,   2 0 1 0 ,   G E O M A T I C A ,   V 6 4 ,   P 1 1 ;   B u d h a t h o k i   N .   R . ,   2 0 1 0 ,   T H E S I S   U   I L L I N O I S   U R ;   C l a r y   G . ,   1 9 9 9 ,   C U R R E N T   D I R E C T I O N S   P ,   V 8 ,   P 1 5 6 ;   C l a r y   G . ,   1 9 9 8 ,   J   P E R S   S O C   P S Y C H O L ,   V 7 4 ,   P 1 5 1 6 ;   D i b b e l l   J . ,   1 9 9 6 ,   C O M P U T E R I Z A T I O N   C O N T ,   P 5 5 3 ;   E l w o o d   S . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 7 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 8 - 9 1 8 6 - 0 ;   E S T E S   J E ,   1 9 9 4 ,   P H O T O G R A M M   E N G   R E M   S ,   V 6 0 ,   P 5 1 7 ;   E x e c u t i v e   O f f i c e   o f   t h e   P r e s i d e n t ,   1 9 9 4 ,   C O O R D   G E O G R   D A T   A C Q ;   F i n k e l s t e i n   M A ,   2 0 0 5 ,   S O C   B E H A V   P E R S O N A L ,   V 3 3 ,   P 4 0 3 ;   G e e   J a m e s ,   2 0 0 5 ,   C O M M U N I T I E S   P R A C T I C E ,   P 2 1 4 ,   D O I   D O I   1 0 . 1 0 1 7 / C B 0 9 7 8 0 5 1 1 6 1 0 5 5 4 . 0 1 2 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G r o o t   R . ,   2 0 0 0 ,   G E O S P A T I A L   D A T A   I N F R ;   G u g l i o t t a   G . ,   2 0 1 1 ,   N Y   T I M E S ;   H a k l a y   M ,   2 0 0 8 ,   I E E E   P E R V A S   C O M P U T ,   V 7 ,   P 1 2 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 0 8 . 8 0 ;   H a k l a y   M ,   2 0 1 0 ,   E N V I R O N   P L A N N   B ,   V 3 7 ,   P 6 8 2 ,   D O I   1 0 . 1 0 6 8 / b 3 5 0 9 7 ;   H a y t h o r n t h w a i t e   C . ,   2 0 1 1 ,   K N O W L E D G E   C O M M U N I T I E ;   H a y t h o r n t h w a i t e   C ,   2 0 0 9 ,   P   4 2   H A W   I N T   C   S Y S T ;   H a y t h o r n t h w a i t e   C ,   2 0 0 2 ,   I N F O R M   S O C ,   V 1 8 ,   P 3 8 5 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 7 2 2 4 0 2 9 0 1 0 8 1 9 5 ;   H a y t h o r n t h w a i t e   C . ,   2 0 0 6 ,   J   A S Y N C H R O N O U S   L E A R N ,   V 1 0 ;   H a y t h o r n t h w a i t e   C . ,   2 0 1 1 ,   P   E   D E M   C ;   H a y t h o r n t h w a i t e   C ,   2 0 0 5 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 0 ;   H a y t h o r n t h w a i t e   C ,   2 0 0 7 ,   O X F O R D   H D B   I N T E R N E T ,   P 1 2 1 ;   H a y t h o r n t h w a i t e   C . ,   2 0 0 5 ,   I n f o r m a t i o n   C o m m u n i c a t i o n   &   S o c i e t y ,   V 8 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 0 5 0 0 1 4 6 1 8 5 ;   H e r t e l   G . ,   2 0 0 4 ,   E U R O P E A N   J   W O R K   O R G ,   V 1 3 ,   P 1 ,   D O I   [ 1 0 . 1 0 8 0 / 1 3 5 9 4 3 2 0 3 4 4 0 0 0 2 2 8 ,   D O I   1 0 . 1 0 8 0 / 1 3 5 9 4 3 2 0 3 4 4 0 0 0 2 2 8 ] ;   H e r t e l   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 7 - 7 ;   H o u l e   B J ,   2 0 0 5 ,   B A S I C   A P P L   S O C   P S Y C H ,   V 2 7 ,   P 3 3 7 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 4 8 3 4 b a s p 2 7 0 4 _ 6 ;   J e n k i n s   H e n r y ,   2 0 0 6 ,   C O N F R O N T I N G   C H A L L E N G ;   J o n e s   I . ,   2 0 0 1 ,   L e i s u r e   S t u d i e s ,   V 2 0 ,   P 2 6 9 ,   D O I   1 0 . 1 0 8 0 / 0 2 6 1 4 3 6 0 1 1 0 0 9 8 6 7 6 ;   M a t z a t   U . ,   2 0 0 4 ,   A N A L   K R I T I K ,   V 2 6 ,   P 6 3 ;   N u n n a l l y   J C ,   1 9 6 7 ,   P S Y C H O M E T R I C   T H E O R Y ;   O r t e g a   F . ,   2 0 0 8 ,   P   4 1   A N N   H A W   I N T   C   S ,   P 3 0 4 ,   D O I   D O I   1 0 . 1 1 0 9 / H I C S S . 2 0 0 8 . 3 3 3 ;   P o o l e   M .   S . ,   2 0 0 5 ,   T H E O R I E S   S M A L L   G R O U P ;   P r e e c e   J ,   2 0 0 5 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 0 ;   R a y m o n d   E . S ,   1 9 9 8 ,   1   M O N D A Y ,   V 3 ;   R h e i n g o l d   H o w a r d ,   2 0 0 0 ,   V I R T U A L   C O M M U N I T Y   H O ;   R i c h m o n d   R i v a ,   2 0 1 0 ,   N Y   T I M E S ;   S a s s e n b e r g   K ,   2 0 0 2 ,   G R O U P   D Y N - T H E O R   R E S ,   V 6 ,   P 2 7 ,   D O I   1 0 . 1 0 3 7 / / 1 0 8 9 - 2 6 9 9 . 6 . 1 . 2 7 ;   S p r o u l l   L ,   2 0 0 5 ,   T R A N S F O R M I N G   E N T E R P R ,   P 3 6 2 ;   S t e b b i n s   R .   A . ,   2 0 0 6 ,   S E R I O U S   L E I S U R E   P E R S ;   v a n   Z o m e r e n   M ,   2 0 0 9 ,   J   S O C   I S S U E S ,   V 6 5 ,   P 6 4 5 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   W a s k o   M M ,   2 0 0 5 ,   M I S   Q U A R T ,   V 2 9 ,   P 3 5 ;   W e l l m a n   B . ,   1 9 9 9 ,   N E T W O R K S   G L O B A L   V I L L ,   P 1 ;   W e n g e r   E t i e n n e ,   1 9 9 8 ,   C O M M U N I T I E S   P R A C T I C E ;   W I L L I N S K Y   J ,   2 0 0 5 ,   1   M O N D A Y ,   V 1 0 ;   W o o d   D e n n i s ,   1 9 9 2 ,   P O W E R   M A P S 	 5 2 	 2 	 2 	 S A G E   P U B L I C A T I O N S   I N C 	 T H O U S A N D   O A K S 	 2 4 5 5   T E L L E R   R D ,   T H O U S A N D   O A K S ,   C A   9 1 3 2 0   U S A 	 0 0 0 2 - 7 6 4 2 	 	 	 A M   B E H A V   S C I 	 A m .   B e h a v .   S c i . 	 M A Y 	 2 0 1 3 	 5 7 	 5 	 	 	 S I 	 	 5 4 8 	 5 7 5 	 	 1 0 . 1 1 7 7 / 0 0 0 2 7 6 4 2 1 2 4 6 9 3 6 4 	 	 2 8 	 P s y c h o l o g y ,   C l i n i c a l ;   S o c i a l   S c i e n c e s ,   I n t e r d i s c i p l i n a r y 	 P s y c h o l o g y ;   S o c i a l   S c i e n c e s   -   O t h e r   T o p i c s 	 2 0 1 B L 	 W O S : 0 0 0 3 2 3 1 1 5 6 0 0 0 0 2 	 	 
 J 	 S a u n d e r s ,   D R ;   B e x ,   P J ;   W o o d s ,   R L 	 	 	 	 S a u n d e r s ,   D a n i e l   R . ;   B e x ,   P e t e r   J . ;   W o o d s ,   R u s s e l l   L . 	 	 	 C r o w d s o u r c i n g   a   N o r m a t i v e   N a t u r a l   L a n g u a g e   D a t a s e t :   A   C o m p a r i s o n   o f   A m a z o n   M e c h a n i c a l   T u r k   a n d   I n - L a b   D a t a   C o l l e c t i o n 	 J O U R N A L   O F   M E D I C A L   I N T E R N E T   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 I n t e r n e t ;   w e b ;   c r o w d s o u r c i n g ;   f r e e   r e c a l l 	 P S Y C H O L O G I C A L - R E S E A R C H ;   I M P A I R M E N T ;   I N T E R N E T ;   O N L I N E 	 B a c k g r o u n d :   C r o w d s o u r c i n g   h a s   b e c o m e   a   v a l u a b l e   m e t h o d   f o r   c o l l e c t i n g   m e d i c a l   r e s e a r c h   d a t a .   T h i s   a p p r o a c h ,   r e c r u i t i n g   t h r o u g h   o p e n   c a l l s   o n   t h e   W e b ,   i s   p a r t i c u l a r l y   u s e f u l   f o r   a s s e m b l i n g   l a r g e   n o r m a t i v e   d a t a s e t s .   H o w e v e r ,   i t   i s   n o t   k n o w n   h o w   n a t u r a l   l a n g u a g e   d a t a s e t s   c o l l e c t e d   o v e r   t h e   W e b   d i f f e r   f r o m   t h o s e   c o l l e c t e d   u n d e r   c o n t r o l l e d   l a b o r a t o r y   c o n d i t i o n s .   O b j e c t i v e :   T o   c o m p a r e   t h e   n a t u r a l   l a n g u a g e   r e s p o n s e s   o b t a i n e d   f r o m   a   c r o w d s o u r c e d   s a m p l e   o f   p a r t i c i p a n t s   w i t h   r e s p o n s e s   c o l l e c t e d   i n   a   c o n v e n t i o n a l   l a b o r a t o r y   s e t t i n g   f r o m   p a r t i c i p a n t s   r e c r u i t e d   a c c o r d i n g   t o   s p e c i f i c   a g e   a n d   g e n d e r   c r i t e r i a .   M e t h o d s :   W e   c o l l e c t e d   n a t u r a l   l a n g u a g e   d e s c r i p t i o n s   o f   2 0 0   h a l f - m i n u t e   m o v i e   c l i p s ,   f r o m   A m a z o n   M e c h a n i c a l   T u r k   w o r k e r s   ( c r o w d s o u r c e d )   a n d   6 0   p a r t i c i p a n t s   r e c r u i t e d   f r o m   t h e   c o m m u n i t y   ( l a b - s o u r c e d ) .   C r o w d s o u r c e d   p a r t i c i p a n t s   r e s p o n d e d   t o   a s   m a n y   c l i p s   a s   t h e y   w a n t e d   a n d   t y p e d   t h e i r   r e s p o n s e s ,   w h e r e a s   l a b - s o u r c e d   p a r t i c i p a n t s   g a v e   s p o k e n   r e s p o n s e s   t o   4 0   c l i p s ,   a n d   t h e i r   r e s p o n s e s   w e r e   t r a n s c r i b e d .   T h e   c o n t e n t   o f   t h e   r e s p o n s e s   w a s   e v a l u a t e d   u s i n g   a   t a k e - o n e - o u t   p r o c e d u r e ,   w h i c h   c o m p a r e d   r e s p o n s e s   t o   o t h e r   r e s p o n s e s   t o   t h e   s a m e   c l i p   a n d   t o   o t h e r   c l i p s ,   w i t h   a   c o m p a r i s o n   o f   t h e   a v e r a g e   n u m b e r   o f   s h a r e d   w o r d s .   R e s u l t s :   I n   c o n t r a s t   t o   t h e   1 3   m o n t h s   o f   r e c r u i t i n g   t h a t   w a s   r e q u i r e d   t o   c o l l e c t   n o r m a t i v e   d a t a   f r o m   6 0   l a b - s o u r c e d   p a r t i c i p a n t s   ( w i t h   s p e c i f i c   d e m o g r a p h i c   c h a r a c t e r i s t i c s ) ,   o n l y   3 4   d a y s   w e r e   n e e d e d   t o   c o l l e c t   n o r m a t i v e   d a t a   f r o m   9 9   c r o w d s o u r c e d   p a r t i c i p a n t s   ( c o n t r i b u t i n g   a   m e d i a n   o f   2 2   r e s p o n s e s ) .   T h e   m a j o r i t y   o f   c r o w d s o u r c e d   w o r k e r s   w e r e   f e m a l e ,   a n d   t h e   m e d i a n   a g e   w a s   3 5   y e a r s ,   l o w e r   t h a n   t h e   l a b - s o u r c e d   m e d i a n   o f   6 2   y e a r s   b u t   s i m i l a r   t o   t h e   m e d i a n   a g e   o f   t h e   U S   p o p u l a t i o n .   T h e   r e s p o n s e s   c o n t r i b u t e d   b y   t h e   c r o w d s o u r c e d   p a r t i c i p a n t s   w e r e   l o n g e r   o n   a v e r a g e ,   t h a t   i s ,   3 3   w o r d s   c o m p a r e d   t o   2 8   w o r d s   ( P < . 0 0 1 ) ,   a n d   t h e y   u s e d   a   l e s s   v a r i e d   v o c a b u l a r y .   H o w e v e r ,   t h e r e   w a s   s t r o n g   s i m i l a r i t y   i n   t h e   w o r d s   u s e d   t o   d e s c r i b e   a   p a r t i c u l a r   c l i p   b e t w e e n   t h e   t w o   d a t a s e t s ,   a s   a   c r o s s - d a t a s e t   c o u n t   o f   s h a r e d   w o r d s   s h o w e d   ( P < . 0 0 1 ) .   W i t h i n   b o t h   d a t a s e t s ,   r e s p o n s e s   c o n t a i n e d   s u b s t a n t i a l   r e l e v a n t   c o n t e n t ,   w i t h   m o r e   w o r d s   i n   c o m m o n   w i t h   r e s p o n s e s   t o   t h e   s a m e   c l i p   t h a n   t o   o t h e r   c l i p s   ( P < . 0 0 1 ) .   T h e r e   w a s   e v i d e n c e   t h a t   r e s p o n s e s   f r o m   f e m a l e   a n d   o l d e r   c r o w d s o u r c e d   p a r t i c i p a n t s   h a d   m o r e   s h a r e d   w o r d s   ( P = . 0 0 4   a n d   . 0 1   r e s p e c t i v e l y ) ,   w h e r e a s   y o u n g e r   p a r t i c i p a n t s   h a d   h i g h e r   n u m b e r s   o f   s h a r e d   w o r d s   i n   t h e   l a b - s o u r c e d   p o p u l a t i o n   ( P = . 0 1 ) .   C o n c l u s i o n s :   C r o w d s o u r c i n g   i s   a n   e f f e c t i v e   a p p r o a c h   t o   q u i c k l y   a n d   e c o n o m i c a l l y   c o l l e c t   a   l a r g e   r e l i a b l e   d a t a s e t   o f   n o r m a t i v e   n a t u r a l   l a n g u a g e   r e s p o n s e s . 	 [ S a u n d e r s ,   D a n i e l   R . ;   W o o d s ,   R u s s e l l   L . ]   S c h e p e n s   E y e   R e s   I n s t ,   B o s t o n ,   M A   0 2 1 1 4   U S A ;   [ B e x ,   P e t e r   J . ]   M a s s a c h u s e t t s   E y e   &   E a r   I n f i r m ,   S c h e p e n s   E y e   R e s   I n s t ,   B o s t o n ,   M A   0 2 1 1 4   U S A 	 S a u n d e r s ,   D R   ( r e p r i n t   a u t h o r ) ,   S c h e p e n s   E y e   R e s   I n s t ,   2 0   S t a n i f o r d   S t ,   B o s t o n ,   M A   0 2 1 1 4   U S A . 	 d a n i e l _ s a u n d e r s @ m e e i . h a r v a r d . e d u 	 	 	 N a t i o n a l   E y e   I n s t i t u t e   [ R 0 1 E Y 0 1 9 1 0 0 ] 	 S u p p o r t e d   b y   g r a n t   R 0 1 E Y 0 1 9 1 0 0   f r o m   t h e   N a t i o n a l   E y e   I n s t i t u t e .   A l l   r e s e a r c h   r e c e i v e d   e t h i c s   a p p r o v a l   f r o m   t h e   M a s s a c h u s e t t s   E y e   a n d   E a r   I n f i r m a r y   H u m a n   S u b j e c t s   C o m m i t t e e .   W e   t h a n k   R a c h e l   B e r k o w i t z   f o r   p r e p a r i n g   t h e   v i d e o   c l i p s   a n d   D y l a n   R o s e   f o r   c o l l e c t i n g   t h e   l a b - s o u r c e d   d a t a . 	 A l o n s o   O ,   2 0 0 9 ,   2 0 0 9   S I G I R   2 0 0 9   W O R K ;   B e h r e n d   T S ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 8 0 0 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 0 8 1 - 0 ;   B r a i n a r d   D H ,   1 9 9 7 ,   S P A T I A L   V I S I O N ,   V 1 0 ,   P 4 3 3 ,   D O I   1 0 . 1 1 6 3 / 1 5 6 8 5 6 8 9 7 X 0 0 3 5 7 ;   C r u m p   M J C ,   2 0 1 3 ,   P L O S   O N E ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 5 7 4 1 0 ;   C u t t i n g   J E ,   2 0 1 0 ,   P S Y C H O L   S C I ,   V 2 1 ,   P 4 3 2 ,   D O I   1 0 . 1 1 7 7 / 0 9 5 6 7 9 7 6 1 0 3 6 1 6 7 9 ;   D u c h a i n e   B C ,   2 0 0 6 ,   C U R R   O P I N   N E U R O B I O L ,   V 1 6 ,   P 1 6 6 ,   D O I   1 0 . 1 0 1 6 / j . c o n b . 2 0 0 6 . 0 3 . 0 0 3 ;   F r o s t   J ,   2 0 1 1 ,   J   M E D   I N T E R N E T   R E S ,   V 1 3 ,   P 1 2 9 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 6 4 3 ;   G r i f f i n   Z M ,   2 0 0 6 ,   B R A I N   L A N G ,   V 9 9 ,   P 2 7 2 ,   D O I   1 0 . 1 0 1 6 / j . b a n d l . 2 0 0 5 . 0 8 . 0 0 3 ;   H o w e   J ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   J a n s s e n   D P ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 2 3 2 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 4 5 - 1 ;   K r a u t   R ,   2 0 0 4 ,   A M   P S Y C H O L ,   V 5 9 ,   P 1 0 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 0 3 - 0 6 6 X . 5 9 . 2 . 1 0 5 ;   L u e n g o - O r o z   M A ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   P 2 0 7 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 3 3 8 ;   M a r g e   M ,   2 0 1 0 ,   2 0 1 0   I E E E   C   A C   S P E E C ,   P 1 4 ,   D O I   [ 1 0 . 1 1 0 9 / i c a s s p . 2 0 1 0 . 5 4 9 4 9 7 9 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 2 0 1 0 . 5 4 9 4 9 7 9 ] ] ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   N a s r e d d i n e   Z S ,   2 0 0 5 ,   J   A M   G E R I A T R   S O C ,   V 5 3 ,   P 6 9 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 3 2 - 5 4 1 5 . 2 0 0 5 . 5 3 2 2 1 . x ;   N o s e k   B A ,   2 0 0 2 ,   J   S O C   I S S U E S ,   V 5 8 ,   P 1 6 1 ,   D O I   1 0 . 1 1 1 1 / 1 5 4 0 - 4 5 6 0 . 0 0 2 5 4 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   R o s s   J ,   2 0 1 0 ,   A C M   S I G C H I   C   H U M   F A C ;   S a u n d e r s   D R ,   2 0 1 3 ,   M E A S U R I N G   I N F O   U N P U B ;   S a u n d e r s   D R ,   2 0 1 2 ,   2 0 1 2   A S S   R E S   V I S   O P H ;   S n o w   R ,   2 0 0 8 ,   2 0 0 8   C   E M P   M E T H   N A T ;   S w a n   M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 8 8 ;   T u n g   J Y ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 2 3 4 7 3 ;   T u r n e r   A M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   P 2 1 8 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 0 6 3 ;   U .   S .   C e n s u s   B u r e a u ,   2 0 1 2 ,   E D   A T T   P O P   1 8   Y E A R S ;   U S   C e n s u s   B u r e a u ,   2 0 1 1 ,   A G   S E X   C O M P   2 0 1 0 ;   U S   C e n s u s   B u r e a u   U S   D e p a r t m e n t   o f   C o m m e r c e ,   2 0 1 1 ,   O V E R V I E W   R A C E   H I S P A N ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   W o o d s   R L ,   2 0 1 1 ,   O P H T H A L   P H Y S L   O P T ,   V 3 1 ,   P 2 5 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 5 - 1 3 1 3 . 2 0 1 1 . 0 0 8 3 3 . x ;   Z e i m p e k i s   D . ,   2 0 0 5 ,   W O R K S H   C L U S T   H I G H   D I ,   P 3 8 ;   Z h a i   H J ,   2 0 1 3 ,   J   M E D   I N T E R N E T   R E S ,   V 1 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 4 2 6 	 3 1 	 3 	 3 	 J M I R   P U B L I C A T I O N S ,   I N C 	 T O R O N T O 	 5 9   W I N N E R S   C I R C L E ,   T O R O N T O ,   O N   M 4 L   3 Y 7 ,   C A N A D A 	 1 4 3 8 - 8 8 7 1 	 	 	 J   M E D   I N T E R N E T   R E S 	 J .   M e d .   I n t e r n e t   R e s . 	 M A Y 	 2 0 1 3 	 1 5 	 5 	 	 	 	 	 	 	 	 1 0 . 2 1 9 6 / j m i r . 2 6 2 0 	 	 1 4 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 1 8 5 I K 	 W O S : 0 0 0 3 2 1 9 6 0 9 0 0 0 0 5 	 2 3 6 8 9 0 3 8 	 
 J 	 H i l d e b r a n d ,   M ;   A h u m a d a ,   C ;   W a t s o n ,   S 	 	 	 	 H i l d e b r a n d ,   M i k a e l a ;   A h u m a d a ,   C l a u d i a ;   W a t s o n ,   S h a r o n 	 	 	 C r o w d O u t A I D S :   c r o w d s o u r c i n g   y o u t h   p e r s p e c t i v e s   f o r   a c t i o n 	 R E P R O D U C T I V E   H E A L T H   M A T T E R S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 y o u n g   p e o p l e ;   s e x   a n d   r e l a t i o n s h i p s ;   s e x u a l i t y   e d u c a t i o n ;   s t i g m a   a n d   t a b o o s ;   c r o w d s o u r c i n g ;   H I V / A I D S ;   U N A I D S 	 	 T o   d e v e l o p   a   s t r a t e g y   f o r   h o w   t o   b e t t e r   e n g a g e   y o u n g   p e o p l e   i n   d e c i s i o n - m a k i n g   p r o c e s s e s   o n   A I D S ,   U N A I D S   l a u n c h e d   t h e   p a r t i c i p a t o r y   o n l i n e   p o l i c y   p r o j e c t   C r o w d O u t A I D S   i n   2 0 1 1 .   A   t o t a l   o f   3 , 4 9 7   y o u n g   p e o p l e   a g e d   1 5 - 2 9   f r o m   7 9   c o u n t r i e s   s i g n e d   u p   t o   n i n e   o n l i n e   f o r u m s ,   a n d   v o l u n t e e r s   r e c r u i t e d   t h r o u g h   t h e   o n l i n e   p l a t f o r m   h o s t e d   3 9   c o m m u n i t y - b a s e d   o f f l i n e   f o r u m s   w i t h   a n   a d d i t i o n a l   1 , 6 0 5   p a r t i c i p a n t s .   T h i s   a r t i c l e   d e s c r i b e s   t h e   p a r t i c i p a t o r y   a p p r o a c h   o f   u s i n g   s o c i a l   m e d i a   a n d   c r o w d s o u r c i n g   s o l u t i o n s   t o   i n t e g r a t e   y o u t h   p e r s p e c t i v e s   i n t o   s t r a t e g y   a n d   p o l i c y   p r o c e s s e s .   I n   t h e s e   f o r u m s ,   y o u t h   c o n s i s t e n t l y   i d e n t i f i e d   t h e   n e e d   t o   c h a n g e   t h e   w a y   s e x   a n d   r e l a t i o n s h i p s   a r e   d e a l t   w i t h   t h r o u g h   c h a n g i n g   h o w   s e x   i s   t a l k e d   a b o u t ,   p u t t i n g   c o m p r e h e n s i v e   s e x u a l i t y   e d u c a t i o n   i n   p l a c e ,   a n d   o v e r c o m i n g   s o c i a l   a n d   c u l t u r a l   t a b o o s .   T h e   o u t c o m e   d o c u m e n t   r e c o m m e n d e d   t h r e e   m a j o r   p r i o r i t i e s :   d i s p e l   t a b o o s   s u r r o u n d i n g   s e x   a n d   s e x u a l i t y ,   e l i m i n a t e   s t i g m a   a n d   d i s c r i m i n a t i o n   a g a i n s t   y o u n g   p e o p l e   l i v i n g   w i t h   H I V ,   a n d   r e m o v e   s o c i a l   a n d   l e g a l   b a r r i e r s .   S i x   s t r a t e g i c   a c t i o n s   w e r e   a l s o   r e c o m m e n d e d :   s t r e n g t h e n   y o u n g   p e o p l e ' s   s k i l l s   f o r   e f f e c t i v e   l e a d e r s h i p ,   e n s u r e   f u l l   y o u t h   p a r t i c i p a t i o n   i n   t h e   A I D S   r e s p o n s e ,   i n c r e a s e   a c c e s s   t o   H I V - r e l a t e d   i n f o r m a t i o n ,   s t r e n g t h e n   s t r a t e g i c   n e t w o r k s ,   i n c r e a s e   U N A I D S ' s   o u t r e a c h   t o   y o u n g   p e o p l e ,   a n d   i n c r e a s e   y o u n g   p e o p l e ' s   a c c e s s   t o   f i n a n c i a l   s u p p o r t .   T h r o u g h   l e v e r a g i n g   s o c i a l   m e d i a   a n d   c r o w d s o u r c i n g ,   i t   i s   p o s s i b l e   t o   i n t e g r a t e   g r a s s r o o t s   p e r s p e c t i v e s   f r o m   a c r o s s   t h e   g l o b e   i n t o   a   n e w   m o d e l   o f   e n g a g e m e n t   a n d   p a r t i c i p a t i o n ,   w h i c h   s h o u l d   b e   f u r t h e r   e x p l o r e d   f o r   c o m m u n i t y   e m p o w e r m e n t   a n d   m o b i l i z a t i o n .   ( C )   2 0 1 3   R e p r o d u c t i v e   H e a l t h   M a t t e r s 	 [ H i l d e b r a n d ,   M i k a e l a ;   A h u m a d a ,   C l a u d i a ]   U N A I D S ,   G e n e v a ,   S w i t z e r l a n d 	 H i l d e b r a n d ,   M   ( r e p r i n t   a u t h o r ) ,   U N A I D S ,   G e n e v a ,   S w i t z e r l a n d . 	 h i l d e b r a n d m @ u n a i d s . o r g 	 	 	 	 	 C r o w d O u t A I D S ,   2 0 1 2 ,   C R O W D O U T A I D S   S T R A T   R ;   G o o d s p e e d   R ,   2 0 1 2 ,   C R O W D S O U R C I N G   T O O L S ;   G u e s t   G . ,   2 0 1 2 ,   A P P L   T H E M A T I C   A N A L ;   I n t e r n e t   W o r l d   S t a t s ,   2 0 1 1 ,   I N T   U S   S T A T   I N T   B I G ;   M c N a b   C ,   2 0 0 9 ,   B   W O R L D   H E A L T H   O R G A N ,   V 8 7 ,   P 5 6 6 ,   D O I   1 0 . 2 4 7 1 / B L T . 0 9 . 0 6 6 7 1 2 ;   P a t t o n   M . ,   2 0 0 2 ,   Q U A L I T A T I V E   R E S   E V A L ;   S i d i b e   M ,   2 0 1 2 ,   U N P R E C E D E N T E D   P R O G R ;   S i g u r d s s o n   T F ,   2 0 1 1 ,   W R I T I N G   N E W   C O   U N P U B ;   S P W / D F I D - C S O   Y o u t h   W o r k i n g   G r o u p ,   2 0 1 0 ,   Y O U T H   P A R T   D E V   G U I D ;   U N A I D S ,   2 0 1 1 ,   S E C   F U T   T O D   S Y N T H   S T ;   U N E S C O   ( U n i t e d   N a t i o n s   E d u c a t i o n a l   S c i e n t i f i c   a n d   C u l t u r a l   O r g a n i s a t i o n ) ,   2 0 0 9 ,   I N T   T E C H N   G U I D   S E X   E ;   U N I C E F ,   C H I L D R   Y O U N G   P E O P L   P ;   U n i t e d   N a t i o n s   G e n e r a l   A s s e m b l y ,   2 0 1 1 ,   P O L   D E C L   H I V   A I D S   I N ;   W i k i p e d i a ,   2 0 1 2 ,   C R O W D S ;   Y o u t h   C o a l i t i o n   W a t c h d o g ,   2 0 1 2 ,   4 5   S E S S   C O M M   P O P   D E V 	 1 5 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 9 6 8 - 8 0 8 0 	 	 	 R E P R O D   H E A L T H   M A T T E R 	 R e p r o d .   H e a l t h   M a t t e r s 	 M A Y 	 2 0 1 3 	 2 1 	 4 1 	 	 	 	 	 5 7 	 6 8 	 	 1 0 . 1 0 1 6 / S 0 9 6 8 - 8 0 8 0 ( 1 3 ) 4 1 6 8 7 - 7 	 	 1 2 	 P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h 	 P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h 	 1 6 2 T D 	 W O S : 0 0 0 3 2 0 2 8 8 0 0 0 0 0 8 	 2 3 6 8 4 1 8 8 	 
 J 	 L y o n ,   A ;   G r o s s e l ,   G ;   B u r g m a n ,   M ;   N u n n ,   M 	 	 	 	 L y o n ,   A i d a n ;   G r o s s e l ,   G e o f f ;   B u r g m a n ,   M a r k ;   N u n n ,   M i k e 	 	 	 U s i n g   i n t e r n e t   i n t e l l i g e n c e   t o   m a n a g e   b i o s e c u r i t y   r i s k s :   a   c a s e   s t u d y   f o r   a q u a t i c   a n i m a l   h e a l t h 	 D I V E R S I T Y   A N D   D I S T R I B U T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A g g r e g a t i o n ;   a q u a t i c   a n i m a l   h e a l t h ;   b i o s e c u r i t y ;   c r o w d s o u r c i n g ;   i n t e l l i g e n c e ;   r i s k   a n a l y s i s 	 I N F E C T I O U S - D I S E A S E   S U R V E I L L A N C E ;   E A R L Y   W A R N I N G   S Y S T E M ;   P R O M E D - M A I L ;   P O L I C Y ;   W E B 	 A i m   A q u a t i c H e a l t h . n e t   i s   a n   o p e n - s o u r c e   a q u a t i c   b i o s e c u r i t y   i n t e l l i g e n c e   g a t h e r i n g   a n d   a n a l y s i s   a p p l i c a t i o n .   T h e   s y s t e m   c o l l e c t s   i n f o r m a t i o n   i n   m u c h   t h e   s a m e   w a y   a s   o t h e r   s i m i l a r   s y s t e m s   ( e . g .   H e a l t h M a p ,   B i o C a s t e r ) .   H o w e v e r ,   t h e   i n f o r m a t i o n   c o l l e c t e d   u n d e r g o e s   m i n i m a l   a u t o m a t e d   a n a l y s i s ,   a n d   a n a l y s i s   i s   l a r g e l y   l e f t   t o   A q u a t i c H e a l t h . n e t ' s   u s e r s .   T h e   r e s u l t   i s   a n   a u t o m a t e d   s y s t e m   o f   i n t e l l i g e n c e   g a t h e r i n g ,   c o m b i n e d   w i t h   a   m a n u a l   s y s t e m   o f   i n t e l l i g e n c e   a n a l y s i s .   T h i s   a p p r o a c h   r e l i e s   o n   a   l a r g e   n u m b e r   o f   u s e r s ,   a n d   s o   A q u a t i c H e a l t h . n e t   r e l i e s   o n   a n   o p e n - i n t e l l i g e n c e   a n a l y s i s   m e t h o d :   a n y   u s e r   c a n   p u b l i s h   t h e i r   o w n   a n a l y s e s   f o r   a l l   t o   s e e   a n d   a n a l y s e   f u r t h e r .   B y   c o m b i n i n g   a u t o m a t e d   d a t a   c o l l e c t i o n   a n d   h u m a n   a n a l y s i s ,   A q u a t i c H e a l t h . n e t   w i l l   p r o v i d e   f a s t   a n d   a c c u r a t e   f o r e c a s t s ,   a c c o m p a n i e d   w i t h   n u a n c e d   e x p l a n a t i o n s .   T h e s e   m e t h o d s   c a n   b e   a p p l i e d   t o   o t h e r   a r e a s   o f   b i o s e c u r i t y   a n d   d i s e a s e   s u r v e i l l a n c e .   L o c a t i o n   C a n b e r r a ,   A u s t r a l i a ;   C o l l e g e   P a r k ,   M a r y l a n d ,   U S A ;   M e l b o u r n e ,   A u s t r a l i a .   M e t h o d s   A u t o m a t e d :   A q u a t i c H e a l t h . n e t   p e r f o r m s   h o u r l y   s c a n s   o f   a n   a r r a y   o f   R S S   f e e d s ,   b l o g s ,   s o c i a l   n e t w o r k s   a n d   n e w s   s i t e s .   I t   a n a l y s e s   t h i s   i n f o r m a t i o n   a n d   r e m o v e s   r e d u n d a n c i e s   a n d   a p p l i e s   t a x o n o m y   a n d   g e o s p a t i a l   t a g s .   T h e   i n f o r m a t i o n   i s   t h e n   p u s h e d   t o   t h e   D a i l y   S c a n ,   w h e r e   u s e r s   t h e n   a n a l y s e   i t   f u r t h e r .   M a n u a l :   U s e r s   a s s e s s   t h e   i n f o r m a t i o n   f o r   i n a c c u r a c i e s   a n d   i t s   i m p o r t a n c e .   T h e y   d e c i d e   w h e t h e r   a n   a r t i c l e   s h o u l d   b e   a d i s e a s e   a l e r t ,   w h i c h   i s   e m a i l e d   t o   a l l   u s e r s .   U s e r s   c a n   c h a n g e   t a g s ,   e d i t   r e p o r t s ,   a d d   c o m m e n t a r y ,   a p p l y   r a n k i n g s ,   c h a n g e   s e a r c h   t e r m s   a n d   s u m m a r i z e   i s s u e s   i n   t h e   E m e r g i n g   I s s u e s   b l o g   ( f o r m e r l y   a   w i k i ) .   R e s u l t s   A q u a t i c H e a l t h . n e t   p u b l i s h e s   s e v e n   d a i l y   r e p o r t s   a n d   2 w e e k l y   d i s e a s e   a l e r t s   ( o n   a v e r a g e ) .   N i n e t y   p e r   c e n t   o f   C E F A S ' s   ( w w w . c e f a s . d e f r a . g o v . u k )   E m e r g i n g   D i s e a s e   U p d a t e s   c i t e   A q u a t i c H e a l t h . n e t .   T h e   A u s t r a l i a n   S u b - C o m m i t t e e   f o r   A q u a t i c   A n i m a l   H e a l t h   ( S C A A H )   u s e s   t h e   s y s t e m   t o   c o m p i l e   q u a r t e r l y   r e p o r t s .   T h e   A u s t r a l i a n   D e p a r t m e n t   o f   A g r i c u l t u r e ,   F i s h e r i e s   a n d   F o r e s t r y   ( D A F F )   u s e s   A q u a t i c H e a l t h . n e t   t o   m a k e   f o r e c a s t s f o r   e x a m p l e ,   u s e d   a q u a c u l t u r e   e q u i p m e n t   i s   a   h i g h - r i s k   p a t h w a y   f o r   O s H V .   A q u a t i c H e a l t h . n e t ' s   u s e r s   f o r e c a s t e d   a n   i n c r e a s e   i n   e m e r g i n g   m a r i n e   f i n f i s h   d i s e a s e   o u t b r e a k s   i n   S o u t h e a s t   A s i a   a n d   a r e   a c t i v e l y   w a t c h i n g   t h i s   i s s u e .   M a i n   c o n c l u s i o n s   A q u a t i c H e a l t h . n e t ' s   o p e n - i n t e l l i g e n c e   a p p r o a c h   h a s   p r o v e n   t o   b e   a n   e f f e c t i v e   a n d   f l e x i b l e   b i o s e c u r i t y   f o r e c a s t i n g   m e t h o d . 	 [ L y o n ,   A i d a n ]   U n i v   M a r y l a n d ,   D e p t   P h i l o s o p h y ,   C o l l e g e   P k ,   M D   2 0 7 4 2   U S A ;   [ G r o s s e l ,   G e o f f ;   N u n n ,   M i k e ]   A n i m   B i o s e c u r ,   D e p t   A g r   F i s h e r i e s   &   F o r e s t r y ,   C a n b e r r a ,   A C T ,   A u s t r a l i a ;   [ B u r g m a n ,   M a r k ]   U n i v   M e l b o u r n e ,   S c h   B o t ,   P a r k v i l l e ,   V i c   3 0 5 2 ,   A u s t r a l i a 	 L y o n ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   M a r y l a n d ,   D e p t   P h i l o s o p h y ,   C o l l e g e   P k ,   M D   2 0 7 4 2   U S A . 	 a i d a n l y o n @ g m a i l . c o m 	 	 	 A u s t r a l i a n   C e n t r e   o f   E x c e l l e n c e   f o r   R i s k   A n a l y s i s ;   A u s t r a l i a n   G o v e r n m e n t   D e p a r t m e n t   o f   A g r i c u l t u r e ,   F i s h e r i e s   a n d   F o r e s t r y 	 T h i s   w o r k   w a s   f i n a n c i a l l y   s u p p o r t e d   b y   t h e   A u s t r a l i a n   C e n t r e   o f   E x c e l l e n c e   f o r   R i s k   A n a l y s i s   a n d   t h e   A u s t r a l i a n   G o v e r n m e n t   D e p a r t m e n t   o f   A g r i c u l t u r e ,   F i s h e r i e s   a n d   F o r e s t r y .   T h a n k s   t o   M a x   B i a l e k ,   D r   D a v i d   J o h n s o n ,   A l i s t a i r   H e r f o r t ,   K i r s t e n   M c K i m m i e   a n d   e s p e c i a l l y   D r   A l a n   M o o n e y   f o r   t h e i r   h e l p   i n   d e v e l o p i n g   t h e   w e b s i t e   a n d   i t s   c o n t e n t s .   T h e   a u t h o r s   a l s o   a p p r e c i a t e   f e e d b a c k   f r o m   J e a n i n e   B a k e r ,   T i m   C o u t t s ,   M i c h a e l   C o l e ,   M a r k   G i b b s ,   N e i l   G r a n t ,   S a m   H a m i l t o n ,   B r e t t   H e r b e r t ,   M i k a e l   H i r s c h ,   G e g   H o o d ,   M a t t h e w   K e m p ,   J o h n   N i e l s e n ,   A d a m   P o w e l l ,   P a u l   P h e l o u n g   a n d   B e l i n d a   W r i g h t . 	 B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r o w n s t e i n   J S ,   2 0 1 0 ,   N E W   E N G L   J   M E D ,   V 3 6 2 ,   P 1 7 3 1 ,   D O I   1 0 . 1 0 5 6 / N E J M s r 1 0 0 2 7 0 7 ;   B r o w n s t e i n   J S ,   2 0 0 9 ,   N E W   E N G L   J   M E D ,   V 3 6 0 ,   P 2 1 5 3 ,   D O I   1 0 . 1 0 5 6 / N E J M p 0 9 0 0 7 0 2 ;   B r o w n s t e i n   J S ,   2 0 0 8 ,   P L O S   M E D ,   V 5 ,   P 1 0 1 9 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 0 0 5 0 1 5 1 ;   C a r n e g i e   A J ,   2 0 1 2 ,   A U S T R A L A S   P L A N T   P A T H ,   V 4 1 ,   P 1 3 ,   D O I   1 0 . 1 0 0 7 / s 1 3 3 1 3 - 0 1 1 - 0 0 8 2 - 6 ;   C o l l i e r   N ,   2 0 0 6 ,   L A N G   R E S O U R   E V A L ,   V 4 0 ,   P 4 0 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 7 9 - 0 0 7 - 9 0 1 9 - 7 ;   C o l l i e r   N ,   2 0 0 8 ,   B I O I N F O R M A T I C S ,   V 2 4 ,   P 2 9 4 0 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t n 5 3 4 ;   C o w e n   P ,   2 0 0 6 ,   J A V M A - J   A M   V E T   M E D   A ,   V 2 2 9 ,   P 1 0 9 0 ,   D O I   1 0 . 2 4 6 0 / j a v m a . 2 2 9 . 7 . 1 0 9 0 ;   ( D A F F )   A u s t r a l i a n   D e p a r t m e n t   o f   A g r i c u l t u r e   F i s h e r i e s   a n d   F o r e s t r y ,   2 0 1 0 ,   C H A N G   A Q I S   P O L   I M P   U ,   P 6 9 ;   G i n s b e r g   J ,   2 0 0 8 ,   N A T U R E ,   V 4 5 7 ,   P 1 0 1 2 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 7 6 3 4 ;   G o d o y   M G ,   2 0 0 8 ,   B M C   V E T   R E S ,   V 4 ,   D O I   1 0 . 1 1 8 6 / 1 7 4 6 - 6 1 4 8 - 4 - 2 8 ;   H a l p e r n   B S ,   2 0 0 7 ,   C O N S E R V   B I O L ,   V 2 1 ,   P 1 3 0 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 2 3 - 1 7 3 9 . 2 0 0 7 . 0 0 7 5 2 . x ;   H e s t e r   S M ,   2 0 1 3 ,   D I V E R S   D I S T R I B ,   V 1 9 ,   P 5 8 0 ,   D O I   1 0 . 1 1 1 1 / d d i . 1 2 0 5 3 ;   H u l m e   P E ,   2 0 0 8 ,   J   A P P L   E C O L ,   V 4 5 ,   P 4 0 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 6 6 4 . 2 0 0 7 . 0 1 4 4 2 . x ;   J a m e s   C . ,   1 9 9 8 ,   7   I N T   C   P L A N T   P A T H ,   V 4 . 1 ;   K e l l e r   M ,   2 0 0 9 ,   E M E R G   I N F E C T   D I S ,   V 1 5 ,   P 6 8 9 ,   D O I   1 0 . 3 2 0 1 / e i d 1 5 0 5 . 0 8 1 1 1 4 ;   L y o n   A . ,   2 0 1 1 ,   T R A N S B O U N D   E M E R G   D I S ,   V 5 9 ,   P 2 2 3 ;   L y o n   A ,   2 0 1 0 ,   A C E R A   2   P R O J E C T   1 0 0 3 ;   M a d o f f   L C ,   2 0 0 4 ,   C L I N   I N F E C T   D I S ,   V 3 9 ,   P 2 2 7 ,   D O I   1 0 . 1 0 8 6 / 4 2 2 0 0 3 ;   M a w u d e k u   A . ,   2 0 0 5 ,   7   C   A S S   M A C H   T R A N S L ,   P 8 ;   M c G e o c h   M A ,   2 0 1 0 ,   D I V E R S   D I S T R I B ,   V 1 6 ,   P 9 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 2 - 4 6 4 2 . 2 0 0 9 . 0 0 6 3 3 . x ;   M o l n a r   J L ,   2 0 0 8 ,   F R O N T   E C O L   E N V I R O N ,   V 6 ,   P 4 8 5 ,   D O I   1 0 . 1 8 9 0 / 0 7 0 0 6 4 ;   O i d t m a n n   B C ,   2 0 1 1 ,   A Q U A C U L T U R E ,   V 3 2 0 ,   P 2 2 ,   D O I   1 0 . 1 0 1 6 / j . a q u a c u l t u r e . 2 0 1 1 . 0 7 . 0 3 2 ;   P r o M E D - m a i l ,   2 0 1 0 ,   O Y S T   H E R P   E N G L ;   P r o M E D - m a i l ,   2 0 0 7 ,   U N D   D E A T H S   E N C   B A N G L ;   S t r a n g e   R N ,   2 0 0 5 ,   A N N U   R E V   P H Y T O P A T H O L ,   V 4 3 ,   P 8 3 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . p h y t o . 4 3 . 1 1 3 0 0 4 . 1 3 3 8 3 9 ;   T h r u s h   M . ,   2 0 1 1 ,   T R A N S B O U N D   E M E R G   D I S ,   V 5 9 ,   P 3 8 5 ;   W i l s o n   K ,   2 0 0 9 ,   C A N   M E D   A S S O C   J ,   V 1 8 0 ,   P 8 2 9 ,   D O I   1 0 . 1 5 0 3 / c m a j . 0 9 0 2 1 5 	 2 8 	 2 	 2 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 1 3 6 6 - 9 5 1 6 	 	 	 D I V E R S   D I S T R I B 	 D i v e r s .   D i s t r i b . 	 M A Y - J U N 	 2 0 1 3 	 1 9 	 5 - 6 	 	 	 S I 	 	 6 4 0 	 6 5 0 	 	 1 0 . 1 1 1 1 / d d i . 1 2 0 5 7 	 	 1 1 	 B i o d i v e r s i t y   C o n s e r v a t i o n ;   E c o l o g y 	 B i o d i v e r s i t y   &   C o n s e r v a t i o n ;   E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y 	 1 3 8 K P 	 W O S : 0 0 0 3 1 8 5 0 7 8 0 0 0 1 5 	 	 
 J 	 M a l l e t t e ,   M ;   B a r o n e ,   D 	 	 	 	 M a l l e t t e ,   M a r l a ;   B a r o n e ,   D i a n e 	 	 	 O N   U S I N G   G O O G L E   F O R M S 	 R E A D I N G   T E A C H E R 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 	 	 T h e   E d i t o r s   o f   T h e   R e a d i n g   T e a c h e r   i n t r o d u c e   a   n e w   c o l u m n ,   B y   E d u c a t o r s ,   f o r   E d u c a t o r s   t h r o u g h   s h a r i n g   i d e a s   f r o m   t h e   I n t e r e s t i n g   W a y s   s e r i e s   e d t e . c h / b l o g / i n t e r e s t i n g - w a y s / .   C u r a t e d   b y   T o m   B a r r e t t ,   t h e   I n t e r e s t i n g   W a y s   S e r i e s   i s   a n   e x a m p l e   o f   c r o w d s o u r c i n g   o r   t h e   p o w e r   c o l l a b o r a t i v e   t h o u g h t .   T h e   I n t e r e s t i n g   W a y s   S e r i e s   h a s   m o r e   t h a n   3 0   t o p i c s ,   w i t h   n e w   i d e a s   c o n t i n u a l l y   a d d e d   v i a   E D T E C H   a t   e d t e . c h / b l o g /   a n d   T w i t t e r .   I t   i s   l i c e n s e d   u n d e r   a   C r e a t i v e   C o m m o n s   A t t r i b u t i o n   N o n c o m m e r c i a l   S h a r e   A l i k e   3 . 0   L i c e n s e ,   a l l o w i n g   c o l l a b o r a t o r s   t o   s h a r e   t h e   w o r k   a s   w e l l   a s   a d d   i d e a s .   T h e r e f o r e ,   t h e   i d e a s   f o r   u s i n g   d i f f e r e n t   t y p e s   o f   t e c h n o l o g y   i n   t h e   c l a s s r o o m   a r e   a d d e d   v i a   o p e n   s o u r c e ,   w i t h   s o m e   m o r e   a p p l i c a b l e   t h a n   o t h e r s .   T h i s   c o l u m n   p r e s e n t s   i n t e r e s t i n g   w a y s   t o   u e   T w i t t e r   f o r   t e a c h i n g   a n d   l e a r n i n g   l i t e r a c y . 	 	 	 	 	 	 	 	 	 0 	 0 	 0 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 0 3 4 - 0 5 6 1 	 1 9 3 6 - 2 7 1 4 	 	 R E A D   T E A C H 	 R e a d .   T e a c h . 	 M A Y 	 2 0 1 3 	 6 6 	 8 	 	 	 	 	 6 2 5 	 6 3 0 	 	 1 0 . 1 0 0 2 / T R T R . 1 1 6 9 	 	 6 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 1 3 6 K D 	 W O S : 0 0 0 3 1 8 3 5 9 9 0 0 0 0 5 	 	 
 J 	 G e r a m i ,   N 	 	 	 	 G e r a m i ,   N i m a 	 	 	 A t t r a c t i n g   a   c r o w d :   W h a t   s o c i e t a l   v e r i f i c a t i o n   m e a n s   f o r   a r m s   c o n t r o l   T h e   U S   r e s p o n s e 	 B U L L E T I N   O F   T H E   A T O M I C   S C I E N T I S T S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A r m s   C o n t r o l   W o n k ;   c r o w d s o u r c i n g ;   H a i t i ;   h a n d h e l d   d e v i c e ;   A l   H a s a k a ;   A l   K i b a r ;   s o c i e t a l   v e r i f i c a t i o n ;   s m a r t p h o n e ;   t r e a t y   v e r i f i c a t i o n ;   U s h a h i d i 	 	 T h e   i d e a   t h a t   o r d i n a r y   p e o p l e   m i g h t   c o n t r i b u t e   t o   v e r i f i c a t i o n   o f   a r m s   c o n t r o l   t r e a t i e s   i s   n o t   n e w ;   a b s t r a c t   d i s c u s s i o n s   o f   t h e   c o n c e p t   d a t e   b a c k   d e c a d e s .   B u t   p o w e r f u l   a n d   p o r t a b l e   e l e c t r o n i c   d e v i c e s   h a v e   s p r e a d   s o   w i d e l y   i n   r e c e n t   y e a r s   t h a t   s o c i e t a l   v e r i f i c a t i o n   n o w   s e e m s   a n   i m m i n e n t   r e a l i t y .   M o t i v a t e d   i n d i v i d u a l s   m i g h t ,   f o r   i n s t a n c e ,   c o l l e c t   t r e a t y - r e l e v a n t   d a t a   t h r o u g h   o n b o a r d   s e n s o r s   t h a t   s m a r t p h o n e s   c a n   c a r r y   a n d   t h e n   t r a n s m i t   t h e   i n f o r m a t i o n   t o   m u l t i l a t e r a l   v e r i f i c a t i o n   b o d i e s   o r ,   a s   i s   a l r e a d y   h a p p e n i n g ,   s h a r e   i t   o n l i n e   w i t h   g l o b a l   c o m m u n i t i e s   t h a t   s u b j e c t   i t   t o   c r o w d s o u r c e d   a n a l y s i s .   B u t   w i l l   s o c i e t a l   v e r i f i c a t i o n   g e n e r a t e   e n t h u s i a s m   i n   t h e   d e v e l o p e d   a n d   d e v e l o p i n g   w o r l d s   a l i k e ?   W h a t   l e g a l   p r o t e c t i o n s   m u s t   b e   e s t a b l i s h e d   f o r   p a r t i c i p a n t s ?   A n d   w i l l   i n f o r m a t i o n   g a t h e r e d   t h r o u g h   s o c i e t a l   v e r i f i c a t i o n   u l t i m a t e l y   p r o v e   u s e f u l   a n d   t r u s t w o r t h y ?   T h r e e   a u t h o r s   e x p l o r e   t h e s e   e m e r g i n g   q u e s t i o n s :   f r o m   B u r k i n a   F a s o   a n d   r e p r e s e n t i n g   t h e   P r e p a r a t o r y   C o m m i s s i o n   f o r   t h e   C o m p r e h e n s i v e   N u c l e a r   T e s t   B a n   T r e a t y   O r g a n i z a t i o n ,   L a s s i n a   Z e r b o   ( 2 0 1 3 ) ;   f r o m   t h e   U n i t e d   S t a t e s ,   r e s e a r c h   f e l l o w   N i m a   G e r a m i ;   a n d   f r o m   M a l a y s i a ,   n u c l e a r   e n g i n e e r   J a m a l   K h a e r   I b r a h i m   ( 2 0 1 3 ) . 	 N a t l   D e f   U n i v ,   C t r   S t u d y   W e a p   M a s s   D e s t r u c t ,   T a i p e i ,   T a i w a n 	 G e r a m i ,   N   ( r e p r i n t   a u t h o r ) ,   N a t l   D e f   U n i v ,   C t r   S t u d y   W e a p   M a s s   D e s t r u c t ,   T a i p e i ,   T a i w a n . 	 	 	 	 	 	 A d a y   S ,   2 0 0 9 ,   G E O F O R U M ,   V 4 0 ,   P 5 1 4 ,   D O I   1 0 . 1 0 1 6 / j . g e o f o r u m . 2 0 0 8 . 1 2 . 0 0 6 ;   A l t   F ,   2 0 1 0 ,   6   N O R D   C   H U M   C O M P   I N ;   B r a b h a m   D . C . ,   2 0 1 2 ,   P A R T I C I P A T O R Y   C U L T U R ,   P 1 2 0 ;   C r o w l e y   M ,   2 0 0 6 ,   T H I N K I N G   O U T S I D E   B O X ,   P 2 2 5 ;   D e i s e r o t h   D ,   2 0 0 0 ,   V E R I F I C A T I O N   Y B   2 0 0 0 ,   V 2 0 0 0 ,   P 2 6 5 ;   G l e n n o n   J D ,   2 0 1 0 ,   A N A L   L E T T ,   V 4 3 ,   P 1 5 4 3 ,   D O I   1 0 . 1 0 8 0 / 0 0 0 3 2 7 1 1 0 0 3 6 5 3 9 8 1 ;   G o t t e m o e l l e r   R ,   2 0 1 2 ,   J   R O T B L   M E M   L E C T   W A L ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H o w e   J . ,   2 0 0 6 ,   C R O W D S O U R C I N G   D E F I N I ;   H u m a n   R i g h t s   W a t c h ,   2 0 1 3 ,   S Y R   U N L   M I S S   A T T   K I L ;   I b r a h i m   J K ,   2 0 1 3 ,   B   A T O M   S C I ,   V 6 9 ,   P 1 9 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 6 3 4 0 2 1 3 4 8 5 9 3 5 ;   J   H e i n z e l m a n ,   2 0 1 0 ,   C R O W D S O U R C I N G   C R I S I S ;   L e w i s   J ,   2 0 1 3 ,   F S A   O V E R R U N S   A L   K I B E ;   L e w i s   J ,   2 0 1 1 ,   H A S A K A   S P I N N I N G   F A C T ;   L e w i s   J ,   2 0 1 1 ,   C L O S I N G   F I L E   H A S A K A ;   P a b i a n   F V ,   2 0 1 0 ,   I A E A   S   I N T   S A F   V I E N N ;   P a r v a n t a   C l a u d i a ,   2 0 1 3 ,   H e a l t h   P r o m o t   P r a c t ,   V 1 4 ,   P 1 6 3 ,   D O I   1 0 . 1 1 7 7 / 1 5 2 4 8 3 9 9 1 2 4 7 0 6 5 4 ;   Q u i n n   K ,   2 0 1 2 ,   T R A J E C T O R Y   M A G A Z I N E ;   R O T B L A T   J ,   1 9 9 2 ,   B   A T O M   S C I ,   V 4 8 ,   P 1 8 ;   R o t b l a t   J ,   1 9 9 3 ,   N U C L   W E A P O N   F R E E   W O R ;   S a x t o n   G D ,   2 0 1 3 ,   I N F O R M   S Y S T   M A N A G E ,   V 3 0 ,   P 2 ,   D O I   1 0 . 1 0 8 0 / 1 0 5 8 0 5 3 0 . 2 0 1 3 . 7 3 9 8 8 3 ;   S c h e f f r a n   J ,   2 0 1 0 ,   D I S A R M A M E N T   F O R U M   A R ,   V 3 ,   P 5 1 ;   U n i t e d   N a t i o n s   I n t e r n a t i o n a l   T e l e c o m m u n i c a t i o n   U n i o n   ( U N   I T U ) ,   2 0 1 3 ,   W O R L D   2 0 1 2   I C T   F A C T S ;   Z e r b o   L ,   2 0 1 3 ,   B   A T O M   S C I ,   V 6 9 ,   P 1 0 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 6 3 4 0 2 1 3 4 8 5 9 3 2 	 2 4 	 2 	 2 	 S A G E   P U B L I C A T I O N S   L T D 	 L O N D O N 	 1   O L I V E R S   Y A R D ,   5 5   C I T Y   R O A D ,   L O N D O N   E C 1 Y   1 S P ,   E N G L A N D 	 0 0 9 6 - 3 4 0 2 	 	 	 B   A T O M   S C I 	 B u l l .   A t o m .   S c i e n t . 	 M A Y - J U N 	 2 0 1 3 	 6 9 	 3 	 	 	 	 	 1 4 	 1 8 	 	 1 0 . 1 1 7 7 / 0 0 9 6 3 4 0 2 1 3 4 8 5 9 4 3 	 	 5 	 I n t e r n a t i o n a l   R e l a t i o n s ;   S o c i a l   I s s u e s 	 I n t e r n a t i o n a l   R e l a t i o n s ;   S o c i a l   I s s u e s 	 1 3 4 X Y 	 W O S : 0 0 0 3 1 8 2 5 0 3 0 0 0 0 3 	 	 
 J 	 I b r a h i m ,   J K 	 	 	 	 I b r a h i m ,   J a m a l   K h a e r 	 	 	 A t t r a c t i n g   a   c r o w d :   W h a t   s o c i e t a l   v e r i f i c a t i o n   m e a n s   f o r   a r m s   c o n t r o l   T h e   M a l a y s i a n   r e s p o n s e 	 B U L L E T I N   O F   T H E   A T O M I C   S C I E N T I S T S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C o m p r e h e n s i v e   N u c l e a r   T e s t   B a n   T r e a t y ;   c r o w d s o u r c i n g ;   d i s a r m a m e n t ;   h a n d h e l d   d e v i c e ;   M a l a y s i a ;   N u c l e a r   N o n - P r o l i f e r a t i o n   T r e a t y ;   p r e c i s i o n   e n g i n e e r i n g ;   s o c i e t a l   v e r i f i c a t i o n ;   s m a r t p h o n e ;   t r e a t y   v e r i f i c a t i o n 	 	 T h e   i d e a   t h a t   o r d i n a r y   p e o p l e   m i g h t   c o n t r i b u t e   t o   v e r i f i c a t i o n   o f   a r m s   c o n t r o l   t r e a t i e s   i s   n o t   n e w ;   a b s t r a c t   d i s c u s s i o n s   o f   t h e   c o n c e p t   d a t e   b a c k   d e c a d e s .   B u t   p o w e r f u l   a n d   p o r t a b l e   e l e c t r o n i c   d e v i c e s   h a v e   s p r e a d   s o   w i d e l y   i n   r e c e n t   y e a r s   t h a t   s o c i e t a l   v e r i f i c a t i o n   n o w   s e e m s   a n   i m m i n e n t   r e a l i t y .   M o t i v a t e d   i n d i v i d u a l s   m i g h t ,   f o r   i n s t a n c e ,   c o l l e c t   t r e a t y - r e l e v a n t   d a t a   t h r o u g h   o n b o a r d   s e n s o r s   t h a t   s m a r t p h o n e s   c a n   c a r r y   a n d   t h e n   t r a n s m i t   t h e   i n f o r m a t i o n   t o   m u l t i l a t e r a l   v e r i f i c a t i o n   b o d i e s   o r ,   a s   i s   a l r e a d y   h a p p e n i n g ,   s h a r e   i t   o n l i n e   w i t h   g l o b a l   c o m m u n i t i e s   t h a t   s u b j e c t   i t   t o   c r o w d s o u r c e d   a n a l y s i s .   B u t   w i l l   s o c i e t a l   v e r i f i c a t i o n   g e n e r a t e   e n t h u s i a s m   i n   t h e   d e v e l o p e d   a n d   d e v e l o p i n g   w o r l d s   a l i k e ?   W h a t   l e g a l   p r o t e c t i o n s   m u s t   b e   e s t a b l i s h e d   f o r   p a r t i c i p a n t s ?   A n d   w i l l   i n f o r m a t i o n   g a t h e r e d   t h r o u g h   s o c i e t a l   v e r i f i c a t i o n   u l t i m a t e l y   p r o v e   u s e f u l   a n d   t r u s t w o r t h y ?   T h r e e   a u t h o r s   e x p l o r e   t h e s e   e m e r g i n g   q u e s t i o n s :   f r o m   B u r k i n a   F a s o   a n d   r e p r e s e n t i n g   t h e   P r e p a r a t o r y   C o m m i s s i o n   f o r   t h e   C o m p r e h e n s i v e   N u c l e a r   T e s t   B a n   T r e a t y   O r g a n i z a t i o n ,   L a s s i n a   Z e r b o   ( 2 0 1 3 ) ;   f r o m   t h e   U n i t e d   S t a t e s ,   r e s e a r c h   f e l l o w   N i m a   G e r a m i   ( 2 0 1 3 ) ;   a n d   f r o m   M a l a y s i a ,   n u c l e a r   e n g i n e e r   J a m a l   K h a e r   I b r a h i m . 	 	 	 	 	 	 	 	 F a r g o   M ,   2 0 1 3 ,   A R M S   C O N T R O L   S O C I A L ;   G e r a m i   N ,   2 0 1 3 ,   B   A T O M   S C I ,   V 6 9 ,   P 1 4 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 6 3 4 0 2 1 3 4 8 5 9 4 3 ;   L i e g g i   S ,   2 0 0 8 ,   B   A T O M I C   S C I ;   R o t b l a t   J ,   1 9 9 3 ,   N U C L   W E A P O N   F R E E   W O R ;   Z e r b o   L ,   2 0 1 3 ,   B   A T O M   S C I ,   V 6 9 ,   P 1 0 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 6 3 4 0 2 1 3 4 8 5 9 3 2 	 5 	 2 	 2 	 S A G E   P U B L I C A T I O N S   L T D 	 L O N D O N 	 1   O L I V E R S   Y A R D ,   5 5   C I T Y   R O A D ,   L O N D O N   E C 1 Y   1 S P ,   E N G L A N D 	 0 0 9 6 - 3 4 0 2 	 	 	 B   A T O M   S C I 	 B u l l .   A t o m .   S c i e n t . 	 M A Y - J U N 	 2 0 1 3 	 6 9 	 3 	 	 	 	 	 1 9 	 2 2 	 	 1 0 . 1 1 7 7 / 0 0 9 6 3 4 0 2 1 3 4 8 5 9 3 5 	 	 4 	 I n t e r n a t i o n a l   R e l a t i o n s ;   S o c i a l   I s s u e s 	 I n t e r n a t i o n a l   R e l a t i o n s ;   S o c i a l   I s s u e s 	 1 3 4 X Y 	 W O S : 0 0 0 3 1 8 2 5 0 3 0 0 0 0 4 	 	 
 J 	 P l e n g e ,   R M ;   G r e e n b e r g ,   J D ;   M a n g r a v i t e ,   L M ;   D e r r y ,   J M J ;   S t a h l ,   E A ;   C o e n e n ,   M J H ;   B a r t o n ,   A ;   P a d y u k o v ,   L ;   K l a r e s k o g ,   L ;   G r e g e r s e n ,   P K ;   M a r i e t t e ,   X ;   M o r e l a n d ,   L W ;   B r i d g e s ,   S L ;   d e   V r i e s ,   N ;   H u i z i n g a ,   T W J ;   G u c h e l a a r ,   H J ;   F r i e n d ,   S H ;   S t o l o v i t z k y ,   G 	 	 	 	 P l e n g e ,   R o b e r t   M . ;   G r e e n b e r g ,   J e f f r e y   D . ;   M a n g r a v i t e ,   L a r a   M . ;   D e r r y ,   J o n a t h a n   M .   J . ;   S t a h l ,   E l i   A . ;   C o e n e n ,   M a r i e k e   J .   H . ;   B a r t o n ,   A n n e ;   P a d y u k o v ,   L e o n i d ;   K l a r e s k o g ,   L a r s ;   G r e g e r s e n ,   P e t e r   K . ;   M a r i e t t e ,   X a v i e r ;   M o r e l a n d ,   L a r r y   W . ;   B r i d g e s ,   S .   L o u i s ,   J r . ;   d e   V r i e s ,   N i e k ;   H u i z i n g a ,   T o m   W .   J . ;   G u c h e l a a r ,   H e n k - J a n ;   F r i e n d ,   S t e p h e n   H . ;   S t o l o v i t z k y ,   G u s t a v o 	 	 I n t   R h e u m a t o i d   A r t h r i t i s 	 C r o w d s o u r c i n g   g e n e t i c   p r e d i c t i o n   o f   c l i n i c a l   u t i l i t y   i n   t h e   R h e u m a t o i d   A r t h r i t i s   R e s p o n d e r   C h a l l e n g e 	 N A T U R E   G E N E T I C S 	 	 	 E n g l i s h 	 L e t t e r 	 	 	 	 	 	 	 D I S E A S E 	 	 [ P l e n g e ,   R o b e r t   M . ]   H a r v a r d   U n i v ,   B r i g h a m   &   W o m e n s   H o s p ,   S c h   M e d ,   D i v   R h e u m a t o l   I m m u n o l   &   A l l e r g y ,   B o s t o n ,   M A   0 2 1 1 5   U S A ;   [ P l e n g e ,   R o b e r t   M . ]   B r o a d   I n s t ,   M e d   &   P o p u l a t   G e n e t   P r o g r a m ,   C h e m   B i o l   P r o g r a m ,   C a m b r i d g e ,   M A   U S A ;   [ G r e e n b e r g ,   J e f f r e y   D . ]   N Y U ,   S c h   M e d ,   D i v   R h e u m a t o l ,   N e w   Y o r k ,   N Y   U S A ;   [ M a n g r a v i t e ,   L a r a   M . ;   D e r r y ,   J o n a t h a n   M .   J . ;   F r i e n d ,   S t e p h e n   H . ]   S a g e   B i o n e t w o r k s ,   S e a t t l e ,   W A   U S A ;   [ S t a h l ,   E l i   A . ]   I c a h n   S c h   M e d   M t   S i n a i ,   D i v   P s y c h i a t   G e n o m ,   N e w   Y o r k ,   N Y   U S A ;   [ S t a h l ,   E l i   A . ]   I c a h n   S c h   M e d   M t   S i n a i ,   I n s t   G e n o m   &   M u l t i s c a l e   B i o l ,   N e w   Y o r k ,   N Y   U S A ;   [ C o e n e n ,   M a r i e k e   J .   H . ]   R a d b o u d   U n i v   N i j m e g e n ,   D e p t   H u m a n   G e n e t ,   N L - 6 5 2 5   E D   N i j m e g e n ,   N e t h e r l a n d s ;   [ B a r t o n ,   A n n e ]   U n i v   M a n c h e s t e r ,   M a n c h e s t e r   A c a d   H l t h   S c i   C t r ,   A r t h r i t i s   R e s   U K   E p i d e m i o l   U n i t ,   M u s c u l o s k e l e t a l   R e s   G r p ,   M a n c h e s t e r ,   L a n c s ,   E n g l a n d ;   [ P a d y u k o v ,   L e o n i d ;   K l a r e s k o g ,   L a r s ]   K a r o l i n s k a   I n s t ,   D e p t   M e d ,   R h e u m a t o l   U n i t ,   S t o c k h o l m ,   S w e d e n ;   [ G r e g e r s e n ,   P e t e r   K . ]   N o r t h   S h o r e   L o n g   I s l   J e w i s h   H l t h   S y s t ,   F e i n s t e i n   I n s t   M e d   R e s ,   M a n h a s s e t ,   N Y   U S A ;   [ M a r i e t t e ,   X a v i e r ]   U n i v   P a r i s   1 1 ,   H o p   U n i v   P a r i s   S u d ,   A P   H P ,   I N S E R M , U 1 0 1 2 ,   L e   K r e m l i n   B i c e t r e ,   F r a n c e ;   [ M o r e l a n d ,   L a r r y   W . ]   U n i v   P i t t s b u r g h ,   D i v   R h e u m a t o l   &   C l i n   I m m u n o l ,   P i t t s b u r g h ,   P A   U S A ;   [ B r i d g e s ,   S .   L o u i s ,   J r . ]   U n i v   A l a b a m a   B i r m i n g h a m ,   D i v   C l i n   I m m u n o l   &   R h e u m a t o l ,   B i r m i n g h a m ,   A L   3 5 2 9 4   U S A ;   [ d e   V r i e s ,   N i e k ]   U n i v   A m s t e r d a m ,   A c a d   M e d   C t r ,   D e p t   C l i n   I m m u n o l   &   R h e u m a t o l ,   N L - 1 1 0 5   A Z   A m s t e r d a m ,   N e t h e r l a n d s ;   [ H u i z i n g a ,   T o m   W .   J . ]   L e i d e n   U n i v ,   M e d   C t r ,   D e p t   R h e u m a t o l ,   L e i d e n ,   N e t h e r l a n d s ;   [ G u c h e l a a r ,   H e n k - J a n ]   L e i d e n   U n i v ,   M e d   C t r ,   D e p t   C l i n   P h a r m   &   T o x i c o l ,   L e i d e n ,   N e t h e r l a n d s ;   [ F r i e n d ,   S t e p h e n   H . ;   S t o l o v i t z k y ,   G u s t a v o ]   S a g e   B i o n e t w o r k s ,   S a g e   D R E A M   P r o j e c t ,   S e a t t l e ,   W A   U S A ;   [ S t o l o v i t z k y ,   G u s t a v o ]   I B M   C o r p ,   T h o m a s   J   W a t s o n   R e s   C t r ,   C o m p u t a t   B i o l   C t r ,   Y o r k t o w n   H t s ,   N Y   1 0 5 9 8   U S A 	 P l e n g e ,   R M   ( r e p r i n t   a u t h o r ) ,   H a r v a r d   U n i v ,   B r i g h a m   &   W o m e n s   H o s p ,   S c h   M e d ,   D i v   R h e u m a t o l   I m m u n o l   &   A l l e r g y ,   B o s t o n ,   M A   0 2 1 1 5   U S A . 	 r p l e n g e @ p a r t n e r s . o r g 	 d e   V r i e s ,   N i e k / J - 9 3 4 8 - 2 0 1 3 ;   C o e n e n ,   M a r i e k e / A - 2 1 5 9 - 2 0 1 0 ;   R i e l ,   P . L . C . M . / H - 8 0 8 2 - 2 0 1 4 ;   B a r t o n ,   A n n e / N - 2 0 5 3 - 2 0 1 4 	 d e   V r i e s ,   N i e k / 0 0 0 0 - 0 0 0 2 - 6 2 5 7 - 8 6 0 4 ;   B a r t o n ,   A n n e / 0 0 0 0 - 0 0 0 3 - 3 3 1 6 - 2 5 2 7 	 	 	 C o s t e l l o   J C ,   2 0 1 3 ,   C L I N   P H A R M A C O L   T H E R ,   V 9 3 ,   P 3 9 6 ,   D O I   1 0 . 1 0 3 8 / c l p t . 2 0 1 3 . 3 6 ;   C u i   J . ,   2 0 1 3 ,   P L O S   G E N E T ;   D e r r y   J M J ,   2 0 1 2 ,   N A T   G E N E T ,   V 4 4 ,   P 1 2 7 ,   D O I   1 0 . 1 0 3 8 / n g . 1 0 8 9 ;   M a r g o l i n   A A ,   2 0 1 3 ,   S C I   T R A N S L   M E D ,   V 5 ,   D O I   1 0 . 1 1 2 6 / s c i t r a n s l m e d . 3 0 0 6 1 1 2 ;   M c I n n e s   I B ,   2 0 1 1 ,   N E W   E N G L   J   M E D ,   V 3 6 5 ,   P 2 2 0 5 ,   D O I   1 0 . 1 0 5 6 / N E J M r a 1 0 0 4 9 6 5 ;   S t a h l   E A ,   2 0 1 2 ,   N A T   G E N E T ,   V 4 4 ,   P 4 8 3 ,   D O I   1 0 . 1 0 3 8 / n g . 2 2 3 2 ;   W a d m a n   M ,   2 0 1 2 ,   N A T U R E ,   V 4 9 0 ,   P 1 5 ,   D O I   1 0 . 1 0 3 8 / 4 9 0 0 1 5 a 	 7 	 3 	 3 	 N A T U R E   P U B L I S H I N G   G R O U P 	 N E W   Y O R K 	 7 5   V A R I C K   S T ,   9 T H   F L R ,   N E W   Y O R K ,   N Y   1 0 0 1 3 - 1 9 1 7   U S A 	 1 0 6 1 - 4 0 3 6 	 	 	 N A T   G E N E T 	 N a t u r e   G e n e t . 	 M A Y 	 2 0 1 3 	 4 5 	 5 	 	 	 	 	 4 6 8 	 4 6 9 	 	 1 0 . 1 0 3 8 / n g . 2 6 2 3 	 	 2 	 G e n e t i c s   &   H e r e d i t y 	 G e n e t i c s   &   H e r e d i t y 	 1 3 3 R U 	 W O S : 0 0 0 3 1 8 1 5 8 2 0 0 0 0 2 	 2 3 6 1 9 7 8 2 	 
 J 	 R e i l l y ,   J ;   D a s h t i ,   S ;   E r v a s t i ,   M ;   B r a y ,   J D ;   G l a s e r ,   S D ;   B a y e n ,   A M 	 	 	 	 R e i l l y ,   J a c k ;   D a s h t i ,   S h i d e h ;   E r v a s t i ,   M a r i ;   B r a y ,   J o n a t h a n   D . ;   G l a s e r ,   S t e v e n   D . ;   B a y e n ,   A l e x a n d r e   M . 	 	 	 M o b i l e   P h o n e s   a s   S e i s m o l o g i c   S e n s o r s :   A u t o m a t i n g   D a t a   E x t r a c t i o n   f o r   t h e   i S h a k e   S y s t e m 	 I E E E   T R A N S A C T I O N S   O N   A U T O M A T I O N   S C I E N C E   A N D   E N G I N E E R I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A c c e l e r o m e t e r ;   c r o w d s o u r c i n g ;   e a r t h q u a k e ;   m o b i l e   p h o n e s ;   p a r t i c i p a t o r y   s e n s i n g ;   s e i s m o g r a p h ;   s i g n a l   p r o c e s s i n g 	 G R O U N D - M O T I O N ;   I N T E N S I T Y 	 T h e r e   a r e   a   v a r i e t y   o f   a p p r o a c h e s   t o   s e i s m i c   s e n s i n g ,   w h i c h   r a n g e   f r o m   c o l l e c t i n g   s p a r s e   m e a s u r e m e n t s   w i t h   h i g h - f i d e l i t y   s e i s m i c   s t a t i o n s   t o   n o n - q u a n t i t a t i v e ,   p o s t - e a r t h q u a k e   s u r v e y s .   T h e   s p a r s e   n a t u r e   o f   t h e   h i g h - f i d e l i t y   s t a t i o n s   a n d   t h e   i n a c c u r a c y   o f   t h e   s u r v e y s   c r e a t e   t h e   n e e d   f o r   a   h i g h - d e n s i t y ,   s e m i - q u a n t i t a t i v e   a p p r o a c h   t o   s e i s m i c   s e n s i n g .   T o   f i l l   t h i s   v o i d ,   t h e   U C   B e r k e l e y   i S h a k e   p r o j e c t   d e s i g n e d   a   m o b i l e   c l i e n t - b a c k e n d   s e r v e r   a r c h i t e c t u r e   t h a t   u s e s   s e n s o r - e q u i p p e d   m o b i l e   d e v i c e s   t o   m e a s u r e   e a r t h q u a k e   g r o u n d   s h a k i n g .   i S h a k e   p r o v i d e s   t h e   g e n e r a l   p u b l i c   w i t h   a   s e r v i c e   t o   m o r e   e a s i l y   c o n t r i b u t e   m o r e   q u a n t i t a t i v e l y   s i g n i f i c a n t   d a t a   t o   e a r t h q u a k e   r e s e a r c h   b y   a u t o m a t i n g   t h e   d a t a   c o l l e c t i o n   a n d   r e p o r t i n g   m e c h a n i s m s   v i a   t h e   i S h a k e   m o b i l e   a p p l i c a t i o n .   T h e   d e v i c e s   a c t   a s   d i s t r i b u t e d   s e n s o r s   t h a t   e n a b l e   m e a s u r e m e n t s   t o   b e   t a k e n   a n d   t r a n s m i t t e d   w i t h   a   c e l l u l a r   n e t w o r k   c o n n e c t i o n .   S h a k i n g   t a b l e   t e s t i n g   w a s   u s e d   t o   a s s e s s   t h e   q u a l i t y   o f   t h e   m e a s u r e m e n t s   o b t a i n e d   f r o m   t h e   i P h o n e s   a n d   i P o d s   o n   a   b e n c h m a r k   o f   1 5 0   g r o u n d   m o t i o n s .   O n c e   t r i g g e r e d   b y   a   s h a k i n g   e v e n t ,   t h e   d e v i c e s   t r a n s m i t   s e n s o r   d a t a   t o   a   b a c k e n d   s e r v e r   f o r   f u r t h e r   p r o c e s s i n g .   A f t e r   a   s e i s m i c   e v e n t   i s   v e r i f i e d   b y   h i g h - f i d e l i t y   s t a t i o n s ,   f i l t e r i n g   a l g o r i t h m s   a r e   u s e d   t o   d e t e c t   f a l l i n g   p h o n e s ,   a s   w e l l   a s   d e v i c e - s p e c i f i c   r e s p o n s e s   t o   t h e   e v e n t .   A   m e t h o d   w a s   d e v e l o p e d   t o   d e t e r m i n e   t h e   a b s o l u t e   o r i e n t a t i o n   o f   a   d e v i c e   t o   e s t i m a t e   t h e   d i r e c t i o n   o f   f i r s t   m o t i o n   o f   a   s e i s m i c   e v e n t .   A   " v i r t u a l   e a r t h q u a k e "   p i l o t   t e s t   w a s   c o n d u c t e d   o n   t h e   U C   B e r k e l e y   c a m p u s   t o   v e r i f y   t h e   o p e r a t i o n   o f   t h e   i S h a k e   s y s t e m .   B y   d e s i g n i n g   a n d   f u l l y   i m p l e m e n t i n g   a   s y s t e m   a r c h i t e c t u r e ,   d e v e l o p i n g   s i g n a l   p r o c e s s i n g   t e c h n i q u e s   u n i q u e   t o   m o b i l e   s e n s i n g ,   a n d   c o n d u c t i n g   s h a k i n g   t a b l e   t e s t s   t o   c o n f i r m   t h e   v a l i d i t y   o f   t h e   s e n s i n g   p l a t f o r m ,   t h e   i S h a k e   p r o j e c t   s e r v e s   a s   f o u n d a t i o n a l   w o r k   f o r   f u r t h e r   s t u d i e s   i n   s e i s m i c   s e n s i n g   o n   m o b i l e   d e v i c e s .   N o t e   t o   P r a c t i t i o n e r s - T o   t r y   a n d   r e c o v e r   g r o u n d   m o t i o n   m e a s u r e m e n t s   f r o m   t h e   o n - a c c e l e r o m e t e r   i n   a   s m a r t p h o n e ,   o n e   s h o u l d   t a k e   i n t o   a c c o u n t   t h e   a d d i t i o n a l   v a r i a b l e s   i n   t h e   e n v i r o n m e n t   i n   w h i c h   t h e   m e a s u r e m e n t   w a s   t a k e n .   S u c h   v a r i a b l e s   i n c l u d e   t h a t   t h e   d e v i c e   m a y   b e   m o v e d   b y   t h e   u s e r   r a t h e r   t h a n   t h e   g r o u n d ,   t h a t   t h e   a c c e l e r o m e t e r   m a y   r e c o r d   i n t e r n a l   p h o n e   v i b r a t i o n s   r a t h e r   t h a n   e x t e r n a l   e f f e c t s ,   a n d   t h a t   t h e   a b s o l u t e   o r i e n t a t i o n   o f   t h e   d e v i c e   c a n n o t   b e   d e t e r m i n e d   f r o m   t h e   a c c e l e r o m e t e r   r e a d i n g s   a l o n e .   T h i s   r e p o r t   g i v e s   p r a c t i c a l   p r o c e d u r e s   a n d   a l g o r i t h m s   t o   a d d r e s s   t h e s e   n e w l y   i n t r o d u c e d   i s s u e s .   W e   p r o v i d e   a   t h r e e - s t e p - l o o p   p r o c e d u r e   t o   o n l y   a c t i v e l y   s e n s e   f o r   s i g n i f i c a n t   g r o u n d   m o t i o n   w h e n   i t   i s   r e a s o n a b l y   c e r t a i n   t h e   p h o n e   i s   n o t   i n   a c t i v e   u s e .   W e   a l s o   g i v e   a   n u m b e r   o f   f i l t e r i n g   t e c h n i q u e s   t o   a p p l y   t o   t h e   r a w   a c c e l e r o m e t e r   s i g n a l ,   s u c h   a s   i s o l a t i n g   f r e q u e n c i e s   r e l a t i v e   t o   s e i s m i c   g r o u n d   m o t i o n s ,   r e m o v i n g   p o t e n t i a l   i n t e r n a l   r e s o n a n c e   o f   t h e   d e v i c e   i n   t h e   o u t p u t   s i g n a l ,   a n d   d e t e c t i n g   w h e t h e r   a   d e v i c e   h a s   u n d e r g o n e   s i g n i f i c a n t   d i s r u p t i o n   f r o m   f o r c e s   n o t   p e r t a i n i n g   t o   g r o u n d   m o t i o n .   S i n c e   t h e   c a r d i n a l   d i r e c t i o n   ( n o r t h - s o u t h - e a s t - w e s t )   a n d   c o o r d i n a t e   l o c a t i o n   a r e   n e e d e d   t o   d e t e r m i n e   f a u l t   m o v e m e n t   p r o p e r t i e s ,   w e   g i v e   a   p r o c e d u r e   t o   r e c o v e r   a b s o l u t e   p o s i t i o n   a n d   a b s o l u t e   o r i e n t a t i o n   f r o m   a   c o m b i n a t i o n   o f   a c c e l e r o m e t e r ,   c o m p a s s ,   a n d   G P S   i n f o r m a t i o n .   B y   c o m p a r i n g   t h e   p e r f o r m a n c e   o f   t h e   d e v i c e s '   a c c e l e r o m e t e r   r e a d i n g s   a g a i n s t   h i g h - f i d e l i t y   a c c e l e r o m e t e r s   o n   s h a k i n g   t a b l e s ,   w e   d e m o n s t r a t e   t h a t   t h e   r e s o l u t i o n   o f   t h e   d e v i c e s '   m e a s u r e m e n t s   s h o w   p o t e n t i a l   f o r   g r o u n d   m o t i o n   e s t i m a t i o n . 	 [ R e i l l y ,   J a c k ;   B r a y ,   J o n a t h a n   D . ;   G l a s e r ,   S t e v e n   D . ;   B a y e n ,   A l e x a n d r e   M . ]   U n i v   C a l i f   B e r k e l e y ,   D e p t   C i v i l   E n g n ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A ;   [ D a s h t i ,   S h i d e h ]   U n i v   C o l o r a d o ,   D e p t   C i v i l   E n v i r o n m   &   A r c h i t e c t u r a l   E n g n ,   B o u l d e r ,   C O   8 0 3 0 2   U S A ;   [ E r v a s t i ,   M a r i ]   V T T   T e c h   R e s   C t r ,   O u l u   0 2 0 4 4 ,   F i n l a n d 	 R e i l l y ,   J   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   B e r k e l e y ,   D e p t   C i v i l   E n g n ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A . 	 j a c k d r e i l l y @ b e r k e l e y . e d u ;   s h i d e h . d a s h t i @ c o l o r a d o . e d u ;   M a r i . E r v a s t i @ v t t . f i ;   b r a y @ c e . b e r k e l e y . e d u ;   g l a s e r @ b e r k e l e y . e d u ;   b a y e n @ b e r k e l e y . e d u 	 	 	 U . S .   G e o l o g i c a l   S u r v e y   ( U S G S ) ,   D e p a r t m e n t   o f   I n t e r i o r   [ G 1 0 A P 0 0 0 0 6 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   U . S .   G e o l o g i c a l   S u r v e y   ( U S G S ) ,   D e p a r t m e n t   o f   I n t e r i o r ,   u n d e r   A w a r d   G 1 0 A P 0 0 0 0 6 . 	 A t k i n s o n   G M ,   2 0 0 7 ,   S E I S M O L   R E S   L E T T ,   V 7 8 ,   P 3 6 2 ,   D O I   1 0 . 1 7 8 5 / g s s r l . 7 8 . 3 . 3 6 2 ;   A u g e l l o   A J ,   1 9 9 8 ,   J   G E O T E C H   G E O E N V I R O N ,   V 1 2 4 ,   P 2 1 1 ,   D O I   1 0 . 1 0 6 1 / ( A S C E ) 1 0 9 0 - 0 2 4 1 ( 1 9 9 8 ) 1 2 4 : 3 ( 2 1 1 ) ;   A z u m a   R ,   1 9 9 9 ,   P   I E E E   V I R T   R E A L   A N N ,   P 2 5 2 ,   D O I   1 0 . 1 1 0 9 / V R . 1 9 9 9 . 7 5 6 9 5 9 ;   B a i s e   L G ,   2 0 0 0 ,   B   S E I S M O L   S O C   A M ,   V 9 0 ,   P 9 9 3 ,   D O I   1 0 . 1 7 8 5 / 0 1 1 9 9 8 0 1 6 9 ;   B l a c k   H .   D . ,   1 9 6 3 ,   T G   5 1 7 ;   B o o r e   D M ,   2 0 0 5 ,   S O I L   D Y N   E A R T H Q   E N G ,   V 2 5 ,   P 9 3 ,   D O I   1 0 . 1 0 1 6 / j . s o i l d y n . 2 0 0 4 . 1 0 . 0 0 7 ;   B u r k e   J . ,   2 0 0 6 ,   W O R L D   S E N S   W E B   W O R K S ,   P 1 ;   C o c h r a n   E ,   2 0 0 9 ,   I E E E   I N S T R U   M E A S   M A G ,   V 1 2 ,   P 8 ,   D O I   1 0 . 1 1 0 9 / M I M . 2 0 0 9 . 5 3 3 8 2 5 5 ;   D a s h t i   S . ,   2 0 1 1 ,   E A R T H Q U A K E   S P E C T R A   J ,   P 1 ;   E r i k s s o n   J . ,   2 0 0 8 ,   A C M   M O B I S Y S ;   E r v a s t i   M . ,   2 0 1 1 ,   P R O C   1 0 T H   I N T   C O N F   M ,   V 2 8 ,   P 4 3 ;   E s t r i n   D . ,   2 0 0 9 ,   M O B I L E   S E N S I N G   S Y S T E ;   F a u l k n e r   M ,   2 0 1 1 ,   P r o c e e d i n g s   2 0 1 1   1 0 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n f o r m a t i o n   P r o c e s s i n g   i n   S e n s o r   N e t w o r k s   ( I P S N   2 0 1 0 ) ;   F o u l s e r - p i g g o t t   R . ,   2 0 1 0 ,   R E C E N T   A D V A N C E S   I N   G ,   P 1 ;   H u l l   B . ,   2 0 0 6 ,   P   4   I N T   C   E M B   N E T W   S ,   P 1 2 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 8 2 8 0 7 . 1 1 8 2 8 2 1 ;   L a y   T . ,   1 9 9 5 ,   M O D E R N   G L O B A L   S E I S M O ,   V 5 8 ;   L i e n   Y .   N . ,   2 0 0 9 ,   P R O C   I E E E   2 9 T H   I N T   C ,   P 4 1 2 ;   N e w m a r k   N .   M . ,   1 9 8 2 ,   M O N O G R A P H ,   V 1 ,   P 1 ;   O b e n s h a i n   D . ,   C O M M U N I T Y   S E I S M I C   N E ;   P i c k e t t   G . R . ,   1 9 6 3 ,   J   P E T R O L   T E C H N O L ,   V 1 5 ,   P 6 5 9 ,   D O I   D O I   1 0 . 2 1 1 8 / 4 5 2 - P A ;   P i n e s   D J ,   1 9 9 8 ,   S M A R T   M A T E R   S T R U C T ,   V 7 ,   P 6 2 7 ,   D O I   1 0 . 1 0 8 8 / 0 9 6 4 - 1 7 2 6 / 7 / 5 / 0 0 7 ;   S a k a k i   T a k e s h i ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 8 5 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 7 7 ;   S c h a l l   G . ,   2 0 1 0 ,   I E E E   I N T   S Y M P   M I X E D ,   V 3 ,   P 2 6 7 ,   D O I   [ 1 0 . 1 1 0 9 / I S M A R . 2 0 1 0 . 5 6 4 3 6 0 0 ,   D O I   1 0 . 1 1 0 9 / I S M A R . 2 0 1 0 . 5 6 4 3 6 0 0 ] ;   T r a v a s a r o u   T ,   2 0 0 3 ,   E A R T H Q U A K E   E N G   S T R U C ,   V 3 2 ,   P 1 1 3 3 ,   D O I   1 0 . 1 0 0 2 / e q e . 2 7 0 ;   W a l d   D a v i d   J . ,   1 9 9 9 ,   E A R T H Q   S P E C T R A ,   V 1 5 ,   P 5 3 7 ,   D O I   D O I   1 0 . 1 1 9 3 / 1 . 1 5 8 6 0 5 7 ;   Z h a n g   H Z ,   2 0 1 1 ,   A D V   M A T E R   R E S - S W I T Z ,   V 3 2 7 ,   P 1 ,   D O I   1 0 . 4 0 2 8 / w w w . s c i e n t i f i c . n e t / A M R . 3 2 7 . 1 	 2 6 	 2 	 2 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 5 4 5 - 5 9 5 5 	 	 	 I E E E   T   A U T O M   S C I   E N G 	 I E E E   T r a n s .   A u t o m .   S c i .   E n g . 	 A P R 	 2 0 1 3 	 1 0 	 2 	 	 	 	 	 2 4 2 	 2 5 1 	 	 1 0 . 1 1 0 9 / T A S E . 2 0 1 3 . 2 2 4 5 1 2 1 	 	 1 0 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s 	 1 7 2 I F 	 W O S : 0 0 0 3 2 0 9 9 4 5 0 0 0 0 3 	 	 
 J 	 Z h a i ,   H J ;   L i n g r e n ,   T ;   D e l e g e r ,   L ;   L i ,   Q ;   K a i s e r ,   M ;   S t o u t e n b o r o u g h ,   L ;   S o l t i ,   I 	 	 	 	 Z h a i ,   H a i j u n ;   L i n g r e n ,   T o d d ;   D e l e g e r ,   L o u i s e ;   L i ,   Q i ;   K a i s e r ,   M e g a n ;   S t o u t e n b o r o u g h ,   L a u r a ;   S o l t i ,   I m r e 	 	 	 W e b   2 . 0 - B a s e d   C r o w d s o u r c i n g   f o r   H i g h - Q u a l i t y   G o l d   S t a n d a r d   D e v e l o p m e n t   i n   C l i n i c a l   N a t u r a l   L a n g u a g e   P r o c e s s i n g 	 J O U R N A L   O F   M E D I C A L   I N T E R N E T   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c l i n i c a l   i n f o r m a t i c s ;   n a t u r a l   l a n g u a g e   p r o c e s s i n g ;   n a m e d   e n t i t y ;   r e f e r e n c e   s t a n d a r d s ;   c r o w d s o u r c i n g ;   u s e r   c o m p u t e r   i n t e r f a c e ;   q u a l i t y   c o n t r o l 	 	 B a c k g r o u n d :   A   h i g h - q u a l i t y   g o l d   s t a n d a r d   i s   v i t a l   f o r   s u p e r v i s e d ,   m a c h i n e   l e a r n i n g - b a s e d ,   c l i n i c a l   n a t u r a l   l a n g u a g e   p r o c e s s i n g   ( N L P )   s y s t e m s .   I n   c l i n i c a l   N L P   p r o j e c t s ,   e x p e r t   a n n o t a t o r s   t r a d i t i o n a l l y   c r e a t e   t h e   g o l d   s t a n d a r d .   H o w e v e r ,   t r a d i t i o n a l   a n n o t a t i o n   i s   e x p e n s i v e   a n d   t i m e - c o n s u m i n g .   T o   r e d u c e   t h e   c o s t   o f   a n n o t a t i o n ,   g e n e r a l   N L P   p r o j e c t s   h a v e   t u r n e d   t o   c r o w d s o u r c i n g   b a s e d   o n   W e b   2 . 0   t e c h n o l o g y ,   w h i c h   i n v o l v e s   s u b m i t t i n g   s m a l l e r   s u b t a s k s   t o   a   c o o r d i n a t e d   m a r k e t p l a c e   o f   w o r k e r s   o n   t h e   I n t e r n e t .   M a n y   s t u d i e s   h a v e   b e e n   c o n d u c t e d   i n   t h e   a r e a   o f   c r o w d s o u r c i n g ,   b u t   o n l y   a   f e w   h a v e   f o c u s e d   o n   t a s k s   i n   t h e   g e n e r a l   N L P   f i e l d   a n d   o n l y   a   h a n d f u l   i n   t h e   b i o m e d i c a l   d o m a i n ,   u s u a l l y   b a s e d   u p o n   v e r y   s m a l l   p i l o t   s a m p l e   s i z e s .   I n   a d d i t i o n ,   t h e   q u a l i t y   o f   t h e   c r o w d s o u r c e d   b i o m e d i c a l   N L P   c o r p o r a   w e r e   n e v e r   e x c e p t i o n a l   w h e n   c o m p a r e d   t o   t r a d i t i o n a l l y - d e v e l o p e d   g o l d   s t a n d a r d s .   T h e   p r e v i o u s l y   r e p o r t e d   r e s u l t s   o n   m e d i c a l   n a m e d   e n t i t y   a n n o t a t i o n   t a s k   s h o w e d   a   0 . 6 8   F - m e a s u r e   b a s e d   a g r e e m e n t   b e t w e e n   c r o w d s o u r c e d   a n d   t r a d i t i o n a l l y - d e v e l o p e d   c o r p o r a .   O b j e c t i v e :   B u i l d i n g   u p o n   p r e v i o u s   w o r k   f r o m   t h e   g e n e r a l   c r o w d s o u r c i n g   r e s e a r c h ,   t h i s   s t u d y   i n v e s t i g a t e d   t h e   u s a b i l i t y   o f   c r o w d s o u r c i n g   i n   t h e   c l i n i c a l   N L P   d o m a i n   w i t h   s p e c i a l   e m p h a s i s   o n   a c h i e v i n g   h i g h   a g r e e m e n t   b e t w e e n   c r o w d s o u r c e d   a n d   t r a d i t i o n a l l y - d e v e l o p e d   c o r p o r a .   M e t h o d s :   T o   b u i l d   t h e   g o l d   s t a n d a r d   f o r   e v a l u a t i n g   t h e   c r o w d s o u r c i n g   w o r k e r s '   p e r f o r m a n c e ,   1 0 4 2   c l i n i c a l   t r i a l   a n n o u n c e m e n t s   ( C T A s )   f r o m   t h e   C l i n i c a l T r i a l s . g o v   w e b s i t e   w e r e   r a n d o m l y   s e l e c t e d   a n d   d o u b l e   a n n o t a t e d   f o r   m e d i c a t i o n   n a m e s ,   m e d i c a t i o n   t y p e s ,   a n d   l i n k e d   a t t r i b u t e s .   F o r   t h e   e x p e r i m e n t s ,   w e   u s e d   C r o w d F l o w e r ,   a n   A m a z o n   M e c h a n i c a l   T u r k - b a s e d   c r o w d s o u r c i n g   p l a t f o r m .   W e   c a l c u l a t e d   s e n s i t i v i t y ,   p r e c i s i o n ,   a n d   F - m e a s u r e   t o   e v a l u a t e   t h e   q u a l i t y   o f   t h e   c r o w d ' s   w o r k   a n d   t e s t e d   t h e   s t a t i s t i c a l   s i g n i f i c a n c e   ( P < . 0 0 1 ,   c h i - s q u a r e   t e s t )   t o   d e t e c t   d i f f e r e n c e s   b e t w e e n   t h e   c r o w d s o u r c e d   a n d   t r a d i t i o n a l l y - d e v e l o p e d   a n n o t a t i o n s .   R e s u l t s :   T h e   a g r e e m e n t   b e t w e e n   t h e   c r o w d ' s   a n n o t a t i o n s   a n d   t h e   t r a d i t i o n a l l y - g e n e r a t e d   c o r p o r a   w a s   h i g h   f o r :   ( 1 )   a n n o t a t i o n s   ( 0 . 8 7 ,   F - m e a s u r e   f o r   m e d i c a t i o n   n a m e s ;   0 . 7 3 ,   m e d i c a t i o n   t y p e s ) ,   ( 2 )   c o r r e c t i o n   o f   p r e v i o u s   a n n o t a t i o n s   ( 0 . 9 0 ,   m e d i c a t i o n   n a m e s ;   0 . 7 6 ,   m e d i c a t i o n   t y p e s ) ,   a n d   e x c e l l e n t   f o r   ( 3 )   l i n k i n g   m e d i c a t i o n s   w i t h   t h e i r   a t t r i b u t e s   ( 0 . 9 6 ) .   S i m p l e   v o t i n g   p r o v i d e d   t h e   b e s t   j u d g m e n t   a g g r e g a t i o n   a p p r o a c h .   T h e r e   w a s   n o   s t a t i s t i c a l l y   s i g n i f i c a n t   d i f f e r e n c e   b e t w e e n   t h e   c r o w d   a n d   t r a d i t i o n a l l y - g e n e r a t e d   c o r p o r a .   O u r   r e s u l t s   s h o w e d   a   2 7 . 9 %   i m p r o v e m e n t   o v e r   p r e v i o u s l y   r e p o r t e d   r e s u l t s   o n   m e d i c a t i o n   n a m e d   e n t i t y   a n n o t a t i o n   t a s k .   C o n c l u s i o n s :   T h i s   s t u d y   o f f e r s   t h r e e   c o n t r i b u t i o n s .   F i r s t ,   w e   p r o v e d   t h a t   c r o w d s o u r c i n g   i s   a   f e a s i b l e ,   i n e x p e n s i v e ,   f a s t ,   a n d   p r a c t i c a l   a p p r o a c h   t o   c o l l e c t   h i g h - q u a l i t y   a n n o t a t i o n s   f o r   c l i n i c a l   t e x t   ( w h e n   p r o t e c t e d   h e a l t h   i n f o r m a t i o n   w a s   e x c l u d e d ) .   W e   b e l i e v e   t h a t   w e l l - d e s i g n e d   u s e r   i n t e r f a c e s   a n d   r i g o r o u s   q u a l i t y   c o n t r o l   s t r a t e g y   f o r   e n t i t y   a n n o t a t i o n   a n d   l i n k i n g   w e r e   c r i t i c a l   t o   t h e   s u c c e s s   o f   t h i s   w o r k .   S e c o n d ,   a s   a   f u r t h e r   c o n t r i b u t i o n   t o   t h e   I n t e r n e t - b a s e d   c r o w d s o u r c i n g   f i e l d ,   w e   w i l l   p u b l i c l y   r e l e a s e   t h e   J a v a S c r i p t   a n d   C r o w d F l o w e r   M a r k u p   L a n g u a g e   i n f r a s t r u c t u r e   c o d e   t h a t   i s   n e c e s s a r y   t o   u t i l i z e   C r o w d F l o w e r ' s   q u a l i t y   c o n t r o l   a n d   c r o w d s o u r c i n g   i n t e r f a c e s   f o r   n a m e d   e n t i t y   a n n o t a t i o n s .   F i n a l l y ,   t o   s p u r   f u t u r e   r e s e a r c h ,   w e   w i l l   r e l e a s e   t h e   C T A   a n n o t a t i o n s   t h a t   w e r e   g e n e r a t e d   b y   t r a d i t i o n a l   a n d   c r o w d s o u r c e d   a p p r o a c h e s . 	 [ Z h a i ,   H a i j u n ;   L i n g r e n ,   T o d d ;   D e l e g e r ,   L o u i s e ;   L i ,   Q i ;   K a i s e r ,   M e g a n ;   S t o u t e n b o r o u g h ,   L a u r a ;   S o l t i ,   I m r e ]   C i n c i n n a t i   C h i l d r e n s   H o s p   M e d   C t r ,   D i v   B i o m e d   I n f o r m a t ,   C i n c i n n a t i ,   O H   4 5 2 2 9   U S A 	 S o l t i ,   I   ( r e p r i n t   a u t h o r ) ,   C i n c i n n a t i   C h i l d r e n s   H o s p   M e d   C t r ,   D i v   B i o m e d   I n f o r m a t ,   3 3 3 3   B u r n e t   A v e ,   C i n c i n n a t i ,   O H   4 5 2 2 9   U S A . 	 i m r e . s o l t i @ c c h m c . o r g 	 	 	 N I H   [ 5 R 0 0 L M 0 1 0 2 2 7 - 0 4 ,   1 R 2 1 H D 0 7 2 8 8 3 - 0 1 ,   1 U 0 1 H G 0 0 6 8 2 8 - 0 1 ] 	 T h e   w o r k   p r e s e n t e d   w a s   p a r t i a l l y   s u p p o r t e d   b y   N I H   g r a n t s   5 R 0 0 L M 0 1 0 2 2 7 - 0 4 ,   1 R 2 1 H D 0 7 2 8 8 3 - 0 1 ,   a n d   1 U 0 1 H G 0 0 6 8 2 8 - 0 1 . 	 A l b r i g h t   D ,   2 0 1 3 ,   J   A M   M E D   I N F O R M   A S S N ,   V 2 5 ,   P 1 ,   D O I   [ 1 0 . 1 1 3 6 / a m i a j n l - 2 0 1 2 - 0 0 1 3 1 7 ,   D O I   1 0 . 1 1 3 6 / A M I A J N L - 2 0 1 2 - 0 0 1 3 1 7 ] ] ;   A m b a t i   V ,   2 0 1 0 ,   2 0 1 0   N A A C L   H L T   2 0 1 0 ,   P 6 2 ;   A u d h k h a s i   K ,   2 0 1 2 ,   2 0 1 2   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   A C O U S T I C S ,   S P E E C H   A N D   S I G N A L   P R O C E S S I N G   ( I C A S S P ) ,   P 4 1 3 7 ;   B l o o d g o o d   M ,   2 0 1 0 ,   2 0 1 0   N A A C L   H L T   2 0 1 0 ,   D O I   A s s o c i a t i o n   f o r   C o m p u t a t i o n a l   L i n g u i s t i c s ;   B u r g e r   J D ,   2 0 1 2 ,   L E C T   N O T E S   C O M P U T E R ,   V 7 3 4 8 ,   P 8 3 ;   C a l l a n   J . ,   2 0 0 9 ,   C L U E W E B 0 9   D A T A S E T ;   C h a p m a n   W W ,   2 0 1 1 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 8 ,   P 5 4 0 ,   D O I   1 0 . 1 1 3 6 / a m i a j n l - 2 0 1 1 - 0 0 0 4 6 5 ;   D e l e g e r   L ,   2 0 1 2 ,   2 0 1 2   A M   M E D   I N F   A S S ,   P 1 4 4 ;   D e m a r t i n i   G . ,   2 0 1 2 ,   2 0 1 2   2 1   I N T   C   W O R L D ,   P 4 6 9 ;   D e n k o w s k i   M ,   2 0 1 0 ,   2 0 1 0   N A A C L   H L T   2 0 1 0 ;   E v a n i n i   K ,   2 0 1 0 ,   2 0 1 0   N A A C L   H L T   2 0 1 0 ;   F i n i n   T ,   2 0 1 0 ,   2 0 1 0   N A A C L   H L T   2 0 1 0 ,   P 8 0 ;   G a o   Q ,   2 0 1 0 ,   2 0 1 0   N A A C L   H L T   2 0 1 0 ;   G i m p e l   K ,   2 0 1 1 ,   2 0 1 1   4 9   A N N   M   A S S   C O ,   P 4 2 ;   J h a   M ,   2 0 1 0 ,   2 0 1 0   N A A C L   H L T   2 0 1 0 ,   P 1 3 ;   J u n g   H J ,   2 0 1 1 ,   H U M A N   C O M P U T A T I O N ,   P 8 8 ;   K u m a r   A ,   2 0 1 1 ,   2 0 1 1   W S D M   W O R K S H   C R O ,   P 1 9 ;   K u m a r   A ,   2 0 1 1 ,   2 0 1 1   3 4   I N T   A C M   S I G I ,   P 1 2 2 1 ,   D O I   [ 1 0 . 1 1 4 5 / 2 0 0 9 9 1 6 . 2 0 1 0 1 2 9 ,   D O I   1 0 . 1 1 4 5 / 2 0 0 9 9 1 6 . 2 0 1 0 1 2 9 ] ] ;   L a w s o n   N ,   2 0 1 0 ,   2 0 1 0   N A A C L   H L T H   W O R K ,   P 7 1 ;   L e e   C Y ,   2 0 1 1 ,   I S C A   2 0 1 1   I N T   F L O R ;   L i   Q ,   2 0 1 2 ,   J   A M   M E D   I N F O R M   A S S N ,   P 1 ;   L u e n g o - O r o z   M A ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   P 2 0 7 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 3 3 8 ;   N o r m a n   T C ,   2 0 1 1 ,   S C I   T R A N S L   M E D ,   P 3 ,   D O I   [ 1 0 . 1 1 2 6 / s c i t r a n s l m e d . 3 0 0 2 6 7 8 ,   D O I   1 0 . 1 1 2 6 / S C I T R A N S L M E D . 3 0 0 2 6 7 8 ] ] ;   O g r e n   P ,   2 0 0 6 ,   P   2 0 0 6   C   N   A M   C H A P T ,   P 2 7 3 ,   D O I   D O I   1 0 . 3 1 1 5 / 1 2 2 5 7 8 5 . 1 2 2 5 7 9 1 ] ;   S n o w   R . ,   2 0 0 8 ,   P   E M N L P ,   V 1 ,   P 2 5 4 ;   T a n g   W ,   2 0 1 1 ,   2 0 1 1   S I G I R   W O R K S H   C R ,   P 6 6 ;   T u r n e r   A M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   P 2 1 8 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 0 6 3 ;   Y a n o   T ,   2 0 1 0 ,   2 0 1 0   N A A C L   H L T   2 0 1 0 ,   P 1 5 2 ;   Y e t i s g e n - Y i l d i z   M ,   2 0 1 0 ,   2 0 1 0   N A A C L   H L T   2 0 1 0 ,   P 1 8 0 ;   Y e t i s g e n - Y i l d i z   M ,   2 0 1 0 ,   A M I A   A N N   S   P   2 0 1 0   A M 	 3 0 	 5 	 5 	 J M I R   P U B L I C A T I O N S ,   I N C 	 T O R O N T O 	 5 9   W I N N E R S   C I R C L E ,   T O R O N T O ,   O N   M 4 L   3 Y 7 ,   C A N A D A 	 1 4 3 8 - 8 8 7 1 	 	 	 J   M E D   I N T E R N E T   R E S 	 J .   M e d .   I n t e r n e t   R e s . 	 A P R 	 2 0 1 3 	 1 5 	 4 	 	 	 	 	 	 	 	 1 0 . 2 1 9 6 / j m i r . 2 4 2 6 	 	 1 7 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 1 5 1 E P 	 W O S : 0 0 0 3 1 9 4 4 3 8 0 0 0 0 9 	 2 3 5 4 8 2 6 3 	 
 J 	 B o u s s e a u ,   A ;   O ' S h e a ,   J P ;   D u r a n d ,   F ;   R a m a m o o r t h i ,   R ;   A g r a w a l a ,   M 	 	 	 	 B o u s s e a u ,   A d r i e n ;   O ' S h e a ,   J a m e s   P . ;   D u r a n d ,   F r e d o ;   R a m a m o o r t h i ,   R a v i ;   A g r a w a l a ,   M a n e e s h 	 	 	 G l o s s   P e r c e p t i o n   i n   P a i n t e r l y   a n d   C a r t o o n   R e n d e r i n g 	 A C M   T R A N S A C T I O N S   O N   G R A P H I C S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 E x p e r i m e n t a t i o n ;   H u m a n   F a c t o r s ;   N o n p h o t o r e a l i s t i c   r e n d e r i n g ;   m a t e r i a l   p e r c e p t i o n ;   p a i n t e r l y   r e n d e r i n g ;   c a r t o o n   r e n d e r i n g ;   c r o w d s o u r c i n g 	 R E A L - W O R L D ;   R E F L E C T A N C E ;   S H A P E 	 D e p i c t i o n s   w i t h   t r a d i t i o n a l   m e d i a   s u c h   a s   p a i n t i n g   a n d   d r a w i n g   r e p r e s e n t   s c e n e   c o n t e n t   i n   a   s t y l i z e d   m a n n e r .   I t   i s   u n c l e a r ,   h o w e v e r ,   h o w   w e l l   s t y l i z e d   i m a g e s   d e p i c t   s c e n e   p r o p e r t i e s   l i k e   s h a p e ,   m a t e r i a l ,   a n d   l i g h t i n g .   I n   t h i s   a r t i c l e ,   w e   d e s c r i b e   t h e   f i r s t   s t u d y   o f   m a t e r i a l   p e r c e p t i o n   i n   s t y l i z e d   i m a g e s   ( s p e c i f i c a l l y   p a i n t i n g   a n d   c a r t o o n )   a n d   u s e   n o n p h o t o r e a l i s t i c   r e n d e r i n g   a l g o r i t h m s   t o   e v a l u a t e   h o w   s u c h   s t y l i z a t i o n   a l t e r s   t h e   p e r c e p t i o n   o f   g l o s s .   O u r   s t u d y   r e v e a l s   a   c o m p r e s s i o n   o f   t h e   r a n g e   o f   r e p r e s e n t a b l e   g l o s s   i n   s t y l i z e d   i m a g e s   s o   t h a t   s h i n y   m a t e r i a l s   a p p e a r   m o r e   d i f f u s e   i n   p a i n t e r l y   r e n d e r i n g ,   w h i l e   d i f f u s e   m a t e r i a l s   a p p e a r   s h i n i e r   i n   c a r t o o n   i m a g e s .   F r o m   o u r   m e a s u r e m e n t s   w e   e s t i m a t e   t h e   f u n c t i o n   t h a t   m a p s   r e a l i s t i c   g l o s s   p a r a m e t e r s   t o   t h e i r   p e r c e p t i o n   i n   a   s t y l i z e d   r e n d e r i n g .   T h i s   m a p p i n g   a l l o w s   u s e r s   o f   N P R   a l g o r i t h m s   t o   p r e d i c t   t h e   p e r c e p t i o n   o f   g l o s s   i n   t h e i r   i m a g e s .   T h e   i n v e r s e   o f   t h i s   f u n c t i o n   e x a g g e r a t e s   g l o s s   p r o p e r t i e s   t o   m a k e   t h e   c o n t r a s t   b e t w e e n   m a t e r i a l s   i n   a   s t y l i z e d   i m a g e   m o r e   f a i t h f u l .   W e   h a v e   c o n d u c t e d   o u r   e x p e r i m e n t   b o t h   i n   a   l a b   a n d   o n   a   c r o w d s o u r c i n g   W e b   s i t e .   W h i l e   c r o w d s o u r c i n g   a l l o w s   u s   t o   q u i c k l y   d e s i g n   o u r   p i l o t   s t u d y ,   a   l a b   e x p e r i m e n t   p r o v i d e s   m o r e   c o n t r o l   o n   h o w   s u b j e c t s   p e r f o r m   t h e   t a s k .   W e   p r o v i d e   a   d e t a i l e d   c o m p a r i s o n   o f   t h e   r e s u l t s   o b t a i n e d   w i t h   t h e   t w o   a p p r o a c h e s   a n d   d i s c u s s   t h e i r   a d v a n t a g e s   a n d   d r a w b a c k s   f o r   s t u d i e s   l i k e   o u r s . 	 [ B o u s s e a u ,   A d r i e n ]   R E V E S   &   I N R I A   S o p h i a   A n t i p o l i s ,   B e r k e l e y ,   C A   U S A ;   [ B o u s s e a u ,   A d r i e n ;   O ' S h e a ,   J a m e s   P . ;   R a m a m o o r t h i ,   R a v i ;   A g r a w a l a ,   M a n e e s h ]   U n i v   C a l i f   B e r k e l e y ,   B e r k e l e y ,   C A   9 4 7 2 0   U S A ;   [ D u r a n d ,   F r e d o ]   M I T ,   C S A I L ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A 	 B o u s s e a u ,   A   ( r e p r i n t   a u t h o r ) ,   R E V E S   &   I N R I A   S o p h i a   A n t i p o l i s ,   B e r k e l e y ,   C A   U S A . 	 a d r i e n . b o u s s e a u @ i n r i a . f r 	 	 	 N S F   [ 1 0 1 1 8 3 2 ,   0 9 2 4 9 6 8 ,   1 0 1 6 9 2 0 ] ;   O k a w a   F o u n d a t i o n   R e s e a r c h   G r a n t ;   I N R I A - U C   B e r k e l e y   a s s o c i a t e   t e a m   C R I S P 	 T h i s   w o r k   w a s   f u n d e d   i n   p a r t   b y   N S F   g r a n t s   1 0 1 1 8 3 2 ,   0 9 2 4 9 6 8 ,   1 0 1 6 9 2 0 ,   e q u i p m e n t   a n d   s o f t w a r e   f r o m   I n t e l ,   A d o b e ,   a n d   N V I D I A ,   a n   O k a w a   F o u n d a t i o n   R e s e a r c h   G r a n t ,   a n d   b y   t h e   I N R I A - U C   B e r k e l e y   a s s o c i a t e   t e a m   C R I S P . 	 B A I R D   J . ,   1 9 7 8 ,   W I L E Y   S E R I E S   B E H A V ;   B E R Z H A N S K A Y A   J . ,   2 0 0 2 ,   J   V I S ,   V 2 ,   P 3 ;   C O L E   F . ,   2 0 0 9 ,   A C M   T   G R A P H ,   V 2 8 ;   C O O K E   H .   L . ,   1 9 6 7 ,   P A I N T I N G   L E S S O N S   G R E ;   C U R T I S   C .   J . ,   1 9 9 7 ,   P   A N N   C   C O M P   G R A P H   I ;   D e C a r l o   D ,   2 0 0 2 ,   A C M   T   G R A P H I C ,   V 2 1 ,   P 7 6 9 ;   D r o r   R . O . ,   2 0 0 1 ,   P   I E E E   W O R K S H   I D   O B J ;   F E R W E R D A   J .   A . ,   2 0 0 1 ,   P   S P I E   C   H U M   V I S   E L ;   F L E M I N G   R .   W . ,   2 0 0 1 ,   P   I E E E   W O R K S H   I D   O B J ;   F l e m i n g   R W ,   2 0 0 3 ,   J   V I S I O N ,   V 3 ,   P 3 4 7 ,   D O I   1 0 . 1 1 6 7 / 3 . 5 . 3 ;   G o o c h   A . ,   1 9 9 8 ,   P   S I G G R A P H   9 8 ,   P 4 4 7 ,   D O I   1 0 . 1 1 4 5 / 2 8 0 8 1 4 . 2 8 0 9 5 0 ;   G O O C H   B . ,   2 0 0 4 ,   A C M   T   G R A P H I C ,   V 2 3 ,   P 1 ;   H A E B E R L I   P ,   1 9 9 0 ,   P   S I G G R A P H   9 0 ,   P 2 0 7 ,   D O I   1 0 . 1 1 4 5 / 9 7 8 7 9 . 9 7 9 0 2 ;   H a y s   J . ,   2 0 0 4 ,   P   3   I N T   S   N O N P H   A N   R ,   P 1 1 3 ,   D O I   [ 1 0 . 1 1 4 5 / 9 8 7 6 5 7 . 9 8 7 6 7 6 ,   D O I   1 0 . 1 1 4 5 / 9 8 7 6 5 7 . 9 8 7 6 7 6 ] ;   H E E R   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ;   H e r t z m a n n   A ,   1 9 9 8 ,   P   S I G G R A P H   9 8 ,   P 4 5 3 ,   D O I   1 0 . 1 1 4 5 / 2 8 0 8 1 4 . 2 8 0 9 5 1 ;   J O H N S O N   C . ,   1 9 9 2 ,   C R E A T I N G   T E X T U R E S   W A ;   K a n g   H ,   2 0 0 7 ,   N P A R   2 0 0 7 :   5 T H   I N T E R N A T I O N A L   S Y M P O S I U M   O N   N O N - P H O T O R E A L I S T I C   A N I M A T I O N   A N D   R E N D E R I N G ,   P R O C E E D I N G S ,   P 4 3 ;   K o z l o w s k i   O ,   2 0 0 7 ,   A P G V   2 0 0 7 :   S Y M P O S I U M   O N   A P P L I E D   P E R C E P T I O N   I N   G R A P H I C S   A N D   V I S U A L I Z A T I O N ,   P R O C E E D I N G S ,   P 9 1 ;   K r i v a n e k   J ,   2 0 1 0 ,   A C M   T   G R A P H I C ,   V 2 9 ,   D O I   1 0 . 1 1 4 5 / 1 7 7 8 7 6 5 . 1 7 7 8 8 4 9 ;   L i t w i n o w i c z   P . ,   1 9 9 7 ,   P   A C M   S I G G R A P H ,   P 4 0 7 ,   D O I   1 0 . 1 1 4 5 / 2 5 8 7 3 4 . 2 5 8 8 9 3 ;   M E I E R   B .   J . ,   1 9 9 6 ,   P   A N N   C   C O M P   G R A P H   I ;   N I S H I D A   S . ,   1 9 9 8 ,   J   O P T   S O C   A M   A ,   V 1 5 ,   P 1 2 ;   O T T   J . ,   2 0 0 5 ,   L E T S   D R A W   M A N G A   U S I N ;   P e l l a c i n i   F ,   2 0 0 0 ,   C O M P   G R A P H ,   P 5 5 ;   P h a r r   M . ,   2 0 0 4 ,   P H Y S   B A S E D   R E N D E R I N G ;   R a m a n a r a y a n a n   G . ,   2 0 0 7 ,   A C M   T   G R A P H I C ,   V 2 6 ,   P 3 ;   S M I T H   K . ,   2 0 1 0 ,   R R 7 1 9 4   I N R I A ;   V a n g o r p   P ,   2 0 0 8 ,   A P G V   2 0 0 8 :   P R O C E E D I N G S   O F   T H E   S Y M P O S I U M   O N   A P P L I E D   P E R C E P T I O N   I N   G R A P H I C S   A N D   V I S U A L I Z A T I O N ,   P 1 2 3 ;   V a n g o r p   P ,   2 0 0 7 ,   A C M   T   G R A P H I C ,   V 2 6 ,   D O I   [ 1 0 . 1 1 4 5 / 1 2 7 6 3 7 7 . 1 2 7 6 4 7 3 ,   1 0 . 1 1 4 5 / 1 2 3 9 4 5 1 . 1 2 3 9 5 2 8 ] ;   W a l l r a v e n   C ,   2 0 0 7 ,   A C M   T   A P P L   P E R C E P T ,   V 4 ,   D O I   1 0 . 1 1 4 5 / 1 2 7 8 3 8 7 . 1 2 7 8 3 9 0 ;   W A R D   G J ,   1 9 9 2 ,   C O M P   G R A P H ,   V 2 6 ,   P 2 6 5 ;   W I L L S   J . ,   2 0 0 9 ,   A C M   T   G R A P H I C ,   V 2 8 ,   P 4 ;   W i n k e n b a c h   G . ,   1 9 9 6 ,   P   S I G G R A P H   9 6 ,   P 4 6 9 ,   D O I   1 0 . 1 1 4 5 / 2 3 7 1 7 0 . 2 3 7 2 8 7 ;   W I N N E M O L L E R   H ,   2 0 0 7 ,   P   5   I N T   S   N O N P H   A N   R ,   P 8 5 ;   W i n n e m o l l e r   H . ,   2 0 0 6 ,   A C M   T   G R A P H   S I G G R A P H ,   V 2 5 ;   X u e   S ,   2 0 1 0 ,   C O M P U T   G R A P H   F O R U M ,   V 2 9 ,   P 6 2 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 5 9 . 2 0 0 9 . 0 1 6 3 2 . x ;   Z e n g   K ,   2 0 0 9 ,   A C M   T   G R A P H I C ,   V 2 9 ,   D O I   1 0 . 1 1 4 5 / 1 6 4 0 4 4 3 . 1 6 4 0 4 4 5 	 3 8 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 0 7 3 0 - 0 3 0 1 	 	 	 A C M   T   G R A P H I C 	 A C M   T r a n s .   G r a p h . 	 A P R 	 2 0 1 3 	 3 2 	 2 	 	 	 	 	 	 	 1 8 	 1 0 . 1 1 4 5 / 2 4 5 1 2 3 6 . 2 4 5 1 2 4 4 	 	 1 3 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 1 3 8 C E 	 W O S : 0 0 0 3 1 8 4 8 5 1 0 0 0 0 8 	 	 
 J 	 L e a s e ,   M ;   Y i l m a z ,   E 	 	 	 	 L e a s e ,   M a t t h e w ;   Y i l m a z ,   E m i n e 	 	 	 C r o w d s o u r c i n g   f o r   i n f o r m a t i o n   r e t r i e v a l :   i n t r o d u c t i o n   t o   t h e   s p e c i a l   i s s u e 	 I N F O R M A T I O N   R E T R I E V A L 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 C r o w d s o u r c i n g ;   H u m a n   c o m p u t a t i o n ;   S e a r c h   e v a l u a t i o n 	 	 T h i s   i n t r o d u c t i o n   t o   t h e   s p e c i a l   i s s u e   s u m m a r i z e s   a n d   c o n t e x t u a l i z e s   s i x   n o v e l   r e s e a r c h   c o n t r i b u t i o n s   a t   t h e   i n t e r s e c t i o n   o f   i n f o r m a t i o n   r e t r i e v a l   ( I R )   a n d   c r o w d s o u r c i n g   ( a l s o   o v e r l a p p i n g   c r o w d s o u r c i n g ' s   c l o s e l y - r e l a t e d   s i b l i n g ,   h u m a n   c o m p u t a t i o n ) .   S e v e r a l   o f   t h e   p a p e r s   i n c l u d e d   i n   t h i s   s p e c i a l   i s s u e   r e p r e s e n t   d e e p e r   i n v e s t i g a t i o n s   i n t o   r e s e a r c h   t o p i c s   f o r   w h i c h   e a r l i e r   s t a g e s   o f   t h e   a u t h o r s '   r e s e a r c h   w e r e   d i s s e m i n a t e d   a t   c r o w d s o u r c i n g   w o r k s h o p s   a t   S I G I R   a n d   W S D M   c o n f e r e n c e s ,   a s   w e l l   a s   a t   t h e   N I S T   T R E C   c o n f e r e n c e .   S i n c e   t h e   f i r s t   p r o p o s e d   u s e   o f   c r o w d s o u r c i n g   f o r   I R   i n   2 0 0 8 ,   i n t e r e s t   i n   t h i s   a r e a   h a s   q u i c k l y   a c c e l e r a t e d   a n d   l e d   t o   t h r e e   w o r k s h o p s ,   a n   o n g o i n g   N I S T   T R E C   t r a c k ,   a n d   a   g r e a t   v a r i e t y   o f   p u b l i s h e d   p a p e r s ,   t a l k s ,   a n d   t u t o r i a l s .   W e   b r i e f l y   s u m m a r i z e   t h e   a r e a   i n   o r d e r   t o   h e l p   s i t u a t e   t h e   c o n t r i b u t i o n s   a p p e a r i n g   i n   t h i s   s p e c i a l   i s s u e .   W e   a l s o   d i s c u s s   s o m e   b r o a d e r   c u r r e n t   t r e n d s   a n d   i s s u e s   i n   c r o w d s o u r c i n g   w h i c h   b e a r   u p o n   i t s   u s e   i n   I R   a n d   o t h e r   f i e l d s . 	 [ L e a s e ,   M a t t h e w ]   U n i v   T e x a s   A u s t i n ,   S c h   I n f o r m a t ,   A u s t i n ,   T X   7 8 7 1 2   U S A ;   [ Y i l m a z ,   E m i n e ]   M i c r o s o f t   R e s ,   C a m b r i d g e ,   E n g l a n d ;   [ Y i l m a z ,   E m i n e ]   K o c   U n i v ,   I s t a n b u l ,   T u r k e y 	 L e a s e ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   T e x a s   A u s t i n ,   S c h   I n f o r m a t ,   A u s t i n ,   T X   7 8 7 1 2   U S A . 	 m l @ i s c h o o l . u t e x a s . e d u ;   e m i n e y @ m i c r o s o f t . c o m 	 	 	 	 	 A l o n s o   O . ,   2 0 1 2 ,   I N F O R M   P R O C E S S I N G   M A ;   A l o n s o   O . ,   2 0 1 1 ,   3 4   A N N   A C M   S I G I R   C   B ,   P 1 2 9 9 ;   A l o n s o   O . ,   2 0 1 0 ,   P   3 2   E U R   C   I R   R E S   E C ;   A l o n s o   O ,   2 0 1 3 ,   I N F O R M   R E T R I E V A L ,   V 1 6 ,   P 1 0 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 2 - 9 2 0 4 - 1 ;   A l o n s o   O . ,   2 0 1 1 ,   P   4   A C M   I N T   C   W E B   S E ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 9 3 5 8 2 6 . 1 9 3 5 8 3 1 ;   A l o n s o   O . ,   2 0 1 1 ,   P   W O R K S H   C R O W D S   S E A R ,   P 7 ;   A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   A l o n s o   O . ,   2 0 0 9 ,   P   S I G I R   2 0 0 9   W O R K S H ,   P 1 5 ;   A s l a r r r   J .   A . ,   2 0 0 6 ,   P r o c e e d i n g s   o f   t h e   T w e n t y - N i n t h   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ,   D O I   1 0 . 1 1 4 5 / 1 1 4 8 1 7 0 . 1 1 4 8 2 6 3 ;   B a i o   A . ,   2 0 0 8 ,   F A C E S   M E C H   T U R K ;   C a r t e r e t t e   B . ,   2 0 0 6 ,   P r o c e e d i n g s   o f   t h e   T w e n t y - N i n t h   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ,   D O I   1 0 . 1 1 4 5 / 1 1 4 8 1 7 0 . 1 1 4 8 2 1 9 ;   C a r v a l h o   V . R . ,   2 0 1 0 ,   A C M   S I G I R   F O R U M ,   V 4 4 ,   P 1 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 7 5 . 1 9 2 4 4 8 1 ;   C h e n   J .   J . ,   2 0 1 1 ,   C H I   W O R K S H   C R O W D S   H U ;   C l e v e r d o n   C . W . ,   1 9 9 7 ,   R E A D I N G S   I N F O R M A T I O N ,   P 4 7 ;   D a v i s   J . ,   2 0 1 0 ,   C O M P U T E R   V I S I O N   P A T T ,   P 9 ;   E i c k h o f f   C . ,   2 0 1 1 ,   P   A C M   S I G I R   2 0 1 1   W O R ,   P 6 3 ;   E i c k h o f f   C . ,   2 0 1 1 ,   P   W O R K S H   C R O W D S   S E A R ,   P 1 1 ;   E i c k h o f f   C a r s t e n ,   2 0 1 2 ,   P r o c e e d i n g s   o f   t h e   3 5 t h   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   &   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l   ( S I G I R   2 0 1 2 ) ,   D O I   1 0 . 1 1 4 5 / 2 3 4 8 2 8 3 . 2 3 4 8 4 0 0 ;   E i c k h o f f   C ,   2 0 1 3 ,   I N F O R M   R E T R I E V A L ,   V 1 6 ,   P 1 2 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 1 - 9 1 8 1 - 9 ;   F o r t   K ,   2 0 1 1 ,   C O M P U T   L I N G U I S T ,   V 3 7 ,   P 4 1 3 ,   D O I   1 0 . 1 1 6 2 / C O L I _ a _ 0 0 0 5 7 ;   G r i e r   D .   A . ,   2 0 0 5 ,   C O M P U T E R S   W E R E   H U M A N ,   V 3 1 6 ;   H a r m a n c i   R . ,   2 0 1 2 ,   B U Z Z F E E D                 0 8 2 1 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   I p e i r o t i s   P . ,   2 0 1 0 ,   C E D E R 1 0 0 1   N E W   Y O R K   U ;   I r a n i   L . ,   2 0 1 3 ,   P   A C M   S I G C H I   C   H U M   F ;   K a z a i   G . ,   2 0 1 2 ,   C I K M ,   P 2 5 8 3 ;   K a z a i   G . ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   P 1 6 5 ;   K a z a i   G . ,   2 0 1 1 ,   C I K M ,   P 1 9 4 1 ;   K a z a i   G ,   2 0 1 3 ,   I N F O R M   R E T R I E V A L ,   V 1 6 ,   P 1 3 8 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 2 - 9 2 0 5 - 0 ;   K a z a i   G . ,   2 0 1 1 ,   S I G I R ,   P 2 0 5 ;   K i t t u r   A ,   2 0 1 3 ,   P   2 0 1 3   C   C O M P   S U P P   C ,   P 1 3 0 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 4 4 1 7 7 6 . 2 4 4 1 9 2 3 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   L a w   E . ,   2 0 1 1 ,   S Y N T H E S I S   L E C T   A R T I F ,   V 5 ,   P 1 ,   D O I   D O I   1 0 . 2 2 0 0 / S 0 0 3 7 1 E D 1 V 0 1 Y 2 0 1 1 0 7 A I M 0 1 3 ;   L e   J . ,   2 0 1 0 ,   S I G I R   2 0 1 0   W O R K S H   C R ,   P 2 1 ;   L e a s e   M . ,   2 0 1 1 ,   2 0   T E X T   R E T R   C   T R E C ;   L e a s e   M . ,   2 0 1 2 ,   P   3 5   I N T   A C M   S I G I R   C ;   L e a s e   M . ,   2 0 1 0 ,   P   A C M   S I G I R   2 0 1 0   W O R ;   L e a s e   M . ,   2 0 1 1 ,   A C M   S I G I R   F O R U M ,   V 4 5 ,   P 6 6 ;   L e a s e   M . ,   2 0 1 1 ,   P   2   A C M   S I G I R   2 0 1 1   W ;   L e a s e   M . ,   2 0 1 1 ,   P   W O R K S H   C R O W D S   S E A R ;   L e a s e   M . ,   2 0 1 1 ,   A C M   S I G I R   F O R U M ,   V 4 5 ,   P 1 8 ;   M c C r e a d i e   R . ,   2 0 1 2 ,   P   3 5   I N T   A C M   S I G I R   C ,   P 1 0 0 5 ;   M c C r e a d i e   R . ,   2 0 1 1 ,   P   W O R K S H   C R O W S   S E A R C ,   P 2 3 ;   M c C r e a d i e   R ,   2 0 1 3 ,   I N F O R M   R E T R I E V A L ,   V 1 6 ,   P 1 7 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 2 - 9 1 8 6 - z ;   M i t c h e l l   S . ,   2 0 1 0 ,   P C   P R O M A G A Z I N E     0 8 0 6 ;   M u n r o   R ,   2 0 1 3 ,   I N F O R M   R E T R I E V A L ,   V 1 6 ,   P 2 1 0 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 2 - 9 2 0 3 - 2 ;   N a r u l a   P . ,   2 0 1 1 ,   A A A I   H U M   C O M P   W O R K S H ;   O l e s o n   D . ,   2 0 1 1 ,   A A A I   W O R K S H   H U M   C O M P ;   O u n i s   I . ,   2 0 1 1 ,   P   1 9   T E X T   R E T R I E V A L ;   P a r i t o s h   P . ,   2 0 1 1 ,   P   2 0   I N T   C   C O M P   W O R L ,   P 3 2 5 ;   Q u i n n   A .   J . ,   2 0 1 1 ,   2 0 1 1   A N N   A C M   S I G C H I ,   P 1 4 0 3 ;   R i c h a r d   M .   C . ,   2 0 1 0 ,   P   A C M   S I G I R   2 0 1 0   W O R ,   P 3 1 ;   R o s s   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 . A C C E S S E D ;   S i l b e r m a n   M .   S . ,   2 0 1 0 ,   A C M   M A G A Z I N E   S T U D E N T ,   V 1 7 ,   P 3 9 ;   S m u c k e r   M . ,   2 0 1 3 ,   P   2 1   N I S T   T E X T   R E T R ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   V l i e g e n d h a r t   R . ,   2 0 1 1 ,   P   W O R K S H   C R O W D S   S E A R ,   P 2 7 ;   V u u r e n s   J . ,   2 0 1 1 ,   P   A C M   S I G I R   2 0 1 1   W O R ,   P 4 8 ;   V u u r e n s   J B P ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 2 0 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 7 1 ;   Y a n   T . ,   2 0 1 0 ,   P   8   I N T   C   M O B   S Y S T   A ,   P 7 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 1 4 4 3 3 . 1 8 1 4 4 4 3 ;   Y i l m a z   E . ,   2 0 0 8 ,   P   3 1   A N N   I N T   A C M   S I G ,   P 6 0 3 ,   D O I   1 0 . 1 1 4 5 / 1 3 9 0 3 3 4 . 1 3 9 0 4 3 7 ;   Z u c c o n   G ,   2 0 1 3 ,   I N F O R M   R E T R I E V A L ,   V 1 6 ,   P 2 6 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 2 - 9 2 0 6 - z ;   Z u c c o n   G . ,   2 0 1 1 ,   P   W O R K S H   C R O W D S   S E A R ,   P 3 5 	 6 4 	 2 	 2 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 6 - 4 5 6 4 	 1 5 7 3 - 7 6 5 9 	 	 I N F O R M   R E T R I E V A L 	 I n f .   R e t r . 	 A P R 	 2 0 1 3 	 1 6 	 2 	 	 	 S I 	 	 9 1 	 1 0 0 	 	 1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 3 - 9 2 2 2 - 7 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 1 1 8 F K 	 W O S : 0 0 0 3 1 7 0 0 8 7 0 0 0 0 1 	 	 
 J 	 A l o n s o ,   O 	 	 	 	 A l o n s o ,   O m a r 	 	 	 I m p l e m e n t i n g   c r o w d s o u r c i n g - b a s e d   r e l e v a n c e   e x p e r i m e n t a t i o n :   a n   i n d u s t r i a l   p e r s p e c t i v e 	 I N F O R M A T I O N   R E T R I E V A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 R e l e v a n c e   a s s e s s m e n t   &   e v a l u a t i o n ;   C r o w d s o u r c i n g ;   E x p e r i m e n t   d e s i g n ;   M e t h o d o l o g y 	 	 C r o w d s o u r c i n g   h a s   e m e r g e d   a s   a   v i a b l e   p l a t f o r m   f o r   c o n d u c t i n g   d i f f e r e n t   t y p e s   o f   r e l e v a n c e   e v a l u a t i o n .   T h e   m a i n   r e a s o n   b e h i n d   t h i s   t r e n d   i s   t h a t   i t   m a k e s   p o s s i b l e   t o   c o n d u c t   e x p e r i m e n t s   e x t r e m e l y   f a s t ,   w i t h   g o o d   r e s u l t s   a t   a   l o w   c o s t .   H o w e v e r ,   l i k e   i n   a n y   e x p e r i m e n t ,   t h e r e   a r e   s e v e r a l   i m p l e m e n t a t i o n   d e t a i l s   t h a t   w o u l d   m a k e   a n   e x p e r i m e n t   w o r k   o r   f a i l .   T o   g a t h e r   u s e f u l   r e s u l t s ,   c l e a r   i n s t r u c t i o n s ,   u s e r   i n t e r f a c e   g u i d e l i n e s ,   c o n t e n t   q u a l i t y ,   i n t e r - r a t e r   a g r e e m e n t   m e t r i c s ,   w o r k   q u a l i t y ,   a n d   w o r k e r   f e e d b a c k   a r e   i m p o r t a n t   c h a r a c t e r i s t i c s   o f   a   s u c c e s s f u l   c r o w d s o u r c i n g   e x p e r i m e n t .   F u r t h e r m o r e ,   d e s i g n i n g   a n d   i m p l e m e n t i n g   e x p e r i m e n t s   t h a t   r e q u i r e   t h o u s a n d s   o r   m i l l i o n s   o f   l a b e l s   i s   d i f f e r e n t   t h a n   c o n d u c t i n g   s m a l l   s c a l e   r e s e a r c h   i n v e s t i g a t i o n s .   I n   t h i s   p a p e r   w e   o u t l i n e   a   f r a m e w o r k   f o r   c o n d u c t i n g   c o n t i n u o u s   c r o w d s o u r c i n g   e x p e r i m e n t s ,   e m p h a s i z i n g   a s p e c t s   t h a t   s h o u l d   b e   o f   i m p o r t a n c e   f o r   a l l   s o r t s   o f   t a s k s .   W e   i l l u s t r a t e   t h e   v a l u e   o f   c h a r a c t e r i s t i c s   t h a t   c a n   i m p a c t   t h e   o v e r a l l   o u t c o m e   u s i n g   e x a m p l e s   b a s e d   o n   T R E C ,   I N E X ,   a n d   W i k i p e d i a   d a t a   s e t s . 	 M i c r o s o f t   C o r p ,   M o u n t a i n   V i e w ,   C A   U S A 	 A l o n s o ,   O   ( r e p r i n t   a u t h o r ) ,   M i c r o s o f t   C o r p ,   1 0 6 5   A v e ,   M o u n t a i n   V i e w ,   C A   U S A . 	 o r a l o n s o @ g m a i l . c o m 	 	 	 	 	 A l o n s o   O . ,   2 0 1 1 ,   S I G I R   T U T O R I A L ;   A l o n s o   O . ,   2 0 1 1 ,   C E R I   2 0 1 1 ;   A l o n s o   O . ,   2 0 1 1 ,   E C I R   2 0 1 1 ;   A l o n s o   O ,   2 0 1 2 ,   I N F O R M   P R O C E S S   M A N A G ,   V 4 8 ,   P 1 0 5 3 ,   D O I   1 0 . 1 0 1 6 / j . i p m . 2 0 1 2 . 0 1 . 0 0 4 ;   A r t s t e i n   R ,   2 0 0 8 ,   C O M P U T   L I N G U I S T ,   V 3 4 ,   P 5 5 5 ,   D O I   1 0 . 1 1 6 2 / c o l i . 0 7 - 0 3 4 - R 2 ;   B e r n s t e i n   M . ,   2 0 1 0 ,   U I S T   2 0 1 0 ;   B l a n c o   R . ,   2 0 1 1 ,   S I G I R   2 0 1 1 ;   B l o o d g o o d   M . ,   2 0 1 0 ,   A C L   2 0 1 0 ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   E M N L P ;   C a r t e r e t t e   B . ,   2 0 1 1 ,   S I G I R   2 0 1 1 ;   C h a n d r a s e k a r   R . ,   2 0 1 0 ,   P   H U M   C O M P   W O R K S H   H C ;   C h i l t o n   L . ,   2 0 1 0 ,   H C O M P   W O R K S H   2 0 1 0 ;   C l e v e r d o n   C . ,   1 9 7 0 ,   3   C R A N F   L I B ,   P 3 ;   E i c k h o f f   C . ,   2 0 1 1 ,   W S D M   C S D M   W O R K S H   2 0 1 ;   F o w l e r   F .   J . ,   1 9 9 5 ,   I M P R O V I N G   S U R V E Y   Q U E ;   G r a d y   C . ,   2 0 1 0 ,   N A A C L   H L T   W O R K S H   C R E ;   G r i e r   D .   A . ,   2 0 0 6 ,   C O M P U T E R S   W E R E   H U M A N ;   H a r m a n   D . K . ,   2 0 1 1 ,   I N F O R M   R E T R I E V A L   E V A ;   I p e i r o t i s   P . ,   2 0 1 0 ,   K D D   H C O M P   2 0 1 0 ;   I p e i r o t i s   P . ,   2 0 1 1 ,   W W W   2 0 1 1 ;   K a p e l n e r   A . ,   2 0 1 0 ,   C R O W D C O N F   2 0 1 0 ;   K a z a i   G . ,   2 0 1 1 ,   E C I R   2 0 1 1 ;   K a z a i   G . ,   2 0 0 9 ,   S I G I R   2 0 0 9 ;   K a z a i   G . ,   2 0 1 0 ,   W W W   2 0 1 0 ;   K e r n   R . ,   2 0 1 0 ,   I C S O C   2 0 1 0 ;   K i n n e y   K . ,   2 0 0 8 ,   C I K M   2 0 0 8 ;   K i t t u r   A . ,   2 0 0 8 ,   S I G C H I   2 0 0 8 ;   K r i p p e n d o r f f   K . ,   2 0 0 4 ,   C O N T E N T   A N A L ;   L a w   E . ,   2 0 1 1 ,   S I G I R   2 0 1 1 ;   L a w   E . ,   2 0 1 1 ,   H U M A N   C O M P U T A T I O N ;   L a w s   F . ,   2 0 1 1 ,   E M N L P   2 0 1 1 ;   L e a s e   M . ,   2 0 1 0 ,   P   A C M   S I G I R   2 0 1 0   W O R ;   L e a s e   M . ,   2 0 1 1 ,   T R E C   2 0 1 1 ;   L e a s e   M . ,   2 0 1 1 ,   P   W O R K S H   C R O W D S   S E A R ;   L e a s e   M . ,   2 0 1 1 ,   P   A C M   S I G I R   W O R K S H   C ;   L o h r   S ,   1 9 9 9 ,   S A M P L I N G   D E S I G N   A N A L ;   M a r s h a l l   C . ,   2 0 1 1 ,   J C D L   2 0 1 1 ;   M a s o n   W . ,   2 0 0 9 ,   H C O M P   W O R K S H   K D D ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   N i e l s e n   J ,   1 9 9 4 ,   U S A B I L I T Y   E N G ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   S h e n g   V . ,   2 0 0 8 ,   K D D   2 0 0 8 ;   S m u c k e r   M . ,   2 0 1 1 ,   T R E C   2 0 1 1 ;   S m u c k e r   M . ,   2 0 1 1 ,   S I G I R   2 0 1 1 ;   S n o w   R . ,   2 0 0 8 ,   E M N L P   2 0 0 8 ;   T a n g   J . ,   2 0 1 0 ,   E C I R   2 0 1 0 ;   V o o r h e e s   E ,   2 0 0 5 ,   T R E C   E X P T   E V A L U A T I O N ;   Z a i d a n d   O . ,   2 0 1 1 ,   A C L   2 0 1 1 	 4 8 	 2 	 2 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 6 - 4 5 6 4 	 	 	 I N F O R M   R E T R I E V A L 	 I n f .   R e t r . 	 A P R 	 2 0 1 3 	 1 6 	 2 	 	 	 S I 	 	 1 0 1 	 1 2 0 	 	 1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 2 - 9 2 0 4 - 1 	 	 2 0 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 1 1 8 F K 	 W O S : 0 0 0 3 1 7 0 0 8 7 0 0 0 0 2 	 	 
 J 	 E i c k h o f f ,   C ;   d e   V r i e s ,   A P 	 	 	 	 E i c k h o f f ,   C a r s t e n ;   d e   V r i e s ,   A r j e n   P . 	 	 	 I n c r e a s i n g   c h e a t   r o b u s t n e s s   o f   c r o w d s o u r c i n g   t a s k s 	 I N F O R M A T I O N   R E T R I E V A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   U s e r   e x p e r i m e n t s ;   S t a b i l i t y ;   H u m a n   f a c t o r s 	 	 C r o w d s o u r c i n g   s u c c e s s f u l l y   s t r i v e s   t o   b e c o m e   a   w i d e l y   u s e d   m e a n s   o f   c o l l e c t i n g   l a r g e - s c a l e   s c i e n t i f i c   c o r p o r a .   M a n y   r e s e a r c h   f i e l d s ,   i n c l u d i n g   I n f o r m a t i o n   R e t r i e v a l ,   r e l y   o n   t h i s   n o v e l   w a y   o f   d a t a   a c q u i s i t i o n .   H o w e v e r ,   i t   s e e m s   t o   b e   u n d e r m i n e d   b y   a   s i g n i f i c a n t   s h a r e   o f   w o r k e r s   t h a t   a r e   p r i m a r i l y   i n t e r e s t e d   i n   p r o d u c i n g   q u i c k   g e n e r i c   a n s w e r s   r a t h e r   t h a n   c o r r e c t   o n e s   i n   o r d e r   t o   o p t i m i s e   t h e i r   t i m e - e f f i c i e n c y   a n d ,   i n   t u r n ,   e a r n   m o r e   m o n e y .   R e c e n t l y ,   w e   h a v e   s e e n   n u m e r o u s   s o p h i s t i c a t e d   s c h e m e s   o f   i d e n t i f y i n g   s u c h   w o r k e r s .   T h o s e ,   h o w e v e r ,   o f t e n   r e q u i r e   a d d i t i o n a l   r e s o u r c e s   o r   i n t r o d u c e   a r t i f i c i a l   l i m i t a t i o n s   t o   t h e   t a s k .   I n   t h i s   w o r k ,   w e   t a k e   a   d i f f e r e n t   a p p r o a c h   b y   i n v e s t i g a t i n g   m e a n s   o f   a   p r i o r i   m a k i n g   c r o w d s o u r c e d   t a s k s   m o r e   r e s i s t a n t   a g a i n s t   c h e a t e r s . 	 [ E i c k h o f f ,   C a r s t e n ]   D e l f t   U n i v   T e c h n o l ,   D e l f t ,   N e t h e r l a n d s ;   [ d e   V r i e s ,   A r j e n   P . ]   C W I ,   N L - 1 0 0 9   A B   A m s t e r d a m ,   N e t h e r l a n d s 	 E i c k h o f f ,   C   ( r e p r i n t   a u t h o r ) ,   D e l f t   U n i v   T e c h n o l ,   D e l f t ,   N e t h e r l a n d s . 	 c . e i c k h o f f @ t u d e l f t . n l ;   a r j e n @ a c m . o r g 	 	 	 E u r o p e a n   C o m m u n i t y   [ 2 3 1 5 0 7 ] 	 T h i s   r e s e a r c h   i s   p a r t   o f   t h e   P u p p y I R   p r o j e c t   ( P u p p y I R   ( 2 0 1 1 ) .   I t   i s   f u n d e d   b y   t h e   E u r o p e a n   C o m m u n i t y ' s   S e v e n t h   F r a m e w o r k   P r o g r a m m e   F P 7 / 2 0 0 7 - 2 0 1 3   u n d e r   g r a n t   a g r e e m e n t   n o .   2 3 1 5 0 7 . 	 A l o n s o   O . ,   2 0 0 9 ,   P   S I G I R   2 0 0 9   W O R K S H ,   P 1 5 ;   A m b a t i   V . ,   2 0 1 0 ,   L A N G   R E S O U R   E V A L ,   V 7 ,   P 2 1 6 9 ;   A m i t a y   E . ,   2 0 0 4 ,   P r o c e e d i n g s   o f   S h e f f i e l d   S I G I R   2 0 0 4 .   T h e   T w e n t y - S e v e n t h   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ,   D O I   1 0 . 1 1 4 5 / 1 0 0 8 9 9 2 . 1 0 0 8 9 9 7 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   P U P P Y I R   O P   S O U R C   E N V ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   A M   M E C H   T U R K   A R T   A R T ;   B a i o   A . ,   2 0 0 8 ,   F A C E S   M E C H   T U R K ;   C l a r k e   C .   L . ,   2 0 0 9 ,   T E C H N I C A L   R E P O R T ;   D a w i d   A . P . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   V 2 8 ,   P 2 0 ;   E i c k h o f f   C . ,   2 0 1 1 ,   P   4   A C M   I N T   C   W E B   S E ,   P 5 0 5 ,   D O I   1 0 . 1 1 4 5 / 1 9 3 5 8 2 6 . 1 9 3 5 9 0 0 ;   G r a d y   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 7 2 ;   H a r m a n   D K ,   1 9 9 3 ,   P   1 6   A N N   I N T   A C M   S I G ,   P 3 6 ,   D O I   1 0 . 1 1 4 5 / 1 6 0 6 8 8 . 1 6 0 6 9 2 ;   H a r r i s   C . ,   2 0 1 1 ,   C R O W D S   S E A R C H   D A T   M I ,   P 1 5 ;   H i r t h   M . ,   2 0 1 0 ,   T E C H N I C A L   R E P O R T ;   H s u e h   P . ,   2 0 0 9 ,   P   N A A C L   H L T   2 0 0 9   W O R ,   P 2 7 ,   D O I   1 0 . 3 1 1 5 / 1 5 6 4 1 3 1 . 1 5 6 4 1 3 7 ;   I p e i r o t i s   P ,   2 0 1 0 ,   D E M O G R A P H I C S   M E C H   T U ;   I p e i r o t i s   P . ,   2 0 1 0 ,   B E   T O P   M E C H   T U R K   W O R ;   K a u f m a n n   N . ,   2 0 1 1 ,   P   1 7   A M   C   I N F   S Y S T ;   K a z a i   G . ,   2 0 1 1 ,   P   2 0   I N T   C   I N F   K N O W L ;   K a z a i   G ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 1 1 ,   P 1 6 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 1 6 1 - 5 _ 1 7 ;   K h a n n a   S . ,   2 0 1 0 ,   P   1   A C M   S   C O M P   D E V ,   P 1 2 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   L e s h e r   G . ,   2 0 0 0 ,   P   I S S A A C ;   L i t t l e   G . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 2 9 ,   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 5 9 ;   M a r c u s   M i t c h e l l   P . ,   1 9 9 3 ,   C O M P U T A T I O N A L   L I N G U I ,   V 1 9 ,   P 3 1 3 ;   M o o r e   A . ,   2 0 0 1 ,   T E C H N I C A L   R E P O R T ;   P f l e e g e r   C . ,   2 0 0 7 ,   S E C U R I T Y   C O M P U T I N G ,   V 6 0 4 ;   R i l o f f   E ,   1 9 9 6 ,   P R O C E E D I N G S   O F   T H E   T H I R T E E N T H   N A T I O N A L   C O N F E R E N C E   O N   A R T I F I C I A L   I N T E L L I G E N C E   A N D   T H E   E I G H T H   I N N O V A T I V E   A P P L I C A T I O N S   O F   A R T I F I C I A L   I N T E L L I G E N C E   C O N F E R E N C E ,   V O L S   1   A N D   2 ,   P 1 0 4 4 ;   R o s s   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 . A C C E S S E D ;   S h n e i d e r m a n   B . ,   1 9 9 7 ,   D E S I G N I N G   U S E R   I N T E R ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S o b o r o f f   I a n ,   2 0 0 1 ,   P   2 4   A N N   I N T   A C M   S I G ,   P 6 6 ,   D O I   1 0 . 1 1 4 5 / 3 8 3 9 5 2 . 3 8 3 9 6 1 ;   S o l e y m a n i   M . ,   2 0 1 0 ,   P   S I G I R   2 0 1 0   W O R K S H ,   P 4 ;   S o r o k i n   A ,   2 0 0 8 ,   C V P R W   2 0 0 8 ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R W . 2 0 0 8 . 4 5 6 2 9 5 3 ;   W a n g   J . ,   2 0 1 1 ,   C R O W D S   S E A R C H   D A T   M I ,   P 3 1 	 3 4 	 5 	 5 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 6 - 4 5 6 4 	 	 	 I N F O R M   R E T R I E V A L 	 I n f .   R e t r . 	 A P R 	 2 0 1 3 	 1 6 	 2 	 	 	 S I 	 	 1 2 1 	 1 3 7 	 	 1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 1 - 9 1 8 1 - 9 	 	 1 7 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 1 1 8 F K 	 W O S : 0 0 0 3 1 7 0 0 8 7 0 0 0 0 3 	 	 
 J 	 K a z a i ,   G ;   K a m p s ,   J ;   M i l i c - F r a y l i n g ,   N 	 	 	 	 K a z a i ,   G a b r i e l l a ;   K a m p s ,   J a a p ;   M i l i c - F r a y l i n g ,   N a t a s a 	 	 	 A n   a n a l y s i s   o f   h u m a n   f a c t o r s   a n d   l a b e l   a c c u r a c y   i n   c r o w d s o u r c i n g   r e l e v a n c e   j u d g m e n t s 	 I N F O R M A T I O N   R E T R I E V A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   R e l e v a n c e   j u d g m e n t s ;   S t u d y   o f   h u m a n   f a c t o r s 	 R E T R I E V A L 	 C r o w d s o u r c i n g   r e l e v a n c e   j u d g m e n t s   f o r   t h e   e v a l u a t i o n   o f   s e a r c h   e n g i n e s   i s   u s e d   i n c r e a s i n g l y   t o   o v e r c o m e   t h e   i s s u e   o f   s c a l a b i l i t y   t h a t   h i n d e r s   t r a d i t i o n a l   a p p r o a c h e s   r e l y i n g   o n   a   f i x e d   g r o u p   o f   t r u s t e d   e x p e r t   j u d g e s .   H o w e v e r ,   t h e   b e n e f i t s   o f   c r o w d s o u r c i n g   c o m e   w i t h   r i s k s   d u e   t o   t h e   e n g a g e m e n t   o f   a   s e l f - f o r m i n g   g r o u p   o f   i n d i v i d u a l s - t h e   c r o w d ,   m o t i v a t e d   b y   d i f f e r e n t   i n c e n t i v e s ,   w h o   c o m p l e t e   t h e   t a s k s   w i t h   v a r y i n g   l e v e l s   o f   a t t e n t i o n   a n d   s u c c e s s .   T h i s   i n c r e a s e s   t h e   n e e d   f o r   a   c a r e f u l   d e s i g n   o f   c r o w d s o u r c i n g   t a s k s   t h a t   a t t r a c t s   t h e   r i g h t   c r o w d   f o r   t h e   g i v e n   t a s k   a n d   p r o m o t e s   q u a l i t y   w o r k .   I n   t h i s   p a p e r ,   w e   d e s c r i b e   a   s e r i e s   o f   e x p e r i m e n t s   u s i n g   A m a z o n ' s   M e c h a n i c a l   T u r k ,   c o n d u c t e d   t o   e x p l o r e   t h e   ' h u m a n '   c h a r a c t e r i s t i c s   o f   t h e   c r o w d s   i n v o l v e d   i n   a   r e l e v a n c e   a s s e s s m e n t   t a s k .   I n   t h e   e x p e r i m e n t s ,   w e   v a r y   t h e   l e v e l   o f   p a y   o f f e r e d ,   t h e   e f f o r t   r e q u i r e d   t o   c o m p l e t e   a   t a s k   a n d   t h e   q u a l i f i c a t i o n s   r e q u i r e d   o f   t h e   w o r k e r s .   W e   o b s e r v e   t h e   e f f e c t s   o f   t h e s e   v a r i a b l e s   o n   t h e   q u a l i t y   o f   t h e   r e s u l t i n g   r e l e v a n c e   l a b e l s ,   m e a s u r e d   b a s e d   o n   a g r e e m e n t   w i t h   a   g o l d   s e t ,   a n d   c o r r e l a t e   t h e m   w i t h   s e l f - r e p o r t e d   m e a s u r e s   o f   v a r i o u s   h u m a n   f a c t o r s .   W e   e l i c i t   i n f o r m a t i o n   f r o m   t h e   w o r k e r s   a b o u t   t h e i r   m o t i v a t i o n s ,   i n t e r e s t   a n d   f a m i l i a r i t y   w i t h   t h e   t o p i c ,   p e r c e i v e d   t a s k   d i f f i c u l t y ,   a n d   s a t i s f a c t i o n   w i t h   t h e   o f f e r e d   p a y .   W e   i n v e s t i g a t e   h o w   t h e s e   f a c t o r s   c o m b i n e   w i t h   a s p e c t s   o f   t h e   t a s k   d e s i g n   a n d   h o w   t h e y   a f f e c t   t h e   a c c u r a c y   o f   t h e   r e s u l t i n g   r e l e v a n c e   l a b e l s .   B a s e d   o n   t h e   a n a l y s i s   o f   9 6 0   H I T s   a n d   2 , 8 8 0   H I T   a s s i g n m e n t s   r e s u l t i n g   i n   1 9 , 2 0 0   r e l e v a n c e   l a b e l s ,   w e   a r r i v e   a t   i n s i g h t s   i n t o   t h e   c o m p l e x   i n t e r a c t i o n   o f   t h e   o b s e r v e d   f a c t o r s   a n d   p r o v i d e   p r a c t i c a l   g u i d e l i n e s   t o   c r o w d s o u r c i n g   p r a c t i t i o n e r s .   I n   a d d i t i o n ,   w e   h i g h l i g h t   c h a l l e n g e s   i n   t h e   d a t a   a n a l y s i s   t h a t   s t e m   f r o m   t h e   p e c u l i a r i t y   o f   t h e   c r o w d s o u r c i n g   e n v i r o n m e n t   w h e r e   t h e   s a m p l e   o f   i n d i v i d u a l s   e n g a g e d   i n   s p e c i f i c   w o r k   c o n d i t i o n s   a r e   i n h e r e n t l y   i n f l u e n c e d   b y   t h e   c o n d i t i o n s   t h e m s e l v e s . 	 [ K a z a i ,   G a b r i e l l a ;   M i l i c - F r a y l i n g ,   N a t a s a ]   M i c r o s o f t   R e s ,   C a m b r i d g e ,   E n g l a n d ;   [ K a m p s ,   J a a p ]   U n i v   A m s t e r d a m ,   A m s t e r d a m ,   N e t h e r l a n d s 	 K a z a i ,   G   ( r e p r i n t   a u t h o r ) ,   M i c r o s o f t   R e s ,   C a m b r i d g e ,   E n g l a n d . 	 v - g a b k a z @ m i c r o s o f t . c o m ;   k a m p s @ u v a . n l ;   n a t a s a m f @ m i c r o s o f t . c o m 	 	 	 	 	 A l o n s o   O . ,   2 0 0 9 ,   P   S I G I R   2 0 0 9   W O R K S H ,   P 5 5 7 ;   A l o n s o   O ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 1 1 ,   P 1 5 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 1 6 1 - 5 _ 1 6 ;   A l o n s o   O ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 9 9 3 ,   P 6 0 2 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 2 2 7 5 - 0 _ 5 7 ;   A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   B a i l e y   P . ,   2 0 0 8 ,   S I G I R   0 8 ,   P 6 6 7 ;   B e h r e n d   T .   S . ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ;   C a r t e r e t t e   B ,   2 0 1 0 ,   S I G I R   2 0 1 0 :   P R O C E E D I N G S   O F   T H E   3 3 R D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L ,   P 5 3 9 ;   C a s e   K .   E . ,   2 0 1 1 ,   P R I N C I P L E S   E C ;   C l a u s e t   A ,   2 0 0 9 ,   S I A M   R E V ,   V 5 1 ,   P 6 6 1 ,   D O I   1 0 . 1 1 3 7 / 0 7 0 7 1 0 1 1 1 ;   C L E V E R D O . C ,   1 9 6 7 ,   A S L I B   P R O C ,   V 1 9 ,   P 1 7 3 ,   D O I   1 0 . 1 1 0 8 / e b 0 5 0 0 9 7 ;   C o r m a c k   G .   V . ,   1 9 9 8 ,   P r o c e e d i n g s   o f   t h e   2 1 s t   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ,   D O I   1 0 . 1 1 4 5 / 2 9 0 9 4 1 . 2 9 1 0 0 9 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   D o w n s   J S ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 3 9 9 ;   E i c k h o f f   C . ,   2 0 1 1 ,   P   W O R K S H   C R O W D S   S E A R ,   P 1 1 ;   F e i l d   H . ,   2 0 1 0 ,   P   A C M   S I G I R   2 0 1 0   W O R ,   P 2 7 ;   F E S T I N G E R   L ,   1 9 5 9 ,   J   A B N O R M   S O C   P S Y C H ,   V 5 8 ,   P 2 0 3 ,   D O I   1 0 . 1 0 3 7 / h 0 0 4 1 5 9 3 ;   F L E I S S   J L ,   1 9 7 1 ,   P S Y C H O L   B U L L ,   V 7 6 ,   P 3 7 8 ,   D O I   1 0 . 1 0 3 7 / h 0 0 3 1 6 1 9 ;   G r a d y   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 7 2 ;   G r i m e s   C . ,   2 0 0 7 ,   Q U E R Y   L O G   A N A L   S O C I A ;   H i r t h   M . ,   2 0 1 1 ,   W O R K S H   F U T   I N T   N E X T ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   I p e i r o t i s   P . ,   2 0 0 8 ,   B L O G   P O S T ;   I p e i r o t i s   P . ,   2 0 1 0 ,   B L O G   P O S T ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   A C M   C R O S S R O A D S ,   V 1 7 ,   P 1 6 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   J a i n   S . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 7 1 ;   K a m p s   J . ,   2 0 0 9 ,   P   W O R K S H   W E B   S E A R C H ,   P 8 0 ,   D O I   1 0 . 1 1 4 5 / 1 5 0 7 5 0 9 . 1 5 0 7 5 2 2 ;   K a p e l n e r   A . ,   2 0 1 0 ,   W O R L D S   1   C   F U T   D I S T R ;   K a s n e c i   G . ,   2 0 1 0 ,   L E C T   N O T E S   A R T I F   I N T ,   P 1 ;   K a z a i   G . ,   2 0 1 1 ,   P   3 4   A N N   I N T   A C M   S I G ;   K a z a i   G ,   2 0 0 9 ,   P R O C E E D I N G S   3 2 N D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   A N D   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L ,   P 4 5 2 ,   D O I   1 0 . 1 1 4 5 / 1 5 7 1 9 4 1 . 1 5 7 2 0 1 9 ;   K a z a i   G . ,   2 0 0 8 ,   I N E X ,   P 1 0 6 ;   K a z a i   G ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 1 1 ,   P 1 6 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 1 6 1 - 5 _ 1 7 ;   K a z a i   G . ,   2 0 1 1 ,   P   2 0   A C M   I N T   C   I N F   K ,   P 1 9 4 1 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   L A N D I S   J R ,   1 9 7 7 ,   B I O M E T R I C S ,   V 3 3 ,   P 1 5 9 ,   D O I   1 0 . 2 3 0 7 / 2 5 2 9 3 1 0 ;   L e   J . ,   2 0 1 0 ,   S I G I R   W O R K S H   C R O W D S ,   P 1 7 ;   L e a s e   M . ,   2 0 1 1 ,   P   T E X T   R E T R   C   T R E C ;   L e a s e   M ,   2 0 1 1 ,   P   A A A I   W O R K S H   H U M   C O ,   P 9 7 ;   M a r s d e n   P . ,   2 0 0 9 ,   C O N T A G I O U S   M A G A Z I N E ,   V 1 8 ,   P 2 4 ;   M a s o n   W . ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ;   N o w a k   S . ,   2 0 1 0 ,   M I R   1 0   P   I N T   C   M U L T ,   P 5 5 7 ;   O p p e n h e i m   A .   N . ,   1 9 6 6 ,   Q U E S T I O N N A R I E   D E S I G N ;   Q U I N N   A . ,   2 0 1 1 ,   P   C H I   2 0 1 1 ;   Q u i n n   A .   J . ,   2 0 0 9 ,   H C I L 2 0 0 9 2 3   U   M A R ;   R a d l i n s k i   F . ,   2 0 0 8 ,   C I K M   2 0 0 8 ,   P 4 3 ;   R o s s   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 . A C C E S S E D ;   R z e s z o t a r s k i   J .   M . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 0 4 7 1 9 6 . 2 0 4 7 1 9 9 ;   S h a w   A D ,   2 0 1 1 ,   P   A C M   C   C O M P   S U P P   C O ;   S i l b e r m a n   M . S . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 1 8 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 8 9 1 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   v o n   A h n   L ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ;   V o o r h e e s   E ,   2 0 0 5 ,   T R E C   E X P T   E V A L U A T I O N ;   V o o r h e e s   E M ,   2 0 0 0 ,   I N F O R M   P R O C E S S   M A N A G ,   V 3 6 ,   P 6 9 7 ,   D O I   1 0 . 1 0 1 6 / S 0 3 0 6 - 4 5 7 3 ( 0 0 ) 0 0 0 1 0 - 8 ;   V u u r e n s   J . ,   2 0 1 1 ,   P   A C M   S I G I R   2 0 1 1   W O R ,   P 4 8 ;   W a t t s   D . ,   2 0 0 9 ,   H C O M P   0 9 ,   P 7 7 ;   W e l i n d e r   P . ,   2 0 1 0 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 3 ,   P 2 4 2 4 ;   Z h u   D . ,   2 0 1 0 ,   S I G I R   2 0 1 0   W O R K S H   C R 	 5 8 	 3 	 3 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 6 - 4 5 6 4 	 1 5 7 3 - 7 6 5 9 	 	 I N F O R M   R E T R I E V A L 	 I n f .   R e t r . 	 A P R 	 2 0 1 3 	 1 6 	 2 	 	 	 S I 	 	 1 3 8 	 1 7 8 	 	 1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 2 - 9 2 0 5 - 0 	 	 4 1 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 1 1 8 F K 	 W O S : 0 0 0 3 1 7 0 0 8 7 0 0 0 0 4 	 	 
 J 	 M c C r e a d i e ,   R ;   M a c d o n a l d ,   C ;   O u n i s ,   I 	 	 	 	 M c C r e a d i e ,   R i c h a r d ;   M a c d o n a l d ,   C r a i g ;   O u n i s ,   I a d h 	 	 	 I d e n t i f y i n g   t o p   n e w s   u s i n g   c r o w d s o u r c i n g 	 I N F O R M A T I O N   R E T R I E V A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   T R E C ;   B l o g ;   T o p   n e w s ;   R e l e v a n c e   a s s e s s m e n t 	 	 T h e   i n f l u e n t i a l   T e x t   R E t r i e v a l   C o n f e r e n c e   ( T R E C )   r e t r i e v a l   c o n f e r e n c e   h a s   a l w a y s   r e l i e d   u p o n   s p e c i a l i s t   a s s e s s o r s   o r   o c c a s i o n a l l y   p a r t i c i p a t i n g   g r o u p s   t o   c r e a t e   r e l e v a n c e   j u d g e m e n t s   f o r   t h e   t r a c k s   t h a t   i t   r u n s .   R e c e n t l y   h o w e v e r ,   c r o w d s o u r c i n g   h a s   b e e n   c h a m p i o n e d   a s   a   c h e a p ,   f a s t   a n d   e f f e c t i v e   a l t e r n a t i v e   t o   t r a d i t i o n a l   T R E C - l i k e   a s s e s s m e n t s .   I n   2 0 1 0 ,   T R E C   t r a c k s   e x p e r i m e n t e d   w i t h   c r o w d s o u r c i n g   f o r   t h e   v e r y   f i r s t   t i m e .   I n   t h i s   p a p e r ,   w e   r e p o r t   o u r   s u c c e s s f u l   e x p e r i e n c e   i n   c r e a t i n g   r e l e v a n c e   a s s e s s m e n t s   f o r   t h e   T R E C   B l o g   t r a c k   2 0 1 0   t o p   n e w s   s t o r i e s   t a s k   u s i n g   c r o w d s o u r c i n g .   I n   p a r t i c u l a r ,   w e   c r o w d s o u r c e d   b o t h   r e a l - t i m e   n e w s w o r t h i n e s s   a s s e s s m e n t s   f o r   n e w s   s t o r i e s   a s   w e l l   a s   t r a d i t i o n a l   r e l e v a n c e   a s s e s s m e n t s   f o r   b l o g   p o s t s .   W e   c o n c l u d e   t h a t   c r o w d s o u r c i n g   n o t   o n l y   a p p e a r s   t o   b e   a   f e a s i b l e ,   b u t   a l s o   c h e a p   a n d   f a s t   m e a n s   t o   g e n e r a t e   r e l e v a n c e   a s s e s s m e n t s .   F u r t h e r m o r e ,   w e   d e t a i l   o u r   e x p e r i e n c e s   r u n n i n g   t h e   c r o w d s o u r c e d   e v a l u a t i o n   o f   t h e   T R E C   B l o g   t r a c k ,   d i s c u s s   t h e   l e s s o n s   l e a r n e d ,   a n d   p r o v i d e   b e s t   p r a c t i c e s . 	 [ M c C r e a d i e ,   R i c h a r d ;   M a c d o n a l d ,   C r a i g ;   O u n i s ,   I a d h ]   U n i v   G l a s g o w ,   G l a s g o w ,   L a n a r k ,   S c o t l a n d 	 M c C r e a d i e ,   R   ( r e p r i n t   a u t h o r ) ,   U n i v   G l a s g o w ,   G l a s g o w ,   L a n a r k ,   S c o t l a n d . 	 r i c h a r d m @ d c s . g l a . a c . u k ;   c r a i g . m a c d o n a l d @ g l a s g o w . a c . u k ;   i a d h . o u n i s @ g l a s g o w . a c . u k 	 	 	 	 	 A l - M a s k a r i   A . ,   2 0 0 8 ,   P   3 1   A N N   I N T   A C M   S I G ;   A l o n s o   O ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 1 1 ,   P 1 5 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 1 6 1 - 5 _ 1 6 ;   A l o n s o   O . ,   2 0 0 9 ,   P   A C M   S I G I R   2 0 0 9   W O R ;   A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   A s l a m   J . ,   2 0 0 7 ,   T E C H N I C A L   R E P O R T ;   A t w o o d   J . ,   2 0 1 0 ,   I S   A M A Z O N S   M E C H   T U R K ;   B a i l e y   P . ,   2 0 0 8 ,   P   3 1   A N N   I N T   A C M   S I G ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ;   D o w n s   J . ,   2 0 1 0 ,   P   2 0 1 0   C   H U M   F A C T   C O ;   E i c k h o f f   C . ,   2 0 1 1 ,   P   W S D M   2 0 1 1   W O R K S H   C ;   F L E I S S   J L ,   1 9 7 1 ,   P S Y C H O L   B U L L ,   V 7 6 ,   P 3 7 8 ,   D O I   1 0 . 1 0 3 7 / h 0 0 3 1 6 1 9 ;   H e   B . ,   2 0 0 8 ,   P   3 1   A N N   I N T   A C M   S I G ;   H o w e   J . ,   2 0 1 0 ,   R I S E   C R O W D S O U R C I N G ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   I p e i r o t i s   P .   G . ,   2 0 1 1 ,   P   W S D M   2 0 1 1   W O R K S H   C ;   K i t t u r   A . ,   2 0 0 8 ,   P   2 0 0 8   C   H U M   F A C T   C O ;   L e   J . ,   2 0 1 0 ,   P   A C M   S I G I R   2 0 1 0   W O R ;   M a c d o n a l d   C . ,   2 0 1 0 ,   P   1 9   T E X T   R E T R I E V E L ;   M a c d o n a l d   C . ,   2 0 0 9 ,   P   1 8   T E X T   R E T R I E V E L ;   M c C r e a d i e   R . ,   2 0 1 0 ,   P   A C M   S I G I R   2 0 1 0   W O R ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ;   S p a r c k - J o n e s   K . ,   1 9 7 5 ,   5 2 6 6   U   C A M B R   C O M P   L A ;   V o o r h e e s   E ,   2 0 0 5 ,   T R E C   E X P T   E V A L U A T I O N ;   V o o r h e e s   E . ,   2 0 0 1 ,   P   2 4   A N N   I N T   A C M   S I G ;   V o o r h e e s   E M ,   2 0 0 0 ,   I N F O R M   P R O C E S S   M A N A G ,   V 3 6 ,   P 6 9 7 ,   D O I   1 0 . 1 0 1 6 / S 0 3 0 6 - 4 5 7 3 ( 0 0 ) 0 0 0 1 0 - 8 	 2 5 	 1 	 1 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 6 - 4 5 6 4 	 	 	 I N F O R M   R E T R I E V A L 	 I n f .   R e t r . 	 A P R 	 2 0 1 3 	 1 6 	 2 	 	 	 S I 	 	 1 7 9 	 2 0 9 	 	 1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 2 - 9 1 8 6 - z 	 	 3 1 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 1 1 8 F K 	 W O S : 0 0 0 3 1 7 0 0 8 7 0 0 0 0 5 	 	 
 J 	 M u n r o ,   R 	 	 	 	 M u n r o ,   R o b e r t 	 	 	 C r o w d s o u r c i n g   a n d   t h e   c r i s i s - a f f e c t e d   c o m m u n i t y 	 I N F O R M A T I O N   R E T R I E V A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   M i c r o t a s k i n g ;   H a i t i ;   S M S 	 	 T h i s   a r t i c l e   r e p o r t s   o n   M i s s i o n   4 6 3 6 ,   a   r e a l - t i m e   h u m a n i t a r i a n   c r o w d s o u r c i n g   i n i t i a t i v e   t h a t   p r o c e s s e d   8 0 , 0 0 0   t e x t   m e s s a g e s   ( S M S )   s e n t   f r o m   w i t h i n   H a i t i   f o l l o w i n g   t h e   2 0 1 0   e a r t h q u a k e .   I t   w a s   t h e   f i r s t   t i m e   t h a t   c r o w d s o u r c i n g   ( m i c r o t a s k i n g )   h a d   b e e n   u s e d   f o r   i n t e r n a t i o n a l   r e l i e f   e f f o r t s ,   a n d   i s   t h e   l a r g e s t   d e p l o y m e n t   o f   i t s   k i n d   t o   d a t e .   T h i s   a r t i c l e   p r e s e n t s   t h e   f i r s t   f u l l   r e p o r t   a n d   a n a l y s i s   o f   t h e   i n i t i a t i v e   l o o k i n g   a t   t h e   a c c u r a c y   a n d   t i m e l i n e s s   i n   c r e a t i n g   s t r u c t u r e d   d a t a   f r o m   t h e   m e s s a g e s   a n d   t h e   c o l l a b o r a t i v e   n a t u r e   o f   t h e   p r o c e s s .   C o n t r a r y   t o   a l l   p r e v i o u s   p a p e r s ,   s t u d i e s   a n d   m e d i a   r e p o r t s   a b o u t   M i s s i o n   4 6 3 6 ,   w h i c h   h a v e   t y p i c a l l y   c h o s e n   t o   e x c l u d e   e m p i r i c a l   a n a l y s e s   a n d   t h e   i n v o l v e m e n t   o f   t h e   H a i t i a n   p o p u l a t i o n ,   i t   i s   f o u n d   t h a t   t h e   g r e a t e s t   v o l u m e ,   s p e e d   a n d   a c c u r a c y   i n   i n f o r m a t i o n   p r o c e s s i n g   w a s   b y   H a i t i a n   n a t i o n a l s ,   t h e   H a i t i a n   d i a s p o r a ,   a n d   t h o s e   w o r k i n g   c l o s e s t   w i t h   t h e m ,   a n d   t h a t   n o   n e w   t e c h n o l o g i e s   p l a y e d   a   s i g n i f i c a n t   r o l e .   I t   i s   c o n c l u d e d   t h a t   i n t e r n a t i o n a l   h u m a n i t a r i a n   o r g a n i z a t i o n s   h a v e   b e e n   w r o n g l y   c r e d i t e d   f o r   l a r g e - s c a l e   i n f o r m a t i o n   p r o c e s s i n g   i n i t i a t i v e s   ( h e r e   a n d   e l s e w h e r e )   a n d   t h a t   f o r   t h e   m o s t   p a r t   t h e y   w e r e   l a r g e l y   j u s t   w i t n e s s e s   t o   c r i s i s - a f f e c t e d   c o m m u n i t i e s   b o o t s t r a p p i n g   t h e i r   o w n   r e c o v e r y   t h r o u g h   c o m m u n i c a t i o n s   t e c h n o l o g i e s .   T h e   p a r t i c u l a r   f o c u s   i s   o n   t h e   r o l e   o f   t h e   d i a s p o r a ,   a n   i m p o r t a n t   p o p u l a t i o n   t h a t   a r e   i n c r e a s i n g l y   a b l e   t o   c o n t r i b u t e   t o   r e s p o n s e   e f f o r t s   t h a n k s   t o   t h e i r   i n c r e a s e d   c o m m u n i c a t i o n   p o t e n t i a l .   I t   i s   r e c o m m e n d e d   t h a t   f u t u r e   h u m a n i t a r i a n   d e p l o y m e n t s   o f   c r o w d s o u r c i n g   f o c u s   o n   i n f o r m a t i o n   p r o c e s s i n g   w i t h i n   t h e   p o p u l a t i o n s   t h e y   s e r v e ,   e n g a g i n g   t h o s e   w i t h   c r u c i a l   l o c a l   k n o w l e d g e   w h e r e v e r   t h e y   h a p p e n   t o   b e   i n   t h e   w o r l d . 	 S t a n f o r d   U n i v ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A 	 M u n r o ,   R   ( r e p r i n t   a u t h o r ) ,   S t a n f o r d   U n i v ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A . 	 r o b e r t . m u n r o @ g m a i l . c o m 	 	 	 	 	 A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   A m b a t i   V . ,   2 0 1 0 ,   L A N G   R E S O U R   E V A L ,   V 7 ,   P 2 1 6 9 ;   A n d e r s o n   S . ,   2 0 1 0 ,   C H I P S   D E P   N A V Y   I N F O R ;   [ A n o n y m o u s ] ,   2 0 1 0 ,   C N N   C O O R D   H A I T   O N L ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   C T I A   W I R   A S S   W I R   H E L ;   B a e z a - Y a t e s   R . ,   1 9 9 9 ,   M O D E R N   I N F O R M   R E T R I E ,   V 4 6 3 ;   B o t t   M a j a ,   2 0 1 1 ,   R O L E   C R O W D S O U R C I N G   B ;   C a l l i s o n - B u r c h   C h r i s ,   2 0 1 1 ,   P   6   W O R K S H   S T A T   M A C H ;   C a r v a l h o   V . R . ,   2 0 1 0 ,   A C M   S I G I R   F O R U M ,   V 4 4 ,   P 1 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 7 5 . 1 9 2 4 4 8 1 ;   C h a m a l e s   G . ,   2 0 1 1 ,   G L O B   H U M   T E C H N   C   G H T ,   P 4 2 6 ;   C h a n   J . ,   2 0 1 1 ,   D I S A S T E R   R E L I E F   2   0 ;   C h e l a l a   C . ,   2 0 1 0 ,   G L O B A L I S T ;   C l e m e n z o   J .   Y . ,   2 0 1 1 ,   T H E S I S   L O N D O N   S C H   E C ;   C l i n t o n   H i l l a r y   R o d h a m ,   2 0 1 0 ,   C O M M U N I C A T I O N ;   C r o a r k e n   M ,   2 0 0 3 ,   I E E E   A N N   H I S T   C O M P U T ,   V 2 5 ,   P 4 8 ,   D O I   1 0 . 1 1 0 9 / M A H C . 2 0 0 3 . 1 2 2 6 6 5 5 ;   d e   L e o n   J . ,   2 0 1 0 ,   D O D   L I V E ;   V a n   H o v i n g   D a n i  l   J ,   2 0 1 0 ,   P r e h o s p   D i s a s t e r   M e d ,   V 2 5 ,   P 2 0 1 ;   F o u n d a t i o n   T .   R . ,   2 0 1 0 ,   T E L   S U R V   4 0 0   2 0 0 0 0   S ;   G r a d y   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 7 2 ;   G r i e r   D . A . ,   2 0 0 5 ,   C O M P U T E R S   W E R E   H U M A N ;   H e s t e r   V . ,   2 0 1 0 ,   P   1   A C M   S   C O M P   D E V ,   P 1 5 ;   J   H e i n z e l m a n ,   2 0 1 0 ,   C R O W D S O U R C I N G   C R I S I S ;   J e n k i n s   S R ,   1 9 9 7 ,   J   S O C   B E H A V   P E R S ,   V 1 2 ,   P 2 0 1 ;   J o n e s   C .   B . ,   2 0 0 2 ,   P r o c e e d i n g s   o f   S I G I R   2 0 0 2 .   T w e n t y - F i f t h   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ;   K a u f m a n   G . ,   2 0 1 0 ,   M T V   N E W S ;   K e l l y   D i a n e ,   2 0 0 9 ,   F o u n d a t i o n s   a n d   T r e n d s   i n   I n f o r m a t i o n   R e t r i e v a l ,   V 3 ,   D O I   1 0 . 1 5 6 1 / 1 5 0 0 0 0 0 0 1 2 ;   L e w i s   W . ,   2 0 1 0 ,   1 4   A N N   C   E U R   A S S   M A C ;   L e w i s   W . ,   2 0 1 1 ,   A N N   W O R K S H   M A C H   T R A N ;   L i u   S B ,   2 0 1 0 ,   C A R T O G R   G E O G R   I N F   S C ,   V 3 7 ,   P 6 9 ;   L u s h   T . ,   2 0 1 0 ,   H A I T I   R A D I O   F I L L S   I N ;   M o r r o w   N . ,   2 0 1 1 ,   I N D E P E N D E N T   E V A L U A T I ;   M u n r o   R . ,   2 0 1 0 ,   W O R K S H   C R E A T   S P E E C H ;   M u n r o   R . ,   2 0 1 2 ,   2   A N N   S   C O M P   D E V   A C M ;   M u n r o   R . ,   2 0 1 1 ,   C R O W D S O U R C I N G   T E C H N O ;   M u n r o   R . ,   2 0 1 0 ,   A M T A   W O R K S H   C O L L   C R O ;   M u n r o   R . ,   2 0 1 0 ,   H A I T I   C R I S I S   R E L I E F ;   M u n r o   R . ,   2 0 1 0 ,   P   A N N   C   N   A M   C H A P T   A ;   M u n r o   R . ,   2 0 1 1 ,   1 5   C   C O M P   N A T   L A N G   L ;   N e l s o n   A . ,   2 0 1 0 ,   C O M M U N I C A T I N G   D I S A S T ;   O r o z c o   M . ,   2 0 0 6 ,   U N D E R S T A N D I N G   R E M I T T ;   R o b e r t s   S . ,   2 0 1 1 ,   A S S   A M   G E O G R   C   V O L   G ;   S e l d o n   R . ,   2 0 1 0 ,   D E V E L O P M E N T   S E E D ;   S h a r m a   A . ,   2 0 1 0 ,   T H E S I S   L O N D O N   S C H   E C ;   S t a r b i r d   K . ,   2 0 1 0 ,   P   7   I N T   I S C R A M   C ;   T a p s c o t t   D . ,   2 0 1 0 ,   M A C R O W I K I N O M I C S   R E B O ;   T r i n e r   D . ,   2 0 1 1 ,   P U B L I C L Y   A V A I L A B L E   S ;   W a l l   I . ,   2 0 1 1 ,   A N N   K I T E   Y O   P A L E   T H E ;   W a t s o n   I . ,   2 0 1 0 ,   H A I T I A N   R A D I O   S T A T I O ;   Z a i d a n   O . ,   2 0 1 1 ,   P   A C L   2 0 1 1 ;   Z o o k   M . ,   2 0 1 0 ,   W o r l d   M e d i c a l   a n d   H e a l t h   P o l i c y ,   V 2 ,   P 7 ,   D O I   1 0 . 2 2 0 2 / 1 9 4 8 - 4 6 8 2 . 1 0 6 9 	 5 0 	 2 	 2 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 6 - 4 5 6 4 	 	 	 I N F O R M   R E T R I E V A L 	 I n f .   R e t r . 	 A P R 	 2 0 1 3 	 1 6 	 2 	 	 	 S I 	 	 2 1 0 	 2 6 6 	 	 1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 2 - 9 2 0 3 - 2 	 	 5 7 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 1 1 8 F K 	 W O S : 0 0 0 3 1 7 0 0 8 7 0 0 0 0 6 	 	 
 J 	 Z u c c o n ,   G ;   L e e l a n u p a b ,   T ;   W h i t i n g ,   S ;   Y i l m a z ,   E ;   J o s e ,   J M ;   A z z o p a r d i ,   L 	 	 	 	 Z u c c o n ,   G u i d o ;   L e e l a n u p a b ,   T e e r a p o n g ;   W h i t i n g ,   S t e w a r t ;   Y i l m a z ,   E m i n e ;   J o s e ,   J o e m o n   M . ;   A z z o p a r d i ,   L e i f 	 	 	 C r o w d s o u r c i n g   i n t e r a c t i o n s :   u s i n g   c r o w d s o u r c i n g   f o r   e v a l u a t i n g   i n t e r a c t i v e   i n f o r m a t i o n   r e t r i e v a l   s y s t e m s 	 I N F O R M A T I O N   R E T R I E V A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g   e v a l u a t i o n ;   I n t e r a c t i v e   I R   e v a l u a t i o n ;   I n t e r a c t i o n s 	 	 I n   t h e   f i e l d   o f   i n f o r m a t i o n   r e t r i e v a l   ( I R ) ,   r e s e a r c h e r s   a n d   p r a c t i t i o n e r s   a r e   o f t e n   f a c e d   w i t h   a   d e m a n d   f o r   v a l i d   a p p r o a c h e s   t o   e v a l u a t e   t h e   p e r f o r m a n c e   o f   r e t r i e v a l   s y s t e m s .   T h e   C r a n f i e l d   e x p e r i m e n t   p a r a d i g m   h a s   b e e n   d o m i n a n t   f o r   t h e   i n - v i t r o   e v a l u a t i o n   o f   I R   s y s t e m s .   A l t e r n a t i v e   t o   t h i s   p a r a d i g m ,   l a b o r a t o r y - b a s e d   u s e r   s t u d i e s   h a v e   b e e n   w i d e l y   u s e d   t o   e v a l u a t e   i n t e r a c t i v e   i n f o r m a t i o n   r e t r i e v a l   ( I I R )   s y s t e m s ,   a n d   a t   t h e   s a m e   t i m e   i n v e s t i g a t e   u s e r s '   i n f o r m a t i o n   s e a r c h i n g   b e h a v i o u r s .   M a j o r   d r a w b a c k s   o f   l a b o r a t o r y - b a s e d   u s e r   s t u d i e s   f o r   e v a l u a t i n g   I I R   s y s t e m s   i n c l u d e   t h e   h i g h   m o n e t a r y   a n d   t e m p o r a l   c o s t s   i n v o l v e d   i n   s e t t i n g   u p   a n d   r u n n i n g   t h o s e   e x p e r i m e n t s ,   t h e   l a c k   o f   h e t e r o g e n e i t y   a m o n g s t   t h e   u s e r   p o p u l a t i o n   a n d   t h e   l i m i t e d   s c a l e   o f   t h e   e x p e r i m e n t s ,   w h i c h   u s u a l l y   i n v o l v e   a   r e l a t i v e l y   r e s t r i c t e d   s e t   o f   u s e r s .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a n   a l t e r n a t i v e   e x p e r i m e n t a l   m e t h o d o l o g y   t o   l a b o r a t o r y - b a s e d   u s e r   s t u d i e s .   O u r   n o v e l   e x p e r i m e n t a l   m e t h o d o l o g y   u s e s   a   c r o w d s o u r c i n g   p l a t f o r m   a s   a   m e a n s   o f   e n g a g i n g   s t u d y   p a r t i c i p a n t s .   T h r o u g h   c r o w d s o u r c i n g ,   o u r   e x p e r i m e n t a l   m e t h o d o l o g y   c a n   c a p t u r e   u s e r   i n t e r a c t i o n s   a n d   s e a r c h i n g   b e h a v i o u r s   a t   a   l o w e r   c o s t ,   w i t h   m o r e   d a t a ,   a n d   w i t h i n   a   s h o r t e r   p e r i o d   t h a n   t r a d i t i o n a l   l a b o r a t o r y - b a s e d   u s e r   s t u d i e s ,   a n d   t h e r e f o r e   c a n   b e   u s e d   t o   a s s e s s   t h e   p e r f o r m a n c e s   o f   I I R   s y s t e m s .   I n   t h i s   a r t i c l e ,   w e   s h o w   t h e   c h a r a c t e r i s t i c   d i f f e r e n c e s   o f   o u r   a p p r o a c h   w i t h   r e s p e c t   t o   t r a d i t i o n a l   I I R   e x p e r i m e n t a l   a n d   e v a l u a t i o n   p r o c e d u r e s .   W e   a l s o   p e r f o r m   a   u s e   c a s e   s t u d y   c o m p a r i n g   c r o w d s o u r c i n g - b a s e d   e v a l u a t i o n   w i t h   l a b o r a t o r y - b a s e d   e v a l u a t i o n   o f   I I R   s y s t e m s ,   w h i c h   c a n   s e r v e   a s   a   t u t o r i a l   f o r   s e t t i n g   u p   c r o w d s o u r c i n g - b a s e d   I I R   e v a l u a t i o n s . 	 [ Z u c c o n ,   G u i d o ]   C S I R O ,   A u s t r a l i a n   E   H l t h   R e s   C t r ,   B r i s b a n e ,   Q l d ,   A u s t r a l i a ;   [ L e e l a n u p a b ,   T e e r a p o n g ]   K i n g   M o n g k u t s   I n s t   T e c h n o l   L a d k r a b a n g ,   B a n g k o k ,   T h a i l a n d ;   [ W h i t i n g ,   S t e w a r t ;   J o s e ,   J o e m o n   M . ;   A z z o p a r d i ,   L e i f ]   U n i v   G l a s g o w ,   S c h   C o m p   S c i ,   G l a s g o w ,   L a n a r k ,   S c o t l a n d ;   [ Y i l m a z ,   E m i n e ]   M i c r o s o f t   R e s ,   C a m b r i d g e ,   E n g l a n d 	 Z u c c o n ,   G   ( r e p r i n t   a u t h o r ) ,   C S I R O ,   A u s t r a l i a n   E   H l t h   R e s   C t r ,   B r i s b a n e ,   Q l d ,   A u s t r a l i a . 	 g u i d o . z u c c o n @ c s i r o . a u ;   t e e r a p o n g @ i t . k m i t l . a c . t h ;   S t e w a r t . W h i t i n g @ g l a s g o w . a c . u k ;   e m i n e y @ m i c r o s o f t . c o m ;   J o e m o n . J o s e @ g l a s g o w . a c . u k ;   L e i f . A z z o p a r d i @ g l a s g o w . a c . u k 	 	 	 	 	 A l o n s o   O ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 1 1 ,   P 1 5 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 1 6 1 - 5 _ 1 6 ;   A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   A l o n s o   O m a r ,   2 0 0 9 ,   S I G I R   0 9 ;   A r g u e l l o   J ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 1 1 ,   P 1 4 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 1 6 1 - 5 _ 1 5 ;   B o r l u n d   P ,   2 0 0 3 ,   I N F O R M   R E S ,   V 8 ;   C a r t e r   P . J . ,   2 0 0 7 ,   I Q   P S Y C H O M E T R I C   T E S T ;   D a n g   H .   T . ,   2 0 0 6 ,   P   T E X T   R E T R I E V A L   C ;   D a n g   H .   T . ,   2 0 0 7 ,   P   T E X T   R E T R I E V A L   C ;   F e i l d   H . ,   2 0 0 9 ,   S I G I R   2 0 0 9   W O R K   C R O W ;   G r a d y   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 7 2 ;   I p e i r o t i s   P .   G . ,   2 0 1 0 ,   C E D E R 1 0 0 1   N Y U ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   A C M   C R O S S R O A D S ,   V 1 7 ,   P 1 6 ;   K a z a i   G ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 1 1 ,   P 1 6 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 1 6 1 - 5 _ 1 7 ;   K e l l y   D ,   2 0 0 9 ,   C O M P U T E R ,   V 4 2 ,   P 6 0 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 9 . 8 2 ;   K e l l y   D i a n e ,   2 0 0 9 ,   F o u n d a t i o n s   a n d   T r e n d s   i n   I n f o r m a t i o n   R e t r i e v a l ,   V 3 ,   D O I   1 0 . 1 5 6 1 / 1 5 0 0 0 0 0 0 1 2 ;   L e e l a n u p a b   T . ,   2 0 0 9 ,   P   4   I N D   I N T   C   A R T   I N ,   P 5 5 8 ;   L e e l a n u p a b   T . ,   2 0 1 2 ,   T H E S I S   U   G L A S G O W ;   L i n   C . Y . ,   2 0 0 4 ,   P   W O R K S H   T E X T   S U M M   A ;   M a s o n   W ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 7 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 7 5 ;   M c C r e a d i e   R . ,   2 0 1 1 ,   P   W O R K S H   C R O W S   S E A R C ,   P 2 3 ;   O v e r   P . ,   1 9 9 7 ,   P   T E X T   R E T R I E V A L   C ,   P 5 7 ;   O v e r   P ,   2 0 0 1 ,   I N F O R M   P R O C E S S   M A N A G ,   V 3 7 ,   P 3 6 9 ,   D O I   1 0 . 1 0 1 6 / S 0 3 0 6 - 4 5 7 3 ( 0 0 ) 0 0 0 5 3 - 4 ;   P o t t h a s t   M . ,   2 0 1 0 ,   P   2 3   I N T   C   C O M P   L I N G ,   P 9 9 7 ;   R o s s   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 . A C C E S S E D ;   R u s s e l l   D .   M . ,   2 0 0 7 ,   W O R K S H   Q U E R   L O G   A N   W ;   S a n t o s   R L T ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 9 9 3 ,   P 8 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 2 2 7 5 - 0 _ 1 1 ;   S h a d i s h   W ,   2 0 0 1 ,   E X P T   Q U A S I E X P E R I M E N T ;   V o o r h e e s   E ,   2 0 0 5 ,   T R E C   E X P T   E V A L U A T I O N ;   V o o r h e e s   E .   M . ,   2 0 0 5 ,   B u l l e t i n   o f   t h e   A m e r i c a n   S o c i e t y   f o r   I n f o r m a t i o n   S c i e n c e   a n d   T e c h n o l o g y ,   V 3 2 ,   D O I   1 0 . 1 0 0 2 / b u l t . 2 0 0 3 . 1 7 2 0 3 2 0 1 0 5 ;   Z u c c o n   G . ,   2 0 1 1 ,   P   W O R K S H   I N F   R E T R   Q U ;   Z u c c o n   G . ,   2 0 1 1 ,   P   W O R K S H   C R O W D S   S E A R ,   P 3 5 	 3 2 	 2 	 2 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 6 - 4 5 6 4 	 	 	 I N F O R M   R E T R I E V A L 	 I n f .   R e t r . 	 A P R 	 2 0 1 3 	 1 6 	 2 	 	 	 S I 	 	 2 6 7 	 3 0 5 	 	 1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 2 - 9 2 0 6 - z 	 	 3 9 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 1 1 8 F K 	 W O S : 0 0 0 3 1 7 0 0 8 7 0 0 0 0 7 	 	 
 J 	 B a r s n e s ,   H ;   M a r t e n s ,   L 	 	 	 	 B a r s n e s ,   H a r a l d ;   M a r t e n s ,   L e n n a r t 	 	 	 C r o w d s o u r c i n g   i n   p r o t e o m i c s :   p u b l i c   r e s o u r c e s   l e a d   t o   b e t t e r   e x p e r i m e n t s 	 A M I N O   A C I D S 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 P r o t e o m i c s ;   M a s s   s p e c t r o m e t r y ;   B i o i n f o r m a t i c s ;   D a t a b a s e s ;   R e p o s i t o r i e s 	 M O N I T O R I N G   M A S S - S P E C T R O M E T R Y ;   I N D U C E D   D I S S O C I A T I O N   S P E C T R A ;   I N T E R N A T I O N A L   P R O T E I N   I N D E X ;   M I S S E D   C L E A V A G E   S I T E S ;   A M I N O - A C I D - S E Q U E N C E S ;   Q U A N T I T A T I V E   P R O T E O M I C S ;   I D E N T I F I C A T I O N   A L G O R I T H M S ;   C H R O M A T O G R A P H I C   I S O L A T I O N ;   C O N T A I N I N G   P E P T I D E S ;   S O F T W A R E   T O O L 	 W i t h   t h e   g r o w i n g   i n t e r e s t   i n   t h e   f i e l d   o f   p r o t e o m i c s ,   t h e   a m o u n t   o f   p u b l i c l y   a v a i l a b l e   p r o t e o m e   r e s o u r c e s   h a s   a l s o   i n c r e a s e d   d r a m a t i c a l l y .   T h i s   m e a n s   t h a t   t h e r e   a r e   m a n y   u s e f u l   r e s o u r c e s   a v a i l a b l e   f o r   a l m o s t   a l l   a s p e c t s   o f   a   p r o t e o m i c s   e x p e r i m e n t .   H o w e v e r ,   i t   r e m a i n s   v i t a l   t o   u s e   t h e   r i g h t   r e s o u r c e ,   f o r   t h e   r i g h t   p u r p o s e ,   a t   t h e   r i g h t   t i m e .   T h i s   r e v i e w   i s   t h e r e f o r e   m e a n t   t o   a i d   t h e   r e a d e r   i n   o b t a i n i n g   a n   o v e r v i e w   o f   t h e   a v a i l a b l e   r e s o u r c e s   a n d   t h e i r   a p p l i c a t i o n ,   t h u s   p r o v i d i n g   t h e   n e c e s s a r y   b a c k g r o u n d   t o   c h o o s e   t h e   a p p r o p r i a t e   r e s o u r c e s   f o r   t h e   e x p e r i m e n t   a t   h a n d .   M a n y   o f   t h e   r e s o u r c e s   a r e   a l s o   t a k i n g   a d v a n t a g e   o f   s o - c a l l e d   c r o w d s o u r c i n g   t o   m a x i m i z e   t h e   p o t e n t i a l   o f   t h e   r e s o u r c e .   W h a t   t h i s   m e a n s   a n d   h o w   t h i s   c a n   i m p r o v e   f u t u r e   e x p e r i m e n t s   w i l l   a l s o   b e   d i s c u s s e d .   T h e   t e x t   r o u g h l y   f o l l o w s   t h e   s t e p s   i n v o l v e d   i n   a   p r o t e o m i c s   e x p e r i m e n t ,   s t a r t i n g   w i t h   t h e   p l a n n i n g   o f   t h e   e x p e r i m e n t ,   v i a   t h e   p r o c e s s i n g   o f   t h e   d a t a   a n d   t h e   a n a l y s i s   o f   t h e   r e s u l t s ,   t o   t h e   c o m m u n i t y - w i d e   s h a r i n g   o f   t h e   p r o d u c e d   d a t a . 	 [ B a r s n e s ,   H a r a l d ]   U n i v   B e r g e n ,   P r o t e   U n i t ,   D e p t   B i o m e d ,   B e r g e n ,   N o r w a y ;   [ M a r t e n s ,   L e n n a r t ]   U n i v   G h e n t   V I B ,   D e p t   M e d   P r o t   R e s ,   B - 9 0 5 2   G h e n t ,   B e l g i u m ;   [ M a r t e n s ,   L e n n a r t ]   U n i v   G h e n t ,   D e p t   B i o c h e m ,   F a c   M e d   &   H l t h   S c i ,   B - 9 0 0 0   G h e n t ,   B e l g i u m 	 M a r t e n s ,   L   ( r e p r i n t   a u t h o r ) ,   U n i v   G h e n t ,   D e p t   B i o c h e m ,   F a c   M e d   &   H l t h   S c i ,   B - 9 0 0 0   G h e n t ,   B e l g i u m . 	 l e n n a r t . m a r t e n s @ U G e n t . b e 	 	 	 R e s e a r c h   C o u n c i l   o f   N o r w a y ;   G h e n t   U n i v e r s i t y   ( M u l t i d i s c i p l i n a r y   R e s e a r c h   P a r t n e r s h i p   " B i o i n f o r m a t i c s :   f r o m   n u c l e o t i d e s   t o   n e t w o r k s " ) ;   E u r o p e a n   U n i o n   [ 2 6 2 0 6 7 ,   2 6 0 5 5 8 ] 	 H .   B .   i s   s u p p o r t e d   b y   t h e   R e s e a r c h   C o u n c i l   o f   N o r w a y ,   a n d   L .   M .   a c k n o w l e d g e s   t h e   s u p p o r t   o f   G h e n t   U n i v e r s i t y   ( M u l t i d i s c i p l i n a r y   R e s e a r c h   P a r t n e r s h i p   " B i o i n f o r m a t i c s :   f r o m   n u c l e o t i d e s   t o   n e t w o r k s " ) ,   a n d   t h e   P R I M E - X S   a n d   P r o t e o m e X c h a n g e   p r o j e c t s ,   g r a n t   a g r e e m e n t   n u m b e r s   2 6 2 0 6 7   a n d   2 6 0 5 5 8 ,   b o t h   f u n d e d   b y   t h e   E u r o p e a n   U n i o n   7 t h   F r a m e w o r k   P r o g r a m . 	 A b b a t i e l l o   S E ,   2 0 1 0 ,   C L I N   C H E M ,   V 5 6 ,   P 2 9 1 ,   D O I   1 0 . 1 3 7 3 / c l i n c h e m . 2 0 0 9 . 1 3 8 4 2 0 ;   A e b e r s o l d   R ,   2 0 0 3 ,   N A T U R E ,   V 4 2 2 ,   P 1 9 8 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 1 5 1 1 ;   [ A n o n y m o u s ] ,   2 0 0 7 ,   N A T   B I O T E C H N O L ,   V 2 5 ,   P 2 6 2 ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   N A T   M E T H O D S ,   V 5 ,   P 2 0 9 ,   D O I   1 0 . 1 0 3 8 / n m e t h 0 3 0 8 - 2 0 9 ;   [ A n o n y m o u s ] ,   2 0 1 0 ,   N A T   M E T H O D S ,   V 7 ,   P 6 6 1 ;   B a r s n e s   H ,   2 0 1 0 ,   P R O T E O M I C S ,   V 1 0 ,   P 1 0 8 7 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 0 9 0 0 6 8 1 ;   B a r s n e s   H ,   2 0 1 1 ,   B M C   B I O I N F O R M A T I C S ,   V 1 2 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 1 2 - 7 0 ;   B a r s n e s   H ,   2 0 0 9 ,   N A T   B I O T E C H N O L ,   V 2 7 ,   P 5 9 8 ,   D O I   1 0 . 1 0 3 8 / n b t 0 7 0 9 - 5 9 8 ;   B e r m a n   H M ,   2 0 0 0 ,   N U C L E I C   A C I D S   R E S ,   V 2 8 ,   P 2 3 5 ,   D O I   1 0 . 1 0 9 3 / n a r / 2 8 . 1 . 2 3 5 ;   B e r n   M ,   2 0 1 1 ,   J   P R O T E O M E   R E S ,   V 1 0 ,   P 2 1 2 3 ,   D O I   1 0 . 1 0 2 1 / p r 1 0 1 1 4 3 m ;   B i n n s   D ,   2 0 0 9 ,   B I O I N F O R M A T I C S ,   V 2 5 ,   P 3 0 4 5 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t p 5 3 6 ;   B r u s n i a k   M Y K ,   2 0 1 1 ,   B M C   B I O I N F O R M A T I C S ,   V 1 2 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 1 2 - 7 8 ;   C o l a e r t   N ,   2 0 1 1 ,   J   P R O T E O M E   R E S ,   V 1 0 ,   P 5 5 5 5 ,   D O I   1 0 . 1 0 2 1 / p r 2 0 0 9 1 3 a ;   C o l i n g e   J ,   2 0 0 6 ,   J   P R O T E O M E   R E S ,   V 5 ,   P 6 1 9 ,   D O I   1 0 . 1 0 2 1 / p r 0 5 0 4 2 3 6 ;   C o t e   R G ,   2 0 0 7 ,   B M C   B I O I N F O R M A T I C S ,   V 8 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 8 - 4 0 1 ;   C O T T R E L L   J S ,   1 9 9 4 ,   P E P T I D E   R E S ,   V 7 ,   P 1 1 5 ;   C r a i g   R ,   2 0 0 5 ,   R A P I D   C O M M U N   M A S S   S P ,   V 1 9 ,   P 1 8 4 4 ,   D O I   1 0 . 1 0 0 2 / r c m . 1 9 9 2 ;   C r a i g   R ,   2 0 0 4 ,   J   P R O T E O M E   R E S ,   V 3 ,   P 1 2 3 4 ,   D O I   1 0 . 1 0 2 1 / p r 0 4 9 8 8 2 h ;   C r e a s y   D M ,   2 0 0 2 ,   P R O T E O M I C S ,   V 2 ,   P 1 4 2 6 ,   D O I   1 0 . 1 0 0 2 / 1 6 1 5 - 9 8 6 1 ( 2 0 0 2 1 0 ) 2 : 1 0 < 1 4 2 6 : : A I D - P R O T 1 4 2 6 > 3 . 0 . C O ; 2 - 5 ;   d a   H u a n g   W ,   2 0 0 9 ,   N A T   P R O T O C ,   V 4 ,   P 4 4 ,   D O I   D O I   1 0 . 1 0 3 8 / N P R 0 T . 2 0 0 8 . 2 1 1 ;   D e s i e r e   F ,   2 0 0 6 ,   N U C L E I C   A C I D S   R E S ,   V 3 4 ,   p D 6 5 5 ,   D O I   1 0 . 1 0 9 3 / n a r / g k j 0 4 0 ;   D e u t s c h   E W ,   2 0 1 2 ,   M O L   C E L L   P R O T E O M I C S ,   V 1 1 ,   D O I   1 0 . 1 0 7 4 / m c p . R 1 1 1 . 0 1 5 0 4 0 ;   D e u t s c h   E W ,   2 0 0 8 ,   E M B O   R E P ,   V 9 ,   P 4 2 9 ,   D O I   1 0 . 1 0 3 8 / e m b o r . 2 0 0 8 . 5 6 ;   D o m o n   B ,   2 0 0 6 ,   S C I E N C E ,   V 3 1 2 ,   P 2 1 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 2 4 6 1 9 ;   E i s e n a c h e r   M ,   2 0 1 1 ,   M E T H O D S   M O L   B I O L ,   V 6 9 6 ,   P 1 6 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 6 0 7 6 1 - 9 8 7 - 1 _ 1 0 ;   E i s e n a c h e r   M ,   2 0 0 9 ,   P R O T E O M I C S ,   V 9 ,   P 3 9 2 8 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 0 9 0 0 2 4 7 ;   E N G   J K ,   1 9 9 4 ,   J   A M   S O C   M A S S   S P E C T R ,   V 5 ,   P 9 7 6 ,   D O I   1 0 . 1 0 1 6 / 1 0 4 4 - 0 3 0 5 ( 9 4 ) 8 0 0 1 6 - 2 ;   E v e r e t t   L J ,   2 0 1 0 ,   J   P R O T E O M E   R E S ,   V 9 ,   P 7 0 0 ,   D O I   1 0 . 1 0 2 1 / p r 9 0 0 2 5 6 v ;   F e n y o   D ,   2 0 0 3 ,   A N A L   C H E M ,   V 7 5 ,   P 7 6 8 ,   D O I   1 0 . 1 0 2 1 / a c 0 2 5 8 7 0 9 ;   F l i c e k   P ,   2 0 1 1 ,   N U C L E I C   A C I D S   R E S ,   V 3 9 ,   p D 8 0 0 ,   D O I   1 0 . 1 0 9 3 / n a r / g k q 1 0 6 4 ;   F o s t e r   J M ,   2 0 1 1 ,   P R O T E O M I C S ,   V 1 1 ,   P 2 1 8 2 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 1 0 0 0 6 0 2 ;   F r a n k   A M ,   2 0 0 7 ,   J   P R O T E O M E   R E S ,   V 6 ,   P 1 1 4 ,   D O I   1 0 . 1 0 2 1 / p r 0 6 0 2 7 1 u ;   G a l l i e n   S ,   2 0 1 1 ,   J   M A S S   S P E C T R O M ,   V 4 6 ,   P 2 9 8 ,   D O I   1 0 . 1 0 0 2 / j m s . 1 8 9 5 ;   G e e r   L Y ,   2 0 0 4 ,   J   P R O T E O M E   R E S ,   V 3 ,   P 9 5 8 ,   D O I   1 0 . 1 0 2 1 / p r 0 4 9 9 4 9 1 ;   G e v a e r t   K ,   2 0 0 4 ,   P R O T E O M I C S ,   V 4 ,   P 8 9 7 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 0 3 0 0 6 4 1 ;   G e v a e r t   K ,   2 0 0 3 ,   N A T   B I O T E C H N O L ,   V 2 1 ,   P 5 6 6 ,   D O I   1 0 . 1 0 3 8 / n b t 8 1 0 ;   G e v a e r t   K ,   2 0 0 2 ,   M O L   C E L L   P R O T E O M I C S ,   V 1 ,   P 8 9 6 ,   D O I   1 0 . 1 0 7 4 / m c p . M 2 0 0 0 6 1 - M C P 2 0 0 ;   G r i s s   J ,   2 0 1 1 ,   M O L   C E L L   P R O T E O M I C S ,   V 1 0 ,   D O I   D O I   1 0 . 1 0 7 4 / M C P . M 1 1 1 . 0 0 8 4 9 0 ;   G r i s s   J ,   2 0 1 1 ,   P R O T E O M I C S ,   V 1 1 ,   P 4 4 3 4 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 1 1 0 0 3 6 3 ;   G u b e r m a n   J M ,   2 0 1 1 ,   D A T A B A S E - O X F O R D ,   D O I   1 0 . 1 0 9 3 / d a t a b a s e / b a r 0 4 1 ;   H   L a m ,   2 0 1 1 ,   M O L   C E L L   P R O T E O M I C S ,   V 1 0 ,   D O I   D O I   1 0 . 1 0 7 4 / M C P . R 1 1 1 . 0 0 8 5 6 5 ;   H a i d e r   S ,   2 0 0 9 ,   N U C L E I C   A C I D S   R E S ,   V 3 7 ,   p W 2 3 ,   D O I   1 0 . 1 0 9 3 / n a r / g k p 2 6 5 ;   H a m a d y   M ,   2 0 0 5 ,   I E E E   E N G   M E D   B I O L ,   V 2 4 ,   P 5 8 ,   D O I   1 0 . 1 1 0 9 / M E M B . 2 0 0 5 . 1 4 3 6 4 6 1 ;   H e l s e n s   K ,   2 0 1 2 ,   P R O T E O M I C S   I N   P R E S S ;   H u n t e r   S ,   2 0 1 2 ,   N U C L E I C   A C I D S   R E S ,   V 4 0 ,   p D 3 0 6 ,   D O I   1 0 . 1 0 9 3 / n a r / g k r 9 4 8 ;   K a n e h i s a   M ,   2 0 1 2 ,   N U C L E I C   A C I D S   R E S ,   V 4 0 ,   p D 1 0 9 ,   D O I   1 0 . 1 0 9 3 / n a r / g k r 9 8 8 ;   K a r p   N A ,   2 0 0 9 ,   P R O T E O M I C S ,   V 9 ,   P 3 8 8 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 0 8 0 0 4 8 5 ;   K a s p r z y k   A ,   2 0 1 1 ,   D A T A B A S E - O X F O R D ,   D O I   1 0 . 1 0 9 3 / d a t a b a s e / b a r 0 4 9 ;   K e r r i e n   S ,   2 0 1 2 ,   N U C L E I C   A C I D S   R E S ,   V 4 0 ,   p D 8 4 1 ,   D O I   1 0 . 1 0 9 3 / n a r / g k r 1 0 8 8 ;   K e r s e y   P J ,   2 0 0 4 ,   P R O T E O M I C S ,   V 4 ,   P 1 9 8 5 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 0 3 0 0 7 2 1 ;   L a n g e   V ,   2 0 0 8 ,   M O L   C E L L   P R O T E O M I C S ,   V 7 ,   P 1 4 8 9 ,   D O I   1 0 . 1 0 7 4 / m c p . M 8 0 0 0 3 2 - M C P 2 0 0 ;   L a n g e   V ,   2 0 0 8 ,   M O L   S Y S T   B I O L ,   V 4 ,   D O I   1 0 . 1 0 3 8 / m s b . 2 0 0 8 . 6 1 ;   L e v i n   Y ,   2 0 1 1 ,   P R O T E O M I C S ,   V 1 1 ,   P 2 5 6 5 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 1 1 0 0 0 3 3 ;   M a   B . ,   2 0 1 2 ,   M O L   C E L L   P R O T E O M I C S ,   V 1 1 ,   D O I   D O I   1 0 . 1 0 7 4 / M C P . 0 1 1 1 . 0 1 4 9 0 2 ;   M a c L e a n   B ,   2 0 1 0 ,   B I O I N F O R M A T I C S ,   V 2 6 ,   P 9 6 6 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t q 0 5 4 ;   M a l l i c k   P ,   2 0 0 7 ,   N A T   B I O T E C H N O L ,   V 2 5 ,   P 1 2 5 ,   D O I   1 0 . 1 0 3 8 / n b t 1 2 7 5 ;   M a r t e n s   L ,   2 0 0 7 ,   M O L   C E L L   P R O T E O M I C S ,   V 6 ,   P 1 6 6 6 ;   M a r t e n s   L ,   2 0 1 1 ,   M E T H O D S   M O L   B I O L ,   V 6 9 4 ,   P 2 1 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 6 0 7 6 1 - 9 7 7 - 2 _ 1 4 ;   M a r t e n s   L ,   2 0 0 5 ,   B I O I N F O R M A T I C S ,   V 2 1 ,   P 3 5 8 4 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t i 5 8 8 ;   M a r t e n s   L ,   2 0 1 1 ,   M O L   C E L L   P R O T E O M I C S ,   V 1 0 ,   D O I   1 0 . 1 0 7 4 / m c p . R 1 1 0 . 0 0 0 1 3 3 ;   M a r t e n s   L ,   2 0 0 7 ,   M O L   B I O S Y S T ,   V 3 ,   P 5 1 8 ,   D O I   1 0 . 1 0 3 9 / b 7 0 5 1 7 8 f ;   M a t t h e w s   L ,   2 0 0 9 ,   N U C L E I C   A C I D S   R E S ,   V 3 7 ,   p D 6 1 9 ,   D O I   1 0 . 1 0 9 3 / n a r / g k n 8 6 3 ;   M u e l l e r   M ,   2 0 0 8 ,   P R O T E O M I C S ,   V 8 ,   P 1 1 3 8 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 0 7 0 0 7 6 1 ;   N a   S ,   2 0 1 2 ,   M O L   C E L L   P R O T E O M I C S ,   V 1 1 ,   D O I   1 0 . 1 0 7 4 / m c p . M 1 1 1 . 0 1 0 1 9 9 ;   N e s v i z h s k i i   A I ,   2 0 0 5 ,   M O L   C E L L   P R O T E O M I C S ,   V 4 ,   P 1 4 1 9 ,   D O I   1 0 . 1 0 7 4 / m c p . R 5 0 0 0 1 2 - M C P 2 0 0 ;   N i l s s o n   T ,   2 0 1 0 ,   N A T   M E T H O D S ,   V 7 ,   P 6 8 1 ,   D O I   1 0 . 1 0 3 8 / n m e t h 0 9 1 0 - 6 8 1 ;   O b e r g   A L ,   2 0 0 9 ,   J   P R O T E O M E   R E S ,   V 8 ,   P 2 1 4 4 ,   D O I   1 0 . 1 0 2 1 / p r 8 0 1 0 0 9 9 ;   O r c h a r d   S ,   2 0 1 1 ,   P R O T E O M I C S ,   V 1 1 ,   P 4 2 8 4 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 1 1 9 0 1 1 7 ;   P i c o t t i   P ,   2 0 1 0 ,   N A T   M E T H O D S ,   V 7 ,   P 4 3 ,   D O I   [ 1 0 . 1 0 3 8 / n m e t h . 1 4 0 8 ,   1 0 . 1 0 3 8 / N M E T H . 1 4 0 8 ] ;   P r l i c   A ,   2 0 0 5 ,   B I O I N F O R M A T I C S ,   V 2 1 ,   P 4 0 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t i 1 1 0 6 ;   P r u i t t   K D ,   2 0 0 7 ,   N U C L E I C   A C I D S   R E S ,   V 3 5 ,   p D 6 1 ,   D O I   1 0 . 1 0 9 3 / n a r / g k l 8 4 2 ;   R e i d e g e l d   K A ,   2 0 0 8 ,   P R O T E O M I C S ,   V 8 ,   P 1 1 2 9 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 0 7 0 1 0 7 3 ;   R e i s i n g e r   F ,   2 0 0 9 ,   P R O T E O M I C S ,   V 9 ,   P 4 4 2 1 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 0 9 0 0 2 5 4 ;   R o d r i g u e z   J ,   2 0 0 8 ,   J   P R O T E O M E   R E S ,   V 7 ,   P 3 0 0 ,   D O I   1 0 . 1 0 2 1 / p r 0 7 0 5 0 3 5 ;   S h e r m a n   J ,   2 0 0 9 ,   M O L   C E L L   P R O T E O M I C S ,   V 8 ,   P 2 0 5 1 ,   D O I   1 0 . 1 0 7 4 / m c p . M 8 0 0 5 1 2 - M C P 2 0 0 ;   S h e r w o o d   C A ,   2 0 0 9 ,   J   P R O T E O M E   R E S ,   V 8 ,   P 4 2 4 3 ,   D O I   1 0 . 1 0 2 1 / p r 9 0 0 2 9 8 b ;   S i e p e n   J A ,   2 0 0 7 ,   J   P R O T E O M E   R E S ,   V 6 ,   P 3 9 9 ,   D O I   1 0 . 1 0 2 1 / p r 0 6 0 5 0 7 u ;   S m e d l e y   D ,   2 0 0 9 ,   B M C   G E N O M I C S ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 6 4 - 1 0 - 2 2 ;   S w a n e y   D L ,   2 0 1 0 ,   J   P R O T E O M E   R E S ,   V 9 ,   P 1 3 2 3 ,   D O I   1 0 . 1 0 2 1 / p r 9 0 0 8 6 3 u ;   S z k l a r c z y k   D ,   2 0 1 1 ,   N U C L E I C   A C I D S   R E S ,   V 3 9 ,   p D 5 6 1 ,   D O I   1 0 . 1 0 9 3 / n a r / g k q 9 7 3 ;   T a b b   D L ,   2 0 0 8 ,   J   P R O T E O M E   R E S ,   V 7 ,   P 3 8 3 8 ,   D O I   1 0 . 1 0 2 1 / p r 8 0 0 1 5 4 p ;   T a b b   D L ,   2 0 0 3 ,   A N A L   C H E M ,   V 7 5 ,   P 6 4 1 5 ,   D O I   1 0 . 1 0 2 1 / a c 0 3 4 7 4 6 2 ;   T a y l o r   C E ,   2 0 0 6 ,   P R O T E O M I C S ,   P 3 9 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 0 6 0 0 5 4 9 ;   T h a r a k a n   R ,   2 0 1 0 ,   P R O T E O M I C S ,   V 1 0 ,   P 1 1 6 0 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 0 9 0 0 4 3 3 ;   T h e   U n i P r o t   C o n s o r t i u m ,   2 0 1 0 ,   N U C L E I C   A C I D S   R E S ,   V 3 8 ,   P 1 4 2 ;   T h i e d e   B ,   2 0 0 0 ,   R A P I D   C O M M U N   M A S S   S P ,   V 1 4 ,   P 4 9 6 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 7 - 0 2 3 1 ( 2 0 0 0 0 3 3 1 ) 1 4 : 6 < 4 9 6 : : A I D - R C M 8 9 9 > 3 . 0 . C O ; 2 - 1 ;   V a n   D a m m e   P ,   2 0 0 5 ,   N A T   M E T H O D S ,   V 2 ,   P 7 7 1 ,   D O I   1 0 . 1 0 3 8 / N M E T H 7 9 2 ;   V a u d e l   M ,   2 0 1 1 ,   P R O T E O M I C S ,   V 1 1 ,   P 2 1 0 5 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 1 0 0 0 7 0 4 ;   V i l l a v e c e s   J M ,   2 0 1 1 ,   B I O I N F O R M A T I C S ,   V 2 7 ,   P 2 6 1 6 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t r 4 3 3 ;   V i z c a i n o   J A ,   2 0 1 0 ,   N U C L E I C   A C I D S   R E S ,   V 3 8 ,   P 7 3 6 ;   V i z c a i n o   J A ,   2 0 0 9 ,   P R O T E O M   C L I N   A P P L ,   V 3 ,   P 1 8 ,   D O I   1 0 . 1 0 0 2 / p r c a . 2 0 0 8 0 0 0 8 2 ;   V i z c a i n o   J A ,   2 0 0 7 ,   P R O T E O M I C S ,   V 7 ,   P 2 3 5 5 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 0 7 0 0 0 6 4 ;   W a n g   R ,   2 0 1 2 ,   N A T   B I O T E C H N O L ,   V 3 0 ,   P 1 3 5 ,   D O I   1 0 . 1 0 3 8 / n b t . 2 1 1 2 ;   W o o l l a r d   P M ,   2 0 1 0 ,   M E T H O D S   M O L   B I O L ,   V 6 2 8 ,   P 3 9 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 6 0 3 2 7 - 3 6 7 - 1 _ 3 ;   Y A T E S   J R ,   1 9 9 5 ,   A N A L   C H E M ,   V 6 7 ,   P 1 4 2 6 ,   D O I   1 0 . 1 0 2 1 / a c 0 0 1 0 4 a 0 2 0 ;   Y e n   C Y ,   2 0 0 6 ,   A N A L   C H E M ,   V 7 8 ,   P 1 0 7 1 ,   D O I   1 0 . 1 0 2 1 / a c 0 5 1 1 2 7 f ;   Y e n   C Y ,   2 0 0 9 ,   M O L   C E L L   P R O T E O M I C S ,   V 8 ,   P 8 5 7 ,   D O I   1 0 . 1 0 7 4 / m c p . M 8 0 0 3 8 4 - M C P 2 0 0 ;   Y e n   C Y ,   2 0 1 1 ,   M O L   C E L L   P R O T E O M I C S ,   V 1 0 ,   D O I   1 0 . 1 0 7 4 / m c p . M 1 1 1 . 0 0 7 6 6 6 ;   Z h a n g   X ,   2 0 1 1 ,   P R O T E O M I C S ,   V 1 1 ,   P 1 0 7 5 ,   D O I   1 0 . 1 0 0 2 / p m i c . 2 0 1 0 0 0 4 9 2 ;   Z h a n g   Z Q ,   2 0 0 4 ,   A N A L   C H E M ,   V 7 6 ,   P 3 9 0 8 ,   D O I   1 0 . 1 0 2 1 / a c 0 4 9 9 5 1 b ;   Z h a n g   Z Q ,   2 0 0 5 ,   A N A L   C H E M ,   V 7 7 ,   P 6 3 6 4 ,   D O I   1 0 . 1 0 2 1 / a c 0 5 0 8 5 7 k 	 1 0 1 	 4 	 4 	 S P R I N G E R   W I E N 	 W I E N 	 S A C H S E N P L A T Z   4 - 6 ,   P O   B O X   8 9 ,   A - 1 2 0 1   W I E N ,   A U S T R I A 	 0 9 3 9 - 4 4 5 1 	 	 	 A M I N O   A C I D S 	 A m i n o   A c i d s 	 A P R 	 2 0 1 3 	 4 4 	 4 	 	 	 	 	 1 1 2 9 	 1 1 3 7 	 	 1 0 . 1 0 0 7 / s 0 0 7 2 6 - 0 1 2 - 1 4 5 5 - z 	 	 9 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y 	 1 0 8 H M 	 W O S : 0 0 0 3 1 6 2 8 3 2 0 0 0 0 4 	 2 3 3 7 7 5 6 9 	 
 J 	 B o u d r e a u ,   K J ;   L a k h a n i ,   K R 	 	 	 	 B o u d r e a u ,   K e v i n   J . ;   L a k h a n i ,   K a r i m   R . 	 	 	 U s i n g   t h e   C r o w d   a s   a n   I n n o v a t i o n   P a r t n e r 	 H A R V A R D   B U S I N E S S   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 F r o m   A p p l e   t o   M e r c k   t o   W i k i p e d i a ,   m o r e   a n d   m o r e   o r g a n i z a t i o n s   a r e   t u r n i n g   t o   c r o w d s   f o r   h e l p   i n   s o l v i n g   t h e i r   m o s t   v e x i n g   i n n o v a t i o n   a n d   r e s e a r c h   q u e s t i o n s ,   b u t   m a n a g e r s   r e m a i n   u n d e r s t a n d a b l y   c a u t i o u s .   I t   s e e m s   r i s k y   a n d   e v e n   u n n a t u r a l   t o   p u s h   p r o b l e m s   o u t   t o   v a s t   g r o u p s   o f   s t r a n g e r s   d i s t r i b u t e d   a r o u n d   t h e   w o r l d ,   p a r t i c u l a r l y   f o r   c o m p a n i e s   b u i l t   o n   a   h i s t o r y   o f   i n t e r n a l   i n n o v a t i o n .   H o w   c a n   i n t e l l e c t u a l   p r o p e r t y   b e   p r o t e c t e d ?   H o w   c a n   a   c r o w d - s o u r c e d   s o l u t i o n   b e   i n t e g r a t e d   i n t o   c o r p o r a t e   o p e r a t i o n s ?   W h a t   a b o u t   t h e   c o s t s ?   T h e s e   c o n c e r n s   a r e   a l l   r e a s o n a b l e ,   t h e   a u t h o r s   w r i t e ,   b u t   e x c l u d i n g   c r o w d s o u r c i n g   f r o m   t h e   c o r p o r a t e   i n n o v a t i o n   t o o l   k i t   m e a n s   l o s i n g   a n   o p p o r t u n i t y .   A f t e r   a   d e c a d e   o f   s t u d y ,   t h e y   h a v e   i d e n t i f i e d   w h e n   c r o w d s   t e n d   t o   o u t p e r f o r m   i n t e r n a l   o r g a n i z a t i o n s   ( o r   n o t ) .   T h e y   o u t l i n e   f o u r   w a y s   t o   t a p   i n t o   c r o w d - p o w e r e d   p r o b l e m   s o l v i n g - c o n t e s t s ,   c o l l a b o r a t i v e   c o m m u n i t i e s ,   c o m p l e m e n t o r s ,   a n d   l a b o r   m a r k e t s - a n d   o f f e r   a   s y s t e m   f o r   p i c k i n g   t h e   b e s t   o n e   i n   a   g i v e n   s i t u a t i o n .   C o n t e s t s ,   f o r   e x a m p l e ,   a r e   s u i t e d   t o   h i g h l y   c h a l l e n g i n g   t e c h n i c a l ,   a n a l y t i c a l ,   a n d   s c i e n t i f i c   p r o b l e m s ;   d e s i g n   p r o b l e m s ;   a n d   c r e a t i v e   o r   a e s t h e t i c   p r o j e c t s .   T h e y   a r e   a k i n   t o   r u n n i n g   a   s e r i e s   o f   i n d e p e n d e n t   e x p e r i m e n t s   t h a t   g e n e r a t e   m u l t i p l e   s o l u t i o n s - a n d   i f   t h o s e   s o l u t i o n s   c l u s t e r   a t   s o m e   e x t r e m e ,   a   c o m p a n y   c a n   g a i n   i n s i g h t   i n t o   w h e r e   a   p r o b l e m ' s   " t e c h n i c a l   f r o n t i e r "   l i e s .   ( I n t e r n a l   R & D   m a y   g e n e r a t e   f a r   l e s s   i n f o r m a t i o n . )   H B R   R e p r i n t   R 1 3 0 4 C 	 [ B o u d r e a u ,   K e v i n   J . ]   L o n d o n   B u s i n e s s   S c h ,   L o n d o n ,   E n g l a n d ;   [ L a k h a n i ,   K a r i m   R . ]   H a r v a r d   U n i v ,   S c h   B u s i n e s s ,   C a m b r i d g e ,   M A   0 2 1 3 8   U S A ;   [ L a k h a n i ,   K a r i m   R . ]   I n s t   Q u a n t i t a t   S o c i a l   S c i ,   H a r v a r d   N A S A   T o u r n a m e n t   L a b ,   C a m b r i d g e ,   E n g l a n d 	 B o u d r e a u ,   K J   ( r e p r i n t   a u t h o r ) ,   L o n d o n   B u s i n e s s   S c h ,   L o n d o n ,   E n g l a n d . 	 	 	 	 	 	 	 0 	 3 	 3 	 H A R V A R D   B U S I N E S S   S C H O O L   P U B L I S H I N G   C O R P O R A T I O N 	 W A T E R T O W N 	 3 0 0   N O R T H   B E A C O N   S T R E E T ,   W A T E R T O W N ,   M A   0 2 4 7 2   U S A 	 0 0 1 7 - 8 0 1 2 	 	 	 H A R V A R D   B U S   R E V 	 H a r v .   B u s .   R e v . 	 A P R 	 2 0 1 3 	 9 1 	 4 	 	 	 	 	 6 0 	 + 	 	 	 	 1 1 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 1 1 1 J Q 	 W O S : 0 0 0 3 1 6 5 1 8 0 0 0 0 3 6 	 2 3 5 9 3 7 6 8 	 
 J 	 H a y ,   S I ;   B a t t l e ,   K E ;   P i g o t t ,   D M ;   S m i t h ,   D L ;   M o y e s ,   C L ;   B h a t t ,   S ;   B r o w n s t e i n ,   J S ;   C o l l i e r ,   N ;   M y e r s ,   M F ;   G e o r g e ,   D B ;   G e t h i n g ,   P W 	 	 	 	 H a y ,   S i m o n   I . ;   B a t t l e ,   K a t h e r i n e   E . ;   P i g o t t ,   D a v i d   M . ;   S m i t h ,   D a v i d   L . ;   M o y e s ,   C a t h e r i n e   L . ;   B h a t t ,   S a m i r ;   B r o w n s t e i n ,   J o h n   S . ;   C o l l i e r ,   N i g e l ;   M y e r s ,   M o n i c a   F . ;   G e o r g e ,   D y l a n   B . ;   G e t h i n g ,   P e t e r   W . 	 	 	 G l o b a l   m a p p i n g   o f   i n f e c t i o u s   d i s e a s e 	 P H I L O S O P H I C A L   T R A N S A C T I O N S   O F   T H E   R O Y A L   S O C I E T Y   B - B I O L O G I C A L   S C I E N C E S 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 s u r v e i l l a n c e ;   b i o s u r v e i l l a n c e ;   c a r t o g r a p h y ;   p u b l i c   h e a l t h ;   a t l a s ;   c r o w d s o u r c i n g 	 D O M I N A N T   A N O P H E L E S   V E C T O R S ;   M O D E L - B A S E D   G E O S T A T I S T I C S ;   D I S T R I B U T I O N   M A P S ;   B I O N O M I C   P R E C I S ;   H U M A N   M A L A R I A ;   P L A S M O D I U M - F A L C I P A R U M ;   P O P U L A T I O N   B I O L O G Y ;   H O S T - R A N G E ;   T R A N S M I S S I O N ;   H E A L T H 	 T h e   p r i m a r y   a i m   o f   t h i s   r e v i e w   w a s   t o   e v a l u a t e   t h e   s t a t e   o f   k n o w l e d g e   o f   t h e   g e o g r a p h i c a l   d i s t r i b u t i o n   o f   a l l   i n f e c t i o u s   d i s e a s e s   o f   c l i n i c a l   s i g n i f i c a n c e   t o   h u m a n s .   A   s y s t e m a t i c   r e v i e w   w a s   c o n d u c t e d   t o   e n u m e r a t e   c a r t o g r a p h i c   p r o g r e s s ,   w i t h   r e s p e c t   t o   t h e   d a t a   a v a i l a b l e   f o r   m a p p i n g   a n d   t h e   m e t h o d s   c u r r e n t l y   a p p l i e d .   T h e   r e s u l t s   h e l p e d   d e f i n e   t h e   m i n i m u m   i n f o r m a t i o n   r e q u i r e m e n t s   f o r   m a p p i n g   i n f e c t i o u s   d i s e a s e   o c c u r r e n c e ,   a n d   a   q u a n t i t a t i v e   f r a m e w o r k   f o r   a s s e s s i n g   t h e   m a p p i n g   o p p o r t u n i t i e s   f o r   a l l   i n f e c t i o u s   d i s e a s e s .   T h i s   r e v e a l e d   t h a t   o f   3 5 5   i n f e c t i o u s   d i s e a s e s   i d e n t i f i e d ,   1 7 4   ( 4 9 % )   h a v e   a   s t r o n g   r a t i o n a l e   f o r   m a p p i n g   a n d   o f   t h e s e   o n l y   7   ( 4 % )   h a d   b e e n   c o m p r e h e n s i v e l y   m a p p e d .   A   v a r i e t y   o f   a m b i t i o n s ,   s u c h   a s   t h e   q u a n t i f i c a t i o n   o f   t h e   g l o b a l   b u r d e n   o f   i n f e c t i o u s   d i s e a s e ,   i n t e r n a t i o n a l   b i o s u r v e i l l a n c e ,   a s s e s s i n g   t h e   l i k e l i h o o d   o f   i n f e c t i o u s   d i s e a s e   o u t b r e a k s   a n d   e x p l o r i n g   t h e   p r o p e n s i t y   f o r   i n f e c t i o u s   d i s e a s e   e v o l u t i o n   a n d   e m e r g e n c e ,   a r e   l i m i t e d   b y   t h e s e   o m i s s i o n s .   A n   o v e r v i e w   o f   t h e   f a c t o r s   h i n d e r i n g   p r o g r e s s   i n   d i s e a s e   c a r t o g r a p h y   i s   p r o v i d e d .   I t   i s   a r g u e d   t h a t   r a p i d   i m p r o v e m e n t   i n   t h e   l a n d s c a p e   o f   i n f e c t i o u s   d i s e a s e s   m a p p i n g   c a n   b e   m a d e   b y   e m b r a c i n g   n o n - c o n v e n t i o n a l   d a t a   s o u r c e s ,   a u t o m a t i o n   o f   g e o - p o s i t i o n i n g   a n d   m a p p i n g   p r o c e d u r e s   e n a b l e d   b y   m a c h i n e   l e a r n i n g   a n d   i n f o r m a t i o n   t e c h n o l o g y ,   r e s p e c t i v e l y ,   i n   a d d i t i o n   t o   h a r n e s s i n g   l a b o u r   o f   t h e   v o l u n t e e r   ' c o g n i t i v e   s u r p l u s '   t h r o u g h   c r o w d s o u r c i n g . 	 [ H a y ,   S i m o n   I . ;   B a t t l e ,   K a t h e r i n e   E . ;   P i g o t t ,   D a v i d   M . ;   M o y e s ,   C a t h e r i n e   L . ;   B h a t t ,   S a m i r ;   M y e r s ,   M o n i c a   F . ;   G e t h i n g ,   P e t e r   W . ]   U n i v   O x f o r d ,   D e p t   Z o o l ,   S p a t i a l   E c o l   &   E p i d e m i o l   G r p ,   O x f o r d   O X 1   3 P S ,   E n g l a n d ;   [ H a y ,   S i m o n   I . ;   S m i t h ,   D a v i d   L . ;   G e o r g e ,   D y l a n   B . ]   N I H ,   F o g a r t y   I n t   C t r ,   B e t h e s d a ,   M D   2 0 8 9 2   U S A ;   [ S m i t h ,   D a v i d   L . ]   J o h n s   H o p k i n s   B l o o m b e r g   S c h   P u b l   H l t h ,   D e p t   E p i d e m i o l ,   B a l t i m o r e ,   M D   U S A ;   [ S m i t h ,   D a v i d   L . ]   J o h n s   H o p k i n s   B l o o m b e r g   S c h   P u b l   H l t h ,   M a l a r i a   R e s   I n s t ,   B a l t i m o r e ,   M D   U S A ;   [ B r o w n s t e i n ,   J o h n   S . ]   H a r v a r d   U n i v ,   S c h   M e d ,   D e p t   P e d i a t ,   B o s t o n ,   M A   0 2 1 1 5   U S A ;   [ B r o w n s t e i n ,   J o h n   S . ]   B o s t o n   C h i l d r e n s   H o s p ,   C h i l d r e n s   H o s p   I n f o r m a t   P r o g r a m ,   B o s t o n ,   M A   U S A ;   [ C o l l i e r ,   N i g e l ]   R e s   O r g   I n f o r m a t   &   S y s t ,   N a t l   I n s t   I n f o r m a t ,   T o k y o ,   J a p a n 	 H a y ,   S I   ( r e p r i n t   a u t h o r ) ,   U n i v   O x f o r d ,   D e p t   Z o o l ,   S p a t i a l   E c o l   &   E p i d e m i o l   G r p ,   S   P a r k s   R d ,   O x f o r d   O X 1   3 P S ,   E n g l a n d . 	 s i m o n . h a y @ z o o . o x . a c . u k 	 S m i t h ,   D a v i d / L - 8 8 5 0 - 2 0 1 3 	 S m i t h ,   D a v i d / 0 0 0 0 - 0 0 0 3 - 4 3 6 7 - 3 8 4 9 	 W e l l c o m e   T r u s t   [ 0 9 5 0 6 6 ] ;   S c i e n c e   &   T e c h n o l o g y   D i r e c t o r a t e ,   D e p a r t m e n t   o f   H o m e l a n d   S e c u r i t y ;   F o g a r t y   I n t e r n a t i o n a l   C e n t e r ,   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h ;   W e l l c o m e   T r u s t ,   U K 	 T h e   c a t a l y s t   f o r   t h i s   r e v i e w   w a s   a   N a t i o n a l   I n s t i t u t e   f o r   M a t h e m a t i c a l   a n d   B i o l o g i c a l   S y n t h e s i s   ( N I M B i o S )   a n d   t h e   U S   D e p a r t m e n t   o f   D e f e n s e   h o s t e d   m e e t i n g   o n   i n f e c t i o u s   d i s e a s e   m o d e l l i n g   ( 2 3 - 2 5   J a n u a r y   2 0 1 1 ,   K n o x v i l l e ,   T N ,   U S A ) .   N I M B i o S   a l s o   p r o v i d e d   K .   E .   B .   w i t h   r e s o u r c e s   t o   c o n d u c t   t h e   l i t e r a t u r e   r e v i e w .   S .   I .   H .   i s   f i n a n c i a l l y   s u p p o r t e d   b y   a   S e n i o r   R e s e a r c h   F e l l o w s h i p   f r o m   t h e   W e l l c o m e   T r u s t   ( n o .   0 9 5 0 6 6 )   w h i c h   a l s o   s u p p o r t s   P .   W .   G . ,   K .   E .   B .   a n d   D .   M .   P . ;   S .   I .   H . ,   D .   L .   S .   a n d   D .   B .   G .   a l s o   a c k n o w l e d g e   s u p p o r t   f r o m   t h e   R A P I D D   p r o g r a m m e   o f   t h e   S c i e n c e   &   T e c h n o l o g y   D i r e c t o r a t e ,   D e p a r t m e n t   o f   H o m e l a n d   S e c u r i t y ,   a n d   t h e   F o g a r t y   I n t e r n a t i o n a l   C e n t e r ,   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   ( h t t p : / / w w w . f i c . n i h . g o v ) .   T h i s   w o r k   a l s o   f o r m s   p a r t   o f   t h e   o u t p u t   o f   t h e   M a l a r i a   A t l a s   P r o j e c t   ( M A P ,   h t t p : / / w w w . m a p . o x . a c . u k ) ,   p r i n c i p a l l y   f i n a n c i a l l y   s u p p o r t e d   b y   t h e   W e l l c o m e   T r u s t ,   U K   ( h t t p : / / w w w . w e l l c o m e . a c . u k ) .   T h e   f u n d e r s   h a d   n o   r o l e   i n   s t u d y   d e s i g n ,   d a t a   c o l l e c t i o n   a n d   a n a l y s i s ,   d e c i s i o n   t o   p u b l i s h ,   o r   p r e p a r a t i o n   o f   t h e   m a n u s c r i p t .   T h a n k s   a r e   e x t e n d e d   t o   D r   K e v i n   H a n s o n   a n d   P r o f .   L o u i s   G r o s s   f o r   i n s i g h t f u l   c o m m e n t s ,   t o   t h e   G l o b a l   I n f e c t i o u s   D i s e a s e s   a n d   E p i d e m i o l o g y   N e t w o r k   ( G I D E O N )   f o r   p e r m i s s i o n   t o   r e p r o d u c e   t h e i r   d a t a   w i t h i n   t h e   3 5 5   m a p s   o f   t h e   s u p p l e m e n t a r y   m a t e r i a l .   F i n a l l y ,   w e   a r e   g r a t e f u l   t o   t h e   e d i t o r s   D r   O l i v e r   P y b u s ,   P r o f .   C h r i s t o p h e   F r a s e r   a n d   P r o f .   A n d r e w   R a m b a u t   f o r   i n v i t i n g   u s   t o   p a r t i c i p a t e   i n   t h e   s c i e n t i f i c   d i s c u s s i o n   m e e t i n g . 	 A n d e r s o n   R .   M . ,   1 9 9 1 ,   I N F E C T   D I S   H U M A N S   D Y ;   A N D E R S O N   R M ,   1 9 7 9 ,   N A T U R E ,   V 2 8 0 ,   P 3 6 1 ,   D O I   1 0 . 1 0 3 8 / 2 8 0 3 6 1 a 0 ;   A s p i n a l l   W ,   2 0 1 0 ,   N A T U R E ,   V 4 6 3 ,   P 2 9 4 ,   D O I   1 0 . 1 0 3 8 / 4 6 3 2 9 4 a ;   B a l k   D L ,   2 0 0 6 ,   A D V   P A R A S I T ,   V 6 2 ,   P 1 1 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 6 5 - 3 0 8 X ( 0 5 ) 6 2 0 0 4 - 0 ;   B e n s o n   D A ,   2 0 1 2 ,   N U C L E I C   A C I D S   R E S ,   V 4 0 ,   p D 4 8 ,   D O I   1 0 . 1 0 9 3 / n a r / g k r 1 2 0 2 ;   B I L O F S K Y   H S ,   1 9 8 8 ,   N U C L E I C   A C I D S   R E S ,   V 1 6 ,   P 1 8 6 1 ,   D O I   1 0 . 1 0 9 3 / n a r / 1 6 . 5 . 1 8 6 1 ;   B l a z e s   D ,   2 0 1 1 ,   N A T U R E ,   V 4 7 7 ,   P 3 9 5 ,   D O I   1 0 . 1 0 3 8 / 4 7 7 3 9 5 a ;   B r o w n s t e i n   J S ,   2 0 0 8 ,   P L O S   M E D ,   V 5 ,   P 1 0 1 9 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 0 0 5 0 1 5 1 ;   C . D . C ,   2 0 0 9 ,   C D C   H L T H   I N F   I N T   T R A ;   C h e w   C ,   2 0 1 0 ,   P L O S   O N E ,   V 5 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 4 1 1 8 ;   C l e a v e l a n d   S ,   2 0 0 1 ,   P H I L O S   T   R O Y   S O C   B ,   V 3 5 6 ,   P 9 9 1 ,   D O I   1 0 . 1 0 9 8 / r s t b . 2 0 0 1 . 0 8 8 9 ;   C l e m e n t s   A C A ,   2 0 0 6 ,   P A R A S I T O L O G Y ,   V 1 3 3 ,   P 7 1 1 ,   D O I   1 0 . 1 0 1 7 / S 0 0 3 1 1 8 2 0 0 6 0 0 1 1 8 1 ;   C l i f f   A . ,   2 0 0 4 ,   W O R L D   A T L A S   E P I D E M I C ;   C l i f f   A .   D . ,   2 0 0 9 ,   E M E R G E N C E   R E E M E R G E N C ;   C o l l i e r   N ,   2 0 1 0 ,   P   2 3   I N T   C   C O M P   L I N G ;   C o l l i e r   N ,   2 0 0 8 ,   B I O I N F O R M A T I C S ,   V 2 4 ,   P 2 9 4 0 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t n 5 3 4 ;   C o o k e   R .   M . ,   1 9 9 1 ,   E X P E R T S   U N C E R T A I N T Y ;   C r o m l e y   E K ,   2 0 0 2 ,   G I S   P U B L I C   H L T H ;   D e ' a t h   G ,   2 0 0 7 ,   E C O L O G Y ,   V 8 8 ,   P 2 4 3 ,   D O I   1 0 . 1 8 9 0 / 0 0 1 2 - 9 6 5 8 ( 2 0 0 7 ) 8 8 [ 2 4 3 : B T F E M A ] 2 . 0 . C O ; 2 ;   D i g g l e   P J ,   2 0 0 7 ,   S P R I N G E R   S E R   S T A T ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 0 - 3 8 7 - 4 8 5 3 6 - 2 ;   D i g g l e   P J ,   2 0 0 7 ,   A N N   T R O P   M E D   P A R A S I T ,   V 1 0 1 ,   P 4 9 9 ,   D O I   1 0 . 1 1 7 9 / 1 3 6 4 8 5 9 0 7 X 2 2 9 1 2 1 ;   D i g g l e   P J ,   1 9 9 8 ,   J   R   S T A T   S O C   C - A P P L ,   V 4 7 ,   P 2 9 9 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 8 7 6 . 0 0 1 1 3 ;   D o b s o n   A P ,   1 9 9 6 ,   B I O S C I E N C E ,   V 4 6 ,   P 1 1 5 ,   D O I   1 0 . 2 3 0 7 / 1 3 1 2 8 1 4 ;   D o h e r r   M G ,   2 0 0 1 ,   P H I L O S   T   R O Y   S O C   B ,   V 3 5 6 ,   P 1 0 9 7 ,   D O I   1 0 . 1 0 9 8 / r s t b . 2 0 0 1 . 0 8 9 8 ;   E d b e r g   S C ,   2 0 0 5 ,   C L I N   I N F E C T   D I S ,   V 4 0 ,   P 1 2 3 ,   D O I   1 0 . 1 0 8 6 / 4 2 6 5 4 9 ;   E l i t h   J ,   2 0 0 8 ,   J   A N I M   E C O L ,   V 7 7 ,   P 8 0 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 6 5 6 . 2 0 0 8 . 0 1 3 9 0 . x ;   E l i t h   J ,   2 0 0 6 ,   E C O G R A P H Y ,   V 2 9 ,   P 1 2 9 ,   D O I   1 0 . 1 1 1 1 / j . 2 0 0 6 . 0 9 0 6 - 7 5 9 0 . 0 4 5 9 6 . x ;   F e f f e r m a n   N h ,   2 0 1 0 ,   E m e r g   H e a l t h   T h r e a t s   J ,   V 3 ,   p e 6 ,   D O I   1 0 . 3 1 3 4 / e h t j . 1 0 . 0 0 6 ;   F i s h e r   M C ,   2 0 1 2 ,   N A T U R E ,   V 4 8 4 ,   P 1 8 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 1 0 9 4 7 ;   F r e i f e l d   C C ,   2 0 0 8 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 5 ,   P 1 5 0 ,   D O I   1 0 . 1 1 9 7 / j a m i a . M 2 5 4 4 ;   G a y e r   M ,   2 0 0 7 ,   E M E R G   I N F E C T   D I S ,   V 1 3 ,   P 1 6 2 5 ,   D O I   1 0 . 3 2 0 1 / e i d 1 3 1 1 . 0 6 1 0 9 3 ;   G e t h i n g   P W ,   2 0 1 1 ,   P A R A S I T E   V E C T O R ,   V 4 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 6 - 3 3 0 5 - 4 - 9 2 ;   G e t h i n g   P W ,   2 0 1 2 ,   P L O S   N E G L E C T   T R O P   D ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p n t d . 0 0 0 1 8 1 4 ;   G e t h i n g   P W ,   2 0 1 0 ,   P L O S   M E D ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 1 0 0 0 3 0 1 ;   G e t h i n g   P W ,   2 0 1 1 ,   M A L A R I A   J ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 5 - 2 8 7 5 - 1 0 - 3 7 8 ;   G l o b a l   I n f e c t i o u s   D i s e a s e s   a n d   E p i d e m i o l o g y   N e t w o r k   ( G I D E O N ) ,   2 0 1 1 ,   W O R L D S   P R E M   G L O B   I N F ;   G u e r n i e r   V ,   2 0 0 4 ,   P L O S   B I O L ,   V 2 ,   P 7 4 0 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l / p b i o . 0 0 2 0 1 4 1 ;   G u e r n i e r   V ,   2 0 0 9 ,   E C O H E A L T H ,   V 6 ,   P 5 0 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 3 9 3 - 0 1 0 - 0 2 9 0 - 5 ;   H a l l   R ,   2 0 1 1 ,   J   I N F E C T   D I S ,   V 2 0 4 ,   p S 1 5 8 ,   D O I   1 0 . 1 0 9 3 / i n f d i s / j i r 1 2 4 ;   H a r r i s o n   L e e   H ,   2 0 1 1 ,   V a c c i n e ,   V 2 9 ,   P 3 3 6 3 ,   D O I   1 0 . 1 0 1 6 / j . v a c c i n e . 2 0 1 1 . 0 2 . 0 5 8 ;   H a r t l e y   D m ,   2 0 1 0 ,   E m e r g   H e a l t h   T h r e a t s   J ,   V 3 ,   p e 3 ,   D O I   1 0 . 3 1 3 4 / e h t j . 1 0 . 0 0 3 ;   H a y   S I ,   2 0 0 6 ,   A D V   P A R A S I T ,   V 6 2 ,   P 1 ;   H a y   S I ,   2 0 0 6 ,   A D V   P A R A S I T ,   V 6 2 ,   P 3 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 6 5 - 3 0 8 X ( 0 5 ) 6 2 0 0 2 - 7 ;   H a y   S I ,   2 0 1 0 ,   P L O S   M E D ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 1 0 0 0 2 9 0 ;   H a y   S I ,   2 0 1 0 ,   P L O S   M E D ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 1 0 0 0 2 0 9 ;   H a y   S I ,   2 0 0 0 ,   A D V   P A R A S I T ,   V 4 7 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / S 0 0 6 5 - 3 0 8 X ( 0 0 ) 4 7 0 0 5 - 3 ;   H a y   S I ,   2 0 0 6 ,   P L O S   M E D ,   V 3 ,   P 2 2 0 4 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 0 0 3 0 4 7 3 ;   H a y   S I ,   2 0 0 9 ,   P L O S   M E D ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 1 0 0 0 0 4 8 ;   H e h i r   P ,   1 9 2 7 ,   M A L A R I A   I N D I A ;   H e y m a n n   D . ,   2 0 0 8 ,   C O N T R O L   C O M M U N I C A B L E ;   H i r s c h   A . ,   1 8 8 3 ,   H D B   G E O G R A P H I C A L   H I S ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H U T C H I N S O N   G E ,   1 9 5 7 ,   C O L D   S P R I N G   H A R B   S Y M ,   V 2 2 ,   P 4 1 5 ;   H u t t   M S R ,   1 9 8 6 ,   G E O G R A P H Y   N O N I N F E C T I ;   J o n e s   K E ,   2 0 0 8 ,   N A T U R E ,   V 4 5 1 ,   P 9 9 0 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 6 5 3 6 ;   K e e s i n g   F ,   2 0 1 0 ,   N A T U R E ,   V 4 6 8 ,   P 6 4 7 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 5 7 5 ;   K h a n   K ,   2 0 1 2 ,   L A N C E T   I N F E C T   D I S ,   V 1 2 ,   P 2 2 2 ,   D O I   1 0 . 1 0 1 6 / S 1 4 7 3 - 3 0 9 9 ( 1 1 ) 7 0 3 1 3 - 9 ;   K i t t u r   A ,   2 0 0 8 ,   C R O W D S O U R C I N G   U S E R   S ;   K o c h   T ,   2 0 1 1 ,   D I S   M A P S   E P I D E M I C S   G ;   L i n a r d   C ,   2 0 1 2 ,   I N T   J   H E A L T H   G E O G R ,   V 1 1 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 6 - 0 7 2 X - 1 1 - 7 ;   L y o n   A ,   2 0 1 2 ,   T R A N S B O U N D   E M E R G   D I S ,   V 5 9 ,   P 2 2 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 8 6 5 - 1 6 8 2 . 2 0 1 1 . 0 1 2 5 8 . x ;   L y s e n k o   A ,   1 9 6 8 ,   G E O G R A P H Y   M A L A R I A   M E ;   M a c d o n a l d   G ,   1 9 5 7 ,   L O C A L   F E A T U R E S   M A L A R ,   P 6 3 ;   M a g a l h a e s   R J S ,   2 0 1 1 ,   A D V   P A R A S I T ,   V 7 4 ,   P 2 6 7 ,   D O I   1 0 . 1 0 1 6 / B 9 7 8 - 0 - 1 2 - 3 8 5 8 9 7 - 9 . 0 0 0 0 5 - 7 ;   M a y   J M ,   1 9 5 1 ,   G E O G R   R E V ,   V 4 1 ,   P 6 3 8 ,   D O I   1 0 . 2 3 0 7 / 2 1 0 7 0 9 ;   M A Y   R M ,   1 9 7 9 ,   N A T U R E ,   V 2 8 0 ,   P 4 5 5 ,   D O I   1 0 . 1 0 3 8 / 2 8 0 4 5 5 a 0 ;   M a y   R M ,   2 0 0 1 ,   P H I L O S   T   R O Y   S O C   B ,   V 3 5 6 ,   P 9 0 1 ,   D O I   1 0 . 1 0 9 8 / r s t b . 2 0 0 1 . 0 8 6 6 ;   M E D L I N E ,   2 0 1 1 ,   F A C T   S H E E T ;   M e t s e l a a r   D ,   1 9 5 9 ,   T R O P I C A L   G E O G R A P H I C A ,   V 1 1 ,   P 1 5 7 ;   M i n o r   P D ,   2 0 1 2 ,   J   G E N   V I R O L ,   V 9 3 ,   P 4 5 7 ,   D O I   1 0 . 1 0 9 9 / v i r . 0 . 0 3 6 9 8 8 - 0 ;   M o r e n s   D M ,   2 0 0 4 ,   N A T U R E ,   V 4 3 0 ,   P 2 4 2 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 2 7 5 9 ;   P a m p a n a   E ,   1 9 6 9 ,   T X B   M A L A R I A   E R A D I C A T ;   P a t i l   A P ,   2 0 1 1 ,   T R E N D S   P A R A S I T O L ,   V 2 7 ,   P 2 4 5 ,   D O I   1 0 . 1 0 1 6 / j . p t . 2 0 1 1 . 0 1 . 0 0 3 ;   P A U L   M J ,   2 0 1 1 ,   M O D E L   M I N I N G   P U B L I C ;   P f e i f f e r   D U ,   2 0 0 8 ,   S P A T   A N   E P ;   P r o j e c t   G l o b a l   H e a l t h   G r o u p   a t   M a l a r i a   A t l a s ,   2 0 1 1 ,   A T L   M A L   E L   C O U N T R   2 0 ;   P u b M e d ,   2 0 1 1 ,   P U B M E D   H E L P ;   R a n d o l p h   S E ,   2 0 1 0 ,   N A T   R E V   M I C R O B I O L ,   V 8 ,   P 3 6 1 ,   D O I   1 0 . 1 0 3 8 / n r m i c r o 2 3 3 6 ;   R a s o   G ,   2 0 1 2 ,   M A L A R I A   J ,   V 1 1 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 5 - 2 8 7 5 - 1 1 - 1 6 0 ;   R - D e v e l o p m e n t   C o r e   T e a m ,   2 0 0 8 ,   R   L A N G   E N V   S T A T   C O M P ;   R i l e y   S ,   2 0 0 7 ,   S C I E N C E ,   V 3 1 6 ,   P 1 2 9 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 3 4 6 9 5 ;   R o g e r s   D J ,   2 0 0 6 ,   A D V   P A R A S I T ,   V 6 2 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / S 0 0 6 5 - 3 0 8 X ( 0 5 ) 6 2 0 0 1 - 5 ;   R o g e r s   D J ,   2 0 0 2 ,   N A T U R E ,   V 4 1 5 ,   P 7 1 0 ,   D O I   1 0 . 1 0 3 8 / 4 1 5 7 1 0 a ;   R o g e r s   D J ,   2 0 0 3 ,   N A T   R E V   M I C R O B I O L ,   V 1 ,   P 2 3 1 ,   D O I   1 0 . 1 0 3 8 / n r m i c r o 7 7 6 ;   S a l a t h e   M ,   2 0 1 2 ,   P L O S   C O M P U T   B I O L ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p c b i . 1 0 0 2 6 1 6 ;   S c h a r l e m a n n   J P W ,   2 0 0 8 ,   P L O S   O N E ,   V 3 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 0 1 4 0 8 ;   S h e n g   V S ,   2 0 0 8 ,   G E T   A N O T H E R   L A B E L   I M ;   S h i r k y   C l a y ,   2 0 1 0 ,   C O G N I T I V E   S U R P L U S   C R ;   S i g n o r i n i   A ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 9 4 6 7 ;   S i n k a   M E ,   2 0 1 2 ,   P A R A S I T E   V E C T O R ,   V 5 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 6 - 3 3 0 5 - 5 - 6 9 ;   S i n k a   M E ,   2 0 1 1 ,   P A R A S I T E   V E C T O R ,   V 4 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 6 - 3 3 0 5 - 4 - 8 9 ;   S i n k a   M E ,   2 0 1 0 ,   P A R A S I T E   V E C T O R ,   V 3 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 6 - 3 3 0 5 - 3 - 1 1 7 ;   S i n k a   M E ,   2 0 1 0 ,   P A R A S I T E   V E C T O R ,   V 3 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 6 - 3 3 0 5 - 3 - 7 2 ;   S m i t h   D L ,   2 0 1 0 ,   N A T   C O M M U N ,   V 1 ,   D O I   1 0 . 1 0 3 8 / n c o m m s 1 1 0 7 ;   S m i t h   D L ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 2 ,   P 1 3 8 4 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 0 1 3 9 8 ;   S m i t h   K F ,   2 0 0 7 ,   E C O L O G Y ,   V 8 8 ,   P 1 9 0 3 ,   D O I   1 0 . 1 8 9 0 / 0 6 - 1 0 5 2 . 1 ;   S m i t h   K F ,   2 0 1 0 ,   A N N U   R E V   E C O L   E V O L   S ,   V 4 1 ,   P 2 3 1 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v - e c o l s y s - 1 0 2 2 0 9 - 1 4 4 6 3 4 ;   S O U T H W O O D   T R E ,   1 9 7 7 ,   J   A N I M   E C O L ,   V 4 6 ,   P 3 3 7 ;   S t e v e n s   K B ,   2 0 1 1 ,   S P A T   S P A T I O   T E M P O R A L ,   V 2 ,   P 1 2 5 ,   D O I   [ 1 0 . 1 0 1 6 / j . s s t e . 2 0 1 1 . 0 7 . 0 0 7 ,   D O I   1 0 . 1 0 1 6 / J . S S T E . 2 0 1 1 . 0 7 . 0 0 7 ] ;   T a t e m   A J ,   2 0 1 0 ,   L A N C E T ,   V 3 7 6 ,   P 1 5 7 9 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 0 - 6 7 3 6 ( 1 0 ) 6 1 3 0 1 - 3 ;   T a y l o r   L H ,   2 0 0 1 ,   P H I L O S   T   R O Y   S O C   B ,   V 3 5 6 ,   P 9 8 3 ,   D O I   1 0 . 1 0 9 8 / r s t b . 2 0 0 1 . 0 8 8 8 ;   T o r i i   M ,   2 0 1 1 ,   I N T   J   M E D   I N F O R M ,   V 8 0 ,   P 5 6 ,   D O I   1 0 . 1 0 1 6 / j . i j m e d i n f . 2 0 1 0 . 1 0 . 0 1 5 ;   U N P D   ( U n i t e d   N a t i o n s   P o p u l a t i o n   D i v i s i o n ) ,   2 0 1 0 ,   W O R L D   P O P   P R O S P   2 0 1 0 ;   v o n   A h n   L . ,   2 0 0 6 ,   A C M   C   H U M   F A C T   C O M P ;   V o u n a t s o u   P ,   2 0 0 9 ,   P A R A S I T O L O G Y ,   V 1 3 6 ,   P 1 6 9 5 ,   D O I   1 0 . 1 0 1 7 / S 0 0 3 1 1 8 2 0 0 9 0 0 5 9 9 X ;   W e r t h e i m   H F L ,   2 0 1 2 ,   A T L A S   H U M A N   I N F E C T   D ;   W o l f e   N D ,   2 0 0 5 ,   E M E R G   I N F E C T   D I S ,   V 1 1 ,   P 1 8 2 2 ;   W o l f e   N D ,   2 0 0 7 ,   N A T U R E ,   V 4 4 7 ,   P 2 7 9 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 5 7 7 5 ;   W o o l h o u s e   M ,   2 0 1 1 ,   P H I L O S   T   R   S O C   B ,   V 3 6 6 ,   P 2 0 4 5 ,   D O I   1 0 . 1 0 9 8 / r s t b . 2 0 1 0 . 0 3 8 7 ;   W o o l h o u s e   M E J ,   2 0 0 5 ,   E M E R G   I N F E C T   D I S ,   V 1 1 ,   P 1 8 4 2 ;   W o r l d   H e a l t h   O r g a n i z a t i o n ,   2 0 1 0 ,   I N T   T R A V   H L T H   S I T   1 	 1 1 1 	 1 3 	 1 3 	 R O Y A L   S O C 	 L O N D O N 	 6 - 9   C A R L T O N   H O U S E   T E R R A C E ,   L O N D O N   S W 1 Y   5 A G ,   E N G L A N D 	 0 9 6 2 - 8 4 3 6 	 	 	 P H I L O S   T   R   S O C   B 	 P h i l o s .   T r a n s .   R .   S o c .   B - B i o l .   S c i . 	 M A R   1 9 	 2 0 1 3 	 3 6 8 	 1 6 1 4 	 	 	 	 	 	 	 2 0 1 2 0 2 5 0 	 1 0 . 1 0 9 8 / r s t b . 2 0 1 2 . 0 2 5 0 	 	 1 1 	 B i o l o g y 	 L i f e   S c i e n c e s   &   B i o m e d i c i n e   -   O t h e r   T o p i c s 	 0 8 8 D H 	 W O S : 0 0 0 3 1 4 8 1 3 5 0 0 0 1 4 	 2 3 3 8 2 4 3 1 	 
 J 	 C r u m p ,   M J C ;   M c D o n n e l l ,   J V ;   G u r e c k i s ,   T M 	 	 	 	 C r u m p ,   M a t t h e w   J .   C . ;   M c D o n n e l l ,   J o h n   V . ;   G u r e c k i s ,   T o d d   M . 	 	 	 E v a l u a t i n g   A m a z o n ' s   M e c h a n i c a l   T u r k   a s   a   T o o l   f o r   E x p e r i m e n t a l   B e h a v i o r a l   R e s e a r c h 	 P L O S   O N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 I R R E L E V A N T   L O C A T I O N   I N F O R M A T I O N ;   R E A C T I O N - T I M E   M E A S U R E M E N T ;   A T T E N T I O N A L   B L I N K ;   T A S K ;   I N T E R F E R E N C E ;   I N H I B I T I O N ;   M O D E L 	 A m a z o n   M e c h a n i c a l   T u r k   ( A M T )   i s   a n   o n l i n e   c r o w d s o u r c i n g   s e r v i c e   w h e r e   a n o n y m o u s   o n l i n e   w o r k e r s   c o m p l e t e   w e b - b a s e d   t a s k s   f o r   s m a l l   s u m s   o f   m o n e y .   T h e   s e r v i c e   h a s   a t t r a c t e d   a t t e n t i o n   f r o m   e x p e r i m e n t a l   p s y c h o l o g i s t s   i n t e r e s t e d   i n   g a t h e r i n g   h u m a n   s u b j e c t   d a t a   m o r e   e f f i c i e n t l y .   H o w e v e r ,   r e l a t i v e   t o   t r a d i t i o n a l   l a b o r a t o r y   s t u d i e s ,   m a n y   a s p e c t s   o f   t h e   t e s t i n g   e n v i r o n m e n t   a r e   n o t   u n d e r   t h e   e x p e r i m e n t e r ' s   c o n t r o l .   I n   t h i s   p a p e r ,   w e   a t t e m p t   t o   e m p i r i c a l l y   e v a l u a t e   t h e   f i d e l i t y   o f   t h e   A M T   s y s t e m   f o r   u s e   i n   c o g n i t i v e   b e h a v i o r a l   e x p e r i m e n t s .   T h e s e   t y p e s   o f   e x p e r i m e n t   d i f f e r   f r o m   s i m p l e   s u r v e y s   i n   t h a t   t h e y   r e q u i r e   m u l t i p l e   t r i a l s ,   s u s t a i n e d   a t t e n t i o n   f r o m   p a r t i c i p a n t s ,   c o m p r e h e n s i o n   o f   c o m p l e x   i n s t r u c t i o n s ,   a n d   m i l l i s e c o n d   a c c u r a c y   f o r   r e s p o n s e   r e c o r d i n g   a n d   s t i m u l u s   p r e s e n t a t i o n .   W e   r e p l i c a t e   a   d i v e r s e   b o d y   o f   t a s k s   f r o m   e x p e r i m e n t a l   p s y c h o l o g y   i n c l u d i n g   t h e   S t r o o p ,   S w i t c h i n g ,   F l a n k e r ,   S i m o n ,   P o s n e r   C u i n g ,   a t t e n t i o n a l   b l i n k ,   s u b l i m i n a l   p r i m i n g ,   a n d   c a t e g o r y   l e a r n i n g   t a s k s   u s i n g   p a r t i c i p a n t s   r e c r u i t e d   u s i n g   A M T .   W h i l e   m o s t   o f   r e p l i c a t i o n s   w e r e   q u a l i t a t i v e l y   s u c c e s s f u l   a n d   v a l i d a t e d   t h e   a p p r o a c h   o f   c o l l e c t i n g   d a t a   a n o n y m o u s l y   o n l i n e   u s i n g   a   w e b - b r o w s e r ,   o t h e r s   r e v e a l e d   d i s p a r i t y   b e t w e e n   l a b o r a t o r y   r e s u l t s   a n d   o n l i n e   r e s u l t s .   A   n u m b e r   o f   i m p o r t a n t   l e s s o n s   w e r e   e n c o u n t e r e d   i n   t h e   p r o c e s s   o f   c o n d u c t i n g   t h e s e   r e p l i c a t i o n s   t h a t   s h o u l d   b e   o f   v a l u e   t o   o t h e r   r e s e a r c h e r s . 	 [ C r u m p ,   M a t t h e w   J .   C . ]   C U N Y   B r o o k l y n   C o l l ,   D e p t   P s y c h o l ,   B r o o k l y n ,   N Y   1 1 2 1 0   U S A ;   [ M c D o n n e l l ,   J o h n   V . ;   G u r e c k i s ,   T o d d   M . ]   N Y U ,   D e p t   P s y c h o l ,   N e w   Y o r k ,   N Y   1 0 0 0 3   U S A 	 C r u m p ,   M J C   ( r e p r i n t   a u t h o r ) ,   C U N Y   B r o o k l y n   C o l l ,   D e p t   P s y c h o l ,   B r o o k l y n ,   N Y   1 1 2 1 0   U S A . 	 m c r u m p @ b r o o k l y n . c u n y . e d u 	 	 	 	 	 A m i r   O ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   P 2 ;   B u h r m e s t e r   M ,   2 0 1 1 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 6 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 0 3 9 3 9 8 0 ;   C R A F T   J L ,   1 9 7 0 ,   J   E X P   P S Y C H O L ,   V 8 3 ,   P 4 1 5 ,   D O I   1 0 . 1 0 3 7 / h 0 0 2 8 8 4 3 ;   E i m e r   M ,   2 0 0 2 ,   P S Y C H O N   B   R E V ,   V 9 ,   P 5 1 4 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 6 3 0 7 ;   E i m e r   M ,   1 9 9 8 ,   J   E X P   P S Y C H O L   H U M A N ,   V 2 4 ,   P 1 7 3 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 9 6 - 1 5 2 3 . 2 4 . 6 . 1 7 3 7 ;   E R I K S E N   B A ,   1 9 7 4 ,   P E R C E P T   P S Y C H O P H Y S ,   V 1 6 ,   P 1 4 3 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 0 3 2 6 7 ;   E r i k s e n   C .   W . ,   1 9 9 5 ,   V I S   C O G N ,   V 2 ,   P 1 0 1 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 3 5 0 6 2 8 9 5 0 8 4 0 1 7 2 6 ;   G e r m i n e   L ,   2 0 1 2 ,   P S Y C H O N   B   R E V ;   G o s l i n g   S D ,   2 0 0 4 ,   A M   P S Y C H O L ,   V 5 9 ,   P 9 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 0 3 - 0 6 6 X . 5 9 . 2 . 9 3 ;   I p e i r o t i s   P G ,   2 0 1 0 ,   T E C H   R E P   N O   C E D E R   1 0 ;   J a s m i n   K ,   2 0 1 2 ,   P S Y C H O N   B   R E V ,   V 1 9 ,   P 4 9 9 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 3 - 0 1 2 - 0 2 2 9 - 7 ;   J e r s i l d   A .   T ,   1 9 2 7 ,   A R C H   P S Y C H O L ,   V 1 4 ;   K i e s e l   A ,   2 0 1 0 ,   P S Y C H O L   B U L L ,   V 1 3 6 ,   P 8 4 9 ,   D O I   1 0 . 1 0 3 7 / a 0 0 1 9 8 4 2 ;   K l e i n   R M ,   2 0 0 0 ,   T R E N D S   C O G N   S C I ,   V 4 ,   P 1 3 8 ,   D O I   1 0 . 1 0 1 6 / S 1 3 6 4 - 6 6 1 3 ( 0 0 ) 0 1 4 5 2 - 2 ;   K R U S C H K E   J K ,   1 9 9 2 ,   P S Y C H O L   R E V ,   V 9 9 ,   P 2 2 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 5 X . 9 9 . 1 . 2 2 ;   K u r t z   K J ,   2 0 1 3 ,   J   E X P   P S Y C H O L   L E A R N ,   V 3 9 ,   P 5 5 2 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 9 1 7 8 ;   L e w a n d o w s k y   S ,   2 0 1 1 ,   J   E X P   P S Y C H O L   L E A R N ,   V 3 7 ,   P 7 2 0 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 2 6 3 9 ;   L o g a n   G D ,   1 9 9 8 ,   J   E X P   P S Y C H O L   H U M A N ,   V 2 4 ,   P 9 7 8 ,   D O I   1 0 . 1 0 3 7 / / 0 0 9 6 - 1 5 2 3 . 2 4 . 3 . 9 7 8 ;   L o v e   B C ,   2 0 0 2 ,   P S Y C H O N   B   R E V ,   V 9 ,   P 8 2 9 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 6 3 4 2 ;   L o v e   B C ,   2 0 0 4 ,   P S Y C H O L   R E V ,   V 1 1 1 ,   P 3 0 9 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 5 X . 1 1 1 . 2 . 3 0 9 ;   L U   C H ,   1 9 9 5 ,   P S Y C H O N   B   R E V ,   V 2 ,   P 1 7 4 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 1 0 9 5 9 ;   L u p i a n e z   J ,   1 9 9 7 ,   P E R C E P T   P S Y C H O P H Y S ,   V 5 9 ,   P 1 2 4 1 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 1 4 2 1 1 ;   M A C L E O D   C M ,   1 9 9 1 ,   P S Y C H O L   B U L L ,   V 1 0 9 ,   P 1 6 3 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 0 9 . 1 0 9 . 2 . 1 6 3 ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   M a s o n   W ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 7 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 7 5 ;   M o n s e l l   S ,   2 0 0 3 ,   T R E N D S   C O G N   S C I ,   V 7 ,   P 1 3 4 ,   D O I   1 0 . 1 0 1 6 / S 1 3 6 4 - 6 6 1 3 ( 0 3 ) 0 0 0 2 8 - 7 ;   N e a t h   I ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 3 5 3 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 0 6 9 - 9 ;   N O S O F S K Y   R M ,   1 9 9 4 ,   M E M   C O G N I T I O N ,   V 2 2 ,   P 3 5 2 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 0 0 8 6 2 ;   O p p e n h e i m e r   D M ,   2 0 0 9 ,   J   E X P   S O C   P S Y C H O L ,   V 4 5 ,   P 8 6 7 ,   D O I   1 0 . 1 0 1 6 / j . j e s p . 2 0 0 9 . 0 3 . 0 0 9 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   P o n t i n   J . ,   2 0 0 7 ,   N Y   T I M E S ;   P O S N E R   M I ,   1 9 8 4 ,   A T T E N T I O N   P E R F O R M ,   V 1 0 ,   P 5 3 1 ;   P r o c t o r   R W ,   1 9 9 9 ,   M E M   C O G N I T I O N ,   V 2 7 ,   P 6 3 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 0 1 2 1 4 ;   R A Y M O N D   J E ,   1 9 9 2 ,   J   E X P   P S Y C H O L   H U M A N ,   V 1 8 ,   P 8 4 9 ,   D O I   1 0 . 1 0 3 7 / / 0 0 9 6 - 1 5 2 3 . 1 8 . 3 . 8 4 9 ;   R e h d e r   B ,   2 0 0 5 ,   C O G N I T I V E   P S Y C H O L ,   V 5 1 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . c o g p s y c h . 2 0 0 4 . 1 1 . 0 0 1 ;   R e i m e r s   S ,   2 0 0 7 ,   B E H A V   R E S   M E T H O D S ,   V 3 9 ,   P 3 6 5 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 3 0 0 4 ;   R e i m e r s   S ,   2 0 0 5 ,   D E V   P S Y C H O L ,   V 4 1 ,   P 6 6 1 ,   D O I   1 0 . 1 0 3 7 / 0 0 1 2 - 1 6 4 9 . 4 1 . 4 . 6 6 1 ;   R e i p s   U D ,   2 0 0 2 ,   E X P   P S Y C H O L ,   V 4 9 ,   P 2 4 3 ,   D O I   1 0 . 1 0 2 7 / / 1 6 1 8 - 3 1 6 9 . 4 9 . 4 . 2 4 3 ;   R o s s   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 . A C C E S S E D ;   S c h n o e b e l e n   T ,   2 0 1 0 ,   P S I H O L O G I J A ,   V 4 3 ,   P 4 4 1 ,   D O I   1 0 . 2 2 9 8 / P S I 1 0 0 4 4 4 1 S ;   S h a p i r o   K L ,   1 9 9 7 ,   T R E N D S   C O G N   S C I ,   V 1 ,   P 2 9 1 ,   D O I   1 0 . 1 0 1 6 / S 1 3 6 4 - 6 6 1 3 ( 9 7 ) 0 1 0 9 4 - 2 ;   S H E P A R D   R N ,   1 9 6 1 ,   P S Y C H O L   M O N O G R ,   V 7 5 ,   P 1 ;   S i m m o n s   J P ,   2 0 1 1 ,   P S Y C H O L   S C I ,   V 2 2 ,   P 1 3 5 9 ,   D O I   1 0 . 1 1 7 7 / 0 9 5 6 7 9 7 6 1 1 4 1 7 6 3 2 ;   S p i e s   J . ,   2 0 1 2 ,   R E P R O D U C I B I L I T Y   P R O J ;   S t r o o p   J R ,   1 9 3 5 ,   J   E X P   P S Y C H O L ,   V 1 8 ,   P 6 4 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 9 6 - 3 4 4 5 . 1 2 1 . 1 . 1 5 ;   S u r i   S ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 6 8 3 6 ;   U L R I C H   R ,   1 9 8 9 ,   B R I T   J   M A T H   S T A T   P S Y ,   V 4 2 ,   P 1 ;   V A N S E L S T   M ,   1 9 9 4 ,   Q   J   E X P   P S Y C H O L - A ,   V 4 7 ,   P 6 3 1 ;   W e n d t   M ,   2 0 1 1 ,   P S Y C H O N   B   R E V ,   V 1 8 ,   P 9 1 0 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 3 - 0 1 1 - 0 1 1 9 - 4 	 4 9 	 2 4 	 2 4 	 P U B L I C   L I B R A R Y   S C I E N C E 	 S A N   F R A N C I S C O 	 1 1 6 0   B A T T E R Y   S T R E E T ,   S T E   1 0 0 ,   S A N   F R A N C I S C O ,   C A   9 4 1 1 1   U S A 	 1 9 3 2 - 6 2 0 3 	 	 	 P L O S   O N E 	 P L o S   O n e 	 M A R   1 3 	 2 0 1 3 	 8 	 3 	 	 	 	 	 	 	 e 5 7 4 1 0 	 1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 5 7 4 1 0 	 	 1 8 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 1 1 5 Y Y 	 W O S : 0 0 0 3 1 6 8 4 9 2 0 0 0 1 2 	 2 3 5 1 6 4 0 6 	 
 J 	 B a t t i s t e l l a ,   C ;   N o n i n o ,   F 	 	 	 	 B a t t i s t e l l a ,   C i n z i a ;   N o n i n o ,   F a b i o 	 	 	 E x p l o r i n g   t h e   i m p a c t   o f   m o t i v a t i o n s   o n   t h e   a t t r a c t i o n   o f   i n n o v a t i o n   r o l e s   i n   o p e n   i n n o v a t i o n   w e b - b a s e d   p l a t f o r m s 	 P R O D U C T I O N   P L A N N I N G   &   C O N T R O L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 m o t i v a t i o n s ;   i n n o v a t i o n   r o l e s ;   o p e n   i n n o v a t i o n   w e b - b a s e d   p l a t f o r m s 	 O P E N - S O U R C E   S O F T W A R E ;   O P E N - S O U R C E   P R O J E C T S ;   P R O D U C T   D E V E L O P M E N T ;   F U T U R E - D I R E C T I O N S ;   C O M M U N I T I E S ;   C H A M P I O N S ;   D E V E L O P E R S ;   P E R S P E C T I V E ;   P E R F O R M A N C E ;   M O D E L 	 R e c e n t l y ,   a   l a r g e   n u m b e r   o f   n e w   i n n o v a t i v e   e n t e r p r i s e s   e n g a g e d   i n   d i f f e r e n t   c o m p e t i t i v e   m a r k e t s   b y   p r o m o t i n g   i n n o v a t i o n   b o t h   i n   p r o d u c t s   a n d   i n   s e r v i c e s   t h r o u g h   o p e n   i n n o v a t i o n   w e b - b a s e d   p l a t f o r m s ,   w h i c h   a l l o w   f o r   t h e   c o l l a b o r a t i o n   o f   i n d i v i d u a l   u s e r s   a n d   c o m p a n i e s   a n d   f o r   s o - c a l l e d   c r o w d s o u r c i n g .   A   k e y   i s s u e   c o n c e r n s   t h e   i d e n t i f i c a t i o n   o f   t h e   m o s t   i m p o r t a n t   m o t i v a t i o n s   t h a t   c o u l d   a t t r a c t   u s e r s   w i t h   a   s p e c i f i c   r o l e   t o   p r o a c t i v e l y   p a r t i c i p a t e   a n d   c o n t r i b u t e   t o   t h e   o p e n   a n d   c o l l a b o r a t i v e   i n n o v a t i o n   p r o c e s s e s .   T h i s   a r t i c l e ,   a f t e r   h i g h l i g h t i n g   t h e   t h e o r e t i c a l   b a c k g r o u n d ,   g r o u n d e d   o n   l a r g e   b o d y   o f   p s y c h o l o g y   a n d   s o c i o l o g y   l i t e r a t u r e   o n   t h e   m o t i v a t i o n   b e h i n d   c o l l a b o r a t i o n ,   d i s c u s s e s   t h e   r e s u l t s   o f   t h e   a n a l y s i s   o f   2 6   o p e n   i n n o v a t i o n   w e b - b a s e d   p l a t f o r m s   b a s e d   o n   a   m u l t i p l e   r e s e a r c h   m e t h o d o l o g y   ( q u a l i t a t i v e   e m p i r i c a l   s t u d y ,   f a c t o r   a n a l y s i s   a n d   m u l t i - d i m e n s i o n a l   s c a l i n g ) .   I t   a l s o   d i s c u s s e s   t h e   e f f e c t s   o f   m o t i v a t i o n a l   s y s t e m s '   a n d   p l a t f o r m   m o d e l s   o n   t h e   a t t r a c t i o n   o f   t h e   i n d i v i d u a l s   c h a r a c t e r i s e d   b y   d i f f e r e n t   i n n o v a t i o n   r o l e s . 	 [ B a t t i s t e l l a ,   C i n z i a ]   U n i v   U d i n e ,   D e p t   E l e c t   M a n a g e r i a l   &   M e c h   E n g n ,   U d i n e ,   I t a l y ;   [ N o n i n o ,   F a b i o ]   U n i v   R o m a   L a   S a p i e n z a ,   D e p t   C o m p   C o n t r o l   &   M a n a g e m e n t   E n g n   A n t o n i o   R u b ,   I - 0 0 1 8 5   R o m e ,   I t a l y 	 B a t t i s t e l l a ,   C   ( r e p r i n t   a u t h o r ) ,   U n i v   U d i n e ,   D e p t   E l e c t   M a n a g e r i a l   &   M e c h   E n g n ,   U d i n e ,   I t a l y . 	 c i n z i a . b a t t i s t e l l a @ u n i u d . i t 	 	 	 E u r o p e a n   C o m m u n i t y   [ 2 4 3 5 9 3 ] 	 T h e   r e s e a r c h   l e a d i n g   t o   t h e s e   r e s u l t s   h a s   r e c e i v e d   f u n d i n g   f r o m   t h e   E u r o p e a n   C o m m u n i t y ' s   S e v e n t h   F r a m e w o r k   P r o g r a m m e   m a n a g e d   b y   R E A - R e s e a r c h   E x e c u t i v e   A g e n c y   h t t p : / / e c . e u r o p a . e u / r e s e a r c h / r e a   ( [ F P   7 - S M E   2 0 0 8   2 )   u n d e r   g r a n t   a g r e e m e n t   n o .   [ 2 4 3 5 9 3 ] ,   p r o j e c t   C O L L E C T I V E   -   E m e r g i n g   c o m m u n i t i e s   f o r   c o l l e c t i v e   i n n o v a t i o n :   I C T   O p e r a t i o n a l   t o o l   a n d   s u p p o r t i n g   m e t h o d o l o g i e s   f o r   S M E   A s s o c i a t i o n s .   F o r   d e t a i l s ,   s e e   w w w . c o l l e c t i v e p r o j e c t . e u . 	 A a l b e r s   M . ,   2 0 0 4 ,   M O T I V A T I O N   P A R T I C I P A ;   A l b o r s   J ,   2 0 0 8 ,   I N T   J   I N F O R M   M A N A G E ,   V 2 8 ,   P 1 9 4 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 0 7 . 0 9 . 0 0 6 ;   A l d r i c h   H . ,   1 9 7 7 ,   A C A D   M A N A G E   R E V ,   V 2 ,   P 2 1 7 ,   D O I   1 0 . 2 3 0 7 / 2 5 7 9 0 5 ;   A m a b i l e   T .   M . ,   1 9 9 8 ,   H A R V A R D   B U S   R E V ,   P 7 7 ;   A M A B I L E   T M ,   1 9 9 4 ,   J   P E R S   S O C   P S Y C H O L ,   V 6 6 ,   P 9 5 0 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 6 6 . 5 . 9 5 0 ;   A n d e r s o n   C . ,   2 0 0 9 ,   F R E E   F U T U R E   R A D I C A L ;   A n t i k a i n e n   M a r i a   J ,   2 0 1 0 ,   I n t e r n a t i o n a l   J o u r n a l   o f   E n t r e p r e n e u r s h i p   a n d   I n n o v a t i o n   M a n a g e m e n t ,   V 1 1 ,   D O I   1 0 . 1 5 0 4 / I J E I M . 2 0 1 0 . 0 3 2 2 6 7 ;   A n t i k a i n e n   M . ,   2 0 0 7 ,   A T T R A C T I O N   C O   O N L I N E ;   A n t i k a i n e n   M a r i a ,   2 0 1 0 ,   E u r o p e a n   J o u r n a l   o f   I n n o v a t i o n   M a n a g e m e n t ,   V 1 3 ,   D O I   1 0 . 1 1 0 8 / 1 4 6 0 1 0 6 1 0 1 1 0 1 3 2 5 8 ;   A v e n a l i   A . ,   2 0 1 0 ,   P   1 7   I P D M   I N T   P R O D   D ;   B a g o z z i   R .   P . ,   2 0 0 2 ,   J   I N T E R A C T   M A R K ,   V 1 6 ,   P 2 ,   D O I   D O I   1 0 . 1 0 0 2 / D I R . 1 0 0 0 6 ;   B a n d u r a   A . ,   1 9 9 5 ,   S E L F   E F F I C A C Y   C H A N G I ;   B a t t i s t e l l a   C ,   2 0 1 1 ,   T E C H N O L   F O R E C A S T   S O C ,   V 7 8 ,   P 1 0 2 9 ,   D O I   1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 1 1 . 0 1 . 0 0 6 ;   B a t t i s t e l l a   C . ,   2 0 1 2 ,   I N F O R M   S Y S T E M S   C R O S S ;   B e n b y a   H . ,   2 0 1 0 ,   C O M M U N I C A T I O N S   A S S   I ,   V 2 7 ,   P 5 8 9 ;   B e n k l e r   Y ,   2 0 0 2 ,   Y A L E   L A W   J ,   V 1 1 2 ,   P 3 6 9 ,   D O I   1 0 . 2 3 0 7 / 1 5 6 2 2 4 7 ;   B e r g q u i s t   M ,   2 0 0 1 ,   I N F O R M   S Y S T   J ,   V 1 1 ,   P 3 0 5 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 2 5 7 5 . 2 0 0 1 . 0 0 1 1 1 . x ;   B i t z e r   J ,   2 0 0 7 ,   J   C O M P   E C O N ,   V 3 5 ,   P 1 6 0 ,   D O I   1 0 . 1 0 1 6 / j . j c e . 2 0 0 6 . 1 0 . 0 0 1 ;   B o w m a n   S ,   2 0 0 3 ,   W E   M E D I A   A U D I E N C E S   A ;   B r y a n t   S L ,   2 0 0 5 ,   P   2 0 0 5   I N T   A C M   S I G G R ;   C h a k r a b a r t i   A .   K . ,   1 9 7 4 ,   C A L I F O R N I A   M A N A G E M E N ,   V 7 ,   P 5 8 ;   C H A K R A B A R T I   A K ,   1 9 8 9 ,   R & D   M A N A G E ,   V 1 9 ,   P 1 6 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 1 9 8 9 . t b 0 0 6 3 6 . x ;   C h e n   Z X ,   2 0 0 3 ,   J   V O C A T   B E H A V ,   V 6 2 ,   P 4 9 0 ,   D O I   1 0 . 1 0 1 6 / S 0 0 0 1 - 8 7 9 1 ( 0 2 ) 0 0 0 6 4 - 7 ;   C h e s b r o u g h   H . ,   2 0 0 3 ,   O P E N   I N N O V A T I O N   N E W ;   C O N S T A N T   D ,   1 9 9 4 ,   I N F O R M   S Y S T   R E S ,   V 5 ,   P 4 0 0 ,   D O I   1 0 . 1 2 8 7 / i s r e . 5 . 4 . 4 0 0 ;   C o o p e r   R G ,   2 0 0 4 ,   R E S   T E C H N O L   M A N A G E ,   V 4 7 ,   P 3 1 ;   D a v i d   P . A . ,   2 0 0 3 ,   F L O S S U S   F R E E   L I B R E   O ;   D e   T o n i   A . F . ,   2 0 1 1 ,   K N O W L   M A N   R E S   P R A C T ,   V 9 ,   P 3 2 5 ;   D h o l a k i a   U M ,   2 0 0 4 ,   I N T   J   R E S   M A R K ,   V 2 1 ,   P 2 4 1 ,   D O I   1 0 . 1 0 1 6 / j . i j r e s m a r . 2 0 0 3 . 1 2 . 0 0 4 ;   D i e n e r   K . ,   2 0 1 0 ,   M A R K E T   O P E N   I N N O V A T I ;   D i   S t e f a n o   G ,   2 0 1 0 ,   I N D   C O R P   C H A N G E ,   V 1 9 ,   P 1 1 8 7 ,   D O I   1 0 . 1 0 9 3 / i c c / d t q 0 2 7 ;   E l m q u i s t   M ,   2 0 0 9 ,   E U R O P E A N   J   I N N O V A T I O ,   V 1 2 ,   P 3 2 6 ;   E r n s t   H ,   2 0 0 0 ,   I E E E   T   E N G   M A N A G E ,   V 4 7 ,   P 1 8 4 ,   D O I   1 0 . 1 1 0 9 / 1 7 . 8 4 6 7 8 6 ;   F a r r i s   G F ,   2 0 0 2 ,   R E S   T E C H N O L   M A N A G E ,   V 4 5 ,   P 1 3 ;   F l e m i n g   L ,   2 0 0 7 ,   O R G A N   S C I ,   V 1 8 ,   P 1 6 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 6 0 . 0 2 4 2 ;   F o l k e r t s   L . ,   2 0 0 2 ,   B E T R I E B S W I R T S C H A F T ,   V 6 2 ,   P 7 ;   F r e y   B .   S . ,   2 0 0 2 ,   S U C C E S S F U L   M A N A G E M E N ;   F R I E D M A N   R A ,   1 9 9 2 ,   A D M I N   S C I   Q U A R T ,   V 3 7 ,   P 2 8 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 5 3 2 ;   F u l l e r   J ,   2 0 1 0 ,   C A L I F   M A N A G E   R E V ,   V 5 2 ,   P 9 8 ;   F u l l e r   J ,   2 0 0 7 ,   J   B U S   R E S ,   V 6 0 ,   P 6 0 ,   D O I   1 0 . 1 0 1 6 / j . j b u s r e s . 2 0 0 6 . 0 9 . 0 1 9 ;   G e m u n d e n   H a n s   G . ,   2 0 0 7 ,   C R E A T I V I T Y   I N N O V A T I O ,   V 1 6 ,   P 4 0 8 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 4 6 7 - 8 6 9 1 . 2 0 0 7 . 0 0 4 5 1 . X ;   G h o s h   R . A . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ,   P 2 3 ;   G i a n i o d i s   P e t e r   T ,   2 0 1 0 ,   I n t e r n a t i o n a l   J o u r n a l   o f   I n n o v a t i o n   M a n a g e m e n t ,   V 1 4 ,   D O I   1 0 . 1 1 4 2 / S 1 3 6 3 9 1 9 6 1 0 0 0 2 7 7 5 ;   G i a n n o p o u l o u   E l e n i ,   2 0 1 0 ,   J o u r n a l   o f   T e c h n o l o g y   M a n a g e m e n t   &   I n n o v a t i o n ,   V 5 ,   P 1 6 2 ,   D O I   1 0 . 4 0 6 7 / S 0 7 1 8 - 2 7 2 4 2 0 1 0 0 0 0 3 0 0 0 1 2 ;   G r i f f i n   A ,   2 0 0 9 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 6 ,   P 2 2 2 ;   G r u e n   T . W . ,   2 0 0 5 ,   M A R K E T I N G   T H E O R Y ,   V 5 ,   P 3 3 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 0 5 9 3 1 0 5 0 4 9 6 0 0 ;   H a g e l   J . ,   1 9 9 7 ,   N E T   G A I N   E X P A N D I N G   M ;   H a r g a d o n   A B ,   2 0 0 6 ,   O R G A N   S C I ,   V 1 7 ,   P 4 8 4 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 6 0 . 0 2 0 0 ;   H a r s   A ,   2 0 0 2 ,   I N T   J   E L E C T R O N   C O M M ,   V 6 ,   P 2 5 ;   H a r u v y   E ,   2 0 0 3 ,   J   O P T I M I Z   T H E O R Y   A P P ,   V 1 1 8 ,   P 3 8 1 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 5 4 5 5 5 2 3 4 8 9 ;   H a u s c h i l d t   J . ,   2 0 0 0 ,   I N T   J   A G I L E   M A N A G E M E ,   V 2 ,   P 9 6 ,   D O I   1 0 . 1 1 0 8 / 1 4 6 5 4 6 5 0 0 1 0 3 1 2 6 2 4 ;   H e m e t s n e r g e r   A . ,   2 0 0 4 ,   W O R K I N G   P A P E R ;   H e r i n g   D . ,   2 0 0 5 ,   I N N O V A T I O N   R O L E S   P E O ;   H e r t e l   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 7 - 7 ;   H o l z l e   K . ,   2 0 1 0 ,   P   1 7   I P D M   I N T   P R O D   D ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H O W E L L   J M ,   1 9 9 0 ,   O R G A N   D Y N ,   V 1 9 ,   P 4 0 ,   D O I   1 0 . 1 0 1 6 / 0 0 9 0 - 2 6 1 6 ( 9 0 ) 9 0 0 4 7 - S ;   H o w e l l   J M ,   2 0 0 5 ,   A C A D   M A N A G E   E X E C ,   V 1 9 ,   P 1 0 8 ;   H u i z i n g h   E K R E ,   2 0 1 1 ,   T E C H N O V A T I O N ,   V 3 1 ,   P 2 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 1 0 . 1 0 . 0 0 2 ;   H u n g   C L ,   2 0 1 1 ,   I N T   J   I N F O R M   M A N A G E ,   V 3 1 ,   P 3 1 7 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 1 0 . 1 2 . 0 0 3 ;   J e p p e s e n   L B ,   2 0 0 6 ,   O R G A N   S C I ,   V 1 7 ,   P 4 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 5 6 ;   K a i s e r   S ,   2 0 1 0 ,   D U - Z   K U L T U R ,   P 4 ;   K a n f e r   R . ,   1 9 9 0 ,   H D B   I N D   O R G   P S Y C H O L ,   P 1 ;   K o l l o c k   P . ,   1 9 9 9 ,   C O M M U N I T I E S   C Y B E R S P A ,   P 2 2 0 ;   K r u s k a l   J .   B . ,   1 9 7 8 ,   M U L T I D I M E N S I O N A L   S C A ;   L a k h a n i   K .   R . ,   2 0 0 5 ,   P E R S P E C T I V E S   F R E E   O P ;   L a k h a n i   K R ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 9 2 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 9 5 - 1 ;   L a t t e m a n n   C . ,   2 0 0 5 ,   P   3 8   A N N   H A W   I N T   C   S ,   p 1 9 2 b ;   L A W L E S S   M W ,   1 9 9 2 ,   O R G A N   S C I ,   V 3 ,   P 3 4 2 ,   D O I   1 0 . 1 2 8 7 / o r s c . 3 . 3 . 3 4 2 ;   L e r n e r   J ,   2 0 0 2 ,   J   I N D   E C O N ,   V 5 0 ,   P 1 9 7 ;   L e r n e r   J ,   2 0 0 5 ,   J   L A W   E C O N   O R G A N ,   V 2 1 ,   P 2 0 ,   D O I   1 0 . 1 0 9 3 / j l e o / e w i 0 0 2 ;   L i c h t e n t h a l e r   U ,   2 0 0 8 ,   O R G A N   S T U D ,   V 2 9 ,   P 1 0 0 3 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 0 8 0 9 0 5 3 1 ;   L i c h t e n t h a l e r   U ,   2 0 1 1 ,   A C A D   M A N A G E   P E R S P E C T ,   V 2 5 ,   P 7 5 ;   L u t h i g e r   B . ,   2 0 0 7 ,   1   M O N D A Y ,   V 1 ;   M A I D I Q U E   M A ,   1 9 8 0 ,   S L O A N   M A N A G E   R E V ,   V 2 1 ,   P 5 9 ;   M a r k h a m   S K ,   2 0 0 0 ,   O R G A N   S C I ,   V 1 1 ,   P 4 2 9 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 . 4 . 4 2 9 . 1 4 5 9 9 ;   M C C A I N   K W ,   1 9 9 0 ,   J   A M   S O C   I N F O R M   S C I ,   V 4 1 ,   P 4 3 3 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 7 - 4 5 7 1 ( 1 9 9 0 0 9 ) 4 1 : 6 < 4 3 3 : : A I D - A S I 1 1 > 3 . 0 . C O ; 2 - Q ;   N a r d i   B A ,   2 0 0 4 ,   C O M M U N   A C M ,   V 4 7 ,   P 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 0 3 5 1 3 4 . 1 0 3 5 1 6 3 ;   N o v   O ,   2 0 0 7 ,   C O M M U N   A C M ,   V 5 0 ,   P 6 0 ,   D O I   1 0 . 1 1 4 5 / 1 2 9 7 7 9 7 . 1 2 9 7 7 9 8 ;   O s t e r l o h   M ,   2 0 0 0 ,   O R G A N   S C I ,   V 1 1 ,   P 5 3 8 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 . 5 . 5 3 8 . 1 5 2 0 4 ;   O s t e r l o h   M ,   2 0 0 7 ,   R E S   P O L I C Y ,   V 3 6 ,   P 1 5 7 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 1 0 . 0 0 4 ;   P a r a m e s w a r a n   M . ,   2 0 0 6 ,   C O M M U N I C A T I O N S   A S S   I ,   V 1 9 ,   P 7 6 2 ;   R a y m o n d   E .   S . ,   1 9 9 9 ,   K N O W L E D G E   T E C H N O L O G Y ,   V 1 2 ,   P 2 3 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 2 1 3 0 - 9 9 9 - 1 0 2 6 - 0 ;   R e i d   S E ,   2 0 0 4 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 1 ,   P 1 7 0 ,   D O I   1 0 . 1 1 1 1 / j . 0 7 3 7 - 6 7 8 2 . 2 0 0 4 . 0 0 0 6 8 . x ;   R h e i n g o l d   H . ,   1 9 9 3 ,   V I R T U A L   C O M M U N I T Y   H O ;   R i d i n g s   C .   M . ,   2 0 0 4 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 0 ,   P 1 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 0 8 3 - 6 1 0 1 . 2 0 0 5 . T B 0 0 2 7 3 . X / A B S T R A C T ;   R o b e r t s   E . B . ,   1 9 8 2 ,   S L O A N   M A N A G E   R E V ,   V 2 2 ,   P 1 9 ;   R o b e r t s   J A ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 9 8 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 4 ;   R o h r b e c k   R ,   2 0 1 1 ,   T E C H N O L   F O R E C A S T   S O C ,   V 7 8 ,   P 2 3 1 ,   D O I   1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 1 0 . 0 6 . 0 1 9 ;   R y a n   R M ,   2 0 0 0 ,   C O N T E M P   E D U C   P S Y C H O L ,   V 2 5 ,   P 5 4 ,   D O I   1 0 . 1 0 0 6 / c e p s . 1 9 9 9 . 1 0 2 0 ;   S a w h n e y   M ,   2 0 0 5 ,   J   I N T E R A C T   M A R K ,   V 1 9 ,   P 4 ,   D O I   1 0 . 1 0 0 2 / d i r . 2 0 0 4 6 ;   S C H O N   D A ,   1 9 6 3 ,   H A R V A R D   B U S   R E V ,   V 4 1 ,   P 7 7 ;   S H A N E   S ,   1 9 9 5 ,   J   M A N A G E ,   V 2 1 ,   P 9 3 1 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 9 2 0 6 3 9 5 0 2 1 0 0 5 0 7 ;   S m i t h   D J ,   2 0 0 7 ,   T E C H N O V A T I O N ,   V 2 7 ,   P 9 5 ,   D O I   1 0 . 1 0 1 6 / j . t e c h n o v a t i o n . 2 0 0 6 . 0 5 . 0 0 1 ;   S p a e t h   S . ,   2 0 0 8 ,   I N F O R M   R E S ,   V 1 3 ;   S t a l l m a n   R . M . ,   1 9 9 9 ,   O P E N   S O U R C E S   V O I C E S ;   S t e w a r t   K J ,   2 0 0 6 ,   M I S   Q U A R T ,   V 3 0 ,   P 2 9 1 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   G i a n n o p o u l o u   E l e n i ,   2 0 1 1 ,   I n t e r n a t i o n a l   J o u r n a l   o f   I n n o v a t i o n   M a n a g e m e n t ,   V 1 5 ,   D O I   1 0 . 1 1 4 2 / S 1 3 6 3 9 1 9 6 1 1 0 0 3 4 6 5 ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   T i g h e   G ,   1 9 9 8 ,   J   P R O D   I N N O V A T   M A N A G ,   V 1 5 ,   P 7 5 ,   D O I   1 0 . 1 0 1 6 / S 0 7 3 7 - 6 7 8 2 ( 9 7 ) 0 0 0 6 9 - 6 ;   T o r v a l d s   L . ,   2 0 0 1 ,   J U S T   F U N   S T O R Y   A C C I D ;   V e r o n a   G ,   2 0 0 6 ,   O R G A N   S T U D ,   V 2 7 ,   P 7 6 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 0 6 0 6 1 0 7 3 ;   V o n   K r o g h   G . ,   2 0 0 8 ,   O P E N   S O U R C E   S O F T W A R E ;   v o n   H i p p e l   E ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 2 0 9 ;   v o n   K r o g h   G ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 9 7 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 6 0 ;   W a l l i n   M W ,   2 0 1 0 ,   O R G A N   D Y N ,   V 3 9 ,   P 1 4 5 ,   D O I   1 0 . 1 0 1 6 / j . o r g d y n . 2 0 1 0 . 0 1 . 0 1 0 ;   W a n g   Y . ,   2 0 0 3 ,   E l e c t r o n i c   M a r k e t s ,   V 1 3 ,   D O I   1 0 . 1 0 8 0 / 1 0 1 9 6 7 8 0 3 2 0 0 0 0 5 2 9 3 4 ;   W a s k o   M M ,   2 0 0 0 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 9 ,   P 1 5 5 ;   W e s t h e a d   P . ,   1 9 9 8 ,   I S B A   R E S   S E R I E S   M O N O ,   V 4 ;   W i e r t z   C . ,   2 0 0 7 ,   O R G A N   S T U D ,   V 2 8 ,   P 3 4 9 ;   W i t t e   E . ,   1 9 7 7 ,   I N T   S T U D I E S   M A N A G E M E ,   V 7 ,   P 4 7 ;   W u   C G ,   2 0 0 7 ,   I N F O R M   M A N A G E - A M S T E R ,   V 4 4 ,   P 2 5 3 ,   D O I   1 0 . 1 0 1 6 / j . i m . 2 0 0 6 . 1 2 . 0 0 6 ;   Y e   Y W ,   2 0 0 3 ,   P R O C   I N T   C O N F   S O F T W ,   P 4 1 9 ;   Z e i t l y n   D ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 2 8 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 5 3 - 2 	 1 1 5 	 2 	 3 	 T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X O N ,   E N G L A N D 	 0 9 5 3 - 7 2 8 7 	 	 	 P R O D   P L A N   C O N T R O L 	 P r o d .   P l a n .   C o n t r o l 	 M A R   1 	 2 0 1 3 	 2 4 	 2 - 3 	 	 	 S I 	 	 2 2 6 	 2 4 5 	 	 1 0 . 1 0 8 0 / 0 9 5 3 7 2 8 7 . 2 0 1 1 . 6 4 7 8 7 6 	 	 2 0 	 E n g i n e e r i n g ,   I n d u s t r i a l ;   E n g i n e e r i n g ,   M a n u f a c t u r i n g ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 E n g i n e e r i n g ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 1 9 6 D N 	 W O S : 0 0 0 3 2 2 7 5 3 7 0 0 0 0 8 	 	 
 J 	 M e r c h a n t ,   R M ;   A s c h ,   D A ;   H e r s h e y ,   J C ;   G r i f f i s ,   H M ;   H i l l ,   S ;   S a y n i s c h ,   O ;   L e u n g ,   A C ;   A s c h ,   J M ;   L o z a d a ,   K ;   N a d k a r n i ,   L D ;   K i l a r u ,   A ;   B r a n a s ,   C C ;   S t o n e ,   E M ;   S t a r r ,   L ;   S h o f e r ,   F ;   N i c h o l ,   G ;   B e c k e r ,   L B 	 	 	 	 M e r c h a n t ,   R a i n a   M . ;   A s c h ,   D a v i d   A . ;   H e r s h e y ,   J o h n   C . ;   G r i f f i s ,   H e a t h e r   M . ;   H i l l ,   S h a w n d r a ;   S a y n i s c h ,   O l i v i a ;   L e u n g ,   A l i s o n   C . ;   A s c h ,   J e r e m y   M . ;   L o z a d a ,   K i r k ;   N a d k a r n i ,   L i n d s a y   D . ;   K i l a r u ,   A u s t i n ;   B r a n a s ,   C h a r l e s   C . ;   S t o n e ,   E r i c   M . ;   S t a r r ,   L a r r y ;   S h o f e r ,   F r a n c e s ;   N i c h o l ,   G r a h a m ;   B e c k e r ,   L a n c e   B . 	 	 	 A   C r o w d s o u r c i n g   I n n o v a t i o n   C h a l l e n g e   t o   L o c a t e   a n d   M a p   A u t o m a t e d   E x t e r n a l   D e f i b r i l l a t o r s 	 C I R C U L A T I O N - C A R D I O V A S C U L A R   Q U A L I T Y   A N D   O U T C O M E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c a r d i o p u l m o n a r y   r e s u s c i t a t i o n ;   c r o w d s o u r c i n g ;   d e f i b r i l l a t o r ;   h e a r t   a r r e s t 	 H O S P I T A L   C A R D I A C - A R R E S T ;   P U B L I C - A C C E S S   D E F I B R I L L A T I O N ;   A M E R I C A N - H E A R T - A S S O C I A T I O N ;   U N I T E D - S T A T E S ;   S U R V I V A L ;   O U T C O M E S ;   C A R E 	 	 [ M e r c h a n t ,   R a i n a   M . ;   G r i f f i s ,   H e a t h e r   M . ;   S a y n i s c h ,   O l i v i a ;   L e u n g ,   A l i s o n   C . ;   A s c h ,   J e r e m y   M . ;   L o z a d a ,   K i r k ;   N a d k a r n i ,   L i n d s a y   D . ;   S t o n e ,   E r i c   M . ;   S h o f e r ,   F r a n c e s ;   B e c k e r ,   L a n c e   B . ]   U n i v   P e n n ,   D e p t   E m e r g e n c y   M e d ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A ;   [ M e r c h a n t ,   R a i n a   M . ;   A s c h ,   D a v i d   A . ]   U n i v   P e n n ,   L e o n a r d   D a v i s   I n s t   H l t h   E c o n ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A ;   [ A s c h ,   D a v i d   A . ;   H e r s h e y ,   J o h n   C . ;   H i l l ,   S h a w n d r a ]   U n i v   P e n n ,   W h a r t o n   S c h ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A ;   [ B r a n a s ,   C h a r l e s   C . ]   U n i v   P e n n ,   D e p t   B i o s t a t   &   E p i d e m i o l ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A ;   [ A s c h ,   D a v i d   A . ]   P h i l a d e l p h i a   V e t   A f f a i r s   M e d   C t r ,   P h i l a d e l p h i a ,   P A   U S A ;   [ N i c h o l ,   G r a h a m ]   U n i v   W a s h i n g t o n ,   D e p t   M e d ,   U n i v   W a s h i n g t o n   H a r b o r v i e w   C t r   P r e h o s p   E m e r g e n c y ,   S e a t t l e ,   W A   U S A 	 M e r c h a n t ,   R M   ( r e p r i n t   a u t h o r ) ,   U n i v   P e n n ,   P e r e l m a n   S c h   M e d ,   4 2 3   G u a r d i a n   S t , 1 0 2 2   B l o c k l e y ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A . 	 r a i n a . m e r c h a n t @ u p h s . u p e n n . e d u 	 	 	 R o b e r t   W o o d   J o h n s o n   F o u n d a t i o n   H e a l t h   a n d   S o c i e t y   S c h o l a r s   P r o g r a m   a t   t h e   U n i v e r s i t y   o f   P e n n s y l v a n i a ,   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   ( N I H )   [ 1 0 7 1 4 0 3 8 ] ;   P h y s i o - C o n t r o l ,   S e a t t l e ,   W A ;   Z o l l   M e d i c a l ,   B o s t o n ,   M A ;   C a r d i a c   S c i e n c e ,   B o t h e l l ,   W A ;   P h i l i p s   M e d i c a l ,   S e a t t l e ,   W A ;   M e d t r o n i c   F o u n d a t i o n   H e a r t   R e s c u e   P r o j e c t ;   P e n n   U n i v e r s i t y   R e s e a r c h   F u n d ;   M c C a b e   F u n d 	 T h i s   s t u d y   w a s   s u p p o r t e d   b y   t h e   R o b e r t   W o o d   J o h n s o n   F o u n d a t i o n   H e a l t h   a n d   S o c i e t y   S c h o l a r s   P r o g r a m   a t   t h e   U n i v e r s i t y   o f   P e n n s y l v a n i a ,   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   ( N I H ) ,   K 2 3   G r a n t   1 0 7 1 4 0 3 8 ,   a n d   p i l o t   f u n d i n g   f r o m   P h y s i o - C o n t r o l ,   S e a t t l e ,   W A ;   Z o l l   M e d i c a l ,   B o s t o n ,   M A ;   C a r d i a c   S c i e n c e ,   B o t h e l l ,   W A ;   a n d   P h i l i p s   M e d i c a l ,   S e a t t l e ,   W A ,   a s   w e l l   a s   T h e   M e d t r o n i c   F o u n d a t i o n   H e a r t   R e s c u e   P r o j e c t ;   T h e   P e n n   U n i v e r s i t y   R e s e a r c h   F u n d ;   a n d   t h e   M c C a b e   F u n d .   N o   f u n d e r s   p l a y e d   a   r o l e   i n   t h e   d e s i g n   a n d   c o n d u c t   o f   t h e   s t u d y ;   c o l l e c t i o n ,   m a n a g e m e n t ,   a n a l y s i s ,   a n d   i n t e r p r e t a t i o n   o f   t h e   d a t a ;   a n d   p r e p a r a t i o n ,   r e v i e w ,   o r   a p p r o v a l   o f   t h e   m a n u s c r i p t . 	 A u f d e r h e i d e   T ,   2 0 0 6 ,   C I R C U L A T I O N ,   V 1 1 3 ,   P 1 2 6 0 ,   D O I   1 0 . 1 1 6 1 / C I R C U L A T I O N A H A . 1 0 6 . 1 7 2 2 8 9 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C l e r y   D ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 3 ,   P 1 7 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 3 3 3 . 6 0 3 9 . 1 7 3 ;   C o n r a d   C C ,   2 0 1 1 ,   E N V I R O N   M O N I T   A S S E S S ,   V 1 7 6 ,   P 2 7 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 6 1 - 0 1 0 - 1 5 8 2 - 5 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   H a l l s t r o m   A P ,   2 0 0 4 ,   N E W   E N G L   J   M E D ,   V 3 5 1 ,   P 6 3 7 ;   K a n g   X X ,   2 0 0 5 ,   C L I N   C H E M ,   V 5 1 ,   P 5 6 ,   D O I   1 0 . 1 3 7 3 / c l i n c h e m . 2 0 0 4 . 0 3 2 4 5 8 ;   K a w r y k o w   A ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 3 1 3 6 2 ;   K i t a m u r a   T ,   2 0 1 0 ,   N E W   E N G L   J   M E D ,   V 3 6 2 ,   P 9 9 4 ,   D O I   1 0 . 1 0 5 6 / N E J M o a 0 9 0 6 6 4 4 ;   L u   T ,   2 0 0 8 ,   J   N U T R   S C I   V I T A M I N O L ,   V 5 4 ,   P 2 6 2 ,   D O I   1 0 . 3 1 7 7 / j n s v . 5 4 . 2 6 2 ;   M c C a r t h y   M L ,   2 0 1 2 ,   M E D   C A R E ,   V 5 0 ,   P 4 3 ,   D O I   1 0 . 1 0 9 7 / M L R . 0 b 0 1 3 e 3 1 8 2 2 9 4 b e 1 ;   M c N a l l y   B r y a n ,   2 0 1 1 ,   M o r b i d i t y   a n d   M o r t a l i t y   W e e k l y   R e p o r t ,   V 6 0 ,   P 1 ;   M e r c h a n t   R M ,   2 0 1 1 ,   N E W   E N G L   J   M E D ,   V 3 6 5 ,   P 2 8 9 ,   D O I   1 0 . 1 0 5 6 / N E J M p 1 1 0 3 5 9 1 ;   N g u y e n   T B ,   2 0 1 2 ,   R A D I O L O G Y ,   V 2 6 2 ,   P 8 2 4 ,   D O I   1 0 . 1 1 4 8 / r a d i o l . 1 1 1 1 0 9 3 8 ;   R a n s o h o f f   D F ,   2 0 1 0 ,   C L I N   C H E M ,   V 5 6 ,   P 1 7 2 ,   D O I   1 0 . 1 3 7 3 / c l i n c h e m . 2 0 0 9 . 1 2 6 6 9 8 ;   R e a   T D ,   2 0 0 4 ,   R E S U S C I T A T I O N ,   V 6 3 ,   P 1 7 ,   D O I   1 0 . 1 0 1 6 / j . r e s u s c i t a t i o n . 2 0 0 4 . 0 3 . 0 2 5 ;   R e a   T D ,   2 0 1 0 ,   R E S U S C I T A T I O N ,   V 8 1 ,   P 1 6 3 ,   D O I   1 0 . 1 0 1 6 / j . r e s u s c i t a t i o n . 2 0 0 9 . 1 0 . 0 2 5 ;   R e n   Z J ,   2 0 1 0 ,   O P E R   R E S ,   V 5 8 ,   P 8 1 ,   D O I   1 0 . 1 2 8 7 / o p r e . 1 0 9 0 . 0 7 5 0 ;   R o g e r   V L ,   2 0 1 2 ,   C I R C U L A T I O N ,   V 1 2 5 ,   p E 2 ,   D O I   1 0 . 1 1 6 1 / C I R . 0 b 0 1 3 e 3 1 8 2 3 a c 0 4 6 ;   S a k a i   T ,   2 0 1 1 ,   R E S U S C I T A T I O N ,   V 8 2 ,   P 6 9 ,   D O I   1 0 . 1 0 1 6 / j . r e s u s c i t a t i o n . 2 0 1 0 . 0 9 . 4 6 6 ;   T a n g   J C ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 7 8 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 1 ;   T e r w i e s c h   C ,   2 0 1 1 ,   C R I T   C A R E ,   V 1 5 ,   D O I   1 0 . 1 1 8 6 / c c 1 0 2 1 7 ;   V a l e n z u e l a   T D ,   2 0 0 0 ,   N E W   E N G L   J   M E D ,   V 3 4 3 ,   P 1 2 0 6 ,   D O I   1 0 . 1 0 5 6 / N E J M 2 0 0 0 1 0 2 6 3 4 3 1 7 0 1 ;   W e i s f e l d t   M L ,   2 0 1 0 ,   J   A M   C O L L   C A R D I O L ,   V 5 5 ,   P 1 7 1 2 ,   D O I   1 0 . 1 0 1 6 / j . j a c c . 2 0 0 9 . 1 1 . 0 7 7 ;   W e i s f e l d t   M L ,   2 0 1 1 ,   N E W   E N G L   J   M E D ,   V 3 6 4 ,   P 3 1 3 ,   D O I   1 0 . 1 0 5 6 / N E J M o a 1 0 1 0 6 6 3 	 2 5 	 6 	 6 	 L I P P I N C O T T   W I L L I A M S   &   W I L K I N S 	 P H I L A D E L P H I A 	 5 3 0   W A L N U T   S T ,   P H I L A D E L P H I A ,   P A   1 9 1 0 6 - 3 6 2 1   U S A 	 1 9 4 1 - 7 7 0 5 	 	 	 C I R C - C A R D I O V A S C   Q U A L 	 C i r c . - C a r d i o v a s c .   Q u a l .   O u t c o m e s 	 M A R 	 2 0 1 3 	 6 	 2 	 	 	 	 	 2 2 9 	 + 	 	 1 0 . 1 1 6 1 / C I R C O U T C O M E S . 1 1 3 . 0 0 0 1 4 0 	 	 9 	 C a r d i a c   &   C a r d i o v a s c u l a r   S y s t e m s 	 C a r d i o v a s c u l a r   S y s t e m   &   C a r d i o l o g y 	 1 5 0 L O 	 W O S : 0 0 0 3 1 9 3 9 2 1 0 0 0 1 6 	 2 3 4 8 1 5 2 2 	 
 J 	 W i l e y ,   S ;   S r i n i v a s a n ,   R ;   F i n k e ,   E ;   F i r n h a b e r ,   J ;   S h i l i n s k y ,   A 	 	 	 	 W i l e y ,   S h a u n ;   S r i n i v a s a n ,   R u h i ;   F i n k e ,   E l i z a b e t h ;   F i r n h a b e r ,   J o s e p h ;   S h i l i n s k y ,   A l y s s a 	 	 	 P o s i t i v e   P o r t r a y a l s   o f   F e m i n i s t   M e n   I n c r e a s e   M e n ' s   S o l i d a r i t y   W i t h   F e m i n i s t s   a n d   C o l l e c t i v e   A c t i o n   I n t e n t i o n s 	 P S Y C H O L O G Y   O F   W O M E N   Q U A R T E R L Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 i m p r e s s i o n   f o r m a t i o n ;   f e m i n i s m ;   a c t i v i s m ;   g r o u p   i d e n t i t y ;   s o c i a l   c h a n g e ;   m a s s   m e d i a 	 I N - G R O U P   I D E N T I F I C A T I O N ;   S O C I A L   I D E N T I T Y   M O D E L ;   G E N D E R - R O L E ;   P S Y C H O L O G I C A L - R E S E A R C H ;   S E L F - I D E N T I F I C A T I O N ;   M E C H A N I C A L   T U R K ;   W O M E N ;   P A R T I C I P A T I O N ;   P R E D I C T O R S ;   P O W E R 	 T h e   p r e s e n t   s t u d y   e x a m i n e d   w h e t h e r   p o s i t i v e   p o r t r a y a l s   o f   f e m i n i s t   m e n   c o u l d   i n c r e a s e   m e n ' s   s e n s e   o f   s o l i d a r i t y   w i t h   f e m i n i s t s   a n d ,   t h r o u g h   i t ,   t h e i r   i n t e n t i o n s   t o   e n g a g e   i n   c o l l e c t i v e   a c t i o n   i n   s u p p o r t   o f   w o m e n .   A   s a m p l e   o f   1 0 2   m o s t l y   W h i t e   m e n   b e t w e e n   t h e   a g e s   o f   1 8   a n d   6 3   w a s   r e c r u i t e d   f r o m   M e c h a n i c a l   T u r k ,   a n   o n l i n e   c r o w d s o u r c i n g   m a r k e t p l a c e .   T h e y   w e r e   e x p o s e d   t o   a   s h o r t   a r t i c l e   e i t h e r   p o r t r a y i n g   f e m i n i s t   m e n   i n   a   p o s i t i v e   l i g h t ,   a   n e g a t i v e   l i g h t ,   o r   d e s c r i b i n g   t h e   h i s t o r y   o f   f e m i n i s m   w i t h o u t   m e n t i o n i n g   m e n .   M e n   w h o   r e a d   t h e   p o s i t i v e   p o r t r a y a l   a r t i c l e   e x p r e s s e d   m o r e   s o l i d a r i t y   w i t h   f e m i n i s t s   a n d   g r e a t e r   i n t e n t i o n s   t o   e n g a g e   i n   c o l l e c t i v e   a c t i o n   i n   s u p p o r t   o f   w o m e n   t h a n   m e n   w h o   r e a d   e i t h e r   t h e   h i s t o r y   o f   f e m i n i s m   a r t i c l e   o r   t h e   n e g a t i v e   p o r t r a y a l   a r t i c l e .   F e m i n i s t   s o l i d a r i t y   f u l l y   m e d i a t e d   t h e   r e l a t i o n s h i p   b e t w e e n   p o s i t i v e   p o r t r a y a l s   o f   f e m i n i s t   m e n   a n d   c o l l e c t i v e   a c t i o n   i n t e n t i o n s .   C o n s i s t e n t   w i t h   r e s e a r c h   a m o n g   w o m e n ,   t h e   f i n d i n g s   d e m o n s t r a t e   t h a t   f e e l i n g   c o n n e c t e d   t o   f e m i n i s t s   i s   a n   i m p o r t a n t   a n t e c e d e n t   o f   m e n ' s   c o l l e c t i v e   a c t i o n   i n   s u p p o r t   o f   w o m e n .   T h e y   a l s o   s u g g e s t   a   n o v e l   a p p r o a c h   f o r   i n v o l v i n g   m e n   i n   c o l l e c t i v e   a c t i o n   i n   s u p p o r t   o f   w o m e n :   b u i l d i n g   a   p o s i t i v e   i m a g e   o f   f e m i n i s t   m e n .   T h e   i m p l i c a t i o n s   o f   t h e   f i n d i n g s   f o r   t h e   m e n ' s   r o l e   i n   t h e   f e m i n i s t   m o v e m e n t   a r e   d i s c u s s e d . 	 [ W i l e y ,   S h a u n ;   S r i n i v a s a n ,   R u h i ;   F i n k e ,   E l i z a b e t h ;   F i r n h a b e r ,   J o s e p h ;   S h i l i n s k y ,   A l y s s a ]   C o l l   N e w   J e r s e y ,   D e p t   P s y c h o l ,   E w i n g ,   N J   0 8 6 2 8   U S A 	 W i l e y ,   S   ( r e p r i n t   a u t h o r ) ,   C o l l   N e w   J e r s e y ,   D e p t   P s y c h o l ,   2 0 0   P e n n i n g t o n   R d ,   E w i n g ,   N J   0 8 6 2 8   U S A . 	 s w i l e y @ t c n j . e d u 	 	 	 	 	 A b r e u   J .   M . ,   2 0 0 0 ,   P S Y C H O L   M E N   M A S C U L I N ,   V 1 ,   P 7 5 ,   D O I   [ 1 0 . 1 0 3 7 / 1 5 2 4 - 9 2 2 0 . 1 . 2 . 7 5 ,   D O I   1 0 . 1 0 3 7 / 1 5 2 4 - 9 2 2 0 . 1 . 2 . 7 5 ] ;   A l e x a n d e r   S . ,   1 9 9 7 ,   C O L L   S T U D E N T   J ,   V 3 1 ,   P 5 5 5 ;   A n d e r s o n   V N ,   2 0 0 9 ,   P S Y C H O L   W O M E N   Q U A R T ,   V 3 3 ,   P 2 0 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 1 - 6 4 0 2 . 2 0 0 9 . 0 1 4 9 0 . x ;   [ A n o n y m o u s ] ,   2 0 0 9 ,   Q U A L T R   R E S   S U I T   O N L ;   A s h m o r e   R D ,   2 0 0 4 ,   P S Y C H O L   B U L L ,   V 1 3 0 ,   P 8 0 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 3 0 . 1 . 8 0 ;   B a c k u s   F R ,   2 0 1 1 ,   P S Y C H O L   W O M E N   Q U A R T ,   V 3 5 ,   P 3 1 8 ,   D O I   1 0 . 1 1 7 7 / 0 3 6 1 6 8 4 3 1 0 3 9 2 3 5 7 ;   B A R O N   R M ,   1 9 8 6 ,   J   P E R S   S O C   P S Y C H O L ,   V 5 1 ,   P 1 1 7 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 5 1 . 6 . 1 1 7 3 ;   B e c k e r   J C ,   2 0 1 1 ,   P S Y C H O L   W O M E N   Q U A R T ,   V 3 5 ,   P 2 2 7 ,   D O I   1 0 . 1 1 7 7 / 0 3 6 1 6 8 4 3 1 0 3 9 7 5 0 9 ;   B E R R Y M A N F I N K   C ,   1 9 8 5 ,   P S Y C H O L   W O M E N   Q U A R T ,   V 9 ,   P 5 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 1 - 6 4 0 2 . 1 9 8 5 . t b 0 0 8 6 0 . x ;   B u h r m e s t e r   M ,   2 0 1 1 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 6 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 0 3 9 3 9 8 0 ;   F a b r i g a r   L R ,   1 9 9 9 ,   P S Y C H O L   M E T H O D S ,   V 4 ,   P 2 7 2 ,   D O I   1 0 . 1 0 3 7 / / 1 0 8 2 - 9 8 9 X . 4 . 3 . 2 7 2 ;   F i s k e   S T ,   2 0 0 2 ,   J   P E R S   S O C   P S Y C H O L ,   V 8 2 ,   P 8 7 8 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 8 2 . 6 . 8 7 8 ;   H E N D E R S O N K I N G   D H ,   1 9 9 4 ,   S E X   R O L E S ,   V 3 1 ,   P 5 0 5 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 5 4 4 2 7 6 ;   H e r e k   G M ,   2 0 0 7 ,   J   S O C   I S S U E S ,   V 6 3 ,   P 9 0 5 ;   h o o k s   b . ,   1 9 8 4 ,   F E M I N I S T   T H E O R Y   M A R G ;   H o r t o n   J J ,   2 0 1 1 ,   E X P   E C O N ,   V 1 4 ,   P 3 9 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 8 3 - 0 1 1 - 9 2 7 3 - 9 ;   I y e r   A ,   2 0 0 9 ,   J   S O C   I S S U E S ,   V 6 5 ,   P 7 9 1 ;   K E L L Y   C ,   1 9 9 5 ,   J   C O M M U N I T Y   A P P L   S O C ,   V 5 ,   P 4 1 ,   D O I   1 0 . 1 0 0 2 / c a s p . 2 4 5 0 0 5 0 1 0 4 ;   K i m m e l   M .   S . ,   2 0 1 0 ,   M I S F R A M I N G   M E N   P O L I T ;   K i m m e l   M i c h a e l ,   1 9 9 2 ,   T I D E   P R O F E M I N I S T   M E N ;   L e a c h   C W ,   2 0 0 8 ,   J   P E R S   S O C   P S Y C H O L ,   V 9 5 ,   P 1 4 4 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 9 5 . 1 . 1 4 4 ;   L i a n g   C T H ,   2 0 1 1 ,   P S Y C H O L   M E N   M A S C U L I N ,   V 1 2 ,   P 2 0 1 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 0 4 7 9 ;   L i s s   M ,   2 0 0 0 ,   P S Y C H O L   W O M E N   Q U A R T ,   V 2 4 ,   P 2 7 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 1 - 6 4 0 2 . 2 0 0 0 . t b 0 0 2 1 0 . x ;   L i s s   M ,   2 0 0 1 ,   P S Y C H O L   W O M E N   Q U A R T ,   V 2 5 ,   P 1 2 4 ,   D O I   1 0 . 1 1 1 1 / 1 4 7 1 - 6 4 0 2 . 0 0 0 1 4 ;   L i s s   M ,   2 0 0 4 ,   S E X   R O L E S ,   V 5 0 ,   P 7 7 1 ,   D O I   1 0 . 1 0 2 3 / B : S E R S . 0 0 0 0 0 2 9 0 9 6 . 9 0 8 3 5 . 3 f ;   L U H T A N E N   R ,   1 9 9 2 ,   P E R S   S O C   P S Y C H O L   B ,   V 1 8 ,   P 3 0 2 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 6 1 6 7 2 9 2 1 8 3 0 0 6 ;   M a c K i n n o n   D P ,   2 0 0 4 ,   M U L T I V A R   B E H A V   R E S ,   V 3 9 ,   P 9 9 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 9 0 6 m b r 3 9 0 1 _ 4 ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   M o r a d i   B ,   2 0 1 2 ,   P S Y C H O L   W O M E N   Q U A R T ,   V 3 6 ,   P 1 9 7 ,   D O I   1 0 . 1 1 7 7 / 0 3 6 1 6 8 4 3 1 2 4 4 0 9 5 9 ;   N e l s o n   J A ,   2 0 0 8 ,   S E X   R O L E S ,   V 5 8 ,   P 7 2 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 1 9 9 - 0 0 7 - 9 3 8 4 - 0 ;   O ' N e i l   J M ,   2 0 0 8 ,   C O U N S   P S Y C H O L ,   V 3 6 ,   P 3 5 8 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 1 0 0 0 0 0 8 3 1 7 0 5 7 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   P r e a c h e r   K J ,   2 0 0 8 ,   B E H A V   R E S   M E T H O D S ,   V 4 0 ,   P 8 7 9 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 0 . 3 . 8 7 9 ;   R e i d   A ,   2 0 0 4 ,   S E X   R O L E S ,   V 5 0 ,   P 7 5 9 ,   D O I   1 0 . 1 0 2 3 / B : S E R S . 0 0 0 0 0 2 9 0 9 5 . 4 0 7 6 7 . 3 c ;   R o c c a s   S ,   2 0 0 8 ,   P E R S   S O C   P S Y C H O L   R E V ,   V 1 2 ,   P 2 8 0 ,   D O I   1 0 . 1 1 7 7 / 1 0 8 8 8 6 8 3 0 8 3 1 9 2 2 5 ;   R o y   R E ,   2 0 0 9 ,   S E X   R O L E S ,   V 6 0 ,   P 4 2 2 ,   D O I   1 0 . 1 0 0 7 / s 1 1 1 9 9 - 0 0 8 - 9 5 5 6 - 6 ;   R o y   R E ,   2 0 0 7 ,   P S Y C H O L   W O M E N   Q U A R T ,   V 3 1 ,   P 1 4 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 1 - 6 4 0 2 . 2 0 0 7 . 0 0 3 4 8 . x ;   R u d m a n   L A ,   2 0 0 7 ,   S E X   R O L E S ,   V 5 7 ,   P 7 8 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 1 9 9 - 0 0 7 - 9 3 1 9 - 9 ;   R u d m a n   L A ,   2 0 0 7 ,   P S Y C H O L   W O M E N   Q U A R T ,   V 3 1 ,   P 1 2 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 1 - 6 4 0 2 . 2 0 0 7 . 0 0 3 4 6 . x ;   S A A D   L . ,   2 0 1 1 ,   A M   E X P R E S S   H I S T   N E G A ;   S A B U C E D O   J M ,   1 9 9 1 ,   E U R   J   P O L I T   R E S ,   V 2 0 ,   P 9 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 5 - 6 7 6 5 . 1 9 9 1 . t b 0 0 2 5 7 . x ;   S e l l e r s   R   M ,   1 9 9 8 ,   P e r s   S o c   P s y c h o l   R e v ,   V 2 ,   P 1 8 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 9 5 7 p s p r 0 2 0 1 _ 2 ;   S h r o u t   P E ,   2 0 0 2 ,   P S Y C H O L   M E T H O D S ,   V 7 ,   P 4 2 2 ,   D O I   1 0 . 1 0 3 7 / / 1 0 8 2 - 9 8 9 X . 7 . 4 . 4 2 2 ;   S i m o n   B ,   1 9 9 8 ,   J   P E R S   S O C   P S Y C H O L ,   V 7 4 ,   P 6 4 6 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 7 4 . 3 . 6 4 6 ;   S o b e l   M .   E . ,   1 9 8 6 ,   S O C I O L   M E T H O D O L ,   V 1 6 ,   p 1 5 9   ,   D O I   D O I   1 0 . 2 3 0 7 / 2 7 0 9 2 2 ;   S u b a s i c   E ,   2 0 0 8 ,   P E R S   S O C   P S Y C H O L   R E V ,   V 1 2 ,   P 3 3 0 ,   D O I   1 0 . 1 1 7 7 / 1 0 8 8 8 6 8 3 0 8 3 2 3 2 2 3 ;   S u t e r   E A ,   2 0 0 6 ,   S E X   R O L E S ,   V 5 5 ,   P 1 3 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 1 9 9 - 0 0 6 - 9 0 6 5 - 4 ;   T a b a c h n i c k   B .   G . ,   2 0 0 1 ,   U S I N G   M U L T I V A R I A T E   S ;   T a u s c h   N ,   2 0 1 1 ,   J   P E R S   S O C   P S Y C H O L ,   V 1 0 1 ,   P 1 2 9 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 2 7 2 8 ;   T o l l e r   P W ,   2 0 0 4 ,   S E X   R O L E S ,   V 5 1 ,   P 8 5 ,   D O I   1 0 . 1 0 2 3 / B : S E R S . 0 0 0 0 0 3 2 3 1 6 . 7 1 1 6 5 . 4 5 ;   T u r n e r   J . ,   1 9 7 9 ,   S O C I A L   P S Y C H O L   I N T E R ,   P 3 3 ;   T w e n g e   J M ,   1 9 9 9 ,   P S Y C H O L   W O M E N   Q U A R T ,   V 2 3 ,   P 5 9 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 1 - 6 4 0 2 . 1 9 9 9 . t b 0 0 3 8 3 . x ;   v a n   Z o m e r e n   M ,   2 0 1 0 ,   J   E X P   S O C   P S Y C H O L ,   V 4 6 ,   P 1 0 5 5 ,   D O I   1 0 . 1 0 1 6 / j . j e s p . 2 0 1 0 . 0 5 . 0 0 6 ;   v a n   Z o m e r e n   M ,   2 0 1 1 ,   G R O U P   P R O C E S S   I N T E R G ,   V 1 4 ,   P 7 3 5 ,   D O I   1 0 . 1 1 7 7 / 1 3 6 8 4 3 0 2 1 0 3 9 5 6 3 7 ;   v a n   Z o m e r e n   M ,   2 0 0 8 ,   P S Y C H O L   B U L L ,   V 1 3 4 ,   P 5 0 4 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 3 4 . 4 . 5 0 4 ;   W h i t e   A a r o n e t t e   M . ,   2 0 0 8 ,   A I N T   I   F E M I N I S T   A F R I ;   W i l l i a m s   R ,   1 9 9 7 ,   S E X   R O L E S ,   V 3 7 ,   P 8 8 5 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 9 3 6 3 4 5 ;   Y o d e r   J D ,   2 0 1 1 ,   S E X   R O L E S ,   V 6 4 ,   P 9 ,   D O I   1 0 . 1 0 0 7 / s 1 1 1 9 9 - 0 1 0 - 9 8 9 0 - 3 ;   Z u c k e r   A N ,   2 0 0 4 ,   P S Y C H O L   W O M E N   Q U A R T ,   V 2 8 ,   P 4 2 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 1 - 6 4 0 2 . 2 0 0 4 . 0 0 1 5 9 . x 	 5 9 	 1 	 1 	 S A G E   P U B L I C A T I O N S   L T D 	 L O N D O N 	 1   O L I V E R S   Y A R D ,   5 5   C I T Y   R O A D ,   L O N D O N   E C 1 Y   1 S P ,   E N G L A N D 	 0 3 6 1 - 6 8 4 3 	 	 	 P S Y C H O L   W O M E N   Q U A R T 	 P s y c h o l .   W o m e n   Q . 	 M A R 	 2 0 1 3 	 3 7 	 1 	 	 	 	 	 6 1 	 7 1 	 	 1 0 . 1 1 7 7 / 0 3 6 1 6 8 4 3 1 2 4 6 4 5 7 5 	 	 1 1 	 P s y c h o l o g y ,   M u l t i d i s c i p l i n a r y ;   W o m e n ' s   S t u d i e s 	 P s y c h o l o g y ;   W o m e n ' s   S t u d i e s 	 1 1 9 B C 	 W O S : 0 0 0 3 1 7 0 7 0 7 0 0 0 0 5 	 	 
 J 	 P a r s l o w ,   G R 	 	 	 	 P a r s l o w ,   G r a h a m   R . 	 	 	 C o m m e n t a r y :   C r o w d s o u r c i n g ,   f o l d i t ,   a n d   s c i e n t i f i c   d i s c o v e r y   g a m e s 	 B I O C H E M I S T R Y   A N D   M O L E C U L A R   B I O L O G Y   E D U C A T I O N 	 	 	 E n g l i s h 	 E d i t o r i a l   M a t e r i a l 	 	 	 	 	 	 c r o w d s o u r c i n g ;   F o l d i t ;   c o o p e r a t i v e   l e a r n i n g 	 	 	 U n i v   M e l b o u r n e ,   D e p t   B i o c h e m   &   M o l   B i o l ,   M e l b o u r n e ,   V i c   3 0 1 0 ,   A u s t r a l i a 	 P a r s l o w ,   G R   ( r e p r i n t   a u t h o r ) ,   U n i v   M e l b o u r n e ,   D e p t   B i o c h e m   &   M o l   B i o l ,   M e l b o u r n e ,   V i c   3 0 1 0 ,   A u s t r a l i a . 	 g p a r s l o w @ u n i m e l b . e d u . a u 	 	 	 	 	 C o o p e r   S e t h ,   2 0 1 0 ,   C H A L L E N G E   D E S I G N I N G ;   C r e a m e r   M . ,   2 0 0 9 ,   C R O W D S O U R C I N G   D O N E   W ;   D a r t n e l l   L . ,   2 0 0 8 ,   N E W   S C I ,   V 2 6 8 1 ,   P 5 6 ;   F a r l e y   P C ,   2 0 1 3 ,   B I O C H E M   M O L   B I O L   E D U ,   V 4 1 ,   P 5 6 ,   D O I   1 0 . 1 0 0 2 / b m b . 2 0 6 5 5 ;   K h a t i b   F ,   2 0 1 1 ,   N A T   S T R U C T   M O L   B I O L ,   V 1 8 ,   P 1 1 7 5 ,   D O I   1 0 . 1 0 3 8 / n s m b . 2 1 1 9 	 5 	 1 	 1 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 1 4 7 0 - 8 1 7 5 	 	 	 B I O C H E M   M O L   B I O L   E D U 	 B i o c h e m .   M o l .   B i o l .   E d u c . 	 M A R - A P R 	 2 0 1 3 	 4 1 	 2 	 	 	 	 	 1 1 6 	 1 1 7 	 	 1 0 . 1 0 0 2 / b m b . 2 0 6 8 6 	 	 2 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   E d u c a t i o n ,   S c i e n t i f i c   D i s c i p l i n e s 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y ;   E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 1 1 3 U L 	 W O S : 0 0 0 3 1 6 6 9 4 4 0 0 0 1 0 	 2 3 4 8 3 6 5 5 	 
 J 	 A l l a h b a k h s h ,   M ;   B e n a t a l l a h ,   B ;   I g n j a t o v i c ,   A ;   M o t a h a r i - N e z h a d ,   H R ;   B e r t i n o ,   E ;   D u s t d a r ,   S 	 	 	 	 A l l a h b a k h s h ,   M o h a m m a d ;   B e n a t a l l a h ,   B o u a l e m ;   I g n j a t o v i c ,   A l e k s a n d a r ;   M o t a h a r i - N e z h a d ,   H a m i d   R e z a ;   B e r t i n o ,   E l i s a ;   D u s t d a r ,   S c h a h r a m 	 	 	 Q u a l i t y   C o n t r o l   i n   C r o w d s o u r c i n g   S y s t e m s   I s s u e s   a n d   D i r e c t i o n s 	 I E E E   I N T E R N E T   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 A s   a   n e w   d i s t r i b u t e d   c o m p u t i n g   m o d e l ,   c r o w d s o u r c i n g   l e t s   p e o p l e   l e v e r a g e   t h e   c r o w d ' s   i n t e l l i g e n c e   a n d   w i s d o m   t o w a r d   s o l v i n g   p r o b l e m s .   T h i s   a r t i c l e   p r o p o s e s   a   f r a m e w o r k   f o r   c h a r a c t e r i z i n g   v a r i o u s   d i m e n s i o n s   o f   q u a l i t y   c o n t r o l   i n   c r o w d s o u r c i n g   s y s t e m s ,   a   c r i t i c a l   i s s u e .   T h e   a u t h o r s   b r i e f l y   r e v i e w   e x i s t i n g   q u a l i t y - c o n t r o l   a p p r o a c h e s ,   i d e n t i f y   o p e n   i s s u e s ,   a n d   l o o k   t o   f u t u r e   r e s e a r c h   d i r e c t i o n s . 	 [ A l l a h b a k h s h ,   M o h a m m a d ;   I g n j a t o v i c ,   A l e k s a n d a r ]   U n i v   N e w   S   W a l e s ,   S c h   C o m p   S c i   &   E n g n ,   S y d n e y ,   N S W   2 0 5 2 ,   A u s t r a l i a ;   [ B e n a t a l l a h ,   B o u a l e m ]   U n i v   N e w   S   W a l e s ,   S y d n e y ,   N S W   2 0 5 2 ,   A u s t r a l i a ;   [ M o t a h a r i - N e z h a d ,   H a m i d   R e z a ]   H e w l e t t   P a c k a r d   L a b s ,   P a l o   A l t o ,   C A   U S A ;   [ B e r t i n o ,   E l i s a ]   P u r d u e   U n i v ,   W   L a f a y e t t e ,   I N   4 7 9 0 7   U S A ;   [ D u s t d a r ,   S c h a h r a m ]   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   I n s t   I n f o r m a t   S y s t ,   V i e n n a ,   A u s t r i a 	 A l l a h b a k h s h ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   N e w   S   W a l e s ,   S c h   C o m p   S c i   &   E n g n ,   S y d n e y ,   N S W   2 0 5 2 ,   A u s t r a l i a . 	 m a l l a h b a k h s h @ c s e . u n s w . e d u . a u ;   b o u a l e m @ c s e . u n s w . e d u . a u ;   i g n j a t @ c s e . u n s w . e d u . a u ;   h a m i d . m o t a h a r i @ h p . c o m ;   b e r t i n o @ c s . p u r d u e . e d u ;   d u s t d a r @ d s g . t u w i e n . a c . a t 	 	 	 	 	 A g i c h t e i n   E ,   2 0 0 8 ,   P   I N T   C   W E B   S E A R C H   W ,   P 1 8 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 4 1 5 3 1 . 1 3 4 1 5 5 7 ;   A l f a r o   L . ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 1 ;   B a r r o s   A . ,   2 0 1 2 ,   B U S I N E S S   P R O C E S S   M A N ,   V 7 4 8 1 ,   P 1 5 0 ;   B r a d l e y   A . ,   2 0 1 1 ,   P   C H I   2 0 1 1   W O R K S H   C R ;   C r o s b y   P . B . ,   1 9 7 9 ,   Q U A L I T Y   I S   F R E E ;   D o w   S ,   2 0 1 2 ,   P   A C M   2 0 1 2   C   C O M P   S U ,   P 1 0 1 3 ;   J o s a n g   A ,   2 0 0 7 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 3 ,   P 6 1 8 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 5 . 0 5 . 0 1 9 ;   K i t t u r   A . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 4 3 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K u l k a r n i   A . ,   2 0 1 2 ,   P   2 0 1 2   A C M   C   C O M P   S U ,   P 1 0 0 3 ;   L i t t l e   G . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 5 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 4 0 ;   L i u   C . ,   2 0 1 2 ,   S E R V I C E   O R I E N T E D   C O M ,   V 7 6 3 6 ,   P 9 6 ;   M a s o n   W . ,   2 0 1 0 ,   S I G K D D   E X P L O R   N E W S L ,   V 1 1 ,   P 1 0 0 ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   R a l y t e   J . ,   2 0 1 2 ,   A D V   I N F O R M   S Y S T E M S   E ,   V 7 3 2 8 ,   P 4 6 0 ;   S c h a l l   D ,   2 0 1 2 ,   I E E E   T   S E R V   C O M P U T ,   V 5 ,   P 2 3 3 ,   D O I   1 0 . 1 1 0 9 / T S C . 2 0 1 1 . 2 ;   W a n g   G ,   2 0 1 2 ,   P   2 1   I N T   C   W O R L D   W I D ,   P 6 7 9 	 1 7 	 1 0 	 1 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 8 9 - 7 8 0 1 	 	 	 I E E E   I N T E R N E T   C O M P U T 	 I E E E   I n t e r n e t   C o m p u t . 	 M A R - A P R 	 2 0 1 3 	 1 7 	 2 	 	 	 	 	 7 6 	 8 1 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 1 1 1 F A 	 W O S : 0 0 0 3 1 6 5 0 5 7 0 0 0 1 3 	 	 
 J 	 W a n g ,   A B ;   H o a n g ,   C D V ;   K a n ,   M Y 	 	 	 	 W a n g ,   A o b o ;   C o n g   D u y   V u   H o a n g ;   K a n ,   M i n - Y e n 	 	 	 P e r s p e c t i v e s   o n   c r o w d s o u r c i n g   a n n o t a t i o n s   f o r   n a t u r a l   l a n g u a g e   p r o c e s s i n g 	 L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 H u m a n   c o m p u t a t i o n ;   C r o w d s o u r c i n g ;   N L P ;   W i k i p e d i a ;   M e c h a n i c a l   T u r k ;   G a m e s   w i t h   a   p u r p o s e ;   A n n o t a t i o n 	 G A M E S ;   P U R P O S E 	 C r o w d s o u r c i n g   h a s   e m e r g e d   a s   a   n e w   m e t h o d   f o r   o b t a i n i n g   a n n o t a t i o n s   f o r   t r a i n i n g   m o d e l s   f o r   m a c h i n e   l e a r n i n g .   W h i l e   m a n y   v a r i a n t s   o f   t h i s   p r o c e s s   e x i s t ,   t h e y   l a r g e l y   d i f f e r   i n   t h e i r   m e t h o d s   o f   m o t i v a t i n g   s u b j e c t s   t o   c o n t r i b u t e   a n d   t h e   s c a l e   o f   t h e i r   a p p l i c a t i o n s .   T o   d a t e ,   t h e r e   h a s   y e t   t o   b e   a   s t u d y   t h a t   h e l p s   t h e   p r a c t i t i o n e r   t o   d e c i d e   w h a t   f o r m   a n   a n n o t a t i o n   a p p l i c a t i o n   s h o u l d   t a k e   t o   b e s t   r e a c h   i t s   o b j e c t i v e s   w i t h i n   t h e   c o n s t r a i n t s   o f   a   p r o j e c t .   T o   f i l l   t h i s   g a p ,   w e   p r o v i d e   a   f a c e t e d   a n a l y s i s   o f   c r o w d s o u r c i n g   f r o m   a   p r a c t i t i o n e r ' s   p e r s p e c t i v e ,   a n d   s h o w   h o w   o u r   f a c e t s   a p p l y   t o   e x i s t i n g   p u b l i s h e d   c r o w d s o u r c e d   a n n o t a t i o n   a p p l i c a t i o n s .   W e   t h e n   s u m m a r i z e   h o w   t h e   m a j o r   c r o w d s o u r c i n g   g e n r e s   f i l l   d i f f e r e n t   p a r t s   o f   t h i s   m u l t i - d i m e n s i o n a l   s p a c e ,   w h i c h   l e a d s   t o   o u r   r e c o m m e n d a t i o n s   o n   t h e   p o t e n t i a l   o p p o r t u n i t i e s   c r o w d s o u r c i n g   o f f e r s   t o   f u t u r e   a n n o t a t i o n   e f f o r t s . 	 [ C o n g   D u y   V u   H o a n g ]   A S T A R ,   I n s t   I n f o c o m m   R e s   I 2 R ,   H u m a n   L a n g u a g e   T e c h n o l   D e p t ,   S i n g a p o r e   1 3 8 6 3 2 ,   S i n g a p o r e ;   [ W a n g ,   A o b o ;   K a n ,   M i n - Y e n ]   N a t l   U n i v   S i n g a p o r e ,   S i n g a p o r e   1 1 7 4 1 7 ,   S i n g a p o r e 	 K a n ,   M Y   ( r e p r i n t   a u t h o r ) ,   N a t l   U n i v   S i n g a p o r e ,   A S 6   0 5 - 1 2   C o m p   1 , 1 3   C o m p   D r ,   S i n g a p o r e   1 1 7 4 1 7 ,   S i n g a p o r e . 	 w a n g a o b o @ c o m p . n u s . e d u . s g ;   c d v h o a n g @ i 2 r . a - s t a r . e d u . s g ;   k a n m y @ c o m p . n u s . e d u . s g 	 	 	 C S I D M   f r o m   t h e   N a t i o n a l   R e s e a r c h   F o u n d a t i o n   ( N R F )   [ C S I D M - 2 0 0 8 0 5 ] 	 W e   w o u l d   l i k e   t o   t h a n k   m a n y   o f   o u r   c o l l e a g u e s   w h o   h a v e   t a k e n   t i m e   o f f   t h e i r   t i g h t   s c h e d u l e s   t o   h e l p   r e v i e w   a n d   i m p r o v e   t o   t h i s   p a p e r ,   i n c l u d i n g   Y e e   F a n   T a n ,   J e s s e   P r a b a w a   G o z a l i ,   J u n - P i n g   N g ,   J i n   Z h a o   a n d   Z i h e n g   L i n .   T h i s   r e s e a r c h   i s   d o n e   f o r   C S I D M   P r o j e c t   N o .   C S I D M - 2 0 0 8 0 5   p a r t i a l l y   f u n d e d   b y   a   g r a n t   f r o m   t h e   N a t i o n a l   R e s e a r c h   F o u n d a t i o n   ( N R F )   a d m i n i s t e r e d   b y   t h e   M e d i a   D e v e l o p m e n t   A u t h o r i t y   ( M D A )   o f   S i n g a p o r e . 	 A k k a y a   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 9 5 ;   A m b a t i   V . ,   2 0 1 0 ,   P   H L T   N A A C L ,   P 6 2 ;   B a k e r   C . ,   1 9 9 8 ,   P   3 6   A N N   M   A S S   C O M P ,   V 1 ,   P 8 6 ,   D O I   D O I   1 0 . 3 1 1 5 / 9 8 0 8 4 5 . 9 8 0 8 6 0 ;   B l o o d g o o d   M . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 2 0 8 ;   C a l l i s o n - B u r c h   C . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   P 2 8 6 ;   C h a m b e r l a i n   J . ,   2 0 0 9 ,   P   2 0 0 9   W O R K S H   P E O P L ,   P 5 7 ,   D O I   1 0 . 3 1 1 5 / 1 6 9 9 7 6 5 . 1 6 9 9 7 7 4 ;   C h a m b e r l a i n   J . ,   2 0 0 8 ,   P   I N T   C   S E M   S Y S T   A U S ;   C h a n g   J D ,   2 0 1 0 ,   P R O C E E D I N G S   O F   T H E   2 0 1 0   I N T E R N A T I O N A L   S Y M P O S I U M   O N   C H I L D R E N   A N D   Y O U T H   F I T N E S S   A N D   H E A L T H ,   V O L   1 ,   P 1 3 1 ,   D O I   1 0 . 1 1 0 9 / S O C D C . 2 0 1 0 . 5 6 8 2 9 5 6 ;   C h k l o v s k i   T . ,   2 0 0 5 ,   K   C A P   2 0 0 5 ,   P 1 1 5 ,   D O I   1 0 . 1 1 4 5 / 1 0 8 8 6 2 2 . 1 0 8 8 6 4 ;   E a g l e   N . ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T E R ,   V 5 6 2 3 ;   F e n g   D . ,   2 0 0 9 ,   P   2 0 0 9   W O R K S H   P E O P L ,   P 5 1 ,   D O I   1 0 . 3 1 1 5 / 1 6 9 9 7 6 5 . 1 6 9 9 7 7 3 ;   F i l a t o v a   E . ,   2 0 0 9 ,   S I G I R   W O R K S H   I N F   A C C ;   F i s c u s   J .   G . ,   1 9 9 7 ,   P   I E E E   W O R K S H   A U T   S P ,   P 3 4 7 ;   F L E I S S   J L ,   1 9 7 1 ,   P S Y C H O L   B U L L ,   V 7 6 ,   P 3 7 8 ,   D O I   1 0 . 1 0 3 7 / h 0 0 3 1 6 1 9 ;   G r i e s i   D ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 5 1 9 ,   P 7 7 9 ;   G u r e v y c h   I . ,   2 0 1 0 ,   P   2   W O R K S H   P E O P L   W E B ;   G u r e v y c h   I . ,   2 0 0 9 ,   P   2 0 0 9   W O R K S H   P E O P L ;   H o   C . - J . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 1 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 5 3 ;   H u b e r m a n   B A ,   2 0 0 9 ,   J   I N F   S C I ,   V 3 5 ,   P 7 5 8 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 9 3 4 6 7 8 6 ;   I p e i r o t i s   P . ,   2 0 0 8 ,   M E C H   T U R K   D E M O G R A P H I ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   N E W   D E M O G R A P H I C S   M E C ;   I r v i n e   A . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 0 8 ;   J a i n   S . ,   2 0 0 9 ,   K D D   W O R K S H   H U M   C O M P ,   P 5 8 ;   K a i s s e r   M ,   2 0 0 8 ,   P   6   I N T   L A N G   R E S   E V ;   K i n g s b u r y   P ,   2 0 0 2 ,   P   3   I N T   C   L A N G   R E S   E ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K o l l e r   A . ,   2 0 1 0 ,   P   6   I N T   N A T   L A N G   G E N ;   K u n a t h   S . A . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 6 8 ;   K u o   Y . - L . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 1 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 5 4 ;   L a w   E . ,   2 0 0 7 ,   P   8   I N T   C   M U S   I N F   R E ;   L a w s o n   N . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 7 1 ;   L e   A . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 4 5 ;   L o u p   J . ,   2 0 0 6 ,   L A N G U A G E   L E A R N I N G   T E ,   V 1 0 ,   P 4 ;   M a d n a n i   N . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 8 8 ;   M a s o n   W . ,   2 0 0 9 ,   K D D   H C O M P   0 9 ,   P 7 7 ;   M a s s a   P ,   2 0 0 7 ,   R E C S Y S   0 7 :   P R O C E E D I N G S   O F   T H E   2 0 0 7   A C M   C O N F E R E N C E   O N   R E C O M M E N D E R   S Y S T E M S ,   P 1 7 ;   M e l l e b e e k   B . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 1 1 4 ;   N o v o t n e y   S . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 4 1 ;   O ' D o n o v a n   J . ,   2 0 0 5 ,   P   1 0   I N T   C   I N T   U S   I N ,   P 1 6 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 0 4 0 8 3 0 . 1 0 4 0 8 7 0 ;   P r a d h a n   S .   S . ,   2 0 0 7 ,   P   1   I E E E   I N T   C   S E M   C ;   P r a s a d   R . ,   2 0 0 8 ,   P   6   I N T   C   L A N G   R E S   E ;   Q u i n n   A .   J . ,   2 0 0 9 ,   T A X O N O M Y   D I S T R I B U T E D ;   Q u i n n   A .   J . ,   2 0 1 0 ,   H C I L 2 0 1 0 0 9   U   M A R ;   S e t t l e s   B . ,   2 0 0 9 ,   1 6 4 8   U   W I S C ;   S h e n g   V . ,   2 0 0 8 ,   K D D   0 8 ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   S i o r p a e s   K ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 0 2 1 ,   P 7 5 1 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S o r o k i n   A l e x a n d e r ,   2 0 0 8 ,   I E E E   C O M P   S O C   C   C O M P ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R W . 2 0 0 8 . 4 5 6 2 9 5 3 ;   S u h   B ,   2 0 0 9 ,   W I K I S Y M   0 9 ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 4 1 3 0 9 . 1 6 4 1 3 2 2 ;   V i c k r e y   D . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 5 3 3 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 8 1 ;   v o n   A h n   L . ,   2 0 0 4 ,   C H I   0 4 ,   P 3 1 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   v o n   A h n   L . ,   2 0 0 8 ,   S C I E N C E ;   v o n   A h n   L . ,   2 0 0 5 ,   T H E S I S   C M U   U S ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   V o s s   J . ,   2 0 0 5 ,   I N T   C   I N T   S O C   S C I   I N ;   Y u e n   M . ,   2 0 0 9 ,   I E E E   I N T   C   C O M P   S C I ,   V 4 ,   P 7 2 3 ,   D O I   D O I   1 0 . 1 1 0 9 / C S E . 2 0 0 9 . 3 9 5 ;   Z e s c h   T . ,   2 0 0 7 ,   B I A N N   C   S O C   C O M P   L I N ,   P 2 1 3 	 5 9 	 4 	 4 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 5 7 4 - 0 2 0 X 	 	 	 L A N G   R E S O U R   E V A L 	 L a n g .   R e s o u r .   E v a l . 	 M A R 	 2 0 1 3 	 4 7 	 1 	 	 	 S I 	 	 9 	 3 1 	 	 1 0 . 1 0 0 7 / s 1 0 5 7 9 - 0 1 2 - 9 1 7 6 - 1 	 	 2 3 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 C o m p u t e r   S c i e n c e 	 1 0 4 O S 	 W O S : 0 0 0 3 1 6 0 0 4 5 0 0 0 0 2 	 	 
 J 	 B i e m a n n ,   C 	 	 	 	 B i e m a n n ,   C h r i s 	 	 	 C r e a t i n g   a   s y s t e m   f o r   l e x i c a l   s u b s t i t u t i o n s   f r o m   s c r a t c h   u s i n g   c r o w d s o u r c i n g 	 L A N G U A G E   R E S O U R C E S   A N D   E V A L U A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A m a z o n   T u r k ;   L e x i c a l   s u b s t i t u t i o n ;   W o r d   s e n s e   d i s a m b i g u a t i o n ;   L a n g u a g e   r e s o u r c e   c r e a t i o n ;   C r o w d s o u r c i n g 	 	 T h i s   a r t i c l e   d e s c r i b e s   t h e   c r e a t i o n   a n d   a p p l i c a t i o n   o f   t h e   T u r k   B o o t s t r a p   W o r d   S e n s e   I n v e n t o r y   f o r   3 9 7   f r e q u e n t   n o u n s ,   w h i c h   i s   a   p u b l i c l y   a v a i l a b l e   r e s o u r c e   f o r   l e x i c a l   s u b s t i t u t i o n .   T h i s   r e s o u r c e   w a s   a c q u i r e d   u s i n g   A m a z o n   M e c h a n i c a l   T u r k .   I n   a   b o o t s t r a p p i n g   p r o c e s s   w i t h   m a s s i v e   c o l l a b o r a t i v e   i n p u t ,   s u b s t i t u t i o n s   f o r   t a r g e t   w o r d s   i n   c o n t e x t   a r e   e l i c i t e d   a n d   c l u s t e r e d   b y   s e n s e ;   t h e n ,   m o r e   c o n t e x t s   a r e   c o l l e c t e d .   C o n t e x t s   t h a t   c a n n o t   b e   a s s i g n e d   t o   a   c u r r e n t   t a r g e t   w o r d ' s   s e n s e   i n v e n t o r y   r e - e n t e r   t h e   b o o t s t r a p p i n g   l o o p   a n d   g e t   a   s u p p l y   o f   s u b s t i t u t i o n s .   T h i s   p r o c e s s   y i e l d s   a   s e n s e   i n v e n t o r y   w i t h   i t s   g r a n u l a r i t y   d e t e r m i n e d   b y   s u b s t i t u t i o n s   a s   o p p o s e d   t o   p s y c h o l o g i c a l l y   m o t i v a t e d   c o n c e p t s .   I t   c o m e s   w i t h   a   l a r g e   n u m b e r   o f   s e n s e - a n n o t a t e d   t a r g e t   w o r d   c o n t e x t s .   E v a l u a t i o n   o n   d a t a   q u a l i t y   s h o w s   t h a t   t h e   p r o c e s s   i s   r o b u s t   a g a i n s t   n o i s e   f r o m   t h e   c r o w d ,   p r o d u c e s   a   l e s s   f i n e - g r a i n e d   i n v e n t o r y   t h a n   W o r d N e t   a n d   p r o v i d e s   a   r i c h   b o d y   o f   h i g h   p r e c i s i o n   s u b s t i t u t i o n   d a t a   a t   l o w   c o s t .   U s i n g   t h e   d a t a   t o   t r a i n   a   s y s t e m   f o r   l e x i c a l   s u b s t i t u t i o n s ,   w e   s h o w   t h a t   a m o u n t   a n d   q u a l i t y   o f   t h e   d a t a   i s   s u f f i c i e n t   f o r   p r o d u c i n g   h i g h   q u a l i t y   s u b s t i t u t i o n s   a u t o m a t i c a l l y .   I n   t h i s   s y s t e m ,   c o - o c c u r r e n c e   c l u s t e r   f e a t u r e s   a r e   e m p l o y e d   a s   a   m e a n s   t o   c h e a p l y   m o d e l   t o p i c a l i t y . 	 T e c h   U n i v   D a r m s t a d t ,   D - 6 4 2 8 9   D a r m s t a d t ,   G e r m a n y 	 B i e m a n n ,   C   ( r e p r i n t   a u t h o r ) ,   T e c h   U n i v   D a r m s t a d t ,   H o c h s c h u l s t r   1 0 ,   D - 6 4 2 8 9   D a r m s t a d t ,   G e r m a n y . 	 b i e m @ c s . t u - d a r m s t a d t . d e 	 	 	 	 	 A g i r r e   E . ,   2 0 0 7 ,   P   4   I N T   W O R K S H   S E M   E ,   P 3 4 2 ,   D O I   1 0 . 3 1 1 5 / 1 6 2 1 4 7 4 . 1 6 2 1 5 4 8 ;   A g i r r e   E . ,   2 0 0 6 ,   P   T E X T G R A P H S   W O R K S H ,   P 8 9 ,   D O I   1 0 . 3 1 1 5 / 1 6 5 4 7 5 8 . 1 6 5 4 7 7 6 ;   A g i r r e   E ,   2 0 0 6 ,   T E X T   S P E E C H   L A N G   T E C ,   V 3 3 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 4 0 2 0 - 4 8 0 9 - 8 ;   B a r r   C . ,   2 0 0 8 ,   P   2 0 0 8   C   E M P   M E T H   N A ,   P 1 0 2 1 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 8 4 8 ;   B i e m a n n   C . ,   2 0 0 6 ,   P   H L T   N A A C L   0 6   W O R K S ;   B i e m a n n   C . ,   2 0 1 0 ,   P   A C L   2 0 1 0   W O R K S H   T E ;   B i e m a n n   C . ,   2 0 1 0 ,   P   5   G L O B   W O R D N E T   C   M ;   C a i   J .   F . ,   2 0 0 7 ,   P   4   I N T   W O R K S H   S E M   E ,   P 2 4 9 ,   D O I   1 0 . 3 1 1 5 / 1 6 2 1 4 7 4 . 1 6 2 1 5 2 7 ;   D u n n i n g   T . ,   1 9 9 3 ,   C o m p u t a t i o n a l   L i n g u i s t i c s ,   V 1 9 ;   E d m o n d s   P . ,   1 9 9 7 ,   P   3 5   A N N   M   A S S   C O M P ,   P 5 0 7 ;   E r k   K . ,   2 0 0 9 ,   P   J O I N T   C   4 7   A N N   M   A ;   G l i o z z o   A . ,   2 0 0 5 ,   A C L ,   P 4 0 3 ;   H a l l   M . ,   2 0 0 9 ,   S I G K D D   E X P L O R A T I O N S ,   V 1 1 ,   P 1 0 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 5 6 2 7 4 . 1 6 5 6 2 7 8 ;   H o v y   E . ,   2 0 0 6 ,   P   H U M   L A N G   T E C H N   C   N ,   P 5 7 ;   I n k p e n   D . ,   2 0 0 7 ,   H U M A N   L A N G U A G E   T E C H N ,   P 3 5 6 ;   K i l g a r r i f f   A . ,   2 0 0 4 ,   P   T E X T   S P E E C H   D I A L ,   P 1 ;   K l a p a f t i s   I .   P . ,   2 0 0 8 ,   P   1 8   E U R   C   A R T   I N T   E ;   M a r t i n e z   D ,   2 0 0 8 ,   J   A R T I F   I N T E L L   R E S ,   V 3 3 ,   P 7 9 ;   M c C a r t h y   D i a n a ,   2 0 0 7 ,   P   4   I N T   W O R K S H   S E M   E ,   P 4 8 ,   D O I   1 0 . 3 1 1 5 / 1 6 2 1 4 7 4 . 1 6 2 1 4 8 3 ;   M i h a l c e a   R . ,   1 9 9 8 ,   S E M C O R   S E M A N T I   U N P U B ;   M i h a l c e a   R . ,   2 0 0 1 ,   P   N A A C L   W O R S H   W O R D N E ;   M i h a l c e a   R . ,   2 0 0 7 ,   H U M A N   L A N G U A G E   T E C H N ;   M i l l e r   G . A . ,   1 9 9 0 ,   I N T   J   L E X I C O G R ,   V 3 ,   P 2 3 5 ,   D O I   D O I   1 0 . 1 0 9 3 / I J L / 3 . 4 . 2 3 5 ;   P r a d h a n   S . ,   2 0 0 7 ,   P   4   I N T   W O R K S H   S E M   E ,   P 8 7 ,   D O I   1 0 . 3 1 1 5 / 1 6 2 1 4 7 4 . 1 6 2 1 4 9 0 ;   S a n d e r s o n   M . ,   2 0 0 0 ,   I N F O R M A T I O N   R E T R I E V A ,   V 2 ,   P 4 9 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 9 9 3 3 7 0 0 1 4 7 ;   S a n d e r s o n   M ,   1 9 9 4 ,   P   1 7   A N N   I N T   A C M   S I G ,   P 1 4 2 ;   S n o w   R ,   2 0 0 8 ,   C   E M P   M E T H   N A T   L A N G ,   P 2 5 4 ;   S t o k o e   C . ,   2 0 0 5 ,   P   E M N L P   H L T   V A N C   B C ;   V e r o n i s   J ,   2 0 0 4 ,   C O M P U T   S P E E C H   L A N G ,   V 1 8 ,   P 2 2 3 ,   D O I   1 0 . 1 0 1 6 / j . c s l . 2 0 0 4 . 0 5 . 0 0 2 ;   W e b b   G I ,   2 0 0 5 ,   M A C H   L E A R N ,   V 5 8 ,   P 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 9 9 4 - 0 0 5 - 4 2 5 8 - 6 ;   W i d d o w s   D o m i n i c ,   2 0 0 2 ,   P   1 9   I N T   C   C O M P   L I N G ,   P 1 	 3 1 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 5 7 4 - 0 2 0 X 	 	 	 L A N G   R E S O U R   E V A L 	 L a n g .   R e s o u r .   E v a l . 	 M A R 	 2 0 1 3 	 4 7 	 1 	 	 	 S I 	 	 9 7 	 1 2 2 	 	 1 0 . 1 0 0 7 / s 1 0 5 7 9 - 0 1 2 - 9 1 8 0 - 5 	 	 2 6 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 C o m p u t e r   S c i e n c e 	 1 0 4 O S 	 W O S : 0 0 0 3 1 6 0 0 4 5 0 0 0 0 5 	 	 
 J 	 N e l s o n ,   X J ;   F i j n ,   N 	 	 	 	 N e l s o n ,   X i m e n a   J . ;   F i j n ,   N a t a s h a 	 	 	 T h e   u s e   o f   v i s u a l   m e d i a   a s   a   t o o l   f o r   i n v e s t i g a t i n g   a n i m a l   b e h a v i o u r 	 A N I M A L   B E H A V I O U R 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c i t i z e n   s c i e n c e ;   c r o w d s o u r c i n g ;   i n t e r n e t ;   o n l i n e   r e s o u r c e ;   o p p o r t u n i s t i c   o b s e r v a t i o n ;   ' p e o p l e   p o w e r ' ;   p l a y b a c k   s t u d y ;   p r e l i m i n a r y   t e s t i n g ;   Y o u T u b e 	 K E A   N E S T O R - N O T A B I L I S ;   C I T I Z E N - S C I E N C E ;   F L I C K E R   F U S I O N ;   S O C I A L   P L A Y ;   M O N A R C H   B U T T E R F L I E S ;   J U M P I N G   S P I D E R ;   C O L O R - V I S I O N ;   V I D E O   I M A G E S ;   D O G ;   P R E Y 	 I n   t h i s   e s s a y   w e   o u t l i n e   h o w   v i d e o - r e l a t e d   t e c h n o l o g y   c a n   b e   u s e d   a s   a   t o o l   f o r   s t u d y i n g   a n i m a l   b e h a v i o u r .   W e   r e v i e w   p a r t i c u l a r   a s p e c t s   o f   n o v e l ,   i n n o v a t i v e   a n i m a l   b e h a v i o u r   u p l o a d e d   b y   t h e   g e n e r a l   p u b l i c   v i a   v i d e o - b a s e d   m e d i a   o n   t h e   i n t e r n e t   ( u s i n g   Y o u T u b e   a s   a   s p e c i f i c   e x a m p l e ) .   T h e   b e h a v i o u r   o f   a n i m a l s ,   p a r t i c u l a r l y   t h e   p l a y   b e h a v i o u r   f o c u s e d   o n   h e r e ,   i s   v i e w e d   b y   h u g e   a u d i e n c e s .   I n   t h i s   e s s a y   w e   f o c u s e d   o n   t h r e e   d i f f e r e n t   k i n d s   o f   m e d i a   c l i p s :   ( 1 )   i n t e r s p e c i e s   p l a y   b e t w e e n   d o g s   a n d   a   r a n g e   o f   o t h e r   s p e c i e s ;   ( 2 )   o b j e c t   p l a y   i n   h o r s e s ;   a n d   ( 3 )   a n i m a l   r e s p o n s e s   t o   s t i m u l i   p r e s e n t e d   o n   i P a d s ,   i P o d s   a n d   i P h o n e s .   W e   a r g u e   t h a t   t h e   u s e   o f   v i d e o   i s   a   g o o d   m e a n s   o f   c a p t u r i n g   u n c o m m o n   o r   p r e v i o u s l y   u n k n o w n   b e h a v i o u r ,   p r o v i d i n g   e v i d e n c e   t h a t   t h e s e   b e h a v i o u r s   o c c u r .   F u r t h e r m o r e ,   s o m e   o f   t h e   b e h a v i o u r s   f e a t u r e d   o n   Y o u T u b e   p r o v i d e   v a l u a b l e   i n s i g h t s   f o r   f u t u r e   d i r e c t i o n s   i n   a n i m a l   b e h a v i o u r   r e s e a r c h .   I f   w e   a l s o   t a k e   t h i s   o p p o r t u n i t y   t o   c o n v e y   o u r   k n o w l e d g e   t o   a   p u b l i c   t h a t   s e e m s   t o   b e   f u n d a m e n t a l l y   i n t e r e s t e d   i n   a n i m a l   b e h a v i o u r ,   t h i s   i s   a   g o o d   m e a n s   o f   b r i d g i n g   t h e   g a p   b e t w e e n   k n o w l e d g e   a m o n g   a n   a c a d e m i c   f e w   a n d   t h e   g e n e r a l   p u b l i c .   ( C )   2 0 1 2   T h e   A s s o c i a t i o n   f o r   t h e   S t u d y   o f   A n i m a l   B e h a v i o u r .   P u b l i s h e d   b y   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ N e l s o n ,   X i m e n a   J . ]   U n i v   C a n t e r b u r y ,   S c h   B i o l   S c i ,   C h r i s t c h u r c h   1 ,   N e w   Z e a l a n d ;   [ F i j n ,   N a t a s h a ]   A u s t r a l i a n   N a t l   U n i v ,   S c h   A r c h a e o l   &   A n t h r o p o l ,   C a n b e r r a ,   A C T ,   A u s t r a l i a 	 N e l s o n ,   X J   ( r e p r i n t   a u t h o r ) ,   U n i v   C a n t e r b u r y ,   S c h   B i o l   S c i ,   P r i v a t e   B a g   4 8 0 0 ,   C h r i s t c h u r c h   1 ,   N e w   Z e a l a n d . 	 x i m e n a . n e l s o n @ c a n t e r b u r y . a c . n z 	 	 	 	 	 A h o   A C ,   1 9 9 7 ,   J   C O M P   P H Y S I O L   A ,   V 1 8 0 ,   P 1 9 ;   B a r b o u r   H R ,   2 0 0 2 ,   J   C O M P   N E U R O L ,   V 4 5 0 ,   P 3 3 4 ,   D O I   1 0 . 1 0 0 2 / c n e . 1 0 3 0 8 ;   B e g a l l   S ,   2 0 0 8 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 5 ,   P 1 3 4 5 1 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 8 0 3 6 5 0 1 0 5 ;   B e k o f f   M ,   2 0 0 6 ,   Z Y G O N ,   V 4 1 ,   P 7 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 7 4 4 . 2 0 0 6 . 0 0 7 2 7 . x ;   B E K O F F   M ,   1 9 9 5 ,   B E H A V I O U R ,   V 1 3 2 ,   P 4 1 9 ,   D O I   1 0 . 1 1 6 3 / 1 5 6 8 5 3 9 9 5 X 0 0 6 4 9 ;   B e k o f f   M ,   2 0 0 0 ,   B I O S C I E N C E ,   V 5 0 ,   P 8 6 1 ,   D O I   1 0 . 1 6 4 1 / 0 0 0 6 - 3 5 6 8 ( 2 0 0 0 ) 0 5 0 [ 0 8 6 1 : A E E P N ] 2 . 0 . C O ; 2 ;   B e k o f f   M . ,   1 9 9 7 ,   A N I M A L   P L A Y   E V O L U T I O ,   P 9 7 ;   B E K O F F   M ,   1 9 7 7 ,   S C I E N C E ,   V 1 9 7 ,   P 1 0 9 7 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 9 7 . 4 3 0 8 . 1 0 9 7 ;   B e k o f f   M ,   2 0 0 1 ,   J   C O N S C I O U S N E S S   S T U D ,   V 8 ,   P 8 1 ;   B L A K E   R ,   1 9 8 8 ,   T R E N D S   N E U R O S C I ,   V 1 1 ,   P 7 8 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 6 - 2 2 3 6 ( 8 8 ) 9 0 1 6 9 - 5 ;   B o u s e   D e r e k ,   2 0 0 0 ,   W I L D L I F E   F I L M S ;   B o w m a k e r   J K ,   2 0 0 5 ,   J   C O M P   P H Y S I O L   A ,   V 1 9 1 ,   P 9 2 5 ,   D O I   1 0 . 1 0 0 7 / s 0 0 3 5 9 - 0 0 5 - 0 0 1 4 - 4 ;   C O I L E   D C ,   1 9 8 9 ,   P H Y S I O L   B E H A V ,   V 4 5 ,   P 1 0 8 7 ,   D O I   1 0 . 1 0 1 6 / 0 0 3 1 - 9 3 8 4 ( 8 9 ) 9 0 0 9 2 - 9 ;   C o l l i n   S . P . ,   1 9 9 9 ,   P 5 0 9 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   C R O W E L L D A V I S   S L ,   1 9 8 7 ,   A P P L   A N I M   B E H A V   S C I ,   V 1 8 ,   P 1 1 9 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 8 - 1 5 9 1 ( 8 7 ) 9 0 1 8 6 - 9 ;   D e a k o s   M H ,   2 0 1 0 ,   A Q U A T   M A M M ,   V 3 6 ,   P 1 2 1 ,   D O I   1 0 . 1 5 7 8 / A M . 3 6 . 2 . 2 0 1 0 . 1 2 1 ;   D E a t h   R B ,   1 9 9 6 ,   A N I M   B E H A V ,   V 5 2 ,   P 9 0 3 ,   D O I   1 0 . 1 0 0 6 / a n b e . 1 9 9 6 . 0 2 3 8 ;   D e m e r y   Z P ,   2 0 1 1 ,   P   R O Y   S O C   B - B I O L   S C I ,   V 2 7 8 ,   P 3 6 8 7 ,   D O I   1 0 . 1 0 9 8 / r s p b . 2 0 1 1 . 0 3 7 4 ;   D i a m o n d   J ,   2 0 0 4 ,   B E H A V I O U R ,   V 1 4 1 ,   P 7 7 7 ,   D O I   1 0 . 1 1 6 3 / 1 5 6 8 5 3 9 0 4 2 2 6 5 6 8 0 ;   D i c k i n s o n   J L ,   2 0 1 0 ,   A N N U   R E V   E C O L   E V O L   S ,   V 4 1 ,   P 1 4 9 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v - e c o l s y s - 1 0 2 2 0 9 - 1 4 4 6 3 6 ;   E w e r t   J o e r g - P e t e r ,   2 0 0 4 ,   P 1 1 7 ;   F a r a g o   T ,   2 0 1 0 ,   P L O S   O N E ,   V 5 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 5 1 7 5 ;   F i j n   N . ,   2 0 0 7 ,   A S I A   P A C I F I C   J   A N T H R ,   V 8 ,   P 2 9 7 ,   D O I   1 0 . 1 0 8 0 / 1 4 4 4 2 2 1 0 7 0 1 6 5 4 0 3 2 ;   F i j n   N . ,   2 0 1 2 ,   H U M A N I T I E S   R E S   J ,   V 1 8 ,   P 7 1 ;   G a j d o n   G K ,   2 0 0 6 ,   A N I M   C O G N ,   V 9 ,   P 1 7 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 0 7 1 - 0 0 6 - 0 0 1 8 - 7 ;   G r i m s h a w   A n n a ,   2 0 0 1 ,   E T H N O G R A P H E R S   E Y E   W A ;   H a r l a n d   D P ,   2 0 0 2 ,   J   E X P   B I O L ,   V 2 0 5 ,   P 1 8 6 1 ;   H e r t   J ,   2 0 1 1 ,   J   C O M P   P H Y S I O L   A ,   V 1 9 7 ,   P 6 7 7 ,   D O I   1 0 . 1 0 0 7 / s 0 0 3 5 9 - 0 1 1 - 0 6 2 8 - 7 ;   H o u s e   D ,   1 9 8 9 ,   D E P T H   P E R C E P T I O N   F R O ;   H o w a r d   E ,   2 0 1 1 ,   J   L E P I D   S O C ,   V 6 5 ,   P 2 6 7 ;   H o w a r d   E ,   2 0 0 9 ,   J   I N S E C T   C O N S E R V ,   V 1 3 ,   P 2 7 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 8 4 1 - 0 0 8 - 9 1 6 9 - y ;   J a c o b s   G H ,   2 0 0 9 ,   P H I L O S   T   R   S O C   B ,   V 3 6 4 ,   P 2 9 5 7 ,   D O I   1 0 . 1 0 9 8 / r s t b . 2 0 0 9 . 0 0 3 9 ;   J e r m y n   D ,   2 0 0 7 ,   C R I M E   W A T C H I N G   I N V E S ;   J o n e s   M P ,   2 0 0 7 ,   J   E X O T   P E T   M E D ,   V 1 6 ,   P 6 9 ,   D O I   1 0 . 1 0 5 3 / j . j e p m . 2 0 0 7 . 0 3 . 0 1 2 ;   K a u l f u s s   P ,   2 0 0 8 ,   A N I M   C O G N ,   V 1 1 ,   P 5 5 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 0 7 1 - 0 0 7 - 0 1 2 8 - x ;   L e a   S E G ,   2 0 0 6 ,   A N I M   C O G N ,   V 9 ,   P 2 4 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 0 7 1 - 0 0 6 - 0 0 3 8 - 3 ;   L i n d   O ,   2 0 1 1 ,   J   V I S I O N ,   V 1 1 ,   D O I   1 0 . 1 1 6 7 / 1 1 . 7 . 2 ;   L i s n e y   T J ,   2 0 1 1 ,   V I S I O N   R E S ,   V 5 1 ,   P 1 3 2 4 ,   D O I   1 0 . 1 0 1 6 / j . v i s r e s . 2 0 1 1 . 0 4 . 0 0 9 ;   M a c D o u g a l l   D ,   2 0 0 6 ,   C O R P O R E A L   I M A G E ;   M a c D o u g a l l   D . ,   2 0 0 1 ,   A N T H R   T O D A Y ,   V 1 7 ,   P 1 5 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 8 3 2 2 . 0 0 0 6 0 ;   M a c D o u g a l l   D a v i d ,   1 9 9 8 ,   T R A N S C U L T U R A L   C I N E M A ;   M c D o n n e l l   S M ,   2 0 0 2 ,   A P P L   A N I M   B E H A V   S C I ,   V 7 8 ,   P 2 6 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 8 - 1 5 9 1 ( 0 2 ) 0 0 1 1 2 - 0 ;   M i l l e r   P E ,   1 9 9 5 ,   J   A M   V E T   M E D   A S S O C ,   V 2 0 7 ,   P 1 6 2 3 ;   M u l l e n   P ,   2 0 0 8 ,   I B I S ,   V 1 5 0 ,   P 5 9 ;   N E I T Z   J ,   1 9 8 9 ,   V I S U A L   N E U R O S C I ,   V 3 ,   P 1 1 9 ;   N e l s o n   X J ,   2 0 1 0 ,   A N I M   B E H A V ,   V 7 9 ,   P 5 5 5 ,   D O I   1 0 . 1 0 1 6 / j . a n b e h a v . 2 0 0 9 . 1 2 . 0 1 1 ;   N e l s o n   X J ,   2 0 1 2 ,   J   E X P   B I O L ,   V 2 1 5 ,   P 2 2 5 5 ,   D O I   1 0 . 1 2 4 2 / j e b . 0 6 9 6 0 9 ;   N e l s o n   X J ,   2 0 0 8 ,   E T H O L O G Y ,   V 1 1 4 ,   P 1 1 5 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 3 9 - 0 3 1 0 . 2 0 0 8 . 0 1 5 6 8 . x ;   N e l s o n   X J ,   2 0 0 6 ,   B E H A V   E C O L ,   V 1 7 ,   P 6 7 6 ,   D O I   1 0 . 1 0 9 3 / b e h e c o / a r k 0 1 7 ;   N O W A K   L M ,   1 9 8 3 ,   V I S I O N   R E S ,   V 2 3 ,   P 8 4 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 2 - 6 9 8 9 ( 8 3 ) 9 0 0 5 1 - 2 ;   O r d   T J ,   2 0 0 2 ,   A N I M   B E H A V ,   V 6 3 ,   P 8 7 9 ,   D O I   1 0 . 1 0 0 6 / a n b e . 2 0 0 1 . 1 9 8 3 ;   O t t   M ,   1 9 9 8 ,   J   C O M P   P H Y S I O L   A ,   V 1 8 2 ,   P 3 1 9 ,   D O I   1 0 . 1 0 0 7 / s 0 0 3 5 9 0 0 5 0 1 8 2 ;   O t t   M ,   2 0 0 4 ,   J   E X P   B I O L ,   V 2 0 7 ,   P 3 0 6 7 ,   D O I   1 0 . 1 2 4 2 / j e b . 0 1 1 5 3 ;   P a t t e r s o n K a n e   E ,   1 9 9 7 ,   A N I M   B E H A V ,   V 5 3 ,   P 9 5 1 ,   D O I   1 0 . 1 0 0 6 / a n b e . 1 9 9 6 . 0 3 8 5 ;   P e t e r s   R A ,   2 0 0 8 ,   B I O L   L E T T E R S ,   V 4 ,   P 2 ,   D O I   1 0 . 1 0 9 8 / r s b l . 2 0 0 7 . 0 4 2 2 ;   P o n g r a c z   P ,   2 0 0 3 ,   E T H O L O G Y ,   V 1 0 9 ,   P 8 0 9 ,   D O I   1 0 . 1 0 4 6 / j . 0 1 7 9 - 1 6 1 3 . 2 0 0 3 . 0 0 9 2 3 . x ;   P r e t t e r e r   G ,   2 0 0 4 ,   J   V I S I O N ,   V 4 ,   P 2 4 1 ,   D O I   1 0 . 1 1 6 7 / 4 . 3 . 1 0 ;   R I N G O   J ,   1 9 7 7 ,   S C I E N C E ,   V 1 9 8 ,   P 7 5 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 9 1 0 1 6 1 ;   R o o n e y   N J ,   2 0 0 1 ,   A N I M   B E H A V ,   V 6 1 ,   P 7 1 5 ,   D O I   1 0 . 1 0 0 6 / a n b e . 2 0 0 0 . 1 6 6 1 ;   R o o n e y   N J ,   2 0 0 2 ,   A P P L   A N I M   B E H A V   S C I ,   V 7 5 ,   P 1 6 1 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 8 - 1 5 9 1 ( 0 1 ) 0 0 1 9 2 - 7 ;   R o o n e y   N J ,   2 0 0 0 ,   A P P L   A N I M   B E H A V   S C I ,   V 6 6 ,   P 2 3 5 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 8 - 1 5 9 1 ( 9 9 ) 0 0 0 7 8 - 7 ;   R o o n e y   N J ,   2 0 0 6 ,   A N I M   B E H A V ,   V 7 2 ,   P 3 4 3 ,   D O I   1 0 . 1 0 1 6 / j . a n b e h a v . 2 0 0 5 . 1 0 . 0 1 4 ;   S H U M A K E   S A ,   1 9 6 8 ,   P S Y C H O L   R E C ,   V 1 8 ,   P 5 3 7 ;   S i l v e r t o w n   J ,   2 0 0 9 ,   T R E N D S   E C O L   E V O L ,   V 2 4 ,   P 4 6 7 ,   D O I   1 0 . 1 0 1 6 / j . t r e e . 2 0 0 9 . 0 3 . 0 1 7 ;   S m i t h   C L ,   2 0 0 9 ,   A N I M   B E H A V ,   V 7 8 ,   P 1 4 3 3 ,   D O I   1 0 . 1 0 1 6 / j . a n b e h a v . 2 0 0 9 . 0 7 . 0 3 4 ;   T h o m p s o n   N .   S . ,   1 9 9 0 ,   A N T H R O Z O O S ,   V 4 ,   P 2 4 ;   V a n   D y k   D A ,   2 0 0 7 ,   J   E X P   B I O L ,   V 2 1 0 ,   P 3 0 2 7 ,   D O I   1 0 . 1 2 4 2 / j e b . 0 0 7 4 9 2 ;   V e i l l e u x   C .   C . ,   2 0 0 9 ,   A M   J   P R I M A T O L ,   V 7 1 ,   P 1 ;   W a t a n a b e   S ,   2 0 0 6 ,   A N I M   C O G N ,   V 9 ,   P 2 7 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 0 7 1 - 0 0 6 - 0 0 4 8 - 1 ;   W e s c h   M . ,   2 0 0 9 ,   E X P L O R A T I O N S   M E D I A   E ,   V 8 ,   P 1 9 ;   W e s c h   M .   L . ,   2 0 0 8 ,   A N T H R   I N T R O   Y O U T U B E ;   W h i t e   R ,   2 0 0 6 ,   F I L M   Q U A R T ,   V 6 0 ,   P 3 ,   D O I   1 0 . 1 5 2 5 / f q . 2 0 0 6 . 6 0 . 2 . 3 ;   W o o   K L ,   2 0 1 1 ,   B E H A V   E C O L   S O C I O B I O L ,   V 6 5 ,   P 1 6 7 1 ,   D O I   1 0 . 1 0 0 7 / s 0 0 2 6 5 - 0 1 1 - 1 2 2 6 - y ;   W o o   K L ,   2 0 0 9 ,   A N I M   B E H A V ,   V 7 7 ,   P 3 0 7 ,   D O I   1 0 . 1 0 1 6 / j . a n b e h a v . 2 0 0 8 . 1 0 . 0 1 1 ;   W o o d h o u s e   J .   M . ,   1 9 8 5 ,   S E N S E S ,   P 1 3 3 ;   Z e i l   J o c h e n ,   2 0 0 0 ,   A c t a   E t h o l o g i c a ,   V 3 ,   P 3 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 2 1 1 0 0 0 0 0 2 1 	 7 7 	 1 	 1 	 A C A D E M I C   P R E S S   L T D -   E L S E V I E R   S C I E N C E   L T D 	 L O N D O N 	 2 4 - 2 8   O V A L   R D ,   L O N D O N   N W 1   7 D X ,   E N G L A N D 	 0 0 0 3 - 3 4 7 2 	 	 	 A N I M   B E H A V 	 A n i m .   B e h a v . 	 M A R 	 2 0 1 3 	 8 5 	 3 	 	 	 	 	 5 2 5 	 5 3 6 	 	 1 0 . 1 0 1 6 / j . a n b e h a v . 2 0 1 2 . 1 2 . 0 0 9 	 	 1 2 	 B e h a v i o r a l   S c i e n c e s ;   Z o o l o g y 	 B e h a v i o r a l   S c i e n c e s ;   Z o o l o g y 	 1 0 1 S J 	 W O S : 0 0 0 3 1 5 7 9 4 4 0 0 0 0 4 	 	 
 J 	 A d a m s ,   S 	 	 	 	 A d a m s ,   S a m a n t h a 	 	 	 P O S T - P A N O P T I C   S U R V E I L L A N C E   T H R O U G H   H E A L T H C A R E   R A T I N G   S I T E S   W h o ' s   w a t c h i n g   w h o m ? 	 I N F O R M A T I O N   C O M M U N I C A T I O N   &   S O C I E T Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   s u r v e i l l a n c e ;   p r i v a c y ;   W e b   2 ;   0 ;   p a t i e n t   p a r t i c i p a t i o n ;   h e a l t h   c a r e 	 P U B L I C - H E A L T H ;   N E T H E R L A N D S 	 T h i s   a r t i c l e   e x a m i n e s   w e b s i t e s   w h e r e   p a t i e n t s   r a t e   a n d   e v a l u a t e   h e a l t h c a r e   s e r v i c e s   a s   m e c h a n i s m s   f o r   t r a n s f o r m i n g   c i t i z e n s   i n t o   s u r v e i l l e r s   o f   p u b l i c   s e r v i c e s   i n   o r d e r   t o   g e n e r a t e   k n o w l e d g e   a b o u t   t h e   e v e r y d a y   p e r f o r m a n c e   o f   p r o f e s s i o n a l s   a n d   i n s t i t u t i o n s .   U s i n g   p o s t - p a n o p t i c   t h e o r i e s   a b o u t   t h e   u s e   o f   i n f o r m a t i o n   a n d   c o m m u n i c a t i o n   t e c h n o l o g i e s   i n   d a i l y   l i f e ,   i t   q u e s t i o n s   h o w   s u c h   s i t e s ,   a n d   t h e   k n o w l e d g e   t h e y   g e n e r a t e ,   r e l a t e   t o   e x i s t i n g   s u r v e i l l a n c e   s t r u c t u r e s .   I t   b e g i n s   w i t h   a   r e v i e w   o f   c u r r e n t   s u r v e i l l a n c e   l i t e r a t u r e   b e f o r e   t u r n i n g   t o   t h e   e m p i r i c a l   c a s e   o f   t h e   D u t c h   w e b s i t e   Z o e k d o k t e r .   I t   s i t u a t e s   t h e   s i t e   i n   i t s   s p e c i f i c   n a t i o n a l   h e a l t h   a n d   p o l i c y   c o n t e x t ,   w h i c h   e n a b l e s   n o t   o n l y   a n   a n a l y s i s   o f   t h e   s i t e ,   b u t   a l s o   t h e   e x i s t i n g   r u l e s ,   n o r m s   a n d   s t r u c t u r e s   f o r   m o n i t o r i n g   p e r f o r m a n c e   a n d   t h e   d y n a m i c   b e t w e e n   m u l t i p l e   t y p e s   o f   s u r v e i l l a n c e   t h a t   o c c u r   s i m u l t a n e o u s l y   i n   p r a c t i c e .   Z o e k d o k t e r . n l   i s   o n e   o f   s i x   c a s e s   i n   t h i s   r e s e a r c h   p r o j e c t   a n d   i s   t h e   o n l y   c a s e   w h e r e   p a t i e n t s   a r e   e n c o u r a g e d   t o   e v a l u a t e   i n d i v i d u a l   p r o f e s s i o n a l s   i d e n t i f i e d   b y   n a m e   a n d   l o c a t i o n .   I   a n a l y z e   w e b s i t e   t e x t s   a n d   1 5   s t a k e h o l d e r   i n t e r v i e w s   u s i n g   t h e   p o s t - p a n o p t i c   c o n c e p t s   o f   s o u s v e i l l a n c e ,   c o v e i l l a n c e   a n d   i n f o v e i l l a n c e .   I n   t h e   d i s c u s s i o n ,   I   u s e   t h e   c a s e   t o   r e f l e c t   o n   s e v e r a l   a s s u m p t i o n s   m a d e   i n   c u r r e n t   p o s t - p a n o p t i c   t h e o r y   a n d ,   m o r e   s p e c i f i c a l l y ,   o n   t h e   t r a n s f e r a b i l i t y   o f   t h e s e   i d e a s   t o   s p e c i f i c   s e c t o r s ,   s u c h   a s   h e a l t h c a r e . 	 E r a s m u s   U n i v ,   H l t h   P o l i c y   &   M a n a g e m e n t   i B M G ,   N L - 3 0 0 0   D R   R o t t e r d a m ,   N e t h e r l a n d s 	 A d a m s ,   S   ( r e p r i n t   a u t h o r ) ,   E r a s m u s   U n i v ,   H l t h   P o l i c y   &   M a n a g e m e n t   i B M G ,   P o s t b u s   1 7 3 8 ,   N L - 3 0 0 0   D R   R o t t e r d a m ,   N e t h e r l a n d s . 	 a d a m s @ b m g . e u r . n l 	 	 	 	 	 A b r a m s   J . ,   2 0 0 9 ,   F O X N E W S                   0 2 1 9 ;   A d a m s   S .   A . ,   2 0 1 0 ,   R E C O N F I G U R I N G   H L T H   C ,   P 1 7 8 ;   A d a m s   S A ,   2 0 1 1 ,   S O C   S C I   M E D ,   V 7 2 ,   P 1 0 6 9 ,   D O I   1 0 . 1 0 1 6 / j . s o c s c i m e d . 2 0 1 1 . 0 2 . 0 0 1 ;   A l b r e c h t s l u n d   A . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ;   B a l l   S .   J . ,   2 0 0 1 ,   P E R F O R M I N G   S C H   M A N A G ,   P 2 1 0 ;   C h a v a n n e s   M . ,   2 0 0 7 ,   T U R V E N   T E L L E N   T O E T S E ,   P 9 3 ;   C o r d e l l a   A ,   2 0 0 7 ,   J   I N F   T E C H N O L ,   V 2 2 ,   P 2 6 5 ,   D O I   1 0 . 1 0 5 7 / p a l g r a v e . j i t . 2 0 0 0 1 0 5 ;   d e   B o n t   A .   A . ,   2 0 0 9 ,   V E I L I G H E I D   Z O R G   A C H T ;   d e   B o n t   A .   A . ,   2 0 0 7 ,   B M C   H L T H   S E R V I C E S   R E ,   V 7 ;   D i x o n   A ,   2 0 1 0 ,   H E A L T H   E C O N   P O L I C Y   L ,   V 5 ,   P 2 9 5 ,   D O I   1 0 . 1 0 1 7 / S 1 7 4 4 1 3 3 1 1 0 0 0 0 0 5 8 ;   E n t h o v e n   A C ,   2 0 0 7 ,   N E W   E N G L   J   M E D ,   V 3 5 7 ,   P 2 4 2 1 ,   D O I   1 0 . 1 0 5 6 / N E J M p 0 7 8 1 9 9 ;   E U R I M ,   2 0 0 8 ,   A C H   C I T   C E N T R   S E R V   D ;   E y s e n b a c h   G ,   2 0 0 9 ,   J   M E D   I N T E R N E T   R E S ,   V 1 1 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 1 5 7 ;   F o u c a u l t   M . ,   1 9 7 7 ,   D I S C I P L I N E   P U N I S H   B I ;   F u c h s   C . ,   2 0 1 1 ,   S U R V E I L L A N C E   S O C ,   V 8 ,   P 2 8 9 ;   G a n a s c i a   J G ,   2 0 1 0 ,   S O C   S C I   I N F O R M ,   V 4 9 ,   P 4 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 5 3 9 0 1 8 4 1 0 3 7 1 0 2 7 ;   G o l d b e r g   D . ,   2 0 1 0 ,   D E R M A T O L O G Y   T I M   1 0 0 1 ;   G r a y   A . ,   2 0 0 4 ,   G O V E R N I N G   M E D   T H E O R Y ;   H o u t   F   A   G ,   2 0 1 0 ,   E u r   J   H e a l t h   L a w ,   V 1 7 ,   P 3 4 7 ;   I e d e m a   R ,   2 0 1 0 ,   O R G A N   S T U D ,   V 3 1 ,   P 1 9 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 0 9 3 4 7 1 2 8 ;   M a n n   S ,   2 0 0 3 ,   C H E M   B R I T ,   V 3 9 ,   P 3 ;   M a r g e t t s s   H ,   2 0 0 9 ,   P O L I C Y   I N T E R N E T ,   V 1 ,   P 1 ,   D O I   D O I   1 0 . 2 2 0 2 / 1 9 4 4 - 2 8 6 6 . 1 0 2 9 ;   P e r r y m a n   J ,   2 0 0 9 ,   J   E D U C   P O L I C Y ,   V 2 4 ,   P 6 1 1 ,   D O I   1 0 . 1 0 8 0 / 0 2 6 8 0 9 3 0 9 0 3 1 2 5 1 2 9 ;   P r i d m o r e   J . ,   2 0 1 0 ,   P O L   E C   S U R V   W O R K S H   S ;   R a b i n o w   P . ,   1 9 8 4 ,   F O U C A U L T   R E A D E R ;   R e a d i n g   A . ,   2 0 0 8 ,   P   M O B   C O M M   E T H   S O C   N ,   P 2 4 0 ;   R o b b e n   P . ,   2 0 1 0 ,   I N A U G U R A L   L E C T ;   S i n g l e t o n   V ,   2 0 0 5 ,   E N V I R O N   P L A N N   D ,   V 2 3 ,   P 7 7 1 ,   D O I   1 0 . 1 0 6 8 / d 3 5 5 t ;   S l e v i n   J a m e s ,   2 0 0 0 ,   I N T E R N E T   S O C ;   T h o m p s o n   J .   B . ,   1 9 9 5 ,   M E D I A   M O D E R N I T Y ;   T r o m m e l   W . ,   2 0 0 6 ,   B   M ,   V 3 3 ,   P 1 3 7 ;   v a n   d e   B o v e n k a m p   H . ,   2 0 1 2 ,   D O E L G E R I C H T   D E E L N E M E ;   v a n   D i j c k   J ,   2 0 0 9 ,   M E D I A   C U L T   S O C ,   V 3 1 ,   P 4 1 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 3 4 4 3 7 0 8 0 9 8 2 4 5 ;   W o o d w a r d   C ,   2 0 0 9 ,   C A N   M E D   A S S O C   J ,   V 1 8 0 ,   P 1 0 1 0 ,   D O I   1 0 . 1 5 0 3 / c m a j . 0 9 0 6 7 9 ;   Z i m m e r   M i c h a e l ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 	 3 5 	 2 	 2 	 R O U T L E D G E   J O U R N A L S ,   T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X F O R D S H I R E ,   E N G L A N D 	 1 3 6 9 - 1 1 8 X 	 	 	 I N F O R M   C O M M U N   S O C 	 I n f o .   C o m m u n .   S o c . 	 M A R   1 	 2 0 1 3 	 1 6 	 2 	 	 	 S I 	 	 2 1 5 	 2 3 5 	 	 1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 2 . 7 0 1 6 5 7 	 	 2 1 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 0 9 7 G F 	 W O S : 0 0 0 3 1 5 4 6 1 3 0 0 0 0 5 	 	 
 J 	 V i l l a r r o e l ,   J A ;   T a y l o r ,   J E ;   T u c c i ,   C L 	 	 	 	 V i l l a r r o e l ,   J .   A n d r e i ;   T a y l o r ,   J o h n   E . ;   T u c c i ,   C h r i s t o p h e r   L . 	 	 	 I n n o v a t i o n   a n d   l e a r n i n g   p e r f o r m a n c e   i m p l i c a t i o n s   o f   f r e e   r e v e a l i n g   a n d   k n o w l e d g e   b r o k e r i n g   i n   c o m p e t i n g   c o m m u n i t i e s :   i n s i g h t s   f r o m   t h e   N e t f l i x   P r i z e   c h a l l e n g e 	 C O M P U T A T I O N A L   A N D   M A T H E M A T I C A L   O R G A N I Z A T I O N   T H E O R Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M a n a g i n g   o n l i n e   c o m m u n i t i e s ;   F r e e   r e v e a l i n g ;   K n o w l e d g e   b r o k e r i n g ;   O r g a n i z a t i o n a l   l e a r n i n g ;   C r o w d s o u r c i n g ;   C o m p u t e r   s i m u l a t i o n 	 O P E N   S O U R C E   S O F T W A R E ;   O R G A N I Z A T I O N   S C I E N C E ;   M O D E L ;   E X P L O R A T I O N ;   F I R M S ;   E X P L O I T A T I O N ;   A S S I S T A N C E ;   A D V A N T A G E ;   U S E R S ;   L I N U X 	 F i r m s   i n c r e a s i n g l y   u s e   o p e n   c o m p e t i t i o n s   t o   e x t e n d   t h e i r   i n n o v a t i o n   p r o c e s s   a n d   a c c e s s   n e w   d i v e r s e   k n o w l e d g e .   T h e   N e t f l i x   P r i z e   c a s e   w e   s t u d y   i n   t h i s   p a p e r   i s   a   m u l t i - s t a g e   r e p e a t - s u b m i s s i o n   o p e n   c o m p e t i t i o n   i n v o l v i n g   t h e   c r e a t i o n   o f   n e w   k n o w l e d g e   f r o m   a c r o s s   k n o w l e d g e   d o m a i n s ,   a   p r o c e s s   w h i c h   b e n e f i t s   f r o m   k n o w l e d g e   s h a r i n g   a c r o s s   c o m p e t i n g   c o m m u n i t i e s .   T h e   e x t a n t   l i t e r a t u r e   s a y s   l i t t l e   a b o u t   t h e   e f f e c t s   o f   d i f f e r e n t   t y p e s   a n d   l e v e l s   o f   k n o w l e d g e   s h a r i n g   b e h a v i o r   o n   t h e   l e a r n i n g   a n d   i n n o v a t i o n   o u t c o m e s   o f   s u c h   a   c o m p e t i t i v e   s y s t e m ,   o r   w h a t   t h e   p e r f o r m a n c e   b o u n d a r i e s   m a y   b e   f o r   t h e   s y s t e m   a s   a   r e s u l t   o f   s u c h   d i f f e r e n c e s .   O u r   r e s e a r c h   e x p l o r e s   t h o s e   b o u n d a r i e s   u n v e i l i n g   i m p o r t a n t   t r a d e o f f s   i n v o l v i n g   f r e e   r e v e a l i n g   b e h a v i o r - d e f i n e d   a s   v o l u n t a r i l y   g i v i n g   a w a y   c o d i f i e d   k n o w l e d g e   a n d   m a k i n g   i t   i n t o   a   ' p u b l i c   g o o d ' a E u r o " a n d   k n o w l e d g e   b r o k e r i n g   b e h a v i o r - d e f i n e d   a s   u s i n g   k n o w l e d g e   f r o m   o n e   d o m a i n   t o   i n n o v a t e   i n   a n o t h e r - o n   t h e   l e a r n i n g   p e r f o r m a n c e   o f   c o m p e t i n g   c o m m u n i t i e s .   T h e   r e s u l t s ,   a n a l y z i n g   t h e   s y s t e m - l e v e l   a v e r a g e   a n d   v o l a t i l i t y   o f   l e a r n i n g   o u t c o m e s ,   l e a d   t o   t h r e e   c o n c l u s i o n s :   ( i )   g r e a t e r   k n o w l e d g e   s h a r i n g ,   a s   p o r t r a y e d   b y   g r e a t e r   f r e e   r e v e a l i n g   a n d   k n o w l e d g e   b r o k e r i n g ,   h e l p s   a c h i e v e   b e t t e r   a v e r a g e   l e a r n i n g   f o r   t h e   s y s t e m   a s   a   w h o l e ,   h o w e v e r ,   ( i i )   a c h i e v i n g   t h e   b e s t   o v e r a l l   o u t c o m e   p o s s i b l e   f r o m   t h e   s y s t e m   a c t u a l l y   r e q u i r e s   c o n t r o l l i n g   t h e   a m o u n t   o f   k n o w l e d g e   b r o k e r i n g   a c t i v i t y   i n   t h e   s y s t e m .   T h e   r e s u l t s   f u r t h e r   s u g g e s t   t h a t   ( i i i )   i t   s h o u l d   n o t   b e   p o s s i b l e   t o   s i m u l t a n e o u s l y   a c h i e v e   b o t h   t h e   b e s t   o v e r a l l   o u t c o m e   f r o m   t h e   s y s t e m   a n d   t h e   b e s t   a v e r a g e   l e a r n i n g   f o r   t h e   s y s t e m .   T h e   t r a d e o f f s   t h a t   e n s u e   f r o m   t h e s e   f i n d i n g s   h a v e   i m p o r t a n t   i m p l i c a t i o n s   f o r   i n n o v a t i o n   p o l i c y   a n d   m a n a g e m e n t .   T h i s   r e s e a r c h   c o n t r i b u t e s   t o   p r a c t i c e   b y   s h o w i n g   h o w   i t   i s   p o s s i b l e   t o   a c h i e v e   d i f f e r e n t   l e a r n i n g   p e r f o r m a n c e   o u t c o m e s   b y   m a n a g i n g   t h e   t y p e s   a n d   l e v e l s   o f   k n o w l e d g e   s h a r i n g   i n   o p e n   c o m p e t i t i v e   s y s t e m s . 	 [ V i l l a r r o e l ,   J .   A n d r e i ]   C a t o l i c a   L i s b o n   S c h   B u s i n e s s   &   E c o n ,   P - 1 6 4 9 0 2 3   L i s b o n ,   P o r t u g a l ;   [ T a y l o r ,   J o h n   E . ]   V i r g i n i a   T e c h ,   D e p t   C i v i l   &   E n v i r o n m   E n g n ,   B l a c k s b u r g ,   V A   2 4 0 6 1   U S A ;   [ T u c c i ,   C h r i s t o p h e r   L . ]   E c o l e   P o l y t e c h   F e d   L a u s a n n e ,   C h a i r   C o r p   S t r a t e g y   &   I n n o v a t ,   C o l l   M a n a g e m e n t   T e c h n o l ,   C H - 1 0 1 5   L a u s a n n e ,   S w i t z e r l a n d 	 V i l l a r r o e l ,   J A   ( r e p r i n t   a u t h o r ) ,   C a t o l i c a   L i s b o n   S c h   B u s i n e s s   &   E c o n ,   P - 1 6 4 9 0 2 3   L i s b o n ,   P o r t u g a l . 	 a n d r e i v @ m i t . e d u 	 T a y l o r ,   J o h n / F - 1 0 0 2 - 2 0 1 1 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   o f   S w i t z e r l a n d   [ P B E L P 2 - 1 2 3 0 2 7 ] ;   M I T   S l o a n   I n t e r n a t i o n a l   F a c u l t y   F e l l o w s   p r o g r a m 	 T h i s   r e s e a r c h   w a s   f i r s t   d i s t i n g u i s h e d   w i t h   a   B e s t   S t u d e n t   P a p e r   A w a r d   f r o m   t h e   N o r t h   A m e r i c a n   A s s o c i a t i o n   f o r   C o m p u t a t i o n a l   S o c i a l   a n d   O r g a n i z a t i o n   S c i e n c e   ( N A A C S O S )   i n   2 0 0 7   ( h t t p : / / w w w . c a s o s . c s . c m u . e d u / n a a c s o s / a w a r d s . p h p ) .   F u r t h e r   d e v e l o p m e n t   o f   t h i s   w o r k   b e n e f i t e d   f r o m   f e l l o w s h i p s   o f   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   o f   S w i t z e r l a n d   ( P B E L P 2 - 1 2 3 0 2 7 )   a n d   t h e   M I T   S l o a n   I n t e r n a t i o n a l   F a c u l t y   F e l l o w s   p r o g r a m .   T h e   a r t i c l e   i n c o r p o r a t e d   h e l p f u l   c o m m e n t s   r e c e i v e d   a t   t h e   A c a d e m y   o f   M a n a g e m e n t   A n n u a l   M e e t i n g   i n   2 0 0 8   a n d   t h e   S t r a t e g i c   M a n a g e m e n t   S o c i e t y   3 0 t h   I n t e r n a t i o n a l   A n n u a l   M e e t i n g   i n   2 0 1 0 ,   w h e r e   t h i s   r e s e a r c h   w a s   p r e s e n t e d .   I n   p a r t i c u l a r ,   t h e   a u t h o r s   w o u l d   l i k e   t o   t h a n k   c o l l e a g u e s   i n   t h e   m o d e l i n g   c o m m u n i t y ,   M i c h a e l   P r i e t u l a ,   D a v i d   S a l l a c h ,   a n d   J o h n   S t e r m a n ,   f o r   t h e i r   v a l u a b l e   f e e d b a c k .   T h e   c o n c e p t u a l   c o n t r i b u t i o n   o f   t h i s   w o r k   r e c e i v e d   c o n s t r u c t i v e   c o m m e n t s   f r o m   D i e t m a r   H a r h o f f ,   E r i c   v o n   H i p p e l ,   K a r i m   L a k h a n i ,   a n d   J o e l   W e s t ,   w h o m   w e   t h a n k   d e a r l y .   N o t   t h e   l e a s t ,   t h e   a u t h o r s   e x t e n d   t h e i r   s p e c i a l   a p p r e c i a t i o n   t o   t h e   e d i t o r s   o f   C M O T   a n d   t h e   a n o n y m o u s   r e v i e w e r s   w h o   c o n t r i b u t e d   t o   i m p r o v i n g   t h e   q u a l i t y   o f   t h i s   p i e c e . 	 A h u j a   G ,   2 0 0 1 ,   S T R A T E G I C   M A N A G E   J ,   V 2 2 ,   P 5 2 1 ,   D O I   1 0 . 1 0 0 2 / s m j . 1 7 6 ;   A r g o t e   L ,   2 0 0 0 ,   O R G A N   B E H A V   H U M   D E C ,   V 8 2 ,   P 1 5 0 ,   D O I   1 0 . 1 0 0 6 / o b h d . 2 0 0 0 . 2 8 9 3 ;   A u s t i n   R D ,   2 0 0 4 ,   N O V E L L   O P E N   S O U R C E   S ;   B a g l e y   C E ,   2 0 0 6 ,   B L A C K   D U C K   S O F T W A R E ,   P 9 ;   B a l k a   K ,   2 0 0 9 ,   R   D   M A N   C ;   B a r a b a s i   A L ,   1 9 9 9 ,   S C I E N C E ,   V 2 8 6 ,   P 5 0 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 8 6 . 5 4 3 9 . 5 0 9 ;   B e l l   R .   M . ,   2 0 0 7 ,   B E L L K O R   S O L U T I O N   N E T ;   B e l l   R M ,   2 0 0 7 ,   A C M   S I G K D D   E X P L O R A T I ,   V 9 ,   P 7 5 ,   D O I   1 0 . 1 1 4 5 / 1 3 4 5 4 4 8 . 1 3 4 5 4 6 5 ;   B e n n e t t   J . ,   2 0 0 7 ,   P   K D D   C U P   W O R K S H   2 0 0 ;   B r o w n   J S ,   1 9 9 1 ,   O R G A N   S C I ,   V 2 ,   P 4 0 ,   D O I   1 0 . 1 2 8 7 / o r s c . 2 . 1 . 4 0 ;   B r o w n   S L ,   1 9 9 7 ,   A D M I N   S C I   Q U A R T ,   V 4 2 ,   P 1 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 8 0 7 ;   B u r t o n   R .   M . ,   2 0 0 3 ,   C o m p u t a t i o n a l   &   M a t h e m a t i c a l   O r g a n i z a t i o n   T h e o r y ,   V 9 ,   D O I   1 0 . 1 0 2 3 / B : C M O T . 0 0 0 0 0 2 2 7 5 0 . 4 6 9 7 6 . 3 c ;   C a r l e y   K M ,   1 9 9 6 ,   V A L I D A T I N G   C O M P U T A T I ;   C l a u s e t   A ,   2 0 0 7 ,   R E V   M O D   P   U N P U B   0 6 0 7 ;   C u m m i n g s   J N ,   2 0 0 2 ,   C O M M U N   A C M ,   V 4 5 ,   P 1 0 3 ,   D O I   1 0 . 1 1 4 5 / 5 1 4 2 3 6 . 5 1 4 2 4 2 ;   D a v i s   J P ,   2 0 0 7 ,   A C A D   M A N A G E   R E V ,   V 3 2 ,   P 4 8 0 ;   D I E R I C K X   I ,   1 9 8 9 ,   M A N A G E   S C I ,   V 3 5 ,   P 1 5 0 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 3 5 . 1 2 . 1 5 0 4 ;   D U T T O N   J M ,   1 9 8 4 ,   A C A D   M A N A G E   R E V ,   V 9 ,   P 2 3 5 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 4 3 7 ;   F a u c h a r t   E ,   2 0 0 8 ,   O R G A N   S C I ,   V 1 9 ,   P 1 8 7 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 7 0 . 0 3 1 4 ;   F r a n k e   N ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 5 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 0 6 - 9 ;   G i l e s   J ,   2 0 0 5 ,   N A T U R E ,   V 4 3 8 ,   P 9 0 0 ,   D O I   1 0 . 1 0 3 8 / 4 3 8 9 0 0 a ;   H a n d l e y   K ,   2 0 0 6 ,   J   M A N A G E   S T U D ,   V 4 3 ,   P 3 ;   H a r g a d o n   A ,   1 9 9 7 ,   A D M I N   S C I   Q U A R T ,   V 4 2 ,   P 7 1 6 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 6 5 5 ;   H a r g a d o n   A B ,   2 0 0 2 ,   R E S   O R G A N   B E H A V ,   V 2 4 ,   P 4 1 ,   D O I   1 0 . 1 0 1 6 / S 0 1 9 1 - 3 0 8 5 ( 0 2 ) 2 4 0 0 3 - 4 ;   H a r g a d o n   A B ,   1 9 9 8 ,   C A L I F   M A N A G E   R E V ,   V 4 0 ,   P 2 0 9 ;   H a r h o f f   D ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 7 5 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 6 1 - 1 ;   H e n k e l   J ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 9 5 3 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 4 . 0 1 0 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   H s u   D ,   2 0 1 1 ,   A N T E C E D E N T S   I N N O V A T I ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   K n o r r   C e t i n a   K ,   1 9 9 9 ,   E P I S T E M I C   C U L T U R E S   S ;   K r i s h n a m u r t h y   S ,   2 0 0 3 ,   M A N A G E R I A L   O V E R V I E W ;   K r i s h n a m u r t h y   S . ,   2 0 0 2 ,   C A V E   C O M M U N I T Y   E M P I R ;   L a k h a n i   K R ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 9 2 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 9 5 - 1 ;   W e n g e r   E t i e n n e ,   1 9 9 1 ,   S I T U A T E D   L E A R N I N G   L E ;   L a z a r i c   N ,   1 9 9 8 ,   T R U S T   E C   L E A R N I N G ,   P 3 ;   L e e   G K ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 6 3 3 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 4 . 6 . 6 3 3 . 2 4 8 6 6 ;   L E V I T T   B ,   1 9 8 8 ,   A N N U   R E V   S O C I O L ,   V 1 4 ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . s o . 1 4 . 0 8 0 1 8 8 . 0 0 1 5 3 5 ;   M a c C o r m a c k   A ,   2 0 0 2 ,   R E D   H A T   L I N U X   R E V O L U ;   M a r c h   J G ,   1 9 9 1 ,   O R G A N   S C I ,   V 2 ,   P 7 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 2 . 1 . 7 1 ;   M i l l e r   K D ,   2 0 0 6 ,   A C A D   M A N A G E   J ,   V 4 9 ,   P 7 0 9 ;   M o r r i s o n   P D ,   2 0 0 0 ,   M A N A G E   S C I ,   V 4 6 ,   P 1 5 1 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 6 . 1 2 . 1 5 1 3 . 1 2 0 7 6 ;   M u r r a y   F ,   2 0 0 7 ,   O R G A N   S C I ,   V 1 8 ,   P 1 0 0 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 7 0 . 0 3 2 5 ;   M u t c h   A ,   2 0 0 3 ,   O R G A N   S T U D ,   V 2 4 ,   P 3 8 3 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 0 3 0 2 4 0 0 3 9 0 9 ;   N e t f l i x   F r e e   R e v e a l i n g ,   2 0 0 7 ,   F O R   T H R E A D   G E N   D I S C ;   N e t f l i x   K n o w l e d g e   B r o k e r i n g ,   2 0 0 8 ,   G R A V   D I N   U N   T E A M S   G R ;   O ' M a h o n y   S ,   2 0 0 5 ,   I B M   E C L I P S E   C A S E   S T U ;   P e n i n   J ,   2 0 1 1 ,   D I M E   F I N   C   6   8   A P R   M ;   R o b e r t s   J ,   2 0 0 6 ,   J   M A N A G E   S T U D ,   V 4 3 ,   P 6 2 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 6 4 8 6 . 2 0 0 6 . 0 0 6 1 8 . x ;   R o s e n k o p f   L ,   2 0 0 3 ,   M A N A G E   S C I ,   V 4 9 ,   P 7 5 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 9 . 6 . 7 5 1 . 1 6 0 2 6 ;   S c h w e n   T M ,   2 0 0 3 ,   I N F O R M   S O C ,   V 1 9 ,   P 2 5 7 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 7 2 2 4 0 3 9 0 2 1 0 0 7 3 ;   S t a m   W ,   2 0 0 9 ,   R E S   P O L I C Y ,   V 3 8 ,   P 1 2 8 8 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 9 . 0 6 . 0 0 4 ;   T a y l o r   J . E . ,   2 0 0 7 ,   P R O J E C T   M A N A G E M E N T   J ,   V 3 8 ,   P 2 2 ,   D O I   1 0 . 1 0 0 2 / p m j . 2 0 0 0 3 ;   T a y l o r   J E ,   2 0 0 9 ,   J   C O N S T R   E N G   M   A S C E ,   V 1 3 5 ,   P 1 0 0 9 ,   D O I   1 0 . 1 0 6 1 / ( A S C E ) C O . 1 9 4 3 - 7 8 6 2 . 0 0 0 0 0 6 5 ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   v a n   d e r   W a a l   S ,   2 0 1 0 ,   O S S   W A T C H               0 2 0 2 ;   V i l l a r r o e l   J A ,   2 0 1 1 ,   O N L I N E   D I S T R I B U T E D   O ;   V i l l a r r o e l   J A ,   2 0 0 8 ,   T H E S I S   S W I S S   F E D E R A L ;   V i l l a r r o e l   J A ,   2 0 1 1 ,   L E A D I N G   O P E N   I N N O V A T ;   v o n   H i p p e l   E ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 2 9 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 5 . x ;   v o n   H i p p e l   E ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 2 0 9 ;   W E I C K   K E ,   1 9 9 5 ,   A D M I N   S C I   Q U A R T ,   V 4 0 ,   P 3 8 5 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 7 8 9 ;   W e i c k   K E ,   1 9 7 9 ,   S O C I A L   P S Y C H O L   O R G ;   W e n g e r   E ,   2 0 0 2 ,   C U L T I V A T I N G   C O M M U N I T ;   W e s t   J ,   2 0 0 8 ,   I N D   I N N O V ,   V 1 5 ,   P 2 2 3 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 6 2 7 1 0 8 0 2 0 3 3 7 3 4 ;   W r i g h t   T . P . ,   1 9 3 6 ,   J   A E R O N A U T   S C I ,   V 3 ,   P 1 2 2 ;   Y a n o w   D ,   2 0 0 4 ,   B R I T   J   M A N A G E ,   V 1 5 ,   p S 9 ;   Y e l l e   L .   E . ,   1 9 7 9 ,   D e c i s i o n   S c i e n c e s ,   V 1 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 9 1 5 . 1 9 7 9 . t b 0 0 0 2 6 . x 	 6 8 	 0 	 0 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 1 - 2 9 8 X 	 	 	 C O M P U T   M A T H   O R G A N   T H 	 C o m p u t .   M a t h .   O r g a n .   T h e o r y 	 M A R 	 2 0 1 3 	 1 9 	 1 	 	 	 	 	 4 2 	 7 7 	 	 1 0 . 1 0 0 7 / s 1 0 5 8 8 - 0 1 2 - 9 1 3 7 - 7 	 	 3 6 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   M a t h e m a t i c s ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   S o c i a l   S c i e n c e s ,   M a t h e m a t i c a l   M e t h o d s 	 C o m p u t e r   S c i e n c e ;   M a t h e m a t i c s ;   M a t h e m a t i c a l   M e t h o d s   I n   S o c i a l   S c i e n c e s 	 0 9 5 U H 	 W O S : 0 0 0 3 1 5 3 5 9 7 0 0 0 0 3 	 	 
 J 	 F r i t z ,   S ;   S e e ,   L ;   v a n   d e r   V e l d e ,   M ;   N a l e p a ,   R A ;   P e r g e r ,   C ;   S c h i l l ,   C ;   M c C a l l u m ,   I ;   S c h e p a s c h e n k o ,   D ;   K r a x n e r ,   F ;   C a i ,   X M ;   Z h a n g ,   X ;   O r t n e r ,   S ;   H a z a r i k a ,   R ;   C i p r i a n i ,   A ;   D i   B e l l a ,   C ;   R a b i a ,   A H ;   G a r c i a ,   A ;   V a k o l y u k ,   M ;   S i n g h a ,   K ;   B e g e t ,   M E ;   E r a s m i ,   S ;   A l b r e c h t ,   F ;   S h a w ,   B ;   O b e r s t e i n e r ,   M 	 	 	 	 F r i t z ,   S t e f f e n ;   S e e ,   L i n d a ;   v a n   d e r   V e l d e ,   M a r i j n ;   N a l e p a ,   R a c h e l   A . ;   P e r g e r ,   C h r i s t o p h ;   S c h i l l ,   C h r i s t i a n ;   M c C a l l u m ,   I a n ;   S c h e p a s c h e n k o ,   D m i t r y ;   K r a x n e r ,   F l o r i a n ;   C a i ,   X i m i n g ;   Z h a n g ,   X i a o ;   O r t n e r ,   S i m o n e ;   H a z a r i k a ,   R u b u l ;   C i p r i a n i ,   A n n a ;   D i   B e l l a ,   C a r l o s ;   R a b i a ,   A h m e d   H . ;   G a r c i a ,   A l f r e d o ;   V a k o l y u k ,   M a r ' y a n a ;   S i n g h a ,   K u l e s w a r ;   B e g e t ,   M a r i a   E . ;   E r a s m i ,   S t e f a n ;   A l b r e c h t ,   F r a n z i s k a ;   S h a w ,   B r i a n ;   O b e r s t e i n e r ,   M i c h a e l 	 	 	 D o w n g r a d i n g   R e c e n t   E s t i m a t e s   o f   L a n d   A v a i l a b l e   f o r   B i o f u e l   P r o d u c t i o n 	 E N V I R O N M E N T A L   S C I E N C E   &   T E C H N O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 D A T A B A S E 	 R e c e n t   e s t i m a t e s   o f   a d d i t i o n a l   l a n d   a v a i l a b l e   f o r   b i o e n e r g y   p r o d u c t i o n   r a n g e   f r o m   3 2 0   t o   1 4 1 1   m i l l i o n   h a .   T h e s e   e s t i m a t e s   w e r e   g e n e r a t e d   f r o m   f o u r   s c e n a r i o s   r e g a r d i n g   t h e   t y p e s   o f   l a n d   s u i t a b l e   f o r   b i o e n e r g y   p r o d u c t i o n   u s i n g   c o a r s e - r e s o l u t i o n   i n p u t s   o f   s o i l   p r o d u c t i v i t y ,   s l o p e ,   c l i m a t e ,   a n d   l a n d   c o v e r .   I n   t h i s   p a p e r ,   t h e s e   m a p s   o f   l a n d   a v a i l a b i l i t y   w e r e   a s s e s s e d   u s i n g   h i g h - r e s o l u t i o n   s a t e l l i t e   i m a g e r y .   S a m p l e s   f r o m   t h e s e   m a p s   w e r e   s e l e c t e d   a n d   c r o w d s o u r c i n g   o f   G o o g l e   E a r t h   i m a g e s   w a s   u s e d   t o   d e t e r m i n e   t h e   t y p e   o f   l a n d   c o v e r   a n d   t h e   d e g r e e   o f   h u m a n   i m p a c t .   B a s e d   o n   t h i s   s a m p l e ,   a   s e t   o f   r u l e s   w a s   f o r m u l a t e d   t o   d o w n w a r d   a d j u s t   t h e   o r i g i n a l   e s t i m a t e s   f o r   e a c h   o f   t h e   f o u r   s c e n a r i o s   t h a t   w e r e   p r e v i o u s l y   u s e d   t o   g e n e r a t e   t h e   m a p s   o f   l a n d   a v a i l a b i l i t y   f o r   b i o e n e r g y   p r o d u c t i o n .   T h e   a d j u s t e d   l a n d   a v a i l a b i l i t y   e s t i m a t e s   r a n g e   f r o m   5 6   t o   1 0 3 5   m i l l i o n   h a   d e p e n d i n g   u p o n   t h e   s c e n a r i o   a n d   t h e   r u l e s e t   u s e d   w h e n   t h e   s a m p l e   i s   c o r r e c t e d   f o r   b i a s .   L a r g e   f o r e s t   a r e a s   n o t   i n t e n d e d   f o r   b i o f u e l   p r o d u c t i o n   p u r p o s e s   w e r e   p r e s e n t   i n   a l l   s c e n a r i o s .   H o w e v e r ,   t h e s e   n u m b e r s   s h o u l d   n o t   b e   c o n s i d e r e d   a s   d e f i n i t i v e   e s t i m a t e s   b u t   s h o u l d   b e   u s e d   t o   h i g h l i g h t   t h e   u n c e r t a i n t y   i n   a t t e m p t i n g   t o   q u a n t i f y   l a n d   a v a i l a b i l i t y   f o r   b i o f u e l   p r o d u c t i o n   w h e n   u s i n g   c o a r s e - r e s o l u t i o n   i n p u t s   w i t h   i m p l i c a t i o n s   f o r   f u r t h e r   p o l i c y   d e v e l o p m e n t . 	 [ F r i t z ,   S t e f f e n ;   S e e ,   L i n d a ;   v a n   d e r   V e l d e ,   M a r i j n ;   P e r g e r ,   C h r i s t o p h ;   M c C a l l u m ,   I a n ;   S c h e p a s c h e n k o ,   D m i t r y ;   K r a x n e r ,   F l o r i a n ;   V a k o l y u k ,   M a r ' y a n a ;   A l b r e c h t ,   F r a n z i s k a ;   S h a w ,   B r i a n ;   O b e r s t e i n e r ,   M i c h a e l ]   I n t   I n s t   A p p l   S y s t   A n a l   I I A S A ,   E c o s y s t   S e r v   &   M a n a g e m e n t   P r o g r a m ,   A - 2 3 6 1   L a x e n b u r g ,   A u s t r i a ;   [ N a l e p a ,   R a c h e l   A . ]   B o s t o n   U n i v ,   B o s t o n ,   M A   0 2 2 1 5   U S A ;   [ P e r g e r ,   C h r i s t o p h ;   O r t n e r ,   S i m o n e ]   U n i v   A p p l   S c i ,   W i e n e r   N e u s t a d t ,   A u s t r i a ;   [ S c h i l l ,   C h r i s t i a n ]   U n i v   F r e i b e r g ,   F r e i b e r g ,   G e r m a n y ;   [ C a i ,   X i m i n g ;   Z h a n g ,   X i a o ]   U n i v   I l l i n o i s ,   U r b a n a ,   I L   6 1 8 0 1   U S A ;   [ H a z a r i k a ,   R u b u l ;   S i n g h a ,   K u l e s w a r ]   G a u h a t i   U n i v ,   G a u h a t i ,   A s s a m ,   I n d i a ;   [ C i p r i a n i ,   A n n a ]   U n i v   M o d e n a   &   R e g g i o   E m i l i a ,   D i p a r t i m e n t o   S c i   T e r r a ,   I - 4 1 1 0 0   M o d e n a ,   I t a l y ;   [ C i p r i a n i ,   A n n a ]   C o l u m b i a   U n i v ,   L a m o n t   D o h e r t y   E a r t h   O b s e r v ,   P a l i s a d e s ,   N Y   1 0 9 6 4   U S A ;   [ D i   B e l l a ,   C a r l o s ;   G a r c i a ,   A l f r e d o ;   B e g e t ,   M a r i a   E . ]   N a t l   I n s t   A g r   T e c h n o l   I N T A ,   B u e n o s   A i r e s ,   D F ,   A r g e n t i n a ;   [ R a b i a ,   A h m e d   H . ]   U n i v   N a p l e s   F e d e r i c o   I I ,   N a p l e s ,   I t a l y ;   [ E r a s m i ,   S t e f a n ]   U n i v   G o t t i n g e n ,   G o t i n g e n ,   G e r m a n y 	 F r i t z ,   S   ( r e p r i n t   a u t h o r ) ,   I n t   I n s t   A p p l   S y s t   A n a l   I I A S A ,   E c o s y s t   S e r v   &   M a n a g e m e n t   P r o g r a m ,   S c h l o s s p l   1 ,   A - 2 3 6 1   L a x e n b u r g ,   A u s t r i a . 	 f r i t z @ i i a s a . a c . a t 	 v a n   d e r   V e l d e ,   M a r i j n / B - 3 3 0 5 - 2 0 0 9 ;   C i p r i a n i ,   A n n a / A - 2 7 9 7 - 2 0 1 2 ;   S c h e p a s c h e n k o ,   D m i t r y / E - 9 6 0 3 - 2 0 1 2 	 S c h e p a s c h e n k o ,   D m i t r y / 0 0 0 0 - 0 0 0 2 - 7 8 1 4 - 4 9 9 0 	 E u r o p e a n   C o m m u n i t y ' s   F r a m e w o r k   P r o g r a m m e   v i a   t h e   P r o j e c t   E u r o G E O S S   [ 2 2 6 4 8 7 ,   2 2 6 3 6 4 ,   2 4 4 7 6 6 ] ;   A S A P   p r o g r a m m e   o f   t h e   A u s t r i a n   R e s e a r c h   P r o m o t i o n   A g e n c y   ( F F G )   v i a   t h e   P r o j e c t   L a n d S p o t t i n g   [ 8 2 8 3 3 2 ] 	 T h i s   r e s e a r c h   w a s   s u p p o r t e d   b y   t h e   E u r o p e a n   C o m m u n i t y ' s   F r a m e w o r k   P r o g r a m m e   v i a   t h e   P r o j e c t   E u r o G E O S S   ( 2 2 6 4 8 7 ) ,   E n e r G E O   ( 2 2 6 3 6 4 ) ,   P a s h m i n a   ( 2 4 4 7 6 6 ) ,   a n d   b y   t h e   A S A P   p r o g r a m m e   o f   t h e   A u s t r i a n   R e s e a r c h   P r o m o t i o n   A g e n c y   ( F F G )   v i a   t h e   P r o j e c t   L a n d S p o t t i n g   ( 8 2 8 3 3 2 ) . 	 [ A n o n y m o u s ] ,   2 0 1 1 ,   S T A T E   O F   T H E   W O R L D S ;   [ A n o n y m o u s ] ,   2 0 0 8 ,   T H E   G A L L A G H E R   R E V I E W ;   A n s e e u w   W . ,   2 0 1 1 ,   L A N D   R I G H T S   A N D   T H E ;   B i n d r a b a n   P S ,   2 0 1 2 ,   C U R R   O P I N   E N V   S U S T ,   V 4 ,   P 4 7 8 ,   D O I   1 0 . 1 0 1 6 / j . c o s u s t . 2 0 1 2 . 0 9 . 0 1 5 ;   B u i l d i n g   E t h i o p i a ' s   F u t u r e ,   2 0 1 0 ,   B U I L D I N G   E T H I O P I A S   F ;   C a i   X ,   2 0 1 0 ,   E N V I R O N   S C I   T E C H N O L ,   V 4 5 ,   P 3 3 4 ;   C a m p b e l l   J E ,   2 0 0 8 ,   E N V I R O N   S C I   T E C H N O L ,   V 4 2 ,   P 5 7 9 1 ,   D O I   1 0 . 1 0 2 1 / e s 8 0 0 0 5 2 w ;   C o m b e r   A ,   2 0 1 3 ,   I N T   J   A P P L   E A R T H   O B S ;   D e i n i n g e r   K . ,   2 0 1 1 ,   R I S I N G   G L O B A L   I N T E R E ;   D r u m m o n d   M A ,   2 0 1 0 ,   B I O S C I E N C E ,   V 6 0 ,   P 2 8 6 ,   D O I   1 0 . 1 5 2 5 / b i o . 2 0 1 0 . 6 0 . 4 . 7 ;   F a r g i o n e   J ,   2 0 0 8 ,   S C I E N C E ,   V 3 1 9 ,   P 1 2 3 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 5 2 7 4 7 ;   F l a n a g i n   A . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 3 7 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 8 8 - Y ;   F o o d y   G .   M . ,   2 0 1 3 ,   T R A N S   G I S   I N   P R E S S ;   F r i t z   S ,   2 0 1 1 ,   E N V I R O N   R E S   L E T T ,   V 6 ,   D O I   1 0 . 1 0 8 8 / 1 7 4 8 - 9 3 2 6 / 6 / 4 / 0 4 4 0 0 5 ;   F r i t z   S ,   2 0 1 2 ,   E N V I R O N   M O D E L L   S O F T W ,   V 3 1 ,   P 1 1 0 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 1 1 . 1 1 . 0 1 5 ;   G e b r e s e l a s s i e   S . ,   2 0 0 6 ,   I N T E N S I F I C A T I O N   O F   S ;   G o l d e w i j k   K K ,   2 0 0 1 ,   G L O B A L   B I O G E O C H E M   C Y ,   V 1 5 ,   P 4 1 7 ,   D O I   1 0 . 1 0 2 9 / 1 9 9 9 G B 0 0 1 2 3 2 ;   H a b e r l   H ,   2 0 1 1 ,   S U S T A I N   D E V ,   V 1 9 ,   P 1 ,   D O I   1 0 . 1 0 0 2 / s d . 4 1 0 ;   H a k l a y   M ,   2 0 1 0 ,   C A R T O G R   J ,   V 4 7 ,   P 3 1 5 ,   D O I   1 0 . 1 1 7 9 / 0 0 0 8 7 0 4 1 0 X 1 2 9 1 1 3 0 4 9 5 8 8 2 7 ;   H a u g e n   H .   M . ,   2 0 1 0 ,   J   E C O L   N A T   E N V I R O N ,   V 2 ,   P 3 0 ;   K g a t h i   D L ,   2 0 1 2 ,   E N E R G   P O L I C Y ,   V 4 3 ,   P 7 0 ,   D O I   1 0 . 1 0 1 6 / j . e n p o l . 2 0 1 1 . 1 2 . 0 2 7 ;   K r a x n e r   F . ,   2 0 1 3 ,   B I O M A S S   B I O E N E R G Y   I N ;   L i v e r s a g e   H ,   2 0 1 0 ,   L A N D   A C C E S S   F O R   R U R A ;   L o v e l a n d   T R ,   2 0 0 0 ,   I N T   J   R E M O T E   S E N S ,   V 2 1 ,   P 1 3 0 3 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 3 1 1 6 0 0 2 1 0 1 9 1 ;   N a l e p a   R . ,   2 0 1 1 ,   T H E   P A R D E E   P A P E R S ,   V 1 3 ;   N a l e p a   R A ,   2 0 1 2 ,   J   P E A S A N T   S T U D ,   V 3 9 ,   P 4 0 3 ,   D O I   1 0 . 1 0 8 0 / 0 3 0 6 6 1 5 0 . 2 0 1 2 . 6 6 5 8 9 0 ;   S c e p a n   J ,   1 9 9 9 ,   P H O T O G R A M M   E N G   R E M   S ,   V 6 5 ,   P 1 0 5 1 ;   S e a r c h i n g e r   T ,   2 0 1 1 ,   S C I   A M ,   V 3 0 5 ,   P 1 4 ,   D O I   1 0 . 1 0 3 8 / s c i e n t i f i c a m e r i c a n 0 7 1 1 - 1 4 ;   S e e   L ,   A N   A N A L Y S I S   O F   C R O W D ;   Y a n   L i a n g Z h e n g ,   2 0 0 8 ,   T r a n s a c t i o n s   o f   t h e   C h i n e s e   S o c i e t y   o f   A g r i c u l t u r a l   E n g i n e e r i n g ,   V 2 4 ,   P 2 1 3 ;   Y o u n g   A . ,   1 9 9 9 ,   E N V   D E V   S U S T A I N A B I L I ,   V 1 ,   P 3 ,   D O I   D O I   1 0 . 1 0 2 3 / A : 1 0 1 0 0 5 5 0 1 2 6 9 9 	 3 1 	 3 	 4 	 A M E R   C H E M I C A L   S O C 	 W A S H I N G T O N 	 1 1 5 5   1 6 T H   S T ,   N W ,   W A S H I N G T O N ,   D C   2 0 0 3 6   U S A 	 0 0 1 3 - 9 3 6 X 	 	 	 E N V I R O N   S C I   T E C H N O L 	 E n v i r o n .   S c i .   T e c h n o l . 	 F E B   5 	 2 0 1 3 	 4 7 	 3 	 	 	 	 	 1 6 8 8 	 1 6 9 4 	 	 1 0 . 1 0 2 1 / e s 3 0 3 1 4 1 h 	 	 7 	 E n g i n e e r i n g ,   E n v i r o n m e n t a l ;   E n v i r o n m e n t a l   S c i e n c e s 	 E n g i n e e r i n g ;   E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y 	 0 8 6 H U 	 W O S : 0 0 0 3 1 4 6 7 5 5 0 0 0 6 5 	 2 3 3 0 8 3 5 7 	 
 J 	 S c h u m a k e r ,   R P 	 	 	 	 S c h u m a k e r ,   R o b e r t   P . 	 	 	 M a c h i n e   l e a r n i n g   t h e   h a r n e s s   t r a c k :   C r o w d s o u r c i n g   a n d   v a r y i n g   r a c e   h i s t o r y 	 D E C I S I O N   S U P P O R T   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 B u s i n e s s   i n t e l l i g e n c e ;   D a t a   m i n i n g ;   S u p p o r t   V e c t o r   R e g r e s s i o n ;   H a r n e s s   r a c i n g ;   S & C   R a c i n g   s y s t e m ;   C r o w d s o u r c i n g ;   D r .   Z   S y s t e m 	 N E U R A L - N E T W O R K S ;   M A R K E T ;   P R E D I C T I O N ;   E F F I C I E N C Y 	 R a c i n g   p r e d i c t i o n   s c h e m e s   h a v e   b e e n   w i t h   m a n k i n d   a   l o n g   t i m e .   F r o m   f o l l o w i n g   c r o w d   w i s d o m   a n d   b e t t i n g   o n   f a v o r i t e s   t o   m a t h e m a t i c a l   m e t h o d s   l i k e   t h e   D r .   Z   S y s t e m ,   w e   i n t r o d u c e   a   d i f f e r e n t   c l a s s   o f   p r e d i c t i o n   s y s t e m ,   t h e   S & C   R a c i n g   s y s t e m   t h a t   d e r i v e s   f r o m   m a c h i n e   l e a r n i n g .   W e   d e m o n s t r a t e   t h e   S & C   R a c i n g   s y s t e m   u s i n g   S u p p o r t   V e c t o r   R e g r e s s i o n   ( S V R )   t o   p r e d i c t   f i n i s h e s   a n d   a n a l y z e d   i t   o n   f i f t e e n   m o n t h s   o f   h a r n e s s   r a r i n g   d a t a   f r o m   N o r t h f i e l d   P a r k ,   O h i o .   W e   f o u n d   t h a t   w i t h i n   t h e   d o m a i n   o f   h a r n e s s   r a c i n g ,   o u r   s y s t e m   o u t p e r f o r m s   c r o w d s   a n d   D r .   Z   B e t t o r s   i n   r e t u r n s   p e r   d o l l a r   w a g e r e d   o n   s e v e n   o f   t h e   m o s t   f r e q u e n t l y   u s e d   w a g e r s :   W i n   $ 1 . 0 8   r e t u r n ,   P l a c e   $ 2 3 0 ,   S h o w   $ 2 . 5 5 ,   E x a c t a   $ 1 9 2 4 ,   Q u i n i e l a   $ 1 8 . 9 3 ,   T r i f e c t a   $ 3 . 5 6   a n d   T r i f e c t a   B o x   $ 2 1 . 0 5 .   F u r t h e r m o r e ,   w e   a l s o   a n a l y z e d   a   r a n g e   o f   r a c e   h i s t o r i e s   a n d   f o u n d   t h a t   a   f o u r   r a c e   h i s t o r y   m a x i m i z e d   s y s t e m   a c c u r a c y   a n d   p a y o u t .   T h e   i m p l i c a t i o n s   o f   t h i s   w o r k   s u g g e s t   t h a t   a n   i n f o r m a t i o n a l   i n e q u a l i t y   e x i s t s   w i t h i n   t h e   h a r n e s s   r a c i n g   m a r k e t   t h a t   w a s   e x p l o i t e d   b y   S & C   R a c i n g .   W h i l e   i n t e r e s t i n g ,   t h e   i m p l i c a t i o n s   o f   m a c h i n e   l e a r n i n g   i n   t h i s   d o m a i n   s h o w   p r o m i s e .   ( C )   2 0 1 3   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 C e n t   C o n n e c t i c u t   S t a t e   U n i v ,   N e w   B r i t a i n ,   C T   0 6 0 5 0   U S A 	 S c h u m a k e r ,   R P   ( r e p r i n t   a u t h o r ) ,   C e n t   C o n n e c t i c u t   S t a t e   U n i v ,   N e w   B r i t a i n ,   C T   0 6 0 5 0   U S A . 	 r o b . s c h u m a k e r @ g m a i l . c o m 	 	 	 	 	 A l b e r t   J . ,   2 0 0 8 ,   J   Q U A N T I T A T I V E   A N A L ,   V 4 ;   C a i n   M . ,   2 0 0 3 ,   B   E C O N   R E S ,   V 5 5 ,   P 2 6 3 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 8 5 8 6 . 0 0 1 7 4 ;   C H E N   H C ,   1 9 9 4 ,   I E E E   E X P E R T ,   V 9 ,   P 2 1 ;   C h e n   H C ,   2 0 0 4 ,   A N N U   R E V   I N F O R M   S C I ,   V 3 8 ,   P 2 8 9 ,   D O I   1 0 . 1 0 0 2 / a r i s . 1 4 4 0 3 8 0 1 0 7 ;   D A N A   J D ,   1 9 9 4 ,   M A N A G E   S C I ,   V 4 0 ,   P 1 3 1 7 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 0 . 1 0 . 1 3 1 7 ;   D a t a S o f t S y s t e m s ,   D A T   M I N   H I S T   I N F L ;   H A R V I L L E   D A ,   1 9 7 3 ,   J   A M   S T A T   A S S O C ,   V 6 8 ,   P 3 1 2 ,   D O I   1 0 . 2 3 0 7 / 2 2 8 4 0 6 8 ;   H A U S C H   D B ,   1 9 8 1 ,   M A N A G E   S C I ,   V 2 7 ,   P 1 4 3 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 2 7 . 1 2 . 1 4 3 5 ;   H a u s c h   D .   B . ,   2 0 0 8 ,   E F F I C I E N C Y   R A C E T R A C K ;   H u a n g   Z ,   2 0 0 4 ,   D E C I S   S U P P O R T   S Y S T ,   V 3 7 ,   P 5 4 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 9 2 3 6 ( 0 3 ) 0 0 0 8 6 - 1 ;   J o h a n s s o n   U . ,   2 0 0 3 ,   I N T   J O I N T   C   N E U R   N E T ;   L a z a r   A . ,   2 0 0 4 ,   I N T   C   M A C H   L E A R N   A P P ;   L u c k n e r   S ,   2 0 0 8 ,   L E C T   N O T E S   B U S   I N F ,   V 2 ,   P 2 2 7 ;   P i a t e t s k y - S h a p i r o   G . ,   D I F F E R E N C E   D A T A   M I N I ;   P R A T T   J W ,   1 9 6 4 ,   E C O N O M E T R I C A ,   V 3 2 ,   P 1 2 2 ,   D O I   1 0 . 2 3 0 7 / 1 9 1 3 7 3 8 ;   P r o g r e s s   P u b l i s h i n g ,   H I S T   G A M B L I N G ;   Q i u   L . ,   2 0 1 1 ,   T W I T T E R   B A S E D   P R E D I C ;   R i t t e r   J . ,   1 9 9 4 ,   E F F I C I E N C Y   R A C E T R A C K ;   S a u e r   R D ,   1 9 9 8 ,   J   E C O N   L I T ,   V 3 6 ,   P 2 0 2 1 ;   S c h u m a k e r   R P ,   2 0 1 0 ,   I N T E G R   S E R   I N F O R M   S Y ,   V 2 6 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 4 4 1 9 - 6 7 3 0 - 5 ;   S c h u m a k e r   R . P . ,   2 0 0 8 ,   I N T   I N F   M A N   A S S   I I M A ;   S c h u m a k e r   R P ,   2 0 1 2 ,   D E C I S   S U P P O R T   S Y S T ,   V 5 3 ,   P 4 5 8 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 2 . 0 3 . 0 0 1 ;   S c h u m a k e r   R . P . ,   2 0 1 1 ,   M I D W   D E C   S C I   I   C   I N D ;   S o b e l   R S ,   2 0 0 3 ,   A P P L   E C O N ,   V 3 5 ,   P 3 7 1 ,   D O I   1 0 . 1 0 8 0 / 0 0 0 3 6 8 4 0 1 1 0 1 1 1 1 7 6 ;   S p a n n   M . ,   2 0 0 8 ,   J   F O R E C A S T I N G ,   V 2 8 ,   P 5 5 ;   S U R O W I E C K I   J A M E S ,   2 0 0 4 ,   W I S D O M   C R O W D S ;   T v e r s k y   A . ,   2 0 0 5 ,   A N T H O L O G Y   S T A T   S P O R T ;   V a p n i k   V . ,   1 9 9 5 ,   N A T U R E   S T A T   L E A R N I N G ;   W i l l i a m s   J . ,   2 0 0 8 ,   I N T   C   A R T   I N T   L A S   V E ;   W i s e   S . ,   2 0 0 9 ,   C O L L   I N N   N E T W   C   S A V ;   Z i e m b a   W .   T . ,   1 9 8 4 ,   B E A T   R A C E T R A C K 	 3 1 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 1 6 7 - 9 2 3 6 	 	 	 D E C I S   S U P P O R T   S Y S T 	 D e c i s .   S u p p o r t   S y s t . 	 F E B 	 2 0 1 3 	 5 4 	 3 	 	 	 	 	 1 3 7 0 	 1 3 7 9 	 	 1 0 . 1 0 1 6 / j . d s s . 2 0 1 2 . 1 2 . 0 1 3 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 1 1 1 I W 	 W O S : 0 0 0 3 1 6 5 1 6 0 0 0 0 1 4 	 	 
 J 	 S e l t z e r ,   E ;   M a h m o u d i ,   D 	 	 	 	 S e l t z e r ,   E t h a n ;   M a h m o u d i ,   D i l l o n 	 	 	 C i t i z e n   P a r t i c i p a t i o n ,   O p e n   I n n o v a t i o n ,   a n d   C r o w d s o u r c i n g :   C h a l l e n g e s   a n d   O p p o r t u n i t i e s   f o r   P l a n n i n g 	 J O U R N A L   O F   P L A N N I N G   L I T E R A T U R E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c i t i z e n / p u b l i c   p a r t i c i p a t i o n ;   p l a n n i n g   p r a c t i c e ;   p l a n n i n g   t h e o r y ;   a p p l i c a t i o n s / t e c h n i q u e s 	 P U B L I C - P A R T I C I P A T I O N ;   S T R A T E G Y ;   F U T U R E ;   I D E A S ;   A G E 	 O p e n   i n n o v a t i o n ,   t a k e n   f r o m   t h e   f i e l d s   o f   b u s i n e s s   s t r a t e g y   a n d   t e c h n o l o g y   d e v e l o p m e n t ,   c a n   o f f e r   p l a n n e r s   f r e s h   i n s i g h t s   i n t o   t h e i r   o w n   p r a c t i c e .   O p e n   i n n o v a t i o n ,   l i k e   c i t i z e n   p a r t i c i p a t i o n ,   g o e s   o u t s i d e   t h e   b o u n d a r i e s   o f   t h e   o r g a n i z a t i o n   t o   f i n d   s o l u t i o n s   t o   p r o b l e m s   a n d   t o   h a n d   i d e a s   o f f   t o   p a r t n e r s .   A   k e y   t e c h n i q u e   f o r   o p e n   i n n o v a t i o n   i s   " c r o w d s o u r c i n g , "   i s s u i n g   a   c h a l l e n g e   t o   a   l a r g e   a n d   d i v e r s e   g r o u p   i n   h o p e s   o f   a r r i v i n g   a t   n e w   s o l u t i o n s   m o r e   r o b u s t   t h a n   t h o s e   f o u n d   i n s i d e   t h e   o r g a n i z a t i o n .   T h e   d i f f e r e n c e s   b e t w e e n   c i t i z e n   p a r t i c i p a t i o n   a n d   I n t e r n e t - b a s e d   c r o w d s o u r c i n g   a r e   d i s c u s s e d .   C r o w d s o u r c i n g   c a s e   s t u d i e s   a r e   p r o v i d e d   a s   a   m e a n s   f o r   e x t e n d i n g   a n   e m e r g i n g   l i t e r a t u r e . 	 [ S e l t z e r ,   E t h a n ]   P o r t l a n d   S t a t e   U n i v ,   T o u l a n   S c h   U r b a n   S t u d i e s   &   P l a n n i n g ,   P o r t l a n d ,   O R   9 7 2 0 7   U S A ;   [ M a h m o u d i ,   D i l l o n ]   P o r t l a n d   S t a t e   U n i v ,   P o r t l a n d ,   O R   9 7 2 0 7   U S A 	 S e l t z e r ,   E   ( r e p r i n t   a u t h o r ) ,   P o r t l a n d   S t a t e   U n i v ,   T o u l a n   S c h   U r b a n   S t u d i e s   &   P l a n n i n g ,   U S P   U R B N   3 5 0 , P O B   7 5 1 ,   P o r t l a n d ,   O R   9 7 2 0 7   U S A . 	 s e l t z e r e @ p d x . e d u 	 	 	 	 	 A i t a m u r t o   T . ,   2 0 1 1 ,   P R O M I S E   I D E A   C R O W D S O ;   A l e x a n d e r   E . ,   1 9 9 3 ,   J   P L A N   L I T ,   V 7 ,   P 3 2 8 ,   D O I   1 0 . 1 1 7 7 / 0 8 8 5 4 1 2 2 9 3 0 0 7 0 0 4 0 3 ;   A l e x a n d e r   E .   R . ,   2 0 0 9 ,   P L A N N I N G   T H E O R Y   P R A C ,   V 1 0 ,   P 2 3 3 ;   A m e r i c a n   I n s t i t u t e   o f   C e r t i f i e d   P l a n n e r s ,   2 0 0 9 ,   C O D   E T H   P R O F   C O N D ;   A r c h a k   N i k o l a y ,   2 0 0 9 ,   I N T   C   I N F   S Y S T ;   A R N S T E I N   S R ,   1 9 6 9 ,   J   A M   I   P L A N N E R S ,   V 3 5 ,   P 2 1 6 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 4 4 3 6 6 9 0 8 9 7 7 2 2 5 ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ;   B r a b h a m   D a r e n   C . ,   2 0 0 9 ,   T R B ;   B r a b h a m   D a r e n   C . ,   2 0 1 3 ,   P A R T I C I P A T O R Y   C U L T U R ,   P 1 2 0 ;   B r a b h a m   D C ,   2 0 0 9 ,   P L A N   T H E O R ,   V 8 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 9 1 0 4 8 2 4 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   B r a n d   R . ,   2 0 0 7 ,   P L A N N I N G   T H E O R Y ,   V 6 ,   P 2 8 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 7 0 8 2 0 3 6 ;   B u r b y   R J ,   2 0 0 3 ,   J   A M   P L A N N   A S S O C ,   V 6 9 ,   P 3 3 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 4 4 3 6 0 3 0 8 9 7 6 2 9 2 ;   C a i n   S u s a n ,   2 0 1 2 ,   R I S E   N E W   G R O U P T H I N K ;   C h e s b r o u g h   H ,   2 0 0 4 ,   R E S   T E C H N O L   M A N A G E ,   V 4 7 ,   P 2 3 ;   C h e s b r o u g h   H W ,   2 0 0 7 ,   C A L I F   M A N A G E   R E V ,   V 5 0 ,   P 5 7 ;   E v a n s   J R ,   2 0 0 5 ,   I N T E R N E T   R E S ,   V 1 5 ,   P 1 9 5 ,   D O I   [ 1 0 . 1 1 0 8 / 1 0 6 6 2 2 4 0 5 1 0 5 9 0 3 6 0 ,   1 0 . 1 1 0 8 / 1 0 6 6 2 2 0 4 5 1 0 5 9 0 3 6 0 ] ;   E v a n s - C o w l e y   J . ,   2 0 1 0 ,   P L A N N I N G   P R A C T I C E   R E ,   V 2 5 ,   P 3 9 7 ;   E v a n s - C o w l e y   J .   S ,   2 0 1 0 ,   G E O J O U R N A L ,   V 7 5 ,   P 4 0 7 ,   D O I   [ 1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 1 0 - 9 3 8 8 - 0 ,   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 1 0 - 9 3 8 8 - 0 ] ;   E v a n s - C o w l e y   J e n n i f e r ,   2 0 1 1 ,   C R O W D S O U R C I N G   C U R R I C ;   E v a n s - C o w l e y   J ,   2 0 1 0 ,   J   P L A N   L I T ,   V 2 5 ,   P 1 3 6 ,   D O I   1 0 . 1 1 7 7 / 0 8 8 5 4 1 2 2 1 0 3 9 4 1 0 0 ;   G a s s m a n n   O l i v e r ,   2 0 0 4 ,   P   R A D M A   C ;   H e a l e y   P . ,   2 0 0 6 ,   C O L L A B O R A T I V E   P L A N N I ;   H e a l e y   P ,   2 0 0 3 ,   P L A N N I N G   T H E O R Y ,   V 2 ,   P 1 0 1 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 3 0 0 2 2 0 0 2 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   P 1 4 0 6 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   H w a n g   S . W . ,   1 9 9 6 ,   J   P L A N   L I T ,   V 1 1 ,   P 1 6 7 ,   D O I   1 0 . 1 1 7 7 / 0 8 8 5 4 1 2 2 9 6 0 1 1 0 0 2 0 2 ;   I n n e s   J .   E . ,   2 0 1 0 ,   P L A N N I N G   C O M P L E X I T Y ;   I n n e s   J E ,   2 0 0 7 ,   J   A M   P L A N N   A S S O C ,   V 7 3 ,   P 1 9 5 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 4 4 3 6 0 7 0 8 9 7 6 1 5 3 ;   I n n o C e n t i v e . c o m ,   2 0 1 2 ,   I N N O C E N T I V E   R E M   S U R F ;   J a b l o w   A s h l e y ,   2 0 1 2 ,   E   C O M M U N I C A T I O N   0 1 1 9 ;   J o h n s o n   S t e v e n ,   2 0 1 0 ,   G O O G   I D E A S   C O M E   N A T U ;   K h a t i b   F ,   2 0 1 1 ,   N A T   S T R U C T   M O L   B I O L ,   V 1 8 ,   P 1 1 7 5 ,   D O I   1 0 . 1 0 3 8 / n s m b . 2 1 1 9 ;   L a k h a n i   K .   R . ,   2 0 0 7 ,   0 7 0 5 0   H A R V   B U S   S C H ;   L a n e   M B ,   2 0 0 5 ,   A U S T   G E O G R ,   V 3 6 ,   P 2 8 3 ,   D O I   1 0 . 1 0 8 0 / 0 0 0 4 9 1 8 0 5 0 0 3 2 5 6 9 4 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   L o r e n   J . K . ,   2 0 1 1 ,   G U I D E   O P E N   I N N O V A T I O ,   P 5 ;   M a n d a r a n o   L ,   2 0 1 0 ,   J   P L A N   L I T ,   V 2 5 ,   P 1 2 3 ,   D O I   1 0 . 1 1 7 7 / 0 8 8 5 4 1 2 2 1 0 3 9 4 1 0 2 ;   M a r g e r u m   R D ,   2 0 0 2 ,   J   P L A N   E D U C   R E S ,   V 2 1 ,   P 2 3 7 ,   D O I   1 0 . 1 1 7 7 / 0 7 3 9 4 5 6 X 0 2 0 2 1 0 0 3 0 2 ;   M a r t i n o   G a i l ,   2 0 1 1 ,   G U I D E   O P E N   I N N O V A T I O ,   P 9 8 ;   M c K i n n e y   M J ,   2 0 0 9 ,   W O R K I N G   A C R O S S   B O U N D A R I E S :   P E O P L E ,   N A T U R E ,   A N D   R E G I O N S ,   P 1 ;   N a s h   A n d r e w ,   2 0 0 9 ,   W E B   2   0   A P P L   I M P R O V I ;   P a r h a m   D a n ,   2 0 1 2 ,   E   C O M M U N I C A T I O N   0 1 1 7 ;   P a u l i n i   M . ,   2 0 1 1 ,   C I R C U I T   B E N D I N G   B R E A ,   P 6 8 7 ;   P o e t z   M K ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x ;   R o b e r t s   N ,   2 0 0 4 ,   A M   R E V   P U B L I C   A D M ,   V 3 4 ,   P 3 1 5 ,   D O I   1 0 . 1 1 7 7 / 0 2 7 5 0 7 4 0 0 4 2 6 9 2 8 8 ;   R o m a n   D a v i d ,   2 0 0 9 ,   C O M M U N I C A T I O N S   A C M ,   V 5 2 ,   P 1 2 ;   S c h e n k   E r i c ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H A T   C ;   S c h w e i z e r   A l b e r t   C . ,   1 9 4 9 ,   J   A M   I   P L A N N E R S ,   V 1 5 ,   P 1 4 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 4 4 3 6 4 9 0 8 9 7 8 9 2 6 ;   S e l t z e r   E . ,   2 0 1 1 ,   R E G I O N A L   P L A N N I N G   A M ;   S n y d e r   M i k e ,   2 0 1 2 ,   C O M M U N I C A T I O N       0 4 1 1 ;   S p e i d e l   K l a u s - P e t e r ,   2 0 1 1 ,   G U I D E   O P E N   I N N O V A T I O ,   P 1 2 1 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   V e l i k a n o v   C . ,   2 0 1 0 ,   P   1 1   A N N   I N T   D I G   G O V ,   P 3 2 ;   Z h a o   Y X ,   2 0 1 4 ,   I N F O R M   S Y S T   F R O N T ,   V 1 6 ,   P 4 1 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 6 - 0 1 2 - 9 3 5 0 - 4 ;   Z h e n g   H C ,   2 0 1 1 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 5 7 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 4 0 2 	 5 7 	 0 	 0 	 S A G E   P U B L I C A T I O N S   I N C 	 T H O U S A N D   O A K S 	 2 4 5 5   T E L L E R   R D ,   T H O U S A N D   O A K S ,   C A   9 1 3 2 0   U S A 	 0 8 8 5 - 4 1 2 2 	 1 5 5 2 - 6 5 9 3 	 	 J   P L A N   L I T 	 J .   P l a n .   L i t . 	 F E B 	 2 0 1 3 	 2 8 	 1 	 	 	 	 	 3 	 1 8 	 	 1 0 . 1 1 7 7 / 0 8 8 5 4 1 2 2 1 2 4 6 9 1 1 2 	 	 1 6 	 P l a n n i n g   &   D e v e l o p m e n t ;   U r b a n   S t u d i e s 	 P u b l i c   A d m i n i s t r a t i o n ;   U r b a n   S t u d i e s 	 1 1 3 B H 	 W O S : 0 0 0 3 1 6 6 4 0 3 0 0 0 0 1 	 	 
 J 	 L i ,   X Y ;   L i a n g ,   L ;   G o n g ,   P ;   L i u ,   Y ;   L i a n g ,   F F 	 	 	 	 L i   X u e Y a n ;   L i a n g   L u ;   G o n g   P e n g ;   L i u   Y a n g ;   L i a n g   F e i F e i 	 	 	 B i r d   w a t c h i n g   i n   C h i n a   r e v e a l s   b i r d   d i s t r i b u t i o n   c h a n g e s 	 C H I N E S E   S C I E N C E   B U L L E T I N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 b i r d   w a t c h i n g   d a t a b a s e ;   b i r d   d i s t r i b u t i o n   c h a n g e ;   n e w   r e c o r d s ;   G l o b a l   A n a l y s t   c r o w d s o u r c i n g 	 H A B I T A T   F R A G M E N T A T I O N ;   P R O T E C T E D   A R E A S 	 U s i n g   C h i n a   B i r d   R e p o r t   ( 2 0 0 3 - 2 0 0 7 )   a s   d a t a   s o u r c e   i n   c o m b i n a t i o n   w i t h   d e s c r i p t i o n s   a b o u t   b i r d   h a b i t a t s ,   w e   b u i l t   u p   t h e   C h i n a   B i r d   W a t c h i n g   D a t a b a s e .   W e   a l s o   d e v e l o p e d   s p h e r i c a l   G I S   s o f t w a r e   " G l o b a l   A n a l y s t "   t o   c r e a t e   t h e   p o i n t - b a s e d   d a t a b a s e   w h i c h   c o n t a i n s   a c c u r a t e   s p a t i a l - t e m p o r a l   i n f o r m a t i o n .   T h e   C h i n a   B i r d   W a t c h i n g   D a t a b a s e   c a n   r e f l e c t   t h e   a c h i e v e m e n t   o f   C h i n e s e   b i r d   w a t c h e r s   a n d   c o m p l e m e n t   t h e   b a s i c   k n o w l e d g e   o f   b i r d   d i s t r i b u t i o n .   N o w   a   t o t a l   o f   3 0 9 3 6   r e c o r d s   f r o m   1 7   O r d e r s ,   7 0   F a m i l i e s   a n d   1 0 7 8   S p e c i e s   o f   5   y e a r s   a r e   i n c l u d e d   i n   t h e   d a t a b a s e ,   r e p r e s e n t i n g   o v e r   8 0 %   o f   a l l   b i r d   s p e c i e s   i n   C h i n a .   T i l l   2 0 0 7 ,   t h e   g e o g r a p h i c   c o v e r a g e   h a s   e n c o m p a s s e d   a l l   p r o v i n c i a l   l e v e l   a d m i n i s t r a t i v e   d i s t r i c t s   i n   C h i n a ,   w i t h   t h e   e x c e p t i o n   o f   H o n g   K o n g   a n d   T a i w a n .   T h e   C h i n a   B i r d   W a t c h i n g   D a t a b a s e   a l s o   r e c o r d e d   a   g r o u p   o f   s p e c i e s   w h i c h   a r e   a d d i t i o n s   a t   n a t i o n a l   a n d   p r o v i n c i a l   l e v e l s ,   i n c l u d i n g   1 4   s p e c i e s   w h i c h   a r e   a d d i t i o n s   t o   t h e   n a t i o n a l   c h e c k l i s t   a n d   1 0 9   s p e c i e s   w h i c h   a p p e a r e d   o u t s i d e   t h e i r   o r i g i n a l   d i s t r i b u t i o n s .   C o m p a r i n g   t h e   n e w   r e c o r d s   w i t h   t h e i r   o r i g i n a l   d i s t r i b u t i o n s ,   w e   f o u n d   t h e   t r e n d   t h a t   s p e c i e s   m o v e   t o   h i g h e r   l a t i t u d e   a n d   h i g h e r   e l e v a t i o n   r e g i o n s   a n d   s o m e   s p e c i e s   o f   w a t e r f o w l s   i n   X i n j i a n g   U y g u r   A u t o n o m o u s   R e g i o n ,   i n c l u d i n g   a   s u i t e   o f   r a r e   s e a b i r d s   i n   t h e   m a i n l a n d   C h i n a .   T h e   m a j o r i t y   o f   b i r d   w a t c h e r s   c o m e   f r o m   t h e   E a s t e r n   R e g i o n   o f   C h i n a ,   b u t   t h e i r   c o v e r i n g   r a n g e   i s   s p r e a d i n g   n o r t h w e s t .   A t   t h e   s a m e   t i m e ,   w e   a p p e a l   t o   a d o p t i n g   a   s u i t e   o f   n e w   t e c h n o l o g i e s   f o r   o b s e r v a t i o n ,   a n d   b u i l d i n g   u p   s h a r i n g   p l a t f o r m   o f   b i r d   w a t c h i n g   d a t a   t o   c a p t u r e   t h e   d i s t r i b u t i o n   d y n a m i c s   o f   b i r d s   i n   C h i n a   a n d   p r o v i d e   a   d i r e c t   f o u n d a t i o n   f o r   b i r d   c o n s e r v a t i o n . 	 [ L i   X u e Y a n ]   B e i j i n g   N o r m a l   U n i v ,   C o l l   G l o b a l   C h a n g e   &   E a r t h   S y s t   S c i ,   B e i j i n g   1 0 0 8 7 5 ,   P e o p l e s   R   C h i n a ;   [ L i   X u e Y a n ;   G o n g   P e n g ]   C h i n e s e   A c a d   S c i ,   I n s t   R e m o t e   S e n s i n g   A p p l i c a t ,   B e i j i n g   1 0 0 1 0 1 ,   P e o p l e s   R   C h i n a ;   [ L i   X u e Y a n ;   G o n g   P e n g ]   B e i j i n g   N o r m a l   U n i v ,   S t a t e   K e y   L a b   R e m o t e   S e n s i n g   S c i ,   B e i j i n g   1 0 0 1 0 1 ,   P e o p l e s   R   C h i n a ;   [ L i a n g   L u ;   G o n g   P e n g ;   L i a n g   F e i F e i ]   T s i n g h u a   U n i v ,   C t r   E a r t h   S y s t   S c i ,   B e i j i n g   1 0 0 0 8 4 ,   P e o p l e s   R   C h i n a ;   [ L i u   Y a n g ]   B e i j i n g   N o r m a l   U n i v ,   K e y   L a b   B i o d i v e r s   S c i   &   E c o l   E n g n ,   B e i j i n g   1 0 0 0 8 6 ,   P e o p l e s   R   C h i n a 	 G o n g ,   P   ( r e p r i n t   a u t h o r ) ,   C h i n e s e   A c a d   S c i ,   I n s t   R e m o t e   S e n s i n g   A p p l i c a t ,   B e i j i n g   1 0 0 1 0 1 ,   P e o p l e s   R   C h i n a . 	 g o n g @ i r s a . a c . c n 	 	 	 M a j o r   P r o g r a m   o f   t h e   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 3 0 5 9 0 3 7 0 ] ;   N a t i o n a l   H i g h - t e c h   R e s e a r c h   a n d   D e v e l o p m e n t   P r o g r a m   o f   C h i n a   [ 2 0 0 9 A A 1 2 2 0 0 0 ] ;   C h i n a   C o n s e r v a t i o n   F u n d   o f   H o n g   K o n g   B i r d   W a t c h i n g   S o c i e t y 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   M a j o r   P r o g r a m   o f   t h e   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   ( 3 0 5 9 0 3 7 0 ) ,   t h e   N a t i o n a l   H i g h - t e c h   R e s e a r c h   a n d   D e v e l o p m e n t   P r o g r a m   o f   C h i n a   ( 2 0 0 9 A A 1 2 2 0 0 0 )   a n d   T h e   C h i n a   C o n s e r v a t i o n   F u n d   o f   H o n g   K o n g   B i r d   W a t c h i n g   S o c i e t y .   T h e   a u t h o r s   w o u l d   l i k e   t o   t h a n k   t h e   f o l l o w i n g   m e m b e r s   w h o   t o o k   p a r t   i n   t h e   w o r k   o f   l i t e r a t u r e   o r g a n i z a t i o n   a n d   d a t a b a s e   c o n s t r u c t i o n ,   L i   F e i F e i   a n d   X u e   X i a o J u a n   f r o m   B e i j i n g   N o r m a l   U n i v e r s i t y ,   F u   X i n Y u ,   J i a o   T o n g ,   G u o   C h u n L e i ,   W a n g   Y a o   a n d   H u   L u a n Y u n   f r o m   B e i j i n g   F o r e s t   U n i v e r s i t y .   W e   a l s o   t h a n k   Y u   L i a n g   f r o m   B e i j i n g   X i u y i n g   E n v i r o n m e n t a l   I n f o r m a t i o n   T e c h n o l o g y   D e v e l o p m e n t   L i m i t e d - l i a b i l i t y   C o m p a n y   t o   p r o v i d e   t e c h n i c a l   s u p p o r t   i n   t h e   d e v e l o p m e n t   o f   G l o b a l   A n a l y s t   s o f t w a r e ,   a n d   t h e   g u i d a n c e   o f   P r o f e s s o r   Z h e n g w a n g   Z h a n g   f r o m   B e i j i n g   N o r m a l   U n i v e r s i t y . 	 A N D R E N   H ,   1 9 9 4 ,   O I K O S ,   V 7 1 ,   P 3 5 5 ,   D O I   1 0 . 2 3 0 7 / 3 5 4 5 8 2 3 ;   B a o   X i n - K a n g ,   2 0 0 5 ,   C h i n e s e   J o u r n a l   o f   Z o o l o g y ,   V 4 0 ,   P 8 6 ;   B u c h a n a n   G M ,   2 0 0 9 ,   B I R D   C O N S E R V   I N T ,   V 1 9 ,   P 4 9 ,   D O I   1 0 . 1 0 1 7 / S 0 9 5 9 2 7 0 9 0 8 0 0 7 6 9 7 ;   C a o   L ,   2 0 0 6 ,   W A T E R B I R D   S U R V E Y   M I D ;   C h i n a   C o a s t a l   W a t e r b i r d   C e n s u s   T e a m ,   2 0 1 1 ,   1 2 0 0 8 1 2 2 0 0 9   B I R D   W A T ;   C o m m i t t e e   A   P   M   W   C ,   2 0 0 1 ,   A S   P A C   M I G R   W A T   C O N S ;   C r i c k   H Q P ,   2 0 0 4 ,   I B I S ,   V 1 4 6 ,   P 4 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 4 - 9 1 9 X . 2 0 0 4 . 0 0 3 2 7 . x ;   D e v i c t o r   V ,   2 0 0 7 ,   B I O L   C O N S E R V ,   V 1 3 9 ,   P 2 9 ,   D O I   1 0 . 1 0 1 6 / j . b i o c o n . 2 0 0 7 . 0 5 . 0 2 1 ;   D u n n   E H ,   2 0 0 5 ,   A U K ,   V 1 2 2 ,   P 3 3 8 ,   D O I   1 0 . 1 6 4 2 / 0 0 0 4 - 8 0 3 8 ( 2 0 0 5 ) 1 2 2 [ 0 3 3 8 : E T S V O T ] 2 . 0 . C O ; 2 ;   E s r i   I ,   2 0 0 8 ,   A R C G I S   9   3 ;   F a h r i g   L ,   2 0 0 3 ,   A N N U   R E V   E C O L   E V O L   S ,   V 3 4 ,   P 4 8 7 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . e c o l s y s . 3 4 . 0 1 1 8 0 2 . 1 3 2 4 1 9 ;   G o d e t   L ,   2 0 0 7 ,   B I O D I V E R S   C O N S E R V ,   V 1 6 ,   P 2 5 8 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 3 1 - 0 0 6 - 9 0 2 0 - 2 ;   G o n g   P ,   2 0 1 1 ,   G E O M A T I C   W O R L D ,   V 9 ,   P 3 4 ;   [ [O  G O N G   P e n g ] ,   2 0 1 0 ,   [ eaf[b,   J o u r n a l   o f   R e m o t e   S e n s i n g ] ,   V 1 4 ,   P 3 8 7 ;   [ [O  G O N G   P e n g ] ,   2 0 0 7 ,   [ eaf[b,   J o u r n a l   o f   R e m o t e   S e n s i n g ] ,   V 1 1 ,   P 5 4 5 ;   G o n g   P ,   2 0 1 1 ,   R E V   G L O B A L   C H A N G E   R E ;   J e t z   W ,   2 0 0 7 ,   P L O S   B I O L ,   V 5 ,   P 1 2 1 1 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p b i o . 0 0 5 0 1 5 7 ;   L i a n g   L ,   2 0 1 0 ,   P L O S   O N E ,   V 5 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 3 5 7 5 ;   M a c K i n n o n   J . ,   2 0 0 0 ,   F I E L D   G U I D E   B I R D S   C H ;   N i u   Z G ,   2 0 1 1 ,   N A T U R E ,   V 4 7 1 ,   P 3 0 5 ,   D O I   1 0 . 1 0 3 8 / 4 7 1 3 0 5 c ;   S h e n   S   Q ,   2 0 1 1 ,   J   R E M O T E   S E N S ,   V 1 5 ,   P 1 2 5 7 ;   S i b l e y   C . G . ,   1 9 9 0 ,   D I S T R I B U T I O N   T A X O N O M ;   S o c i e t y   C   O ,   2 0 0 8 ,   C H I N   B I R D   R E P   2 0 0 7 ;   V a l i e l a   I ,   2 0 0 7 ,   B I O S C I E N C E ,   V 5 7 ,   P 3 6 0 ,   D O I   1 0 . 1 6 4 1 / B 5 7 0 4 1 0 ;   Z h a n g   C h e n g - A n ,   2 0 0 7 ,   C h i n e s e   J o u r n a l   o f   Z o o l o g y ,   V 4 2 ,   P 7 3 ;   Z h a n g   X   F ,   2 0 0 2 ,   J   H E N A N   A G R   U ,   V 3 6 ,   P 3 3 4 ;   Z h e n g   G .   M . ,   1 9 9 8 ,   C H I N A   R E D   D A T A   B O O K ;   Z h e n g   G . M . ,   2 0 0 5 ,   C H E C K L I S T   C L A S S I F I C A ;   Z h e n g   Y M ,   2 0 1 2 ,   C H I N E S E   S C I   B U L L ,   V 5 7 ,   P 1 1 1 6 ,   D O I   1 0 . 1 0 0 7 / s 1 1 4 3 4 - 0 1 1 - 4 9 4 2 - 9 	 2 9 	 0 	 1 	 S C I E N C E   P R E S S 	 B E I J I N G 	 1 6   D O N G H U A N G C H E N G G E N   N O R T H   S T ,   B E I J I N G   1 0 0 7 1 7 ,   P E O P L E S   R   C H I N A 	 1 0 0 1 - 6 5 3 8 	 	 	 C H I N E S E   S C I   B U L L 	 C h i n .   S c i .   B u l l . 	 F E B 	 2 0 1 3 	 5 8 	 6 	 	 	 	 	 6 4 9 	 6 5 6 	 	 1 0 . 1 0 0 7 / s 1 1 4 3 4 - 0 1 2 - 5 4 5 8 - 7 	 	 8 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 0 9 7 A J 	 W O S : 0 0 0 3 1 5 4 4 6 0 0 0 0 1 1 	 	 
 J 	 Y a n g ,   B S ;   Z h a n g ,   Y F ;   L u a n ,   X C 	 	 	 	 Y a n g ,   B i s h e n g ;   Z h a n g ,   Y u n f e i ;   L u a n ,   X u e c h e n 	 	 	 A   p r o b a b i l i s t i c   r e l a x a t i o n   a p p r o a c h   f o r   m a t c h i n g   r o a d   n e t w o r k s 	 I N T E R N A T I O N A L   J O U R N A L   O F   G E O G R A P H I C A L   I N F O R M A T I O N   S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g   d a t a ;   r o a d   m a t c h i n g ;   p r o b a b i l i s t i c   r e l a x a t i o n ;   s t r u c t u r a l   s i m i l a r i t y 	 S P A T I A L   D A T A   S E T S ;   M A P   C O N F L A T I O N ;   C O M P A T I B I L I T Y   C O E F F I C I E N T S ;   A L G O R I T H M S ;   M O D E L ;   G I S 	 G e o s p a t i a l   d a t a   m a t c h i n g   i s   a n   i m p o r t a n t   p r e r e q u i s i t e   f o r   d a t a   i n t e g r a t i o n ,   c h a n g e   d e t e c t i o n   a n d   d a t a   u p d a t i n g .   A t   p r e s e n t ,   c r o w d s o u r c i n g   g e o s p a t i a l   d a t a   a r e   a t t r a c t i n g   c o n s i d e r a b l e   a t t e n t i o n   w i t h   i t s   s i g n i f i c a n t   p o t e n t i a l   f o r   t i m e l y   a n d   c o s t - e f f e c t i v e   u p d a t i n g   o f   g e o s p a t i a l   d a t a   a n d   G e o g r a p h i c a l   I n f o r m a t i o n   S c i e n c e   ( G I S )   a p p l i c a t i o n s .   T o   i n t e g r a t e   t h e   a v a i l a b l e   a n d   u p - t o - d a t e   i n f o r m a t i o n   o f   m u l t i - s o u r c e   g e o s p a t i a l   d a t a ,   t h i s   a r t i c l e   p r o p o s e s   a   h e u r i s t i c   p r o b a b i l i s t i c   r e l a x a t i o n   r o a d   n e t w o r k   m a t c h i n g   m e t h o d .   T h e   p r o p o s e d   m e t h o d   s t a r t s   w i t h   a n   i n i t i a l   p r o b a b i l i s t i c   m a t r i x   a c c o r d i n g   t o   t h e   d i s s i m i l a r i t i e s   i n   t h e   s h a p e s   a n d   t h e n   i n t e g r a t e s   t h e   r e l a t i v e   c o m p a t i b i l i t y   c o e f f i c i e n t   o f   n e i g h b o u r i n g   c a n d i d a t e   p a i r s   t o   i t e r a t i v e l y   u p d a t e   t h e   i n i t i a l   p r o b a b i l i s t i c   m a t r i x   u n t i l   t h e   p r o b a b i l i s t i c   m a t r i x   i s   g l o b a l l y   c o n s i s t e n t .   F i n a l l y ,   t h e   i n i t i a l   1 : 1   m a t c h i n g   p a i r s   a r e   s e l e c t e d   o n   t h e   b a s i s   o f   p r o b a b i l i t i e s   t h a t   a r e   c a l c u l a t e d   a n d   r e f i n e d   o n   t h e   b a s i s   o f   t h e   s t r u c t u r a l   s i m i l a r i t y   o f   t h e   s e l e c t e d   m a t c h i n g   p a i r s .   A   p r o c e s s   o f   m a t c h i n g   i s   t h e n   i m p l e m e n t e d   t o   f i n d   M : N   m a t c h i n g   p a i r s .   M a t c h i n g   b e t w e e n   O p e n S t r e e t M a p   n e t w o r k   d a t a   a n d   p r o f e s s i o n a l   r o a d   n e t w o r k   d a t a   s h o w s   t h a t   o u r   m e t h o d   i s   i n d e p e n d e n t   o f   m a t c h i n g   d i r e c t i o n ,   s u c c e s s f u l l y   m a t c h e s   1 : 0   ( N u l l ) ,   1 : 1   a n d   M : N   p a i r s ,   a n d   a c h i e v e s   a   r o b u s t   m a t c h i n g   p r e c i s i o n   o f   a b o v e   9 5 % . 	 [ Y a n g ,   B i s h e n g ;   Z h a n g ,   Y u n f e i ;   L u a n ,   X u e c h e n ]   W u h a n   U n i v ,   S t a t e   K e y   L a b   I n f o r m a t   E n g n   S u r v e y i n g   M a p p i n g   &   R ,   W u h a n   4 3 0 0 7 2 ,   P e o p l e s   R   C h i n a ;   [ Y a n g ,   B i s h e n g ;   Z h a n g ,   Y u n f e i ;   L u a n ,   X u e c h e n ]   M i n i s t   E d u c   C h i n a ,   E n g n   R e s   C t r   S p a t i o   T e m p o r a l   D a t a   S m a r t   A c q u i s i t ,   B e i j i n g ,   P e o p l e s   R   C h i n a 	 Y a n g ,   B S   ( r e p r i n t   a u t h o r ) ,   W u h a n   U n i v ,   S t a t e   K e y   L a b   I n f o r m a t   E n g n   S u r v e y i n g   M a p p i n g   &   R ,   W u h a n   4 3 0 0 7 2 ,   P e o p l e s   R   C h i n a . 	 b s h y a n g @ w h u . e d u . c n 	 Y a n g ,   B i s h e n g / A - 4 6 4 2 - 2 0 1 3 	 Y a n g ,   B i s h e n g / 0 0 0 0 - 0 0 0 1 - 7 7 3 6 - 0 8 0 3 	 N S F C   [ 4 0 8 7 1 1 8 5 ] ;   p r o j e c t   f r o m   8 6 3   [ 2 0 1 2 A A 1 2 A 2 1 1 ] ;   S t a t e   K e y   L a b o r a t o r y   o f   R e s o u r c e s   a n d   E n v i r o n m e n t a l   I n f o r m a t i o n   S y s t e m s ,   C A S   o f   C h i n a   [ 2 0 1 0 K F 0 0 0 1 S A ] ;   F u n d a m e n t a l   R e s e a r c h   F u n d s   f o r   t h e   C e n t r a l   U n i v e r s i t i e s   [ 3 1 0 3 0 0 5 ,   2 0 1 1 6 1 9 0 2 0 2 0 0 1 5 ] 	 T h i s   w o r k   w a s   j o i n t l y   s u p p o r t e d   b y   t h e   p r o j e c t   f r o m   N S F C   ( N o .   4 0 8 7 1 1 8 5 ) ,   t h e   p r o j e c t   f r o m   8 6 3   ( N o .   2 0 1 2 A A 1 2 A 2 1 1 ) ,   t h e   p r o j e c t   f r o m   S t a t e   K e y   L a b o r a t o r y   o f   R e s o u r c e s   a n d   E n v i r o n m e n t a l   I n f o r m a t i o n   S y s t e m s ,   C A S   o f   C h i n a   ( N o .   2 0 1 0 K F 0 0 0 1 S A ) ,   t h e   F u n d a m e n t a l   R e s e a r c h   F u n d s   f o r   t h e   C e n t r a l   U n i v e r s i t i e s   ( N o .   3 1 0 3 0 0 5 ,   N o .   2 0 1 1 6 1 9 0 2 0 2 0 0 1 5 ) .   S p e c i a l   t h a n k s   g o   t o   E d i t o r   a n d   a n o n y m o u s   r e v i e w e r s   f o r   t h e i r   c o n s t r u c t i v e   c o m m e n t s   t h a t   s u b s t a n t i a l l y   i m p r o v e   t h e   q u a l i t y   o f   t h e   a r t i c l e . 	 B e e r i   C . ,   2 0 0 4 ,   P   3 0   I N T   C   V L D B   T O R ,   V 3 0 ,   P 8 1 6 ;   C H R I S T M A S   W J ,   1 9 9 5 ,   I E E E   T   P A T T E R N   A N A L ,   V 1 7 ,   P 7 4 9 ,   D O I   1 0 . 1 1 0 9 / 3 4 . 4 0 0 5 6 5 ;   C o b b   M .   A . ,   1 9 9 8 ,   G e o I n f o r m a t i c a ,   V 2 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 9 7 8 8 9 0 5 0 4 9 ;   G o e t z   M . ,   2 0 1 2 ,   4   I N T   C   A D V   G E O G R   I N ,   P 5 0 ;   G o o d c h i l d   M   F ,   2 0 0 7 ,   I N T   J   S P A T I A L   D A T A   I ,   V 2 ,   P 2 4 ;   H u h   Y ,   2 0 1 1 ,   C O M P U T   E N V I R O N   U R B A N ,   V 3 5 ,   P 2 5 0 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e n v u r b s y s . 2 0 1 0 . 0 8 . 0 0 1 ;   H u n t i n g t o n   E V ,   1 9 2 7 ,   T   A M   M A T H   S O C ,   V 2 9 ,   P 1 ,   D O I   1 0 . 2 3 0 7 / 1 9 8 9 2 7 6 ;   L e e   J H ,   2 0 1 1 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 3 ,   P 4 2 7 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 1 0 . 1 7 9 ;   M U N K R E S   J ,   1 9 5 7 ,   J   S O C   I N D   A P P L   M A T H ,   V 5 ,   P 3 2 ;   M u s t i e r e   S . ,   2 0 0 7 ,   G E O I N F O R M A T I C A ,   V 1 2 ,   P 4 3 5 ;   O s t u   N . ,   1 9 7 9 ,   I E E E   T   S Y S T   M A N   C Y B ,   V 9 ,   P 6 2 ,   D O I   D O I   1 0 . 1 1 0 9 / T S M C . 1 9 7 9 . 4 3 1 0 0 7 6 ;   O v e r   M ,   2 0 1 0 ,   C O M P U T   E N V I R O N   U R B A N ,   V 3 4 ,   P 4 9 6 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e n v u r b s y s . 2 0 1 0 . 0 5 . 0 0 1 ;   P A R E N T   P ,   1 9 8 9 ,   I E E E   T   P A T T E R N   A N A L ,   V 1 1 ,   P 8 8 6 ,   D O I   1 0 . 1 1 0 9 / 3 4 . 3 1 4 4 9 ;   P E L E G   S ,   1 9 7 8 ,   I E E E   T   S Y S T   M A N   C Y B ,   V 8 ,   P 5 4 8 ;   P E L I L L O   M ,   1 9 9 4 ,   I E E E   T   P A T T E R N   A N A L ,   V 1 6 ,   P 9 3 3 ,   D O I   1 0 . 1 1 0 9 / 3 4 . 3 1 0 6 9 1 ;   R u i z   J J ,   2 0 1 1 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 5 ,   P 1 4 3 9 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 6 . 2 0 1 0 . 5 1 9 7 0 7 ;   S a a l f e l d   A . ,   1 9 8 8 ,   I n t e r n a t i o n a l   J o u r n a l   o f   G e o g r a p h i c a l   I n f o r m a t i o n   S y s t e m s ,   V 2 ,   D O I   1 0 . 1 0 8 0 / 0 2 6 9 3 7 9 8 8 0 8 9 2 7 8 9 7 ;   S a f r a   E ,   2 0 1 0 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 4 ,   P 6 9 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 8 0 2 2 7 5 5 6 0 ;   S a m a l   A ,   2 0 0 4 ,   I N T   J   G E O G R   I N F   S C I ,   V 1 8 ,   P 4 5 9 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 4 1 0 0 0 1 6 5 8 0 7 6 ;   S h i   W ,   2 0 0 0 ,   I N T   J   G E O G R   I N F   S C I ,   V 1 4 ,   P 5 1 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 0 2 4 0 9 5 8 ;   S i d i b e   D . ,   2 0 0 7 ,   P   2   I N T   C   C O M P   V I S   T ,   P 6 8 ;   S o n g   W B ,   2 0 1 1 ,   T   G I S ,   V 1 5 ,   P 4 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 0 . 0 1 2 4 3 . x ;   S u i   D Z ,   2 0 0 8 ,   C O M P U T   E N V I R O N   U R B A N ,   V 3 2 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e n v u r b s y s . 2 0 0 7 . 1 2 . 0 0 1 ;   T a p s c o t t   D . ,   2 0 0 7 ,   W I K I N O M I C S   M A S S   C O L L ;   T o n g   X H ,   2 0 1 1 ,   C O M P U T   G E O S C I - U K ,   V 3 7 ,   P 1 5 7 0 ,   D O I   1 0 . 1 0 1 6 / j . c a g e o . 2 0 1 1 . 0 2 . 0 0 6 ;   T o n g   X H ,   2 0 0 9 ,   I N T   J   R E M O T E   S E N S ,   V 3 0 ,   P 5 4 5 3 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 3 1 1 6 0 9 0 3 1 3 0 9 8 6 ;   T u r n e r   A . ,   2 0 0 6 ,   I N T R O   N E O G E O G R A P H Y ;   V o l z   S ,   2 0 0 6 ,   I S P R S   W O R K S H   M U L T   R E ,   P 1 0 1 ;   W a l t e r   V ,   1 9 9 9 ,   I N T   J   G E O G R   I N F   S C I ,   V 1 3 ,   P 4 4 5 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 9 9 2 4 1 1 5 7 ;   W i l s o n   R C ,   1 9 9 6 ,   P A T T E R N   R E C O G N   L E T T ,   V 1 7 ,   P 2 6 3 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 7 - 8 6 5 5 ( 9 5 ) 0 0 1 1 5 - 8 ;   X i o n g   D M ,   2 0 0 4 ,   I S P R S   J   P H O T O G R A M M ,   V 5 9 ,   P 3 5 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 0 3 . 1 2 . 0 0 1 ;   Z a n d b e r g e n   P .   A . ,   2 0 0 8 ,   T r a n s a c t i o n s   i n   G I S ,   V 1 2 ,   P 1 0 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 0 8 . 0 1 0 8 8 . x ;   Z h a n g   M . ,   2 0 0 9 ,   T H E S I S   T U   M U N I C H   M U N ;   Z h a n   Y u a n ,   2 0 1 1 ,   P r o c e e d i n g s   o f   t h e   2 0 1 1   E i g h t h   I n t e r n a t i o n a l   S y m p o s i u m   o n   V o r o n o i   D i a g r a m s   i n   S c i e n c e   a n d   E n g i n e e r i n g   ( I S V D   2 0 1 1 ) ,   D O I   1 0 . 1 1 0 9 / I S V D . 2 0 1 1 . 1 8 ;   Z o o k   M . ,   2 0 1 0 ,   W o r l d   M e d i c a l   a n d   H e a l t h   P o l i c y ,   V 2 ,   P 7 ,   D O I   1 0 . 2 2 0 2 / 1 9 4 8 - 4 6 8 2 . 1 0 6 9 	 3 5 	 5 	 6 	 T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X O N ,   E N G L A N D 	 1 3 6 5 - 8 8 1 6 	 1 3 6 2 - 3 0 8 7 	 	 I N T   J   G E O G R   I N F   S C I 	 I n t .   J .   G e o g r .   I n f .   S c i . 	 F E B   1 	 2 0 1 3 	 2 7 	 2 	 	 	 	 	 3 1 9 	 3 3 8 	 	 1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 6 . 2 0 1 2 . 6 8 3 4 8 6 	 	 2 0 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   G e o g r a p h y ;   G e o g r a p h y ,   P h y s i c a l ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   G e o g r a p h y ;   P h y s i c a l   G e o g r a p h y ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 0 9 3 K M 	 W O S : 0 0 0 3 1 5 1 9 0 8 0 0 0 0 7 	 	 
 J 	 C r o o k s ,   A ;   C r o i t o r u ,   A ;   S t e f a n i d i s ,   A ;   R a d z i k o w s k i ,   J 	 	 	 	 C r o o k s ,   A n d r e w ;   C r o i t o r u ,   A r i e ;   S t e f a n i d i s ,   A n t h o n y ;   R a d z i k o w s k i ,   J a c e k 	 	 	 # E a r t h q u a k e :   T w i t t e r   a s   a   D i s t r i b u t e d   S e n s o r   S y s t e m 	 T R A N S A C T I O N S   I N   G I S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 S O C I A L   M E D I A ;   S U R V E I L L A N C E ;   W E B 	 S o c i a l   m e d i a   f e e d s   a r e   r a p i d l y   e m e r g i n g   a s   a   n o v e l   a v e n u e   f o r   t h e   c o n t r i b u t i o n   a n d   d i s s e m i n a t i o n   o f   i n f o r m a t i o n   t h a t   i s   o f t e n   g e o g r a p h i c .   T h e i r   c o n t e n t   o f t e n   i n c l u d e s   r e f e r e n c e s   t o   e v e n t s   o c c u r r i n g   a t ,   o r   a f f e c t i n g   s p e c i f i c   l o c a t i o n s .   W i t h i n   t h i s   a r t i c l e   w e   a n a l y z e   t h e   s p a t i a l   a n d   t e m p o r a l   c h a r a c t e r i s t i c s   o f   t h e   t w i t t e r   f e e d   a c t i v i t y   r e s p o n d i n g   t o   a   5 . 8   m a g n i t u d e   e a r t h q u a k e   w h i c h   o c c u r r e d   o n   t h e   E a s t   C o a s t   o f   t h e   U n i t e d   S t a t e s   ( U S )   o n   A u g u s t   2 3 ,   2 0 1 1 .   W e   a r g u e   t h a t   t h e s e   f e e d s   r e p r e s e n t   a   h y b r i d   f o r m   o f   a   s e n s o r   s y s t e m   t h a t   a l l o w s   f o r   t h e   i d e n t i f i c a t i o n   a n d   l o c a l i z a t i o n   o f   t h e   i m p a c t   a r e a   o f   t h e   e v e n t .   B y   c o n t r a s t i n g   t h i s   w i t h   c o m p a r a b l e   c o n t e n t   c o l l e c t e d   t h r o u g h   t h e   d e d i c a t e d   c r o w d s o u r c i n g   D i d   Y o u   F e e l   I t ? '   ( D Y F I )   w e b s i t e   o f   t h e   U . S .   G e o l o g i c a l   S u r v e y   w e   a s s e s s   t h e   p o t e n t i a l   o f   t h e   u s e   o f   h a r v e s t e d   s o c i a l   m e d i a   c o n t e n t   f o r   e v e n t   m o n i t o r i n g .   T h e   e x p e r i m e n t s   s u p p o r t   t h e   n o t i o n   t h a t   p e o p l e   a c t   a s   s e n s o r s   t o   g i v e   u s   c o m p a r a b l e   r e s u l t s   i n   a   t i m e l y   m a n n e r ,   a n d   c a n   c o m p l e m e n t   o t h e r   s o u r c e s   o f   d a t a   t o   e n h a n c e   o u r   s i t u a t i o n a l   a w a r e n e s s   a n d   i m p r o v e   o u r   u n d e r s t a n d i n g   a n d   r e s p o n s e   t o   s u c h   e v e n t s . 	 [ C r o o k s ,   A n d r e w ]   G e o r g e   M a s o n   U n i v ,   D e p t   C o m p u t a t   S o c i a l   S c i ,   F a i r f a x ,   V A   2 2 0 3 0   U S A ;   [ C r o i t o r u ,   A r i e ;   S t e f a n i d i s ,   A n t h o n y ;   R a d z i k o w s k i ,   J a c e k ]   G e o r g e   M a s o n   U n i v ,   C t r   G e o s p a t i a l   I n t e l l i g e n c e ,   F a i r f a x ,   V A   2 2 0 3 0   U S A ;   [ C r o i t o r u ,   A r i e ;   S t e f a n i d i s ,   A n t h o n y ;   R a d z i k o w s k i ,   J a c e k ]   G e o r g e   M a s o n   U n i v ,   D e p t   G e o g   &   G e o i n f o r m a t   S c i ,   F a i r f a x ,   V A   2 2 0 3 0   U S A 	 C r o o k s ,   A   ( r e p r i n t   a u t h o r ) ,   G e o r g e   M a s o n   U n i v ,   D e p t   C o m p u t a t   S o c i a l   S c i ,   C S C   S u i t e ,   L e v e l   3 , 4 4 0 0   U n i v   D r ,   F a i r f a x ,   V A   2 2 0 3 0   U S A . 	 a c r o o k s 2 @ g m u . e d u 	 	 	 	 	 A b a d i   D .   J . ,   2 0 0 5 ,   P   3 1   I N T   C   V E R   L A R G ,   P 7 6 9 ;   A k y i l d i z   I F ,   2 0 0 2 ,   C O M P U T   N E T W ,   V 3 8 ,   P 3 9 3 ,   D O I   1 0 . 1 0 1 6 / S 1 3 8 9 - 1 2 8 6 ( 0 1 ) 0 0 3 0 2 - 4 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   H U F F I N G T O N   P O S T ;   A t k i n s o n   G M ,   2 0 0 7 ,   S E I S M O L   R E S   L E T T ,   V 7 8 ,   P 3 6 2 ,   D O I   1 0 . 1 7 8 5 / g s s r l . 7 8 . 3 . 3 6 2 ;   B a c k s t r o m   L a r s ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 6 1 ,   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 6 9 8 ;   B r o w n s t e i n   J S ,   2 0 0 9 ,   N E W   E N G L   J   M E D ,   V 3 6 0 ,   P 2 1 5 3 ,   D O I   1 0 . 1 0 5 6 / N E J M p 0 9 0 0 7 0 2 ;   B u r k e   J . ,   2 0 0 6 ,   P   W O R K S H   W O R L D   S E N S ,   P 1 1 7 ;   C h e n g   Z h i y u a n ,   2 0 1 0 ,   P   1 9   A C M   I N T   C   I N F   K ,   P 7 5 9 ,   D O I   1 0 . 1 1 4 5 / 1 8 7 1 4 3 7 . 1 8 7 1 5 3 5 ;   C h r i s t a k i s   N A ,   2 0 1 0 ,   P L O S   O N E ,   V 5 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 2 9 4 8 ;   C h r i s t e n s e n   C . ,   2 0 1 1 ,   C O M M U N I C A T I O N   R E V ,   V 1 4 ,   P 1 5 5 ;   C h r i s t i a n   S c i e n c e   M o n i t o r ,   2 0 1 1 ,   S O C   M E D   D R I V   O C C   W A L ;   C o r l e y   C D ,   2 0 1 0 ,   I N T   J   E N V   R E S   P U B   H E ,   V 7 ,   P 5 9 6 ,   D O I   1 0 . 3 3 9 0 / i j e r p h 7 0 2 0 5 9 6 ;   C o x   J ,   2 0 1 1 ,   I M P R O V I N G   A U T O M A T I C ;   C u l o t t a   A ,   2 0 1 0 ,   P   1   W O R K S H   S O C   M E D   A ,   P 1 1 5 ;   D e   L o n g u e v i l l e   B ,   2 0 0 9 ,   P   2 0 0 9   I N T   W O R K S H   L O ,   P 7 3 ,   D O I   1 0 . 1 1 4 5 / 1 6 2 9 8 9 0 . 1 6 2 9 9 0 7 ;   D e m i r b a s   M u r a t ,   2 0 1 0 ,   2 0 1 0   I E E E   I n t e r n a t i o n a l   S y m p o s i u m   o n   " A   W o r l d   o f   W i r e l e s s ,   M o b i l e   a n d   M u l t i m e d i a   N e t w o r k s "   ( W o W M o M ) ,   D O I   1 0 . 1 1 0 9 / W O W M O M . 2 0 1 0 . 5 5 3 4 9 1 0 ;   D e n g l e r   L A ,   1 9 9 8 ,   B   S E I S M O L   S O C   A M ,   V 8 8 ,   P 4 4 1 ;   D o t y   N . ,   2 0 1 0 ,   P   3   A C M   S I G S P A T I A L   I ,   P 6 5 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 8 4 7 0 . 1 8 6 8 4 8 5 ;   D y r e g r o v   A ,   2 0 0 0 ,   I n t   J   E m e r g   M e n t   H e a l t h ,   V 2 ,   P 7 3 ;   E a r l e   P ,   2 0 1 0 ,   S E I S M O L   R E S   L E T T ,   V 8 1 ,   P 2 4 6 ,   D O I   1 0 . 1 7 8 5 / g s s r l . 8 1 . 2 . 2 4 6 ;   E r i k s s o n   B ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 0 3 2 ,   P 1 7 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 2 3 3 4 - 4 _ 1 8 ;   F i e l d   K ,   2 0 1 0 ,   T   G I S ,   V 1 4 ,   P 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 0 . 0 1 2 1 0 . x ;   F r i t z   S ,   2 0 0 9 ,   R E M O T E   S E N S - B A S E L ,   V 1 ,   P 3 4 5 ,   D O I   1 0 . 3 3 9 0 / r s 1 0 3 0 3 4 5 ;   G i n s b e r g   J ,   2 0 0 9 ,   N A T U R E ,   V 4 5 7 ,   P 1 0 1 2 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 7 6 3 4 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   G o o d c h i l d   M F ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 3 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 7 5 9 2 5 5 ;   H e c h t   B r e n t ,   2 0 1 1 ,   P   S I G C H I   C   H U M   F A C T ,   P 2 3 7 ,   D O I   [ D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 8 9 7 6 ,   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 8 9 7 6 ] ;   H o n e y c u t t   C . ,   2 0 0 9 ,   P   4 2   H A W   I N T   C   S Y S T ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / H I C S S . 2 0 0 9 . 8 9 ;   H o w a r d   P .   N . ,   2 0 1 1 ,   C O M M U N I C A T I O N   R E V ,   V 1 4 ,   P 2 1 6 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 0 7 1 4 4 2 1 . 2 0 1 1 . 5 9 7 2 5 4 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H y v a r i n e n   O ,   2 0 1 0 ,   M O N   W E A T H E R   R E V ,   V 1 3 8 ,   P 3 1 7 5 ,   D O I   1 0 . 1 1 7 5 / 2 0 1 0 M W R 3 2 7 0 . 1 ;   J a v a   A ,   2 0 0 9 ,   L E C T   N O T E S   A R T I F   I N T ,   V 5 4 3 9 ,   P 1 1 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 4 8 5 4 9 . 1 3 4 8 5 5 6 ;   K a p l a n   A M ,   2 0 1 0 ,   B U S   H O R I Z O N S ,   V 5 3 ,   P 5 9 ,   D O I   1 0 . 1 0 1 6 / j . b u s h o r . 2 0 0 9 . 0 9 . 0 0 3 ;   K o s a l a   R . ,   2 0 0 0 ,   S I G K D D   E X P L O R A T I O N S ,   V 2 ,   P 1 ;   L u d f o r d   P J ,   2 0 0 7 ,   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1   A N D   2 ,   P 1 2 3 5 ;   M a c E a c h r e n   A M ,   2 0 1 1 ,   P   I E E E   C   V I S   A N   S C I ;   M a t h i o u d a k i s   M ,   2 0 1 0 ,   P   2 0 1 0   I N T   C   M A N   D A T ,   P 1 1 5 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 0 7 1 6 7 . 1 8 0 7 3 0 ;   M i l l e r   C . ,   2 0 1 0 ,   N Y   T I M E S ;   N a a m a n   M ,   2 0 1 0 ,   2 0 1 0   A C M   C O N F E R E N C E   O N   C O M P U T E R   S U P P O R T E D   C O O P E R A T I V E   W O R K ,   P 1 8 9 ;   N a r d i   B A ,   2 0 0 4 ,   C O M M U N   A C M ,   V 4 7 ,   P 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 0 3 5 1 3 4 . 1 0 3 5 1 6 3 ;   N e s s l e r   D ,   2 0 0 5 ,   C O G N I T I V E   B R A I N   R E S ,   V 2 2 ,   P 2 6 5 ,   D O I   1 0 . 1 0 1 6 / j . c o g b r a i n r e s . 2 0 0 4 . 0 3 . 0 2 3 ;   N e w s w e e k ,   2 0 0 9 ,   N E W S W E E K ;   N i t t e l   S ,   2 0 0 8 ,   S P R I N G E R   L E C T   N O T E S ,   V 4 5 4 0 ;   O k a s a k i   M ,   2 0 1 2 ,   S P R I N G E R   L E C T   N O T E S ,   V 6 0 4 5 ,   P 6 3 ;   P o e s e   I ,   2 0 1 1 ,   A C M   S I G C O M M   C O M P   C O M ,   V 4 1 ,   P 5 3 ,   D O I   1 0 . 1 1 4 5 / 1 9 7 1 1 6 2 . 1 9 7 1 1 7 1 ;   P o l g r e e n   P M ,   2 0 0 8 ,   C L I N   I N F E C T   D I S ,   V 4 7 ,   P 1 4 4 3 ,   D O I   1 0 . 1 0 8 6 / 5 9 3 0 9 8 ;   P o p e s c u   A d r i a n ,   2 0 1 0 ,   P   4   I N T   A A A I   C   W E B L ,   P 3 0 7 ;   R a y m o n d   E r i c   S . ,   1 9 9 9 ,   C A T H E D R A L   B A Z A A R   M U S ;   R i t t e r m a n   J ,   2 0 0 9 ,   P   1   I N T   W O R K S H   M I N   S ,   P 9 ;   R u s s e l l   M . A . ,   2 0 1 1 ,   M I N I N G   S O C I A L   W E B ;   S a k a k i   T a k e s h i ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 8 5 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 7 7 ;   S e l a v o   L ,   2 0 0 7 ,   S E N S Y S ' 0 7 :   P R O C E E D I N G S   O F   T H E   5 T H   A C M   C O N F E R E N C E   O N   E M B E D D E D   N E T W O R K E D   S E N S O R   S Y S T E M S ,   P 1 0 3 ;   S i n g h   V K ,   2 0 1 0 ,   P   W W W ,   P 1 1 8 1 ,   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 8 6 4 ;   S t e f a n i d i s   A ,   2 0 1 2 ,   G E O J O U R N A L   I N   P R E S S ,   P 7 7 ;   S t e i n f e l d   A ,   2 0 1 1 ,   P   2 0 1 1   A N N   M   T R A N S P ;   S t e r n b e r g   R .   J . ,   2 0 0 9 ,   C O G N I T I V E   P S Y C H O L ;   V i e w e g   S ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 0 7 9 ;   W a l d   D .   J . ,   1 9 9 9 ,   S E I S M O L   R E S   L E T T ,   V 7 0 ,   P 6 8 0 ,   D O I   D O I   1 0 . 1 7 8 5 / G S S R L . 7 0 . 6 . 6 8 0 ;   Y a m a g u c h i   S ,   2 0 0 4 ,   J   N E U R O S C I ,   V 2 4 ,   P 5 3 5 6 ,   D O I   1 0 . 1 5 2 3 / J N E U R O S C I . 4 5 8 7 - 0 3 . 2 0 0 4 ;   Z h a o   D J ,   2 0 0 9 ,   G R O U P   2 0 0 9   P R O C E E D I N G S ,   P 2 4 3 ;   Z h a o   S ,   2 0 1 1 ,   T R 0 6 2 0   R I C   U 	 6 1 	 8 	 8 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 1 3 6 1 - 1 6 8 2 	 1 4 6 7 - 9 6 7 1 	 	 T   G I S 	 T r a n s .   G I S 	 F E B 	 2 0 1 3 	 1 7 	 1 	 	 	 	 	 1 2 4 	 1 4 7 	 	 1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 2 . 0 1 3 5 9 . x 	 	 2 4 	 G e o g r a p h y 	 G e o g r a p h y 	 0 8 3 V R 	 W O S : 0 0 0 3 1 4 4 9 3 8 0 0 0 0 8 	 	 
 J 	 S t u m b o ,   P J 	 	 	 	 S t u m b o ,   P h y l l i s   J . 	 	 	 N e w   t e c h n o l o g y   i n   d i e t a r y   a s s e s s m e n t :   a   r e v i e w   o f   d i g i t a l   m e t h o d s   i n   i m p r o v i n g   f o o d   r e c o r d   a c c u r a c y 	 P R O C E E D I N G S   O F   T H E   N U T R I T I O N   S O C I E T Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 D i e t a r y   a s s e s s m e n t ;   D i e t a r y   r e c o r d ;   M o b i l e   t e l e p h o n e ;   C o m p u t e r - a s s i s t e d   i m a g e   p r o c e s s i n g ;   E p i d e m i o l o g i c a l   m e t h o d s 	 P O R T I O N   S I Z E ;   Q U E S T I O N N A I R E ;   N U T R I E N T S 	 M e t h o d s   f o r   c o n d u c t i n g   d i e t a r y   a s s e s s m e n t   i n   t h e   U n i t e d   S t a t e s   d a t e   b a c k   t o   t h e   e a r l y   t w e n t i e t h   c e n t u r y .   M e t h o d s   o f   a s s e s s m e n t   e n c o m p a s s e d   d i e t a r y   r e c o r d s ,   w r i t t e n   a n d   s p o k e n   d i e t a r y   r e c a l l s ,   F F Q   u s i n g   p e n c i l   a n d   p a p e r   a n d   m o r e   r e c e n t l y   c o m p u t e r   a n d   i n t e r n e t   a p p l i c a t i o n s .   E m e r g i n g   i n n o v a t i o n s   i n v o l v e   c a m e r a   a n d   m o b i l e   t e l e p h o n e   t e c h n o l o g y   t o   c a p t u r e   f o o d   a n d   m e a l   i m a g e s .   T h i s   p a p e r   d e s c r i b e s   s i x   p r o j e c t s   s p o n s o r e d   b y   t h e   U n i t e d   S t a t e s   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   t h a t   u s e   d i g i t a l   m e t h o d s   t o   i m p r o v e   f o o d   r e c o r d s   a n d   t w o   m o b i l e   p h o n e   a p p l i c a t i o n s   u s i n g   c r o w d s o u r c i n g .   T h e   t e c h n i q u e s   u n d e r   d e v e l o p m e n t   s h o w   p r o m i s e   f o r   i m p r o v i n g   a c c u r a c y   o f   f o o d   r e c o r d s . 	 U n i v   I o w a ,   I n s t   C l i n   &   T r a n s l a t   S c i ,   I o w a   C i t y ,   I A   5 2 2 4 2   U S A 	 S t u m b o ,   P J   ( r e p r i n t   a u t h o r ) ,   U n i v   I o w a ,   I n s t   C l i n   &   T r a n s l a t   S c i ,   1 7 0 0   1 s t   A v e , S u i t e   1 7 ,   I o w a   C i t y ,   I A   5 2 2 4 2   U S A . 	 P h y l l i s - s t u m b o @ u i o w a . e d u 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 1 ,   N E W S ;   B A S I O T I S   P P ,   1 9 8 7 ,   J   N U T R ,   V 1 1 7 ,   P 1 6 3 8 ;   B L O C K   G ,   1 9 8 6 ,   A M   J   E P I D E M I O L ,   V 1 2 4 ,   P 4 5 3 ;   D a w e s   D ,   1 9 8 9 ,   S C I E N C E ,   V 2 4 3 ,   P 1 6 6 8 ;   D o d d   K W ,   2 0 0 6 ,   J   A M   D I E T   A S S O C ,   V 1 0 6 ,   P 1 6 4 0 ,   D O I   1 0 . 1 0 1 6 / j . j a d a . 2 0 0 6 . 0 7 . 0 1 1 ;   F o s t e r   E ,   2 0 0 8 ,   B R I T   J   N U T R ,   V 9 9 ,   P 1 7 5 ,   D O I   1 0 . 1 0 1 7 / S 0 0 0 7 1 1 4 5 0 7 7 9 3 9 0 X ;   H A N K I N   J H ,   1 9 7 0 ,   A M   J   E P I D E M I O L ,   V 9 1 ,   P 5 6 2 ;   H A N K I N   J H ,   1 9 6 8 ,   A M   J   E P I D E M I O L ,   V 8 7 ,   P 2 8 5 ;   K h a n n a   N ,   2 0 1 0 ,   P r o c e e d i n g s   2 0 1 0   I E E E   I n t e r n a t i o n a l   S y m p o s i u m   o n   M u l t i m e d i a   ( I S M   2 0 1 0 ) ,   D O I   1 0 . 1 1 0 9 / I S M . 2 0 1 0 . 5 0 ;   L e e   C D ,   2 0 1 2 ,   J   D I A B E T E S   S C I   T E C H N ,   V 6 ,   P 1 ;   L E I C H S E N R I N G   J A N E   M . ,   1 9 5 1 ,   J O U R   A M E R   D I E T E T I C   A S S O C ,   V 2 7 ,   P 3 8 6 ;   M E D L I N   C ,   1 9 8 8 ,   J   A M   D I E T   A S S O C ,   V 8 8 ,   P 1 2 5 0 ;   N e l s o n   M ,   1 9 9 6 ,   B R I T   J   N U T R ,   V 7 6 ,   P 3 1 ,   D O I   1 0 . 1 0 7 9 / B J N 1 9 9 6 0 0 0 7 ;   N o r o n h a   J ,   2 0 1 1 ,   U I S T   P   2 4   A N N   A C M   S ,   P 1 ,   D O I   [ D O I   1 0 . 1 1 4 5 / 2 0 4 7 1 9 6 . 2 0 4 7 1 9 8 ,   1 0 . 1 1 4 5 / 2 0 4 7 1 9 6 . 2 0 4 7 1 9 8 ] ;   P u r i   M ,   2 0 0 9 ,   A P P L   C O M P U T E R   V I S I O N ;   S u b a r   A F ,   2 0 0 3 ,   A M   J   E P I D E M I O L ,   V 1 5 8 ,   P 1 ,   D O I   1 0 . 1 0 9 3 / a j e / k w g 0 9 2 ;   S u b a r   A F ,   2 0 0 1 ,   A M   J   E P I D E M I O L ,   V 1 5 4 ,   P 1 0 8 9 ,   D O I   1 0 . 1 0 9 3 / a j e / 1 5 4 . 1 2 . 1 0 8 9 ;   T o o z e   J A ,   2 0 1 0 ,   S T A T   M E D ,   V 2 9 ,   P 2 8 5 7 ,   D O I   1 0 . 1 0 0 2 / s i m . 4 0 6 3 ;   U S   N a t i o n a l   H e a l t h   a n d   N u t r i t i o n   E x a m i n a t i o n   S t u d y ,   2 0 0 2 ,   F O O D   M O D   B O O K L ;   U S D A   A R S   F o o d   S u r v e y s   R e s e a r c h   G r o u p   F o o d   a n d   N u t r i e n t   D a t a b a s e   f o r   D i e t a r y   S t u d i e s ,   F O O D   N U T R   D A T   D I E T   S ;   W i l l e t t   W ,   1 9 9 8 ,   N U T R   E P I D E M I O L O G Y ,   P 7 4 ;   Z h a n g   Z ,   2 0 1 0 ,   T H E S I S   U   P I T T S B U R G H ;   Z h u   F ,   2 0 1 1 ,   P   S O C   P H O T O - O P T   I N S ,   V 2 0 1 1 ;   Z h u   F ,   2 0 1 0 ,   P   I N T   S   I M   S I G N   P R O C ,   P 3 3 7 ;   Z h u   F Q ,   2 0 1 0 ,   I E E E   I M A G E   P R O C ,   P 1 8 5 3 ,   D O I   1 0 . 1 1 0 9 / I C I P . 2 0 1 0 . 5 6 5 0 8 4 8 ;   Z h u   F Q ,   2 0 1 0 ,   I E E E   J - S T S P ,   V 4 ,   P 7 5 6 ,   D O I   1 0 . 1 1 0 9 / J S T S P . 2 0 1 0 . 2 0 5 1 4 7 1 	 2 6 	 3 	 3 	 C A M B R I D G E   U N I V   P R E S S 	 C A M B R I D G E 	 E D I N B U R G H   B L D G ,   S H A F T E S B U R Y   R D ,   C B 2   8 R U   C A M B R I D G E ,   E N G L A N D 	 0 0 2 9 - 6 6 5 1 	 	 	 P   N U T R   S O C 	 P r o c .   N u t r .   S o c . 	 F E B 	 2 0 1 3 	 7 2 	 1 	 	 	 	 	 7 0 	 7 6 	 	 1 0 . 1 0 1 7 / S 0 0 2 9 6 6 5 1 1 2 0 0 2 9 1 1 	 	 7 	 N u t r i t i o n   &   D i e t e t i c s 	 N u t r i t i o n   &   D i e t e t i c s 	 0 7 4 Q E 	 W O S : 0 0 0 3 1 3 8 2 6 7 0 0 0 0 9 	 2 3 3 3 6 5 6 1 	 
 J 	 G r a b e r ,   M A ;   G r a b e r ,   A 	 	 	 	 G r a b e r ,   M a r k   A . ;   G r a b e r ,   A b r a h a m 	 	 	 I n t e r n e t - b a s e d   c r o w d s o u r c i n g   a n d   r e s e a r c h   e t h i c s :   t h e   c a s e   f o r   I R B   r e v i e w 	 J O U R N A L   O F   M E D I C A L   E T H I C S 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 	 A D D I C T I O N ;   G A M E 	 T h e   r e c e n t   s u c c e s s   o f   F o l d i t   i n   d e t e r m i n i n g   t h e   s t r u c t u r e   o f   t h e   M a s o n - P f i z e r   m o n k e y   v i r u s   ( M - P M V )   r e t r o v i r a l   p r o t e a s e   i s   s u g g e s t i v e   o f   t h e   p o w e r - s o l v i n g   p o t e n t i a l   o f   i n t e r n e t - f a c i l i t a t e d   g a m e - l i k e   c r o w d s o u r c i n g .   T h i s   r e s e a r c h   m o d e l   i s   h i g h l y   n o v e l ,   h o w e v e r ,   a n d   t h u s ,   d e s e r v e s   c a r e f u l   c o n s i d e r a t i o n   o f   p o t e n t i a l   e t h i c a l   i s s u e s .   I n   t h i s   p a p e r ,   w e   w i l l   d e m o n s t r a t e   t h a t   t h e   c r o w d s o u r c i n g   m o d e l   o f   r e s e a r c h   h a s   t h e   p o t e n t i a l   t o   c a u s e   h a r m   t o   p a r t i c i p a n t s ,   m a n i p u l a t e s   t h e   p a r t i c i p a n t   i n t o   c o n t i n u e d   p a r t i c i p a t i o n ,   a n d   u s e s   p a r t i c i p a n t s   a s   e x p e r i m e n t a l   s u b j e c t s .   W e   c o n c l u d e   t h a t   p r o t o c o l s   r e l y i n g   o n   t h i s   m o d e l   r e q u i r e   i n s t i t u t i o n a l   r e v i e w   b o a r d   ( I R B )   s c r u t i n y . 	 [ G r a b e r ,   M a r k   A . ]   U n i v   I o w a ,   C a r v e r   C o l l   M e d ,   D e p t   E m e r g e n c y   M e d ,   I o w a   C i t y ,   I A   5 2 2 4 2   U S A ;   [ G r a b e r ,   M a r k   A . ]   U n i v   I o w a ,   C a r v e r   C o l l   M e d ,   D e p t   F a m i l y   M e d ,   I o w a   C i t y ,   I A   5 2 2 4 2   U S A ;   [ G r a b e r ,   A b r a h a m ]   U n i v   I o w a ,   D e p t   P h i l o s o p h y ,   I o w a   C i t y ,   I A   5 2 2 4 2   U S A 	 G r a b e r ,   M A   ( r e p r i n t   a u t h o r ) ,   U n i v   I o w a ,   C a r v e r   C o l l   M e d ,   D e p t   E m e r g e n c y   M e d ,   2 0 0   H a w k i n s   D r , 1 0 0 8   R C P ,   I o w a   C i t y ,   I A   5 2 2 4 2   U S A . 	 m a r k - g r a b e r @ u i o w a . e d u 	 	 	 	 	 [ A n o n y m o u s ] ,   B B C   N E W S ;   [ A n o n y m o u s ] ,   R E U T E R S ;   B e r g m a r k   K H ,   2 0 1 1 ,   I N T   J   E N V   R E S   P U B   H E ,   V 8 ,   P 4 4 8 8 ,   D O I   1 0 . 3 3 9 0 / i j e r p h 8 1 2 4 4 8 8 ;   B l o c k   J J ,   2 0 0 8 ,   A M   J   P S Y C H I A T ,   V 1 6 5 ,   P 3 0 6 ,   D O I   1 0 . 1 1 7 6 / a p p i . a j p . 2 0 0 7 . 0 7 1 0 1 5 5 6 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   F i s o u n   V ,   2 0 1 2 ,   J   A D D I C T   M E D ,   V 6 ,   P 7 7 ,   D O I   1 0 . 1 0 9 7 / A D M . 0 b 0 1 3 e 3 1 8 2 3 3 d 6 3 7 ;   F r a n k e l   M S ,   E T H I C A L   L E G A L   A S P E C T ;   H o w e   J . ,   W I R E D   M A G A Z I N E ;   J a g e r   S ,   2 0 1 2 ,   T R I A L S ,   V 1 3 ,   D O I   1 0 . 1 1 8 6 / 1 7 4 5 - 6 2 1 5 - 1 3 - 4 3 ;   K h a b i t   F ,   2 0 1 1 ,   N A T   S T R U C T   M O L   B I O L ,   V 1 8 ,   P 1 1 7 5 ;   K i m   K ,   2 0 0 6 ,   I N T   J   N U R S   S T U D ,   V 4 3 ,   P 1 8 5 ,   D O I   1 0 . 1 0 1 6 / j . i j n u r s t u . 2 0 0 5 . 0 2 . 0 0 5 ;   L e u n g   L ,   2 0 0 4 ,   C Y B E R P S Y C H O L   B E H A V ,   V 7 ,   P 3 3 3 ,   D O I   1 0 . 1 0 8 9 / 1 0 9 4 9 3 1 0 4 1 2 9 1 3 0 3 ;   L i n   S C ,   2 0 1 3 ,   J   A D V   N U R S ,   V 6 9 ,   P 3 7 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 6 4 8 . 2 0 1 2 . 0 6 0 1 6 . x ;   P o l i   R ,   2 0 1 2 ,   N O R D   J   P S Y C H I A T ,   V 6 6 ,   P 5 5 ,   D O I   1 0 . 3 1 0 9 / 0 8 0 3 9 4 8 8 . 2 0 1 1 . 6 0 5 1 6 9 ;   Y u a n   K a i ,   2 0 1 1 ,   C o m m u n   I n t e g r   B i o l ,   V 4 ,   P 6 3 7 	 1 5 	 2 	 2 	 B M J   P U B L I S H I N G   G R O U P 	 L O N D O N 	 B R I T I S H   M E D   A S S O C   H O U S E ,   T A V I S T O C K   S Q U A R E ,   L O N D O N   W C 1 H   9 J R ,   E N G L A N D 	 0 3 0 6 - 6 8 0 0 	 	 	 J   M E D   E T H I C S 	 J .   M e d .   E t h i c s 	 F E B 	 2 0 1 3 	 3 9 	 2 	 	 	 	 	 1 1 5 	 1 1 8 	 	 1 0 . 1 1 3 6 / m e d e t h i c s - 2 0 1 2 - 1 0 0 7 9 8 	 	 4 	 E t h i c s ;   M e d i c a l   E t h i c s ;   S o c i a l   I s s u e s ;   S o c i a l   S c i e n c e s ,   B i o m e d i c a l 	 S o c i a l   S c i e n c e s   -   O t h e r   T o p i c s ;   M e d i c a l   E t h i c s ;   S o c i a l   I s s u e s ;   B i o m e d i c a l   S o c i a l   S c i e n c e s 	 0 7 3 K J 	 W O S : 0 0 0 3 1 3 7 4 1 6 0 0 0 1 4 	 2 3 2 0 4 3 1 9 	 
 J 	 A r m s t r o n g ,   A W ;   W u ,   J L ;   H a r s k a m p ,   C T ;   C h e e n e y ,   S ;   S c h u p p ,   C W 	 	 	 	 A r m s t r o n g ,   A p r i l   W . ;   W u ,   J u l i e ;   H a r s k a m p ,   C a i t l i n   T . ;   C h e e n e y ,   S a f i a ;   S c h u p p ,   C l a y t o n   W . 	 	 	 C r o w d s o u r c i n g   f o r   d a t a   c o l l e c t i o n :   a   p i l o t   s t u d y   c o m p a r i n g   p a t i e n t - r e p o r t e d   e x p e r i e n c e s   a n d   c l i n i c a l   t r i a l   d a t a   f o r   t h e   t r e a t m e n t   o f   s e b o r r h e i c   d e r m a t i t i s 	 S K I N   R E S E A R C H   A N D   T E C H N O L O G Y 	 	 	 E n g l i s h 	 L e t t e r 	 	 	 	 	 	 	 D O U B L E - B L I N D ;   D A N D R U F F ;   S H A M P O O 	 	 [ A r m s t r o n g ,   A p r i l   W . ]   U n i v   C a l i f   D a v i s   H l t h   S y s t ,   D e r m a t o l   C l i n   R e s   U n i t ,   D e p t   D e r m a t o l ,   S a c r a m e n t o ,   C A   9 5 8 1 6   U S A ;   [ C h e e n e y ,   S a f i a ]   U n i v   A r i z o n a ,   T u c s o n ,   A Z   U S A 	 A r m s t r o n g ,   A W   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   D a v i s   H l t h   S y s t ,   D e r m a t o l   C l i n   R e s   U n i t ,   D e p t   D e r m a t o l ,   3 3 0 1   C   S t , S t e   1 4 0 0 ,   S a c r a m e n t o ,   C A   9 5 8 1 6   U S A . 	 a p r i l a r m s t r o n g @ p o s t . h a r v a r d . e d u 	 	 	 	 	 A d a m s   S A ,   2 0 1 1 ,   S O C   S C I   M E D ,   V 7 2 ,   P 1 0 6 9 ,   D O I   1 0 . 1 0 1 6 / j . s o c s c i m e d . 2 0 1 1 . 0 2 . 0 0 1 ;   D A N B Y   F W ,   1 9 9 3 ,   J   A M   A C A D   D E R M A T O L ,   V 2 9 ,   P 1 0 0 8 ;   K o c a   R ,   2 0 0 3 ,   I N T   J   D E R M A T O L ,   V 4 2 ,   P 6 3 2 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 4 3 6 2 . 2 0 0 3 . 0 1 9 8 1 . x ;   N a l d i   L ,   2 0 0 9 ,   N E W   E N G L   J   M E D ,   V 3 6 0 ,   P 3 8 7 ,   D O I   1 0 . 1 0 5 6 / N E J M c p 0 8 0 6 4 6 4 ;   P r a i n s a c k   B ,   2 0 1 0 ,   P H A R M A C O G E N O M I C S ,   V 1 1 ,   P 6 5 1 ,   D O I   [ 1 0 . 2 2 1 7 / p g s . 1 0 . 3 3 ,   1 0 . 2 2 1 7 / P G S . 1 0 . 3 3 ] ;   S a t c h e l l   A C ,   2 0 0 2 ,   J   A M   A C A D   D E R M A T O L ,   V 4 7 ,   P 8 5 2 ,   D O I   1 0 . 1 0 6 7 / m j d . 2 0 0 2 . 1 2 2 7 3 4 ;   S T R A T I G O S   J D ,   1 9 8 8 ,   J   A M   A C A D   D E R M A T O L ,   V 1 9 ,   P 8 5 0 ,   D O I   1 0 . 1 0 1 6 / S 0 1 9 0 - 9 6 2 2 ( 8 8 ) 7 0 2 4 4 - 3 	 7 	 1 	 1 	 W I L E Y - B L A C K W E L L 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 9 0 9 - 7 5 2 X 	 	 	 S K I N   R E S   T E C H N O L 	 S k i n   R e s .   T e c h n o l . 	 F E B 	 2 0 1 3 	 1 9 	 1 	 	 	 	 	 5 5 	 5 7 	 	 1 0 . 1 1 1 1 / j . 1 6 0 0 - 0 8 4 6 . 2 0 1 2 . 0 0 6 6 7 . x 	 	 3 	 D e r m a t o l o g y 	 D e r m a t o l o g y 	 0 6 6 Y J 	 W O S : 0 0 0 3 1 3 2 5 8 1 0 0 0 8 1 	 2 2 8 9 1 7 0 0 	 
 J 	 D u p u i s ,   M ;   E n d i c o t t - P o p o v s k y ,   B ;   C r o s s l e r ,   R 	 	 E n d i c o t t P o p o v s k y ,   B 	 	 D u p u i s ,   M a r c ;   E n d i c o t t - P o p o v s k y ,   B a r b a r a ;   C r o s s l e r ,   R o b e r t 	 	 	 A n   A n a l y s i s   o f   t h e   U s e   o f   A m a z o n ' s   M e c h a n i c a l   T u r k   f o r   S u r v e y   R e s e a r c h   i n   t h e   C l o u d 	 P R O C E E D I N G S   O F   T H E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C L O U D   S E C U R I T Y   M A N A G E M E N T   ( I C C S M - 2 0 1 3 ) 	 P r o c e e d i n g s   o f   t h e   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C l o u d   S e c u r i t y   M a n a g e m e n t 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   C l o u d   S e c u r i t y   M a n a g e m e n t   ( I C C S M ) 	 O C T   1 7 - 1 8 ,   2 0 1 3 	 S e a t t l e ,   W A 	 C l o u d   S e c u r   A l l i n a c e   S e a t t l e   C h a p t e r 	 U n i v   W a s h i n g t o n ,   C t r   I n f o r m a t   A s s u r a n c e   &   C y b e r s e c u r 	 c r o w d s o u r c i n g ;   s u r v e y s ;   M e c h a n i c a l   T u r k ;   c l o u d 	 I N T E R N E T ;   W E B 	 S u r v e y   r e s e a r c h   h a s   b e e n   a n   i m p o r t a n t   t o o l   f o r   i n f o r m a t i o n   s y s t e m s   r e s e a r c h e r s .   A s   t e c h n o l o g i e s   h a v e   e v o l v e d   a n d   c h a n g e d   t h e   m a n n e r   i n   w h i c h   s u r v e y s   a r e   a d m i n i s t e r e d ,   s o   h a v e   t h e   t e c h n i q u e s   e m p l o y e d   b y   r e s e a r c h e r s   t o   r e c r u i t   p a r t i c i p a n t s .   C r o w d s o u r c i n g   h a s   b e c o m e   a   c o m m o n   t e c h n i q u e   t o   r e c r u i t   p a r t i c i p a n t s   f o r   d i f f e r e n t   k i n d s   o f   r e s e a r c h ,   i n c l u d i n g   s u r v e y   r e s e a r c h .   T h i s   p a p e r   e x a m i n e s   t h e   r o l e   o f   o n e   s u c h   c r o w d s o u r c i n g   p l a t f o r m ,   A m a z o n ' s   M e c h a n i c a l   T u r k   ( M T u r k ) .   M T u r k   a l l o w s   e v e r y d a y   p e o p l e   t o   c r e a t e   a n   a c c o u n t   a n d   b e c o m e   a   w o r k e r   t o   p e r f o r m   v a r i o u s   t a s k s ,   c a l l e d   H I T s   ( h u m a n   i n t e l l i g e n c e   t a s k s ) .   H I T S   a r e   p o s t e d   b y   r e q u e s t o r s ,   w h i c h   m a y   b e   r e s e a r c h e r s ,   c o r p o r a t i o n s ,   o r   o t h e r   e n t i t i e s   t h a t   h a v e   g e n e r a l l y   s i m p l e   t a s k s   t h a t   c a n   b e   p e r f o r m e d   t h r o u g h   c r o w d s o u r c i n g .   W e   e x a m i n e   M T u r k   i n   t h e   c o n t e x t   o f   f i v e   d i f f e r e n t   s u r v e y s   c o n d u c t e d   u s i n g   t h e   M T u r k   p l a t f o r m   f o r   t h e   r e c r u i t m e n t   p h a s e   o f   t h e   s t u d i e s .   O u r   d i s c u s s i o n   i n c l u d e s   b o t h   p r a c t i c a l   t h i n g s   t o   c o n s i d e r   w h e n   u s i n g   t h e   p l a t f o r m   a n d   a n   a n a l y s i s   o f   s o m e   o f   o u r   f i n d i n g s .   I n   p a r t i c u l a r ,   w e   e x p l o r e   t h e   u s e   o f   q u a l i f i e r s   i n   c o n d u c t i n g   s t u d i e s ,   t h i n g s   t o   c o n s i d e r   i n   b o t h   l o n g i t u d i n a l   a n d   c r o s s - c u l t u r a l   s t u d i e s ,   t h e   d e m o g r a p h i c s   o f   t h e   M T u r k   p o p u l a t i o n ,   a n d   w a y s   t o   c o n t r o l   a n d   m e a s u r e   q u a l i t y .   A l t h o u g h   M T u r k   p a r t i c i p a n t s   d o   n o t   p e r f e c t l y   r e p r e s e n t   t h e   U . S .   p o p u l a t i o n   f r o m   a   d e m o g r a p h i c s   s t a n d p o i n t ,   w e   f o u n d   t h a t   t h e y   p r o v i d e   g o o d   o v e r a l l   d i v e r s i t y   o n   s e v e r a l   k e y   i n d i c a t o r s .   F u r t h e r m o r e ,   t h i s   d i v e r s i t y   t h a t   M T u r k   s a m p l e s   p r o v i d e   w i l l   o f t e n   b e   a s   g o o d ,   i f   n o t   b e t t e r ,   t h a n   t h e   t y p i c a l   p a r t i c i p a n t s   r e c r u i t e d   f o r   r e s e a r c h   ( e . g . ,   c o l l e g e   s o p h o m o r e s ) .   S i m i l a r   t o   m o s t   r e c r u i t m e n t   m e t h o d s ,   u s i n g   M T u r k   t o   c o n d u c t   r e s e a r c h   d o e s   h a v e   i t s   d r a w b a c k s .   N o n e t h e l e s s ,   t h e   e v i d e n c e   d o e s   n o t   i n d i c a t e   t h a t   t h e s e   d r a w b a c k s   a r e   e i t h e r   s i g n i f i c a n t   e n o u g h   t o   p r e c l u d e   t h e   u s e   o f   s u c h   a   p l a t f o r m ,   o r   i n   a n y   w a y   m o r e   s i g n i f i c a n t   t h a n   t h e   d r a w b a c k s   a s s o c i a t e d   w i t h   o t h e r   t e c h n i q u e s .   I n   f a c t ,   q u a l i t y   i s   g e n e r a l l y   h i g h ,   t h e   c o s t   i s   l o w ,   a n d   t h e   t u r n a r o u n d   t i m e   i s   m i n i m a l .   W e   d o   n o t   s u g g e s t   t h a t   M T u r k   s h o u l d   r e p l a c e   o t h e r   t e c h n i q u e s   f o r   p a r t i c i p a n t   r e c r u i t m e n t ,   b u t   r a t h e r   t h a t   i s   d e s e r v e s   t o   b e   p a r t   o f   t h e   d i s c u s s i o n . 	 [ D u p u i s ,   M a r c ]   U n i v   W a s h i n g t o n ,   I n s t   T e c h n o l ,   T a c o m a ,   W A   9 8 4 0 2   U S A 	 D u p u i s ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   W a s h i n g t o n ,   I n s t   T e c h n o l ,   T a c o m a ,   W A   9 8 4 0 2   U S A . 	 m a r c j d @ u w . e d u ;   e n d i c o t t @ u w . e d u ;   r o b . c r o s s l e r @ m s s t a t e . e d u 	 	 	 	 	 A m a z o n ,   2 0 1 3 ,   A M   M E C H   T U R K   R E Q   F A Q ;   A m a z o n   W e b   S e r v i c e s   L L C ,   2 0 1 1 ,   R E Q   B E S T   P R A C T   G U I D ;   A n d e r s o n   C L ,   2 0 1 0 ,   M I S   Q U A R T ,   V 3 4 ,   P 6 1 3 ;   A R M S T R O N G   J S ,   1 9 7 7 ,   J   M A R K E T I N G   R E S ,   V 1 4 ,   P 3 9 6 ,   D O I   1 0 . 2 3 0 7 / 3 1 5 0 7 8 3 ;   A t z o r i   L ,   2 0 1 0 ,   C O M P U T   N E T W ,   V 5 4 ,   P 2 7 8 7 ,   D O I   1 0 . 1 0 1 6 / j . c o m n e t . 2 0 1 0 . 0 5 . 0 1 0 ;   B u h r m e s t e r   M ,   2 0 1 1 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 6 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 0 3 9 3 9 8 0 ;   B u r k e   R ,   2 0 0 2 ,   U S E R   M O D E L   U S E R - A D A P ,   V 1 2 ,   P 3 3 1 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 1 2 4 0 7 3 0 5 6 4 ;   C h e n   G . ,   2 0 0 0 ,   T R 2 0 0 0 3 8 1   D E P   C O M P   S ;   C r o s s l e r   R . E . ,   2 0 1 0 ,   P R O T E C T I O N   M O T I V A T I O ,   P 1 0 ;   F r i c k e r   S ,   2 0 0 5 ,   P U B L I C   O P I N   Q U A R T ,   V 6 9 ,   P 3 7 0 ,   D O I   1 0 . 1 0 9 3 / p o q / n f i 0 2 7 ;   G o s l i n g   S D ,   2 0 0 4 ,   A M   P S Y C H O L ,   V 5 9 ,   P 9 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 0 3 - 0 6 6 X . 5 9 . 2 . 9 3 ;   H o r t o n   J J ,   2 0 1 1 ,   E X P   E C O N ,   V 1 4 ,   P 3 9 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 8 3 - 0 1 1 - 9 2 7 3 - 9 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   J a n s s e n   J . ,   1 9 7 8 ,   E A R L Y   S T A T E ,   P 2 1 3 ;   K a p l o w i t z   M . D . ,   2 0 0 4 ,   P U B L I C   O P I N   Q ,   P 6 8 ;   K e m p f   A M ,   2 0 0 7 ,   A N N U   R E V   P U B L   H E A L T H ,   V 2 8 ,   P 1 1 3 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . p u b l h e a l t h . 2 8 . 0 2 1 4 0 6 . 1 4 4 0 5 9 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K r a t h w o h l   D . ,   2 0 0 4 ,   M E T H O D S   E D   S O C I A L   S C ;   L a R o s e   R ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 7 1 ,   D O I   1 0 . 1 1 4 5 / 1 3 2 5 5 5 5 . 1 3 2 5 5 6 9 ;   L i a n g   H G ,   2 0 1 0 ,   J   A S S O C   I N F   S Y S T ,   V 1 1 ,   P 3 9 4 ;   M a h m o u d   M . M . ,   2 0 1 2 ,   P   A C M   M U L T   2 0 1 2   W O R K ,   P 1 5 ;   M a s o n   W . ,   2 0 1 0 ,   A C M   S I G K D D   E X P L O R A T I ,   V 1 1 ,   P 1 0 0 ,   D O I   [ D O I   1 0 . 1 1 4 5 / 1 8 0 9 4 0 0 . 1 8 0 9 4 2 2 ,   D O I   1 0 . 1 1 4 5 / - 1 8 0 9 4 0 0 . 1 8 0 9 4 2 2 ] ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   R o s s   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 . A C C E S S E D ;   S c h u t t   R . ,   2 0 1 2 ,   I N V E S T I G A T I N G   S O C I A L ;   S E A R S   D O ,   1 9 8 6 ,   J   P E R S   S O C   P S Y C H O L ,   V 5 1 ,   P 5 1 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 5 1 . 3 . 5 1 5 ;   S h e e h a n   K . B . ,   2 0 0 1 ,   J   C O M P U T   M E D I A T   C O M M ,   P 6 ;   Z e n g   Z H ,   2 0 0 9 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 1 ,   P 3 9 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 8 . 5 2 	 2 9 	 0 	 0 	 A C A D     C O N F E R E N C E S   L T D 	 N R   R E A D I N G 	 C U R T I S   F A R M ,   K I D M O R E   E N D ,   N R   R E A D I N G ,   R G 4   9 A Y ,   E N G L A N D 	 2 0 5 1 - 7 9 2 0 	 	 9 7 8 - 1 - 9 0 9 5 0 7 - 6 9 - 2 	 P R O C   I N T   C O N F   C L O U D 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 0 	 1 7 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 5 B Z 	 W O S : 0 0 0 3 4 3 6 6 0 0 0 0 0 0 2 	 	 
 J 	 T o n k i n ,   E L ;   P f e i f f e r ,   H D 	 	 D i n g ,   W ;   W a s h i o ,   T ;   X i o n g ,   H ;   K a r y p i s ,   G ;   T h u r a i s i n g h a m ,   B ;   C o o k ,   D ;   W u ,   X 	 	 T o n k i n ,   E m m a   L . ;   P f e i f f e r ,   H e a t h e r   D . 	 	 	 Z o m b i e s   W a l k   A m o n g   U s :   C r o s s - p l a t f o r m   d a t a   m i n i n g   f o r   e v e n t   m o n i t o r i n g 	 2 0 1 3   I E E E   1 3 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   D A T A   M I N I N G   W O R K S H O P S   ( I C D M W ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D a t a   M i n i n g 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   1 3 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D a t a   M i n i n g   ( I C D M ) 	 D E C   0 7 - 1 0 ,   2 0 1 3 	 D a l l a s ,   T X 	 I E E E ,   I E E E   C o m p   S o c ,   N S F ,   T o s h i b a ,   K N I M E ,   T e c h M a t r i x ,   U n i v   T e x a s   D a l l a s ,   U n i v   T e x a s   D a l l a s ,   E r i k   J o n s s o n   S c h   E n g n   &   C o m p   S c i ,   D e p t   C o m p   S c i 	 	 	 M A S S - M E D I A ;   K N O W L E D G E 	 S o c i a l   n e t w o r k s   s u c h   a s   F a c e b o o k ,   O r k u t   a n d   s o   o n ,   a r e   r e p o s i t o r i e s   o f   i n f o r m a t i o n   t h a t   a r e   v i e w e d   a s   u s e r s '   o p i n i o n s .   H o w e v e r ,   d a t a   m i n i n g   a c r o s s   m u l t i p l e   s o c i a l   w e b s i t e s   c a n   r e v e a l   v a l u a b l e   f a c t u a l   i n f o r m a t i o n   f o r   b o t h   m o n i t o r i n g   a n d   r e c o n s t r u c t i n g   e v e n t s .   C r o w d s o u r c i n g   c a n   b e   u s e d   o n   t h e s e   s i t e s   t o   m o n i t o r   ' f l a s h   m o b '   g r o u p   b e h a v i o r s ,   l o o s e l y   o r   f o r m a l l y   p l a n n e d   a c t i v i t i e s ,   s u c h   a s   ' z o m b i e   w a l k s ' .   I n   c e r t a i n   c o n t e x t s ,   t h e s e   w a l k s   a r e   ' m a r k e t e d '   t o   s o c i a l   s i t e   u s e r s   i n   o r d e r   t o   p r o m o t e   c h a r i t a b l e   o r   s o c i a l   e n g a g e m e n t s ;   i n   o t h e r s ,   a n a l y s i s   s u g g e s t s   t h a t   p a r t i c i p a t i o n   i s   a   f o r m   o f   p o l i t i c a l   e n g a g e m e n t .   W e   u s e   m u l t i - p l a t f o r m   i n f o r m a t i o n   e x t r a c t i o n   t o   b u i l d   a n   a t l a s   o f   g e o g r a p h i c   a n d   d e m o g r a p h i c   e v e n t s ,   w h i c h   l e a d s   u s   t o   c o m p e l l i n g ,   y e t   i m p e r f e c t ,   u n d e r s t a n d i n g   o f   w h y   e v e n t s   a r e   s u c c e s s f u l   a n d   r e g i o n a l l y   r e l e v a n t   f a c t o r s   t h a t   e n c o u r a g e   p e o p l e   t o   p i c k   u p   b e h a v i o r s   o r   p a r t i c i p a t e   i n   m o v e m e n t s .   M o r e   g e n e r a l l y ,   t h i s   c a s e   s t u d y   c o n f i r m s   t h a t   ` b i g - d a t a ' - l e d   a n a l y s i s   o f   t h i s   k i n d   i s   r e a s o n a b l y   s t r a i g h t f o r w a r d   a n d   r e w a r d i n g ,   a s   w e l l   a s   p r o v i d i n g   a   u s e f u l   b a s i s   f o r   B a y e s i a n   r e a s o n i n g :   t h e   u s e   o f   a v a i l a b l e   e v i d e n c e   t o   e v a l u a t e   p r o p o s i t i o n s   a b o u t   t h i s   t y p e   o f   e v e n t s . 	 [ T o n k i n ,   E m m a   L . ]   K i n g s   C o l l   L o n d o n ,   L o n d o n   W C 2 R   2 L S ,   E n g l a n d 	 T o n k i n ,   E L   ( r e p r i n t   a u t h o r ) ,   K i n g s   C o l l   L o n d o n ,   L o n d o n   W C 2 R   2 L S ,   E n g l a n d . 	 e m m a . t o n k i n @ k c l . a c . u k ;   h d p @ a k a m a i p h y s i c s i n c . c o m 	 	 	 	 	 A r a l   S ,   2 0 0 9 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 6 ,   P 2 1 5 4 4 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 9 0 8 8 0 0 1 0 6 ;   B e e z l e y   W .   H . ,   1 9 8 7 ,   J U D A S   J O C K E Y   C L U B   O T ;   B u t l e r   R . ,   2 0 1 2 ,   Z O M B I E   W A L K   O K L A H O M A ;   C a s t e l l s   M . ,   2 0 0 6 ,   N E T W O R K   S O C   K N O W L E D G ;   d o   V a l e   S . ,   2 0 0 9 ,   T R A S H   M O B   Z O M B I E   W A L ,   P 1 4 3 ;   G o r e   G ,   2 0 1 0 ,   A N T H R O P O L   N O T E B ,   V 1 6 ,   P 1 2 5 ;   I g n a t y e v a   E . ,   Z O M B I E   W A L K   F L A S H M O B ;   K a s c h e k   R ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 8 4 7 ,   P 1 8 3 ;   K a u l i n g f r e k s   R ,   2 0 1 0 ,   C U L T   O R G A N ,   V 1 6 ,   P 2 1 1 ,   D O I   1 0 . 1 0 8 0 / 1 4 7 5 9 5 5 1 . 2 0 1 0 . 5 0 3 4 9 8 ;   K j u k a   D . ,   R U S S I A N   O R T H O D O X   C H U ;   M e d e i r o s   C B ,   2 0 0 8 ,   C O M P U T E R ,   V 4 1 ,   P 5 9 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 8 . 1 8 8 ;   M i c h e l s o n   M ,   2 0 0 7 ,   I N T   J   D O C   A N A L   R E C O G ,   V 1 0 ,   P 2 1 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 0 3 2 - 0 0 7 - 0 0 5 2 - 2 ;   M o r s t a t t e r   F . ,   2 0 1 3 ,   C O R R ;   N e w s F a u x ,   F A U X   N E W S   R E P   M A D   W I ;   P a k   A . ,   2 0 1 0 ,   P   7   C   I N T   L A N G   R E S   E ;   P e r e l l i   C . ,   1 9 9 4 ,   M E M O R I A   S A N G R E   F E A R ;   R o s e n t h a l   A ,   2 0 0 0 ,   S O C   S C I   H I S T ,   V 2 4 ,   P 3 3 ,   D O I   1 0 . 1 2 1 5 / 0 1 4 5 5 5 3 2 - 2 4 - 1 - 3 3 ;   S a c r a m e n t o   N e w s   a n d   R e v i e w ,   2 0 0 1 ,   B E S T   S A C R ;   S a k a k i   T ,   2 0 1 0 ,   W W W   1 0   P   1 9   I N T   C   W O ,   P 8 5 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 7 7 ;   S o w a   J .   F . ,   2 0 0 0 ,   K N O W L E D G E   R E P R E S E N T A ;   S t e f a n o n e   M A ,   2 0 1 0 ,   J   B R O A D C A S T   E L E C T R O N ,   V 5 4 ,   P 5 0 8 ,   D O I   1 0 . 1 0 8 0 / 0 8 8 3 8 1 5 1 . 2 0 1 0 . 4 9 8 8 5 1 ;   T I C H E N O R   P J ,   1 9 7 0 ,   P U B L I C   O P I N   Q U A R T ,   V 3 4 ,   P 1 5 9 ,   D O I   1 0 . 1 0 8 6 / 2 6 7 7 8 6 ;   T o d d   C . ,   2 0 1 2 ,   I M P R O V   E V E R Y W H E R E ;   T o n k i n   E .   L . ,   2 0 1 0 ,   W M M   W O R K S H   A U T   D E V   E ,   P 3 ;   W a n   Y ,   2 0 0 8 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 2 ,   P 6 9 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 8 . 7 0 ;   W h i t e   R . ,   2 0 0 6 ,   T R E N D S   I S S U E S   C R I M E ,   V 1 ,   P 1 	 2 6 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 5 5 0 - 4 7 8 6 	 	 9 7 8 - 0 - 7 6 9 5 - 5 1 0 9 - 8 	 I E E E   D A T A   M I N I N G 	 	 	 2 0 1 3 	 	 	 	 	 	 	 4 5 2 	 4 5 9 	 	 1 0 . 1 1 0 9 / I C D M W . 2 0 1 3 . 5 2 	 	 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 5 A Q 	 W O S : 0 0 0 3 4 3 6 0 2 8 0 0 0 6 1 	 	 
 S 	 C o s t a ,   J ;   S i l v a ,   C ;   A n t u n e s ,   M ;   R i b e i r o ,   B 	 	 T o m a s s i n i ,   M ;   A n t o n i o n i ,   A ;   D a o l i o ,   F ;   B u e s s e r ,   P 	 	 C o s t a ,   J o a n a ;   S i l v a ,   C a t a r i n a ;   A n t u n e s ,   M a r i o ;   R i b e i r o ,   B e r n a r d e t e 	 	 	 D e f i n i n g   S e m a n t i c   M e t a - h a s h t a g s   f o r   T w i t t e r   C l a s s i f i c a t i o n 	 A D A P T I V E   A N D   N A T U R A L   C O M P U T I N G   A L G O R I T H M S ,   I C A N N G A   2 0 1 3 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 1 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A d a p t i v e   a n d   N e u r a l   C o m p u t i n g   A l g o r i t h m s   ( I C A N N G A ) 	 A P R   0 4 - 0 6 ,   2 0 1 3 	 L a u s a n n e ,   S W I T Z E R L A N D 	 	 	 M e t a - h a s h t a g s ;   S e m a n t i c ;   T e x t   C l a s s i f i c a t i o n ;   T w i t t e r 	 	 G i v e n   t h e   w i d e   s p r e a d   o f   s o c i a l   n e t w o r k s ,   r e s e a r c h   e f f o r t s   t o   r e t r i e v e   i n f o r m a t i o n   u s i n g   t a g g i n g   f r o m   s o c i a l   n e t w o r k s   c o m m u n i c a t i o n s   h a v e   i n c r e a s e d .   I n   p a r t i c u l a r ,   i n   T w i t t e r   s o c i a l   n e t w o r k ,   h a s h t a g s   a r e   w i d e l y   u s e d   t o   d e f i n e   a   s h a r e d   c o n t e x t   f o r   e v e n t s   o r   t o p i c s .   W h i l e   t h i s   i s   a   c o m m o n   p r a c t i c e   o f t e n   t h e   h a s h t a g s   f r e e l y   i n t r o d u c e d   b y   t h e   u s e r   b e c o m e   e a s i l y   b i a s e d .   I n   t h i s   p a p e r ,   w e   p r o p o s e   t o   d e a l   w i t h   t h i s   b i a s   d e f i n i n g   s e m a n t i c   m e t a - h a s h t a g s   b y   c l u s t e r i n g   s i m i l a r   m e s s a g e s   t o   i m p r o v e   t h e   c l a s s i f i c a t i o n .   F i r s t ,   w e   u s e   t h e   u s e r - d e f i n e d   h a s h t a g s   a s   t h e   T w i t t e r   m e s s a g e   c l a s s   l a b e l s .   T h e n ,   w e   a p p l y   t h e   m e t a - h a s h t a g   a p p r o a c h   t o   b o o s t   t h e   p e r f o r m a n c e   o f   t h e   m e s s a g e   c l a s s i f i c a t i o n .   T h e   m e t a - h a s h t a g   a p p r o a c h   i s   t e s t e d   i n   a   T w i t t e r - b a s e d   d a t a s e t   c o n s t r u c t e d   b y   r e q u e s t i n g   p u b l i c   t w e e t s   t o   t h e   T w i t t e r   A P I .   T h e   e x p e r i m e n t a l   r e s u l t s   y i e l d e d   b y   c o m p a r i n g   a   b a s e l i n e   m o d e l   b a s e d   o n   u s e r - d e f i n e d   h a s h t a g s   w i t h   t h e   c l u s t e r e d   m e t a - h a s h t a g   a p p r o a c h   s h o w   t h a t   t h e   o v e r a l l   c l a s s i f i c a t i o n   i s   i m p r o v e d .   I t   i s   c o n c l u d e d   t h a t   b y   i n c o r p o r a t i n g   s e m a n t i c s   i n   t h e   m e t a - h a s h t a g   m o d e l   c a n   h a v e   i m p a c t   i n   d i f f e r e n t   a p p l i c a t i o n s ,   e . g .   r e c o m m e n d a t i o n   s y s t e m s ,   e v e n t   d e t e c t i o n   o r   c r o w d s o u r c i n g . 	 [ C o s t a ,   J o a n a ;   S i l v a ,   C a t a r i n a ;   A n t u n e s ,   M a r i o ]   P o l y t e c h   I n s t   L e i r i a ,   C o m p   S c i   C o m m u n   &   R e s   C t r ,   S c h   T e c h n o l   &   M a n a g e m e n t ,   L e i r i a ,   P o r t u g a l 	 C o s t a ,   J   ( r e p r i n t   a u t h o r ) ,   P o l y t e c h   I n s t   L e i r i a ,   C o m p   S c i   C o m m u n   &   R e s   C t r ,   S c h   T e c h n o l   &   M a n a g e m e n t ,   L e i r i a ,   P o r t u g a l . 	 j o a n a . c o s t a @ i p l e i r i a . p t ;   c a t a r i n a @ i p l e i r i a . p t ;   m a r i o . a n t u n e s @ i p l e i r i a . p t ;   b r i b e i r o @ d e i . u c . p t 	 	 	 	 	 A b e l   F ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 4 4 ,   P 3 7 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 1 0 6 4 - 8 _ 2 6 ;   A b e l   F ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 7 8 7 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 2 3 6 2 - 4 _ 1 ;   B e c k e r   H . ,   2 0 1 1 ,   I C W S M ,   P 2 2 6 ;   C h a n g   H . - C . ,   2 0 1 0 ,   P   7 3   A S I S   T   A N N   M   N A ,   V 4 7 ,   P 2 2 7 ;   C o s t a   J . ,   2 0 1 1 ,   P r o c e e d i n g s   o f   t h e   2 0 1 1   1 1 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e l l i g e n t   S y s t e m s   D e s i g n   a n d   A p p l i c a t i o n s   ( I S D A ) ,   D O I   1 0 . 1 1 0 9 / I S D A . 2 0 1 1 . 6 1 2 1 7 0 0 ;   D o e r   B ,   2 0 1 2 ,   C O M M U N   A C M ,   V 5 5 ,   P 7 0 ,   D O I   1 0 . 1 1 4 5 / 2 1 8 4 3 1 9 . 2 1 8 4 3 3 8 ;   E f r o n   M ,   2 0 1 0 ,   S I G I R   2 0 1 0 :   P R O C E E D I N G S   O F   T H E   3 3 R D   A N N U A L   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L ,   P 7 8 7 ;   H u a n g   J . ,   2 0 1 0 ,   P   2 1   A C M   C   H Y P   H Y P ,   P 1 7 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 1 0 6 1 7 . 1 8 1 0 6 4 ;   J o a c h i m s   T . ,   2 0 0 2 ,   L E A R N I N G   T E X T   C L A S S I ,   P 2 3 1 ;   J o h n s o n   S . ,   2 0 0 9 ,   T I M E   M A G A Z I N E ,   V 1 7 3 ,   p [ 2 3 ,   2 2 7 ] ;   K o e r i c h   A L ,   2 0 0 3 ,   I E E E   S Y S   M A N   C Y B E R N ,   P 7 1 7 ;   O ' C o n n o r   B . ,   2 0 1 0 ,   P   I N T   A A A I   C   W E B L   S O ,   p [ 2 2 6 ,   2 2 7 ] ;   O g u z t u z u n   H . ,   2 0 1 2 ,   V L D B   1   I N T   W O R K S H   O N ,   p [ 2 2 7 ,   2 3 3 ] ;   O v a d i a   S . ,   2 0 0 9 ,   B E H A V   S O C I A L   S C I   L I B ,   V 2 8 ,   P 2 0 2 ;   P o p e s c u   A . - M . ,   2 0 1 0 ,   C I K M ,   P 1 8 7 3 ;   R o w e   M . ,   2 0 1 0 ,   W O R K S H   S O C   D A T   W E B   S ,   P 2 2 6 ;   S a k a k i   T a k e s h i ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 8 5 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 7 7 ;   T a n t i p a t h a n a n a n d h   C . ,   2 0 1 1 ,   2 0 1 1   I E E E   1 1   I N T   C   D ,   p [ 1 2 3 6 ,   2 2 7 ] ;   T o n g   S ,   2 0 0 2 ,   J   M A C H   L E A R N   R E S ,   V 2 ,   P 4 5 ;   T r e i b e r   M . ,   2 0 1 1 ,   P   3   I N T   W O R K S H   P R I N C ,   p [ 1 ,   2 2 7 ] ;   T s u r   O ,   2 0 1 2 ,   P   5   A C M   I N T   C   W E B   S E ,   P 6 4 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 1 2 4 2 9 5 . 2 1 2 4 3 2 0 ] ;   T u m a s j a n   A . ,   2 0 1 0 ,   P   4   I N T   A A A I   C   W E B L ,   P 1 7 8 ;   v a n   R i j s b e r g e n   C . ,   1 9 7 9 ,   I N F O R M   R E T R I E V A L ,   P 2 3 1 ;   V a p n i k   V . ,   1 9 9 9 ,   N A T U R E   S T A T   L E A R N I N G ,   P 2 3 1 ;   W e l l e r   K . ,   2 0 1 1 ,   T W I T T E R   S C I   C O M M U N I C ,   P 1 ;   Y a n g   L . ,   2 0 1 2 ,   P   2 1   I N T   C   W O R L D   W I D ,   p [ 2 6 1 ,   2 2 7 ] ,   D O I   [ D O I   1 0 . 1 1 4 5 / 2 1 8 7 8 3 6 . 2 1 8 7 8 7 2 ,   1 0 . 1 1 4 5 / 2 1 8 7 8 3 6 . 2 1 8 7 8 7 2 ] ;   Z a n g e r l e   E . ,   2 0 1 1 ,   P   W O R K S H   S E M   A D   S O C ,   p [ 6 7 ,   2 2 7 ] ;   Z a p p a v i g n a   M ,   2 0 1 1 ,   N E W   M E D I A   S O C ,   V 1 3 ,   P 7 8 8 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 1 0 3 8 5 0 9 7 	 2 8 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 3 7 2 1 3 - 1 ;   9 7 8 - 3 - 6 4 2 - 3 7 2 1 2 - 4 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 7 8 2 4 	 	 	 	 	 	 2 2 6 	 2 3 5 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 3 J K 	 W O S : 0 0 0 3 4 2 8 1 5 3 0 0 0 2 4 	 	 
 S 	 H u r o n ,   S ;   I s e n b e r g ,   P ;   F e k e t e ,   J D 	 	 K o t z e ,   P ;   M a r s d e n ,   G ;   L i n d g a a r d ,   G ;   W e s s o n ,   J ;   W i n c k l e r ,   M 	 	 H u r o n ,   S a m u e l ;   I s e n b e r g ,   P e t r a ;   F e k e t e ,   J e a n   D a n i e l 	 	 	 P o l e m i c T w e e t :   V i d e o   A n n o t a t i o n   a n d   A n a l y s i s   t h r o u g h   T a g g e d   T w e e t s 	 H U M A N - C O M P U T E R   I N T E R A C T I O N   -   I N T E R A C T   2 0 1 3 ,   P T   I I 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 4 t h   I F I P   T C   1 3   I N T E R A C T   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D e s i g n i n g   f o r   D i v e r s i t y 	 S E P   0 2 - 0 6 ,   2 0 1 3 	 C a p e   T o w n ,   S O U T H   A F R I C A 	 I n t   F e d e r a t   I n f o r m a t   P r o c ,   N e l s o n   M a n d e l a   M e t r o p o l i t a n   U n i v ,   M e r a k a   I n s t   C o u n c i l   S c i   &   I n d   R e s ,   U n i v   C a p e   T o w n 	 	 B a c k c h a n n e l ;   V i d e o   a n n o t a t i o n ;   C r o w d s o u r c i n g ;   V i d e o   a n a l y s i s ;   L i v e   t a g g i n g 	 	 W e   p r e s e n t   P o l e m i c T w e e t   a   s y s t e m   w i t h   a n   e n c o m p a s s i n g ,   e c o n o m i c ,   a n d   e n g a g i n g   a p p r o a c h   t o   v i d e o   t a g g i n g   a n d   a n a l y s i s .   A n n o t a t i n g   a n d   t a g g i n g   v i d e o s   m a n u a l l y   i s   a   b o r i n g   a n d   t i m e - c o n s u m i n g   p r o c e s s .   Y e t ,   i n   t h e   l a s t   c o u p l e   o f   y e a r s   t h e   a u d i e n c e s   o f   e v e n t s - s u c h   a s   a c a d e m i c   c o n f e r e n c e s - h a v e   b e g u n   t o   p r o d u c e   u n e x p l o i t e d   m e t a d a t a   i n   t h e   f o r m   o f   m i c r o p o s t   a c t i v i t i e s .   W i t h   P o l e m i c T w e e t   w e   e x p l o r e   t h e   u s e   o f   t a g g e d   m i c r o p o s t s   f o r   b o t h   v i d e o   a n n o t a t i o n   a n d   b r o w s i n g   a i d .   P o l e m i c T w e e t   i s   a   s y s t e m   1 )   t o   c r o w d   s o u r c e   c o n f e r e n c e   v i d e o   t a g g i n g   w i t h   s t r u c t u r e d   s e n t i m e n t   m e t a d a t a ,   2 )   t o   e n g a g e   a u d i e n c e s   i n   a   t a g g i n g   p r o c e s s ,   a n d   3 )   t o   v i s u a l i z e   t h e s e   a n n o t a t i o n s   f o r   b r o w s i n g   a n d   a n a l y z i n g   a   v i d e o .   W e   d e s c r i b e   t h e   t h e   s y s t e m   a n d   i t s   c o m p o n e n t s   a s   w e l l   a s   t h e   r e s u l t s   f r o m   a   o n e - y e a r   l i v e   d e p l o y m e n t   i n   2 7   d i f f e r e n t   e v e n t s . 	 [ H u r o n ,   S a m u e l ;   I s e n b e r g ,   P e t r a ;   F e k e t e ,   J e a n   D a n i e l ]   U n i v   P a r i s   1 1 ,   I N R I A   T e a m   A v i z ,   F - 9 1 4 0 5   O r s a y ,   F r a n c e 	 H u r o n ,   S   ( r e p r i n t   a u t h o r ) ,   U n i v   P a r i s   1 1 ,   I N R I A   T e a m   A v i z ,   B a t   6 6 0 ,   F - 9 1 4 0 5   O r s a y ,   F r a n c e . 	 S a m u e l . H u r o n @ i n r i a . f r ;   P e t r a . I s e n b e r g @ i n r i a . f r ;   J e a n - D a n i e l . F e k e t e @ i n r i a . f r 	 	 	 	 	 A b o w d   G . D . ,   2 0 0 3 ,   P   5   A C M   S I G M M   I N T   W O ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 9 7 3 2 6 4 . 9 7 3 2 6 6 ;   A l l e n   C . ,   1 9 8 9 ,   S I G C H I   B u l l e t i n ,   V 2 1 ;   B e r n s t e i n   M . S . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 3 3 ;   B r y   F . ,   2 0 1 1 ,   P   I A D I S   I N T   C   E   S O C ,   P 2 7 ;   C o c k b u r n   A . ,   1 9 9 7 ,   P   I N T   A C M   S I G G R O U P   C ,   P 4 7 ,   D O I   1 0 . 1 1 4 5 / 2 6 6 8 3 8 . 2 6 6 8 5 7 ;   C o g d i l l   S . ,   2 0 0 1 ,   P r o c e e d i n g s   o f   t h e   3 4 t h   A n n u a l   H a w a i i   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m   S c i e n c e s ,   D O I   1 0 . 1 1 0 9 / H I C S S . 2 0 0 1 . 9 2 6 5 0 0 ;   D a n i e l   G . ,   2 0 0 3 ,   P   I E E E   V I S ,   P 4 0 9 ;   D i a k o p o u l o s   N . ,   2 0 1 0 ,   P   I E E E   S   V I S   A N   S C I ,   P 1 1 5 ;   D i a k o p o u l o s   N ,   2 0 0 9 ,   C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 7 9 9 ;   D i a k o p o u l o s   N A ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 1 9 5 ;   D o r k   M ,   2 0 1 0 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 6 ,   P 1 1 2 9 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 0 . 1 2 9 ;   E n g s t r o m   A . ,   2 0 1 2 ,   P   C S C W   1 2 ,   P 6 5 1 ;   H a r r y   D ,   2 0 0 9 ,   C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 3 6 1 ;   H a u p t m a n n   A G ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 5 6 8 ,   P 1 ;   H u r o n   S . ,   2 0 1 2 ,   2   W O R K S H   I N T   V I S   T E X ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   S I G K D D   W O R K S H   H U M ,   P 1 4 0 3 ;   J i a n g   L . ,   2 0 1 1 ,   P   4 9   A N N   M   A S S   C O M P ,   P 1 5 1 ;   M a c k a y   W .   E . ,   1 9 8 9 ,   S I G C H I   B u l l e t i n ,   V 2 1 ;   M a r c u s   A . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 2 2 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 8 9 7 5 ;   M c C a r t h y   J . F . ,   2 0 0 5 ,   C H I 0 5 ,   P 1 6 4 1 ,   D O I   1 0 . 1 1 4 5 / 1 0 5 6 8 0 8 . 1 0 5 6 9 8 6 ;   M c C a r t h y   J . F . ,   2 0 0 4 ,   P   C S C W   0 4 ,   P 5 5 0 ,   D O I   1 0 . 1 1 4 5 / 1 0 3 1 6 0 7 . 1 0 3 1 7 0 0 ;   M c N e l y   B J ,   2 0 0 9 ,   S I G D O C ' 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   D E S I G N   O F   C O M M U N I C A T I O N ,   P 2 9 7 ;   P a n g   B . ,   2 0 0 8 ,   J   F D N   T R E N D S   I N F O R M ,   V 1 3 5 ;   P a r r y   M L ,   2 0 1 1 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 7 ,   P 1 7 4 7 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 1 . 2 0 8 ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   R e k i m o t o   J . ,   1 9 9 8 ,   P   C H I ;   R O S C H E L L E   J ,   1 9 9 1 ,   B E H A V   R E S   M E T H   I N S T R ,   V 2 3 ,   P 2 1 9 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 0 3 3 6 8 ;   R u p p e r t   T . ,   2 0 1 0 ,   P   V A S T ,   P 2 5 1 ;   S c h r o e t e r   R . ,   2 0 1 1 ,   P   K   C A P ,   P 1 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S o p a n   A . ,   2 0 1 2 ,   P   S O C I N F O ;   S p e r i o s u   M . ,   2 0 1 1 ,   P   1   W O R K S H   U N S   L E A R N ,   P 5 3 ;   T O N O M U R A   Y ,   1 9 9 3 ,   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   P 1 3 1 ;   W u   S . - Y . Y . ,   2 0 1 1 ,   C H I ,   P 1 5 3 1 	 3 4 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 0 4 8 0 - 1 ;   9 7 8 - 3 - 6 4 2 - 4 0 4 7 9 - 5 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 8 1 1 8 	 	 	 	 	 	 1 3 5 	 1 5 2 	 	 	 	 1 8 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 3 M S 	 W O S : 0 0 0 3 4 2 8 9 8 4 0 0 0 0 9 	 	 
 S 	 V a a t a j a ,   H ;   S i r k k u n e n ,   E ;   A h v e n a i n e n ,   M 	 M a r s d e n ,   G 	 K o t z e ,   P ;   L i n d g a a r d ,   G ;   W e s s o n ,   J ;   W i n c k l e r ,   M 	 	 V a a t a j a ,   H e l i ;   S i r k k u n e n ,   E s a ;   A h v e n a i n e n ,   M a r i 	 M a r s d e n ,   G 	 	 A   F i e l d   T r i a l   o n   M o b i l e   C r o w d s o u r c i n g   o f   N e w s   C o n t e n t   F a c t o r s   I n f l u e n c i n g   P a r t i c i p a t i o n 	 H U M A N - C O M P U T E R   I N T E R A C T I O N   -   I N T E R A C T   2 0 1 3 ,   P T   I I I 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 4 t h   I F I P   T C   1 3   I N T E R A C T   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D e s i g n i n g   f o r   D i v e r s i t y 	 S E P   0 2 - 0 6 ,   2 0 1 3 	 C a p e   T o w n ,   S O U T H   A F R I C A 	 I n t   F e d e r a t   I n f o r m a t   P r o c ,   N e l s o n   M a n d e l a   M e t r o p o l i t a n   U n i v ,   M e r a k a   I n s t   C o u n c i l   S c i   &   I n d   R e s ,   U n i v   C a p e   T o w n 	 	 C r o w d s o u r c i n g ;   u s e r - g e n e r a t e d   c o n t e n t ;   h y p e r l o c a l ;   n e w s ;   m o t i v a t i o n ;   l o c a t i o n ;   m o b i l e ;   u b i q u i t o u s ;   r e a d e r ;   p h o t o ;   S c o o p s h o t 	 	 W e   c o n d u c t e d   a   f i v e - w e e k   f i e l d   t r i a l   o n   m o b i l e   c r o w d s o u r c i n g   o f   h y p e r l o c a l   n e w s   c o n t e n t   t o   1 )   u n d e r s t a n d   t h e   r e a d e r s '   e x p e r i e n c e s   a n d   2 )   e x p l o r e   f a c t o r s   a f f e c t i n g   t h e i r   p a r t i c i p a t i o n .   I n   t h e   e n d   o f   t h e   s t u d y   t h e   p a r t i c i p a n t s   w e r e   s u r v e y e d   w i t h   a n   o n l i n e   q u e s t i o n n a i r e   ( 1 7 / 1 0 4   r e s p o n d e n t s )   a n d   f i v e   p a r t i c i p a n t s   w e r e   i n t e r v i e w e d .   A l t h o u g h   r e s p o n d e n t s   a n d   i n t e r v i e w e e s   w e r e   e n t h u s i a s t i c   a b o u t   t h e   t r i a l ,   t h e   a c t i v i t y   i n   t h e   t r i a l   w a s   l o w .   R e s u l t s   i n d i c a t e   t h a t   p a r t i c i p a n t   c h a r a c t e r i s t i c s   ( a g e ,   g e n d e r ,   p a r t i c i p a t i o n   m o t i v a t i o n s   a n d   h o b b y i s t   b a c k g r o u n d   i n   p h o t o g r a p h y )   a n d   t a s k   c h a r a c t e r i s t i c s   i n   t e r m s   o f   t h e   s u b j e c t i v e l y   p e r c e i v e d   t a s k   s i g n i f i c a n c e   ( p o s s i b l e   i m p a c t   o n   i m p o r t a n t   i s s u e s   i n   t h e   e n v i r o n m e n t   o r   o n   c o m m u n i t y ) ,   t a s k   r e l e v a n c e   ( r e l a t e d   t o   t h e   b a c k g r o u n d   a n d   p a r t i c i p a t i o n   m o t i v a t i o n ) ,   a n d   t a s k   e n g a g i n g n e s s   h a v e   a n   e f f e c t   o n   t h e   p a r t i c i p a t i o n .   I n   a d d i t i o n ,   p a r t i c i p a t i o n   w a s   i n f l u e n c e d   b y   t h e   e s t i m a t e d   n e e d e d   e f f o r t   v s .   t h e   e x p e c t e d   b e n e f i t   ( m o n e t a r y   b e n e f i t   o r   h a v i n g   a   p o s s i b i l i t y   t o   i n f l u e n c e ) ,   v i c i n i t y   t o   t h e   a s s i g n m e n t   l o c a t i o n ,   e n j o y m e n t   o f   t h e   a c t i v i t y ,   a n d   t h e   m o n e t a r y   r e w a r d .   T o   p l a n   a n d   m a n a g e   t h e   c r o w d s o u r c i n g   a c t i v i t y   t h e   n e w s   p u b l i s h e r s   n e e d   i n f o r m a t i o n   a b o u t   t h e   c h a r a c t e r i s t i c s   o f   t h e   p a r t i c i p a n t s ,   p a r t i c i p a t i o n   p a t t e r n s   a n d   m o t i v a t i o n s   t h a t   c o u l d   b e   p r o v i d e d   b y   t h e   c r o w d s o u r c i n g   p l a t f o r m . 	 [ V a a t a j a ,   H e l i ;   A h v e n a i n e n ,   M a r i ]   T a m p e r e   U n i v   T e c h n o l ,   T a m p e r e   3 3 7 2 0 ,   F i n l a n d 	 V a a t a j a ,   H   ( r e p r i n t   a u t h o r ) ,   T a m p e r e   U n i v   T e c h n o l ,   K o r k e a k o u l u n k a t u   1 ,   T a m p e r e   3 3 7 2 0 ,   F i n l a n d . 	 h e l i . v a a t a j a @ t u t . f i ;   e s a . s i r k k u n e n @ u t a . f i ;   m a r i . a h v e n a i n e n @ t u t . f i 	 	 	 	 	 A l t   F . ,   2 0 1 0 ,   P   6   N O R D   C   H U M   C O M P ,   P 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 8 9 1 4 . 1 8 6 8 9 2 1 ;   B e l l   M . ,   2 0 0 6 ,   P   S I G C H I   C   H U M   F A C T ,   P 4 1 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 2 4 7 7 2 . 1 1 2 4 8 3 5 ;   B r a b h a m   D .   C . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ;   B u e h n e r   T . ,   2 0 1 1 ,   2 0 1 1   M I D W   C   A S S   E D   J ;   C h e s b r o u g h   H . ,   2 0 0 6 ,   O P E N   B U S I N E S S   M O D E L S ;   D i a k o p o u l o s   N . ,   2 0 1 2 ,   P   2 0 1 2   A C M   A N N   C   H U M ,   P 2 4 5 1 ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F r o h l i c h   R . ,   2 0 1 2 ,   J O U R N A L I S M ;   H a n s k a - A h y   M T ,   2 0 1 3 ,   J O U R N A L I S M   S T U D ,   V 1 4 ,   P 2 9 ,   D O I   1 0 . 1 0 8 0 / 1 4 6 1 6 7 0 X . 2 0 1 2 . 6 5 7 9 0 8 ;   L a i   S . ,   2 0 1 1 ,   P   I C O N F E R E N C E   2 0 1 1 ,   P 7 0 2 ,   D O I   1 0 . 1 1 4 5 / 1 9 4 0 7 6 1 . 1 9 4 0 8 7 6 ;   M o r t e n s e n   M . ,   2 0 1 1 ,   G L O B A L   M E D I A   C O M M U N I ,   V 7 ,   P 4 ;   N o v   O . ,   2 0 1 0 ,   J   A M   S O C   I N F O R M   S Y S T ,   V 6 1 ,   P 1 ;   P a u l u s s e n   S . ,   2 0 1 3 ,   J O U R N A L I S M   P R A C T I C E ,   P 1 ;   R a d c l i f f e   D . ,   2 0 1 2 ,   H E R E   N O W   U K   H Y P E R L O C ;   R y a n   R M ,   2 0 0 0 ,   C O N T E M P   E D U C   P S Y C H O L ,   V 2 5 ,   P 5 4 ,   D O I   1 0 . 1 0 0 6 / c e p s . 1 9 9 9 . 1 0 2 0 ;   S c h e n k   E . ,   2 0 1 1 ,   J   I N N O V A T I O N   E C ,   V 1 ,   P 9 3 ,   D O I   D O I   1 0 . 3 9 1 7 / J I E . 0 0 7 . 0 0 9 3 ;   V a a t a j a   H . ,   2 0 1 3 ,   C H I   2 0 1 3   E X T   A B S T R   P ;   V a a t a j a   H . ,   2 0 1 1 ,   P   M O B I L E H C I   1 1 ,   P 4 3 5 ;   V a a t a j a   H ,   2 0 1 2 ,   P R O C E E D I N G S   O F   T H E   1 7 T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S U P P O R T I N G   G R O U P   W O R K ,   P 8 5 ;   V a a t a j a   H . ,   2 0 1 2 ,   P   C O M P   S U P P   C O O P   W O R ,   P 4 8 5 ;   V a a t a j a   H ,   2 0 1 2 ,   P R O C E E D I N G S   O F   T H E   1 7 T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S U P P O R T I N G   G R O U P   W O R K ,   P 3 0 9 ;   W a r d l e   C . ,   U G C   T H E B B C   U N D E R S T A N ;   W i g e l i u s   H ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 7 2 7 ,   P 6 0 4 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 3 6 5 8 - 3 _ 6 5 ;   W u n s c h - V i n c e n t   S . ,   2 0 0 7 ,   P A R T I C I P A T I V E   W E B   U S 	 2 4 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 0 4 7 7 - 1 ;   9 7 8 - 3 - 6 4 2 - 4 0 4 7 6 - 4 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 8 1 1 9 	 	 	 	 	 	 5 4 	 7 3 	 	 	 	 2 0 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 3 M U 	 W O S : 0 0 0 3 4 2 8 9 9 1 0 0 0 0 4 	 	 
 S 	 K o b a y a s h i ,   M ;   I s h i h a r a ,   T ;   K o s u g i ,   A ;   T a k a g i ,   H ;   A s a k a w a ,   C 	 M a r s d e n ,   G 	 K o t z e ,   P ;   L i n d g a a r d ,   G ;   W e s s o n ,   J ;   W i n c k l e r ,   M 	 	 K o b a y a s h i ,   M a s a t o m o ;   I s h i h a r a ,   T a t s u y a ;   K o s u g i ,   A k i h i r o ;   T a k a g i ,   H i r o n o b u ;   A s a k a w a ,   C h i e k o 	 M a r s d e n ,   G 	 	 Q u e s t i o n - A n s w e r   C a r d s   f o r   a n   I n c l u s i v e   M i c r o - t a s k i n g   F r a m e w o r k   f o r   t h e   E l d e r l y 	 H U M A N - C O M P U T E R   I N T E R A C T I O N   -   I N T E R A C T   2 0 1 3 ,   P T   I I I 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 4 t h   I F I P   T C   1 3   I N T E R A C T   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D e s i g n i n g   f o r   D i v e r s i t y 	 S E P   0 2 - 0 6 ,   2 0 1 3 	 C a p e   T o w n ,   S O U T H   A F R I C A 	 I n t   F e d e r a t   I n f o r m a t   P r o c ,   N e l s o n   M a n d e l a   M e t r o p o l i t a n   U n i v ,   M e r a k a   I n s t   C o u n c i l   S c i   &   I n d   R e s ,   U n i v   C a p e   T o w n 	 	 M i c r o - T a s k s ;   G a m i f i c a t i o n ;   S k i l l   A s s e s s m e n t ;   A g e i n g ;   E l d e r l y ;   S e n i o r   W o r k f o r c e 	 R E C O G N I T I O N 	 M i c r o - t a s k i n g   ( e . g . ,   c r o w d s o u r c i n g )   h a s   t h e   p o t e n t i a l   t o   h e l p   " l o n g - t a i l "   s e n i o r   w o r k e r s   u t i l i z e   t h e i r   k n o w l e d g e   a n d   e x p e r i e n c e   t o   c o n t r i b u t e   t o   t h e i r   c o m m u n i t i e s .   H o w e v e r ,   t h e i r   l i m i t e d   I C T   s k i l l s   a n d   t h e i r   c o n c e r n s   a b o u t   n e w   t e c h n o l o g i e s   c a n   p r e v e n t   t h e m   f r o m   p a r t i c i p a t i n g   i n   e m e r g i n g   w o r k   s c e n a r i o s .   W e   h a v e   d e v i s e d   a   q u e s t i o n - a n s w e r   c a r d   i n t e r f a c e   t o   a l l o w   t h e   e l d e r l y   t o   p a r t i c i p a t e   i n   m i c r o - t a s k s   w i t h   m i n i m a l   I C T   s k i l l s   a n d   l e a r n i n g   e f f o r t s .   O u r   s u r v e y   i d e n t i f i e d   a   n e e d   f o r   s k i l l - b a s e d   t a s k   r e c o m m e n d a t i o n s ,   s o   w e   a l s o   a d d e d   a   p r o b a b i l i s t i c   s k i l l   a s s e s s m e n t   m o d e l   b a s e d   o n   t h e   r e s u l t s   o f   t h e   m i c r o - t a s k s .   W e   a l s o   d i s c u s s   s o m e   s c e n a r i o s   t o   e x p l o i t   t h e   q u e s t i o n - a n s w e r   c a r d   f r a m e w o r k   t o   c r e a t e   n e w   w o r k   o p p o r t u n i t i e s   f o r   s e n i o r   c i t i z e n s .   O u r   e x p e r i m e n t s   s h o w e d   t h a t   u n t r a i n e d   s e n i o r s   p e r f o r m e d   t h e   m i c r o - t a s k s   e f f e c t i v e l y   w i t h   o u r   i n t e r f a c e   i n   b o t h   c o n t r o l l e d   a n d   r e a l i s t i c   c o n d i t i o n s ,   a n d   t h e   d i f f e r e n c e s   i n   t h e i r   s k i l l s   w e r e   r e l i a b l y   a s s e s s e d . 	 [ K o b a y a s h i ,   M a s a t o m o ;   I s h i h a r a ,   T a t s u y a ;   K o s u g i ,   A k i h i r o ;   T a k a g i ,   H i r o n o b u ;   A s a k a w a ,   C h i e k o ]   I B M   R e s   T o k y o ,   K o t o   K u ,   T o k y o   1 3 5 8 5 1 1 ,   J a p a n 	 K o b a y a s h i ,   M   ( r e p r i n t   a u t h o r ) ,   I B M   R e s   T o k y o ,   K o t o   K u ,   5 - 6 - 5 2   T o y o s u ,   T o k y o   1 3 5 8 5 1 1 ,   J a p a n . 	 m s t m @ j p . i b m . c o m ;   t i s i h a r a @ j p . i b m . c o m ;   a 1 k o s u g i @ j p . i b m . c o m ;   t a k a g i h @ j p . i b m . c o m ;   c h i e @ j p . i b m . c o m 	 	 	 	 	 B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B i g h a m   J . P . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 3 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 8 0 ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   P 2 8 6 ;   G u y   I . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 3 7 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 5 ;   G U Y   I ,   2 0 0 8 ,   P   A C M   C H I   0 8 ,   P 1 0 1 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 5 7 0 5 4 . 1 3 5 7 2 1 2 ;   H e i m e r l   K . ,   2 0 1 2 ,   P   2 0 1 2   A C M   A N N   C   H U M ,   P 1 5 3 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 2 0 7 6 7 6 . 2 2 0 8 6 1 9 ;   H e r l o c k e r   J L ,   2 0 0 4 ,   A C M   T   I N F O R M   S Y S T ,   V 2 2 ,   P 5 ,   D O I   1 0 . 1 1 4 5 / 9 6 3 7 7 0 . 9 6 3 7 7 2 ;   H i y a m a   A ,   2 0 1 3 ,   2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   P E R V A S I V E   C O M P U T I N G   A N D   C O M M U N I C A T I O N S   W O R K S H O P S   ( P E R C O M   W O R K S H O P S ) ,   P 1 5 1 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K o b a y a s h i   M . ,   2 0 1 3 ,   L N C S ,   V 8 0 1 0 ,   P 1 0 4 ;   K o b a y a s h i   M . ,   2 0 1 1 ,   L E C T U R E   N O T E S   I N   C O M ,   V 6 9 4 6 ,   P 8 3 ;   K u l k a r n i   A . ,   2 0 1 2 ,   P   2 0 1 2   A C M   C   C O M P   S U ,   P 1 0 0 3 ;   K u r n i a w a n   S ,   2 0 0 8 ,   I N T   J   H U M - C O M P U T   S T ,   V 6 6 ,   P 8 8 9 ,   D O I   1 0 . 1 0 1 6 / j . i j h c s . 2 0 0 8 . 0 3 . 0 0 2 ;   L e i b o l d   M . ,   2 0 0 6 ,   M A N A G I N G   A G I N G   W O R K F ;   L e o n a r d i   C . ,   2 0 1 0 ,   P   6   N O R D   C   H U M   C O M P ,   P 8 4 5 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 8 9 1 4 . 1 8 6 9 0 4 5 ;   L e u n g   R . ,   2 0 1 2 ,   A C M   T   A C C E S S   C O M P U T ,   V 4 ;   L o t e n   A . ,   2 0 1 2 ,   W A L L   S T R E E T   J ;   M a c d o n a l d   C . ,   2 0 0 6 ,   P   1 5   A C M   I N T   C   I N F   K ,   P 3 8 7 ,   D O I   1 0 . 1 1 4 5 / 1 1 8 3 6 1 4 . 1 1 8 3 6 7 1 ;   N o r o n h a   J . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 1 ;   O u c h i   Y . ,   2 0 1 0 ,   G E R O N T O L O G Y   O V E R V I E W ;   P f e i l   U ,   2 0 0 9 ,   C O M P U T   H U M   B E H A V ,   V 2 5 ,   P 6 4 3 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 0 8 . 0 8 . 0 1 5 ;   R o s s   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 . A C C E S S E D ;   S t a t i s t i c s   B u r e a u ,   2 0 1 3 ,   M O N T H L   R E P ;   U n i t e d   N a t i o n s   U n i v e r s i t y ,   A C T   A G ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   W a t a n a b e   K . ,   2 0 1 0 ,   P   U B   2 0 1 0   A D J ,   P 3 8 5 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 4 4 3 1 . 1 8 6 4 4 4 8 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   P   C   A D V   N E U R   I N F   P R O ,   P 2 0 3 5 ;   Y e h   M C ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 7 0 8 7 ,   P 3 4 8 ;   Y u e n   M . - C . ,   2 0 1 2 ,   L N C S ,   V 7 6 6 4 ,   P 5 1 6 	 2 9 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 0 4 7 7 - 1 ;   9 7 8 - 3 - 6 4 2 - 4 0 4 7 6 - 4 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 8 1 1 9 	 	 	 	 	 	 5 9 0 	 6 0 7 	 	 	 	 1 8 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 3 M U 	 W O S : 0 0 0 3 4 2 8 9 9 1 0 0 0 3 8 	 	 
 S 	 P o w e l l ,   W A ;   H a n s o n ,   R ;   L a s k e y ,   K B ;   T w a r d y ,   C 	 	 L i u ,   W ;   S u b r a h m a n i a n ,   V S ;   W i j s e n ,   J 	 	 P o w e l l ,   W a l t e r   A . ;   H a n s o n ,   R o b i n ;   L a s k e y ,   K a t h r y n   B . ;   T w a r d y ,   C h a r l e s 	 	 	 C o m b i n a t o r i a l   P r e d i c t i o n   M a r k e t s :   A n   E x p e r i m e n t a l   S t u d y 	 S C A L A B L E   U N C E R T A I N T Y   M A N A G E M E N T ,   S U M   2 0 1 3 	 L e c t u r e   N o t e s   i n   A r t i f i c i a l   I n t e l l i g e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 7 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S c a l a b l e   U n c e r t a i n t y   M a n a g e m e n t   ( S U M ) 	 S E P   1 6 - 1 8 ,   2 0 1 3 	 W a s h i n g t o n ,   D C 	 U n i v   M a r y l a n d ,   I n s t   A d v   C o m p   S t u d i e s 	 	 C o m b i n a t o r i a l   p r e d i c t i o n   m a r k e t s ;   c r o w d s o u r c i n g ;   B a y e s i a n   n e t w o r k s ;   c o m b i n i n g   e x p e r t   j u d g m e n t 	 	 P r e d i c t i o n   m a r k e t s   p r o d u c e   c r o w d s o u r c e d   p r o b a b i l i s t i c   f o r e c a s t s   t h r o u g h   a   m a r k e t   m e c h a n i s m   i n   w h i c h   f o r e c a s t e r s   b u y   a n d   s e l l   s e c u r i t i e s   t h a t   p a y   o f f   w h e n   e v e n t s   o c c u r .   P r i c e s   i n   a   p r e d i c t i o n   m a r k e t   c a n   b e   i n t e r p r e t e d   a s   c o n s e n s u s   p r o b a b i l i t i e s   f o r   t h e   c o r r e s p o n d i n g   e v e n t s .   T h e r e   i s   s t r o n g   e m p i r i c a l   e v i d e n c e   t h a t   a g g r e g a t e   f o r e c a s t s   t e n d   t o   b e   m o r e   a c c u r a t e   t h a n   i n d i v i d u a l   f o r e c a s t s ,   a n d   t h a t   p r e d i c t i o n   m a r k e t s   a r e   a m o n g   t h e   m o s t   a c c u r a t e   a g g r e g a t i o n   m e t h o d s .   C o m b i n a t o r i a l   p r e d i c t i o n   m a r k e t s   a l l o w   f o r e c a s t s   n o t   o n l y   o n   b a s e   e v e n t s ,   b u t   a l s o   o n   c o n d i t i o n a l   e v e n t s   ( e . g . ,   " A   i f   B " )   a n d / o r   B o o l e a n   c o m b i n a t i o n s   o f   e v e n t s .   E c o n o m i c   t h e o r y   s u g g e s t s   t h a t   t h e   g r e a t e r   e x p r e s s i v i t y   o f   c o m b i n a t o r i a l   p r e d i c t i o n   m a r k e t s   s h o u l d   i m p r o v e   a c c u r a c y   b y   c a p t u r i n g   d e p e n d e n c i e s   a m o n g   r e l a t e d   q u e s t i o n s .   T h i s   p a p e r   d e s c r i b e s   t h e   D A G G R E   c o m b i n a t o r i a l   p r e d i c t i o n   m a r k e t   a n d   r e p o r t s   o n   a n   e x p e r i m e n t a l   s t u d y   t o   c o m p a r e   c o m b i n a t o r i a l   a n d   t r a d i t i o n a l   p r e d i c t i o n   m a r k e t s .   T h e   e x p e r i m e n t   c h a l l e n g e d   p a r t i c i p a n t s   t o   s o l v e   a   " w h o d u n i t "   m u r d e r   m y s t e r y   b y   u s i n g   a   p r e d i c t i o n   m a r k e t   t o   a r r i v e   a t   g r o u p   c o n s e n s u s   p r o b a b i l i t i e s   f o r   c h a r a c t e r i s t i c s   o f   t h e   m u r d e r e r ,   a n d   t o   u p d a t e   t h e s e   c o n s e n s u s   p r o b a b i l i t i e s   a s   c l u e s   w e r e   r e v e a l e d .   A   B a y e s i a n   n e t w o r k   w a s   u s e d   t o   g e n e r a t e   t h e   " g r o u n d   t r u t h "   s c e n a r i o   a n d   t o   p r o v i d e   " g o l d   s t a n d a r d "   p r o b a b i l i s t i c   p r e d i c t i o n s .   T h e   e x p e r i m e n t   c o m p a r e d   p r e d i c t i o n s   u s i n g   a n   o r d i n a r y   f l a t   p r e d i c t i o n   m a r k e t   w i t h   p r e d i c t i o n s   u s i n g   a   c o m b i n a t o r i a l   m a r k e t .   E v a l u a t i o n   m e t r i c s   i n c l u d e   a c c u r a c y   o f   p a r t i c i p a n t s '   p r e d i c t i o n s   a n d   t h e   m a g n i t u d e   o f   m a r k e t   u p d a t e s .   T h e   m u r d e r   m y s t e r y   s c e n a r i o   p r o v i d e d   a   m o r e   c o n c r e t e ,   r e a l i s t i c ,   i n t u i t i v e ,   b e l i e v a b l e ,   a n d   d y n a m i c   e n v i r o n m e n t   t h a n   p r e v i o u s   e m p i r i c a l   w o r k   o n   c o m b i n a t o r i a l   p r e d i c t i o n   m a r k e t s . 	 [ P o w e l l ,   W a l t e r   A . ;   H a n s o n ,   R o b i n ;   L a s k e y ,   K a t h r y n   B . ;   T w a r d y ,   C h a r l e s ]   G e o r g e   M a s o n   U n i v ,   V o l g e n a u   S c h   E n g n ,   F a i r f a x ,   V A   2 2 0 3 0   U S A 	 P o w e l l ,   W A   ( r e p r i n t   a u t h o r ) ,   G e o r g e   M a s o n   U n i v ,   V o l g e n a u   S c h   E n g n ,   4 4 0 0   U n i v   D r ,   F a i r f a x ,   V A   2 2 0 3 0   U S A . 	 w p o w e l l @ g m u . e d u ;   k l a s k e y @ g m u . e d u ;   c t w a r d y @ g m u . e d u 	 	 	 	 	 B e r e a   A . ,   2 0 1 3 ,   L N C S ,   V 7 8 1 2 ,   P 1 1 1 ;   B e r e a   A . ,   2 0 1 2 ,   P   A A A I   F A L L   S   S E R I E S ;   B r i e r   G . W . ,   1 9 5 0 ,   M O N T H L Y   W E A T H E R   R E V ,   V 7 5 ,   P 1 ;   C h e n   Y L ,   2 0 1 0 ,   A I   M A G ,   V 3 1 ,   P 4 2 ;   D A W E S   R M ,   1 9 8 9 ,   S C I E N C E ,   V 2 4 3 ,   P 1 6 6 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 6 4 8 5 7 3 ;   G r o v e   W M ,   2 0 0 0 ,   P S Y C H O L   A S S E S S M E N T ,   V 1 2 ,   P 1 9 ,   D O I   1 0 . 1 0 3 7 / / 1 0 4 0 - 3 5 9 0 . 1 2 . 1 . 1 9 ;   H a n s o n   R . ,   2 0 0 7 ,   J   P R E D I C T I O N   M A R K E T S ,   V 1 ,   P 3 ;   H a n s o n   R ,   2 0 0 3 ,   I N F O R M   S Y S T   F R O N T ,   V 5 ,   P 1 0 7 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 2 0 5 8 2 0 9 0 7 3 ;   M A R C H E S E   M C ,   1 9 9 2 ,   P E R C E P T   M O T O R   S K I L L ,   V 7 5 ,   P 5 8 3 ;   M e e h l   P . E . ,   1 9 5 4 ,   C L I N   V E R S U S   S T A T   P R E ;   P e n n o c k   D . M . ,   2 0 0 5 ,   D E C I S   A N A L ,   V 3 ,   P 1 4 8 ;   S i l v e r   N ,   2 0 1 2 ,   S I G N A L   N O I S E   W H Y   S O ;   S u n   W . ,   2 0 1 2 ,   P   2 8   C   U N C   A R T   I N T   C ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T e t l o c k   P E ,   2 0 0 5 ,   E X P E R T   P O L I T I C A L   J U D G M E N T :   H O W   G O O D   I S   I T ,   H O W   C A N   W E   K N O W ,   P 1 	 1 5 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 0 3 8 1 - 1 ;   9 7 8 - 3 - 6 4 2 - 4 0 3 8 0 - 4 	 L E C T   N O T E S   A R T I F   I N T 	 	 	 2 0 1 3 	 8 0 7 8 	 	 	 	 	 	 2 8 3 	 2 9 6 	 	 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 3 I I 	 W O S : 0 0 0 3 4 2 8 0 1 9 0 0 0 2 2 	 	 
 S 	 S c h l e g e l ,   K ;   B a y e r l ,   S ;   Z w i c k l b a u e r ,   S ;   S t e g m a i e r ,   F ;   S e i f e r t ,   C ;   G r a n i t z e r ,   M ;   K o s c h ,   H 	 	 C i m i a n o ,   P ;   F e r n a n d e z ,   M ;   L o p e z ,   V ;   S c h l o b a c h ,   S ;   V o l k e r ,   J 	 	 S c h l e g e l ,   K a i ;   B a y e r l ,   S e b a s t i a n ;   Z w i c k l b a u e r ,   S t e f a n ;   S t e g m a i e r ,   F l o r i a n ;   S e i f e r t ,   C h r i s t i n ;   G r a n i t z e r ,   M i c h a e l ;   K o s c h ,   H a r a l d 	 	 	 T r u s t e d   F a c t s :   T r i p l i f y i n g   P r i m a r y   R e s e a r c h   D a t a   E n r i c h e d   w i t h   P r o v e n a n c e   I n f o r m a t i o n 	 S E M A N T I C   W E B :   E S W C   2 0 1 3   S A T E L L I T E   E V E N T S 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 E S W C   C o n f e r e n c e 	 M A Y   2 6 - 3 0 ,   2 0 1 3 	 M o n t p e l l i e r ,   F R A N C E 	 D A T A L I F T ,   F R E I G H T ,   E d u c a t   C u r r i c u l u m   U s a g e   L i n k e d   D a t a ,   i S O C O ,   L i n k e d   D a t a   B e n c h m a r k   C o u n c i l ,   L i n k e d U p ,   L o g i l a b ,   M o n n e t ,   M S E E ,   O n t o l o g o s   C o r p ,   O n t o t e x t ,   P e e r A s s i s t ,   P l a n e t D a t a ,   P r e s e r v i n g   L i n k e d   D a t a ,   R e n d e r ,   S I F R   P r o j e c t ,   R o b u s t ,   P o r t D i a l ,   V i d e o l e c t u r e s   n e t ,   S u p p o r t ,   V P H   S h a r e ,   Y a h o o   L a b s ,   C n r s ,   L a b   i n f o r m a t i q u e   R o b o t i q u e   M i c r o e l e c t r o n i q u e   M o n t p e l l i e r ,   P o l y t e c h   M o n t p e l l i e r ,   U n i v   M o n t p e l l i e r   2 ,   S c i   T e c h 	 	 	 	 A   c r u c i a l   t a s k   i n   a   r e s e a r c h e r s '   d a i l y   w o r k   i s   t h e   a n a l y s i s   o f   p r i m a r y   r e s e a r c h   d a t a   t o   e s t i m a t e   t h e   e v o l u t i o n   o f   c e r t a i n   f i e l d s   o r   t e c h n o l o g i e s ,   e .   g .   t a b l e s   i n   p u b l i c a t i o n s   o r   t a b u l a r   b e n c h m a r k   r e s u l t s .   D u e   t o   a   l a c k   o f   c o m p a r a b i l i t y   a n d   r e l i a b i l i t y   o f   p u b l i s h e d   p r i m a r y   r e s e a r c h   d a t a ,   t h i s   b e c o m e s   m o r e   a n d   m o r e   t i m e - c o n s u m i n g   l e a d i n g   t o   c o n t r a d i c t i n g   f a c t s ,   a s   h a s   b e e n   s h o w n   f o r   a d - h o c   r e t r i e v a l   [ 1 ] .   T h e   C O D E   p r o j e c t   [ 2 ]   a i m s   a t   c o n t r i b u t i n g   t o   a   L i n k e d   S c i e n c e   D a t a   C l o u d   b y   i n t e g r a t i n g   u n s t r u c t u r e d   r e s e a r c h   i n f o r m a t i o n   w i t h   s e m a n t i c a l l y   r e p r e s e n t e d   r e s e a r c h   d a t a .   T h r o u g h   c r o w d s o u r c i n g   t e c h n i q u e s ,   d a t a   c e n t r i c   t a s k s   l i k e   d a t a   e x t r a c t i o n ,   i n t e g r a t i o n   a n d   a n a l y s i s   i n   c o m b i n a t i o n   w i t h   s u s t a i n a b l e   d a t a   m a r k e t p l a c e   c o n c e p t s   w i l l   e s t a b l i s h   a   s u s t a i n a b l e ,   h i g h - i m p a c t   e c o s y s t e m . 	 [ S c h l e g e l ,   K a i ;   B a y e r l ,   S e b a s t i a n ;   Z w i c k l b a u e r ,   S t e f a n ;   S t e g m a i e r ,   F l o r i a n ;   S e i f e r t ,   C h r i s t i n ;   G r a n i t z e r ,   M i c h a e l ;   K o s c h ,   H a r a l d ]   U n i v   P a s s a u ,   D - 9 4 0 3 2   P a s s a u ,   G e r m a n y 	 S c h l e g e l ,   K   ( r e p r i n t   a u t h o r ) ,   U n i v   P a s s a u ,   I n n s t r   4 1 ,   D - 9 4 0 3 2   P a s s a u ,   G e r m a n y . 	 k a i . s c h l e g e l @ u n i - p a s s a u . d e ;   s e b a s t i a n . b a y e r l @ u n i - p a s s a u . d e ;   s t e f a n . z w i c k l b a u e r @ u n i - p a s s a u . d e ;   f l o r i a n . s t e g m a i e r @ u n i - p a s s a u . d e ;   c h r i s t i n . s e i f e r t @ u n i - p a s s a u . d e ;   m i c h a e l . g r a n i t z e r @ u n i - p a s s a u . d e ;   h a r a l d . k o s c h @ u n i - p a s s a u . d e 	 	 	 	 	 A r m s t r o n g   T . G . ,   2 0 0 9 ,   P   1 8   A C M   C   I N F   K N O W L ,   P 6 0 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 4 5 9 5 3 . 1 6 4 6 0 3 1 ;   G o l l u b   T ,   2 0 1 2 ,   I N T   W O R K S H O P   D A T A B A S ,   P 1 5 1 ,   D O I   1 0 . 1 1 0 9 / D E X A . 2 0 1 2 . 5 5 ;   S t e g m a i e r   F . ,   2 0 1 2 ,   P   2   W O R K S H   B I G   D A T   B 	 3 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 1 2 4 2 - 4 ;   9 7 8 - 3 - 6 4 2 - 4 1 2 4 1 - 7 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 7 9 5 5 	 	 	 	 	 	 2 6 8 	 2 7 0 	 	 	 	 3 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 3 I A 	 W O S : 0 0 0 3 4 2 7 9 7 3 0 0 0 3 7 	 	 
 S 	 H u n g ,   N Q V ;   T a m ,   N T ;   T r a n ,   L N ;   A b e r e r ,   K 	 	 L i n ,   X ;   M a n o l o p o u l o s ,   Y ;   S r i v a s t a v a ,   D ;   H u a n g ,   G 	 	 N g u y e n   Q u o c   V i e t   H u n g ;   N g u y e n   T h a n h   T a m ;   L a m   N g o c   T r a n ;   A b e r e r ,   K a r l 	 	 	 A n   E v a l u a t i o n   o f   A g g r e g a t i o n   T e c h n i q u e s   i n   C r o w d s o u r c i n g 	 W E B   I N F O R M A T I O N   S Y S T E M S   E N G I N E E R I N G   -   W I S E   2 0 1 3 ,   P T   I I 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W e b   I n f o r m a t i o n   S y s t e m s   E n g i n e e r i n g   ( W I S E ) 	 O C T   1 3 - 1 5 ,   2 0 1 3 	 N a n j i n g ,   P E O P L E S   R   C H I N A 	 U n i v   C h i n e s e   A c a d   S c i ,   V i c t o r i a   U n i v ,   J o i n t   L a b   S o c i a l   C o m p   &   E   H l t h   R e s ,   N a n j i n g   U n i v   F i n a n c e   &   E c o n ,   J i a n g s u   P r o v   K e y   L a b   E   B u s i n e s s ,   N a n j i n g   S c i   &   T e c h n o l   C o m m i s s 	 	 	 	 A s   t h e   v o l u m e s   o f   A I   p r o b l e m s   i n v o l v i n g   h u m a n   k n o w l e d g e   a r e   l i k e l y   t o   s o a r ,   c r o w d s o u r c i n g   h a s   b e c o m e   e s s e n t i a l   i n   a   w i d e   r a n g e   o f   w o r l d - w i d e - w e b   a p p l i c a t i o n s .   O n e   o f   t h e   b i g g e s t   c h a l l e n g e s   o f   c r o w d s o u r c i n g   i s   a g g r e g a t i n g   t h e   a n s w e r s   c o l l e c t e d   f r o m   t h e   c r o w d   s i n c e   t h e   w o r k e r s   m i g h t   h a v e   w i d e - r a n g i n g   l e v e l s   o f   e x p e r t i s e .   I n   o r d e r   t o   t a c k l e   t h i s   c h a l l e n g e ,   m a n y   a g g r e g a t i o n   t e c h n i q u e s   h a v e   b e e n   p r o p o s e d .   T h e s e   t e c h n i q u e s ,   h o w e v e r ,   h a v e   n e v e r   b e e n   c o m p a r e d   a n d   a n a l y z e d   u n d e r   t h e   s a m e   s e t t i n g ,   r e n d e r i n g   a   ' r i g h t '   c h o i c e   f o r   a   p a r t i c u l a r   a p p l i c a t i o n   v e r y   d i f f i c u l t .   A d d r e s s i n g   t h i s   p r o b l e m ,   t h i s   p a p e r   p r e s e n t s   a   b e n c h m a r k   t h a t   o f f e r s   a   c o m p r e h e n s i v e   e m p i r i c a l   s t u d y   o n   t h e   p e r f o r m a n c e   c o m p a r i s o n   o f   t h e   a g g r e g a t i o n   t e c h n i q u e s .   S p e c i f i c a l l y ,   w e   i n t e g r a t e d   s e v e r a l   s t a t e - o f - t h e - a r t   m e t h o d s   i n   a   c o m p a r a b l e   m a n n e r ,   a n d   m e a s u r e d   v a r i o u s   p e r f o r m a n c e   m e t r i c s   w i t h   o u r   b e n c h m a r k ,   i n c l u d i n g   c o m p u t a t i o n   t i m e ,   a c c u r a c y ,   r o b u s t n e s s   t o   s p a m m e r s ,   a n d   a d a p t i v i t y   t o   m u l t i - l a b e l i n g .   W e   t h e n   p r o v i d e   i n - d e p t h   a n a l y s i s   o f   b e n c h m a r k i n g   r e s u l t s ,   o b t a i n e d   b y   s i m u l a t i n g   t h e   c r o w d s o u r c i n g   p r o c e s s   w i t h   d i f f e r e n t   t y p e s   o f   w o r k e r s .   W e   b e l i e v e   t h a t   t h e   f i n d i n g s   f r o m   t h e   b e n c h m a r k   w i l l   b e   a b l e   t o   s e r v e   a s   a   p r a c t i c a l   g u i d e l i n e   f o r   c r o w d s o u r c i n g   a p p l i c a t i o n s . 	 [ N g u y e n   Q u o c   V i e t   H u n g ;   N g u y e n   T h a n h   T a m ;   L a m   N g o c   T r a n ;   A b e r e r ,   K a r l ]   E c o l e   P o l y t e c h   F e d   L a u s a n n e ,   C H - 1 0 1 5   L a u s a n n e ,   S w i t z e r l a n d 	 H u n g ,   N Q V   ( r e p r i n t   a u t h o r ) ,   E c o l e   P o l y t e c h   F e d   L a u s a n n e ,   C H - 1 0 1 5   L a u s a n n e ,   S w i t z e r l a n d . 	 q u o c v i e t h u n g . n g u y e n @ e p f l . c h ;   t a m . n g u y e n t h a n h @ e p f l . c h ;   n g o c . l a m @ e p f l . c h ;   k a r l . a b e r e r @ e p f l . c h 	 	 	 	 	 D i f a l l a h   D . E . ,   2 0 1 2 ,   C R O W D S E A R C H ;   D o a n   A . ,   2 0 1 1 ,   C A C M ;   H o s m e r   D ,   2 0 0 0 ,   A P P L   L O G I S T I C   R E G R E S ;   H u n g   N . Q . V . ,   2 0 1 3 ,   L N C S ,   P 1 3 9 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   H C O M P ;   K a m a r   E . ,   2 0 1 2 ,   A A M A S ;   K a r g e r   D . ,   2 0 1 1 ,   N I P S ;   K a z a i   G . ,   2 0 1 1 ,   C I K M ;   K h a t t a k   F . ,   2 0 1 1 ,   N I P S ;   K u n c h e v a   L . ,   2 0 0 3 ,   P A T T E R N   A N A L   A P P L ;   L a w   E . ,   2 0 1 1 ,   H U M A N   C O M P U T A T I O N ;   L e e   K . ,   2 0 1 0 ,   W W W ;   M a s o n   W . ,   2 0 1 2 ,   B R M ;   N g u y e n   Q . V . H . ,   2 0 1 3 ,   C O O P I S ;   N g u y e n   Q . V . H . ,   2 0 1 3 ,   E R ;   N g u y e n   Q . V . H . ,   2 0 1 3 ,   S I G I R ;   Q u i n n   A . J . ,   2 0 1 1 ,   C H I ;   R a y k a r   V . ,   2 0 0 9 ,   I C M L ;   R a y k a r   V . C . ,   2 0 1 0 ,   M A C H   L E A R N   R E S ;   R o s s   J . ,   2 0 1 0 ,   C H I ;   v o n   A h n   L . ,   2 0 0 4 ,   C H I ;   v o n   A h n   L . ,   2 0 0 8 ,   S C I E N C E ;   V u u r e n s   J . ,   2 0 1 1 ,   C I R ;   W h i t e h i l l   J . ,   2 0 0 9 ,   N I P S ;   Y a n   T . ,   2 0 1 0 ,   M O B I S Y S 	 2 5 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 1 1 5 4 - 0 ;   9 7 8 - 3 - 6 4 2 - 4 1 1 5 3 - 3 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 8 1 8 1 	 	 	 	 	 	 1 	 1 5 	 	 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 3 I O 	 W O S : 0 0 0 3 4 2 8 0 5 3 0 0 0 0 3 	 	 
 J 	 S o t e l o ,   R ;   J o s k o w i c z ,   J 	 	 	 I E E E 	 S o t e l o ,   R a f a e l ;   J o s k o w i c z ,   J o s e 	 	 	 V i d e o   Q u a l i t y   I n d i c a t o r s   f o r   I S D B - T b   F r e e   t o   A i r   D i g i t a l   T e l e v i s i o n 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   S Y M P O S I U M   O N   B R O A D B A N D   M U L T I M E D I A   S Y S T E M S   A N D   B R O A D C A S T I N G   ( B M S B ) 	 I E E E   I n t e r n a t i o n a l   S y m p o s i u m   o n   B r o a d b a n d   M u l t i m e d i a   S y s t e m s   a n d   B r o a d c a s t i n g 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I E E E   I n t e r n a t i o n a l   S y m p o s i u m   o n   B r o a d b a n d   M u l t i m e d i a   S y s t e m s   a n d   B r o a d c a s t i n g   ( B M S B ) 	 J U N   0 4 - 0 7 ,   2 0 1 3 	 L o n d o n ,   E N G L A N D 	 I E E E ,   B r o a d c a s t   T e c h n o l   S o c 	 B r u n e l   U n i v 	 Q u a l i t y   o f   E x p e r i e n c e ;   I S D B - T b ;   G i n g a ;   Q u a l i t y   A s s e s s m e n t 	 	 T h e   p r e s e n t   p a p e r   d e s c r i b e s   t h e   a r c h i t e c t u r e   o f   a n   o n g o i n g   p r o j e c t   ( c a l l e d   " V Q I   -   V i d e o   Q u a l i t y   I n d i c a t o r s . )   t h a t   a i m s   t o   g e n e r a t e   i n d i c a t o r s   o f   t h e   q u a l i t y   o f   v i d e o   r e c e i v e d   b y   t h e   v i e w e r s   o f   F r e e   t o   A i r   D i g i t a l   T e l e v i s i o n .   P a r t i c u l a r l y ,   i t   i s   o r i e n t e d   t o   I S D B - T b   s y s t e m   s o   t h e   v i d e o   c o d e c   u s e d   i s   H .   2 6 4   w i t h   b o t h   H D   a n d   S D   r e s o l u t i o n s .   T h e   f i n a l   r e s u l t   o f   t h e   p r o j e c t   i s   t o   o b t a i n   a n   o b j e c t i v e   i n d i c a t o r   o f   v i d e o   q u a l i t y   a n d   d i r e c t   s u b j e c t i v e   m e a s u r e s ,   b a s e d   o n   t h e   a v e r a g e   o p i n i o n   o f   t h e   a u d i e n c e .   F o r   t h e   s u b j e c t i v e   m e a s u r e m e n t s ,   t h e   c o n c e p t   o f   c r o w d s o u r c i n g   f o r   T V   i s   i n t r o d u c e d .   T h e y   a r e   p e r f o r m e d   t h r o u g h   a n   I n t e r a c t i v e   T V   a p p l i c a t i o n   u s i n g   G i n g a   m i d d l e w a r e .   T h e   p a p e r   i n c l u d e s   a   b r i e f   d i s c u s s i o n   o n   t h e   t r e a t m e n t   o f   p a c k e t   l o s s   f o r   D T V ,   a n d   a   d e s c r i p t i o n   o f   a   n e w   a p p l i c a t i o n   f o r   s m a r t p h o n e s   d e v e l o p e d   t o   i n p u t   t h e   r a t i n g s   i n   s u b j e c t i v e   t e s t   s e s s i o n s   w h i c h   s i m p l i f i e s   p r o c e s s i n g   o f   r e s u l t s   a n d   m i n i m i z e s   e r r o r s . 	 [ S o t e l o ,   R a f a e l ]   U n i v   M o n t e v i d e o ,   F a c   I n g n ,   M o n t e v i d e o ,   U r u g u a y 	 S o t e l o ,   R   ( r e p r i n t   a u t h o r ) ,   U n i v   M o n t e v i d e o ,   F a c   I n g n ,   M o n t e v i d e o ,   U r u g u a y . 	 r s o t e l o @ u m . e d u . u y ;   j o s e j @ f i n g . e d u . u y 	 	 	 	 	 A k a m i n e   C . ,   2 0 1 0 ,   B R O A D B   M U L T   S Y S T   B R O ;   A s s o c i a c a o   B r a s i l e i r a   d e   N o r m a s   T e c n i c a s   A B N T ,   2 0 0 8 ,   1 5 6 0 1   A B N T   N B R ;   B a u m   G ,   2 0 1 2 ,   I T   P R O F ,   V 1 4 ,   P 5 9 ,   D O I   1 0 . 1 1 0 9 / M I T P . 2 0 1 2 . 7 8 ;   B e d i c k s   J r   G . ,   2 0 1 1 ,   B R O A D B   M U L T   S Y S T   B R O ;   B o n f i m   T i a g o   S ,   V I D E O   Q U A L I T Y   E V A L U A ;   D e   C a s t r o   F C C ,   2 0 0 0 ,   I E E E   T   C O N S U M   E L E C T R ,   V 4 6 ,   P 5 3 9 ,   D O I   1 0 . 1 1 0 9 / 3 0 . 8 8 3 4 0 7 ;   d e   L u c e n a   V F ,   2 0 1 2 ,   I E E E   T   C O N S U M   E L E C T R ,   V 5 8 ,   P 1 0 7 7 ,   D O I   1 0 . 1 1 0 9 / T C E . 2 0 1 2 . 6 3 1 1 3 5 9 ;   D V B ,   1 0 1 2 9 0   D V B   E T S I   T R ;   F i s c h e r   W ,   2 0 1 0 ,   S I G N A L S   C O M M U N I C A T I O ;   G a r d l o   B r u n o ,   2 0 1 2 ,   R A D   R A D I O E L E K T R O N I K A ;   I T U ,   2 0 1 2 ,   R E C   I T U   R   B T   5 0 0   1 3 ;   I T U ,   2 0 0 8 ,   R E C   I T U   T   P   9 1 0   S U B J ;   J o s k o w i c z   J ,   2 0 1 2 ,   T E L E C O M M U N   S Y S T ,   V 4 9 ,   P 4 9 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 3 5 - 0 1 0 - 9 3 5 2 - 9 ;   J o s k o w i c z   J . ,   2 0 1 2 ,   B R O A D B   M U L T   S Y S T   B R O ,   P 1 ;   J o s k o w i c z   J o s e ,   2 0 1 1 ,   L A T   A M   N E T W   C   L A N C   1 ;   K r a t o c h v i l   T ,   2 0 0 8 ,   1 8   I N T   C   R A D ;   M a r t i n   S R ,   2 0 1 0 ,   I E E E   T   B R O A D C A S T ,   V 5 6 ,   P 4 4 1 ,   D O I   1 0 . 1 1 0 9 / T B C . 2 0 1 0 . 2 0 6 7 8 9 0 ;   R o d r i g u e z   D .   Z . ,   2 0 1 2 ,   I E E E   L A T I N   A M   T ;   S t a n d a r d s   I n s t .   ( E T S I ) ,   2 0 0 9 ,   3 0 0 7 4 4   E T S I   E N ;   T o b i a s ,   2 0 1 1 ,   I E E E   I N T   S   M U L T   I S M ;   Y a n g   F Z ,   2 0 1 2 ,   I E E E   C O M M U N   M A G ,   V 5 0 ,   P 2 0 3 	 2 1 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 1 5 5 - 5 0 4 4 	 	 9 7 8 - 1 - 4 6 7 3 - 6 0 4 7 - 0 	 I E E E   I N T   S Y M   B R O A D B 	 	 	 2 0 1 3 	 	 	 	 	 	 	 	 	 	 	 	 6 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B B 2 U K 	 W O S : 0 0 0 3 4 2 3 5 1 5 0 0 0 5 1 	 	 
 J 	 H a s a n ,   M K ;   K h a n ,   J I ;   A h m e d ,   R ;   H o s s a i n ,   M M A ;   N u r - U s - S h a m s ,   M 	 	 	 I E E E 	 H a s a n ,   M d .   K a m r u l ;   K h a n ,   J a v e d   I q b a l ;   A h m e d ,   R a q u i b ;   H o s s a i n ,   M o l l a h   M d   A w l a d ;   N u r - U s - S h a m s ,   M d . 	 	 	 R o a d   S t r u c t u r e   A n a l y s i s   u s i n g   G P S   I n f o r m a t i o n 	 2 0 1 3   I N T E R N A T I O N A L   C O N F E R E N C E   O N   E L E C T R I C A L   I N F O R M A T I O N   A N D   C O M M U N I C A T I O N   T E C H N O L O G Y   ( E I C T ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   E l e c t r i c a l   I n f o r m a t i o n   a n d   C o m m u n i c a t i o n   T e c h n o l o g y   ( E I C T ) 	 F E B   1 3 - 1 5 ,   2 0 1 4 	 K h u l n a ,   B A N G L A D E S H 	 F a c   E l e c t   &   E l e c t   E n g n ,   K h u l n a   U n i v   E n g n   &   T e c h n o l ,   I E E E ,   B a n g l a d e s h   E D S   S S C S   C h a p t e r 	 	 G P S   i n f o r m a t i o n ;   c r o w d s o u r c i n g ;   l o c a t i o n   b a s e d   a p p l i c a t i o n ;   G P S   s e n s o r ;   s m a r t   p h o n e 	 	 G e o s p a t i a l   i n f o r m a t i o n   i s   f a s t   b e c o m i n g   a   k e y   d a t a   r e s o u r c e   f o r   a   l o c a l i t y   o r   c o u n t r y   a r o u n d   t h e   w o r l d .   I n   r e c e n t   y e a r s   t h e r e   h a v e   b e e n   m a j o r   i n n o v a t i o n s   i n   l o c a t i o n   b a s e d   a p p l i c a t i o n s .   G e o g r a p h i c   I n f o r m a t i o n   S y s t e m s   ( G I S )   a r e   h e l p i n g   a l l   s p h e r e s   o f   s c i e n c e .   I t   i s   s p a w n i n g   n e w   p u b l i c   s e r v i c e s ,   h e l p i n g   d e v e l o p m e n t a l   p l a n n i n g   w i t h   u n p r e c e d e n t e d   p r e c i s i o n   a n d   p l a y i n g   v i t a l   r o l e   i n   n a t i o n a l   r e s o u r c e   m a n a g e m e n t .   U n f o r t u n a t e l y   h o w e v e r ,   u n t i l   n o w   t h e r e   i s   n o   g o o d   p u b l i c l y   a v a i l a b l e   c o m p r e h e n s i v e   G l o b a l   P o s i t i o n i n g   S y s t e m   ( G P S )   d a t a   f o r   B a n g l a d e s h .   T h i s   i s   t h e   c a s e   a l s o   f o r   m a n y   u n d e r   d e v e l o p e d   l o c a l i t i e s   a r o u n d   t h e   w o r l d .   O b t a i n i n g   c o m p r e h e n s i v e   G P S   d a t a   i s   e x p e n s i v e .   O n e   i n t e r e s t i n g   p h e n o m e n a   i n   m a n y   o f   t h e s e   l o c a l i t i e s   i s   t h e   p r o l i f e r a t i o n   o f   s m a r t   p h o n e   d e v i c e s ,   m a n y   w i t h   G P S   s e n s o r s   d u e   t o   3 G   n e t w o r k   e x p a n s i o n   i n   r e c e n t   y e a r s .   I n   t h i s   p a p e r ,   w e   p r e s e n t   a   p i l o t   s t u d y   w h e r e   t h e s e   l o w   c o s t   d e v i c e s .   I t   c a n   b e   u s e d   t o   p o t e n t i a l l y   b u i l d   G I S   d a t a b a s e s   a t   n a t i o n a l   s c a l e .   W e   h a v e   d e s i g n e d   a n d   d e v e l o p e d   a   m o b i l e   a p p l i c a t i o n   f o r   G P S   d a t a   c o l l e c t i o n   w i t h   t h e   h e l p   o f   c r o w d .   I n d e e d   i f   s u c h   d a t a   i s   p u b l i c l y   a v a i l a b l e   m a n y   a d v a n c e d   a n d   c o m p r e h e n s i v e   a p p l i c a t i o n   a r e   p o s s i b l e .   T h e r e f o r e   w e   h a v e   r e c o r d e d   t h e   G P S   d a t a   o f   P a t u a k h a l i   m u n i c i p a l i t y   r o a d   a s   a   t e s t   c a s e .   T h e n   w e   h a v e   f u r t h e r   d e m o n s t r a t e d   i t s   a p p l i c a t i o n   i n   a n a l y z i n g   t h e   r o a d   s t r u c t u r e   o f   P a t u a k h a l i   m u n i c i p a l i t y   u s i n g   t h i s   c o m p r e h e n s i v e   G P S   d a t a .   T h e   a n a l y s i s   w i l l   h e l p   t o   p r e d i c t   t h e   d i f f i c u l t y   a n d   c o s t i n g   f o r   s i m i l a r   t y p e   o f   a r e a   m a p p i n g . 	 [ H a s a n ,   M d .   K a m r u l ]   P a t u a k h a l i   S c i   &   T e c h n o l   U n i v ,   D e p t   C o m p   &   C o m m u n   E n g n ,   D u m k i ,   B a n g l a d e s h 	 H a s a n ,   M K   ( r e p r i n t   a u t h o r ) ,   P a t u a k h a l i   S c i   &   T e c h n o l   U n i v ,   D e p t   C o m p   &   C o m m u n   E n g n ,   D u m k i ,   B a n g l a d e s h . 	 k a m r u l @ p s t u . a c . b d ;   j a v e d @ k e n t . e d u ;   r a q u i b _ a h m e d @ y a h o o . c o m ;   m m a w l a d @ g m a i l . c o m ;   s h a m s . m n u @ g m a i l . c o m 	 	 	 	 	 A m e s   D a n i e l   P . ,   2 0 0 8 ,   E N C Y   G I S ,   P 6 3 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 0 - 3 8 7 - 3 5 9 7 3 - 1 _ 7 5 3 ;   A w a n g e   J o s e p h   L . ,   2 0 1 3 ,   E N V   G E O I N F O R M A T I C S   M ;   B e i g l b o e c k   K r i s t o f ,   2 0 1 2 ,   P R O G R A M M I N G   G P S   O P E N ;   C h a f f e y   D a v e ,   2 0 1 3 ,   E M A R K E T I N G   E X C E L L E N C ;   F u j i t a   Y a s u o ,   2 0 1 1 ,   W H A T   M A K E S   B A N G L A D E S ;   F u q u a n   P e n g ,   2 0 1 2 ,   P   2 0 1 1   I N T   C   I N F   C Y B ;   H a g e n   E r i c a ,   2 0 1 1 ,   I N N O V A T I O N S   T E C H N O L O ,   V 6 ,   P 6 9 ;   H e s s   B a s i l ,   2 0 1 2 ,   P   1   A C M   S I G S P A T I A L   I ;   H u a n g   J Y ,   2 0 1 2 ,   C O M M U N   A C M ,   V 5 5 ,   P 8 4 ,   D O I   1 0 . 1 1 4 5 / 2 0 9 3 5 4 8 . 2 0 9 3 5 7 0 ;   K e n n e d y   M i c h a e l   D . ,   2 0 1 3 ,   I N T R O   G E O G R A P H I C   I N F ;   L G E D ,   2 0 1 2 ,   G I S   U N   L G E D   L O C   G O V ;   L w i n   K o   K o ,   2 0 1 2 ,   P R O G R   G E O S P A T I A L   A N A ,   P 2 9 ;   M o b i l e   M a r k e t i n g   A s s o c i a t i o n ,   2 0 1 1 ,   M O B   L O C   B A S   S E R V   M A R ;   N e i s   P a s c a l ,   2 0 1 2 ,   I S P R S   I N T   J   G E O I N F O R ,   V 1 ,   P 1 4 6 ;   N e t e l e r   M ,   2 0 1 2 ,   E N V I R O N   M O D E L L   S O F T W ,   V 3 1 ,   P 1 2 4 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 1 1 . 1 1 . 0 1 4 ;   R i d w a n   S o h a i l a   B i n t e ,   2 0 1 1 ,   C O M P   I N F   T E C H N   I C C I T 	 1 6 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 7 9 9 - 2 2 9 9 - 4 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 	 	 	 	 	 6 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B B 2 S H 	 W O S : 0 0 0 3 4 2 2 1 8 6 0 0 0 9 5 	 	 
 J 	 L a o u d i a s ,   C ;   Z e i n a l i p o u r - Y a z t i ,   D ;   P a n a y i o t o u ,   C G 	 	 	 I E E E 	 L a o u d i a s ,   C h r i s t o s ;   Z e i n a l i p o u r - Y a z t i ,   D e m e t r i o s ;   P a n a y i o t o u ,   C h r i s t o s   G . 	 	 	 C r o w d s o u r c e d   I n d o o r   L o c a l i z a t i o n   f o r   D i v e r s e   D e v i c e s   t h r o u g h   R a d i o m a p   F u s i o n 	 2 0 1 3   I N T E R N A T I O N A L   C O N F E R E N C E   O N   I N D O O R   P O S I T I O N I N G   A N D   I N D O O R   N A V I G A T I O N   ( I P I N ) 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n d o o r   P o s i t i o n i n g   a n d   I n d o o r   N a v i g a t i o n 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n d o o r   P o s i t i o n i n g   a n d   I n d o o r   N a v i g a t i o n   ( I P I N ) 	 O C T   2 8 - 3 1 ,   2 0 1 3 	 M o n t b e l i a r d   B e l f o r t ,   F R A N C E 	 U n i v   F r a n c h e   C o m t e ,   U n i v   T e c h n o l o g i e   B e l f o r t   M o n t b e l i a r d 	 	 c r o w d s o u r c i n g ;   l o c a l i z a t i o n ;   d e v i c e   d i v e r s i t y 	 V A R I A N C E 	 C r o w d s o u r c i n g   i s   a n   e m e r g i n g   f i e l d   t h a t   a l l o w s   t o   t a c k l e   d i f f i c u l t   p r o b l e m s   b y   s o l i c i t i n g   c o n t r i b u t i o n s   f r o m   c o m m o n   p e o p l e ,   r a t h e r   t h a n   t r a i n e d   p r o f e s s i o n a l s .   I n   t h e   p o s t - p c   e r a ,   w h e r e   s m a r t p h o n e s   d o m i n a t e   t h e   p e r s o n a l   c o m p u t i n g   m a r k e t   o f f e r i n g   b o t h   c o n s t a n t   m o b i l i t y   a n d   l a r g e   a m o u n t s   o f   s p a t i o t e m p o r a l   s e n s o r y   d a t a ,   c r o w d s o u r c i n g   i s   b e c o m i n g   i n c r e a s i n g l y   p o p u l a r .   I n   t h i s   c o n t e x t ,   c r o w d s o u r c i n g   s t a n d s   a s   t h e   o n l y   v i a b l e   s o l u t i o n   f o r   c o l l e c t i n g   t h e   l a r g e   a m o u n t   o f   l o c a t i o n - r e l a t e d   n e t w o r k   d a t a   r e q u i r e d   t o   s u p p o r t   l o c a t i o n - b a s e d   s e r v i c e s ,   e .   g . ,   t h e   s i g n a l   s t r e n g t h   r a d i o m a p   o f   a   f i n g e r p r i n t i n g   l o c a l i z a t i o n   s y s t e m   i n s i d e   a   m u l t i - f l o o r   b u i l d i n g .   H o w e v e r ,   t h i s   b e n e f i t   d o e s   n o t   c o m e   f o r   f r e e ,   b e c a u s e   c r o w d s o u r c i n g   a l s o   p o s e s   n e w   c h a l l e n g e s   i n   r a d i o m a p   c r e a t i o n .   W e   f o c u s   o n   t h e   p r o b l e m   o f   d e v i c e   d i v e r s i t y   t h a t   o c c u r s   f r e q u e n t l y   a s   t h e   c o n t r i b u t o r s   u s u a l l y   c a r r y   h e t e r o g e n e o u s   m o b i l e   d e v i c e s   t h a t   r e p o r t   n e t w o r k   m e a s u r e m e n t s   v e r y   d i f f e r e n t l y .   W e   d e m o n s t r a t e   w i t h   s i m u l a t i o n s   a n d   e x p e r i m e n t a l   r e s u l t s   t h a t   t h e   t r a d i t i o n a l   s i g n a l   s t r e n g t h   v a l u e s   f r o m   t h e   s u r r o u n d i n g   n e t w o r k   i n f r a s t r u c t u r e   a r e   n o t   s u i t a b l e   f o r   c r o w d s o u r c i n g   t h e   r a d i o m a p .   M o r e o v e r ,   w e   p r e s e n t   a n   a l t e r n a t i v e   a p p r o a c h ,   b a s e d   o n   s i g n a l   s t r e n g t h   d i f f e r e n c e s ,   t h a t   i s   f a r   m o r e   r o b u s t   t o   d e v i c e   v a r i a t i o n s   a n d   m a i n t a i n s   t h e   l o c a l i z a t i o n   a c c u r a c y   r e g a r d l e s s   o f   t h e   n u m b e r   o f   c o n t r i b u t i n g   d e v i c e s . 	 [ L a o u d i a s ,   C h r i s t o s ;   P a n a y i o t o u ,   C h r i s t o s   G . ]   U n i v   C y p r u s ,   K I O S   R e s   C t r   I n t e l l i g e n t   S y s t   &   N e t w o r k s ,   N i c o s i a ,   C y p r u s 	 L a o u d i a s ,   C   ( r e p r i n t   a u t h o r ) ,   U n i v   C y p r u s ,   K I O S   R e s   C t r   I n t e l l i g e n t   S y s t   &   N e t w o r k s ,   N i c o s i a ,   C y p r u s . 	 l a o u d i a s @ u c y . a c . c y ;   d z e i n a @ c s . u c y . a c . c y ;   c h r i s t o s p @ u c y . a c . c y 	 	 	 	 	 B a h l s   P ,   2 0 0 0 ,   P   I E E E   I N F O C O M   2 0 0 0 ,   V 2 ,   P 7 7 5 ,   D O I   D O I   1 0 . 1 1 0 9 / I N F C O M . 2 0 0 0 . 8 3 2 2 5 2 ;   B a r r y   A ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 8 0 1 ,   P 1 9 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 4 3 8 5 - 7 _ 1 4 ;   B h a s k e r   E . ,   2 0 0 4 ,   I E E E   I N T   C   P E R V   C O M P ,   P 1 1 1 ;   B o l l i g e r   P . ,   2 0 0 8 ,   1   A C M   I N T   W O R K S H   M O B ,   P 5 5 ;   C h a i   X . ,   2 0 0 5 ,   I E E E   P E R C O M ,   P 9 5 ;   C h a t z i m i l i o u d i s   G ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 3 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 7 0 ;   C h e n g   H . ,   2 0 1 2 ,   J   C H I N A   U   P O S T S   T E L E ,   V 1 9 ,   P 1 1 4 ;   D o n g   F F ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 8 0 1 ,   P 7 9 ;   E m p s o n   R . ,   2 0 1 3 ,   A P P L E   A C Q U I R E S   I N D O O ;   g e u n   P a r k   J . ,   2 0 1 0 ,   8   A C M   I N T   C   M O B   S Y S T ,   P 2 7 1 ;   H a e b e r l e n   A . ,   2 0 0 4 ,   1 0   A C M   I N T   C   M O B I C O M ,   P 7 0 ;   H o s s a i n   A K M M ,   2 0 1 3 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 2 ,   P 6 5 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 1 . 2 4 3 ;   K a e m a r u n g s i   K ,   2 0 0 4 ,   I E E E   I N F O C O M   S E R ,   P 1 0 1 2 ;   K i m   Y ,   2 0 1 2 ,   2 0 1 2   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   P E R V A S I V E   C O M P U T I N G   A N D   C O M M U N I C A T I O N S   ( P E R C O M ) ,   P 1 1 ;   K j a e r g a a r d   M B ,   2 0 1 1 ,   P E R V A S I V E   M O B   C O M P U T ,   V 7 ,   P 3 1 ,   D O I   1 0 . 1 0 1 6 / j . p m c j . 2 0 1 0 . 0 4 . 0 0 5 ;   K J A E R G A A R D   M B ,   2 0 0 6 ,   2   I N T   C   L O C   A N D   C O N T ,   V 3 9 8 7 ,   P 3 0 ;   L a M a r c a   A ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 4 6 8 ,   P 1 1 6 ;   L a o u d i a s   C . ,   2 0 0 9 ,   I E E E   G L O B   T E L   C   G L O B ,   P 1 ;   L a o u d i a s   C h r i s t o s ,   2 0 1 3 ,   J o u r n a l   o f   L o c a t i o n   B a s e d   S e r v i c e s ,   V 7 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 8 9 7 2 5 . 2 0 1 3 . 8 1 6 7 9 2 ;   L e d l i e   J o n a t h a n ,   2 0 1 2 ,   J o u r n a l   o f   L o c a t i o n   B a s e d   S e r v i c e s ,   V 6 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 8 9 7 2 5 . 2 0 1 2 . 6 9 2 6 1 7 ;   L e e   M . ,   2 0 1 0 ,   8   I E E E   I N T   C   P E R V   C O ,   P 6 4 8 ;   L e e   M ,   2 0 1 2 ,   2 0 1 2   I E E E / I P S J   1 2 T H   I N T E R N A T I O N A L   S Y M P O S I U M   O N   A P P L I C A T I O N S   A N D   T H E   I N T E R N E T   ( S A I N T ) ,   P 1 9 0 ,   D O I   1 0 . 1 1 0 9 / S A I N T . 2 0 1 2 . 3 5 ;   M a c h a j   J . ,   2 0 1 1 ,   I N T   C   I N D   P O S   I N D   N A ,   P 1 ;   P a r k   J G ,   2 0 1 1 ,   I E E E   I N F O C O M   S E R ,   P 3 1 8 2 ;   R o o s   T . ,   2 0 0 2 ,   I n t e r n a t i o n a l   J o u r n a l   o f   W i r e l e s s   I n f o r m a t i o n   N e t w o r k s ,   V 9 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 6 0 0 3 1 2 6 8 8 2 ;   T s u i   A W ,   2 0 0 9 ,   M O B I L E   N E T W   A P P L ,   V 1 4 ,   P 6 7 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 3 6 - 0 0 8 - 0 1 3 9 - 0 ;   Y a n g   S . ,   2 0 1 3 ,   I E E E   I N T   C   C O M P   C O M M ;   Z e i n a l i p o u r - Y a z t i   D ,   2 0 1 3 ,   I E E E   T   K N O W L   D A T A   E N ,   V 2 5 ,   P 1 2 4 0 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 1 2 . 5 5 	 2 8 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 1 6 2 - 7 3 4 7 	 	 9 7 8 - 1 - 4 7 9 9 - 4 0 4 3 - 1 	 I N T   C   I N D O O R   P O S I T 	 	 	 2 0 1 3 	 	 	 	 	 	 	 	 	 	 	 	 7 	 	 	 B B 2 C W 	 W O S : 0 0 0 3 4 1 6 6 3 4 0 0 0 6 7 	 	 
 S 	 V u k o v i c ,   M ;   D a s ,   R 	 	 B a s u ,   S ;   P a u t a s s o ,   C ;   Z h a n g ,   L ;   F u ,   X 	 	 V u k o v i c ,   M a j a ;   D a s ,   R a j a r s h i 	 	 	 D e c i s i o n   M a k i n g   i n   E n t e r p r i s e   C r o w d s o u r c i n g   S e r v i c e s 	 S E R V I C E - O R I E N T E D   C O M P U T I N G ,   I C S O C   2 0 1 3 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 1 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S e r v i c e   O r i e n t e d   C o m p u t i n g   ( I C S O C ) 	 D E C   0 2 - 0 5 ,   2 0 1 3 	 B e r l i n ,   G E R M A N Y 	 I B M   R e s ,   S O A M E D ,   B e r l i n s   F i r s t   U n i v ,   S e r T e c h ,   A C M 	 	 E n t e r p r i s e ;   O r g a n i z a t i o n a l   S e r v i c e s ;   C r o w d s o u r c i n g 	 	 E n t e r p r i s e s   a r e   i n c r e a s i n g l y   e m p l o y i n g   c r o w d s o u r c i n g   t o   e n g a g e   e m p l o y e e s   a n d   p u b l i c   a s   p a r t   o f   t h e i r   b u s i n e s s   p r o c e s s e s ,   g i v e n   a   p r o m i s i n g ,   l o w   c o s t ,   a c c e s s   t o   s c a l a b l e   w o r k f o r c e   o n l i n e .   C o m m o n   e x a m p l e s   i n c l u d e   h a r n e s s i n g   o f   c r o w d   e x p e r t i s e   f o r   e n t e r p r i s e   k n o w l e d g e   d i s c o v e r y ,   s o f t w a r e   d e v e l o p m e n t ,   p r o d u c t   s u p p o r t   a n d   i n n o v a t i o n .   C r o w d s o u r c i n g   t a s k s   v a r y   i n   t h e i r   c o m p l e x i t y ,   r e q u i r e d   l e v e l   o f   b u s i n e s s   s u p p o r t   a n d   i n v e s t m e n t ,   a n d   m o s t   i m p o r t a n t l y   t h e   q u a l i t y   o f   o u t c o m e .   A s   s u c h ,   n o t   e v e r y   s t e p   i n   a   b u s i n e s s   p r o c e s s   c a n   s u c c e s s f u l l y   l e n d   i t s e l f   t o   c r o w d s o u r c i n g .   I n   t h i s   p a p e r ,   w e   p r e s e n t   a   d e c i s i o n - m a k i n g   a n d   e x e c u t i o n   s e r v i c e ,   c a l l e d   C r o w d A r b ( 1 ) ,   o p e r a t i n g   o n   c r o w d s o u r c i n g   t a s k s   i n   t h e   l a r g e   g l o b a l   e n t e r p r i s e .   T h e   s y s t e m   e m p l o y s   d e c i s i o n   t h e o r e t i c   m e t h o d o l o g y   t o   a s s e s s   w h e t h e r   t o   c r o w d s o u r c e   o r   n o t   a   s e l e c t e d   s t e p   o f   t h e   k n o w l e d g e   d i s c o v e r y   p r o c e s s .   T h e   s y s t e m   a d d r e s s e s   t h e   c h a l l e n g e s   o f   t r a d e - o f f   b e t w e e n   t h e   q u a l i t y   a n d   t i m e   o f   t h e   c r o w d s o u r c i n g   r e s p o n s e s ,   a s   w e l l   a s   t h e   t r a d e - o f f   b e t w e e n   t h e   c o s t   o f   c r o w d s o u r c i n g   e x p e r t s   a n d   t i m e   r e q u i r e d   t o   c o m p l e t e   t h e   e n t i r e   c a m p a i g n .   W e   p r e s e n t   e v a l u a t i o n   r e s u l t s   f r o m   s i m u l a t i o n s   o f   C r o w d A r b   i n   e n t e r p r i s e   c r o w d s o u r c i n g   c a m p a i g n   t h a t   e n g a g e d   o v e r   5 6 0   c l i e n t   r e p r e s e n t a t i v e s   t o   o b t a i n   a c t i o n a b l e   i n s i g h t s .   W e   d i s c u s s   h o w   p r o p o s e d   s o l u t i o n   a d d r e s s e s   t h e   o p p o r t u n i t y   t o   c l o s e   t h e   g a p   o f   s e m i - a u t o m a t e d   t a s k   c o o r d i n a t i o n   i n   c r o w d s o u r c i n g   e n v i r o n m e n t s . 	 [ V u k o v i c ,   M a j a ;   D a s ,   R a j a r s h i ]   I B M   T J   W a t s o n   R e s   C t r ,   Y o r k t o w n   H t s ,   N Y   1 0 5 9 8   U S A 	 V u k o v i c ,   M   ( r e p r i n t   a u t h o r ) ,   I B M   T J   W a t s o n   R e s   C t r ,   Y o r k t o w n   H t s ,   N Y   1 0 5 9 8   U S A . 	 m a j a @ u s . i b m . c o m ;   r a j a r s h i @ u s . i b m . c o m 	 	 	 	 	 B a y u s   B L ,   2 0 1 3 ,   M A N A G E   S C I ,   V 5 9 ,   P 2 2 6 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 2 0 . 1 5 9 9 ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   D a i   P . ,   2 0 1 0 ,   A A A I   2 0 1 0 ;   H o r t o n   J . ,   2 0 1 0 ,   P   1 1   A C M   C   E L   C O M M ;   K a r g e r   D .   R . ,   2 0 1 1 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 4 ,   P 1 9 5 3 ;   K a r g e r   D . R . ,   2 0 1 1 ,   4 9   A N N   A L L   C   C O M M   C O ,   P 2 8 4 ;   K i t t u r   A . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ;   L a r e d o   J . ,   2 0 1 2 ,   L N C S ,   V 7 2 2 1 ,   P 2 8 3 ;   M a s o n   W . ,   2 0 0 9 ,   P   A C K   S I G K D D   W O R K S H ;   S m i t h   R . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ;   V u k o v i c   M ,   2 0 0 9 ,   2 0 0 9   I E E E   C O N G R E S S   O N   S E R V I C E S   ( S E R V I C E S - 1   2 0 0 9 ) ,   V O L S   1   A N D   2 ,   P 6 8 6 ,   D O I   1 0 . 1 1 0 9 / S E R V I C E S - I . 2 0 0 9 . 5 6 ;   V u k o v i c   M . ,   2 0 1 2 ,   L N C S ,   V 7 6 3 6 ,   P 7 0 3 ;   W e l d   D . S . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   A D J   U ,   P 5 7 	 1 3 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 5 0 0 5 - 1 ;   9 7 8 - 3 - 6 4 2 - 4 5 0 0 4 - 4 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 8 2 7 4 	 	 	 	 	 	 6 2 4 	 6 3 8 	 	 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 1 Z L 	 W O S : 0 0 0 3 4 1 5 0 5 1 0 0 0 5 4 	 	 
 J 	 P a r k ,   B ;   J o h a n n s o n ,   A ;   N i c h o l s o n ,   D 	 	 	 I E E E 	 P a r k ,   B a r r y ;   J o h a n n s o n ,   A n d e r s ;   N i c h o l s o n ,   D a v i d 	 	 	 C r o w d s o u r c i n g   S o f t   D a t a   f o r   I m p r o v e d   U r b a n   S i t u a t i o n   A s s e s s m e n t 	 2 0 1 3   1 6 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   I N F O R M A T I O N   F U S I O N   ( F U S I O N ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 6 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n f o r m a t i o n   F u s i o n   ( F U S I O N ) 	 J U L   0 9 - 1 2 ,   2 0 1 3 	 I s t a n b u l ,   T U R K E Y 	 H A V E L S A N ,   M E T E K S A N   S A V U N M A ,   T U B I T A K ,   M E T R O N   S c i   S o l u t ,   O f f   N a v a l   R e s   G l o b a l   S c i   &   T e c h n o l ,   A n k a r a   U n i v ,   S a b a n c i   U n i v ,   S T M ,   T A I ,   A S E L S A N ,   K o c   B i l g i   S a v u n m a   T e k n o l o j i l e r i   A   S ,   K a l e   H a v a c i l i k ,   I n t   S o c   I n f r o m a t   F u s ,   I E E E ,   A E S S 	 	 c r o w d s o u r c i n g ;   t r a c k i n g ;   f u s i o n ;   u n c e r t a i n t y ;   t r u s t 	 S O C I A L   M O B I L I Z A T I O N ;   D A T A   F U S I O N 	 C o n v e n t i o n a l   " h a r d "   s e n s i n g   i n   u r b a n   s p a c e s   i s   c h a l l e n g e d   b y   t h e   c o m p l e x i t y   o f   t h e   e n v i r o n m e n t ,   c r e a t i n g   g a p s   i n   s i t u a t i o n   a s s e s s m e n t   a n d   p o s s i b l e   c o n f u s i o n   d u e   t o   d a t a   a s s o c i a t i o n   e r r o r s .   C r o w d s o u r c e d   " s o f t "   r e p o r t s   f r o m   h u m a n   o b s e r v e r s   m a y   r e m e d y   t h i s   p r o b l e m   b u t   r e q u i r e   t e c h n i q u e s   f o r   f u s i n g   h a r d   a n d   s o f t   d a t a .   T h i s   p a p e r   d e s c r i b e s   a n   e x p e r i m e n t a l   c r o w d s o u r c i n g   s y s t e m   t o   e v a l u a t e   t h e   p o t e n t i a l   i m p r o v e m e n t   i n   s i t u a t i o n   a s s e s s m e n t   r e s u l t i n g   f r o m   t h e   f u s i o n   o f   h a r d   a n d   s o f t   d a t a .   T h e   p a p e r   t h e n   a p p l i e s   a   n e w   c o m b i n a t i o n   o f   B a y e s i a n   i n f e r e n c e   a l g o r i t h m s ,   P a r t i c l e   F i l t e r i n g   a n d   S o f t m a x   l e a r n i n g ,   t o   a   c a n o n i c a l   t e s t   p r o b l e m :   t r a c k i n g   a   s i n g l e   m o v i n g   o b j e c t   m o v i n g   a l o n g   a   r o a d   n e t w o r k .   T h e   f u s i o n   o f   s o f t   r e p o r t s   w i t h   i n t e r m i t t e n t   h a r d   d a t a   i s   s h o w n   t o   y i e l d   a   m a r k e d   i m p r o v e m e n t   i n   s i t u a t i o n   a s s e s s m e n t   p e r f o r m a n c e .   K e y   t o   a c h i e v i n g   s u c h   g a i n s   i n   p r a c t i c e   w i l l   b e   a p p r o p r i a t e   i n c e n t i v e s   t o   r e w a r d   t r u s t w o r t h y   r e p o r t e r s   a l o n g   w i t h   m e t h o d s   t o   r e d u c e   s e n s i t i v i t y   t o   a n y   r e m a i n i n g   u n t r u s t w o r t h y   r e p o r t s 	 [ P a r k ,   B a r r y ;   J o h a n n s o n ,   A n d e r s ]   U n i v   B r i s t o l ,   D e p t   C i v i l   E n g n ,   S y s t   C t r ,   B r i s t o l ,   A v o n ,   E n g l a n d 	 P a r k ,   B   ( r e p r i n t   a u t h o r ) ,   U n i v   B r i s t o l ,   D e p t   C i v i l   E n g n ,   S y s t   C t r ,   B r i s t o l ,   A v o n ,   E n g l a n d . 	 c e b s p @ b r i s t o l . a c . u k ;   a . j o h a n s s o n @ b r i s t o l . a c . u k ;   d a v i d . n i c h o l s o n 2 @ b a e s y s t e m s . c o m 	 	 	 	 	 A c h a r y a   S . ,   2 0 1 1 ,   I N F   F U S   F U S I O N   2 0 1 1 ,   P 1 ;   A h m e d   N R ,   2 0 1 3 ,   I E E E   T   R O B O T ,   V 2 9 ,   P 1 8 9 ,   D O I   1 0 . 1 1 0 9 / T R O . 2 0 1 2 . 2 2 1 4 5 5 6 ;   B i s h o p   A .   N . ,   2 0 1 1 ,   I N F   F U S   F U S I O N   2 0 1 1 ,   P 1 ;   B i s h o p   C .   M . ,   2 0 0 6 ,   P A T T E R N   R E C O G N I T I O N ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   D a s   S ,   2 0 0 8 ,   A R T E C H   H S E   E L E C   W A R F ,   P 1 ;   H a l l   D L ,   2 0 1 0 ,   A R T E C H   H S E   E L E C   W A R F ,   P 1 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   K a m a r   E . ,   2 0 1 2 ,   P   1 1   I N T   C   A U T   A G   M U ,   V 1 ,   P 4 6 7 ;   B o u l o s   M N K ,   2 0 1 1 ,   I N T   J   H E A L T H   G E O G R ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 6 - 0 7 2 X - 1 0 - 6 7 ;   K h a l e g h i   B ,   2 0 1 2 ,   2 0 1 2   I E E E   1 3 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   I N F O R M A T I O N   R E U S E   A N D   I N T E G R A T I O N   ( I R I ) ,   P 1 9 3 ;   L a n c k r i e t   G R G ,   2 0 0 4 ,   B I O I N F O R M A T I C S ,   V 2 0 ,   P 2 6 2 6 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t h 2 9 4 ;   M u n r o   R ,   2 0 1 3 ,   I N F O R M   R E T R I E V A L ,   V 1 6 ,   P 2 1 0 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 2 - 9 2 0 3 - 2 ;   P i c k a r d   G ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 4 ,   P 5 0 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 0 5 8 6 9 ;   R a h w a n   I ,   2 0 1 3 ,   C O M P U T E R ,   V 4 6 ,   P 6 8 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 1 2 . 2 9 5 ;   R e e c e   S . ,   2 0 1 1 ,   I N F   F U S   F U S I O N   2 0 1 1 ,   P 1 ;   R e e c e   S . ,   2 0 0 7 ,   2 2   A A A I   C   A R T   I N T   E V ,   P 1 2 8 ;   R I S T I C   B . ,   2 0 0 4 ,   K A L M A N   F I L T E R   P A R T I C ;   S i m p s o n   E . ,   2 0 1 2 ,   D Y N A M I C   B A Y E S I A N   C O M ;   W i c k r a m a r a t h n e   T L ,   2 0 1 1 ,   I N T   C O N F   A C O U S T   S P E E ,   P 2 3 8 8 	 2 0 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 6 0 5 - 8 6 3 1 1 - 1 - 3 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 6 6 9 	 6 7 5 	 	 	 	 7 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B B 1 U M 	 W O S : 0 0 0 3 4 1 3 7 0 0 0 0 0 8 9 	 	 
 J 	 Z a d o r o z h n y ,   V ;   L e w i s ,   M 	 	 	 I E E E 	 Z a d o r o z h n y ,   V l a d i m i r ;   L e w i s ,   M i c h a e l 	 	 	 I n f o r m a t i o n   f u s i o n   f o r   U S A R   o p e r a t i o n s   b a s e d   o n   c r o w d s o u r c i n g 	 2 0 1 3   1 6 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   I N F O R M A T I O N   F U S I O N   ( F U S I O N ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 6 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n f o r m a t i o n   F u s i o n   ( F U S I O N ) 	 J U L   0 9 - 1 2 ,   2 0 1 3 	 I s t a n b u l ,   T U R K E Y 	 H A V E L S A N ,   M E T E K S A N   S A V U N M A ,   T U B I T A K ,   M E T R O N   S c i   S o l u t ,   O f f   N a v a l   R e s   G l o b a l   S c i   &   T e c h n o l ,   A n k a r a   U n i v ,   S a b a n c i   U n i v ,   S T M ,   T A I ,   A S E L S A N ,   K o c   B i l g i   S a v u n m a   T e k n o l o j i l e r i   A   S ,   K a l e   H a v a c i l i k ,   I n t   S o c   I n f r o m a t   F u s ,   I E E E ,   A E S S 	 	 m o b i l e   r o b o t s ;   i n f o r m a t i o n   f u s i o n ;   c r o w d s o u r c i n g ;   s e a r c h   a n d   r e s c u e   m i s s i o n 	 	 I n   t h i s   p a p e r ,   w e   i n t r o d u c e   a u t o m a t i c   i n f o r m a t i o n   f u s i o n   m e t h o d s   f o r   t h e   u r b a n   s e a r c h   a n d   r e s c u e   ( U S A R )   o p e r a t i o n s   t h a t   e f f i c i e n t l y   " c r o w d s o u r c e "   v i c t i m   d e t e c t i o n   t a s k s .   W e   r e d u c e   t h e   l o a d   o n   t h e   o p e r a t o r s   r e q u i r i n g   t h e m   t o   a c k n o w l e d g e   o n l y   p r e s e n c e   o f   t h e   v i c t i m   i n   a n   i m a g e   ( t o   a n n o t a t e   t h e   i m a g e ) .   T h e   t a s k   o f   f i n d i n g   v i c t i m   l o c a t i o n   i s   p e r f o r m e d   v i a   a u t o m a t i c   f u s i o n   o f   a n n o t a t e d   i m a g e s   f r o m   t h e   i m a g e   q u e u e .   T h i s   m u l t i - r o b o t   i n f o r m a t i o n   f u s i o n   i s   c o n d u c t e d   c o n t i n u o u s l y ;   a s   r o b o t s   c o l l e c t i v e l y   e x p l o r e   l a r g e r   a r e a s ,   t h e   e s t i m a t e d   v i c t i m   c o o r d i n a t e s   c o n v e r g e   t o   a c t u a l   v i c t i m   l o c a t i o n s . 	 [ Z a d o r o z h n y ,   V l a d i m i r ;   L e w i s ,   M i c h a e l ]   U n i v   P i t t s b u r g h ,   S c h   I n f o r m a t   S c i ,   P i t t s b u r g h ,   P A   1 5 2 6 0   U S A 	 Z a d o r o z h n y ,   V   ( r e p r i n t   a u t h o r ) ,   U n i v   P i t t s b u r g h ,   S c h   I n f o r m a t   S c i ,   P i t t s b u r g h ,   P A   1 5 2 6 0   U S A . 	 v l a d i m i r @ s i s . p i t t . e d u ;   m l e w i s @ s i s . p i t t . e d u 	 	 	 	 	 B a l a k i r s k y   S . ,   2 0 0 7 ,   J   F I E L D   R O B O T I C S ,   V 2 4 ;   B e d w o r t h   M . ,   2 0 0 0 ,   I E E E   A E R O S P A C E   E L E C T ,   V 1 5 ;   B l e i h o l d e r   J . ,   2 0 0 8 ,   A C M   C O M P U T I N G   S U R V E Y ,   V 4 1 ;   B r o o k s   N . ,   2 0 1 1 ,   P   5 5   A N N   M   H U M   F A C T ;   B u r k e   J . ,   2 0 0 4 ,   I E E E   T   S Y S T E M S   M A N   C ,   V 3 4 ;   C a r p i n   S . ,   2 0 0 6 ,   L E C T   N O T E S   A R T I F I C I A ;   C a r p i n   S ,   2 0 0 6 ,   P   P E R M I S ;   C a r p i n   S . ,   2 0 0 5 ,   R O B O T   S O C C E R   W O R L D   C ;   C a s p e r   J . ,   2 0 0 3 ,   I E E E   T   S Y S T E M S   M A N   B ,   V 3 3 ;   C h a n g   S . ,   2 0 0 4 ,   M U L T I M E D I A   I E E E ,   V 6 ,   D O I   5 ;   C h i e n   S . ,   2 0 1 1 ,   P   5 5   A N N   M   H U M   F A C T ;   C h i e n   S . ,   2 0 1 0 ,   P   5 4   A N N   M   H U M   F A C T ;   C r a n d a l l   J . ,   2 0 0 5 ,   I E E E   T   S Y S T E M S   M A N   A ,   V 3 5 ;   D a i   T . ,   2 0 1 1 ,   2 0 1 1   I E E E   I N T   C   R O B ;   E l f e s   A ,   1 9 8 9 ,   C O M P U T E R ,   V 2 2 ;   E s t e b a n   J . ,   2 0 0 5 ,   N E U R A L   C O M P U T I N G   A M P ;   H a c k e t t   J . ,   1 9 9 0 ,   R O B O T I O C S   A U T O M A T I O N ;   H a l l   D . ,   1 9 9 7 ,   P   I E E E ,   V 8 5 ;   H a l l   D ,   2 0 1 0 ,   A R T E C H   H S E   E L E C   W A R F ,   P 5 9 ;   H a l l   D . D . L ,   2 0 0 4 ,   M A T H   T E C H N I Q U E S   M U L T ;   H a n g   C . ,   2 0 0 9 ,   P   A A M A S ;   H a r r i s   C . ,   1 9 9 8 ,   A E R O N A U T I C A L   J ,   V 1 0 2 ;   J a c o   A . ,   2 0 0 0 ,   P E R F O R M A N C E   M E T R I C S ;   J o s a n g   A . ,   2 0 0 1 ,   J   U N C E R T A I N T Y   F U Z Z I N ,   V 9 ;   K i t a n o   H . ,   1 9 9 7 ,   A I   M A G A Z I N E ;   K o n o l i g e   K ,   1 9 9 4 ,   A U T O N O M O U S   R O B O T S ,   V 4 ;   L a t o m b e   J . - C . ,   1 9 9 1 ,   R O B O T   M O T I O N   P L A N N I N ;   L e c c e   V . ,   2 0 0 9 ,   C O M P U T A T I O N A L   I N T E L L ;   L e e   P . ,   2 0 1 0 ,   P   5 4   A N N   M   H U M   F A C T ;   L e w i s   M . ,   2 0 1 0 ,   H U M A N   F A C T O R S ,   V 5 2 ;   L e w i s   M . ,   2 0 1 1 ,   J   C O G N I T I V E   E N G   D E C I ,   V 5 ;   L u o   R . ,   1 9 8 9 ,   I E E E   T   S Y S T E M S   M A N   C ,   V 1 9 ;   M a l o n e   T . ,   2 0 1 0 ,   H A R N E S S I N G   C R O W D S   M A ;   M a y b u r y   M . ,   2 0 1 1 ,   H U M   C T R   A U T   W O R K S H   W ;   M o n t e m e r l o   M . ,   2 0 0 3 ,   2 0 0 3   I N T   C   I N T   R O B   S ,   P 3 ;   M u r p h y   R . ,   2 0 0 5 ,   P   4 9   A N N   M   H U M   F A C T ;   O l e s h c h u c k   V . ,   2 0 0 7 ,   P   S E N S O R C O M ;   P e l e c h r i n i s   K . ,   2 0 1 1 ,   P   W I C S O C   I R I ;   P e l e c h r i n i s   K . ,   2 0 1 1 ,   P   C O L L A B O R A T E C O M   1 1 ;   P e p p e r   C . ,   2 0 0 7 ,   P   P E R M I S   0 7 ;   S c e r r i   P . ,   2 0 1 0 ,   P   2 0 1 0   I E E E   R S J   I N T ;   S c e r r i   P . ,   2 0 0 4 ,   P   C   A U T   A G   M U L T   S Y S T ;   S c h o e s s   J . ,   1 9 8 8 ,   S P I E ;   T a y l o r   B . ,   2 0 0 7 ,   P   P E R M I S   0 7 ;   T h o m o p o u l o s   S . ,   1 9 9 0 ,   R O B O T I C   S Y S T E M S ,   V 7 ;   V e l a g a p u d i   P . ,   2 0 0 8 ,   P E R F O R M A N C E   M E T R I C S ;   V e l a g a p u d i   P . ,   2 0 0 8 ,   P   1   I N T   C   A D V   C O M P   I ;   V e l a g a p u d i   P . ,   2 0 0 8 ,   2 0 0 8   I N T   C   I N T   R O B   S ;   V e l a g a p u d i   P . ,   2 0 0 9 ,   2 0 0 9   I N T   C   I N T   R O B   S ;   W a n g   H . ,   2 0 0 9 ,   P   2 0 0 9   I E E E   I N T   C   S Y ;   W a n g   H . ,   2 0 1 1 ,   I N T   C   H U M   C O M P   I N T ,   P 1 4 ;   W a n g   H . ,   2 0 0 9 ,   P   4   A C M   I E E E   I N T   C   H ;   W a n g   H . ,   2 0 0 9 ,   P   H U M   F A C T   E R G   S O C   5 ;   W a n g   H . ,   2 0 1 0 ,   2 0 1 0   I E E E   I N T   C   S Y S T ;   W a n g   H . ,   2 0 1 1 ,   P   6   A C M   I E E E   I N T   C   H ;   W a n g   J . ,   2 0 0 7 ,   P   2 0 0 7   I E E E   I N T   C   S Y ;   W a n g   Y . ,   2 0 0 6 ,   P   A A A I ;   W a n g   Y . ,   2 0 0 6 ,   2 0 0 6   T R   N   C A R   S T A T   U ;   W a n g   Y . ,   2 0 0 7 ,   I J C A I ;   X u   Y ,   2 0 1 0 ,   P   2 0 1 0   I E E E   R S J   I N T ;   Z a d o r o z h n y   V . ,   2 0 1 1 ,   P   S U M ;   Z a d o r o z h n y   V . ,   2 0 1 3 ,   P   1 4   I N T   C   M O B   D A T   M ;   Z a r a t t i   M . ,   2 0 0 6 ,   L N A I 	 6 3 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 6 0 5 - 8 6 3 1 1 - 1 - 3 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 4 5 0 	 1 4 5 7 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B B 1 U M 	 W O S : 0 0 0 3 4 1 3 7 0 0 0 0 1 9 3 	 	 
 J 	 G o y a l ,   A 	 	 B e e s l e y ,   P ;   K h a n ,   O ;   S t a c e y ,   M 	 	 G o y a l ,   A k s h a y 	 	 	 H A C K I T E C T U R E :   O P E N   S O U R C E   E C O L O G Y   I N   A R C H I T E C T U R E 	 A C A D I A   2 0 1 3 :   A D A P T I V E   A R C H I T E C T U R E 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 3 r d   A n n u a l   C o n f e r e n c e   o f   t h e   A s s o c i a t i o n - f o r - C o m p u t e r - A i d e d - D e s i g n - i n - A r c h i t e c t u r e   ( A C A D I A ) 	 O C T   2 1 - 2 7 ,   2 0 1 3 	 C a m b r i d g e ,   C A N A D A 	 A s s o c   C o m p   A i d e d   D e s i g n   A r c h i t e c t u r e ,   S U N Y ,   U n i v   B u f f a l o ,   U n i v   N o t t i n g h a m ,   B e n t l e y ,   A u t o d e s k ,   M i t a c s ,   R i g i d i z e d M e t a l s ,   P I K E C O M P A N Y ,   C A S T ,   C I T A ,   F A B ,   F   R M   L a b ,   F A B R I C A T E   2 0 1 4 ,   A I A ,   O A A ,   C E ,   b u s t l e r 	 U n i v   W a t e r l o o ,   S c h   A r c h i t e c t u r e 	 	 D E S I G N 	 T h i s   p a p e r   d i s c u s s e s   t h e   c h a n g i n g   m o d e s   o f   c o n c e p t i o n ,   p r o d u c t i o n   a n d   c o n s u m p t i o n   o f   a r c h i t e c t u r e   w i t h i n   t h e   l a r g e r   o p e n   s o u r c e   d i s c o u r s e .   A n a l o g i e s   a r e   d r a w n   f r o m   t h e   f i e l d   o f   c o m p u t e r   s c i e n c e   t o   c o n c e p t u a l l y   u n d e r s t a n d   t h e   r e l e v a n c e   o f   i d e a s   l i k e   h a c k t i v i s m ,   c r o w d s o u r c i n g ,   o p e n   s o u r c e ,   s o c i a l   m e d i a   a n d   u s e r - c e n t r i c   a p p r o a c h e s   w i t h   r e g a r d   t o   a r c h i t e c t u r e   i n   t h e   t w e n t y - f i r s t   c e n t u r y .   T h e s e   i d e a s   a r e   d i s c u s s e d   i n   r e l a t i o n s h i p   w i t h   t h e   l o n g   l i n e a g e   o f   r e s e a r c h   c a r r i e d   o u t   w i t h i n   t h e   a r c h i t e c t u r a l   c o m m u n i t y   r e g a r d i n g   u s e r   p a r t i c i p a t i o n   i n   d e s i g n .   C o n t e m p o r a r y   i n t e r p r e t a t i o n   o f   s i m i l a r   i d e a s   i s   d i s c u s s e d   w i t h   r e l a t i o n   t o   h o w   t h e y   c o u l d   b e   s y s t e m a t i c a l l y   c l a s s i f i e d   b a s e d   o n   t h e   n a t u r e   o f   t h e   " o p e n "   a n d   t h e   " s o u r c e "   a s   a n   a p p r o a c h   t o w a r d   d e s i g n   a n d   a r c h i t e c t u r e .   H y b r i d i z i n g   t h e s e   a p p r o a c h e s   l e a d s   t o   w h a t   c a n   b e   t e r m e d   a s   " h a c k i t e c t u r e , "   a   s y s t e m i c   a p p r o p r i a t i o n   o f   t h e   h a c k e r   c u l t u r e   a n d   t h e   o p e n   s o u r c e   m o v e m e n t   a s   a n   a r c h i t e c t u r a l   a g e n c y .   T h e   e s s a y   t h e n   a r g u e s   f o r   a n   o p e n   s o u r c e   f r a m e w o r k   f o r   a r c h i t e c t u r e   w h e r e   o b v i o u s   d i f f e r e n c e s   b e t w e e n   t h e   u s e r   a n d   d e s i g n e r   a r e   d i s s o l v e d ,   a n d   w h e r e i n   t h e   c o n c e p t i o n - t o - p r o d u c t i o n   a n d   e v e n t u a l   c o n c e p t i o n   o f   t h e   a r c h i t e c t u r a l   " o b j e c t "   e x i s t s   a s   a   c o n t i n u u m .   S u c h   a   f r a m e w o r k   i s   d i s c u s s e d   w i t h   r e s p e c t   t o   t h e   t e c h n o l o g i c a l   s h i f t   e m e r g i n g   w i t h i n   t h e   d i s c i p l i n e .   T h e   e s s a y   c o n c l u d e s   w i t h   t h e   p o s s i b i l i t y   o f   s i t u a t i n g   s u c h   p r o c e s s e s   w i t h i n   t h e   l a r g e r   p o s t - c a p i t a l i s t   s o c i o p o l i t i c a l   t u r m o i l   s e e n   t o d a y   w h i l e   d i s c u s s i n g   t h e   p r o b l e m a t i c s   o f   s u c h   a n   a p p r o a c h . 	 [ G o y a l ,   A k s h a y ]   A r c h i t e c t u r a l   A s s o c   L o n d o n ,   L o n d o n ,   E n g l a n d 	 	 	 	 	 	 	 A l e x a n d e r   C ,   1 9 7 7 ,   P A T T E R N   L A N G U A G E   T O W ;   A l e x a n d e r   C . ,   1 9 6 4 ,   N O T E S   S Y N T H E S I S   F O R M ;   A w a n   N i s h a t ,   2 0 1 1 ,   S P A T I A L   A G E N C Y   O T H E R ;   A y r e s   P h i l ,   2 0 1 2 ,   P E R S I S T E N T   M O D E L L I N G ,   P 1 ;   C a r p o   M a r i o ,   2 0 1 1 ,   A L P H A B E T   A L G O R I T H M ;   C a r p o   M a r i o ,   2 0 1 3 ,   D I G I T A L   T U R N   A R C H I T E ;   C r o s s   N ,   2 0 0 1 ,   D E S   I S S U E S ,   V 1 7 ,   P 4 4 ,   D O I   1 0 . 1 1 6 2 / 0 7 4 7 9 3 6 0 1 5 2 6 8 1 0 8 3 ;   C r o s s   N i g e l ,   1 9 7 2 ,   D E S I G N   P A R T I C I P A T I O N ,   P 1 1 ;   D e   L a m a   J o s e   P e r e z ,   2 0 1 1 ,   H A C K I T E C T U R A ;   F r a z e r   J H ,   2 0 0 1 ,   K Y B E R N E T E S ,   V 3 0 ,   P 6 4 1 ,   D O I   1 0 . 1 1 0 8 / 0 3 6 8 4 9 2 0 1 1 0 3 9 1 8 9 6 ;   F r a z e r   J o h n ,   2 0 0 5 ,   A R C H I T   D E S I G N ,   V 7 5 ,   P 3 4 ,   D O I   1 0 . 1 0 0 2 / a d . 4 4 ;   F r i e d m a n   Y o n a ,   1 9 7 2 ,   D E S I G N   P A R T I C I P A T I O N ,   P 4 5 ;   F r i e d m a n   Y o n a ,   1 9 7 5 ,   S C I   A R C H I T E C T U R E ;   G o y a l   A k s h a y ,   2 0 1 3 ,   C   P   F U T   T R A D   1   E C A A D ,   P 2 1 7 ;   H a q u e   U s m a n ,   2 0 0 5 ,   A R C H F A R M ,   V 7 ,   P 1 ;   H i g h t   C ,   2 0 0 6 ,   A R C H I T   D E S I G N ,   P 5 ;   K a s p o r i   D e n n i s ,   2 0 0 3 ,   A R C H I S ,   V 3 ,   P 1 3 ;   N e g r o p o n t e   N . ,   1 9 7 5 ,   S O F T   A R C H I T E C T U R E   M A ;   R a t t i   C a r l o ,   2 0 1 1 ,   D O M U S ;   R a y m o n d   E r i c   S . ,   1 9 9 9 ,   C A T H E D R A L   B A Z A A R   M U S ;   S a l i n g a r o s   N i k o s ,   2 0 1 0 ,   P 2 P   U R B A N I S M ;   S t e e l e   B ,   2 0 0 6 ,   A R C H I T   D E S I G N ,   P 5 8 ;   T u r n e r   F . ,   2 0 0 6 ,   C O U N T E R C U L T U R E   C Y B E R ;   V a r d o u l i   T h e o d o r a ,   2 0 1 2 ,   T H E S I S   M I T ;   v o n   H i p p e l   E r i c ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   W i k i H o u s e ,   O P   S O U R C   C O N S T R   S E T ;   W i k i p e d i a   c o n t r i b u t o r s ,   2 0 1 2 ,   O P   A R C H 	 2 7 	 0 	 0 	 R I V E R S I D E   A R C H T E C T U R A L   P R E S S 	 T O R O N T O 	 U N I V   W A T E R L O O   S C H   A R C H I T E C T U R E   C A M B R I D G E ,   C / O   2 1 3   S T E R L I N G   R D ,   S U I T E   2 0 0 ,   T O R O N T O ,   O N T A R I O   M 6 R   2 B 2 ,   C A N A D A 	 	 	 9 7 8 - 1 - 9 2 6 7 2 4 - 2 7 - 0 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 8 3 	 1 8 9 	 	 	 	 7 	 A r c h i t e c t u r e 	 A r c h i t e c t u r e 	 B B 1 I P 	 W O S : 0 0 0 3 4 1 1 4 3 3 0 0 0 2 5 	 	 
 S 	 B a g c h i ,   S ;   A r s h a d ,   F ;   R e l l e r m e y e r ,   J ;   O s i e c k i ,   T ;   K i s t l e r ,   M ;   G h e i t h ,   A 	 	 	 I E E E 	 B a g c h i ,   S a u r a b h ;   A r s h a d ,   F a h a d ;   R e l l e r m e y e r ,   J a n ;   O s i e c k i ,   T h o m a s ;   K i s t l e r ,   M i c h a e l ;   G h e i t h ,   A h m e d 	 	 	 L i l l i p u t   m e e t s   B r o b d i n g n a g i a n :   D a t a   C e n t e r   S y s t e m s   M a n a g e m e n t   t h r o u g h   M o b i l e   D e v i c e s 	 2 0 1 3   4 3 R D   A N N U A L   I E E E / I F I P   I N T E R N A T I O N A L   C O N F E R E N C E   O N   D E P E N D A B L E   S Y S T E M S   A N D   N E T W O R K S   ( D S N ) 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   D e p e n d a b l e   S y s t e m s   a n d   N e t w o r k s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 3 r d   A n n u a l   I E E E / I F I P   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D e p e n d a b l e   S y s t e m s   a n d   N e t w o r k s   ( D S N ) 	 J U N   2 4 - 2 7 ,   2 0 1 3 	 B u d a p e s t ,   H U N G A R Y 	 I E E E ,   I F I P 	 	 	 	 I n   t h i s   p a p e r ,   w e   p u t   f o r w a r d   t h e   n o t i o n   t h a t   s y s t e m s   m a n a g e m e n t   f o r   l a r g e   m a s s e s   o f   v i r t u a l   m a c h i n e s   i n   d a t a   c e n t e r s   i s   g o i n g   t o   b e   d o n e   d i f f e r e n t l y   i n   t h e   s h o r t   t o   m e d i u m   t e r m   f u t u r e - t h r o u g h   s m a r t   p h o n e s   a n d   t h r o u g h   c o n t r o l l e d   c r o w d s o u r c i n g   t o   a   v a r i e t y   o f   e x p e r t s   w i t h i n   a n   o r g a n i z a t i o n ,   r a t h e r   t h a n   d e d i c a t e d   s y s t e m   a d m i n i s t r a t o r s   a l o n e .   W e   l a y   o u t   t h e   r e s e a r c h   a n d   p r a c t i t i o n e r   c h a l l e n g e s   t h i s   m o d e l   r a i s e s   a n d   g i v e   s o m e   p r e l i m i n a r y   s o l u t i o n   d i r e c t i o n s   t h a t   a r e   b e i n g   d e v e l o p e d ,   h e r e   a t   I B M   a n d   e l s e w h e r e . 	 [ B a g c h i ,   S a u r a b h ;   A r s h a d ,   F a h a d ]   P u r d u e   U n i v ,   W   L a f a y e t t e ,   I N   4 7 9 0 7   U S A 	 B a g c h i ,   S   ( r e p r i n t   a u t h o r ) ,   P u r d u e   U n i v ,   W   L a f a y e t t e ,   I N   4 7 9 0 7   U S A . 	 	 	 	 	 	 C a o   Q . ,   2 0 0 5 ,   P   4   S   I N F   P R O C   S E N S ;   C a r r o l l   A . ,   2 0 1 0 ,   U S E N I X   A T C ;   D e l l   I n c ,   R E M   M A N   B A S   M A N   C O N T ;   D u t t a   P . ,   2 0 0 5 ,   4   I N T   S   I N T   P R O C   S E N ;   H a n   B ,   2 0 1 2 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 1 ,   P 8 2 1 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 1 . 1 0 1 ;   H o q u e   M . ,   2 0 1 1 ,   C O N S   C O M M   N E T W   C   C C N ;   I B M ,   A D V   M A N   M O D ;   K o l i o u s i s   A ,   2 0 0 7 ,   2 0 0 7   1 0 T H   I F I P / I E E E   I N T E R N A T I O N A L   S Y M P O S I U M   O N   I N T E G R A T E D   N E T W O R K   M A N A G E M E N T   ( I M   2 0 0 9 ) ,   V O L S   1   A N D   2 ,   P 3 8 3 ,   D O I   1 0 . 1 1 0 9 / I N M . 2 0 0 7 . 3 7 4 8 0 3 ;   K u m a r   A .   M a j i ,   2 0 1 0 ,   I S S R E ,   P 2 4 9 ;   M a j i   A .   K . ,   2 0 1 2 ,   D S N ;   P i t k a n e n   M . ,   2 0 1 0 ,   I E E E   I N T   C   P E R V   C O M P ,   P 2 0 ;   R e l l e r m e y e r   J .   S . ,   2 0 1 2 ,   1 3   I N T   C   M O B   D A T   M A N ,   P 1 ;   S c h a i k   W .   V . ,   2 0 1 1 ,   U C S A N D ;   S h a h   A . ,   2 0 1 2 ,   H P   R E L E A S E   S E R V E R   M A ;   S h n a y d e r   V . ,   2 0 0 4 ,   S E N S Y S ;   S p l u n k   I n c ,   S P L U N K   A P P L   M A N ;   T r i p a t h i   A ,   2 0 0 2 ,   N O M S   2 0 0 2 :   I E E E / I F I P   N E T W O R K   O P E R A T I O N S   A N D   M A N A G E M E N T   S Y M P O S I U M ,   P 6 5 ,   D O I   1 0 . 1 1 0 9 / N O M S . 2 0 0 2 . 1 0 1 5 5 4 6 ;   T r i p a t h i   A R ,   2 0 0 7 ,   S O F T W A R E   P R A C T   E X P E R ,   V 3 7 ,   P 4 9 3 ,   D O I   1 0 . 1 0 0 2 / s p e . 7 7 7 ;   V a r a d a r a j a n   V . ,   2 0 1 2 ,   P   2 0 1 2   A C M   C   C O M P   C O ,   P 2 8 1 ;   W i l l i a m s   D . ,   2 0 1 1 ,   D E L L   B M C   I N D   I N S I G H T 	 2 0 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 5 3 0 - 0 8 8 9 	 	 9 7 8 - 1 - 4 7 9 9 - 0 1 8 1 - 4 ;   9 7 8 - 1 - 4 6 7 3 - 6 4 7 1 - 3 	 I   C   D E P E N D   S Y S   N E T W O 	 	 	 2 0 1 3 	 	 	 	 	 	 	 	 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B B 1 G X 	 W O S : 0 0 0 3 4 1 1 2 9 7 0 0 0 3 0 	 	 
 J 	 R a o ,   L 	 	 L u o ,   Q ;   Z h a n g ,   T 	 	 R a o ,   L a n 	 	 	 A n   I t e r a t i v e   a n d   S p i r a l   A p p r o a c h   t o   C o u r s e   P r a c t i c e s 	 2 0 1 3   I N T E R N A T I O N A L   C O N F E R E N C E   O N   E D U C A T I O N   A N D   E D U C A T I O N A L   R E S E A R C H   ( E E R   2 0 1 3 ) 	 A d v a n c e s   i n   E d u c a t i o n   S c i e n c e s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   E d u c a t i o n   a n d   E d u c a t i o n a l   R e s e a r c h   ( E E R ) 	 A U G   1 1 - 1 2 ,   2 0 1 3 	 S i n g a p o r e ,   S I N G A P O R E 	 	 	 C o u r s e   p r a c t i c e ;   I t e r a t i v e   a n d   s p i r a l   a p p r o a c h ;   C r o w d s o u r c i n g 	 	 T h i s   p a p e r   p r e s e n t s   a n   i t e r a t i v e   a n d   s p i r a l   a p p r o a c h   t o   c o u r s e   p r a c t i c e s f o r   u n d e r g r a d u a t e   a n d   g r a d u a t e e d u c a t i o n .   B a s e d   o n   t h e   a n a l y s i s   o n   t h e   c h a r a c t e r i s t i c s   a n d   r e q u i r e m e n t s   o f   t h e   c o u r s e   p r a c t i c e s ,   i t   i s   a r g u e d t h a t   t h e   c o u r s e   p r a c t i c e   p r o c e s s   s h o u l d   b e   t a k e n   i n   a   s t e p - b y - s t e p ,   i t e r a t i v e   a n d   g r a d u a l   i m p r o v e m e n t   w a y .   T h e   p r o p o s e d   a p p r o a c h c o n s i s t s   o f   f o u r   p h a s e s   a n d   e n c o u r a g e s   c r o w d   p a r t i c i p a t i o n   a n d   p r a c t i c e   s h a r i n g ,   w h i c h   i n s p i r e s   f r o m   t h e   s u c c e s s   o f   i n f o r m a t i o n   t e c h n o l o g y   l i k e   c r o w d s o u r c i n g   a n d   o p e n   s o u r c e .   S e v e r a l   d e s i g n   c o n s i d e r a t i o n s   o n   t h e   c o u r s e   p r a c t i c e s   a r e   i n t r o d u c e d .   B a s e d   o n   t h e   a p p r o a c h ,   t h e   w a y   t h a t   t h e   c o u r s e   p r a c t i c e   i s   t o   b e   p e r f o r m e d   h a s   b e e n   c h a n g e d .   A p p l i c a t i o n s   o f   t h e   p r o p o s e d   a p p r o a c h   s h o w   t h a t   i t   c a n   g r e a t l y   i m p r o v e   t h e   e n t h u s i a s m s   a n d   a c h i e v e m e n t s   o f   t h e   p a r t i c i p a t e d   s t u d e n t s a n d   t h e   q u a l i t y   o f   t h e   c o u r s e   p r a c t i c e s . 	 [ R a o ,   L a n ]   N a t l   U n i v   D e f   T e c h n o l ,   S c h   H u m a n i t i e s   &   S o c i a l   S c i ,   C h a n g s h a ,   H u n a n ,   P e o p l e s   R   C h i n a 	 	 r a o l a n 2 1 @ 2 1 c n . c o m 	 	 	 	 	 B r a d l e y   J e a n - C l a u d e ,   2 0 0 9 ,   J   C H E M I N F O R M A T I C S ,   V 1 ,   P 1 ;   Q i a n   X i a o y a o ,   2 0 1 2 ,   A D V   T E C H N O L O G Y   M A N A G ,   V 1 6 5 ,   P 5 3 1 ;   S k a r z a u s k a i t e   M o n i k a ,   2 0 1 2 ,   S O C I A L   T E C H N O L O G I E S ,   V 2 ,   P 6 7 ;   T s a y   J a s o n   T . ,   2 0 1 2 ,   P   A C M   2 0 1 2   C   C O M P   S U ,   P 2 2 3 	 4 	 0 	 0 	 S I N G A P O R E   M A N A G E M E N T   &   S P O R T S   S C I E N C E   I N S T   P T E   L T D 	 S I N G A P O R E 	 8   T E M A S E K   B O U L E V A R D   #   3 4 - 0 3   S U N T E C   T O W E R   T H R E E ,   S I N G A P O R E ,   0 3 8 9 8 8 ,   S I N G A P O R E 	 2 3 3 9 - 5 1 4 1 	 	 9 7 8 - 9 8 1 - 0 7 - 5 9 4 6 - 9 	 A D V   E D U C   S C I 	 	 	 2 0 1 3 	 1 	 	 	 	 	 	 1 4 2 	 1 4 5 	 	 	 	 4 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 B B 0 O B 	 W O S : 0 0 0 3 4 0 4 8 7 4 0 0 0 2 6 	 	 
 S 	 K r o n i s ,   C ;   K o n s t a n t i n i d i s ,   A ;   P a p a d o p o u l o s ,   H 	 	 P a p a d o p o u l o s ,   H ;   A n d r e o u ,   A S ;   I l i a d i s ,   L ;   M a g l o g i a n n i s ,   I 	 	 K r o n i s ,   C h r i s t o f o r o s ;   K o n s t a n t i n i d i s ,   A n d r e a s ;   P a p a d o p o u l o s ,   H a r r i s 	 	 	 H u m a n - L i k e   A g e n t s   f o r   a   S m a r t p h o n e   F i r s t   P e r s o n   S h o o t e r   G a m e   U s i n g   C r o w d s o u r c e d   D a t a 	 A R T I F I C I A L   I N T E L L I G E N C E   A P P L I C A T I O N S   A N D   I N N O V A T I O N S ,   A I A I   2 0 1 3 	 I F I P   A d v a n c e s   i n   I n f o r m a t i o n   a n d   C o m m u n i c a t i o n   T e c h n o l o g y 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 9 t h   I F I P   W G   1 2 . 5   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A r t i f i c i a l   I n t e l l i g e n c e   A p p l i c a t i o n s   a n d   I n n o v a t i o n s   ( A I A I ) 	 S E P   3 0 - O C T   0 2 ,   2 0 1 3 	 P a p h o s ,   C Y P R U S 	 I n t   F e d e r a t   I n f o r m a t   P r o c ,   W o r k i n g   G r p   1 2   5 ,   C y p r u s   U n i v   T e c h n o l ,   F r e d e r i c k   U n i v ,   R o y a l   H o l l o w a y ,   U n i v   L o n d o n ,   C o m p   S c i   D e p t ,   C y p r u s   T o u r i s m   O r g 	 	 	 	 T h e   e v o l u t i o n   o f   S m a r t p h o n e   d e v i c e s   w i t h   t h e i r   p o w e r f u l   c o m p u t i n g   c a p a b i l i t i e s   a n d   t h e i r   e v e r   i n c r e a s i n g   n u m b e r   o f   s e n s o r s   h a s   r e c e n t l y   i n t r o d u c e d   a n   u n p r e c e d e n t e d   a r r a y   o f   a p p l i c a t i o n s   a n d   g a m e s .   T h e   S m a r t p h o n e   u s e r s   w h o   a r e   c o n s t a n t l y   m o v i n g   a n d   s e n s i n g   a r e   a b l e   t o   p r o v i d e   l a r g e   a m o u n t s   o f   o p p o r t u n i s t i c / p a r t i c i p a t o r y   d a t a   t h a t   c a n   c o n t r i b u t e   t o   c o m p l e x   a n d   n o v e l   p r o b l e m   s o l v i n g ,   u n f o l d i n g   i n   t h i s   w a y   t h e   f u l l   p o t e n t i a l   o f   c r o w d s o u r c i n g .   C r o w d s o u r c e d   d a t a   c a n   t h e r e f o r e   b e   u t i l i z e d   f o r   o p t i m a l l y   m o d e l i n g   h u m a n - l i k e   b e h a v i o r   a n d   i m p r o v i n g   t h e   r e a l i z a b l i t y   o f   A I   g a m i n g .   I n   t h i s   s t u d y ,   w e   h a v e   d e v e l o p e d   a n   A u g m e n t e d   R e a l i t y   F i r s t   P e r s o n   S h o o t e r   g a m e ,   c o i n e d   A R   S h o o t e r ,   t h a t   a l l o w s   t h e   c r o w d   t o   c o n s t a n t l y   c o n t r i b u t e   t h e i r   g a m e   p l a y   a l o n g   w i t h   v a r i o u s   s p a t i o - t e m p o r a l   i n f o r m a t i o n .   T h e   c r o w d s o u r c e d   d a t a   a r e   u s e d   f o r   m o d e l i n g   t h e   h u m a n   p l a y e r ' s   b e h a v i o r   w i t h   A r t i f i c i a l   N e u r a l   N e t w o r k s .   T h e   r e s u l t i n g   m o d e l s   a r e   u t i l i z e d   b a c k   t o   t h e   g a m e ' s   e n v i r o n m e n t   t h r o u g h   A I   a g e n t s   m a k i n g   i t   m o r e   r e a l i s t i c   a n d   c h a l l e n g i n g .   O u r   e x p e r i m e n t a l   s t u d i e s   h a v e   s h o w n   t h a t   o u r   A I   a g e n t s   a r e   q u i t e   c o m p e t i t i v e ,   w h i l e   b e i n g   v e r y   d i f f i c u l t   t o   d i s t i n g u i s h   f r o m   h u m a n   p l a y e r s . 	 [ K r o n i s ,   C h r i s t o f o r o s ;   K o n s t a n t i n i d i s ,   A n d r e a s ;   P a p a d o p o u l o s ,   H a r r i s ]   F r e d e r i c k   U n i v ,   D e p t   C o m p   S c i   &   E n g n ,   N i c o s i a ,   C y p r u s 	 K r o n i s ,   C   ( r e p r i n t   a u t h o r ) ,   F r e d e r i c k   U n i v ,   D e p t   C o m p   S c i   &   E n g n ,   N i c o s i a ,   C y p r u s . 	 	 P a p a d o p o u l o s ,   H a r r i s / A - 4 9 9 0 - 2 0 1 3 	 P a p a d o p o u l o s ,   H a r r i s / 0 0 0 0 - 0 0 0 2 - 6 8 3 9 - 6 9 4 0 	 	 	 A z i z y a n   M . ,   2 0 0 9 ,   M O B I C O M ;   C a m p b e l l   A T ,   2 0 0 8 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 2 ,   P 1 2 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 8 . 9 0 ;   C h a t z i m i l o u d i s   G . ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ;   C o n r o y   D . ,   2 0 1 1 ,   P   8   I N T   C   A D V   C O M P   E ,   P 9 ;   D a s   T . ,   2 0 1 0 ,   M O B I S Y S ;   E r i k s s o n   J ,   2 0 0 8 ,   M O B I S Y S ' 0 8 :   P R O C E E D I N G S   O F   T H E   S I X T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   S Y S T E M S ,   A P P L I C A T I O N S ,   A N D   S E R V I C E S ,   P 2 9 ;   H a r r i s o n   B . ,   2 0 1 1 ,   P   6   I N T   C   F D N   D I G   G A ,   P 9 1 ;   K i e n z l e   J ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 7 3 5 ,   P 6 5 0 ;   K o n s t a n t i n i d i s   A . ,   2 0 1 1 ,   1 2   I N T   C   M O B   D A T   M A N ;   M i s s u r a   O . ,   2 0 0 9 ,   P   E C M L   2 0 0 9   W O R K S H   L ;   R a n a   R .   K . ,   2 0 1 0 ,   I P S N   1 0 ,   P 1 0 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 9 1 2 1 2 . 1 7 9 1 2 2 6 ;   T h i a g a r a j a n   A ,   2 0 0 9 ,   S E N S Y S   0 9 :   P R O C E E D I N G S   O F   T H E   7 T H   A C M   C O N F E R E N C E   O N   E M B E D D E D   N E T W O R K E D   S E N S O R   S Y S T E M S ,   P 8 5 ;   W a n g   D . ,   2 0 0 9 ,   2 1   A N N   C   I N N   A P P L   A R ;   Y a n n a k a k i s   G . N . ,   2 0 1 2 ,   P   9   A C M   C O M P   F R O N T   C ,   P 2 8 5 	 1 4 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 1 8 6 8 - 4 2 3 8 	 	 9 7 8 - 3 - 6 4 2 - 4 1 1 4 1 - 0 ;   9 7 8 - 3 - 6 4 2 - 4 1 1 4 2 - 7 	 I F I P   A D V   I N F   C O M M   T E 	 	 	 2 0 1 3 	 4 1 2 	 	 	 	 	 	 1 6 1 	 1 7 1 	 	 	 	 1 1 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 B B 0 P B 	 W O S : 0 0 0 3 4 0 5 6 5 3 0 0 0 1 7 	 	 
 S 	 G o n z a l e z ,   A L ;   I z i d o r o ,   D ;   W i l l r i c h ,   R ;   S a n t o s ,   C A S 	 	 A n t u n e s ,   P ;   G e r o s a ,   M A ;   S y l v e s t e r ,   A ;   V a s s i l e v a ,   J ;   D e V r e e d e ,   G J 	 	 G o n z a l e z ,   A n d r e   L i n s ;   I z i d o r o ,   D i e g o ;   W i l l r i c h ,   R o b e r t o ;   S a n t o s ,   C e l s o   A .   S . 	 	 	 O u r M a p :   R e p r e s e n t i n g   C r o w d s o u r c e d   A n n o t a t i o n s   o n   G e o s p a t i a l   C o o r d i n a t e s   a s   L i n k e d   O p e n   D a t a 	 C O L L A B O R A T I O N   A N D   T E C H N O L O G Y ,   C R I W G   2 0 1 3 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 9 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o l l a b o r a t i o n   a n d   T e c h n o l o g y   ( C R I W G ) 	 O C T   3 0 - N O V   0 1 ,   2 0 1 3 	 W e l l i n g t o n ,   N E W   Z E A L A N D 	 	 	 O p e n   A n n o t a t i o n ;   S e m a n t i c   W e b ;   R D F ;   V o l u n t e e r e d   G e o g r a p h i c   I n f o r m a t i o n 	 G E O G R A P H I C   I N F O R M A T I O N 	 T h e r e   i s   a n   i n c r e a s i n g   n u m b e r   o f   i n i t i a t i v e s   u s i n g   W e b - b a s e d   m a p p i n g   s y s t e m s   t h a t   r e l y   o n   c r o w d s o u r c i n g   a s   a   c o l l a b o r a t i v e   p r o b l e m - s o l v i n g   a n d   d a t a   p r o d u c t i o n   m o d e l .   I n   t h e s e   i n i t i a t i v e s ,   l a r g e   g r o u p s   o f   u s e r s   c a n   c o l l a b o r a t i v e l y   a n n o t a t e   s p a t i a l   t h i n g s   o n   a   m a p .   I d e a l l y ,   t h e s e   c r o w d s o u r c i n g   i n i t i a t i v e s   s h o u l d   p r o d u c e   L i n k e d   O p e n   D a t a   ( L O D )   t o   e n a b l e   p e o p l e / s y s t e m s   t o   s h a r e   s t r u c t u r e d   d a t a   a n d ,   c o n s e q u e n t l y ,   i m p r o v e   d i s t r i b u t e d   p r o b l e m - s o l v i n g   o n   t h e   W e b .   T h i s   p a p e r   p r e s e n t s   a n   a p p r o a c h   f o r   p r o d u c i n g   L O D   f r o m   c r o w d s o u r c e d   a n n o t a t i o n s   o n   W e b - b a s e d   m a p p i n g   s y s t e m s .   I n   t h i s   a p p r o a c h ,   a n n o t a t i o n s   a r e   r e p r e s e n t e d   u s i n g   t h e   O p e n   A n n o t a t i o n   d a t a   m o d e l   a n d   t h e y   h a v e   a s   t a r g e t   a   g e o s p a t i a l   c o o r d i n a t e   r e f e r e n c e d   u s i n g   t h e   g e o   U R I .   M o r e o v e r ,   w e   c o m b i n e   c r o w d s o u r c e d   m a p   a n n o t a t i o n s   w i t h   s e m a n t i c   W e b   t e c h n o l o g i e s   t o   e n r i c h   m a p s   w i t h   s e m a n t i c   i n f o r m a t i o n .   T o   d e m o n s t r a t e   t h e   f e a s i b i l i t y   o f   o u r   a p p r o a c h ,   w e   p r e s e n t   t h e   O u r M a p   s y s t e m ,   w h i c h   p e r f o r m s   t h e   p r o p o s e d   a p p r o a c h   a l l o w i n g   t h e   r e p r e s e n t a t i o n   o f   o p e n   a n d   s e m a n t i c   a n n o t a t i o n s   a s s o c i a t e d   w i t h   g e o s p a t i a l   c o o r d i n a t e s   i n d e p e n d e n t l y   o f   t h e   W e b   m a p   i n t e r f a c e   a d o p t e d . 	 [ G o n z a l e z ,   A n d r e   L i n s ;   I z i d o r o ,   D i e g o ;   W i l l r i c h ,   R o b e r t o ]   U n i v   F e d   S a n t a   C a t a r i n a ,   D e p t   I n f o r m a t   &   S t a t ,   B R - 8 8 0 4 0 9 0 0   F l o r i a n o p o l i s ,   S C ,   B r a z i l 	 G o n z a l e z ,   A L   ( r e p r i n t   a u t h o r ) ,   U n i v   F e d   S a n t a   C a t a r i n a ,   D e p t   I n f o r m a t   &   S t a t ,   B R - 8 8 0 4 0 9 0 0   F l o r i a n o p o l i s ,   S C ,   B r a z i l . 	 a n d r e . l g o n z @ i n f . u f s c . b r ;   d i e g o . i z i d o r o @ i n f . u f s c . b r ;   w i l l r i c h @ i n f . u f s c . b r ;   s a i b e l @ i n f . u f e s . b r 	 	 	 	 	 A r p i n a r   I . B . ,   2 0 0 6 ,   T   G I S ,   V 1 0 ,   P 5 5 1 ;   A u e r   S ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 8 2 3 ,   P 7 3 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 4 9 3 0 - 9 _ 4 6 ;   B a l l a t o r e   A . ,   2 0 1 2 ,   K N O W L   I N F   S Y S T ,   P 1 ;   B e r n e r s - L e e   T . ,   2 0 1 3 ,   L I N K E D   D A T A   D E S I G N   I ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C o u c l e l i s   H ,   2 0 1 0 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 4 ,   P 1 7 8 5 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 6 . 2 0 1 0 . 4 8 4 3 9 2 ;   D a v i e s   J . ,   2 0 0 6 ,   S E M A N T I C   W E B   T E C H N O L ;   D e c k e r   B . ,   1 9 8 6 ,   W O R L D   G E O D E T I C   S Y S T E ;   D e s c a m p s - V i l a   L . ,   2 0 1 2 ,   I N T   C   I N T   N E T W   C O L L ,   P 4 7 7 ;   F u r t a d o   V ,   2 0 1 0 ,   I N F O R M   S C I E N C E S ,   V 1 8 0 ,   P 4 ,   D O I   1 0 . 1 0 1 6 / j . i n s . 2 0 0 9 . 0 8 . 0 0 4 ;   G e n s   L ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 7 8 4 ,   P 2 9 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 4 2 1 6 - 4 _ 2 4 ;   G o n z a l e z   A . L . ,   2 0 1 3 ,   S B C   S B S I   B R A Z   S   I N F ;   G o o d c h i l d   M F ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 3 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 7 5 9 2 5 5 ;   H a k l a y   M ,   2 0 0 8 ,   I E E E   P E R V A S   C O M P U T ,   V 7 ,   P 1 2 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 0 8 . 8 0 ;   H a s l h o f e r   B . ,   2 0 1 3 ,   I C O N F E R E N C E   P ;   H a s l h o f e r   B ,   2 0 1 4 ,   M U L T I M E D   T O O L S   A P P L ,   V 7 0 ,   P 8 4 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 2 - 1 0 9 8 - 9 ;   H e i p k e   C ,   2 0 1 0 ,   I S P R S   J   P H O T O G R A M M ,   V 6 5 ,   P 5 5 0 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 1 0 . 0 6 . 0 0 5 ;   H o r r o c k s   I . ,   2 0 0 4 ,   W 3 C   M E M B E R   S U B M I S S I O ,   V 2 1 ,   P 7 9 ;   K a h a n   J ,   2 0 0 1 ,   P   1 0   I N T   W O R L D   W I D   W ,   P 6 2 3 ,   D O I   1 0 . 1 1 4 5 / 3 7 1 9 2 0 . 3 7 2 1 6 6 ;   K i m   H . L . ,   2 0 0 8 ,   P   I N T   C   D U B L   C O R   M E T ;   K l i e n   E ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 6 9 3 ,   P 1 3 3 ;   L o r e n z   B . ,   2 0 0 5 ,   A 1 D 4   R E W E R S E   U   M U N   I ;   M a y r h o f e r   A . ,   2 0 1 0 ,   5 8 7 0   I E T F   R F C ;   M i l n e   D . ,   2 0 0 8 ,   P   1 7   A C M   C   I N F   K N O W L ,   P 5 0 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 5 8 0 8 2 . 1 4 5 8 1 5 0 ;   Q u r e s h i   H . ,   2 0 1 1 ,   P r o c e e d i n g s   o f   t h e   2 0 1 1   4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D e v e l o p m e n t s   i n   e - s y s t e m s   E n g i n e e r i n g   ( D e S E   2 0 1 1 ) ,   D O I   1 0 . 1 1 0 9 / D e S E . 2 0 1 1 . 9 0 ;   R a i m o n d   Y . ,   2 0 0 7 ,   T E C H N I C A L   R E P O R T ;   S a n d e r s o n   R . ,   O P E N   A N N O T A T I O N   C O R E ;   S c h e r p   A . ,   2 0 0 9 ,   5   I N T   C   K N O W L   C A P T   K ;   S c h u l z   A . ,   2 0 1 2 ,   P   I E E E   G L O B   H U M   T E C H ,   P 1 4 3 ;   S h a w   R ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 9 2 6 ,   P 1 5 3 ;   v a n   H a g e   W . R . ,   2 0 0 9 ,   W E B   S E M A N T I C S   S C I   S E ,   V 9 ,   P 1 2 8 ;   Z h a o   P . ,   2 0 0 9 ,   H D B   R E S   G E O I N F O R M A T I 	 3 2 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 1 3 4 7 - 6 ;   9 7 8 - 3 - 6 4 2 - 4 1 3 4 6 - 9 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 8 2 2 4 	 	 	 	 	 	 7 7 	 9 3 	 	 	 	 1 7 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 0 O U 	 W O S : 0 0 0 3 4 0 5 5 0 2 0 0 0 0 7 	 	 
 S 	 d e   V r e e d e ,   T ;   N g u y e n ,   C ;   d e   V r e e d e ,   G J ;   B o u g h z a l a ,   I ;   O h ,   O ;   R e i t e r - P a l m o n ,   R 	 	 A n t u n e s ,   P ;   G e r o s a ,   M A ;   S y l v e s t e r ,   A ;   V a s s i l e v a ,   J ;   D e V r e e d e ,   G J 	 	 d e   V r e e d e ,   T r i p a r n a ;   N g u y e n ,   C u o n g ;   d e   V r e e d e ,   G e r t - J a n ;   B o u g h z a l a ,   I m e d ;   O h ,   O n o o k ;   R e i t e r - P a l m o n ,   R o n i 	 	 	 A   T h e o r e t i c a l   M o d e l   o f   U s e r   E n g a g e m e n t   i n   C r o w d s o u r c i n g 	 C O L L A B O R A T I O N   A N D   T E C H N O L O G Y ,   C R I W G   2 0 1 3 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 9 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o l l a b o r a t i o n   a n d   T e c h n o l o g y   ( C R I W G ) 	 O C T   3 0 - N O V   0 1 ,   2 0 1 3 	 W e l l i n g t o n ,   N E W   Z E A L A N D 	 	 	 C r o w d s o u r c i n g ;   e n g a g e m e n t ;   o p e n   c o l l a b o r a t i o n ;   m o t i v a t i o n ;   s o c i a l   m e d i a 	 S I T U A T I O N A L   I N T E R E S T ;   C O L L E C T I V E   I N T E L L I G E N C E ;   I N T R I N S I C   M O T I V A T I O N ;   C O G N I T I V E   E N G A G E M E N T ;   E M P L O Y E E   E N G A G E M E N T ;   S E L F - D E T E R M I N A T I O N ;   T O P I C   I N T E R E S T ;   G O A L ;   T E X T ;   P A R T I C I P A T I O N 	 S o c i a l   m e d i a   t e c h n o l o g y   h a s   e n a b l e d   v i r t u a l   c o l l a b o r a t i v e   e n v i r o n m e n t s   w h e r e   p e o p l e   a c t i v e l y   i n t e r a c t ,   s h a r e   k n o w l e d g e ,   c o o r d i n a t e   a c t i v i t i e s ,   s o l v e   p r o b l e m s ,   c o - c r e a t e   v a l u e ,   a n d   i n n o v a t e .   O r g a n i z a t i o n s   h a v e   b e g u n   t o   l e v e r a g e   a p p r o a c h e s   a n d   t e c h n o l o g i e s   t o   i n v o l v e   n u m e r o u s   p e o p l e   f r o m   o u t s i d e   t h e i r   b o u n d a r i e s   t o   p e r f o r m   o r g a n i z a t i o n a l   t a s k s .   D e s p i t e   t h e   s u c c e s s   a n d   p o p u l a r i t y   o f   t h i s   ' c r o w d s o u r c i n g '   p h e n o m e n o n ,   t h e r e   a p p e a r s   t o   b e   a   d i s t i n c t   g a p   i n   t h e   l i t e r a t u r e   r e g a r d i n g   t h e   e m p i r i c a l   e v a l u a t i o n   o f   t h e   f a c t o r s   i n v o l v e d   i n   a   c r o w d s o u r c i n g   u s e r   e x p e r i e n c e .   T h i s   p a p e r   a i m s   t o   f i l l   t h i s   v o i d   b y   p r o p o s i n g   a   t h e o r e t i c a l   m o d e l   o f   t h e   a n t e c e d e n t s   a n d   t h e i r   r e l a t i o n s h i p s   f o r   c r o w d s o u r c i n g   u s e r   e n g a g e m e n t .   I t   i s   d e f i n e d   a s   t h e   q u a l i t y   o f   e f f o r t   o n l i n e   u s e r s   d e v o t e   t o   c o l l a b o r a t i o n   a c t i v i t i e s   t h a t   c o n t r i b u t e   d i r e c t l y   t o   d e s i r e d   o u t c o m e s .   D r a w i n g   f r o m   r e s e a r c h   i n   p s y c h o l o g y   a n d   I S ,   w e   i d e n t i f y   t h r e e   c r i t i c a l   e l e m e n t s   t h a t   p r e c e d e   c r o w d s o u r c i n g   u s e r   e n g a g e m e n t :   p e r s o n a l   i n t e r e s t   i n   t o p i c ,   g o a l   c l a r i t y ,   a n d   m o t i v a t i o n   t o   c o n t r i b u t e .   T h i s   p a p e r   e x a m i n e s   t h e   t h e o r e t i c a l   b a s i s   o f   t h e s e   v a r i a b l e s   o f   i n t e r e s t   i n   d e t a i l ,   d e r i v e s   a   c a u s a l   m o d e l   o f   t h e i r   i n t e r r e l a t i o n s h i p s ,   a n d   i d e n t i f i e s   f u t u r e   p l a n s   f o r   m o d e l   t e s t i n g . 	 [ d e   V r e e d e ,   T r i p a r n a ;   N g u y e n ,   C u o n g ;   d e   V r e e d e ,   G e r t - J a n ;   O h ,   O n o o k ;   R e i t e r - P a l m o n ,   R o n i ]   U n i v   N e b r a s k a ,   C t r   C o l l a b o r a t   S c i ,   O m a h a ,   N E   6 8 1 8 2   U S A 	 d e   V r e e d e ,   T   ( r e p r i n t   a u t h o r ) ,   U n i v   N e b r a s k a ,   C t r   C o l l a b o r a t   S c i ,   O m a h a ,   N E   6 8 1 8 2   U S A . 	 t d e v r e e d e @ u n o m a h a . e d u ;   c d n g u y e n @ u n o m a h a . e d u ;   g d e v r e e d e @ u n o m a h a . e d u ;   i m e d . b o u g h z a l a @ t e l e c o m - e m . e u ;   o n o o k o h @ g m a i l . c o m ;   r r e i t e r - p a l m o n @ u n o m a h a . e d u 	 	 	 	 	 A i t a m u r t o   T . ,   2 0 1 1 ,   P R O M I S E   I D E A   C R O W D S O ;   A n t o n i s o n   M . ,   2 0 1 1 ,   T H E S I S ,   P 7 2 ;   A t t f i e l d   S . ,   2 0 1 1 ,   W S D M   W O R K S H   U S   M O D   W ;   B A R O N   R M ,   1 9 8 6 ,   J   P E R S   S O C   P S Y C H O L ,   V 5 1 ,   P 1 1 7 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 5 1 . 6 . 1 1 7 3 ;   B A R O U D I   J J ,   1 9 8 9 ,   M I S   Q U A R T ,   V 1 3 ,   P 8 7 ,   D O I   1 0 . 2 3 0 7 / 2 4 8 7 0 4 ;   B e l l e a m m e   P . ,   2 0 1 0 ,   P   I N T   C   F R E N C H   F I N   A ;   B i p p   T ,   2 0 1 1 ,   P E R S   R E V ,   V 4 0 ,   P 3 0 6 ,   D O I   1 0 . 1 1 0 8 / 0 0 4 8 3 4 8 1 1 1 1 1 1 8 6 3 0 ;   B o b e k   D ,   2 0 0 9 ,   J   A P P L   D E V   P S Y C H O L ,   V 3 0 ,   P 6 1 5 ,   D O I   1 0 . 1 0 1 6 / j . a p p d e v . 2 0 0 9 . 0 7 . 0 0 5 ;   B o m m e r t   B . ,   2 0 1 0 ,   I N T   P U B L I C   M A N A G   J ,   V 1 1 ,   P 1 5 ;   B o n a b e a u   E ,   2 0 0 9 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 4 5 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   M O V I N G   C R O W D   I S T O C K ,   V 1 3 ;   B r a b h a m   D C ,   2 0 0 9 ,   P L A N   T H E O R ,   V 8 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 9 1 0 4 8 2 4 ;   B r i t o   J . ,   2 0 0 8 ,   P U B L I C   M A N A G E R ,   V 3 7 ,   P 2 2 ;   C a s a l   D P ,   2 0 1 1 ,   L E O N A R D O   M U S I C   J ,   V 2 1 ,   P 2 5 ;   C h a n d l e r   D . ,   2 0 1 3 ,   J   E C   B E H A V   O R G ;   C h e n   H ,   1 9 9 9 ,   A S S O C I A T I O N   F O R   I N F O R M A T I O N   S Y S T E M S   -   P R O C E E D I N G S   O F   T H E   F I F T H   A M E R I C A S   C O N F E R E N C E   O N   I N F O R M A T I O N   S Y S T E M S   ( A M C I S   1 9 9 9 ) ,   P 6 9 2 ;   C o a t e s   H . ,   2 0 0 5 ,   Q U A L I T Y   H I G H E R   E D ,   V 1 1 ,   P 2 5 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 3 5 3 8 3 2 0 5 0 0 0 7 4 9 1 5 ;   C o x   L P ,   2 0 1 1 ,   I E E E   S E C U R   P R I V ,   V 9 ,   P 7 4 ,   D O I   1 0 . 1 1 0 9 / M S P . 2 0 1 1 . 1 4 5 ;   D a v i s   S ,   2 0 0 1 ,   I N T E R A C T   C O M P U T ,   V 1 3 ,   P 5 4 9 ,   D O I   1 0 . 1 0 1 6 / S 0 9 5 3 - 5 4 3 8 ( 0 1 ) 0 0 0 3 4 - 0 ;   D E C I   E L ,   1 9 8 5 ,   J   R E S   P E R S ,   V 1 9 ,   P 1 0 9 ,   D O I   1 0 . 1 0 1 6 / 0 0 9 2 - 6 5 6 6 ( 8 5 ) 9 0 0 2 3 - 6 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   D u b a c h   E . ,   2 0 1 1 ,   P   A M C I S   2 0 1 1 ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F i t t   V . A . ,   2 0 1 1 ,   W   M I T C H E L L   L A W   R E V ,   V 3 7 ,   P 1 8 3 9 ;   F l o w e r d a y   T ,   2 0 0 4 ,   J   E X P   E D U C ,   V 7 2 ,   P 9 3 ,   D O I   1 0 . 3 2 0 0 / J E X E . 7 2 . 2 . 9 3 - 1 1 4 ;   G u o   Y M ,   2 0 0 9 ,   I N F O R M   S Y S T   J ,   V 1 9 ,   P 3 6 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 5 7 5 . 2 0 0 7 . 0 0 2 9 2 . x ;   H a n s s o n   A S ,   2 0 0 9 ,   W O R K ,   V 3 3 ,   P 5 3 ,   D O I   1 0 . 3 2 3 3 / W O R - 2 0 0 9 - 0 8 4 3 ;   H e e r   J ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 0 3 ;   H I D I   S ,   1 9 9 0 ,   R E V   E D U C   R E S ,   V 6 0 ,   P 5 4 9 ,   D O I   1 0 . 3 1 0 2 / 0 0 3 4 6 5 4 3 0 6 0 0 0 4 5 4 9 ;   H I D I   S ,   1 9 8 6 ,   C O G N I T I V E   S C I ,   V 1 0 ,   P 1 7 9 ,   D O I   1 0 . 1 2 0 7 / s 1 5 5 1 6 7 0 9 c o g 1 0 0 2 _ 3 ;   H o   S S ,   2 0 0 8 ,   N E W   M E D I A   S O C ,   V 1 0 ,   P 9 3 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 0 7 0 8 5 3 2 3 ;   H o w e   J . ,   2 0 0 6 ,   C R O W D S O U R C I N G   D E F I N I ;   H u   J ,   2 0 1 1 ,   J   A P P L   P S Y C H O L ,   V 9 6 ,   P 8 5 1 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 2 4 6 5 ;   K a m i l   M .   L . ,   2 0 0 0 ,   H D B   R E A D I N G   R E S ,   V 3 ,   P 2 8 5 ;   K l e i n g i n n a   P .   R . ,   1 9 8 1 ,   M O T I V   E M O T I O N ,   V 5 ,   P 2 6 3 ,   D O I   D O I   1 0 . 1 0 0 7 / B F 0 0 9 9 3 8 8 9 ;   L A C Z N I A K   R N ,   1 9 9 3 ,   J   A D V E R T I S I N G ,   V 2 2 ,   P 5 9 ;   L e h m a n n   J . ,   2 0 1 2 ,   U M A P   2 0 1 2   L N C S ,   V 7 3 7 9 ,   P 1 6 4 ;   L i n   H . F . ,   2 0 0 6 ,   M U L T I M E D I A   V I R T U A L   R ,   V 9 ,   P 5 4 0 ,   D O I   [ 1 0 . 1 0 8 9 / c p b . 2 0 0 6 . 9 . 5 4 0 ,   D O I   1 0 . 1 0 8 9 / C P B . 2 0 0 6 . 9 . 5 4 0 ] ;   L u d w i g   T D ,   2 0 1 2 ,   J   O R G A N   B E H A V   M A N A G E ,   V 3 2 ,   P 7 5 ,   D O I   1 0 . 1 0 8 0 / 0 1 6 0 8 0 6 1 . 2 0 1 1 . 6 1 9 4 3 9 ;   M a c e y   W H ,   2 0 0 8 ,   I N D   O R G A N   P S Y C H O L - U S ,   V 1 ,   P 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 5 4 - 9 4 3 4 . 2 0 0 7 . 0 0 0 2 . x ;   M E E C E   J L ,   1 9 8 8 ,   J   E D U C   P S Y C H O L ,   V 8 0 ,   P 5 1 4 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 0 6 6 3 . 8 0 . 4 . 5 1 4 ;   M e y e r   J P ,   2 0 0 4 ,   J   A P P L   P S Y C H O L ,   V 8 9 ,   P 9 9 1 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 1 - 9 0 1 0 . 8 9 . 6 . 9 9 1 ;   M i t c h e l l   T .   R . ,   1 9 8 2 ,   A C A D   M A N A G E   R E V ,   V 7 ,   P 8 0 ,   D O I   1 0 . 2 3 0 7 / 2 5 7 2 5 1 ;   N a m   T . ,   2 0 1 0 ,   A M C I S   2 0 1 0   P ;   N o r m a n   T . C . ,   2 0 1 1 ,   S C I   T R A N S L A T I O N A L   M E ,   V 3 ;   P a s e k   J ,   2 0 0 6 ,   C O M M U N   R E S ,   V 3 3 ,   P 1 1 5 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 3 6 5 0 2 0 6 2 8 7 0 7 3 ;   P e d e r s e n   J . ,   2 0 1 3 ,   H A W   I N T   C   S Y S T   S C I ;   P i n d e r   C . C . ,   1 9 9 8 ,   M O T I V A T I O N   W O R K   O R G ;   P r e a c h e r   K . ,   2 0 0 1 ,   C A L C U L A T I O N   S O B E L   T E ;   R e n n i n g e r   K .   A . ,   1 9 9 2 ,   R O L E   I N T E R E S T   L E A R N I ,   P 3 ;   R o g s t a d i u s   J . ,   2 0 1 1 ,   P   5   I N T   A A A I   C   W E B L ;   R y a n   R M ,   2 0 0 0 ,   A M   P S Y C H O L ,   V 5 5 ,   P 6 8 ,   D O I   1 0 . 1 0 3 7 / / 0 0 0 3 - 0 6 6 X . 5 5 . 1 . 6 8 ;   R y a n   R . M . ,   1 9 9 1 ,   A D V   M O T I V A T I O N   A C H I E ,   V 7 ,   P 1 1 5 ;   S a k s   A .   M . ,   2 0 0 6 ,   J   M A N A G E R I A L   P S Y C H O L ,   V 2 1 ,   P 6 0 0 ,   D O I   [ 1 0 . 1 1 0 8 / 0 2 6 8 3 9 4 0 6 1 0 6 9 0 1 6 9 ,   D O I   1 0 . 1 1 0 8 / 0 2 6 8 3 9 4 0 6 1 0 6 9 0 1 6 9 ] ;   S A W Y E R   J E ,   1 9 9 2 ,   J   A P P L   P S Y C H O L ,   V 7 7 ,   P 1 3 0 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 1 - 9 0 1 0 . 7 7 . 2 . 1 3 0 ;   S a x t o n   G . ,   2 0 1 3 ,   I N F O R M   S Y S T E M S   M A N A G ,   V 3 0 ,   P 1 ;   S c h i e f e l e   U ,   1 9 9 6 ,   L E A R N   I N D I V I D   D I F F E R ,   V 8 ,   P 1 4 1 ,   D O I   1 0 . 1 0 1 6 / S 1 0 4 1 - 6 0 8 0 ( 9 6 ) 9 0 0 3 0 - 8 ;   S c h i e f e l e   U ,   1 9 9 6 ,   C O N T E M P   E D U C   P S Y C H O L ,   V 2 1 ,   P 3 ,   D O I   1 0 . 1 0 0 6 / c e p s . 1 9 9 6 . 0 0 0 2 ;   S c h i e f e l e   U . ,   1 9 9 1 ,   E D U C   P S Y C H O L ,   V 2 6 ,   P 2 9 9 ,   D O I   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 6 9 8 5 E P 2 6 0 3 & 4 _ 5 ;   S c h i e f e l e   U . ,   1 9 9 9 ,   S C I   S T U D   R E A D ,   V 3 ,   P 2 5 7 ,   D O I   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 7 9 9 X S S R 0 3 0 3 _ 4 ;   S c h i e f e l e   U . ,   1 9 9 0 ,   L E A R N I N G   E N V ,   P 3 2 3 ,   D O I   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 8 4 2 5 6 - 6 _ 2 5 ;   S c h r a w   G ,   2 0 0 1 ,   E D U C   P S Y C H O L   R E V ,   V 1 3 ,   P 2 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 9 0 0 4 8 0 1 4 5 5 ;   S C H R A W   G ,   1 9 9 5 ,   J   R E A D I N G   B E H A V ,   V 2 7 ,   P 1 ;   S c h r a w   G ,   1 9 9 7 ,   C O N T E M P   E D U C   P S Y C H O L ,   V 2 2 ,   P 4 3 6 ,   D O I   1 0 . 1 0 0 6 / c e p s . 1 9 9 7 . 0 9 4 4 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T O B I A S   S ,   1 9 9 4 ,   R E V   E D U C   R E S ,   V 6 4 ,   P 3 7 ,   D O I   1 0 . 3 1 0 2 / 0 0 3 4 6 5 4 3 0 6 4 0 0 1 0 3 7 ;   T o w e r s   P . ,   2 0 0 3 ,   T O W E R S   P E R R I N   T A L E N T ;   v a n   S c h a i k   P ,   2 0 0 3 ,   I N T   J   H U M - C O M P U T   S T ,   V 5 9 ,   P 5 4 5 ,   D O I   1 0 . 1 0 1 6 / S 1 0 7 1 - 5 8 1 9 ( 0 3 ) 0 0 0 7 8 - 8 ;   V u k o v i c   M ,   2 0 0 9 ,   2 0 0 9   I E E E   C O N G R E S S   O N   S E R V I C E S   ( S E R V I C E S - 1   2 0 0 9 ) ,   V O L S   1   A N D   2 ,   P 6 8 6 ,   D O I   1 0 . 1 1 0 9 / S E R V I C E S - I . 2 0 0 9 . 5 6 ;   W a d e   S E ,   1 9 9 9 ,   R E A D   R E S   Q U A R T ,   V 3 4 ,   P 1 9 4 ,   D O I   1 0 . 1 5 9 8 / R R Q . 3 4 . 2 . 4 ;   W a d e   S . E . ,   1 9 9 2 ,   R O L E   I N T E R E S T   L E A R N I ,   P 2 5 5 ;   W a l k e r   C O ,   2 0 0 6 ,   L E A R N   I N D I V I D   D I F F E R ,   V 1 6 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . l i n d i f . 2 0 0 5 . 0 6 . 0 0 4 ;   Z h e n g   H C ,   2 0 1 1 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 5 7 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 4 0 2 ;   Z y n g i e r   D ,   2 0 0 8 ,   T E A C H   T E A C H   E D U C ,   V 2 4 ,   P 1 7 6 5 ,   D O I   1 0 . 1 0 1 6 / j . t a t e . 2 0 0 7 . 0 9 . 0 0 4 	 7 4 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 1 3 4 7 - 6 ;   9 7 8 - 3 - 6 4 2 - 4 1 3 4 6 - 9 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 8 2 2 4 	 	 	 	 	 	 9 4 	 1 0 9 	 	 	 	 1 6 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 0 O U 	 W O S : 0 0 0 3 4 0 5 5 0 2 0 0 0 0 8 	 	 
 S 	 T h u a n ,   N H ;   A n t u n e s ,   P ;   J o h n s t o n e ,   D 	 	 A n t u n e s ,   P ;   G e r o s a ,   M A ;   S y l v e s t e r ,   A ;   V a s s i l e v a ,   J ;   D e V r e e d e ,   G J 	 	 N g u y e n   H o a n g   T h u a n ;   A n t u n e s ,   P e d r o ;   J o h n s t o n e ,   D a v i d 	 	 	 F a c t o r s   I n f l u e n c i n g   t h e   D e c i s i o n   t o   C r o w d s o u r c e 	 C O L L A B O R A T I O N   A N D   T E C H N O L O G Y ,   C R I W G   2 0 1 3 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 9 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o l l a b o r a t i o n   a n d   T e c h n o l o g y   ( C R I W G ) 	 O C T   3 0 - N O V   0 1 ,   2 0 1 3 	 W e l l i n g t o n ,   N E W   Z E A L A N D 	 	 	 C r o w d s o u r c i n g ;   c r o w d s o u r c i n g   d e c i s i o n ;   b u s i n e s s   p r o c e s s ;   l i t e r a t u r e   r e v i e w ;   s o c i o - t e c h n i c a l   s y s t e m 	 P A R T I C I P A T I O N ;   S Y S T E M S ;   M O T I V A T I O N S ;   E N T E R P R I S E ;   S E A R C H ;   M O D E L S ;   W E B 	 I n   o r d e r   t o   i n t e g r a t e   a   c r o w d s o u r c i n g   s t r a t e g y   t o   a n   o r g a n i z a t i o n ' s   b u s i n e s s   p r o c e s s e s ,   m a n a g e r s   n e e d   t o   d e c i d e   w h e t h e r   o r   n o t   c r o w d s o u r c i n g   i s   s u i t a b l e   f o r   t h e   o r g a n i z a t i o n a l   c o n t e x t .   T h i s   s t u d y   c o n d u c t e d   a   s t r u c t u r e d   l i t e r a t u r e   r e v i e w   t o   i d e n t i f y   f a c t o r s   r e l a t e d   t o   t h i s   d e c i s i o n .   T h e s e   i d e n t i f i e d   f a c t o r s   h a v e   b e e n   s y n t h e s i z e d   i n t o   a   f r a m e w o r k   f o r   s u p p o r t i n g   t h e   d e c i s i o n   t o   c r o w d s o u r c e .   B a s e d   o n   t h i s   f r a m e w o r k ,   r e c o m m e n d a t i o n s   f o r   m a n a g e r s ,   w h i c h   w e r e   s u m m a r i z e d   i n   t h e   d e c i s i o n   t a b l e s ,   h a v e   b e e n   p r o p o s e d . 	 [ N g u y e n   H o a n g   T h u a n ;   A n t u n e s ,   P e d r o ;   J o h n s t o n e ,   D a v i d ]   V U W ,   S c h   I n f o r m a t   M a n a g e m e n t ,   W e l l i n g t o n ,   N e w   Z e a l a n d 	 T h u a n ,   N H   ( r e p r i n t   a u t h o r ) ,   V U W ,   S c h   I n f o r m a t   M a n a g e m e n t ,   R u t h e r f o r d   H o u s e   2 3   L a m b t o n   Q u a y , P i p i t e a   C a m p u s ,   W e l l i n g t o n ,   N e w   Z e a l a n d . 	 T h u a n . N g u y e n @ v u w . a c . n z ;   P e d r o . A n t u n e s @ v u w . a c . n z ;   D a v i d . J o h n s t o n e @ v u w . a c . n z 	 	 	 	 	 A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   A n d r i o l e   S J ,   2 0 1 0 ,   C O M M U N   A C M ,   V 5 3 ,   P 6 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 5 9 2 0 4 . 1 8 5 8 2 2 5 ;   B r a b h a m   D C ,   2 0 0 9 ,   P L A N   T H E O R ,   V 8 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 9 1 0 4 8 2 4 ;   B r a b h a m   D C ,   2 0 1 2 ,   J   A P P L   C O M M U N   R E S ,   V 4 0 ,   P 3 0 7 ,   D O I   1 0 . 1 0 8 0 / 0 0 9 0 9 8 8 2 . 2 0 1 2 . 6 9 3 9 4 0 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r a b h a m   D C ,   2 0 1 3 ,   M I T   P R E S S   E S S E N T ,   P 1 ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   B r a b h a m   D . C . ,   2 0 1 2 ,   P A R T I C I P A T O R Y   C U L T U R ,   P 1 2 0 ;   B u e c h e l e r   T . ,   2 0 1 0 ,   P   1 2   I N T   C   S Y N T H   S I M ;   B u h r m e s t e r   M ,   2 0 1 1 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 6 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 0 3 9 3 9 8 0 ;   B u r g e r - H e l m c h e n   T . ,   2 0 1 0 ,   W O R K S H   O P   S O U R C   I N N ;   C o r n e y   J R ,   2 0 1 0 ,   A D V   E N G   I N F O R M ,   V 2 4 ,   P 2 4 3 ,   D O I   1 0 . 1 0 1 6 / j . a e i . 2 0 1 0 . 0 5 . 0 1 1 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   D o w   S . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   E X T   A B S ;   D o w   S . P . ,   2 0 1 2 ,   P   A C M   2 0 1 2   C   C O M P   S U ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F e l l e r   J . ,   2 0 1 2 ,   J   S T R A T E G I C   I N F O R M   S ;   G e i g e r   D . ,   2 0 1 2 ,   P   3 3   I N T   C   I N F   S Y S T ;   G e i g e r   D . ,   2 0 1 1 ,   P   1 7   A M   C   I N F   S Y S T   D ;   H e i m e r l   K . ,   2 0 1 2 ,   P   2 0 1 2   A C M   A N N   C   H U M ;   H o l l e y   R . ,   2 0 1 0 ,   D   L I B   M A G A Z I N E ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H u y s m a n s   J ,   2 0 1 1 ,   D E C I S   S U P P O R T   S Y S T ,   V 5 1 ,   P 1 4 1 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 0 . 1 2 . 0 0 3 ;   K a z m a n   R ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 7 6 ,   D O I   1 0 . 1 1 4 5 / 1 5 3 8 7 8 8 . 1 5 3 8 8 0 8 ;   K h a s r a g h i   H . J . ,   2 0 1 2 ,   I N T   J   A P P L   I N F O R M   S Y ,   V 2 ;   K h a z a n k i n   R . ,   2 0 1 2 ,   I E E E   8   I N T   C   C O L L   C O ;   K i n g s t o n   A . ,   2 0 1 3 ,   W O R K S H   C R O W D S   D I G   H U ;   K i t t u r   A . ,   2 0 1 3 ,   P   2 0 1 3   C   C O M P   S U P P   C ;   K i t t u r   A . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ;   K u l k a r n i   A . ,   2 0 1 2 ,   P   2 0 1 2   A C M   C   C O M P   S U ,   P 1 0 0 3 ;   M a l o n e   T . W . ,   2 0 1 0 ,   I E E E   E N G   M A N A G E M E N T ,   V 3 8 ,   P 3 8 ;   M a r j a n o v i c   S ,   2 0 1 2 ,   S C I   P U B L   P O L I C Y ,   V 3 9 ,   P 3 1 8 ,   D O I   1 0 . 1 0 9 3 / s c i p o l / s c s 0 0 9 ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   M u n t e s - M u l e r o   V . ,   2 0 1 3 ,   L N C S ,   V 7 6 8 5 ,   P 6 ;   N i c k e r s o n   R . C . ,   2 0 1 2 ,   E U R O P E A N   J   I N F O R M   S Y ;   P o t t e r   A . ,   2 0 1 0 ,   2 0 1 0   I N T   S   C O L L   T E C H ;   P s a i e r   H . ,   2 0 1 1 ,   2 0 1 1   1 5   I E E E   I N T   E N T ;   R a n a d e   G . ,   2 0 1 2 ,   W O R K S H   2 6   A A A I   C   A R T ;   R o s e n   P e t e r   A . ,   2 0 1 1 ,   J o u r n a l   o f   D e c i s i o n   S y s t e m s ,   V 2 0 ,   D O I   1 0 . 3 1 6 6 / j d s . 2 0 . 3 0 9 - 3 2 4 ;   R o u s e   A . C . ,   2 0 1 0 ,   A C I S   2 0 1 0   I N F   S Y S T   D ;   R o y   S . ,   2 0 1 3 ,   P   3   A C M   S   C O M P   D E V   A ;   S a x t o n   G D ,   2 0 1 3 ,   I N F O R M   S Y S T   M A N A G E ,   V 3 0 ,   P 2 ,   D O I   1 0 . 1 0 8 0 / 1 0 5 8 0 5 3 0 . 2 0 1 3 . 7 3 9 8 8 3 ;   S c h e n k   E . ,   2 0 1 1 ,   J   I N N O V A T I O N   E C ,   P 9 3 ;   S h a r m a   A n k i t ,   2 0 1 0 ,   W O R K I N G   P A P E R ;   T o m l i n s o n   B . ,   2 0 1 2 ,   C H I   2 0 1 2   E X T   A B S T R   H ,   P 1 1 ;   V a n   P e l t   C . ,   2 0 1 2 ,   P   2 0 1 2   I N T   C   M A N   D A T ;   V i c e n t e   K J ,   1 9 9 9 ,   C O G N I T I V E   W O R K   A N A L ;   V u k o v i c   M . ,   2 0 0 9 ,   2 0 0 9   W O R L D   C   S E R V   1 ;   V u k o v i c   M ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 4 1 5 ,   P 4 2 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 6 5 5 8 - 0 _ 3 6 ;   V u k o v i c   M ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 2 7 5 ,   P 1 0 9 ;   W e b s t e r   J ,   2 0 0 2 ,   M I S   Q U A R T ,   V 2 6 ,   p X I I I ;   W e x l e r   M . N . ,   2 0 1 1 ,   I N T   J   S O C I O L O G Y   S O C I ,   V 3 1 ,   P 6 ,   D O I   D O I   1 0 . 1 1 0 8 / 0 1 4 4 3 3 3 1 1 1 1 1 0 4 7 7 9 ;   W h i t l a   P . ,   2 0 0 9 ,   C O N T   M A N A G E M E N T   R E S ,   V 5 ;   Z h e n g   H C ,   2 0 1 1 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 5 7 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 4 0 2 ;   Z h u   Q . ,   2 0 1 2 ,   I N F O R M   S Y S T E M S   F R O N T ,   V 1 1 ,   P 1 	 5 5 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 1 3 4 7 - 6 ;   9 7 8 - 3 - 6 4 2 - 4 1 3 4 6 - 9 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 8 2 2 4 	 	 	 	 	 	 1 1 0 	 1 2 5 	 	 	 	 1 6 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 0 O U 	 W O S : 0 0 0 3 4 0 5 5 0 2 0 0 0 0 9 	 	 
 S 	 T h o g e r s e n ,   R 	 	 A n t u n e s ,   P ;   G e r o s a ,   M A ;   S y l v e s t e r ,   A ;   V a s s i l e v a ,   J ;   D e V r e e d e ,   G J 	 	 T h o g e r s e n ,   R a s m u s 	 	 	 D a t a   Q u a l i t y   i n   a n   O u t p u t - A g r e e m e n t   G a m e :   A   C o m p a r i s o n   b e t w e e n   G a m e - G e n e r a t e d   T a g s   a n d   P r o f e s s i o n a l   D e s c r i p t o r s 	 C O L L A B O R A T I O N   A N D   T E C H N O L O G Y ,   C R I W G   2 0 1 3 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 9 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o l l a b o r a t i o n   a n d   T e c h n o l o g y   ( C R I W G ) 	 O C T   3 0 - N O V   0 1 ,   2 0 1 3 	 W e l l i n g t o n ,   N E W   Z E A L A N D 	 	 	 G a m e s   w i t h   a   p u r p o s e ;   c r o w d s o u r c i n g ;   i m a g e   i n d e x i n g ;   c u l t u r a l   h e r i t a g e   i n s t i t u t i o n s ;   p a r t i c i p a t o r y   c u l t u r a l   h e r i t a g e ;   O u t p u t - a g r e e m e n t   g a m e s 	 K E Y W O R D S 	 A   n o v e l   w a y   t o   a d d r e s s   t h e   c h a l l e n g e   o f   c r e a t i n g   d e s c r i p t i v e   m e t a d a t a   f o r   v i s u a l   c u l t u r a l   h e r i t a g e   i s   t o   i n v i t e   u s e r s   t o   p l a y   H u m a n   C o m p u t a t i o n   G a m e s   ( H C G ) .   T h i s   s t u d y   p r e s e n t s   a n   i n v e s t i g a t i o n   i n t o   t a g s   g e n e r a t e d   b y   a n   H C G   l a u n c h e d   a t   T h e   R o y a l   L i b r a r y   o f   D e n m a r k   a n d   c o m p a r e s   t h e m   t o   d e s c r i p t o r s   a s s i g n e d   t o   t h e   s a m e   i m a g e s   b y   p r o f e s s i o n a l   i n d e x e r s   f r o m   t h e   s a m e   i n s t i t u t i o n .   T h e   a n a l y s i s   i s   d o n e   b y   c l a s s i f y i n g   t a g s   a n d   d e s c r i p t o r s   b y   t e r m - c a t e g o r y   a n d   b y   m e a s u r i n g   s e m a n t i c   o v e r l a p   b e t w e e n   t h e   t a g s   a n d   t h e   d e s c r i p t o r s .   T h e   s e m a n t i c   o v e r l a p   w a s   e s t a b l i s h e d   w i t h   t h e s a u r u s   r e l a t i o n s   b e t w e e n   a   s a m p l e   o f   t a g s   a n d   d e s c r i p t o r s .   T h e   a n a l y s i s   s h o w s   t h a t   m o r e   t h a n   h a l f   o f   t h e   v a l i d a t e d   t a g s   h a d   s o m e   t h e s a u r u s   r e l a t i o n   t o   a   d e s c r i p t o r   a d d e d   b y   a   p r o f e s s i o n a l   i n d e x e r .   A p p r o x i m a t e l y   6 0 %   o f   t h e   t h e s a u r u s   r e l a t i o n s   w e r e   e i t h e r   ' s a m e / e q u i v a l e n t '   a n d   r o u g h l y   2 0 %   w e r e   ' a s s o c i a t i v e '   a n d   2 0 %   ' h i e r a r c h i c a l ' .   F o r   t h e   h i e r a r c h i c a l   t h e s a u r u s   r e l a t i o n s   i t   w a s   f o u n d   t h a t   t a g s   t y p i c a l l y   d e s c r i b e   i m a g e s   a t   a   l e s s   s p e c i f i c   l e v e l   t h a n   d e s c r i p t o r s .   F u r t h e r m o r e   g a m e - g e n e r a t e d   t a g s   t e n d   t o   d e s c r i b e   ' a r t i f a c t s / o b j e c t s '   a n d   t h u s   t y p i c a l l y   r e p r e s e n t   w h a t   i s   i n   t h e   p i c t u r e ,   r a t h e r   t h a n   w h a t   i t   i s   a b o u t .   D e s c r i p t o r s   a l s o   p r i m a r i l y   b e l o n g e d   t o   t h i s   t e r m - c a t e g o r y   b u t   a l s o   h a d   a   s u b s t a n t i a l   a m o u n t   o f   ' P r o p e r   n o u n s ' ,   m a i n l y   n a m e d   l o c a t i o n s .   T a g s   g e n e r a t e d   b y   t h e   g a m e ,   n o t   v a l i d a t e d   b y   p l a y e r - a g r e e m e n t ,   h a d   a   m u c h   h i g h e r   f r e q u e n c y   o f   ' s u b j e c t i v e / n a r r a t i v e '   t a g s ,   b u t   a l s o   m o r e   e r r o r s   a n d   a   f e w   c a s e s   o f   v a n d a l i s m .   T h e   o v e r a l l   f i n d i n g s   s u g g e s t   t h a t   g a m e - g e n e r a t e d   t a g s   c o u l d   c o m p l e m e n t   e x i s t i n g   m e t a d a t a   a n d   b e   i n t e g r a t e d   i n t o   e x i s t i n g   w o r k f l o w s . 	 V i c t o r i a   U n i v ,   W e l l i n g t o n ,   N e w   Z e a l a n d 	 T h o g e r s e n ,   R   ( r e p r i n t   a u t h o r ) ,   V i c t o r i a   U n i v ,   W e l l i n g t o n ,   N e w   Z e a l a n d . 	 R a s m u s . t h o g e r s e n @ v u w . a c . n z 	 	 	 	 	 A n d e r s e n   T . J . ,   2 0 1 0 ,   C O M M U N I C A T I O N       1 1 2 3 ;   B r o w n   P . ,   1 9 9 6 ,   N e w   R e v i e w   o f   H y p e r m e d i a   a n d   M u l t i m e d i a ,   A p p l i c a t i o n s   a n d   R e s e a r c h ,   V 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 1 4 5 6 9 6 0 8 9 1 4 6 7 7 ;   D r i g g e r s   P . ,   2 0 1 2 ,   M A N A G I N G   L I B   V O L U N T E ;   E n s e r   P . ,   2 0 0 7 ,   A N N U   R E V   I N F O R M   S C I ,   V 4 2 ,   P 3 ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   H o l l e y   R o s e ,   2 0 1 0 ,   D   L I B   M A G A Z I N E ,   V 1 6 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   I y e r   H . ,   2 0 1 1 ,   I N F O R M   R E S ,   V 1 6 ;   K a z a i   G ,   2 0 1 3 ,   I N F O R M   R E T R I E V A L ,   V 1 6 ,   P 1 3 8 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 1 - 0 1 2 - 9 2 0 5 - 0 ;   K i p p   M . ,   2 0 1 1 ,   K N O W L E D G E   O R G ,   V 3 8 ;   K i p p   M E I ,   2 0 0 5 ,   C A N   J   I N F O R M   L I B   S C I ,   V 2 9 ,   P 4 1 9 ;   L a n c a s t e r   F .   W . ,   2 0 0 3 ,   I N D E X I N G   A B S T R A C T I N G ;   L a s c a r i d e s   M . ,   2 0 1 2 ,   N E X T   G E N   L I B   R E D E S I G ;   L a w   E ,   2 0 0 9 ,   C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 1 9 7 ;   L u b n a   A . S . ,   2 0 1 2 ,   A C I S   2 0 1 2   L O C   L O C   L O ;   L y k k e   M . ,   2 0 1 2 ,   P   2   B I E N N   C   F A C   K N O W ,   P 4 1 ;   O o m e n   J . ,   2 0 1 1 ,   5   I N T   C   C O M M   T E C H N   B ;   P a n o f s k y   E r w i n ,   1 9 7 0 ,   M E A N I N G   V I S U A L   A R T S ;   P o o l e   N . ,   2 0 1 0 ,   C O L L E C T I O N S   T R U S T ;   R a s m u s s e n   E M ,   1 9 9 7 ,   A N N U   R E V   I N F O R M   S C I ,   V 3 2 ,   P 1 6 9 ;   S h a t f o r d   S . ,   1 9 8 6 ,   C A T A L O G I N G   C L A S S I F I C ,   V 6 ,   P 3 9 ,   D O I   1 0 . 1 3 0 0 / J 1 0 4 v 0 6 n 0 3 _ 0 4 ;   S m e u l d e r s   A W M ,   2 0 0 0 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 2 ,   P 1 3 4 9 ,   D O I   1 0 . 1 1 0 9 / 3 4 . 8 9 5 9 7 2 ;   T h o m a s   M ,   2 0 0 9 ,   L I B R   H I   T E C H ,   V 2 7 ,   P 4 1 1 ,   D O I   1 0 . 1 1 0 8 / 0 7 3 7 8 8 3 0 9 1 0 9 8 8 5 4 0 ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   V o o r b i j   H ,   2 0 1 2 ,   O N L I N E   I N F O R M   R E V ,   V 3 6 ,   P 1 9 6 ,   D O I   1 0 . 1 1 0 8 / 1 4 6 8 4 5 2 1 2 1 1 2 2 9 0 3 9 ;   V o o r b i j   H J ,   1 9 9 8 ,   J   D O C ,   V 5 4 ,   P 4 6 6 ,   D O I   1 0 . 1 1 0 8 / E U M 0 0 0 0 0 0 0 0 0 7 1 7 8 ;   W e t t e r s t r o m   M . ,   2 0 0 8 ,   N Z   L I B   I N F O R M   M A N A G E ,   V 5 0 ,   P 2 9 6 ;   Y a k e l   E . ,   2 0 1 1 ,   D I F F E R E N T   K I N D   W E B   N ;   Y u e n   M . ,   2 0 0 9 ,   I E E E   I N T   C   C O M P   S C I ,   P 7 2 3 	 2 9 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 1 3 4 7 - 6 ;   9 7 8 - 3 - 6 4 2 - 4 1 3 4 6 - 9 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 8 2 2 4 	 	 	 	 	 	 1 2 6 	 1 4 2 	 	 	 	 1 7 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 0 O U 	 W O S : 0 0 0 3 4 0 5 5 0 2 0 0 0 1 0 	 	 
 S 	 S c h u l z ,   S ;   B e r n h a r d t - M e l i s c h n i g ,   J ;   K r e u z t h a l e r ,   M ;   D a u m k e ,   P ;   B o e k e r ,   M 	 	 L e h m a n n ,   C U ;   A m m e n w e r t h ,   E ;   N o h r ,   C 	 	 S c h u l z ,   S t e f a n ;   B e r n h a r d t - M e l i s c h n i g ,   J o h a n n e s ;   K r e u z t h a l e r ,   M a r k u s ;   D a u m k e ,   P h i l i p p ;   B o e k e r ,   M a r t i n 	 	 	 M a c h i n e   v s .   H u m a n   T r a n s l a t i o n   o f   S N O M E D   C T   T e r m s 	 M E D I N F O   2 0 1 3 :   P R O C E E D I N G S   O F   T H E   1 4 T H   W O R L D   C O N G R E S S   O N   M E D I C A L   A N D   H E A L T H   I N F O R M A T I C S ,   P T S   1   A N D   2 	 S t u d i e s   i n   H e a l t h   T e c h n o l o g y   a n d   I n f o r m a t i c s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 4 t h   W o r l d   C o n g r e s s   o n   M e d i c a l   a n d   H e a l t h   I n f o r m a t i c s   ( M E D I N F O ) 	 A U G   2 0 - 2 3 ,   2 0 1 3 	 C o p e n h a g e n ,   D E N M A R K 	 	 	 S N O M E D   C T ;   T r a n s l a t i o n s ;   N a t u r a l   L a n g u a g e   P r o c e s s i n g 	 I S S U E S 	 O b j e c t i v e :   I n   t h e   c o n t e x t   o f   p a s t   a n d   c u r r e n t   S N O M E D   C T   t r a n s l a t i o n   p r o j e c t s   w e   c o m p a r e   t h r e e   k i n d s   o f   S N O M E D   C T   t r a n s l a t i o n s   f r o m   E n g l i s h   t o   G e r m a n   b y :   ( t   L )   p r o f e s s i o n a l   m e d i c a l   t r a n s l a t o r s ;   ( t 2 )   a   f r e e   W e b - b a s e d   m a c h i n e   t r a n s l a t i o n   s e r v i c e ;   ( t 3 )   m e d i c a l   s t u d e n t s .   M e t h o d s :   5 0 0   S N O M E D   C T   f u l l y   s p e c i f i e d   n a m e s   f r o m   t h e   ( E n g l i s h )   I n t e r n a t i o n a l   r e l e a s e   w e r e   r a n d o m l y   s e l e c t e d .   B a s e d   o n   t h i s ,   G e r m a n   t r a n s l a t i o n s   t 1 ,   t 2 ,   a n d   t 3   w e r e   g e n e r a t e d .   A   G e r m a n   a n d   a n   A u s t r i a n   p h y s i c i a n   r a t e d   t h e   t r a n s l a t i o n s   f o r   l i n g u i s t i c   c o r r e c t n e s s   a n d   c o n t e n t   f i d e l i t y .   R e s u l t s :   K a p p a   f o r   i n t e r - r a t e r   r e l i a b i l i t y   w a s   0 . 4   f o r   l i n g u i s t i c   c o r r e c t n e s s   a n d   0 . 2 3   f o r   c o n t e n t   f i d e l i t y .   A v e r a g e   r a t i n g s   o f   l i n g u i s t i c   c o r r e c t n e s s   d i d   n o t   d i f f e r   s i g n i f i c a n t l y   b e t w e e n   h u m a n   t r a n s l a t i o n   s c e n a r i o s .   C o n t e n t   f i d e l i t y   w a s   r a t e d   s l i g h t l y   b e t t e r   f o r   s t u d e n t   t r a n s l a t o r s   c o m p a r e d   t o   p r o f e s s i o n a l   t r a n s l a t o r s .   C o m p a r i n g   m a c h i n e   t o   h u m a n   t r a n s l a t i o n ,   t h e   l i n g u i s t i c   c o r r e c t n e s s   d i f f e r e d   a b o u t   0 . 5   s c a l e   u n i t s   i n   f a v o u r   o f   t h e   h u m a n   t r a n s l a t i o n   a n d   a b o u t   0 . 2 5   r e g a r d i n g   c o n t e n t   f i d e l i t y ,   e q u a l l y   i n   f a v o u r   o f   t h e   h u m a n   t r a n s l a t i o n .   C o n c l u s i o n :   T h e   r e s u l t s   d e m o n s t r a t e   t h a t   l o w - c o s t   t r a n s l a t i o n   s o l u t i o n s   o f   m e d i c a l   t e r m s   m a y   p r o d u c e   s u r p r i s i n g l y   g o o d   r e s u l t s .   A l t h o u g h   w e   w o u l d   n o t   r e c o m m e n d   l o w - c o s t   t r a n s l a t i o n   f o r   p r o d u c i n g   s t a n d a r d i z e d   p r e f e r r e d   t e r m s ,   t h i s   a p p r o a c h   c a n   b e   u s e f u l   f o r   c r e a t i n g   a d d i t i o n a l   l a n g u a g e s p e c i f i c   e n t r y   t e r m s .   T h i s   m a y   s e r v e   s e v e r a l   i m p o r t a n t   u s e   c a s e s .   W e   a l s o   r e c o m m e n d   t e s t i n g   t h i s   m e t h o d   t o   b o o t s t r a p   a   c r o w d s o u r c i n g   p r o c e s s ,   b y   w h i c h   t e r m   t r a n s l a t i o n s   a r e   g a t h e r e d ,   i m p r o v e d ,   m a i n t a i n e d ,   a n d   r a t e d   b y   t h e   u s e r   c o m m u n i t y . 	 [ S c h u l z ,   S t e f a n ;   B e r n h a r d t - M e l i s c h n i g ,   J o h a n n e s ;   K r e u z t h a l e r ,   M a r k u s ]   M e d   U n i v   G r a z ,   I n s t   M e d   I n f o r m a t   S t a t   &   D o k u m e n t a t ,   A - 8 0 3 6   G r a z ,   A u s t r i a 	 S c h u l z ,   S   ( r e p r i n t   a u t h o r ) ,   M e d   U n i v   G r a z ,   I n s t   M e d   I n f o r m a t   S t a t   &   D o k u m e n t a t ,   A u e n b r u g g e r p l   2 - V ,   A - 8 0 3 6   G r a z ,   A u s t r i a . 	 s t e f a n . s c h u l z @ m e d u n i g r a z . a t 	 	 	 	 	 C a n a d i a n   N P C ,   I H T S D O   S P R I N G   2 0 0 9   P ;   C i o l k o   E ,   2 0 1 0 ,   I E E E   E N G   M E D   B I O ,   P 6 7 8 1 ,   D O I   1 0 . 1 1 0 9 / I E M B S . 2 0 1 0 . 5 6 2 5 9 8 2 ;   C o r n e t   R ,   2 0 0 8 ,   B M C   M E D   I N F O R M   D E C I S ,   V 8 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 2 - 6 9 4 7 - 8 - S 1 - S 2 ;   D a u m k e   P ,   2 0 1 0 ,   M E T H O D   I N F O R M   M E D ,   V 4 9 ,   P 1 4 1 ,   D O I   1 0 . 3 4 1 4 / M E 9 3 0 3 ;   H o y   A ,   2 0 0 6 ,   T E R M I N O L O G Y   S C I   R E S ;   K l e i n   G O ,   2 0 0 9 ,   S T   H E A L   T ,   V 1 4 6 ,   P 6 7 3 ,   D O I   1 0 . 3 2 3 3 / 9 7 8 - 1 - 6 0 7 5 0 - 0 2 4 - 7 - 6 7 3 ;   K o e h n   P . ,   2 0 1 0 ,   S T A T   M A C H I N E   T R A N S L A ;   N a d k a r n i   P M ,   2 0 1 0 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 7 ,   P 6 7 1 ,   D O I   1 0 . 1 1 3 6 / j a m i a . 2 0 1 0 . 0 0 8 6 0 7 ;   R   D e v e l o p m e n t   C o r e   T e a m ,   R   L A N G   E N V   S T A T   C O M P ;   R e y n o s o   G A ,   2 0 0 0 ,   J   A M   M E D   I N F O R M   A S S N ,   P 6 9 4 ;   S c h m i d t   K l a u s ,   2 0 0 7 ,   M M W   F o r t s c h r   M e d ,   V 1 4 9 ,   P 5 5 ;   S t o s c h e k   J  r g e n ,   2 0 0 7 ,   M M W   F o r t s c h r   M e d ,   V 1 4 9 ,   P 5 6 	 1 2 	 1 	 1 	 I O S   P R E S S 	 A M S T E R D A M 	 N I E U W E   H E M W E G   6 B ,   1 0 1 3   B G   A M S T E R D A M ,   N E T H E R L A N D S 	 0 9 2 6 - 9 6 3 0 	 	 9 7 8 - 1 - 6 1 4 9 9 - 2 8 9 - 9 ;   9 7 8 - 1 - 6 1 4 9 9 - 2 8 8 - 2 	 S T U D   H E A L T H   T E C H N O L 	 	 	 2 0 1 3 	 1 9 2 	 	 	 	 	 	 5 8 1 	 5 8 4 	 	 1 0 . 3 2 3 3 / 9 7 8 - 1 - 6 1 4 9 9 - 2 8 9 - 9 - 5 8 1 	 	 4 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   I n f o r m a t i c s 	 B B 1 D Z 	 W O S : 0 0 0 3 4 1 0 2 1 7 0 0 1 1 9 	 2 3 9 2 0 6 2 2 	 
 J 	 K o n o m i ,   S ;   S a s a o ,   T ;   O h n o ,   W ;   S h o j i ,   K 	 	 G a o l ,   F L ;   S o e w i t o ,   B ;   B o u o u d i n a ,   M ;   C h e n ,   M S 	 	 K o n o m i ,   S h i n ' i c h i ;   S a s a o ,   T o m o y o ;   O h n o ,   W a t a r u ;   S h o j i ,   K e n t a 	 	 	 C r o w d - P o w e r e d   M e c h a n i s m s   f o r   V i e w i n g   a n d   I m a g i n i n g   P u b l i c   S p a c e s 	 P R O C E E D I N G S   O F   T H E   2 0 1 3   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C O M P U T E R   G R A P H I C S , V I S U A L I Z A T I O N ,   C O M P U T E R   V I S I O N ,   A N D   G A M E   T E C H N O L O G Y 	 A d v a n c e s   i n   I n t e l l i g e n t   S y s t e m s   R e s e a r c h 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I n t e r n a t i o n a l   C o n f e r e n c e s   o n   C o m p u t e r   G r a p h i c s ,   V i s u a l i z a t i o n ,   C o m p u t e r   V i s i o n ,   a n d   G a m e   T e c h n o l o g y   ( V i s i o G a m e ) 	 D E C   2 1 ,   2 0 1 3 	 J a k a r t a ,   I N D O N E S I A 	 	 	 C r o w d s o u r c i n g ;   c o l l a b o r a t i o n ;   g e o - v i s u a l i z a t i o n ;   p u b l i c   s p a c e s 	 	 C r o w d s o u r c i n g   a l l o w s   o n e   t o   c o l l e c t   i n f o r m a t i o n   f r o m   a   l a r g e   n u m b e r   o f   c i t i z e n s   r e l a t i v e l y   e a s i l y ,   t h e r e b y   c r e a t i n g   a n   o p p o r t u n i t y   t o   p r o v i d e   a   n o v e l   t e c h n o l o g i c a l   m e a n s   t o   v i e w   a n d   i m a g i n e   t h e   c i t y ,   c o m p l e m e n t i n g   c o n v e n t i o n a l   g e o - v i s u a l i z a t i o n   a n d   u r b a n   s i m u l a t i o n   g a m e s .   W e   p o s t u l a t e   t h a t   t h e   i n f l e x i b i l i t y   o f   e x i s t i n g   c r o w d s o u r c i n g   f r a m e w o r k s   c a n   i m p o s e   i n h e r e n t   l i m i t a t i o n s   i n   t e r m s   o f   t h e   i m a g i n a b i l i t y   o f   t h e   c i t y ,   a n d   p r o p o s e   c i t i z e n s o u r c i n g ,   w h i c h   a u g m e n t s   c r o w d s o u r c i n g   w i t h   t h e   m e c h a n i s m s   f o r   s u p p o r t i n g   e x p l o r a t i o n   a n d   a c t i v e   p a r t i c i p a t i o n   i n   o r d e r   t o   a d d r e s s   t h e   l i m i t a t i o n s .   W e   t h e n   d e s c r i b e   o u r   e x p e r i e n c e s   w i t h   t h e   s m a r t p h o n e - b a s e d   p r o t o t y p e s   o f   t h e   m e c h a n i s m s ,   a n d   d i s c u s s   t h e i r   i m p l i c a t i o n s   f o r   t h e   d e s i g n   o f   c i t i z e n s o u r c i n g   e n v i r o n m e n t s . 	 [ K o n o m i ,   S h i n ' i c h i ]   U n i v   T o k y o ,   C t r   S p a t i a l   I n f o r m a t   S c i ,   T o k y o   1 1 3 8 6 5 4 ,   J a p a n 	 K o n o m i ,   S   ( r e p r i n t   a u t h o r ) ,   U n i v   T o k y o ,   C t r   S p a t i a l   I n f o r m a t   S c i ,   T o k y o   1 1 3 8 6 5 4 ,   J a p a n . 	 	 	 	 	 	 A r i a s   E . ,   2 0 0 0 ,   A C M   T r a n s a c t i o n s   o n   C o m p u t e r - H u m a n   I n t e r a c t i o n ,   V 7 ,   D O I   1 0 . 1 1 4 5 / 3 4 4 9 4 9 . 3 4 5 0 1 5 ;   C h i   E H ,   2 0 0 9 ,   C O M P U T E R ,   V 4 2 ,   P 4 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 9 . 8 7 ;   D e y   A K ,   2 0 0 1 ,   H U M - C O M P U T   I N T E R A C T ,   V 1 6 ,   P 9 7 ,   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 7 0 5 1 H C I 1 6 2 3 4 _ 0 2 ;   E l w o o d   S ,   2 0 1 2 ,   A N N   A S S O C   A M   G E O G R ,   V 1 0 2 ,   P 5 7 1 ,   D O I   1 0 . 1 0 8 0 / 0 0 0 4 5 6 0 8 . 2 0 1 1 . 5 9 5 6 5 7 ;   K a m m e r e r   Y ,   2 0 0 9 ,   C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 6 2 5 ;   K i m   S . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 2 1 2 5 ;   K i t t u r   A . ,   2 0 1 2 ,   P   C S C W   1 2 ,   P 1 0 3 3 ;   K o n o m i   S . ,   2 0 1 3 ,   P   I N T   C   H U M   C O M P   I N T ,   P 3 0 9 ;   K o n o m i   S . ,   2 0 1 3 ,   P   I N T   W O R K S H   H U M   I N T ,   P 7 4 5 ;   K u l k a r n i   A . ,   2 0 1 2 ,   P   2 0 1 2   A C M   C   C O M P   S U ,   P 1 0 0 3 ;   M a y e r   I S ,   2 0 0 5 ,   E N V I R O N   P L A N N   B ,   V 3 2 ,   P 4 0 3 ,   D O I   1 0 . 1 0 6 8 / b 3 1 1 4 9 ;   M e a   V . D . ,   2 0 1 3 ,   P   D B C R O W D   2 0 1 3   1   V L D ,   P 1 4 ;   R I T T E L   H W J ,   1 9 7 3 ,   P O L I C Y   S C I ,   V 4 ,   P 1 5 5 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 4 0 5 7 3 0 ;   S u c h m a n   L .   A . ,   1 9 8 7 ,   P L A N S   S I T U A T E D   A C T I O ;   V u k o v i c   M . ,   2 0 1 0 ,   P   1 2   A C M   I N T   C ,   P 5 2 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 4 4 3 1 . 1 8 6 4 5 0 4 ;   W e n g e r   E t i e n n e ,   1 9 9 8 ,   C O M M U N I T I E S   P R A C T I C E ;   W i l l e t t   W . ,   2 0 1 2 ,   P R O C E E D I N G S   O F   C H I ,   P 2 2 7 ;   W i l l e t t   W ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 0 3 0 ,   P 3 0 1 ;   W i l l i a m s   A ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 3 8 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 3 1 3 	 1 9 	 0 	 0 	 A T L A N T I S   P R E S S 	 P A R I S 	 2 9   A V E N U E   L A V M I E R E ,   P A R I S ,   7 5 0 1 9 ,   F R A N C E 	 1 9 5 1 - 6 8 5 1 	 	 9 7 8 - 9 4 - 6 2 5 2 - 0 0 2 - 8 	 A D V   I N T E L   S Y S   R E S 	 	 	 2 0 1 3 	 5 3 	 	 	 	 	 	 5 7 	 6 2 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 B B 0 W X 	 W O S : 0 0 0 3 4 0 8 0 4 0 0 0 0 1 0 	 	 
 S 	 A p r o s i o ,   A P ;   G i u l i a n o ,   C ;   L a v e l l i ,   A 	 	 A l a n i ,   H ;   K a g a l ,   L ;   F o k o u e ,   A ;   G r o t h ,   P ;   B i e m a n n ,   C ;   P a r r e i r a ,   J X ;   A r o y o ,   L ;   N o y ,   N ;   W e l t y ,   C ;   J a n o w i c z ,   K 	 	 A p r o s i o ,   A l e s s i o   P a l m e r o ;   G i u l i a n o ,   C l a u d i o ;   L a v e l l i ,   A l b e r t o 	 	 	 T o w a r d s   a n   A u t o m a t i c   C r e a t i o n   o f   L o c a l i z e d   V e r s i o n s   o f   D B p e d i a 	 S E M A N T I C   W E B   -   I S W C   2 0 1 3 ,   P A R T   I 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   I n t e r n a t i o n a l   S e m a n t i c   W e b   C o n f e r e n c e   ( I S W C ) 	 O C T   2 1 - 2 5 ,   2 0 1 3 	 S y d n e y ,   A U S T R A L I A 	 B i n g ,   F l u i d   O p e r a t ,   M i c r o s o f t   R e s ,   P r e v i o u s N e x t ,   I B M   R e s ,   O n t o t e x t ,   Y a h o o ,   I O S   P r e s s ,   O p e n L i n k   S o f t w a r e 	 	 	 	 D B p e d i a   i s   a   l a r g e - s c a l e   k n o w l e d g e   b a s e   t h a t   e x p l o i t s   W i k i p e d i a   a s   p r i m a r y   d a t a   s o u r c e .   T h e   e x t r a c t i o n   p r o c e d u r e   r e q u i r e s   t o   m a n u a l l y   m a p   W i k i p e d i a   i n f o b o x e s   i n t o   t h e   D B p e d i a   o n t o l o g y .   T h a n k s   t o   c r o w d s o u r c i n g ,   a   l a r g e   n u m b e r   o f   i n f o b o x e s   h a s   b e e n   m a p p e d   i n   t h e   E n g l i s h   D B p e d i a .   C o n s e q u e n t l y ,   t h e   s a m e   p r o c e d u r e   h a s   b e e n   a p p l i e d   t o   o t h e r   l a n g u a g e s   t o   c r e a t e   t h e   l o c a l i z e d   v e r s i o n s   o f   D B p e d i a .   H o w e v e r ,   t h e   n u m b e r   o f   a c c o m p l i s h e d   m a p p i n g s   i s   s t i l l   s m a l l   a n d   l i m i t e d   t o   m o s t   f r e q u e n t   i n f o b o x e s .   F u r t h e r m o r e ,   m a p p i n g s   n e e d   m a i n t e n a n c e   d u e   t o   t h e   c o n s t a n t   a n d   q u i c k   c h a n g e s   o f   W i k i p e d i a   a r t i c l e s .   I n   t h i s   p a p e r ,   w e   f o c u s   o n   t h e   p r o b l e m   o f   a u t o m a t i c a l l y   m a p p i n g   i n f o b o x   a t t r i b u t e s   t o   p r o p e r t i e s   i n t o   t h e   D B p e d i a   o n t o l o g y   f o r   e x t e n d i n g   t h e   c o v e r a g e   o f   t h e   e x i s t i n g   l o c a l i z e d   v e r s i o n s   o r   b u i l d i n g   f r o m   s c r a t c h   v e r s i o n s   f o r   l a n g u a g e s   n o t   c o v e r e d   i n   t h e   c u r r e n t   v e r s i o n .   T h e   e v a l u a t i o n   h a s   b e e n   p e r f o r m e d   o n   t h e   I t a l i a n   m a p p i n g s .   W e   c o m p a r e d   o u r   r e s u l t s   w i t h   t h e   c u r r e n t   m a p p i n g s   o n   a   r a n d o m   s a m p l e   r e - a n n o t a t e d   b y   t h e   a u t h o r s .   W e   r e p o r t   r e s u l t s   c o m p a r a b l e   t o   t h e   o n e s   o b t a i n e d   b y   a   h u m a n   a n n o t a t o r   i n   t e r m   o f   p r e c i s i o n ,   b u t   o u r   a p p r o a c h   l e a d s   t o   a   s i g n i f i c a n t   i m p r o v e m e n t   i n   r e c a l l   a n d   s p e e d .   S p e c i f i c a l l y ,   w e   m a p p e d   4 5 , 9 7 8   W i k i p e d i a   i n f o b o x   a t t r i b u t e s   t o   D B p e d i a   p r o p e r t i e s   i n   1 4   d i f f e r e n t   l a n g u a g e s   f o r   w h i c h   m a p p i n g s   w e r e   n o t   y e t   a v a i l a b l e .   T h e   r e s o u r c e   i s   m a d e   a v a i l a b l e   i n   a n   o p e n   f o r m a t . 	 [ A p r o s i o ,   A l e s s i o   P a l m e r o ]   U n i v   M i l a n ,   I - 2 0 1 3 5   M i l a n ,   I t a l y 	 A p r o s i o ,   A P   ( r e p r i n t   a u t h o r ) ,   U n i v   M i l a n ,   V i a   C o m e l i c o   3 9 - 4 1 ,   I - 2 0 1 3 5   M i l a n ,   I t a l y . 	 a l e s s i o . p a l m e r o @ u n i m i . i t ;   g i u l i a n o @ f b k . e u ;   l a v e l l i @ f b k . e u 	 	 	 	 	 A d a r   E . ,   2 0 0 9 ,   P   2   A C M   I N T   C   W E B   S E ,   P 9 4 ,   D O I   1 0 . 1 1 4 5 / 1 4 9 8 7 5 9 . 1 4 9 8 8 1 3 ;   B i z e r   C ,   2 0 0 9 ,   J   W E B   S E M A N T ,   V 7 ,   P 1 5 4 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 9 . 0 7 . 0 0 2 ;   B o l l a c k e r   K . ,   2 0 0 8 ,   P   2 0 0 8   A C M   S I G M O D   I N ,   P 1 2 4 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 7 6 6 1 6 . 1 3 7 6 7 4 6 ;   B o u m a   G . ,   2 0 0 9 ,   P   3   I N T   W O R K S H   C R O S S ,   P 2 1 ,   D O I   1 0 . 3 1 1 5 / 1 5 7 2 4 3 3 . 1 5 7 2 4 3 7 ;   C a n c e d d a   N ,   2 0 0 3 ,   J   M A C H   L E A R N   R E S ,   V 3 ,   P 1 0 5 9 ,   D O I   1 0 . 1 1 6 2 / 1 5 3 2 4 4 3 0 3 3 2 2 5 3 3 1 9 7 ;   F L E I S S   J L ,   1 9 7 1 ,   P S Y C H O L   B U L L ,   V 7 6 ,   P 3 7 8 ,   D O I   1 0 . 1 0 3 7 / h 0 0 3 1 6 1 9 ;   K o n t o k o s t a s   D ,   2 0 1 2 ,   J   W E B   S E M A N T ,   V 1 5 ,   P 5 1 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 1 2 . 0 1 . 0 0 1 ;   L o d h i   H . ,   2 0 0 2 ,   J   M A C H I N E   L E A R N I N G   R ,   V 2 ,   P 5 6 3 ;   N g u y e n   T . ,   2 0 1 1 ,   P   V L D B   E N D O W ,   V 5 ,   P 1 3 3 ;   P a l m e r o   A p r o s i o   A . ,   2 0 1 3 ,   L N C S ,   V 7 8 8 2 ,   P 3 9 7 ;   P a l m e r o   A p r o s i o   A . ,   2 0 1 3 ,   P   1 3   I N T   C   K N O W L   M A N ;   R a h m   E ,   2 0 0 1 ,   V L D B   J ,   V 1 0 ,   P 3 3 4 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 8 0 1 0 0 0 5 7 ;   R i n s e r   D ,   2 0 1 3 ,   I N F O R M   S Y S T ,   V 3 8 ,   P 8 8 7 ,   D O I   1 0 . 1 0 1 6 / j . i s . 2 0 1 2 . 1 0 . 0 0 3 ;   S a u n d e r s   C . ,   2 0 0 2 ,   P   1 9   I N T   C   M A C H   L E A R ,   P 5 3 0 ;   S h v a i k o   P ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 7 3 0 ,   P 1 4 6 ;   S u c h a n e k   F .   M . ,   2 0 0 7 ,   P   1 6   I N T   C   W O R L D   W I D ,   P 6 9 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 2 4 2 5 7 2 . 1 2 4 2 6 6 7 ;   S u l t a n a   A . ,   2 0 1 2 ,   P   2 1   A C M   I N T   C   I N F   K ,   P 2 3 0 7 ;   V r a n d e c i c   D . ,   2 0 1 2 ,   P   2 1   I N T   C   C O M P   W O R L ,   P 1 0 6 3 	 1 8 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 1 3 3 5 - 3 ;   9 7 8 - 3 - 6 4 2 - 4 1 3 3 4 - 6 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 8 2 1 8 	 	 	 	 	 	 4 9 4 	 5 0 9 	 	 	 	 1 6 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 0 M D 	 W O S : 0 0 0 3 4 0 4 1 7 7 0 0 0 3 1 	 	 
 S 	 A c o s t a ,   M ;   Z a v e r i ,   A ;   S i m p e r l ,   E ;   K o n t o k o s t a s ,   D ;   A u e r ,   S ;   L e h m a n n ,   J 	 	 A l a n i ,   H ;   K a g a l ,   L ;   F o k o u e ,   A ;   G r o t h ,   P ;   B i e m a n n ,   C ;   P a r r e i r a ,   J X ;   A r o y o ,   L ;   N o y ,   N ;   W e l t y ,   C ;   J a n o w i c z ,   K 	 	 A c o s t a ,   M a r i b e l ;   Z a v e r i ,   A m r a p a l i ;   S i m p e r l ,   E l e n a ;   K o n t o k o s t a s ,   D i m i t r i s ;   A u e r ,   S o e r e n ;   L e h m a n n ,   J e n s 	 	 	 C r o w d s o u r c i n g   L i n k e d   D a t a   Q u a l i t y   A s s e s s m e n t 	 S E M A N T I C   W E B   -   I S W C   2 0 1 3 ,   P A R T   I I 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   I n t e r n a t i o n a l   S e m a n t i c   W e b   C o n f e r e n c e   ( I S W C ) 	 O C T   2 1 - 2 5 ,   2 0 1 3 	 S y d n e y ,   A U S T R A L I A 	 B i n g ,   F l u i d   O p e r a t ,   M i c r o s o f t   R e s ,   P r e v i o u s N e x t ,   I B M   R e s ,   O n t o t e x t ,   Y a h o o ,   I O S   P r e s s ,   O p e n L i n k   S o f t w a r e 	 	 	 	 I n   t h i s   p a p e r   w e   l o o k   i n t o   t h e   u s e   o f   c r o w d s o u r c i n g   a s   a   m e a n s   t o   h a n d l e   L i n k e d   D a t a   q u a l i t y   p r o b l e m s   t h a t   a r e   c h a l l e n g i n g   t o   b e   s o l v e d   a u t o m a t i c a l l y .   W e   a n a l y z e d   t h e   m o s t   c o m m o n   e r r o r s   e n c o u n t e r e d   i n   L i n k e d   D a t a   s o u r c e s   a n d   c l a s s i f i e d   t h e m   a c c o r d i n g   t o   t h e   e x t e n t   t o   w h i c h   t h e y   a r e   l i k e l y   t o   b e   a m e n a b l e   t o   a   s p e c i f i c   f o r m   o f   c r o w d s o u r c i n g .   B a s e d   o n   t h i s   a n a l y s i s ,   w e   i m p l e m e n t e d   a   q u a l i t y   a s s e s s m e n t   m e t h o d o l o g y   f o r   L i n k e d   D a t a   t h a t   l e v e r a g e s   t h e   w i s d o m   o f   t h e   c r o w d s   i n   d i f f e r e n t   w a y s :   ( i )   a   c o n t e s t   t a r g e t i n g   a n   e x p e r t   c r o w d   o f   r e s e a r c h e r s   a n d   L i n k e d   D a t a   e n t h u s i a s t s ;   c o m p l e m e n t e d   b y   ( i i )   p a i d   m i c r o t a s k s   p u b l i s h e d   o n   A m a z o n   M e c h a n i c a l   T u r k .   W e   e m p i r i c a l l y   e v a l u a t e d   h o w   t h i s   m e t h o d o l o g y   c o u l d   e f f i c i e n t l y   s p o t   q u a l i t y   i s s u e s   i n   D B p e d i a .   W e   a l s o   i n v e s t i g a t e d   h o w   t h e   c o n t r i b u t i o n s   o f   t h e   t w o   t y p e s   o f   c r o w d s   c o u l d   b e   o p t i m a l l y   i n t e g r a t e d   i n t o   L i n k e d   D a t a   c u r a t i o n   p r o c e s s e s .   T h e   r e s u l t s   s h o w   t h a t   t h e   t w o   s t y l e s   o f   c r o w d s o u r c i n g   a r e   c o m p l e m e n t a r y   a n d   t h a t   c r o w d s o u r c i n g - e n a b l e d   q u a l i t y   a s s e s s m e n t   i s   a   p r o m i s i n g   a n d   a f f o r d a b l e   w a y   t o   e n h a n c e   t h e   q u a l i t y   o f   L i n k e d   D a t a . 	 [ A c o s t a ,   M a r i b e l ]   K a r l s r u h e   I n s t   T e c h n o l ,   I n s t   A I F B ,   D - 7 6 0 2 1   K a r l s r u h e ,   G e r m a n y 	 A c o s t a ,   M   ( r e p r i n t   a u t h o r ) ,   K a r l s r u h e   I n s t   T e c h n o l ,   I n s t   A I F B ,   D - 7 6 0 2 1   K a r l s r u h e ,   G e r m a n y . 	 m a r i b e l . a c o s t a @ k i t . e d u ;   z a v e r i @ i n f o r m a t i k . u n i - l e i p z i g . d e ;   E . S i m p e r l @ s o t o n . a c . u k ;   k o n t o k o s t a s @ i n f o r m a t i k . u n i - l e i p z i g . d e ;   a u e r @ c s . u n i - b o n n . d e ;   l e h m a n n @ i n f o r m a t i k . u n i - l e i p z i g . d e 	 	 	 	 	 B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B i z e r   C ,   2 0 0 9 ,   J   W E B   S E M A N T ,   V 7 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 8 . 0 2 . 0 0 5 ;   B i z e r   C ,   2 0 0 9 ,   J   W E B   S E M A N T ,   V 7 ,   P 1 5 4 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 9 . 0 7 . 0 0 2 ;   C a f a r e l l a   M . J . ,   2 0 0 8 ,   P   V L D B   E N D O W ,   V 1 ,   P 5 3 8 ;   D e m a r t i n i   G . ,   2 0 1 2 ,   2 0 1 2   2 1   I N T   C   W O R L D ,   P 4 6 9 ;   F l e m m i n g   A . ,   2 0 1 0 ,   T H E S I S   H U M B O L D T   U   B E ;   G u e r e t   C . ,   2 0 1 2 ,   L N C S ,   V 7 2 9 5 ,   P 8 7 ;   H o g a n   A . ,   2 0 1 0 ,   L D O W ;   H o g a n   A ,   2 0 1 2 ,   J   W E B   S E M A N T ,   V 1 4 ,   P 1 4 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 1 2 . 0 2 . 0 0 1 ;   M a r k o t s c h i   T . ,   2 0 1 0 ,   P   W O R K S H   K N O W L   I N J   E ;   M e n d e s   B . C . ,   2 0 1 2 ,   L W D M ;   S a r a s u a   C . ,   2 0 1 2 ,   L N C S ,   V 7 6 4 9 ,   P 5 2 5 ;   T h a l e r   S . ,   2 0 1 1 ,   P   6   C   P R O F   K N O W L   M A N ;   W a n g   J . ,   2 0 1 2 ,   P V L D B ,   V 5 ,   P 1 4 8 3 ;   Z a v e r i   A . ,   2 0 1 3 ,   P   9   I N T   C   S E M   S Y S T   I ;   Z a v e r i   A . ,   Q U A L I T Y   A S S   I N   P R E S S 	 1 6 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 1 3 3 8 - 4 ;   9 7 8 - 3 - 6 4 2 - 4 1 3 3 7 - 7 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 8 2 1 9 	 	 	 	 	 	 2 6 0 	 2 7 6 	 	 	 	 1 7 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 0 M J 	 W O S : 0 0 0 3 4 0 4 2 2 7 0 0 0 1 7 	 	 
 S 	 M o r t e n s e n ,   J M 	 	 A l a n i ,   H ;   K a g a l ,   L ;   F o k o u e ,   A ;   G r o t h ,   P ;   B i e m a n n ,   C ;   P a r r e i r a ,   J X ;   A r o y o ,   L ;   N o y ,   N ;   W e l t y ,   C ;   J a n o w i c z ,   K 	 	 M o r t e n s e n ,   J o n a t h a n   M . 	 	 	 C r o w d s o u r c i n g   O n t o l o g y   V e r i f i c a t i o n 	 S E M A N T I C   W E B   -   I S W C   2 0 1 3 ,   P A R T   I I 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   I n t e r n a t i o n a l   S e m a n t i c   W e b   C o n f e r e n c e   ( I S W C ) 	 O C T   2 1 - 2 5 ,   2 0 1 3 	 S y d n e y ,   A U S T R A L I A 	 B i n g ,   F l u i d   O p e r a t ,   M i c r o s o f t   R e s ,   P r e v i o u s N e x t ,   I B M   R e s ,   O n t o t e x t ,   Y a h o o ,   I O S   P r e s s ,   O p e n L i n k   S o f t w a r e 	 	 	 O W L   O N T O L O G I E S ;   B I O - O N T O L O G I E S ;   J U S T I F I C A T I O N S ;   T E R M I N O L O G I E S ;   P U R P O S E ;   G A M E S 	 A s   t h e   s c a l e   a n d   c o m p l e x i t y   o f   o n t o l o g i e s   i n c r e a s e s ,   s o   t o o   d o   e r r o r s   a n d   e n g i n e e r i n g   c h a l l e n g e s .   I t   i s   f r e q u e n t l y   u n c l e a r ,   h o w e v e r ,   t o   w h a t   d e g r e e   e x t r a l o g i c a l   o n t o l o g y   e r r o r s   n e g a t i v e l y   a f f e c t   t h e   a p p l i c a t i o n   t h a t   t h e   o n t o l o g y   u n d e r p i n s .   F o r   e x a m p l e ,   " S h o e   S u b C l a s s O f   F o o t "   m a y   b e   c o r r e c t   l o g i c a l l y ,   b u t   n o t   i n   a   h u m a n   i n t e r p r e t a t i o n .   I n d e e d ,   s u c h   e r r o r s ,   n o t   c a u g h t   b y   r e a s o n i n g ,   a r e   l i k e l y   t o   b e   d o m a i n - s p e c i f i c ,   a n d   t h u s   i d e n t i f y i n g   s a l i e n t   o n t o l o g y   e r r o r s   r e q u i r e s   c o n s i d e r a t i o n   o f   t h e   d o m a i n .   T h e r e   a r e   b o t h   a u t o m a t e d   a n d   m a n u a l   m e t h o d s   t h a t   p r o v i d e   o n t o l o g y   q u a l i t y   a s s u r a n c e .   N e v e r t h e l e s s ,   t h e s e   m e t h o d s   d o   n o t   r e a d i l y   s c a l e   a s   o n t o l o g y   s i z e   i n c r e a s e s ,   a n d   d o   n o t   n e c e s s a r i l y   i d e n t i f y   t h e   m o s t   s a l i e n t   e x t r a l o g i c a l   e r r o r s .   R e c e n t l y ,   c r o w d s o u r c i n g   h a s   e n a b l e d   s o l u t i o n s   t o   c o m p l e x   p r o b l e m s   t h a t   c o m p u t e r s   a l o n e   c a n n o t   s o l v e .   F o r   i n s t a n c e ,   h u m a n   w o r k e r s   c a n   q u i c k l y   a n d   m o r e   a c c u r a t e l y   i d e n t i f y   o b j e c t s   i n   i m a g e s   a t   s c a l e .   C r o w d s o u r c i n g   p r e s e n t s   a n   o p p o r t u n i t y   t o   d e v e l o p   m e t h o d s   f o r   o n t o l o g y   q u a l i t y   a s s u r a n c e   t h a t   o v e r c o m e   t h e   c u r r e n t   l i m i t a t i o n s   o f   s c a l a b i l i t y   a n d   a p p l i c a b i l i t y .   I n   t h i s   w o r k ,   I   a i m   ( 1 )   t o   d e t e r m i n e   t h e   e f f e c t   o f   e x t r a l o g i c a l   o n t o l o g y   e r r o r s   i n   a n   e x a m p l e   d o m a i n ,   ( 2 )   t o   d e v e l o p   a   s c a l a b l e   f r a m e w o r k   f o r   c r o w d s o u r c i n g   o n t o l o g y   v e r i f i c a t i o n   t h a t   o v e r c o m e s   c u r r e n t   o n t o l o g y   Q / A   m e t h o d   l i m i t a t i o n s ,   a n d   ( 3 )   t o   a p p l y   t h i s   f r a m e w o r k   t o   o n t o l o g i e s   i n   u s e .   I   w i l l   t h e n   e v a l u a t e   t h e   m e t h o d   i t s e l f   a n d   a l s o   i t s   e f f e c t   i n   t h e   c o n t e x t   o f   a   s p e c i f i c   d o m a i n .   A s   a n   e x a m p l e   d o m a i n ,   I   w i l l   u s e   b i o m e d i c i n e ,   w h i c h   a p p l i e s   m a n y   l a r g e - s c a l e   o n t o l o g i e s .   T h u s ,   t h i s   w o r k   w i l l   e n a b l e   s c a l a b l e   q u a l i t y   a s s u r a n c e   f o r   e x t r a l o g i c a l   e r r o r s   i n   b i o m e d i c a l   o n t o l o g i e s .   T e r m i n o l o g y   E r r o r :   E x t r a l o g i c a l   o n t o l o g y   e r r o r   ( i . e . ,   n o n - l o g i c a l   e r r o r   t h a n   c a n   o n l y   b e   d e t e c t e d   b y   h u m a n   i n t e r p r e t a t i o n )   A p p l i c a t i o n :   A   s y s t e m ,   m e t h o d ,   o r   a p p l i c a t i o n   t h a t   u s e s   a n   o n t o l o g y   ( e .   g . ,   d e c i s i o n   s u p p o r t   s y s t e m )   S a l i e n t   e r r o r :   A n   e r r o r   t h a t   n e g a t i v e l y   a f f e c t s   a n   a p p l i c a t i o n   V e r i f i c a t i o n :   T h e   p r o c e s s   o f   f i n d i n g   e r r o r s 	 S t a n f o r d   U n i v ,   S t a n f o r d   C t r   B i o m e d   I n f o r m a t   R e s ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A 	 M o r t e n s e n ,   J M   ( r e p r i n t   a u t h o r ) ,   S t a n f o r d   U n i v ,   S t a n f o r d   C t r   B i o m e d   I n f o r m a t   R e s ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A . 	 	 	 	 	 	 B l a k e   J A ,   2 0 0 6 ,   J   B I O M E D   I N F O R M ,   V 3 9 ,   P 3 1 4 ,   D O I   1 0 . 1 0 1 6 / j . j b i . 2 0 0 6 . 0 1 . 0 0 3 ;   B l u m e n t h a l   D ,   2 0 1 0 ,   N E W   E N G L   J   M E D ,   V 3 6 3 ,   P 5 0 1 ,   D O I   1 0 . 1 0 5 6 / N E J M p 1 0 0 6 1 1 4 ;   B o d e n r e i d e r   O ,   2 0 0 6 ,   B R I E F   B I O I N F O R M ,   V 7 ,   P 2 5 6 ,   D O I   1 0 . 1 0 9 3 / b i b / b b l 0 2 7 ;   C e u s t e r s   W ,   2 0 0 5 ,   M E T H O D   I N F O R M   M E D ,   V 4 4 ,   P 4 9 8 ;   D e m a r t i n i   G . ,   2 0 1 2 ,   2 0 1 2   2 1   I N T   C   W O R L D ,   P 4 6 9 ;   G a n g e m i   A ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 0 1 1 ,   P 1 4 0 ;   G e l l e r   J ,   2 0 0 9 ,   J   B I O M E D   I N F O R M ,   V 4 2 ,   P 4 0 7 ,   D O I   1 0 . 1 0 1 6 / j . j b i . 2 0 0 9 . 0 4 . 0 0 6 ;   G r u b e r   T . R . ,   1 9 9 3 ,   5 6   S T A N F   U   K N O W L   S Y S ;   G u a r i n o   N ,   2 0 0 2 ,   C O M M U N   A C M ,   V 4 5 ,   P 6 1 ;   H o r r i d g e   M ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 3 1 8 ,   P 3 2 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 8 8 5 6 4 - 1 _ 2 1 ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   K a l y a n p u r   A ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 0 1 1 ,   P 1 7 0 ;   K a l y a n p u r   A ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 8 2 5 ,   P 2 6 7 ;   K a l y a n p u r   A ,   2 0 0 5 ,   J   W E B   S E M A N T ,   V 3 ,   P 2 6 8 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 5 . 0 9 . 0 0 5 ;   L e P e n d u   P ,   2 0 1 3 ,   C L I N   P H A R M A C O L   T H E R ,   V 9 3 ,   P 5 4 7 ,   D O I   1 0 . 1 0 3 8 / c l p t . 2 0 1 3 . 4 7 ;   L o z a n o - T e l l o   A ,   2 0 0 4 ,   J   D A T A B A S E   M A N A G E ,   V 1 5 ,   P 1 ,   D O I   1 0 . 4 0 1 8 / j d m . 2 0 0 4 0 4 0 1 0 1 ;   M c G u i n n e s s   D . L . ,   1 9 9 6 ,   E X P L A I N I N G   R E A S O N I N G ;   M o r t e n s e n   J . M . ,   2 0 1 3 ,   A M I A   A N N   S   U N P U B ;   M o r t e n s e n   J . M . ,   2 0 1 3 ,   I N T   C   B I O M   I N   P R E S S ;   M u s e n   M A ,   2 0 1 2 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 9 ,   P 1 9 0 ,   D O I   1 0 . 1 1 3 6 / a m i a j n l - 2 0 1 1 - 0 0 0 5 2 3 ;   N o y   N . F . ,   2 0 1 3 ,   W E B   S C I ;   P a r s i a   B ,   2 0 0 5 ,   P   1 4   I N T   W O R L D   W I D   W ,   P 6 3 3 ,   D O I   1 0 . 1 1 4 5 / 1 0 6 0 7 4 5 . 1 0 6 0 8 3 7 ;   Q u i n n   A . J . ,   2 0 1 1 ,   A N N   C   H U M   F A C T   C O M P ,   P 1 4 0 3 ;   R e c t o r   A L ,   2 0 1 1 ,   J   A M   M E D   I N F O R M   A S S N ,   V 1 8 ,   P 4 3 2 ,   D O I   1 0 . 1 1 3 6 / a m i a j n l - 2 0 1 0 - 0 0 0 0 4 5 ;   R u v o l o   P . ,   2 0 1 0 ,   E X P L O I T I N G   S T R U C T U R E ;   S a r a s u a   C . ,   2 0 1 2 ,   L N C S ,   V 7 6 4 9 ,   P 5 2 5 ;   S c h l o b a c h   S ,   2 0 0 7 ,   J   A U T O M   R E A S O N I N G ,   V 3 9 ,   P 3 1 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 8 1 7 - 0 0 7 - 9 0 7 6 - z ;   S c h l o b a c h   S . ,   2 0 0 3 ,   N O N S T A N D A R D   R E A S O N I N ,   P 3 5 5 ;   S i o r p a e s   K ,   2 0 0 8 ,   I E E E   I N T E L L   S Y S T ,   V 2 3 ,   P 5 0 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 8 . 4 5 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T a r t i r   S . ,   2 0 0 5 ,   I E E E   W O R K S H   K N O W L   A C ,   V 9 ;   V o l k e r   J . ,   2 0 0 8 ,   A P P L   O N T O L ,   V 3 ,   P 4 1 ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   Y u   J o n a t h a n ,   2 0 0 9 ,   I n f o r m a t i o n   S y s t e m s ,   V 3 4 ,   D O I   1 0 . 1 0 1 6 / j . i s . 2 0 0 9 . 0 4 . 0 0 2 	 3 5 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 1 3 3 8 - 4 ;   9 7 8 - 3 - 6 4 2 - 4 1 3 3 7 - 7 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 8 2 1 9 	 	 	 	 	 	 4 4 8 	 4 5 5 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B B 0 M J 	 W O S : 0 0 0 3 4 0 4 2 2 7 0 0 0 3 0 	 	 
 J 	 H u a n g ,   R ;   H u a n g ,   C Q ;   S h a n ,   J ;   X i o n g ,   L ;   Y a n ,   J X 	 	 H u ,   S ;   Y e ,   X 	 	 H u a n g ,   R u n ;   H u a n g ,   C h a n g q i n g ;   S h a n ,   J i e ;   X i o n g ,   L i a n ;   Y a n ,   J i x i n g 	 	 	 E v a l u a t i o n   o f   G P S   T r a j e c t o r i e s   o n   V G I   a n d   S o c i a l   W e b s i t e s 	 2 0 1 3   2 1 S T   I N T E R N A T I O N A L   C O N F E R E N C E   O N   G E O I N F O R M A T I C S   ( G E O I N F O R M A T I C S ) 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   G e o i n f o r m a t i c s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 1 s t   I n t e r n a t i o n a l   C o n f e r e n c e   o n   G e o i n f o r m a t i c s   ( G e o i n f o r m a t i c s ) 	 J U N   2 0 - 2 2 ,   2 0 1 3 	 K a i   F e n g ,   P E O P L E S   R   C H I N A 	 H e n a n   U n i v ,   C o l l   E n v i r o n m   &   P l a n n i n g ,   M i n i s t   E d u c ,   K e y   L a b   G e o s p a t i a l   T e c h n o l   M i d d l e   &   L o w e r   Y e l l o w   R i v e r   R e g ,   I n t   A s s o c   C h i n e s e   P r o f e s s   G e o g r a p h   I n f o r m a t   S c i ,   H e n a n   A s s o c   S c i   &   T e c h n o l ,   I E E E   G e o s c i e n c e   &   R e m o t e   S e n s i n g   S o c ,   H e n a n   U n i v ,   M i n i s t   E d u c ,   K e y   R e s   I n s t   Y e l l o w   R i v e r   C i v i l i z a t   &   S u s t a i n a b l e   D e v ,   G e o g r a p h   S o c   H e n a n   P r o v 	 	 G P S   T r a j e c t o r i e s ;   V o l u n t e e r e d   G e o g r a p h i c   I n f o r m a t i o n ;   C r o w d s o u r c i n g   G e o s p a t i a l   D a t a ;   G I S c i e n c e ;   D a t a   M i n i n g 	 	 N o w a d a y s ,   r e s e a r c h e r s   t e n d   t o   m a k e   u s e   o f   G P S   t r a j e c t o r i e s   c o l l e c t e d   b y   c o m p a n i e s ,   o r g a n i z a t i o n s ,   o r   v o l u n t e e r s .   G P S   t r a j e c t o r i e s   o n   c r o w d s o u r c i n g   w e b s i t e s   a r e   l e s s   w i d e l y   u s e d   i n   r e s e a r c h e s   b u t   a c t u a l l y   h a v e   g r e a t   p o t e n t i a l   f o r   v a r i o u s   a p p l i c a t i o n s .   T h u s ,   t h i s   p a p e r   m a k e s   a   c o m p r e h e n s i v e   s t u d y   o n   G P S   t r a j e c t o r i e s   o n   V G I   w e b s i t e s   a n d   s o c i a l   w e b s i t e s .   T h e   v o l u m e ,   g r o w t h   r a t e ,   a n d   c a t e g o r i e s   o f   t h e   d a t a   a r e   a n a l y z e d ,   t h e   a c c u r a c y   a n d   i n t e g r i t y   a r e   i d e n t i f i e d ,   a n d   a d d i t i o n a l   a t t r i b u t e s   o f   t r a j e c t o r i e s   a r e   a l s o   d i s c u s s e d .   S t a t i s t i c a l   r e s u l t s   i n d i c a t e   t h a t   t h e   a c c u r a c y   a n d   i n t e g r i t y   o f   t h e   d a t a   i s   w i t h i n   a c c e p t a b l e   l i m i t s .   W e   a l s o   c o n c l u d e   t h a t   t h i s   d a t a   i s   s u i t a b l e   f o r   t r a v e l - r e l a t e d   s t u d i e s ,   w h i l e   m a y   n o t   f o r   t i m e - r e l a t e d   r e s e a r c h e s .   F u r t h e r   s t u d i e s   a n d   s a m p l e   s u r v e y s   a r e   n e e d e d   t o   c o n f i r m   i f   i t ' s   s u i t a b l e   f o r   r o a d   i n f o r m a t i o n   e x t r a c t i o n .   T h i s   d a t a   m a y   b e   s o o n   a p p l i c a b l e   t o   m o r e   r e s e a r c h e s   b e c a u s e   o f   i t s   r a p i d   d e v e l o p m e n t . 	 [ H u a n g ,   R u n ;   H u a n g ,   C h a n g q i n g ;   S h a n ,   J i e ;   X i o n g ,   L i a n ;   Y a n ,   J i x i n g ]   W u h a n   U n i v ,   S c h   R e m o t e   S e n s i n g   &   I n f o r m a t   E n g n ,   W u h a n   4 3 0 0 7 9 ,   P e o p l e s   R   C h i n a 	 H u a n g ,   C Q   ( r e p r i n t   a u t h o r ) ,   W u h a n   U n i v ,   S c h   R e m o t e   S e n s i n g   &   I n f o r m a t   E n g n ,   W u h a n   4 3 0 0 7 9 ,   P e o p l e s   R   C h i n a . 	 h u a n g c q @ w h u . e d u . c n 	 	 	 	 	 A n d e r s s o n   M ,   2 0 0 8 ,   G E O I N F O R M A T I C A ,   V 1 2 ,   P 4 9 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 7 - 0 0 7 - 0 0 3 7 - 9 ;   B e n k e r t   M ,   2 0 0 8 ,   C O M P   G E O M - T H E O R   A P P L ,   V 4 1 ,   P 1 1 1 ,   D O I   1 0 . 1 0 1 6 / j . c o m g e o . 2 0 0 7 . 1 0 . 0 0 3 ;   C h e n   Y . ,   2 0 1 0 ,   P   1 8   S I G S P A T I A L   I N T ,   V 1 0 ,   P 8 1 ;   G o o d c h i l d   M . F . ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - Y ;   H a k l a y   M ,   2 0 0 8 ,   I E E E   P E R V A S   C O M P U T ,   V 7 ,   P 1 2 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 0 8 . 8 0 ;   H e i p k e   C ,   2 0 1 0 ,   I S P R S   J   P H O T O G R A M M ,   V 6 5 ,   P 5 5 0 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 1 0 . 0 6 . 0 0 5 ;   J i a   T ,   2 0 1 2 ,   J   S T A T   M E C H - T H E O R Y   E ,   D O I   1 0 . 1 0 8 8 / 1 7 4 2 - 5 4 6 8 / 2 0 1 2 / 1 1 / P 1 1 0 2 4 ;   J i a n g   B . ,   2 0 0 9 ,   P H Y S   R E V   E ,   V 8 0 ;   L a w s o n   C .   T . ,   2 0 1 1 ,   T E C H N I C A L   R E P O R T ;   L i   J ,   2 0 1 2 ,   I N T   J   A P P L   E A R T H   O B S ,   V 1 9 ,   P 2 3 8 ,   D O I   1 0 . 1 0 1 6 / j . j a g . 2 0 1 2 . 0 5 . 0 1 3 ;   L i   Z H ,   2 0 1 1 ,   A C M   T   I N T E L   S Y S T   T E C ,   V 2 ,   D O I   1 0 . 1 1 4 5 / 1 9 8 9 7 3 4 . 1 9 8 9 7 4 1 ;   L i u   X . ,   2 0 1 2 ,   H P L 2 0 1 2 2 6 ;   W a n g   Y . ,   2 0 1 1 ,   H P L 2 0 1 1 1 0 9 ;   W o l f   J . ,   2 0 0 1 ,   T R A N S P O R T   R E S   R E C ,   V 1 7 6 8 ,   P 1 2 5 ,   D O I   1 0 . 3 1 4 1 / 1 7 6 8 - 1 5 ;   Z h a n g   L . ,   2 0 1 0 ,   P   2   I N T   W O R K S H   C O M P ,   P 1 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 9 9 4 4 1 . 1 8 9 9 4 4 7 ;   Z h e n g   Y ,   2 0 1 1 ,   A C M   T   W E B ,   V 5 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 1 5 9 1 . 1 9 2 1 5 9 6 ;   Z h e n g   Y . ,   2 0 1 0 ,   I E E E   D A T A   E N G   B ,   V 3 3 ,   P 3 2 ;   Z h e n g   Y . ,   2 0 0 8 ,   P   1 7   I N T   C   W O R L D   W I D ,   P 2 4 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 6 7 4 9 7 . 1 3 6 7 5 3 2 ;   Z h e n g   Y . ,   2 0 0 9 ,   P   I N T   C   W O R L D   W I L D   W ,   D O I   [ 1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 8 1 6 ,   D O I   1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 8 1 6 ] 	 1 9 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 1 6 1 - 0 2 4 X 	 	 	 I N T   C O N F   G E O I N F O R M 	 	 	 2 0 1 3 	 	 	 	 	 	 	 	 	 	 	 	 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   G e o s c i e n c e s ,   M u l t i d i s c i p l i n a r y 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   G e o l o g y 	 B A 9 G K 	 W O S : 0 0 0 3 3 9 3 6 1 5 0 0 1 0 3 	 	 
 S 	 C o s t a ,   R ;   F i g u e i r a s ,   P ;   M a l o ,   P ;   J e r m o l ,   M ;   K a l a b o u k a s ,   K 	 	 N e v e s S i l v a ,   R ;   W a t a d a ,   J ;   P h i l l i p s W r e n ,   G ;   J a i n ,   L C ;   H o w l e t t ,   R J 	 	 C o s t a ,   R u b e n ;   F i g u e i r a s ,   P a u l o ;   M a l o ,   P e d r o ;   J e r m o l ,   M i t j a ;   K a l a b o u k a s ,   K o s t a s 	 	 	 M o b i S   -   P e r s o n a l i z e d   M o b i l i t y   S e r v i c e s   f o r   e n e r g y   e f f i c i e n c y   a n d   s e c u r i t y   t h r o u g h   a d v a n c e d   A r t i f i c i a l   I n t e l l i g e n c e   t e c h n i q u e s 	 I N T E L L I G E N T   D E C I S I O N   T E C H N O L O G I E S 	 F r o n t i e r s   i n   A r t i f i c i a l   I n t e l l i g e n c e   a n d   A p p l i c a t i o n s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 5 t h   K E S   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e l l i g e n t   D e c i s i o n   T e c h n o l o g i e s   ( K E S - I D T ) 	 M A Y   2 6 - J U N   2 8 ,   2 0 1 3 	 S e s i m b r a ,   P O R T U G A L 	 K E S 	 	 E n e r g y   e f f i c i e n t   m o b i l i t y ;   r e a s o n i n g   s e r v i c e s ;   m u l t i - c r i t e r i a   d e c i s i o n ;   a r t i f i c i a l   i n t e l l i g e n c e ;   f e d e r a t e d   p l a t f o r m   i m p l e m e n t a t i o n 	 	 M o b i S   i s   a   E u r o p e a n   r e s e a r c h   p r o j e c t   f u n d e d   u n d e r   t h e   F P 7   w o r k   p r o g r a m m e .   T h e   m a i n   g o a l   o f   M o b i S   i s   t o   c r e a t e   a   n e w   c o n c e p t   a n d   s o l u t i o n   o f   a   f e d e r a t e d ,   c u s t o m i z e d   a n d   i n t e l l i g e n t   m o b i l i t y   p l a t f o r m   b y   a p p l y i n g   n o v e l   F u t u r e   I n t e r n e t   t e c h n o l o g i e s   a n d   A r t i f i c i a l   I n t e l l i g e n c e   m e t h o d s   t h a t   w i l l   m o n i t o r ,   m o d e l   a n d   m a n a g e   t h e   u r b a n   m o b i l i t y   c o m p l e x   n e t w o r k   o f   p e o p l e ,   o b j e c t s ,   n a t u r a l ,   s o c i a l   a n d   b u s i n e s s   e n v i r o n m e n t   i n   r e a l - t i m e .   M o b i S   i n t e l l i g e n c e   i s   b a s e d   o n   t h e   s y m b i o t i c   r e l a t i o n   b e t w e e n   t h e s e   s t a k e h o l d e r s ,   i n n o v a t i v e   p r e d i c t i o n   a n d   r e a s o n i n g   m e t h o d s   t h a t   a r e   u s i n g   l e a r n e d   m u l t i - c r i t e r i a   f u n c t i o n   t o   p r o v i d e   m o r e   e f f i c i e n t ,   e n e r g y - a w a r e   a n d   e n v i r o n m e n t a l   f r i e n d l y   c i t i z e n   m o b i l i t y .   M o b i S   w i l l   b e   a b l e   t o   c o m b i n e   n o v e l   a r t i f i c i a l   i n t e l l i g e n c e   s e r v i c e s   a n d   t r a d i t i o n a l   i n f o r m a t i o n   p l a t f o r m   s e r v i c e s   c o m i n g   f r o m   t h e   f o l l o w i n g   s o u r c e s :   a )   e x i s t i n g   t r a n s p o r t   p r i v a t e   o r   p u b l i c   s e r v i c e   p r o v i d e r s ,   b )   a m b i e n t   d a t a ,   b a s e d   o n   s e n s o r   i n f r a s t r u c t u r e s   a n d   c )   s o c i a l   n e t w o r k i n g   d a t a .   T o   a c h i e v e   t h e s e   c h a l l e n g i n g   o b j e c t i v e s ,   t h e   p r o j e c t   w i l l   d e v e l o p   p r e d i c t i o n / p l a n n i n g / r e a s o n i n g   s e r v i c e s ,   m u l t i - c r i t e r i a   d e c i s i o n   f u n c t i o n s   a n d ,   f e d e r a t e d   m o b i l i t y - b a s e d   s e r v i c e s   t h a t   c o r r e s p o n d   t o   t h e   a b o v e   m e n t i o n e d   i n f o r m a t i o n   s o u r c e s .   S o l u t i o n s   w i l l   b e   t e s t e d   i n   t h r e e   p i l o t s :   1 )   A n   i n t e r - c i t y   m o b i l i t y   s c e n a r i o   i n   S w e d e n   ( S t o c k h o l m - H u d i k s v a l l - S u n d s v a l l ) ,   w h e r e   a n   e x i s t i n g   c r o w d s o u r c i n g   a p p l i c a t i o n   w i l l   b e   u s e d ,   2 )   a n   i n t r a - c i t y   s c e n a r i o   i n   G r e e c e   ( T h e s s a l o n i k i )   c o m b i n i n g   a   t r a f f i c   i n f o r m a t i o n   s y s t e m   a n d   t h e   c r o w d s o u r c i n g   a p p l i c a t i o n   a n d ,   3 )   a   c o u n t r y - w i d e   ( i n t e r - c i t y )   m o b i l i t y   s c e n a r i o   i n   S l o v e n i a   w i t h   a   s o c i a l   m e d i a   a p p l i c a t i o n ,   a n d   s e l e c t e d   t r a f f i c   i n f o r m a t i o n   s y s t e m   a l r e a d y   o p e r a t e d   i n   v a r i o u s   p a r t s   o f   t h e   c o u n t r y   a n d   i n   t h e   m a i n   c i t i e s . 	 [ C o s t a ,   R u b e n ;   F i g u e i r a s ,   P a u l o ;   M a l o ,   P e d r o ]   U n i v   N o v a   L i s b o a ,   F C T ,   U n i n o v a ,   C T S , D e p t   E n g a   E l e c t r o t e c n ,   P - 2 8 2 9 5 1 6   C a p a r i c a ,   P o r t u g a l 	 C o s t a ,   R   ( r e p r i n t   a u t h o r ) ,   U n i v   N o v a   L i s b o a ,   F C T ,   U n i n o v a ,   C T S , D e p t   E n g a   E l e c t r o t e c n ,   P - 2 8 2 9 5 1 6   C a p a r i c a ,   P o r t u g a l . 	 r d d c @ u n i n o v a . p t 	 	 	 	 	 B r a b h a m   D .   C . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ;   C o o k   D J ,   2 0 0 9 ,   P E R V A S I V E   M O B   C O M P U T ,   V 5 ,   P 2 7 7 ,   D O I   1 0 . 1 0 1 6 / j . p m c j . 2 0 0 9 . 0 4 . 0 0 1 ;   F e n s e l   D . ,   2 0 0 8 ,   I E E E   I N T   C   S E M   C O M P ;   G o o g l e ,   2 0 0 9 ,   B R I G H T   S I D   S I T T   T R A F ;   I E E E ,   I E E E   I N T   T R A N S P   S Y S T ;   I N F O T R I P   S . A ,   I N T   T R A N S P   S Y S T ;   M a t u s z e k   C . ,   2 0 0 6 ,   A A A I   S P R I N G   S   F O R M   C ;   W i t b r o c k   M . ,   2 0 1 0 ,   I N F   T E C H N   I N T   C A V T 	 8 	 0 	 0 	 I O S   P R E S S 	 A M S T E R D A M 	 N I E U W E   H E M W E G   6 B ,   1 0 1 3   B G   A M S T E R D A M ,   N E T H E R L A N D S 	 0 9 2 2 - 6 3 8 9 	 	 9 7 8 - 1 - 6 1 4 9 9 - 2 6 4 - 6 ;   9 7 8 - 1 - 6 1 4 9 9 - 2 6 3 - 9 	 F R O N T   A R T I F   I N T E L   A P 	 	 	 2 0 1 3 	 2 5 5 	 	 	 	 	 	 2 9 6 	 3 0 6 	 	 1 0 . 3 2 3 3 / 9 7 8 - 1 - 6 1 4 9 9 - 2 6 4 - 6 - 2 9 6 	 	 1 1 	 O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 B A 9 F L 	 W O S : 0 0 0 3 3 9 3 3 8 7 0 0 0 3 2 	 	 
 J 	 G r a n d h i ,   B ;   S i n g h ,   J A ;   G u p t a ,   M ;   K a u r ,   J ;   S e t h ,   R 	 	 V r o n t i s ,   D ;   W e b e r ,   Y ;   T s o u k a t o s ,   E 	 	 G r a n d h i ,   B a l a k r i s h n a ;   S i n g h ,   J y o t h s n a   A p p a i a h ;   G u p t a ,   M a n i ;   K a u r ,   J a s v e e n ;   S e t h ,   R a h u l 	 	 	 C R O W D S O U R C I N G   F O R   D U B A I   A P P A R E L   N D U S T R Y - - M I R A G E   O R   A   R E A L I T Y ? 	 C O N F R O N T I N G   C O N T E M P O R A R Y   B U S I N E S S   C H A L L E N G E S   T H R O U G H   M A N A G E M E N T   I N N O V A T I O N 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 6 t h   A n n u a l   E u r o M e d   C o n f e r e n c e   o f   t h e   E u r o M e d - A c a d e m y - o f - B u s i n e s s 	 S E P   2 3 - 2 4 ,   2 0 1 3 	 C a s c a i s ,   P O R T U G A L 	 E u r o M e d   A c a d   B u s i n e s s 	 	 c r o w d s o u r c i n g ;   o n l i n e   c o m m u n i t y ;   r e t a i l ;   t e c h n o l o g y   i n n o v a t i o n ;   s t r a t e g i c   m a r k e t i n g 	 	 ' C r o w d s o u r c i n g '   i s   a   u n i q u e   o p e r a t i n g   m o d e l   t h a t   u t i l i z e s   t h e   w i s d o m   o f   a   c o m m u n i t y   b y   o u t s o u r c i n g   a   t a s k   o r i g i n a l l y   p e r f o r m e d   b y   a   d e s i g n a t e d   p r o f e s s i o n a l ,   t o   a n   u n d e f i n e d   b u t   a   l a r g e   g r o u p   o f   p e o p l e ,   e s p e c i a l l y   f r o m   a n   o n l i n e   c o m m u n i t y .   C r o w d s o u r c i n g   h a s   b e e n   u s e d   s u c c e s s f u l l y   f o r   i n n o v a t i o n ,   n e w   p r o d u c t   d e v e l o p m e n t   a n d   i n   f i e l d s   l i k e   i n f o r m a t i o n   t e c h n o l o g y ,   n e w   v e n t u r e   f i n a n c i n g ,   h o m e   f u r n i s h i n g s   a n d   p h o t o g r a p h y ;   h o w e v e r ,   i t   c a n n o t   b e   i m p l e m e n t e d   f o r   e v e r y   b u s i n e s s   o r   i n   e v e r y   g e o g r a p h i c a l   r e g i o n .   A n   o r g a n i z a t i o n   f a c e s   t h e   b i g g e s t   c h a l l e n g e   o f   f l i p p i n g   i t s   b u s i n e s s   m o d e l   u p s i d e   d o w n ,   w i t h   o n l i n e   c o m m u n i t y   t a k i n g   c h a r g e   o f   p r o c e s s   f o r   c o n t i n u o u s   i n n o v a t i o n   a n d   d e v e l o p m e n t   f r o m   t h e   o w n e r .   O u t c o m e s   c o u l d   b e   l e s s   t h a n   s a t i s f a c t o r y ,   i f   c r o w d   i s   u n a b l e   t o   p r o v i d e   r i g h t   s o l u t i o n s   w i t h i n   t h e   s t i p u l a t e d   t i m e   p e r i o d .   C r o w d s o u r c i n g   c a n   s e r v e   a s   m e a n s   o f   d i s t r i b u t e d   i n n o v a t i o n   f o r   f a s h i o n   d e s i g n   a n d   d e v e l o p m e n t .   R e t a i l e r s   c o u l d   f o l l o w   t h e   " p r o s u m e r "   c o n c e p t   w h e r e i n   t h e   m e m b e r s   o f   a n   o n l i n e   c o m m u n i t y   a r e   b u y e r s   o f   t h e   p r o d u c t s   d e v e l o p e d   b y   t h e m .   T h i s   r e s e a r c h   a i m s   t o   a s c e r t a i n   w h e t h e r   c r o w d s o u r c i n g   m o d e l   i s   a p p l i c a b l e   f o r   D u b a i ' s   a p p a r e l   i n d u s t r y .   I n -   d e p t h   i n t e r v i e w s   w i t h   i n d u s t r y   e x p e r t s   a n d   l o c a l   d e s i g n e r s   r e v e a l e d   t h e i r   b e l i e f   i n   t h e   n a s c e n t   m o d e l   t o   b e   i n n o v a t i v e ,   c a p a b l e   o f   c r e a t i n g   a   m a r k e t i n g   b u z z ,   s u i t a b l e   f o r   s h o r t - t e r m   c o m m u n i c a t i o n   c a m p a i g n s   a n d   f o r   d r a w i n g   a   l a r g e   o n l i n e   f o o t f a l l .   H o w e v e r ,   t h e y   e x p r e s s e d   s k e p t i c i s m   o n   t h e   u s e   o f   c r o w d s o u r c i n g   a s   b a s i s   f o r   t h e i r   l o n g - t e r m   m a r k e t i n g   s t r a t e g y .   D e s i g n e r s   a g r e e   t h a t   i t   i s   e n c o u r a g i n g   f o r   b u d d i n g   t a l e n t s   t o   p a r t i c i p a t e   a n d   e x p r e s s   t h e i r   c r e a t i v i t y ,   h o w e v e r   o n l y   i n   a   v o c a t i o n a l   r a t h e r   t h a n   a   p r o f e s s i o n a l   c a p a c i t y .   P r i m a r y   r e s e a r c h   w a s   c a r r i e d   o u t   t o   a s s e s s   t h e   r e l e v a n c e   o f   t h i s   m o d e l   f o r   t h e   a p p a r e l   i n d u s t r y   i n   D u b a i .   U n i v a r i a t e   a n d   m u l t i v a r i a t e   a n a l y s i s   w a s   p e r f o r m e d   o n   t h e   d a t a   g a t h e r e d   a n d   t w o   m a j o r   s e g m e n t s   w e r e   i d e n t i f i e d   -   -   e a c h   e x h i b i t i n g   d i f f e r e n t   b e h a v i o r a l   a n d   p s y c h o g r a p h i c   c h a r a c t e r i s t i c s .   R e c o m m e n d a t i o n s   i n c l u d e   i n i t i a t i v e s   t o w a r d s   c a p t u r i n g   t h e   i n t e r e s t   o f   b o t h   t h e   s e g m e n t s .   W h i l e   t h e   l u x u r y   b r a n d s ,   w h i c h   a r e   e x c l u s i v e   i n   t h e i r   a p p r o a c h ,   m a y   n o t   b e   a b l e   t o   a d o p t   t h i s   m o d e l ,   m a n y   f a s t   f a s h i o n   a n d   y o u t h f u l   b r a n d s   c o u l d   h a v e   v a r y i n g   l e v e l   o f   b e n e f i t s   d e p e n d i n g   u p o n   t h e   c r o w d s o u r c i n g   b u s i n e s s   p r a c t i c e s   a d o p t e d . 	 [ G r a n d h i ,   B a l a k r i s h n a ;   S i n g h ,   J y o t h s n a   A p p a i a h ;   G u p t a ,   M a n i ;   K a u r ,   J a s v e e n ;   S e t h ,   R a h u l ]   S P   J a i n   S c h   G l o b a l   M a n a g e m e n t ,   B o m b a y ,   M a h a r a s h t r a ,   I n d i a 	 	 b a l a k r i s h n a . g r a n d h i @ s p j a i n . o r g ;   j y o t h s n a . s i n g h @ s p j a i n . o r g 	 	 	 	 	 A l - A t t a s i   N . ,   2 0 1 3 ,   D U B A I S   P O P U L A T I O N   R E ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   U A E   R E T A I L   S A L E S   T O ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   2 0 1 1   S K Y W A R D S   F U T U R E ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   U A E S   R E T A I L   S A L E S   T O ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   T O P   1 0   C R O W D S O U R C I N G ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   P O P U L A T I O N   B Y   S E X   E M ;   A u g u s t i n e   B .   D . ,   2 0 1 3 ,   I I F   P R O J E C T S   3   6   U A E ;   B o n a b e a u   E ,   2 0 0 9 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 4 5 ;   B o u d r e a u   K .   J . ,   2 0 1 3 ,   U S I N G   T H E   C R O W D   A S   A ,   P 6 1 ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   C a u l f i e l d   B . ,   2 0 0 9 ,   W H Y   C R O W D S O U R C I N G   I S ;   C o n r o y   E . ,   2 0 1 0 ,   T H E   N E X T   U S E   O F   C R O W ;   D e g e n   R .   J . ,   2 0 1 0 ,   T H E   I S M   J O U R N A L   O F   I ;   F e i t e l b e r g   R . ,   2 0 1 0 ,   C R O W D S O U R C I N G   C A T C H I ;   G o b b l e   M M ,   2 0 1 2 ,   R E S   T E C H N O L   M A N A G E ,   V 5 5 ,   P 5 8 ,   D O I   1 0 . 5 4 3 7 / 0 8 9 5 6 3 0 8 X 5 5 0 4 0 0 5 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D   S O U R C I N G   W H Y   T ;   M e r c h a n t   N . ,   2 0 1 3 ,   H A R V A R D   B U S   R E V ,   P 7 9 ;   P o t t s   E . ,   2 0 1 3 ,   O N L I N E   A P P A R E L   S A L E S ;   S c h w e i t z e r   F .   M . ,   2 0 1 2 ,   C R O W D S O U R C I N G ,   V 5 5 ,   P 3 2 ;   S h a o   B J ,   2 0 1 2 ,   E L E C T R O N   M A R K ,   V 2 2 ,   P 7 3 ,   D O I   1 0 . 1 0 0 7 / s 1 2 5 2 5 - 0 1 2 - 0 0 9 3 - 3 ;   T A P S C O T T   D ,   2 0 0 8 ,   W I K I N O M I C S ;   W a g n e r   E B ,   2 0 1 1 ,   R E S   T E C H N O L   M A N A G E ,   V 5 4 ,   P 3 2 ,   D O I   1 0 . 5 4 3 7 / 0 8 9 5 6 3 0 8 X 5 4 0 6 0 1 3 ;   W e x l a r   M .   N . ,   2 0 1 1 ,   T H E   I N T E R N A T I O N A L   J O ,   V 3 1 ,   P 6 ,   D O I   D O I   1 0 . 1 1 0 8 / 0 1 4 4 3 3 3 1 1 1 1 1 0 4 7 7 9 	 2 3 	 0 	 0 	 E U R O M E D   P R E S S 	 M A R S E I L L E   C E D E X   9 	 R U E   A N T O I N E   B O U R D E L L E ,   D O M A I N E   D E   L U M I N Y   B P   9 2 1 ,   M A R S E I L L E   C E D E X   9 ,   1 3   2 8 8 ,   F R A N C E 	 	 	 9 7 8 - 9 9 6 3 - 7 1 1 - 1 6 - 1 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 0 9 9 	 1 1 1 3 	 	 	 	 1 5 	 B u s i n e s s ;   B u s i n e s s ,   F i n a n c e ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 B A 8 U N 	 W O S : 0 0 0 3 3 8 7 2 7 1 0 0 0 6 0 	 	 
 S 	 P a r s o n ,   J ;   B r a g a ,   D ;   T j a l v e ,   M ;   O h ,   J 	 	 H a b e r n a l ,   I ;   M a t o u s e k ,   V 	 	 P a r s o n ,   J e a n n e ;   B r a g a ,   D a n i e l a ;   T j a l v e ,   M i c h a e l ;   O h ,   J i e u n 	 	 	 E v a l u a t i n g   V o i c e   Q u a l i t y   a n d   S p e e c h   S y n t h e s i s   U s i n g   C r o w d s o u r c i n g 	 T E X T ,   S P E E C H ,   A N D   D I A L O G U E ,   T S D   2 0 1 3 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 6 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   T e x t ,   S p e e c h ,   a n d   D i a l o g u e   ( T S D ) 	 S E P   0 1 - 0 5 ,   2 0 1 3 	 P i l s e n ,   C Z E C H   R E P U B L I C 	 I n t   S p e e c h   C o m m u n   A s s o c ,   C z e c h   S o c   C y b e r n e t   &   I n f o r m a t ,   U n i v   W   B o h e m i a ,   F a c   A p p l   S c i ,   M a s a r y k   U n i v ,   F a c   I n f o r m a t 	 	 v o i c e   q u a l i t y   e v a l u a t i o n ;   s p e e c h   s y n t h e s i s ;   T e x t - t o - S p e e c h   ( T T S ) ;   c r o w d s o u r c i n g   ( C S ) ;   v o i c e   p r e f e r e n c e ;   g e n d e r   p r e f e r e n c e 	 	 O n e   o f   t h e   k e y   a s p e c t s   o f   c r e a t i n g   h i g h   q u a l i t y   s y n t h e t i c   s p e e c h   i s   t h e   v a l i d a t i o n   p r o c e s s .   E s t a b l i s h i n g   v a l i d a t i o n   p r o c e s s e s   t h a t   a r e   r e l i a b l e   a n d   s c a l a b l e   i s   c h a l l e n g i n g .   T o d a y ,   t h e   m a t u r i t y   o f   t h e   c r o w d s o u r c i n g   i n f r a s t r u c t u r e   a l o n g   w i t h   b e t t e r   t e c h n i q u e s   f o r   v a l i d a t i n g   t h e   d a t a   g a t h e r e d   t h r o u g h   c r o w d s o u r c i n g   h a v e   m a d e   i t   p o s s i b l e   t o   p e r f o r m   r e l i a b l e   s p e e c h   s y n t h e s i s   v a l i d a t i o n   a t   a   l a r g e r   s c a l e .   I n   t h i s   p a p e r ,   w e   p r e s e n t   a   s t u d y   o f   v o i c e   q u a l i t y   e v a l u a t i o n   u s i n g   t h e   c r o w d s o u r c i n g   p l a t f o r m .   W e   i n v e s t i g a t e   v o i c e   g e n d e r   p r e f e r e n c e   a c r o s s   e i g h t   l o c a l e s   f o r   t h r e e   t y p i c a l   T T S   s c e n a r i o s .   W e   a l s o   e x a m i n e   t o   w h i c h   d e g r e e   s p e a k e r   a d a p t a t i o n   c a n   c a r r y   o v e r   c e r t a i n   v o i c e   q u a l i t i e s ,   s u c h   a s   m o o d ,   o f   t h e   t a r g e t   s p e a k e r   t o   t h e   a d a p t e d   T T S .   B a s e d   o n   a n   e x i s t i n g   f u l l   T T S   f o n t ,   a d a p t a t i o n   i s   c a r r i e d   o u t   o n   a   s m a l l e r   a m o u n t   o f   s p e e c h   d a t a   f r o m   a   t a r g e t   s p e a k e r .   F i n a l l y ,   w e   s h o w   h o w   c r o w d s o u r c i n g   c o n t r i b u t e s   t o   o b j e c t i v e   a s s e s s m e n t   w h e n   d e a l i n g   w i t h   v o i c e   p r e f e r e n c e   i n   v o i c e   t a l e n t   s e l e c t i o n . 	 [ P a r s o n ,   J e a n n e ;   B r a g a ,   D a n i e l a ;   T j a l v e ,   M i c h a e l ]   M i c r o s o f t   C o r p ,   R e d m o n d ,   W A   9 8 0 5 2   U S A 	 P a r s o n ,   J   ( r e p r i n t   a u t h o r ) ,   M i c r o s o f t   C o r p ,   R e d m o n d ,   W A   9 8 0 5 2   U S A . 	 j e a n n e p a @ m i c r o s o f t . c o m ;   d b r a g a @ m i c r o s o f t . c o m ;   m i t j a l v e @ m i c r o s o f t . c o m ;   j i e u n 5 @ c c r m a . s t a n f o r d . e d u 	 	 	 	 	 C o o k e   M . ,   2 0 1 3 ,   C R O W D S O U R C I N G   S P E E C H ,   P 1 3 7 ;   K i n g   S . ,   2 0 1 2 ,   P   B L I Z Z   C H A L L E N G E W O R ;   L a n e   I . ,   2 0 1 0 ,   P   C R E A T   S P E E C H   L A N G ,   P 1 8 5 ;   L e e   J . ,   2 0 0 0 ,   P   C H I   E A   2 0 0 0   C H I   2 0 ,   P 2 8 9 ;   M a r g e   M . ,   2 0 1 0 ,   P   I E E E   I C A S S P ;   M a s u k o   T ,   1 9 9 7 ,   I N T   C O N F   A C O U S T   S P E E ,   P 1 6 1 1 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 1 9 9 7 . 5 9 8 8 0 7 ;   P a r e n t   G . ,   2 0 1 1 ,   P   I N T E R S P E E C H ,   P 3 0 3 7 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   W o l t e r s   M . ,   2 0 1 0 ,   P   7   S P E E C H   S Y N T H   W O R 	 9 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 0 5 8 4 - 6 ;   9 7 8 - 3 - 6 4 2 - 4 0 5 8 5 - 3 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 8 0 8 2 	 	 	 	 	 	 2 3 3 	 2 4 0 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B A 6 W K 	 W O S : 0 0 0 3 3 7 2 9 4 9 0 0 0 3 0 	 	 
 J 	 B r u g g m a n n ,   A ;   S a l v i n i ,   M M ;   F a b r i k a n t ,   S I 	 	 	 	 B r u g g m a n n ,   A n d r e ;   S a l v i n i ,   M a r c o   M . ;   F a b r i k a n t ,   S a r a   I . 	 	 	 A g g l o m e r a t i o n s   n e w l y   d e f i n e d   w i t h   c r o w d s o u r c e d   d a t a :   v i s u a l i z i n g   N o r t h   E a s t e r n   S w i t z e r l a n d   b a s e d   o n   W i k i p e d i a   c o n t e n t 	 D I S P 	 	 	 G e r m a n 	 A r t i c l e 	 	 	 	 	 	 	 	 C o m m u t e r s   h a v e   h a d   a n   i m p o r t a n t   r o l e   i n   s h a p i n g   t h e   s p a t i a l   o r g a n i z a t i o n   o f   S w i t z e r l a n d ,   a s   c o m m u t e r   f l o w s   h a v e   b e e n   o n e   o f   t h e   m o s t   s i g n i f i c a n t   c r i t e r i a   t o   d e l i n e a t e   u r b a n   a g g l o m e r a t i o n   z o n e s .   E v e n   t h o u g h   u r b a n   a r e a s   a n d   r e s p e c t i v e   a g g l o m e r a t i o n s   h a v e   c o n t i n u o u s l y   g a i n e d   i n   i m p o r t a n c e   i n   S w i t z e r l a n d   t o   t h i s   d a y ,   t h e   S w i s s   n a t i o n a l   p o p u l a t i o n   c e n s u s   w i l l   n o   l o n g e r   i n c l u d e   c o m m u t e r   d a t a   a t   h i g h   s p a t i a l   r e s o l u t i o n .   H e n c e ,   t h e   d e f i n i t i o n   o f   t h e   r a p i d l y   e v o l v i n g   u r b a n   a g g l o m e r a t i o n   c o n c e p t   w i l l   h a v e   t o   b e   m o d i f i e d   f o r   f u t u r e   u r b a n   r e s e a r c h   a n d   p l a n n i n g   p u r p o s e s .   W e   p r o p o s e   a   c r o w d s o u r c i n g   a p p r o a c h   t o   o v e r c o m e   t h i s   d a t a   g a p ,   a n d   e m p l o y   t h e   o p e n   a n d   w e b - b a s e d   W i k i p e d i a   e n c y c l o p e d i a   a s   a   n e w   r e s o u r c e   t o   d e l i n e a t e   a g g l o m e r a t i o n   a r e a s .   U s i n g   t h e   N o r t h   E a s t e r n   p a r t s   o f   S w i t z e r l a n d   i n   t h i s   c a s e   s t u d y ,   w e   s y s t e m a t i c a l l y   e v a l u a t e   w h e t h e r   u s e r - g e n e r a t e d   c o n t e n t   c a n   s e r v e   a s   a n   o p t i o n   t o   f i l l   t h e   c o m m u t e r   d a t a   g a p   i n   f u t u r e   S w i s s   n a t i o n a l   p o p u l a t i o n   c e n s u s e s   t o   d e f i n e   a g g l o m e r a t i o n   a r e a s .   I n   a   s e c o n d   s t e p ,   w e   e v a l u a t e   t h e   i n f l u e n c e   o f   p o t e n t i a l   e d g e   e f f e c t s   o n   o u r   c h o s e n   a p p r o a c h .   W e   e m p l o y   t h e   n u m b e r   o f   h y p e r l i n k s   i n   t h e   W i k i p e d i a   d a t a b a s e   t o   q u a n t i f y   t h e   s t r e n g t h   o f   f u n c t i o n a l   r e l a t i o n s h i p s   b e t w e e n   m u n i c i p a l i t i e s   a p p e a r i n g   i n   t h e   W i k i p e d i a   e n c y c l o p e d i a .   N e x t ,   w e   v i s u a l i z e   t h e   e x t r a c t e d   m u n i c i p a l i t y   n e t w o r k   s t r u c t u r e   f o r   t h e   c h o s e n   s t u d y   a r e a .   F i n a l l y ,   w e   c l u s t e r   t h e   c o n n e c t e d   m u n i c i p a l i t i e s   t o   a g g l o m e r a t i o n   z o n e s ,   a n d   c o m p a r e   t h e   c o m p u t e d   m u n i c i p a l i t y   c l u s t e r s   w i t h   t h e   a g g l o m e r a t i o n   a r e a s   c u r r e n t l y   d e f i n e d   b y   t h e   S w i s s   c e n s u s .   O u r   r e s u l t s   s u g g e s t   t h a t   t h e   a g g r e g a t i o n   s t r u c t u r e   o f   o u r   c r o w d s o u r c i n g   a p p r o a c h   i s   c o n g r u e n t   w i t h   t h e   o f f i c i a l l y   d e v e l o p e d   a g g l o m e r a t i o n   a r e a s   p r o p o s e d   b y   t h e   S w i s s   c e n s u s .   C r o w d s o u r c e d   d a t a   t h u s   m i g h t   b e   a n   a d d i t i o n a l   f u t u r e   d a t a   r e s o u r c e   t o   c o m p l e m e n t   m o r e   t r a d i t i o n a l   c e n s u s   s t a t i s t i c s   f o r   s p a c e   d i s t r i c t i n g   p u r p o s e s   o r   s o c i o - e c o n o m i c   r e s e a r c h   i n   u r b a n   g e o g r a p h y   a n d   p l a n n i n g .   H o w e v e r ,   o u r   r e s u l t s   a l s o   s u g g e s t   t h a t   g e o g r a p h i c   s p a c e   i n d e e d   i n f l u e n c e s   e v e n   n o n - s p a t i a l l y   o r g a n i z e d ,   c r o w d s o u r c e d   e n c y c l o p e d i c   e n t r i e s ,   a n d   t h i s   m u s t   b e   s y s t e m a t i c a l l y   s t u d i e d   f u r t h e r   i n   f u t u r e   s t u d i e s . 	 [ B r u g g m a n n ,   A n d r e ;   F a b r i k a n t ,   S a r a   I . ]   U n i v   Z u r i c h   I r c h e l ,   I n s t   G e o g ,   C H - 8 0 5 7   Z u r i c h ,   S w i t z e r l a n d ;   [ S a l v i n i ,   M a r c o   M . ]   S t a d t b a u a m t   A a r a u ,   C H - 5 0 0 0   A a r a u ,   S w i t z e r l a n d 	 B r u g g m a n n ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   Z u r i c h   I r c h e l ,   I n s t   G e o g ,   W i n t e r t h u r e r s t r   1 9 0 ,   C H - 8 0 5 7   Z u r i c h ,   S w i t z e r l a n d . 	 a n d r e . b r u g g m a n n @ g e o . u z h . c h ;   m a r c o . s a l v i n i @ a a r a u . c h ;   s a r a . f a b r i k a n t @ g e o . u z h . c h 	 	 	 	 	 B a c k h a u s   K . ,   2 0 1 1 ,   M U L T I V A R I A T E   A N A L Y S E ;   B l o n d e l   V D ,   2 0 0 8 ,   J   S T A T   M E C H - T H E O R Y   E ,   D O I   1 0 . 1 0 8 8 / 1 7 4 2 - 5 4 6 8 / 2 0 0 8 / 1 0 / P 1 0 0 0 8 ;   B R U G G M A N N   A . ,   2 0 1 2 ,   G E O G R A P H I C   I N F O R M   V I ;   B U N D E S A M T   F U R   S T A T I S T I K ,   2 0 1 2 ,   A G G L   N E U E   A G G L   S C H W E ;   B U N D E S A M T   F U R   S T A T I S T I K ,   2 0 1 1 ,   N E U E   V O L K S Z ;   B U N D E S A M T   F U R   S T A T I S T I K ,   2 0 0 7 ,   U B   A G G L   G R U N D L   B E S T ;   B U N D E S A M T   F U R   S T A T I S T I K ,   2 0 1 3 ,   R A U M L   G L I E D   S C H W E I Z ;   C L I F F   A D ,   1 9 7 0 ,   E C O N   G E O G R ,   V 4 6 ,   P 2 6 9 ,   D O I   1 0 . 2 3 0 7 / 1 4 3 1 4 4 ;   F a b r i k a n t   S .   I . ,   2 0 0 4 ,   G E O G R A P H I C   I N F O R M   S C ,   V 3 1 ,   P 2 3 7 ;   F o t h e r i n g h a m   A .   S . ,   2 0 0 2 ,   G E O G R A P H I C A L L Y   W E I G H ;   F O T H E R I N G H A M   A .   S . ,   2 0 1 2 ,   G E O G R A P H I C A L L Y   W E I G H ;   H E C H T   B . ,   2 0 0 8 ,   1 1   A G I L E   I N T   C   G E O G R ;   H E C H T   B . ,   2 0 0 7 ,   U T I L I Z I N G   W I K I P E D I A ;   K o s   A J ,   2 0 0 0 ,   P S Y C H O L   R E P ,   V 8 6 ,   P 8 5 8 ,   D O I   1 0 . 2 4 6 6 / P R 0 . 8 6 . 3 . 8 5 8 - 8 6 2 ;   M E T H O D E N B E R A T U N G ,   2 0 1 2 ,   R A N G K   N A C H   S P E A R M ;   S A L V I N I   M .   M . ,   2 0 1 2 ,   G E O G R A P H I C   I N F O R M   V I ;   S c h u l e r   M ,   2 0 0 5 ,   R A U M G L I E D E R U N G E N   S C H ;   T h i e r s t e i n   A ,   2 0 0 6 ,   R A U M E N T W I C K L U N G   V E R B ;   W a s s e r m a n   S . ,   1 9 9 4 ,   S O C I A L   N E T W O R K   A N A L ;   W I K I P E D I A ,   2 0 1 2 ,   D T S C H   W I K   V E R S 	 2 0 	 0 	 0 	 R O U T L E D G E   J O U R N A L S ,   T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X F O R D S H I R E ,   E N G L A N D 	 0 2 5 1 - 3 6 2 5 	 2 1 6 6 - 8 6 0 4 	 	 D I S P 	 d i s P 	 	 2 0 1 3 	 4 9 	 4 	 	 	 	 	 3 7 	 4 5 	 	 1 0 . 1 0 8 0 / 0 2 5 1 3 6 2 5 . 2 0 1 3 . 8 9 2 7 8 9 	 	 9 	 P l a n n i n g   &   D e v e l o p m e n t 	 P u b l i c   A d m i n i s t r a t i o n 	 A I 0 E R 	 W O S : 0 0 0 3 3 6 5 1 9 5 0 0 0 0 6 	 	 
 J 	 G h a n i ,   A T A ;   Z a k a r i a ,   M S 	 	 S a l i m ,   J ;   I s m a i l ,   M ;   S u w a r n o ,   I 	 	 G h a n i ,   A h m a d   T a r m i z i   A b d u l ;   Z a k a r i a ,   M o h a m a d   S h a n u d i n 	 	 	 B u s i n e s s - I T   M o d e l s   D r i v e   B u s i n e s s e s   t o w a r d s   B e t t e r   V a l u e   D e l i v e r y   a n d   P r o f i t s   M a k i n g 	 4 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   E L E C T R I C A L   E N G I N E E R I N G   A N D   I N F O R M A T I C S   ( I C E E I   2 0 1 3 ) 	 P r o c e d i a   T e c h n o l o g y 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   E l e c t r i c a l   E n g i n e e r i n g   a n d   I n f o r m a t i c s   ( I C E E I ) 	 J U N   2 4 - 2 5 ,   2 0 1 3 	 B a n g i ,   M A L A Y S I A 	 U n i v   K e b a n g s a a n   M a l a y s i a ,   I n s t   T e k n o l o g i   B a n d u n g   I n d o n e s i a 	 	 B u s i n e s s - I T   M o d e l ;   B u s i n e s s - I T   a l i g n m e n t ;   e - b u s i n e s s ;   s o c i a l   m e d i a ;   s e a r c h   e n g i n e ;   c r o w d s o u r c i n g 	 	 B u s i n e s s e s   f a c e   a   c h a n g i n g   e n v i r o n m e n t   e v e r y   d a y .   T h e   c h a n g i n g   e n v i r o n m e n t   w i l l   i n c r e a s e   t h e   c o m p l e x i t y   o f   t h e   b u s i n e s s e s   t h a t   d e a l   w i t h   i t .   T h u s ,   t h e   B u s i n e s s   M o d e l s   h a v e   b e e n   u s e d   t o   a d d r e s s   t h i s   p r o b l e m .   H o w e v e r ,   t h i s   p a p e r   p r o p o s e s   t h e   B u s i n e s s - I T   M o d e l s ,   w h i c h   a r e   f o r m e d   b y   w o r k i n g   c l o s e l y   w i t h   I T .   T h e r e   a r e   s e v e r a l   v a r i e t i e s   o f   t h e   B u s i n e s s - I T   M o d e l s ,   a n d   t h i s   p a p e r   a d d r e s s e s   t h r e e   o f   t h e m ,   w h i c h   a r e   t h e   S o c i a l   M o d e l ,   t h e   S e a r c h   M o d e l   a n d   t h e   C r o w d s o u r c i n g   M o d e l .   A l l   t h e s e   a r e   p r o v e n   m o d e l s   f o r   t o d a y ' s   c h a l l e n g i n g   b u s i n e s s   e n v i r o n m e n t   a n d   h a v e   a l r e a d y   b e e n   i m p l e m e n t e d   b y   s u c c e s s f u l   c o m p a n i e s .   ( C )   2 0 1 3   T h e   A u t h o r s .   P u b l i s h e d   b y   E l s e v i e r   L t d . 	 [ G h a n i ,   A h m a d   T a r m i z i   A b d u l ;   Z a k a r i a ,   M o h a m a d   S h a n u d i n ]   U n i v   K e b a n g s a a n   M a l a y s i a ,   F a c   I n f o r m a t   S c i   &   T e c h n o l ,   B a n g i   4 3 6 0 0 ,   S e l a n g o r ,   M a l a y s i a 	 G h a n i ,   A T A   ( r e p r i n t   a u t h o r ) ,   U n i v   K e b a n g s a a n   M a l a y s i a ,   F a c   I n f o r m a t   S c i   &   T e c h n o l ,   B a n g i   4 3 6 0 0 ,   S e l a n g o r ,   M a l a y s i a . 	 t a r m i z i @ f t s m . u k m . m y 	 	 	 	 	 E i r a s   C J . ,   2 0 1 0 ,   P R A C T I C A L   C I O   C O M M O N ;   E s p e j o   R ,   2 0 1 1 ,   O R G   S Y S T E M   M A N A G I N G ;   G o d i n   S . ,   2 0 1 2 ,   W H A T C H A G O N N A   D O   D U C K ;   H u g o s   H M . ,   2 0 0 9 ,   B U S I N E S S   A G I L I T Y   S U S ;   J o r d a n   M J . ,   2 0 1 2 ,   I N F O R M   T E C H N O L O G Y   I N ;   K i c k s t a r t e r ,   2 0 1 3 ,   K I C K S T   S T A T ;   L e s t e r   D ,   2 0 1 2 ,   T H E Y   S T A R T E D   D I G I T A L ;   M i l l e r   P ,   2 0 1 0 ,   S M A R T   S W A R M   U N D E R S T A ;   O s t e r w a l d e r   A . ,   2 0 0 4 ,   B U S I N E S S   M O D E L   O N T O L ;   O s t e r w a l d e r   A . ,   2 0 1 0 ,   B U S I N E S S   M O D E L   G E N E R 	 1 0 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 S A R A   B U R G E R H A R T S T R A A T   2 5 ,   P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 2 2 1 2 - 0 1 7 3 	 	 	 P R O C   T E C H 	 	 	 2 0 1 3 	 1 1 	 	 	 	 	 	 6 0 2 	 6 0 7 	 	 1 0 . 1 0 1 6 / j . p r o t c y . 2 0 1 3 . 1 2 . 2 3 4 	 	 6 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 4 D K 	 W O S : 0 0 0 3 3 5 3 9 6 6 0 0 0 8 0 	 	 
 J 	 S o n n l e i t n e r ,   E ;   K u n g ,   J ;   S c h a f e r ,   D ;   W e n z e l ,   H 	 	 M o r v a n ,   F ;   T j o a ,   A M ;   W a g n e r ,   R R 	 	 S o n n l e i t n e r ,   E r i k ;   K u e n g ,   J o s e f ;   S c h a e f e r ,   D a v i d ;   W e n z e l ,   H e l m u t 	 	 	 A   c r o w d - s o u r c i n g   a p p r o a c h   f o r   a r e a - w i d e   o n - l i n e   b u i l d i n g   a s s e s s m e n t   t o w a r d s   e a r t h q u a k e   e n g i n e e r i n g 	 2 0 1 3   2 4 T H   I N T E R N A T I O N A L   W O R K S H O P   O N   D A T A B A S E   A N D   E X P E R T   S Y S T E M S   A P P L I C A T I O N S   ( D E X A   2 0 1 3 ) 	 I n t e r n a t i o n a l   W o r k s h o p   o n   D a t a b a s e   a n d   E x p e r t   S y s t e m s   A p p l i c a t i o n s - D E X A 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 4 t h   I n t e r n a t i o n a l   W o r k s h o p   o n   D a t a b a s e   a n d   E x p e r t   S y s t e m s   A p p l i c a t i o n s   ( D E X A ) 	 A U G   2 6 - 3 0 ,   2 0 1 3 	 P r a g u e ,   C Z E C H   R E P U B L I C 	 	 U n i v   E c o n 	 s t r u c t u r a l   h e a l t h   m o n i t o r i n g ;   c r o w d s o u r c i n g ;   b u i l d i n g   a s s e s s m e n t ;   e a r t h q u a k e   e n g i n e e r i n g 	 	 T h e   m a i n   o b j e c t i v e   o f   e a r t h q u a k e   e n g i n e e r i n g   i s   t o   a n t i c i p a t e   t h e   i m p a c t   o f   e a r t h q u a k e s   o n   b u i l d i n g s   a n d   o t h e r   c i v i l   s t r u c t u r e s   i n   o r d e r   t o   m i n i m i z e   t h e   r i s k   o f   d a m a g e .   I n   c o n t e m p l a t i o n   o f   t h i s   p u r p o s e ,   h i g h - g r a d e ,   a c c u r a t e   a n d   e x t e n s i v e   p o o l s   o f   b u i l d i n g - s p e c i f i c   p a r a m e t e r s   l i k e   c o n s t r u c t i o n   t y p e s ,   c o n s t r u c t i o n   y e a r   a n d   d w e l l i n g   i n f o r m a t i o n   c a n   d r a m a t i c a l l y   a s s i s t   i n   r i s k   a s s e s s m e n t ,   a n a l y s i s   a n d   e v a l u a t i o n   t h e r e o f .   I n   o r d e r   t o   c o l l e c t   t h i s   i n f o r m a t i o n ,   w e   p r o p o s e   a n   o n - l i n e   w e b   s e r v i c e   f o r   e a s y   a s s e s s m e n t   o f   c i v i l   s t r u c t u r e s ,   a d d r e s s e d   p r i m a r i l y   t o   n o n - p r o f e s s i o n a l s   a n d   n o n - t e c h n i c i a n s   w i t h   a   d e d i c a t e d   f o c u s   o n   a c c e s s i b i l i t y . 	 [ S o n n l e i t n e r ,   E r i k ;   K u e n g ,   J o s e f ]   J K U ,   I n s t   A p p l i c a t   O r i e n t e d   K n o w l e d g e   P r o c ,   L i n z ,   A u s t r i a 	 S o n n l e i t n e r ,   E   ( r e p r i n t   a u t h o r ) ,   J K U ,   I n s t   A p p l i c a t   O r i e n t e d   K n o w l e d g e   P r o c ,   L i n z ,   A u s t r i a . 	 e s o n n l e i t n e r @ f a w . j k u . a t ;   j k u e n g @ f a w . j k u . a t ;   s c h a e f e r @ v c e . a t ;   w e n z e l @ v c e . a t 	 	 	 	 	 B o o t h   E ,   2 0 0 6 ,   E A R T H Q U A K E   D E S I G N   P R ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   E l l i n g w o o d   B R ,   2 0 0 1 ,   R E L I A B   E N G   S Y S T   S A F E ,   V 7 4 ,   P 2 5 1 ,   D O I   1 0 . 1 0 1 6 / S 0 9 5 1 - 8 3 2 0 ( 0 1 ) 0 0 1 0 5 - 3 ;   G a o   J . ,   2 0 0 7 ,   J   N A T U R A L   D I S A S T E R S ,   V 6 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   N e w m a r k   N .   M . ,   1 9 7 1 ,   C I V I L   E N G   E N G   M E C H   S ,   V 1 2 ;   O k a m o t o   S . ,   1 9 8 4 ,   I N T R O   E A R T H Q U A K E   E N G ;   W e n z e l   H . ,   2 0 1 1 ,   E R D B E B E N   W I E N E R   B E C K 	 8 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 5 2 9 - 4 1 8 8 	 	 9 7 8 - 0 - 7 6 9 5 - 5 0 7 0 - 1 	 I N T   W O R K S H O P   D A T A B A S 	 	 	 2 0 1 3 	 	 	 	 	 	 	 3 	 8 	 	 1 0 . 1 1 0 9 / D E X A . 2 0 1 3 . 5 	 	 6 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 4 I J 	 W O S : 0 0 0 3 3 5 7 9 1 8 0 0 0 0 1 	 	 
 J 	 P h u t t h a r a k ,   J ;   L o k e ,   S W 	 	 	 I E E E 	 P h u t t h a r a k ,   J u r a i r a t ;   L o k e ,   S e n g   W . 	 	 	 L o g i c C r o w d :   a   D e c l a r a t i v e   P r o g r a m m i n g   P l a t f o r m   f o r   M o b i l e   C r o w d s o u r c i n g 	 2 0 1 3   1 2 T H   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   T R U S T ,   S E C U R I T Y   A N D   P R I V A C Y   I N   C O M P U T I N G   A N D   C O M M U N I C A T I O N S   ( T R U S T C O M   2 0 1 3 ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   T r u s t   S e c u r i t y   a n d   P r i v a c y   i n   C o m p u t i n g   a n d   C o m m u n i c a t i o n s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   T r u s t ,   S e c u r i t y   a n d   P r i v a c y   i n   C o m p u t i n g   a n d   C o m m u n i c a t i o n s   ( T r u s t C o m ) 	 J U L   1 6 - 1 8 ,   2 0 1 3 	 M e l b o u r n e ,   A U S T R A L I A 	 I E E E ,   I E E E   C o m p   S o c ,   I E E E   T e c h   C o m m   S c a l a b l e   C o m p ,   D e a k i n   U n i v ,   S c h   I n f o r m a t   T e c h n o l ,   N S C L a b ,   T r e n d   M i c r o 	 	 d e c l a r a t i v e   p r o g r a m m i n g   l a n g u a g e ;   m o b i l e   a p p l i c a t i o n ;   m o b i l e   c r o w d s o u r c i n g ;   s o c i a l   m e d i a   n e t w o r k 	 	 W e   p r e s e n t   a n   a t t e m p t   t o   e n g a g e   s o c i a l   m e d i a   n e t w o r k s ,   b r i n g i n g   t h e   c r o w d s o u r c i n g   m o d e l   i n t o   m o b i l e   e n v i r o n m e n t s .   W e   i n t r o d u c e   L o g i c   C r o w d ,   a   d e c l a r a t i v e   p r o g r a m m i n g   p a r a d i g m   f o r   m o b i l e   c r o w d s o u r c i n g   a p p l i c a t i o n s ,   d e v e l o p e d   a s   a n   e x t e n s i o n   o f   P r o l o g .   L o g i c   C r o w d   a i m s   a t   f i l l i n g   t h e   g a p   b e t w e e n   t r a d i t i o n a l   m a c h i n e   c o m p u t a t i o n ,   w h i c h   o p e r a t e s   u p o n   i t s   d a t a b a s e ,   a n d   s o c i a l   m e d i a ,   w h i c h   i s   c a p a b l e   o f   i n t e r a c t i n g   w i t h   r e a l   p e o p l e .   I n   t h i s   p a p e r ,   w e   i l l u s t r a t e   t h e   p o t e n t i a l   o f   o u r   a p p r o a c h   v i a   p r o g r a m m i n g   i d i o m s ,   a   p r o t o t y p e   i m p l e m e n t a t i o n   a n d   s c e n a r i o s . 	 [ P h u t t h a r a k ,   J u r a i r a t ;   L o k e ,   S e n g   W . ]   L a   T r o b e   U n i v ,   D e p t   C o m p   S c i   &   C o m p   E n g n ,   B u n d o o r a ,   V i c   3 0 8 6 ,   A u s t r a l i a 	 P h u t t h a r a k ,   J   ( r e p r i n t   a u t h o r ) ,   L a   T r o b e   U n i v ,   D e p t   C o m p   S c i   &   C o m p   E n g n ,   B u n d o o r a ,   V i c   3 0 8 6 ,   A u s t r a l i a . 	 j p h u t t h a r a k @ s t u d e n t s . l a t r o b e . e d u . a u ;   s . l o k e @ l a t r o b e . e d u . a u 	 	 	 	 	 A h m a d   S . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ;   A L I   K ,   2 0 1 2 ,   W I R   C O M M   N E T W   C   W C N C ,   P 3 3 0 7 ;   A l t   F . ,   2 0 1 0 ,   P   6   N O R D   C   H U M   C O M P ,   P 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 8 9 1 4 . 1 8 6 8 9 2 1 ;   L o k e   S W ,   2 0 0 6 ,   J   S Y S T   S O F T W A R E ,   V 7 9 ,   P 5 2 3 ,   D O I   1 0 . 1 0 1 6 / j . j s s . 2 0 0 5 . 0 4 . 0 0 5 ;   C h a t z i m i l i o u d i s   G ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 3 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 7 0 ;   D e m i r b a s   M u r a t ,   2 0 1 0 ,   2 0 1 0   I E E E   I n t e r n a t i o n a l   S y m p o s i u m   o n   " A   W o r l d   o f   W i r e l e s s ,   M o b i l e   a n d   M u l t i m e d i a   N e t w o r k s "   ( W o W M o M ) ,   D O I   1 0 . 1 1 0 9 / W O W M O M . 2 0 1 0 . 5 5 3 4 9 1 0 ;   D e n t i   E . ,   2 0 1 2 ,   T U P R O L O G   M A N U A L ;   E a g l e   N . ,   2 0 0 9 ,   I N T   D E S I G N   G L O B A L   D E ,   V 5 6 2 3 ,   P 4 4 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 2 7 6 7 - 3 _ 5 0 ;   F e n g   A . ,   2 0 1 1 ,   P   V L D B   E N D O W M E N T ,   V 4 ;   F r a n k l i n   M . J . ,   2 0 1 1 ,   S I G M O D ,   P 6 1 ;   G u p t a   A . ,   2 0 1 2 ,   P   2 0 1 2   A C M   A N N   C   H U M ,   P 1 8 4 3 ;   H e y m a n n   P . ,   2 0 1 1 ,   P   2 0   I N T   C   W O R L D   W I D ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   L i t t l e   G . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 5 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 4 0 ;   L i u   X . ,   2 0 1 2 ,   P   V L D B   E N D O W M E N T ,   V 5 ,   P 1 0 4 0 ;   L i u   Y . ,   2 0 1 1 ,   S O M E   1 1 ;   L u o n   Y . ,   2 0 1 2 ,   R A N K R   M O B I L E   S Y S T E M ,   P 2 0 ;   M a r c u s   A . ,   2 0 1 1 ,   5   B I E N N   C   I N N   D A T   S Y ;   M a r c u s   A . ,   2 0 1 1 ,   P   2 0 1 1   A C M   S I G M O D   I N ;   M a r c u s   A . ,   2 0 1 1 ,   P   V L D B   E N D O W ,   V 5 ,   P 1 3 ;   M o r i s h i m a   A . ,   2 0 1 2 ,   P   V L D B   E N D O W ,   V 5 ,   P 1 9 1 8 ;   N a r u l a   P . ,   2 0 1 1 ,   M O B I L E W O R K S   M O B I L E   C ;   P a r a m e s w a r a n   A . ,   2 0 1 1 ,   C   I N   D A T   S Y S T   R E S   C I ;   P a r a m e s w a r a n   A .   G . ,   2 0 1 2 ,   P   2 1   A C M   I N T   C   I N F   K ;   P a r a m e s w a r a n   A . G . ,   2 0 1 2 ,   P   2 0 1 2   I N T   C   M A N   D A T ,   P 3 6 1 ;   R h e i n g o l d   H . ,   2 0 0 3 ,   S M A R T   M O B S ;   S i m p e r l   E . ,   2 0 1 2 ,   2 0 1 2   A A A I   S P R I N G   S   S ;   S t e r l i n g   L . ,   1 9 8 6 ,   A R T   P R O L O G ,   V 9 4 ;   S t e v e n s   M . ,   2 0 1 0 ,   1   U B   C R O W D S   W O R K S H   U ;   W a n g   J . ,   2 0 1 2 ,   P V L D B ,   V 5 ,   P 1 4 8 3 ;   Y A N   T ,   2 0 0 9 ,   P   7   A C M   C   E M B   N E T W   S ,   P 3 4 7 ,   D O I   1 0 . 1 1 4 5 / 1 6 4 4 0 3 8 . 1 6 4 4 0 9 4 	 3 1 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 3 2 4 - 8 9 8 X 	 	 9 7 8 - 0 - 7 6 9 5 - 5 0 2 2 - 0 	 I E E E   I N T   C O N F   T R U S T 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 3 2 3 	 1 3 3 0 	 	 1 0 . 1 1 0 9 / T r u s t C o m . 2 0 1 3 . 1 5 8 	 	 8 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 B A 1 Q E 	 W O S : 0 0 0 3 3 2 8 5 6 7 0 0 1 6 6 	 	 
 J 	 L a T o z a ,   T D ;   B e n   T o w n e ,   W ;   v a n   d e r   H o e k ,   A ;   H e r b s l e b ,   J D 	 	 	 I E E E 	 L a T o z a ,   T h o m a s   D . ;   B e n   T o w n e ,   W . ;   v a n   d e r   H o e k ,   A n d r e ;   H e r b s l e b ,   J a m e s   D . 	 	 	 C r o w d   D e v e l o p m e n t 	 2 0 1 3   6 T H   I N T E R N A T I O N A L   W O R K S H O P   O N   C O O P E R A T I V E   A N D   H U M A N   A S P E C T S   O F   S O F T W A R E   E N G I N E E R I N G   ( C H A S E ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 6 t h   I n t e r n a t i o n a l   W o r k s h o p   o n   C o o p e r a t i v e   a n d   H u m a n   A s p e c t s   o f   S o f t w a r e   E n g i n e e r i n g   ( C H A S E ) 	 M A Y   2 5 ,   2 0 1 3 	 S a n   F r a n c i s c o ,   C A 	 	 	 c r o w d s o u r c i n g ;   d i s t r i b u t e d   d e v e l o p m e n t ;   g a m i f i c a t i o n ;   s o c i a l   s o f t w a r e   d e v e l o p m e n t 	 	 C r o w d   d e v e l o p m e n t   i s   a   d e v e l o p m e n t   p r o c e s s   d e s i g n e d   f o r   t r a n s i e n t   w o r k e r s   o f   v a r y i n g   s k i l l .   W o r k   i s   o r g a n i z e d   i n t o   m i c r o t a s k s ,   w h i c h   a r e   s h o r t ,   s e l f - d e s c r i p t i v e ,   a n d   m o d u l a r .   M i c r o t a s k s   r e c u r s i v e l y   s p a w n   m i c r o t a s k s   a n d   a r e   m a t c h e d   t o   w o r k e r s ,   w h o   a c c r u e   p o i n t s   r e f l e c t i n g   v a l u e   c r e a t e d .   C r o w d   d e v e l o p m e n t   m i g h t   h e l p   t o   r e d u c e   t i m e   t o   m a r k e t   a n d   s o f t w a r e   d e v e l o p m e n t   c o s t s ,   i n c r e a s e   p r o g r a m m e r   p r o d u c t i v i t y ,   a n d   m a k e   p r o g r a m m i n g   m o r e   f u n . 	 [ L a T o z a ,   T h o m a s   D . ;   v a n   d e r   H o e k ,   A n d r e ]   U n i v   C a l i f   I r v i n e ,   D e p t   I n f o r m a t ,   I r v i n e ,   C A   9 2 6 9 7   U S A 	 L a T o z a ,   T D   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   I r v i n e ,   D e p t   I n f o r m a t ,   I r v i n e ,   C A   9 2 6 9 7   U S A . 	 t l a t o z a @ i c s . u c i . e d u ;   w b t @ c s . c m u . e d u ;   a n d r e @ i c s . u c i . e d u ;   j d h @ c s . c m u . e d u 	 	 	 	 	 C s i k s z e n t m i h a l y i   M i h a l y ,   1 9 9 0 ,   F L O W   P S Y C H O L   O P T I M A L ;   D e t e r d i n g   S . ,   2 0 1 1 ,   1 5   I N T   A C   M I N D T R E K   C ,   P 9 ;   G h o s h   R .   A . ,   2 0 0 5 ,   M A K I N G   S E N S E   B A Z A A R ;   G o l d m a n   M . ,   2 0 1 1 ,   W O R K S H   C O O P   H U M   A S P ,   P 6 5 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   K h a t i b   F . ,   2 0 1 1 ,   P   N A T L   A C A D   S C I ,   V 1 0 8 ;   K r a u t   R E ,   2 0 1 1 ,   B U I L D I N G   S U C C E S S F U L   O N L I N E   C O M M U N I T I E S :   E V I D E N C E - B A S E D   S O C I A L   D E S I G N ,   P 1 ;   K u l k a r n i   A . ,   2 0 1 2 ,   C O M P U T E R   S U P P O R T E D   C ,   P 1 0 0 3 ;   K u l k a r n i   A . ,   2 0 1 1 ,   N E X T   G E N E R A T I O N   C R O W ;   L a T o z a   T .   D . ,   2 0 1 2 ,   T H E S I S   C A R N E G I E M   M E L ;   L a T o z a   T .   D . ,   2 0 0 7 ,   E S E C   F S E   0 7 ,   P 3 6 1 ;   L a w   E . ,   2 0 1 1 ,   H U M A N   C O M P U T A T I O N ;   L e k e v i c i u s   J . ,   2 0 1 0 ,   G A M E   D E S I G N   M A K E S   G A ;   L i   W . ,   2 0 1 2 ,   D E S   A U T   C   D A C ,   P 1 2 5 4 ;   L i t t l e   G . ,   2 0 1 0 ,   U I S T ,   P 5 7 ;   M c C o n n e l   S . ,   2 0 1 1 ,   M A K I N G   S O F T W A R E ;   P a g e   S .   E . ,   2 0 0 8 ,   D I F F E R E N C E   P O W E R   D I V ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S 	 1 8 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 6 2 9 0 - 0 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 8 5 	 8 8 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 3 V A 	 W O S : 0 0 0 3 3 4 9 1 2 9 0 0 0 1 3 	 	 
 J 	 H a n ,   H ;   O t t o ,   C ;   J a i n ,   A K 	 	 F i e r r e z ,   J ;   K u m a r ,   A ;   V a t s a ,   M ;   V e l d h u i s ,   R ;   O r t e g a G a r c i a ,   J 	 	 H a n ,   H u ;   O t t o ,   C h a r l e s ;   J a i n ,   A n i l   K . 	 	 	 A g e   E s t i m a t i o n   f r o m   F a c e   I m a g e s :   H u m a n   v s .   M a c h i n e   P e r f o r m a n c e 	 2 0 1 3   I N T E R N A T I O N A L   C O N F E R E N C E   O N   B I O M E T R I C S   ( I C B ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 6 t h   I A P R   I n t e r n a t i o n a l   C o n f e r e n c e   o n   B i o m e t r i c s   ( I C B ) 	 J U N   0 4 - 0 7 ,   2 0 1 3 	 M a d r i d ,   S P A I N 	 I E E E   B i o m e t r   C o u n c i l ,   I A P R ,   S a f r a n   M o r p h o ,   T e l e f o n i c a ,   T h a l e s ,   C o g n i t e c ,   U n i v   A u t o n o m a ,   A T V S ,   E u r o p e a n   A s s o c   B i o m e t r ,   C a t e d r a   U A M   T e l e f o n i c a ,   B i o m e t r   I n s t ,   E u r o p e a n   F P 7   P r o j e c t   T a b u l a   R a s a ,   B E A T ,   C O S T   A c t   I C 1 1 0 6 ,   C O S T ,   E u r o p e a n   C o o p e r a t   S c i   &   T e c h n o l ,   I A P R   T e c h   C o m m   B i o m e t r 	 U n i v   A u t o n o m a   M a d r i d 	 	 O B J E C T   R E C O G N I T I O N ;   F A C I A L   E X P R E S S I O N ;   R E C E P T I V E - F I E L D S ;   V I S U A L - C O R T E X ;   R E G R E S S I O N ;   F E A T U R E S ;   M O D E L S ;   G E N D E R 	 T h e r e   h a s   b e e n   a   g r o w i n g   i n t e r e s t   i n   a u t o m a t i c   a g e   e s t i m a t i o n   f r o m   f a c i a l   i m a g e s   d u e   t o   a   v a r i e t y   o f   p o t e n t i a l   a p p l i c a t i o n s   i n   l a w   e n f o r c e m e n t ,   s e c u r i t y   c o n t r o l ,   a n d   h u m a n - c o m p u t e r   i n t e r a c t i o n .   H o w e v e r ,   d e s p i t e   a d v a n c e s   i n   a u t o m a t i c   a g e   e s t i m a t i o n ,   i t   r e m a i n s   a   c h a l l e n g i n g   p r o b l e m .   T h i s   i s   b e c a u s e   t h e   f a c e   a g i n g   p r o c e s s   i s   d e t e r m i n e d   n o t   o n l y   b y   i n t r i n s i c   f a c t o r s ,   e .   g .   g e n e t i c   f a c t o r s ,   b u t   a l s o   b y   e x t r i n s i c   f a c t o r s ,   e .   g .   l i f e s t y l e ,   e x p r e s s i o n ,   a n d   e n v i r o n m e n t .   A s   a   r e s u l t ,   d i f f e r e n t   p e o p l e   w i t h   t h e   s a m e   a g e   c a n   h a v e   q u i t e   d i f f e r e n t   a p p e a r a n c e s   d u e   t o   d i f f e r e n t   r a t e s   o f   f a c i a l   a g i n g .   W e   p r o p o s e   a   h i e r a r c h i c a l   a p p r o a c h   f o r   a u t o m a t i c   a g e   e s t i m a t i o n ,   a n d   p r o v i d e   a n   a n a l y s i s   o f   h o w   a g i n g   i n f l u e n c e s   i n d i v i d u a l   f a c i a l   c o m p o n e n t s .   E x p e r i m e n t a l   r e s u l t s   o n   t h e   F G -   N E T ,   M O R P H   A l b u m 2 ,   a n d   P C S O   d a t a b a s e s   s h o w   t h a t   e y e s   a n d   n o s e   a r e   m o r e   i n f o r m a t i v e   t h a n   t h e   o t h e r   f a c i a l   c o m p o n e n t s   i n   a u t o m a t i c   a g e   e s t i m a t i o n .   W e   a l s o   s t u d y   t h e   a b i l i t y   o f   h u m a n s   t o   e s t i m a t e   a g e   u s i n g   d a t a   c o l l e c t e d   v i a   c r o w d s o u r c i n g ,   a n d   s h o w   t h a t   t h e   c u m u l a t i v e   s c o r e   ( C S )   w i t h i n   5 - y e a r   m e a n   a b s o l u t e   e r r o r   ( M A E )   o f   o u r   m e t h o d   i s   b e t t e r   t h a n   t h e   a g e   e s t i m a t e s   p r o v i d e d   b y   h u m a n s . 	 [ H a n ,   H u ;   O t t o ,   C h a r l e s ;   J a i n ,   A n i l   K . ]   M i c h i g a n   S t a t e   U n i v ,   D e p t   C o m p   S c i   &   E n g n ,   E   L a n s i n g ,   M I   4 8 8 2 4   U S A 	 H a n ,   H   ( r e p r i n t   a u t h o r ) ,   M i c h i g a n   S t a t e   U n i v ,   D e p t   C o m p   S c i   &   E n g n ,   E   L a n s i n g ,   M I   4 8 8 2 4   U S A . 	 h h a n @ c s e . m s u . e d u ;   o t t o c h a r @ c s e . m s u . e d u ;   j a i n @ c s e . m s u . e d u 	 	 	 	 	 A g i n g   S k i n   N e t ,   C A U S   A G   S K I N ;   C h a n g   K Y ,   2 0 1 1 ,   P R O C   C V P R   I E E E ,   P 5 8 5 ;   C h a o   W L ,   2 0 1 3 ,   P A T T E R N   R E C O G N ,   V 4 6 ,   P 6 2 8 ,   D O I   1 0 . 1 0 1 6 / j . p a t c o g . 2 0 1 2 . 0 9 . 0 1 1 ;   C h o i   S E ,   2 0 1 1 ,   P A T T E R N   R E C O G N ,   V 4 4 ,   P 1 2 6 2 ,   D O I   1 0 . 1 0 1 6 / j . p a t c o g . 2 0 1 0 . 1 2 . 0 0 5 ;   C o g n i t e c   S y s t e m s   G m b H ,   2 0 1 0 ,   F A C   S O F T W   D E V   K I T ;   C O O T E S   T F ,   1 9 9 5 ,   C O M P U T   V I S   I M A G E   U N D ,   V 6 1 ,   P 3 8 ,   D O I   1 0 . 1 0 0 6 / c v i u . 1 9 9 5 . 1 0 0 4 ;   E b n e r   N C ,   2 0 1 0 ,   B E H A V   R E S   M E T H O D S ,   V 4 2 ,   P 3 5 1 ,   D O I   1 0 . 3 7 5 8 / B R M . 4 2 . 1 . 3 5 1 ;   F u   Y ,   2 0 1 0 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 2 ,   P 1 9 5 5 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 1 0 . 3 6 ;   F u   Y ,   2 0 0 8 ,   I E E E   T   M U L T I M E D I A ,   V 1 0 ,   P 5 7 8 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 0 8 . 9 2 1 8 4 7 ;   G a b o r   D . ,   1 9 4 6 ,   J o u r n a l   o f   t h e   I n s t i t u t i o n   o f   E l e c t r i c a l   E n g i n e e r s .   I I I .   R a d i o   a n d   C o m m u n i c a t i o n   E n g i n e e r i n g ,   V 9 3 ;   G e n g   X ,   2 0 0 7 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 9 ,   P 2 2 3 4 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 7 . 7 0 7 3 3 ;   G u o   G D ,   2 0 1 2 ,   P R O C   C V P R   I E E E ,   P 2 5 4 7 ;   G u o   G D ,   2 0 0 9 ,   P R O C   C V P R   I E E E ,   P 1 1 2 ;   G u o   G D ,   2 0 1 1 ,   P R O C   C V P R   I E E E ,   P 6 5 7 ;   H a n   H . ,   2 0 1 2 ,   P   E C C V ,   P 3 0 7 ;   H a n   H ,   2 0 1 3 ,   I E E E   T   I N F   F O R E N   S E C ,   V 8 ,   P 1 9 1 ,   D O I   1 0 . 1 1 0 9 / T I F S . 2 0 1 2 . 2 2 2 8 8 5 6 ;   H a n   H ,   2 0 1 3 ,   P A T T E R N   R E C O G N ,   V 4 6 ,   P 1 6 9 1 ,   D O I   1 0 . 1 0 1 6 / j . p a t c o g . 2 0 1 2 . 1 1 . 0 2 2 ;   H a y a s h i   J ,   2 0 0 2 ,   I N T   C   P A T T   R E C O G ,   P 4 0 5 ;   H e i s e l e   B ,   2 0 0 3 ,   C O M P U T   V I S   I M A G E   U N D ,   V 9 1 ,   P 6 ,   D O I   1 0 . 1 0 1 6 / S 1 0 7 7 - 3 1 4 2 ( 0 3 ) 0 0 0 7 3 - 0 ;   H u a n g   J ,   2 0 0 2 ,   L E C T   N O T E S   C O M P U T   S C ,   V 2 3 8 8 ,   P 3 3 4 ;   H U B E L   D H ,   1 9 6 2 ,   J   P H Y S I O L - L O N D O N ,   V 1 6 0 ,   P 1 0 6 ;   I g a   R . ,   2 0 0 3 ,   P   S I C E   A N N   C ,   P 7 5 6 ;   I v a n o v   Y . ,   2 0 0 4 ,   P r o c e e d i n g s .   S i x t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A u t o m a t i c   F a c e   a n d   G e s t u r e   R e c o g n i t i o n ;   J O N E S   J P ,   1 9 8 7 ,   J   N E U R O P H Y S I O L ,   V 5 8 ,   P 1 2 3 3 ;   K u m a r   N ,   2 0 1 1 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 3 ,   P 1 9 6 2 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 1 1 . 4 8 ;   L a n i t i s   A ,   2 0 0 2 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 4 ,   P 4 4 2 ,   D O I   1 0 . 1 1 0 9 / 3 4 . 9 9 3 5 5 3 ;   L i   S .   Z . ,   2 0 1 1 ,   H D B   F A C E   R E C O G N I T I O N ;   L i   Z . ,   2 0 1 0 ,   P   I E E E   C V P R   W O R K S H ,   P 9 ;   L u u   K . ,   2 0 1 1 ,   P   I E E E   I N T   J O I N T   C   B ,   P 1 ;   M i l b o r r o w   S ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 3 0 5 ,   P 5 0 4 ;   O t t o   C . ,   2 0 1 2 ,   P   E C C V   W I A F   W O R K S H   F ,   P 1 8 9 ;   R h o d e s   M . ,   1 9 9 5 ,   A P P L   C O G N I T I V E   P S Y C H ,   V 2 3 ,   P 3 8 ;   R i c a n e k   K ,   2 0 0 6 ,   P r o c e e d i n g s   o f   t h e   S e v e n t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A u t o m a t i c   F a c e   a n d   G e s t u r e   R e c o g n i t i o n   -   P r o c e e d i n g s   o f   t h e   S e v e n t h   I n t e r n a t i o n a l   C o n f e r e n c e ,   P 3 4 1 ;   R i e s e n h u b e r   M ,   1 9 9 9 ,   N A T   N E U R O S C I ,   V 2 ,   P 1 0 1 9 ;   S e r r e   T ,   2 0 0 5 ,   P R O C   C V P R   I E E E ,   P 9 9 4 ;   S u o   J L ,   2 0 1 0 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 2 ,   P 3 8 5 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 9 . 3 9 ;   T h u k r a l   P ,   2 0 1 2 ,   2 0 1 2   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   A C O U S T I C S ,   S P E E C H   A N D   S I G N A L   P R O C E S S I N G   ( I C A S S P ) ,   P 1 5 2 9 ;   V a p n i k   V . ,   1 9 9 8 ,   S T A T   L E A R N I N G   T H E O R Y ;   V o e l k l e   M C ,   2 0 1 2 ,   P S Y C H O L   A G I N G ,   V 2 7 ,   P 2 6 5 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 5 0 6 5 ;   W u   T ,   2 0 1 2 ,   I E E E   T   I N F   F O R E N   S E C ,   V 7 ,   P 1 7 8 0 ,   D O I   1 0 . 1 1 0 9 / T I F S . 2 0 1 2 . 2 2 1 3 8 1 2 	 4 0 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 7 9 9 - 0 3 1 0 - 8 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 	 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 B A 3 I H 	 W O S : 0 0 0 3 3 4 2 8 8 2 0 0 0 7 1 	 	 
 S 	 A p o s t o l o p o u l o s ,   I ;   F o l m e r ,   E ;   B e b i s ,   G 	 	 B e b i s ,   G ;   B o y l e ,   R ;   P a r v i n ,   B ;   K o r a c i n ,   D ;   L i ,   B ;   P o r i k l i ,   F ;   Z o r d a n ,   V ;   K l o s o w s k i ,   J ;   C o q u i l l a r t ,   S ;   L u o ,   X ;   C h e n ,   M ;   G o t z ,   D 	 	 A p o s t o l o p o u l o s ,   I l i a s ;   F o l m e r ,   E e l k e ;   B e b i s ,   G e o r g e 	 	 	 I m p r o v i n g   A c c e s s i b i l i t y   o f   V i r t u a l   W o r l d s   b y   A u t o m a t i c   O b j e c t   L a b e l i n g 	 A D V A N C E S   I N   V I S U A L   C O M P U T I N G ,   P T   I I 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 9 t h   I n t e r n a t i o n a l   S y m p o s i u m   o n   V i s u a l   C o m p u t i n g   ( I S V C ) 	 J U L   2 9 - 3 1 ,   2 0 1 3 	 R e t h y m n o n ,   G R E E C E 	 U N R   C o m p   V i s   L a b ,   D e s e r t   R e s   I n s t ,   L B N L ,   N A S A   A m e s ,   B A E   S y s t ,   I n t e l ,   F o r d ,   H e w l e t t   P a c k a r d ,   M i t s u b i s h i   E l e c t   R e s   L a b s ,   T o y o t a ,   G e n   E l e c t 	 	 	 	 U s e r   g e n e r a t e d   v i r t u a l   w o r l d s ,   s u c h   a s   S e c o n d   L i f e ,   t y p i c a l l y   l a c k   a c c u r a t e   m e t a d a t a   f o r   t h e i r   v i r t u a l   w o r l d   o b j e c t s .   T h i s   i s   a   s i g n i f i c a n t   p r o b l e m   f o r   b l i n d   u s e r s   w h o   r e l y   o n   t e x t u a l   d e s c r i p t i o n s   i n   o r d e r   t o   a c c e s s   v i r t u a l   w o r l d s   u s i n g   s y n t h e t i c   s p e e c h .   I n   t h i s   p a p e r ,   w e   c o n s i d e r   t h e   p r o b l e m   o f   a u t o m a t i c   o b j e c t   l a b e l i n g   t o   i m p r o v e   a c c e s s i b i l i t y   o f   v i r t u a l   w o r l d s   f o r   u s e r s   w i t h   d i s a b i l i t i e s .   T a k i n g   a d v a n t a g e   o f   t h e   p r i m i t i v e - b a s e d   r e p r e s e n t a t i o n   o f   v i r t u a l   w o r l d   o b j e c t s   i n   S e c o n d   L i f e ,   w e   p r e s e n t   a n   a p p r o a c h   t h a t   l e v e r a g e s   h i s t o g r a m - b a s e d   g e o m e t r i c   o b j e c t   r e p r e s e n t a t i o n s ,   m a c h i n e   l e a r n i n g   a n d   c r o w d s o u r c i n g   t o   a c c u r a t e l y   l a b e l   v i r t u a l   w o r l d   o b j e c t s   a t   a   l a r g e   s c a l e .   W e   r e p o r t   e x c e l l e n t   c l a s s i f i c a t i o n   r e s u l t s   u s i n g   s e v e n   c h a l l e n g i n g   o b j e c t   c l a s s e s . 	 [ A p o s t o l o p o u l o s ,   I l i a s ;   F o l m e r ,   E e l k e ;   B e b i s ,   G e o r g e ]   U n i v   N e v a d a ,   R e n o ,   N V   8 9 5 5 7   U S A 	 A p o s t o l o p o u l o s ,   I   ( r e p r i n t   a u t h o r ) ,   U n i v   N e v a d a ,   R e n o ,   N V   8 9 5 5 7   U S A . 	 i l a p o s t @ c s e . u n r . e d u ;   e e l k e . f o l m e r @ g m a i l . c o m ;   b e b i s @ c s e . u n r . e d u 	 	 	 	 	 C h a z e l l e   B . ,   2 0 0 1 ,   S H A P E   M O D E L I N G   A P P L ,   P 1 5 4 ;   C s u r k a   G . ,   2 0 0 4 ,   E C C V   I N T   W O R K S H   S T A T ;   C y b e n k o   G . ,   1 9 9 7 ,   I N T   J   S M A R T   E N G   S Y S T ,   V 1 ,   P 1 ;   F e h r   J . ,   2 0 0 7 ,   I A P R   C   M A C H   V I S   A P P L ,   P 3 8 4 ;   F e h r   J ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 8 7 5 ,   P 3 4 ;   F o l m e r   E ,   2 0 0 9 ,   A S S E T S ' 0 9 :   P R O C E E D I N G S   O F   T H E   1 1 T H   I N T E R N A T I O N A L   A C M   S I G A C C E S S   C O N F E R E N C E   O N   C O M P U T E R S   A N D   A C C E S S I B I L I T Y ,   P 5 9 ;   H e a r s t   M A ,   1 9 9 8 ,   I E E E   I N T E L L   S Y S T   A P P ,   V 1 3 ,   P 1 8 ,   D O I   1 0 . 1 1 0 9 / 5 2 5 4 . 7 0 8 4 2 8 ;   H i l a g a   M ,   2 0 0 1 ,   C O M P   G R A P H ,   P 2 0 3 ;   H u b e r   D ,   2 0 0 4 ,   P R O C   C V P R   I E E E ,   P 8 2 ;   M i k a   S . ,   1 9 9 9 ,   N E U R A L   N E T W O R K S   S I G N ,   P 4 1 ;   S h i l a n e   P . ,   2 0 0 6 ,   I E E E   I N T   C   S H A P   M O D ,   P 1 8 ,   D O I   1 0 . 1 1 0 9 / S M I . 2 0 0 6 . 3 4 ;   V r a n i c   D . ,   2 0 0 4 ,   T H E S I S   U   L E I P Z I G ;   Y u a n   B . ,   2 0 1 0 ,   P   G R A P H I C S   I N T E R F A C E ,   P 2 0 1 ;   Z h a n g   C . ,   2 0 0 1 ,   P   A C M   M U L T   2 0 0 1   O T T ,   P 6 1 5 	 1 4 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 1 9 3 8 - 6 ;   9 7 8 - 3 - 6 4 2 - 4 1 9 3 9 - 3 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 8 0 3 4 	 	 I I 	 	 	 	 2 5 4 	 2 6 5 	 	 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   M a t h e m a t i c a l   &   C o m p u t a t i o n a l   B i o l o g y 	 C o m p u t e r   S c i e n c e ;   M a t h e m a t i c a l   &   C o m p u t a t i o n a l   B i o l o g y 	 B A 3 Y P 	 W O S : 0 0 0 3 3 5 1 6 9 0 0 0 0 2 5 	 	 
 J 	 B a l e n a ,   P ;   B o n i f a z i ,   A ;   M a n g i a l a r d i ,   G 	 	 M u r g a n t e ,   B ;   M i s r a ,   S ;   C a r l i n i ,   M ;   T o r r e ,   C M ;   N g u y e n ,   H Q ;   T a n i a r ,   D ;   A p d u h a n ,   B O ;   G e r v a s i ,   O 	 	 B a l e n a ,   P a s q u a l e ;   B o n i f a z i ,   A l e s s a n d r o ;   M a n g i a l a r d i ,   G i o v a n n a 	 	 	 S m a r t   C o m m u n i t i e s   M e e t   U r b a n   M a n a g e m e n t :   H a r n e s s i n g   t h e   P o t e n t i a l   o f   O p e n   D a t a   a n d   P u b l i c / P r i v a t e   P a r t n e r s h i p s   t h r o u g h   I n n o v a t i v e   E - G o v e r n a n c e   A p p l i c a t i o n s 	 C O M P U T A T I O N A L   S C I E N C E   A N D   I T S   A P P L I C A T I O N S   -   I C C S A   2 0 1 3 ,   P T   I V 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 3 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t a t i o n a l   S c i e n c e   a n d   I t s   A p p l i c a t i o n s   ( I C C S A ) 	 J U N   2 4 - 2 7 ,   2 0 1 3 	 H o   C h i   M i n h   C i t y ,   V I E T N A M 	 H o   C h i   M i n h   C i t y   I n t   U n i v ,   U n i v   P e r u g i a ,   M o n a s h   U n i v ,   K y u s h u   S a n g y o   U n i v ,   U n i v   B a s i l i c a t a ,   O f f   N a v a l   R e s 	 	 s p a t i a l   d a t a   s e r v i c e s ;   g e o - t a g g i n g ;   c r o w d s o u r c i n g ;   e - g o v e r n a n c e ;   u r b a n   u t i l i t i e s 	 	 C o n s i s t e n t l y   w i t h   i n t e r n a t i o n a l   a n d   E u r o p e a n   U n i o n ' s   o b j e c t i v e s   t o   d e l i v e r   e c o n o m i c   a n d   s o c i a l   b e n e f i t s   b y   h a r n e s s i n g   t h e   p o t e n t i a l   o f   i n f o r m a t i o n   a n d   c o m m u n i c a t i o n   t e c h n o l o g y ,   r e s e a r c h   a n d   d e v e l o p m e n t   e f f o r t s   a r e   m u s h r o o m i n g   w o r l d w i d e   t o   i n n o v a t e   g o v e r n a n c e   a n d   m a n a g e m e n t   p r a c t i c e s .   U n d e r   t h e   s m a r t   c i t i e s   p a r a d i g m ,   l o c a l   g o v e r n m e n t s '   d i g i t a l   a g e n d a s   a r e   b l e n d i n g   w i t h   p u b l i c   u t i l i t i e s '   i n n o v a t i o n s   u n d e r   t h e   t h r u s t   o f   s o c i a l   n e t w o r k i n g   a n d   o p e n   d a t a   i n i t i a t i v e s .   I n   t h i s   p a p e r   w e   f o c u s   o n   t h e   d e v e l o p m e n t   o f   a n   i n t e r n e t - b a s e d   m o b i l e   a p p l i c a t i o n   t o   i m p r o v e   u r b a n   u t i l i t i e s   m a n a g e m e n t ,   w i t h   s p e c i a l   r e g a r d   t o   p u b l i c   o p e n   s p a c e   m a i n t e n a n c e   a n d   l o c a l   t r a n s p o r t .   A s   f o r   d e s i g n i n g   i n n o v a t i v e   s p a t i a l   d a t a   s e r v i c e s ,   w e   d w e l l   o n   t h e   i n t e g r a t i o n   o f   g e o - t a g g e d   t e r r i t o r i a l   o b j e c t s   f r o m   t e c h n i c a l l y   v a l i d a t e d   d a t a b a s e s   a n d   u s e r - c r e a t e d   c o n t e n t s .   F r o m   a n   e - g o v e r n a n c e   p e r s p e c t i v e ,   k e y   i s s u e s   a p p e a r   t o   c o n c e r n   t h e   l i n k s   b e t w e e n   s e n s e   o f   p l a c e   a n d   w i l l i n g n e s s   t o   p a r t i c i p a t e   i n   c r o w d s o u r c i n g   a c t i v i t i e s ,   a n d   t h e   m a n a g e m e n t   s y n e r g i e s   n e e d e d   t o   r e c o n c i l e   s h r i n k i n g   b u d g e t s   a n d   g r o w i n g   c i t i z e n   e x p e c t a t i o n s . 	 [ B a l e n a ,   P a s q u a l e ;   M a n g i a l a r d i ,   G i o v a n n a ]   P o l y t e c h   B a r i ,   D e p t   I C A R ,   B a r i ,   I t a l y 	 B a l e n a ,   P   ( r e p r i n t   a u t h o r ) ,   P o l y t e c h   B a r i ,   D e p t   I C A R ,   B a r i ,   I t a l y . 	 p . b a l e n a @ p o l i b a . i t ;   a l e b o n i f a z i @ g m a i l . c o m ;   m a n g i a l a r d i . g i o v a n n a @ l i b e r o . i t 	 	 	 	 	 A l l u l l i   M . ,   2 0 1 2 ,   S M A R T   C I T I E S   M O N D O   C ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   D I S T R I B U T E D   D E M O C R A C ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   P I A N   A Z   E N   S O S T   S E A P ;   A t t a r d i   R ,   2 0 1 2 ,   S U S T A I N A B I L I T Y - B A S E L ,   V 4 ,   P 3 0 4 2 ,   D O I   1 0 . 3 3 9 0 / s u 4 1 1 3 0 4 2 ;   C a s t e l l u c c i a   C . ,   2 0 1 2 ,   E U R O P E A N   D A T A   P R O T E C ,   P 2 1 ;   D e   B i a s e   L ,   2 0 1 2 ,   S M A R T   C I T I E S   L E C T I O ;   E r i c k s o n   T . ,   2 0 1 0 ,   G E O C E N T R I C   C R O W D S O U R ;   F o t h   A . ,   2 0 0 9 ,   H D B   R E S   U R B A N   I N F O R M ;   F r i e d m a n n   J . ,   1 9 8 7 ,   P L A N N I N G   P U B L I C   D O M A ;   H A R V E Y   D . ,   2 0 1 2 ,   R E B E L   C I T I E S   R I G H T   C ;   H i r s c h f e l d   R . ,   1 9 9 6 ,   3   T I E R   D I S T R I B U T I O N ;   L a t h r o p   D . ,   2 0 1 0 ,   O P E N   G O V T   C O L L A B O R A T ;   M u r g a n t e   B . ,   2 0 1 1 ,   1 1   I N T   C   C O M P   S C I   I T ,   P 2 8 6 ;   M u r g a n t e   B . ,   2 0 1 1 ,   U S I N G   P A R T I C I P A T I V E ;   N a b i a n   N . ,   2 0 0 9 ,   M I T   G E O B L O G   P L A T F O R M ;   P e r e r a   S . ,   2 0 1 1 ,   G E O G R A P H I C   I N F O R M   S Y ;   R a t t i   C ,   2 0 0 9 ,   I N T   J   A D V   S Y S T E M S   M E ,   V 2 ,   P 1 5 6 ;   R i b e i r o   A . M . ,   2 0 1 1 ,   C I T I Z E N S   C I T Y   M O B I L E ;   S i e b e r   P . ,   1 9 9 8 ,   P   V O N E T   W O R K S H   A P R   2 ;   T h e b a u l t - S p i e k e r   J . ,   2 0 1 2 ,   C R O W D S O U R C E D   P A R T I C I ;   T i l i o   L . ,   2 0 0 9 ,   O P E N   S O U R C E   R E S O U R C E ;   W i n k l e r   T i l l   J . ,   2 0 1 2 ,   J o u r n a l   o f   T h e o r e t i c a l   a n d   A p p l i e d   E l e c t r o n i c   C o m m e r c e   R e s e a r c h ,   V 7 ,   D O I   1 0 . 4 0 6 7 / S 0 7 1 8 - 1 8 7 6 2 0 1 2 0 0 0 3 0 0 0 1 0 ;   Z e i l e   P . ,   2 0 1 2 ,   N E W   U R B A N   S E N S I N G   M O 	 2 3 	 1 	 1 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 3 9 6 4 9 - 6 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 7 9 7 4 	 	 	 	 	 	 5 2 8 	 5 4 0 	 	 	 	 1 3 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B A 3 Y H 	 W O S : 0 0 0 3 3 5 1 4 0 7 0 0 0 3 8 	 	 
 J 	 Y u a n ,   S T ;   H s i e h ,   C F ;   H s i e h ,   P H 	 	 C a i ,   X ;   C h e n ,   J ;   J i a ,   J ;   X i a o ,   Y ;   Z h o u ,   S 	 	 Y u a n ,   S o e - T s y r ;   H s i e h ,   C h i n g - F a n g ;   H s i e h ,   P e i - H u n g 	 	 	 O n   C r o w d s o u r c i n g   o f   S e r v i c e   I m a g e r y 	 2 0 1 3   1 0 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S E R V I C E   S Y S T E M S   A N D   S E R V I C E   M A N A G E M E N T   ( I C S S S M ) 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   S e r v i c e   S y s t e m s   a n d   S e r v i c e   M a n a g e m e n t 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 0 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S e r v i c e   S y s t e m s   a n d   S e r v i c e   M a n a g e m e n t   ( I C S S S M ) 	 J U L   1 7 - 1 9 ,   2 0 1 3 	 H o n g   K o n g ,   P E O P L E S   R   C H I N A 	 I E E E   S y s t ,   M a n   &   C y b e r n e t   S o c ,   C h i n e s e   U n i v   H o n g   K o n g ,   S W   J i a o t o n g   U n i v ,   T s i n g h u a   U n i v ,   R e s   C t r   C o n t e m p o r a r y   M a n a g e m e n t 	 C h i n e s e   U n i v   H o n g   K o n g ,   C U H K   B u s i n e s s   S c h ,   D e p t   S y s t   E n g n   &   E n g n   M a n a g e m e n 	 s e r v i c e   i m a g e r y ;   s e r v i c e   i n n o v a t i o n ;   c r o w d s o u r c i n g ;   o p e n   i n n o v a t i o n ;   s e r v i c e   s y s t e m s 	 D O M I N A N T   L O G I C ;   B R A N D 	 S e r v i c e   i m a g e r y   r e f e r s   t o   a   m e a n i n g   t h a t   c a n   b e   p r o p o s e d   t o   c u s t o m e r s   a s   a   s e t   o f   v a l u e s   s u c h   a s   t h e   e m o t i o n a l ,   p s y c h o l o g i c a l ,   s o c i o - c u l t u r a l   o r   e n v i r o n m e n t a l   d i m e n s i o n a l   c o n s u m p t i o n ,   g o i n g   b e y o n d   t h e   u t i l i t a r i a n   p e r s p e c t i v e .   T h e   n o t i o n   o f   s e r v i c e   i m a g e r y   i s   n o v e l   f o r   i t   b e i n g   n o t   o n l y   f o r   c o m m u n i c a t i o n   b u t   a l s o   t h e   e l e m e n t s ,   r e s o u r c e s ,   a n d   v a l u e   o u t c o m e s   i n   a   s e r v i c e   v a l u e   n e t w o r k   d e s i g n .   T h e   t a r g e t s   o f   t h i s   s t u d y   a r e   p u t   o n   S M B s ,   a n d   t h i s   p a p e r   p r e s e n t s   a   c r o w d s o u r c i n g   s e r v i c e   i m a g e r y   c r e a t i o n   f r a m e w o r k   a n d   s y s t e m   t h a t   c a n   u t i l i z e   t h e   w i s d o m   o f   a   w i d e r   p o o l   o f   i n t e r p r e t e r s   m e d i a t e d   b y   a   p a r t i c u l a r   f a c i l i t a t i o n   m e c h a n i s m   f e a t u r i n g   a n   i m a g e r y   b a n k ,   i m a g e r y   c o m b i n a t i o n ,   i m a g e r y   s u g g e s t i o n   a n d   i m a g e r y   c o n f l i c t   n e g o t i a t i o n .   T h i s   f r a m e w o r k   a n d   s y s t e m   h a s   b e e n   p r e l i m i n a r i l y   j u s t i f i e d . 	 [ Y u a n ,   S o e - T s y r ;   H s i e h ,   C h i n g - F a n g ]   N a t l   C h e n g c h i   U n i v ,   C o l l   C o m m e r c e ,   S e r v   S c i   R e s   C t r ,   T a i p e i   1 1 6 2 3 ,   T a i w a n 	 Y u a n ,   S T   ( r e p r i n t   a u t h o r ) ,   N a t l   C h e n g c h i   U n i v ,   C o l l   C o m m e r c e ,   S e r v   S c i   R e s   C t r ,   6 4   C h i h n a n   R d , S e c   2   W e n s h a n ,   T a i p e i   1 1 6 2 3 ,   T a i w a n . 	 y u a n s @ n c c u . e d u . t w ;   e l k 5 2 6 @ g m a i l . c o m ;   m i k a h s i e h @ g m a i l . c o m 	 	 	 	 	 A a k e r   D .   A . ,   1 9 9 1 ,   M A N A G I N G   B R A N D   E Q U I T ;   B a u d r i l l a r d   J e a n ,   2 0 0 6 ,   S Y S T E M   O B J E C T S ;   B e a c h   L .   R ,   1 9 9 0 ,   I M A G E   T H E O R Y   D E C I S I O ;   B o u r d i e u   P . ,   1 9 8 4 ,   D I S T I N C T I O N   S O C I A L   C ;   B o z t e p e   S ,   2 0 0 7 ,   I N T   J   D E S ,   V 1 ,   P 5 5 ;   B u s q u e t s   J . ,   2 0 1 0 ,   O R C H E S T R A T I N G   N E T W O R ;   C h a n   K .   W . ,   2 0 0 5 ,   C A L I F O R N I A   M A N A G E M E N ,   V 4 7 ,   P 1 0 5 ;   G a r d n e r   B B ,   1 9 5 5 ,   H A R V A R D   B U S   R E V ,   V 3 3 ,   P 3 3 ;   H e d i n g   H . ,   2 0 0 6 ,   B R A N D   M A N A G E M E N T   R E S ;   H o w e   J . ,   2 0 1 3 ,   R I S E   C R O W D S O U R C I N G ;   H s i e h   H . ,   2 0 1 2 ,   1   I N T   C   H U M   S I D   S E R V ;   H s i e h   P .   H . ,   2 0 1 2 ,   2 0 1 2   I N T   S E R V   R E S   C ;   K E L L E R   K L ,   1 9 9 3 ,   J   M A R K E T I N G ,   V 5 7 ,   P 1 ,   D O I   1 0 . 2 3 0 7 / 1 2 5 2 0 5 4 ;   K i m   P . ,   1 9 9 0 ,   J   C O N S U M E R   M A R K E T I N G ,   V 7 ,   P 6 3 ,   D O I   1 0 . 1 1 0 8 / E U M 0 0 0 0 0 0 0 0 0 2 5 9 0 ;   K o b a y a s h i   S . ,   1 9 9 1 ,   C O L O R   I M A G E   S C A L E ;   M a r j a n o v i c   S . ,   2 0 1 2 ,   S C I   P U B L   P O L I C Y ,   P 1 ;   M e r z   M A ,   2 0 0 9 ,   J   A C A D   M A R K E T   S C I ,   V 3 7 ,   P 3 2 8 ,   D O I   1 0 . 1 0 0 7 / s 1 1 7 4 7 - 0 0 9 - 0 1 4 3 - 3 ;   N e l s o n   K A ,   2 0 0 4 ,   J   C O N S U M   P S Y C H O L ,   V 1 4 ,   P 2 8 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 6 6 3 j c p 1 4 0 1 & 2 _ 5 ;   O x e n f e l d t   A .   R . ,   1 9 6 4 ,   M A N A G E M E N T   A D V E R T I S I ;   S p o h r e r   J . ,   2 0 0 8 ,   H A W   I N T   C   S Y S T   S C I   P ,   P 1 0 4 ;   S t r e e t   C T ,   2 0 0 7 ,   J   S M A L L   B U S   M A N A G E ,   V 4 5 ,   P 2 3 9 ;   S T R I J B O S   S ,   1 9 9 5 ,   S Y S T   P R A C T I C E ,   V 8 ,   P 3 6 1 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 2 5 3 3 9 2 ;   T a y l o r   M . ,   2 0 0 4 ,   J   S M A L L   B U S I N E S S   E N T ,   V 1 1 ,   P 2 8 0 ,   D O I   D O I   1 0 . 1 1 0 8 / 1 4 6 2 6 0 0 0 4 1 0 5 5 1 5 4 6 ;   V a l e r d i   R . ,   2 0 1 1 ,   J   E N T E R P R I S E   T R A N S F O ,   V 1 ,   P 1 ;   V a r g o   S L ,   2 0 0 8 ,   J   A C A D   M A R K E T   S C I ,   V 3 6 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 7 4 7 - 0 0 7 - 0 0 6 9 - 6 ;   V e b l e n   T h o r s t e i n ,   1 8 9 9 ,   T H E O R Y   L E I S U R E   C L A S S ;   V e r g a n t i   R ,   2 0 0 8 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 5 ,   P 4 3 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 0 8 . 0 0 3 1 3 . x ;   W h i t l a   P . ,   2 0 0 9 ,   C O N T   M A N A G E M E N T   R E S ,   V 5 ,   P 1 5 ;   Y a n g   C .   Y ,   2 0 1 0 ,   1 4   P A C   A S   C   I N F   S Y S T 	 2 9 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 4 8 4 3 - 0 	 I   C   S E R V   S Y S T   S E R V   M 	 	 	 2 0 1 3 	 	 	 	 	 	 	 9 6 	 1 0 1 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 2 W M 	 W O S : 0 0 0 3 3 3 9 5 9 3 0 0 0 1 9 	 	 
 J 	 C h a n g ,   J ;   G e b h a r d ,   P ;   H a e b e r l e n ,   A ;   I v e s ,   Z ;   L e e ,   I ;   S o k o l s k y ,   O ;   V e n k a t a s u b r a m a n i a n ,   K K 	 	 C a s t e l l a R o c a ,   J ;   G a r c i a A l f a r o ,   J ;   J e n s e n ,   C D ;   O n u t ,   I V ;   T o r r a ,   V ;   D o m i n g o F e r r e r ,   J ;   G h o r b a n i ,   A A ;   M a n j o n ,   J A ;   S t a k h a n o v a ,   N ;   Z h a n g ,   J 	 	 C h a n g ,   J i a n ;   G e b h a r d ,   P e t e r ;   H a e b e r l e n ,   A n d r e a s ;   I v e s ,   Z a c k ;   L e e ,   I n s u p ;   S o k o l s k y ,   O l e g ;   V e n k a t a s u b r a m a n i a n ,   K r i s h n a   K . 	 	 	 T r u s t F o r g e :   F l e x i b l e   A c c e s s   C o n t r o l   f o r   C o l l a b o r a t i v e   C r o w d - S o u r c e d   E n v i r o n m e n t 	 2 0 1 3   E L E V E N T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   P R I V A C Y ,   S E C U R I T Y   A N D   T R U S T   ( P S T ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 1 t h   A n n u a l   I n t e r n a t i o n a l   C o n f e r e n c e   o n   P r i v a c y ,   S e c u r i t y   a n d   T r u s t   ( P S T ) 	 J U L   1 0 - 1 2 ,   2 0 1 3 	 T a r r a g o n a ,   S P A I N 	 U n i v   R o v i r a   i   V i r g i l i 	 	 	 	 O b s e r v i n g   t h e   s u c c e s s   o f   t h e   o p e n   s o u r c e   s o f t w a r e   m o v e m e n t ,   t h e   A d a p t i v e   V e h i c l e   M a k e   ( A V M )   i s   a   p r o g r a m   r u n   b y   t h e   D e f e n s e   A d v a n c e d   P r o j e c t   A g e n c y   ( D A R P A )   w i t h   t h e   g o a l   o f   a p p l y i n g   c r o w d - s o u r c e d   a n d   c o m p o n e n t - b a s e d   e n g i n e e r i n g   t o   t h e   d e s i g n   o f   m i l i t a r y   v e h i c l e s .   I n   t h i s   p a p e r ,   w e   p r e s e n t   a   c r e d e n t i a l i n g   s y s t e m   c a l l e d   T r u s t F o r g e ,   w h i c h   e n a b l e s   e f f e c t i v e   a n d   f l e x i b l e   a c c e s s   c o n t r o l   f o r   t h e   A V M   c r o w d - s o u r c e d   r e p o s i t o r y .   C r e d e n t i a l i n g   s y s t e m s   a r e   e s s e n t i a l   i n   c r o w d s o u r c i n g   t o   e n s u r e   q u a l i t y ,   s i n c e   i t   i s   p o t e n t i a l l y   o p e n   t o   c o n t r i b u t i o n s   m a d e   b y   a n y o n e .   T h e   o p e n   s o u r c e   s o f t w a r e   c o m m u n i t y   h a s   d e v e l o p e d   e l a b o r a t e   m a n u a l   a p p r o a c h e s   o f   m a n a g i n g   i t s   c o n t r i b u t o r   c o m m u n i t y ,   w h i c h   a r e   o f t e n   v e r y   l a b o r - i n t e n s i v e   a n d   i n e f f i c i e n t .   O u r   a i m   w i t h   T r u s t F o r g e   i s   t o   i m p r o v e   t h e   a u t o m a t i o n   o f   t h e   c r e d e n t i a l i n g   a n d   a c c e s s   c o n t r o l   p r o c e s s   i n   t h e   c o n t e x t   o f   c o m p o n e n t - b a s e d   s y s t e m s ,   w h e r e   u s e r s   c o n t r i b u t e   c o m p o n e n t s   a t   v a r i o u s   l e v e l s   o f   a b s t r a c t i o n .   T r u s t F o r g e   t a k e s   a   h y b r i d   a p p r o a c h   t h a t   c o m b i n e s   t r u s t   p o l i c y   a n d   r e p u t a t i o n   t o   a d d r e s s   t h i s   p r o b l e m .   I n   T r u s t F o r g e ,   a   p o l i c y   l a n g u a g e   i s   u s e d   t o   s p e c i f y   t h e   a c c e s s   c o n t r o l   r u l e s   f o r   u s e r s   i n   t h e   s y s t e m   t o   c o n t r i b u t e   c o m p o n e n t s .   I n   a d d i t i o n ,   r e p u t a t i o n   v a l u e s   c o m p u t e d   f o r   u s e r s   b a s e d   o n   t h e   q u a l i t y   o f   t h e i r   p a s t   c o m p o n e n t   c o n t r i b u t i o n s   a r e   u s e d   t o   t u n e   t h e   s t a t i c   p o l i c i e s   t o   e n a b l e   f l e x i b i l i t y   a n d   a d a p t i v e n e s s .   T h e   c o n t r i b u t i o n s   o f   t h i s   w o r k   a r e   a s   f o l l o w s :   ( 1 )   t h e   d e s i g n   o f   T r u s t F o r g e   -   a n   e f f e c t i v e   a n d   f l e x i b l e   a c c e s s   c o n t r o l   m e c h a n i s m   t h a t   c o m b i n e s   p o l i c y   a n d   r e p u t a t i o n   a p p r o a c h e s ;   ( 2 )   t h e   i d e n t i f i c a t i o n   o f   h e u r i s t i c s   f o r   c o m p o n e n t   q u a l i t y   m e a s u r e m e n t   a n d   a   n o v e l   r e p u t a t i o n   c o m p u t a t i o n   a l g o r i t h m   f o r   e v a l u a t i n g   u s e r   t r u s t w o r t h i n e s s ;   ( 3 )   a   d a t a   m o d e l   b a s e d   o n   p r o v e n a n c e   g r a p h s   t h a t   a l l o w s   e f f i c i e n t   r e p o s i t o r y   i n f o r m a t i o n   s t o r a g e   a n d   r e t r i e v e .   W e   h a v e   i m p l e m e n t e d   T r u s t F o r g e   s y s t e m   a n d   i n t e g r a t e   i t   w i t h   t h e   V e h i c l e F O R G E   r e p o s i t o r y   s y s t e m   t o   s u p p o r t   t h e   o p e r a t i o n   o f   t h e   A V M   c h a l l e n g e   p r o g r a m .   T h e   e v a l u a t i o n   r e s u l t s   b a s e d   o n   r e a l - w o r l d   d e p l o y m e n t   a n d   s y s t e m a t i c   s i m u l a t i o n   d e m o n s t r a t e   t h a t   T r u s t F o r g e   c a n   e f f e c t i v e l y   d i s c e r n   t h e   t r u s t w o r t h i n e s s   o f   u s e r s   w i t h i n   t h e   c r o w d - s o u r c e d   s y s t e m . 	 [ C h a n g ,   J i a n ;   G e b h a r d ,   P e t e r ;   H a e b e r l e n ,   A n d r e a s ;   I v e s ,   Z a c k ;   L e e ,   I n s u p ;   S o k o l s k y ,   O l e g ]   U n i v   P e n n ,   D e p t   C o m p   &   I n f o r m a t   S c i ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A 	 C h a n g ,   J   ( r e p r i n t   a u t h o r ) ,   U n i v   P e n n ,   D e p t   C o m p   &   I n f o r m a t   S c i ,   2 0 0   S   3 3 R d   S t ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A . 	 j i a n c h a n @ c i s . u p e n n . e d u ;   p g e b @ c i s . u p e n n . e d u ;   a h a e @ c i s . u p e n n . e d u ;   z i v e s @ c i s . u p e n n . e d u ;   l e e @ c i s . u p e n n . e d u ;   s o k o l s k y @ c i s . u p e n n . e d u ;   k v e n @ w p i . e d u 	 	 	 	 	 A k i n g b e h i n   K . ,   2 0 0 5 ,   S O F T W   E N G   R E S   M A N   A P ,   P 3 4 8 ;   [ A n o n y m o u s ] ,   9 1 2 6   I S O I E C ;   B a r k m a n n   H ,   2 0 0 9 ,   2 0 0 9   I N T E R N A T I O N A L   C O N F E R E N C E   O N   A D V A N C E D   I N F O R M A T I O N   N E T W O R K I N G   A N D   A P P L I C A T I O N S   W O R K S H O P S :   W A I N A ,   V O L S   1   A N D   2 ,   P 1 0 6 7 ,   D O I   1 0 . 1 1 0 9 / W A I N A . 2 0 0 9 . 1 9 0 ;   B l a z e   M . ,   1 9 9 6 ,   P   1 9 9 6   I E E E   C   S E C   P R ;   B o e h m   B .   W . ,   1 9 7 6 ,   I C E S   7 6 ,   P 5 9 2 ;   d e l   B i a n c o   V ,   2 0 1 1 ,   I E E E   S O F T W A R E ,   V 2 8 ,   P 6 7 ,   D O I   1 0 . 1 1 0 9 / M S . 2 0 1 1 . 9 3 ;   G a l l i v a n   M J ,   2 0 0 1 ,   I N F O R M   S Y S T   J ,   V 1 1 ,   P 2 7 7 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 2 5 7 5 . 2 0 0 1 . 0 0 1 0 8 . x ;   G y o n g y i   Z . ,   2 0 0 4 ,   P   3 0   I N T   C   V E R   L A R G ,   V 3 0 ,   P 5 7 6 ;   I v e s   Z .   G . ,   2 0 1 2 ,   P   T A P P ;   K a r v o u n a r a k i s   G . ,   2 0 1 0 ,   P   S I G M O D ;   M o c k u s   A ,   2 0 0 2 ,   A C M   T   S O F T W   E N G   M E T H ,   V 1 1 ,   P 3 0 9 ,   D O I   1 0 . 1 1 4 5 / 5 6 7 7 9 3 . 5 6 7 7 9 5 ;   N o j o u m i a n   M . ,   2 0 0 6 ,   3   I N T   C   E   B U S   I C E   B ,   P 2 5 7 ;   O r t e g a   M ,   2 0 0 3 ,   S O F T W A R E   Q U A L   J ,   V 1 1 ,   P 2 1 9 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 5 1 6 6 7 1 0 9 8 8 ;   P a g e   L . ,   1 9 9 9 ,   P A G E R A N K   C I T A T I O N   R A ;   R e f o r m a t   M . ,   2 0 0 2 ,   F U Z Z   S Y S T   2 0 0 2   F U Z Z ,   V 2 ,   P 1 1 5 6 ;   R i e s   S ,   2 0 1 1 ,   P   4   I N T   C   T R U S T   T R U S ;   R u b e y   R .   J . ,   1 9 6 8 ,   A C M   6 8 ,   P 6 7 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 8 0 0 1 8 6 . 8 1 0 6 3 1 ;   T a l i b   M .   A . ,   2 0 1 0 ,   S O F T W   E N G   R E S   M A N   A P ,   P 3 2 1 ;   T i w a r i   A . ,   1 9 9 4 ,   S O F T W   T E S T   R E L   Q U A L ,   P 8 4 ;   Z a y a r a z   G . ,   2 0 0 6 ,   I N D   C   2 0 0 6   A N N   I E E E ,   P 1 ;   Z h a o   L . ,   2 0 0 0 ,   S o f t w a r e   E n g i n e e r i n g   N o t e s ,   V 2 5 	 2 1 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 5 8 3 9 - 2 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 2 9 1 	 3 0 0 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 2 R E 	 W O S : 0 0 0 3 3 3 8 2 0 4 0 0 0 3 6 	 	 
 J 	 B a v e y e ,   Y ;   B e t t i n e l l i ,   J N ;   D e l l a n d r e a ,   E ;   C h e n ,   L M ;   C h a m a r e t ,   C 	 	 	 I E E E 	 B a v e y e ,   Y o a n n ;   B e t t i n e l l i ,   J e a n - N o e l ;   D e l l a n d r e a ,   E m m a n u e l ;   C h e n ,   L i m i n g ;   C h a m a r e t ,   C h r i s t e l 	 	 	 A   L a r g e   V i d e o   D a t a b a s e   f o r   C o m p u t a t i o n a l   M o d e l s   o f   I n d u c e d   E m o t i o n 	 2 0 1 3   H U M A I N E   A S S O C I A T I O N   C O N F E R E N C E   O N   A F F E C T I V E   C O M P U T I N G   A N D   I N T E L L I G E N T   I N T E R A C T I O N   ( A C I I ) 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   A f f e c t i v e   C o m p u t i n g   a n d   I n t e l l i g e n t   I n t e r a c t i o n 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 5 t h   B i a n n u a l   C o n f e r e n c e   o f   t h e   H u m a i n e - A s s o c i a t i o n   o n   A f f e c t i v e   C o m p u t i n g   a n d   I n t e l l i g e n t   I n t e r a c t i o n   ( A C I I ) 	 S E P   0 2 - 0 5 ,   2 0 1 3 	 G e n e v a ,   S W I T Z E R L A N D 	 H u m a i n e   A s s o c ,   I E E E   C o m p   S o c ,   C o m p   V i s ,   M u l t i m e d i a   L a b ,   U n i v   G e n e v a ,   S w i s s   C t r   A f f e c t   S c i ,   G F K   V e r e i n ,   T e c h n i c o l o r ,   T e l o n o ,   B r a i n   P r o d ,   I n s t   T e l e c o m ,   T e l e c o m   P a r i s T e c h ,   S w i s s   N a t l   S c i   F d n ,   S o c   A c a d e m i q u e   G e n e v e ,   A m e r   A s s o c   A r t i f i c i a l   I n t e l l i g e n c e 	 	 	 R E C O G N I T I O N ;   I M A G E S 	 T o   c o n t r i b u t e   t o   t h e   n e e d   f o r   e m o t i o n a l   d a t a b a s e s   a n d   a f f e c t i v e   t a g g i n g ,   t h e   L I R I S - A C C E D E   i s   p r o p o s e d   i n   t h i s   p a p e r .   L I R I S - A C C E D E   i s   a n   A n n o t a t e d   C r e a t i v e   C o m m o n s   E m o t i o n a l   D a t a b a s E   c o m p o s e d   o f   9 8 0 0   v i d e o   c l i p s   e x t r a c t e d   f r o m   1 6 0   m o v i e s   s h a r e d   u n d e r   C r e a t i v e   C o m m o n s   l i c e n s e s .   I t   a l l o w s   t o   m a k e   t h i s   d a t a b a s e   p u b l i c l y   a v a i l a b l e ( 1 )   w i t h o u t   c o p y r i g h t   i s s u e s .   T h e   9 8 0 0   v i d e o   c l i p s   ( e a c h   8 - 1 2   s e c o n d s   l o n g )   a r e   s o r t e d   a l o n g   t h e   i n d u c e d   v a l e n c e   a x i s ,   f r o m   t h e   v i d e o   p e r c e i v e d   t h e   m o s t   n e g a t i v e l y   t o   t h e   v i d e o   p e r c e i v e d   t h e   m o s t   p o s i t i v e l y .   T h e   a n n o t a t i o n   w a s   c a r r i e d   o u t   b y   1 5 1 7   a n n o t a t o r s   f r o m   8 9   d i f f e r e n t   c o u n t r i e s   u s i n g   c r o w d s o u r c i n g .   A   b a s e l i n e   l a t e   f u s i o n   s c h e m e   u s i n g   g r o u n d   t r u t h   f r o m   a n n o t a t i o n s   i s   c o m p u t e d   t o   p r e d i c t   e m o t i o n   c a t e g o r i e s   i n   v i d e o   c l i p s . 	 [ B a v e y e ,   Y o a n n ;   B e t t i n e l l i ,   J e a n - N o e l ;   D e l l a n d r e a ,   E m m a n u e l ;   C h e n ,   L i m i n g ]   U n i v   L y o n ,   C N R S ,   E c o l e   C e n t   L y o n ,   L I R I S , U M R 5 2 0 5 ,   F - 6 9 1 3 4   L y o n ,   F r a n c e 	 B a v e y e ,   Y   ( r e p r i n t   a u t h o r ) ,   U n i v   L y o n ,   C N R S ,   E c o l e   C e n t   L y o n ,   L I R I S , U M R 5 2 0 5 ,   F - 6 9 1 3 4   L y o n ,   F r a n c e . 	 y o a n n . b a v e y e @ e c - l y o n . f r ;   j e a n - n o e l . b e t t i n e l l i @ e c - l y o n . f r ;   e m m a n u e l . d e l l a n d r e a @ e c - l y o n . f r ;   l i m i n g . c h e n @ e c - l y o n . f r ;   c h r i s t e l . c h a m a r e t @ t e c h n i c o l o r . c o m 	 	 	 	 	 A r i f i n   S ,   2 0 0 8 ,   I E E E   T   M U L T I M E D I A ,   V 1 0 ,   P 1 3 2 5 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 0 8 . 2 0 0 4 9 1 1 ;   B a v e y e   Y ,   2 0 1 3 ,   L E C T   N O T E S   C O M P U T E R ,   V 7 7 8 6 ,   P 1 0 5 ;   B u r g e s   C J C ,   1 9 9 8 ,   D A T A   M I N   K N O W L   D I S C ,   V 2 ,   P 1 2 1 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 9 7 1 5 9 2 3 5 5 5 ;   C a n i n i   L ,   2 0 1 3 ,   I E E E   T   C I R C   S Y S T   V I D ,   V 2 3 ,   P 6 3 6 ,   D O I   1 0 . 1 1 0 9 / T C S V T . 2 0 1 2 . 2 2 1 1 9 3 5 ;   D o u g l a s - C o w i e   E ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 7 3 8 ,   P 4 8 8 ;   E K M A N   P ,   1 9 9 3 ,   A M   P S Y C H O L ,   V 4 8 ,   P 3 8 4 ,   D O I   1 0 . 1 0 3 7 / / 0 0 0 3 - 0 6 6 X . 4 8 . 4 . 3 8 4 ;   H a n j a l i c   A ,   2 0 0 5 ,   I E E E   T   M U L T I M E D I A ,   V 7 ,   P 1 4 3 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 0 4 . 8 4 0 6 1 8 ;   H a n j a l i c   A . ,   2 0 0 6 ,   I E E E   S I G N A L   P R O C   M A R ;   H a s l e r   D ,   2 0 0 3 ,   P   S O C   P H O T O - O P T   I N S ,   V 5 0 0 7 ,   P 8 7 ,   D O I   1 0 . 1 1 1 7 / 1 2 . 4 7 7 3 7 8 ;   I r i e   G ,   2 0 1 0 ,   I E E E   T   M U L T I M E D I A ,   V 1 2 ,   P 5 2 3 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 1 0 . 2 0 5 1 8 7 1 ;   K e   Y a n ,   2 0 0 6 ,   C V P R ,   V 1 ,   P 4 1 9 ;   K o e l s t r a   S ,   2 0 1 2 ,   I E E E   T   A F F E C T   C O M P U T ,   V 3 ,   P 1 8 ,   D O I   1 0 . 1 1 0 9 / T - A F F C . 2 0 1 1 . 1 5 ;   L e   M e u r   O . ,   2 0 1 1 ,   A C M   M U L T I M E D I A ;   L e   M e u r   O ,   2 0 0 6 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 8 ,   P 8 0 2 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 6 . 8 6 ;   L i e n h a r t   R . ,   1 9 9 9 ,   P   S O C   P H O T O - O P T   I N S ,   V 3 6 5 6 ,   P 2 9 0 ;   M a l a n d r a k i s   N ,   2 0 1 1 ,   I N T   C O N F   A C O U S T   S P E E ,   P 2 3 7 6 ;   M e t a l l i n o u   A . ,   2 0 1 3 ,   2   I N T   W O R K S H   E M   R E P R ;   P a v l o v a   M ,   2 0 0 5 ,   P E R C E P T I O N ,   V 3 4 ,   P 1 1 0 7 ,   D O I   1 0 . 1 0 6 8 / p 5 4 0 0 ;   P l u t c h i k   R ,   2 0 0 1 ,   A M   S C I ,   V 8 9 ,   P 3 4 4 ,   D O I   1 0 . 1 5 1 1 / 2 0 0 1 . 2 8 . 7 3 9 ;   R o t t e n b e r g   J o n a t h a n ,   2 0 0 7 ,   H D B   E M O T I O N   E L I C I T A T ,   P 9 ;   R U S S E L L   J A ,   1 9 8 0 ,   J   P E R S   S O C   P S Y C H O L ,   V 3 9 ,   P 1 1 6 1 ,   D O I   1 0 . 1 0 3 7 / h 0 0 7 7 7 1 4 ;   S n o e k   C G M ,   2 0 0 5 ,   M U L T I M E D I A   0 5 ,   P 3 9 9 ;   S o l e y m a n i   M ,   2 0 1 2 ,   I E E E   T   A F F E C T   C O M P U T ,   V 3 ,   P 4 2 ,   D O I   1 0 . 1 1 0 9 / T - A F F C . 2 0 1 1 . 2 5 ;   S o l e y m a n i   M . ,   2 0 0 9 ,   A F F   C O M P   I N T   I N T   W O R ,   P 1 ;   S o l e y m a n i   M ,   2 0 0 8 ,   I E E E   I N T   S Y M   M U L T I M ,   P 2 2 8 ;   V A L D E Z   P ,   1 9 9 4 ,   J   E X P   P S Y C H O L   G E N ,   V 1 2 3 ,   P 3 9 4 ,   D O I   1 0 . 1 0 3 7 / 0 0 9 6 - 3 4 4 5 . 1 2 3 . 4 . 3 9 4 ;   W a n g   H L ,   2 0 0 6 ,   I E E E   T   C I R C   S Y S T   V I D ,   V 1 6 ,   P 6 8 9 ,   D O I   1 0 . 1 1 0 9 / T C S V T . 2 0 0 6 . 8 7 3 7 8 1 ;   Y a n   L . ,   2 0 1 1 ,   J I C S   2 0 1 1 ,   V 8 ,   P 2 8 6 5 ;   Y a n g   Y H ,   2 0 1 1 ,   I E E E   T   A U D I O   S P E E C H ,   V 1 9 ,   P 7 6 2 ,   D O I   1 0 . 1 1 0 9 / T A S L . 2 0 1 0 . 2 0 6 4 1 6 4 ;   Y a n n a k a k i s   G N ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 9 7 4 ,   P 4 3 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 4 6 0 0 - 5 _ 4 7 ;   Z h a n g   S L ,   2 0 0 8 ,   2 0 0 8   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M U L T I M E D I A   A N D   E X P O ,   V O L S   1 - 4 ,   P 1 3 6 9 ;   Z h a n g   S L ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 3 5 3 ,   P 3 2 7 	 3 2 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 1 5 6 - 8 1 0 3 	 	 9 7 8 - 0 - 7 6 9 5 - 5 0 4 8 - 0 	 I N T   C O N F   A F F E C T 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 3 	 1 8 	 	 1 0 . 1 1 0 9 / A C I I . 2 0 1 3 . 9 	 	 6 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 2 R H 	 W O S : 0 0 0 3 3 3 8 3 3 4 0 0 0 0 3 	 	 
 J 	 M o r r i s ,   R R ;   D o n t c h e v a ,   M ;   F i n k e l s t e i n ,   A ;   G e r b e r ,   E 	 	 	 I E E E 	 M o r r i s ,   R o b e r t   R . ;   D o n t c h e v a ,   M i r a ;   F i n k e l s t e i n ,   A d a m ;   G e r b e r ,   E l i z a b e t h 	 	 	 A f f e c t   a n d   C r e a t i v e   P e r f o r m a n c e   o n   C r o w d s o u r c i n g   P l a t f o r m s 	 2 0 1 3   H U M A I N E   A S S O C I A T I O N   C O N F E R E N C E   O N   A F F E C T I V E   C O M P U T I N G   A N D   I N T E L L I G E N T   I N T E R A C T I O N   ( A C I I ) 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   A f f e c t i v e   C o m p u t i n g   a n d   I n t e l l i g e n t   I n t e r a c t i o n 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 5 t h   B i a n n u a l   C o n f e r e n c e   o f   t h e   H u m a i n e - A s s o c i a t i o n   o n   A f f e c t i v e   C o m p u t i n g   a n d   I n t e l l i g e n t   I n t e r a c t i o n   ( A C I I ) 	 S E P   0 2 - 0 5 ,   2 0 1 3 	 G e n e v a ,   S W I T Z E R L A N D 	 H u m a i n e   A s s o c ,   I E E E   C o m p   S o c ,   C o m p   V i s ,   M u l t i m e d i a   L a b ,   U n i v   G e n e v a ,   S w i s s   C t r   A f f e c t   S c i ,   G F K   V e r e i n ,   T e c h n i c o l o r ,   T e l o n o ,   B r a i n   P r o d ,   I n s t   T e l e c o m ,   T e l e c o m   P a r i s T e c h ,   S w i s s   N a t l   S c i   F d n ,   S o c   A c a d e m i q u e   G e n e v e ,   A m e r   A s s o c   A r t i f i c i a l   I n t e l l i g e n c e 	 	 a f f e c t i v e   c o m p u t i n g ;   c r o w d s o u r c i n g ;   a f f e c t i v e   p r i m i n g ;   a f f e c t i v e   s e l f - r e p o r t ;   c r e a t i v i t y 	 M U S I C 	 P e r f o r m a n c e   o n   c r o w d s o u r c i n g   p l a t f o r m s   v a r i e s   g r e a t l y ,   e s p e c i a l l y   f o r   t a s k s   r e q u i r i n g   s i g n i f i c a n t   c o g n i t i v e   e f f o r t   o r   c r e a t i v e   i n s i g h t .   R e s e a r c h e r s   h a v e   p r o p o s e d   s e v e r a l   t e c h n i q u e s   t o   a d d r e s s   t h e s e   p r o b l e m s ,   y e t   f e w   h a v e   c o n s i d e r e d   t h e   r o l e   o f   a f f e c t ,   d e s p i t e   t h e   w e l l - e s t a b l i s h e d   l i n k   b e t w e e n   p o s i t i v e   a f f e c t   a n d   c r e a t i v e   p e r f o r m a n c e .   I n   t h i s   p a p e r ,   w e   e x a m i n e   t w o   a f f e c t i v e   t e c h n i q u e s   t o   b o o s t   c r e a t i v i t y   o n   c r o w d s o u r c i n g   p l a t f o r m s   -   a f f e c t i v e   p r i m i n g   a n d   a f f e c t i v e   p r e - s c r e e n i n g .   A c r o s s   t h r e e   e x p e r i m e n t s ,   w e   f i n d   d i v e r g e n t   r e s u l t s ,   d e p e n d i n g   o n   w h i c h   t e c h n i q u e   i s   u s e d .   W e   f i n d   t h a t   n o t   a l l   h a p p y   c r o w d w o r k e r s   a r e   a l i k e .   T h o s e   t h a t   a r e   p r i m e d   t o   f e e l   h a p p y   e x h i b i t   e n h a n c e d   c r e a t i v e   p e r f o r m a n c e ,   w h e r e a s   t h o s e   t h a t   m e r e l y   r e p o r t   f e e l i n g   h a p p y   e x h i b i t   i m p a i r e d   c r e a t i v e   p e r f o r m a n c e .   W e   e x a m i n e   t h e s e   f i n d i n g s   i n   l i g h t   o f   p r e e x i s t i n g   r e s e a r c h   o n   c r e a t i v i t y ,   a f f e c t ,   a n d   m o o d   s a l i e n c y .   L a s t l y ,   w e   s h o w   h o w   o u r   f i n d i n g s   h a v e   i m p l i c a t i o n s   n o t   o n l y   f o r   c r o w d s o u r c i n g   p l a t f o r m s ,   b u t   a l s o   f o r   o t h e r   h u m a n - c o m p u t e r   i n t e r a c t i o n   s c e n a r i o s   t h a t   i n v o l v e   a f f e c t   a n d   c r e a t i v e   p e r f o r m a n c e . 	 [ M o r r i s ,   R o b e r t   R . ]   M I T ,   M e d i a   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A 	 M o r r i s ,   R R   ( r e p r i n t   a u t h o r ) ,   M I T ,   M e d i a   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A . 	 r m o r r i s @ m e d i a . m i t . e d u ;   m i r a d @ a d o b e . c o m ;   a f @ c s . p r i n c e t o n . e d u ;   e g e r b e r @ n o r t h w e s t e r n . e d u 	 	 	 	 	 A m a b i l e   T M ,   2 0 0 5 ,   A D M I N   S C I   Q U A R T ,   V 5 0 ,   P 3 6 7 ;   A n s b u r g   P I ,   2 0 0 0 ,   C U R R   P S Y C H O L ,   V 1 9 ,   P 1 4 3 ,   D O I   1 0 . 1 0 0 7 / s 1 2 1 4 4 - 0 0 0 - 1 0 1 1 - y ;   B o w d e n   E M ,   2 0 0 3 ,   B E H A V   R E S   M E T H   I N S   C ,   V 3 5 ,   P 6 3 4 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 5 5 4 3 ;   B R A D L E Y   M M ,   1 9 9 4 ,   J   B E H A V   T H E R   E X P   P S Y ,   V 2 5 ,   P 4 9 ,   D O I   1 0 . 1 0 1 6 / 0 0 0 5 - 7 9 1 6 ( 9 4 ) 9 0 0 6 3 - 9 ;   B u r t o n   M .   A . ,   2 0 1 2 ,   P   A C M   S I G A C C E S S   N E W ,   P 1 3 5 ;   C o o k e   D e r y c k ,   1 9 5 9 ,   L A N G U A G E   M U S I C ;   F r e d r i c k s o n   B .   L . ,   1 9 9 8 ,   R E V   G E N   P S Y C H O L ,   V 2 ,   P 3 0 0 ,   D O I   [ 1 0 . 1 0 3 7 / 1 0 8 9 - 2 6 8 0 . 2 . 3 . 3 0 0 ,   D O I   1 0 . 1 0 3 7 / 1 0 8 9 - 2 6 8 0 . 2 . 3 . 3 0 0 ] ;   F r e d r i c k s o n   B L ,   2 0 0 4 ,   P H I L O S   T   R O Y   S O C   B ,   V 3 5 9 ,   P 1 3 6 7 ,   D O I   1 0 . 1 0 9 8 / r s t b . 2 0 0 4 . 1 5 1 2 ;   G e o r g e   J M ,   2 0 0 2 ,   J   A P P L   P S Y C H O L ,   V 8 7 ,   P 6 8 7 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 1 - 9 0 1 0 . 8 7 . 4 . 6 8 7 ;   H e i m e r l   K . ,   2 0 1 2 ,   P   2 0 1 2   A C M   A N N   C   H U M ,   P 1 5 3 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 2 0 7 6 7 6 . 2 2 0 8 6 1 9 ;   I s e n   A . ,   1 9 9 9 ,   H D B   C O G N I T I O N   E M O T I O ,   P 5 2 1 ;   I s e n   A .   M . ,   2 0 0 7 ,   O X F O R D   H D B   M E T H O D S   P ,   P 2 5 0 ;   I S E N   A M ,   1 9 8 7 ,   J   P E R S   S O C   P S Y C H O L ,   V 5 2 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 5 2 . 6 . 1 1 2 2 ;   J O H N S O N   E J ,   1 9 8 3 ,   J   P E R S   S O C   P S Y C H O L ,   V 4 5 ,   P 2 0 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 4 5 . 1 . 2 0 ;   J u s l i n   P .   N . ,   2 0 1 1 ,   H D B   M U S I C   E M O T I O N   T H ;   J u s l i n   P N ,   2 0 0 8 ,   B E H A V   B R A I N   S C I ,   V 3 1 ,   P 5 5 9 ,   D O I   1 0 . 1 0 1 7 / S 0 1 4 0 5 2 5 X 0 8 0 0 5 2 9 3 ;   K i t t u r   A ,   2 0 1 3 ,   P   2 0 1 3   C   C O M P   S U P P   C ,   P 1 3 0 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 4 4 1 7 7 6 . 2 4 4 1 9 2 3 ;   K i t t u r   A . ,   2 0 1 0 ,   X R D S ,   V 1 7 ,   P 2 2 ;   K i t t u r   A . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 4 3 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K l a u e r   K C ,   2 0 0 3 ,   P S Y C H O L O G Y   O F   E V A L U A T I O N ,   P 7 ;   L e w i s   S . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 7 3 5 ;   M e d n i c k   M .   T . ,   1 9 6 4 ,   J   A B N O R M A L   S O C I A L   P S ,   V 6 9 ;   M o r r i s   R .   R . ,   2 0 1 2 ,   C O L L E C T I V E   I N T E L   A P R ;   R o w e   G ,   2 0 0 7 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 4 ,   P 3 8 3 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 6 0 5 1 9 8 1 0 4 ;   R o y   M ,   2 0 0 9 ,   I N T   J   P S Y C H O P H Y S I O L ,   V 7 1 ,   P 3 7 ,   D O I   1 0 . 1 0 1 6 / j . i j p s y c h o . 2 0 0 8 . 0 7 . 0 1 0 ;   S c h w a r z   N . ,   1 9 8 8 ,   A F F E C T   C O G N I T I O N   S O C ,   P 4 4 ;   W A T S O N   D ,   1 9 8 8 ,   J   P E R S   S O C   P S Y C H O L ,   V 5 4 ,   P 1 0 6 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 5 4 . 6 . 1 0 6 3 ;   Z h a n g   H . ,   2 0 1 2 ,   P R O C E E D I N G S   O F   C H I ,   P 2 1 7 	 2 9 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 1 5 6 - 8 1 0 3 	 	 9 7 8 - 0 - 7 6 9 5 - 5 0 4 8 - 0 	 I N T   C O N F   A F F E C T 	 	 	 2 0 1 3 	 	 	 	 	 	 	 6 7 	 7 2 	 	 1 0 . 1 1 0 9 / A C I I . 2 0 1 3 . 1 8 	 	 6 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 2 R H 	 W O S : 0 0 0 3 3 3 8 3 3 4 0 0 0 1 2 	 	 
 J 	 P e t r e c a ,   B ;   B i a n c h i - B e r t h o u z e ,   N ;   B a u r l e y ,   S ;   W a t k i n s ,   P ;   A t k i n s o n ,   D 	 	 	 I E E E 	 P e t r e c a ,   B r u n a ;   B i a n c h i - B e r t h o u z e ,   N a d i a ;   B a u r l e y ,   S h a r o n ;   W a t k i n s ,   P e n e l o p e ;   A t k i n s o n ,   D o u g l a s 	 	 	 A n   e m b o d i m e n t   p e r s p e c t i v e   o f   a f f e c t i v e   t o u c h   b e h a v i o u r   i n   e x p e r i e n c i n g   d i g i t a l   t e x t i l e s 	 2 0 1 3   H U M A I N E   A S S O C I A T I O N   C O N F E R E N C E   O N   A F F E C T I V E   C O M P U T I N G   A N D   I N T E L L I G E N T   I N T E R A C T I O N   ( A C I I ) 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   A f f e c t i v e   C o m p u t i n g   a n d   I n t e l l i g e n t   I n t e r a c t i o n 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 5 t h   B i a n n u a l   C o n f e r e n c e   o f   t h e   H u m a i n e - A s s o c i a t i o n   o n   A f f e c t i v e   C o m p u t i n g   a n d   I n t e l l i g e n t   I n t e r a c t i o n   ( A C I I ) 	 S E P   0 2 - 0 5 ,   2 0 1 3 	 G e n e v a ,   S W I T Z E R L A N D 	 H u m a i n e   A s s o c ,   I E E E   C o m p   S o c ,   C o m p   V i s ,   M u l t i m e d i a   L a b ,   U n i v   G e n e v a ,   S w i s s   C t r   A f f e c t   S c i ,   G F K   V e r e i n ,   T e c h n i c o l o r ,   T e l o n o ,   B r a i n   P r o d ,   I n s t   T e l e c o m ,   T e l e c o m   P a r i s T e c h ,   S w i s s   N a t l   S c i   F d n ,   S o c   A c a d e m i q u e   G e n e v e ,   A m e r   A s s o c   A r t i f i c i a l   I n t e l l i g e n c e 	 	 A f f e c t i v e   t o u c h   b e h a v i o u r ;   t a c t i l e   i n t e r a c t i o n s ;   u s e r   e x p e r i e n c e ;   t o u c h   b e h a v i o u r 	 T A C T I L E ;   P E R C E P T I O N ;   F A B R I C S ;   H A N D L E 	 H a n d l i n g   t e x t i l e s   i s   n o t   o n l y   a   s e m a n t i c   e x p e r i e n c e ,   b u t   a l s o   a n   e m o t i o n a l   o n e .   W h i l s t   h a n d l i n g   a   t e x t i l e   i s   c r u c i a l   f o r   i t s   a p p r e c i a t i o n   a n d   u n d e r s t a n d i n g ,   t h i s   c h a n n e l   i s   s t i l l   l i t t l e   e x p l o r e d   i n   t h e   d i g i t a l   r e a l m ,   w h e r e   f o c u s   h a s   b e e n   g i v e n   t o   t h e   h a p t i c   f e e d b a c k   a s p e c t   o f   h a n d l i n g .   I n   t h i s   p a p e r ,   w e   d i s c u s s   t h e   i m p o r t a n c e   o f   t o u c h   b e h a v i o u r   i n   i n t e r a c t i v e   d i g i t a l   h a n d l i n g   t o   a l l o w   p e o p l e   t o   e x p l o r e ,   e m o t i o n a l l y   e n g a g e   w i t h   a n d   u n d e r s t a n d   t e x t i l e   p r o p e r t i e s .   W e   b u i l d   o n   o u r   f i n d i n g s   f r o m   p r e v i o u s   s t u d i e s ,   w h e r e   w e   i n v e s t i g a t e d   h o w   p e o p l e   h a n d l e   f a b r i c s   i n   r e a l - l i f e   s i t u a t i o n s   a n d   m o r e   g e n e r a l l y   h o w   t h e i r   t o u c h   b e h a v i o u r   m a y   a f f e c t   t h e   e x p e r i e n c e ,   r e l a t i n g   i t   t o   l i t e r a t u r e   f r o m   t e x t i l e ,   H C I ,   e m b o d i e d   c o g n i t i o n   a n d   e m b o d i e d   a f f e c t   t o   d i s c u s s   h o w   c u r r e n t   t e c h n o l o g y   s h o u l d   d e v e l o p   t o   p r o v i d e   a   m o r e   r e a l i s t i c   t o u c h   e x p e r i e n c e .   A d d i t i o n a l l y ,   w e   c o n s i d e r   h o w   c r o w d s o u r c i n g   o f   t h e   t e x t i l e   e x p e r i e n c e   c o u l d   b e   e x t e n d e d   b y   t a k i n g   i n t o   a c c o u n t   n o n v e r b a l   e x p r e s s i o n s   o f   t e x t i l e - h a n d l i n g   e x p e r i e n c e .   W e   s h o w   t h a t   f u r t h e r   k n o w l e d g e   i s   n e e d e d   t o   d e s i g n   i n t e r a c t i v e   t e c h n o l o g y   t h a t   s u p p o r t s   a c t i v e   a n d   u n c o n s t r a i n e d   t o u c h ,   a s   w e l l   a s   t h e   a f f e c t i v e   a s p e c t s   o f   e x p e r i e n c e . 	 [ P e t r e c a ,   B r u n a ;   B a u r l e y ,   S h a r o n ;   W a t k i n s ,   P e n e l o p e ;   A t k i n s o n ,   D o u g l a s ]   B r u n e l   U n i v ,   S c h   E n g n   &   D e s i g n ,   L o n d o n ,   E n g l a n d 	 P e t r e c a ,   B   ( r e p r i n t   a u t h o r ) ,   B r u n e l   U n i v ,   S c h   E n g n   &   D e s i g n ,   L o n d o n ,   E n g l a n d . 	 b r u n a . p e t r e c a @ b r u n c l . a c . u k ;   n . b e r t h o u z e @ u c l . a c . u k ;   s h a r o n . b a u r l e y @ b r u n c l . a c . u k ;   p e n e l o p e w a t k i n s @ a o l . c o m ;   d . a t k i n s o n @ f a s h i o n . a t r s . a c . u k 	 	 	 	 	 A A T C C   E v a l u a t i o n   P r o c e d u r e   5 ,   2 0 0 6 ,   R A 8 9   A A T C C ;   A t k i n s o n   D . ,   2 0 1 3 ,   P   C H I   2 0 1 3 ;   A t k i n s o n   D . ,   S U B J E C T I V E   I N   P R E S S ;   B a n g   A . L . ,   2 0 1 1 ,   E M O T I O N A L   V A L U E   A P P L ;   B a u r l e y   S ,   2 0 0 4 ,   P E R S   U B I Q U I T   C O M P U T ,   V 8 ,   P 2 7 4 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 9 - 0 0 4 - 0 2 8 8 - 5 ;   B e h e r y   H . M . ,   2 0 0 5 ,   E F F E C T   M E C H   P H Y S   P R O ;   B i a n c h i - B e r t h o u z e   N ,   2 0 0 2 ,   J   I N T E L L   I N F   S Y S T ,   V 1 9 ,   P 4 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 5 5 1 2 4 0 3 7 0 6 ;   B i a n c h i - B e r t h o u z e   N ,   2 0 0 3 ,   I E E E   M U L T I M E D I A ,   V 1 0 ,   P 1 0 3 ,   D O I   1 0 . 1 1 0 9 / M M U L . 2 0 0 3 . 1 2 1 8 2 6 2 ;   B i a n c h i - B e r t h o u z e   N . ,   2 0 1 3 ,   H U M A N   C O M P U T E R   I N T E R ,   V 2 8 ,   P 4 2 ;   B i a n c h i - B e r t h o u z e   N ,   1 9 9 9 ,   C I S M   C O U R   L ,   P 3 ;   B l a c k s h a w   M . ,   2 0 1 1 ,   C H I   2 0 1 1 ,   P 1 2 3 7 ;   C a i r n s   P . ,   2 0 0 6 ,   P   C O G N   S C I   G A M   G A M   W ;   C h a n d l e r   J ,   2 0 0 9 ,   J   E X P   S O C   P S Y C H O L ,   V 4 5 ,   P 1 2 3 ,   D O I   1 0 . 1 0 1 6 / j . j e s p . 2 0 0 8 . 0 6 . 0 1 2 ;   C i e s i e l s k a - W r o b e l   I L ,   2 0 1 2 ,   T E X T   R E S   J ,   V 8 2 ,   P 1 4 5 7 ,   D O I   1 0 . 1 1 7 7 / 0 0 4 0 5 1 7 5 1 2 4 3 8 1 2 6 ;   D e   S i l v a   P R ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 7 8 4 ,   P 3 2 ;   D i l l o n   P . ,   2 0 0 0 ,   S E N S I N G   F A B R I C   S I M U L ,   P 6 3 ;   E s s i c k   G K ,   2 0 1 0 ,   N E U R O S C I   B I O B E H A V   R ,   V 3 4 ,   P 1 9 2 ,   D O I   1 0 . 1 0 1 6 / j . n e u b i o r e v . 2 0 0 9 . 0 2 . 0 0 3 ;   E s s i c k   G K ,   1 9 9 9 ,   N E U R O R E P O R T ,   V 1 0 ,   P 2 0 8 3 ,   D O I   1 0 . 1 0 9 7 / 0 0 0 0 1 7 5 6 - 1 9 9 9 0 7 1 3 0 - 0 0 0 1 7 ;   G a o   Y . ,   2 0 1 2 ,   W H A T   D O E S   T O U C H   T E L L ;   H e r t e n s t e i n   M . J . ,   2 0 0 9 ,   A M   P S Y C H O L   A S S ,   V 9 ,   P 5 6 6 ;   H o l m a n   D . ,   2 0 0 5 ,   P   C H I   2 0 0 5 ,   P 5 9 1 ,   D O I   1 0 . 1 1 4 5 / 1 0 5 4 9 7 2 . 1 0 5 5 0 5 4 ;   H o w o r t h   W . S . ,   1 9 6 4 ,   J   T E X T I L E   I ;   H u g h e s   L . ,   2 0 1 2 ,   A L T C H I   2 0 1 2 ;   H u n g   S . H . ,   1 9 9 9 ,   T H E S I S   N A T L   C H I A O   T U ;   I n d e r   R . ,   1 9 9 9 ,   K   D I M E   S O F T W A R E   F R A M ;   J o h n s o n   M . ,   1 9 8 7 ,   B O D Y   M I N D   B O D I L Y   B A S ;   J o r d a n   P . W . ,   2 0 0 8 ,   P   A P P L   E R G   I N T ;   K i l d a l   J . ,   2 0 1 2 ,   C H I   E A   1 2 ,   P 1 8 7 1 ;   K l e i n s m i t h   A ,   2 0 1 3 ,   I E E E   T   A F F E C T   C O M P U T ,   V 4 ,   P 1 5 ,   D O I   1 0 . 1 1 0 9 / T - A F F C . 2 0 1 2 . 1 6 ;   K l e i n s m i t h   A ,   2 0 1 1 ,   I E E E   T   S Y S T   M A N   C Y   B ,   V 4 1 ,   P 1 0 2 7 ,   D O I   1 0 . 1 1 0 9 / T S M C B . 2 0 1 0 . 2 1 0 3 5 5 7 ;   K l e i n s m i t h   A . ,   2 0 0 5 ,   W O R K S H   A D   I N T   S T Y L   A ;   L a k o f f   G . ,   1 9 8 0 ,   M E T A P H O R S   W E   L I V E   B Y ;   L a u g h l i n   J . ,   1 9 9 1 ,   I N T   J   C L O T H   S C I   T E C H ,   V 3 ,   P 2 0 ,   D O I   1 0 . 1 1 0 8 / e b 0 0 2 9 8 3 ;   M a g n e n a t - T h a l m a n n   N . ,   2 0 0 8 ,   H U M A N   H A P T I C   P E R C E P T ,   P 5 1 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 7 6 4 3 - 7 6 1 2 - 3 _ 4 3 ;   M a s s u m i   B ,   2 0 1 1 ,   T E C H N O L   L I V E D   A B S T R ,   P 1 ;   N i e d e n t h a l   P M ,   2 0 0 5 ,   P E R S   S O C   P S Y C H O L   R E V ,   V 9 ,   P 1 8 4 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 9 5 7 p s p r 0 9 0 3 _ 1 ;   N i j h a r   J . ,   2 0 1 2 ,   L N I C S T ,   V 7 8 ,   P 7 3 ;   O b r i s t   M . ,   C H I   1 3 ,   P 1 6 5 9 ;   O r z e c h o w s k i   P . ,   2 0 1 2 ,   M O B I L E H C I ;   O r z e c h o w s k i   P . M . ,   2 0 1 0 ,   M O B I L E   H C I   1 0 ,   P 4 7 7 ;   P a n   N . ,   2 0 0 7 ,   I N T   J   D E S I G N   N A T U R E ,   V 1 ,   P 4 8 ,   D O I   1 0 . 2 4 9 5 / J D N - V 1 - N 1 - 4 8 - 6 0 ;   P a r k   Y . ,   2 0 1 3 ,   P   C H I   2 0 1 3 ;   P e c k   J ,   2 0 0 6 ,   J   M A R K E T I N G ,   V 7 0 ,   P 5 6 ,   D O I   1 0 . 1 5 0 9 / j m k g . 7 0 . 4 . 5 6 ;   P e t e r s e n   M .   G r a v e s ,   2 0 0 4 ,   P   D E S   I N T   S Y S T ;   P h i l i p p e   F . ,   2 0 0 3 ,   J   F A S H I O N   M A R K E T I N G ,   V 7 ,   P 2 3 5 ,   D O I   1 0 . 1 1 0 8 / 1 3 6 1 2 0 2 0 3 1 0 4 8 4 7 9 9 ;   P h i l p o t t   M . ,   2 0 1 2 ,   E V A L U A T I N G   M U L T I P O I N ,   P 1 2 1 ;   P i c a r d   D ,   2 0 0 3 ,   A C T A   P S Y C H O L ,   V 1 1 4 ,   P 1 6 5 ,   D O I   1 0 . 1 0 1 6 / j . a c t p s y . 2 0 0 3 . 0 8 . 0 0 1 ;   R o l l s   E T ,   2 0 0 3 ,   C E R E B   C O R T E X ,   V 1 3 ,   P 3 0 8 ,   D O I   1 0 . 1 0 9 3 / c e r c o r / 1 3 . 3 . 3 0 8 ;   S a v v a   N ,   2 0 1 2 ,   I E E E   T   C O M P   I N T E L   A I ,   V 4 ,   P 1 9 9 ,   D O I   1 0 . 1 1 0 9 / T C I A I G . 2 0 1 2 . 2 2 0 2 6 6 3 ;   S c h i p h o r s t   T . ,   2 0 1 1 ,   C H I   1 1 ,   P 1 4 5 ;   S c h w e s i g   C . ,   2 0 0 4 ,   C H I   0 4 ,   P 2 6 3 ;   S e n n e t t   R . ,   2 0 0 8 ,   T H E   C R A F T S M A N ;   S e r i n o   A ,   2 0 1 0 ,   N E U R O S C I   B I O B E H A V   R ,   V 3 4 ,   P 2 2 4 ,   D O I   1 0 . 1 0 1 6 / j . n e u b i o r e v . 2 0 0 9 . 0 4 . 0 0 4 ;   S o u f f l e t   I ,   2 0 0 4 ,   F O O D   Q U A L   P R E F E R ,   V 1 5 ,   P 6 8 9 ,   D O I   1 0 . 1 0 1 6 / j . f o o d q u a l . 2 0 0 4 . 0 3 . 0 0 5 ;   S t r e e c k   J u r g e n ,   2 0 0 9 ,   G E S T U R E C R A F T   M A N U F A C ;   S u l a r   V ,   2 0 0 8 ,   F I B R E S   T E X T   E A S T   E U R ,   V 1 6 ,   P 6 1 ;   T a l l i s   R . ,   2 0 0 3 ,   H A N D   P H I L O S   I N Q U I R Y ;   V a l a t k i e n e   L . ,   2 0 0 6 ,   M a t e r i a l s   S c i e n c e ,   V 1 2 ;   W I N A K O R   G ,   1 9 8 0 ,   T E X T   R E S   J ,   V 5 0 ,   P 6 0 1 ,   D O I   1 0 . 1 1 7 7 / 0 0 4 0 5 1 7 5 8 0 0 5 0 0 1 0 0 5 ;   W u   D ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 9 7 4 ,   P 4 2 7 	 6 0 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 1 5 6 - 8 1 0 3 	 	 9 7 8 - 0 - 7 6 9 5 - 5 0 4 8 - 0 	 I N T   C O N F   A F F E C T 	 	 	 2 0 1 3 	 	 	 	 	 	 	 7 7 0 	 7 7 5 	 	 1 0 . 1 1 0 9 / A C I I . 2 0 1 3 . 1 4 3 	 	 6 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 2 R H 	 W O S : 0 0 0 3 3 3 8 3 3 4 0 0 1 3 8 	 	 
 J 	 M a o ,   K ;   Y a n g ,   Y ;   L i ,   M S ;   H a r m a n ,   M 	 	 N o t k i n ,   D ;   C h e n g ,   B H C ;   P o h l ,   K 	 	 M a o ,   K e ;   Y a n g ,   Y e ;   L i ,   M i n g s h u ;   H a r m a n ,   M a r k 	 	 	 P r i c i n g   C r o w d s o u r c i n g - B a s e d   S o f t w a r e   D e v e l o p m e n t   T a s k s 	 P R O C E E D I N G S   O F   T H E   3 5 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S O F T W A R E   E N G I N E E R I N G   ( I C S E   2 0 1 3 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S o f t w a r e   E n g i n e e r i n g   ( I C S E ) 	 M A Y   1 8 - 2 6 ,   2 0 1 3 	 S a n   F r a n c i s c o ,   C A 	 A s s o c   C o m p   M a c h i n e r y ,   A C M   S p e c i a l   I n t e r e s t   G r p   S o f t w a r e   E n g n ,   I E E E   C o m p   S o c ,   T e c h   C o u n c i l   S o f t w a r e   E n g n 	 	 c r o w d s o u r c i n g ;   p r i c i n g ;   s o f t w a r e   m e a s u r e m e n t 	 	 M a n y   o r g a n i s a t i o n s   h a v e   t u r n e d   t o   c r o w d s o u r c e   t h e i r   s o f t w a r e   d e v e l o p m e n t   p r o j e c t s .   T h i s   r a i s e s   i m p o r t a n t   p r i c i n g   q u e s t i o n s ,   a   p r o b l e m   t h a t   h a s   n o t   p r e v i o u s l y   b e e n   a d d r e s s e d   f o r   t h e   e m e r g i n g   c r o w d s o u r c i n g   d e v e l o p m e n t   p a r a d i g m .   W e   a d d r e s s   t h i s   p r o b l e m   b y   i n t r o d u c i n g   1 6   c o s t   d r i v e r s   f o r   c r o w d s o u r c e d   d e v e l o p m e n t   a c t i v i t i e s   a n d   e v a l u a t e   1 2   p r e d i c t i v e   p r i c i n g   m o d e l s   u s i n g   4   p o p u l a r   p e r f o r m a n c e   m e a s u r e s .   W e   e v a l u a t e   o u r   p r e d i c t i v e   m o d e l s   o n   T o p C o d e r ,   t h e   l a r g e s t   c u r r e n t   c r o w d s o u r c i n g   p l a t f o r m   f o r   s o f t w a r e   d e v e l o p m e n t .   W e   a n a l y s e   a l l   5 , 9 1 0   s o f t w a r e   d e v e l o p m e n t   t a s k s   ( f o r   w h i c h   p a r t i a l   d a t a   i s   a v a i l a b l e ) ,   u s i n g   t h e s e   t o   e x t r a c t   o u r   p r o p o s e d   c o s t   d r i v e r s .   W e   e v a l u a t e   o u r   p r e d i c t i v e   m o d e l s   u s i n g   t h e   4 9 0   c o m p l e t e d   p r o j e c t s   ( f o r   w h i c h   f u l l   d e t a i l s   a r e   a v a i l a b l e ) .   O u r   r e s u l t s   p r o v i d e   e v i d e n c e   t o   s u p p o r t   o u r   p r i m a r y   f i n d i n g   t h a t   u s e f u l   p r e d i c t i o n   q u a l i t y   i s   a c h i e v a b l e   ( P r e d ( 3 0 ) > 0 . 8 ) .   W e   a l s o   s h o w   t h a t   s i m p l e   a c t i o n a b l e   a d v i c e   c a n   b e   e x t r a c t e d   f r o m   o u r   m o d e l s   t o   a s s i s t   t h e   4 3 0 , 0 0 0   d e v e l o p e r s   w h o   a r e   m e m b e r s   o f   t h e   T o p C o d e r   s o f t w a r e   d e v e l o p m e n t   m a r k e t . 	 [ M a o ,   K e ;   Y a n g ,   Y e ;   L i ,   M i n g s h u ]   C h i n e s e   A c a d   S c i ,   I n s t   S o f t w a r e ,   B e i j i n g ,   P e o p l e s   R   C h i n a 	 M a o ,   K   ( r e p r i n t   a u t h o r ) ,   C h i n e s e   A c a d   S c i ,   I n s t   S o f t w a r e ,   B e i j i n g ,   P e o p l e s   R   C h i n a . 	 m a o k e @ n f s . i s c a s . a c . c n ;   y a n g y e @ n f s . i s c a s . a c . c n ;   m i n g s h u @ n f s . i s c a s . a c . c n ;   m a r k . h a r m a n @ u c l . a c . u k 	 	 	 	 	 B o e h m   B .   W . ,   1 9 8 1 ,   S O F T W A R E   E N G   E C ;   D i P a l a n t i n o   D ,   2 0 0 9 ,   1 0 T H   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E   -   E C   2 0 0 9 ,   P 1 1 9 ;   F a r a d a n i   S . ,   2 0 1 1 ,   P   H U M   C O M P ;   H a r m a n   M a r k ,   2 0 1 0 ,   P   6   I N T   C   P R E D   M O D   S ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   S h e p p e r d   M ,   2 0 1 2 ,   I N F O R M   S O F T W A R E   T E C H ,   V 5 4 ,   P 8 2 0 ,   D O I   1 0 . 1 0 1 6 / j . i n f s o f . 2 0 1 1 . 1 2 . 0 0 8 ;   S i n g e r   Y . ,   2 0 1 1 ,   P   H U M   C O M P 	 7 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 3 0 7 6 - 3 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 2 0 5 	 1 2 0 8 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 2 W S 	 W O S : 0 0 0 3 3 3 9 6 5 8 0 0 1 3 3 	 	 
 J 	 P h a m ,   R ;   S i n g e r ,   L ;   S c h n e i d e r ,   K 	 	 N o t k i n ,   D ;   C h e n g ,   B H C ;   P o h l ,   K 	 	 P h a m ,   R a p h a e l ;   S i n g e r ,   L e i f ;   S c h n e i d e r ,   K u r t 	 	 	 B u i l d i n g   T e s t   S u i t e s   i n   S o c i a l   C o d i n g   S i t e s   b y   L e v e r a g i n g   D r i v e - B y   C o m m i t s 	 P R O C E E D I N G S   O F   T H E   3 5 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S O F T W A R E   E N G I N E E R I N G   ( I C S E   2 0 1 3 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S o f t w a r e   E n g i n e e r i n g   ( I C S E ) 	 M A Y   1 8 - 2 6 ,   2 0 1 3 	 S a n   F r a n c i s c o ,   C A 	 A s s o c   C o m p   M a c h i n e r y ,   A C M   S p e c i a l   I n t e r e s t   G r p   S o f t w a r e   E n g n ,   I E E E   C o m p   S o c ,   T e c h   C o u n c i l   S o f t w a r e   E n g n 	 	 	 	 G i t H u b   p r o j e c t s   a t t r a c t   c o n t r i b u t i o n s   f r o m   a   c o m m u n i t y   o f   u s e r s   w i t h   v a r y i n g   c o d i n g   a n d   q u a l i t y   a s s u r a n c e   s k i l l s .   D e v e l o p e r s   o n   G i t H u b   f e e l   a   n e e d   f o r   a u t o m a t e d   t e s t s   a n d   r e l y   o n   t e s t   s u i t e s   f o r   r e g r e s s i o n   t e s t i n g   a n d   c o n t i n u o u s   i n t e g r a t i o n .   H o w e v e r ,   p r o j e c t   o w n e r s   r e p o r t   t o   o f t e n   s t r u g g l e   w i t h   i m p l e m e n t i n g   a n   e x h a u s t i v e   t e s t   s u i t e .   C o n v i n c i n g   c o n t r i b u t o r s   t o   p r o v i d e   a u t o m a t e d   t e s t   c a s e s   r e m a i n s   a   c h a l l e n g e .   T h e   a b s e n c e   o f   a n   a d e q u a t e   t e s t   s u i t e   o r   u s i n g   t e s t s   o f   l o w   q u a l i t y   c a n   d e g r a d e   t h e   q u a l i t y   o f   t h e   s o f t w a r e   p r o d u c t .   W e   p r e s e n t   a n   a p p r o a c h   f o r   r e d u c i n g   t h e   e f f o r t   r e q u i r e d   b y   p r o j e c t   o w n e r s   f o r   e x t e n d i n g   t h e i r   t e s t   s u i t e s .   W e   a i m   t o   u t i l i z e   t h e   p h e n o m e n o n   o f   d r i v e - b y   c o m m i t s :   c a p a b l e   u s e r s   q u i c k l y   a n d   e a s i l y   s o l v e   p r o b l e m s   i n   o t h e r s '   p r o j e c t s - e v e n   t h o u g h   t h e y   a r e   n o t   p a r t i c u l a r l y   i n v o l v e d   i n   t h a t   p r o j e c t - a n d   m o v e   o n .   B y   a n a l y z i n g   a n d   d i r e c t i n g   t h e   d r i v e - b y   c o m m i t   p h e n o m e n o n ,   w e   h o p e   t o   u s e   c r o w d s o u r c i n g   t o   i m p r o v e   p r o j e c t s '   q u a l i t y   a s s u r a n c e   e f f o r t s .   V a l u a b l e   t e s t   c a s e s   a n d   m a i n t e n a n c e   t a s k s   w o u l d   b e   c o m p l e t e d   b y   c a p a b l e   u s e r s ,   g i v i n g   c o r e   d e v e l o p e r s   m o r e   r e s o u r c e s   t o   w o r k   o n   t h e   m o r e   c o m p l i c a t e d   i s s u e s . 	 [ P h a m ,   R a p h a e l ;   S i n g e r ,   L e i f ;   S c h n e i d e r ,   K u r t ]   L e i b n i z   U n i v   H a n n o v e r ,   S o f t w a r e   E n g n   G r p ,   D - 3 0 1 6 7   H a n n o v e r ,   G e r m a n y 	 P h a m ,   R   ( r e p r i n t   a u t h o r ) ,   L e i b n i z   U n i v   H a n n o v e r ,   S o f t w a r e   E n g n   G r p ,   D - 3 0 1 6 7   H a n n o v e r ,   G e r m a n y . 	 r a p h a e l . p h a m @ i n f . u n i - h a n n o v e r . d e ;   l e i f . s i n g e r @ i n f . u n i - h a n n o v e r . d e ;   k u r t . s c h n e i d e r @ i n f . u n i - h a n n o v e r . d e 	 	 	 	 	 B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   E b a r t   C . ,   2 0 0 8 ,   S O F T W A R E   I E E E ,   V 2 5 ,   P 5 2 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   L i k e r t   R ,   1 9 3 2 ,   A R C H   P S Y C H O L ;   L u n d e l l   B . ,   I N F O R M   S Y S T E M S   J ,   V 2 0 ;   M y e r s   G . J . ,   2 0 1 1 ,   A R T   S O F T W A R E   T E S T I N G ;   N a g a p p a n   N ,   2 0 0 8 ,   E M P I R   S O F T W   E N G ,   V 1 3 ,   P 2 8 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 6 4 - 0 0 8 - 9 0 6 2 - z ;   P h a m   R . ,   2 0 1 3 ,   P   3 5   I N T   C   I N   P R E S S ;   P r a n i c   D . ,   2 0 1 0 ,   A R C H   P S Y C H O L ,   P 1 3 1 6 	 9 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 3 0 7 6 - 3 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 2 0 9 	 1 2 1 2 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 2 W S 	 W O S : 0 0 0 3 3 3 9 6 5 8 0 0 1 3 4 	 	 
 J 	 C h a t z i m i l i o u d i s ,   G ;   Z e i n a l i p o u r - Y a z t i ,   D 	 	 	 I E E E 	 C h a t z i m i l i o u d i s ,   G e o r g i o s ;   Z e i n a l i p o u r - Y a z t i ,   D e m e t r i o s 	 	 	 C r o w d s o u r c i n g   f o r   M o b i l e   D a t a   M a n a g e m e n t   ( A d v a n c e d   S e m i n a r   A b s t r a c t ) 	 2 0 1 3   I E E E   1 4 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   D A T A   M A N A G E M E N T   ( M D M   2 0 1 3 ) ,   V O L   2 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   1 4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   M o b i l e   D a t a   M a n a g e m e n t   ( M D M ) 	 J U N   0 3 - 0 6 ,   2 0 1 3 	 M i l a n ,   I T A L Y 	 I E E E ,   I E E E   C o m p   S o c ,   I B M   R e s ,   S T M i c r o e l e c t r o n ,   T e l e c o m   I t a l i a ,   U n i v   M i l a n ,   D e p t   C o m p   S c i ,   G o o g l e 	 U n i v   M i l a n 	 	 	 C r o w d s o u r c i n g   r e f e r s   t o   a   d i s t r i b u t e d   p r o b l e m - s o l v i n g   m o d e l   i n   w h i c h   a   c r o w d   o f   u n d e f i n e d   s i z e   i s   e n g a g e d   i n   t h e   t a s k   o f   s o l v i n g   a   c o m p l e x   p r o b l e m   t h r o u g h   a n   o p e n   c a l l .   T h i s   n o v e l   p r o b l e m - s o l v i n g   m o d e l   f o u n d   i t s   w a y   i n t o   n u m e r o u s   a p p l i c a t i o n s   o n   t h e   w e b   f o r   v o t i n g ,   f u n d - r a i s i n g ,   m i c r o - w o r k s   a n d   w i s d o m - o f - t h e - c r o w d   s c e n a r i o s .   O n   t h e   o t h e r   h a n d ,   t h e   s h i f t   o f   d e s k t o p   u s e r s   t o   m o b i l e   p l a t f o r m s   i n   t h e   p o s t - P C   e r a ,   a l o n g   w i t h   t h e   u n i q u e   m u l t i - s e n s i n g   c a p a b i l i t i e s   o f   m o d e r n   m o b i l e   d e v i c e s   a r e   e x p e c t e d   t o   e v e n t u a l l y   u n f o l d   t h e   f u l l   p o t e n t i a l   o f   C r o w d s o u r c i n g .   S m a r t p h o n e s   o f f e r   a   g r e a t   p l a t f o r m   f o r   e x t e n d i n g   a n d   d i v e r s i f y i n g   w e b - b a s e d   c r o w d s o u r c i n g   a p p l i c a t i o n s   t o   a   l a r g e r   c o n t r i b u t i n g   c r o w d ,   m a k i n g   c o n t r i b u t i o n   e a s i e r   a n d   o m n i - p r e s e n t .   T h i s   a d v a n c e d   s e m i n a r   p r e s e n t s   t h e   f u n d a m e n t a l   c o n c e p t s   b e h i n d   c r o w d s o u r c i n g   a n d   i t s   a p p l i c a t i o n s   t o   m o b i l e   d a t a   m a n a g e m e n t .   I n   t h e   f i r s t   p a r t   o f   t h e   s e m i n a r ,   w e   w i l l   o v e r v i e w   t h e   c r o w d s o u r c i n g   r e s e a r c h   l a n d s c a p e   f r o m   a   v a r i e t y   o f   p e r s p e c t i v e s ,   w i t h   a   p a r t i c u l a r   e m p h a s i s   o n   t h e   l a t e s t   d a t a   m a n a g e m e n t   t r e n d s .   I n   t h e   s e c o n d   a n d   m o r e   e x t e n d e d   p a r t   o f   t h e   s e m i n a r ,   w e   w i l l   f o c u s   o n   a n   i n - d e p t h   c o v e r a g e   o f   e m e r g i n g   m o b i l e   c r o w d s o u r c i n g   a r c h i t e c t u r e s   a n d   s y s t e m s ,   t h r o u g h   a   m u l t i - d i m e n s i o n a l   t a x o n o m y   t h a t   w i l l   a d d r e s s   l o c a t i o n ,   s e n s i n g ,   p o w e r ,   p e r f o r m a n c e ,   b i g - d a t a   a n d   p r i v a c y   a m o n g   o t h e r s .   F u r t h e r m o r e ,   w e   w i l l   o v e r v i e w   a   n u m b e r   o f   i n - h o u s e   c r o w d s o u r c i n g   p r o t o t y p e s   w e   h a v e   d e v e l o p e d   a n d   d e p l o y e d   o v e r   t h e   l a s t   f e w   y e a r s .   T h e   s e m i n a r   c o n c l u d e s   w i t h   c h a l l e n g e s ,   o p p o r t u n i t i e s   a n d   n e w   d i r e c t i o n s   i n   t h e   f i e l d . 	 [ C h a t z i m i l i o u d i s ,   G e o r g i o s ;   Z e i n a l i p o u r - Y a z t i ,   D e m e t r i o s ]   U n i v   C y p r u s ,   D e p t   C o m p   S c i ,   C Y - 1 6 7 8   N i c o s i a ,   C y p r u s 	 C h a t z i m i l i o u d i s ,   G   ( r e p r i n t   a u t h o r ) ,   U n i v   C y p r u s ,   D e p t   C o m p   S c i ,   P O B   2 0 5 3 7 ,   C Y - 1 6 7 8   N i c o s i a ,   C y p r u s . 	 g c h a t z i m @ c s . u c y . a c . c y ;   d z e i n a @ c s . u c y . a c . c y 	 	 	 	 	 A l o n s o   O . ,   2 0 1 1 ,   P   3 4   I N T   A C M   S I G I R   C ,   P 1 2 9 9 ;   C h a t z i m i l i o u d i s   G ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 3 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 7 0 ;   C h a t z i m i l i o u d i s   G . ,   2 0 1 2 ,   P r o c e e d i n g s   o f   t h e   2 0 1 2   1 3 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   M o b i l e   D a t a   M a n a g e m e n t   ( M D M ) ,   D O I   1 0 . 1 1 0 9 / M D M . 2 0 1 2 . 1 9 ;   D o a n   A n H a i ,   2 0 1 1 ,   P V L D B ,   V 4 ,   P 1 5 0 8 ;   K a n h e r e   S a l i l   S . ,   2 0 1 1 ,   P   1 2   I E E E   I N T   C   M O B ,   V 2 ,   P 3 ;   P a n a h a n d e h   G h a z a l e h ,   2 0 1 1 ,   P r o c e e d i n g s   o f   t h e   2 0 1 1   F i r s t   I n t e r n a t i o n a l   C o n f e r e n c e   o n   R o b o t ,   V i s i o n   a n d   S i g n a l   P r o c e s s i n g   ( R V S P   2 0 1 1 ) ,   D O I   1 0 . 1 1 0 9 / R V S P . 2 0 1 1 . 6 4 ;   Z e i n a l i p o u r - Y a z t i   D e m e t r i o s ,   2 0 1 3 ,   I E E E   T   K N O W   I N   P R E S S 	 7 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 2 6 4   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 6 0 6 8 - 5 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 3 	 4 	 	 1 0 . 1 1 0 9 / M D M . 2 0 1 3 . 1 0 9 	 	 2 	 T e l e c o m m u n i c a t i o n s 	 T e l e c o m m u n i c a t i o n s 	 B A 2 P E 	 W O S : 0 0 0 3 3 3 7 5 2 3 0 0 0 0 2 	 	 
 J 	 L a r k o u ,   G ;   M e t o c h i ,   J ;   C h a t z i m i l i o u d i s ,   G ;   Z e i n a l i p o u r - Y a z t i ,   D 	 	 	 I E E E 	 L a r k o u ,   G e o r g i o s ;   M e t o c h i ,   J u l i a ;   C h a t z i m i l i o u d i s ,   G e o r g i o s ;   Z e i n a l i p o u r - Y a z t i ,   D e m e t r i o s 	 	 	 C L O D A :   A   C r o w d s o u r c e d   L i n k e d   O p e n   D a t a   A r c h i t e c t u r e 	 2 0 1 3   I E E E   1 4 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   D A T A   M A N A G E M E N T   ( M D M   2 0 1 3 ) ,   V O L   2 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   1 4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   M o b i l e   D a t a   M a n a g e m e n t   ( M D M ) 	 J U N   0 3 - 0 6 ,   2 0 1 3 	 M i l a n ,   I T A L Y 	 I E E E ,   I E E E   C o m p   S o c ,   I B M   R e s ,   S T M i c r o e l e c t r o n ,   T e l e c o m   I t a l i a ,   U n i v   M i l a n ,   D e p t   C o m p   S c i ,   G o o g l e 	 U n i v   M i l a n 	 	 	 I n   t h i s   p a p e r   w e   p r e s e n t   o u r   C r o w d s o u r c e d   L i n k e d   O p e n   D a t a   A r c h i t e c t u r e   ( C L O D A ) ,   a   f i r s t   a t t e m p t   t o   c o m b i n e   c r o w d s o u r c i n g ,   l o c a l i z a t i o n   a n d   l o c a t i o n - b a s e d   s e r v i c e s   t o   g e n e r a t e ,   c o l l e c t ,   v a l i d a t e   a n d   r e l a t e   r e a l - w o r l d ,   g e o - s p a t i a l   a n d   m u l t i d i m e n s i o n a l   i n f o r m a t i o n   u s i n g   s m a r t p h o n e s   a n d   o t h e r   m o b i l e   d e v i c e s .   C L O D A   f o c u s e s   o n   t h e   c o n s t r u c t i o n   o f   U R I   a d d r e s s a b l e ,   i n t e r l i n k e d   a n d   s e m i - s t r u c t u r e d   d a t a   f o l l o w i n g   t h e   L i n k e d - O p e n   D a t a   ( L O D )   p a r a d i g m .   T h e   v a l i d i t y   o f   t h e   c o n s t r u c t e d   d a t a   i s   t h e n   c o n t r i b u t e d   b y   a   p a r t i c i p a t i n g   c r o w d .   W e   p r e s e n t   o u r   p r o t o t y p e   i m p l e m e n t a t i o n   o n   t o p   o f   G o o g l e   M a p s   a n d   a   b l e n d   o f   i n - h o u s e   t e c h n o l o g i e s ,   p a r t i c u l a r l y   o u r   i n d o o r   p o s i t i o n i n g   f r a m e w o r k ,   c o i n e d   A i r p l a c e ,   o u r   t r a j e c t o r y   s i m i l a r i t y   f r a m e w o r k ,   c o i n e d   S m a r t T r a c e ,   o u r   n e i g h b o r h o o d   d e t e c t i o n   f r a m e w o r k ,   c o i n e d   P r o x i m i t y   a n d   o u r   s m a r t p h o n e   t e s t i n g   p l a t f o r m   c o i n e d   S m a r t L a b . 	 [ L a r k o u ,   G e o r g i o s ;   M e t o c h i ,   J u l i a ;   C h a t z i m i l i o u d i s ,   G e o r g i o s ;   Z e i n a l i p o u r - Y a z t i ,   D e m e t r i o s ]   U n i v   C y p r u s ,   D e p t   C o m p   S c i ,   C Y - 1 6 7 8   N i c o s i a ,   C y p r u s 	 L a r k o u ,   G   ( r e p r i n t   a u t h o r ) ,   U n i v   C y p r u s ,   D e p t   C o m p   S c i ,   P O B   2 0 5 3 7 ,   C Y - 1 6 7 8   N i c o s i a ,   C y p r u s . 	 g l a r k o u @ c s . u c y . a c . c y ;   j m e t o c 0 1 @ c s . u c y . a c . c y ;   g c h a t z i m @ c s . u c y . a c . c y ;   d z e i n a @ c s . u c y . a c . c y 	 	 	 	 	 B e r n e r s - L e e   T . ,   2 0 0 1 ,   S C I   A M ;   B i z e r   C . ,   W W W   0 9 ;   B I Z E R   C ,   2 0 0 9 ,   I N T   J   S E M A N T   W E B   I N F ,   V 5 ,   P 1 ;   C e r i   S . ,   2 0 1 2 ,   C O N C E P T U A L   M O D E L I N G ;   C h a t z i m i l i o u d i s   G . ,   I E E E   M D M   1 2 ;   C h a t z i m i l o u d i s   G . ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ;   C h a u d h u r i   S . ,   P O D S   1 2 ;   C h e n g   Y . ,   S I G M O D   1 2 ;   E a g l e   N . ,   I D G D   0 9 ;   E r i k s s o n   J . ,   M O B I S Y S   0 8 ;   G u   Y . ,   I E E E   C O M M U N I C A T I O N S ;   G u p t a   A . ,   C H I   1 2 ;   K o n s t a n t i n i d i s   A . ,   M O B I S Y S   1 2 ;   K o p e c k y   J . ,   E S W C   1 2 ;   K o u k o u m i d i s   E . ,   M O B I S Y S   1 1 ;   L a o u d i a s   C . ,   I E E E   M D M   1 2 ;   L e d l i e   J . ,   2 0 1 0 ,   A C M   S I G O P S   O P E R A T I N G ;   L e - P h u o c   D . ,   I   S E M A N T I C S   1 0 ;   L i   C . - L . ,   I P I N   1 2 ;   M a t y a s   S . ,   I N T   C   A D V   C O M P   E N T   T ;   R a n a   R .   K . ,   I P S N   1 0 ;   S h a d b o l t   N . ,   2 0 0 7 ,   I E E E   I N T E L L I G E N T   S Y S ;   S i m p e r l   E . ,   E S W C   1 2 ;   S t e v e n s   M . ,   U B I C O M P   1 0 ;   T h i a g a r a j a n   A . ,   A C M   S E N S Y S   0 9 ;   Y a n   T . ,   S E N S Y S   0 9 ;   Z e i n a l i p o u r - Y a z t i   D . ,   I E E E   T K D E   1 2 	 2 7 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 2 6 4   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 6 0 6 8 - 5 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 0 4 	 1 0 9 	 	 1 0 . 1 1 0 9 / M D M . 2 0 1 3 . 7 6 	 	 6 	 T e l e c o m m u n i c a t i o n s 	 T e l e c o m m u n i c a t i o n s 	 B A 2 P E 	 W O S : 0 0 0 3 3 3 7 5 2 3 0 0 0 2 3 	 	 
 S 	 S i m k o ,   J ;   S i m k o ,   M ;   B i e l i k o v a ,   M ;   S e v c e c h ,   J ;   B u r g e r ,   R 	 	 B a d i c a ,   C ;   N g u y e n ,   N T ;   B r e z o v a n ,   M 	 	 S i m k o ,   J a k u b ;   S i m k o ,   M a r i a n ;   B i e l i k o v a ,   M a r i a ;   S e v c e c h ,   J a k u b ;   B u r g e r ,   R o m a n 	 	 	 C l a s s s o u r c i n g :   C r o w d - B a s e d   V a l i d a t i o n   o f   Q u e s t i o n - A n s w e r   L e a r n i n g   O b j e c t s 	 C O M P U T A T I O N A L   C O L L E C T I V E   I N T E L L I G E N C E :   T E C H N O L O G I E S   A N D   A P P L I C A T I O N S 	 L e c t u r e   N o t e s   i n   A r t i f i c i a l   I n t e l l i g e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t a t i o n a l   C o l l e c t i v e   I n t e l l i g e n c e   ( I C C C I ) 	 S E P   1 1 - 1 3 ,   2 0 1 3 	 C r a i o v a ,   R O M A N I A 	 U n i v   C r a i o v a ,   W r o c l a w   U n i v   T e c h n o l ,   I E E E   S M C   T e c h   C o m m   C o m p u t a t   C o l l e c t   I n t e l l i g e n c e ,   R o m a n i a n   A s s o c   A r t i f i c i a l   I n t e l l i g e n c e ,   I E E E   R o m a n i a   C o m p u t a t   I n t e l l i g e n c e   S e c t 	 	 c r o w d s o u r c i n g ;   e d u c a t i o n ;   q u e s t i o n ;   a n s w e r   e v a l u a t i o n ;   t e c h n o l o g y   e n h a n c e d   l e a r n i n g 	 	 T h e   W e b   2 . 0   p r i n c i p l e s   r e f l e c t   i n t o   l e a r n i n g   d o m a i n   a n d   p r o v i d e   m e a n s   f o r   i n t e r a c t i v i t y   a n d   c o l l a b o r a t i o n .   S t u d e n t   a c t i v i t i e s   d u r i n g   l e a r n i n g   i n   t h i s   e n v i r o n m e n t   c a n   b e   u t i l i z e d   t o   g a t h e r   d a t a   u s a b l e   f o r   l e a r n i n g   c o r p o r a   e n r i c h m e n t .   I t   i s   n o w   a   r e s e a r c h   i s s u e   t o   e x a m i n e ,   t o   w h a t   e x t e n t   t h e   s t u d e n t   c r o w d   i s   r e l i a b l e   i n   d e l i v e r i n g   u s e f u l   a r t i f a c t s   a n d   t o   b r i n g   i n   s u i t a b l e   t o o l s   t o   e n a b l e   t h i s .   I n   t h i s   p a p e r   w e   p r e s e n t   a   m e t h o d   f o r   c r o w d - b a s e d   v a l i d a t i o n   o f   q u e s t i o n - a n s w e r   l e a r n i n g   o b j e c t s   i n v o l v i n g   i n t e r a c t i v e   e x e r c i s e   f o r   l e a r n e r s .   T h e   m e t h o d   u t i l i z e s   s t u d e n t s '   c o r r e c t n e s s   e s t i m a t i o n s   o f   a n s w e r s   p r o v i d e d   b y   o t h e r   s t u d e n t s   d u r i n g   l e a r n i n g .   W e   s h o w   t h a t   a g g r e g a t e   s t u d e n t   c r o w d   e s t i m a t i o n s   a r e   t o   b i g   e x t e n t   c o m p a r a b l e   t o   t e a c h e r ' s   e v a l u a t i o n s   o f   p r o v i d e d   a n s w e r s . 	 [ S i m k o ,   J a k u b ;   S i m k o ,   M a r i a n ;   B i e l i k o v a ,   M a r i a ;   S e v c e c h ,   J a k u b ;   B u r g e r ,   R o m a n ]   S l o v a k   U n i v   T e c h n o l   B r a t i s l a v a ,   I n s t   I n f o r m a t   &   S o f t w a r e   E n g n ,   B r a t i s l a v a   8 4 2 1 6 ,   S l o v a k i a 	 S i m k o ,   J   ( r e p r i n t   a u t h o r ) ,   S l o v a k   U n i v   T e c h n o l   B r a t i s l a v a ,   I n s t   I n f o r m a t   &   S o f t w a r e   E n g n ,   B r a t i s l a v a   8 4 2 1 6 ,   S l o v a k i a . 	 j a k u b . s i m k o @ f i i t . s t u b a . s k ;   m a r i a n . s i m k o @ f i i t . s t u b a . s k ;   m a r i a . b i e l i k o v a @ f i i t . s t u b a . s k ;   j a k u b . s e v c e c h @ f i i t . s t u b a . s k ;   r o m a n . b u r g e r @ f i i t . s t u b a . s k 	 	 	 	 	 A d a m i c   L .   A . ,   2 0 0 8 ,   P   1 7   I N T   C   W O R L D   W I D ,   P 6 6 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 6 7 4 9 7 . 1 3 6 7 5 8 7 ;   A g i c h t e i n   E ,   2 0 0 8 ,   P   I N T   C   W E B   S E A R C H   W ,   P 1 8 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 4 1 5 3 1 . 1 3 4 1 5 5 7 ;   C H E N   B C ,   2 0 1 2 ,   P   3 5   I N T   A C M   S I G I R   C ,   P 7 8 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 3 4 8 2 8 3 . 2 3 4 8 3 8 8 ;   D o w n e s   S . ,   2 0 0 5 ,   E L E A R N   M A G A Z I N E ,   V 1 0 ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 0 4 9 6 6 . 1 1 0 4 9 6 8 ;   G h a u t h   K I ,   2 0 1 1 ,   E D U C   T E C H N O L   S O C ,   V 1 4 ,   P 2 4 8 ;   G o l o v c h i n s k y   G . ,   2 0 0 8 ,   C O L L A B O R A T I V E   I N F O R M ;   I E E E   L T S ,   2 0 0 2 ,   1 4 8 4 1 2 1   I E E E   L T S ;   K i d d   J . ,   2 0 0 8 ,   P   S O C   I N F   T E C H N   T E A C ,   P 2 6 4 4 ;   L a w s o n   M . ,   2 0 0 5 ,   B B C ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   S i m k o   M . ,   2 0 1 1 ,   P   W O R L D   C   E D   M U L T   H Y ,   P 2 5 7 6 ;   S i m k o   M ,   2 0 1 0 ,   I F I P   A D V   I N F   C O M M   T E ,   V 3 2 4 ,   P 3 6 7 ;   S t a h l   G ,   2 0 0 6 ,   C A M B   H A N D B   P S Y C H O L ,   P 4 0 9 ;   W h e e l e r   S ,   2 0 0 8 ,   B R I T   J   E D U C   T E C H N O L ,   V 3 9 ,   P 9 8 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 5 3 5 . 2 0 0 7 . 0 0 7 9 9 . x 	 1 4 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 0 4 9 5 - 5 ;   9 7 8 - 3 - 6 4 2 - 4 0 4 9 4 - 8 	 L E C T   N O T E S   A R T I F   I N T 	 	 	 2 0 1 3 	 8 0 8 3 	 	 	 	 	 	 6 2 	 7 1 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   R o b o t i c s 	 C o m p u t e r   S c i e n c e ;   R o b o t i c s 	 B A 2 L J 	 W O S : 0 0 0 3 3 3 6 4 2 9 0 0 0 0 7 	 	 
 S 	 L y k o u r e n t z o u ,   I ;   V e r g a d o s ,   D J ;   P a p a d a k i ,   K ;   N a u d e t ,   Y 	 	 B a d i c a ,   C ;   N g u y e n ,   N T ;   B r e z o v a n ,   M 	 	 L y k o u r e n t z o u ,   I o a n n a ;   V e r g a d o s ,   D i m i t r i o s   J . ;   P a p a d a k i ,   K a t e r i n a ;   N a u d e t ,   Y a n n i c k 	 	 	 G u i d e d   C r o w d s o u r c i n g   f o r   C o l l e c t i v e   W o r k   C o o r d i n a t i o n   i n   C o r p o r a t e   E n v i r o n m e n t s 	 C O M P U T A T I O N A L   C O L L E C T I V E   I N T E L L I G E N C E :   T E C H N O L O G I E S   A N D   A P P L I C A T I O N S 	 L e c t u r e   N o t e s   i n   A r t i f i c i a l   I n t e l l i g e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 5 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t a t i o n a l   C o l l e c t i v e   I n t e l l i g e n c e   ( I C C C I ) 	 S E P   1 1 - 1 3 ,   2 0 1 3 	 C r a i o v a ,   R O M A N I A 	 U n i v   C r a i o v a ,   W r o c l a w   U n i v   T e c h n o l ,   I E E E   S M C   T e c h   C o m m   C o m p u t a t   C o l l e c t   I n t e l l i g e n c e ,   R o m a n i a n   A s s o c   A r t i f i c i a l   I n t e l l i g e n c e ,   I E E E   R o m a n i a   C o m p u t a t   I n t e l l i g e n c e   S e c t 	 	 c r o w d s o u r c i n g ;   c r o w d   c o o r d i n a t i o n ;   r e s o u r c e   a l l o c a t i o n 	 	 C r o w d s o u r c i n g   i s   i n c r e a s i n g l y   g a i n i n g   a t t e n t i o n   a s   o n e   o f   t h e   m o s t   p r o m i s i n g   f o r m s   o f   l a r g e - s c a l e   d y n a m i c   c o l l e c t i v e   w o r k .   H o w e v e r   c u r r e n t   c r o w d s o u r c i n g   a p p r o a c h e s   d o   n o t   o f f e r   g u a r a n t e e s   o f t e n   d e m a n d e d   b y   c o n s u m e r s ,   f o r   e x a m p l e   r e g a r d i n g   m i n i m u m   q u a l i t y ,   m a x i m u m   c o s t   o r   j o b   a c c o m p l i s h m e n t   t i m e .   T h e   p r o b l e m   a p p e a r s   t o   h a v e   a   g r e a t e r   i m p a c t   i n   c o r p o r a t e   e n v i r o n m e n t s   b e c a u s e   i n   t h i s   c a s e   t h e   a b o v e - m e n t i o n e d   p e r f o r m a n c e   g u a r a n t e e s   d i r e c t l y   a f f e c t   i t s   v i a b i l i t y   a g a i n s t   c o m p e t i t i o n .   G u i d e d   c r o w d s o u r c i n g   c a n   b e   a n   a l t e r n a t i v e   t o   o v e r c o m e   t h e s e   i s s u e s .   G u i d e d   c r o w d s o u r c i n g   r e f e r s   t o   t h e   u s e   o f   A r t i f i c i a l   I n t e l l i g e n c e   m e t h o d s   t o   c o o r d i n a t e   w o r k e r s   i n   c r o w d s o u r c i n g   s e t t i n g s ,   i n   o r d e r   t o   e n s u r e   c o l l e c t i v e   p e r f o r m a n c e   g o a l s   s u c h   a s   q u a l i t y ,   c o s t   o r   t i m e .   I n   t h i s   p a p e r ,   w e   i n v e s t i g a t e   i t s   p o t e n t i a l   a n d   e x a m i n e   i t   o n   a n   e v a l u a t i o n   s e t t i n g   t a i l o r e d   f o r   i n t r a   a n d   i n t e r - c o r p o r a t e   e n v i r o n m e n t s . 	 [ L y k o u r e n t z o u ,   I o a n n a ;   N a u d e t ,   Y a n n i c k ]   C t r   R e c h   P u b l   H e n r i   T u d o r ,   L u x e m b o u r g ,   L u x e m b o u r g 	 L y k o u r e n t z o u ,   I   ( r e p r i n t   a u t h o r ) ,   C t r   R e c h   P u b l   H e n r i   T u d o r ,   L u x e m b o u r g ,   L u x e m b o u r g . 	 i o a n n a . l y k o u r e n t z o u @ t u d o r . l u ;   d i m i t r i o s . v e r g a d o s @ i t e m . n t n u . n o ;   k p a p a d a k i @ b a n k o f g r e e c e . g r ;   y a n n i c k . n a u d e t @ t u d o r . l u 	 	 	 	 	 A r c h a k   N . ,   2 0 0 9 ,   I C I S   2 0 0 9   P ,   V 2 0 0 ,   P 1 6 ;   B a l o g   K . ,   2 0 0 6 ,   P r o c e e d i n g s   o f   t h e   T w e n t y - N i n t h   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   a n d   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l ,   D O I   1 0 . 1 1 4 5 / 1 1 4 8 1 7 0 . 1 1 4 8 1 8 1 ;   B e r n s t e i n   M . S . ,   2 0 1 2 ,   A B S 1 2 0 4 2 9 9 5   C O R R ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   H u m m e l   P . ,   2 0 1 2 ,   P   2 1   I N T   C   W O R L D   W I D ,   P 5 3 9 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   X R D S   C R O S S R O A D S   A C M ,   V 1 7 ,   P 1 6 ;   I p e i r o t i s   P . G . ,   2 0 1 1 ,   C H I   2 0 1 1   C R O W D S   W O R K ,   P 1 ;   K h a z a n k i n   R . ,   2 0 1 2 ,   L N C S ,   V 7 3 2 8 ,   P 4 6 0 ;   K i t t u r   A . ,   2 0 1 0 ,   X R D S ,   V 1 7 ,   P 2 2 ;   L i u   X . ,   2 0 1 2 ,   P   V L D B   E N D O W M E N T ,   V 5 ,   P 1 0 4 0 ;   L y k o u r e n t z o u   I ,   2 0 1 0 ,   I N F O R M   S C I E N C E S ,   V 1 8 0 ,   P 1 8 ,   D O I   1 0 . 1 0 1 6 / j . i n s . 2 0 0 9 . 0 8 . 0 0 3 ;   P o e t z   M K ,   2 0 1 2 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 9 ,   P 2 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 1 1 . 0 0 8 9 3 . x ;   P s a i e r   H ,   2 0 1 1 ,   I E E E   E D O C   C O N F ,   P 1 9 3 ,   D O I   1 0 . 1 1 0 9 / E D O C . 2 0 1 1 . 9 	 1 3 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 0 4 9 5 - 5 ;   9 7 8 - 3 - 6 4 2 - 4 0 4 9 4 - 8 	 L E C T   N O T E S   A R T I F   I N T 	 	 	 2 0 1 3 	 8 0 8 3 	 	 	 	 	 	 9 0 	 9 9 	 	 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   R o b o t i c s 	 C o m p u t e r   S c i e n c e ;   R o b o t i c s 	 B A 2 L J 	 W O S : 0 0 0 3 3 3 6 4 2 9 0 0 0 1 0 	 	 
 J 	 M i g l i a r d i ,   M ;   R i c c o m a g n o ,   E 	 	 B i l j a n o v i c ,   P ;   B u t k o v i c ,   Z ;   S k a l a ,   K ;   G o l u b i c ,   S ;   C i c i n S a i n ,   M ;   S r u k ,   V ;   R i b a r i c ,   S ;   H u t i n s k i ,   Z ;   B a r a n o v i c ,   M ;   T i j a n ,   E ;   M a u h e r ,   M ;   B o m b e k ,   I 	 	 M i g l i a r d i ,   M a u r o ;   R i c c o m a g n o ,   E v a 	 	 	 S o m e   S e c u r i t y   C o n s i d e r a t i o n s   o n   C r o w d - S o u r c i n g   a n   O n t o l o g y 	 2 0 1 3   3 6 T H   I N T E R N A T I O N A L   C O N V E N T I O N   O N   I N F O R M A T I O N   A N D   C O M M U N I C A T I O N   T E C H N O L O G Y ,   E L E C T R O N I C S   A N D   M I C R O E L E C T R O N I C S   ( M I P R O ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 6 t h   I n t e r n a t i o n a l   C o n v e n t i o n   o n   I n f o r m a t i o n   a n d   C o m m u n i c a t i o n   T e c h n o l o g y ,   E l e c t r o n i c s   a n d   M i c r o e l e c t r o n i c s   ( M I P R O ) 	 M A Y   2 0 - 2 4 ,   2 0 1 3 	 O p a t i j a ,   C R O A T I A 	 M I P R O   C r o a t i a n   S o c ,   I E E E   R e g   8 ,   C r o a t i a n   E l e c t   C o ,   E r i c s s o n   N i k o l a   T e s l a ,   T   C r o a t i a n   T e l e c o m ,   I n f o D o m ,   T r a n s m i t t e r s   &   C o m m u n   C o ,   N o k i a   S i e m e n s   N e t w o r k s ,   V I P N e t ,   M i c r o s o f t   C r o a t i a ,   C r o a t i a n   P o s t   &   E l e c t   C o m m u n   A g c y ,   S t o r m   C o m p ,   U n i v   Z a g r e b ,   U n i v   R i j e k a ,   I E E E   C r o a t i a   S e c t ,   R u d j e r   B o s k o v   I n s t ,   U n i v   R i j e k a   F a c   E n g n ,   U n i v   R i j e k a   F a c   M a r i t i m e   S t u d i e s ,   U n i v   Z a g r e b   F a c   E l e c t   E n g n   &   C o m p ,   F a c   O r g   &   I n f o r m a t   V a r a z d i n ,   M i n i s t   S c i ,   E d u c   &   S p o r t s   R e p u b l   C r o a t i a ,   M i n i s t   M a r i t i m e   A f f a i r s ,   T r a n s p o r t   &   I n f r a s t r u c t u r e   R e p u b l   C r o a t i a ,   C r o a t i a n   C h a m b e r   E c o n ,   P r i m o r s k o   G o r a n s k a   C t y ,   C r o a t i a n   P o s t   &   E l e c t   C o m m u n   A g c y ,   I E E E   C r o a t i a   S e c t   C o m p   C h a p t e r ,   I E E E   C r o a t i a   S e c t   E l e c t   D e v i c e s   S o l i d   S t a t e   C i r c u i t s   S o c   J o i n t   C h a p t e r ,   I E E E   C r o a t i a   S e c t   E d u c   C h a p t e r ,   I E E E   C r o a t i a   S e c t   C o m m u n   C h a p t e r ,   U n i v   R i j e k a ,   F a c   E c o n ,   U n i v   Z a g r e b ,   F a c   O r g   &   I n f o r m a t ,   K o n c a r   E l e c t   I n d ,   K e r m a s   E n e r g i j a ,   R e z u l t a n t a ,   R i v e r   P u b l i s h e r s ,   C r o a t i a n   E n e r g y   M a r k e t   O p e r a t o r ,   K i n g   I C T ,   S u p r a   N e t ,   A l t p r o ,   C r o z ,   M j e r n e   T e h n o l o g i j e ,   O r i g o ,   I N 2 ,   A d n e t ,   C S   C o m p   S y s t ,   i b - p r o C A D D ,   S e l m e t ,   V i d i   T O ,   N o m e n ,   S y s t e c   A u t o m a t i z a c i j a ,   I E E E 	 	 G r e e n   N e t w o r k i n g ;   D i s t r i b u t e d   I n t r u s i o n   D e t e c t i o n ;   S i m u l a t i o n ;   E v a l u a t i o n 	 C O N F I D E N C E - I N T E R V A L S ;   P R O P O R T I O N S ;   C O M P E T E N C E S ;   I N T E N T I O N S ;   M A N A G E M E N T ;   P R O F I L E S ;   D E L A Y S 	 T h e   4 w   p r o j e c t   h a s   d e m o n s t r a t e d   t h e   f e a s i b i l i t y   o f   a   p r o s p e c t i v e   m e m o r y   s u p p o r t   s y s t e m s   b a s e d   o n   a   m o b i l e   c l i e n t   a n d   a n   o n t o l o g y   b a s e d   s e r v e r   s i d e   r e a s o n i n g   e n g i n e .   H o w e v e r ,   t h e   e x p e r i m e n t s   a l s o   s h o w e d   t h a t   t h e   l e v e l   o f   e f f i c i e n c y   o f   t h e   s y s t e m   w a s   l a r g e l y   d e p e n d e n t   o n   t h e   p r e c i s i o n   a n d   r i c h n e s s   o f   t h e   o n t o l o g y   u s e d   t o   a u t o n o m o u s l y   i d e n t i f y   t h e   p l a c e s   w h e r e   u s e r s   m a y   e f f i c i e n t l y   p e r f o r m   t h e i r   t a s k s .   T h u s ,   i n   p a s t   w o r k s   w e   h a v e   p r o p o s e d   a   s o c i a l ,   c r o w d s o u r c i n g   a p p r o a c h   t o   t h e   t a s k   o f   e n r i c h i n g   t h e   o n t o l o g y .   I n   t h i s   p a p e r   w e   a n a l y z e   t h e   s e c u r i t y   a s p e c t s   o f   t h e   c r o w d s o u r c i n g   a p p r o a c h ,   w e   i n v e s t i g a t e   s o m e   p o s s i b l e   a t t a c k s   t o   a   c r o w d - s o u r c e d   o n t o l o g y   a n d   w e   d e v i s e   s o m e   m e a s u r e s   t o   p r o t e c t   t h e   s y s t e m   f r o m   t h i s   k i n d   o f   a t t a c k s . 	 [ M i g l i a r d i ,   M a u r o ]   U n i v   G e n o a ,   C t r   I n g n   P i a t t a f o r m e   I n f o r m a t ,   I - 1 6 1 4 5   G e n o a ,   I t a l y 	 M i g l i a r d i ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   G e n o a ,   C t r   I n g n   P i a t t a f o r m e   I n f o r m a t ,   V i a   O p e r a   P i a   1 3 ,   I - 1 6 1 4 5   G e n o a ,   I t a l y . 	 m a u r o . m i g l i a r d i @ c i p i . u n i g e . i t 	 	 	 	 	 A g r e s t i   A ,   1 9 9 8 ,   A M   S T A T ,   V 5 2 ,   P 1 1 9 ,   D O I   1 0 . 2 3 0 7 / 2 6 8 5 4 6 9 ;   B A T E S   M ,   1 9 9 5 ,   P   N A T L   A C A D   S C I   U S A ,   V 9 2 ,   P 9 9 7 7 ,   D O I   1 0 . 1 0 7 3 / p n a s . 9 2 . 2 2 . 9 9 7 7 ;   B e r i o   G . ,   2 0 0 7 ,   C O M P U T E R S   I N D ,   V V 5 8 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r o w n   L D ,   2 0 0 2 ,   A N N   S T A T ,   V 3 0 ,   P 1 6 0 ;   C a i   T T ,   2 0 0 5 ,   J   S T A T   P L A N   I N F E R ,   V 1 3 1 ,   P 6 3 ,   D O I   1 0 . 1 0 1 6 / j . j s p i . 2 0 0 4 . 0 1 . 0 0 5 ;   C h e s n a i s   J C ,   1 9 9 6 ,   P O P U L   D E V   R E V ,   V 2 2 ,   P 7 2 9 ,   D O I   1 0 . 2 3 0 7 / 2 1 3 7 8 0 7 ;   D i C a r l o   J . ,   2 0 1 0 ,   R E T R O S P E C T I V E   W H A T   W ;   E b n e r   W . ,   2 0 0 8 ,   H A W   I N T   C   S Y S T   S C I   P ,   P 4 1 7 ;   E i n s t e i n   G O ,   2 0 0 0 ,   P S Y C H O L   A G I N G ,   V 1 5 ,   P 6 7 1 ,   D O I   1 0 . 1 0 3 7 / / 0 8 8 2 - 7 9 7 4 . 1 5 . 4 . 6 7 1 ;   E r m i l o v a   E ,   2 0 0 7 ,   J   I N T E L L   M A N U F ,   V 1 8 ,   P 5 6 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 8 4 5 - 0 0 7 - 0 0 6 6 - 0 ;   G e n t i l e   A . ,   2 0 1 1 ,   P   2 0 1 1   I N T   C   C O M P L   I ;   G r a d y   C ,   2 0 1 2 ,   N A T   R E V   N E U R O S C I ,   V 1 3 ,   P 4 9 1 ,   D O I   1 0 . 1 0 3 8 / n r n 3 2 5 6 ;   H o d i k   J ,   2 0 0 7 ,   L E C T   N O T E S   A R T I F   I N T ,   V 4 6 9 6 ,   P 9 3 ;   J o s a n g   A ,   2 0 0 7 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 3 ,   P 6 1 8 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 5 . 0 5 . 0 1 9 ;   M c D a n i e l   M .   A . ,   2 0 0 7 ,   P R O S P E C T I V E   M E M O R Y   O ;   M c D a n i e l   M A ,   2 0 0 3 ,   P S Y C H O L   A G I N G ,   V 1 8 ,   P 8 2 3 ,   D O I   1 0 . 1 0 3 7 / 0 8 8 2 - 7 9 7 4 . 1 8 . 4 . 8 2 3 ;   M c D a n i e l   M A ,   1 9 9 8 ,   M E M   C O G N I T I O N ,   V 2 6 ,   P 1 2 1 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 2 1 1 3 7 5 ;   M i g l i a r d i   M a u r o ,   2 0 1 2 ,   I N T   J   S P A C E   B A S E D   S I ,   V 2 ;   M i g l i a r d i   M a u r o ,   2 0 1 1 ,   P   6   I N T   C   B R O A D B   W I R ;   M i g l i a r d i   M a u r o ,   2 0 1 1 ,   P   4   I N T   C   I N T   I N T   H U ;   M i g l i a r d i   M a u r o ,   2 0 1 1 ,   P   I E E E   C   I N T   S Y S T   O P ;   M i g l i a r d i   M a u r o ,   2 0 1 2 ,   P   6   I N T   C   I N N   M O B   I N ;   M o n t g o m e r y   D . C ,   2 0 0 1 ,   I N T R O   S T A T   Q U A L I T Y   C ;   N e s h a t i a n   K . ,   2 0 0 4 ,   P   2   W O R K S H   I N F   T E C H N ,   P 4 3 ;   P i l a t o   G . ,   2 0 0 7 ,   P   I N T   C   S E M   C O M P   I C S ,   p 1 2 1   ;   S t e i n m e t z   R . ,   2 0 0 6 ,   P   2   S E M   W E B   M I N   W O R K ;   S t u m m e   G ,   2 0 0 6 ,   J   W E B   S E M A N T ,   V 4 ,   P 1 2 4 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 6 . 0 2 . 0 0 1 ;   S u k a s i h   A . ,   2 0 0 5 ,   A M   S T A T   A S S   M A T H   P O L ;   S u r o w i e c k i   J ,   2 0 0 5 ,   W I S D O M   C R O W D S   W H Y   M A ;   T o b i   H ,   2 0 0 5 ,   P H A R M A C O E P I D E M   D R   S ,   V 1 4 ,   P 2 3 9 ,   D O I   1 0 . 1 0 0 2 / p d s . 1 0 8 1 ;   T u l v i n g   E . ,   1 9 8 3 ,   E L E M E N T S   E P I S O D I C   M E ;   W H O ,   2 0 1 2 ,   G L O B   H L T H   O B S   D A T   R E 	 3 3 	 0 	 0 	 C R O A T I A N   S O C   I N F   &   C O M M U N   T E C H N O L ,   E L E C T R O N I C S   &   M I C R O E L E C T R O N I C S - M I P R O 	 R I J E K A 	 K R U Z N A   8 - I I ,   P O   B O X   3 0 3 ,   R I J E K A ,   H R - 5 1 0 0 1 ,   C R O A T I A 	 	 	 9 7 8 - 9 5 3 - 2 3 3 - 0 7 6 - 2 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 9 5 3 	 9 5 8 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B A 1 Y N 	 W O S : 0 0 0 3 3 3 1 6 5 8 0 0 1 7 9 	 	 
 J 	 S u n ,   W ;   L i u ,   J L ;   W u ,   C S ;   Y a n g ,   Z ;   Z h a n g ,   X L ;   L i u ,   Y H 	 	 	 I E E E 	 S u n ,   W e i ;   L i u ,   J u n l i a n g ;   W u ,   C h e n s h u ;   Y a n g ,   Z h e n g ;   Z h a n g ,   X i n g l i n ;   L i u ,   Y u n h a o 	 	 	 M o L o c :   O n   D i s t i n g u i s h i n g   F i n g e r p r i n t   T w i n s 	 2 0 1 3   I E E E   3 3 R D   I N T E R N A T I O N A L   C O N F E R E N C E   O N   D I S T R I B U T E D   C O M P U T I N G   S Y S T E M S   ( I C D C S ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D i s t r i b u t e d   C o m p u t i n g   S y s t e m s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 3 r d   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D i s t r i b u t e d   C o m p u t i n g   S y s t e m s   ( I C D C S ) 	 J U L   0 8 - 1 1 ,   2 0 1 3 	 P h i l a d e l p h i a ,   P A 	 I E E E ,   I E E E   C o m p   S o c 	 	 I n d o o r   L o c a l i z a t i o n ;   U s e r   M o t i o n ;   R S S   F i n g e r p r i n t ;   C r o w d s o u r c i n g 	 I N D O O R   L O C A L I Z A T I O N ;   L O C A T I O N 	 I n d o o r   l o c a l i z a t i o n   h a s   e n a b l e d   a   g r e a t   n u m b e r   o f   m o b i l e   a n d   p e r v a s i v e   a p p l i c a t i o n s ,   a t t r a c t i n g   a t t e n t i o n s   f r o m   r e s e a r c h e r s   w o r l d w i d e .   M o s t   o f   c u r r e n t   s o l u t i o n s   r e l y   o n   R e c e i v e d   S i g n a l   S t r e n g t h   ( R S S )   o f   w i r e l e s s   s i g n a l s   a s   l o c a t i o n   f i n g e r p r i n t ,   t o   d i s c r i m i n a t e   l o c a t i o n s   o f   i n t e r e s t .   F i n g e r p r i n t   u n i q u e n e s s   w i t h   r e s p e c t   t o   l o c a t i o n s   i s   a   b a s i c   r e q u i r e m e n t   i n   t h e s e   f i n g e r p r i n t i n g - b a s e d   s o l u t i o n s .   H o w e v e r ,   d u e   t o   i n s u f f i c i e n t   n u m b e r   o f   s i g n a l   s o u r c e s ,   t e m p o r a l   v a r i a t i o n s   o f   w i r e l e s s   s i g n a l s ,   a n d   r i c h   m u l t i p a t h   e f f e c t s ,   s u c h   r e q u i r e m e n t   i s   n o t   a l w a y s   m e t   i n   c o m p l e x   i n d o o r   e n v i r o n m e n t s ,   w h i c h   w e   r e f e r   t o   a s   f i n g e r p r i n t   a m b i g u i t y .   I n   t h i s   w o r k ,   w e   e x p l o r e   t h e   p o t e n t i a l   o f   l e v e r a g i n g   u s e r   m o t i o n   a g a i n s t   f i n g e r p r i n t   a m b i g u i t y .   O u r   b a s i c   i d e a   i s   t h a t   u s e r   m o t i o n   p a t t e r n s   c o l l e c t e d   b y   b u i l t - i n   s e n s o r s   o f   m o b i l e   p h o n e s   a d d   t o   t h e   d i v e r s i t y   b u i l t   b y   R S S   f i n g e r p r i n t s .   O n   t h i s   b a s i s ,   w e   p r o p o s e   M o L o c ,   a   m o t i o n - a s s i s t e d   l o c a l i z a t i o n   s c h e m e   i m p l e m e n t e d   o n   m o b i l e   p h o n e s .   M o L o c   c a n   e a s i l y   b e   i n t e g r a t e d   i n   e x i s t i n g   l o c a l i z a t i o n   s y s t e m s   b y   s i m p l y   a d d i n g   a   m o t i o n   d a t a b a s e   t h a t   i s   c o n s t r u c t e d   a u t o m a t i c a l l y   b y   c r o w d s o u r c i n g .   W e   c o n d u c t e d   e x p e r i m e n t s   i n   a   l a r g e   o f f i c e   h a l l .   E x p e r i m e n t   r e s u l t s   s h o w   t h a t   M o L o c   d o u b l e s   t h e   l o c a l i z a t i o n   a c c u r a c y   a c h i e v e d   b y   t h e   f i n g e r p r i n t i n g   m e t h o d ,   a n d   l i m i t s   t h e   m e a n   l o c a l i z a t i o n   e r r o r   t o   l e s s   t h a n   1 m . 	 [ S u n ,   W e i ;   L i u ,   J u n l i a n g ;   Y a n g ,   Z h e n g ;   Z h a n g ,   X i n g l i n ;   L i u ,   Y u n h a o ]   H o n g   K o n g   U n i v   S c i   &   T e c h n o l ,   H o n g   K o n g ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a 	 S u n ,   W   ( r e p r i n t   a u t h o r ) ,   H o n g   K o n g   U n i v   S c i   &   T e c h n o l ,   H o n g   K o n g ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a . 	 s u n w 1 9 8 9 @ g m a i l . c o m ;   t a l e n t l j l @ g m a i l . c o m ;   w u c s 3 2 @ g m a i l . c o m ;   h m i l y y z @ g m a i l . c o m ;   z h x l i n s e @ g m a i l . c o m ;   y u n h a o l i u @ g m a i l . c o m 	 	 	 	 	 A z i z y a n   M . ,   2 0 0 9 ,   P   A C M   M O B I C O M ;   B a h l   P . ,   2 0 0 0 ,   P   I E E E   I N F O C O M ;   C h e n   Y . ,   2 0 1 2 ,   P   A C M   M O B I S Y S ;   C h i n t a l a p u d i   K . ,   2 0 1 0 ,   P   A C M   M O B I C O M ;   C o n s t a n d a c h e   I . ,   2 0 1 0 ,   P   A C M   M O B I C O M ;   H a e b e r l e n   A . ,   2 0 0 4 ,   P   A C M   M O B I C O M ;   L a M a r c a   A . ,   2 0 0 5 ,   P   P E R V A S I V E ;   L i m   H ,   2 0 1 0 ,   W I R E L   N E T W ,   V 1 6 ,   P 4 0 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 7 6 - 0 0 8 - 0 1 4 0 - 3 ;   L i u   H . ,   2 0 1 2 ,   P   A C M   M O B I C O M ;   L i u   J . ,   2 0 1 0 ,   P   I E E E   I O N   P L A N S ;   L i u   Y H ,   2 0 1 0 ,   J   C O M P U T   S C I   T E C H - C H ,   V 2 5 ,   P 2 7 4 ;   M a d i g a n   D . ,   2 0 0 5 ,   P   I E E E   I N F O C O M ;   N i   L M ,   2 0 0 4 ,   W I R E L   N E T W ,   V 1 0 ,   P 7 0 1 ,   D O I   1 0 . 1 0 2 3 / B : W I N E . 0 0 0 0 0 4 4 0 2 9 . 0 6 3 4 4 . d d ;   P r i y a n t h a   N . ,   2 0 0 0 ,   P   A C M   M O B I C O M ;   R a i   A . ,   2 0 1 2 ,   P   A C M   M O B I C O M ;   V a r s h a v s k y   A l e x ,   2 0 0 7 ,   P e r v a s i v e   a n d   M o b i l e   C o m p u t i n g ,   V 3 ,   D O I   1 0 . 1 0 1 6 / j . p m c j . 2 0 0 7 . 0 7 . 0 0 4 ;   W A N T   R ,   1 9 9 2 ,   A C M   T   I N F O R M   S Y S T ,   V 1 0 ,   P 9 1 ,   D O I   1 0 . 1 1 4 5 / 1 2 8 7 5 6 . 1 2 8 7 5 9 ;   W u   C S ,   2 0 1 3 ,   I E E E   T   P A R A L L   D I S T R ,   V 2 4 ,   P 8 3 9 ,   D O I   1 0 . 1 1 0 9 / T P D S . 2 0 1 2 . 1 7 9 ;   Y a n g   Z . ,   2 0 1 2 ,   P   A C M   M O B I C O M ;   Y o u s s e f   M . ,   2 0 0 5 ,   P   A C M   M O B I S Y S ;   Y o u s s e f   M . ,   2 0 0 6 ,   P   A C M   M O B I S Y S 	 2 1 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 6 3 - 6 9 2 7 	 	 9 7 8 - 0 - 7 6 9 5 - 5 0 0 0 - 8 	 I N T   C O N   D I S T R   C O M P   S 	 	 	 2 0 1 3 	 	 	 	 	 	 	 2 2 6 	 2 3 5 	 	 1 0 . 1 1 0 9 / I C D C S . 2 0 1 3 . 4 1 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 2 B Z 	 W O S : 0 0 0 3 3 3 2 6 7 2 0 0 0 2 3 	 	 
 J 	 W a n g ,   D ;   A b d e l z a h e r ,   T ;   K a p l a n ,   L ;   A g g a r w a l ,   C C 	 	 	 I E E E 	 W a n g ,   D o n g ;   A b d e l z a h e r ,   T a r e k ;   K a p l a n ,   L a n c e ;   A g g a r w a l ,   C h a r u   C . 	 	 	 R e c u r s i v e   F a c t - f i n d i n g :   A   S t r e a m i n g   A p p r o a c h   t o   T r u t h   E s t i m a t i o n   i n   C r o w d s o u r c i n g   A p p l i c a t i o n s 	 2 0 1 3   I E E E   3 3 R D   I N T E R N A T I O N A L   C O N F E R E N C E   O N   D I S T R I B U T E D   C O M P U T I N G   S Y S T E M S   ( I C D C S ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D i s t r i b u t e d   C o m p u t i n g   S y s t e m s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 3 r d   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   D i s t r i b u t e d   C o m p u t i n g   S y s t e m s   ( I C D C S ) 	 J U L   0 8 - 1 1 ,   2 0 1 3 	 P h i l a d e l p h i a ,   P A 	 I E E E ,   I E E E   C o m p   S o c 	 	 r e a l - t i m e ;   t r u t h   d i s c o v e r y ;   r e c u r s i v e   e x p e c t a t i o n   m a x i m i z a t i o n ;   s t r e a m i n g   d a t a ;   s o c i a l   s e n s i n g 	 A L G O R I T H M S ;   R E P U T A T I O N ;   T R U S T ;   W E B ;   E M 	 T h i s   p a p e r   p r e s e n t s   a   s t r e a m i n g   a p p r o a c h   t o   s o l v e   t h e   t r u t h   e s t i m a t i o n   p r o b l e m   i n   c r o w d s o u r c i n g   a p p l i c a t i o n s .   W e   c o n s i d e r   a   c a t e g o r y   o f   c r o w d s o u r c i n g   a p p l i c a t i o n s   w h e r e   a   g r o u p   o f   i n d i v i d u a l s   v o l u n t e e r   ( o r   a r e   r e c r u i t e d   t o )   s h a r e   c e r t a i n   o b s e r v a t i o n s   o r   m e a s u r e m e n t s   a b o u t   t h e   p h y s i c a l   w o r l d .   E x a m p l e s   i n c l u d e   r e p o r t i n g   l o c a t i o n s   o f   g a s   s t a t i o n s   t h a t   r e m a i n   o p e r a t i o n a l   a f t e r   a   n a t u r a l   d i s a s t e r   o r   r e p o r t i n g   l o c a t i o n s   o f   p o t h o l e s   o n   c i t y   s t r e e t s .   W e   c a l l   s u c h   a p p l i c a t i o n s   s o c i a l   s e n s i n g .   A s c e r t a i n i n g   t h e   c o r r e c t n e s s   o f   r e p o r t e d   o b s e r v a t i o n s   i s   a   k e y   c h a l l e n g e   i n   s u c h   a p p l i c a t i o n s ,   r e f e r r e d   t o   a s   t h e   t r u t h   e s t i m a t i o n   p r o b l e m .   T h i s   p r o b l e m   i s   m a d e   d i f f i c u l t   b y   t h e   f a c t   t h a t   t h e   r e l i a b i l i t y   o f   i n d i v i d u a l   s o u r c e s   i s   u s u a l l y   u n k n o w n   a   p r i o r i ,   s i n c e   a n y   c o n c e r n e d   c i t i z e n   m a y ,   i n   p r i n c i p l e ,   p a r t i c i p a t e .   M o r e o v e r ,   t h e   t i m e s c a l e s   o f   c r o w d s o u r c i n g   c a m p a i g n s   o f   i n t e r e s t   c a n   b e   a s   s m a l l   a s   a   f e w   h o u r s   o r   d a y s ,   w h i c h   d o e s   n o t   o f f e r   e n o u g h   h i s t o r y   f o r   a   r e p u t a t i o n   s y s t e m   t o   c o n v e r g e .   I n s t e a d ,   r e c e n t   p r i o r   w o r k ,   i n c l u d i n g   o u r   o w n ,   d e v e l o p e d   f a c t - f i n d i n g   a l g o r i t h m s   t o   s o l v e   t h i s   p r o b l e m   b y   i t e r a t i v e l y   a s s e s s i n g   t h e   c r e d i b i l i t y   o f   s o u r c e s   a n d   t h e i r   c l a i m s   i n   t h e   a b s e n c e   o f   r e p u t a t i o n   s c o r e s .   S u c h   a l g o r i t h m s ,   h o w e v e r ,   o p e r a t e   o n   t h e   e n t i r e   d a t a s e t   o f   r e p o r t e d   o b s e r v a t i o n s   i n   a   b a t c h   f a s h i o n ,   w h i c h   m a k e s   t h e m   l e s s   s u i t e d   t o   a p p l i c a t i o n s   w h e r e   n e w   o b s e r v a t i o n s   a r r i v e   c o n t i n u a l l y .   I n   t h i s   p a p e r ,   w e   d e s c r i b e   a   s t r e a m i n g   f a c t - f i n d e r   t h a t   r e c u r s i v e l y   u p d a t e s   p r e v i o u s   e s t i m a t e s   b a s e d   o n   n e w   d a t a .   T h e   r e c u r s i v e   a l g o r i t h m   s o l v e s   a n   e x p e c t a t i o n   m a x i m i z a t i o n   ( E M )   p r o b l e m   t o   d e t e r m i n e   t h e   o d d s   o f   c o r r e c t n e s s   o f   d i f f e r e n t   o b s e r v a t i o n s .   W e   c o m p a r e   t h e   p e r f o r m a n c e   o f   o u r   r e c u r s i v e   E M   a l g o r i t h m   t o   a   b a t c h   E M   a l g o r i t h m ,   a s   w e l l   a s   t o   s e v e r a l   s t a t e - o f - a r t   f a c t - f i n d e r s   t h r o u g h   e x t e n s i v e   s i m u l a t i o n s .   W e   a l s o   d e m o n s t r a t e   c o n v e r g e n c e   o f   t h e   r e c u r s i v e   a l g o r i t h m   t o   t h e   r e s u l t s   o f   t h e   b a t c h   v e r s i o n   t h r o u g h   a   r e a l   s o c i a l   s e n s i n g   e x p e r i m e n t .   O u r   e v a l u a t i o n   s h o w s   t h a t   t h e   p r o p o s e d   a p p r o a c h   c a n   p r o c e s s   d a t a   s t r e a m s   m u c h   m o r e   e f f i c i e n t l y   w h i l e   k e e p i n g   t h e   t r u t h   e s t i m a t i o n   a c c u r a c y   c l o s e   t o   t h a t   o f   t h e   ( m u c h   s l o w e r )   b a t c h   a l g o r i t h m .   O u r s   i s   t h e r e f o r e   t h e   f i r s t   f a c t - f i n d e r   d e v e l o p e d   w i t h   e x p l i c i t   c o n s i d e r a t i o n   t o   t h e   c o n t i n u o u s   u p d a t e   n e e d s   o f   c r o w d - s o u r c i n g   a p p l i c a t i o n s . 	 [ W a n g ,   D o n g ;   A b d e l z a h e r ,   T a r e k ]   U n i v   I l l i n o i s ,   D e p t   C o m p   S c i ,   U r b a n a ,   I L   6 1 8 0 1   U S A 	 W a n g ,   D   ( r e p r i n t   a u t h o r ) ,   U n i v   I l l i n o i s ,   D e p t   C o m p   S c i ,   1 3 0 4   W   S p r i n g f i e l d   A v e ,   U r b a n a ,   I L   6 1 8 0 1   U S A . 	 d w a n g 2 4 @ i l l i n o i s . e d u ;   z a h e r @ c s . i l l i n o i s . e d u ;   l a n c e . m . k a p l a n @ u s . a r m y . m i l ;   c h a r u @ u s . i b m . c o m 	 	 	 	 	 A b d e l z a h e r   T ,   2 0 0 7 ,   I E E E   P E R V A S   C O M P U T ,   V 6 ,   P 2 0 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 0 7 . 3 8 ;   A h m a d i   H . ,   2 0 1 0 ,   P   8   A C M   C   E M B   N E T W   S ,   P 9 9 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 9 9 8 3 . 1 8 6 9 9 9 4 ;   [ A n o n y m o u s ] ,   S E N S   N E T W ;   B r i n   S ,   1 9 9 8 ,   C O M P U T   N E T W O R K S   I S D N ,   V 3 0 ,   P 1 0 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 9 - 7 5 5 2 ( 9 8 ) 0 0 1 1 0 - X ;   C a m p b e l l   A T ,   2 0 0 8 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 2 ,   P 1 2 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 8 . 9 0 ;   C h u n g   P J ,   2 0 0 5 ,   I E E E   T   S I G N A L   P R O C E S ,   V 5 3 ,   P 2 6 6 4 ,   D O I   1 0 . 1 1 0 9 / T S P . 2 0 0 5 . 8 5 0 3 3 9 ;   D o n g   X . ,   2 0 0 9 ,   P V L D B ,   V 2 ,   P 5 5 0 ;   D o n g   X . ,   2 0 0 9 ,   V L D B ,   V 2 ,   P 5 6 2 ;   E i s e n m a n   S B ,   2 0 0 7 ,   S E N S Y S ' 0 7 :   P R O C E E D I N G S   O F   T H E   5 T H   A C M   C O N F E R E N C E   O N   E M B E D D E D   N E T W O R K E D   S E N S O R   S Y S T E M S ,   P 8 7 ;   F r e n k e l   L ,   1 9 9 9 ,   I E E E   T   S I G N A L   P R O C E S ,   V 4 7 ,   P 3 0 6 ,   D O I   1 0 . 1 1 0 9 / 7 8 . 7 4 0 1 0 4 ;   G a l l a n d   A . ,   2 0 1 0 ,   W S D M ,   P 1 3 1 ;   G u o   Z . ,   2 0 0 6 ,   N E T W   S E N S   C O N T R   2 0 0 6 ,   P 8 6 2 ;   H a n   J . ,   2 0 0 9 ,   A C T I V E   D I S T U R B A N C E   R ,   P 3 ;   H o u s e r   D ,   2 0 0 6 ,   J   E C O N   M A N A G E   S T R A T ,   V 1 5 ,   P 3 5 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 3 0 - 9 1 3 4 . 2 0 0 6 . 0 0 1 0 3 . x ;   H u a n g   J . - H . ,   2 0 0 5 ,   S E N S Y S   0 5 ,   P 1 8 0 ;   H u l l   B . ,   2 0 0 6 ,   P   4   I N T   C   E M B   N E T W   S ,   P 1 2 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 8 2 8 0 7 . 1 1 8 2 8 2 1 ;   J o s a n g   A ,   2 0 0 7 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 3 ,   P 6 1 8 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 5 . 0 5 . 0 1 9 ;   K a s n e c i   G ,   2 0 1 1 ,   P   4   A C M   I N T   C   W E B   S E ,   P 4 6 5 ,   D O I   1 0 . 1 1 4 5 / 1 9 3 5 8 2 6 . 1 9 3 5 8 9 6 ;   K l e i n b e r g   J M ,   1 9 9 9 ,   J   A C M ,   V 4 6 ,   P 6 0 4 ,   D O I   1 0 . 1 1 4 5 / 3 2 4 1 3 3 . 3 2 4 1 4 0 ;   L i a n   Q . ,   2 0 0 7 ,   P   2 7   I E E E   I N T   C   D I S T ,   P 5 6 ,   D O I   D O I   1 0 . 1 1 0 9 / I C D C S . 2 0 0 7 . 8 4 ;   M i l u z z o   E ,   2 0 0 8 ,   S E N S Y S ' 0 8 :   P R O C E E D I N G S   O F   T H E   6 T H   A C M   C O N F E R E N C E   O N   E M B E D D E D   N E T W O R K E D   S E N S O R   S Y S T E M S ,   P 3 3 7 ;   M o h a i s e n   A ,   2 0 1 1 ,   I E E E   I N F O C O M   S E R ,   P 1 9 4 3 ,   D O I   1 0 . 1 1 0 9 / I N F C O M . 2 0 1 1 . 5 9 3 4 9 9 8 ;   N a w a z   S . ,   2 0 1 2 ,   P   1   A C M   W O R K S H   M O B   S ,   P 2 8 ;   P a g e   L . ,   1 9 9 9 ,   1 9 9 9 6 6   S T A N F   I N F O L A B ;   P a r k   T . ,   2 0 1 1 ,   P   9   A C M   C   E M B   N E T W   S ,   P 2 6 0 ;   P a s t e r n a c k   J . ,   2 0 1 1 ,   W O R L D   W I D   W E B   C   W W W ;   P a s t e r n a c k   J . ,   2 0 1 1 ,   P   2 2   I N T   J O I N T   C   A R T ,   P 2 3 2 4 ;   P a s t e r n a c k   J . ,   2 0 1 0 ,   I N T   C   C O M P   L I N G   C O L I ;   R a c h u r i   K .   K . ,   2 0 1 1 ,   P   1 7   A N N   I N T   C   M O B   C ,   P 7 3 ;   T I T T E R I N G T O N   D M ,   1 9 8 4 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 4 6 ,   P 2 5 7 ;   U d d i n   M . ,   2 0 1 2 ,   N E T W   S E N S   S Y S T   I N S S ,   P 1 ;   W a n g   D . ,   2 0 1 3 ,   I E E E   J   S E L E C T E D   A R E A ;   W a n g   D . ,   2 0 1 1 ,   D M S N 1 1   8   I N T   W O R K S H ;   W a n g   D . ,   2 0 1 2 ,   9   A N N   I E E E   C O M M   S O C ;   W a n g   D . ,   2 0 1 1 ,   1 4   I N T   C   I N F   F U S   F U S ;   W a n g   D . ,   2 0 1 2 ,   1 1   A C M   I E E E   C   I N F   P R ;   Y i n   X . ,   2 0 1 1 ,   P   2 0   I N T   C   W O R L D   W I D ,   P 2 1 7 ;   Y i n   X X ,   2 0 0 8 ,   I E E E   T   K N O W L   D A T A   E N ,   V 2 0 ,   P 7 9 6 ;   Y u   H F ,   2 0 0 6 ,   A C M   S I G C O M M   C O M P   C O M ,   V 3 6 ,   P 2 6 7 ,   D O I   1 0 . 1 1 4 5 / 1 1 5 1 6 5 9 . 1 1 5 9 9 4 5 ;   Z h a o   B ,   2 0 1 2 ,   P   V L D B   E N D O W ,   V 5 ,   P 5 5 0 	 4 0 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 6 3 - 6 9 2 7 	 	 9 7 8 - 0 - 7 6 9 5 - 5 0 0 0 - 8 	 I N T   C O N   D I S T R   C O M P   S 	 	 	 2 0 1 3 	 	 	 	 	 	 	 5 3 0 	 5 3 9 	 	 1 0 . 1 1 0 9 / I C D C S . 2 0 1 3 . 5 4 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 2 B Z 	 W O S : 0 0 0 3 3 3 2 6 7 2 0 0 0 5 3 	 	 
 J 	 K a r a m ,   R ;   M e l c h i o r i ,   M 	 	 	 I E E E 	 K a r a m ,   R o u l a ;   M e l c h i o r i ,   M i c h e l e 	 	 	 A   C r o w d s o u r c i n g - b a s e d   F r a m e w o r k   f o r   I m p r o v i n g   G e o - s p a t i a l   O p e n   D a t a 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S Y S T E M S ,   M A N ,   A N D   C Y B E R N E T I C S   ( S M C   2 0 1 3 ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m s   M a n   a n d   C y b e r n e t i c s   C o n f e r e n c e   P r o c e e d i n g s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m s ,   M a n ,   a n d   C y b e r n e t i c s   ( S M C ) 	 O C T   1 3 - 1 6 ,   2 0 1 3 	 M a n c h e s t e r ,   E N G L A N D 	 I E E E ,   I E E E   C o m p   S o c 	 	 L i n k e d   O p e n   D a t a ;   C r o w d s o u r c i n g ;   L o c a t i o n   B a s e d   S e r v i c e s ;   S p a t i a l   D a t a b a s e s ;   T r u s t   M e t r i c s 	 O P E N S T R E E T M A P ;   Q U A L I T Y 	 N o w a d a y s ,   m o r e   a n d   m o r e   p e o p l e   r e l y   o n   f r e e l y   a v a i l a b l e   u s e r - g e n e r a t e d   s p a t i a l   c o n t e n t ,   k n o w n   a s   V o l u n t e e r e d   G e o g r a p h i c   I n f o r m a t i o n   ( V G I ) .   T h e r e f o r e ,   s p a t i a l   d a t a   c r e a t i o n   i s   n o   m o r e   e x c l u s i v e l y   i n   t h e   h a n d s   o f   p r o f e s s i o n a l s   a n d   L i n k e d   O p e n   D a t a   ( L O D )   t e c h n i q u e s   h a v e   a   r o l e   i n   p r o m o t i n g   s u c h   o n l i n e   a n d   f r e e l y   a c c e s s i b l e   s p a t i a l   i n f o r m a t i o n .   H o w e v e r ,   t h e   v o l u m e   o f   V G I   d a t a   i s   c o n s t a n t l y   g r o w i n g   s o   e v a l u a t i n g   i t s   q u a l i t y   i s   a   b a s i c   n e e d ,   e s p e c i a l l y   i n   u r b a n   e n v i r o n m e n t s   w h e r e   P o i n t s   o f   I n t e r e s t   c h a n g e   f r e q u e n t l y   a n d   h u m a n   f e e d b a c k s   a r e   c r u c i a l   t o   g e t   f r e q u e n t   u p d a t e s   o f   t h e i r   d e s c r i p t i o n s .   I n   t h i s   c o n t e x t ,   w e   p r o p o s e   a   c r o w d s o u r c i n g - b a s e d   f r a m e w o r k ,   r e l y i n g   o n   l i n k e d   d a t a   p r i n c i p l e s   a n d   d e v i s e d   t o   c o l l e c t ,   o r g a n i z e   a n d   r a n k   u s e r - g e n e r a t e d   c o n t e n t   i n   o r d e r   t o   i m p r o v e   a c c u r a c y   a n d   c o m p l e t e n e s s   o f   g e o - s p a t i a l   L O D .   T o   t h i s   p u r p o s e ,   m e t r i c s   h a v e   b e e n   d e f i n e d   f o r   e v a l u a t i n g   b o t h   u s e r s   a n d   c o n t e n t s . 	 [ K a r a m ,   R o u l a ;   M e l c h i o r i ,   M i c h e l e ]   U n i v   B r e s c i a ,   D i p a r t i m e n t o   I n g n   I n f o r m a z ,   I - 2 5 1 2 1   B r e s c i a ,   I t a l y 	 K a r a m ,   R   ( r e p r i n t   a u t h o r ) ,   U n i v   B r e s c i a ,   D i p a r t i m e n t o   I n g n   I n f o r m a z ,   I - 2 5 1 2 1   B r e s c i a ,   I t a l y . 	 r o u l a k a r a m m @ g m a i l . c o m ;   m e l c h i o r @ i n g . u n i b s . i t 	 	 	 	 	 B e c k e r   C h r i s t i a n ,   2 0 0 8 ,   C E U R   W O R K S H O P   P ,   V 3 6 9 ;   B i a n c h i n i   D . ,   2 0 1 3 ,   L N C S ,   V 7 9 0 8 ,   P 3 5 3 ;   B i a n c h i n i   D e v i s ,   2 0 0 4 ,   I E E E   P   1 5   I N T   W O R K S H ,   p 1 4 5   ;   C e l i n o   I r e n e ,   2 0 1 2 ,   L D O W ;   F l e m m i n g   A n n i k a ,   2 0 1 0 ,   Q U A L   C R I T   L I N K   D A T   S ;   G i r r e s   J F ,   2 0 1 0 ,   T   G I S ,   V 1 4 ,   P 4 3 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 0 . 0 1 2 0 3 . x ;   H e a t h   T ,   2 0 1 1 ,   L I N K E D   D A T A   E V O L V I N G ;   K a r a m   R ,   2 0 1 0 ,   C O M M   C O M   I N F   S C ,   V 8 8 ,   P 1 3 6 ;   K a r a m   R o u l a ,   2 0 1 3 ,   P   J O I N T   E D B T   I C D T   2 0 ,   P 6 8 ;   K a r a m   R o u l a ,   2 0 1 0 ,   P   2 0 1 0   W O R K S H   D A T   E X ,   P 3 1 3 ;   K e s s l e r   C ,   2 0 1 3 ,   L E C T   N O T E S   G E O I N F   C A ,   P 2 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 0 0 6 1 5 - 4 _ 2 ;   L e e   C Y ,   2 0 0 6 ,   I N F O R M   P R O C E S S   M A N A G ,   V 4 2 ,   P 1 0 3 0 ,   D O I   1 0 . 1 0 1 6 / j . i p m . 2 0 0 5 . 0 9 . 0 0 4 ;   M a r t i n s   B ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 3 1 ,   P 3 4 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 6 3 0 - 6 _ 3 ;   M a s h h a d i   A f r a   J . ,   2 0 1 1 ,   P   2   I N T   W O R K S H   U B   C R ,   P 5 ;   R o c c h i o   J ,   1 9 7 1 ,   S M A R T   R E T R I E V A L   S Y S T ;   V a n   C a n n e y t   S . ,   2 0 1 2 ,   P R O C E E D I N G S   O F   T H E   2 ,   P 4 4 7 ;   V i l c h e s - B l a z q u e z   L u i s   M . ,   2 0 1 0 ,   P   1 8   S I G S P A T I A L   I N T ,   P 4 4 6 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 9 7 9 0 . 1 8 6 9 8 5 8 ;   V i s c u s i   G ,   2 0 1 0 ,   I N F O R M A T I O N   S Y S T E M S   F O R   E G O V E R N M E N T :   A   Q U A L I T Y - O F - S E R V I C E   P E R S P E C T I V E ,   P 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 3 5 7 1 - 2 ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   Z h a o   Y . ,   2 0 1 2 ,   I N F O R M   S Y S T E M S   F R O N T ,   P 1 	 2 0 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 6 2 - 9 2 2 X 	 	 9 7 8 - 1 - 4 7 9 9 - 0 6 5 2 - 9 	 I E E E   S Y S   M A N   C Y B E R N 	 	 	 2 0 1 3 	 	 	 	 	 	 	 4 6 8 	 4 7 3 	 	 1 0 . 1 1 0 9 / S M C . 2 0 1 3 . 8 5 	 	 6 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 0 S U 	 W O S : 0 0 0 3 3 2 2 0 1 9 0 0 0 7 9 	 	 
 J 	 B a r b o s a ,   C E ;   E p e l b a u m ,   V J ;   A n t e l i o ,   M ;   O l i v e i r a ,   J ;   d e   S o u z a ,   J M 	 	 	 I E E E 	 B a r b o s a ,   C a r l o s   E d u a r d o ;   E p e l b a u m ,   V a n e s s a   J a n n i ;   A n t e l i o ,   M a r c i o ;   O l i v e i r a ,   J o n i c e ;   d e   S o u z a ,   J a n o   M o r e i r a 	 	 	 C r o w d s o u r c i n g   E n v i r o n m e n t s   i n   e - L e a r n i n g   S c e n a r i o :   A   c l a s s i f i c a t i o n   b a s e d   o n   e d u c a t i o n a l   a n d   c o l l a b o r a t i o n   c r i t e r i a 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S Y S T E M S ,   M A N ,   A N D   C Y B E R N E T I C S   ( S M C   2 0 1 3 ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m s   M a n   a n d   C y b e r n e t i c s   C o n f e r e n c e   P r o c e e d i n g s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m s ,   M a n ,   a n d   C y b e r n e t i c s   ( S M C ) 	 O C T   1 3 - 1 6 ,   2 0 1 3 	 M a n c h e s t e r ,   E N G L A N D 	 I E E E ,   I E E E   C o m p   S o c 	 	 e - L e a r n i n g ;   C l a s s i f i c a t i o n ;   C r o w d s o u r c i n g 	 	 R e c e n t   c r o w d s o u r c i n g   t o o l s   a r e   c h a n g i n g   t h e   E d u c a t i o n .   H o w e v e r ,   e a c h   t o o l   h a s   a   s p e c i f i c   a p p r o a c h ,   b u s i n e s s   m o d e l   a n d   e - L e a r n i n g   g o a l s .   D u e   t h e   i n c r e a s i n g   c o n t r i b u t i o n   o f   c r o w d s o u r c i n g   i n   t h e   e - L e a r n i n g   p r o c e s s ,   i t   h a s   b e c o m e   i m p o r t a n t   t o   s t u d y   i t   a n d   m a p   t h e   c h a l l e n g e s   i n t r i n s i c   t o   t h i s   a c t i v i t y .   T h i s   w o r k   d i s c u s s e s   a n d   c l a s s i f i e s   s e v e r a l   c r o w d s o u r c i n g   e - L e a r n i n g   t o o l s   t h a t   c a n   b e   f o u n d   i n   t h e   I n t e r n e t .   W e   d e f i n e d   a n d   u s e d   e l e v e n   d i m e n s i o n s   t o   c l a s s i f y   t h e   2 2   t o o l s   f o u n d ,   r a n g i n g   f r o m   o n l i n e   U n i v e r s i t i e s   t o   m a r k e t p l a c e s   f o r   o n l i n e   c o u r s e s .   T h e   w o r k   c o n t r i b u t i o n s   a r e :   p r o v i d e   t h e   f i r s t   m a p   t h e   c r o w d s o u r c i n g   t o o l s   a n d   a   f r a m e w o r k   f o r   c l a s s i f y   t h e   f u t u r e   t o o l s . 	 [ B a r b o s a ,   C a r l o s   E d u a r d o ;   E p e l b a u m ,   V a n e s s a   J a n n i ;   A n t e l i o ,   M a r c i o ;   d e   S o u z a ,   J a n o   M o r e i r a ]   U n i v   F e d   R i o   d e   J a n e i r o ,   C O P P E   G r a d   S c h   &   R e s   E n g n ,   R i o   D e   J a n e i r o ,   B r a z i l 	 B a r b o s a ,   C E   ( r e p r i n t   a u t h o r ) ,   U n i v   F e d   R i o   d e   J a n e i r o ,   C O P P E   G r a d   S c h   &   R e s   E n g n ,   R i o   D e   J a n e i r o ,   B r a z i l . 	 e d u a r d o @ c o s . u f r j . b r ;   e p e l b a u m @ c o s . u f r j . b r ;   m a r c i o a n t e l i o @ c o s . u f r j . b r ;   j o n i c e @ d c c . u f r j . b r ;   j a n o @ c o s . u f r j . b r 	 	 	 	 	 A l e a h m a d   T ,   2 0 0 9 ,   I E E E   T   L E A R N   T E C H N O L ,   V 2 ,   P 3 ,   D O I   1 0 . 1 1 0 9 / T L T . 2 0 0 9 . 8 ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   C O U R S   C O L L   C R E D   R E C ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   D a v e n p o r t   T . H . ,   1 9 9 8 ,   W O R K I N G   K N O W L E D G E ;   E p p l e r   M a r t i n   J . ,   2 0 0 3 ,   P   I   K N O W ,   V 3 ;   F r i e d m a n   T h o m a s   L . ,   2 0 1 2 ,   N Y   T I M E S ;   H u b e r m a n   B A ,   2 0 0 9 ,   J   I N F   S C I ,   V 3 5 ,   P 7 5 8 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 9 3 4 6 7 8 6 ;   K e r n   R ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 3 8 5 s ,   P 4 2 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 6 9 8 5 - 4 _ 3 9 ;   K e r n   R ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 4 7 0 ,   P 2 4 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 7 3 5 8 - 5 _ 1 7 ;   K e r n   R . ,   2 0 1 0 ,   A M C   2 0 1 0   P   A U G ;   L e w i n   T ,   2 0 1 2 ,   N Y   T I M E S ;   L i t t l e   G . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 2 9 ,   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 5 9 ;   M o o r e   M .   G . ,   1 9 9 0 ,   R E S   M O N O G R A P H ;   N o n a k a   I . ,   1 9 9 5 ,   K N O W L E D G E   C R E A T I N G   C ;   P a p p a n o   L . ,   2 0 1 2 ,   Y E A R   M O O C ,   V 4 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   V u k o v i c   M ,   2 0 0 9 ,   2 0 0 9   I E E E   C O N G R E S S   O N   S E R V I C E S   ( S E R V I C E S - 1   2 0 0 9 ) ,   V O L S   1   A N D   2 ,   P 6 8 6 ,   D O I   1 0 . 1 1 0 9 / S E R V I C E S - I . 2 0 0 9 . 5 6 ;   W e l d   D .   S . ,   2 0 1 2 ,   P E R S O N A L I Z E D   O N L I N E ;   W u   F . ,   2 0 0 9 ,   I N T   C   C O M P   S C I   E N G   2 ,   V 4 ,   P 4 0 9 ;   Z h a o   Y . ,   2 0 1 2 ,   I N F   S Y S T   F R O N T       A P R 	 2 0 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 6 2 - 9 2 2 X 	 	 9 7 8 - 1 - 4 7 9 9 - 0 6 5 2 - 9 	 I E E E   S Y S   M A N   C Y B E R N 	 	 	 2 0 1 3 	 	 	 	 	 	 	 6 8 7 	 6 9 2 	 	 1 0 . 1 1 0 9 / S M C . 2 0 1 3 . 1 2 2 	 	 6 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 0 S U 	 W O S : 0 0 0 3 3 2 2 0 1 9 0 0 1 1 5 	 	 
 J 	 G o m e s ,   C ;   S c h n e i d e r ,   D ;   d e   S o u z a ,   J ;   X e x e o ,   G 	 	 	 I E E E 	 G o m e s ,   C a r l o s ;   S c h n e i d e r ,   D a n i e l ;   d e   S o u z a ,   J a n o ;   X e x e o ,   G e r a l d o 	 	 	 T o w a r d s   a   F r a m e w o r k   f o r   C r o w d s o u r c e d   C o l l e c t i o n ,   C l e a n i n g   a n d   M e a s u r e m e n t   o f   D i g i t a l   C o n t e n t 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S Y S T E M S ,   M A N ,   A N D   C Y B E R N E T I C S   ( S M C   2 0 1 3 ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m s   M a n   a n d   C y b e r n e t i c s   C o n f e r e n c e   P r o c e e d i n g s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m s ,   M a n ,   a n d   C y b e r n e t i c s   ( S M C ) 	 O C T   1 3 - 1 6 ,   2 0 1 3 	 M a n c h e s t e r ,   E N G L A N D 	 I E E E ,   I E E E   C o m p   S o c 	 	 c r o w d s o u r c i n g   f o r   m u s i c ;   g a m e s   w i t h   a   p u r p o s e ;   c r o w d   c o m p u t i n g ;   w i s d o m   o f   c r o w d s ;   C a s s i n o   M u s i c a l 	 	 T h e   a i m   o f   t h i s   p a p e r   i s   t o   p r e s e n t   a   f r a m e w o r k   f o r   c r o w d s o u r c e d   c o l l e c t i o n ,   c l e a n i n g   a n d   m e a s u r e m e n t   o f   d i g i t a l   c o n t e n t   t h a t   f o l l o w s   t h e   d y n a m i c s   o f   a   g a m e   w i t h   a   p u r p o s e   ( G W A P )   f o r   c a p t u r i n g   t h e   c o l l e c t i v e   k n o w l e d g e   a n d   a l s o   f o r   c o m p u t i n g   t a s k s   t h r o u g h   p l a y e r s '   i n t e r a c t i o n s .   U s i n g   t h i s   f r a m e w o r k   w e   d e v e l o p e d   a   g a m e   c a l l e d   C a s s i n o   M u s i c a l   a s   a   s o l u t i o n   t o   t h e   r e c r u i t m e n t   a n d   m e a s u r e m e n t   o f   m u s i c a l   t a l e n t   f r o m   u n k n o w n   a r t i s t s   w h o   p o s t   v i d e o s   o f   t h e i r   m u s i c a l   p e r f o r m a n c e s   o n   t h e   I n t e r n e t . 	 [ G o m e s ,   C a r l o s ;   S c h n e i d e r ,   D a n i e l ;   d e   S o u z a ,   J a n o ;   X e x e o ,   G e r a l d o ]   U n i v   F e d   R i o   d e   J a n e i r o ,   G r a d   S c h   E n g n ,   P E S C   C O P P E   U F R J ,   B R - 2 1 9 4 1   R i o   D e   J a n e i r o ,   B r a z i l 	 G o m e s ,   C   ( r e p r i n t   a u t h o r ) ,   U n i v   F e d   R i o   d e   J a n e i r o ,   G r a d   S c h   E n g n ,   P E S C   C O P P E   U F R J ,   B R - 2 1 9 4 1   R i o   D e   J a n e i r o ,   B r a z i l . 	 c a r l o s g o m e s @ c o s . u f r j . b r ;   s c h n e i d e r @ c o s . u f r j . b r ;   j a n o @ c o s . u f r j . b r ;   x e x e o @ c o s . u f r j . b r 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 3 ,   E L   R A T   S Y S T ;   C a v e s   R .   E ,   2 0 0 0 ,   C R E A T I V E   I N D   C O N T R A C ;   C o o p e r   S . ,   2 0 1 0 ,   P   5   I N T   C   F D N   D I G   G A ,   V 1 0 ,   P 4 0 ;   G o m e s   C ,   2 0 1 2 ,   I E E E   S Y S   M A N   C Y B E R N ,   P 8 3 2 ;   G o m e s   C . ,   2 0 1 3 ,   2 0 1 3   1 7   I E E E   I N T   C   C ;   M a g o u l a s   R . ,   2 0 0 9 ,   I N T R O   B I G   D A T A   R E L E A ,   V 1 1 ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   V o l z   I .   P . ,   2 0 0 6 ,   P   1 5   I N T   C   W O R L D   W I D ,   P 6 5 9 ,   D O I   1 0 . 1 1 4 5 / 1 1 3 5 7 7 7 . 1 1 3 5 8 7 4 ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   Y u e n   M . - C . ,   2 0 1 1 ,   2 0 1 1   I E E E   3   I N T   C   2 0 ,   P 7 6 6 	 1 1 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 6 2 - 9 2 2 X 	 	 9 7 8 - 1 - 4 7 9 9 - 0 6 5 2 - 9 	 I E E E   S Y S   M A N   C Y B E R N 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 0 3 2 	 1 0 3 9 	 	 1 0 . 1 1 0 9 / S M C . 2 0 1 3 . 1 8 0 	 	 8 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 0 S U 	 W O S : 0 0 0 3 3 2 2 0 1 9 0 1 0 2 6 	 	 
 J 	 N e u b a u e r ,   G ;   N o w a k ,   A ;   J a g e r ,   B ;   H a v l i k ,   D ;   F o i t i k ,   G ;   K l o y b e r ,   C ;   F l a c h b e r g e r ,   C 	 	 P e t r ,   D ;   G e r h a r d ,   C ;   V a c l a v ,   O 	 	 N e u b a u e r ,   G e o r g ;   N o w a k ,   A n d r e a ;   J a g e r ,   B e t t i n a ;   H a v l i k ,   D e n i s ;   F o i t i k ,   G e r r y ;   K l o y b e r ,   C h r i s t i a n ;   F l a c h b e r g e r ,   C h r i s t i a n 	 	 	 C R O W D T A S K I N G   F O R   C R I S I S   A N D   D I S A S T E R   M A N A G E M E N T   -   O P P O R T U N I T I E S   A N D   C H A L L E N G E S 	 I D I M T - 2 0 1 3 :   I N F O R M A T I O N   T E C H N O L O G Y   H U M A N   V A L U E S ,   I N N O V A T I O N   A N D   E C O N O M Y 	 S c h r i f t e n r e i h e   I n f o r m a t i k 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 1 s t   I n t e r d i s c i p l i n a r y   I n f o r m a t i o n   M a n a g e m e n t   T a l k s   ( I D I M T ) 	 S E P   1 1 - 1 3 ,   2 0 1 3 	 P r a g u e ,   C Z E C H   R E P U B L I C 	 C e s k a   S p o r i t e l n a ,   a   s ,   G A C R ,   V y s o k a   S k o l a   E k o n o m i c k a   V   P r a z e ,   J o h a n n e s   K e p l e r   U n i v   L i n z ,   N e t z w e r k   F o r s c h ,   L e h r e   &   P r a x i s 	 	 C r o w d t a s k i n g ;   c r o w d s o u r c i n g ;   v o l u n t e e r   m a n a g e m e n t 	 	 C r o w d t a s k i n g   a s   d e f i n e d   i n   t h i s   p a p e r   i s   a   n e w   c o n c e p t   f o r   m a n a g i n g   q u a l i f i e d   v o l u n t e e r s   i n   o r d e r   t o   o b t a i n   r e q u e s t e d   a n d   s p e c i f i c   i n f o r m a t i o n   f r o m   t h e m .   T h i s   p r o c e s s   t a k e s   p l a c e   i n   t h e   f r a m e   o f   a n   i n t e r a c t i v e   c o m m u n i c a t i o n   p r o c e s s   b e t w e e n   a   t a s k   m a n a g e r   a n d   p r e s e l e c t e d   v o l u n t e e r s   f r o m   t h e   c r o w d .   C r o w d t a s k i n g   d i f f e r s   f r o m   e x i s t i n g   c r o w d s o u r c i n g   a p p r o a c h e s .   C r o w d s o u r c i n g ,   a   k n o w n   a n d   p r o v e n   c o n c e p t   i n   m a n y   f i e l d s   i n c l u d i n g   c r i s i s   m a n a g e m e n t   c a n   b e   d e f i n e d   a s   a s s i g n i n g   t a s k s   t o   a   n o n - s p e c i f i e d   g r o u p   o f   p e o p l e .   A n   a l t e r n a t i v e   a p p r o a c h   i s   t o   s e l e c t   s p e c i f i c   v o l u n t e e r s   q u a l i f i e d   f o r   s p e c i f i c   c r i s i s   s c e n a r i o s   o u t   o f   t h e   c r o w d ,   d e p e n d i n g   o n   t h e   c r i s i s   s c e n a r i o   a n d   t o   c o m m u n i c a t e   w i t h   t h e m   b y   u s i n g   s p e c i f i c a l l y   d e s i g n e d   u s e r   i n t e r f a c e s .   F o r   t h e   d e v e l o p m e n t   o f   a d v a n c e d   v o l u n t e e r   m a n a g e m e n t   s o l u t i o n s   s u c h   a p p r o a c h e s   e n s u r e   o b t a i n i n g   h i g h l y   r e l i a b l e   i n f o r m a t i o n   f o r   c r i s i s   m a n a g e r s   w i t h o u t   t h e   n e e d   t o   a n a l y s e   l a r g e   a m o u n t s   o f   u n s t r u c t u r e d   d a t a   p r o v i d e d   b y   a n   u n s p e c i f i c   c r o w d .   T h i s   p a p e r   s u m s   u p   t h e   c u r r e n t   s t a t e   o f   t h e   a r t   a n d   e x p e r i e n c e s   c o n c e r n i n g   t h e   a p p l i c a t i o n   o f   c r o w d s o u r c i n g   f o r   c r i s i s   a n d   d i s a s t e r   m a n a g e m e n t   a n d   -   b a s e d   o n   t h i s   b a c k g r o u n d   f i n a l l y   d e s c r i b e s   t h e   n e w   c o n c e p t   c a l l e d   c r o w d t a s k i n g   f o r   t h e   m a n a g e m e n t   o f   v o l u n t e e r s . 	 [ N e u b a u e r ,   G e o r g ;   N o w a k ,   A n d r e a ;   J a g e r ,   B e t t i n a ;   H a v l i k ,   D e n i s ]   A I T   A u s t r i a n   I n s t   T e c h n o l   G m b H ,   S e i b e r s d o r f ,   A u s t r i a 	 	 g e o r g . n e u b a u e r @ a i t . a c . a t ;   a n d r e a . n o w a k @ a i t . a c . a t ;   b e t t i n a . j a g e r @ a i t . a c . a t ;   d e n i s . h a v l i k @ a i t . a c . a t ;   g e r r y . f o i t i k @ r o t e s k r e u z . a t ;   c r i s t i a n . k l o y b e r @ r o t e s k r e u z . a t ;   c h r i s t i a n . f l a c h b e r g e r @ f r e q u e n t i s . c o m 	 	 	 	 	 A p p l e b y   L . ,   2 0 1 3 ,   C O N N E C T I N G   L A S T   M I L E ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C h a n   J .   C . ,   2 0 1 3 ,   R O L E   S O C I A L   M E D I A   C R ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ;   G r a n e l l   C . ,   2 0 1 2 ,   D 6   2   3   R E P O R T   C O M M U N ;   H a v l i k   D . ,   2 0 1 3 ,   P   I S E S S ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   S o h n   G . ,   2 0 1 1 ,   I N T   J   H E A L T H   G E O G R ,   V 1 0 ,   P 6 7 ;   S t a r b i r d   K . ,   2 0 1 2 ,   P   C O R R 	 9 	 0 	 0 	 U N I V E R S I T A T S V E R L A G   R U D O L F   T R A U N E R 	 L I N Z 	 K O G L S T R   1 4 ,   4 0 2 0   L I N Z ,   A U S T R I A 	 	 	 9 7 8 - 3 - 9 9 0 3 3 - 0 8 3 - 8 	 S C H R I F T E N   I N F O R M A T I K 	 	 	 2 0 1 3 	 4 2 	 	 	 	 	 	 4 7 	 5 5 	 	 	 	 9 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 B A 2 C C 	 W O S : 0 0 0 3 3 3 2 7 2 2 0 0 0 0 5 	 	 
 J 	 P a v l i c e k ,   A 	 	 P e t r ,   D ;   G e r h a r d ,   C ;   V a c l a v ,   O 	 	 P a v l i c e k ,   A n t o n i n 	 	 	 S O C I A L   M E D I A   -   T H E   G O O D ,   T H E   B A D ,   T H E   U G L Y 	 I D I M T - 2 0 1 3 :   I N F O R M A T I O N   T E C H N O L O G Y   H U M A N   V A L U E S ,   I N N O V A T I O N   A N D   E C O N O M Y 	 S c h r i f t e n r e i h e   I n f o r m a t i k 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 1 s t   I n t e r d i s c i p l i n a r y   I n f o r m a t i o n   M a n a g e m e n t   T a l k s   ( I D I M T ) 	 S E P   1 1 - 1 3 ,   2 0 1 3 	 P r a g u e ,   C Z E C H   R E P U B L I C 	 C e s k a   S p o r i t e l n a ,   a   s ,   G A C R ,   V y s o k a   S k o l a   E k o n o m i c k a   V   P r a z e ,   J o h a n n e s   K e p l e r   U n i v   L i n z ,   N e t z w e r k   F o r s c h ,   L e h r e   &   P r a x i s 	 	 S o c i a l   m e d i a ;   c r o w d s o u r s c i n g ;   c r o w d f u n d i n g ;   p r i v a c y ;   m e n t a l   o b e s i t y ;   a d d i c t i o n 	 	 T h e   p a p e r   d e s c r i b e s   b o t h   p o s i t i v e   a n d   n e g a t i v e   a s p e c t s   o f   s o c i a l   m e d i a .   I t   d e f i n e s   w h a t   s o c i a l   m e d i a   a r e ,   h o w   s o c i a l   m e d i a   c a n   b e   u s e d   f o r   i n f o r m a t i o n   d i s c o v e r y ,   h o w   t h e y   w o r k   a s   a   c r o w d s o u r c i n g   t o o l ,   h o w   t h e y   w o r k   a s   a   n e w s   s o u r c e   o r   h o w   h e l p f u l   c a n   b e   s o c i a l   m e d i a   i n   e d u c a t i o n .   A r t i c l e   a l s o   a d d r e s s e s   p o s s i b i l i t i e s   o f   c r o w d f u n d i n g .   O n   t h e   o t h e r   h a n d ,   i t   a l s o   d e a l s   w i t h   t h e   p r o b l e m s ,   w h i c h   a r e   p r e s e n t   w i t h   s o c i a l   m e d i a :   s o c i a l   m e d i a   a n d   t e e n a g e r s ,   r e l a t i o n s h i p   p r o b l e m s ,   l o s s   o f   p r i v a c y ,   m e n t a l   o b e s i t y   a n d   s o c i a l   m e d i a   a d d i c t i o n . 	 [ P a v l i c e k ,   A n t o n i n ]   U n i v   E c o n   P r a g u e ,   F a c   I n f o r m a t   &   S t a t ,   D e p t   S y s t   A n a l ,   P r a g u e ,   C z e c h   R e p u b l i c 	 	 a n t o n i n . p a v l i c e k @ v s e . c z 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 0 ,   D A I L Y   M A I L ;   [ A n o n y m o u s ] ,   2 0 1 0 ,   B U S I N E S S W I R E ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   H U F F I N G T O N P O S T ;   B i a l i k   C . ,   2 0 1 1 ,   W A L L   S T R E E T   J ;   B o h m o v a   L . ,   2 0 1 3 ,   I D I M T   2 0 1 3   I N F O R M   T E ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C o h e n   H . ,   2 0 1 1 ,   3 0   S O C I A L   M E D I A   D E F I ;   D o u c e k   P . ,   2 0 1 2 ,   J   B U S I N E S S   E C   M A N A G E ,   P 1 ;   G i l e s   J ,   2 0 0 5 ,   N A T U R E ,   V 4 3 8 ,   P 9 0 0 ,   D O I   1 0 . 1 0 3 8 / 4 3 8 9 0 0 a ;   G r e e n b e r g   B . ,   2 0 1 3 ,   8   P R O B L E M S   T E E N S   S O C ;   H o f m a n n   W ,   2 0 1 2 ,   J   P E R S   S O C   P S Y C H O L ,   V 1 0 2 ,   P 1 3 1 8 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 6 5 4 5 ;   i C a r e   C o n s u l t i n g ,   2 0 1 1 ,   S O C   M E D   L O S S   P R I V ;   I s c h i a   M . ,   2 0 1 2 ,   P R O I N F L O W ,   V 4 ,   P 1 ;   K a p l a n   A M ,   2 0 1 0 ,   B U S   H O R I Z O N S ,   V 5 3 ,   P 5 9 ,   D O I   1 0 . 1 0 1 6 / j . b u s h o r . 2 0 0 9 . 0 9 . 0 0 3 ;   M i t c h e l l   A . ,   2 0 1 2 ,   W H A T   F A C E B O O K   T W I T T E ;   O s k r d a l   V ,   2 0 0 9 ,   S C H R I F T E N   I N F O R M A T I K ,   V 2 9 ,   P 3 9 9 ;   P a v l i c e k   A . ,   2 0 1 3 ,   S M I S   2 0 1 3   S   I N   P R E S S ;   P o l g a r   D .   R . ,   2 0 1 2 ,   W I S D O M   A G E   T W I T T E R ;   T a m i r   D I ,   2 0 1 2 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 9 ,   P 8 0 3 8 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 2 0 2 1 2 9 1 0 9 ;   X i a n g   Z ,   2 0 1 0 ,   T O U R I S M   M A N A G E ,   V 3 1 ,   P 1 7 9 ,   D O I   1 0 . 1 0 1 6 / j . t o u r m a n . 2 0 0 9 . 0 2 . 0 1 6 	 2 0 	 0 	 0 	 U N I V E R S I T A T S V E R L A G   R U D O L F   T R A U N E R 	 L I N Z 	 K O G L S T R   1 4 ,   4 0 2 0   L I N Z ,   A U S T R I A 	 	 	 9 7 8 - 3 - 9 9 0 3 3 - 0 8 3 - 8 	 S C H R I F T E N   I N F O R M A T I K 	 	 	 2 0 1 3 	 4 2 	 	 	 	 	 	 1 3 9 	 1 4 9 	 	 	 	 1 1 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 B A 2 C C 	 W O S : 0 0 0 3 3 3 2 7 2 2 0 0 0 1 6 	 	 
 B 	 L i m ,   S L ;   N c u b e ,   C 	 	 	 I E E E 	 L i m ,   S o o   L i n g ;   N c u b e ,   C o r n e l i u s 	 	 	 S o c i a l   N e t w o r k s   a n d   C r o w d s o u r c i n g   f o r   S t a k e h o l d e r   A n a l y s i s   i n   S y s t e m   o f   S y s t e m s   P r o j e c t s 	 2 0 1 3   8 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S Y S T E M   O F   S Y S T E M S   E N G I N E E R I N G   ( S O S E ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m   o f   S y s t e m s   E n g i n e e r i n g 	 J U N   0 2 - 0 6 ,   2 0 1 3 	 M a u i ,   H I 	 I E E E ,   I E E E   S M C   S o c ,   R o c h e s t e r   I n s t   T e c h n o l ,   M A B L ,   r a c k s p a c e ,   I E E E   R e l i a b i l   S o c ,   I n t   C o u n c i l   S y s t   E n g n ,   U n i v   T e x a s   S a n   A n t o n i o ,   A C E 	 	 S y s t e m   o f   s y s t e m s ;   r e q u i r e m e n t s   e n g i n e e r i n g ;   s t a k e h o l d e r   i d e n t i f i c a t i o n ;   s t a k e h o l d e r   a n a l y s i s ;   s o c i a l   n e t w o r k   a n a l y s i s ;   c r o w d s o u r c i n g 	 	 I n   s y s t e m   o f   s y s t e m s   e n g i n e e r i n g ,   s t a k e h o l d e r s   a r e   i n d i v i d u a l s ,   g r o u p s   o r   o r g a n i z a t i o n s   t h a t   s t a n d   t o   g a i n   o r   l o s e   f r o m   t h e   s u c c e s s   o r   f a i l u r e   o f   a   s y s t e m   o f   s y s t e m s .   S y s t e m s   o f   s y s t e m s   p o s e   u n i q u e   p r o b l e m s   f o r   s t a k e h o l d e r   a n a l y s i s   d u e   t o   t h e i r   e v o l u t i o n a r y   n a t u r e ,   e m e r g e n t   b e h a v i o r ,   o p e r a t i o n a l   i n d e p e n d e n c e ,   m a n a g e r i a l   i n d e p e n d e n c e ,   a n d   g e o g r a p h i c a l   d i s t r i b u t i o n   o f   t h e i r   c o n s t i t u e n t   s y s t e m s .   T h i s   p a p e r   p r o p o s e s   t h e   u s e   o f   s o c i a l   n e t w o r k s   a n d   c r o w d s o u r c i n g   t o   i d e n t i f y   a n d   p r i o r i t i z e   t h e   s t a k e h o l d e r s   f o r   s y s t e m   o f   s y s t e m s   p r o j e c t s .   T h e   p r o p o s e d   m e t h o d   c r o w d s o u r c e s   t h e   s t a k e h o l d e r s   t o   r e c o m m e n d   o t h e r   s t a k e h o l d e r s ,   b u i l d s   a   s o c i a l   n e t w o r k   o f   s t a k e h o l d e r s ,   a n d   p r i o r i t i z e s   s t a k e h o l d e r s   u s i n g   s o c i a l   n e t w o r k   m e a s u r e s .   T h e   p a p e r   d e s c r i b e s   t h e   m e t h o d ,   a n d   d i s c u s s e s   t h e   s t r e n g t h s   a n d   l i m i t a t i o n s   o f   a p p l y i n g   t h e   m e t h o d   i n   s y s t e m   o f   s y s t e m s   p r o j e c t s . 	 [ L i m ,   S o o   L i n g ;   N c u b e ,   C o r n e l i u s ]   B o u r n e m o u t h   U n i v ,   S c h   D e s i g n   E n g n   &   C o m p ,   S o f t w a r e   S y s t   R e s   C t r ,   P o o l e   B H 1 2   5 B B ,   D o r s e t ,   E n g l a n d 	 L i m ,   S L   ( r e p r i n t   a u t h o r ) ,   B o u r n e m o u t h   U n i v ,   S c h   D e s i g n   E n g n   &   C o m p ,   S o f t w a r e   S y s t   R e s   C t r ,   P o o l e   B H 1 2   5 B B ,   D o r s e t ,   E n g l a n d . 	 s l i m @ b o u r n e m o u t h . a c . u k ;   c n c u b e @ b o u r n e m o u t h . a c . u k 	 	 	 	 	 A l e x a n d e r   I ,   2 0 0 4 ,   I E E E   S O F T W A R E ,   V 2 1 ,   P 2 3 ,   D O I   1 0 . 1 1 0 9 / M S . 2 0 0 4 . 1 2 5 9 1 9 9 ;   A l e x a n d e r   I .   F . ,   2 0 0 5 ,   I n t e r n a t i o n a l   J o u r n a l   o f   T e c h n o l o g y   a n d   H u m a n   I n t e r a c t i o n ,   V 1 ,   D O I   1 0 . 4 0 1 8 / j t h i . 2 0 0 5 0 1 0 1 0 2 ;   B o u r n e   L y n d a ,   2 0 0 8 ,   I n t e r n a t i o n a l   J o u r n a l   o f   M a n a g i n g   P r o j e c t s   i n   B u s i n e s s ,   V 1 ,   D O I   1 0 . 1 1 0 8 / 1 7 5 3 8 3 7 0 8 1 0 8 4 6 4 5 0 ;   B u t t e r f i e l d   M L ,   2 0 0 8 ,   I E E E   S Y S T   J ,   V 2 ,   P 3 2 1 ,   D O I   1 0 . 1 1 0 9 / J S Y S T . 2 0 0 8 . 9 2 5 9 7 3 ;   C h e n   P . ,   2 0 0 3 ,   S Y S T E M S   E N G ,   V 6 ,   P 1 7 0 ,   D O I   1 0 . 1 0 0 2 / s y s . 1 0 0 4 2 ;   C o c k b u r n   A . ,   2 0 0 0 ,   W R I T I N G   E F F E C T I V E   U S ;   F r e e m a n   R .   E . ,   1 9 8 4 ,   S T R A T E G I C   M A N A G E M E N T ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ;   G a u s e   D . C . ,   1 9 8 9 ,   E X P L O R I N G   R E Q U I R E M E N ;   J a m s h i d i   M . ,   2 0 1 1 ,   S Y S T E M   S Y S T E M S   E N G   I ;   K e a t i n g   C B ,   2 0 0 8 ,   E M J - E N G   M A N A G   J ,   V 2 0 ,   P 2 4 ;   K r y g i e l   A . J . ,   1 9 9 9 ,   W I Z A R D S   C U R T A I N   I N T E ;   L i m   S .   L . ,   2 0 1 0 ,   P   3 2   I N T   C   S O F T   E N G ,   V 1 ,   P 2 9 5 ,   D O I   1 0 . 1 1 4 5 / 1 8 0 6 7 9 9 . 1 8 0 6 8 4 4 ;   L i m   S .   L . ,   2 0 1 0 ,   P   3 2   I N T   C   S O F T   E N G ,   V 2 ,   P 2 3 9 ,   D O I   1 0 . 1 1 4 5 / 1 8 1 0 2 9 5 . 1 8 1 0 3 4 0 ;   L i m   S .   L . ,   2 0 1 3 ,   A L I G N I N G   E N T E R P R I S E ,   P 1 1 8 ;   L i m   S .   L . ,   2 0 1 3 ,   M A N A G I N G   R E Q U I R E M E N T ;   L i m   S .   L . ,   2 0 1 0 ,   T H E S I S   U   N E W   S   W A L E S ;   L i m   S L ,   2 0 1 1 ,   2 0 1 1   3 3 R D   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S O F T W A R E   E N G I N E E R I N G   ( I C S E ) ,   P 1 0 2 2 ;   L i m   S L ,   2 0 1 1 ,   G E C C O - 2 0 1 1 :   P R O C E E D I N G S   O F   T H E   1 3 T H   A N N U A L   G E N E T I C   A N D   E V O L U T I O N A R Y   C O M P U T A T I O N   C O N F E R E N C E ,   P 1 8 9 9 ;   L i m   S L ,   2 0 1 2 ,   I E E E   T   S O F T W A R E   E N G ,   V 3 8 ,   P 7 0 7 ,   D O I   1 0 . 1 1 0 9 / T S E . 2 0 1 1 . 3 6 ;   M a i e r   M . ,   1 9 9 8 ,   S Y S T E M S   E N G ,   V 1 ,   P 2 6 7 ,   D O I   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 5 2 0 - 6 8 5 8 ( 1 9 9 8 ) ;   N c u b e   C . ,   2 0 1 1 ,   P   I E E E   W O R K S H   R E Q   E N ,   P 7 0 ;   N u s e i b e h   B a s h a r ,   2 0 0 0 ,   P   C   F U T   S O F T W   E N G ,   P 3 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 3 3 6 5 1 2 . 3 3 6 5 2 3 ;   P o u l o u d i   A ,   1 9 9 7 ,   E U R   J   I N F O R M   S Y S T ,   V 6 ,   P 1 ;   R o b e r t s o n   S . ,   2 0 0 6 ,   M A S T E R I N G   R E Q U I R E M E N ;   S a g e   A .   P . ,   2 0 0 1 ,   I n f o r m a t i o n . K n o w l e d g e . S y s t e m s   M a n a g e m e n t ,   V 2 ;   S c o t t   J . ,   2 0 0 0 ,   S O C I A L   N E T W O R K   A N A L ;   S h a r p   H . ,   1 9 9 9 ,   D E X A   W O R K S H ,   P 3 8 7 ;   W a s s e r m a n   S . ,   1 9 9 4 ,   S O C I A L   N E T W O R K   A N A L ;   Z o o k   M . ,   2 0 1 2 ,   W O R L D   M E D   H L T H   P O L I C ,   V 2 ,   P 7 	 3 0 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 5 5 9 7 - 1 ;   9 7 8 - 1 - 4 6 7 3 - 5 5 9 6 - 4 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 3 	 1 8 	 	 	 	 6 	 E n g i n e e r i n g ,   I n d u s t r i a l ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 E n g i n e e r i n g ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 B A 1 Q M 	 W O S : 0 0 0 3 3 2 8 8 4 0 0 0 0 0 3 	 	 
 J 	 B o u t s i s ,   I ;   K a l o g e r a k i ,   V 	 	 	 I E E E   C o m p   S o c 	 B o u t s i s ,   I o a n n i s ;   K a l o g e r a k i ,   V a n a 	 	 	 C r o w d s o u r c i n g   u n d e r   R e a l - T i m e   C o n s t r a i n t s 	 I E E E   2 7 T H   I N T E R N A T I O N A L   P A R A L L E L   A N D   D I S T R I B U T E D   P R O C E S S I N G   S Y M P O S I U M   ( I P D P S   2 0 1 3 ) 	 I n t e r n a t i o n a l   P a r a l l e l   a n d   D i s t r i b u t e d   P r o c e s s i n g   S y m p o s i u m   I P D P S 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   2 7 t h   I n t e r n a t i o n a l   P a r a l l e l   a n d   D i s t r i b u t e d   P r o c e s s i n g   S y m p o s i u m   ( I P D P S ) 	 M A Y   2 0 - 2 4 ,   2 0 1 3 	 B o s t o n ,   M A 	 I E E E ,   I E E E   C o m p   S o c 	 	 d i s t r i b u t e d   s y s t e m s ;   c r o w d s o u r c i n g ;   r e a l - t i m e 	 S Y S T E M S 	 I n   t h e   r e c e n t   y e a r s   w e   a r e   e x p e r i e n c i n g   t h e   r a p i d   g r o w t h   o f   c r o w d s o u r c i n g   s y s t e m s ,   i n   w h i c h   " h u m a n   w o r k e r s "   a r e   e n l i s t e d   t o   p e r f o r m   t a s k s   m o r e   e f f e c t i v e l y   t h a n   c o m p u t e r s ,   a n d   g e t   c o m p e n s a t e d   f o r   t h e   w o r k   t h e y   p r o v i d e .   T h e   c o m m o n   b e l i e f   i s   t h a t   t h e   w i s d o m   o f   t h e   " h u m a n   c r o w d "   c a n   g r e a t l y   c o m p l e m e n t   m a n y   c o m p u t e r   t a s k s   w h i c h   a r e   a s s i g n e d   t o   m a c h i n e s .   A   s i g n i f i c a n t   c h a l l e n g e   f a c i n g   t h e s e   s y s t e m s   i s   d e t e r m i n i n g   t h e   m o s t   e f f i c i e n t   a l l o c a t i o n   o f   t a s k s   t o   w o r k e r s   t o   a c h i e v e   s u c c e s s f u l   c o m p l e t i o n   o f   t h e   t a s k s   u n d e r   r e a l - t i m e   c o n s t r a i n t s .   T h i s   p a p e r   p r e s e n t s   R E A C T ,   a   c r o w d s o u r c i n g   s y s t e m   t h a t   s e e k s   t o   a d d r e s s   t h i s   c h a l l e n g e   a n d   p r o p o s e s   a l g o r i t h m s   t h a t   a i m   t o   s t i m u l a t e   u s e r   p a r t i c i p a t i o n   a n d   h a n d l e   d y n a m i c   t a s k   a s s i g n m e n t   a n d   e x e c u t i o n   i n   t h e   c r o w d s o u r c i n g   s y s t e m .   T h e   g o a l   i s   t o   d e t e r m i n e   t h e   m o s t   a p p r o p r i a t e   w o r k e r s   t o   a s s i g n   i n c o m i n g   t a s k s ,   i n   s u c h   a   w a y   s o   t h a t   t h e   r e a l - t i m e   d e m a n d s   a r e   m e t   a n d   h i g h   q u a l i t y   r e s u l t s   a r e   r e t u r n e d .   W e   e m p i r i c a l l y   e v a l u a t e   o u r   a p p r o a c h   a n d   s h o w   t h a t   R E A C T   m e e t s   t h e   r e q u e s t e d   r e a l - t i m e   d e m a n d s ,   a c h i e v e s   g o o d   a c c u r a c y ,   i s   e f f i c i e n t ,   a n d   i m p r o v e s   t h e   a m o u n t   o f   s u c c e s s f u l   t a s k s   t h a t   m e e t   t h e i r   d e a d l i n e s   u p   t o   6 1 %   c o m p a r e d   t o   t r a d i t i o n a l   a p p r o a c h e s   l i k e   A M T . 	 [ B o u t s i s ,   I o a n n i s ;   K a l o g e r a k i ,   V a n a ]   A t h e n s   U n i v   E c o n   &   B u s i n e s s ,   D e p t   I n f o r m a t ,   A t h e n s ,   G r e e c e 	 B o u t s i s ,   I   ( r e p r i n t   a u t h o r ) ,   A t h e n s   U n i v   E c o n   &   B u s i n e s s ,   D e p t   I n f o r m a t ,   A t h e n s ,   G r e e c e . 	 m p o u t s i s @ a u e b . g r ;   v a n a @ a u e b . g r 	 	 	 	 	 A l t   F . ,   2 0 1 0 ,   N O R D I C H I   R E Y K J   I C   O C ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   M E C H   T U R K   T R A C K E R ;   B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C l a u s e t   A ,   2 0 0 9 ,   S I A M   R E V ,   V 5 1 ,   P 6 6 1 ,   D O I   1 0 . 1 1 3 7 / 0 7 0 7 1 0 1 1 1 ;   D h a k a l   S ,   2 0 0 7 ,   I E E E   T   P A R A L L   D I S T R ,   V 1 8 ,   P 4 8 5 ,   D O I   1 0 . 1 1 0 9 / T P D S . 2 0 0 7 . 1 0 0 7 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   D r o u g a s   Y . ,   2 0 0 9 ,   I P D P S ,   P 1 ;   D r o u g a s   Y . ,   2 0 0 7 ,   I P D P S ,   P 1 ;   F e l d m a n   J . ,   2 0 1 0 ,   C O R R ;   F r a n k l i n   M .   J . ,   2 0 1 1 ,   S I G M O D ;   H o   C . - J . ,   2 0 1 2 ,   A A A I ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   X R D S   C R O S S R O A D S   A C M ,   V 1 7 ,   P 1 6 ;   K a r g e r   D .   R . ,   2 0 1 1 ,   C O R R ,   V a b s / 1 1 1 0 . 3 5 6 4 ;   K h a z a n k i n   R . ,   2 0 1 1 ,   I C S O C   P A P H   C Y P R   D E C ;   K H U L L E R   S ,   1 9 9 4 ,   T H E O R   C O M P U T   S C I ,   V 1 2 7 ,   P 2 5 5 ,   D O I   1 0 . 1 0 1 6 / 0 3 0 4 - 3 9 7 5 ( 9 4 ) 9 0 0 4 2 - 6 ;   K i t t u r   A . ,   2 0 0 8 ,   C H I ;   K u h n   H .   W . ,   1 9 5 5 ,   N A V   R E S   L O G ,   V 2 ,   P 8 3 ,   D O I   D O I   1 0 . 1 0 0 2 / N A V . 3 8 0 0 0 2 0 1 0 9 ;   L i u   X . ,   2 0 1 2 ,   C O R R ,   V a b s / 1 2 0 7 . 0 1 4 3 ;   M e h t a   A . ,   2 0 0 7 ,   J   A C M ,   V 5 4 ;   P e n m a t s a   S . ,   2 0 0 7 ,   I P D P S ,   P 1 ;   S h i h   H . - P . ,   2 0 0 8 ,   T H E S I S   N A T L   T A I W A N   U ;   S o r o k i n   A . ,   2 0 0 8 ,   C O M P   V I S   P A T T   R E C   W O ;   S u b r a m a n i a m   S . ,   2 0 0 6 ,   R T S S   R I O   D E   J A N   B R A Z ;   Y a n   T . ,   2 0 1 0 ,   M O B I S Y S 	 2 4 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 2 6 4   U S A 	 1 5 3 0 - 2 0 7 5 	 	 9 7 8 - 0 - 7 6 9 5 - 4 9 7 1 - 2 	 I N T   P A R A L L   D I S T R I B   P 	 	 	 2 0 1 3 	 	 	 	 	 	 	 7 5 3 	 7 6 4 	 	 1 0 . 1 1 0 9 / I P D P S . 2 0 1 3 . 8 4 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B A 1 P T 	 W O S : 0 0 0 3 3 2 8 2 8 0 0 0 0 6 5 	 	 
 S 	 C a r r e n o ,   P ;   G u t i e r r e z ,   F ;   O c h o a ,   S F ;   F o r t i n o ,   G 	 	 P a t h a n ,   M ;   W e i ,   G ;   F o r t i n o ,   G 	 	 C a r r e n o ,   P a b l o ;   G u t i e r r e z ,   F r a n c i s c o ;   O c h o a ,   S e r g i o   F . ;   F o r t i n o ,   G i a n c a r l o 	 	 	 U s i n g   H u m a n - C e n t r i c   W i r e l e s s   S e n s o r   N e t w o r k s   t o   S u p p o r t   P e r s o n a l   S e c u r i t y 	 I N T E R N E T   A N D   D I S T R I B U T E D   C O M P U T I N G   S Y S T E M S ,   I D C S   2 0 1 3 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 6 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e r n e t   a n d   D i s t r i b u t e d   C o m p u t i n g   S y s t e m s   ( I D C S ) 	 O C T   2 8 - 3 0 ,   2 0 1 3 	 H a n g z h o u ,   P E O P L E S   R   C H I N A 	 C o m m o n w e a l t h   S c i   &   I n d   R e s   O r g 	 	 P e r s o n a l   s e c u r i t y ;   c r i m e   p r e v e n t i o n ;   p a r t i c i p a t o r y   s e n s i n g ;   h u m a n - c e n t r i c   w i r e l e s s   s e n s o r   n e t w o r k s ;   c r o w d s o u r c i n g ;   s o c i a l   c o m p u t i n g 	 S E N S I N G   A P P L I C A T I O N S 	 V i o l e n c e   a n d   c r i m e   i n   l a r g e   u r b a n   a r e a s   a r e   a   w o r l d w i d e   p r o b l e m   t h a t   i s   s t i l l   o p e n .   A f t e r   s e v e r a l   a t t e m p t s   t o   r e d u c e   i t s   o c c u r r e n c e   a n d   i m p a c t ,   t h e r e   s e e m s   t o   b e   a n   a g r e e m e n t   t h a t   c r i m e   p r e v e n t i v e   a c t i o n s ,   w h i c h   c a n   b e   t a k e n   b y   c i t i z e n s   a n d   s e c u r i t y   o r g a n i z a t i o n s ,   a r e   t h e   b e s t   w a y   t o   a d d r e s s   i t .   T h i s   p a p e r   p r o p o s e s   t h e   u s e   o f   h u m a n - c e n t r i c   w i r e l e s s   s e n s o r   n e t w o r k s   t o   h e l p   a d d r e s s   t h i s   p r o b l e m ,   a n d   t h e   p r o p o s e d   s o l u t i o n   i s   c o m p l e m e n t a r y   t o   t h o s e   a l r e a d y   u s e d   b y   s e c u r i t y   o r g a n i z a t i o n s .   T h e   a r c h i t e c t u r e   a n d   m a i n   c o m p o n e n t s   o f   t h e s e   n e t w o r k s   a r e   d e s c r i b e d   i n   d e t a i l .   T h e   a r t i c l e   a l s o   d e s c r i b e s   a   s o f t w a r e   s y s t e m   t h a t   i m p l e m e n t s   m o s t   o f   t h e   c o m p o n e n t s   o f   t h e s e   n e t w o r k s .   S u c h   a   s y s t e m   h e l p s   p e o p l e   b e   a w a r e   o f   t h e   r i s k s   t h a t   a p p e a r   t o   e x i s t   i n   a   c e r t a i n   p l a c e   a t   a   c e r t a i n   t i m e .   B a s e d   o n   t h a t   i n f o r m a t i o n ,   c i t i z e n s   c a n   t a k e   a p p r o p r i a t e   a n d   o n - t i m e   p r e v e n t i v e   a c t i o n s .   A   p r e l i m i n a r y   e v a l u a t i o n   o f   t h e   s y s t e m   h a s   b e e n   c o n d u c t e d ,   a n d   t h e   o b t a i n e d   r e s u l t s   a r e   a l s o   p r e s e n t e d   a n d   d i s c u s s e d . 	 [ C a r r e n o ,   P a b l o ;   G u t i e r r e z ,   F r a n c i s c o ;   O c h o a ,   S e r g i o   F . ]   U n i v   C h i l e ,   D e p t   C o m p   S c i ,   S a n t i a g o ,   C h i l e 	 C a r r e n o ,   P   ( r e p r i n t   a u t h o r ) ,   U n i v   C h i l e ,   D e p t   C o m p   S c i ,   A v   B l a n c o   E n c a l a d a   2 1 2 0 , 3 r d   F l o o r ,   S a n t i a g o ,   C h i l e . 	 p c a r r e n o @ d c c . u c h i l e . c l ;   f r g u t i e r @ d c c . u c h i l e . c l ;   s o c h o a @ d c c . u c h i l e . c l ;   g . f o r t i n o @ u n i c a l . i t 	 	 	 	 	 A e b i   M F ,   2 0 1 2 ,   E U R   J   C R I M   P O L I C Y   R E ,   V 1 8 ,   P 1 0 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 1 0 - 0 1 1 - 9 1 6 6 - 7 ;   B a l l e s t e r o s   J . ,   2 0 1 2 ,   P   3 7   I E E E   L O C   C O M P   N ;   B e l l i f e m i n e   F ,   2 0 1 1 ,   S O F T W A R E   P R A C T   E X P E R ,   V 4 1 ,   P 2 3 7 ,   D O I   1 0 . 1 0 0 2 / s p e . 9 9 8 ;   B u r k e   J . ,   2 0 0 6 ,   P   W O R L D   S E N S   W E B   W O R ;   C a m p b e l l   A . ,   2 0 0 6 ,   P   2   A N N   I N T   W I R   I N T ;   C a t t e l i n o   J . R . ,   2 0 0 8 ,   P O L I T I C A L   L E G A L   A N T H ,   V 2 7 ,   P 1 1 4 ;   C l a r k e   R . ,   1 9 9 5 ,   B U I L D I N G   S A F E R   S O C   S ;   D u a r t e   S ,   2 0 1 3 ,   M O B I L E   N E T W   A P P L ,   V 1 8 ,   P 3 5 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 3 6 - 0 1 2 - 0 4 2 4 - 9 ;   D u b b e l d   L . ,   2 0 0 3 ,   E t h i c s   a n d   I n f o r m a t i o n   T e c h n o l o g y ,   V 5 ,   D O I   1 0 . 1 0 2 3 / B : E T I N . 0 0 0 0 0 0 6 9 4 6 . 0 1 4 2 6 . 2 6 ;   E s t r i n   D ,   2 0 1 0 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 4 ,   P 1 2 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 0 . 1 2 ;   F e d e r a l   B u r e a u   o f   I n v e s t i g a t i o n ,   C R I M   U S   2 0 1 0   F B I   S T A ;   F o r t i n o   G ,   2 0 1 3 ,   I E E E   T   H U M - M A C H   S Y S T ,   V 4 3 ,   P 1 1 5 ,   D O I   1 0 . 1 1 0 9 / T S M C C . 2 0 1 2 . 2 2 1 5 8 5 2 ;   F o r t i n o   G . ,   2 0 1 4 ,   F U T U R E   G E N E   I N   P R E S S ;   H a l l   D . ,   2 0 1 2 ,   D I S T R I B U T E D   D A T A   F U S ;   H o l z i n g e r   A ,   2 0 0 5 ,   C O M M U N   A C M ,   V 4 8 ,   P 7 1 ,   D O I   1 0 . 1 1 4 5 / 1 0 3 9 5 3 9 . 1 0 3 9 5 4 1 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H u a n g   K . ,   2 0 1 0 ,   P   A C M   M S W I M   B O D R   T U R ;   L a n   K . ,   2 0 1 2 ,   P R O C E D I A   C O M P U T E R   S C ,   P 1 ;   L i m   S . L . ,   2 0 1 0 ,   P   3 2   A C M   I E E E   I N T   C ;   M a s h h a d i   A . J . ,   2 0 1 1 ,   P   U B I C R O W D   2 0 1 1   B E I J ;   M o n a r e s   A ,   2 0 1 1 ,   E X P E R T   S Y S T   A P P L ,   V 3 8 ,   P 1 2 5 5 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 0 . 0 5 . 0 1 8 ;   N I E L S E N   J . ,   1 9 9 3 ,   U S A B I L I T Y   E N G ;   O c h o a   S . F . ,   2 0 1 4 ,   I N F O R M   F U S I   I N   P R E S S ;   P o s n e r   R A ,   2 0 0 8 ,   U   C H I C A G O   L A W   R E V ,   V 7 5 ,   P 2 4 5 ;   R a v e e n d r a n a t h a n   N ,   2 0 1 2 ,   I E E E   S E N S   J ,   V 1 2 ,   P 5 8 3 ,   D O I   1 0 . 1 1 0 9 / J S E N . 2 0 1 1 . 2 1 2 1 0 5 9 ;   R o d r i g u e z - C o v i l i   J ,   2 0 1 1 ,   J   N E T W   C O M P U T   A P P L ,   V 3 4 ,   P 1 8 8 3 ,   D O I   1 0 . 1 0 1 6 / j . j n c a . 2 0 1 0 . 1 2 . 0 1 4 ;   T r a v i s   A . ,   C C T V   S C H E M E S   C I T Y   T O ;   U n i t e d   N a t i o n s   D e v e l o p m e n t   P r o g r a m m e ,   1 9 9 4 ,   N E W   D I M   H U M   S E C   H U M ;   V o n   H i r s c h   A ,   2 0 0 4 ,   E T H I C A L   S O C I A L   P E R S P 	 2 9 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 1 4 2 8 - 2 ;   9 7 8 - 3 - 6 4 2 - 4 1 4 2 7 - 5 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 8 2 2 3 	 	 	 	 	 	 5 1 	 6 4 	 	 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B A 1 R M 	 W O S : 0 0 0 3 3 2 9 6 4 0 0 0 0 0 5 	 	 
 S 	 Z h a n g ,   G ;   C h e n ,   H P 	 	 P a t h a n ,   M ;   W e i ,   G ;   F o r t i n o ,   G 	 	 Z h a n g ,   G a n g ;   C h e n ,   H a o p e n g 	 	 	 Q u a l i t y   C o n t r o l   f o r   C r o w d s o u r c i n g   w i t h   S p a t i a l   a n d   T e m p o r a l   D i s t r i b u t i o n 	 I N T E R N E T   A N D   D I S T R I B U T E D   C O M P U T I N G   S Y S T E M S ,   I D C S   2 0 1 3 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 6 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e r n e t   a n d   D i s t r i b u t e d   C o m p u t i n g   S y s t e m s   ( I D C S ) 	 O C T   2 8 - 3 0 ,   2 0 1 3 	 H a n g z h o u ,   P E O P L E S   R   C H I N A 	 C o m m o n w e a l t h   S c i   &   I n d   R e s   O r g 	 	 c r o w d s o u r c i n g ;   l o c a t i o n - b a s e d   s e r v i c e   ( L B S ) ;   q u a l i t y   c o n t r o l ;   s p a t i a l   a n d   t e m p o r a l   d i s t r i b u t i o n 	 	 I n   t h e   p a s t   d e c a d e ,   c r o w d s o u r c i n g   h a s   b e c o m e   a   p r o s p e c t i v e   p a r a d i g m   f o r   c o m m e r c i a l   p u r p o s e s ,   f o r   i t   b r i n g s   a   l o t   o f   b e n e f i t s   s u c h   a s   l o w   c o s t   a n d   h i g h   i m m e d i a c y ,   p a r t i c u l a r l y   i n   l o c a t i o n - b a s e d   s e r v i c e s   ( L B S ) .   O n   t h e   o t h e r   s i d e ,   t h e r e   a l s o   e x i s t   m a n y   p r o b l e m s   n e e d   t o   b e   s o l v e d   i n   c r o w d s o u r c i n g .   F o r   e x a m p l e ,   t h e   q u a l i t y   c o n t r o l   f o r   c r o w d s o u r c i n g   s y s t e m s   h a s   b e e n   i d e n t i f i e d   a s   a   s i g n i f i c a n t   c h a l l e n g e ,   w h i c h   i n c l u d e s   h o w   t o   h a n d l e   m a s s i v e   d a t a   m o r e   e f f i c i e n t l y ,   h o w   t o   d i s c r i m i n a t e   p o o r   q u a l i t y   c o n t e n t   i n   w o r k e r s (   s u b m i s s i o n s   a n d   s o   o n .   I n   t h i s   p a p e r ,   w e   p u t   f o r w a r d   a n   a p p r o a c h   t o   c o n t r o l   t h e   c r o w d s o u r c i n g   q u a l i t y   f r o m   s p a t i a l   a n d   t e m p o r a l   d i s t r i b u t i o n .   O u r   e x p e r i m e n t s   h a v e   d e m o n s t r a t e d   t h e   e f f e c t i v e n e s s   a n d   e f f i c i e n c y   o f   t h e   a p p r o a c h . 	 [ Z h a n g ,   G a n g ;   C h e n ,   H a o p e n g ]   S h a n g h a i   J i a o   T o n g   U n i v ,   S c h   S o f t w a r e ,   R E I N S   G r p ,   S h a n g h a i   2 0 0 0 3 0 ,   P e o p l e s   R   C h i n a 	 Z h a n g ,   G   ( r e p r i n t   a u t h o r ) ,   S h a n g h a i   J i a o   T o n g   U n i v ,   S c h   S o f t w a r e ,   R E I N S   G r p ,   S h a n g h a i   2 0 0 0 3 0 ,   P e o p l e s   R   C h i n a . 	 i n f e a r @ s j t u . e d u . c n ;   c h e n - h p @ s j t u . e d u . c n 	 	 	 	 	 A l t   F . ,   6   N O R D   C   H U M   C O M P   I N ,   P 1 3 ;   A n d r e w   J . ,   2 0 0 8 ,   G E O   J   I N T   J   G E O G R A P H ;   C h e n   Z . ,   3 3   I N T   A C M   S I G I R   C   R ,   P 8 5 9 ;   C h e n g   R . ,   2 0 0 8 ,   J   V L D B   E N D O W M E N T ,   V 1 ,   P 7 2 2 ;   D e a n   J ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 1 0 7 ,   D O I   1 0 . 1 1 4 5 / 1 3 2 7 4 5 2 . 1 3 2 7 4 9 2 ;   G R E E N G A R D   S ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 2 0 ;   H i r t h   M . ,   5   I N T   C   I N N   M O B   I N T ,   P 3 1 6 ;   H o w e   J e f f ,   2 0 0 6 ,   W I R E D                         J U N ;   K a m a r   E . ,   1 1   I N T   C   A U T   A G   M U L T ,   V 3 ,   P 1 3 2 9 ;   K a z a i   G . ,   2 1   A C M   I N T   C   I N F   K N O ,   P 2 5 8 3 ;   L e a s e   M . ,   2 0 1 1 ,   N E W S L E T T E R   A C M   S I G I R ,   V 4 5 ,   P 6 6 ;   M a s h h a d i   A . J . ,   2   I N T   W O R K S H   U B   C R O W ,   P 5 ;   M a s o n   W . ,   2 0 0 9 ,   A S S   C O M P U T I N G   M A C H I N ,   V 1 1 ,   P 1 0 0 ;   S h a h   S . ,   1 9   A C M   S I G S P A T I A L   I N ,   P 5 2 1 ;   V e n e t i c   P . ,   1   I N T   W O R K S H   C R O W D S ,   P 1 5 ;   Z h u   S . ,   2 0 1 2 ,   C H I   2 0 1 2   H U M   F A C T   C O ,   P 2 5 0 1 	 1 6 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 1 4 2 8 - 2 ;   9 7 8 - 3 - 6 4 2 - 4 1 4 2 7 - 5 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 8 2 2 3 	 	 	 	 	 	 1 6 9 	 1 8 2 	 	 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B A 1 R M 	 W O S : 0 0 0 3 3 2 9 6 4 0 0 0 0 1 4 	 	 
 J 	 H u a n g ,   Y ;   T o m a s i c ,   A ;   A n ,   Y F ;   G a r r o d ,   C ;   S t e i n f e l d ,   A 	 	 	 I E E E 	 H u a n g ,   Y u n ;   T o m a s i c ,   A n t h o n y ;   A n ,   Y u f e i ;   G a r r o d ,   C h a r l e s ;   S t e i n f e l d ,   A a r o n 	 	 	 E n e r g y   E f f i c i e n t   a n d   A c c u r a c y   A w a r e   ( E 2 A 2 )   L o c a t i o n   S e r v i c e s   v i a   C r o w d s o u r c i n g 	 2 0 1 3   I E E E   9 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   W I R E L E S S   A N D   M O B I L E   C O M P U T I N G ,   N E T W O R K I N G   A N D   C O M M U N I C A T I O N S   ( W I M O B ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W i r e l e s s   a n d   M o b i l e   C o m p u t i n g   N e t w o r k i n g   a n d   C o m m u n i c a t i o n s - W i M O B 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   9 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   W i r e l e s s   a n d   M o b i l e   C o m p u t i n g ,   N e t w o r k i n g   a n d   C o m m u n i c a t i o n s   ( W i M o b ) 	 O C T   0 7 - 0 9 ,   2 0 1 3 	 L y o n ,   F R A N C E 	 I E E E 	 	 	 	 M a n y   m o b i l e   a p p l i c a t i o n s   r e l y   o n   l o c a t i o n   i n f o r m a t i o n   g a i n e d   f r o m   l o c a t i o n   s e r v i c e s   o n   m o b i l e   d e v i c e s .   H o w e v e r ,   c o n t i n u o u s l y   t r a c k i n g   t h e   d e v i c e   l o c a t i o n   w i t h   h i g h   a c c u r a c y   d r a i n s   t h e   b a t t e r y   q u i c k l y .   F u r t h e r m o r e ,   s e n s i n g   t h e   s a m e   l o c a t i o n   c a n   b e   r e d u n d a n t   w h e n   m u l t i p l e   d e v i c e s   a r e   c o - l o c a t e d .   I n   t h i s   p a p e r ,   w e   d e v e l o p   a   c r o w d s o u r c i n g - b a s e d   l o c a t i o n   s e r v i c e ,   E 2 A 2   ( e n e r g y   e f f i c i e n t   a n d   a c c u r a c y   a w a r e ) ,   w h i c h   p l a c e s   c o l o c a t e d   d e v i c e s   i n t o   g r o u p s ,   a n d   u s e s   g r o u p   l o c a t i o n   t o   r e p r e s e n t   i n d i v i d u a l   d e v i c e   l o c a t i o n .   T h e   E 2 A 2   l o c a t i o n   s e r v i c e   a i m s   t o   r e d u c e   i n d i v i d u a l   d e v i c e   b a t t e r y   c o n s u m p t i o n   a s s o c i a t e d   w i t h   l o c a t i o n   s e r v i c e s   w h i l e   s i m u l t a n e o u s l y   m a i n t a i n i n g   h i g h   l o c a t i o n   a c c u r a c y   f o r   e a c h   d e v i c e .   O u r   e x p e r i m e n t a l   r e s u l t s   f r o m   a   p r o t o t y p e   s y s t e m   s h o w   t h e   e f f e c t i v e n e s s   o f   o u r   p r o p o s e d   s o l u t i o n   w i t h   d i f f e r e n t   m o b i l i t y   p a t t e r n s .   W e   a l s o   p r e s e n t   r e s u l t s   o n   t h e   i m p a c t   o f   d i f f e r e n t   s y s t e m   p a r a m e t e r s   a n d   t h e   n u m b e r   o f   u s e r s   i n   a   g r o u p .   C o m p a r e d   t o   r u n n i n g   G P S   l o c a t i o n   s e r v i c e s   o n   i n d i v i d u a l   d e v i c e s   s e p a r a t e l y ,   o u r   E 2 A 2   s e r v i c e   s a v e s   o n   a v e r a g e   3 3 %   b a t t e r y   c o n s u m p t i o n   r a t e   w h e n   4   d e v i c e s   a r e   c o - l o c a t e d   a t   w a l k i n g   s p e e d   a n d   2 6 %   b a t t e r y   c o n s u m p t i o n   r a t e   w h e n   4   d e v i c e s   a r e   c o l o c a t e d   o n   t h e   s a m e   b u s   w h i l e   m e e t i n g   t h e   s a m e   a c c u r a c y   r e q u i r e m e n t s . 	 [ H u a n g ,   Y u n ;   T o m a s i c ,   A n t h o n y ;   A n ,   Y u f e i ;   G a r r o d ,   C h a r l e s ;   S t e i n f e l d ,   A a r o n ]   C a r n e g i e   M e l l o n   U n i v ,   S c h   C o m p   S c i ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A 	 H u a n g ,   Y   ( r e p r i n t   a u t h o r ) ,   C a r n e g i e   M e l l o n   U n i v ,   S c h   C o m p   S c i ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A . 	 y u n h u a n g @ c s . c m u . e d u ;   t o m a s i c @ a n d r e w . c m u . e d u ;   y u f e i a @ a n d r e w . c m u . e d u ;   c h a r l i e @ c s . c m u . e d u ;   s t e i n f e l d @ c m u . e d u 	 	 	 	 	 C h e n n u r u   S .   K . ,   2 0 1 0 ,   M O B I C A S E ;   C h o   E . ,   2 0 1 1 ,   P   1 7   A C M   S I G K D D ;   D h i m a n   G . ,   2 0 0 8 ,   P   C   P O W   A W   C O M P   S Y S T ;   G r e e n s t e i n   B . ,   2 0 1 1 ,   P   1 2   W O R K S H   M O B   C O M P ;   H a r e   J . ,   2 0 1 1 ,   C O M M U N I C A T I O N   S Y S T E M ;   H e r d e r   E . ,   2 0 1 2 ,   U M A P   W O R K S H ;   H u a n g   H . ,   2 0 0 5 ,   P   2 0 0 5   I N T   S   L O W   P O W ;   K a n g   C . ,   2 0 1 0 ,   G E O I N F O R M A T I C S ;   K i m   S . ,   2 0 0 9 ,   P   1 1   I N T   C   U B   C O M P ;   K j a e r g a a r d   M .   B . ,   2 0 0 9 ,   M O B I S Y S ;   K o l i o s   V . ,   2 0 1 2 ,   M O B   N E T W   A P P L ,   V 1 7 ,   P 2 6 7 ;   K u p p e r   A . ,   2 0 0 6 ,   S I G M O B I L E   M O B   C O M P U T ,   V 1 0 ,   P 1 ;   L e e   Y . ,   2 0 1 2 ,   P   M O B I S Y S ;   M i e t t i n e n   A .   P . ,   2 0 0 9 ,   P   1   U S E N I X   C   H O T   T O P ;   M i n   A .   W . ,   2 0 1 2 ,   P   9   C   C O M P   F R O N T ;   N a t h   S . ,   2 0 1 2 ,   P   M O B I S Y S   N E W   Y O R K   N ;   P h i t h a k k i t n u k o o n   S . ,   2 0 1 0 ,   P   1   I N T   C   H U M   B E H   U N ;   S h m o y s   D . B . ,   1 9 9 7 ,   P   2 9   A N N   A C M   S   T H E O R ;   T h i a g a r a j a n   A . ,   2 0 1 1 ,   P   N S D I ;   T i k a m d a s   P .   S . ,   2 0 0 9 ,   W O C N ;   T r u o n g   K .   N . ,   2 0 1 0 ,   P   U B 	 2 1 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 2 1 6 0 - 4 8 8 6 	 	 9 7 8 - 1 - 4 5 7 7 - 2 0 1 4 - 7 	 I E E E   C O N F   W I R E L   M O B 	 	 	 2 0 1 3 	 	 	 	 	 	 	 4 3 6 	 4 4 3 	 	 	 	 8 	 T e l e c o m m u n i c a t i o n s 	 T e l e c o m m u n i c a t i o n s 	 B A 1 G A 	 W O S : 0 0 0 3 3 2 4 7 1 3 0 0 0 6 5 	 	 
 J 	 R o o p a ,   T ;   I y e r ,   A N ;   R a n g a s w a m y ,   S 	 	 	 I E E E 	 R o o p a ,   T . ;   I y e r ,   A n a n t h a r a m a n   N a r a y a n a ;   R a n g a s w a m y ,   S h a n t a 	 	 	 C r o T I S   -   C r o w d s o u r c i n g   b a s e d   T r a f f i c   I n f o r m a t i o n   S y s t e m 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N G R E S S   O N   B I G   D A T A 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n g r e s s   o n   B i g   D a t a 	 J U N   2 7 - J U L   0 2 ,   2 0 1 3 	 S a n t a   C l a r a ,   C A 	 I E E E ,   I E E E   C o m p   S o c 	 	 C r o w d s o u r c i n g ;   I n t e l l i g e n t   T r a f f i c   s y s t e m s ;   B i g   d a t a ;   S m a r t p h o n e 	 	 R o a d   T r a f f i c   c o n g e s t i o n   i s   a   p e r e n n i a l   p r o b l e m   a c r o s s   t h e   g l o b e .   T h e   n a t u r e   o f   t h e   p r o b l e m s   a s s o c i a t e d   w i t h   v e h i c u l a r   t r a f f i c   i s   n o t   u n i f o r m   a c r o s s   t h e   g l o b e .   I n   t h e   r e c e n t   p a s t ,   s e v e r a l   s o l u t i o n s   w e r e   p r o p o s e d   t o   i m p r o v e   t r a f f i c   m a n a g e m e n t .   H o w e v e r   m o s t   o f   t h e s e   s o l u t i o n s   c a t e r   t o   t h e   t r a f f i c   s c e n a r i o s   i n   t h e   d e v e l o p e d   c o u n t r i e s   w h e r e   t r a f f i c   i s   l a n e   b a s e d   a n d   t h e   i s s u e s   b e i n g   e n c o u n t e r e d   i s   q u i t e   d i f f e r e n t   f r o m   t h a t   o f   d e v e l o p i n g   c o u n t r i e s .   T h e   e x i s t i n g   s o l u t i o n s   c a n n o t   b e   r e a d i l y   a p p l i e d   t o   t h e   t r a f f i c   s i t u a t i o n   o f   d e v e l o p i n g   c o u n t r i e s .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a n   a r c h i t e c t u r e   w h i c h   a d d r e s s e s   t h e   c h a l l e n g e s   o f   r e a l   t i m e   t r a f f i c   m a n a g e m e n t   o f   n o n - l a n e   b a s e d   a n d   c h a o t i c   t r a f f i c   o f   d e v e l o p i n g   c o u n t r i e s .   T h e   b i g   d a t a   c o l l e c t e d   f o r   t r a f f i c   a n a l y s i s   c a n   b e   u s e d   t o   p r o v i d e   p r e d i c t i v e   a n a l y s i s   a n d   p a t t e r n s   t o   e n a b l e   t h e   T r a f f i c   D e p a r t m e n t   t o   m a n a g e   t h e   t r a f f i c   b e t t e r . 	 [ R o o p a ,   T . ]   P E S   I T ,   B a n g a l o r e ,   K a r n a t a k a ,   I n d i a 	 R o o p a ,   T   ( r e p r i n t   a u t h o r ) ,   P E S   I T ,   B a n g a l o r e ,   K a r n a t a k a ,   I n d i a . 	 r o o p a t @ p e s . e d u ;   a n a n t h @ a d o b e . c o m ;   s h a n t h a r a n g a s w a m y @ r v c e . e d u . i n 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 2 ,   B A S   R O A D   S T A T   I N D ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   P A S S E N G E R   F R E I G H T   T R ;   B h a n d a r k a r   M ,   I P D P S   2 0 1 0   I E E E   S ;   D e s h i n g k a r   P r i y a ,   2 0 0 9 ,   M I G R A T I O N   H U M A N   D E V ;   E n d a r n o t o   S .   K ,   2 0 1 1 ,   I C E E I ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   L e d u c   G u i l l a u m e ,   2 0 0 8 ,   4 7 9 6 7   J R C   E U R   C O M M   O ;   S h v a c h k o   K ,   M S S T   2 0 1 0   I E E E   2 6   S ;   S i n g h   S a n j a y   k u m a r ,   2 0 1 2 ,   U R B A N   T R A N S P O R T   I N D I ;   W i b i s o n o   A ,   2 0 1 2 ,   I C A C S I S ;   Z d e b   M i k e ,   0 5 0 2 0 1 0   S A S   G L O B   F O R ;   Z e n g   K ,   2 0 1 3 ,   I E E E   I N T E L L   S Y S T ,   V 2 8 ,   P 7 2 	 1 2 	 1 	 1 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 5 0 0 6 - 0 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 2 7 1 	 2 7 7 	 	 1 0 . 1 1 0 9 / B i g D a t a . C o n g r e s s . 2 0 1 3 . 4 3 	 	 7 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 1 G T 	 W O S : 0 0 0 3 3 2 5 2 8 3 0 0 0 3 6 	 	 
 J 	 D o l s t r a ,   E ;   V l i e g e n d h a r t ,   R ;   P o u w e l s e ,   J 	 	 	 I E E E   C o m p   S o c 	 D o l s t r a ,   E e l c o ;   V l i e g e n d h a r t ,   R a y n o r ;   P o u w e l s e ,   J o h a n 	 	 	 C r o w d s o u r c i n g   G U I   T e s t s 	 2 0 1 3   I E E E   S I X T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S O F T W A R E   T E S T I N G ,   V E R I F I C A T I O N   A N D   V A L I D A T I O N   ( I C S T   2 0 1 3 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 6 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S o f t w a r e   T e s t i n g ,   V e r i f i c a t i o n   a n d   V a l i d a t i o n   ( I C S T ) 	 M A R   1 8 - 2 2 ,   2 0 1 3 	 L u x e m b o u r g ,   L U X E M B O U R G 	 I E E E ,   P & T   L u x e m b o u r g ,   I E E ,   S E S ,   F o n d s   N a t l   R e c h   L u x e m b o u r g ,   L u x i n n o v a t i o n ,   S e c u r   &   T r u s t ,   U n i v   L u x e m b o u r g ,   C o m p   S c i   &   C o m m u n   R e s   U n i t ,   L a b   A d v   S o f t w a r e   S y s t ,   I E E E   C o m p   S o c 	 	 	 	 G r a p h i c a l   u s e r   i n t e r f a c e s   a r e   d i f f i c u l t   t o   t e s t :   a u t o m a t e d   t e s t s   a r e   h a r d   t o   c r e a t e   a n d   m a i n t a i n ,   w h i l e   m a n u a l   t e s t s   a r e   t i m e - c o n s u m i n g ,   e x p e n s i v e   a n d   h a r d   t o   i n t e g r a t e   i n   a   c o n t i n u o u s   t e s t i n g   p r o c e s s .   I n   t h i s   p a p e r ,   w e   s h o w   t h a t   i t   i s   p o s s i b l e   t o   c r o w d s o u r c e   G U I   t e s t s ,   t h a t   i s ,   t o   o u t s o u r c e   t h e m   t o   i n d i v i d u a l s   d r a w n   f r o m   a   l a r g e   p o o l   o f   w o r k e r s   o n   t h e   I n t e r n e t ,   b y   i n s t a n t i a t i n g   v i r t u a l   m a c h i n e s   ( V M s )   r u n n i n g   t h e   s y s t e m   u n d e r   t e s t   a n d   l e t t i n g   t e s t e r s   a c c e s s   t h e   V M s   t h r o u g h   t h e i r   w e b   b r o w s e r s .   T h i s   e n a b l e s   s e m i - a u t o m a t e d   c o n t i n u o u s   t e s t i n g   o f   G U I s   a n d   u s a b i l i t y   e x p e r i m e n t s   w i t h   l a r g e   n u m b e r s   o f   p a r t i c i p a n t s   a t   l o w   c o s t .   S e v e r a l   l a r g e   e x p e r i m e n t s   o n   t h e   A m a z o n   M e c h a n i c a l   T u r k   d e m o n s t r a t e   t h a t   o u r   a p p r o a c h   i s   t e c h n i c a l l y   f e a s i b l e   a n d   s u f f i c i e n t l y   r e l i a b l e . 	 [ D o l s t r a ,   E e l c o ]   L o g i c B l o x   I n c ,   A t l a n t a ,   G A   U S A 	 D o l s t r a ,   E   ( r e p r i n t   a u t h o r ) ,   L o g i c B l o x   I n c ,   A t l a n t a ,   G A   U S A . 	 e e l c o . d o l s t r a @ l o g i c b l o x . c o m ;   r . v l i e g e n d h a r t @ t u d e l f t . n l ;   j . a . p o u w e l s e @ t u d e l f t . n l 	 	 	 	 	 A d a r   E . ,   2 0 1 1 ,   C H I   2 0 1 1   W O R K S H   C R O W ;   A m b a t i   V . ,   2 0 1 0 ,   7   C   I N T   L A N G   R E S   E V ;   A r c a n g e l i   A . ,   2 0 0 9 ,   L I N   S   J U L ;   B u h r m e s t e r   M . ,   2 0 1 1 ,   P E R S P E C T I V E S   P S Y C H O L ,   V 6 ;   D o l s t r a   E ,   2 0 0 4 ,   P R O C   I N T   C O N F   S O F T W ,   P 5 8 3 ,   D O I   1 0 . 1 1 0 9 / I C S E . 2 0 0 4 . 1 3 1 7 4 8 0 ;   D o l s t r a   E . ,   2 0 0 8 ,   1 3   A C M   S I G P L A N   I N T   C ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   I p e i r o t i s   P .   G . ,   2 0 1 0 ,   M E C H   T U R K   N O W   4 0   9 2 ;   K o h a v i   R ,   2 0 0 9 ,   D A T A   M I N   K N O W L   D I S C ,   V 1 8 ,   P 1 4 0 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 1 8 - 0 0 8 - 0 1 1 4 - 1 ;   M e m o n   A ,   2 0 0 3 ,   1 8 T H   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   A U T O M A T E D   S O F T W A R E   E N G I N E E R I N G ,   P R O C E E D I N G S ,   P 1 6 4 ,   D O I   1 0 . 1 1 0 9 / A S E . 2 0 0 3 . 1 2 4 0 3 0 4 ;   M e m o n   A ,   2 0 0 4 ,   1 9 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   A U T O M A T E D   S O F T W A R E   E N G I N E E R I N G ,   P R O C E E D I N G S ,   P 1 8 6 ;   M e m o n   A .   M . ,   2 0 0 1 ,   T H E S I S   U   P I T T S B U R G H ;   M e m o n   A .   M . ,   2 0 0 0 ,   8   A C M   S I G S O F T   I N T   S ,   P 3 0 ;   M Y E R S   B A ,   1 9 9 3 ,   A D V   H U M A N   C O M P U T E R   I ,   V 4 ,   P 1 1 0 ;   N o v o t n e y   S . ,   2 0 1 0 ,   H U M A N   L A N G U A G E   T E C H N ,   P 2 0 7 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 4 1 1 ;   P o u w e l s e   J A ,   2 0 0 8 ,   C O N C U R R   C O M P - P R A C T   E ,   V 2 0 ,   P 1 2 7 ,   D O I   1 0 . 1 0 0 2 / c p e . 1 1 8 9 ;   v a n   d e r   B u r g   S . ,   2 0 1 0 ,   2 1   I E E E   I N T   S   S O F T W ;   W h i t e   L ,   2 0 0 0 ,   1 1 T H   I N T E R N A T I O N A L   S Y M P O S I U M   O N   S O F T W A R E   R E L I A B I L I T Y   E N G I N E E R I N G ,   P R O C E E D I N G S ,   P 1 1 0 ;   X i e   Q . ,   2 0 0 6 ,   2 8   I N T   C   S O F T W   E N G   I ,   P 9 9 7 ;   X i e   Q . ,   2 0 0 7 ,   A C M   T   S O F T W A R E   E N G   M ,   V 1 6 ;   Y u a n   X ,   2 0 0 7 ,   P R O C   I N T   C O N F   S O F T W ,   P 3 9 6 ;   Z a i d a n   O .   F . ,   2 0 1 1 ,   4 9   A N N   M   A S S   C O M P   L I ,   P 1 2 2 0 	 2 3 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 2 6 4   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 4 9 6 8 - 2 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 3 3 2 	 3 4 1 	 	 1 0 . 1 1 0 9 / I C S T . 2 0 1 3 . 4 4 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 B A 1 G B 	 W O S : 0 0 0 3 3 2 4 7 3 3 0 0 0 3 6 	 	 
 J 	 P a s t o r e ,   F ;   M a r i a n i ,   L ;   F r a s e r ,   G 	 	 	 I E E E   C o m p   S o c 	 P a s t o r e ,   F a b r i z i o ;   M a r i a n i ,   L e o n a r d o ;   F r a s e r ,   G o r d o n 	 	 	 C r o w d O r a c l e s :   C a n   t h e   C r o w d   S o l v e   t h e   O r a c l e   P r o b l e m ? 	 2 0 1 3   I E E E   S I X T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S O F T W A R E   T E S T I N G ,   V E R I F I C A T I O N   A N D   V A L I D A T I O N   ( I C S T   2 0 1 3 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 6 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S o f t w a r e   T e s t i n g ,   V e r i f i c a t i o n   a n d   V a l i d a t i o n   ( I C S T ) 	 M A R   1 8 - 2 2 ,   2 0 1 3 	 L u x e m b o u r g ,   L U X E M B O U R G 	 I E E E ,   P & T   L u x e m b o u r g ,   I E E ,   S E S ,   F o n d s   N a t l   R e c h   L u x e m b o u r g ,   L u x i n n o v a t i o n ,   S e c u r   &   T r u s t ,   U n i v   L u x e m b o u r g ,   C o m p   S c i   &   C o m m u n   R e s   U n i t ,   L a b   A d v   S o f t w a r e   S y s t ,   I E E E   C o m p   S o c 	 	 t e s t   o r a c l e s ;   c r o w d   s o u r c i n g ;   t e s t   c a s e   g e n e r a t i o n 	 G E N E R A T I O N 	 D e s p i t e   t h e   r e c e n t   a d v a n c e s   i n   t e s t   g e n e r a t i o n ,   f u l l y   a u t o m a t i c   s o f t w a r e   t e s t i n g   r e m a i n s   a   d r e a m :   U l t i m a t e l y ,   a n y   g e n e r a t e d   t e s t   i n p u t   d e p e n d s   o n   a   t e s t   o r a c l e   t h a t   d e t e r m i n e s   c o r r e c t n e s s ,   a n d ,   e x c e p t   f o r   g e n e r i c   p r o p e r t i e s   s u c h   a s   " t h e   p r o g r a m   s h a l l   n o t   c r a s h " ,   s u c h   o r a c l e s   r e q u i r e   h u m a n   i n p u t   i n   o n e   f o r m   o r   a n o t h e r .   C r o w d S o u r c i n g   i s   a   r e c e n t l y   p o p u l a r   t e c h n i q u e   t o   a u t o m a t e   c o m p u t a t i o n s   t h a t   c a n n o t   b e   p e r f o r m e d   b y   m a c h i n e s ,   b u t   o n l y   b y   h u m a n s .   A   p r o b l e m   i s   s p l i t   i n t o   s m a l l   c h u n k s ,   t h a t   a r e   t h e n   s o l v e d   b y   a   c r o w d   o f   u s e r s   o n   t h e   I n t e r n e t .   I n   t h i s   p a p e r   w e   i n v e s t i g a t e   w h e t h e r   i t   i s   p o s s i b l e   t o   e x p l o i t   C r o w d S o u r c i n g   t o   s o l v e   t h e   o r a c l e   p r o b l e m :   W e   p r o d u c e   t a s k s   a s k i n g   u s e r s   t o   e v a l u a t e   C r o w d O r a c l e s   -   a s s e r t i o n s   t h a t   r e f l e c t   t h e   c u r r e n t   b e h a v i o r   o f   t h e   p r o g r a m .   I f   t h e   c r o w d   d e t e r m i n e s   t h a t   a n   a s s e r t i o n   d o e s   n o t   m a t c h   t h e   b e h a v i o r   d e s c r i b e d   i n   t h e   c o d e   d o c u m e n t a t i o n ,   t h e n   a   b u g   h a s   b e e n   f o u n d .   O u r   e x p e r i m e n t s   d e m o n s t r a t e   t h a t   C r o w d O r a c l e s   a r e   a   v i a b l e   s o l u t i o n   t o   a u t o m a t e   t h e   o r a c l e   p r o b l e m ,   y e t   t a m i n g   t h e   c r o w d   t o   g e t   u s e f u l   r e s u l t s   i s   a   d i f f i c u l t   t a s k . 	 [ P a s t o r e ,   F a b r i z i o ;   M a r i a n i ,   L e o n a r d o ]   U n i v   M i l a n o   B i c o c c a ,   M i l a n ,   I t a l y 	 P a s t o r e ,   F   ( r e p r i n t   a u t h o r ) ,   U n i v   M i l a n o   B i c o c c a ,   M i l a n ,   I t a l y . 	 p a s t o r e @ d i s c o . u n i m i b . i t ;   m a r i a n i @ d i s c o . u n i m i b . i t ;   G o r d o n . F r a s e r @ s h e f f i e l d . a c . u k 	 	 	 	 	 D a n i e l   B ,   2 0 0 9 ,   I E E E   I N T   C O N F   A U T O M ,   P 4 3 3 ,   D O I   1 0 . 1 1 0 9 / A S E . 2 0 0 9 . 1 7 ;   E v a n s   R . ,   2 0 0 7 ,   P   F S E ,   P 5 4 9 ,   D O I   1 0 . 1 1 4 5 / 1 2 8 7 6 2 4 . 1 2 8 7 7 0 7 ;   F r a n k l i n   M . J . ,   2 0 1 1 ,   P   2 0 1 1   A C M   S I G M O D   I N ,   P 6 1 ;   F r a s e r   G . ,   2 0 1 1 ,   I E E E   T   S O F T W A R E   E N G ,   V 3 8 ,   P 2 7 8 ;   F r a s e r   G . ,   2 0 1 1 ,   P   1 9   A C M   S I G S O F T   S   1 ,   P 4 1 6 ;   G o d e f r o i d   P ,   2 0 0 5 ,   A C M   S I G P L A N   N O T I C E S ,   V 4 0 ,   P 2 1 3 ,   D O I   1 0 . 1 1 4 5 / 1 0 6 4 9 7 8 . 1 0 6 5 0 3 6 ;   H e e r   J ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 0 3 ;   H o r t o n   J . J . ,   2 0 1 0 ,   P   1 1   A C M   C   E L   C O M M ,   P 2 0 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 0 7 3 4 2 . 1 8 0 7 3 7 6 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   M a   Y . - S . ,   2 0 0 6 ,   P   2 8   I N T   C   S O F T W   E N G ,   P 8 2 7 ,   D O I   1 0 . 1 1 4 5 / 1 1 3 4 2 8 5 . 1 1 3 4 4 2 5 ;   M i l l e r   E . ,   1 9 8 1 ,   I E E E   C O M P U T E R   S O C ;   O f f u t t   A .   J . ,   1 9 9 6 ,   A C M   T r a n s a c t i o n s   o n   S o f t w a r e   E n g i n e e r i n g   a n d   M e t h o d o l o g y ,   V 5 ,   D O I   1 0 . 1 1 4 5 / 2 2 7 6 0 7 . 2 2 7 6 1 0 ;   P a c h e c o   C . ,   2 0 0 7 ,   P   C O M P   2 2   A C M   S I G P L A ,   P 8 1 5 ;   P a c h e c o   C ,   2 0 0 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 5 8 6 ,   P 5 0 4 ;   P a n d i t a   R ,   2 0 1 2 ,   P R O C   I N T   C O N F   S O F T W ,   P 8 1 5 ,   D O I   1 0 . 1 1 0 9 / I C S E . 2 0 1 2 . 6 2 2 7 1 3 7 ;   S t o l e e   K .   T . ,   2 0 1 0 ,   P   I N T   S   E M P   S O F T W   E N ,   P 3 5 ;   T a n e j a   K . ,   2 0 0 8 ,   P   A S E ,   P 4 0 7 ;   T i l l m a n n   N ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 9 6 6 ,   P 1 3 4 ;   X i e   T ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 0 6 7 ,   P 3 8 0 	 1 9 	 1 	 1 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 2 6 4   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 4 9 6 8 - 2 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 3 4 2 	 3 5 1 	 	 1 0 . 1 1 0 9 / I C S T . 2 0 1 3 . 1 3 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 B A 1 G B 	 W O S : 0 0 0 3 3 2 4 7 3 3 0 0 0 3 7 	 	 
 J 	 S h i f f m a n ,   G M ;   G u p t a ,   R 	 	 	 	 S h i f f m a n ,   G a r y   M . ;   G u p t a ,   R a v i 	 	 	 C r o w d s o u r c i n g   c y b e r   s e c u r i t y :   a   p r o p e r t y   r i g h t s   v i e w   o f   e x c l u s i o n   a n d   t h e f t   o n   t h e   i n f o r m a t i o n   c o m m o n s 	 I N T E R N A T I O N A L   J O U R N A L   O F   T H E   C O M M O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C o m m o n s ;   c y b e r   s e c u r i t y 	 T R A G E D Y ;   S U S T A I N A B I L I T Y ;   P U N I S H M E N T 	 I n d i v i d u a l s   i n c r e a s i n g l y   r e l y   u p o n   t h e   i n t e r n e t   f o r   b a s i c   e c o n o m i c   i n t e r a c t i o n .   C u r r e n t   c y b e r   s e c u r i t y   m e c h a n i s m s   a r e   u n a b l e   t o   s t o p   a d v e r s a r i e s   a n d   h a c k e r s   f r o m   g a i n i n g   a c c e s s   t o   s e n s i t i v e   i n f o r m a t i o n   s t o r e d   o n   g o v e r n m e n t ,   b u s i n e s s ,   a n d   p u b l i c   c o m p u t e r s .   E x p e r t s   p r o p o s e   i m p l e m e n t i n g   a t t r i b u t i o n   a n d   a u d i t   f r a m e w o r k s   i n   c y b e r s p a c e   t o   d e t e r ,   p r e v e n t ,   a n d   p r o s e c u t e   c y b e r   c r i m i n a l s   a n d   a t t a c k e r s .   H o w e v e r ,   t h i s   m e t h o d   f a c e s   s i g n i f i c a n t   p o l i c y   a n d   r e s o u r c e   c o n s t r a i n t s .   S o c i a l   s c i e n c e   r e s e a r c h ,   s p e c i f i c a l l y   i n   l a w   a n d   e c o n o m i c s ,   c o n c e r n i n g   c o m m o n - p o o l   r e s o u r c e s   s u g g e s t s   a n   o r g a n i c   a p p r o a c h   t o   c y b e r   s e c u r i t y   m a y   y i e l d   a n   a p p r o p r i a t e   s o l u t i o n .   T h i s   c y b e r   c o m m o n s   m e t h o d   i n v o l v e s   t r e a t i n g   t h e   i n t e r n e t   a s   a   c o m m o n s   a n d   e n c o u r a g i n g   i n d i v i d u a l s   a n d   i n s t i t u t i o n s   t o   v o l u n t a r i l y   i m p l e m e n t   i n n o v a t i v e   a n d   a d a p t i v e   m o n i t o r i n g   m e c h a n i s m s .   S u c h   m e c h a n i s m s   a r e   a l r e a d y   i n   u s e   a n d   i n   m a n y   c a s e s   h a v e   p r o v e n   m o r e   e f f e c t i v e   t h a n   a t t r i b u t i o n   m e c h a n i s m s   i n   r e s i s t i n g   a n d   t r a c i n g   t h e   s o u r c e   o f   c y b e r   a t t a c k s . 	 [ S h i f f m a n ,   G a r y   M . ]   G e o r g e t o w n   U n i v ,   S c h   F o r e i g n   S e r v ,   C t r   S e c u r   S t u d i e s ,   W a s h i n g t o n ,   D C   2 0 0 5 7   U S A 	 S h i f f m a n ,   G M   ( r e p r i n t   a u t h o r ) ,   G e o r g e t o w n   U n i v ,   S c h   F o r e i g n   S e r v ,   C t r   S e c u r   S t u d i e s ,   W a s h i n g t o n ,   D C   2 0 0 5 7   U S A . 	 g m s 2 4 @ g e o r g e t o w n . e d u ;   r a v i @ e n k i d u 7 . c o m 	 	 	 	 	 A L C H I A N   A A ,   1 9 7 3 ,   J   E C O N   H I S T ,   V 3 3 ,   P 1 6 ;   A p a c h e ,   W E L C   A P   S O F T W   F D N ;   B a n a n a   A . Y . ,   2 0 0 0 ,   P E O P L E   F O R E S T S   C O M M U ,   P 8 7 ;   B a t e s o n   M ,   2 0 0 6 ,   B I O L   L E T T - U K ,   V 2 ,   P 4 1 2 ,   D O I   1 0 . 1 0 9 8 / r s b l . 2 0 0 6 . 0 5 0 9 ;   B A U M E I S T E R   R F ,   1 9 9 5 ,   P S Y C H O L   B U L L ,   V 1 1 7 ,   P 4 9 5 ;   B e a u m o n t   P . ,   2 0 1 0 ,   G U A R D I A N ;   B E C K E R   C D ,   1 9 9 5 ,   A N N U   R E V   E C O L   S Y S T ,   V 2 6 ,   P 1 1 3 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . e s . 2 6 . 1 1 0 1 9 5 . 0 0 0 5 5 3 ;   B E C K E R   G S ,   1 9 6 8 ,   J   P O L I T   E C O N ,   V 7 6 ,   P 1 6 9 ,   D O I   1 0 . 1 0 8 6 / 2 5 9 3 9 4 ;   B o c h e t   O ,   2 0 0 6 ,   J   E C O N   B E H A V   O R G A N ,   V 6 0 ,   P 1 1 ,   D O I   1 0 . 1 0 1 6 / j . j e b o . 2 0 0 3 . 0 6 . 0 0 6 ;   B o w d e n   M . ,   2 0 1 0 ,   A T L A N T I C   M A G A Z I N   J U N ;   B U C H A N A N   J M ,   1 9 6 5 ,   E C O N O M I C A ,   V 3 2 ,   P 1 ,   D O I   1 0 . 2 3 0 7 / 2 5 5 2 4 4 2 ;   C h e r t o f f   M . ,   2 0 1 0 ,   J   N A T L   S E C U R I T Y   L A W ,   V 4 ,   P 1 ;   C l a y t o n   M . ,   2 0 1 0 ,   C H R I S T I A N   S C I   M O N I T O ;   C o n f i c k e r   W o r k i n g   G r o u p ,   2 0 1 0 ,   C O N F   W O R K   G R O U P   L E S S ;   D e i b e r t   R J ,   2 0 1 0 ,   I N T   P O L I T   S O C I O L ,   V 4 ,   P 1 5 ;   E c o n o m i d e s   N . ,   2 0 0 8 ,   J   L A W   P O L I C Y   I N F O R M ,   V 4 ,   P 2 0 9 ;   G o l d s m i t h   J . ,   2 0 1 0 ,   W A S H I N G T O N   P O S T ;   G o r m a n   S . ,   2 0 0 9 ,   W A L L   S T R E E T   J ,   V 1 7 ,   p A 1 ;   G R A Y   C S ,   1 9 7 1 ,   W O R L D   P O L I T ,   V 2 4 ,   P 3 9 ,   D O I   1 0 . 2 3 0 7 / 2 0 0 9 7 0 6 ;   G r e e n e   T . ,   2 0 0 9 ,   N E T W O R K   W O R L D ;   H a h n   R . ,   2 0 0 6 ,   E C   V O I C E ,   V 3 ,   P 1 ;   H A R D I N   G ,   1 9 6 8 ,   S C I E N C E ,   V 1 6 2 ,   P 1 2 4 3 ;   H a y e s   T a n y a ,   2 0 0 5 ,   I N D I A N A   L A W   R E V ,   V 3 8 ,   P 5 9 5 ;   H e l l e r   M A ,   1 9 9 8 ,   H A R V A R D   L A W   R E V ,   V 1 1 1 ,   P 6 2 1 ,   D O I   1 0 . 2 3 0 7 / 1 3 4 2 2 0 3 ;   H e s s   C . ,   2 0 0 7 ,   U N D E R S T A N D I N G   K N O W L E ,   P 4 ;   H o m e l a n d   S e c u r i t y   a n d   D e f e n s e   B u s i n e s s   C o u n c i l ,   2 0 1 0 ,   9   1 0   1 1   P R O J   C Y B   S E C ;   H o n e y n e t   P r o j e c t ,   2 0 1 0 ,   H O N   P R O J   2 0 1 0 ;   H o n e y n e t   P r o j e c t ,   2 0 0 8 ,   D E V   H O N E Y D   V I R T   H O N ;   H u n k e r   J . ,   2 0 0 8 ,   R O L E   C H A L L E N G E S   S U F F ;   H u r w i t z   R . ,   2 0 0 9 ,   G E N   F R A M E W O R K   A N A L   S ,   V 3 2 5 ,   P 4 1 9 ;   I B M ,   2 0 1 0 ,   M   C Y B   C H A L L   E M P   S T A K ;   J a c o b s   A . ,   2 0 1 0 ,   N Y   T I M E S ,   p A 1 ;   J a c o b s   J . ,   1 9 6 1 ,   D E A T H   L I F E   G R E A T   A M ;   K r a n i c h   N . ,   2 0 0 7 ,   U N D E R S T A N D I N G   K N O W L E ;   K r e b s   B . ,   2 0 0 9 ,   W A S H I N G T O N   P O S T ;   K s h e t r i   N . ,   2 0 0 5 ,   J   I N T   M A N A G ,   V 1 1 ,   P 5 4 1 ,   D O I   1 0 . 1 0 1 6 / j . i n t m a n . 2 0 0 5 . 0 9 . 0 0 9 ;   L a n d l e r   M a r k ,   2 0 0 7 ,   N Y   T I M E S ;   L y n n   W . ,   2 0 1 0 ,   F O R E I G N   A F F A I R S ;   M a r k o f f   J . ,   2 0 0 9 ,   N Y   T I M E S ,   p A 1 7 ;   M a r k o f f   J o h n ,   2 0 0 8 ,   N Y   T I M E S                 0 8 1 3 ,   p A 1 ;   M c M i l l a n   R . ,   2 0 0 9 ,   N E T W O R K   W O R L D ;   M u r c h u   L .   O . ,   2 0 1 0 ,   S T U X N E T   P 2 P   C O M P O N E N ;   N a g e n d r a   H . ,   2 0 0 5 ,   E C O L O G Y   S O C ,   V 1 0 ,   P 1 ;   N e p s t a d   D ,   2 0 0 6 ,   C O N S E R V   B I O L ,   V 2 0 ,   P 6 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 2 3 - 1 7 3 9 . 2 0 0 6 . 0 0 3 5 1 . x ;   O L S O N   M ,   1 9 9 3 ,   A M   P O L I T   S C I   R E V ,   V 8 7 ,   P 5 6 7 ,   D O I   1 0 . 2 3 0 7 / 2 9 3 8 7 3 6 ;   O r a c l e ,   O R   J A V ;   O r g a n i z a t i o n   f o r   E c o n o m i c   C o - O p e r a t i o n   a n d   D e v e l o p m e n t ,   2 0 0 8 ,   F U T   I N T   E C ;   O s t r o m   E ,   2 0 0 6 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 3 ,   P 1 9 2 2 4 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 6 0 7 9 6 2 1 0 3 ;   O s t r o m   E ,   2 0 0 9 ,   S C I E N C E ,   V 3 2 5 ,   P 4 1 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 7 2 1 3 3 ;   O s t r o m   E l e o n o r ,   2 0 0 3 ,   T R U S T   R E C I P R O C I T Y   I N ;   R a m p e l l   C . ,   2 0 0 8 ,   C H R O N I C L E   H I G H E R   E D ;   R a t t r a y   G . ,   2 0 1 0 ,   C O N T E S T E D   C O M M O N S   F U ;   R e s n i c k   P . ,   2 0 0 2 ,   A D V   A P P L   M I C R O E C O N O M ,   V 1 1 ;   S c h a t z   A . ,   2 0 1 0 ,   W A L L   S T R E E T   J ;   S c h n e i e r   B . ,   2 0 0 9 ,   W H O   S H O U L D   B E   C H A R G E ;   S e f t o n   M . ,   2 0 0 6 ,   E F F E C T   R E W A R D S   S A N C T ;   S h a c h t m a n   N . ,   2 0 1 0 ,   S P O O K S   M A C H I N E   P E N T A ;   S i e m e n s ,   2 0 1 1 ,   I N F   M A L W   V I R   T R O J ;   S y m a n t e c   C o r p o r a t i o n ,   2 0 1 0 ,   C Y B   R E P   U S ;   T a k a h a s h i   D . ,   2 0 1 1 ,   V E N T U R E B E A T           0 5 1 4 ;   T h e   W h i t e   H o u s e ,   2 0 0 9 ,   C Y B   P O L   R E V ;   T h e i r   D . ,   2 0 1 2 ,   F O R B E S ;   T h e i r   D . ,   2 0 0 9 ,   R E M A R K S   P R E S I D E N T   S E ;   U n i t e d   P r e s s   I n t e r n a t i o n a l ,   2 0 0 9 ,   C O N F   C A B   G O E S   C O M P   W ;   U n i t e d   S t a t e s   D e p a r t m e n t   o f   D e f e n s e ,   2 0 1 0 ,   Q U A D R   D E F   R E V ;   U n i t e d   S t a t e s   D e p a r t m e n t   o f   H o m e l a n d   S e c u r i t y ,   2 0 0 8 ,   N E I G H B   N E T W   W A T C H ;   U n i t e d   S t a t e s   G o v e r n m e n t ,   2 0 1 1 ,   O N G U A R D   O N L ;   U n i t e d   S t a t e s   H o u s e   C o m m i t t e e   o n   S c i e n c e   a n d   T e c h n o l o g y ,   2 0 1 0 ,   P L A N N   F U T   C Y B   A T T   A T ;   V a n   V u g t   M ,   2 0 0 9 ,   C U R R   D I R   P S Y C H O L   S C I ,   V 1 8 ,   P 1 6 9 ;   V e r m e i j   G J ,   2 0 0 8 ,   N A T U R A L   S E C U R I T Y :   A   D A R W I N I A N   A P P R O A C H   T O   A   D A N G E R O U S   W O R L D ,   P 2 5 ;   W h e e l e r   D .   A . ,   2 0 0 3 ,   T E C H N I Q U E S   C Y B E R   A T T ;   W o r l d   W i d e   F u n d   f o r   N a t u r e ,   2 0 0 4 ,   A R   P R O T   A R   W O R K   A N   F ;   W o r t h a m   J . ,   2 0 0 9 ,   N Y   T I M E S ,   p B 7 	 7 3 	 1 	 1 	 I G I T U R ,   U T R E C H T   P U B L I S H I N G   &   A R C H I V I N G   S E R V I C E S 	 U R T R E C H T 	 P O S T B U S   8 0 1 2 4 ,   U R T R E C H T ,   3 5 0 8   T C ,   N E T H E R L A N D S 	 1 8 7 5 - 0 2 8 1 	 	 	 I N T   J   C O M M O N S 	 I n t .   J .   C o m m o n s 	 	 2 0 1 3 	 7 	 1 	 	 	 	 	 9 2 	 1 1 2 	 	 	 	 2 1 	 E n v i r o n m e n t a l   S t u d i e s 	 E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y 	 A C 4 K K 	 W O S : 0 0 0 3 3 2 4 8 9 7 0 0 0 0 6 	 	 
 J 	 M a n s e l l ,   R 	 	 	 	 M a n s e l l ,   R o b i n 	 	 	 E m p l o y i n g   d i g i t a l   c r o w d s o u r c e d   i n f o r m a t i o n   r e s o u r c e s :   M a n a g i n g   t h e   e m e r g i n g   i n f o r m a t i o n   c o m m o n s 	 I N T E R N A T I O N A L   J O U R N A L   O F   T H E   C O M M O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A u t h o r i t y ;   b i g   d a t a ;   c o n t e n t   c u r a t i o n ;   c r o w d s o u r c i n g ;   d i g i t a l   c u r a t i o n ;   d i g i t a l   i n f o r m a t i o n   c o m m o n s ;   s o c i a l   t e c h n o l o g y 	 C I T I Z E N   S C I E N C E ;   C R I S I S 	 T h i s   p a p e r   e x a m i n e s   t h e   w a y s   l o o s e l y   c o n n e c t e d   o n l i n e   g r o u p s   a n d   f o r m a l   s c i e n c e   p r o f e s s i o n a l s   a r e   r e s p o n d i n g   t o   t h e   p o t e n t i a l   f o r   c o l l a b o r a t i o n   u s i n g   d i g i t a l   t e c h n o l o g y   p l a t f o r m s   a n d   c r o w d s o u r c i n g   a s   a   m e a n s   o f   g e n e r a t i n g   d a t a   i n   t h e   d i g i t a l   i n f o r m a t i o n   c o m m o n s .   T h e   p r e f e r r e d   a p p r o a c h e s   o f   e a c h   o f   t h e s e   g r o u p s   t o   m a n a g i n g   i n f o r m a t i o n   p r o d u c t i o n ,   c i r c u l a t i o n   a n d   a p p l i c a t i o n   a r e   e x a m i n e d   i n   t h e   l i g h t   o f   t h e   i n c r e a s i n g l y   v a s t   a m o u n t s   o f   d a t a   t h a t   a r e   b e i n g   g e n e r a t e d   b y   p a r t i c i p a n t s   i n   t h e   c o m m o n s .   C r o w d s o u r c i n g   p r o j e c t s   i n i t i a t e d   b y   g r o u p s   i n   t h e   f i e l d s   o f   a s t r o n o m y ,   e n v i r o n m e n t a l   s c i e n c e   a n d   c r i s i s   a n d   e m e r g e n c y   r e s p o n s e   a r e   u s e d   t o   i l l u s t r a t e   s o m e   o f   b a r r i e r s   a n d   o p p o r t u n i t i e s   f o r   g r e a t e r   c o l l a b o r a t i o n   i n   t h e   m a n a g e m e n t   o f   d a t a   s e t s   i n i t i a l l y   g e n e r a t e d   f o r   q u i t e   d i f f e r e n t   p u r p o s e s .   T h e   p a p e r   r e s p o n d s   t o   c l a i m s   i n   t h e   l i t e r a t u r e   a b o u t   t h e   i n c o m m e n s u r a b i l i t y   o f   e m e r g i n g   a p p r o a c h e s   t o   o p e n   i n f o r m a t i o n   m a n a g e m e n t   a s   p r a c t i c e d   b y   f o r m a l   s c i e n c e   a n d   m a n y   l o o s e l y   c o n n e c t e d   o n l i n e   g r o u p s ,   e s p e c i a l l y   w i t h   r e s p e c t   t o   a u t h o r i t y   a n d   t h e   c u r a t i o n   o f   d a t a .   Y e t ,   i n   t h e   w a k e   o f   t e c h n o l o g i c a l   i n n o v a t i o n   a n d   d i v e r s e   a p p l i c a t i o n s   o f   c r o w d s o u r c e d   d a t a ,   t h e r e   a r e   n u m e r o u s   o p p o r t u n i t i e s   f o r   c o l l a b o r a t i o n .   T h i s   p a p e r   d r a w s   o n   e x a m p l e s   e m p l o y i n g   d i f f e r e n t   s o c i a l   t e c h n o l o g i e s   o f   a u t h o r i t y   t o   g e n e r a t e   a n d   m a n a g e   d a t a   i n   t h e   c o m m o n s .   I t   s u g g e s t s   s e v e r a l   m e a s u r e s   t h a t   c o u l d   p r o v i d e   i n c e n t i v e s   f o r   g r e a t e r   c o l l a b o r a t i o n   i n   t h e   f u t u r e .   I t   a l s o   e m p h a s i s e s   t h e   n e e d   f o r   a   r e s e a r c h   a g e n d a   t o   e x a m i n e   w h e t h e r   a n d   h o w   c h a n g e s   i n   s o c i a l   t e c h n o l o g i e s   m i g h t   f o s t e r   c o l l a b o r a t i o n   i n   t h e   i n t e r e s t s   o f   r e a p i n g   t h e   b e n e f i t s   o f   i n c r e a s i n g l y   l a r g e   d a t a   r e s o u r c e s   f o r   b o t h   s h o r t e r   t e r m   a n a l y s i s   a n d   l o n g e r   t e r m   a c c u m u l a t i o n   o f   u s e f u l   k n o w l e d g e . 	 L o n d o n   S c h   E c o n   &   P o l i t   S c i ,   D e p t   M e d i a   &   C o m m u n ,   L o n d o n ,   E n g l a n d 	 M a n s e l l ,   R   ( r e p r i n t   a u t h o r ) ,   L o n d o n   S c h   E c o n   &   P o l i t   S c i ,   D e p t   M e d i a   &   C o m m u n ,   L o n d o n ,   E n g l a n d . 	 r . e . m a n s e l l @ l s e . a c . u k 	 	 	 	 	 A l b o r s   J ,   2 0 0 8 ,   I N T   J   I N F O R M   M A N A G E ,   V 2 8 ,   P 1 9 4 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 0 7 . 0 9 . 0 0 6 ;   A s m o l o v   G . ,   2 0 1 0 ,   R U S S I A   O N L I N E   C O O P E R ;   B a y m   N .   K . ,   2 0 1 0 ,   H D B   I N T E R N E T   S T U D I E S ;   B e n k l e r   Y ,   2 0 0 4 ,   S C I E N C E ,   V 3 0 5 ,   P 1 1 1 0 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 0 0 5 2 6 ;   B e n k l e r   Y ,   2 0 0 6 ,   J   P O L I T   P H I L O S ,   V 1 4 ,   P 3 9 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 7 6 0 . 2 0 0 6 . 0 0 2 3 5 . x ;   B e r d o u   E . ,   2 0 1 1 ,   O R G   O P E N   S O U R C E   C O M M ;   B e r d o u   E . ,   2 0 1 2 ,   N E W   T E C H N O L O G I E S   S E R ;   B o y d   D A ,   2 0 1 2 ,   A R A B   A N D   J E W I S H   W O M E N   I N   K E N T U C K Y :   S T O R I E S   O F   A C C O M M O D A T I O N   A N D   A U D A C I T Y ,   P 1 5 ;   B o y l e   J a m e s ,   2 0 0 8 ,   P U B L I C   D O M A I N   E N C L O S ;   B r a b h a m   D C ,   2 0 1 2 ,   I N F O R M   C O M M U N   S O C ,   V 1 5 ,   P 3 9 4 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 1 . 6 4 1 9 9 1 ;   B r u n s   A ,   2 0 1 0 ,   M A S H U P   C U L T U R E S ,   P 2 4 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 7 0 9 1 - 0 0 9 6 - 7 _ 2 ;   C a l l o n   M . ,   2 0 0 3 ,   T E C H N O L   S O C ,   V 2 5 ,   P 1 9 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 0 - 7 9 1 X ( 0 3 ) 0 0 0 2 1 - 6 ;   C a l l o n   M . ,   2 0 0 3 ,   S C I   I N N O V A T I O N   R E T H I ,   P 3 0 ;   C a s t e l l s   M . ,   2 0 0 9 ,   C O M M U N I C A T I O N   P O W E R ;   C h i l t o n   S . ,   2 0 0 9 ,   P   2 4   I N T   C A R T   C   S A N T ;   C o d a t a ,   2 0 1 2 ,   I N T   T R A I N   W O R K S H   D E V ;   C o n a n t   J . ,   2 0 0 0 ,   R O A D   S T R U C T U R E   P H I L O ;   C o o p e r   C B ,   2 0 0 7 ,   E C O L   S O C ,   V 1 2 ;   C r o s s   R ,   2 0 0 1 ,   O R G A N   D Y N ,   V 3 0 ,   P 1 0 0 ,   D O I   1 0 . 1 0 1 6 / S 0 0 9 0 - 2 6 1 6 ( 0 1 ) 0 0 0 4 6 - 8 ;   C u r r i o n   P . ,   2 0 1 1 ,   P E A C E B U I L D I N G   I N F O R M ,   P 3 9 ;   D a l l e   J .   M . ,   2 0 0 5 ,   O P E N   I S   F U T U R E   E C   S O ,   P 3 9 5 ;   D A S G U P T A   P ,   1 9 9 4 ,   R E S   P O L I C Y ,   V 2 3 ,   P 4 8 7 ;   D a v i d   P .   A . ,   2 0 1 0 ,   W O R L D   W I D E   R E S   R E S H A ,   P 2 9 9 ;   D a v i d   P .   A . ,   2 0 0 5 ,   0 0 0 2   S I E P R   S T A N F   U ;   D a v i d   P .   A . ,   2 0 1 3 ,   I S N I E   2 0 1 3   I N   P R E S S ;   D e   M o o r   T . ,   2 0 1 1 ,   N A T U R E S   S C I   S O C ,   V 1 0 ,   P 4 2 2 ;   D e n n i n g   P J ,   2 0 0 6 ,   C O M M U N   A C M ,   V 4 9 ,   P 1 5 ,   D O I   1 0 . 1 1 4 5 / 1 1 2 1 9 4 9 . 1 1 2 1 9 6 6 ;   D u L o n g   d e   R o s n a y   M . ,   2 0 1 2 ,   D I G I T A L   P U B L I C   D O M A I ;   D u t t o n   W .   H . ,   2 0 1 0 ,   W O R L D   W I D E   R E   R E S H A P ;   E P S R C ,   2 0 1 2 ,   R E S   W I L D   P R O G R ;   F u n g   A ,   2 0 0 7 ,   F U L L   D I S C L O S U R E :   T H E   P E R I L S   A N D   P R O M I S E   O F   T R A N S P A R E N C Y ,   P 1 ,   D O I   1 0 . 1 0 1 7 / C B O 9 7 8 0 5 1 1 5 1 0 5 3 3 ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ;   G i l l   A . ,   2 0 1 0 ,   C R O W D   S O U R C I N G   C H A L L ;   G i r i d h a r a d a s   A . ,   2 0 1 0 ,   N Y   T I M E S ;   G o l d f i n e   E . ,   2 0 1 1 ,   B E S T   P R A C T I C E S   U S E   S ;   G r a h a m   M ,   2 0 1 1 ,   P R O G   D E V   S T U D ,   V 1 1 ,   P 2 1 1 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 4 9 9 3 4 1 0 0 1 1 0 0 3 0 3 ;   H a c k e t t   E .   J . ,   2 0 1 1 ,   H D B   E M E R G E N T   T E C H N O L ,   P 2 5 ;   H a k l a y   M ,   2 0 1 0 ,   E N V I R O N   P L A N N   B ,   V 3 7 ,   P 6 8 2 ,   D O I   1 0 . 1 0 6 8 / b 3 5 0 9 7 ;   H a k l a y   M . ,   2 0 1 1 ,   C L A S S I F I C A T I O N   C I T I Z ;   H a r g r e a v e s   C . ,   2 0 1 0 ,   I C T S   P R E V E N T I O N   M A S S ;   H e s s   C . ,   2 0 1 2 ,   S T   A N T O N Y S   I N T   R E V ,   V 8 ,   P 1 3 ;   H e s s   C . ,   2 0 0 7 ,   U N D E R S T A N D I N G   K N O W L E ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   J e n k i n s   H e n r i ,   2 0 0 6 ,   C O N V E R G E N C E   C U L T U R E ;   K a t z   J . ,   2 0 0 2 ,   S O C I A L   C O N S E Q U E N C E S ;   L e v y   P . ,   1 9 9 7 ,   C O L L E C T I V E   I N T E L L I G E ;   L i n d b l o m   C . ,   1 9 7 9 ,   U S A B L E   K N O W L E D G E   S O C ;   M a l o n e   T .   W . ,   2 0 0 9 ,   4 7 3 2 0 9   M I T ;   M a t e o s   G a r c i a   J . ,   2 0 0 8 ,   O P E N   B U T   M U C H   G R O W T H ,   P 2 5 4 ;   M a y e r - S c h o n b e r g e r   V ,   2 0 1 3 ,   B I G   D A T A   R E V O L U T I O N ;   M e i e r   P . ,   2 0 1 0 ,   F U T U R E   N E W S   M O B I L I Z I ;   M e i e r   P . ,   2 0 0 9 ,   U S H A H I D I   C R O W D S O U R C I ;   M e r a l i   Z ,   2 0 0 5 ,   N A T U R E ,   V 4 3 5 ,   P 1 0 1 0 ,   D O I   1 0 . 1 0 3 8 / 4 3 5 1 0 1 0 a ;   M o k y r   J o e l ,   2 0 0 2 ,   G I F T S   A T H E N A ;   N e l s o n   R R ,   2 0 0 1 ,   J   E C O N   B E H A V   O R G A N ,   V 4 4 ,   P 3 1 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 2 6 8 1 ( 0 0 ) 0 0 1 5 2 - 9 ;   O ' R e i l l y   T . ,   2 0 0 5 ,   O P E N   I S   F U T U R E   E C   S O ,   P 8 5 ;   O k o l l o h   O . ,   2 0 0 9 ,   P A R T I C I P A T O R Y   L E A R N I ,   V 5 9 ,   P 6 5 ;   O s t r o m   E . ,   1 9 9 0 ,   G O V E R N I N G   C O M M O N S   E V ;   P e n t z o l d   C ,   2 0 1 1 ,   N E W   M E D I A   S O C ,   V 1 3 ,   P 7 0 4 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 1 0 3 7 8 3 6 4 ;   P l a n t i n   J . - C . ,   2 0 1 1 ,   M A P   I S   D E B A T E   R A D   W E ;   P o w e l l   M . ,   2 0 1 2 ,   1 6   I K M ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   S a v a g e   M ,   2 0 0 7 ,   S O C I O L O G Y ,   V 4 1 ,   P 8 8 5 ,   D O I   1 0 . 1 1 7 7 / 0 0 3 8 0 3 8 5 0 7 0 8 0 4 4 3 ;   S h i r k y   C l a y ,   2 0 1 0 ,   C O G N I T I V E   S U R P L U S   C R ;   S i l v e r t o w n   J ,   2 0 0 9 ,   T R E N D S   E C O L   E V O L ,   V 2 4 ,   P 4 6 7 ,   D O I   1 0 . 1 0 1 6 / j . t r e e . 2 0 0 9 . 0 3 . 0 1 7 ;   S m a r t   J . ,   2 0 0 7 ,   M E T A V E R S E   R O A D M A P   O V ;   S t a u f f a c h e r   D a n i e l ,   2 0 1 1 ,   P E A C E B U I L D I N G   I N F O R M ;   S t o d d e n   V . ,   2 0 1 0 ,   J   S C I   C O M M U N I C A T I O N ,   V 9 ,   P 1 ;   S u t h e r l i n   G ,   2 0 1 3 ,   J   I N F   S C I ,   V 3 9 ,   P 3 9 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 7 1 5 9 3 ;   T a p s c o t t   D . ,   2 0 0 7 ,   W I K I N O M I C S   M A S S   C O L L ;   T e i l h a r d   d e   C h a r d i n   P . ,   1 9 5 5 ,   H U M A N   P H E N O M E N O N ;   T h e   R o y a l   S o c i e t y ,   2 0 1 2 ,   S C I   O P   E N T ;   U N   C I T O ,   2 0 1 2 ,   C R I S   I N F   M A N   C I M A G   R ;   U N   G l o b a l   P u l s e ,   2 0 1 2 ,   R A P   I M P   V U L N   A N   F U N D ;   U N   G l o b a l   P u l s e ,   2 0 1 2 ,   B I G   D A T   D E V   C H A L L   O P ;   v o n   A h n   L . ,   2 0 0 5 ,   T H E S I S   C M U   P I T T S B U R G ;   W a g n e r   C S ,   2 0 0 8 ,   N E W   I N V I S I B L E   C O L L E G E :   S C I E N C E   F O R   D E V E L O P M E N T ,   P 1 ;   W e x l e r   M . N . ,   2 0 1 1 ,   I N T   J   S O C I O L O G Y   S O C I ,   V 3 1 ,   P 6 ,   D O I   D O I   1 0 . 1 1 0 8 / 0 1 4 4 3 3 3 1 1 1 1 1 0 4 7 7 9 ;   W i g g i n s   A . ,   2 0 1 1 ,   P   4 4   H A W   I N T   C   S Y S T ;   W i l d e r m a n   C .   C . ,   2 0 0 7 ,   P   C I T   S C I   T O O L K   C ;   Y a p   N .   T . ,   2 0 1 1 ,   D I S A S T E R   M A N A G E M E N T 	 8 2 	 0 	 0 	 I G I T U R ,   U T R E C H T   P U B L I S H I N G   &   A R C H I V I N G   S E R V I C E S 	 U R T R E C H T 	 P O S T B U S   8 0 1 2 4 ,   U R T R E C H T ,   3 5 0 8   T C ,   N E T H E R L A N D S 	 1 8 7 5 - 0 2 8 1 	 	 	 I N T   J   C O M M O N S 	 I n t .   J .   C o m m o n s 	 	 2 0 1 3 	 7 	 2 	 	 	 	 	 2 5 5 	 2 7 7 	 	 	 	 2 3 	 E n v i r o n m e n t a l   S t u d i e s 	 E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y 	 A C 4 K Q 	 W O S : 0 0 0 3 3 2 4 9 0 3 0 0 0 0 2 	 	 
 B 	 F i o r e ,   M ;   N o r d i o ,   A ;   C h i a s s e r i n i ,   C F 	 	 	 I E E E 	 F i o r e ,   M . ;   N o r d i o ,   A . ;   C h i a s s e r i n i ,   C .   - F . 	 	 	 I n v e s t i g a t i n g   t h e   A c c u r a c y   o f   M o b i l e   U r b a n   S e n s i n g 	 2 0 1 3   1 0 T H   A N N U A L   C O N F E R E N C E   O N   W I R E L E S S   O N - D E M A N D   N E T W O R K   S Y S T E M S   A N D   S E R V I C E S   ( W O N S ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 0 t h   A n n u a l   C o n f e r e n c e   o n   W i r e l e s s   O n - D e m a n d   N e t w o r k   S y s t e m s   a n d   S e r v i c e s   ( W O N S ) 	 M A R   1 8 - 2 0 ,   2 0 1 3 	 B a n f f ,   C A N A D A 	 	 	 	 	 C o m m u n i t y   u r b a n   s e n s i n g   i s   o n e   o f   t h e   e m e r g i n g   a p p l i c a t i o n s   e n a b l e d   b y   t h e   g r o w i n g   p o p u l a r i t y   o f   m o b i l e   u s e r   d e v i c e s ,   l i k e   s m a r t p h o n e s   a n d   i n - v e h i c l e   m o n i t o r i n g   s y s t e m s .   S u c h   d e v i c e s   f e a t u r e   s e n s i n g   a n d   w i r e l e s s   c o m m u n i c a t i o n   c a p a b i l i t i e s ,   w h i c h   e n a b l e   t h e m   t o   s a m p l e   l a r g e - s c a l e   p h e n o m e n a ,   l i k e   a i r   p o l l u t i o n   a n d   v e h i c u l a r   t r a f f i c   c o n g e s t i o n ,   a n d   u p l o a d   t h e s e   d a t a   t o   t h e   I n t e r n e t .   I n   t h i s   w o r k ,   w e   f o c u s   o n   t h e   a b o v e   s c e n a r i o   a n d   i n v e s t i g a t e   t h e   l e v e l   o f   a c c u r a c y   t h a t   c a n   b e   a c h i e v e d   i n   e s t i m a t i n g   t h e   p h e n o m e n o n   o f   i n t e r e s t   t h r o u g h   a   m o b i l e   c r o w d s o u r c i n g   a p p l i c a t i o n .   S p e c i f i c a l l y ,   w e   t a k e   a   s i g n a l   p r o c e s s i n g - b a s e d   a p p r o a c h   a n d   l e v e r a g e   r e s u l t s   o n   s i g n a l   r e c o n s t r u c t i o n   f r o m   s e t s   o f   i r r e g u l a r l y   s p a c e d   s a m p l e s .   W e   a p p l y   s u c h   r e s u l t s   t o   a   r e a l i s t i c   s c e n a r i o   w h e r e   s a m p l e s   a r e   c o l l e c t e d   b y   v e h i c u l a r   a n d   p e d e s t r i a n   u s e r s ,   a n d   s t u d y   t h e   a c c u r a c y   l e v e l   o f   t h e   p h e n o m e n o n   e s t i m a t i o n   a s   t h e   p e n e t r a t i o n   r a t e   o f   t h e   s e n s i n g   a p p l i c a t i o n   v a r i e s . 	 [ F i o r e ,   M . ]   I N S A   L y o n ,   L y o n ,   F r a n c e 	 F i o r e ,   M   ( r e p r i n t   a u t h o r ) ,   I N S A   L y o n ,   L y o n ,   F r a n c e . 	 	 	 	 	 	 G a n t i   R K ,   2 0 1 1 ,   I E E E   C O M M U N   M A G ,   V 4 9 ,   P 3 2 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 1 . 6 0 6 9 7 0 7 ;   G a w r o n   C ,   1 9 9 8 ,   I N T   J   M O D   P H Y S   C ,   V 9 ,   P 3 9 3 ,   D O I   1 0 . 1 1 4 2 / S 0 1 2 9 1 8 3 1 9 8 0 0 0 3 0 3 ;   H e r t k o r n   G . ,   2 0 0 4 ,   W O R L D   C   T R A N S P   R E S ;   L a n e   N D ,   2 0 1 0 ,   I E E E   C O M M U N   M A G ,   V 4 8 ,   P 1 4 0 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 0 . 5 5 6 0 5 9 8 ;   N o r d i o   A ,   2 0 1 1 ,   I E E E   T   S I G N A L   P R O C E S ,   V 5 9 ,   P 3 9 4 3 ,   D O I   1 0 . 1 1 0 9 / T S P . 2 0 1 1 . 2 1 4 6 7 7 8 ;   N o r d i o   A ,   2 0 0 8 ,   I E E E   T   S I G N A L   P R O C E S ,   V 5 6 ,   P 3 5 3 5 ,   D O I   1 0 . 1 1 0 9 / T S P . 2 0 0 8 . 9 2 4 8 6 5 ;   R i n d s f u s e r   G . ,   2 0 0 2 ,   S I M V V   M O B I L I T A T   V E R S ;   T u l i n o   A .   M . ,   2 0 0 4 ,   R A N D O M   M A T R I X   T H E O R Y ;   U p p o o r   S . ,   2 0 1 1 ,   I E E E   V N C 	 9 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 5 7 7 - 1 7 2 0 - 8 ;   9 7 8 - 1 - 4 7 9 9 - 0 7 4 7 - 2 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 2 5 	 2 8 	 	 	 	 4 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B A 0 O Y 	 W O S : 0 0 0 3 3 2 0 4 0 5 0 0 0 0 4 	 	 
 J 	 D o b o s ,   J ;   S o n s ,   K ;   R u b i n s t e i n ,   D ;   S l u s a l l e k ,   P ;   S t e e d ,   A 	 	 S p e n c e r ,   S N 	 	 D o b o s ,   J o z e f ;   S o n s ,   K r i s t i a n ;   R u b i n s t e i n ,   D m i t r i ;   S l u s a l l e k ,   P h i l i p p ;   S t e e d ,   A n t h o n y 	 	 	 X M L 3 D R e p o :   A   R E S T   A P I   f o r   V e r s i o n   C o n t r o l l e d   3 D   A s s e t s   o n   t h e   W e b 	 W E B 3 D   2 0 1 3 :   1 8 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   3 D   W E B   T E C H N O L O G Y 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 8 t h   I n t e r n a t i o n a l   A C M   S y m p o s i u m   o n   3 D   W e b   T e c h n o l o g i e s 	 J U N   2 0 - 2 2 ,   2 0 1 3 	 S a n   S e b a s t i a n ,   S P A I N 	 A C M ,   A C M   S I G G R A P H ,   E u r o g r a p h ,   W e b 3 D   C o n s o r t i u m ,   E D F ,   S a n   S e b a s t i a n   T o u r i s m   B u r ,   B a s q u e   G o v t 	 V i c o m t e c h 	 X M L 3 D ;   3 D   R e p o ;   r e v i s i o n   c o n t r o l ;   R E S T ;   C R U D 	 	 C u r r e n t   W e b   3 D   t e c h n o l o g i e s   a r e   n o t   y e t   f u l l y   e x p l o i t i n g   t h e   m o d e r n   d e s i g n   p a t t e r n s   f o r   a c c e s s i n g   o n l i n e   r e s o u r c e s   s u c h   a s   R E S T .   X M L 3 D R e p o   i s   a   n o v e l   f u s i o n   o f   X M L 3 D   a n d   3 D   R e p o .   X M L 3 D   i s   a n   o p e n   s o u r c e   e x t e n s i o n   t o   H T M L   t h a t   s u p p o r t s   i n t e r a c t i v e   3 D   g r a p h i c s   i n W e b G L - e n a b l e d   b r o w s e r s .   3 D   R e p o   i s   a   r e c e n t   v e r s i o n i n g   f r a m e w o r k   f o r   3 D   a s s e t s   t h a t   p r o v i d e s   r a w   a c c e s s   t o   i t s   N o S Q L   d a t a b a s e .   X M L 3 D R e p o ,   i n   t u r n ,   i s   a   s e r v e r - s i d e   c o m b i n a t i o n   o f   t h e   t w o   t e c h n o l o g i e s   t h a t   s t o r e s   a   u n i f i e d   f i l e   f o r m a t   i n d e p e n d e n t   r e p r e s e n t a t i o n   o f   3 D   s c e n e s   i n   i t s   r e p o s i t o r y   b u t   e x p o s e s   a   R E S T f u l   A P I   f o r   a   d e e p e r   i n t e g r a t i o n   w i t h   o t h e r   s e r v i c e s   u s i n g   a   v a r i e t y   o f   e n c o d i n g s   s e l e c t e d   b e t w e e n   b y   t h e   c l i e n t   a p p l i c a t i o n .   F i r s t ,   w e   o u t l i n e   t h e   o v e r a l l   a r c h i t e c t u r e   o f   t h e   s y s t e m   a n d   p r o v i d e   a   s i m p l e   y e t   p o w e r f u l   A P I   d e f i n i t i o n   t h a t   w e   b e l i e v e   h a s   t h e   p o t e n t i a l   t o   a c c o m m o d a t e   c r o w d s o u r c i n g   o f   3 D   m o d e l s   i n   t h e   f u t u r e .   N e x t ,   w e   d e s c r i b e   d i f f e r e n t   3 D   d a t a   e n c o d i n g   s t r a t e g i e s   f o r   t h e   W e b   a n d   e v a l u a t e   s e v e r a l   o f   t h e s e   f o r   t h e i r   s p e e d   a n d   e f f i c i e n c y   i n   o u r   o p e n   s o u r c e   p r o t o t y p e   i m p l e m e n t a t i o n   o f   t h e   p r o p o s e d   A P I .   W e   c o n c l u d e   t h a t   n o n e   o f   t h e   f o r m a t s   s t r i k e   t h e   r i g h t   b a l a n c e   b e t w e e n   t h e   n u m b e r   o f   r e q u e s t s ,   d e c o d i n g   o v e r h e a d   a n d   t h e   c o m p r e s s i o n   a c h i e v e d   m a k i n g   t h e   p r o p o s e d   f l e x i b l e   a r c h i t e c t u r e   e v e n   m o r e   c o m p e l l i n g . 	 [ D o b o s ,   J o z e f ;   S t e e d ,   A n t h o n y ]   U C L ,   L o n d o n   W C 1 E   6 B T ,   E n g l a n d 	 D o b o s ,   J   ( r e p r i n t   a u t h o r ) ,   U C L ,   L o n d o n   W C 1 E   6 B T ,   E n g l a n d . 	 	 	 	 	 	 A d v a n c e d   D i s t r i b u t e d   L e a r n i n g ,   2 0 1 1 ,   3 D   R E P   D O C ;   [ A n o n y m o u s ] ,   2 0 0 9 ,   I N T   J   M O D E L I N G   O P T I M ,   V 1 ,   P 1 2 7 ;   B a v o i l   L . ,   2 0 0 5 ,   I E E E   V I S U A L I Z A T I O N ,   P 1 3 5 ;   B e h r   J . ,   2 0 1 2 ,   P   W E B 3 D ,   P 1 7 ;   B e r t h e l o t   R B ,   2 0 1 1 ,   P   1 6   I N T   C   3 D   W E B   T E ,   P 2 1 ;   D o b o   J . ,   2 0 1 2 ,   P   1 7   I N T   C   3 D   W E B   T E ,   P 1 2 1 ;   D o b o s   J . ,   2 0 1 2 ,   S I G G R A P H   A S   2 0 1 2   T E C ,   P 2 0 ;   F i e l d i n g   R ,   1 9 9 9 ,   2 6 1 6   R F C ,   V 2 6 1 6 ,   P 1 ;   F i e l d i n g   R .   T . ,   2 0 0 0 ,   T H E S I S   U   C A L I F O R N I A ;   G e e l n a r d   M . ,   2 0 0 9 ,   O P E N   C O M P R E S S E D   T R I A ;   g e n   I n c . ,   2 0 1 3 ,   B S O N   B I N   J S O N   S P E C ;   H e w i t t   J . ,   2 0 0 6 ,   F I R E B U G ;   J u n g   Y . ,   2 0 1 3 ,   P   I N T   C   C O M P   G R A P H   T ,   P 6 0 1 ;   K h r o n o s   G r o u p ,   2 0 0 8 ,   G O L L A D A   3 D   A S S   E X C H ;   K h r o n o s   G r o u p ,   2 0 1 2 ,   T Y P   A R R   S P E C ;   K l e i n   F . ,   2 0 1 2 ,   P   1 7   I N T   C   3 D   W E B   T E ,   P 3 7 ;   K L O B A S   J .   E . ,   2 0 0 6 ,   W I K I S   T O O L S   I N F   W O R K ;   L e n t c z n e r   M ,   2 0 0 8 ,   2   L I F E   G R I D   O P E N   G R I ;   M a r r i n   C . ,   2 0 1 1 ,   W E B G L   S P E C I F I C A T I O N ;   M e m b r e y   P . ,   2 0 1 0 ,   D E F I N I T I V E   G U I D E   M O N ;   O b j e c t   M a n a g e m e n t   G r o u p ,   2 0 1 1 ,   M O F   2   X M I   M A P P   X M I   V ;   O l b r i c h   M ,   2 0 1 2 ,   P   1 7   I N T   C   3 D   W E B   T E ,   P 1 3 9 ;   P a r i s i   T . ,   2 0 1 1 ,   3 D   R E S T   3 D   S P E C I F I C A ;   P i l g r i m   M . ,   2 0 1 0 ,   H T M L 5   R U N N I N G ;   R I C H A R D S O N   L . ,   2 0 0 7 ,   R E S T F U L   W E B   S E R V I C E S ;   R O B I N E T   F . ,   2 0 1 2 ,   G L T F ;   S C H I E F E R   A . ,   2 0 1 0 ,   P   1 5   I N T   C   W E B   3 D   T E ,   P 5 5 ;   S c h u b o t z   R . ,   2 0 1 2 ,   C E U R   W O R K S H O P   P ,   V 8 6 9 ;   S c h u l z e   T . ,   2 0 1 2 ,   O P E N   A S S E T   I M P O R T   L I ;   S o n s   K . ,   2 0 1 0 ,   P   1 5   I N T   C   W E B   3 D   T E ,   P 1 7 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 6 0 4 9 . 1 8 3 6 0 7 6 ;   S o n s   K . ,   2 0 1 3 ,   6   W O R K S H   S O F T W   E N G   A ;   S t e e d   A ,   2 0 1 0 ,   N E T W O R K E D   G R A P H I C S :   B U I L D I N G   N E T W O R K E D   G A M E S   A N D   V I R T U A L   E N V I R O N M E N T S ,   P 1 ;   S t o c k e r   H . ,   2 0 1 1 ,   P   1 6   I N T   C   W E B 3 D   T E C ,   P 6 7 ;   T e l e c o m .   S t a n d a r d i z a t i o n   S e c t o r ,   2 0 0 8 ,   9 8 3 4 8   I S O I E C   I T U ;   T e l e c o m .   S t a n d a r d i z a t i o n   S e c t o r ,   2 0 0 5 ,   2 4 8 2 4 1   I S O I E C   I T U ;   W e b 3 D   C o n s o r t i u m ,   2 0 1 1 ,   1 9 7 7 5 1 9 7 7 6 1 9 7 7 7   I S O I 	 3 6 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 1 5 1 5   B R O A D W A Y ,   N E W   Y O R K ,   N Y   1 0 0 3 6 - 9 9 9 8   U S A 	 	 	 9 7 8 - 1 - 4 5 0 3 - 2 1 3 3 - 4 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 4 7 	 5 5 	 	 	 	 9 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 C o m p u t e r   S c i e n c e 	 B A 1 O M 	 W O S : 0 0 0 3 3 2 7 6 3 5 0 0 0 0 5 	 	 
 J 	 S e u f e r t ,   M ;   S l a n i n a ,   M ;   E g g e r ,   S ;   K o t t k a m p ,   M 	 	 	 I E E E 	 S e u f e r t ,   M i c h a e l ;   S l a n i n a ,   M a r t i n ;   E g g e r ,   S e b a s t i a n ;   K o t t k a m p ,   M e i k 	 	 	 " T O   P O O L   O R   N O T   T O   P O O L " :   A   C O M P A R I S O N   O F   T E M P O R A L   P O O L I N G   M E T H O D S   F O R   H T T P   A D A P T I V E   V I D E O   S T R E A M I N G 	 2 0 1 3   F I F T H   I N T E R N A T I O N A L   W O R K S H O P   O N   Q U A L I T Y   O F   M U L T I M E D I A   E X P E R I E N C E   ( Q O M E X ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 5 t h   I n t e r n a t i o n a l   W o r k s h o p   o n   Q u a l i t y   o f   M u l t i m e d i a   E x p e r i e n c e   ( Q o M E X ) 	 J U L   0 3 - 0 5 ,   2 0 1 3 	 K l a g e n f u r t   a m   W o r t h e r s e e ,   A U S T R I A 	 C O S T   A c t   I C 1 0 0 3   Q U A L I N E T ,   A l p e n   A d r i a   U n i v   K l a g e n f u r t ,   L a k e s i d e   L a b s ,   I E E E   S i g n a l   P r o c   S o c ,   U n i v   K l a g e n f u r t ,   F o r d e r v e r e i n   T e c h   F a k u l t a t 	 	 a d a p t i v e   s t r e a m i n g ;   H T T P   s t r e a m i n g ;   v i d e o   Q o E ;   t e m p o r a l   p o o l i n g ;   m o b i l e   v i d e o ;   v a r i a b l e   v i d e o   q u a l i t y 	 	 C u r r e n t   o b j e c t i v e   v i d e o   q u a l i t y   m e t r i c s   t y p i c a l l y   e s t i m a t e   v i d e o   q u a l i t y   f o r   s h o r t   v i d e o   s e q u e n c e s   ( 1 0   t o   1 5   s e c )   o f   c o n s t a n t   q u a l i t y .   H o w e v e r ,   c u s t o m e r s   o f   v i d e o   s e r v i c e s   u s u a l l y   w a t c h   l o n g e r   s e q u e n c e s   o f   v i d e o s   w h i c h   a r e   m o r e   a n d   m o r e   d e l i v e r e d   v i a   a d a p t i v e   s t r e a m i n g   m e t h o d s   s u c h   a s   H T T P   a d a p t i v e   s t r e a m i n g   ( H A S ) .   A   v i e w i n g   s e s s i o n   i n   s u c h   a   s e t t i n g   c o n t a i n s   s e v e r a l   d i f f e r e n t   v i d e o   q u a l i t i e s   o v e r   t i m e .   I n   o r d e r   t o   e x p r e s s   t h i s   i n   a n   o v e r a l l   s c o r e   f o r   t h e   w h o l e   v i e w i n g   s e s s i o n ,   s e v e r a l   t e m p o r a l   p o o l i n g   m e t h o d s   h a v e   b e e n   p r o p o s e d   i n   t h e   r e l a t e d   w o r k .   W i t h i n   t h i s   p a p e r ,   w e   s e t   o u t   t o   c o m p a r e   t h e   p e r f o r m a n c e   o f   d i f f e r e n t   t e m p o r a l   p o o l i n g   m e t h o d s   f o r   t h e   p r e d i c t i o n   o f   Q u a l i t y   o f   E x p e r i e n c e   ( Q o E )   f o r   H T T P   v i d e o   s t r e a m s   w i t h   v a r y i n g   q u a l i t i e s .   W e   p e r f o r m   t h i s   c o m p a r i s o n   b a s e d   o n   g r o u n d   t r u t h   r a t i n g   d a t a   g a t h e r e d   i n   a   c r o w d s o u r c i n g   s t u d y   i n   t h e   c o n t e x t   o f   t h e   N G M N   P - S E R Q U   p r o j e c t .   A s   i n p u t   d a t a   f o r   t h e   m o d e l s ,   w e   u s e   o b j e c t i v e   v i d e o   q u a l i t y   m e t r i c s   s u c h   a s   P S N R ,   S S I M   b u t   a l s o   v e r y   b a s i c   i n p u t s   s u c h   a s   t h e   b i t r a t e   o f   t h e   c l i p s   o n l y .   O u r   r e s u l t s   s h o w   t h a t   c e r t a i n   p o o l i n g   m e t h o d s   p e r f o r m   c l e a r l y   b e t t e r   t h a n   o t h e r s .   T h e s e   r e s u l t s   c a n   h e l p   i n   i d e n t i f y i n g   w e l l   p e r f o r m i n g   t e m p o r a l   p o o l i n g   m e t h o d s   i n   t h e   c o n t e x t   o f   H A S . 	 [ S e u f e r t ,   M i c h a e l ]   U n i v   W u r z b u r g ,   I n s t   C o m p   S c i ,   D - 9 7 0 7 0   W u r z b u r g ,   G e r m a n y 	 S e u f e r t ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   W u r z b u r g ,   I n s t   C o m p   S c i ,   D - 9 7 0 7 0   W u r z b u r g ,   G e r m a n y . 	 s e u f e r t @ i n f o r m a t i k . u n i - w u e r z b u r g . d e ;   s l a n i n a m @ f e e c . v u t b r . c z ;   e g g e r @ f t w . a t ;   m e i k . k o t t k a m p @ r o h d e - s c h w a r z . c o m 	 S l a n i n a ,   M a r t i n / E - 9 4 5 2 - 2 0 1 4 	 	 	 	 B o u r e a u   Y . - L . ,   2 0 1 0 ,   2 7   I N T   C   M A C H   L E A R N ;   C h e n   K . ,   2 0 1 0 ,   I E E E   N E T W O R K ;   C i s c o ,   2 0 1 3 ,   C I S C   V I S   N E T W   I N D   G L ;   C r a n l e y   N . ,   2 0 0 6 ,   I N T   J   H U M A N   C O M P U T E R ;   K a l v a   H . ,   2 0 1 2 ,   I E E E   I N T   C   C O N S   E L ;   K e i m e l   C . ,   2 0 1 2 ,   P I C T   C O D   S ;   K i t t u r   A . ,   2 0 0 8 ,   S I G C H I   C   H U M   F A C T   C O ;   L e e   K . ,   2 0 1 0 ,   1 7   I E E E   I N T   C   I M   P R O ;   L e w c i o   B . ,   2 0 1 1 ,   I N T   W O R K S H   T E C H N   C O M ;   M c C a r t h y   J .   D . ,   2 0 0 4 ,   S I G C H I   C   H U M   F A C T   C O ;   M u l l e r   C . ,   2 0 1 2 ,   4   W O R K S H   M O B   V I D ;   N G M N ,   2 0 1 2 ,   S E R V   Q U A L   D E F   M E A S   P ;   N i n a s s i   A . ,   2 0 0 9 ,   I E E E   J   S E L E C T E D   T O P I ;   P a r k   J . ,   2 0 1 3 ,   I E E E   T   I M A G E   P R O C E S S ;   R i m a c - D r l j e   S . ,   2 0 0 9 ,   I E E E   I N T   S   B R O A D B   M U ;   S c h a t z   R ,   2 0 1 1 ,   I E E E   I N T   W O R K S H   M U L T ;   S c h w a r z   H . ,   2 0 0 7 ,   I E E E   T   C I R C U I T S   S Y S T ;   S e s h a d r i n a t h a n   K . ,   2 0 1 1 ,   I E E E   I N T   C   A C   S P E E C H ;   S o d a g a r   I . ,   2 0 1 1 ,   I E E E   M U L T I M E D I A ;   Y a o   J . ,   2 0 1 1 ,   1 0   I N T   I F I P   T C   6   C   N ;   Y o u   J . ,   2 0 1 0 ,   I E E E   I N T   C   A C   S P E E C H 	 2 1 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 7 9 9 - 0 7 3 8 - 0 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 5 2 	 5 7 	 	 	 	 6 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 E n g i n e e r i n g 	 B A 0 L N 	 W O S : 0 0 0 3 3 1 8 2 8 0 0 0 0 1 9 	 	 
 J 	 L i ,   K ;   X i a o ,   J C ;   W a n g ,   Y J ;   W a n g ,   Q 	 	 	 I E E E 	 L i ,   K e ;   X i a o ,   J u n c h a o ;   W a n g ,   Y o n g j i ;   W a n g ,   Q i n g 	 	 	 A n a l y s i s   o f   t h e   K e y   F a c t o r s   f o r   S o f t w a r e   Q u a l i t y   i n   C r o w d s o u r c i n g   D e v e l o p m e n t :   A n   E m p i r i c a l   S t u d y   o n   T o p C o d e r . c o m 	 2 0 1 3   I E E E   3 7 T H   A N N U A L   C O M P U T E R   S O F T W A R E   A N D   A P P L I C A T I O N S   C O N F E R E N C E   ( C O M P S A C ) 	 P r o c e e d i n g s   I n t e r n a t i o n a l   C o m p u t e r   S o f t w a r e   a n d   A p p l i c a t i o n s   C o n f e r e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   3 7 t h   A n n u a l   C o m p u t e r   S o f t w a r e   a n d   A p p l i c a t i o n s   C o n f e r e n c e   ( C O M P S A C ) 	 J U L   2 2 - 2 6 ,   2 0 1 3 	 K y o t o ,   J A P A N 	 I E E E ,   I E E E   C o m p   S o c ,   I n f o r m a t   P r o c   S o c   J a p a n ,   K o r e a n   I n s t   I n f o r m a t   S c i e n t i s t s   &   E n g i n e e r s ,   C C F ,   T a t e i s i   S c i   &   T e c h n o l   F d n ,   K y o t o   U n i v ,   I o w a   S t a t e   U n i v   S c i   &   T e c h n o l 	 	 c r o w d s o u r c i n g ;   s o f t w a r e   q u a l i t y ;   f a c t o r s ;   s o f t w a r e   d e v e l o p m e n t ;   o b j e c t - o r i e n t e d   d e s i g n   m e t r i c s 	 D E S I G N 	 C r o w d s o u r c i n g   i s   a   d i s t r i b u t e d   p r o b l e m - s o l v i n g   a n d   p r o d u c t i o n   m o d e l .   I t   t a k e s   a d v a n t a g e   o f   t h e   i n t e r n e t   t e c h n o l o g y ,   h e l p s   e n t e r p r i s e s   s a v e   c o s t   a n d   i m p r o v e   e f f i c i e n c y .   H o w e v e r ,   u n c e r t a i n   q u a l i t y   i s   a   s i g n i f i c a n t   c h a l l e n g e   f o r   c r o w d s o u r c i n g .   O n   t h e   b a s i s   o f   t h e   e x i s t i n g   l i t e r a t u r e s ,   t h i s   p a p e r   p r o p o s e s   2 3   s o f t w a r e   q u a l i t y   f a c t o r s   f r o m   t w o   a s p e c t s :   p l a t f o r m   a n d   p r o j e c t .   B y   u s i n g   m u l t i p l e   r e g r e s s i o n   a n a l y s i s   o n   t h e   d a t a   o f   o n e   o f   t h e   m o s t   s u c c e s s f u l   s o f t w a r e   c r o w d s o u r c i n g   p l a t f o r m s   T o p C o d e r .   c o m ,   t h i s   p a p e r   a n a l y z e s   t h e   i m p a c t   o f   t h e   f a c t o r s   o n   s o f t w a r e   q u a l i t y   a n d   i d e n t i f i e s   s i x   k e y   f a c t o r s ,   i n c l u d i n g   t h e   a v e r a g e   q u a l i t y   s c o r e   o f   t h e   p l a t f o r m ,   t h e   n u m b e r   o f   c o n t e m p o r a r y   p r o j e c t s ,   t h e   l e n g t h   o f   c o m p o n e n t   d o c u m e n t ,   t h e   n u m b e r   o f   r e g i s t e r e d   d e v e l o p e r s ,   t h e   m a x i m u m   r a t i n g   o f   s u b m i t t e d   d e v e l o p e r s ,   a n d   t h e   d e s i g n   s c o r e .   A c c o r d i n g   t o   t h e   r e s u l t ,   t h i s   p a p e r   s u g g e s t s   f o u r   a s p e c t s   f o r   e n t e r p r i s e s   t o   i m p r o v e   s o f t w a r e   q u a l i t y :   c h o o s i n g   t h e   p r o s p e r o u s   p e r i o d   o f   p l a t f o r m   t o   p o s t   a   p r o j e c t ,   r e d u c i n g   t h e   s c a l e   o f   p r o j e c t s ,   a t t r a c t i n g   m o r e   a n d   h i g h e r   s k i l l f u l   d e v e l o p e r s   t o   p a r t i c i p a t e ,   a n d   i m p r o v i n g   s o f t w a r e   d e s i g n   s c o r e . 	 [ L i ,   K e ;   X i a o ,   J u n c h a o ;   W a n g ,   Y o n g j i ;   W a n g ,   Q i n g ]   C h i n e s e   A c a d   S c i ,   L a b   I n t e r n e t   S o f t w a r e   T e c h n o l ,   I n s t   S o f t w a r e ,   B e i j i n g ,   P e o p l e s   R   C h i n a 	 L i ,   K   ( r e p r i n t   a u t h o r ) ,   C h i n e s e   A c a d   S c i ,   L a b   I n t e r n e t   S o f t w a r e   T e c h n o l ,   I n s t   S o f t w a r e ,   B e i j i n g ,   P e o p l e s   R   C h i n a . 	 l i k e @ i t e c h s . i s c a s . a c . c n ;   x i a o j u n c h a o @ i t e c h s . i s c a s . a c . c n ;   y w a n g @ i t e c h s . i s c a s . a c . c n ;   w q @ i t e c h s . i s c a s . a c . c n 	 	 	 	 	 A r c h a k   N . ,   2 0 1 0 ,   I N T   C   W O R L D   W I D   W E B ,   P 2 1 ;   B r a b h a m   D . C . ,   2 0 0 8 ,   1   M O N D A Y ,   V 1 3 ,   P 1 ;   B r i a n d   L ,   1 9 9 7 ,   P R O C   I N T   C O N F   S O F T W ,   P 4 1 2 ,   D O I   1 0 . 1 1 4 5 / 2 5 3 2 2 8 . 2 5 3 3 6 7 ;   B r i a n d   L C ,   2 0 0 0 ,   J   S Y S T   S O F T W A R E ,   V 5 1 ,   P 2 4 5 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 4 - 1 2 1 2 ( 9 9 ) 0 0 1 0 2 - 8 ;   C H I D A M B E R   S R ,   1 9 9 4 ,   I E E E   T   S O F T W A R E   E N G ,   V 2 0 ,   P 4 7 6 ,   D O I   1 0 . 1 1 0 9 / 3 2 . 2 9 5 8 9 5 ;   C h o w   T ,   2 0 0 8 ,   J   S Y S T   S O F T W A R E ,   V 8 1 ,   P 9 6 1 ,   D O I   1 0 . 1 0 1 6 / j . j s s . 2 0 0 7 . 0 8 . 0 2 0 ;   E d e l m a n   B . ,   2 0 1 1 ,   E C O N   I N Q ,   V 5 0 ,   P 3 0 9 ;   G e n e r o   M . ,   2 0 0 5 ,   J   O B J E C T   T E C H N O L O G Y ,   V 4 ,   P 5 9 ,   D O I   D O I   1 0 . 5 3 8 1 / J 0 T . 2 0 0 5 . 4 . 9 . A 1 ;   H a r p e r   F M ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 8 6 5 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   K h a z a n k i n   R ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 7 0 8 4 ,   P 2 9 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 5 5 3 5 - 9 _ 2 0 ;   M a r t i n   R .   C . ,   2 0 0 3 ,   A G I L E   S O F T W A R E   D E V   P ;   M a s s o l u t i o n ,   2 0 1 2 ,   C R O W D S   I N D   R E P   E N T   C ;   M c C l a v e   J ,   2 0 0 8 ,   S T A T   B U S I N E S S   E C ;   R o g s t a d i u s   J . ,   2 0 1 1 ,   A A A I   C   W E B L   S O C   M E D ,   V 1 1 ,   P 3 2 1 ;   S h a r m a   A . ,   C R O W D S O U R C I N G   U N P U B ;   V u k o v i c   M ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 1 8 9 ,   P 4 6 0 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 3 9 1 1 - 6 _ 3 1 ;   W u s t   J . ,   2 0 0 4 ,   S D M E T R I C S   U S E R   M A N U A ;   Z h a n g   L . ,   2 0 1 1 ,   I N T   J   N E U R O P S Y C H O P H ,   P 1 	 1 9 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 0 7 3 0 - 3 1 5 7 	 	 9 7 8 - 0 - 7 6 9 5 - 4 9 8 6 - 6 	 P   I N T   C O M P   S O F T W   A P P 	 	 	 2 0 1 3 	 	 	 	 	 	 	 8 1 2 	 8 1 7 	 	 1 0 . 1 1 0 9 / C O M P S A C . 2 0 1 3 . 1 3 3 	 	 6 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B A 0 H A 	 W O S : 0 0 0 3 3 1 2 1 6 5 0 0 1 3 0 	 	 
 J 	 Y a n g ,   T H ;   K a j i ,   K ;   K a w a g u c h i ,   N 	 	 	 I E E E 	 Y a n g ,   T i a n h u i ;   K a j i ,   K a t s u h i k o ;   K a w a g u c h i ,   N o b u o 	 	 	 E l e v a t o r   a c c e l e r a t i o n   s e n s i n g :   D e s i g n   a n d   e s t i m a t i o n   r e c o g n i t i o n   a l g o r i t h m   u s i n g   c r o w d s o u r c i n g 	 2 0 1 3   I E E E   3 7 T H   A N N U A L   C O M P U T E R   S O F T W A R E   A N D   A P P L I C A T I O N S   C O N F E R E N C E   W O R K S H O P S   ( C O M P S A C W ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   3 7 t h   A n n u a l   C o m p u t e r   S o f t w a r e   a n d   A p p l i c a t i o n s   C o n f e r e n c e   ( C O M P S A C ) 	 J U L   2 2 - 2 6 ,   2 0 1 3 	 K y o t o ,   J A P A N 	 I E E E ,   I E E E   C o m p   S o c ,   I n f o r m a t   P r o c   S o c   J a p a n ,   K o r e a n   I n s t   I n f o r m a t   S c i e n t i s t s   &   E n g i n e e r s ,   C C F ,   T a t e i s i   S c i   &   T e c h n o l   F d n ,   K y o t o   U n i v ,   I o w a   S t a t e   U n i v   S c i   &   T e c h n o l 	 	 a c c e l e r o m e t e r ;   s m a r t p h o n e ;   a c t i v i t y   r e c o g n i t i o n ;   e l e v a t o r ;   c r o w d s o u r c i n g 	 	 I n   h u m a n   a c t i v i t y   s e n s i n g   a r e a s ,   w e   f o c u s   o n   e l e v a t o r   r e c o g n i t i o n   u s i n g   a c c e l e r o m e t e r .   I n   t h i s   p a p e r ,   o u r   m a i n   c h a l l e n g e   i s   t o   c r e a t e   a n   e l e v a t o r   a c c e l e r a t i o n   r e c o g n i t i o n   a l g o r i t h m .   I n   o r d e r   t o   p u t   t h i s   a l g o r i t h m   i n t o   r e a l   w o r l d   u s e ,   T h i s   a l g o r i t h m   s h o u l d   b e   r o b u s t   e n o u g h   t h a t   c a n   i g n o r e   t h e   d i f f e r e n c e s   o f   t h e   e l e v a t o r s ,   d e v i c e s   a n d   s u b j e c t s .   T o   r e a l i z e   t h i s   a i m ,   w e   b u i l d   a   c r o w d s o u r c i n g   s y s t e m   w h i c h   c o n s i s t s   o f   a n   a n d r o i d   a p p l i c a t i o n   a n d   a   s e r v e r .   A n d r o i d   u s e r s   c a n   u s e   t h i s   a p p l i c a t i o n   t o   c a l c u l a t e   e l e v a t o r ' s   m o v i n g   d i s t a n c e .   T h e y   c a n   a l s o   u p l o a d   e l e v a t o r s '   a c c e l e r o m e t e r   s i g n a l s   t o   t h e   s e r v e r ,   s o   w e   c a n   g e t   e l e v a t o r   a c c e l e r a t i o n   d a t a   f r o m   a l l   o v e r   t h e   w o r l d .   a f t e r   p u b l i s h i n g   t h e   s y s t e m ,   w e   u s e   t h e   d a t a   w e   c o l l e c t e d   t o   b u i l d   a n   e l e v a t o r   a c c e l e r a t i o n   d a t a b a s e .   B y   u s i n g   t h i s   d a t a b a s e ,   w e   b u i l d   a   r o b u s t   e l e v a t o r   r e c o g n i t i o n   a l g o r i t h m .   w e   a l s o   u s e   t h e   f e a t u r e s   o f   e l e v a t o r s   t o   d i s t i n g u i s h   t h e m . 	 [ Y a n g ,   T i a n h u i ;   K a j i ,   K a t s u h i k o ;   K a w a g u c h i ,   N o b u o ]   N a g o y a   U n i v ,   G r a d   S c h   E n g n ,   C h i k u s a   K u ,   N a g o y a ,   A i c h i   4 6 4 8 6 0 1 ,   J a p a n 	 Y a n g ,   T H   ( r e p r i n t   a u t h o r ) ,   N a g o y a   U n i v ,   G r a d   S c h   E n g n ,   C h i k u s a   K u ,   F u r o   C h o ,   N a g o y a ,   A i c h i   4 6 4 8 6 0 1 ,   J a p a n . 	 	 	 	 	 	 B A O   L ,   2 0 0 4 ,   P   P E R V A S I V E   2 0 0 4 ;   B e r c h t o l d   M . ,   2 0 1 0 ,   P   I S W C   2 0 1 0 ;   K o s h i m i z u   K a o r u ,   2 0 0 9 ,   I E I C E   M O M U C 2 0 0 9   1 0 8 ;   R A V I   N ,   2 0 0 5 ,   P   I A A I ;   S t i k i c   M . ,   2 0 0 8 ,   P   I S W C   2 0 0 8 ;   W a t a n a b e   T . ,   2 0 1 1 ,   I E I C E   M O M U C 2 0 1 1   3 0 	 6 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 4 9 8 7 - 3 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 5 3 4 	 5 3 9 	 	 1 0 . 1 1 0 9 / C O M P S A C W . 2 0 1 3 . 9 7 	 	 6 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B A 0 H B 	 W O S : 0 0 0 3 3 1 2 2 3 1 0 0 0 9 1 	 	 
 J 	 J i a ,   D ;   K r a u s e ,   J ;   L i ,   F F 	 	 	 I E E E 	 J i a   D e n g ;   K r a u s e ,   J o n a t h a n ;   L i   F e i - F e i 	 	 	 F i n e - G r a i n e d   C r o w d s o u r c i n g   f o r   F i n e - G r a i n e d   R e c o g n i t i o n 	 2 0 1 3   I E E E   C O N F E R E N C E   O N   C O M P U T E R   V I S I O N   A N D   P A T T E R N   R E C O G N I T I O N   ( C V P R ) 	 I E E E   C o n f e r e n c e   o n   C o m p u t e r   V i s i o n   a n d   P a t t e r n   R e c o g n i t i o n 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 6 t h   I E E E   C o n f e r e n c e   o n   C o m p u t e r   V i s i o n   a n d   P a t t e r n   R e c o g n i t i o n   ( C V P R ) 	 J U N   2 3 - 2 8 ,   2 0 1 3 	 P o r t l a n d ,   O R 	 I E E E ,   I E E E   C o m p   S o c 	 	 	 	 F i n e - g r a i n e d   r e c o g n i t i o n   c o n c e r n s   c a t e g o r i z a t i o n   a t   s u b - o r d i n a t e   l e v e l s ,   w h e r e   t h e   d i s t i n c t i o n   b e t w e e n   o b j e c t   c l a s s e s   i s   h i g h l y   l o c a l .   C o m p a r e d   t o   b a s i c   l e v e l   r e c o g n i t i o n ,   f i n e - g r a i n e d   c a t e g o r i z a t i o n   c a n   b e   m o r e   c h a l l e n g i n g   a s   t h e r e   a r e   i n   g e n e r a l   l e s s   d a t a   a n d   f e w e r   d i s c r i m i n a t i v e   f e a t u r e s .   T h i s   n e c e s s i t a t e s   t h e   u s e   o f   s t r o n g e r   p r i o r   f o r   f e a t u r e   s e l e c t i o n .   I n   t h i s   w o r k ,   w e   i n c l u d e   h u m a n s   i n   t h e   l o o p   t o   h e l p   c o m p u t e r s   s e l e c t   d i s c r i m i n a t i v e   f e a t u r e s .   W e   i n t r o d u c e   a   n o v e l   o n l i n e   g a m e   c a l l e d   " B u b b l e s "   t h a t   r e v e a l s   d i s c r i m i n a t i v e   f e a t u r e s   h u m a n s   u s e .   T h e   p l a y e r ' s   g o a l   i s   t o   i d e n t i f y   t h e   c a t e g o r y   o f   a   h e a v i l y   b l u r r e d   i m a g e .   D u r i n g   t h e   g a m e ,   t h e   p l a y e r   c a n   c h o o s e   t o   r e v e a l   f u l l   d e t a i l s   o f   c i r c u l a r   r e g i o n s   ( " b u b b l e s " ) ,   w i t h   a   c e r t a i n   p e n a l t y .   W i t h   p r o p e r   s e t u p   t h e   g a m e   g e n e r a t e s   d i s c r i m i n a t i v e   b u b b l e s   w i t h   a s s u r e d   q u a l i t y .   W e   n e x t   p r o p o s e   t h e   " B u b b l e B a n k "   a l g o r i t h m   t h a t   u s e s   t h e   h u m a n   s e l e c t e d   b u b b l e s   t o   i m p r o v e   m a c h i n e   r e c o g n i t i o n   p e r f o r m a n c e .   E x p e r i m e n t s   d e m o n s t r a t e   t h a t   o u r   a p p r o a c h   y i e l d s   l a r g e   i m p r o v e m e n t s   o v e r   t h e   p r e v i o u s   s t a t e   o f   t h e   a r t   o n   c h a l l e n g i n g   b e n c h m a r k s . 	 [ J i a   D e n g ;   K r a u s e ,   J o n a t h a n ;   L i   F e i - F e i ]   S t a n f o r d   U n i v ,   D e p t   C o m p   S c i ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A 	 J i a ,   D   ( r e p r i n t   a u t h o r ) ,   S t a n f o r d   U n i v ,   D e p t   C o m p   S c i ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A . 	 	 	 	 	 	 B o   L . ,   2 0 1 0 ,   N I P S ,   V 7 ;   B o u r d e v   L . ,   2 0 0 9 ,   C V P R ;   B r a n s o n   S . ,   2 0 1 1 ,   I C C V ;   B r a n s o n   S . ,   2 0 1 0 ,   E C C V ;   C h a i   Y . ,   2 0 1 2 ,   E C C V ;   C h e n   Q . ,   2 0 1 2 ,   C V P R ;   D e n g   J ,   2 0 1 0 ,   E C C V ;   D o n a h u e   J . ,   2 0 1 1 ,   I C C V ;   D r u c k   G . ,   2 0 0 9 ,   E M N L P ;   D u a n   K . ,   2 0 1 2 ,   C V P R ;   F a n   R E ,   2 0 0 8 ,   J   M A C H   L E A R N   R E S ,   V 9 ,   P 1 8 7 1 ;   F a r r e l l   R . ,   2 0 1 1 ,   I C C V ;   G o s s e l i n   F ,   2 0 0 1 ,   V I S I O N   R E S ,   V 4 1 ,   P 2 2 6 1 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 2 - 6 9 8 9 ( 0 1 ) 0 0 0 9 7 - 9 ;   K h a n   F . S . ,   2 0 1 1 ,   N I P S ;   K u m a r   N . ,   2 0 1 2 ,   E C C V ;   L a w   E . ,   2 0 1 1 ,   P   1   W O R K S H   F I N   G R A I N ;   L i   L ,   2 0 1 0 ,   N I P S ,   P 2 4 ;   L i u   J . ,   2 0 1 2 ,   E C C V ;   M a j i   S . ,   2 0 1 2 ,   E C C V ;   M a j i   S . ,   2 0 1 2 ,   W O R K S H   2 6   A A A I   C   A R T ;   P a r i k h   D . ,   2 0 1 1 ,   2   W O R K S H   C O M P   S O C   S C ,   V 1 1 ;   P a r i k h   D . ,   2 0 1 1 ,   C V P R ;   P a r k a s h   A . ,   2 0 1 2 ,   E C C V ;   P a r k h i   O . ,   2 0 1 2 ,   C V P R ;   S o r o k i n   A . ,   2 0 0 8 ,   C V P R W ;   v a n   d e   W e i j e r   J . ,   2 0 0 7 ,   C V P R ;   v a n   d e   S a n d e   K E A ,   2 0 1 0 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 2 ,   P 1 5 8 2 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 9 . 1 5 4 ;   V i j a y a n a r a s i m h a n   S . ,   2 0 1 1 ,   C V P R ;   v o n   A h n   L . ,   2 0 0 4 ,   C H I   0 4 ,   P 3 1 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   v o n   A h n   L . ,   2 0 0 6 ,   C H I ;   W a h   C . ,   2 0 1 1 ,   I C C V ;   W a h   C . ,   2 0 1 1 ,   C A L T E C H   U C S D   B I R D S   2 ;   W a n g   J . ,   2 0 1 0 ,   C V P R ;   W e l i n d e r   P . ,   2 0 1 0 ,   C A L T E C H   U C S D   B I R D S   2 ;   Y a o   B . ,   2 0 1 1 ,   C V P R ;   Y a o   B . ,   2 0 1 2 ,   C V P R ;   Z h a n g   N . ,   2 0 1 2 ,   C V P R 	 3 7 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 6 3 - 6 9 1 9 	 	 9 7 8 - 0 - 7 6 9 5 - 4 9 8 9 - 7 	 P R O C   C V P R   I E E E 	 	 	 2 0 1 3 	 	 	 	 	 	 	 5 8 0 	 5 8 7 	 	 1 0 . 1 1 0 9 / C V P R . 2 0 1 3 . 8 1 	 	 8 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 B A 0 E R 	 W O S : 0 0 0 3 3 1 0 9 4 3 0 0 0 7 4 	 	 
 J 	 K h o s l a ,   A ;   H a m i d ,   R ;   L i n ,   C J ;   S u n d a r e s a n ,   N 	 	 	 I E E E 	 K h o s l a ,   A d i t y a ;   H a m i d ,   R a f f a y ;   L i n ,   C h i h - J e n ;   S u n d a r e s a n ,   N e e l 	 	 	 L a r g e - S c a l e   V i d e o   S u m m a r i z a t i o n   U s i n g   W e b - I m a g e   P r i o r s 	 2 0 1 3   I E E E   C O N F E R E N C E   O N   C O M P U T E R   V I S I O N   A N D   P A T T E R N   R E C O G N I T I O N   ( C V P R ) 	 I E E E   C o n f e r e n c e   o n   C o m p u t e r   V i s i o n   a n d   P a t t e r n   R e c o g n i t i o n 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 6 t h   I E E E   C o n f e r e n c e   o n   C o m p u t e r   V i s i o n   a n d   P a t t e r n   R e c o g n i t i o n   ( C V P R ) 	 J U N   2 3 - 2 8 ,   2 0 1 3 	 P o r t l a n d ,   O R 	 I E E E ,   I E E E   C o m p   S o c 	 	 	 	 G i v e n   t h e   e n o r m o u s   g r o w t h   i n   u s e r - g e n e r a t e d   v i d e o s ,   i t   i s   b e c o m i n g   i n c r e a s i n g l y   i m p o r t a n t   t o   b e   a b l e   t o   n a v i g a t e   t h e m   e f f i c i e n t l y .   A s   t h e s e   v i d e o s   a r e   g e n e r a l l y   o f   p o o r   q u a l i t y ,   s u m m a r i z a t i o n   m e t h o d s   d e s i g n e d   f o r   w e l l - p r o d u c e d   v i d e o s   d o   n o t   g e n e r a l i z e   t o   t h e m .   T o   a d d r e s s   t h i s   c h a l l e n g e ,   w e   p r o p o s e   t o   u s e   w e b - i m a g e s   a s   a   p r i o r   t o   f a c i l i t a t e   s u m m a r i z a t i o n   o f   u s e r - g e n e r a t e d   v i d e o s .   O u r   m a i n   i n t u i t i o n   i s   t h a t   p e o p l e   t e n d   t o   t a k e   p i c t u r e s   o f   o b j e c t s   t o   c a p t u r e   t h e m   i n   a   m a x i m a l l y   i n f o r m a t i v e   w a y .   S u c h   i m a g e s   c o u l d   t h e r e f o r e   b e   u s e d   a s   p r i o r   i n f o r m a t i o n   t o   s u m m a r i z e   v i d e o s   c o n t a i n i n g   a   s i m i l a r   s e t   o f   o b j e c t s .   I n   t h i s   w o r k ,   w e   a p p l y   o u r   n o v e l   i n s i g h t   t o   d e v e l o p   a   s u m m a r i z a t i o n   a l g o r i t h m   t h a t   u s e s   t h e   w e b - i m a g e   b a s e d   p r i o r   i n f o r m a t i o n   i n   a n   u n s u p e r v i s e d   m a n n e r .   M o r e o v e r ,   t o   a u t o m a t i c a l l y   e v a l u a t e   s u m m a r i z a t i o n   a l g o r i t h m s   o n   a   l a r g e   s c a l e ,   w e   p r o p o s e   a   f r a m e w o r k   t h a t   r e l i e s   o n   m u l t i p l e   s u m m a r i e s   o b t a i n e d   t h r o u g h   c r o w d s o u r c i n g .   W e   d e m o n s t r a t e   t h e   e f f e c t i v e n e s s   o f   o u r   e v a l u a t i o n   f r a m e w o r k   b y   c o m p a r i n g   i t s   p e r f o r m a n c e   t o   t h a t   o f   m u l t i p l e   h u m a n   e v a l u a t o r s .   F i n a l l y ,   w e   p r e s e n t   r e s u l t s   f o r   o u r   f r a m e w o r k   t e s t e d   o n   h u n d r e d s   o f   u s e r - g e n e r a t e d   v i d e o s . 	 [ K h o s l a ,   A d i t y a ]   M I T ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A 	 K h o s l a ,   A   ( r e p r i n t   a u t h o r ) ,   M I T ,   7 7   M a s s a c h u s e t t s   A v e ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A . 	 k h o s l a @ c s a i l . m i t . e d u ;   r h a m i d @ e b a y . c o m ;   c j l i n @ c s i e . n t u . e d u . t w ;   n s u n d a r e s a n @ e b a y . c o m 	 	 	 	 	 A b d - A l m a g e e d   W ,   2 0 0 8 ,   I E E E   I M A G E   P R O C ,   P 3 2 0 0 ,   D O I   1 0 . 1 1 0 9 / I C I P . 2 0 0 8 . 4 7 1 2 4 7 6 ;   A l m e i d a   J . ,   2 0 1 1 ,   P A T T E R N   R E C O G N I T I O N ;   A n e r   A . ,   2 0 0 6 ,   E C C V ,   P 4 5 ;   B A Y   H ,   2 0 0 6 ,   E C C V ,   V 3 9 5 1 ,   P 4 0 4 ;   C h a   M . ,   2 0 0 7 ,   A C M   S I G C O M M ;   C r a m m e r   K . ,   2 0 0 1 ,   J   M A C H I N E   L E A R N I N G   R ,   V 2 ,   P 2 6 5 ;   D u m o n t   E ,   2 0 0 9 ,   I E E E   I N T   C O N   M U L T I ,   P 6 6 6 ;   E v e r i n g h a m   M . ,   2 0 0 6 ,   P A S C A L   V I S U A L   O B J E C T ;   F a n   R E ,   2 0 0 8 ,   J   M A C H   L E A R N   R E S ,   V 9 ,   P 1 8 7 1 ;   G i a n l u i g i   C . ,   2 0 0 6 ,   J R T I P ;   G L O V E R   F ,   1 9 6 7 ,   N A V   R E S   L O G I S T   Q ,   V 1 4 ,   P 3 1 3 ,   D O I   1 0 . 1 0 0 2 / n a v . 3 8 0 0 1 4 0 3 0 4 ;   G o l d m a n   D . ,   2 0 0 6 ,   A C M   T O G ;   G o n g   Y . ,   2 0 0 0 ,   C O M P U T E R   V I S I O N   P A T T ,   V 2 ,   P 1 7 4 ;   H u a n g   M . ,   2 0 0 4 ,   T E C H N I C A L   R E P O R T ;   J i a n g   R . ,   2 0 0 9 ,   C O N S U M E R   E L E C T ;   L a z e b n i k   S . ,   2 0 0 6 ,   C V P R ,   V 2 ,   P 2 1 6 9 ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 0 6 . 6 8 ;   L e e   Y . J . ,   2 0 1 2 ,   C V P R ;   L i   Y . ,   2 0 1 0 ,   M M   1 0 ,   P 8 5 1 ;   L i n   C . - Y . ,   2 0 0 4 ,   T E X T   S U M M   B R A N C H   O U T ;   L i u   C e ,   2 0 1 1 ,   P A M I ,   V 3 3 ,   P 9 7 8 ,   D O I   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 1 0 . 1 4 7 ;   M a   Y . F . ,   2 0 0 2 ,   A C M   M U L T   C ,   P 5 3 3 ;   N g o   C . ,   2 0 0 5 ,   I E E E   C S V T ;   O v e r   P . ,   2 0 0 7 ,   M U L T I M E D I A   I E E E   T ;   O v e r   P . ,   2 0 0 7 ,   T R E C V I D   W O R K S H ;   P a p i n e n i   K . ,   2 0 0 2 ,   A C L ;   P r i t c h   Y . ,   2 0 0 7 ,   I C C V ;   R a v - A c h a   A . ,   2 0 0 6 ,   C V P R ;   S o r o k i n   A . ,   2 0 0 8 ,   C V P R ;   T R U O N G   B T ,   2 0 0 7 ,   A C M   T   M U L T I M   C O M P U T ,   V 3 ,   P 3 ;   V a l d e s   V ,   2 0 1 2 ,   A C M   T   M U L T I M   C O M P U T ,   V 8 ,   D O I   1 0 . 1 1 4 5 / 2 2 4 0 1 3 6 . 2 2 4 0 1 3 8 ;   V o n d r i c k   C . ,   2 0 1 0 ,   E C C V ;   W a n g   J . ,   2 0 1 0 ,   C V P R ;   W a n g   X . ,   2 0 1 2 ,   C V P R ;   W o l f   W . ,   1 9 9 6 ,   I C A S S P ;   Y U E N   J ,   2 0 0 9 ,   C V P R 	 3 5 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 0 6 3 - 6 9 1 9 	 	 9 7 8 - 0 - 7 6 9 5 - 4 9 8 9 - 7 	 P R O C   C V P R   I E E E 	 	 	 2 0 1 3 	 	 	 	 	 	 	 2 6 9 8 	 2 7 0 5 	 	 1 0 . 1 1 0 9 / C V P R . 2 0 1 3 . 3 4 8 	 	 8 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 B A 0 E R 	 W O S : 0 0 0 3 3 1 0 9 4 3 0 2 0 9 6 	 	 
 B 	 G a r c i a - M o l i n a ,   H 	 	 H u ,   X ;   L i n ,   T Y ;   R a g h a v a n ,   V ;   W a h ,   B ;   B a e z a Y a t e s ,   R ;   F o x ,   G ;   S h a h a b i ,   C ;   S m i t h ,   M ;   Y a n g ,   Q ;   G h a n i ,   R ;   F a n ,   W ;   L e m p e l ,   R ;   N a m b i a r ,   R 	 	 G a r c i a - M o l i n a ,   H e c t o r 	 	 	 U s i n g   C r o w d s o u r c i n g   f o r   D a t a   A n a l y t i c s 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   B I G   D A T A 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   B i g   D a t a   ( B i g   D a t a ) 	 O C T   0 6 - 0 9 ,   2 0 1 3 	 S a n t a   C l a r a ,   C A 	 I E E E ,   I E E E   C o m p   S o c ,   C C F ,   Y a h o o   L a b s ,   C I S C O 	 	 	 	 	 S t a n f o r d   U n i v ,   D e p t   C o m p   S c i ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A 	 G a r c i a - M o l i n a ,   H   ( r e p r i n t   a u t h o r ) ,   S t a n f o r d   U n i v ,   D e p t   C o m p   S c i ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A . 	 	 	 	 	 	 	 0 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 7 9 9 - 1 2 9 2 - 6 ;   9 7 8 - 1 - 4 7 9 9 - 1 2 9 3 - 3 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 	 	 	 	 	 1 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 0 B K 	 W O S : 0 0 0 3 3 0 8 3 1 3 0 0 0 0 3 	 	 
 B 	 G r a n t ,   S ;   S h a w g o ,   K E ;   M a r c i a n o ,   R ;   H e a r d ,   J ;   N d i a y e ,   P 	 	 H u ,   X ;   L i n ,   T Y ;   R a g h a v a n ,   V ;   W a h ,   B ;   B a e z a Y a t e s ,   R ;   F o x ,   G ;   S h a h a b i ,   C ;   S m i t h ,   M ;   Y a n g ,   Q ;   G h a n i ,   R ;   F a n ,   W ;   L e m p e l ,   R ;   N a m b i a r ,   R 	 	 G r a n t ,   S h e r y l ;   S h a w g o ,   K r i s t a n   E . ;   M a r c i a n o ,   R i c h a r d ;   H e a r d ,   J e f f ;   N d i a y e ,   P r i s c i l l a 	 	 	 T h e   H u m a n   F a c e   o f   C r o w d s o u r c i n g :   A   C i t i z e n - l e d   C r o w d s o u r c i n g   C a s e   S t u d y 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   B I G   D A T A 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   B i g   D a t a   ( B i g   D a t a ) 	 O C T   0 6 - 0 9 ,   2 0 1 3 	 S a n t a   C l a r a ,   C A 	 I E E E ,   I E E E   C o m p   S o c ,   C C F ,   Y a h o o   L a b s ,   C I S C O 	 	 C r o w d s o u r c i n g ;   c i t i z e n - s o u r c i n g ;   S o u t h s i d e ;   A s h e v i l l e ;   H o u s i n g   A u t h o r i t y   o f   t h e   C i t y   o f   A s h e v i l l e ;   A s h e v i l l e   N C ;   u r b a n   r e n e w a l ;   A f r i c a n - A m e r i c a n s 	 	 T h e   C y b e r - I n f r a s t r u c t u r e   f o r   B i l l i o n s   o f   E l e c t r o n i c   R e c o r d s   ( C I - B E R )   p r o j e c t   i s   a   c o l l a b o r a t i v e   b i g   d a t a   m a n a g e m e n t   p r o j e c t   b a s e d   o n   t h e   i n t e g r a t i o n   o f   h e t e r o g e n e o u s   d a t a s e t s   a n d   m u l t i - s o u r c e   h i s t o r i c a l   a n d   d i g i t a l   c o l l e c t i o n s ,   i n c l u d i n g   a   p l a c e - b a s e d   c i t i z e n - l e d   c r o w d s o u r c i n g   c a s e   s t u d y   o f   t h e   S o u t h s i d e   n e i g h b o r h o o d   i n   A s h e v i l l e ,   N o r t h   C a r o l i n a .   T h e   p r o j e c t   i s   f u n d e d   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   a n d   t h e   N a t i o n a l   A r c h i v e s   a n d   R e c o r d s   A d m i n i s t r a t i o n   ( N A R A )   a g e n c i e s .   A   t e s t - b e d   c o l l e c t i o n   c o n t a i n i n g   n e a r l y   1 0 0   m i l l i o n   f i l e s   a n d   5 0 T B   o f   d a t a   w a s   d e v e l o p e d ,   w i t h   c o n t e n t   r e p r e s e n t i n g   e l e c t r o n i c   F e d e r a l   G o v e r n m e n t   r e c o r d s   f r o m   1 5 0   f e d e r a l   a g e n c i e s .   T h e   C I - B E R   p r o j e c t   a d v a n c e s   t h e   s t a t e   o f   t h e   a r t   i n   g e n e r a l i z a b l e   a n d   e x t e n s i b l e   u l t r a - h i g h l y   s c a l a b l e   d a t a   m a n a g e m e n t   a r c h i t e c t u r e s ,   p o t e n t i a l l y   e n a b l i n g   r o b u s t   t e c h n i c a l   p r e s e r v a t i o n   o f ,   a n d   a c c e s s   t o ,   e l e c t r o n i c   r e c o r d s   a n d   d i g i t a l   d a t a   i n   t h e   c o n t e x t   o f   e m e r g i n g   n a t i o n a l   s c a l e   c y b e r - e n v i r o n m e n t s .   A   f i r s t - g e n e r a t i o n   o p e n   s o u r c e   c o l l a b o r a t i v e   m a p p i n g   e n v i r o n m e n t   p r o t o t y p e   i s   c u r r e n t l y   b e i n g   d e v e l o p e d   t o   s u p p o r t   n o v e l   " c i t i z e n - l e d   c r o w d s o u r c i n g "   p o s s i b i l i t i e s   f o r   a r c h i v a l   m a t e r i a l . 	 [ G r a n t ,   S h e r y l ;   M a r c i a n o ,   R i c h a r d ]   U n i v   N   C a r o l i n a ,   S c h   I n f o r m a t   &   L i b   S c i   S I L S ,   C h a p e l   H i l l ,   N C   2 7 5 1 5   U S A 	 G r a n t ,   S   ( r e p r i n t   a u t h o r ) ,   U n i v   N   C a r o l i n a ,   S c h   I n f o r m a t   &   L i b   S c i   S I L S ,   C h a p e l   H i l l ,   N C   2 7 5 1 5   U S A . 	 s h e r y l g r a n t @ g m a i l . c o m ;   k r i s t a n . s h a w g o @ d u k e . e d u ;   r i c h a r d _ m a r c i a n o @ u n c . e d u ;   j e f f @ r e n c i . o r g ;   p r i s c i l l a p o w e r 2 @ g m a i l . c o m 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 0 7 ,   H O S   A U T H   R E C   C I T   A S H ;   [ A n o n y m o u s ] ,   2 0 0 7 ,   C I T Y   A S H E V I L L E   D O N A T ;   D u n n   S . ,   2 0 1 2 ,   C R O W D   S O U R C I N G   S C O P I ;   F e r r i e r o   D . ,   2 0 1 3 ,   A R C H   O U T L O O K           J A N ,   V 1 6 ;   F u l l i l o v e   M ,   2 0 0 4 ,   R O O T   S H O C K   T E A R I N G   C ;   G a l l u p p i   K . ,   2 0 1 2 ,   A M S   2 0 1 2 ;   H e a r d   J . ,   T R 1 1 0 3 ;   H e a r d   J . ,   V I R T   S C H   C O M P   S C I   E N ;   H e a r d   J . ,   2 0 1 3 ,   J   C O M P U T E R   S U P P O   J U L ,   D O I   [ 1 0 . 1 0 0 7 / s 1 0 6 0 6 - 0 1 3 - 9 1 9 1 - 9 ,   D O I   1 0 . 1 0 0 7 / S 1 0 6 0 6 - 0 1 3 - 9 1 9 1 - 9 ] ;   H i l g e r s   D . ,   2 0 1 0 ,   I N T   J   P U B L I C   P A R T I C I ,   V 4 ,   P 6 7 ;   J u d s o n   S . ,   2 0 1 0 ,   T W I L I G H T   N E I G H B O R H O O ;   K u n d r a   V . ,   2 0 1 0 ,   O P E N   G O V   D A T A S E T S   A F ;   N a m   T ,   2 0 1 2 ,   G O V   I N F O R M   Q ,   V 2 9 ,   P 1 2 ,   D O I   1 0 . 1 0 1 6 / j . g i q . 2 0 1 1 . 0 7 . 0 0 5 ;   N e u f i e l d   R . ,   2 0 1 3 ,   P R O J E C T   S E E K S   R E C R E A ;   T h e i m e r   K . ,   2 0 1 1 ,   A R C H I V E S N E X T   B L   0 8 3 0 	 1 5 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 7 9 9 - 1 2 9 2 - 6 ;   9 7 8 - 1 - 4 7 9 9 - 1 2 9 3 - 3 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 	 	 	 	 	 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 0 B K 	 W O S : 0 0 0 3 3 0 8 3 1 3 0 0 1 3 6 	 	 
 B 	 L i u ,   Z Q ;   L u o ,   L ;   L i ,   W J 	 	 H u ,   X ;   L i n ,   T Y ;   R a g h a v a n ,   V ;   W a h ,   B ;   B a e z a Y a t e s ,   R ;   F o x ,   G ;   S h a h a b i ,   C ;   S m i t h ,   M ;   Y a n g ,   Q ;   G h a n i ,   R ;   F a n ,   W ;   L e m p e l ,   R ;   N a m b i a r ,   R 	 	 L i u ,   Z h i q u a n ;   L u o ,   L u o ;   L i ,   W u - J u n 	 	 	 R o b u s t   C r o w d s o u r c e d   L e a r n i n g 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   B I G   D A T A 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   B i g   D a t a   ( B i g   D a t a ) 	 O C T   0 6 - 0 9 ,   2 0 1 3 	 S a n t a   C l a r a ,   C A 	 I E E E ,   I E E E   C o m p   S o c ,   C C F ,   Y a h o o   L a b s ,   C I S C O 	 	 c r o w d s o u r c i n g ;   c r o w d s o u r c e d   l e a r n i n g ;   s u p e r v i s e d   l e a r n i n g 	 	 I n   g e n e r a l ,   a   l a r g e   a m o u n t   o f   l a b e l s   a r e   n e e d e d   f o r   s u p e r v i s e d   l e a r n i n g   a l g o r i t h m s   t o   a c h i e v e   s a t i s f a c t o r y   p e r f o r m a n c e .   I t ' s   t y p i c a l l y   v e r y   t i m e - c o n s u m i n g   a n d   m o n e y - c o n s u m i n g   t o   g e t   s u c h   k i n d   o f   l a b e l e d   d a t a .   R e c e n t l y ,   c r o w d s o u r c i n g   s e r v i c e s   p r o v i d e   a n   e f f e c t i v e   w a y   t o   c o l l e c t   l a b e l e d   d a t a   w i t h   m u c h   l o w e r   c o s t .   H e n c e ,   c r o w d s o u r c e d   l e a r n i n g   ( C L ) ,   w h i c h   p e r f o r m s   l e a r n i n g   w i t h   l a b e l e d   d a t a   c o l l e c t e d   f r o m   c r o w d s o u r c i n g   s e r v i c e s ,   h a s   b e c o m e   a   v e r y   h o t   a n d   i n t e r e s t i n g   r e s e a r c h   t o p i c   i n   r e c e n t   y e a r s .   M o s t   e x i s t i n g   C L   m e t h o d s   e x p l o i t   o n l y   t h e   l a b e l s   f r o m   d i f f e r e n t   w o r k e r s   ( a n n o t a t o r s )   f o r   l e a r n i n g   w h i l e   i g n o r i n g   t h e   a t t r i b u t e s   o f   t h e   i n s t a n c e s .   I n   m a n y   r e a l   a p p l i c a t i o n s ,   t h e   a t t r i b u t e s   o f   t h e   i n s t a n c e s   a r e   a c t u a l l y   t h e   m o s t   d i s c r i m i n a t i v e   i n f o r m a t i o n   f o r   l e a r n i n g .   H e n c e ,   C L   m e t h o d s   w i t h   a t t r i b u t e s   h a v e   a t t r a c t e d   m o r e   a n d   m o r e   a t t e n t i o n   f r o m   C L   r e s e a r c h e r s .   O n e   r e p r e s e n t a t i v e   m o d e l   o f   s u c h   k i n d   i s   t h e   p e r s o n a l   c l a s s i f i e r   ( P C )   m o d e l ,   w h i c h   h a s   a c h i e v e d   t h e   s t a t e - o f - t h e - a r t   p e r f o r m a n c e .   H o w e v e r ,   t h e   P C   m o d e l   m a k e s   a n   u n r e a s o n a b l e   a s s u m p t i o n   t h a t   a l l   t h e   w o r k e r s   c o n t r i b u t e   e q u a l l y   t o   t h e   f i n a l   c l a s s i f i c a t i o n .   T h i s   c o n t r a d i c t s   t h e   f a c t   t h a t   d i f f e r e n t   w o r k e r s   h a v e   d i f f e r e n t   q u a l i t y   ( a b i l i t y )   f o r   d a t a   l a b e l i n g .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   n o v e l   m o d e l ,   c a l l e d   r o b u s t   p e r s o n a l   c l a s s i f i e r   ( R P C ) ,   f o r   r o b u s t   c r o w d s o u r c e d   l e a r n i n g .   O u r   m o d e l   c a n   a u t o m a t i c a l l y   l e a r n   a n   e x p e r t i s e   s c o r e   f o r   e a c h   w o r k e r .   T h i s   e x p e r t i s e   s c o r e   r e f l e c t s   t h e   i n h e r e n t   q u a l i t y   o f   e a c h   w o r k e r .   T h e   f i n a l   c l a s s i f i e r   o f   o u r   R P C   m o d e l   g i v e s   h i g h   w e i g h t s   f o r   g o o d   w o r k e r s   a n d   l o w   w e i g h t s   f o r   p o o r   w o r k e r s   o r   s p a m m e r s ,   w h i c h   i s   m o r e   r e a s o n a b l e   t h a n   P C   m o d e l   w i t h   e q u a l   w e i g h t s   f o r   a l l   w o r k e r s .   F u r t h e r m o r e ,   t h e   l e a r n e d   e x p e r t i s e   s c o r e   c a n   b e   u s e d   t o   e l i m i n a t e   s p a m m e r s   o r   l o w - q u a l i t y   w o r k e r s .   E x p e r i m e n t s   o n   s i m u l a t e d   d a t a s e t s   a n d   U C I   d a t a s e t s   s h o w   t h a t   t h e   p r o p o s e d   m o d e l   c a n   d r a m a t i c a l l y   o u t p e r f o r m   t h e   b a s e l i n e   m o d e l s   s u c h   a s   P C   m o d e l   i n   t e r m s   o f   c l a s s i f i c a t i o n   a c c u r a c y   a n d   a b i l i t y   t o   d e t e c t   s p a m m e r s . 	 [ L i u ,   Z h i q u a n ;   L u o ,   L u o ;   L i ,   W u - J u n ]   S h a n g h a i   J i a o   T o n g   U n i v ,   D e p t   C o m p   S c i   &   E n g n ,   S h a n g h a i   K e y   L a b   S c a l a b l e   C o m p   &   S y s t ,   S h a n g h a i   2 0 0 0 3 0 ,   P e o p l e s   R   C h i n a 	 L i u ,   Z Q   ( r e p r i n t   a u t h o r ) ,   S h a n g h a i   J i a o   T o n g   U n i v ,   D e p t   C o m p   S c i   &   E n g n ,   S h a n g h a i   K e y   L a b   S c a l a b l e   C o m p   &   S y s t ,   S h a n g h a i   2 0 0 0 3 0 ,   P e o p l e s   R   C h i n a . 	 l i u z h i q u a n @ s j t u . e d u . c n ;   r i c k y @ s j t u . e d u . c n ;   l i w u j u n @ c s . s j t u . e d u . c n 	 	 	 	 	 B a b a   Y . ,   2 0 1 3 ,   K D D ;   B a c h e   K . ,   2 0 1 3 ,   U C I   M A C H I N E   L E A R N I N G ;   D a w i d   A . P . ,   1 9 7 9 ,   J   R O Y A L   S T A T   S O C   C ,   V 2 8 ,   P 2 0 ;   D e n g   J . ,   2 0 0 9 ,   C V P R ;   K a j i n o   H . ,   2 0 1 3 ,   A A A I ;   K a j i n o   H i r o s h i ,   2 0 1 2 ,   A A A I ;   L a n g e   K ,   2 0 0 0 ,   J   C O M P U T   G R A P H   S T A T ,   V 9 ,   P 1 ,   D O I   1 0 . 2 3 0 7 / 1 3 9 0 6 0 5 ;   M o   K . ,   2 0 1 3 ,   K D D ;   O y a m a   S . ,   2 0 1 3 ,   I J C A I ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   R a y k a r   V .   C . ,   2 0 1 1 ,   N I P S ,   P 1 8 0 9 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   R a y k a r   V C ,   2 0 1 2 ,   J   M A C H   L E A R N   R E S ,   V 1 3 ,   P 4 9 1 ;   S h e n g   V . ,   2 0 0 8 ,   K D D   0 8 ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   S m y t h   P ,   1 9 9 4 ,   N I P S ,   P 1 0 8 5 ;   S n o w   R . ,   2 0 0 8 ,   E M N L P ,   P 2 5 4 ;   S o r o k i n   A ,   2 0 0 8 ,   C V P R W   2 0 0 8 ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R W . 2 0 0 8 . 4 5 6 2 9 5 3 ;   T i a n   Y . ,   2 0 1 2 ,   K D D ,   P 2 2 6 ;   v o n   A h n   L ,   2 0 0 9 ,   D E S   A U T   C O N ,   P 4 1 8 ;   W e l i n d e r   P . ,   2 0 1 0 ,   N I P S ,   P 2 4 2 4 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   N I P S ,   P 2 0 3 5 ;   W O L B E R G   W H ,   1 9 9 0 ,   P   N A T L   A C A D   S C I   U S A ,   V 8 7 ,   P 9 1 9 3 ,   D O I   1 0 . 1 0 7 3 / p n a s . 8 7 . 2 3 . 9 1 9 3 ;   Y a n   Y . ,   2 0 1 0 ,   U A I ,   P 6 7 4 ;   Y a n   Y . ,   2 0 1 1 ,   I C M L ,   P 1 1 6 1 ;   Y i   J . ,   2 0 1 2 ,   N I P S ,   P 1 7 8 1 ;   Z h o u   D . ,   2 0 1 2 ,   N I P S ,   P 2 2 0 4 	 2 6 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 7 9 9 - 1 2 9 2 - 6 ;   9 7 8 - 1 - 4 7 9 9 - 1 2 9 3 - 3 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 	 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B A 0 B K 	 W O S : 0 0 0 3 3 0 8 3 1 3 0 0 0 5 0 	 	 
 J 	 W a n g ,   H ;   M e n g ,   H ;   Q i a n ,   X J 	 	 	 I E E E 	 W a n g ,   H a o ;   M e n g ,   H e l e n ;   Q i a n ,   X i a o j u n 	 	 	 P r e d i c t i n g   G r a d a t i o n   o f   L 2   E n g l i s h   M i s p r o n u n c i a t i o n s   U s i n g   A S R   w i t h   E x t e n d e d   R e c o g n i t i o n   N e t w o r k 	 2 0 1 3   A S I A - P A C I F I C   S I G N A L   A N D   I N F O R M A T I O N   P R O C E S S I N G   A S S O C I A T I O N   A N N U A L   S U M M I T   A N D   C O N F E R E N C E   ( A P S I P A ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 A n n u a l   S u m m i t   a n d   C o n f e r e n c e   o f   t h e   A s i a - P a c i f i c - S i g n a l - a n d - I n f o r m a t i o n - P r o c e s s i n g - A s s o c i a t i o n   ( A P S I P A ) 	 O C T   2 9 - N O V   0 1 ,   2 0 1 3 	 K a o h s i u n g ,   T A I W A N 	 A s i a   P a c i f i c   S i g n a l   &   I n f o r m a t   P r o c   A s s o c 	 	 	 	 A   C A P T   s y s t e m   c a n   b e   p e d a g o g i c a l l y   i m p r o v e d   b y   g i v i n g   e f f e c t i v e   f e e d b a c k   a c c o r d i n g   t o   t h e   s e v e r i t y   o f   m i s p r o n u n c i a t i o n s .   W e   o b t a i n e d   p e r c e p t u a l   g r a d a t i o n s   o f   L 2   E n g l i s h   m i s p r o n u n c i a t i o n s   t h r o u g h   c r o w d s o u r c i n g ,   c o n d u c t e d   q u a l i t y   c o n t r o l   t o   f i l t e r   f o r   r e l i a b l e   r a t i n g s   a n d   p r o p o s e d   a p p r o a c h e s   t o   p r e d i c t   g r a d a t i o n   o f   w o r d - l e v e l   m i s p r o n u n c i a t i o n s .   T h i s   p a p e r   p r e s e n t s   o u r   w o r k   o n   m a k i n g   i m p r o v e m e n t s   u s i n g   A S R   w i t h   e x t e n d e d   r e c o g n i t i o n   n e t w o r k   t o   t h e   p r e v i o u s   p r e d i c t i n g   a p p r o a c h   t o   s o l v e   i t s   l i m i t a t i o n s :   1 .   i t   i s   n o t   w o r k i n g   f o r   t h o s e   m i s p r o n o u n c e d   w o r d s   w h o s e   t r a n s c r i p t i o n s   a r e   n o t   i m m e d i a t e l y   a v a i l a b l e ;   2 .   p e r c e p t u a l l y   d i f f e r e n t l y   a r t i c u l a t e d   w o r d s   w i t h   t h e   s a m e   t r a n s c r i p t i o n   h a v e   t h e   s a m e   p r e d i c t e d   g r a d a t i o n . 	 [ W a n g ,   H a o ;   M e n g ,   H e l e n ;   Q i a n ,   X i a o j u n ]   C h i n e s e   U n i v   H o n g   K o n g ,   D e p t   S y s t   E n g n   &   E n g n   M a n a g e m e n t ,   H o n g   K o n g ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a 	 W a n g ,   H   ( r e p r i n t   a u t h o r ) ,   C h i n e s e   U n i v   H o n g   K o n g ,   D e p t   S y s t   E n g n   &   E n g n   M a n a g e m e n t ,   H o n g   K o n g ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a . 	 h w a n g @ s e . c u h k . e d u . h k ;   h m m e n g @ s e . c u h k . e d u . h k ;   x j q i a n @ s e . c u h k . e d u . h k 	 	 	 	 	 C O H E N   J ,   1 9 6 0 ,   E D U C   P S Y C H O L   M E A S ,   V 2 0 ,   P 3 7 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 3 1 6 4 4 6 0 0 2 0 0 0 1 0 4 ;   E l l i s   R . ,   2 0 0 9 ,   L 2   J ,   V 1 ,   P 3 ;   H a r r i s o n   A .   M . ,   2 0 0 9 ,   P   2   I S C A   W O R K S H   S P E E ;   K a p l a n   R .   M . ,   1 9 9 4 ,   C o m p u t a t i o n a l   L i n g u i s t i c s ,   V 2 0 ;   K i m   Y . ,   1 9 9 7 ,   5   E U R   C   S P E E C H   C O M M ;   K u n a t h   S .   A . ,   2 0 1 0 ,   P   C S L D A M T   1 0   A S S   C O M ;   L o   W .   K . ,   2 0 1 0 ,   P   I N T   M A K   J A P   2 6   3 0 ;   M c G r a w   I . ,   2 0 1 1 ,   P   I N T E R S P E E C H 2 0 1 1   F L ;   M o h r i   M . ,   1 9 9 8 ,   A T   T   F S M   L I B   V 3   7 ;   S h o u k r i   M .   M . ,   2 0 0 4 ,   M E A S U R E S   I N T E R O B S E R V ;   W a n g   H . ,   2 0 1 2 ,   P   1 5   O R   C O C O S D A   M A C ;   W a n g   H . ,   2 0 1 3 ,   P   S P E E C H   L A N G   T E C H N ;   W I T T   S ,   1 9 9 7 ,   P   E U R O S P E E C H   C I T ,   V 9 7 ,   P 6 3 3 	 1 3 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 	 	 	 	 	 4 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 E n g i n e e r i n g 	 B A 0 E S 	 W O S : 0 0 0 3 3 1 0 9 4 4 0 0 0 6 2 	 	 
 J 	 X u ,   W ;   H u a n g ,   H ;   S u n ,   Y E ;   L i ,   F Z ;   Z h u ,   Y Q ;   Z h a n g ,   S K 	 	 	 I E E E 	 X u ,   W e i ;   H u a n g ,   H e ;   S u n ,   Y u - e ;   L i ,   F a n z h a n g ;   Z h u ,   Y a n q i n ;   Z h a n g ,   S h u k u i 	 	 	 D A T A :   A   D o u b l e   A u c t i o n   B a s e d   T a s k   A s s i g n m e n t   M e c h a n i s m   i n   C r o w d s o u r c i n g   S y s t e m s 	 2 0 1 3   8 T H   I N T E R N A T I O N A L   I C S T   C O N F E R E N C E   O N   C O M M U N I C A T I O N S   A N D   N E T W O R K I N G   I N   C H I N A   ( C H I N A C O M ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 8 t h   I n t e r n a t i o n a l   I C S T   C o n f e r e n c e   o n   C o m m u n i c a t i o n s   a n d   N e t w o r k i n g   i n   C h i n a   ( C H I N A C O M ) 	 A U G   1 4 - 1 6 ,   2 0 1 3 	 G u i l i n ,   P E O P L E S   R   C H I N A 	 E u r o p e a n   A l l i a n c e   I n n o v a t ,   I E E E ,   I C S T ,   I E E E   C o m p   S o c 	 	 D o u b l e   a u c t i o n ;   T r u t h f u l ;   T a s k   a s s i g n m e n t ;   M o b i l e   s e n s i n g ;   C r o w d s o u r c i n g 	 	 W i t h   t h e   i n c r e a s i n g   n u m b e r   o f   s m a r t p h o n e   u s e r s ,   m o b i l e   p h o n e   s e n s i n g   a p p l i c a t i o n s   h a v e   b e e n   r e g a r d i n g   a s   a   p r o m i s i n g   p a r a d i g m   w h i c h   m a k e s   u s e   o f   t h e   s m a r t p h o n e s   t o   a c c e s s   t h e   u b i q u i t o u s   e n v i r o n m e n t   d a t a .   I n   t h i s   w o r k ,   w e   s t u d y   t h e   s e n s i n g   t a s k   a u c t i o n   p r o b l e m   w h e r e   t h e r e   a r e   m u l t i p l e   t a s k s   a n d   s m a r t p h o n e   u s e r s .   T h e   m o s t   s i g n i f i c a n t   c h a l l e n g e   o f   t h i s   p r o b l e m   i s   h o w   t o   d e s i g n   a   t r u t h f u l   a u c t i o n   m e c h a n i s m s ,   w h i c h   i s   c r u c i a l   f o r   a u c t i o n   m e c h a n i s m   d e s i g n .   T h u s ,   w e   a d d r e s s   t h i s   c h a l l e n g e   b y   p r o p o s i n g   D A T A ,   w h i c h   i s   a   t r u t h f u l   d o u b l e   a u c t i o n   m e c h a n i s m   f o r   s e n s i n g   t a s k s   a l l o c a t i o n .   D i f f e r e n t   f r o m   t h e   e x i s t i n g   d e s i g n s ,   w e   a r e   t h e   f i r s t   t o   d e s i g n   d o u b l e   a u c t i o n   m e c h a n i s m   f o r   s o l v i n g   m o b i l e   p h o n e   s e n s i n g   p r o b l e m .   B e s i d e s ,   w e   f u r t h e r   t a k e   t h e   r e l a t i o n s h i p   b e t w e e n   t h e   u t i l i t y   o f   t a s k   d e m a n d e r s   a n d   t h e   n u m b e r   o f   u s e r s   t h a t   a r e   a s s i g n e d   t o   d o   t h e   t a s k s   i n t o   c o n s i d e r a t i o n ,   a n d   a s s i g n   a   s e t   o f   s m a r t p h o n e   u s e r s   t o   a   w i n n i n g   d e m a n d e r   w h i c h   c a n   m a x i m i z e   t h e   w i n n i n g   d e m a n d e r ' s   u t i l i t y .   A t   l a s t ,   w e   c o n d u c t   e x t e n s i v e   s i m u l a t i o n s   t o   s t u d y   t h e   p e r f o r m a n c e s   o f   t h e   p r o p o s e d   a u c t i o n   m e c h a n i s m ,   a n d   t h e   s i m u l a t i o n   r e s u l t s   c o r r o b o r a t e   o u r   t h e o r e t i c a l   a n a l y s i s . 	 [ X u ,   W e i ;   H u a n g ,   H e ;   L i ,   F a n z h a n g ;   Z h u ,   Y a n q i n ;   Z h a n g ,   S h u k u i ]   S o o c h o w   U n i v ,   S c h   C o m p   S c i   &   T e c h n o l ,   S u z h o u ,   P e o p l e s   R   C h i n a 	 S u n ,   Y E   ( r e p r i n t   a u t h o r ) ,   S o o c h o w   U n i v ,   S c h   U r b a n   R a i l   T r a n s p o r t a t ,   S u z h o u ,   P e o p l e s   R   C h i n a . 	 s u n y e 1 2 @ s u d a . e d u . c n 	 	 	 	 	 B a b a i o f f   M ,   2 0 0 5 ,   D E C I S   S U P P O R T   S Y S T ,   V 3 9 ,   P 1 2 3 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 4 . 0 8 . 0 0 8 ;   C h a t z i m i l i o u d i s   G ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 3 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 7 0 ;   C o x   L P ,   2 0 1 1 ,   I E E E   S E C U R   P R I V ,   V 9 ,   P 7 4 ,   D O I   1 0 . 1 1 0 9 / M S P . 2 0 1 1 . 1 4 5 ;   E r i k s s o n   J . ,   2 0 0 8 ,   A C M   M O B I S Y S ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G ;   H u a n g   H . ,   2 0 1 2 ,   P   7   I N T   C   W I R   A L G   S Y ;   H u r w i c z   L ,   1 9 7 7 ,   S T U D I E S   R E S O U R C E   A L L ,   P 4 2 5 ;   K a n h e r e   S .   S . ,   2 0 1 3 ,   D I S T R I B   C O M P U T ,   P 1 9 ;   K l e m p e r e r   P ,   2 0 0 2 ,   J   E C O N   P E R S P E C T ,   V 1 6 ,   P 1 6 9 ,   D O I   1 0 . 1 2 5 7 / 0 8 9 5 3 3 0 0 2 7 1 6 6 ;   K r i s h n a   V ,   2 0 0 9 ,   A U C T I O N   T H E O R Y ;   L a n e   N D ,   2 0 1 0 ,   I E E E   C O M M U N   M A G ,   V 4 8 ,   P 1 4 0 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 0 . 5 5 6 0 5 9 8 ;   M C A F E E   R P ,   1 9 9 2 ,   J   E C O N   T H E O R Y ,   V 5 6 ,   P 4 3 4 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 2 - 0 5 3 1 ( 9 2 ) 9 0 0 9 1 - U ;   M Y E R S O N   R B ,   1 9 8 3 ,   J   E C O N   T H E O R Y ,   V 2 9 ,   P 2 6 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 2 - 0 5 3 1 ( 8 3 ) 9 0 0 4 8 - 0 ;   R a n a   R .   K . ,   2 0 1 0 ,   P   9   A C M   I E E E   I N T   C   I ,   P 1 0 5 ,   D O I   1 0 . 1 1 4 5 / 1 7 9 1 2 1 2 . 1 7 9 1 2 2 6 ;   S t e v e n s   M . ,   2 0 1 0 ,   W O R K S H   U B   C R O W D S ;   T H I A G A R A J A N   A ,   2 0 0 9 ,   P   7   A C M   C   E M B   N E T W   S ,   P 8 5 ,   D O I   1 0 . 1 1 4 5 / 1 6 4 4 0 3 8 . 1 6 4 4 0 4 8 ;   W a n g   S . ,   2 0 1 0 ,   I E E E   I N F O C O M ,   P 1 ;   W a n g   W . ,   2 0 1 1 ,   I E E E   C O M M   S O C   C   S E N S ,   P 5 2 1 ;   Y A N G   D ,   2 0 1 2 ,   P   1 8   A N N   I N T   C   M O B   C ,   P 1 7 3 ;   Z h o u   X ,   2 0 0 9 ,   I E E E   I N F O C O M   S E R ,   P 9 9 9 ,   D O I   1 0 . 1 1 0 9 / I N F C O M . 2 0 0 9 . 5 0 6 2 0 1 1 	 2 0 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 7 9 9 - 1 4 0 6 - 7 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 7 2 	 1 7 7 	 	 	 	 6 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 B J U 4 2 	 W O S : 0 0 0 3 3 0 5 6 9 8 0 0 0 3 2 	 	 
 J 	 B e s a l e v a ,   L I ;   W e a v e r ,   A C 	 	 	 I E E E   C o m p   S o c ;   A c a d   S c i   &   E n g n 	 B e s a l e v a ,   L i l i y a   I . ;   W e a v e r ,   A l f r e d   C . 	 	 	 A p p l i c a t i o n s   o f   S o c i a l   N e t w o r k s   a n d   C r o w d s o u r c i n g   f o r   D i s a s t e r   M a n a g e m e n t   I m p r o v e m e n t 	 2 0 1 3   A S E / I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S O C I A L   C O M P U T I N G   ( S O C I A L C O M ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 A S E / I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S o c i a l   C o m p u t i n g   ( S o c i a l C o m ) 	 S E P   0 8 - 1 4 ,   2 0 1 3 	 W a s h i n g t o n ,   D C 	 A c a d   S c i   E n g n ,   I E E E ,   I E E E   C o m p   S o c 	 	 e m e r g e n c y   p r e p a r e d n e s s ;   t r i a g e ;   c r o w d s o u r c i n g ;   e - h e a l t h ;   m o b i l e   t e c h n o l o g i e s 	 T R I A G E ;   S Y S T E M ;   H E A L T H 	 E m e r g e n c y   r e s o u r c e s   a r e   o f t e n   i n s u f f i c i e n t   t o   s a t i s f y   f u l l y   t h e   d e m a n d s   f o r   p r o f e s s i o n a l   h e l p   a n d   s u p p l i e s   a f t e r   a   p u b l i c   d i s a s t e r .   F u r t h e r m o r e ,   i n   a   m a s s   c a s u a l t y   s i t u a t i o n ,   t h e   e m p h a s i s   s h i f t s   f r o m   e n s u r i n g   t h e   b e s t   p o s s i b l e   o u t c o m e   f o r   e a c h   i n d i v i d u a l   p a t i e n t   t o   e n s u r i n g   t h e   b e s t   p o s s i b l e   o u t c o m e   f o r   t h e   g r e a t e s t   n u m b e r   o f   p a t i e n t s .   H i s t o r i c a l l y ,   v a r i o u s   m a n u a l   a n d   e l e c t r o n i c   m e d i c a l   t r i a g e   s y s t e m s   h a v e   b e e n   u s e d   b o t h   u n d e r   c i v i l   a n d   m i l i t a r y   c o n d i t i o n s   t o   d e t e r m i n e   t h e   o r d e r   a n d   p r i o r i t y   o f   e m e r g e n c y   t r e a t m e n t ,   t r a n s p o r t ,   a n d   b e s t   p o s s i b l e   d e s t i n a t i o n   f o r   t h e   p a t i e n t s   [ 1 2 ] [ 1 3 ] [ 1 5 ] [ 1 6 ] [ 1 7 ] [ 1 8 ] .   U n f o r t u n a t e l y ,   n o n e   o f   t h o s e   s o l u t i o n s   h a s   p r o v e n   f l e x i b l e ,   a c c u r a t e ,   s c a l a b l e   o r   u n o b t r u s i v e   e n o u g h   t o   m e e t   t h e   p u b l i c ' s   e x p e c t a t i o n s   [ 7 ] .   I n   t h i s   p a p e r ,   w e   p r o v i d e   i n s i g h t s   i n t o   t h e   t r e n d s ,   i n n o v a t i o n s ,   a n d   c h a l l e n g e s   o f   c o n t e m p o r a r y   c r o w d s o u r c e d   e - H e a l t h   a n d   m e d i c a l   i n f o r m a t i c s   a p p l i c a t i o n s   i n   t h e   c o n t e x t   o f   e m e r g e n c y   p r e p a r e d n e s s   a n d   r e s p o n s e .   A d d i t i o n a l l y ,   w e   d e m o n s t r a t e   a   s y s t e m ,   c a l l e d   C r o w d H e l p ,   f o r   r e a l - t i m e   p a t i e n t   a s s e s s m e n t   w h i c h   u s e s   m o b i l e   e l e c t r o n i c   t r i a g i n g   a c c o m p l i s h e d   v i a   c r o w d s o u r c e d   i n f o r m a t i o n .   W i t h   t h e   u s e   o f   o u r   s y s t e m ,   e m e r g e n c y   m a n a g e m e n t   p r o f e s s i o n a l s   r e c e i v e   m o s t   o f   t h e   i n f o r m a t i o n   t h e y   n e e d   f o r   p r e p a r i n g   t h e m s e l v e s   t o   p r o v i d e   t i m e l y   a n d   a c c u r a t e   t r e a t m e n t s   o f   t h e i r   p a t i e n t s   e v e n   b e f o r e   d i s p a t c h i n g   a   r e s p o n s e   t e a m   t o   t h e   e v e n t . 	 [ B e s a l e v a ,   L i l i y a   I . ;   W e a v e r ,   A l f r e d   C . ]   U n i v   V i r g i n i a ,   D e p t   C o m p   S c i ,   C h a r l o t t e s v i l l e ,   V A   2 2 9 0 1   U S A 	 B e s a l e v a ,   L I   ( r e p r i n t   a u t h o r ) ,   U n i v   V i r g i n i a ,   D e p t   C o m p   S c i ,   C h a r l o t t e s v i l l e ,   V A   2 2 9 0 1   U S A . 	 b e s a l e v a @ v i r g i n i a . e d u ;   w e a v e r @ v i r g i n i a . e d u 	 	 	 	 	 A m e r i c a n   R e d   C r o s s ,   S U P E R S T O R M   S A N D Y   O N E ;   A s a e d a   G ,   2 0 0 2 ,   A C A D   E M E R G   M E D ,   V 9 ,   P 2 5 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 5 3 - 2 7 1 2 . 2 0 0 2 . t b 0 0 2 6 0 . x ;   B r i o n e s   R L ,   2 0 1 1 ,   P U B L I C   R E L A T   R E V ,   V 3 7 ,   P 3 7 ,   D O I   1 0 . 1 0 1 6 / j . p u b r e v . 2 0 1 0 . 1 2 . 0 0 6 ;   C h r i s t a k i s   N .   A . ,   2 0 0 9 ,   C O N N E C T E D   T H E   S U R P R I ;   F u g a t e   C . ,   U N D E R S T A N D I N G   T H E   P O ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ;   G a o   T ,   2 0 0 7 ,   I E E E   T   B I O M E D   C I R C   S ,   V 1 ,   P 2 0 3 ,   D O I   1 0 . 1 1 0 9 / T B C A S . 2 0 0 7 . 9 1 0 9 0 1 ;   G a o   T . ,   2 0 0 6 ,   P R O C E E D I N G S   O F   T H E   2 ;   H a l e y   S . ,   2 0 1 2 ,   F A C E B O O K   H I T S   T H E   B I ;   H e s s e   B W ,   2 0 1 0 ,   C O M P U T E R ,   V 4 3 ,   P 4 5 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 1 0 . 3 2 6 ;   H i l t z   S .   R . ,   2 0 1 1 ,   I N T R O D U C T I O N   S O C I A L ,   V 1 8 ;   K l a s n j a   P . ,   2 0 1 0 ,   A C M   C O N F E R E N C E   O N   H U ;   M a s s e y   T a m m a r a ,   2 0 0 6 ,   A M I A   A n n u   S y m p   P r o c ,   P 5 4 4 ;   R e g u s ,   G L O B   R E P   R E G   G L O B   S U ;   T a p i a   A .   H . ,   2 0 1 1 ,   P R O C E E D I N G S   O F   T H E   8 ;   U t a n i   A . ,   2 0 1 1 ,   P R O C E E D I N G S   O F   S W I D ;   W e i n e r m a n   R .   E . ,   1 9 6 5 ,   P U B L I C   H E A L T H   R E P ,   V 8 0 ,   P 3 8 9 	 1 7 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 2 6 4   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 5 1 3 7 - 1 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 2 1 3 	 2 1 9 	 	 1 0 . 1 1 0 9 / S o c i a l C o m . 2 0 1 3 . 3 8 	 	 7 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 B J U 4 0 	 W O S : 0 0 0 3 3 0 5 6 3 8 0 0 0 3 3 	 	 
 J 	 W a n g ,   Y ;   H u a n g ,   Y ;   L o u i s ,   C 	 	 	 I E E E   C o m p   S o c ;   A c a d   S c i   &   E n g n 	 W a n g ,   Y a n g ;   H u a n g ,   Y u n ;   L o u i s ,   C l a u d i a 	 	 	 T o w a r d s   A   F r a m e w o r k   f o r   P r i v a c y - A w a r e   M o b i l e   C r o w d s o u r c i n g 	 2 0 1 3   A S E / I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S O C I A L   C O M P U T I N G   ( S O C I A L C O M ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 A S E / I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S o c i a l   C o m p u t i n g   ( S o c i a l C o m ) 	 S E P   0 8 - 1 4 ,   2 0 1 3 	 W a s h i n g t o n ,   D C 	 A c a d   S c i   E n g n ,   I E E E ,   I E E E   C o m p   S o c 	 	 	 	 T h e   p r a c t i c e   o f   e m p l o y i n g   " t h e   c r o w d "   t o   h e l p   s o l v e   a n   o r g a n i z a t i o n ' s   p r o b l e m s   f i r s t   b e c a m e   p o p u l a r   i n   t h e   b u s i n e s s   s e c t o r ,   a n d   h a s   s i n c e   s p r e a d   t o   p u b l i c   a n d   n o t - f o r - p r o f i t   o r g a n i z a t i o n s .   I n p u t   f r o m   t h e   c r o w d   c a n   b e   s o l i c i t e d   u s i n g   d i f f e r e n t   m e c h a n i s m s   i n v o l v i n g   v a r i o u s   t y p e s   o f   w e b - b a s e d   a p p l i c a t i o n s ,   o r   t h e   m o r e   r e c e n t   t r e n d   o f   e m p l o y i n g   m o b i l e   p h o n e s   w i t h   s e n s i n g   c a p a b i l i t i e s .   H o w e v e r ,   t h e s e   c r o w d s o u r c i n g   s y s t e m s   m a y   l e a d   t o   v a r i o u s   p r i v a c y   a n d   s e c u r i t y   r i s k s   w h i c h   c a n   t h e n   h i n d e r   t h e   a d o p t i o n   o f   t h e s e   s e r v i c e s .   H o w   t o   i d e n t i f y   a n d   a d d r e s s   t h e s e   p o t e n t i a l   r i s k s   i n   s u c h   s y s t e m s   h a s   b o t h   r e s e a r c h   a n d   p r a c t i c a l   v a l u e .   T h i s   p a p e r   p r e s e n t s   t w o   a s p e c t s   o f   o u r   w o r k   i n   t h i s   e m e r g i n g   s p a c e .   F i r s t ,   w e   d e s c r i b e   a   s u r v e y   o f   p o t e n t i a l   p r i v a c y   a n d   s e c u r i t y   r i s k s   i n   m o b i l e   c r o w d s o u r c i n g   s y s t e m s   ( M C S S ) .   S e c o n d ,   w e   d e s c r i b e   o u r   P E A L S   f r a m e w o r k   t o   s u p p o r t   p r i v a c y - a w a r e   m o b i l e   c r o w d s o u r c i n g . 	 [ W a n g ,   Y a n g ;   H u a n g ,   Y u n ;   L o u i s ,   C l a u d i a ]   S y r a c u s e   U n i v ,   S c h   I n f o r m a t   S t u d i e s ,   S y r a c u s e ,   N Y   1 3 2 4 4   U S A 	 W a n g ,   Y   ( r e p r i n t   a u t h o r ) ,   S y r a c u s e   U n i v ,   S c h   I n f o r m a t   S t u d i e s ,   S y r a c u s e ,   N Y   1 3 2 4 4   U S A . 	 y w a n g @ s y r . e d u ;   y h u a n g @ s y r . e d u ;   c a l o u i s @ s y r . e d u 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 3 ,   4   R E A S O N S   G O O G L E   B O U ;   B a l a s u b r a m a n i a n   N ,   2 0 0 9 ,   I M C ' 0 9 :   P R O C E E D I N G S   O F   T H E   2 0 0 9   A C M   S I G C O M M   I N T E R N E T   M E A S U R E M E N T   C O N F E R E N C E ,   P 2 8 0 ;   C a m p b e l l   A T ,   2 0 0 8 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 2 ,   P 1 2 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 0 8 . 9 0 ;   C h a t z i g i a n n a k i s   I . ,   2 0 1 1 ,   C O M P U T E R   S C I   R E V ,   V 5 ,   P 1 0 3 ,   D O I   D O I   1 0 . 1 0 1 6 / J . C O S R E V . 2 0 1 0 . 0 9 . 0 0 3 ;   C h a t z i m i l i o u d i s   G ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 3 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 7 0 ;   C h o   E . ,   2 0 1 1 ,   K D D ,   P 1 0 8 2 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 0 2 0 4 0 8 . 2 0 2 0 5 7 9 ;   C h o n   Y . ,   2 0 1 2 ,   U B I C O M P   1 2 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 3 7 0 2 1 6 . 2 3 7 0 2 8 8 ;   E n c k   W . ,   2 0 1 1 ,   I C I S S   1 1 ,   P 4 9 7 0 ,   D O I   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 5 5 6 0 - 1 ;   E n c k   W . ,   2 0 1 0 ,   O S D I   1 0 ,   P 1 6 ;   H e r d e r   E . ,   2 0 1 2 ,   C E U R   W O R K S H O P   P ,   V 8 7 2 ;   H o n g   J . I . ,   2 0 0 4 ,   D I S   0 4 ,   P 9 1 ;   H o w e   J . ,   2 0 0 6 ,   C R O W D S O U R C I N G   D E F I N I ;   H u a n g   Y . ,   2 0 1 3 ,   P   9   I E E E   I N T   C   W I R   M ;   J   H e i n z e l m a n ,   2 0 1 0 ,   C R O W D S O U R C I N G   C R I S I S ;   K a n h e r e   S . ,   2 0 1 1 ,   1 2   I E E E   I N T   C   M O B   D A ,   V 2 ,   P 3 ;   K a r a m p i n a s   D . ,   2 0 1 2 ,   E S W C   1 2 ,   D O I   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 0 2 8 4 - 8 ;   K i m   S ,   2 0 0 9 ,   U B I C O M P ' 0 9 :   P R O C E E D I N G S   O F   T H E   1 1 T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   U B I Q U I T O U S   C O M P U T I N G ,   P 8 1 ;   K r a u t   R E ,   2 0 1 1 ,   B U I L D I N G   S U C C E S S F U L   O N L I N E   C O M M U N I T I E S :   E V I D E N C E - B A S E D   S O C I A L   D E S I G N ,   P 1 ;   L a n d   M . ,   2 0 1 0 ,   S S R N   E L I B R A R Y ;   L e e   Y . ,   2 0 1 2 ,   M O B I S Y S   1 2 ;   M a l o n e   T W ,   2 0 1 0 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 1 ,   P 2 1 ;   M a r t i n e z - B a l l e s t e   A . ,   2 0 1 3 ,   I E E E   C O M M U N I C A T I O N S ,   V 5 1 ;   M o h a p a t r a   S . ,   2 0 0 3 ,   I C D C S   0 3 ,   P 3 1 2 ;   S a d e h   N ,   2 0 0 9 ,   P E R S   U B I Q U I T   C O M P U T ,   V 1 3 ,   P 4 0 1 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 9 - 0 0 8 - 0 2 1 4 - 3 ;   S o l o v e   D .   J . ,   2 0 1 3 ,   H A R V A R D   L A W   R E V ,   V 1 2 6 ;   Z i m m e r m a n   J . ,   2 0 1 1 ,   C H I   1 1 ,   P 1 6 7 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 8 7 	 2 6 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 2 6 4   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 5 1 3 7 - 1 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 4 5 4 	 4 5 9 	 	 1 0 . 1 1 0 9 / S o c i a l C o m . 2 0 1 3 . 7 1 	 	 6 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 B J U 4 0 	 W O S : 0 0 0 3 3 0 5 6 3 8 0 0 0 6 6 	 	 
 J 	 M a c h e d o n ,   R ;   R a n d ,   W ;   J o s h i ,   Y 	 	 	 I E E E   C o m p   S o c ;   A c a d   S c i   &   E n g n 	 M a c h e d o n ,   R a d u ;   R a n d ,   W i l l i a m ;   J o s h i ,   Y o g e s h 	 	 	 A u t o m a t i c   C r o w d s o u r c i n g - B a s e d   C l a s s i f i c a t i o n   o f   M a r k e t i n g   M e s s a g i n g   o n   T w i t t e r 	 2 0 1 3   A S E / I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S O C I A L   C O M P U T I N G   ( S O C I A L C O M ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 A S E / I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S o c i a l   C o m p u t i n g   ( S o c i a l C o m ) 	 S E P   0 8 - 1 4 ,   2 0 1 3 	 W a s h i n g t o n ,   D C 	 A c a d   S c i   E n g n ,   I E E E ,   I E E E   C o m p   S o c 	 	 a d v e r t i s i n g ;   c l a s s i f i c a t i o n ;   c r o w d s o u r c i n g ;   m a c h i n e   l e a r n i n g ;   m a r k e t i n g 	 	 A s   t h e   v o l u m e   o f   s o c i a l   m e d i a   c o m m u n i c a t i o n s   g r o w ,   m a n y   d i f f e r e n t   s t a k e h o l d e r s   h a v e   s o u g h t   t o   a p p l y   t o o l s   a n d   m e t h o d s   f o r   a u t o m a t i c   i d e n t i f i c a t i o n   o f   s e n t i m e n t   a n d   t o p i c   i n   s o c i a l   n e t w o r k   c o m m u n i c a t i o n s .   I n   t h e   d o m a i n   o f   s o c i a l   m e d i a   m a r k e t i n g   i t   w o u l d   b e   u s e f u l   t o   a u t o m a t i c a l l y   c l a s s i f y   s o c i a l   m e d i a   m e s s a g i n g   i n t o   t h e   c l a s s i c   f r a m e w o r k   o f   i n f o r m a t i v e ,   p e r s u a s i v e   a n d   t r a n s f o r m a t i v e   a d v e r t i s i n g .   I n   t h i s   p a p e r   w e   d e v e l o p   a n d   p r e s e n t   t h e   c o n s t r u c t i o n   a n d   e v a l u a t i o n   o f   s u p e r v i s e d   m a c h i n e - l e a r n i n g   c l a s s i f i e r s   f o r   t h e s e   c o n c e p t s ,   d r a w i n g   u p o n   e s t a b l i s h e d   p r o c e d u r e s   f r o m   t h e   d o m a i n s   o f   s e n t i m e n t   a n a l y s i s   a n d   c r o w d s o u r c e d   t e x t   c l a s s i f i c a t i o n .   W e   d e m o n s t r a t e   t h a t   a   r e a s o n a b l y   e f f e c t i v e   c l a s s i f i e r   c a n   b e   c r e a t e d   t o   i d e n t i f y   t h e   i n f o r m a t i v e   n a t u r e   o f   T w e e t s   b a s e d   o n   c r o w d s o u r c e d   t r a i n i n g   d a t a ;   w e   a l s o   p r e s e n t   r e s u l t s   f o r   i d e n t i f y i n g   p e r s u a s i v e   a n d   t r a n s f o r m a t i v e   c o n t e n t .   W e   f i n i s h   b y   s u m m a r i z i n g   o u r   f i n d i n g s   r e g a r d i n g   a p p l y i n g   t h e s e   m e t h o d s   a n d   b y   d i s c u s s i n g   r e c o m m e n d a t i o n s   f o r   f u t u r e   w o r k   i n   t h e   a r e a   o f   c l a s s i f y i n g   t h e   m a r k e t i n g   c o n t e n t   o f   T w e e t s . 	 [ M a c h e d o n ,   R a d u ;   R a n d ,   W i l l i a m ;   J o s h i ,   Y o g e s h ]   U n i v   M a r y l a n d ,   R o b e r t   H   S m i t h   S c h   B u s i n e s s ,   C t r   C o m p l e x   B u s i n e s s ,   C o l l e g e   P k ,   M D   2 0 7 4 2   U S A 	 M a c h e d o n ,   R   ( r e p r i n t   a u t h o r ) ,   U n i v   M a r y l a n d ,   R o b e r t   H   S m i t h   S c h   B u s i n e s s ,   C t r   C o m p l e x   B u s i n e s s ,   C o l l e g e   P k ,   M D   2 0 7 4 2   U S A . 	 r m a c h e d o @ u m d . e d u ;   w r a n d @ r h s m i t h . u m d . e d u ;   y j o s h i @ r h s m i t h . u m d . e d u 	 	 	 	 	 B a g w e l l   K . ,   2 0 0 7 ,   H D B   I N D   O R G ,   V I I I ,   P 1 7 0 1 ,   D O I   1 0 . 1 0 1 6 / S 1 5 7 3 - 4 4 8 X ( 0 6 ) 0 3 0 2 8 - 7 ;   H a l l   M . ,   2 0 0 9 ,   A C M   S I G K D D   E X P L O R A T I ,   V 1 1 ,   P 1 0 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 5 6 2 7 4 . 1 6 5 6 2 7 8 ;   H s u e h   P . ,   P   N A A C L   H L T   2 0 0 9   W O R ,   P 2 7 ;   H u a n g   S . ,   2 0 1 3 ,   A C M   W E B   S C I   C   W E B S C I ;   J i a n g   L . ,   2 0 1 1 ,   P   4 9   A N N   M   A S S   C O M P ,   V 1 ,   P 1 5 1 ;   M e h t a   N ,   2 0 0 8 ,   M A R K E T   S C I ,   V 2 7 ,   P 3 3 4 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 7 0 . 0 3 1 0 ;   P a u l   S .   A . ,   W O R K S H   C R O W D S   H U M   C O ;   P O R T E R   M F ,   1 9 8 0 ,   P R O G R A M - A U T O M   L I B R ,   V 1 4 ,   P 1 3 0 ,   D O I   1 0 . 1 1 0 8 / e b 0 4 6 8 1 4 ;   T a n g   W . ,   2 0 1 1 ,   S I G I R   2 0 1 1   W O R K S H   C R ;   Y a n g   Z . ,   2 0 1 0 ,   S P O K   L A N G   T E C H N   W O R K ,   P 2 7 7 	 1 0 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 2 6 4   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 5 1 3 7 - 1 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 9 7 5 	 9 7 8 	 	 1 0 . 1 1 0 9 / S o c i a l C o m . 2 0 1 3 . 1 5 5 	 	 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 B J U 4 0 	 W O S : 0 0 0 3 3 0 5 6 3 8 0 0 1 5 0 	 	 
 B 	 M a r k o w s k y ,   G 	 	 	 I E E E 	 M a r k o w s k y ,   G e o r g e 	 	 	 C r o w d s o u r c i n g ,   B i g   D a t a   a n d   H o m e l a n d   S e c u r i t y 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   T E C H N O L O G I E S   F O R   H O M E L A N D   S E C U R I T Y   ( H S T ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 3 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   T e c h n o l o g i e s   f o r   H o m e l a n d   S e c u r i t y   ( H S T ) 	 N O V   1 2 - 1 4 ,   2 0 1 3 	 W a l t h a m ,   M A 	 I E E E ,   I E E E   U S A ,   I E E E   B i o m e t r   C o u n c i l ,   M a s s p o r t ,   G o v t   T e c h n o l   a n d   S e r v   C o a l i t ,   B o s t o n   P r o d   M a n a g e m e n t   A s s o c ,   M a s s a c h u s e t t s   H i g h   T e c h n o l   C o u n c i l ,   M a r k e t   R e s   M e d i a ,   I E E E   W o m e n   E n g n ,   D o m e s t   P r e p a r e d n e s s   C o m ,   D P J   W e e k l y   B r i e f ,   D o m P r e p   J o u r n a l ,   I E E E   B o s t o n   S e c t 	 	 	 	 T h i s   p a p e r   d i s c u s s e s   w a y s   t h a t   c r o w d s o u r c i n g   c a n   h e l p   h o m e l a n d   s e c u r i t y .   I t   r e v i e w s   s o m e   s u c c e s s e s   i n   t h i s   a r e a ,   s u g g e s t s   s o m e   d i r e c t i o n s   a n d   p o i n t s   o u t   s o m e   o b s t a c l e s .   S h o r t   a b s t r a c t 	 U n i v   M a i n e ,   S c h   C o m p   &   I n f o r m a t   S c i ,   O r o n o ,   M E   0 4 4 6 9   U S A 	 M a r k o w s k y ,   G   ( r e p r i n t   a u t h o r ) ,   U n i v   M a i n e ,   S c h   C o m p   &   I n f o r m a t   S c i ,   O r o n o ,   M E   0 4 4 6 9   U S A . 	 	 	 	 	 	 A c k e r m a n   S . ,   2 0 1 3 ,   W I R E D ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   F B I   R E M A R K S   S P E C I A L ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   Y A H O O   N E W S             0 6 2 7 ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   B O S T O N   G L O B E         0 4 2 3 ;   [ A n o n y m o u s ] ,   2 0 1 3 ,   C H A N N E L   7   N E W S     0 6 2 8 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   B U S I N E S S   W I R E       0 1 1 1 ;   B e r g e r   S . ,   2 0 0 5 ,   T E L E G R A P H ;   B e r r y ,   2 0 1 3 ,   A S S   P R E S S               0 4 3 0 ;   B i l l m y e r   S t e v e ,   S Y R A C U S E ;   B o e t t c h e r   M i k e ,   2 0 0 2 ,   C N N                           0 8 0 9 ;   C a m i l l e r i   R i c k y ,   2 0 1 3 ,   H U F F   P O S T   L I V E     0 4 1 8 ;   C h e n   A d r i a n ,   2 0 1 3 ,   G A W K E R                     0 4 1 7 ;   C h e r r y   S t e v e n ,   2 0 1 3 ,   I E E E   S P E C T R U M ;   C N N ,   2 0 1 3 ,   C N N                           0 4 2 2 ;   C N N   L i b r a r y ,   2 0 1 3 ,   C N N   L I B                   0 6 2 5 ;   C o n l e y   K i r s t a n ,   2 0 1 3 ,   N E W   Y O R K   P O S T ;   D i   J u s t o   P a t r i c k ,   W I R E D ;   F a i n a r u   S t e v e ,   2 0 0 1 ,   W A S H I N G T O N   P O S T ,   p A 2 4 ;   F B I ,   F R E Q   A S K   Q U E S T ;   G e l l e r   A d a m ,   2 0 1 3 ,   C O N C O R D   M O N I T O R   0 4 2 0 ;   G e r t z   B i l l ,   2 0 1 3 ,   W A S H I N G T O N   T I M E   0 5 1 5 ;   G o o d m a n   J . D . ,   2 0 1 3 ,   N Y   T I M E S ;   G u e r r a   M i k e ,   A F F I D A V I T ;   H a r d i n g   L u k e ,   2 0 1 3 ,   G U A R D I A N ;   H a r r e n d o r f   S . ,   2 0 1 0 ,   I N T   S T A T   C R I M E   J U S T I ;   I n g r a m   M a t h e w ,   2 0 1 3 ,   P A I D C O N T E N T           0 4 1 5 ;   I n g r a m   M a t h e w ,   2 0 1 2 ,   P A I D C O N T E N T           1 2 1 5 ;   K o h n   D a v i d ,   2 0 0 9 ,   C B S   N E W S ;   L e v i n e   B e n ,   2 0 1 3 ,   D E A D S P I N                 0 4 1 6 ;   L i n d s a y   J a y ,   2 0 1 3 ,   N E W S E R                     0 4 1 7 ;   L o n g   J o h n n y ,   2 0 0 5 ,   G O O G L E   H A C K I N G   P E N E T ;   M a d r i g a l   A l e x i s   C . ,   2 0 1 3 ,   B O S T O N   P D   C O U L D   E X A M ;   M a r k o w s k y   G e o r g e ,   2 0 0 3 ,   2 0 0 3   S P R I N G   I E E E   C   H ;   M a s n i c k   M i k e ,   2 0 1 0 ,   T E C H D I R T                 0 6 1 4 ;   N a t i o n a l   G e o g r a p h i c ,   2 0 0 7 ,   F I N   R E P ;   O r r   B o b ,   2 0 1 2 ,   C B S   E V E N I N G   N E W   0 7 1 8 ;   P a t o n   D e a n ,   2 0 0 3 ,   C H R I S T I A N   S C I   M O N I T O ;   P e a c h e y   P a u l ,   2 0 1 0 ,   I N D E P E N D E N T ;   Q u i g l e y   J a m e s   W . ,   2 0 1 2 ,   C A N V A S   B L O G           0 4 1 3 ;   R e a d   M a x ,   G A W K E R ;   R e i n i k a i n e n   E s k o ,   2 0 0 9 ,   I R A N E L E C T I O N   C Y B E R   1 ;   R o t o l o   A n t h o n y ,   2 0 1 3 ,   B O S T O N M A R A T H O N   T W E E T ;   S e n t e m e n t e s   G u s   G . ,   2 0 1 0 ,   B A L T I M O R E   S U N       0 3 3 1 ;   S h e n o n   P h i l i p ,   2 0 1 1 ,   D A I L Y   B E A S T           0 9 0 4 ;   T u c c i   L i n d a ,   2 0 1 3 ,   S E A R C H C I O                 J U L ;   W a n g   Y o n g ,   2 0 0 1 ,   N S D I   1 1   8   U S E N I X   S   N ;   W i k i p e d i a ,   2 0 1 3 ,   W I K I P E D I A               0 7 1 0 ;   W i k i p e d i a ,   2 0 1 3 ,   W I K I P E D I A               0 7 0 7 ;   W i k i p e d i a ,   W I K I P E D I A ;   W i k i p e d i a ,   2 0 1 3 ,   W I K I P E D I A               0 7 0 9 ;   W i l l i a m s   P e t e ,   2 0 1 3 ,   N B C   N E W S                 0 5 0 2 ;   W i l l i a m s   P e t e ,   2 0 1 3 ,   N B C   N E W S                 0 4 1 9 ;   W o r l e y   B e c k y ,   2 0 1 3 ,   Y A H O O   N E W S             0 6 1 9 ;   Y o u T u b e ,   2 0 1 3 ,   Y O U T U B E                   0 4 0 2 	 5 4 	 1 	 1 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 7 9 9 - 1 5 3 5 - 4 ;   9 7 8 - 1 - 4 7 9 9 - 3 9 6 3 - 3 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 7 7 2 	 7 7 8 	 	 	 	 7 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 B A 0 A D 	 W O S : 0 0 0 3 3 0 7 6 8 5 0 0 1 2 9 	 	 
 J 	 U z u n ,   A ;   S a l e m ,   M ;   K u p p e r ,   A 	 	 	 I E E E   C o m p   S o c 	 U z u n ,   A b d u l b a k i ;   S a l e m ,   M o h a m e d ;   K u e p p e r ,   A x e l 	 	 	 S e m a n t i c   P o s i t i o n i n g   -   A n   I n n o v a t i v e   A p p r o a c h   f o r   P r o v i d i n g   L o c a t i o n - b a s e d   S e r v i c e s   b a s e d   o n   t h e   W e b   o f   D a t a 	 2 0 1 3   I E E E   S E V E N T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   S E M A N T I C   C O M P U T I N G   ( I C S C   2 0 1 3 ) 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S e m a n t i c   C o m p u t i n g 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 7 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S e m a n t i c   C o m p u t i n g   ( I C S C ) 	 S E P   1 6 - 1 8 ,   2 0 1 3 	 I r v i n e ,   C A 	 I E E E ,   I E E E   C o m p   S o c 	 	 	 C O N T E X T - A W A R E 	 C o n v e n t i o n a l   p o s i t i o n i n g   a p p r o a c h e s   f o r   L o c a t i o n - b a s e d   S e r v i c e s   ( L B S )   s u c h   a s   t h o s e   p r o v i d e d   b y   G o o g l e   a n d   A p p l e ,   a r e   s o l e l y   d r i v e n   b y   g e o m e t r i c   s p a t i a l   d a t a .   E s p e c i a l l y   i n   p r o a c t i v e   L B S   s c e n a r i o s ,   i n   w h i c h   u s e r s   a r e   n o t i f i e d   a s   s o o n   a s   t h e y   r e a c h   a   c e r t a i n   a r e a ,   l o c a t i o n s   a r e   m o s t l y   d e f i n e d   b y   g e o f e n c e s   a n d   d o   n o t   i n c o r p o r a t e   a n y   f u r t h e r   i n f o r m a t i o n   f r o m   t h e   s e m a n t i c s   o f   t h e   l o c a t i o n ,   s u c h   a s   t h e   p o i n t s   o f   i n t e r e s t   i n   t h e   v i c i n i t y   o r   m o r e   d e t a i l e d   i n f o r m a t i o n   a b o u t   t h e   d i s t r i c t   t h e   u s e r   i s   i n .   L e v e r a g i n g   L B S   w i t h   t h e   e x t e n s i v e   p o o l   o f   i n t e r c o n n e c t e d   d a t a   i n   t h e   L i n k i n g   O p e n   D a t a   ( L O D )   C l o u d   w i l l   i m p r o v e   t h e   L B S   e x p e r i e n c e   a n d   w i l l   e n a b l e   t h e   d e v e l o p m e n t   o f   s o p h i s t i c a t e d   p r o a c t i v e   s e r v i c e s .   I n   t h i s   p a p e r ,   w e   p r e s e n t   a   S e m a n t i c   P o s i t i o n i n g   P l a t f o r m   t h a t   e n h a n c e s   c l a s s i c   p o s i t i o n i n g   m e t h o d s   b y   s e m a n t i c   f e a t u r e s .   T h i s   p l a t f o r m   u t i l i z e s   t h e   O p e n M o b i l e N e t w o r k ,   w h i c h   i s   a   L i v e   C r o w d s o u r c i n g   P l a t f o r m   p r o v i d i n g   s t a t i c   a s   w e l l   a s   d y n a m i c   m o b i l e   n e t w o r k   t o p o l o g y   d a t a   b a s e d   o n   t h e   p r i n c i p l e s   o f   L i n k e d   D a t a .   I t   f u r t h e r   u s e s   t h e   P o s i t i o n i n g   E n a b l e r   t h a t   e n a b l e s   p e r s i s t e n t   u s e r   b a c k g r o u n d   t r a c k i n g   a n d   s u b s c r i p t i o n   t o   S e m a n t i c   L B S   S e r v i c e s .   T h e   S e m a n t i c   P o s i t i o n i n g   a p p r o a c h   a l l o w s   L B S   p r o v i d e r s   t o   l o c a t e   u s e r s   w i t h   r e s p e c t   t o   t h e   s e m a n t i c s   o f   t h e i r   p o s i t i o n   i n s t e a d   o f   d e f i n i n g   s p a t i a l   g e o f e n c e s .   A s   a   p r o o f - o f - c o n c e p t ,   a   R e s t a u r a n t   R e c o m m e n d e r   S e r v i c e   i s   p r e s e n t e d   a n d   i t s   a p p l i c a b i l i t y   i s   e v a l u a t e d . 	 [ U z u n ,   A b d u l b a k i ;   S a l e m ,   M o h a m e d ;   K u e p p e r ,   A x e l ]   T U   B e r l i n ,   T e l e k o m   I n n o v a t   L a b s ,   S e r v   C e n t r   N e t w o r k i n g ,   B e r l i n ,   G e r m a n y 	 U z u n ,   A   ( r e p r i n t   a u t h o r ) ,   T U   B e r l i n ,   T e l e k o m   I n n o v a t   L a b s ,   S e r v   C e n t r   N e t w o r k i n g ,   B e r l i n ,   G e r m a n y . 	 a b d u l b a k i . u z u n @ t e l e k o m . d e ;   m o h a m e d . s a l e m @ t e l e k o m . d e ;   a x e l . k u e p p e r @ t u - b e r l i n . d e 	 	 	 	 	 B a r e t h   U . ,   2 0 1 0 ,   C O M P S A C   1 0 ,   P 1 0 1 ,   D O I   D O I   1 0 . 1 1 0 9 / C 0 M P S A C . 2 0 1 0 . 1 6 ;   B r o e n s   T ,   2 0 0 4 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 2 9 5 ,   P 7 2 ;   C h e n   M Y ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 2 0 6 ,   P 2 2 5 ;   H e a t h   T . ,   2 0 1 1 ,   L I N K E D   D A T A   E V O L V I N G ,   D O I   [ 1 0 . 2 2 0 0 / S 0 0 3 3 4 E D 1 V 0 1 Y 2 0 1 1 0 2 W B E 0 0 1 ,   D O I   1 0 . 2 2 0 0 / S 0 0 3 3 4 E D 1 V 0 1 Y 2 0 1 1 0 2 W B E 0 0 1 ] ;   K j a e r g a a r d   M B ,   2 0 0 9 ,   M O B I S Y S ' 0 9 :   P R O C E E D I N G S   O F   T H E   7 T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   S Y S T E M S ,   A P P L I C A T I O N S ,   A N D   S E R V I C E S ,   P 2 2 1 ;   P a t k o s   T ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 6 1 1 ,   P 8 3 9 ;   S a l e m   M ,   2 0 1 2 ,   I E E E   G L O B E   W O R K ,   P 1 7 4 1 ,   D O I   1 0 . 1 1 0 9 / G L O C O M W . 2 0 1 2 . 6 4 7 7 8 4 9 ;   S e t t e n   M . ,   2 0 0 4 ,   L N C S ,   V 3 1 3 7 ,   P 2 3 5 ;   U z u n   A . ,   2 0 1 2 ,   I   S E M A N T I C S   1 2 ,   P 1 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 3 6 2 4 9 9 . 2 3 6 2 5 0 3 ;   U z u n   A . ,   2 0 1 3 ,   I   S E M A N T I C S   1 3 ;   W a n g   Y ,   2 0 0 9 ,   M O B I S Y S ' 0 9 :   P R O C E E D I N G S   O F   T H E   7 T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   S Y S T E M S ,   A P P L I C A T I O N S ,   A N D   S E R V I C E S ,   P 1 7 9 ,   D O I   1 0 . 1 0 1 6 / B 9 7 8 - 0 4 4 3 0 6 7 3 2 - 7 . 5 0 0 2 0 - 9 ;   W i l s o n   M .   L . ,   2 0 0 5 ,   P   E N D   U S   S E M   W E B   W O R ;   Z h u a n g   Z . ,   2 0 1 0 ,   M O B I S Y S   1 0 ,   P 3 1 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 1 4 4 3 3 . 1 8 1 4 4 6 4 	 1 3 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 2 6 4   U S A 	 2 3 2 5 - 6 5 1 6 	 	 9 7 8 - 0 - 7 6 9 5 - 5 1 1 9 - 7 	 I E E E   I N T   C   S E M A N T   C O 	 	 	 2 0 1 3 	 	 	 	 	 	 	 2 6 8 	 2 7 3 	 	 1 0 . 1 1 0 9 / I C S C . 2 0 1 3 . 5 3 	 	 6 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 C o m p u t e r   S c i e n c e 	 B J U 4 7 	 W O S : 0 0 0 3 3 0 5 8 2 9 0 0 0 4 2 	 	 
 J 	 K n e i s s l ,   F ;   B r y ,   F 	 	 	 I E E E 	 K n e i s s l ,   F a b i a n ;   B r y ,   F r a n c o i s 	 	 	 F o s t e r i n g   C o n c e p t   M a p s   A w a r e n e s s   a s   a   M e a n s   t o   L e a r n i n g 	 2 0 1 3   I E E E   T H I R D   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C L O U D   A N D   G R E E N   C O M P U T I N G   ( C G C   2 0 1 3 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 r d   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C l o u d   a n d   G r e e n   C o m p u t i n g   ( C G C ) 	 S E P   3 0 - O C T   0 2 ,   2 0 1 3 	 K a r l s r u h e ,   G E R M A N Y 	 I E E E ,   I E E E   C o m p   S o c ,   I E E E   T e c h   C o m m   S c a l a b l e   C o m p ,   K a r l s r u h e   I n s t   T e c h n o l 	 	 C o n c e p t   M a p s ;   C r o w d s o u r c i n g ;   E - L e a r n i n g ;   K n o w l e d g e   R e p r e s e n t a t i o n 	 	 A   c o n c e p t   m a p   i s   a   v i s u a l   r e p r e s e n t a t i o n   o f   c o n c e p t s   a s   n o d e s   a n d   o f   r e l a t i o n s h i p s   b e t w e e n   c o n c e p t s   a s   e d g e s   a s   a   d i a g r a m   c o n s i s t i n g   o f   n o d e s   l i n k e d   w i t h   e a c h   o t h e r .   C o n c e p t   m a p s   s u p p o r t   t h e   l e a r n i n g   p r o c e s s   i n a s m u c h   t h a t   t h e y   m a k e   l e a r n e r s   a w a r e   o f   t h e i r   o w n   p r o g r e s s e s .   W e   p r o p o s e   a   g a m e - l i k e   e - l e a r n i n g   t o o l   n a m e d   T e r m i n a   t o   b e   u s e d   f o r   a s s e s s i n g   l e a r n e r s '   p r o g r e s s e s   u s i n g   w h i c h   l e a r n e r s   c a n   b u i l d   u p   t h e i r   o w n   c o n c e p t   m a p s   a n d   c o m p a r e   t h e m   w i t h   t h a t   o f   t h e   l e a r n e r s '   c o m m u n i t y .   D e p l o y i n g   T e r m i n a   w i t h i n   t h e   a u d i e n c e   o f   a   u n i v e r s i t y   c o u r s e   y i e l d s   s n a p s h o t s   o f   t h e   c o n c e p t   m a p s   b u i l t   w h i l e   p a r t i c i p a t i n g   i n   t h e   l e c t u r e   f o r   b o t h   e a c h   s t u d e n t   a s   w e l l   a s   f o r   t h e   s t u d e n t ' s   c o m m u n i t y .   T h e s e   c o n c e p t   m a p s   a r e   b u i l d   f r o m   t h e   a s s o c i a t i o n s   t h a t   t h e   s t u d e n t s   p r o v i d e   t h r o u g h   p a r t i c i p a t i n g   i n   T e r m i n a   s e s s i o n s .   L e a r n e r s   p r o f i t   f r o m   t h e   c o n c e p t   m a p s '   a v a i l a b i l i t y ,   l e a r n   f r o m   t h e i r   f e l l o w s   a n d   c a n   t r a c k   t h e i r   l e a r n i n g   p r o c e s s .   L e c t u r e r s   g a i n   i n s i g h t s   i n t o   t h e   k n o w l e d g e   a n d   i g n o r a n c e   o f   t h e i r   s t u d e n t s . 	 [ K n e i s s l ,   F a b i a n ;   B r y ,   F r a n c o i s ]   U n i v   M u n i c h ,   I n s t   I n f o r m a t ,   M u n i c h ,   G e r m a n y 	 K n e i s s l ,   F   ( r e p r i n t   a u t h o r ) ,   U n i v   M u n i c h ,   I n s t   I n f o r m a t ,   M u n i c h ,   G e r m a n y . 	 	 	 	 	 	 B u c h s c h m i d   R . ,   2 0 1 2 ,   T H E S I S ;   C a n a s   A J ,   2 0 0 8 ,   A D V   I N F O R M   K N O W L   P R O ,   P 2 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 8 4 8 0 0 - 1 4 9 - 7 _ 2 ;   D A N I E L   J . ,   2 0 1 2 ,   J   I N T E R A C T I V E   M E D I A ,   P 3 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   N o v a k   J .   D . ,   2 0 0 8 ,   2 0 0 6 0 1   I H M C   F L O R   I   H ;   N O V A K   J D ,   1 9 9 1 ,   A M   E D U C   R E S   J ,   V 2 8 ,   P 1 1 7 ,   D O I   1 0 . 3 1 0 2 / 0 0 0 2 8 3 1 2 0 2 8 0 0 1 1 1 7 ;   Q u i n n   A .   J . ,   2 0 1 1 ,   P   2 9   A N N   C   H U M   F A C T ;   S i e m e n s   G . ,   2 0 1 1 ,   E D U C A U S E   R E V ,   V 4 6 ;   T a r a s o w a   D . ,   2 0 1 3 ,   P   5   I N T   C   C O M P   S U P P ;   W e l s h   E T ,   2 0 0 3 ,   I N T   J   T R A I N I N G   D E V ,   V 7 ,   P 2 4 5 ,   D O I   D O I   1 0 . 1 0 4 6 / J . 1 3 6 0 - 3 7 3 6 . 2 0 0 3 . 0 0 1 8 4 . X ;   Z a r r o u k   M . ,   2 0 1 3 ,   P   1 4   I N T   C   I N T   T E X T 	 1 1 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 5 1 1 4 - 2 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 3 5 4 	 3 5 7 	 	 1 0 . 1 1 0 9 / C G C . 2 0 1 3 . 6 2 	 	 4 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B J U 9 6 	 W O S : 0 0 0 3 3 0 6 4 3 7 0 0 0 5 4 	 	 
 J 	 G r e e n w o o d ,   M ;   E l w y n ,   G ;   F r a n c i s ,   N ;   P r e e c e ,   A ;   S p a s i c ,   I 	 	 	 I E E E 	 G r e e n w o o d ,   M a r k ;   E l w y n ,   G l y n ;   F r a n c i s ,   N i c k ;   P r e e c e ,   A l u n ;   S p a s i c ,   I r e n a 	 	 	 A u t o m a t i c   e x t r a c t i o n   o f   p e r s o n a l   e x p e r i e n c e s   f r o m   p a t i e n t s '   b l o g s :   A   c a s e   s t u d y   i n   c h r o n i c   o b s t r u c t i v e   p u l m o n a r y   d i s e a s e 	 2 0 1 3   I E E E   T H I R D   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C L O U D   A N D   G R E E N   C O M P U T I N G   ( C G C   2 0 1 3 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 r d   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C l o u d   a n d   G r e e n   C o m p u t i n g   ( C G C ) 	 S E P   3 0 - O C T   0 2 ,   2 0 1 3 	 K a r l s r u h e ,   G E R M A N Y 	 I E E E ,   I E E E   C o m p   S o c ,   I E E E   T e c h   C o m m   S c a l a b l e   C o m p ,   K a r l s r u h e   I n s t   T e c h n o l 	 	 b l o g s ;   b l o g   m i n i n g ;   m a c h i n e   l e a r n i n g ;   t e x t   p r o c e s s i n g ;   n a t u r a l   l a n g u a g e   p r o c e s s i n g ;   h e a l t h   i n f o r m a t i c s ;   s o c i a l   m e d i a 	 C A N C E R 	 P e o p l e   w i t h   l o n g - t e r m   i l l n e s s   s u c h   a s   c h r o n i c   o b s t r u c t i v e   p u l m o n a r y   d i s e a s e   ( C O P D )   o f t e n   u s e   s o c i a l   m e d i a   t o   d o c u m e n t   a n d   s h a r e   i n f o r m a t i o n ,   o p i n i o n s   a n d   t h e i r   e x p e r i e n c e s   w i t h   o t h e r s .   A n a l y s i n g   t h e   s e l f - r e p o r t e d   e x p e r i e n c e s   o f   p a t i e n t s   s h a r e d   o n l i n e   h a s   t h e   p o t e n t i a l   t o   h e l p   m e d i c a l   r e s e a r c h e r s   g a i n   i n s i g h t   i n t o   s o m e   o f   t h e   k e y   i s s u e s   a f f e c t i n g   p a t i e n t s .   H o w e v e r ,   t h e   s c a l e   o f   h e a l t h   c o n v e r s a t i o n   t a k i n g   p l a c e   o n l i n e   p o s e s   c o n s i d e r a b l e   c h a l l e n g e s   t o   t r a d i t i o n a l   c o n t e n t   a n a l y s i s .   I n   t h i s   p a p e r ,   w e   p r e s e n t   a   s y s t e m   w h i c h   a u t o m a t e s   e x t r a c t i o n   o f   p a t i e n t   s t a t e m e n t s   w h i c h   r e f e r   t o   a   p e r s o n a l   e x p e r i e n c e .   W e   a p p l i e d   a   c r o w d s o u r c i n g   m e t h o d o l o g y   t o   c r e a t e   a   s e t   o f   1 7 7 0   a n n o t a t e d   s e n t e n c e s   f r o m   b l o g   p o s t s   w r i t t e n   b y   C O P D   p a t i e n t s .   O u r   m a c h i n e   l e a r n i n g   a p p r o a c h   t r a i n e d   o n   l e x i c a l   f e a t u r e s   s u c c e s s f u l l y   e x t r a c t e d   s e n t e n c e s   a b o u t   p a t i e n t   e x p e r i e n c e   w i t h   9 3 %   p r e c i s i o n   a n d   8 0 %   r e c a l l   ( F - m e a s u r e :   8 6 % ) .   A u t o m a t i c   a n n o t a t i o n   o f   s e n t e n c e s   a b o u t   p a t i e n t   e x p e r i e n c e   c a n   f a c i l i t a t e   s u b s e q u e n t   c o n t e n t   a n a l y s i s   b y   h i g h l i g h t i n g   t h e   m o s t   r e l e v a n t   s e n t e n c e s   t o   t h i s   p a r t i c u l a r   p r o b l e m . 	 [ G r e e n w o o d ,   M a r k ;   P r e e c e ,   A l u n ;   S p a s i c ,   I r e n a ]   C a r d i f f   U n i v ,   S c h   C o m p   S c i   &   I n f o r m a t ,   C a r d i f f   C F 1 0   3 A X ,   S   G l a m ,   W a l e s 	 G r e e n w o o d ,   M   ( r e p r i n t   a u t h o r ) ,   C a r d i f f   U n i v ,   S c h   C o m p   S c i   &   I n f o r m a t ,   C a r d i f f   C F 1 0   3 A X ,   S   G l a m ,   W a l e s . 	 	 	 	 	 	 B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C h o u   W Y S ,   2 0 1 1 ,   J   M E D   I N T E R N E T   R E S ,   V 1 3 ,   P 1 0 8 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 5 6 9 ;   D e p a r t m e n t   o f   H e a l t h ,   2 0 1 3 ,   N H S   C O N S T   E N G L ;   D e p a r t m e n t   o f   H e a l t h ,   2 0 0 6 ,   O U R   H L T H   O U R   C A R   O U R ;   D E x T ,   2 0 1 3 ,   Q U D E X   S C H E M ;   D o m i n g o s   P ,   1 9 9 7 ,   M A C H   L E A R N ,   V 2 9 ,   P 1 0 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 7 4 1 3 5 1 1 3 6 1 ;   D u g g a n   M . ,   2 0 1 3 ,   H L T H   O N L I N E   2 0 1 3 ;   E s u l i   A . ,   2 0 0 6 ,   P   L R E C ;   F o x   S ,   2 0 1 1 ,   S O C I A L   L I F E   H L T H   I N F ;   G l o b a l   I n i t i a t i v e   f o r   C h r o n i c   O b s t r u c t i v e   L u n g   D i s e a s e   ( G O L D ) ,   2 0 1 0 ,   P O C K   G U I D   C O P D   D I A G N ;   H a l l   M ,   2 0 0 9 ,   S I G K D D   E X P L O R A T I O N S ,   V 1 1 ;   H e w i t t - T a y l o r   J ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   P 3 0 1 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 0 6 8 ;   K a p l a n   A M ,   2 0 1 0 ,   B U S   H O R I Z O N S ,   V 5 3 ,   P 5 9 ,   D O I   1 0 . 1 0 1 6 / j . b u s h o r . 2 0 0 9 . 0 9 . 0 0 3 ;   K e i m - M a l p a s s   J ,   2 0 1 2 ,   O N C O L   N U R S   F O R U M ,   V 3 9 ,   P 3 7 3 ,   D O I   1 0 . 1 1 8 8 / 1 2 . O N F . 3 7 3 - 3 7 8 ;   K R I P P E N D . K ,   1 9 7 0 ,   E D U C   P S Y C H O L   M E A S ,   V 3 0 ,   P 6 1 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 3 1 6 4 4 7 0 0 3 0 0 0 1 0 5 ;   M a c N e e   W . ,   2 0 0 4 ,   F A S T   F A C T S   C H R O N I C   O ;   M a r s h a l l   S ,   2 0 0 6 ,   J   E V A L   C L I N   P R A C T ,   V 1 2 ,   P 5 5 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 7 5 3 . 2 0 0 6 . 0 0 6 5 0 . x ;   N I C E ,   2 0 0 4 ,   T H O R A X   S 1 ,   V 5 9 ,   P 1 ,   D O I   D O I   1 0 . 1 1 3 6 / T H X . 2 0 0 4 . 0 2 2 7 0 7 ;   N L M ,   2 0 1 2 ,   U N   M E D   L A N G   S Y S T ;   N M   I n c i t e ,   2 0 1 1 ,   H E A L T H C   S O C   M E D   N U M B ;   P a n g   B . ,   2 0 0 8 ,   F O U N D   T R E N D S   I N F   R E T ,   V 2 ,   P 1 ,   D O I   D O I   1 0 . 1 5 6 1 / 1 5 0 0 0 0 0 0 1 1 ;   P r i n c e t o n   U n i v e r s i t y ,   2 0 1 0 ,   W O R D N E T ;   R a y k a r   V .   C . ,   2 0 1 0 ,   J   M A C H I N E   L E A R N I N G   R ,   V 1 1 ;   S i l l e n c e   E . ,   2 0 1 2 ,   H L T H   E X P E C T A T I O N S   I N ;   S p a s i c   I . ,   2 0 1 3 ,   J   B I O M E D I C A   I N   P R E S S ;   S p a s i   I r e n a ,   2 0 1 2 ,   B i o m e d   I n f o r m   I n s i g h t s ,   V 5 ,   P 8 7 ,   D O I   1 0 . 4 1 3 7 / B I I . S 8 9 4 5 ;   T o u t a n o v a   K . ,   2 0 0 3 ,   P   2 0 0 3   C   N   A M   C H A P T ,   V 1 ,   P 1 7 3 ,   D O I   D O I   1 0 . 3 1 1 5 / 1 0 7 3 4 4 5 . 1 0 7 3 4 7 8 ;   V a l i t u t t i   R . ,   2 0 0 4 ,   P S Y C H O L O G Y ,   V 2 ,   P 6 1 ;   V u u r e n s   J . ,   2 0 1 1 ,   P   A C M   S I G I R   W O R K S H   C ,   P 2 1 ;   W a l k e r   J .   D . ,   2 0 0 3 ,   J I L L   T X T   F I N A L   V E R S I ;   W i n e r   D . ,   2 0 0 3 ,   H A R V A R D   W E B L O G S   W H A T ;   Y a n g   Y . ,   1 9 9 7 ,   M A C H   L E A R N ,   P 4 1 2 ;   Z h u   D . ,   2 0 1 0 ,   S I G I R   2 0 1 0   W O R K S H   C R ,   P 1 7 	 3 3 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 5 1 1 4 - 2 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 3 7 7 	 3 8 2 	 	 1 0 . 1 1 0 9 / C G C . 2 0 1 3 . 6 6 	 	 6 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B J U 9 6 	 W O S : 0 0 0 3 3 0 6 4 3 7 0 0 0 5 8 	 	 
 J 	 S a r a s u a ,   C ;   T h i m m ,   M 	 	 	 I E E E 	 S a r a s u a ,   C r i s t i n a ;   T h i m m ,   M a t t h i a s 	 	 	 M i c r o t a s k   a v a i l a b l e ,   s e n d   u s   y o u r   C V ! 	 2 0 1 3   I E E E   T H I R D   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C L O U D   A N D   G R E E N   C O M P U T I N G   ( C G C   2 0 1 3 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 r d   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C l o u d   a n d   G r e e n   C o m p u t i n g   ( C G C ) 	 S E P   3 0 - O C T   0 2 ,   2 0 1 3 	 K a r l s r u h e ,   G E R M A N Y 	 I E E E ,   I E E E   C o m p   S o c ,   I E E E   T e c h   C o m m   S c a l a b l e   C o m p ,   K a r l s r u h e   I n s t   T e c h n o l 	 	 C r o w d   w o r k e r ;   m i c r o t a s k ;   c u r r i c u l u m   v i t a e ;   p r o f i l e   e x p e r t i s e ;   t a s k   a s s i g n m e n t 	 	 M o s t   c u r r e n t   m i c r o t a s k   c r o w d s o u r c i n g   p l a t f o r m s   d o   n o t   e x p l o i t   t h e   i n d i v i d u a l   e x p e r t i s e   o f   w o r k e r s ,   w h i c h   b e c o m e s   e x t r e m e l y   r e l e v a n t   f o r   k n o w l e d g e - i n t e n s i v e   m i c r o t a s k s   i n   h u m a n   c o m p u t a t i o n   s c e n a r i o s .   I n   t h i s   p a p e r ,   w e   d i s c u s s   w o r k   i n   p r o g r e s s   o n   w o r k e r   p r o f i l i n g   w i t h i n   m i c r o t a s k   p l a t f o r m s   t o   i n c r e a s e   b o t h   t h e   q u a l i t y   o f   t h e   w o r k   a n d   t h e   s a t i s f a c t i o n   o f   t h e   u s e r s .   W e   a n a l y s e   t h e   i s s u e   o f   p r o f i l i n g   w o r k e r s   a n d   p r o p o s e   t h e   i n t r o d u c t i o n   o f   a   c r o w d   w o r k e r   C V   a s   a   c o m p r e h e n s i v e   m e a n s   t o   d e s c r i b e   a   w o r k e r ' s   e x p e r t i s e   a n d   i n t e r e s t s .   W e   d i s c u s s   s e v e r a l   i m p o r t a n t   d i m e n s i o n s   t h a t   s h o u l d   b e   i n c l u d e d   i n   s u c h   a   C V   a n d   a n a l y s e   t h e i r   b e n e f i t s . 	 [ S a r a s u a ,   C r i s t i n a ;   T h i m m ,   M a t t h i a s ]   U n i v   K o b l e n z   L a n d a u ,   I n s t   W e b   S c i   &   T e c h n o l   W e S T ,   L a n d a u ,   G e r m a n y 	 S a r a s u a ,   C   ( r e p r i n t   a u t h o r ) ,   U n i v   K o b l e n z   L a n d a u ,   I n s t   W e b   S c i   &   T e c h n o l   W e S T ,   L a n d a u ,   G e r m a n y . 	 c s a r a s u a @ u n i - k o b l e n z . d e ;   t h i m m @ u n i - k o b l e n z . d e 	 	 	 	 	 A m b a t i   V . ,   2 0 1 1 ,   H U M A N   C O M P U T A T I O N ;   B a c h r a c h   Y . ,   2 0 1 2 ,   P   3   A N N   A C M   W E B   S C I ;   B o z z o n   A . ,   2 0 1 3 ,   P   1 6   I N T   C   E X T   D A T   T ;   D i f a l l a h   D .   E . ,   2 0 1 3 ,   P   2 2   I N T   C   W O R L D   W I D ;   H u a n g   S . ,   2 0 1 3 ,   P   A C M   S I G C H I   C   H U M   F ;   I p e i r o t i s   P .   G . ,   2 0 1 0 ,   C E D E R 1 0 0 1   N Y U ;   K a u f m a n n   N . ,   2 0 1 1 ,   P   A A A I   W O R K S H   H U M   C O ;   K a z a i   G . ,   2 0 1 1 ,   P   2 0   A C M   I N T   C   I N F   K ;   K h a z a n k i n   R . ,   2 0 1 1 ,   P   9   I N T   C   S E R V   O R   C O ;   K i t t u r   A . ,   2 0 1 3 ,   1 6   A C M   C   C O M P   S U P P   C ;   L e a s e   M . ,   2 0 1 3 ,   M E C H   T U R K   I S   N O T   A N O ;   S a r a s u a   C . ,   2 0 1 3 ,   D A T A   I N T E R L I N K   U N P U B ;   S a t z g e r   B . ,   2 0 1 2 ,   I N F O R M   S Y S T E M S 	 1 3 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 5 1 1 4 - 2 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 5 2 1 	 5 2 4 	 	 1 0 . 1 1 0 9 / C G C . 2 0 1 3 . 8 7 	 	 4 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B J U 9 6 	 W O S : 0 0 0 3 3 0 6 4 3 7 0 0 0 7 9 	 	 
 J 	 F e l d m a n n ,   N ;   G i m p e l ,   H ;   K o h l e r ,   M ;   W e i n h a r d t ,   C 	 	 	 I E E E 	 F e l d m a n n ,   N i e l s ;   G i m p e l ,   H e n n e r ;   K o h l e r ,   M a r c ;   W e i n h a r d t ,   C h r i s t o f 	 	 	 U s i n g   C r o w d   F u n d i n g   f o r   I d e a   A s s e s s m e n t   i n s i d e   O r g a n i z a t i o n s   L e s s o n s   L e a r n e d   f r o m   a   M a r k e t   E n g i n e e r i n g   P e r s p e c t i v e 	 2 0 1 3   I E E E   T H I R D   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C L O U D   A N D   G R E E N   C O M P U T I N G   ( C G C   2 0 1 3 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 r d   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C l o u d   a n d   G r e e n   C o m p u t i n g   ( C G C ) 	 S E P   3 0 - O C T   0 2 ,   2 0 1 3 	 K a r l s r u h e ,   G E R M A N Y 	 I E E E ,   I E E E   C o m p   S o c ,   I E E E   T e c h   C o m m   S c a l a b l e   C o m p ,   K a r l s r u h e   I n s t   T e c h n o l 	 	 c r o w d s o u r c i n g ;   c r o w d   f u n d i n g ;   c r o w d   i n v e s t i n g ;   p r e d i c t i o n   m a r k e t s ;   i d e a   m a r k e t s ;   m a r k e t   e n g i n e e r i n g 	 	 I d e a   a s s e s s m e n t   i s   a   c r i t i c a l   a c t i v i t y   i n   o r g a n i z a t i o n s '   i n n o v a t i o n   m a n a g e m e n t .   I n   r e c e n t   y e a r s ,   W i s d o m   o f   t h e   C r o w d   m e c h a n i s m s ,   s u c h   a s   p r e d i c t i o n   m a r k e t s ,   h a v e   r e c e i v e d   i n c r e a s i n g   a w a r e n e s s   a s   a   m e a n s   t o   i m p r o v e   i d e a   a s s e s s m e n t .   C u r r e n t l y ,   c r o w d   f u n d i n g   i s   b e c o m i n g   i n c r e a s i n g l y   p o p u l a r   a m o n g s t   p e o p l e   s e e k i n g   f u n d i n g   f o r   i m p l e m e n t i n g   t h e i r   i d e a s ,   a s   w e l l   a s   o t h e r s   p o t e n t i a l l y   w i l l i n g   t o   i n v e s t   i n   t h o s e .   W h i l e   f i r s t   c o m p a n i e s   a r e   a l r e a d y   s t a r t i n g   t o   a p p l y   c r o w d   f u n d i n g   f o r   i n t e r n a l   i d e a   a s s e s s m e n t ,   k n o w l e d g e   o n   h o w   t o   d e s i g n   c r o w d   f u n d i n g   a p p r o a c h e s   i n s i d e   t h e   e n t e r p r i s e   i s   a l m o s t   n o n - e x i s t e n t .   I n   t h i s   w o r k - i n - p r o g r e s s   p a p e r   w e   c o n t r i b u t e   t o   b u i l d i n g   a   b o d y   o f   k n o w l e d g e   f o r   t h i s   n e w   t o p i c   b y   a n a l y z i n g   t h e   s t r u c t u r a l   o v e r l a p   b e t w e e n   c r o w d   f u n d i n g   a n d   p r e d i c t i o n   m a r k e t s .   W e   s t r i v e   t o   p r o v i d e   a   b a s i s   f o r   a   d e c i s i o n   o n   h o w   f a r   t r a n s f e r   o f   e x i s t i n g   k n o w l e d g e   f r o m   t h e   l a t t e r   t o   t h e   d e s i g n   o f   o r g a n i z a t i o n - i n t e r n a l   c r o w d   f u n d i n g   m e c h a n i s m s   i s   p o s s i b l e .   F o r   t h i s ,   w e   a s s i g n   t h e   c h a r a c t e r i s t i c s   o f   c r o w d   f u n d i n g   m e c h a n i s m s ,   d e r i v e d   f r o m   l i t e r a t u r e   a n d   a n   a s s e s s m e n t   o f   1 3   p l a t f o r m s ,   t o   a n   e s t a b l i s h e d   m a r k e t   e n g i n e e r i n g   f r a m e w o r k   a n d   c o m p a r e   t h e m   t o   c u r r e n t   i m p l e m e n t a t i o n s   o f   p r e d i c t i o n   m a r k e t s   f o r   i d e a   a s s e s s m e n t .   W e   f i n d   s i m i l a r i t i e s ,   a s   w e l l   a s   d i s t i n c t   d i f f e r e n c e s   a n d   o u t l i n e   a r e a s   o f   f u t u r e   r e s e a r c h . 	 [ F e l d m a n n ,   N i e l s ;   G i m p e l ,   H e n n e r ;   K o h l e r ,   M a r c ;   W e i n h a r d t ,   C h r i s t o f ]   K a r l s r u h e   I n s t   T e c h n o l ,   R e s   I n s t ,   K a r l s r u h e   S e r v ,   D - 7 6 0 2 1   K a r l s r u h e ,   G e r m a n y 	 F e l d m a n n ,   N   ( r e p r i n t   a u t h o r ) ,   K a r l s r u h e   I n s t   T e c h n o l ,   R e s   I n s t ,   K a r l s r u h e   S e r v ,   D - 7 6 0 2 1   K a r l s r u h e ,   G e r m a n y . 	 n i e l s . f e l d m a n n @ k i t . e d u ;   h e n n e r . g i m p e l @ k i t . e d u ;   m a r c . k o h l e r @ k i t . e d u ;   w e i n h a r d t @ k i t . e d u 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 2 ,   T H I N K   Q   O P   I S S ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   E N T   C R O W D S   R E S   R E P ;   B o g o s t   I . ,   2 0 1 1 ,   P E R S U A S I V E   G A M E S   E X P ;   B o g o s t   I . ,   2 0 1 1 ,   G A M I F I C A T I O N   I S   B U L L ;   C u s h i n g   E . ,   2 0 1 3 ,   U T N E   R E A D E R ;   D o n   T a p s c o t t ,   2 0 0 8 ,   W I K I N O M I C S   M A S S   C O L L ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F e l s t i n e r   A ,   2 0 1 1 ,   B E R K E L E Y   J   E M P L O Y M E N ,   V 3 2 ;   F u l l e r   M ,   2 0 1 2 ,   E V I L   M E D I A ,   P 1 ;   H e r z   J .   C . ,   2 0 0 2 ,   H A R N E S S I N G   H I V E   O N L I ;   H o d s o n   H . ,   2 0 1 3 ,   N E W   S C I ;   H o w e   J . ,   W I R E D   B U S I N E S S ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   H o w e   J . ,   C R O W D S O U R C I N G   D E F I N I ;   I r a n i   L . ,   2 0 0 9 ,   T W E A K I N G   T E C H N O C A P I T ;   K i t t u r   A . ,   2 0 1 3 ,   C S C W   C   C O M P   S U P P   C O O ;   M a c k   E . ,   2 0 1 3 ,   L A W S U I T   C O U L D   H E L P   U ;   M a y e r   R o b e r t ,   2 0 0 7 ,   J   A P P L   P H I L O S ,   V 2 4 ,   P 1 3 7 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 4 6 8 - 5 9 3 0 . 2 0 0 7 . 0 0 3 6 0 . X ;   S c h m i d t   F .   A . ,   2 0 1 3 ,   P E E R   R E V   N E W S P A P E R   B ;   S c h m i d t   F .   A . ,   P E E R   R E V   J   B W P W A P ;   S c h o l z   T r e b o r ,   2 0 1 3 ,   D I G I T A L   L A B O R   I N T E R N ;   T a p s c o t t   D . ,   C R O W D S O U R C I N G   K O N Y   2 ;   W a l e s   J . ,   2 0 0 7 ,   W I K I P E D I A   M O V E S   S F   F ;   Z i t t r a i n   J . ,   2 0 0 8 ,   U   O X F O R D   L E G A L   R E S   P 	 2 4 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 5 1 1 4 - 2 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 5 2 5 	 5 3 5 	 	 1 0 . 1 1 0 9 / C G C . 2 0 1 3 . 8 8 	 	 1 1 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B J U 9 6 	 W O S : 0 0 0 3 3 0 6 4 3 7 0 0 0 8 0 	 	 
 J 	 D u k a t ,   C ;   C a t o n ,   S 	 	 	 I E E E 	 D u k a t ,   C h r i s t o p h ;   C a t o n ,   S i m o n 	 	 	 T o w a r d s   t h e   C o m p e t e n c e   o f   C r o w d s o u r c e e s   L i t e r a t u r e - b a s e d   C o n s i d e r a t i o n s   o n   t h e   P r o b l e m   o f   A s s e s s i n g   C r o w d s o u r c e e s '   Q u a l i t i e s 	 2 0 1 3   I E E E   T H I R D   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C L O U D   A N D   G R E E N   C O M P U T I N G   ( C G C   2 0 1 3 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 r d   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C l o u d   a n d   G r e e n   C o m p u t i n g   ( C G C ) 	 S E P   3 0 - O C T   0 2 ,   2 0 1 3 	 K a r l s r u h e ,   G E R M A N Y 	 I E E E ,   I E E E   C o m p   S o c ,   I E E E   T e c h   C o m m   S c a l a b l e   C o m p ,   K a r l s r u h e   I n s t   T e c h n o l 	 	 c r o w d s o u r c i n g ;   q u a l i t y ;   q u a l i f i c a t i o n   t e s t s ;   c o m p e t e n c e ;   s o c i a l   m e d i a   o b s e r v a t i o n 	 	 T o d a y ,   c r o w d s o u r c i n g   l i t e r a t u r e   a n d   p l a t f o r m s   p r o p o s e   m a n y   d i f f e r e n t   m e a n s   o f   a s s e s s i n g   a n d   d e f i n i n g   w o r k e r   q u a l i t y ,   r e l i a b i l i t y   a n d   t r u s t w o r t h i n e s s   o f   t a s k   s o l u t i o n s .   W h e r e   e x a m p l e s   i n c l u d e :   r e d u n d a n t   s c h e d u l i n g ,   g o l d   s t a n d a r d   q u e s t i o n s ,   q u a l i f i c a t i o n   t e s t s ,   a n d   e m p l o y e r   a c c e p t a n c e   r a t e .   I n   t h i s   p a p e r ,   w e   a r g u e   t h a t   t h e s e   a p p r o a c h e s   a r e   n o t   i n e f f e c t i v e ,   b u t   a r e   s h o r t s i g h t e d ,   a s   t h e y   r e v e a l   l i t t l e   a b o u t   t h e   a c t u a l   a b i l i t i e s   o f   a   w o r k e r   i n   g e n e r a l .   T h e r e f o r e ,   w e   p r o p o s e   t h e   d e f i n i t i o n   o f   c o m p e t e n c i e s   f o r   c r o w d s o u r c e e s   a s   a   m o r e   e l a b o r a t e   m e t h o d o l o g y   t o   t o d a y ' s   n o t i o n   o f   q u a l i f i c a t i o n s   a n d   q u a l i f i c a t i o n   t e s t s .   F u r t h e r m o r e ,   w e   s h e d   s o m e   l i g h t   o n   h o w   t h e   c o m p e t e n c i e s   o f   c r o w d s o u r c e e s   c o u l d   b e   i d e n t i f i e d   a n d   c o n f i r m e d   v i a   o n l i n e   s o c i a l   m e d i a   p l a t f o r m s . 	 [ D u k a t ,   C h r i s t o p h ]   K a r l s r u h e   I n s t   T e c h n o l ,   I n s t   S o c i o l ,   D - 7 6 0 2 1   K a r l s r u h e ,   G e r m a n y 	 D u k a t ,   C   ( r e p r i n t   a u t h o r ) ,   K a r l s r u h e   I n s t   T e c h n o l ,   I n s t   S o c i o l ,   D - 7 6 0 2 1   K a r l s r u h e ,   G e r m a n y . 	 c h r i s t o p h . d u k a t @ k i t . e d u ;   s i m o n . c a t o n @ k i t . e d u 	 	 	 	 	 A n d e r s o n   D .   P . ,   2 0 0 4 ,   P   5   I E E E   A C M   I N T   W O R ;   B u r n a p   P . ,   2 0 1 3 ,   I N T   J   S O C   R E S   M E T H O D ,   P 2 ;   C A T O N   S ,   2 0 1 2 ,   I E E E   P   2   I N T   C   C L O U D ,   P 4 2 4 ;   E n d r e s s   M . ,   2 0 0 2 ,   V E R T R A U E N   B I E L E F E L D ;   G e i g e r   D . ,   2 0 1 1 ,   P   1 7   A M   C   I N F   S Y S T ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   P 1 4 0 6 ;   H o w e   J . ,   W H I T E   P A P E R   V E R S I O N ;   I p e i r o t i s   P . ,   2 0 1 0 ,   K D D   H C O M P ;   J e n n y   J .   C . ,   2 0 1 1 ,   O P P O R T U N I T I E S   C R O W D S ;   K e r n   R ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 4 7 2 ,   P 3 0 4 ;   K i t t u r   A ,   2 0 1 3 ,   C S C W   1 3   P   2 0 1 3   C   C O M ,   P 1 3 0 1 ;   K l e e m a n n   F . ,   2 0 0 8 ,   S C I   T E C H N O L O G Y   I N N O V ,   V 4 ,   P 5 ;   K l i n g e r   J . ,   2 0 1 1 ,   E N A B L I N G   T R U S T   C R O W D ;   K n o b l a u c h   H u b e r t ,   2 0 1 0 ,   S O Z I O L O G I E   K O M P E T E N Z ,   P 2 3 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 3 1 - 9 1 9 5 1 - 5 _ 1 3 ;   L E W I S   J D ,   1 9 8 5 ,   S O C   F O R C E S ,   V 6 3 ,   P 9 6 7 ,   D O I   1 0 . 2 3 0 7 / 2 5 7 8 6 0 1 ;   M a r q u a r d   O . ,   1 9 8 1 ,   A B S C H I E D   P R I N Z I P I E L L ,   p [ 2 3 ,   2 3 ] ;   M o r g a n   J . ,   2 0 1 3 ,   S O C I O L O G I C A L   R E S   O N L ;   O ' R e i l l y   T i m ,   2 0 0 5 ,   W H A T   I S   W E B   2   0 ;   O l e s o n   D . ,   2 0 1 1 ,   3   A A A I   W O R K S H   H U M   C O ;   P a p s d o r f   C . ,   2 0 0 9 ,   W I E   S U R F E N   A R B E I T   W I ;   P f a d e n h a u e r   M . ,   2 0 1 2 ,   M O D E L I N G   M E A S U R I N G   C ,   P 8 1 ;   R e i c h w a l d   R . ,   2 0 0 9 ,   I N T E R A K T I V E   W E R T S C H O ;   S c h u t z   A l f r e d ,   2 0 0 3 ,   S T R U K T U R E N   L E B E N S W E L ;   S c h u t z e i c h e l   R . ,   2 0 1 0 ,   S O Z I O L O G I E   K O M P E T E N Z ,   P 1 7 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 3 1 - 9 1 9 5 1 - 5 _ 1 0 ;   S t o l e e   K .   T . ,   2 0 1 0 ,   P   2 0 1 0   A C M   I E E E   I N T ;   V o s s   G .   G . ,   2 0 0 8 ,   A R B E I T E N D E   K U N D E   W E N 	 2 6 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 5 1 1 4 - 2 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 5 3 6 	 5 4 0 	 	 1 0 . 1 1 0 9 / C G C . 2 0 1 3 . 9 0 	 	 5 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B J U 9 6 	 W O S : 0 0 0 3 3 0 6 4 3 7 0 0 0 8 1 	 	 
 J 	 T r u s k i n g e r ,   A ;   C o t t m a n - F i e l d s ,   M ;   J o h n s o n ,   D ;   R o e ,   P 	 	 	 I E E E 	 T r u s k i n g e r ,   A n t h o n y ;   C o t t m a n - F i e l d s ,   M a r k ;   J o h n s o n ,   D a n i e l ;   R o e ,   P a u l 	 	 	 R a p i d   S c a n n i n g   o f   S p e c t r o g r a m s   f o r   E f f i c i e n t   I d e n t i f i c a t i o n   o f   B i o a c o u s t i c   E v e n t s   i n   B i g   D a t a 	 2 0 1 3   I E E E   9 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   E - S C I E N C E   ( E - S C I E N C E ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   9 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   e - S c i e n c e   ( e - S c i e n c e ) 	 O C T   2 2 - 2 5 ,   2 0 1 3 	 B e i j i n g ,   P E O P L E S   R   C H I N A 	 I E E E ,   I E E E   C o m p   S o c ,   C h i n e s e   A c a d   S c i ,   C y b e r i n f r a s t r u c t u r e   O f f ,   N a t l   S c i   &   T e c h n o l ,   I n f r a s t r u c t u r e   C t r ,   M i c r o s o f t   R e s ,   C h i n e s e   A c a d   S c i ,   C o m p   N e t w o r k   I n f o r m a t   C t r 	 	 s e n s o r s ;   a c o u s t i c   d a t a ;   s p e c t r o g r a m s ;   b i g   d a t a ;   b i g   d a t a   a n a l y s i s ;   c r o w d s o u r c i n g ;   f a s t   f o r w a r d 	 S E N S O R   N E T W O R K ;   R E C O G N I T I O N 	 A c o u s t i c   s e n s i n g   i s   a   p r o m i s i n g   a p p r o a c h   t o   s c a l i n g   f a u n a l   b i o d i v e r s i t y   m o n i t o r i n g .   S c a l i n g   t h e   a n a l y s i s   o f   a u d i o   c o l l e c t e d   b y   a c o u s t i c   s e n s o r s   i s   a   b i g   d a t a   p r o b l e m .   S t a n d a r d   a p p r o a c h e s   f o r   d e a l i n g   w i t h   b i g   a c o u s t i c   d a t a   i n c l u d e   a u t o m a t e d   r e c o g n i t i o n   a n d   c r o w d   b a s e d   a n a l y s i s .   A u t o m a t i c   m e t h o d s   a r e   f a s t   a t   p r o c e s s i n g   b u t   h a r d   t o   r i g o r o u s l y   d e s i g n ,   w h i l s t   m a n u a l   m e t h o d s   a r e   a c c u r a t e   b u t   s l o w   a t   p r o c e s s i n g .   I n   p a r t i c u l a r ,   m a n u a l   m e t h o d s   o f   a c o u s t i c   d a t a   a n a l y s i s   a r e   c o n s t r a i n e d   b y   a   1 : 1   t i m e   r e l a t i o n s h i p   b e t w e e n   t h e   d a t a   a n d   i t s   a n a l y s t s .   T h i s   c o n s t r a i n t   i s   t h e   i n h e r e n t   n e e d   t o   l i s t e n   t o   t h e   a u d i o   d a t a .   T h i s   p a p e r   d e m o n s t r a t e s   h o w   t h e   e f f i c i e n c y   o f   c r o w d   s o u r c e d   s o u n d   a n a l y s i s   c a n   b e   i n c r e a s e d   b y   a n   o r d e r   o f   m a g n i t u d e   t h r o u g h   t h e   v i s u a l   i n s p e c t i o n   o f   a u d i o   v i s u a l i z e d   a s   s p e c t r o g r a m s .   E x p e r i m e n t a l   d a t a   s u g g e s t s   t h a t   a n   a n a l y s i s   s p e e d u p   o f   1 2 x   i s   o b t a i n a b l e   f o r   s u i t a b l e   t y p e s   o f   a c o u s t i c   a n a l y s i s ,   g i v e n   t h a t   o n l y   s p e c t r o g r a m s   a r e   s h o w n . 	 [ T r u s k i n g e r ,   A n t h o n y ;   C o t t m a n - F i e l d s ,   M a r k ;   J o h n s o n ,   D a n i e l ;   R o e ,   P a u l ]   Q u e e n s l a n d   U n i v   T e c h n o l ,   C o m p   H u m a n   I n t e r a c t   C o m p   S c i   S c i   &   E n g n   F a c ,   B r i s b a n e ,   Q l d   4 0 0 1 ,   A u s t r a l i a 	 T r u s k i n g e r ,   A   ( r e p r i n t   a u t h o r ) ,   Q u e e n s l a n d   U n i v   T e c h n o l ,   C o m p   H u m a n   I n t e r a c t   C o m p   S c i   S c i   &   E n g n   F a c ,   B r i s b a n e ,   Q l d   4 0 0 1 ,   A u s t r a l i a . 	 a n t h o n y . t r u s k i n g e r @ s t u d e n t . q u t . e d u . a u ;   m . c o t t m a n - f i e l d s @ s t u d e n t . q u t . e d u . a u ;   d m . j o h n s o n @ q u t . e d u . a u ;   p . r o e @ q u t . e d u . a u 	 	 	 	 	 A c e v e d o   M A ,   2 0 0 6 ,   W I L D L I F E   S O C   B ,   V 3 4 ,   P 2 1 1 ,   D O I   1 0 . 2 1 9 3 / 0 0 9 1 - 7 6 4 8 ( 2 0 0 6 ) 3 4 [ 2 1 1 : U A D R S A ] 2 . 0 . C O ; 2 ;   A c e v e d o   M A ,   2 0 0 9 ,   E C O L   I N F O R M ,   V 4 ,   P 2 0 6 ,   D O I   1 0 . 1 0 1 6 / j . e c o i n f . 2 0 0 9 . 0 6 . 0 0 5 ;   B I E D E R M A N   I ,   1 9 8 7 ,   P S Y C H O L   R E V ,   V 9 4 ,   P 1 1 5 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 5 X . 9 4 . 2 . 1 1 5 ;   B i o a c o u s t i c s   R e s e a r c h   P r o g r a m ,   2 0 1 1 ,   R A V   P R O I N T   S O U N D   A N ;   B r a n d e s   T S ,   2 0 0 6 ,   J   A C O U S T   S O C   A M ,   V 1 2 0 ,   P 2 9 5 0 ,   D O I   1 0 . 1 1 2 1 / 1 . 2 3 5 5 4 7 9 ;   D e p r a e t e r e   M . ,   2 0 1 1 ,   E C O L O G I C A L   I N   P R E S S ;   E l l i s   W A ,   2 0 1 0 ,   I N T E G R   C O M P   B I O L ,   V 5 0 ,   p E 4 9 ;   F i t z G i b b o n   S . ,   2 0 0 9 ,   1 0   I N T   C   E C ;   H a s e l m a y e r   J ,   2 0 0 0 ,   C O N D O R ,   V 1 0 2 ,   P 8 8 7 ,   D O I   1 0 . 1 6 5 0 / 0 0 1 0 - 5 4 2 2 ( 2 0 0 0 ) 1 0 2 [ 0 8 8 7 : A C O P C A ] 2 . 0 . C O ; 2 ;   H u   W ,   2 0 0 9 ,   A C M   T   S E N S O R   N E T W O R K ,   V 5 ,   D O I   1 0 . 1 1 4 5 / 1 4 6 4 4 2 0 . 1 4 6 4 4 2 4 ;   J o u b e r t   O R ,   2 0 0 7 ,   V I S I O N   R E S ,   V 4 7 ,   P 3 2 8 6 ,   D O I   1 0 . 1 0 1 6 / j . v i s r e s . 2 0 0 7 . 0 9 . 0 1 3 ;   K o n i s h i   S ,   1 9 9 8 ,   E U R   J   N E U R O S C I ,   V 1 0 ,   P 1 2 0 9 ,   D O I   1 0 . 1 0 4 6 / j . 1 4 6 0 - 9 5 6 8 . 1 9 9 8 . 0 0 1 6 7 . x ;   K o s i n s k i   R .   J . ,   2 0 0 8 ,   L I T   R E V   R E A C T I O N   T I M ,   V 1 0 ;   L i n   K H ,   2 0 1 2 ,   2 0 1 2   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   A C O U S T I C S ,   S P E E C H   A N D   S I G N A L   P R O C E S S I N G   ( I C A S S P ) ,   P 2 2 7 7 ;   L i n t o t t   C J ,   2 0 0 8 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 8 9 ,   P 1 1 7 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 8 . 1 3 6 8 9 . x ;   S a y i g h   L ,   2 0 1 3 ,   M A R   M A M M A L   S C I ,   V 2 9 ,   P 3 1 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 8 - 7 6 9 2 . 2 0 1 2 . 0 0 5 7 7 . x ;   S u e u r   J ,   2 0 0 8 ,   P L O S   O N E ,   V 3 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 0 4 0 6 5 ;   S w i s t o n   K A ,   2 0 0 9 ,   J   F I E L D   O R N I T H O L ,   V 8 0 ,   P 4 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 5 7 - 9 2 6 3 . 2 0 0 9 . 0 0 2 0 4 . x ;   T a y l o r   A . ,   1 9 9 6 ,   M O N I T O R I N G   F R O G   C O M M ,   P 1 5 6 4 ;   T o w s e y   M ,   2 0 1 2 ,   B I O A C O U S T I C S ,   V 2 1 ,   P 1 0 7 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 2 4 6 2 2 . 2 0 1 1 . 6 4 8 7 5 3 ;   W e l f o r d   A .   T . ,   1 9 8 0 ,   R E A C T I O N   T I M E S ;   W i m m e r   J . ,   E C O L O G I C A L   I N   P R E S S 	 2 2 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 0 - 7 6 9 5 - 5 0 8 3 - 1 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 2 7 0 	 2 7 7 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B J T 4 4 	 W O S : 0 0 0 3 3 0 1 9 5 5 0 0 0 3 3 	 	 
 J 	 S h i n ,   D ;   A r i s o n a ,   S M ;   G e o r g a k o p o u l o u ,   S ;   S c h m i t t ,   G ;   K i m ,   S 	 	 A c h t e n ,   H ;   P a v l i c e k ,   J ;   H u l i n ,   J ;   M a t e j o v s k a ,   D 	 	 S h i n ,   D o n g y o u n ;   A r i s o n a ,   S t e f a n   M u l l e r ;   G e o r g a k o p o u l o u ,   S o f i a ;   S c h m i t t ,   G e r h a r d ;   K i m ,   S u n g a h 	 	 	 A   C r o w d s o u r c i n g   U r b a n   S i m u l a t i o n   P l a t f o r m   o n   S m a r t p h o n e   T e c h n o l o g y   S t r a t e g i e s   f o r   u r b a n   d a t a   v i s u a l i z a t i o n   a n d   t r a n s p o r t a t i o n   m o d e   d e t e c t i o n 	 E C A A D E   2 0 1 2 ,   V O L   2 :   P H Y S I C A L   D I G I T A L I T Y 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 3 0 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   E d u c a t i o n   a n d   R e s e a r c h   i n   C o m p u t e r   A i d e d   A r c h i t e c t u r a l   D e s i g n   i n   E u r o p e   ( e C A A D e ) 	 S E P   1 2 - 1 4 ,   2 0 1 2 	 P r a g u e ,   C Z E C H   R E P U B L I C 	 A u t o d e s k   G m b H ,   B e n t l e y   S y s t ,   C z e c h   T e c h   U n i v ,   R e c t o r s   O f f 	 C z e c h   T e c h   U n i v ,   F a c   A r c h i t e c t u r e 	 C r o w d s o u r c i n g   s i m u l a t i o n   p l a t f o r m ;   t r a n s p o r t   m o d e   d e t e c t i o n ;   s o c i a l   s e n s i n g ;   u r b a n   s u s t a i n a b i l i t y ;   m o b i l e   a p p l i c a t i o n 	 	 W e   p r o p o s e   a   c r o w d s o u r c i n g   s i m u l a t i o n   e n v i r o n m e n t   t h a t   b r i n g s   h u m a n   i n t e n t i o n   i n t o   t h e   u r b a n   s i m u l a t o r .   O u r   f u n d a m e n t a l   g o a l   i s   t o   s i m u l a t e   u r b a n   s u s t a i n a b i l i t y   b y   e m p l o y i n g   d i r e c t   h u m a n   i n t e r a c t i o n .   I n   t h i s   p a p e r   w e   p r e s e n t   a   p r o t o t y p e   m o b i l e   p h o n e   a p p l i c a t i o n   t h a t   i m p l e m e n t s   a   n o v e l   t r a n s p o r t a t i o n   m o d e   d e t e c t i o n   a l g o r i t h m .   T h e   m o b i l e   p h o n e   a p p l i c a t i o n   r u n s   i n   t h e   b a c k g r o u n d   a n d   c o n t i n u o u s l y   c o l l e c t s   d a t a   f r o m   t h e   b u i l t - i n   a c c e l e r a t i o n   a n d   n e t w o r k   l o c a t i o n   s e n s o r s .   T h e   c o l l e c t e d   d a t a   i s   a n a l y z e d   b y   t h e   t r a n s p o r t a t i o n   m o d e   d e t e c t i o n   a l g o r i t h m   a n d   a u t o m a t i c a l l y   p a r t i t i o n e d   i n t o   a c t i v i t y   s e g m e n t s .   A   k e y   o b s e r v a t i o n   o f   o u r   w o r k   i s   t h a t   w a l k i n g   a c t i v i t y   c a n   b e   r o b u s t l y   d e t e c t e d   i n   t h e   d a t a   s t r e a m   a n d   a c t s   a s   a   s e p a r a t o r   f o r   p a r t i t i o n i n g   t h e   d a t a   s t r e a m   i n t o   o t h e r   a c t i v i t y   s e g m e n t s .   E a c h   v e h i c l e   a c t i v i t y   s e g m e n t   i s   t h e n   s u b - c l a s s i f i e d   a c c o r d i n g   t o   t h e   t y p e   o f   u s e d   v e h i c l e .   O u r   a p p r o a c h   y i e l d s   h i g h   a c c u r a c y   d e s p i t e   t h e   l o w   s a m p l i n g   i n t e r v a l   a n d   n o t   r e q u i r i n g   G P S   d a t a   t h a t   b r i n g   m i n i m i z e d   d e v i c e   p o w e r   c o n s u m p t i o n .   U l t i m a t e l y ,   t h e   c o l l e c t e d   i n f o r m a t i o n   c a n   b e   t r a n s l a t e d   i n t o   r e a l - t i m e   u r b a n   b e h a v i o r   a n d   w i l l   i n d i c a t e   s u s t a i n a b i l i t y ,   b o t h   o n   t h e   p e r s o n a l   a n d   t h e   c i t y   l e v e l . 	 [ S h i n ,   D o n g y o u n ;   A r i s o n a ,   S t e f a n   M u l l e r ;   G e o r g a k o p o u l o u ,   S o f i a ;   S c h m i t t ,   G e r h a r d ]   E T H ,   Z u r i c h ,   S w i t z e r l a n d 	 	 s h i n @ a r c h . e t h z . c h ;   a r i s o n a @ a r c h . e h t z . c h ;   g e o r g a k o p o u l o u @ a r c h . e t h z . c h ;   g e r h a r d . s c h m i t t @ s l . e t h z . c h ;   s a k i m @ s k k u . e d u 	 	 	 	 	 A d a m s   B ,   2 0 0 8 ,   A C M   T   M U L T I M   C O M P U T ,   V 5 ,   D O I   1 0 . 1 1 4 5 / 1 4 1 3 8 6 2 . 1 4 1 3 8 6 4 ;   A l l i o   R .   J . ,   2 0 0 4 ,   S T R A T E G Y   L E A D E R S H I P ,   V 3 2 ,   P 4 ,   D O I   1 0 . 1 1 0 8 / 1 0 8 7 8 5 7 0 4 1 0 5 4 7 6 4 3 ;   A l t   F ,   2 0 1 0 ,   L O C A T I O N   B A S E D   C R O W D ;   B r o w n   L e s l e y ,   1 9 9 3 ,   T H E   N E W   S H O R T E R   O X F O ;   C R O S L A N D   M ,   1 9 7 9 ,   M I N E R V A ,   V 1 7 ,   P 3 5 5 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 0 9 6 2 2 0 ;   D e l a n e y   B ,   2 0 0 0 ,   I E E E   C O M P U T   G R A P H ,   V 2 0 ,   P 1 0 ,   D O I   1 0 . 1 1 0 9 / 3 8 . 8 4 4 3 6 5 ;   F i n i n   T ,   2 0 1 0 ,   A N N O T A T I N G   N A M E D   E N T ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   J o k i   A ,   2 0 0 7 ,   C A M P A I G N   A   F R A M E W O R K ;   M a d a n   A ,   2 0 1 0 ,   S O C I A L   S E N S I N G   F O R   E ;   M u r t y   R ,   2 0 0 8 ,   C I T Y S E N S E   A   V I S I O N   F ;   P a e k   J ,   2 0 1 0 ,   E N E R G Y   E F F I C I E N T   R A T ;   S a n t o s   A C ,   2 0 1 0 ,   P E R V A S I V E   M O B   C O M P U T ,   V 6 ,   P 3 2 4 ,   D O I   1 0 . 1 0 1 6 / j . p m c j . 2 0 1 0 . 0 1 . 0 0 1 ;   S h i n   D ,   2 0 1 1 ,   C A A D   F U T U R E S   2 0 1 1 ,   P 2 3 3 ;   T u r n e r   H ,   2 0 1 1 ,   E N G I N E E R I N G   C H A L L E N G ;   V a s i l e i o s   Z ,   2 0 1 0 ,   P E R V A S I V E   C O M P U T I N G ,   P 3 8 	 1 6 	 0 	 0 	 E C A A D E - E D U C A T I O N   &   R E S E A R C H   C O M P U T E R   A I D E D   A R C H I T E C T U R A L   D E S I G N   E U R O P E 	 B R U S S E L S 	 D E P T   A R C H I T E C T U R E   S I N T - L U C A S   B R U S S E L S - G H E N T ,   H O G E S C H O O L   V O O R   W E T E N S C H A P   &   K U N S T ,   P A L E I Z E N S T R A A T   6 5 ,   B R U S S E L S ,   1 0 3 0 ,   B E L G I U M 	 	 	 9 7 8 - 9 - 4 9 1 2 0 7 0 - 3 - 7 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 3 7 7 	 3 8 4 	 	 	 	 8 	 A r c h i t e c t u r e ;   E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 A r c h i t e c t u r e ;   E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 B J T 7 7 	 W O S : 0 0 0 3 3 0 3 2 0 6 0 0 0 3 9 	 	 
 J 	 S a b o u ,   M ;   S c h a r l ,   A ;   F o l s ,   M 	 	 	 	 S a b o u ,   M a r t a ;   S c h a r l ,   A r n o ;   F o e l s ,   M i c h a e l 	 	 	 C r o w d s o u r c e d   K n o w l e d g e   A c q u i s i t i o n :   T o w a r d s   H y b r i d - G e n r e   W o r k f l o w s 	 I N T E R N A T I O N A L   J O U R N A L   O N   S E M A N T I C   W E B   A N D   I N F O R M A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C l i m a t e   C h a n g e ;   C r o w d F l o w e r ;   C r o w d s o u r c i n g ;   G a m e s   w i t h   a   P u r p o s e ;   H u m a n   C o m p u t a t i o n ;   K n o w l e d g e   A c q u i s i t i o n ;   M e c h a n i s e d   L a b o u r ;   W o r k f l o w s 	 S E M A N T I C   W E B ;   P U R P O S E ;   G A M E S 	 N o v e l   s o c i a l   m e d i a   c o l l a b o r a t i o n   p l a t f o r m s ,   s u c h   a s   g a m e s   w i t h   a   p u r p o s e   a n d   m e c h a n i s e d   l a b o u r   m a r k e t p l a c e s ,   a r e   i n c r e a s i n g l y   u s e d   f o r   e n l i s t i n g   l a r g e   p o p u l a t i o n s   o f   n o n - e x p e r t s   i n   c r o w d s o u r c e d   k n o w l e d g e   a c q u i s i t i o n   p r o c e s s e s .   C l i m a t e   Q u i z   u s e s   t h i s   p a r a d i g m   f o r   a c q u i r i n g   e n v i r o n m e n t a l   d o m a i n   k n o w l e d g e   f r o m   n o n - e x p e r t s .   T h e   g a m e ' s   u s a g e   s t a t i s t i c s   a n d   t h e   q u a l i t y   o f   t h e   p r o d u c e d   d a t a   s h o w   t h a t   C l i m a t e   Q u i z   h a s   m a n a g e d   t o   a t t r a c t   a   l a r g e   n u m b e r   o f   p l a y e r s   b u t   n o i s y   i n p u t   d a t a   a n d   t a s k   c o m p l e x i t y   l e d   t o   l o w   p l a y e r   e n g a g e m e n t   a n d   s u b o p t i m a l   t a s k   t h r o u g h p u t   a n d   d a t a   q u a l i t y .   T o   a d d r e s s   t h e s e   l i m i t a t i o n s ,   t h e   a u t h o r s   p r o p o s e   e m b e d d i n g   t h e   g a m e   i n t o   a   h y b r i d - g e n r e   w o r k f l o w ,   w h i c h   s u p p l e m e n t s   t h e   g a m e   w i t h   a   s e t   o f   t a s k s   o u t s o u r c e d   t o   m i c r o - w o r k e r s ,   t h u s   l e v e r a g i n g   t h e   c o m p l e m e n t a r y   n a t u r e   o f   g a m e s   w i t h   a   p u r p o s e   a n d   m e c h a n i s e d   l a b o u r   p l a t f o r m s .   E x p e r i m e n t a l   e v a l u a t i o n s   s u g g e s t   t h a t   s u c h   w o r k f l o w s   a r e   f e a s i b l e   a n d   h a v e   p o s i t i v e   e f f e c t s   o n   t h e   g a m e ' s   e n j o y m e n t   l e v e l   a n d   t h e   q u a l i t y   o f   i t s   o u t p u t . 	 [ S a b o u ,   M a r t a ;   S c h a r l ,   A r n o ]   M O D U L   U n i v   V i e n n a ,   D e p t   N e w   M e d i a   T e c h n o l ,   V i e n n a ,   A u s t r i a ;   [ F o e l s ,   M i c h a e l ]   V i e n n a   U n i v   E c o n   &   B u s i n e s s ,   R e s   I n s t   C o m p u t a t   M e t h o d s ,   V i e n n a ,   A u s t r i a 	 S a b o u ,   M   ( r e p r i n t   a u t h o r ) ,   M O D U L   U n i v   V i e n n a ,   D e p t   N e w   M e d i a   T e c h n o l ,   V i e n n a ,   A u s t r i a . 	 	 	 	 F I T - I T   S e m a n t i c   S y s t e m s   o f   t h e   A u s t r i a n   R e s e a r c h   P r o m o t i o n   A g e n c y ;   A u s t r i a n   C l i m a t e   R e s e a r c h   P r o g r a m   o f   t h e   A u s t r i a n   C l i m a t e   a n d   E n e r g y   F u n d ;   F W F   [ 1 0 9 7 - N 2 3 ] ;   E P S R C   [ E P / K 0 1 7 8 9 6 / 1 ] ;   C H I S T - E R A   p r o g r a m   l i n e   [ A N R - 1 2 - C H R I - 0 0 0 3 - 0 3 ] 	 W e   t h a n k   A d r i a n   M . P .   B r a s o v e a n u   a n d   S t e f a n   G i n d l   f o r   t h e i r   h e l p   w i t h   c r e a t i n g   t h e   g o l d   s t a n d a r d   a n n o t a t i o n   a n d   v i s u a l i z i n g   t h e   s o c i a l   n e t w o r k   c o n n e c t i n g   t h e   p l a y e r s .   S e c t i o n   2   p a r t i a l l y   r e l i e s   o n   e a r l i e r   w o r k   p e r f o r m e d   t o g e t h e r   w i t h   K a l i n a   B o n t c h e v a .   T h e   C l i m a t e   Q u i z   F a c e b o o k   a p p l i c a t i o n   w a s   d e v e l o p e d   w i t h i n   D I V I N E   ( w w w . w e b l y z a r d . c o m / d i v i n e )   a n d   T r i p l e - C   ( w w w . m o d u l . a c . a t / n m t / t r i p l e - c ) ,   t w o   r e s e a r c h   p r o j e c t s   f u n d e d   b y   F I T - I T   S e m a n t i c   S y s t e m s   o f   t h e   A u s t r i a n   R e s e a r c h   P r o m o t i o n   A g e n c y   a n d   t h e   A u s t r i a n   C l i m a t e   R e s e a r c h   P r o g r a m   o f   t h e   A u s t r i a n   C l i m a t e   a n d   E n e r g y   F u n d .   T h e   c r o w d s o u r c i n g   m e t h o d s   w e r e   d e v e l o p e d   a n d   e v a l u a t e d   a s   p a r t   o f   t h e   u C o m p   p r o j e c t   ( w w w . u c o m p . e u )   f u n d e d   b y   F W F   1 0 9 7 - N 2 3 ,   E P S R C   E P / K 0 1 7 8 9 6 / 1   a n d   A N R - 1 2 - C H R I - 0 0 0 3 - 0 3   w i t h i n   t h e   C H I S T - E R A   p r o g r a m   l i n e . 	 B e r n e r s - L e e   T ,   2 0 0 1 ,   S C I   A M ,   V 2 8 4 ,   P 3 4 ;   B e r n s t e i n   M . S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B o n t c h e v a   K ,   2 0 1 3 ,   L A N G   R E S O U R   E V A L ,   V 4 7 ,   P 1 0 0 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 7 9 - 0 1 3 - 9 2 1 5 - 6 ;   B r e w   A ,   2 0 1 0 ,   F R O N T   A R T I F   I N T E L   A P ,   V 2 1 5 ,   P 1 4 5 ,   D O I   1 0 . 3 2 3 3 / 9 7 8 - 1 - 6 0 7 5 0 - 6 0 6 - 5 - 1 4 5 ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   V 1 ,   P 2 8 6 ,   D O I   1 0 . 3 1 1 5 / 1 6 9 9 5 1 0 . 1 6 9 9 5 4 8 ;   C e l i n o   I . ,   2 0 1 2 ,   P   I N T   S E M   W E B   C ,   P 3 4 ;   C h a m b e r l a i n   J . ,   2 0 1 3 ,   P E O P L E S   W E B   M E E T S   N L ,   D O I   [ 1 0 . 1 0 0 7 /   9 7 8 -   3 -   6 4 2 -   3 5 0 8 5 -   6 _   1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 5 0 8 5 - 6 _ ] ;   C h k l o v s k i   T . ,   2 0 0 5 ,   P   3   I N T   C   K N O W L   C A P T ,   P 1 1 5 ,   D O I   1 0 . 1 1 4 5 / 1 0 8 8 6 2 2 . 1 0 8 8 6 4 4 ;   D a i   P .   M a u s a m ,   2 0 1 0 ,   P   A A A I   C   A R T   I N T ,   P 1 3 0 ;   D e m a r t i n i   G . ,   2 0 1 2 ,   P   2 1   I N T   C   W O R L D   W I D ,   P 4 6 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 1 8 7 8 3 6 . 2 1 8 7 9 0 0 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   E c k e r t   K . ,   2 0 1 0 ,   P   1 0   A N N   J O I N T   C   D I G ,   P 1 3 9 ,   D O I   1 0 . 1 1 4 5 / 1 8 1 6 1 2 3 . 1 8 1 6 1 4 3 ;   F e i g e n b a u m   E A ,   1 9 7 7 ,   P   5   I N T   J O I N T   C   A R T ,   P 1 0 1 4 ;   F o r t   K ,   2 0 1 1 ,   C O M P U T   L I N G U I S T ,   V 3 7 ,   P 4 1 3 ,   D O I   1 0 . 1 1 6 2 / C O L I _ a _ 0 0 0 5 7 ;   H e a t h   T o m ,   2 0 1 1 ,   S Y N T H E S I S   L E C T   S E M A N ,   V 1 ,   P 1 ,   D O I   D O I   1 0 . 2 2 0 0 / S 0 0 3 3 4 E D 1 V 0 1 Y 2 0 1 1 0 2 W B E 0 0 1 ;   H e e s   J ,   2 0 1 1 ,   L E C T   N O T E S   A R T I F   I N T ,   V 7 0 0 6 ,   P 1 3 4 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 4 4 5 5 - 1 _ 1 2 ;   H o f f m a n n   L ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 1 6 ,   D O I   1 0 . 1 1 4 5 / 1 4 6 7 2 4 7 . 1 4 6 7 2 5 4 ;   H o n g   J . ,   2 0 1 1 ,   P   5   L I N G   A N N   W O R K S H ,   P 3 0 ;   H o v y   E . ,   2 0 1 0 ,   T U T O R I A L   A B S T R A C T S   A ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   K a w r y k o w   A ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 3 1 3 6 2 ;   K i t t u r   A . ,   2 0 1 1 ,   P   C   H U M   F A C T   C O M P   S Y ,   P 1 8 0 1 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   L a w s   F . ,   2 0 1 1 ,   P   2 0 1 1   C   E M P   M E T H   N A ,   P 1 5 4 6 ;   L i e b e r m a n   H . ,   2 0 0 7 ,   P   W O R K S H   C O M M   S E N S   I ;   L i t t l e   G . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 5 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 4 0 ;   L i u   W . ,   2 0 0 5 ,   P   I E E E   I N T   C   M U L T   E X ,   P 1 4 5 ;   M a r k o t s c h i   T . ,   2 0 1 0 ,   P   W O R K S H   K N O W L   I N J   E ;   N e g r i   M . ,   2 0 1 1 ,   P   C   E M P   M E T H   N A T   L A N ,   P 6 7 0 ;   P o e s i o   M . ,   2 0 1 3 ,   A C M   T   I N T E R   I N   P R E S S ,   D O I   [ 1 0 . 1 1 4 5 / 2 4 4 8 1 1 6 . 2 4 4 8 1 1 9 ,   D O I   1 0 . 1 1 4 5 / 2 4 4 8 1 1 6 . 2 4 4 8 1 1 9 ] ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   R a f e l s b e r g e r   W ,   2 0 0 9 ,   2 0 T H   A C M   C O N F E R E N C E   O N   H Y P E R T E X T   A N D   H Y P E R M E D I A   ( H Y P E R T E X T   2 0 0 9 ) ,   P 1 9 3 ;   S a r a s u a   C . ,   2 0 1 2 ,   P   1 1   I N T   C   S E M   W E B ,   P 5 2 5 ;   S C H A R L   A ,   2 0 0 8 ,   J   I N F   T E C H N O L ,   V 5 ,   P 1 2 1 ;   S c h a r l   A . ,   2 0 1 2 ,   P   1 8   B R A Z   S   M U L T   W E B ,   P 1 8 9 ;   S i o r p a e s   K ,   2 0 0 8 ,   I E E E   I N T E L L   S Y S T ,   V 2 3 ,   P 5 0 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 8 . 4 5 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S t r o h m a i e r   M . ,   2 0 1 2 ,   A C M   T   I N T E L L I G E N T   S Y ,   V 3 ;   T h a l e r   S ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 5 2 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 6 7 ;   T u d o r a c h e   T ,   2 0 1 3 ,   S E M A N T I C   W E B ,   V 4 ,   P 8 9 ;   V i c k r e y   D . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 5 3 3 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 8 1 ;   V o n   A h n   L . ,   2 0 0 6 ,   P   S I G C H I   C   H U M   F A C T ,   P 7 5 ,   D O I   1 0 . 1 1 4 5 / 1 1 2 4 7 7 2 . 1 1 2 4 7 8 4 ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   W a i t e l o n i s   J o r g ,   2 0 1 1 ,   I n t e r a c t i v e   T e c h n o l o g y   a n d   S m a r t   E d u c a t i o n ,   V 8 ,   D O I   1 0 . 1 1 0 8 / 1 7 4 1 5 6 5 1 1 1 1 1 8 9 4 7 8 ;   W a n g   A B ,   2 0 1 3 ,   L A N G   R E S O U R   E V A L ,   V 4 7 ,   P 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 5 7 9 - 0 1 2 - 9 1 7 6 - 1 ;   W e i c h s e l b r a u n   A ,   2 0 1 0 ,   D A T A   K N O W L   E N G ,   V 6 9 ,   P 7 6 3 ,   D O I   1 0 . 1 0 1 6 / j . d a t a k . 2 0 1 0 . 0 2 . 0 1 0 ;   W i g g i n s   A . ,   2 0 1 1 ,   P   4 4   H A W   I N T   C   S Y S T ;   W o h l g e n a n n t   G . ,   2 0 1 2 ,   J   I N F O R M   D A T A   M A N A G E ,   V 3 ,   P 2 4 3 ;   W o l f   L . ,   2 0 1 1 ,   P   7   I N T   C   S E M   S Y S T ,   P 7 1 	 4 9 	 0 	 0 	 I G I   P U B L 	 H E R S H E Y 	 7 0 1   E   C H O C O L A T E   A V E ,   S T E   2 0 0 ,   H E R S H E Y ,   P A   1 7 0 3 3 - 1 2 4 0   U S A 	 1 5 5 2 - 6 2 8 3 	 1 5 5 2 - 6 2 9 1 	 	 I N T   J   S E M A N T   W E B   I N F 	 I n t .   J .   S e m a n t .   W e b   I n f .   S y s t . 	 	 2 0 1 3 	 9 	 3 	 	 	 S I 	 	 1 4 	 4 1 	 	 1 0 . 4 0 1 8 / i j s w i s . 2 0 1 3 0 7 0 1 0 2 	 	 2 8 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 3 0 0 S T 	 W O S : 0 0 0 3 3 0 4 8 4 6 0 0 0 0 2 	 	 
 J 	 C h u a n g ,   Y T ;   Y i ,   C W ;   L u ,   Y C ;   T s a i ,   P C 	 	 	 I E E E 	 C h u a n g ,   Y i - T a ;   Y i ,   C h i h - W e i ;   L u ,   Y i n - C h i h ;   T s a i ,   P e i - C h u a n 	 	 	 i T r a f f i c :   A   S m a r t p h o n e - b a s e d   T r a f f i c   I n f o r m a t i o n   S y s t e m 	 2 0 1 3   4 2 N D   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   P A R A L L E L   P R O C E S S I N G   ( I C P P ) 	 P r o c e e d i n g s   o f   t h e   I n t e r n a t i o n a l   C o n f e r e n c e   o n   P a r a l l e l   P r o c e s s i n g 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 2 n d   A n n u a l   I n t e r n a t i o n a l   C o n f e r e n c e   o n   P a r a l l e l   P r o c e s s i n g   ( I C P P ) 	 O C T   0 1 - 0 4 ,   2 0 1 3 	 L y o n ,   F R A N C E 	 I N R I A ,   L I P   L a b ,   U n i v   L y o n ,   M I L Y O N ,   I E E E   C o m p   S o c 	 E c o l e   N o r m a l e   S u p e r i e u r e   L y o n 	 C r o w d s o u r c i n g ;   g r e e n   c o m p u t i n g ;   i n t e l l i g e n t   t r a n s p o r t a t i o n ;   l o c a t i o n - b a s e d   s e r v i c e 	 S I G N A L I Z E D   I N T E R S E C T I O N S ;   W A V E S 	 W e   p r o p o s e   t h e   i - T r a f f i c   s y s t e m   t h a t   u t i l i z e s   c r o w d s o u r c e d   d a t a   f r o m   s m a r t p h o n e s   f o r   t h e   t r a f f i c   f l o w   m i n i n g   b y   s h o c k w a v e   t e c h n i q u e s .   S h o c k w a v e   i s   t h e   p r o p a g a t i o n   p h e n o m e n o n   o f   v e h i c l e   a c c u m u l a t i o n   o r   r e l i e f   o n   r o a d s   b e t w e e n   t w o   t r a f f i c   f l o w s   w i t h   d i f f e r e n t   s p e e d s .   T h e   m o v e m e n t   d a t a   o f   v e h i c l e s   i n   f r o n t   o f   a n   i n t e r s e c t i o n   a r e   c o l l e c t e d   v i a   s m a r t p h o n e s   f o r   t h e   s h o c k w a v e   i d e n t i f i c a t i o n .   T o   c o n q u e r   t h e   l o w   p e n e t r a t i o n   p r o b l e m   w h e n   t h e   n u m b e r   o f   t h e   m o v e m e n t   d a t a   i s   l o w ,   a   f o l d i n g   h e u r i s t i c   i s   p r o p o s e d   b y   u s i n g   t r a f f i c   l i g h t   c y c l e   i n f o r m a t i o n   t o   v i r t u a l l y   i n c r e a s e   t h e   p e n e t r a t i o n   o f   m o v e m e n t   d a t a .   W e   i m p l e m e n t   o u r   s y s t e m   o n   a   c l i e n t - s e r v e r   a r c h i t e c t u r e   a n d   p e r f o r m   a   s m a l l   s c a l e   f i e l d   t r i a l   e x p e r i m e n t   t o   d e m o n s t r a t e   t h e   s y s t e m   c a p a b i l i t y .   O u r   r e s u l t s   s h o w e d   t h a t   o u r   s y s t e m   i s   a b l e   t o   c o m p u t e   t r a f f i c   i n f o r m a t i o n ,   i n c l u d i n g   r e d / g r e e n   l i g h t   t r a n s i t i o n   i n f o r m a t i o n   a n d   v e h i c l e   a r r i v a l   r a t e   w i t h   m e a n   a b s o l u t e   e r r o r s   o f   5 . 0 / 0 . 6   s e c o n d s   a n d   2 . 4 3   v e h i c l e s   p e r   m i n u t e ,   r e s p e c t i v e l y   u n d e r   a   l o w   p e n e t r a t i o n   r a t e   o f   1 . 2 % . 	 [ C h u a n g ,   Y i - T a ;   Y i ,   C h i h - W e i ]   N a t l   C h i a o   T u n g   U n i v ,   D e p t   C o m p   S c i ,   H s i n c h u   3 0 0 1 0 ,   T a i w a n 	 C h u a n g ,   Y T   ( r e p r i n t   a u t h o r ) ,   N a t l   C h i a o   T u n g   U n i v ,   D e p t   C o m p   S c i ,   1 0 0 1   U n i v   R d ,   H s i n c h u   3 0 0 1 0 ,   T a i w a n . 	 y i @ c s . n c t u . e d u . t w 	 	 	 	 	 B a n   X G ,   2 0 1 1 ,   T R A N S P O R T   R E S   C - E M E R ,   V 1 9 ,   P 1 1 3 3 ,   D O I   1 0 . 1 0 1 6 / j . t r c . 2 0 1 1 . 0 1 . 0 0 2 ;   G e r o l i m i n i s   N . ,   2 0 1 1 ,   I E E E   T   I N T E L L   T R A N S P ,   P 1 ;   H e r r e   J ,   2 0 0 7 ,   P   O F C   0 7   P D P 5 ,   P 1 ;   H e r r e r a   J C ,   2 0 1 0 ,   T R A N S P O R T   R E S   C - E M E R ,   V 1 8 ,   P 5 6 8 ,   D O I   1 0 . 1 0 1 6 / j . t r c . 2 0 0 9 . 1 0 . 0 0 6 ;   I s h i m a r u   J .   M . ,   1 9 9 9 ,   F L O W   E V A L U A T I O N   D E S I ;   I z a d p a n a h   P . ,   2 0 0 9 ,   8 8   A N N   M   T R A N S P   R E S ,   P 1 ;   L I G H T H I L L   M J ,   1 9 5 5 ,   P R O C   R   S O C   L O N   S E R - A ,   V 2 2 9 ,   P 3 1 7 ,   D O I   1 0 . 1 0 9 8 / r s p a . 1 9 5 5 . 0 0 8 9 ;   L i u   H X ,   2 0 0 9 ,   T R A N S P O R T   R E S   C - E M E R ,   V 1 7 ,   P 4 1 2 ,   D O I   1 0 . 1 0 1 6 / j . t r c . 2 0 0 9 . 0 2 . 0 0 3 ;   M I C H A L O P O U L O S   P G ,   1 9 8 1 ,   T R A N S P O R T   R E S   B - M E T H ,   V 1 5 ,   P 3 5 ,   D O I   1 0 . 1 0 1 6 / 0 1 9 1 - 2 6 1 5 ( 8 1 ) 9 0 0 4 5 - X ;   R I C H A R D S   P I ,   1 9 5 6 ,   O P E R   R E S ,   V 4 ,   P 4 2 ,   D O I   1 0 . 1 2 8 7 / o p r e . 4 . 1 . 4 2 ;   S k a b a r d o n i s   A ,   2 0 0 8 ,   J   I N T E L L   T R A N S P O R T   S ,   V 1 2 ,   P 6 4 ,   D O I   1 0 . 1 0 8 0 / 1 5 4 7 2 4 5 0 8 0 2 0 2 3 3 3 7 ;   S k a b a r d o n i s   A . ,   2 0 1 0 ,   T R A N S P O R T A T I O N   R E S   B ,   V 4 5 ,   P 2 5 5 ;   S T E P H A N O P O U L O S   G ,   1 9 7 9 ,   T R A N S P O R T   R E S   A - P O L ,   V 1 3 ,   P 2 9 5 ,   D O I   1 0 . 1 0 1 6 / 0 1 9 1 - 2 6 0 7 ( 7 9 ) 9 0 0 2 8 - 1 ;   W u   X K ,   2 0 1 0 ,   T R A N S P O R T   R E S   C - E M E R ,   V 1 8 ,   P 6 2 6 ,   D O I   1 0 . 1 0 1 6 / j . t r c . 2 0 1 0 . 0 1 . 0 0 3 	 1 4 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 0 1 9 0 - 3 9 1 8 	 	 9 7 8 - 0 - 7 6 9 5 - 5 1 1 7 - 3 	 P R O C   I N T   C O N F   P A R A L 	 	 	 2 0 1 3 	 	 	 	 	 	 	 9 1 7 	 9 2 2 	 	 1 0 . 1 1 0 9 / I C P P . 2 0 1 3 . 1 0 9 	 	 6 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e 	 C o m p u t e r   S c i e n c e 	 B J T 0 4 	 W O S : 0 0 0 3 3 0 0 4 6 0 0 0 0 9 7 	 	 
 J 	 K i m ,   M ;   S m a r a g d i s ,   P 	 	 	 I E E E 	 K i m ,   M i n j e ;   S m a r a g d i s ,   P a r i s 	 	 	 C O L L A B O R A T I V E   A U D I O   E N H A N C E M E N T   U S I N G   P R O B A B I L I S T I C   L A T E N T   C O M P O N E N T   S H A R I N G 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   A C O U S T I C S ,   S P E E C H   A N D   S I G N A L   P R O C E S S I N G   ( I C A S S P ) 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   A c o u s t i c s   S p e e c h   a n d   S i g n a l   P r o c e s s i n g   I C A S S P 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A c o u s t i c s ,   S p e e c h ,   a n d   S i g n a l   P r o c e s s i n g   ( I C A S S P ) 	 M A Y   2 6 - 3 1 ,   2 0 1 3 	 V a n c o u v e r ,   C A N A D A 	 I n s t   E l e c t   &   E l e c t   E n g i n e e r s ,   I n s t   E l e c t   &   E l e c t   E n g i n e e r s   S i g n a l   P r o c   S o c 	 	 P r o b a b i l i s t i c   L a t e n t   C o m p o n e n t   A n a l y s i s ;   N o n - n e g a t i v e   M a t r i x   P a r t i a l   C o - F a c t o r i z a t i o n ;   C o n v o l u t i v e   C o m m o n   N o n n e g a t i v e   M a t r i x   F a c t o r i z a t i o n ;   C r o w d s o u r c i n g 	 	 T h i s   p a p e r   p r e s e n t s   a   c o l l a b o r a t i v e   a u d i o   e n h a n c e m e n t   s y s t e m   t h a t   a i m s   t o   r e c o v e r   c o m m o n   a u d i o   s o u r c e s   f r o m   m u l t i p l e   r e c o r d i n g s   o f   a   g i v e n   a u d i o   s c e n e .   W e   d o   s o   i n   t h e   c o n t e x t   w h e r e   e a c h   r e c o r d i n g   i s   u n i q u e l y   c o r r u p t e d .   T o   t h i s   e n d ,   w e   p r o p o s e   a   m e t h o d   o f   s i m u l t a n e o u s   p r o b a b i l i s t i c   l a t e n t   c o m p o n e n t   a n a l y s e s   o n   s y n c h r o n i z e d   i n p u t s .   I n   t h e   p r o p o s e d   m o d e l ,   s o m e   o f   t h e   p a r a m e t e r s   a r e   f i x e d   t o   b e   s a m e   d u r i n g   a n d   a f t e r   t h e   l e a r n i n g   p r o c e s s   t o   c a p t u r e   c o m m o n   a u d i o   c o n t e n t   w h i l e   t h e   r e s t   m o d e l s   u n w a n t e d   r e c o r d i n g - s p e c i f i c   i n t e r f e r e n c e s   a n d   a r t i f a c t s .   O u r   m o d e l   a l s o   a l l o w s   f o r   p r i o r   k n o w l e d g e   a b o u t   t h e   p a r a m e t e r s   o f   t h e   m o d e l ,   e . g .   r e p r e s e n t a t i v e   s p e c t r a   o f   t h e   c o m p o n e n t s ,   t o   b e   i n c o r p o r a t e d   i n   t h e   f a c t o r i z a t i o n .   A   p o s t   p r o c e s s i n g   s c h e m e   t h a t   c o n s o l i d a t e s   t h e   e x t r a c t e d   s o u r c e s   f r o m   t h e   s e t   o f   i n p u t s   i s   a l s o   p r o p o s e d   t o   h a n d l e   t h e   p o s s i b l e   l o s s   o f   c e r t a i n   f r e q u e n c y   r e g i o n s .   E x p e r i m e n t s   o n   c o m m e r c i a l   m u s i c   s i g n a l s   w i t h   v a r i o u s   a r t i f a c t s   s h o w   t h e   m e r i t   o f   t h e   p r o p o s e d   m e t h o d . 	 [ K i m ,   M i n j e ]   U n i v   I l l i n o i s ,   D e p t   C o m p   S c i ,   U r b a n a ,   I L   6 1 8 0 1   U S A 	 K i m ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   I l l i n o i s ,   D e p t   C o m p   S c i ,   1 3 0 4   W   S p r i n g f i e l d   A v e ,   U r b a n a ,   I L   6 1 8 0 1   U S A . 	 	 	 	 	 	 B r a b h a m   D . C . ,   2 0 0 8 ,   C O N V E R G E N C E   I N T   J   R E ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r y a n   N .   J . ,   2 0 1 2 ,   P   I E E E   I N T   C   A C   S P E E ;   G a r o f o l o   J .   S . ,   1 9 9 3 ,   T I M I T   A C O U S T I C   P H O N E ;   H o f m a n n   T . ,   1 9 9 9 ,   P   I N T   C   U N C   A R T   I N T ;   H o f m a n n   T . ,   1 9 9 9 ,   P   A C M   S I G I R   C   R E S   D E ;   K i m   M . ,   2 0 1 0 ,   P   I E E E   I N T   C   A C   S P E E ;   K i m   M ,   2 0 1 1 ,   I E E E   J - S T S P ,   V 5 ,   P 1 1 9 2 ,   D O I   1 0 . 1 1 0 9 / J S T S P . 2 0 1 1 . 2 1 5 8 8 0 3 ;   L e e   D . ,   2 0 0 1 ,   A D V   N E U R A L   I N F O R M   P R ,   V 1 3 ;   L e e   D D ,   1 9 9 9 ,   N A T U R E ,   V 4 0 1 ,   P 7 8 8 ;   L e v e a u   P . ,   2 0 1 1 ,   P   I E E E   W O R K S H   A P P L   S ,   P 1 6 5 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   S h r e s t h a   P ,   2 0 1 0 ,   I E E E   T   M U L T I M E D I A ,   V 1 2 ,   P 7 9 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 0 9 . 2 0 3 6 2 8 5 ;   S m a r a g d i s   P . ,   2 0 0 6 ,   N E U R   I N F   P R O C   S Y S T   W ;   V i n c e n t   E ,   2 0 0 6 ,   I E E E   T   A U D I O   S P E E C H ,   V 1 4 ,   P 1 4 6 2 ,   D O I   1 0 . 1 1 0 9 / T S A . 2 0 0 5 . 8 5 8 0 0 5 ;   Y o o   J . ,   2 0 1 0 ,   P   I E E E   I N T   C   A C   S P E E 	 1 5 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 5 2 0 - 6 1 4 9 	 	 9 7 8 - 1 - 4 7 9 9 - 0 3 5 6 - 6 	 I N T   C O N F   A C O U S T   S P E E 	 	 	 2 0 1 3 	 	 	 	 	 	 	 8 9 6 	 9 0 0 	 	 	 	 5 	 A c o u s t i c s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 A c o u s t i c s ;   E n g i n e e r i n g 	 B J Q 1 9 	 W O S : 0 0 0 3 2 9 6 1 1 5 0 1 0 1 3 	 	 
 J 	 X i a o ,   Y Z ;   Z h a n g ,   Y ;   v a n   d e r   S c h a a r ,   M 	 	 	 I E E E 	 X i a o ,   Y u a n z h a n g ;   Z h a n g ,   Y u ;   v a n   d e r   S c h a a r ,   M i h a e l a 	 	 	 S O C I A L L Y - O P T I M A L   D E S I G N   O F   C R O W D S O U R C I N G   P L A T F O R M S   W I T H   R E P U T A T I O N   U P D A T E   E R R O R S 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   A C O U S T I C S ,   S P E E C H   A N D   S I G N A L   P R O C E S S I N G   ( I C A S S P ) 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   A c o u s t i c s   S p e e c h   a n d   S i g n a l   P r o c e s s i n g   I C A S S P 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A c o u s t i c s ,   S p e e c h ,   a n d   S i g n a l   P r o c e s s i n g   ( I C A S S P ) 	 M A Y   2 6 - 3 1 ,   2 0 1 3 	 V a n c o u v e r ,   C A N A D A 	 I n s t   E l e c t   &   E l e c t   E n g i n e e r s ,   I n s t   E l e c t   &   E l e c t   E n g i n e e r s   S i g n a l   P r o c   S o c 	 	 c r o w d s o u r c i n g ;   r e p u t a t i o n ;   g a m e   t h e o r y 	 F O L K   T H E O R E M ;   G A M E S 	 C r o w d s o u r c i n g   s y s t e m s   ( e . g .   Y a h o o !   A n s w e r s   a n d   A m a z o n   M e c h a n i c a l   T u r k )   p r o v i d e   a   p l a t f o r m   f o r   r e q u e s t e r s ,   w h o   h a v e   t a s k s   t o   s o l v e ,   t o   a s k   f o r   h e l p   f r o m   w o r k e r s .   V i t a l   t o   t h e   p r o l i f e r a t i o n   o f   c r o w d s o u r c i n g   s y s t e m s   i s   i n c e n t i v i z i n g   t h e   w o r k e r s   t o   e x e r t   h i g h   e f f o r t   t o   p r o v i d e   h i g h - q u a l i t y   s e r v i c e s .   R e p u t a t i o n   m e c h a n i s m s   h a v e   b e e n   s h o w n   t o   w o r k   e f f e c t i v e l y   a s   i n c e n t i v e   s c h e m e s   i n   c r o w d s o u r c i n g   s y s t e m s .   A   r e p u t a t i o n   a g e n c y   u p d a t e s   t h e   r e p u t a t i o n s   o f   t h e   w o r k e r s   b a s e d   o n   t h e   r e q u e s t e r s '   r e p o r t s   o n   t h e   q u a l i t y   o f   t h e   w o r k e r s '   s e r v i c e s .   A   l o w - r e p u t a t i o n   w o r k e r   i s   l e s s   l i k e l y   t o   g e t   s e r v e d   w h e n   i t   r e q u e s t s   h e l p ,   w h i c h   p r o v i d e s   i n c e n t i v e s   f o r   t h e   w o r k e r s   t o   o b t a i n   a   h i g h   r e p u t a t i o n   b y   e x e r t i n g   h i g h   e f f o r t .   H o w e v e r ,   r e p u t a t i o n   u p d a t e   e r r o r s   a r e   i n e v i t a b l e ,   b e c a u s e   o f   e i t h e r   s y s t e m   e r r o r s   s u c h   a s   l o s s   o f   r e p o r t s ,   o r   i n a c c u r a t e   r e p o r t s ,   r e s u l t i n g   f r o m   t h e   d i f f i c u l t y   i n   a c c u r a t e l y   a s s e s s i n g   t h e   q u a l i t y   o f   a   w o r k e r ' s   s e r v i c e .   T h e   r e p u t a t i o n   u p d a t e   e r r o r   p r e v e n t s   e x i s t i n g   r e p u t a t i o n   m e c h a n i s m s   f r o m   a c h i e v i n g   t h e   s o c i a l   o p t i m u m .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   s i m p l e   b i n a r y   r e p u t a t i o n   m e c h a n i s m ,   w h i c h   h a s   o n l y   t w o   r e p u t a t i o n   l a b e l s   ( " g o o d "   a n d   " b a d " ) .   T o   t h e   b e s t   o f   o u r   k n o w l e d g e ,   o u r   p r o p o s e d   r e p u t a t i o n   m e c h a n i s m   i s   t h e   f i r s t   t h a t   i s   p r o v e n   t o   b e   a b l e   t o   a c h i e v e   t h e   s o c i a l   o p t i m u m   e v e n   i n   t h e   p r e s e n c e   o f   r e p u t a t i o n   u p d a t e   e r r o r s .   W e   p r o v i d e   d e s i g n   g u i d e l i n e s   f o r   s o c i a l l y - o p t i m a l   b i n a r y   r e p u t a t i o n   m e c h a n i s m s . 	 [ X i a o ,   Y u a n z h a n g ;   Z h a n g ,   Y u ;   v a n   d e r   S c h a a r ,   M i h a e l a ]   U n i v   C a l i f   L o s   A n g e l e s ,   D e p t   E l e c t   E n g n ,   L o s   A n g e l e s ,   C A   9 0 0 2 4   U S A 	 X i a o ,   Y Z   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   L o s   A n g e l e s ,   D e p t   E l e c t   E n g n ,   L o s   A n g e l e s ,   C A   9 0 0 2 4   U S A . 	 y x i a o @ e e . u c l a . e d u 	 	 	 	 	 A B R E U   D ,   1 9 9 0 ,   E C O N O M E T R I C A ,   V 5 8 ,   P 1 0 4 1 ,   D O I   1 0 . 2 3 0 7 / 2 9 3 8 2 9 9 ;   B l a n c   A . ,   2 0 0 5 ,   P   I E E E   I N F O C O M ;   D e l l a r o c a s   C ,   2 0 0 5 ,   I N F O R M   S Y S T   R E S ,   V 1 6 ,   P 2 0 9 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 5 0 . 0 0 5 4 ;   F e l d m a n   M ,   2 0 0 6 ,   I E E E   J   S E L   A R E A   C O M M ,   V 2 4 ,   P 1 0 1 0 ,   D O I   1 0 . 1 1 0 9 / J S A C . 2 0 0 6 . 8 7 2 8 8 2 ;   F U D E N B E R G   D ,   1 9 9 4 ,   E C O N O M E T R I C A ,   V 6 2 ,   P 9 9 7 ,   D O I   1 0 . 2 3 0 7 / 2 9 5 1 5 0 5 ;   H o   C . - J . ,   2 0 1 2 ,   P   A A A I   H C O M P ;   H o r n e r   J ,   2 0 1 1 ,   E C O N O M E T R I C A ,   V 7 9 ,   P 1 2 7 7 ,   D O I   1 0 . 3 9 8 2 / E C T A 9 0 0 4 ;   K A N D O R I   M ,   1 9 9 2 ,   R E V   E C O N   S T U D ,   V 5 9 ,   P 6 3 ,   D O I   1 0 . 2 3 0 7 / 2 2 9 7 9 2 5 ;   M a i l a t h   G .   J . ,   2 0 0 6 ,   R E P E A T E D   G A M E S   R E P U T ;   X i a o   Y . ,   A P P E N D I X   S O C I A L L Y   O P ;   Z h a n g   V ,   2 0 1 2 ,   P   I E E E   I N F O C O M ;   Z h a n g   Y . ,   A C M   T   E C   C O M P U T A T I O N ;   Z h a o   B .   Q . ,   2 0 0 9 ,   P   I E E E   I N F O C O M 	 1 3 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 5 2 0 - 6 1 4 9 	 	 9 7 8 - 1 - 4 7 9 9 - 0 3 5 6 - 6 	 I N T   C O N F   A C O U S T   S P E E 	 	 	 2 0 1 3 	 	 	 	 	 	 	 5 2 6 3 	 5 2 6 7 	 	 	 	 5 	 A c o u s t i c s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 A c o u s t i c s ;   E n g i n e e r i n g 	 B J Q 1 9 	 W O S : 0 0 0 3 2 9 6 1 1 5 0 5 0 8 5 	 	 
 J 	 V e m p a t y ,   A ;   V a r s h n e y ,   L R ;   V a r s h n e y ,   P K 	 	 	 I E E E 	 V e m p a t y ,   A d i t y a ;   V a r s h n e y ,   L a v   R . ;   V a r s h n e y ,   P r a m o d   K . 	 	 	 R E L I A B L E   C L A S S I F I C A T I O N   B Y   U N R E L I A B L E   C R O W D S 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   A C O U S T I C S ,   S P E E C H   A N D   S I G N A L   P R O C E S S I N G   ( I C A S S P ) 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   A c o u s t i c s   S p e e c h   a n d   S i g n a l   P r o c e s s i n g   I C A S S P 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A c o u s t i c s ,   S p e e c h ,   a n d   S i g n a l   P r o c e s s i n g   ( I C A S S P ) 	 M A Y   2 6 - 3 1 ,   2 0 1 3 	 V a n c o u v e r ,   C A N A D A 	 I n s t   E l e c t   &   E l e c t   E n g i n e e r s ,   I n s t   E l e c t   &   E l e c t   E n g i n e e r s   S i g n a l   P r o c   S o c 	 	 c r o w d s o u r c i n g ;   c l a s s i f i c a t i o n ;   e r r o r - c o n t r o l   c o d e s 	 W I R E L E S S   S E N S O R   N E T W O R K S 	 W e   c o n s i d e r   t h e   u s e   o f   e r r o r - c o n t r o l   c o d e s   a n d   d e c o d i n g   a l g o r i t h m s   t o   p e r f o r m   r e l i a b l e   c l a s s i f i c a t i o n   u s i n g   u n r e l i a b l e   a n d   a n o n y m o u s   h u m a n   c r o w d   w o r k e r s   b y   a d a p t i n g   c o d i n g - t h e o r e t i c   t e c h n i q u e s   f o r   t h e   s p e c i f i c   c r o w d s o u r c i n g   a p p l i c a t i o n .   W e   d e v e l o p   a n   o r d e r i n g   p r i n c i p l e   f o r   t h e   q u a l i t y   o f   c r o w d s   a n d   d e s c r i b e   h o w   s y s t e m   p e r f o r m a n c e   c h a n g e s   w i t h   t h e   q u a l i t y   o f   t h e   c r o w d .   W e   d e m o n s t r a t e   t h e   e f f e c t i v e n e s s   o f   t h e   p r o p o s e d   c o d i n g   s c h e m e   u s i n g   b o t h   s i m u l a t e d   d a t a   a n d   r e a l   d a t a s e t s   f r o m   A m a z o n   M e c h a n i c a l   T u r k ,   a   c r o w d s o u r c i n g   m i c r o t a s k   p l a t f o r m .   R e s u l t s   s u g g e s t   t h a t   g o o d   c o d e s   m a y   i m p r o v e   t h e   p e r f o r m a n c e   o f   t h e   c r o w d s o u r c i n g   t a s k   o v e r   t y p i c a l   m a j o r i t y - v o t e   a p p r o a c h e s . 	 [ V e m p a t y ,   A d i t y a ;   V a r s h n e y ,   P r a m o d   K . ]   S y r a c u s e   U n i v ,   D e p t   E l e c t   E n g n   &   C o m p   S c i ,   S y r a c u s e ,   N Y   1 3 2 4 4   U S A 	 V e m p a t y ,   A   ( r e p r i n t   a u t h o r ) ,   S y r a c u s e   U n i v ,   D e p t   E l e c t   E n g n   &   C o m p   S c i ,   S y r a c u s e ,   N Y   1 3 2 4 4   U S A . 	 	 	 	 	 	 B o l l i e r   D . ,   2 0 1 1 ,   F U T U R E   W O R K   W H A T   I T ;   B r a n s o n   S ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 3 1 4 ,   P 4 3 8 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 5 5 6 1 - 1 _ 3 2 ;   D o w n s   J S ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 3 9 9 ;   G r i e r   D .   A . ,   2 0 1 1 ,   P   A A A I   W O R K S H   H U M   C O ,   P 3 2 ;   I p e i r o t i s   P . G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   K a r g e r   D .   R . ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 4 ;   K a r g e r   D .   R . ,   2 0 1 1 ,   P   4 9   A N N   A L L   C   C O M M ,   P 2 8 4 ;   L e a s e   M ,   2 0 1 1 ,   P   A A A I   W O R K S H   H U M   C O ,   P 9 7 ;   M a r s c h a k   J ,   1 9 7 2 ,   E C   T H E O R Y   T E A M S ;   R o s s   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 . A C C E S S E D ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   T a p s c o t t   D . ,   2 0 0 6 ,   W I K I N O M I C S   M A S S   C O L L ;   T a p s c o t t   D . ,   2 0 1 0 ,   M A C R O W I K I N O M I C S   R E B O ;   V a r s h n e y   L .   R . ,   2 0 1 2 ,   P r o c e e d i n g s   o f   t h e   2 0 1 2   A n n u a l   S R I I   G l o b a l   C o n f e r e n c e   ( S R I I ) ,   D O I   1 0 . 1 1 0 9 / S R I I . 2 0 1 2 . 1 7 ;   V a r s h n e y   P r a m o d   K . ,   1 9 9 7 ,   D I S T R I B U T E D   D E T E C T I O ;   W a n g   T Y ,   2 0 0 5 ,   I E E E   J   S E L   A R E A   C O M M ,   V 2 3 ,   P 7 2 4 ,   D O I   1 0 . 1 1 0 9 / J S A C . 2 0 0 5 . 8 4 3 5 4 1 ;   Y a o   C ,   2 0 0 7 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 5 3 ,   P 1 7 1 6 ,   D O I   1 0 . 1 1 0 9 / T I T . 2 0 0 7 : 8 9 4 6 7 0 	 1 7 	 1 	 1 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 5 2 0 - 6 1 4 9 	 	 9 7 8 - 1 - 4 7 9 9 - 0 3 5 6 - 6 	 I N T   C O N F   A C O U S T   S P E E 	 	 	 2 0 1 3 	 	 	 	 	 	 	 5 5 5 8 	 5 5 6 2 	 	 	 	 5 	 A c o u s t i c s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 A c o u s t i c s ;   E n g i n e e r i n g 	 B J Q 1 9 	 W O S : 0 0 0 3 2 9 6 1 1 5 0 5 1 4 5 	 	 
 J 	 S p r u g n o l i ,   R ;   M o r e t t i ,   G ;   F u o l i ,   M ;   G i u l i a n i ,   D ;   B e n t i v o g l i ,   L ;   P i a n t a ,   E ;   G r e t t e r ,   R ;   B r u g n a r a ,   F 	 	 	 I E E E 	 S p r u g n o l i ,   R a c h e l e ;   M o r e t t i ,   G i o v a n n i ;   F u o l i ,   M a t t e o ;   G i u l i a n i ,   D i e g o ;   B e n t i v o g l i ,   L u i s a ;   P i a n t a ,   E m a n u e l e ;   G r e t t e r ,   R o b e r t o ;   B r u g n a r a ,   F a b i o 	 	 	 C O M P A R I N G   T W O   M E T H O D S   F O R   C R O W D S O U R C I N G   S P E E C H   T R A N S C R I P T I O N 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   A C O U S T I C S ,   S P E E C H   A N D   S I G N A L   P R O C E S S I N G   ( I C A S S P ) 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   A c o u s t i c s   S p e e c h   a n d   S i g n a l   P r o c e s s i n g   I C A S S P 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A c o u s t i c s ,   S p e e c h ,   a n d   S i g n a l   P r o c e s s i n g   ( I C A S S P ) 	 M A Y   2 6 - 3 1 ,   2 0 1 3 	 V a n c o u v e r ,   C A N A D A 	 I n s t   E l e c t   &   E l e c t   E n g i n e e r s ,   I n s t   E l e c t   &   E l e c t   E n g i n e e r s   S i g n a l   P r o c   S o c 	 	 C r o w d s o u r c i n g   s p e e c h   t r a n s c r i p t i o n ;   M e c h a n i c a l   T u r k ;   C r o w d F l o w e r ;   a u t o m a t i c   s p e e c h   r e c o g n i t i o n 	 	 T h i s   p a p e r   p r e s e n t s   t h e   r e s u l t s   o f   a n   e x p e r i m e n t a l   s t u d y   c o n d u c t e d   w i t h   t h e   a i m   o f   c o m p a r i n g   t w o   m e t h o d s   f o r   c r o w d s o u r c i n g   s p e e c h   t r a n s c r i p t i o n   t h a t   i n c o r p o r a t e   t w o   d i f f e r e n t   q u a l i t y   c o n t r o l   m e c h a n i s m s   ( i . e .   e x p l i c i t   v e r s u s   i m p l i c i t )   a n d   t h a t   a r e   b a s e d   o n   t w o   d i f f e r e n t   p r o c e s s e s   ( i . e .   p a r a l l e l   v e r s u s   i t e r a t i v e ) .   I n   t h e   G o l d   S t a n d a r d   m e t h o d   t h e   s a m e   s p e e c h   s e g m e n t   i s   t r a n s c r i b e d   i n   p a r a l l e l   b y   m u l t i p l e   c o n t r i b u t o r s   w h o s e   r e l i a b i l i t y   i s   c h e c k e d   w i t h   r e s p e c t   t o   s o m e   r e f e r e n c e   t r a n s c r i p t i o n s   p r o v i d e d   b y   e x p e r t s .   O n   t h e   o t h e r   h a n d ,   i n   t h e   D u a l   P a t h w a y   m e t h o d   t w o   i n d e p e n d e n t   g r o u p s   o f   c o n t r i b u t o r s   w o r k   o n   t h e   s a m e   s e t   o f   t r a n s c r i p t i o n s   r e f i n i n g   t h e m   i n   a n   i t e r a t i v e   w a y   u n t i l   t h e y   c o n v e r g e ,   a n d   t h u s   e l i m i n a t i n g   t h e   n e e d   t o   h a v e   r e f e r e n c e   t r a n s c r i p t i o n s   a n d   t o   c h e c k   t r a n s c r i p t i o n   q u a l i t y   i n   a   s e p a r a t e   p h a s e .   T h e s e   t w o   m e t h o d s   w e r e   t e s t e d   o n   a b o u t   h a l f   a n   h o u r   o f   b r o a d c a s t   n e w s   s p e e c h   a n d   f o r   t w o   d i f f e r e n t   E u r o p e a n   l a n g u a g e s ,   n a m e l y   G e r m a n   a n d   I t a l i a n .   B o t h   m e t h o d s   o b t a i n e d   g o o d   r e s u l t s   i n   t e r m s   o f   W o r d   E r r o r   R a t e   ( W E R )   a n d   c o m p a r e   w e l l   w i t h   t h e   w o r d   d i s a g r e e m e n t   r a t e   o f   e x p e r t s   o n   t h e   s a m e   d a t a . 	 [ S p r u g n o l i ,   R a c h e l e ;   M o r e t t i ,   G i o v a n n i ;   F u o l i ,   M a t t e o ;   B e n t i v o g l i ,   L u i s a ;   P i a n t a ,   E m a n u e l e ]   C E L C T ,   I - 3 8 1 2 3   P o v o ,   T N ,   I t a l y 	 S p r u g n o l i ,   R   ( r e p r i n t   a u t h o r ) ,   C E L C T ,   V i a   C a s c a t a   5 6 - C ,   I - 3 8 1 2 3   P o v o ,   T N ,   I t a l y . 	 s p r u g n o l i @ c e l c t . i t ;   m o r e t t i @ c e l c t . i t ;   f u o l i @ c e l c t . i t ;   g i u l i a n i @ f b k . e u ;   b e n t i v o @ f b k . e u ;   g r e t t e r @ f b k . e u ;   b r u g n a r a @ f b k . e u 	 	 	 	 	 A u d h k h a s i   K ,   2 0 1 1 ,   I N T   C O N F   A C O U S T   S P E E ,   P 4 9 8 0 ;   A u d h k h a s i   K . ,   2 0 1 1 ,   P   I N T E R S P E E C H   C ,   P 3 0 4 5 ;   B r u g n a r a   F . ,   2 0 1 2 ,   P   I N T E R S P E E C H   1 2   P O R ;   E v a n i n i   K . ,   2 0 1 0 ,   P   N A A C L   H L T   2 0 1 0   W O R ,   P 5 3 ;   F i s c u s   J .   G . ,   1 9 9 7 ,   P   I E E E   W O R K S H   A U T   S P ,   P 3 4 7 ;   G e l a s   H . ,   2 0 1 1 ,   P   I N T E R S P E E C H   1 1   F L O ,   P 3 0 6 5 ;   G l e n n   M .   L . ,   2 0 1 0 ,   P   L R E C   1 0   V A L L   M A L T ;   G r e g   L i t t l e ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 8 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 7 ;   L e e   C . ,   2 0 1 1 ,   P   I N T ,   P 3 0 4 1 ;   L i e m   B . ,   2 0 1 1 ,   P   H U M   C O M P   A A A I   W O R K ;   M a r g e   M ,   2 0 1 0 ,   I N T   C O N F   A C O U S T   S P E E ,   P 5 2 7 0 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 2 0 1 0 . 5 4 9 4 9 7 9 ;   M a r g e   M . ,   2 0 1 0 ,   P   N A A C L   H L T   W O R K S H   C ,   P 9 9 ;   N o v o t n e y   S . ,   2 0 1 0 ,   P   H L T   N A A C L ,   V P r o c .   A s s o c .   C o m p u t .   L i n g u i s t .   ( A C L ) ,   P 2 0 7 ;   P a r e n t   G ,   2 0 1 0 ,   P r o c e e d i n g s   2 0 1 0   I E E E   S p o k e n   L a n g u a g e   T e c h n o l o g y   W o r k s h o p   ( S L T   2 0 1 0 ) ,   D O I   1 0 . 1 1 0 9 / S L T . 2 0 1 0 . 5 7 0 0 8 7 0 ;   W i l l i a m s   J .   D . ,   2 0 1 1 ,   P   I E E E   A S R U   W O R K S H   H ,   P 5 3 5 	 1 5 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 5 2 0 - 6 1 4 9 	 	 9 7 8 - 1 - 4 7 9 9 - 0 3 5 6 - 6 	 I N T   C O N F   A C O U S T   S P E E 	 	 	 2 0 1 3 	 	 	 	 	 	 	 8 1 1 6 	 8 1 2 0 	 	 	 	 5 	 A c o u s t i c s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 A c o u s t i c s ;   E n g i n e e r i n g 	 B J Q 1 9 	 W O S : 0 0 0 3 2 9 6 1 1 5 0 8 0 5 6 	 	 
 J 	 S c h l i p p e ,   T ;   Z h u ,   C F ;   L e m c k e ,   D ;   S c h u l t z ,   T 	 	 	 I E E E 	 S c h l i p p e ,   T i m ;   Z h u ,   C h e n f e i ;   L e m c k e ,   D a n i e l ;   S c h u l t z ,   T a n j a 	 	 	 S T A T I S T I C A L   M A C H I N E   T R A N S L A T I O N   B A S E D   T E X T   N O R M A L I Z A T I O N   W I T H   C R O W D S O U R C I N G 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   A C O U S T I C S ,   S P E E C H   A N D   S I G N A L   P R O C E S S I N G   ( I C A S S P ) 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   A c o u s t i c s   S p e e c h   a n d   S i g n a l   P r o c e s s i n g   I C A S S P 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A c o u s t i c s ,   S p e e c h ,   a n d   S i g n a l   P r o c e s s i n g   ( I C A S S P ) 	 M A Y   2 6 - 3 1 ,   2 0 1 3 	 V a n c o u v e r ,   C A N A D A 	 I n s t   E l e c t   &   E l e c t   E n g i n e e r s ,   I n s t   E l e c t   &   E l e c t   E n g i n e e r s   S i g n a l   P r o c   S o c 	 	 t e x t   n o r m a l i z a t i o n ;   s t a t i s t i c a l   m a c h i n e   t r a n s l a t i o n ;   r a p i d   l a n g u a g e   a d a p t a t i o n ;   c r o w d s o u r c i n g 	 	 I n   [ 1 ] ,   w e   h a v e   p r o p o s e d   s y s t e m s   f o r   t e x t   n o r m a l i z a t i o n   b a s e d   o n   s t a t i s t i c a l   m a c h i n e   t r a n s l a t i o n   ( S M T )   m e t h o d s   w h i c h   a r e   c o n s t r u c t e d   w i t h   t h e   s u p p o r t   o f   I n t e r n e t   u s e r s   a n d   e v a l u a t e d   t h o s e   w i t h   F r e n c h   t e x t s .   I n t e r n e t   u s e r s   n o r m a l i z e   t e x t   d i s p l a y e d   i n   a   w e b   i n t e r f a c e   i n   a n   a n n o t a t i o n   p r o c e s s ,   t h e r e b y   p r o v i d i n g   a   p a r a l l e l   c o r p u s   o f   n o r m a l i z e d   a n d   n o n - n o r m a l i z e d   t e x t .   W i t h   t h i s   c o r p u s ,   S M T   m o d e l s   a r e   g e n e r a t e d   t o   t r a n s l a t e   n o n - n o r m a l i z e d   i n t o   n o r m a l i z e d   t e x t .   I n   t h i s   p a p e r ,   w e   a n a l y z e   t h e i r   e f f i c i e n c y   f o r   o t h e r   l a n g u a g e s .   A d d i t i o n a l l y ,   w e   e m b e d d e d   t h e   E n g l i s h   a n n o t a t i o n   p r o c e s s   f o r   t r a i n i n g   d a t a   i n   A m a z o n   M e c h a n i c a l   T u r k   a n d   c o m p a r e   t h e   q u a l i t y   o f   t e x t s   t h o r o u g h l y   a n n o t a t e d   i n   o u r   l a b   t o   t h o s e   a n n o t a t e d   b y   t h e   T u r k e r s .   F i n a l l y ,   w e   i n v e s t i g a t e   h o w   t o   r e d u c e   t h e   u s e r   e f f o r t   b y   i t e r a t i v e l y   a p p l y i n g   a n   S M T   s y s t e m   t o   t h e   n e x t   s e n t e n c e s   t o   b e   e d i t e d ,   b u i l t   f r o m   t h e   s e n t e n c e s   w h i c h   h a v e   b e e n   a n n o t a t e d   s o   f a r . 	 [ S c h l i p p e ,   T i m ;   Z h u ,   C h e n f e i ;   L e m c k e ,   D a n i e l ;   S c h u l t z ,   T a n j a ]   K a r l s r u h e   I n s t   T e c h n o l ,   C o g n i t   S y s t   L a b ,   D - 7 6 0 2 1   K a r l s r u h e ,   G e r m a n y 	 S c h l i p p e ,   T   ( r e p r i n t   a u t h o r ) ,   K a r l s r u h e   I n s t   T e c h n o l ,   C o g n i t   S y s t   L a b ,   D - 7 6 0 2 1   K a r l s r u h e ,   G e r m a n y . 	 	 	 	 	 	 A d d a   G i l l e s ,   1 9 9 7 ,   E S C A   E U R   R H O D   G R E E C ;   A m b a t i   V a m s h i ,   2 0 1 0 ,   N A A C L   H L T   2 0 1 0   W O R K S ;   A w   A i t i ,   2 0 0 6 ,   C O L I N G   A C L   2 0 0 6   S Y D N ;   B r i l l   E r i c ,   2 0 0 0 ,   3 8   A N N   M   A S S   C O M P   L I ;   C a l l i s o n - B u r c h   C h r i s ,   2 0 1 0 ,   N A A C L   H L T   2 0 1 0   W O R K S ;   C h u r c h   K e n n e t h   W . ,   1 9 9 1 ,   S T A T   C O M P U T ,   V 1 ,   P 9 3 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 8 8 9 9 8 4 ;   D a m n a t i   G . ,   2 0 0 8 ,   P   2 2   I N T   C   C O M P   L I N G ,   V 1 ,   P 4 4 1 ,   D O I   1 0 . 3 1 1 5 / 1 5 9 9 0 8 1 . 1 5 9 9 1 3 7 ;   D e n k o w s k i   M i c h a e l ,   2 0 1 0 ,   N A A C L   H L T   2 0 1 0   W O R K S ;   G r a l i n s k i   F i l i p ,   2 0 0 6 ,   I N T   M U L T   C O M P   S C I   I N ;   H e n r i q u e z   C a r l o s   A . ,   2 0 0 9 ,   N   G R A M   B A S E D   S T A T   M A ;   K o e h n   P h i l i p p ,   2 0 0 7 ,   A N N   M   A C L   D E M   S E S S   P ;   O c h   F .   J . ,   2 0 0 3 ,   C o m p u t a t i o n a l   L i n g u i s t i c s ,   V 2 9 ,   D O I   1 0 . 1 1 6 2 / 0 8 9 1 2 0 1 0 3 3 2 1 3 3 7 4 2 1 ;   R o s s   J o e l ,   2 0 1 0 ,   N A A C L   H L T   2 0 1 0   W O R K S ;   S c h l i p p e   T i m ,   2 0 1 0 ,   1 1   A N N   C   I N T   S P E E C H ;   S c h u l t z   T a n j a ,   2 0 0 7 ,   A N N   C   I N T   S P E E C H   C O M ;   S t o l c k e   A ,   2 0 0 2 ,   7   I N T   C   S P O K   L A N G   P R ;   T o u t a n o v a   K ,   2 0 0 2 ,   4 0 T H   A N N U A L   M E E T I N G   O F   T H E   A S S O C I A T I O N   F O R   C O M P U T A T I O N A L   L I N G U I S T I C S ,   P R O C E E D I N G S   O F   T H E   C O N F E R E N C E ,   P 1 4 4 ;   V u   N g o c   T h a n g ,   2 0 1 0 ,   1 1   A N N   C   I N T   S P E E C H 	 1 8 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 5 2 0 - 6 1 4 9 	 	 9 7 8 - 1 - 4 7 9 9 - 0 3 5 6 - 6 	 I N T   C O N F   A C O U S T   S P E E 	 	 	 2 0 1 3 	 	 	 	 	 	 	 8 4 0 6 	 8 4 1 0 	 	 	 	 5 	 A c o u s t i c s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 A c o u s t i c s ;   E n g i n e e r i n g 	 B J Q 1 9 	 W O S : 0 0 0 3 2 9 6 1 1 5 0 8 1 1 5 	 	 
 J 	 L e e ,   T C ;   U n n i k r i s h n a n ,   J 	 	 	 I E E E 	 L e e ,   T a o   C . ;   U n n i k r i s h n a n ,   J a y a k r i s h n a n 	 	 	 M O N I T O R I N G   N E T W O R K   S T R U C T U R E   A N D   C O N T E N T   Q U A L I T Y   O F   S I G N A L   P R O C E S S I N G   A R T I C L E S   O N   W I K I P E D I A 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   A C O U S T I C S ,   S P E E C H   A N D   S I G N A L   P R O C E S S I N G   ( I C A S S P ) 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   A c o u s t i c s   S p e e c h   a n d   S i g n a l   P r o c e s s i n g   I C A S S P 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A c o u s t i c s ,   S p e e c h ,   a n d   S i g n a l   P r o c e s s i n g   ( I C A S S P ) 	 M A Y   2 6 - 3 1 ,   2 0 1 3 	 V a n c o u v e r ,   C A N A D A 	 I n s t   E l e c t   &   E l e c t   E n g i n e e r s ,   I n s t   E l e c t   &   E l e c t   E n g i n e e r s   S i g n a l   P r o c   S o c 	 	 S i g n a l   p r o c e s s i n g ;   W i k i p e d i a ;   n e t w o r k   a n a l y s i s ;   c r o w d s o u r c i n g ;   i n f o r m a t i o n   q u a l i t y   m e t r i c s 	 	 W i k i p e d i a   h a s   b e c o m e   a   w i d e l y - u s e d   r e s o u r c e   o n   s i g n a l   p r o c e s s i n g .   H o w e v e r ,   t h e   f r e e l a n c e - e d i t i n g   m o d e l   o f   W i k i p e d i a   m a k e s   i t   c h a l l e n g i n g   t o   m a i n t a i n   a   h i g h   c o n t e n t   q u a l i t y .   W e   d e v e l o p   t e c h n i q u e s   t o   m o n i t o r   t h e   n e t w o r k   s t r u c t u r e   a n d   c o n t e n t   q u a l i t y   o f   S i g n a l   P r o c e s s i n g   ( S P )   a r t i c l e s   o n   W i k i p e d i a .   U s i n g   m e t r i c s   t o   q u a n t i f y   t h e   i m p o r t a n c e   a n d   q u a l i t y   o f   a r t i c l e s ,   w e   g e n e r a t e   a   l i s t   o f   S P   a r t i c l e s   o n   W i k i p e d i a   a r r a n g e d   i n   t h e   o r d e r   o f   t h e i r   n e e d   f o r   i m p r o v e m e n t .   T h e   t o o l s   w e   u s e   i n c l u d e   t h e   H I T S   a n d   P a g e R a n k   a l g o r i t h m s   f o r   n e t w o r k   s t r u c t u r e ,   c r o w d s o u r c i n g   f o r   q u a n t i f y i n g   a r t i c l e   i m p o r t a n c e   a n d   k n o w n   h e u r i s t i c s   f o r   a r t i c l e   q u a l i t y . 	 [ L e e ,   T a o   C . ;   U n n i k r i s h n a n ,   J a y a k r i s h n a n ]   E c o l e   P o l y t e c h   F e d   L a u s a n n e ,   S c h   C o m p   &   C o m m u n   S c i ,   C H - 1 0 1 5   L a u s a n n e ,   S w i t z e r l a n d 	 L e e ,   T C   ( r e p r i n t   a u t h o r ) ,   E c o l e   P o l y t e c h   F e d   L a u s a n n e ,   S c h   C o m p   &   C o m m u n   S c i ,   C H - 1 0 1 5   L a u s a n n e ,   S w i t z e r l a n d . 	 t a o . l e e @ e p f l . c h ;   j a y . u n n i k r i s h n a n @ e p f l . c h 	 	 	 	 	 A r n f r e d   J o n a s ,   2 0 1 2 ,   T R A I L H E A D   G R A P H I C A L ;   A u s t i n   D . ,   2 0 1 2 ,   G O O G L E   F I N D S   Y O U R   N E ;   B e l l o m i   F . ,   2 0 0 5 ,   P   W I K   2 0 0 5   1   I N T   W I K ;   B l u m e n s t o c k   J .   E . ,   2 0 0 8 ,   T E C H N I C A L   R E P O R T ;   B r a n d e s   U l r i k ,   2 0 0 9 ,   P   1 8   I N T   C   W O R L D   W I D ,   P 7 3 1 ,   D O I   1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 8 0 8 ;   B r i n   S ,   1 9 9 8 ,   C O M P U T   N E T W O R K S   I S D N ,   V 3 0 ,   P 1 0 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 9 - 7 5 5 2 ( 9 8 ) 0 0 1 1 0 - X ;   J a v a n m a r d i   S a r a ,   2 0 1 0 ,   P   1   W O R K S H   S O C   M E D   A ,   P 1 3 2 ;   K l e i n b e r g   J M ,   1 9 9 9 ,   J   A C M ,   V 4 6 ,   P 6 0 4 ,   D O I   1 0 . 1 1 4 5 / 3 2 4 1 3 3 . 3 2 4 1 4 0 ;   L e e   T a o   C . ,   2 0 1 2 ,   S P   W I K I   S O F T W A R E   T O O ;   N o m u r a   S . ,   2 0 0 2 ,   A P P   I N T   2 0 0 2   S A I N T   2 ,   P 1 3 2 ;   S t v i l i a   B ,   2 0 0 7 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 8 ,   P 1 7 2 0 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 0 6 5 2 ;   W i k i p e d i a ,   2 0 1 2 ,   W I K   E X P   W E B   P A G ;   W i k i p e d i a ,   2 0 1 2 ,   M W D   W E B   P A G ;   W i k i p e d i a ,   2 0 1 2 ,   W I K   D A T   D O W N L   W E B   P A ;   W i k i p e d i a ,   2 0 1 2 ,   W I K   S I G N   P R O C   C A T 	 1 5 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 1 5 2 0 - 6 1 4 9 	 	 9 7 8 - 1 - 4 7 9 9 - 0 3 5 6 - 6 	 I N T   C O N F   A C O U S T   S P E E 	 	 	 2 0 1 3 	 	 	 	 	 	 	 8 7 6 6 	 8 7 7 0 	 	 	 	 5 	 A c o u s t i c s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 A c o u s t i c s ;   E n g i n e e r i n g 	 B J Q 1 9 	 W O S : 0 0 0 3 2 9 6 1 1 5 0 8 1 8 8 	 	 
 S 	 W o l l e y ,   C ;   Q u a f a f o u ,   M 	 	 T u c k e r ,   A ;   H o p p n e r ,   F ;   S i e b e s ,   A ;   S w i f t ,   S 	 	 W o l l e y ,   C h i r i n e ;   Q u a f a f o u ,   M o h a m e d 	 	 	 M u l t i c l a s s   L e a r n i n g   f r o m   M u l t i p l e   U n c e r t a i n   A n n o t a t i o n s 	 A D V A N C E S   I N   I N T E L L I G E N T   D A T A   A N A L Y S I S   X I I 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 2 t h   I n t e r n a t i o n a l   S y m p o s i u m   o n   I n t e l l i g e n t   D a t a   A n a l y s i s   ( I D A ) 	 O C T   1 7 - 1 9 ,   2 0 1 3 	 L o n d o n ,   E N G L A N D 	 B r u n e l   U n i v ,   H e i l b r o n n   I n s t ,   A r t i f i c i a l   I n t e l l i g e n c e   J o u r n a l ,   S M E S H 	 R o y a l   S t a t   S o c 	 s u p e r v i s e d   l e a r n i n g ;   m u l t i p l e   a n n o t a t o r s ;   u n c e r t a i n t y 	 	 A n n o t a t i n g   a   d a t a s e t   i s   o n e   o f   t h e   m a j o r   b o t t l e n e c k s   i n   s u p e r v i s e d   l e a r n i n g   t a s k s ,   a s   i t   c a n   b e   e x p e n s i v e   a n d   t i m e - c o n s u m i n g .   I n s t e a d ,   w i t h   t h e   d e v e l o p m e n t   o f   c r o w d s o u r c i n g   s e r v i c e s ,   i t   h a s   b e c o m e   e a s y   a n d   f a s t   t o   c o l l e c t   l a b e l s   f r o m   m u l t i p l e   a n n o t a t o r s .   O u r   c o n t r i b u t i o n   i n   t h i s   p a p e r   i s   t o   p r o p o s e   a   B a y e s i a n   p r o b a b i l i s t i c   a p p r o a c h   i n t e g r a t i n g   a n n o t a t o r ' s   u n c e r t a i n t y   i n   t h e   t a s k   o f   l e a r n i n g   f r o m   m u l t i p l e   n o i s y   a n n o t a t o r s   ( a n n o t a t o r s   w h o   g e n e r a t e   e r r o r s ) .   F u r t h e r m o r e ,   u n l i k e   p r e v i o u s   w o r k ,   o u r   p r o p o s e d   a p p r o a c h   i s   d i r e c t l y   f o r m u l a t e d   t o   h a n d l e   c a t e g o r i c a l   l a b e l s .   T h i s   i s   a n   i m p o r t a n t   p o i n t   a s   r e a l - w o r l d   d a t a s e t s   o f t e n   h a v e   m u l t i p l e   c l a s s e s   a v a i l a b l e .   E x t e n s i v e   e x p e r i m e n t s   o n   d a t a s e t s   v a l i d a t e   t h e   e f f e c t i v e n e s s   o f   o u r   a p p r o a c h   a g a i n s t   p r e v i o u s   e f f i c i e n t   a l g o r i t h m s . 	 [ W o l l e y ,   C h i r i n e ;   Q u a f a f o u ,   M o h a m e d ]   A i x   M a r s e i l l e   U n i v ,   C N R S ,   L S I S ,   U M R   7 2 9 6 ,   F - 1 3 3 9 7   M a r s e i l l e ,   F r a n c e 	 W o l l e y ,   C   ( r e p r i n t   a u t h o r ) ,   A i x   M a r s e i l l e   U n i v ,   C N R S ,   L S I S ,   U M R   7 2 9 6 ,   F - 1 3 3 9 7   M a r s e i l l e ,   F r a n c e . 	 c h i r i n e . w o l l e y @ e t u . u n i v - a m u . f r ;   m o h a m e d . q u a f a f o u @ u n i v - a m u . f r 	 	 	 	 	 A s u n c i o n   A . ,   2 0 0 7 ,   U C I   M A C H I N E   L E A R N I N G ;   D E M P S T E R   A P ,   1 9 7 7 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 3 9 ,   P 1 ;   G o e t g h e b e u r   E . ,   1 9 9 9 ,   K W A N T I T A T I E V E   T E C H N I ,   V 6 2 ,   P 7 9 ;   H a n d   D J ,   2 0 0 1 ,   M A C H   L E A R N ,   V 4 5 ,   P 1 7 1 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 0 9 2 0 8 1 9 8 3 1 ;   J E F F R E Y S   H ,   1 9 4 6 ,   P R O C   R   S O C   L O N   S E R - A ,   V 1 8 6 ,   P 4 5 3 ,   D O I   1 0 . 1 0 9 8 / r s p a . 1 9 4 6 . 0 0 5 6 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S o r o k i n   A . ,   2 0 0 8 ,   P   1   I E E E   W O R K S H   I N T ,   P 2 5 4 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 2 ,   P 2 0 3 5 ;   W o l l e y   C . ,   2 0 1 2 ,   L N C S ,   V 7 7 1 3 ,   P 1 7 3 ;   Y a n   Y . ,   2 0 1 0 ,   J   M A C H I N E   L E A R N I N G   R ,   V 9 ,   P 9 3 2 	 1 2 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 1 3 9 7 - 1 ;   9 7 8 - 3 - 6 4 2 - 4 1 3 9 8 - 8 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 8 2 0 7 	 	 	 	 	 	 4 3 8 	 4 4 9 	 	 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B J S 2 9 	 W O S : 0 0 0 3 2 9 9 6 8 5 0 0 0 3 8 	 	 
 S 	 K o n t o k o s t a s ,   D ;   Z a v e r i ,   A ;   A u e r ,   S ;   L e h m a n n ,   J 	 	 K l i n o v ,   P ;   M o u r o m t s e v ,   D 	 	 K o n t o k o s t a s ,   D i m i t r i s ;   Z a v e r i ,   A m r a p a l i ;   A u e r ,   S o e r e n ;   L e h m a n n ,   J e n s 	 	 	 T r i p l e C h e c k M a t e :   A   T o o l   f o r   C r o w d s o u r c i n g   t h e   Q u a l i t y   A s s e s s m e n t   o f   L i n k e d   D a t a 	 K N O W L E D G E   E N G I N E E R I N G   A N D   T H E   S E M A N T I C   W E B   ( K E S W   2 0 1 3 ) 	 C o m m u n i c a t i o n s   i n   C o m p u t e r   a n d   I n f o r m a t i o n   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 4 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   K n o w l e d g e   E n g i n e e r i n g   a n d   t h e   S e m a n t i c   W e b   ( K E S W ) 	 O C T   0 7 - 0 9 ,   2 0 1 3 	 S t   P e t e r s b u r g ,   R U S S I A 	 R u s s i a n   F d n   B a s i c   R e s ,   S T I   I n n s b r u c k ,   E v e n t o s ,   L O D 2 	 	 D a t a   Q u a l i t y ;   L i n k e d   D a t a ;   D B p e d i a 	 	 L i n k e d   O p e n   D a t a   ( L O D )   c o m p r i s e s   o f   a n   u n p r e c e d e n t e d   v o l u m e   o f   s t r u c t u r e d   d a t a s e t s   o n   t h e   W e b .   H o w e v e r ,   t h e s e   d a t a s e t s   a r e   o f   v a r y i n g   q u a l i t y   r a n g i n g   f r o m   e x t e n s i v e l y   c u r a t e d   d a t a s e t s   t o   c r o w d s o u r c e d   a n d   e v e n   e x t r a c t e d   d a t a   o f   r e l a t i v e l y   l o w   q u a l i t y .   W e   p r e s e n t   a   m e t h o d o l o g y   f o r   a s s e s s i n g   t h e   q u a l i t y   o f   l i n k e d   d a t a   r e s o u r c e s ,   w h i c h   c o m p r i s e s   o f   a   m a n u a l   a n d   a   s e m i - a u t o m a t i c   p r o c e s s .   I n   t h i s   p a p e r   w e   f o c u s   o n   t h e   m a n u a l   p r o c e s s   w h e r e   t h e   f i r s t   p h a s e   i n c l u d e s   t h e   d e t e c t i o n   o f   c o m m o n   q u a l i t y   p r o b l e m s   a n d   t h e i r   r e p r e s e n t a t i o n   i n   a   q u a l i t y   p r o b l e m   t a x o n o m y .   T h e   s e c o n d   p h a s e   c o m p r i s e s   o f   t h e   e v a l u a t i o n   o f   a   l a r g e   n u m b e r   o f   i n d i v i d u a l   r e s o u r c e s ,   a c c o r d i n g   t o   t h e   q u a l i t y   p r o b l e m   t a x o n o m y   v i a   c r o w d s o u r c i n g .   T h i s   p r o c e s s   i s   i m p l e m e n t e d   b y   t h e   t o o l   T r i p l e C h e c k M a t e   w h e r e i n   a   u s e r   a s s e s s e s   a n   i n d i v i d u a l   r e s o u r c e   a n d   e v a l u a t e s   e a c h   f a c t   f o r   c o r r e c t n e s s .   T h i s   p a p e r   f o c u s e s   o n   d e s c r i b i n g   t h e   m e t h o d o l o g y ,   q u a l i t y   t a x o n o m y   a n d   t h e   t o o l s '   s y s t e m   a r c h i t e c t u r e ,   u s e r   p e r s p e c t i v e   a n d   e x t e n s i b i l i t y . 	 [ K o n t o k o s t a s ,   D i m i t r i s ;   Z a v e r i ,   A m r a p a l i ;   L e h m a n n ,   J e n s ]   U n i v   L e i p z i g ,   A K S W   B I S ,   D - 0 4 1 0 9   L e i p z i g ,   G e r m a n y 	 K o n t o k o s t a s ,   D   ( r e p r i n t   a u t h o r ) ,   U n i v   L e i p z i g ,   A K S W   B I S ,   D - 0 4 1 0 9   L e i p z i g ,   G e r m a n y . 	 k o n t o k o s t a s @ i n f o r m a t i k . u n i - l e i p z i g . d e ;   z a v e r i @ i n f o r m a t i k . u n i - l e i p z i g . d e ;   a u e r @ c s . u n i - b o n n . d e ;   l e h m a n n @ i n f o r m a t i k . u n i - l e i p z i g . d e 	 	 	 	 	 B i z e r   C ,   2 0 0 9 ,   J   W E B   S E M A N T ,   V 7 ,   P 1 5 4 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 9 . 0 7 . 0 0 2 ;   J u r a n   J .   M . ,   1 9 7 4 ,   Q U A L I T Y   C O N T R O L   H D B ;   K n u t h   M . ,   2 0 1 2 ,   C O L L A B O R A T I V E L Y   P A T C ;   L e h m a n n   J . ,   2 0 1 3 ,   S E M A N T I C   W E   I N   P R E S S ;   M o r s e y   M . ,   2 0 1 2 ,   P R O G R A M   E L E C T   L I B   I N ,   V 4 6 ,   P 2 7 ;   Z a v e r i   A . ,   2 0 1 3 ,   P   9   I N T   C   S   I N   P R E S S ;   Z a v e r i   A . ,   Q U A L I T Y   A S S   I N   P R E S S 	 7 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 1 8 6 5 - 0 9 2 9 	 	 9 7 8 - 3 - 6 4 2 - 4 1 3 6 0 - 5 ;   9 7 8 - 3 - 6 4 2 - 4 1 3 5 9 - 9 	 C O M M   C O M   I N F   S C 	 	 	 2 0 1 3 	 3 9 4 	 	 	 	 	 	 2 6 5 	 2 7 2 	 	 	 	 8 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B J S 1 5 	 W O S : 0 0 0 3 2 9 9 0 7 1 0 0 0 2 2 	 	 
 J 	 D a i ,   X ;   C h o w ,   P S ;   Z h e n g ,   J H ;   C h i u ,   C H 	 	 	 	 D a i ,   X i n ;   C h o w ,   P u i - S z e ;   Z h e n g ,   J i n - H u i ;   C h i u ,   C h u n - H u n g 	 	 	 C r o w d s o u r c i n g   N e w   P r o d u c t   D e s i g n   o n   t h e   W e b :   A n   A n a l y s i s   o f   O n l i n e   D e s i g n e r   P l a t f o r m   S e r v i c e 	 M A T H E M A T I C A L   P R O B L E M S   I N   E N G I N E E R I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 P R O D U C T I O N   D E C I S I O N S ;   S U P P L Y   C H A I N S ;   U N C E R T A I N T Y ;   P R I C E ;   D E M A N D 	 A   d e s i g n e r   i s   a   c o r e   r e s o u r c e   i n   t h e   f a s h i o n   i n d u s t r y .   S u c c e s s f u l   d e s i g n e r s   n e e d   t o   b e   c r e a t i v e   a n d   q u i c k   t o   u n d e r s t a n d   t h e   b u s i n e s s   a n d   w i d e r   e n v i r o n m e n t   i n   w h i c h   t h e y   a r e   o p e r a t i n g .   T h e   D e s i g n e r   P l a t f o r m   S e r v i c e   ( D P S ) ,   w h i c h   c o m b i n e s   t h e   m e c h a n i s m   o f   c r o w d s o u r c i n g   a n d   g r o u p   b u y i n g   o n   t h e   w e b ,   p r o v i d e s   a   p l a t f o r m   f o r   e n t r a n t   d e s i g n e r s   t o   t r y   t h e i r   a b i l i t i e s   i n   t h e   r e a l   m a r k e t   p r a c t i c e .   F r e e l a n c e   d e s i g n e r s   p o s t   d e s i g n   s a m p l e s   o r   s k e t c h e s   o f   p r o d u c t s   o n   t h e   w e b s i t e   o f   D P S ,   a n d   c o n s u m e r s   m a y   p r e o r d e r   t h e   p r o d u c t s   ( e a c h   a t   a   f i x e d   p r i c e )   o n l i n e   b a s e d   o n   t h e   d e s i g n   i n f o r m a t i o n .   O n c e   t h e   n u m b e r   o f   o r d e r i n g   r e a c h e s   o r   p a s s e s   a   c e r t a i n   t h r e s h o l d ,   t h a t   i s ,   t h e   m i n i m u m   p r o d u c t i o n   q u a n t i t y   ( M P Q ) ,   D P S   w i l l   a r r a n g e   f o r   p r o d u c t i o n   a n d   d e l i v e r y   a c c o r d i n g   t o   t h e   o r d e r s   r e c e i v e d .   T h i s   n o v e l   s e r v i c e   b o o s t s   t h e   g r o w t h   o f   e n t r a n t   d e s i g n e r s   a n d   l i n k s   d e s i g n i n g   w o r k s   w i t h   r e a l   m a r k e t s   d i r e c t l y .   W e   a r e   i n t e r e s t e d   i n   h o w   t h e   p r i c e   a n d   M P Q   d e c i s i o n s   a r e   m a d e   i n   D P S ,   w i t h   c o n s i d e r a t i o n   o f   t h e   e n t r a n t   d e s i g n e r ' s   o b j e c t i v e ,   d e c i s i o n   s e q u e n c e s ,   a n d   c u s t o m e r   d e m a n d   s t r u c t u r e s .   W e   d e v e l o p   S t a c k e l b e r g   g a m e s   t o   m o d e l   a n d   d e r i v e   t h e   e q u i l i b r i u m   s o l u t i o n s   u n d e r   i n d i v i d u a l   s c e n a r i o s .   O u r   f i n d i n g s   s u g g e s t   f e a s i b i l i t y   o f   t h e   D P S   b u s i n e s s   m o d e l . 	 [ D a i ,   X i n ;   C h i u ,   C h u n - H u n g ]   S u n   Y a t   S e n   U n i v ,   S u n   Y a t   S e n   B u s i n e s s   S c h ,   G u a n g z h o u   5 1 0 2 7 5 ,   G u a n g d o n g ,   P e o p l e s   R   C h i n a ;   [ C h o w ,   P u i - S z e ;   Z h e n g ,   J i n - H u i ]   H o n g   K o n g   P o l y t e c h   U n i v ,   I n s t   T e x t   &   C l o t h i n g ,   K o w l o o n ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a 	 C h o w ,   P S   ( r e p r i n t   a u t h o r ) ,   H o n g   K o n g   P o l y t e c h   U n i v ,   I n s t   T e x t   &   C l o t h i n g ,   K o w l o o n ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a . 	 l p s c h o w @ o u t l o o k . c o m 	 	 	 " 9 8 5   P r o j e c t "   o f   S u n   Y a t - S e n   U n i v e r s i t y 	 T h i s   p a p e r   i s   p a r t i a l l y   s u p p o r t e d   b y   t h e   " 9 8 5   P r o j e c t "   o f   S u n   Y a t - S e n   U n i v e r s i t y .   T h e   a u t h o r s   s i n c e r e l y   t h a n k   t h e   a n o n y m o u s   r e v i e w e r s   f o r   t h e i r   c o n s t r u c t i v e   c o m m e n t s   o n   t h i s   p a p e r . 	 A n a n d   K S ,   2 0 0 3 ,   M A N A G E   S C I ,   V 4 9 ,   P 1 5 4 6 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 9 . 1 1 . 1 5 4 6 . 2 0 5 8 2 ;   B a y u s   B L ,   2 0 1 3 ,   M A N A G E   S C I ,   V 5 9 ,   P 2 2 6 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 2 0 . 1 5 9 9 ;   B o u d r e a u   K J ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 8 4 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 2 2 ;   C a i   G ,   2 0 0 9 ,   I N T   J   P R O D   E C O N ,   V 1 1 7 ,   P 8 0 ,   D O I   1 0 . 1 0 1 6 / j . i j p e . 2 0 0 8 . 0 8 . 0 5 3 ;   C h e n   H Y ,   2 0 1 0 ,   E U R   J   O P E R   R E S ,   V 2 0 3 ,   P 7 0 ,   D O I   1 0 . 1 0 1 6 / j . e j o r . 2 0 0 9 . 0 7 . 0 0 2 ;   C h i u   C H ,   2 0 1 1 ,   P R O D   O P E R   M A N A G ,   V 2 0 ,   P 8 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 9 3 7 - 5 9 5 6 . 2 0 1 0 . 0 1 1 5 9 . x ;   C h o w   P S ,   2 0 1 2 ,   I E E E   T   S Y S T   M A N   C Y   A ,   V 4 2 ,   P 8 6 8 ,   D O I   1 0 . 1 1 0 9 / T S M C A . 2 0 1 2 . 2 1 8 3 3 5 1 ;   D a l a l   A J ,   2 0 0 9 ,   E U R   J   O P E R   R E S ,   V 1 9 7 ,   P 8 4 ,   D O I   1 0 . 1 0 1 6 / j . e j o r . 2 0 0 8 . 0 5 . 0 1 8 ;   D i   P .   M . ,   2 0 1 0 ,   M I S   Q   E X E C ,   V 9 ,   P 2 1 3 ;   F i s h e r   M ,   1 9 9 6 ,   O P E R   R E S ,   V 4 4 ,   P 8 7 ,   D O I   1 0 . 1 2 8 7 / o p r e . 4 4 . 1 . 8 7 ;   G r a v e s   S .   C . ,   1 9 9 3 ,   H D B   O P E R A T I O N S   R E S   M ,   V 4 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H u a n g   Y . ,   2 0 1 2 ,   W O R K I N G   P A P E R ;   J i a n g   B J ,   2 0 1 1 ,   M A R K E T   S C I ,   V 3 0 ,   P 7 5 7 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 1 1 0 . 0 6 5 6 ;   L i   Y M ,   2 0 1 0 ,   E U R   J   O P E R   R E S ,   V 2 0 7 ,   P 1 6 5 8 ,   D O I   1 0 . 1 0 1 6 / j . e j o r . 2 0 1 0 . 0 6 . 0 2 3 ;   L i - L i a n g   P . ,   2 0 1 1 ,   P   I N T   C   M A N   S C I   E N G ,   P 4 5 2 ;   M i l l s   C ,   2 0 1 1 ,   I N T   J   E N T R E P R E N E U R I A ,   V 1 7 ,   P 2 4 5 ;   N e w b e r y   M . ,   2 0 0 3 ,   S T U D Y   U K   D E S I G N E R   F A ;   P a s t e r n a c k   B . ,   1 9 8 5 ,   M A R K E T   S C I ,   V 4 ,   P 1 6 6 ,   D O I   1 0 . 1 2 8 7 / m k s c . 4 . 2 . 1 6 6 ;   P e t r u z z i   N C ,   1 9 9 9 ,   O P E R   R E S ,   V 4 7 ,   P 1 8 3 ,   D O I   1 0 . 1 2 8 7 / o p r e . 4 7 . 2 . 1 8 3 ;   R i c h a r d s o n   J ,   1 9 9 6 ,   O R G A N   S C I ,   V 7 ,   P 4 0 0 ,   D O I   1 0 . 1 2 8 7 / o r s c . 7 . 4 . 4 0 0 ;   W a n g   Y Z ,   2 0 0 6 ,   O P E R   R E S ,   V 5 4 ,   P 1 1 1 0 ,   D O I   1 0 . 1 2 8 7 / o p r e . 1 0 6 0 . 0 3 2 6 ;   Y a n g   C T ,   2 0 0 9 ,   M A T H   P R O B L   E N G ,   D O I   1 0 . 1 1 5 5 / 2 0 0 9 / 1 9 8 3 0 5 	 2 3 	 0 	 0 	 H I N D A W I   P U B L I S H I N G   C O R P O R A T I O N 	 N E W   Y O R K 	 4 1 0   P A R K   A V E N U E ,   1 5 T H   F L O O R ,   # 2 8 7   P M B ,   N E W   Y O R K ,   N Y   1 0 0 2 2   U S A 	 1 0 2 4 - 1 2 3 X 	 1 5 6 3 - 5 1 4 7 	 	 M A T H   P R O B L   E N G 	 M a t h .   P r o b l .   E n g . 	 	 2 0 1 3 	 	 	 	 	 	 	 	 	 2 4 8 1 7 0 	 1 0 . 1 1 5 5 / 2 0 1 3 / 2 4 8 1 7 0 	 	 1 3 	 E n g i n e e r i n g ,   M u l t i d i s c i p l i n a r y ;   M a t h e m a t i c s ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 E n g i n e e r i n g ;   M a t h e m a t i c s 	 2 8 8 Y X 	 W O S : 0 0 0 3 2 9 6 4 9 3 0 0 0 0 1 	 	 
 S 	 S c e k i c ,   O ;   D o r n ,   C ;   D u s t d a r ,   S 	 	 M e e r s m a n ,   R ;   P a n e t t o ,   H ;   D i l l o n ,   T ;   E d e r ,   J ;   B e l l a h s e n e ,   Z ;   R i t t e r ,   N ;   D e L e e n h e e r ,   P ;   D o u ,   D 	 	 S c e k i c ,   O g n j e n ;   D o r n ,   C h r i s t o p h ;   D u s t d a r ,   S c h a h r a m 	 	 	 S i m u l a t i o n - B a s e d   M o d e l i n g   a n d   E v a l u a t i o n   o f   I n c e n t i v e   S c h e m e s   i n   C r o w d s o u r c i n g   E n v i r o n m e n t s 	 O N   T H E   M O V E   T O   M E A N I N G F U L   I N T E R N E T   S Y S T E M S :   O T M   2 0 1 3   C O N F E R E N C E S 	 L e c t u r e   N o t e s   i n   C o m p u t e r   S c i e n c e 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 O n   T h e   M o v e   ( O T M )   F e d e r a t e d   I n t e r n a t i o n a l   C o n f e r e n c e 	 S E P   0 9 - 1 3 ,   2 0 1 3 	 G r a z ,   A U S T R I A 	 	 	 r e w a r d s ;   i n c e n t i v e s ;   c r o w d s o u r c i n g ;   s o c i a l   c o m p u t i n g ;   c o l l e c t i v e   a d a p t i v e   s y s t e m s 	 R E P U T A T I O N ;   H U M A N S 	 C o n v e n t i o n a l   i n c e n t i v e   m e c h a n i s m s   w e r e   d e s i g n e d   f o r   b u s i n e s s   e n v i r o n m e n t s   i n v o l v i n g   s t a t i c   b u s i n e s s   p r o c e s s e s   a n d   a   l i m i t e d   n u m b e r   o f   a c t o r s .   T h e y   a r e   n o t   e a s i l y   a p p l i c a b l e   t o   c r o w d s o u r c i n g   a n d   o t h e r   s o c i a l   c o m p u t i n g   p l a t f o r m s ,   c h a r a c t e r i z e d   b y   d y n a m i c   c o l l a b o r a t i o n   p a t t e r n s   a n d   h i g h   n u m b e r s   o f   a c t o r s ,   b e c a u s e   t h e   e f f e c t s   o f   i n c e n t i v e s   i n   t h e s e   e n v i r o n m e n t s   a r e   o f t e n   u n f o r e s e e n   a n d   m o r e   c o s t l y   t h a n   i n   a   w e l l - c o n t r o l l e d   e n v i r o n m e n t   o f   a   t r a d i t i o n a l   c o m p a n y .   I n   t h i s   p a p e r   w e   i n v e s t i g a t e   h o w   t o   d e s i g n   a n d   c a l i b r a t e   i n c e n t i v e   s c h e m e s   f o r   c r o w d s o u r c i n g   p r o c e s s e s   b y   s i m u l a t i n g   j o i n t   e f f e c t s   o f   a   c o m b i n a t i o n   o f   d i f f e r e n t   p a r t i c i p a t i o n   a n d   i n c e n t i v e   m e c h a n i s m s   a p p l i e d   t o   a   w o r k i n g   c r o w d .   M o r e   s p e c i f i c a l l y ,   w e   p r e s e n t   a   s i m u l a t i o n   m o d e l   o f   i n c e n t i v e   s c h e m e s   a n d   e v a l u a t e   i t   o n   a   r e l e v a n t   r e a l - w o r l d   s c e n a r i o .   W e   s h o w   h o w   t h e   m o d e l   i s   u s e d   t o   s i m u l a t e   d i f f e r e n t   c o m p o s i t i o n s   o f   i n c e n t i v e   m e c h a n i s m s   a n d   m o d e l   p a r a m e t e r s ,   a n d   h o w   t h e s e   c h o i c e s   i n f l u e n c e   t h e   c o s t s   o n   t h e   s y s t e m   p r o v i d e r   s i d e   a n d   t h e   n u m b e r   o f   m a l i c i o u s   w o r k e r s . 	 [ S c e k i c ,   O g n j e n ;   D o r n ,   C h r i s t o p h ;   D u s t d a r ,   S c h a h r a m ]   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   V i e n n a ,   A u s t r i a 	 S c e k i c ,   O   ( r e p r i n t   a u t h o r ) ,   V i e n n a   U n i v   T e c h n o l ,   D i s t r i b u t e d   S y s t   G r p ,   V i e n n a ,   A u s t r i a . 	 o s c e k i c @ d s g . t u w i e n . a c . a t ;   d o r n @ d s g . t u w i e n . a c . a t ;   d u s t d a r @ d s g . t u w i e n . a c . a t 	 	 	 	 	 A d a r   E . ,   2 0 1 1 ,   C O N T R O L ;   B l o o m   M ,   1 9 9 8 ,   A C A D   M A N A G E   J ,   V 4 1 ,   P 2 8 3 ,   D O I   1 0 . 2 3 0 7 / 2 5 6 9 0 8 ;   D o r n   C . ,   2 0 1 2 ,   L N C S ,   V 7 5 6 5 ,   P 3 6 2 ;   G a l   Y ,   2 0 1 0 ,   A R T I F   I N T E L L ,   V 1 7 4 ,   P 1 4 6 0 ,   D O I   1 0 . 1 0 1 6 / j . a r t i n t . 2 0 1 0 . 0 9 . 0 0 2 ;   G i l b e r t   N . ,   2 0 0 5 ,   S I M U L A T I O N   S O C I A L   S C ;   H e c k m a n   J . ,   1 9 9 6 ,   A D V   S T U D Y   E N T R E P R E N E ,   V 7 ,   P 1 9 1 ;   K r a u s   S ,   2 0 0 8 ,   A R T I F   I N T E L L ,   V 1 7 2 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . a r t i n t . 2 0 0 7 . 0 5 . 0 0 7 ;   L a f f o n t   J .   J . ,   2 0 0 2 ,   T H E O R Y   I N C E N T I V E S ;   L i t t l e   G . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 4 3 0 9 ,   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 4 1 4 5 ;   M a c a l   C M ,   2 0 0 9 ,   W I N T   S I M U L   C   P R O C ,   P 8 6 ,   D O I   1 0 . 1 1 0 9 / W S C . 2 0 0 9 . 5 4 2 9 3 1 8 ;   M a s o n   W . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   V 1 1 ,   P 7 7 ;   M i l i n s k i   M ,   2 0 0 2 ,   N A T U R E ,   V 4 1 5 ,   P 4 2 4 ,   D O I   1 0 . 1 0 3 8 / 4 1 5 4 2 4 a ;   P r e n d e r g a s t   C ,   1 9 9 9 ,   J   E C O N   L I T ,   V 3 7 ,   P 7 ,   D O I   1 0 . 1 2 5 7 / j e l . 3 7 . 1 . 7 ;   R o c k e n b a c h   B ,   2 0 0 6 ,   N A T U R E ,   V 4 4 4 ,   P 7 1 8 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 5 2 2 9 ;   S c e k i c   O . ,   2 0 1 3 ,   L N C S ,   V 7 9 0 8 ,   P 6 8 8 ,   D O I   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 8 7 0 9 - 8 _ ;   S c e k i c   O ,   2 0 1 3 ,   C O M M U N   A C M ,   V 5 6 ,   P 7 2 ,   D O I   1 0 . 1 1 4 5 / 2 4 6 1 2 5 6 . 2 4 6 1 2 7 5 ;   S c e k i c   O . ,   2 0 1 2 ,   L N C S ,   V 7 4 8 1 ,   P 1 5 0 ;   S e m m a n n   D ,   2 0 0 4 ,   B E H A V   E C O L   S O C I O B I O L ,   V 5 6 ,   P 2 4 8 ,   D O I   1 0 . 1 0 0 7 / s 0 0 2 6 5 - 0 0 4 - 0 7 8 2 - 9 ;   T o k a r c h u k   O ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 4 5 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 6 6 ;   W e d e k i n d   C ,   2 0 0 0 ,   S C I E N C E ,   V 2 8 8 ,   P 8 5 0 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 8 8 . 5 4 6 7 . 8 5 0 ;   W e g n e r   R . ,   2 0 1 2 ,   T H E S I S   U   M A N I T O B A 	 2 1 	 0 	 0 	 S P R I N G E R - V E R L A G   B E R L I N 	 B E R L I N 	 H E I D E L B E R G E R   P L A T Z   3 ,   D - 1 4 1 9 7   B E R L I N ,   G E R M A N Y 	 0 3 0 2 - 9 7 4 3 	 	 9 7 8 - 3 - 6 4 2 - 4 1 0 2 9 - 1 ;   9 7 8 - 3 - 6 4 2 - 4 1 0 3 0 - 7 	 L E C T   N O T E S   C O M P U T   S C 	 	 	 2 0 1 3 	 8 1 8 5 	 	 	 	 	 	 1 6 7 	 1 8 4 	 	 	 	 1 8 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 B J Q 3 0 	 W O S : 0 0 0 3 2 9 6 5 5 3 0 0 0 1 0 	 	 
 S 	 G a o ,   Y ;   M a ,   L ;   L i u ,   W ;   X u ,   Y B ;   L i u ,   Q 	 	 Y a r l a g a d d a ,   P ;   K i m ,   Y H 	 	 G a o ,   Y u a n ;   M a ,   L e i ;   L i u ,   W e i ;   X u ,   Y u b i n ;   L i u ,   Q i a n g 	 	 	 S t u d y   o n   C r o w d s o u r c i n g - C o m p a t i b l e   D i s a s t e r   I n f o r m a t i o n   M a n a g e m e n t   S y s t e m 	 I N D U S T R I A L   I N S T R U M E N T A T I O N   A N D   C O N T R O L   S Y S T E M S   I I ,   P T S   1 - 3 	 A p p l i e d   M e c h a n i c s   a n d   M a t e r i a l s 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 2 n d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   M e a s u r e m e n t ,   I n s t r u m e n t a t i o n   a n d   A u t o m a t i o n   ( I C M I A   2 0 1 3 ) 	 A P R   2 3 - 2 4 ,   2 0 1 3 	 G u i l i n ,   P E O P L E S   R   C H I N A 	 Q u e e n s l a n d   U n i v   T e c h n o l ,   K o r e a   M a r i t i m e   U n i v ,   I n h a   U n i v 	 	 C r o w d s o u r c i n g ;   D i s a s t e r   I n f o r m a t i o n ;   V G I ;   G I S ;   U G C ;   P G C 	 	 W h i l e   c r o w d s o u r c i n g   i s   d e v e l o p e d   a s   a   b u s i n e s s   m o d e l ,   i t   h a s   b e c o m e   a   n e w   m e t h o d   o f   i n f o r m a t i o n   e x c h a n g e   u n d e r   t h e   d e v e l o p m e n t   o f   m o b i l e   I n t e r n e t   a n d   S N S ,   a n d   p r o m o t e d   t h e   m e t h o d   o f   i n f o r m a t i o n   p r o d u c t i o n   a n d   e x c h a n g i n g   o n   I n t e r n e t .   D u r i n g   t h e   p r o c e s s e s   o f   g l o b a l   h u g e   d i s a s t e r   r e l i e f ,   m a s s   o f   i n f o r m a t i o n   r e l e a s e d   b y   n o r m a l   p e o p l e   h a v e   b e e n   u s e d   a n d   p l a y e d   a n   i m p o r t a n t   r o l e .   U s i n g   c r o w d s o u r c i n g   i n   d i s a s t e r   i n f o r m a t i o n   c o l l e c t i o n   c a n   i m p r o v e   t h e   e f f i c i e n c y   o f   r e s c u e .   B a s e d   o n   t h e   a n a l y s i s   o f   c u r r e n t   s t a t u s   o f   d i s a s t e r   i n f o r m a t i o n   c o l l e c t i o n   a n d   c r o w d s o u r c i n g   m o d e l ,   t h i s   p a p e r   s t u d i e d   t h e   c r o w d s o u r c i n g - c o m p a t i b l e   d i s a s t e r   i n f o r m a t i o n   m a n a g e m e n t   s y s t e m ,   i n c l u d i n g   i t s '   c o n t e n t ,   a r c h i t e c t u r e   a n d   f u t u r e   d e v e l o p m e n t   d i r e c t i o n . 	 [ G a o ,   Y u a n ;   L i u ,   W e i ;   L i u ,   Q i a n g ]   C t r   E n g n   D e s i g n   &   R e s   H e a d q u a r t e r s   G e n   E q u i p m e n t ,   B e i j i n g   1 0 0 0 2 0 ,   P e o p l e s   R   C h i n a 	 G a o ,   Y   ( r e p r i n t   a u t h o r ) ,   C t r   E n g n   D e s i g n   &   R e s   H e a d q u a r t e r s   G e n   E q u i p m e n t ,   B e i j i n g   1 0 0 0 2 0 ,   P e o p l e s   R   C h i n a . 	 i m m e r m a @ 1 2 6 . c o m 	 	 	 	 	 F l a n a g i n   A . ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 3 7 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 0 8 - 0 0 8 - 9 1 8 8 - Y ;   G o o d c h i l d   M F ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 3 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 7 5 9 2 5 5 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   S t a r b i r d   K a t e ,   2 0 1 1 ,   C   H U M   F A C T   C O M P   S Y S T ;   Y e   W e i w e i ,   2 0 1 2 ,   S T U D I E S   S C I   S C I ,   V 3 0 ,   P 1 4 5 ;   Z o o k   M . ,   2 0 1 0 ,   W o r l d   M e d i c a l   a n d   H e a l t h   P o l i c y ,   V 2 ,   P 7 ,   D O I   1 0 . 2 2 0 2 / 1 9 4 8 - 4 6 8 2 . 1 0 6 9 	 6 	 0 	 0 	 T R A N S   T E C H   P U B L I C A T I O N S   L T D 	 S T A F A - Z U R I C H 	 L A U B L S R U T I S T R   2 4 ,   C H - 8 7 1 7   S T A F A - Z U R I C H ,   S W I T Z E R L A N D 	 1 6 6 0 - 9 3 3 6 	 	 9 7 8 - 3 - 0 3 7 8 5 - 7 5 1 - 9 	 A P P L   M E C H   M A T E R 	 	 	 2 0 1 3 	 3 3 6 - 3 3 8 	 	 	 	 	 	 2 2 0 7 	 2 2 1 2 	 	 1 0 . 4 0 2 8 / w w w . s c i e n t i f i c . n e t / A M M . 3 3 6 - 3 3 8 . 2 2 0 7 	 	 6 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   E n g i n e e r i n g ,   M e c h a n i c a l ;   I n s t r u m e n t s   &   I n s t r u m e n t a t i o n 	 A u t o m a t i o n   &   C o n t r o l   S y s t e m s ;   E n g i n e e r i n g ;   I n s t r u m e n t s   &   I n s t r u m e n t a t i o n 	 B J J 8 7 	 W O S : 0 0 0 3 2 8 5 2 1 2 0 1 0 9 0 	 	 
 J 	 B h a n a ,   B ;   F l o w e r d a y ,   S ;   S a t t ,   A 	 	 	 	 B h a n a ,   B h a v e e r ;   F l o w e r d a y ,   S t e p h e n ;   S a t t ,   A h a r o n 	 	 	 U s i n g   P a r t i c i p a t o r y   C r o w d s o u r c i n g   i n   S o u t h   A f r i c a   t o   C r e a t e   a   S a f e r   L i v i n g   E n v i r o n m e n t 	 I N T E R N A T I O N A L   J O U R N A L   O F   D I S T R I B U T E D   S E N S O R   N E T W O R K S 	 	 	 E n g l i s h 	 R e v i e w 	 	 	 	 	 	 	 R E P O R T I N G   C R I M E ;   P O L I C E 	 T h e   i n c r e a s e   i n   u r b a n i s a t i o n   i s   m a k i n g   t h e   m a n a g e m e n t   o f   c i t y   r e s o u r c e s   a   d i f f i c u l t   t a s k .   D a t a   c o l l e c t e d   t h r o u g h   o b s e r v a t i o n s   ( u t i l i s i n g   h u m a n s   a s   s e n s o r s )   o f   t h e   c i t y   s u r r o u n d i n g s   c a n   b e   u s e d   t o   i m p r o v e   d e c i s i o n   m a k i n g   i n   t e r m s   o f   m a n a g i n g   t h e s e   r e s o u r c e s .   H o w e v e r ,   t h e   d a t a   c o l l e c t e d   m u s t   b e   o f   a   c e r t a i n   q u a l i t y   i n   o r d e r   t o   e n s u r e   t h a t   e f f e c t i v e   a n d   e f f i c i e n t   d e c i s i o n s   a r e   m a d e .   T h i s   s t u d y   i s   f o c u s e d   o n   t h e   i m p r o v e m e n t   o f   e m e r g e n c y   a n d   n o n e m e r g e n c y   s e r v i c e s   ( c i t y   r e s o u r c e s )   t h r o u g h   t h e   u s e   o f   p a r t i c i p a t o r y   c r o w d s o u r c i n g   ( h u m a n s   a s   s e n s o r s )   a s   a   d a t a   c o l l e c t i o n   m e t h o d   ( c o l l e c t   p u b l i c   s a f e t y   d a t a ) ,   u t i l i s i n g   v o i c e   t e c h n o l o g y   i n   t h e   f o r m   o f   a n   i n t e r a c t i v e   v o i c e   r e s p o n s e   ( I V R )   s y s t e m .   T h i s   s t u d y   p r o p o s e s   p u b l i c   s a f e t y   d a t a   q u a l i t y   c r i t e r i a   w h i c h   w e r e   d e v e l o p e d   t o   a s s e s s   a n d   i d e n t i f y   t h e   p r o b l e m s   a f f e c t i n g   d a t a   q u a l i t y .   T h i s   s t u d y   i s   g u i d e d   b y   d e s i g n   s c i e n c e   m e t h o d o l o g y   a n d   a p p l i e s   t h r e e   d r i v i n g   t h e o r i e s :   t h e   d a t a   i n f o r m a t i o n   k n o w l e d g e   a c t i o n   r e s u l t   ( D I K A R )   m o d e l ,   t h e   c h a r a c t e r i s t i c s   o f   a   s m a r t   c i t y ,   a n d   a   c r e d i b l e   d a t a   q u a l i t y   f r a m e w o r k .   F o u r   c r i t i c a l   s u c c e s s   f a c t o r s   w e r e   d e v e l o p e d   t o   e n s u r e   t h a t   h i g h   q u a l i t y   p u b l i c   s a f e t y   d a t a   i s   c o l l e c t e d   t h r o u g h   p a r t i c i p a t o r y   c r o w d s o u r c i n g   u t i l i s i n g   v o i c e   t e c h n o l o g i e s . 	 [ B h a n a ,   B h a v e e r ;   F l o w e r d a y ,   S t e p h e n ]   U n i v   F t   H a r e ,   D e p t   I n f o r m a t   S y s t ,   Z A - 5 2 0 0   E a s t   L o n d o n ,   S o u t h   A f r i c a ;   [ S a t t ,   A h a r o n ]   I B M   R & D   L a b s   I s r a e l ,   I L - 3 1 9 0 5   H a i f a ,   I s r a e l 	 F l o w e r d a y ,   S   ( r e p r i n t   a u t h o r ) ,   U n i v   F t   H a r e ,   D e p t   I n f o r m a t   S y s t ,   P r i v a t e   B a g   x 9 0 8 3 ,   Z A - 5 2 0 0   E a s t   L o n d o n ,   S o u t h   A f r i c a . 	 s f l o w e r d a y @ u f h . a c . z a 	 	 	 N a t i o n a l   R e s e a r c h   F o u n d a t i o n   ( N R F )   o f   S o u t h   A f r i c a ;   I n t e r n a t i o n a l   B u s i n e s s   M a c h i n e   C o r p o r a t i o n   ( I B M ) ;   G o v a n   M b e k i   R e s e a r c h   a n d   D e v e l o p m e n t   C e n t r e   ( G R M D C ) ;   U n i v e r s i t y   o f   F o r t   H a r e 	 T h i s   w o r k   i s   b a s e d   o n   t h e   r e s e a r c h   s u p p o r t e d   i n   p a r t   b y   t h e   N a t i o n a l   R e s e a r c h   F o u n d a t i o n   ( N R F )   o f   S o u t h   A f r i c a ,   t h e   I n t e r n a t i o n a l   B u s i n e s s   M a c h i n e   C o r p o r a t i o n   ( I B M ) ,   t h e   G o v a n   M b e k i   R e s e a r c h   a n d   D e v e l o p m e n t   C e n t r e   ( G R M D C ) ,   t h e   U n i v e r s i t y   o f   F o r t   H a r e ,   a n d   t h e   c i t i z e n s   o f   E a s t   L o n d o n .   T h e   a u t h o r s   a c k n o w l e d g e   t h a t   t h e   o p i n i o n s ,   f i n d i n g s ,   a n d   c o n c l u s i o n s   e x p r e s s e d   a r e   t h o s e   o f   t h e   a u t h o r s   a n d   t h a t   t h e   N R F ,   I B M ,   G M R D C ,   a n d   U F H   a c c e p t   n o   l i a b i l i t y   w h a t s o e v e r   i n   t h i s   r e g a r d . 	 A b u - H a s a b a l l a h   K ,   2 0 0 7 ,   C O N T E M P   C L I N   T R I A L S ,   V 2 8 ,   P 5 9 3 ,   D O I   1 0 . 1 0 1 6 / j . c c t . 2 0 0 7 . 0 2 . 0 0 7 ;   A g a r w a l   S .   K . ,   2 0 1 1 ,   S P O K E N   W E B   P A R A L L E L ;   A l t   F . ,   2 0 1 0 ,   P   6   N O R D   C   H U M   C O M P ,   P 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 8 9 1 4 . 1 8 6 8 9 2 1 ;   B a r t e l s   A .   H . ,   2 0 0 9 ,   S M A R T   C O M P U T I N G   D R I V ;   C a r a g l i u   A ,   2 0 1 1 ,   J   U R B A N   T E C H N O L ,   V 1 8 ,   P 6 5 ,   D O I   1 0 . 1 0 8 0 / 1 0 6 3 0 7 3 2 . 2 0 1 1 . 6 0 1 1 1 7 ;   C h r i s t i n   D ,   2 0 1 1 ,   J   S Y S T   S O F T W A R E ,   V 8 4 ,   P 1 9 2 8 ,   D O I   1 0 . 1 0 1 6 / j . j s s . 2 0 1 1 . 0 6 . 0 7 3 ;   D a w e s   J . ,   1 9 9 8 ,   M a n a g e m e n t   D e c i s i o n ,   V 3 6 ,   D O I   1 0 . 1 1 0 8 / 0 0 2 5 1 7 4 9 8 1 0 2 2 0 5 6 8 ;   D e s o u r d i s   R .   I . ,   2 0 1 0 ,   A C H I E V I N G   S M A R T   C I T Y ;   E x n e r   J . - P . ,   2 0 1 1 ,   U R B A N   M O N I T O R I N G   L A B ,   P 1 0 8 7 ;   F a r r e l l   R . ,   2 0 1 0 ,   P   4   A C M   R E C   S Y S T   C   R ,   P 3 3 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 4 7 0 8 . 1 8 6 4 7 8 0 ;   F u z i l e   L . ,   2 0 1 1 ,   L O C A L   G O V T   B U D G E T S   E ;   G i f f i n g e r   R . ,   2 0 0 7 ,   S M A R T   C I T I E S   R A N K I N G ;   G r e e f f   M . ,   2 0 0 8 ,   P   2 0 0 8   A N N   R E S   C   S   A ,   P 7 6 ,   D O I   1 0 . 1 1 4 5 / 1 4 5 6 6 5 9 . 1 4 5 6 6 6 9 ;   G r e g o r   S ,   2 0 1 3 ,   M I S   Q U A R T ,   V 3 7 ,   P 3 3 7 ;   H e v n e r   A R ,   2 0 0 4 ,   M I S   Q U A R T ,   V 2 8 ,   P 7 5 ;   K a a r i a i n e n   J ,   2 0 1 1 ,   E U R   J   C R I M I N O L ,   V 8 ,   P 6 5 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 7 3 7 0 8 1 0 3 7 6 5 6 2 ;   L o b o   S . ,   2 0 1 0 ,   P   6   N O R D   C   H U M   C O M P ,   P 7 2 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 8 9 1 4 . 1 8 6 9 0 1 5 ;   L o m b a r d i   P . ,   2 0 1 1 ,   P   I N T   S   A N   H I E R   P R O C ,   P 1 ;   N a m   T . ,   2 0 1 1 ,   P   1 2   A N N   I N T   C   D I G   G ,   P 2 8 2 ;   S o l o m o n   S .   E . ,   2 0 0 3 ,   3 1 1   B U I L D I N G   3   1   1   S ;   S r i v a s t a v a   M ,   2 0 1 2 ,   P H I L O S   T   R   S O C   A ,   V 3 7 0 ,   P 1 7 6 ,   D O I   1 0 . 1 0 9 8 / r s t a . 2 0 1 1 . 0 2 4 4 ;   T a y l o r a   N . ,   2 0 0 2 ,   P O L I C   S O C ,   V 1 3 ,   P 7 9 ,   D O I   1 0 . 1 0 8 0 / 1 0 4 3 9 4 6 0 3 2 0 0 0 0 5 0 5 6 2 ;   V a a t a j a   H . ,   2 0 1 1 ,   P   M O B I L E H C I   1 1 ,   P 4 3 5 ;   W a n g   R .   Y . ,   1 9 9 6 ,   J o u r n a l   o f   M a n a g e m e n t   I n f o r m a t i o n   S y s t e m s ,   V 1 2 ;   W A R D   J . ,   2 0 0 2 ,   S T R A T E G I C   P L A N N I N G   I ;   Y a n g   H . ,   2 0 1 1 ,   P R O C E D I A   C O M P U T E R   S C ,   V 5 ,   P 1 9 0 ;   Z h a n g   L ,   2 0 0 7 ,   C R I M I N O L O G Y ,   V 4 5 ,   P 9 5 9 	 2 7 	 0 	 0 	 H I N D A W I   P U B L I S H I N G   C O R P O R A T I O N 	 N E W   Y O R K 	 4 1 0   P A R K   A V E N U E ,   1 5 T H   F L O O R ,   # 2 8 7   P M B ,   N E W   Y O R K ,   N Y   1 0 0 2 2   U S A 	 1 5 5 0 - 1 3 2 9 	 1 5 5 0 - 1 4 7 7 	 	 I N T   J   D I S T R I B   S E N S   N 	 I n t .   J .   D i s t r i b .   S e n s .   N e t w . 	 	 2 0 1 3 	 	 	 	 	 	 	 	 	 9 0 7 1 9 6 	 1 0 . 1 1 5 5 / 2 0 1 3 / 9 0 7 1 9 6 	 	 1 3 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 2 6 6 Z K 	 W O S : 0 0 0 3 2 8 0 6 3 1 0 0 0 0 1 	 	 
 B 	 U c h o a ,   A P ;   E s t e v e s ,   M G P ;   d e   S o u z a ,   J M 	 	 S h e n ,   W ;   L i ,   W ;   B a r t h e s ,   J P ;   L u o ,   J ;   Z h u ,   H ;   Y o n g ,   J ;   L i ,   X 	 	 U c h o a ,   A l e x a n d r e   P . ;   E s t e v e s ,   M a r i a   G i l d a   P . ;   d e   S o u z a ,   J a n o   M . 	 	 	 M i x 4 C r o w d s - T o w a r d   a   F r a m e w o r k   t o   D e s i g n   C r o w d   C o l l a b o r a t i o n   w i t h   S c i e n c e 	 P R O C E E D I N G S   O F   T H E   2 0 1 3   I E E E   1 7 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C O M P U T E R   S U P P O R T E D   C O O P E R A T I V E   W O R K   I N   D E S I G N   ( C S C W D ) 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r   S u p p o r t e d   C o o p e r a t i v e   W o r k   i n   D e s i g n 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   1 7 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r   S u p p o r t e d   C o o p e r a t i v e   W o r k   i n   D e s i g n   ( C S C W D ) 	 J U N   2 7 - 2 9 ,   2 0 1 3 	 W h i s t l e r ,   C A N A D A 	 I E E E ,   I n t   W o r k i n g   G r p   C o m p   S u p p o r t e d   C o o p e r a t   W o r k   D e s i g n ,   I E E E   S y s t ,   M a n ,   &   C y b e r n e t   S o c 	 	 p u b l i c   e n g a g e m e n t ;   m a s s   c o l l a b o r a t i o n ;   m a r k e t i n g   m i x ;   c r o w d s o u r c i n g ;   c i t i z e n   s c i e n c e ;   c r o w d w a r e 	 	 C i t i z e n   S c i e n c e   p r o j e c t s   a r e   c h a r a c t e r i z e d   b y   m a s s   c o l l a b o r a t i o n   o f   o r d i n a r y   c i t i z e n s   w i t h   s c i e n t i f i c   r e s e a r c h .   T h e   a d v e n t   o f   n e w   c r o w d w a r e   t e c h n o l o g i e s   a n d   t h e   e a s e   o f   a c c e s s   m a d e   p o s s i b l e   b y   t h e   I n t e r n e t   a r e   r e s h a p i n g   t h e   w a y   p e o p l e   a n d   s c i e n t i f i c   o r g a n i z a t i o n s   w o r k   t o g e t h e r .   H o w e v e r ,   t h e   p a r t i c u l a r   n a t u r e   o f   t h i s   f o r m   o f   c o l l a b o r a t i o n   r e q u i r e s   a   t a i l o r e d   a p p r o a c h   t h a t   i n c r e a s e s   t h e   c h a n c e s   o f   a l l   i n v o l v e d   p a r t i e s   m e e t   t h e i r   e x p e c t a t i o n s   a n d   a c h i e v e   t h e i r   g o a l s .   W e   p r o p o s e   a   c o n c e p t u a l   f r a m e w o r k   t o   h e l p   C i t i z e n   S c i e n c e   e n t e r p r i s e s   i n   c o n c e i v i n g   t h e i r   c r o w d s o u r c i n g   s t r a t e g y   a n d   d e s i g n i n g   t h e i r   c o l l a b o r a t i o n   s y s t e m s .   I t   d e p a r t s   f r o m   b a s i c   p r i n c i p l e s   o f   t r a d i t i o n a l   m a r k e t i n g   m o d e l s   a n d   i n c o r p o r a t e s   t h e   s p e c i f i c   r e q u i r e m e n t s   o f   t h i s   i n c r e a s i n g l y   p o p u l a r   b u t   a l s o   c o m p l e x   f o r m   o f   w e b - b a s e d   c o l l a b o r a t i v e   w o r k . 	 [ U c h o a ,   A l e x a n d r e   P . ;   E s t e v e s ,   M a r i a   G i l d a   P . ;   d e   S o u z a ,   J a n o   M . ]   U n i v   F e d   R i o   d e   J a n e i r o ,   G r a d   S c h   E n g n   U F R J ,   P E S C   C O P P E ,   R i o   D e   J a n e i r o ,   R J ,   B r a z i l 	 U c h o a ,   A P   ( r e p r i n t   a u t h o r ) ,   U n i v   F e d   R i o   d e   J a n e i r o ,   G r a d   S c h   E n g n   U F R J ,   P E S C   C O P P E ,   R i o   D e   J a n e i r o ,   R J ,   B r a z i l . 	 a u c h o a @ c o s . u f r j . b r ;   g i l d a @ c o s . u f r j . b r ;   j a n o @ c o s . u f r j . b r 	 	 	 	 	 A l a b r i   A ,   2 0 1 0 ,   E - S c i e n c e   2 0 1 0 .   P r o c e e d i n g s   6 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   E - S c i e n c e   ( E - S c i e n c e   2 0 1 0 ) ,   D O I   1 0 . 1 1 0 9 / e S c i e n c e . 2 0 1 0 . 3 3 ;   B o n n e y   R . ,   2 0 0 9 ,   P U B L I C   P A R T I C I P A T I O N ;   B o r d e n   N .   H . ,   1 9 9 0 ,   M A R K E T I N G   C L A S S I C ,   P 4 2 1 ;   B r y a n t   S .   L . ,   B E C O M I N G   W I K I P E D I A N ;   B u e c h e l e r   T . ,   2 0 1 0 ,   P   A L   1 2   C   O D   D E N M ,   P 6 7 9 ;   B u t t e r f i e l d   S . ,   2 0 0 3 ,   S O C I A L   S O F T W A R E ;   D r u c k e r   P . ,   1 9 9 3 ,   M A N A G E M E N T   T A S K S   R E S ;   E r i c k s o n   T . ,   C H I   2 0 1 1   W O R K S H   C R O W ;   G e i g e r   D . ,   2 0 1 1 ,   2 2   A U S T R   C   I N F   S Y S T ;   J e r o m e   E . ,   1 9 8 6 ,   B A S I C   M A R K E T I N G ;   K o t l e r   P . ,   1 9 9 0 ,   M A R K E T I N G   M A N A G E M E N T ;   W e n g e r   E t i e n n e ,   1 9 9 1 ,   S I T U A T E D   L E A R N I N G   L E ;   N o v   O . ,   2 0 1 1 ,   P   5   I N T   A A A I   C   W E B L ,   P 2 4 9 ;   N o v   O . ,   2 0 1 0 ,   A C M   C S C W   2 0 1 0   W O R K S H ;   P a n t   R .   B . ,   2 0 0 9 ,   S O C I A L   M E D I A   M A R K E T I ;   P e n i n   J . ,   2 0 1 1 ,   J   I N N O V A T I O N   E C   D E   B ,   V 1 ,   P 1 1 ;   P r e s t o p n i k   N . ,   2 0 1 1 ,   C I T I Z E N   S C I   S Y S T E M   A ;   P r i l l a   M . ,   2 0 1 0 ,   C S C W   W E B   2   0   E U R O P E A ;   R a d d i c k   M .   J . ,   P O S I T I O N   P A P E R S ;   R o t m a n   D . ,   2 0 1 2 ,   D Y N A M I C   C H A N G E S   M O T I ,   P 2 1 7 ;   S c h n e i d e r   D .   S . ,   2 0 1 2 ,   C S C W D   2 0 1 2   I E E E ,   P 6 3 4 ;   S c h u l l z   D .   E . ,   1 9 9 6 ,   N E W   M A R K E T I N G   P A R A D I ;   T a y l o r   I . ,   2 0 0 8 ,   W H Y   S O C I A L   M E D I A   S H O ;   W a i s   P . ,   2 0 1 0 ,   N I P S   W O R K S H   C O M P   S O C ;   W e b b   M . ,   2 0 0 4 ,   S O C I A L   S O F T W A R E ;   W e n g e r   E . ,   1 9 9 8 ,   C O M M U N I T I E S   P R A C T I C E ;   W e n g e r   E . ,   2 0 0 2 ,   7   P R I N C I P L E S   C U L T I V A ;   W i g g i n s   A . ,   2 0 1 2 ,   P   4   5   H A W   I N T   C   S Y S T ;   W i g g i n s   A n d r e a ,   2 0 1 0 ,   I n t e r n a t i o n a l   J o u r n a l   o f   O r g a n i s a t i o n a l   D e s i g n   a n d   E n g i n e e r i n g ,   V 1 ,   D O I   1 0 . 1 5 0 4 / I J O D E . 2 0 1 0 . 0 3 5 1 9 1 ;   W i g g i n s   A . ,   2 0 1 1 ,   E S C I E N C E   2 0 1 1   W O R K S H ;   W i k i p e d i a ,   W E B   2   0 ;   W i k i p e d i a ,   C O M M   B A S   P E E R   P R O D ;   W o o l l e y   A W ,   2 0 1 0 ,   S C I E N C E ,   V 3 3 0 ,   P 6 8 6 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 9 3 1 4 7 	 3 3 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 6 0 8 5 - 2 ;   9 7 8 - 1 - 4 6 7 3 - 6 0 8 4 - 5 	 I N T   C   C O M P   S U P P   C O O P 	 	 	 2 0 1 3 	 	 	 	 	 	 	 6 1 	 6 6 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B H Y 1 4 	 W O S : 0 0 0 3 2 6 9 8 2 3 0 0 0 1 3 	 	 
 B 	 O l i v e i r a ,   J ;   S i l v a ,   A ;   F r a n c k i n i ,   R 	 	 S h e n ,   W ;   L i ,   W ;   B a r t h e s ,   J P ;   L u o ,   J ;   Z h u ,   H ;   Y o n g ,   J ;   L i ,   X 	 	 O l i v e i r a ,   J o n i c e ;   S i l v a ,   A n d r e s s a ;   F r a n c k i n i ,   R a p h a e l 	 	 	 C o l l a b o r a t i v e   I n f o r m a t i o n   G a t h e r i n g   a n d   R e c o m m e n d a t i o n   U s i n g   M o b i l e   C o m p u t i n g   C r o w d s o u r c i n g   t o   I m p r o v e   W o r k s p a c e   -   A n   E x a m p l e   i n   a   B r a z i l i a n   U n i v e r s i t y 	 P R O C E E D I N G S   O F   T H E   2 0 1 3   I E E E   1 7 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C O M P U T E R   S U P P O R T E D   C O O P E R A T I V E   W O R K   I N   D E S I G N   ( C S C W D ) 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r   S u p p o r t e d   C o o p e r a t i v e   W o r k   i n   D e s i g n 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   1 7 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r   S u p p o r t e d   C o o p e r a t i v e   W o r k   i n   D e s i g n   ( C S C W D ) 	 J U N   2 7 - 2 9 ,   2 0 1 3 	 W h i s t l e r ,   C A N A D A 	 I E E E ,   I n t   W o r k i n g   G r p   C o m p   S u p p o r t e d   C o o p e r a t   W o r k   D e s i g n ,   I E E E   S y s t ,   M a n ,   &   C y b e r n e t   S o c 	 	 C S C W ;   R e c o m m e n d e r   S y s t e m s ;   C o n t e x t   m o d e l i n g ;   M o b i l e   C o m p u t i n g ;   K n o w l e d g e   M a n a g e m e n t ;   S o c i a l   N e t w o r k s 	 	 T h e   i n c r e a s i n g   a d o p t i o n   o f   m o b i l e   d e v i c e s   c a n   i m p r o v e   t h e   c o l l a b o r a t i v e   p a r t i c i p a t i o n ,   e s p e c i a l l y   i n   d a t a   a c q u i r i n g ,   o f   p e o p l e   i n   t h e i r   s p a c e :   w h e r e   t h e y   l i v e   o r   w h e r e   t h e y   w o r k .   B a s e d   i n   t h i s   k i n d   o f   c r o w d s o u r c i n g ,   w e   c r e a t e   a   p r o p o s a l   f o r   T h e   F e d e r a l   U n i v e r s i t y   o f   R i o   d e   J a n e i r o   ( U F R J ) ,   s p e c i a l l y   i t s   c a m p u s   o f   " I l h a   d o   F u n d a o "   ( F u n d a o   I s l a n d ) ,   w h i c h   h a s   a   f r a g m e n t e d   c u l t u r e   s i n c e   i t s   o r i g i n .   N o w a d a y s ,   i t   i s   s t i l l   p o s s i b l e   t o   f i n d   n o t   o n l y   a   g e o g r a p h i c a l   d i s t a n c e ,   b u t   a l s o   i n f o r m a t i o n a l   d i s a g g r e g a t i o n   a n d   w a s t e   o f   r e s o u r c e s   a n d   o p p o r t u n i t i e s .   I n   o r d e r   t o   m i n i m i z e   t h e s e   p r o b l e m s ,   a s   w e l l   m o t i v a t i n g   t h e   c o l l a b o r a t i v e   w o r k ,   w e   c r e a t e   a n   a p p r o a c h   u s i n g   m o b i l e   c o m p u t i n g ,   c a l l e d   U F R J   S o c i a l .   T h e   m a i n   i d e a   i s   t h a t   t h e   c r o w d   ( s t u d e n t s ,   p r o f e s s o r ,   e m p l o y e r s ,   v i s i t o r s   a n d   a n y o n e   w h o   s t a y   i n   t h e   c a m p u s )   c a n   p r o v i d e   i n f o r m a t i o n   o r   o p i n i o n s   o f   a n y   p l a c e   ( i n f r a s t r u c t u r e ,   e v e n t s ,   c l a s s e s ,   b u s   s t a t i o n s   a n d   o t h e r s ) .   T h i s   a p p l i c a t i o n   i s   c o n t e x t - s e n s i t i v e ,   a n d   u s e r s   c a n   r e c e i v e   r e c o m m e n d a t i o n s   b y   t h e i r   g e o g r a p h i c a l   l o c a t i o n   a n d   i n t e r e s t s .   T h i s   a p p r o a c h   w a s   e v a l u a t e d   i n   a   s t u d y   c a s e   a n d   t h e   r e s u l t s   w e r e   p o s i t i v e .   I n   t h i s   p a p e r   w e   a l s o   a n a l y z e   h o w   t h i s   a p p r o a c h   c a n   b e   e x t e n d e d   i n   o t h e r   s c e n a r i o s . 	 [ O l i v e i r a ,   J o n i c e ]   U n i v   F e d   R i o   d e   J a n e i r o   U F R J ,   G r a d   P r o g r a m   I n f o r m a t   P P G I ,   R i o   D e   J a n e i r o ,   B r a z i l 	 O l i v e i r a ,   J   ( r e p r i n t   a u t h o r ) ,   U n i v   F e d   R i o   d e   J a n e i r o   U F R J ,   G r a d   P r o g r a m   I n f o r m a t   P P G I ,   R i o   D e   J a n e i r o ,   B r a z i l . 	 j o n i c e @ d c c . u f r j . b r ;   d d r e s s a . s i l v a @ g m a i l . c o m ;   r a p h a e l . f r a n c k i n i @ g m a i l . c o m 	 	 	 	 	 [ A n o n y m o u s ] ,   2 0 1 1 ,   G O O G L E   P L A C E S ;   E L L I S   C A ,   1 9 9 1 ,   C O M M U N   A C M ,   V 3 4 ,   P 3 8 ;   E s t e l l e s   A r o l a s   E . ,   2 0 1 2 ,   J   I N F O R M   S C   I N   P R E S S ;   G r o s s   T . ,   2 0 0 3 ,   A W A R E N E S S   C O N T E X T ,   P 1 4 ;   H o w e   J ,   2 0 0 6 ,   R I S E   C R O W D S O U R C I N G ;   M a n t e i g a   R . ,   G E O B U D D I E S   C O L L A B O R A 	 6 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 6 0 8 5 - 2 ;   9 7 8 - 1 - 4 6 7 3 - 6 0 8 4 - 5 	 I N T   C   C O M P   S U P P   C O O P 	 	 	 2 0 1 3 	 	 	 	 	 	 	 6 7 	 7 1 	 	 	 	 5 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B H Y 1 4 	 W O S : 0 0 0 3 2 6 9 8 2 3 0 0 0 1 4 	 	 
 B 	 G o m e s ,   C ;   S c h n e i d e r ,   D ;   d e   S o u z a ,   J ;   X e x e o ,   G 	 	 S h e n ,   W ;   L i ,   W ;   B a r t h e s ,   J P ;   L u o ,   J ;   Z h u ,   H ;   Y o n g ,   J ;   L i ,   X 	 	 G o m e s ,   C a r l o s ;   S c h n e i d e r ,   D a n i e l ;   d e   S o u z a ,   J a n o ;   X e x e o ,   G e r a l d o 	 	 	 C a s s i n o   M u s i c a l :   A   G a m e   w i t h   a   P u r p o s e   f o r   S o c i a l   R e c r u i t m e n t   a n d   M e a s u r e m e n t   o f   M u s i c a l   T a l e n t 	 P R O C E E D I N G S   O F   T H E   2 0 1 3   I E E E   1 7 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C O M P U T E R   S U P P O R T E D   C O O P E R A T I V E   W O R K   I N   D E S I G N   ( C S C W D ) 	 I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r   S u p p o r t e d   C o o p e r a t i v e   W o r k   i n   D e s i g n 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 I E E E   1 7 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r   S u p p o r t e d   C o o p e r a t i v e   W o r k   i n   D e s i g n   ( C S C W D ) 	 J U N   2 7 - 2 9 ,   2 0 1 3 	 W h i s t l e r ,   C A N A D A 	 I E E E ,   I n t   W o r k i n g   G r p   C o m p   S u p p o r t e d   C o o p e r a t   W o r k   D e s i g n ,   I E E E   S y s t ,   M a n ,   &   C y b e r n e t   S o c 	 	 m a s s   c o l l a b o r a t i o n ;   c r o w d s o u r c i n g   f o r   m u s i c ;   g a m e s   w i t h   a   p u r p o s e ;   c r o w d   c o m p u t i n g ;   w i s d o m   o f   c r o w d ;   s o c i a l   r e c r u i t m e n t 	 	 I d e n t i f y i n g   a n d   m e a s u r i n g   a   m u s i c a l   t a l e n t   i s   n o t   a   s i m p l e   t a s k   t h a t   c o u l d   b e   p e r f o r m e d   b y   c o m p u t e r s .   I n   a d d i t i o n   t o   t h e   t e c h n i c a l   c h a l l e n g e s ,   i t   a l s o   i n v o l v e s   s o c i a l ,   e m o t i o n a l   a n d   c u l t u r a l   i s s u e s .   T h i s   p r o b l e m   i s   a g g r a v a t e d   w h e n   t h e   t a s k   n e e d s   t o   b e   p e r f o r m e d   t a k i n g   a s   i n p u t   t h e   h u g e   a m o u n t   o f   m u s i c   c o n t e n t   a v a i l a b l e   o n   t h e   I n t e r n e t   t o d a y .   I n   t h i s   p a p e r   w e   r e p o r t   w o r k   i n   p r o g r e s s   o n   a   s o c i a l   i n t e r a c t i v e   G a m e   w i t h   a   P u r p o s e   u s i n g   f u n   a s   a   k e y   m o t i v a t i o n a l   f a c t o r   t o   a s s i s t   i n   r e c r u i t m e n t   a n d   m e a s u r e m e n t   o f   m u s i c a l   t a l e n t . 	 [ G o m e s ,   C a r l o s ;   S c h n e i d e r ,   D a n i e l ;   d e   S o u z a ,   J a n o ;   X e x e o ,   G e r a l d o ]   U n i v   F e d   R i o   d e   J a n e i r o ,   G r a d   S c h   E n g n ,   P E S C   C O P P E   U F R J ,   B R - 2 1 9 4 1   R i o   D e   J a n e i r o ,   B r a z i l 	 G o m e s ,   C   ( r e p r i n t   a u t h o r ) ,   U n i v   F e d   R i o   d e   J a n e i r o ,   G r a d   S c h   E n g n ,   P E S C   C O P P E   U F R J ,   B R - 2 1 9 4 1   R i o   D e   J a n e i r o ,   B r a z i l . 	 c a r l o s g o m e s @ c o s . u f r j . b r ;   s c h n e i d e r @ c o s . u f r j . b r ;   j a n o @ c o s . u f r j . b r ;   x e x e o @ c o s . u f r j . b r 	 	 	 	 	 A m a r a l   A . ,   2 0 0 9 ,   R E V   C O N T R A C A M P O ,   P 1 4 7 ;   A n d e r s o n   C . ,   2 0 0 4 ,   B U S I N E S S   B O O K S ;   B a r r i n g t o n   L . ,   2 0 0 9 ,   P   2 0 0 9   A C M   S I G K D D   W O ,   P 7 ,   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 5 2 ;   B r o w n   B . ,   2 0 0 9 ,   P   2 7   I N T   C   H U M   F A C T ,   P 4 7 5 5 ,   D O I   1 0 . 1 1 4 5 / 1 5 2 0 3 4 0 . 1 5 2 0 7 3 3 ;   C a v e s   R .   E ,   2 0 0 0 ,   C R E A T I V E   I N D   C O N T R A C ;   C h a n d r a s e k a r   R . ,   2 0 1 0 ,   P   S I G K D D   H C O M P ;   C o o p e r   S . ,   2 0 1 0 ,   P   5   I N T   C   F D N   D I G   G A ,   V 1 0 ,   P 4 0 ;   G o m e s   C . ,   2 0 1 2 ,   2 0 1 2   I E E E   I N T   C   S Y S T ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   P O W E R ;   K n o w l e s   J .   D . ,   2 0 0 7 ,   S U R V E Y   W E B   2   0   M U S I C ;   L a w   E .   L .   M . ,   2 0 0 7 ,   P   I S M I R   V I E N N   A U S T R ;   M a n d e l   M ,   2 0 0 8 ,   J   N E W   M U S I C   R E S ,   V 3 7 ,   P 1 5 1 ,   D O I   1 0 . 1 0 8 0 / 0 9 2 9 8 2 1 0 8 0 2 4 7 9 3 0 0 ;   Q u i n n   A . J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   S c h n e i d e r   D . ,   2 0 1 1 ,   S B S C   C R I W G   8   S   B R A S ,   P 2 4 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T e r v i o   M ,   2 0 0 9 ,   R E V   E C O N   S T U D ,   V 7 6 ,   P 8 2 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 7 X . 2 0 0 8 . 0 0 5 2 2 . x ;   T u r n b u l l   D . ,   2 0 0 7 ,   8   I N T   C   M U S   I N F   R E T R ;   V o l z   I .   P . ,   2 0 0 6 ,   P   1 5   I N T   C   W O R L D   W I D ,   P 6 5 9 ,   D O I   1 0 . 1 1 4 5 / 1 1 3 5 7 7 7 . 1 1 3 5 8 7 4 ;   v o n   A h n   L . ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   v o n   A h n   L ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   P 9 2 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   W a r r   R . ,   2 0 1 1 ,   J   R E T A I L I N G   C O N S U M E R ,   V 1 8 ,   P 1 2 6 ,   D O I   1 0 . 1 0 1 6 / j . j r e t c o n s e r . 2 0 1 0 . 1 2 . 0 0 8 ;   W I K I P E D I A ,   C O M P   S O C ;   Y o u n g m o o   E   K i m ,   2 0 0 8 ,   P   I N T   C   M U S   I N F   R E T R ,   P 2 3 1 	 2 4 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 6 0 8 5 - 2 ;   9 7 8 - 1 - 4 6 7 3 - 6 0 8 4 - 5 	 I N T   C   C O M P   S U P P   C O O P 	 	 	 2 0 1 3 	 	 	 	 	 	 	 5 9 3 	 5 9 8 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B H Y 1 4 	 W O S : 0 0 0 3 2 6 9 8 2 3 0 0 1 0 1 	 	 
 B 	 V u k o v i c ,   M ;   L a r e d o ,   J ;   R u a n ,   Y P ;   H e r n a n d e z ,   M ;   R a j a g o p a l ,   S 	 	 D e T u r c k ,   F ;   D i a o ,   Y ;   H o n g ,   C S ;   M e d h i ,   D ;   S a d r e ,   R 	 	 V u k o v i c ,   M a j a ;   L a r e d o ,   J i m ;   R u a n ,   Y a o p i n g ;   H e r n a n d e z ,   M i l t o n ;   R a j a g o p a l ,   S r i r a m 	 	 	 A s s e s s i n g   S e r v i c e   D e p l o y m e n t   R e a d i n e s s   u s i n g   E n t e r p r i s e   C r o w d s o u r c i n g 	 2 0 1 3   I F I P / I E E E   I N T E R N A T I O N A L   S Y M P O S I U M   O N   I N T E G R A T E D   N E T W O R K   M A N A G E M E N T   ( I M   2 0 1 3 ) 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 3 t h   I F I P / I E E E   I n t e r n a t i o n a l   S y m p o s i u m   o n   I n t e g r a t e d   N e t w o r k   M a n a g e m e n t   ( I M ) 	 M A Y   2 7 - 3 1 ,   2 0 1 3 	 G h e n t ,   B E L G I U M 	 I F I P ,   I E E E ,   U n i v   G e n t ,   i M i n d s ,   O r a n g e ,   C i s c o ,   A l c a t e l   L u c e n t ,   I B M ,   S a m s u n g ,   I E E E   C o m m u n   S o c ,   I F I P   W o r k i n g   G r p   6   6 	 	 S e r v i c e   D e l i v e r y ;   D e p l o y m e n t ;   C r o w d s o u r c i n g 	 	 S e r v i c e   d e l i v e r y   c e n t e r s   a r e   s h a r e d   h o s t i n g   e n v i r o n m e n t s   w h e r e   a   v a r i e t y   o f   t y p e s   o f   I T   s y s t e m s   a n d   a p p l i c a t i o n s   f o r   m u l t i p l e   c u s t o m e r s   a r e   m a n a g e d .   M u l t i p l e   a s p e c t s   a f f e c t   t h e   d e p l o y m e n t   i n   s h a r e d   e n v i r o n m e n t s ,   i n c l u d i n g   a p p l i c a t i o n s   s u p p o r t e d ,   n e t w o r k   t o p o l o g y ,   s e c u r i t y   r e q u i r e m e n t s ,   e t c . ,   k n o w l e d g e   o f   w h i c h   i s   d i s t r i b u t e d   a c r o s s   m u l t i p l e   d e l i v e r y   e x p e r t s .   A n   a c c u r a t e   s n a p s h o t   o f   t h e   d e l i v e r y   e n v i r o n m e n t   i s   a   k e y   f a c t o r   f o r   s u c c e s s f u l   d e p l o y m e n t   o f   n e w   s e r v i c e   o f f e r i n g s .   E n t e r p r i s e   c r o w d s o u r c i n g   i s   a   p r o c e s s   w h e r e   a   g r o u p   o f   n e t w o r k - c o n n e c t e d   e x p e r t s   s o l v e   p r o b l e m s .   W e   e m p l o y   e n t e r p r i s e   c r o w d s o u r c i n g   t o   e n g a g e   2 5 0   s e r v i c e   d e l i v e r y   e x p e r t s   t o   f a c i l i t a t e   e a r l y   d i s c o v e r y   o f   k e y   i n f o r m a t i o n   a b o u t   1 3 0 0   c u s t o m e r s '   e n v i r o n m e n t s ,   a s   p a r t   o f   t h e   d e p l o y m e n t   o f   a   n o v e l   i d e n t i t y   a c c e s s   m a n a g e m e n t   s e r v i c e .   W e   p r o p o s e   a   m o d e l   f o r   d e p l o y m e n t   c o m p l e x i t i e s ,   a n d   u s e   t h e   d i s c o v e r e d   k n o w l e d g e   t o   e x p o s e   t h e   s e r v i c e   d e p l o y m e n t   c o m p l e x i t i e s .   W e   d i s c u s s   h o w   o u r   a p p r o a c h   e f f i c i e n t l y   d e a l s   w i t h   r e q u i r e m e n t s   a n d   i n f r a s t r u c t u r e   d e t e c t i o n   a n d   h o w   i t   q u a n t i f i e s   r e a d i n e s s   o f   s e r v i c e   d e p l o y m e n t . 	 [ V u k o v i c ,   M a j a ;   L a r e d o ,   J i m ;   R u a n ,   Y a o p i n g ;   H e r n a n d e z ,   M i l t o n ]   I B M   T J   W a t s o n   R e s   C t r ,   H a w t h o r n e ,   N Y   U S A 	 V u k o v i c ,   M   ( r e p r i n t   a u t h o r ) ,   I B M   T J   W a t s o n   R e s   C t r ,   H a w t h o r n e ,   N Y   U S A . 	 m a j a @ u s . i b m . c o m ;   l a r e d o j @ u s . i b m . c o m ;   y a o p i n g . r u a n @ u s . i b m . c o m ;   m i l t o n h @ u s . i b m . c o m ;   s r i r r a j a @ i n . i b m . c o m 	 	 	 	 	 B h a s k a r a n   K . ,   P   N E T W   O P   M A N   S   N O M S ;   B o s e   A . ,   2 0 0 8 ,   I E E E   I N T   C   S E R V   C O M P ;   C o u c h   A . ,   2 0 0 5 ,   P   1 9   L A R G   I N S T   S Y S T ;   D i a o   Y X ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 2 6 9 ,   P 6 1 ,   D O I   1 0 . 1 0 0 7 / 1 1 9 0 7 4 6 6 _ 6 ;   L a r e d o   J . ,   2 0 1 1 ,   P   I N T   C   S E R V   O R   C O M P ;   P a t t e r s o n   D . ,   2 0 0 2 ,   P   1 6   L A R G   I N S T   S Y S T ;   V u k o v i c   M . ,   2 0 1 1 ,   I E E E   S E R V   C O M P   C   S C C 	 7 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 3 - 9 0 1 8 8 2 - 5 1 - 7 ;   9 7 8 - 1 - 4 6 7 3 - 5 2 2 9 - 1 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 9 8 4 	 9 8 9 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B I A 7 0 	 W O S : 0 0 0 3 2 7 1 5 9 9 0 0 1 5 7 	 	 
 B 	 O l s o n ,   K C ;   K a r v e t s k i ,   C W 	 	 G l a s s ,   K ;   C o l b a u g h ,   R ;   S a n f i l l i p p o ,   A ;   K a o ,   A ;   G a b b a y ,   M ;   C o r l e y ,   C ;   L i ,   J ;   K h a n ,   L ;   W y n n e ,   A ;   C o o t e ,   L ;   M a o ,   W ;   Z e n g ,   D ;   Y a g h o o b i ,   A 	 	 O l s o n ,   K e n n e t h   C . ;   K a r v e t s k i ,   C h r i s t o p h e r   W . 	 	 	 I m p r o v i n g   E x p e r t   J u d g m e n t   b y   C o h e r e n c e   W e i g h t i n g 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   I N T E L L I G E N C E   A N D   S E C U R I T Y   I N F O R M A T I C S :   B I G   D A T A ,   E M E R G E N T   T H R E A T S ,   A N D   D E C I S I O N - M A K I N G   I N   S E C U R I T Y   I N F O R M A T I C S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 1 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e l l i g e n c e   a n d   S e c u r i t y   I n f o r m a t i c s   ( I E E E   I S I ) 	 J U N   0 4 - 0 7 ,   2 0 1 3 	 S e a t t l e ,   W A 	 I E E E ,   I E E E   I n t e l l i g e n t   T r a n s p o r t a t   S y s t   S o c ,   I n t e l l i g e n c e   A d v   R e s   P r o j e c t s   A c t 	 P a c i f i c   N W   N a t l   L a b 	 p r o b a b i l i s t i c   c o h e r e n c e ;   c r o w d s o u r c i n g ;   l i n e a r   o p i n i o n   p o o l 	 	 T h i s   p a p e r   e x t e n d s   p r e v i o u s   e f f o r t s   t o   i n c r e a s e   a c c u r a c y   o f   p r o b a b i l i t y   e s t i m a t e s   b y   w e i g h t i n g   m u l t i p l e   p r o b a b i l i s t i c   j u d g m e n t s   a c c o r d i n g   t o   t h e i r   c o h e r e n c e .   T h e   e x p e r i m e n t   w e   r e p o r t   i n v o l v e s   e l i c i t a t i o n   o f   p r o b a b i l i t y   e s t i m a t e s   t h a t   b e l o n g   t o   s e t s   i n   w h i c h   o n l y   o n e   p r o b a b i l i t y   i s   o f   p r i m a r y   i n t e r e s t ;   t h e   o t h e r   e s t i m a t e s   s e r v e   t o   m e a s u r e   t h e   i n d i v i d u a l   j u d g e s '   c o h e r e n c e   w i t h i n   s e t s .   O u r   m e t h o d   s h o w s   t h a t   a s k i n g   f o r   o n l y   t w o   a d d i t i o n a l   j u d g m e n t s   c a n   a c h i e v e   s i g n i f i c a n t   i n c r e a s e s   i n   a c c u r a c y   o v e r   a   s i m p l e   l i n e a r   a v e r a g e .   I n   t h e   a g g r e g a t i o n ,   w e   a d j u s t   t h e   j u d g m e n t s   t o   b e   c o h e r e n t   a n d   g i v e   m o r e   w e i g h t   t o   j u d g m e n t s   t h a t   r e q u i r e   l e s s   a d j u s t m e n t . 	 [ O l s o n ,   K e n n e t h   C . ;   K a r v e t s k i ,   C h r i s t o p h e r   W . ]   G e o r g e   M a s o n   U n i v ,   D e p t   A p p l   I n f o r m a t   T e c h n o l ,   F a i r f a x ,   V A   2 2 0 3 0   U S A 	 O l s o n ,   K C   ( r e p r i n t   a u t h o r ) ,   G e o r g e   M a s o n   U n i v ,   D e p t   A p p l   I n f o r m a t   T e c h n o l ,   F a i r f a x ,   V A   2 2 0 3 0   U S A . 	 k o l s o n 8 @ g m u . e d u 	 	 	 	 	 B r i e r   G . W . ,   1 9 5 0 ,   M O N T H L Y   W E A T H E R   R E V I ,   V 7 8 ,   P 1 ,   D O I   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 9 3 ( 1 9 5 0 ) 0 7 8 < 0 0 0 1 : V O F E I T > 2 . 0 . C O ; 2 ;   B r u i n e   d e   B r u i n   W . ,   2 0 0 2 ,   R I S K   A N A L ,   V 2 2 ,   P 7 1 3 ;   B u r g m a n   M A ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   P 1 ;   C l e m e n   R T ,   1 9 9 9 ,   R I S K   A N A L ,   V 1 9 ,   P 1 8 7 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 0 6 9 1 7 5 0 9 5 6 0 ;   C o o k e   R .   M . ,   1 9 9 1 ,   E X P E R T S   U N C E R T A I N T Y ;   C o o k e   R M ,   2 0 0 8 ,   R E L I A B   E N G   S Y S T   S A F E ,   V 9 3 ,   P 6 5 7 ,   D O I   1 0 . 1 0 1 6 / j . r e s s . 2 0 0 7 . 0 3 . 0 0 5 ;   D e   F i n e t t i   B ,   1 9 9 0 ,   T H E O R Y   P R O B A B I L I T Y   C ;   H e r z o g   S M ,   2 0 0 9 ,   P S Y C H O L   S C I ,   V 2 0 ,   P 2 3 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 2 8 0 . 2 0 0 9 . 0 2 2 7 1 . x ;   L a r r i c k   R P ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 1 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 5 0 . 0 4 5 9 ;   M a n d e l   D R ,   2 0 0 5 ,   J   E X P   P S Y C H O L - A P P L ,   V 1 1 ,   P 2 7 7 ,   D O I   1 0 . 1 0 3 7 / 1 0 7 6 - 8 9 8 X . 1 1 . 4 . 2 7 7 ;   O s h e r s o n   D ,   2 0 0 6 ,   G A M E   E C O N   B E H A V ,   V 5 6 ,   P 1 4 8 ,   D O I   1 0 . 1 0 1 6 / j . g e b . 2 0 0 6 . 0 4 . 0 0 1 ;   P r e d d   J .   B . ,   2 0 0 8 ,   D E C I S   A N A L ,   V 5 ,   P 1 7 7 ,   D O I   1 0 . 1 2 8 7 / d e c a . 1 0 8 0 . 0 1 1 9 ;   S u r o w i e c k i   J a m e s ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   T s a i   J ,   2 0 1 2 ,   P   H U M   F A C T   E R G   S O C   5 ,   P 3 1 3 ;   V u l   E ,   2 0 0 8 ,   P S Y C H O L   S C I ,   V 1 9 ,   P 6 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 2 8 0 . 2 0 0 8 . 0 2 1 3 6 . x ;   W a n g   G C ,   2 0 1 1 ,   D E C I S   A N A L ,   V 8 ,   P 1 2 8 ,   D O I   1 0 . 1 2 8 7 / d e c a . 1 1 1 0 . 0 2 0 6 ;   W R I G H T   G ,   1 9 9 4 ,   O R G A N   B E H A V   H U M   D E C ,   V 5 7 ,   P 1 ,   D O I   1 0 . 1 0 0 6 / o b h d . 1 9 9 4 . 1 0 0 1 	 1 7 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 6 2 1 3 - 9 ;   9 7 8 - 1 - 4 6 7 3 - 6 2 1 4 - 6 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 1 9 7 	 1 9 9 	 	 	 	 3 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B H Y 7 1 	 W O S : 0 0 0 3 2 7 0 2 5 2 0 0 0 4 6 	 	 
 B 	 R e i d ,   E F 	 	 G l a s s ,   K ;   C o l b a u g h ,   R ;   S a n f i l l i p p o ,   A ;   K a o ,   A ;   G a b b a y ,   M ;   C o r l e y ,   C ;   L i ,   J ;   K h a n ,   L ;   W y n n e ,   A ;   C o o t e ,   L ;   M a o ,   W ;   Z e n g ,   D ;   Y a g h o o b i ,   A 	 	 R e i d ,   E d n a   F . 	 	 	 C r o w d s o u r c i n g   a n d   G a m i f i c a t i o n   T e c h n i q u e s   i n   I n s p i r e   ( A Q A P   O n l i n e   M a g a z i n e ) 	 2 0 1 3   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   I N T E L L I G E N C E   A N D   S E C U R I T Y   I N F O R M A T I C S :   B I G   D A T A ,   E M E R G E N T   T H R E A T S ,   A N D   D E C I S I O N - M A K I N G   I N   S E C U R I T Y   I N F O R M A T I C S 	 	 	 E n g l i s h 	 P r o c e e d i n g s   P a p e r 	 1 1 t h   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   I n t e l l i g e n c e   a n d   S e c u r i t y   I n f o r m a t i c s   ( I E E E   I S I ) 	 J U N   0 4 - 0 7 ,   2 0 1 3 	 S e a t t l e ,   W A 	 I E E E ,   I E E E   I n t e l l i g e n t   T r a n s p o r t a t   S y s t   S o c ,   I n t e l l i g e n c e   A d v   R e s   P r o j e c t s   A c t 	 P a c i f i c   N W   N a t l   L a b 	 c r o w d s o u r c i n g ;   g a m i f i c a t i o n ;   I n s p i r e ;   a l - Q a e d a   i n   t h e   A r a b i a n   P e n i n s u l a ;   A Q A P ;   m e d i a   m a n i p u l a t i o n ;   s o c i a l   m e d i a 	 	 A l - Q a e d a   i n   t h e   A r a b i a n   P e n i n s u l a   ( A Q A P )   h a s   i n t e g r a t e d   c r o w d s o u r c i n g   a n d   g a m i f i c a t i o n   i n t o   i t s   m u l t i - i s s u e   o n l i n e   m a g a z i n e   c a l l e d   I n s p i r e .   T h i s   a l l o w s   t h e m   t o   m a k e   r e c r u i t i n g   a n d   t r a i n i n g   b e l i e v e r s   a n d   l i k e - m i n d e d   p e o p l e   t o   f i g h t   u n b e l i e v e r s   -   a   v i r t u a l   g a m e   t h a t   a n y o n e   c a n   p l a y   w o r l d w i d e .   T h i s   p a p e r   p r o v i d e s   c u s t o m i z e d   c r o w d s o u r c i n g   a n d   g a m i f i c a t i o n   f r a m e w o r k s   f o r   I n s p i r e .   T h e   f r a m e w o r k   c a n   b e   u s e d   i n   s e c u r i t y   i n f o r m a t i c s   a p p l i c a t i o n s   t o   i d e n t i f y   a n d   c l a s s i f y   c r o w d s o u r c i n g   t e c h n i q u e s ,   g a m i n g   p e r s o n a l i t i e s   s u c h   a s   p a r t i c i p a n t   a n d   k i l l e r ,   a n d   g a m i f i c a t i o n   a c t i v i t i e s .   T h e   f r a m e w o r k   c a n   a l s o   b e   u s e d   i n   r e d   t e a m   e x e r c i s e s   a n d   p r e d i c t i v e   s y s t e m s   t o   m a p   s c e n a r i o s   i n v o l v i n g   v i o l e n t   a c t o r s   s u c h   a s   I s l a m i c   e x t r e m i s t s   o r   a c t i v e   s h o o t e r s . 	 N I U ,   W a s h i n g t o n ,   D C   2 0 3 4 0   U S A 	 R e i d ,   E F   ( r e p r i n t   a u t h o r ) ,   N I U ,   W a s h i n g t o n ,   D C   2 0 3 4 0   U S A . 	 	 	 	 	 	 a l   Q a e d a   i n   t h e   A r a b i a n   P e n i n s u l a ,   2 0 1 0 ,   I N S P I R E                     N O V ;   [ A n o n y m o u s ] ,   G A M ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   I N S P I R E                     J A N ,   P 1 1 ;   [ A n o n y m o u s ] ,   2 0 1 0 ,   I N S P I R E                     S E P ,   V 1 8 ,   P 4 ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   U M B R E L L A   C R O W D S O U R C I ;   [ A n o n y m o u s ] ,   2 0 1 1 ,   W I N   S E R   G A M   C   W H A R T ;   B r a c h m a n   J . ,   2 0 1 1 ,   F O R E I G N   P O L I C Y ;   B r a c h m a n   J . M . ,   2 0 0 6 ,   F L E T C H E R   F O R U M   W O R L D ,   V 3 0 ,   P 1 4 9 ;   C h e n   H C ,   2 0 0 9 ,   I S I :   2 0 0 9   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   I N T E L L I G E N C E   A N D   S E C U R I T Y   I N F O R M A T I C S ,   P 1 7 3 ;   C h e n   H C ,   2 0 0 8 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 9 ,   P 1 3 4 7 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 0 8 3 8 ;   D e t e r d i n g   S . ,   2 0 1 1 ,   C H I   2 0 1 1   M A Y ;   F e r g u s o n   B . ,   2 0 1 2 ,   G A M E S   H L T H   J ,   V 1 ,   P 1 ;   F l a s h   N e w s ,   2 0 1 1 ,   I N S P I R E                     S E P ,   P 5 ;   G l a d s t o n e   B . ,   2 0 1 1 ,   G A M I F I C A T I O N   J I H A D   T ;   G o a d   A . ,   2 0 1 1 ,   Z D N E T   B L O G               M A Y ;   H a l v e r s o n   J R ,   2 0 1 1 ,   M A S T E R   N A R R A T I V E S   O F   I S L A M I S T   E X T R E M I S M ,   P 1 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H u s s a i n   U . ,   2 0 1 0 ,   I N S P I R E                     J U N ,   P 5 4 ;   I b r a h i m   Y . ,   2 0 1 0 ,   I N S P I R E                     S E P ,   P 5 3 ;   K h a n   S . ,   2 0 1 1 ,   I N S P I R E                     J A N ,   P 1 2 ;   K h o w l a   A . ,   2 0 1 1 ,   I N S P I R E                     J A N ,   P 2 6 ;   K i m   A . J . ,   2 0 1 1 ,   G A M I F I C A T I O N ;   K i m   A . J . ,   2 0 1 1 ,   G A M   W O R K S H   G A M   C   A P R ;   L a n d a u   E . ,   2 0 1 2 ,   I N S P I R E   B E L I E V E R S ;   L a t i m e r   J . ,   2 0 0 1 ,   D E C E P T I O N   W A R ,   P 1 9 ;   L i a   B ,   2 0 0 4 ,   S T U D   C O N F L   T E R R O R ,   V 2 7 ,   P 3 5 5 ,   D O I   1 0 . 1 0 8 0 / 1 0 5 7 6 1 0 0 4 9 0 4 8 3 6 4 2 ;   L i u   Y . ,   2 0 1 1 ,   A C M ;   M a c M i l l a n   D . ,   2 0 1 1 ,   B U S I N E S S W E E K ;   R e i d   E . ,   2 0 0 9 ,   F O R E N S I C   S C I   C O M M U N I ,   V 1 1 ;   S t e w a r t   S . ,   2 0 0 9 ,   A Q A P   P A R A D I G M   S H I F T S ;   Z i m m e r m a n   K . ,   2 0 1 0 ,   N A T L   R E V                   N O V 	 3 1 	 0 	 0 	 I E E E 	 N E W   Y O R K 	 3 4 5   E   4 7 T H   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 7   U S A 	 	 	 9 7 8 - 1 - 4 6 7 3 - 6 2 1 3 - 9 ;   9 7 8 - 1 - 4 6 7 3 - 6 2 1 4 - 6 	 	 	 	 2 0 1 3 	 	 	 	 	 	 	 2 1 5 	 2 2 0 	 	 	 	 6 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 B H Y 7 1 	 W O S : 0 0 0 3 2 7 0 2 5 2 0 0 0 5 0 	 	 
 