P T 	 A U 	 B A 	 B E 	 G P 	 A F 	 B F 	 C A 	 T I 	 S O 	 S E 	 B S 	 L A 	 D T 	 C T 	 C Y 	 C L 	 S P 	 H O 	 D E 	 I D 	 A B 	 C 1 	 R P 	 E M 	 R I 	 O I 	 F U 	 F X 	 C R 	 N R 	 T C 	 Z 9 	 U 1 	 U 2 	 P U 	 P I 	 P A 	 S N 	 E I 	 B N 	 J 9 	 J I 	 P D 	 P Y 	 V L 	 I S 	 P N 	 S U 	 S I 	 M A 	 B P 	 E P 	 A R 	 D I 	 D 2 	 P G 	 W C 	 S C 	 G A 	 U T 	 P M 	 O A 	 H C 	 H P 	 D A 
 J 	 S u n ,   Y C ;   W a n g ,   B 	 	 	 	 S u n ,   Y u c h e n ;   W a n g ,   B a n g 	 	 	 I n d o o r   c o r n e r   r e c o g n i t i o n   f r o m   c r o w d s o u r c e d   t r a j e c t o r i e s   u s i n g   s m a r t p h o n e   s e n s o r s 	 E X P E R T   S Y S T E M S   W I T H   A P P L I C A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 I n d o o r   c o r n e r   r e c o g n i t i o n ;   F a k e   c o r n e r   p r o b l e m ;   P o s e   d i v e r s i t y   p r o b l e m ;   I n d o o r   p o s i t i o n i n g   s y s t e m ;   M a c h i n e   l e a r n i n g 	 R E C E I V E D   S I G N A L   S T R E N G T H ;   P O S I T I O N I N G   S Y S T E M S ;   L O C A L I Z A T I O N ;   E N V I R O N M E N T S ;   C L A S S I F I E R S ;   N E T W O R K S ;   W I F I 	 R e c e n t l y ,   f i n g e r p r i n t   c r o w d s o u r c i n g   f r o m   p e d e s t r i a n   m o v e m e n t   t r a j e c t o r i e s   h a s   b e e n   p r o m o t e d   t o   a l l e v i a t e   t h e   s i t e   s u r v e y   b u r d e n   f o r   r a d i o   m a p   c o n s t r u c t i o n   i n   f i n g e r p r i n t i n g - b a s e d   i n d o o r   l o c a l i z a t i o n .   I n d o o r   c o r n e r s ,   a s   o n e   o f   t h e   m o s t   c o m m o n   i n d o o r   l a n d m a r k s ,   p l a y   a n   i m p o r t a n t   r o l e   i n   m o v e m e n t   t r a j e c t o r y   a n a l y s i s .   T h i s   p a p e r   s t u d i e s   t h e   p r o b l e m   o f   i n d o o r   c o r n e r   r e c o g n i t i o n   i n   c r o w d s o u r c e d   m o v e m e n t   t r a j e c t o r i e s .   I n   a   m o v e m e n t   t r a j e c t o r y ,   s m a r t p h o n e   i n t e r n a l   s e n s o r   m e a s u r e m e n t s   e x p e r i e n c e   s o m e   s i g n a l   c h a n g e s   w h e n   p a s s i n g   b y   a   c o r n e r .   H o w e v e r ,   t h e   s t a t e - o f - t h e - a r t   S o l u t i o n s   b a s e d   o n   s i g n a l   c h a n g e   d e t e c t i o n   c a n n o t   w e l l   d e a l   w i t h   t h e   f a k e   c o r n e r   p r o b l e m   a n d   p o s e   d i v e r s i t y   p r o b l e m   i n   m o s t   p r a c t i c a l   m o v e m e n t   t r a j e c t o r i e s .   I n   t h i s   p a p e r ,   w e   s t u d y   t h e   c o r n e r   r e c o g n i t i o n   p r o b l e m   f r o m   a n   e x p e r t   s y s t e m   v i e w p o i n t   b y   a p p l y i n g   m a c h i n e   l e a r n i n g   t e c h n i q u e s .   I n   p a r t i c u l a r ,   w e   e x t r a c t   r e c o g n i t i o n   f e a t u r e s   f r o m   b o t h   t h e   t i m e   a n d   f r e q u e n c y   d o m a i n   a n d   p r o p o s e   a   h i e r a r c h i c a l   c o r n e r   r e c o g n i t i o n   s c h e m e   c o n s i s t i n g   o f   t h r e e   c l a s s i f i e r s .   T h e   f i r s t   p o s e   c l a s s i f i e r   i s   t o   c l a s s i f y   v a r i o u s   p o s e s   i n t o   o n l y   t w o   g r o u p s   a c c o r d i n g   t o   w h e t h e r   o r   n o t   a   s m a r t p h o n e   i s   k e p t   i n   a   f i x e d   p o s i t i o n   r e l a t i v e   t o   a   u s e r   u p p e r   b o d y   w h e n   c o l l e c t i n g   s e n s o r   m e a s u r e m e n t s .   F e a t u r e   s e l e c t i o n   i s   t h e n   a p p l i e d   t o   t r a i n   t w o   c o r n e r   c l a s s i f i e r s   e a c h   f o r   o n e   p o s e   g r o u p .   F i e l d   e x p e r i m e n t s   a r e   c o n d u c t e d   t o   c o m p a r e   o u r   p r o p o s e d   s c h e m e   w i t h   t h r e e   s t a t e - o f - t h e - a r t   a l g o r i t h m s .   I n   a l l   c a s e s ,   o u r   s c h e m e   o u t p e r f o r m s   t h e   b e s t   o f   t h e s e   a l g o r i t h m s   i n   t e r m s   o f   m u c h   h i g h e r   F l - m e a s u r e   a n d   p r e c i s i o n   f o r   c o r n e r   r e c o g n i t i o n .   T h e   r e s u l t s   a l s o   p r o v i d e   i n s i g h t s   o n   t h e   p o t e n t i a l s   o f   u s i n g   m o r e   a d v a n c e d   t e c h n i q u e s   f r o m   e x p e r t   s y s t e m s   i n   i n d o o r   l o c a l i z a t i o n .   ( C )   2 0 1 7   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ S u n ,   Y u c h e n ;   W a n g ,   B a n g ]   H U S T ,   S c h   E l e c t   I n f o r m a t   &   C o m m u n ,   L u o y u   L u   1 0 3 7 ,   W u h a n   4 3 0 0 7 4 ,   H u b e i ,   P e o p l e s   R   C h i n a 	 W a n g ,   B   ( r e p r i n t   a u t h o r ) ,   H U S T ,   S c h   E l e c t   I n f o r m a t   &   C o m m u n ,   L u o y u   L u   1 0 3 7 ,   W u h a n   4 3 0 0 7 4 ,   H u b e i ,   P e o p l e s   R   C h i n a . 	 3 9 6 6 3 0 4 4 6 @ q q . c o m ;   w a n g b a n g @ h u s t . e d u . c n 	 	 	 N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 6 1 3 7 1 1 4 1 ] ;   F u n d a m e n t a l   R e s e a r c h   F u n d s   f o r   t h e   C e n t r a l   U n i v e r s i t i e s   [ H U S T 2 0 1 5 Q N 0 8 1 ] 	 T h i s   w o r k   i s   p a r t l y   s u p p o r t e d   b y   t h e   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   ( G r a n t   N o .   6 1 3 7 1 1 4 1 )   a n d   t h e   F u n d a m e n t a l   R e s e a r c h   F u n d s   f o r   t h e   C e n t r a l   U n i v e r s i t i e s   ( N o .   H U S T 2 0 1 5 Q N 0 8 1 ) . 	 A b d e l n a s s e r   H ,   2 0 1 6 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 5 ,   P 1 7 7 0 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 5 . 2 4 7 8 4 5 1 ;   A n j u m   A ,   2 0 1 3 ,   2 0 1 3   I E E E   C O N S U M E R   C O M M U N I C A T I O N S   A N D   N E T W O R K I N G   C O N F E R E N C E   ( C C N C ) ,   P 9 1 4 ,   D O I   1 0 . 1 1 0 9 / C C N C . 2 0 1 3 . 6 4 8 8 5 8 4 ;   B o b k o v   D . ,   2 0 1 5 ,   2 0 1 5   I N T   C   I N D   P O S   I ;   C a l d e r o n i   L ,   2 0 1 5 ,   E X P E R T   S Y S T   A P P L ,   V 4 2 ,   P 1 2 5 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 4 . 0 7 . 0 4 2 ;   C h a n g   L . ,   2 0 1 5 ,   A C M   I E E E   I N T   C   M O B   C ,   P 4 9 ;   C h e n   Z H ,   2 0 1 5 ,   S E N S O R S - B A S E L ,   V 1 5 ,   P 7 1 5 ,   D O I   1 0 . 3 3 9 0 / s 1 5 0 1 0 0 7 1 5 ;   C h i u   W Y ,   2 0 1 2 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 1 ,   P 9 3 5 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 1 . 1 1 1 ;   G u   F . ,   2 0 1 6 ,   I N T   A R C H   P H O T O G R A M M E ,   P 5 0 9 ;   G u   F Q ,   2 0 1 6 ,   I N T   C O N F   U B I Q   P O S I T ,   P 2 0 1 ,   D O I   1 0 . 1 1 0 9 / U P I N L B S . 2 0 1 6 . 7 8 0 9 9 7 2 ;   H a r l e   R ,   2 0 1 3 ,   I E E E   C O M M U N   S U R V   T U T ,   V 1 5 ,   P 1 2 8 1 ,   D O I   1 0 . 1 1 0 9 / S U R V . 2 0 1 2 . 1 2 1 9 1 2 . 0 0 0 7 5 ;   H e   S N ,   2 0 1 5 ,   P R O C E E D I N G S   O F   T H E   2 0 1 5   A C M   I N T E R N A T I O N A L   J O I N T   C O N F E R E N C E   O N   P E R V A S I V E   A N D   U B I Q U I T O U S   C O M P U T I N G   ( U B I C O M P   2 0 1 5 ) ,   P 8 9 7 ,   D O I   1 0 . 1 1 4 5 / 2 7 5 0 8 5 8 . 2 8 0 4 2 5 4 ;   H o s s a i n   A K M M ,   2 0 1 5 ,   C O M P U T   C O M M U N ,   V 6 6 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . c o m c o m . 2 0 1 5 . 0 3 . 0 0 1 ;   I l a r r i   S ,   2 0 1 5 ,   E X P E R T   S Y S T   A P P L ,   V 4 2 ,   P 1 4 1 8 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 4 . 0 8 . 0 5 7 ;   J u n g   S H ,   2 0 1 6 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 5 ,   P 2 8 9 2 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 5 . 2 5 0 6 5 8 5 ;   K A Y   S M ,   1 9 8 1 ,   P   I E E E ,   V 6 9 ,   P 1 3 8 0 ,   D O I   1 0 . 1 1 0 9 / P R O C . 1 9 8 1 . 1 2 1 8 4 ;   K e f a l a s   P ,   2 0 1 7 ,   E X P E R T   S Y S T   A P P L ,   V 7 8 ,   P 3 9 6 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 7 . 0 1 . 0 6 0 ;   K h a n   A . M . ,   2 0 1 4 ,   I N T   J   D I S T R I B   S E N S   N ,   V 2 0 1 4 ,   P 1 ;   K h u s a i n o v   R ,   2 0 1 3 ,   S E N S O R S - B A S E L ,   V 1 3 ,   P 1 2 8 5 2 ,   D O I   1 0 . 3 3 9 0 / s 1 3 1 0 1 2 8 5 2 ;   L a n   K C ,   2 0 1 4 ,   E X P E R T   S Y S T   A P P L ,   V 4 1 ,   P 2 4 4 3 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 3 . 0 9 . 0 4 4 ;   L a r a   O D ,   2 0 1 3 ,   I E E E   C O M M U N   S U R V   T U T ,   V 1 5 ,   P 1 1 9 2 ,   D O I   1 0 . 1 1 0 9 / S U R V . 2 0 1 2 . 1 1 0 1 1 2 . 0 0 1 9 2 ;   L u o   C W ,   2 0 1 7 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 6 ,   P 4 6 6 ,   D O I   [ 1 0 . 1 1 0 9 / T M C . 2 0 1 6 . 2 5 5 0 4 5 2 ,   1 0 . 1 1 0 9 / T M C 2 0 1 6 . 2 5 5 0 4 5 2 ] ;   M a j e e d   K ,   2 0 1 6 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 5 ,   P 2 7 9 4 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 5 . 2 5 1 0 6 3 1 ;   M a r t i n   H ,   2 0 1 3 ,   P E R S   U B I Q U I T   C O M P U T ,   V 1 7 ,   P 6 7 5 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 9 - 0 1 2 - 0 5 1 5 - 4 ;   N i u   J W ,   2 0 1 5 ,   I E E E   I C C ,   P 3 0 0 8 ,   D O I   1 0 . 1 1 0 9 / I C C . 2 0 1 5 . 7 2 4 8 7 8 5 ;   P a r k   K ,   2 0 1 3 ,   P E R S   U B I Q U I T   C O M P U T ,   V 1 7 ,   P 3 5 9 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 9 - 0 1 1 - 0 4 9 9 - 5 ;   R a i   A ,   2 0 1 2 ,   M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G ,   P 2 9 3 ;   R o n a o   C A ,   2 0 1 6 ,   E X P E R T   S Y S T   A P P L ,   V 5 9 ,   P 2 3 5 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 6 . 0 4 . 0 3 2 ;   R u b i o   F ,   2 0 1 6 ,   E X P E R T   S Y S T   A P P L ,   V 6 4 ,   P 4 3 4 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 6 . 0 8 . 0 2 9 ;   S h a h i d i   S ,   2 0 1 5 ,   I E E E   I C C ,   P 4 6 0 6 ,   D O I   1 0 . 1 1 0 9 / I C C . 2 0 1 5 . 7 2 4 9 0 4 9 ;   S h a n g   J G ,   2 0 1 5 ,   S E N S O R S - B A S E L ,   V 1 5 ,   P 2 7 2 5 1 ,   D O I   1 0 . 3 3 9 0 / s 1 5 1 0 2 7 2 5 1 ;   S h o a i b   M ,   2 0 1 5 ,   S E N S O R S - B A S E L ,   V 1 5 ,   P 2 0 5 9 ,   D O I   1 0 . 3 3 9 0 / s 1 5 0 1 0 2 0 5 9 ;   S i i r t o l a   P ,   2 0 1 3 ,   2 0 1 3   I E E E   S Y M P O S I U M   O N   C O M P U T A T I O N A L   I N T E L L I G E N C E   A N D   D A T A   M I N I N G   ( C I D M ) ,   P 5 9 ,   D O I   1 0 . 1 1 0 9 / C I D M . 2 0 1 3 . 6 5 9 7 2 1 8 ;   T a n   P . - N . ,   2 0 0 5 ,   I N T R O   D A T A   M I N I N G ;   T o r r e s - S o s p e d r a   J ,   2 0 1 5 ,   E X P E R T   S Y S T   A P P L ,   V 4 2 ,   P 9 2 6 3 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 5 . 0 8 . 0 1 3 ;   T s a i   C Y ,   2 0 1 7 ,   C O M P U T   I N D   E N G ,   V 1 0 6 ,   P 1 9 2 ,   D O I   1 0 . 1 0 1 6 / j . c i e . 2 0 1 7 . 0 2 . 0 0 4 ;   T u a n   C C ,   2 0 1 7 ,   P E R V A S I V E   M O B   C O M P U T ,   V 3 5 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . p m c j . 2 0 1 6 . 0 7 . 0 0 8 ;   W a n g   B ,   2 0 1 6 ,   I E E E   W I R E L   C O M M U N ,   V 2 3 ,   P 8 2 ,   D O I   1 0 . 1 1 0 9 / M W C . 2 0 1 6 . 7 4 9 8 0 7 8 ;   W a n g   B ,   2 0 1 5 ,   P E R V A S I V E   M O B   C O M P U T ,   V 2 3 ,   P 4 3 ,   D O I   1 0 . 1 0 1 6 / j . p m c j . 2 0 1 5 . 0 6 . 0 1 1 ;   W a n g   B ,   2 0 1 5 ,   I E E E   T   I N D   E L E C T R O N ,   V 6 2 ,   P 5 7 2 ,   D O I   1 0 . 1 1 0 9 / T I E . 2 0 1 4 . 2 3 2 7 5 9 5 ;   W a n g   H . ,   2 0 1 2 ,   A C M   I N T   C   M O B   S Y S T   A ,   P 1 9 7 ;   W a n g   Q . ,   2 0 1 6 ,   2 0 1 6   I E E E   8 3   V E H   T E C ,   P 1 ;   W a n g   W . ,   2 0 1 5 ,   P   2 1   A N N   I N T   C   M O B   C ,   P 6 5 ;   W a q a r   W ,   2 0 1 6 ,   C O M P U T   C O M M U N ,   V 7 3 ,   P 1 0 8 ,   D O I   1 0 . 1 0 1 6 / j . c o m c o m . 2 0 1 5 . 0 9 . 0 0 2 ;   W u   C S ,   2 0 1 5 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 4 ,   P 4 4 4 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 4 . 2 3 2 0 2 5 4 ;   X i a o   Z L ,   2 0 1 5 ,   I E E E   J   S E L   A R E A   C O M M ,   V 3 3 ,   P 2 2 8 7 ,   D O I   1 0 . 1 1 0 9 / J S A C . 2 0 1 5 . 2 4 3 0 5 1 4 ;   Y u   W H ,   2 0 1 6 ,   E X P E R T   S Y S T   A P P L ,   V 4 6 ,   P 3 2 4 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 5 . 1 0 . 0 1 0 ;   Z h a n g   L Y ,   2 0 1 5 ,   U E E E   I N T   S Y M   P E R S   I N ,   P 2 0 0 8 ,   D O I   1 0 . 1 1 0 9 / P I M R C . 2 0 1 5 . 7 3 4 3 6 2 8 ;   Z h o u   B D ,   2 0 1 5 ,   I E E E   T   I N T E L L   T R A N S P ,   V 1 6 ,   P 2 7 7 4 ,   D O I   1 0 . 1 1 0 9 / T I T S . 2 0 1 5 . 2 4 2 3 3 2 6 ;   Z h o u   B D ,   2 0 1 5 ,   I E E E   T   H U M - M A C H   S Y S T ,   V 4 5 ,   P 5 6 2 ,   D O I   1 0 . 1 1 0 9 / T H M S . 2 0 1 4 . 2 3 6 8 0 9 2 ;   Z h o u   M ,   2 0 1 5 ,   I E E E   W C N C ,   P 1 8 1 7 	 5 0 	 0 	 0 	 8 	 8 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 9 5 7 - 4 1 7 4 	 1 8 7 3 - 6 7 9 3 	 	 E X P E R T   S Y S T   A P P L 	 E x p e r t   S y s t .   A p p l . 	 O C T   1 	 2 0 1 7 	 8 2 	 	 	 	 	 	 2 6 6 	 2 7 7 	 	 1 0 . 1 0 1 6 / j . e s w a . 2 0 1 7 . 0 4 . 0 2 4 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 E W 0 X F 	 W O S : 0 0 0 4 0 2 2 1 3 8 0 0 0 1 9 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 G u o ,   K H ;   T a n g ,   Y Y ;   Z h a n g ,   P Y 	 	 	 	 G u o ,   K e h u a ;   T a n g ,   Y a y u a n ;   Z h a n g ,   P e i y u n 	 	 	 C S F :   C r o w d s o u r c i n g   s e m a n t i c   f u s i o n   f o r   h e t e r o g e n e o u s   m e d i a   b i g   d a t a   i n   t h e   i n t e r n e t   o f   t h i n g s 	 I N F O R M A T I O N   F U S I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g   c o m p u t i n g ;   S e m a n t i c   f u s i o n ;   S o c i a l   m e d i a ;   B i g   d a t a ;   I n t e r n e t   o f   t h i n g s 	 I N F O R M A T I O N   F U S I O N ;   R E T R I E V A L ;   C L A S S I F I C A T I O N ;   M U L T I M E D I A ;   M A C H I N E ;   S Y S T E M 	 W i t h   t h e   r i s i n g   p o p u l a r i t y   o f   s o c i a l   m e d i a   i n   t h e   c o n t e x t   o f   e n v i r o n m e n t s   b a s e d   o n   t h e   I n t e r n e t   o f   t h i n g s   ( l o T ) ,   s e m a n t i c   i n f o r m a t i o n   h a s   e m e r g e d   a s   a n   i m p o r t a n t   b r i d g e   t o   c o n n e c t   h u m a n   i n t e l l i g e n c e   w i t h   h e t e r o g e n e o u s   m e d i a   b i g   d a t a .   A s   a   c r i t i c a l   t o o l   t o   i m p r o v e   m e d i a   b i g   d a t a   r e t r i e v a l ,   s e m a n t i c   f u s i o n   e n c o u n t e r s   a   n u m b e r   o f   c h a l l e n g e s :   t h e   m a n u a l   m e t h o d   i s   i n e f f i c i e n t ,   a n d   t h e   a u t o m a t i c   a p p r o a c h   i s   i n a c c u r a t e .   T o   a d d r e s s   t h e s e   c h a l l e n g e s ,   t h i s   p a p e r   p r o p o s e s   a   s o l u t i o n   c a l l e d   C S F   ( C r o w d s o u r c i n g   S e m a n t i c   F u s i o n )   t h a t   m a k e s   f u l l   u s e   o f   t h e   c o l l e c t i v e   w i s d o m   o f   s o c i a l   u s e r s   a n d   i n t r o d u c e s   c r o w d s o u r c i n g   c o m p u t i n g   t o   s e m a n t i c   f u s i o n .   F i r s t ,   t h e   c o r r e l a t i o n   o f   c r o s s - m o d a l   s e m a n t i c s   i s   m i n e d   a n d   t h e   s e m a n t i c   o b j e c t s   a r e   n o r m a l i z e d   f o r   f u s i o n .   S e c o n d ,   w e   e m p l o y   t h e   d i m e n s i o n   r e d u c t i o n   a n d   r e l e v a n c e   f e e d b a c k   a p p r o a c h e s   t o   r e d u c e   n o n - p r i n c i p a l   c o m p o n e n t s   a n d   n o i s e .   F i n a l l y ,   w e   r e s e a r c h   t h e   s t o r a g e   a n d   d i s t r i b u t i o n   m e c h a n i s m .   E x p e r i m e n t   r e s u l t s   h i g h l i g h t   t h e   e f f i c i e n c y   a n d   a c c u r a c y   o f   t h e   p r o p o s e d   a p p r o a c h .   T h e   p r o p o s e d   m e t h o d   i s   a n   e f f e c t i v e   a n d   p r a c t i c a l   c r o s s - m o d a l   s e m a n t i c   f u s i o n   a n d   d i s t r i b u t i o n   m e c h a n i s m   f o r   h e t e r o g e n e o u s   s o c i a l   m e d i a ,   p r o v i d e s   a   n o v e l   i d e a   f o r   s o c i a l   m e d i a   s e m a n t i c   p r o c e s s i n g ,   a n d   u s e s   a n   i n t e r a c t i v e   v i s u a l i z a t i o n   f r a m e w o r k   f o r   s o c i a l   m e d i a   k n o w l e d g e   m i n i n g   a n d   r e t r i e v a l   t o   i m p r o v e   s e m a n t i c   k n o w l e d g e   a n d   t h e   e f f e c t   o f   r e p r e s e n t a t i o n .   ( C )   2 0 1 7   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ G u o ,   K e h u a ;   T a n g ,   Y a y u a n ]   C e n t   S   U n i v ,   S c h   I n f o r m a t   S c i   &   E n g n ,   C h a n g s h a ,   H u n a n ,   P e o p l e s   R   C h i n a ;   [ G u o ,   K e h u a ]   M i n j i a n g   U n i v ,   K e y   L a b   I n f o r m a t   P r o c   &   I n t e l l i g e n t   C o n t r o l   F u j i a ,   F u z h o u ,   P e o p l e s   R   C h i n a ;   [ Z h a n g ,   P e i y u n ]   A n h u i   N o r m a l   U n i v ,   S c h   M a t h   &   C o m p   S c i ,   W u h u ,   P e o p l e s   R   C h i n a 	 G u o ,   K H   ( r e p r i n t   a u t h o r ) ,   C e n t   S   U n i v ,   S c h   I n f o r m a t   S c i   &   E n g n ,   C h a n g s h a ,   H u n a n ,   P e o p l e s   R   C h i n a . ;   G u o ,   K H   ( r e p r i n t   a u t h o r ) ,   M i n j i a n g   U n i v ,   K e y   L a b   I n f o r m a t   P r o c   &   I n t e l l i g e n t   C o n t r o l   F u j i a ,   F u z h o u ,   P e o p l e s   R   C h i n a . 	 g u o k e h u a @ c s u . e d u . c n 	 	 	 H u n a n   S c i e n c e   a n d   T e c h n o l o g y   P l a n   [ 2 0 1 2 R S 4 0 5 4 ] ;   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 6 1 6 7 2 5 3 5 ,   6 1 4 7 2 0 0 5 ] ;   K e y   L a b o r a t o r y   o f   I n t e l l i g e n t   P e r c e p t i o n   a n d   S y s t e m s   f o r   H i g h - D i m e n s i o n a l   I n f o r m a t i o n   o f   M i n i s t r y   o f   E d u c a t i o n   I n n o v a t i o n   F u n d   [ J Y B 2 0 1 5 0 2 ] ;   K e y   L a b o r a t o r y   o f   I n f o r m a t i o n   P r o c e s s i n g   a n d   I n t e l l i g e n t   C o n t r o l   o f   F u j i a n   I n n o v a t i o n   F u n d   [ M J U K F 2 0 1 7 3 5 ] 	 T h i s   w o r k   i s   s u p p o r t e d   b y   t h e   H u n a n   S c i e n c e   a n d   T e c h n o l o g y   P l a n   ( 2 0 1 2 R S 4 0 5 4 ) ,   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   ( 6 1 6 7 2 5 3 5 ,   6 1 4 7 2 0 0 5 ) ,   K e y   L a b o r a t o r y   o f   I n t e l l i g e n t   P e r c e p t i o n   a n d   S y s t e m s   f o r   H i g h - D i m e n s i o n a l   I n f o r m a t i o n   o f   M i n i s t r y   o f   E d u c a t i o n   I n n o v a t i o n   F u n d   ( J Y B 2 0 1 5 0 2 ) ,   K e y   L a b o r a t o r y   o f   I n f o r m a t i o n   P r o c e s s i n g   a n d   I n t e l l i g e n t   C o n t r o l   o f   F u j i a n   I n n o v a t i o n   F u n d   ( M J U K F 2 0 1 7 3 5 ) .   T h e   a u t h o r s   d e c l a r e   t h a t   t h e y   h a v e   n o   c o n f l i c t   o f   i n t e r e s t s . 	 B e l l o - O r g a z   G ,   2 0 1 6 ,   I N F O R M   F U S I O N ,   V 2 8 ,   P 4 5 ,   D O I   1 0 . 1 0 1 6 / j . i n f f u s . 2 0 1 5 . 0 8 . 0 0 5 ;   C h a r d   K ,   2 0 1 5 ,   P R O G R   I S ,   P 1 9 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 6 2 - 4 7 0 1 1 - 4 _ 1 1 ;   D o a n   A . ,   2 0 1 1 ,   A C M ,   V 5 4 ,   P 8 6 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   F a n   J ,   2 0 1 4 ,   P R O C   I N T   C O N F   D A T A ,   P 9 7 6 ,   D O I   1 0 . 1 1 0 9 / I C D E . 2 0 1 4 . 6 8 1 6 7 1 6 ;   G u o   B ,   2 0 1 6 ,   I E E E   C O M M U N   M A G ,   V 5 4 ,   P 1 3 1 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 6 . 7 4 0 2 2 7 2 ;   G u o   D ,   2 0 1 6 ,   W O R L D   W I D E   W E B ,   V 1 9 ,   P 2 4 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 8 0 - 0 1 5 - 0 3 5 7 - x ;   G u o   K H ,   2 0 1 5 ,   J   S Y S T   S O F T W A R E ,   V 1 0 2 ,   P 2 0 7 ,   D O I   1 0 . 1 0 1 6 / j . j s s . 2 0 1 4 . 0 9 . 0 1 6 ;   G u o   K H ,   2 0 1 4 ,   W I R E L E S S   P E R S   C O M M U N ,   V 7 6 ,   P 7 7 9 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 7 7 - 0 1 3 - 1 3 2 7 - 1 ;   H a o   Z F ,   2 0 1 3 ,   I E E E   T   I M A G E   P R O C E S S ,   V 2 2 ,   P 2 9 1 1 ,   D O I   1 0 . 1 1 0 9 / T I P . 2 0 1 3 . 2 2 5 3 4 8 5 ;   H u   W M ,   2 0 1 4 ,   I E E E   T   I M A G E   P R O C E S S ,   V 2 3 ,   P 1 5 1 3 ,   D O I   1 0 . 1 1 0 9 / T I P . 2 0 1 4 . 2 3 0 3 6 3 9 ;   K i t t u r   A ,   2 0 1 3 ,   P   2 0 1 3   C   C O M P   S U P P   C ,   P 1 3 0 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 4 4 1 7 7 6 . 2 4 4 1 9 2 3 ;   K u c h e r b a e v   P ,   2 0 1 6 ,   I E E E   I N T E R N E T   C O M P U T ,   V 2 0 ,   P 5 0 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 5 . 9 6 ;   L e e   W Y ,   2 0 1 3 ,   J   V I S   C O M M U N   I M A G E   R ,   V 2 4 ,   P 2 9 5 ,   D O I   1 0 . 1 0 1 6 / j . j v c i r . 2 0 1 2 . 1 2 . 0 0 2 ;   L o n g   B ,   2 0 0 8 ,   P   S I A M   I N T   C   D A T   M I N ,   P 8 2 2 ;   M a r c u s   A . ,   2 0 1 2 ,   P V L D B ,   V 6 ,   P 1 0 9 ;   M i d d l e t o n   S E ,   2 0 1 4 ,   I E E E   I N T E L L   S Y S T ,   V 2 9 ,   P 9 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 1 3 . 1 2 6 ;   O ' L e a r y   D E ,   2 0 1 4 ,   I E E E   I N T E L L   S Y S T ,   V 2 9 ,   P 7 0 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 1 4 . 8 2 ;   P o s l a d   S ,   2 0 1 4 ,   I N F O R M   F U S I O N ,   V 2 0 ,   P 2 2 5 ,   D O I   1 0 . 1 0 1 6 / j . i n f f u s . 2 0 1 4 . 0 2 . 0 0 3 ;   S a l e k   M . ,   2 0 1 3 ,   P   2 7   A A A I   C   A R T   I N T ,   P 1 1 5 6 ;   S o g a a r d   A . ,   2 0 1 3 ,   P   2 0 1 3   C   E M P   M E T H   N A ,   P 1 4 7 6 ;   S u n   J D ,   2 0 1 6 ,   N E U R O C O M P U T I N G ,   V 2 1 3 ,   P 8 4 ,   D O I   1 0 . 1 0 1 6 / j . n e u c o m . 2 0 1 6 . 0 5 . 0 9 8 ;   T a n g   J H ,   2 0 1 2 ,   I E E E   T   I M A G E   P R O C E S S ,   V 2 1 ,   P 2 3 5 4 ,   D O I   1 0 . 1 1 0 9 / T I P . 2 0 1 1 . 2 1 8 0 9 1 6 ;   W a n g   J . ,   2 0 1 2 ,   P   V L D B   E N D O W ,   V 5 ,   P 1 4 8 3 ,   D O I   [ D O I   1 0 . 1 4 7 7 8 / 2 3 5 0 2 2 9 . 2 3 5 0 2 6 3 ,   1 0 . 1 4 7 7 8 / 2 3 5 0 2 2 9 . 2 3 5 0 2 6 3 ] ;   W u   Y ,   2 0 1 5 ,   I E E E   A C M   T   N E T W O R K ,   V 2 3 ,   P 6 8 9 ,   D O I   1 0 . 1 1 0 9 / T N E T . 2 0 1 4 . 2 3 0 8 2 5 4 ;   Y u e n   M . - C . ,   2 0 1 1 ,   P   I E E E   3   I N T   C   S O C   C ,   P 7 6 6 ,   D O I   D O I   1 0 . 1 1 0 9 / P A S S A T / S O C I A L C O M . 2 0 1 1 . 2 0 3 ;   Z h a n g   Q ,   2 0 1 5 ,   I N F O R M   F U S I O N ,   V 2 4 ,   P 5 4 ,   D O I   1 0 . 1 0 1 6 / j . i n f f u s . 2 0 1 4 . 0 9 . 0 0 8 ;   Z h a n g   X S ,   2 0 1 6 ,   I E E E   T   I M A G E   P R O C E S S ,   V 2 5 ,   P 1 0 3 3 ,   D O I   1 0 . 1 1 0 9 / T I P . 2 0 1 5 . 2 5 1 1 5 8 5 ;   Z h a o   F ,   2 0 1 5 ,   I N F O R M   F U S I O N ,   V 2 3 ,   P 3 3 ,   D O I   1 0 . 1 0 1 6 / j . i n f f u s . 2 0 1 4 . 0 1 . 0 0 1 ;   Z h a o   Y X ,   2 0 1 4 ,   I N F O R M   S Y S T   F R O N T ,   V 1 6 ,   P 4 1 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 6 - 0 1 2 - 9 3 5 0 - 4 	 2 9 	 0 	 0 	 7 4 	 7 4 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 1 5 6 6 - 2 5 3 5 	 1 8 7 2 - 6 3 0 5 	 	 I N F O R M   F U S I O N 	 I n f .   F u s i o n 	 S E P 	 2 0 1 7 	 3 7 	 	 	 	 	 	 7 7 	 8 5 	 	 1 0 . 1 0 1 6 / j . i n f f u s . 2 0 1 7 . 0 1 . 0 0 8 	 	 9 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 E S 4 P V 	 W O S : 0 0 0 3 9 9 5 1 8 1 0 0 0 0 7 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 S a c h d e v a ,   S ;   M c C a f f r e y ,   S ;   L o c k e ,   D 	 	 	 	 S a c h d e v a ,   S o n y a ;   M c C a f f r e y ,   S a r a h ;   L o c k e ,   D e x t e r 	 	 	 S o c i a l   m e d i a   a p p r o a c h e s   t o   m o d e l i n g   w i l d f i r e   s m o k e   d i s p e r s i o n :   s p a t i o t e m p o r a l   a n d   s o c i a l   s c i e n t i f i c   i n v e s t i g a t i o n s 	 I N F O R M A T I O N   C O M M U N I C A T I O N   &   S O C I E T Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   a i r   q u a l i t y ;   w i l d f i r e ;   s m o k e ;   r i s k   p e r c e p t i o n 	 P A R T I C U L A T E   A I R - P O L L U T I O N ;   B I G   D A T A ;   H E A L T H ;   C A L I F O R N I A ;   F I R E S ;   M O R T A L I T Y ;   E X P O S U R E ;   C L I M A T E ;   V I S I T S ;   A S T H M A 	 W i l d f i r e s   h a v e   s i g n i f i c a n t   e f f e c t s   o n   h u m a n   p o p u l a t i o n s ,   e c o n o m i c a l l y ,   e n v i r o n m e n t a l l y ,   a n d   i n   t e r m s   o f   t h e i r   g e n e r a l   w e l l - b e i n g .   S m o k e   p o l l u t i o n ,   i n   p a r t i c u l a r ,   f r o m   e i t h e r   p r e s c r i b e d   b u r n s   o r   u n c o n t r o l l e d   w i l d f i r e s ,   c a n   h a v e   s i g n i f i c a n t   h e a l t h   i m p a c t s .   S o m e   e s t i m a t e s   s u g g e s t   t h a t   s m o k e   d i s p e r s i o n   f r o m   f i r e   e v e n t s   m a y   a f f e c t   t h e   h e a l t h   o f   o n e   i n   t h r e e   r e s i d e n t s   i n   t h e   U n i t e d   S t a t e s ,   l e a d i n g   t o   a n   i n c r e a s e d   i n c i d e n c e   o f   r e s p i r a t o r y   i l l n e s s e s   s u c h   a s   a s t h m a   a n d   p u l m o n a r y   d i s e a s e .   S c a r c i t y   i n   t h e   m e a s u r e m e n t s   o f   p a r t i c u l a t e   m a t t e r   r e s p o n s i b l e   f o r   t h e s e   p u b l i c   h e a l t h   i s s u e s   m a k e s   a d d r e s s i n g   t h e   p r o b l e m   o f   s m o k e   d i s p e r s i o n   c h a l l e n g i n g ,   e s p e c i a l l y   w h e n   f i r e s   o c c u r   i n   r e m o t e   r e g i o n s .   C r o w d s o u r c e d   d a t a   h a v e   b e c o m e   a n   e s s e n t i a l   c o m p o n e n t   i n   a d d r e s s i n g   o t h e r   s o c i e t a l   p r o b l e m s   ( e . g . ,   d i s a s t e r   r e l i e f ,   t r a f f i c   c o n g e s t i o n )   b u t   i t s   u t i l i t y   i n   m o n i t o r i n g   a i r   q u a l i t y   i m p a c t s   o f   w i l d f i r e   e v e n t s   i s   u n e x p l o r e d .   I n   t h i s   s t u d y ,   w e   a s s e s s e d   i f   u s e r - g e n e r a t e d   s o c i a l   m e d i a   c o n t e n t   c a n   b e   u s e d   a s   a   c o m p l e m e n t a r y   s o u r c e   o f   d a t a   i n   m e a s u r i n g   p a r t i c u l a t e   p o l l u t i o n   f r o m   w i l d f i r e   s m o k e .   W e   f o u n d   t h a t   t h e   f r e q u e n c y   o f   d a i l y   t w e e t s   w i t h i n   a   4 0 , 0 0 0 k m ( 2 )   a r e a   w a s   a   s i g n i f i c a n t   p r e d i c t o r   o f   P M 2 . 5   l e v e l s ,   b e y o n d   d a i l y   a n d   g e o g r a p h i c   v a r i a t i o n .   T h e s e   r e s u l t s   s u g g e s t   t h a t   s o c i a l   m e d i a   c a n   b e   a   v a l u a b l e   t o o l   f o r   t h e   m e a s u r e m e n t   o f   a i r   q u a l i t y   i m p a c t s   o f   w i l d f i r e   e v e n t s ,   p a r t i c u l a r l y   i n   t h e   a b s e n c e   o f   d a t a   f r o m   p h y s i c a l   m o n i t o r i n g   s t a t i o n s .   A l s o ,   a n   a n a l y s i s   o f   t h e   s e m a n t i c   c o n t e n t   i n   p e o p l e ' s   t w e e t s   p r o v i d e d   i n s i g h t   i n t o   t h e   s o c i o - p s y c h o l o g i c a l   d i m e n s i o n s   o f   f i r e   a n d   s m o k e   a n d   t h e i r   i m p a c t   o n   p e o p l e   r e s i d i n g   i n ,   w o r k i n g   i n ,   o r   o t h e r w i s e   e n g a g i n g   w i t h   a f f e c t e d   a r e a s . 	 [ S a c h d e v a ,   S o n y a ;   M c C a f f r e y ,   S a r a h ]   U S   F o r e s t   S e r v ,   1 0 3 3   U n i v   P l , S t e   3 6 0 ,   E v a n s t o n ,   I L   6 0 2 0 1   U S A ;   [ L o c k e ,   D e x t e r ]   C l a r k   U n i v ,   G r a d   S c h   G e o g ,   W o r c e s t e r ,   M A   0 1 6 1 0   U S A 	 S a c h d e v a ,   S   ( r e p r i n t   a u t h o r ) ,   U S   F o r e s t   S e r v ,   1 0 3 3   U n i v   P l , S t e   3 6 0 ,   E v a n s t o n ,   I L   6 0 2 0 1   U S A . 	 s o n y a s a c h d e v a @ f s . f e d . u s ;   s m c c a f f r e y @ f s . f e d . u s ;   d e x t e r . l o c k e @ g m a i l . c o m 	 	 	 	 	 B a r r i n g t o n   L ,   2 0 1 1 ,   A N N   G E O P H Y S - I T A L Y ,   V 5 4 ,   P 6 8 0 ,   D O I   1 0 . 4 4 0 1 / a g - 5 3 2 4 ;   B l e i   D M ,   2 0 0 3 ,   J   M A C H   L E A R N   R E S ,   V 3 ,   P 9 9 3 ,   D O I   1 0 . 1 1 6 2 / j m l r . 2 0 0 3 . 3 . 4 - 5 . 9 9 3 ;   B o w m a n   D a v i d   M .   J .   S . ,   2 0 0 5 ,   E c o H e a l t h ,   V 2 ,   P 7 6 ,   D O I   1 0 . 1 0 0 7 / s 1 0 3 9 3 - 0 0 4 - 0 1 4 9 - 8 ;   C a l k i n   D a v i d   E . ,   2 0 1 5 ,   F o r e s t   E c o s y s t e m s ,   V 2 ,   P 9 ,   D O I   1 0 . 1 1 8 6 / s 4 0 6 6 3 - 0 1 5 - 0 0 3 3 - 8 ;   C a s s a   C .   A . ,   2 0 1 3 ,   P L O S   C U R R E N T S ,   V 5 ,   D O I   [ 1 0 . 1 3 7 1 / c u r r e n t s . d i s . a d 7 0 c d 1 c 8 b c 5 8 5 e 9 4 7 0 0 4 6 c d e 3 3 4 e e 4 b ,   D O I   1 0 . 1 3 7 1 / C U R R E N T S . D I S . A D 7 0 C D 1 C 8 B C 5 8 5 E 9 4 7 0 0 4 6 C D E 3 3 4 E E 4 B ] ;   C h e n   E . ,   2 0 1 1 ,   I N T R O   L A T E N T   D I R I C H L ;   D E H G H A N I   M ,   2 0 1 4 ,   J   I N F   T E C H N O L ,   V 1 1 ,   P 1 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 9 3 3 1 6 8 1 . 2 0 1 3 . 8 2 6 6 1 3 ;   D o m i n i c i   F ,   2 0 0 6 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 9 5 ,   P 1 1 2 7 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 9 5 . 1 0 . 1 1 2 7 ;   D o m i n i c i   F ,   2 0 0 2 ,   A M   J   E P I D E M I O L ,   V 1 5 6 ,   P 1 9 3 ,   D O I   1 0 . 1 0 9 3 / a j e / k w f 0 6 2 ;   E a r l e   P ,   2 0 1 0 ,   S E I S M O L   R E S   L E T T ,   V 8 1 ,   P 2 4 6 ,   D O I   1 0 . 1 7 8 5 / g s s r l . 8 1 . 2 . 2 4 6 ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 1 1 . 5 2 ;   G e n e s   N . ,   2 0 1 4 ,   M E D I C I N E ,   V 3 ,   p e 1 ,   D O I   [ 1 0 . 2 1 9 6 / m e d 2 0 . 3 2 3 7 ,   D O I   1 0 . 2 1 9 6 / M E D 2 0 . 3 2 3 7 ] ;   G o o d c h i l d   M F ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - y ;   G r i m m e r   J ,   2 0 1 0 ,   P O L I T   A N A L ,   V 1 8 ,   P 1 ,   D O I   1 0 . 1 0 9 3 / p a n / m p p 0 3 4 ;   I l i e v   R ,   2 0 1 5 ,   L A N G   C O G N ,   V 7 ,   P 2 6 5 ,   D O I   1 0 . 1 0 1 7 / l a n g c o g . 2 0 1 4 . 3 0 ;   J i a n g   W ,   2 0 1 5 ,   P L O S   O N E ,   V 1 0 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 1 4 1 1 8 5 ;   J o h n s t o n   F H ,   2 0 1 2 ,   E N V I R O N   H E A L T H   P E R S P ,   V 1 2 0 ,   P 6 9 5 ,   D O I   1 0 . 1 2 8 9 / e h p . 1 1 0 4 4 2 2 ;   K e n t   J D ,   2 0 1 3 ,   C A R T O G R   G E O G R   I N F   S C ,   V 4 0 ,   P 7 8 ,   D O I   1 0 . 1 0 8 0 / 1 5 2 3 0 4 0 6 . 2 0 1 3 . 7 7 6 7 2 7 ;   K i n n e y   P L ,   2 0 0 8 ,   A M   J   P R E V   M E D ,   V 3 5 ,   P 4 5 9 ,   D O I   1 0 . 1 0 1 6 / j . a m e p r e . 2 0 0 8 . 0 8 . 0 2 5 ;   K o c h i   I ,   2 0 1 0 ,   I N T   J   W I L D L A N D   F I R E ,   V 1 9 ,   P 8 0 3 ,   D O I   1 0 . 1 0 7 1 / W F 0 9 0 7 7 ;   L a c   J .   F ,   2 0 1 4 ,   W A S H I N G T O N   P O S T ;   L a r k i n   N K ,   2 0 0 9 ,   I N T   J   W I L D L A N D   F I R E ,   V 1 8 ,   P 9 0 6 ,   D O I   1 0 . 1 0 7 1 / W F 0 7 0 8 6 ;   L i u   Y Q ,   2 0 1 0 ,   F O R E S T   E C O L   M A N A G ,   V 2 5 9 ,   P 6 8 5 ,   D O I   1 0 . 1 0 1 6 / j . f o r e c o . 2 0 0 9 . 0 9 . 0 0 2 ;   M c C a f f r e y   S . ,   2 0 1 2 ,   J F S P   S Y N T H E S I S   R E P O R ;   M e i   S K ,   2 0 1 4 ,   2 0 1 4   P R O C E E D I N G S   O F   T H E   I E E E / A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   A D V A N C E S   I N   S O C I A L   N E T W O R K S   A N A L Y S I S   A N D   M I N I N G   ( A S O N A M   2 0 1 4 ) ,   P 5 3 4 ,   D O I   1 0 . 1 1 0 9 / A S O N A M . 2 0 1 4 . 6 9 2 1 6 3 8 ;   M o r g a n   G ,   2 0 1 0 ,   E P I D E M I O L O G Y ,   V 2 1 ,   P 4 7 ,   D O I   1 0 . 1 0 9 7 / E D E . 0 b 0 1 3 e 3 1 8 1 c 1 5 d 5 a ;   M o t t   J A ,   2 0 0 2 ,   W E S T E R N   J   M E D ,   V 1 7 6 ,   P 1 5 7 ,   D O I   1 0 . 1 1 3 6 / e w j m . 1 7 6 . 3 . 1 5 7 ;   P r e i s l e r   H K ,   2 0 1 5 ,   E N V I R O N   P O L L U T ,   V 2 0 5 ,   P 3 4 0 ,   D O I   1 0 . 1 0 1 6 / j . e n v p o l . 2 0 1 5 . 0 6 . 0 1 8 ;   Q u i n n   K M ,   2 0 1 0 ,   A M   J   P O L I T   S C I ,   V 5 4 ,   P 2 0 9 ;   R   C o r e   T e a m ,   2 0 1 4 ,   R   L A N G   E N V   S T A T   C O M P ;   R a m   S ,   2 0 1 5 ,   I E E E   J   B I O M E D   H E A L T H ,   V 1 9 ,   P 1 2 1 6 ,   D O I   1 0 . 1 1 0 9 / J B H I . 2 0 1 5 . 2 4 0 4 8 2 9 ;   R i c h a r d s o n   L A ,   2 0 1 2 ,   J   F O R E S T   E C O N ,   V 1 8 ,   P 1 4 ,   D O I   1 0 . 1 0 1 6 / j . j f e . 2 0 1 1 . 0 5 . 0 0 2 ;   R i t t m a s t e r   R ,   2 0 0 6 ,   C A N   J   F O R E S T   R E S ,   V 3 6 ,   P 8 6 8 ,   D O I   1 0 . 1 1 3 9 / X 0 5 - 2 9 3 ;   R o b e r t s   M E ,   2 0 1 4 ,   A M   J   P O L I T   S C I ,   V 5 8 ,   P 1 0 6 4 ,   D O I   1 0 . 1 1 1 1 / a j p s . 1 2 1 0 3 ;   R o l p h   G D ,   2 0 0 9 ,   W E A T H E R   F O R E C A S T ,   V 2 4 ,   P 3 6 1 ,   D O I   1 0 . 1 1 7 5 / 2 0 0 8 W A F 2 2 2 2 1 6 5 . 1 ;   S C H W A R T Z   J ,   1 9 9 3 ,   A M   R E V   R E S P I R   D I S ,   V 1 4 7 ,   P 8 2 6 ;   S h e l t o n   T ,   2 0 1 4 ,   G E O F O R U M ,   V 5 2 ,   P 1 6 7 ,   D O I   1 0 . 1 0 1 6 / j . g e o f o r u m . 2 0 1 4 . 0 1 . 0 0 6 ;   S t r a n d   T M ,   2 0 1 2 ,   J   G E O P H Y S   R E S - A T M O S ,   V 1 1 7 ,   D O I   1 0 . 1 0 2 9 / 2 0 1 2 J D 0 1 7 6 2 7 ;   S u t t o n   J ,   2 0 1 5 ,   H E A L T H   C O M M U N ,   V 3 0 ,   P 1 3 5 ,   D O I   1 0 . 1 0 8 0 / 1 0 4 1 0 2 3 6 . 2 0 1 4 . 9 7 4 1 2 4 ;   U S   E P A ,   2 0 1 5 ,   B A S   I N F   F I N   P A R T   P M 2 ;   V e e r   E ,   2 0 1 6 ,   J   C O N S U M   B E H A V ,   V 1 5 ,   P 3 1 4 ,   D O I   1 0 . 1 0 0 2 / c b . 1 5 6 9 ;   V i e w e g   S ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 0 7 9 ;   W a n g   C . ,   2 0 1 1 ,   P   1 7   A C M   S I G K D D   I N T ,   P 4 4 8 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 0 2 0 4 0 8 . 2 0 2 0 4 8 0 	 4 3 	 0 	 0 	 2 1 	 2 1 	 R O U T L E D G E   J O U R N A L S ,   T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 2 - 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X O N ,   E N G L A N D 	 1 3 6 9 - 1 1 8 X 	 1 4 6 8 - 4 4 6 2 	 	 I N F O R M   C O M M U N   S O C 	 I n f o .   C o m m u n .   S o c . 	 A U G 	 2 0 1 7 	 2 0 	 8 	 	 	 	 	 1 1 4 6 	 1 1 6 1 	 	 1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 6 . 1 2 1 8 5 2 8 	 	 1 6 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 E T 4 R D 	 W O S : 0 0 0 4 0 0 2 7 1 6 0 0 0 0 3 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 A i t a m u r t o ,   T ;   L a n d e m o r e ,   H ;   G a l l i ,   J S 	 	 	 	 A i t a m u r t o ,   T a n j a ;   L a n d e m o r e ,   H e l e n e ;   G a l l i ,   J o r g e   S a l d i v a r 	 	 	 U n m a s k i n g   t h e   c r o w d :   p a r t i c i p a n t s '   m o t i v a t i o n   f a c t o r s ,   e x p e c t a t i o n s ,   a n d   p r o f i l e   i n   a   c r o w d s o u r c e d   l a w   r e f o r m 	 I N F O R M A T I O N   C O M M U N I C A T I O N   &   S O C I E T Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   c r o w d l a w ;   d e m o c r a t i c   i n n o v a t i o n s ;   d i g i t a l   d e m o c r a c y ;   p a r t i c i p a t o r y   d e m o c r a c y ;   m o t i v a t i o n   f a c t o r s 	 W I K I P E D I A ;   D E M O C R A C Y 	 T h i s   a r t i c l e   e x a m i n e s   t h e   d e m o g r a p h i c   c h a r a c t e r i s t i c s ,   m o t i v a t i o n s ,   a n d   e x p e c t a t i o n s   o f   p a r t i c i p a n t s   i n   a   c r o w d s o u r c e d   o f f - r o a d   t r a f f i c   l a w   r e f o r m   i n   F i n l a n d .   W e   f o u n d   t h a t   t h e   p a r t i c i p a n t s   w e r e   m a i n l y   e d u c a t e d ,   f u l l - t i m e   w o r k i n g   p r o f e s s i o n a l   m a l e s   w i t h   a   s t r o n g   i n t e r e s t   i n   o f f - r o a d   t r a f f i c .   T h o u g h   a   m i n o r i t y ,   t h e   w o m e n   p a r t i c i p a t i n g   i n   t h e   p r o c e s s   p r o d u c e d   m o r e   i d e a s   t h a n   t h e   m e n .   T h e   c r o w d   w a s   m o t i v a t e d   b y   a   m i x   o f   i n t r i n s i c   a n d   e x t r i n s i c   f a c t o r s .   I n t r i n s i c   m o t i v a t i o n s   i n c l u d e d   f u l f i l l i n g   c i v i c   d u t y ,   a f f e c t i n g   t h e   l a w   f o r   s o c i o t r o p i c   r e a s o n s ,   t o   d e l i b e r a t e   w i t h   a n d   l e a r n   f r o m   p e e r s .   E x t r i n s i c   m o t i v a t i o n s   i n c l u d e d   c h a n g i n g   t h e   l a w   f o r   f i n a n c i a l   g a i n   o r   o t h e r   b e n e f i t s .   P a r t i c i p a t i o n   i n   c r o w d s o u r c e d   p o l i c y - m a k i n g   w a s   a n   a c t   o f   g r a s s r o o t s   a d v o c a c y ,   w h e t h e r   t o   p u r s u e   o n e ' s   o w n   i n t e r e s t   o r   m o r e   a l t r u i s t i c   g o a l s ,   s u c h   a s   p r o t e c t i n g   n a t u r e .   T h e   m o t i v a t i o n s   d r i v i n g   t h e   p a r t i c i p a t i o n   w e r e   i n   p a r t   s i m i l a r   t o   t h o s e   o b s e r v e d   i n   t r a d i t i o n a l   d e m o c r a t i c   p r o c e s s e s ,   s u c h   a s   e l e c t i o n s   a s   w e l l   a s   o t h e r   o n l i n e   c o l l a b o r a t i o n s   s u c h   a s   c r o w d s o u r c e d   j o u r n a l i s m   a n d   c i t i z e n   s c i e n c e .   T h e   c r o w d s '   b e h a v i o r   w a s ,   h o w e v e r ,   p a r a d o x i c a l .   T h e y   p a r t i c i p a t e d   d e s p i t e   t h e   f a c t   t h a t   t h e y   d i d   n o t   e x p e c t   t h a t   t h e i r   c o n t r i b u t i o n s   w o u l d   a f f e c t   t h e   l a w . 	 [ A i t a m u r t o ,   T a n j a ]   S t a n f o r d   U n i v ,   S c h   E n g n ,   B r o w n   I n s t   M e d i a   I n n o v a t ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A ;   [ L a n d e m o r e ,   H e l e n e ]   Y a l e   U n i v ,   P o l i t   S c i ,   N e w   H a v e n ,   C T   U S A ;   [ G a l l i ,   J o r g e   S a l d i v a r ]   U n i v   T r e n t o ,   D e p t   I n f o r m a t   E n g n   &   C o m p   S c i ,   T r e n t o ,   I t a l y 	 A i t a m u r t o ,   T   ( r e p r i n t   a u t h o r ) ,   S t a n f o r d   U n i v ,   S c h   E n g n ,   B r o w n   I n s t   M e d i a   I n n o v a t ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A . 	 t a n j a . a i t a m u r t o @ g m a i l . c o m ;   h e l e n e . l a n d e m o r e @ y a l e . e d u ;   j o r g e . s a l d i v a r g a l l i @ u n i t n . i t 	 	 	 	 	 A i t a m u r t o   T . ,   2 0 1 2 ,   P U B L I C A T I O N S   C O M M I T T ;   A i t a m u r t o   T . ,   2 0 1 5 ,   I N T   J   C O M M U N I C A T I O N ,   V 9 ,   P 1 ;   A i t a m u r t o   T . ,   2 0 1 5 ,   J   S O C I A L   M E D I A   O R G ,   V 2 ,   P 1 ;   A i t a m u r t o   T . ,   2 0 1 4 ,   P U B L I C A T I O N S   C O M M I T T ;   A l b r e c h t   S . ,   2 0 0 6 ,   I N F O R M   C O M M U N I C A T I O N ,   V 9 ,   P 6 2 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 0 5 0 0 5 1 9 5 4 8 ;   B e n k l e r   Y ,   2 0 0 2 ,   Y A L E   L A W   J ,   V 1 1 2 ,   P 3 6 9 ,   D O I   1 0 . 2 3 0 7 / 1 5 6 2 2 4 7 ;   B l a i s   A ,   1 9 9 9 ,   P U B L I C   C H O I C E ,   V 9 9 ,   P 3 9 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 8 3 4 1 4 1 8 9 5 6 ;   B r a b h a m   D C ,   2 0 1 2 ,   J   A P P L   C O M M U N   R E S ,   V 4 0 ,   P 3 0 7 ,   D O I   1 0 . 1 0 8 0 / 0 0 9 0 9 8 8 2 . 2 0 1 2 . 6 9 3 9 4 0 ;   B r a b h a m   D C ,   2 0 1 3 ,   M I T   P R E S S   E S S E N T ,   P 1 ;   B r a b h a m   D .   C . ,   2 0 1 5 ,   C R O W D S O U R C I N G   P U B L I C ;   C a p l a n   B ,   2 0 0 7 ,   M Y T H   O F   T H E   R A T I O N A L   V O T E R :   W H Y   D E M O C R A C I E S   C H O O S E   B A D   P O L I C I E S ,   P 1 ;   C o l e m a n   S ,   2 0 0 9 ,   C O M M U N   S O C   P O L I T ,   P 1 ,   D O I   1 0 . 1 0 1 7 / C B O 9 7 8 0 5 1 1 8 1 8 2 7 1 ;   C o l e m a n   S . ,   2 0 1 2 ,   A R G U M E N T A T I V E   T U R N   R ,   P 1 4 0 ;   B e a r   J . ,   2 0 1 2 ,   P   A C M   2 0 1 2   C   C O M P   S U ,   P 3 8 3 ,   D O I   [ D O I   1 0 . 1 1 4 5 / 2 1 4 5 2 0 4 . 2 1 4 5 2 6 5 ,   1 0 . 1 1 4 5 / 2 1 4 5 2 0 4 . 2 1 4 5 2 6 5 ] ;   D e c i   E .   L . ,   1 9 8 5 ,   I N T R I N S I C   M O T I V A T I O N ;   D O W N S   A ,   1 9 5 7 ,   J   P O L I T   E C O N ,   V 6 5 ,   P 1 3 5 ,   D O I   1 0 . 1 0 8 6 / 2 5 7 8 9 7 ;   E d w a r d s   M . ,   2 0 0 1 ,   S O C I A L   P O L I C Y   P U B L I C ;   E l s t e r   J o n ,   1 9 8 3 ,   S O U R   G R A P E S   S T U D I E S ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F A R I A   C F S ,   2 0 1 3 ,   O P E N   P A R L I A M E N T   A G E ;   F E R E J O H N   J A ,   1 9 7 4 ,   A M   P O L I T   S C I   R E V ,   V 6 8 ,   P 5 2 5 ,   D O I   1 0 . 2 3 0 7 / 1 9 5 9 5 0 2 ;   F i s h k i n   J ,   2 0 0 9 ,   P E O P L E   S P E A K   D E L I B E R ;   F R E Y   B S ,   1 9 9 4 ,   A M   E C O N   R E V ,   V 8 4 ,   P 3 3 8 ;   F u n g   A ,   2 0 0 1 ,   P O L I T   S O C ,   V 2 9 ,   P 5 ,   D O I   1 0 . 1 1 7 7 / 0 0 3 2 3 2 9 2 0 1 0 2 9 0 0 1 0 0 2 ;   G i b s o n   R . ,   2 0 0 5 ,   B R I T   J   P O L I T   I N T   R E L ,   V 7 ,   P 5 6 1 ,   D O I   [ 1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 5 6 X . 2 0 0 5 . 0 0 2 0 9 . x ,   D O I   1 0 . 1 1 1 1 / J . 1 4 6 7 - 8 5 6 X . 2 0 0 5 . 0 0 2 0 9 . X ] ;   G o o d i n   R E ,   2 0 0 6 ,   P O L I T   S O C ,   V 3 4 ,   P 2 1 9 ,   D O I   1 0 . 1 1 7 7 / 0 0 3 2 3 2 9 2 0 6 2 8 8 1 5 2 ;   G u s t a v s e n   B . ,   2 0 0 1 ,   H D B   A C T I O N   R E S   P A R T I ,   P 1 7 ;   H a n s e n   A . ,   1 9 9 8 ,   M A S S   C O M M U N I C A T I O N   R ;   H a r g i t t a i   E s z t e r ,   2 0 0 8 ,   I n f o r m a t i o n   C o m m u n i c a t i o n   &   S o c i e t y ,   V 1 1 ,   P 2 3 9 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 0 8 0 1 9 4 6 1 5 0 ;   H a r g i t t a i   E ,   2 0 1 5 ,   I N F O R M   C O M M U N   S O C ,   V 1 8 ,   P 4 2 4 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 4 . 9 5 7 7 1 1 ;   H o w e   J . ,   2 0 0 8 ,   C R O W D S O U R C I N G   W H Y   P O ;   H o w l e t t   M . ,   1 9 9 5 ,   S T U D Y I N G   P U B L I C   P O L I ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   L a k h a n i   K .   R . ,   2 0 0 3 ,   W O R K I N G   P A P E R ;   L a n d e m o r e   H ,   2 0 1 5 ,   J   P O L I T   P H I L O S ,   V 2 3 ,   P 1 6 6 ,   D O I   1 0 . 1 1 1 1 / j o p p . 1 2 0 3 2 ;   L e e   D .   T . ,   2 0 1 4 ,   2   A A A I   C   H U M   C O M P   C R ;   L e h d o n v i r t a   V . ,   2 0 1 5 ,   P O L I C Y   I N T E R N E T ,   V 7 ,   P 2 6 3 ,   D O I   D O I   1 0 . 1 0 0 2 / P O I 3 . 1 0 3 ;   L e o n a r d   N H ,   1 9 9 9 ,   H U M   R E L A T ,   V 5 2 ,   P 9 6 9 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 8 7 2 6 7 9 9 0 5 2 0 0 8 0 1 ;   K a l l e n b a c h   J a n ,   2 0 0 7 ,   M I N D T R E K   2 0 0 7   C   P ,   P 2 5 ;   L i n d e n b e r g   S ,   2 0 0 1 ,   K Y K L O S ,   V 5 4 ,   P 3 1 7 ;   L i n d l o f   T .   R . ,   2 0 1 1 ,   Q U A L I T A T I V E   C O M M U N I C ;   L i u   S . B . ,   2 0 1 4 ,   J   C O M P U T E R   S U P P O R T E D ,   V 2 3 ,   P 3 8 9 ;   N o v   O ,   2 0 1 1 ,   P   A A A I   I N T   C   W E B L   S O ;   N o v   O ,   2 0 0 7 ,   C O M M U N   A C M ,   V 5 0 ,   P 6 0 ,   D O I   1 0 . 1 1 4 5 / 1 2 9 7 7 9 7 . 1 2 9 7 7 9 8 ;   N o v e c k   B S ,   2 0 0 9 ,   W I K I   G O V E R N M E N T :   H O W   T E C H N O L O G Y   C A N   M A K E   G O V E R N M E N T   B E T T E R ,   D E M O C R A C Y   S T R O N G E R ,   A N D   C I T I Z E N S   M O R E   P O W E R F U L ,   P 1 ;   N o v e c k   B . S . ,   2 0 1 5 ,   S M A R T   C I T I Z E N S   S M A R T ;   P a t e m a n   C a r o l e ,   1 9 7 0 ,   P A R T I C I P A T I O N   D E M O C R ;   P e d e r s e n   J . ,   2 0 1 3 ,   P r o c e e d i n g s   o f   t h e   2 0 1 3   4 6 t h   H a w a i i   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m   S c i e n c e s   ( H I C S S   2 0 1 3 ) ,   P 5 7 9 ,   D O I   1 0 . 1 1 0 9 / H I C S S . 2 0 1 3 . 1 4 3 ;   P E T E R S   G ,   1 9 9 9 ,   A M   P U B L I C   P O L I C Y   P R O ;   P r p i c   J . ,   2 0 1 5 ,   P O L I C Y   I N T E R N E T ,   V 7 ,   P 3 4 0 ,   D O I   D O I   1 0 . 1 0 0 2 / P O I 3 . 1 0 2 ;   R a d d i c k   M . ,   2 0 1 3 ,   A S T R O N O M Y   E D   R E V ,   V 1 2 ,   P 1 ,   D O I   D O I   1 0 . 3 8 4 7 / A E R 2 0 1 1 0 2 1 . A R X I V : 1 3 0 3 . 6 8 8 6 ;   R o t m a n   D . ,   2 0 1 2 ,   C S C W   1 2 ,   P 2 1 7 ,   D O I   1 0 . 1 1 4 5 / 2 1 4 5 2 0 4 . 2 1 4 5 2 3 8 ;   R y a n   R M ,   2 0 0 0 ,   C O N T E M P   E D U C   P S Y C H O L ,   V 2 5 ,   P 5 4 ,   D O I   1 0 . 1 0 0 6 / c e p s . 1 9 9 9 . 1 0 2 0 ;   S m i t h   G . ,   2 0 0 9 ,   D E M O C R A T I C   I N N O V A T I O ;   S t r a u s s   A . ,   1 9 9 8 ,   B A S I C S   Q U A L I T A T I V E   R ;   W e i n s c h e n k   A C ,   2 0 1 4 ,   A M   P O L I T   R E S ,   V 4 2 ,   P 9 0 ,   D O I   1 0 . 1 1 7 7 / 1 5 3 2 6 7 3 X 1 3 4 8 4 1 7 2 ;   Y a n g   H L ,   2 0 1 0 ,   C O M P U T   H U M   B E H A V ,   V 2 6 ,   P 1 3 7 7 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 0 . 0 4 . 0 1 1 ;   R o b i n s o n   D . ,   2 0 1 2 ,   U C L A   L A W   R E V   D I S C O U R ,   V 4 9 ,   P 1 7 9 	 5 9 	 0 	 0 	 4 	 4 	 R O U T L E D G E   J O U R N A L S ,   T A Y L O R   &   F R A N C I S   L T D 	 A B I N G D O N 	 2 - 4   P A R K   S Q U A R E ,   M I L T O N   P A R K ,   A B I N G D O N   O X 1 4   4 R N ,   O X O N ,   E N G L A N D 	 1 3 6 9 - 1 1 8 X 	 1 4 6 8 - 4 4 6 2 	 	 I N F O R M   C O M M U N   S O C 	 I n f o .   C o m m u n .   S o c . 	 A U G 	 2 0 1 7 	 2 0 	 8 	 	 	 	 	 1 2 3 9 	 1 2 6 0 	 	 1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 X . 2 0 1 6 . 1 2 2 8 9 9 3 	 	 2 2 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 E T 4 R D 	 W O S : 0 0 0 4 0 0 2 7 1 6 0 0 0 0 8 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 L e e ,   J ;   L e e ,   D ;   H w a n g ,   S W 	 	 	 	 L e e ,   J o n g w u k ;   L e e ,   D o n g w o n ;   H w a n g ,   S e u n g - w o n 	 	 	 C r o w d K :   A n s w e r i n g   t o p - k   q u e r i e s   w i t h   c r o w d s o u r c i n g 	 I N F O R M A T I O N   S C I E N C E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   T o p - k   q u e r i e s ;   P a r a m e t e r i z e d   f r a m e w o r k ;   D y n a m i c   p r o g r a m m i n g 	 A L G O R I T H M S 	 I n   r e c e n t   y e a r s ,   c r o w d s o u r c i n g   h a s   e m e r g e d   a s   a   n e w   c o m p u t i n g   p a r a d i g m   f o r   b r i d g i n g   t h e   g a p   b e t w e e n   h u m a n -   a n d   m a c h i n e - b a s e d   c o m p u t a t i o n .   A s   o n e   o f   t h e   c o r e   o p e r a t i o n s   i n   d a t a   r e t r i e v a l ,   w e   s t u d y   t o p - k   q u e r i e s   w i t h   c r o w d s o u r c i n g ,   n a m e l y   c r o w d - e n a b l e d   t o p - q u e r i e s .   T h i s   p r o b l e m   i s   f o r m u l a t e d   w i t h   t h r e e   k e y   f a c t o r s ,   l a t e n c y ,   m o n e t a r y   c o s t ,   a n d   q u a l i t y   o f   a n s w e r s .   W e   f i r s t   a i m   t o   d e s i g n   a   n o v e l   f r a m e w o r k   t h a t   m i n i m i z e s   m o n e t a r y   c o s t   w h e n   l a t e n c y   i s   c o n s t r a i n e d .   T o w a r d   t h i s   g o a l ,   w e   e m p l o y   a   t w o - p h a s e   p a r a m e t e r i z e d   f r a m e w o r k   w i t h   t w o   p a r a m e t e r s ,   c a l l e d   b u c k e t s   a n d   r a n g e s .   O n   t o p   o f   t h i s   f r a m e w o r k ,   w e   d e v e l o p   t h r e e   m e t h o d s :   g r e e d y ,   e q u i - s i z e d ,   a n d   d y n a m i c   p r o g r a m m i n g ,   t o   d e t e r m i n e   t h e   b u c k e t s   a n d   r a n g e s .   B y   c o m b i n i n g   t h e   t h r e e   m e t h o d s   a t   e a c h   p h a s e ,   w e   p r o p o s e   f o u r   a l g o r i t h m s :   G d y B u c k e t ,   E q u i B u c k e t ,   E q u i R a n g e ,   a n d   C r o w d K .   W h e n   t h e   c r o w d   a n s w e r s   a r e   i m p r e c i s e ,   w e   a l s o   a d d r e s s   i m p r o v i n g   t h e   a c c u r a c y   o f   t h e   t o p - k   a n s w e r s .   L a s t l y ,   u s i n g   b o t h   s i m u l a t e d   c r o w d s   a n d   r e a l   c r o w d s   a t   A m a z o n   M e c h a n i c a l   T u r k ,   w e   e v a l u a t e   t h e   t r a d e - o f f   b e t w e e n   o u r   p r o p o s a l s   w i t h   r e s p e c t   t o   m o n e t a r y   c o s t ,   a c c u r a c y   o f   a n s w e r s ,   a n d   r u n n i n g   t i m e .   C o m p a r e d   t o   o t h e r   c o m p e t i t i v e   a l g o r i t h m s ,   i t   i s   f o u n d   t h a t   C r o w d K   r e d u c e s   m o n e t a r y   c o s t   u p   t o   2 0   t i m e s ,   w i t h o u t   s a c r i f i c i n g   t h e   a c c u r a c y   o f   t h e   t o p - k   a n s w e r s .   ( C )   2 0 1 7   E l s e v i e r   I n c .   A l l   r i g h t s   r e s e r v e d . 	 [ L e e ,   J o n g w u k ]   S u n g k y u n k w a n   U n i v ,   D e p t   S o f t w a r e ,   S e o u l ,   S o u t h   K o r e a ;   [ L e e ,   D o n g w o n ]   P e n n   S t a t e   U n i v ,   C o l l   I n f o r m a t   S c i   &   T e c h n o l ,   U n i v e r s i t y   P k ,   P A   1 6 8 0 2   U S A ;   [ H w a n g ,   S e u n g - w o n ]   Y o n s e i   U n i v ,   D e p t   C o m p   S c i ,   S e o u l ,   S o u t h   K o r e a 	 L e e ,   J   ( r e p r i n t   a u t h o r ) ,   S u n g k y u n k w a n   U n i v ,   D e p t   S o f t w a r e ,   S e o u l ,   S o u t h   K o r e a . 	 j o n g w u k l e e @ s k k u . e d u ;   d o n g w o n @ p s u . e d u ;   s e u n g w o n h @ y o n s e i . a c . k r 	 	 	 N a t i o n a l   R e s e a r c h   F o u n d a t i o n   o f   K o r e a   ( N R F )   g r a n t   -   K o r e a   g o v e r n m e n t   ( M S I P )   [ 2 0 1 5 R 1 C 1 A 1 A 0 1 0 5 5 4 4 2 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   N a t i o n a l   R e s e a r c h   F o u n d a t i o n   o f   K o r e a   ( N R F )   g r a n t   f u n d e d   b y   t h e   K o r e a   g o v e r n m e n t   ( M S I P )   ( N o .   2 0 1 5 R 1 C 1 A 1 A 0 1 0 5 5 4 4 2 ) . 	 A m s t e r d a m e r   Y . ,   2 0 1 3 ,   P   A C M   S I G M O D   I N T   C   M ,   P 2 4 1 ;   B a r o w y   D W ,   2 0 1 6 ,   C O M M U N   A C M ,   V 5 9 ,   P 1 0 2 ,   D O I   1 0 . 1 1 4 5 / 2 9 2 7 9 2 8 ;   B e r n s t e i n   M i c h a e l   S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B e r n s t e i n   M . S . ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 3 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 0 4 7 1 9 6 . 2 0 4 7 2 0 1 ;   B o i m   R ,   2 0 1 2 ,   P R O C   I N T   C O N F   D A T A ,   P 1 2 6 1 ,   D O I   1 0 . 1 1 0 9 / I C D E . 2 0 1 2 . 1 2 2 ;   B o z z o n   A . ,   2 0 1 2 ,   P   2 1   I N T   C   W O R L D   W I D ,   P 1 0 0 9 ;   B r i g h t w e l l   G r a h a m ,   1 9 9 1 ,   P   2 3   A N N   A C M   S   T H E O R ,   P 1 7 5 ,   D O I   1 0 . 1 1 4 5 / 1 0 3 4 1 8 . 1 0 3 4 4 1 ;   B U B L E Y   R ,   1 9 9 8 ,   P   9   A N N   A C M   S I A M   S   D ,   P 3 5 0 ;   C h i l t o n   L .   B . ,   2 0 1 3 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 9 9 9 ;   C i c e r i   E ,   2 0 1 6 ,   I E E E   T   K N O W L   D A T A   E N ,   V 2 8 ,   P 4 1 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 1 5 . 2 4 6 2 3 5 7 ;   C o r m e n   T . H . ,   2 0 0 9 ,   I N T R O   A L G O R I T H M S ;   D a v i d s o n   S . B . ,   2 0 1 3 ,   P   I N T   C   D A T   T H E O R   I C ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   F a g i n   R ,   2 0 0 3 ,   J   C O M P U T   S Y S T   S C I ,   V 6 6 ,   P 6 1 4 ,   D O I   1 0 . 1 0 1 6 / S 0 0 2 2 - 0 0 0 0 ( 0 3 ) 0 0 0 2 6 - 6 ;   F E I G E   U ,   1 9 9 4 ,   S I A M   J   C O M P U T ,   V 2 3 ,   P 1 0 0 1 ,   D O I   1 0 . 1 1 3 7 / S 0 0 9 7 5 3 9 7 9 1 1 9 5 8 7 7 ;   F r a n k l i n   M .   J . ,   2 0 1 1 ,   P   2 0 1 1   A C M   S I G M O D   I N ,   P 6 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 8 9 3 2 3 . 1 9 8 9 3 3 1 ;   G a o   J . ,   2 0 1 3 ,   P   A C M   S I G M O D   I N T   C   M ,   P 2 1 7 ;   G a r c i a - M o l i n a   H ,   2 0 1 6 ,   I E E E   T   K N O W L   D A T A   E N ,   V 2 8 ,   P 9 0 1 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 1 6 . 2 5 1 8 6 6 9 ;   G h o s h   S a p t a r s h i ,   2 0 1 2 ,   P r o c e e d i n g s   o f   t h e   3 5 t h   A n n u a l   I n t e r n a t i o n a l   A C M   S I G I R   C o n f e r e n c e   o n   R e s e a r c h   &   D e v e l o p m e n t   i n   I n f o r m a t i o n   R e t r i e v a l   ( S I G I R   2 0 1 2 ) ,   P 5 7 5 ,   D O I   1 0 . 1 1 4 5 / 2 3 4 8 2 8 3 . 2 3 4 8 3 6 1 ;   G o m e s   R . ,   2 0 1 1 ,   P   A D V   N I P S ,   P 5 5 8 ;   G u o   S . ,   2 0 1 2 ,   P   A C M   S I G M O D   I N T   C   M ,   P 3 8 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 2 1 3 8 3 6 . 2 2 1 3 8 8 0 ;   H a a s   D ,   2 0 1 5 ,   P R O C   V L D B   E N D O W ,   V 9 ,   P 3 7 2 ;   I l y a s   I F ,   2 0 0 8 ,   A C M   C O M P U T   S U R V ,   V 4 0 ,   D O I   1 0 . 1 1 4 5 / 1 3 9 1 7 2 9 . 1 3 9 1 7 3 0 ;   K i m   Y ,   2 0 1 2 ,   P R O C   I N T   C O N F   D A T A ,   P 5 1 0 ,   D O I   1 0 . 1 1 0 9 / I C D E . 2 0 1 2 . 8 7 ;   L e e   J . ,   2 0 1 6 ,   P   I N T   C   E X T   D A T   T E C H ;   L i u   X . ,   2 0 1 2 ,   P   V L D B   E N D O W M E N T ,   V 5 ,   P 1 0 4 0 ;   L o f i   C . ,   2 0 1 3 ,   P   I N T   C   E X T   D A T   T E C H ;   M a r c u s   A . ,   2 0 1 1 ,   P   V L D B ,   V 5 ,   P 1 3 ;   M a r c u s   A . ,   2 0 1 1 ,   P   2 0 1 1   A C M   S I G M O D   I N ,   P 1 3 1 5 ;   M o r i s h i m a   A . ,   2 0 1 2 ,   P   V L D B   E N D O W ,   V 5 ,   P 1 9 1 8 ;   M o z a f a r i   B . ,   2 0 1 4 ,   P   V L D B   E N D O W ,   V 8 ,   P 1 2 5 ;   P a r a m e s w a r a n   A .   G . ,   2 0 1 1 ,   P   V L D B ,   V 4 ,   P 2 6 7 ;   P a r a m e s w a r a n   A .   G . ,   2 0 1 2 ,   P   2 0 1 2   A C M   S I G M O D   I N ,   P 3 6 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 2 1 3 8 3 6 . 2 2 1 3 8 7 8 ;   P o l y c h r o n o p o u l o s   V . ,   2 0 1 3 ,   P   I N T   W O R K S H   W E B   D A T ;   Q u i n n   A .   J . ,   2 0 1 1 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   T r u s h k o w s k y   B ,   2 0 1 3 ,   P R O C   I N T   C O N F   D A T A ,   P 6 7 3 ,   D O I   1 0 . 1 1 0 9 / I C D E . 2 0 1 3 . 6 5 4 4 8 6 5 ;   V e n e t i s   P . ,   2 0 1 2 ,   P   2 1   I N T   C   W O R L D   W I D ,   P 9 8 9 ;   V e r r o i o s   V . ,   2 0 1 5 ,   P   A C M   S I G M O D   I N T   C   M ,   P 1 0 4 7 ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   W a n g   J . ,   2 0 1 2 ,   P   V L D B   E N D O W ,   V 5 ,   P 1 4 8 3 ,   D O I   [ D O I   1 0 . 1 4 7 7 8 / 2 3 5 0 2 2 9 . 2 3 5 0 2 6 3 ,   1 0 . 1 4 7 7 8 / 2 3 5 0 2 2 9 . 2 3 5 0 2 6 3 ] ;   W a n g   J S ,   2 0 1 3 ,   A D V   I N T E L   S Y S   R E S ,   V 4 2 ,   P 2 2 9 ;   Y a n   T . ,   2 0 1 0 ,   P   8   I N T   C   M O B   S Y S T   A ,   P 7 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 1 4 4 3 3 . 1 8 1 4 4 4 3 ;   Y u e n   M . - C . ,   2 0 1 1 ,   P   I E E E   3   I N T   C   S O C   C ,   P 7 6 6 ,   D O I   D O I   1 0 . 1 1 0 9 / P A S S A T / S O C I A L C O M . 2 0 1 1 . 2 0 3 	 4 3 	 0 	 0 	 7 	 7 	 E L S E V I E R   S C I E N C E   I N C 	 N E W   Y O R K 	 3 6 0   P A R K   A V E   S O U T H ,   N E W   Y O R K ,   N Y   1 0 0 1 0 - 1 7 1 0   U S A 	 0 0 2 0 - 0 2 5 5 	 1 8 7 2 - 6 2 9 1 	 	 I N F O R M   S C I E N C E S 	 I n f .   S c i . 	 A U G 	 2 0 1 7 	 3 9 9 	 	 	 	 	 	 9 8 	 1 2 0 	 	 1 0 . 1 0 1 6 / j . i n s . 2 0 1 7 . 0 3 . 0 1 0 	 	 2 3 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 E T 3 U B 	 W O S : 0 0 0 4 0 0 2 0 3 9 0 0 0 0 7 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 C h a t t e r j e e ,   S ;   M u k h o p a d h y a y ,   A ;   B h a t t a c h a r y y a ,   M 	 	 	 	 C h a t t e r j e e ,   S u j o y ;   M u k h o p a d h y a y ,   A n i r b a n ;   B h a t t a c h a r y y a ,   M a l a y 	 	 	 D e p e n d e n t   j u d g m e n t   a n a l y s i s :   A   M a r k o v   c h a i n   b a s e d   a p p r o a c h   f o r   a g g r e g a t i n g   c r o w d s o u r c e d   o p i n i o n s 	 I N F O R M A T I O N   S C I E N C E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 D e p e n d e n t   j u d g m e n t   a n a l y s i s ;   C r o w d s o u r c i n g ;   M a j o r i t y   v o t i n g ;   M a r k o v   c h a i n 	 	 A n n o t a t i o n   o f   l a r g e - s c a l e   d a t a s e t s   c a n   p r o m i s i n g l y   b e   d o n e   b y   c r o w d   w o r k e r s   i n   a   t i m e   a n d   c o s t   e f f e c t i v e   w a y .   A   m a j o r   c h a l l e n g e   i n   t h i s   a r e a   i s   h o w   w e   a g g r e g a t e   t h e   o p i n i o n s   r e c e i v e d   f r o m   m u l t i p l e   w o r k e r s   t o   d e r i v e   t h e   f i n a l   j u d g m e n t .   M o s t   o f   t h e   c r o w d   o p i n i o n   a g g r e g a t i o n   m o d e l s   k n o w n   s o   f a r   d e a l   w i t h   i n d e p e n d e n t   o p i n i o n s ,   w h e r e   t h e   c r o w d   w o r k e r s   p r o v i d e   t h e i r   o p i n i o n s   u n a n i m o u s l y   a n d   t h e s e   a r e   n o t   v i s i b l e   t o   e v e r y o n e .   I n   r e a l   l i f e ,   t h e r e   a r e   a p p l i c a t i o n s   w h e r e   a n   a n n o t a t o r   c a n   s e e   o t h e r s '   o p i n i o n s .   T h i s   i n c u r s   a   h i g h e r   c h a n c e   o f   g e t t i n g   b i a s e d   b y   t h e   o t h e r   o p i n i o n s .   T h i s   p a p e r   a d d r e s s e s   a   n e w   p r o b l e m ,   h e r e a f t e r   t e r m e d   a s   d e p e n d e n t   j u d g m e n t   a n a l y s i s ,   a n d   p r o p o s e s   a   m e t h o d   t o   d e r i v e   t h e   f i n a l   j u d g m e n t   f r o m   a   g i v e n   s e t   o f   i n d e p e n d e n t   a n d   d e p e n d e n t   o p i n i o n s .   H e r e ,   a   M a r k o v   c h a i n   b a s e d   a g g r e g a t i o n   m e t h o d   i s   u s e d   t o   h a n d l e   t h e   o p i n i o n s   o f   t h e   c r o w d   w o r k e r s   f o r   f i n d i n g   a   c o n s e n s u s .   W e   s t u d y   t h e   p e r f o r m a n c e   o f   t h e   p r o p o s e d   m e t h o d   o n   a   s y n t h e t i c   d a t a s e t   a n d   a n o t h e r   r e a l - l i f e   d a t a s e t   p u b l i s h e d   i n   r e c e n t   t i m e s .   T h e   p r o p o s e d   m e t h o d   i s   a p p l i e d   o n   t h e s e   t w o   d a t a s e t s   t o   f i n d   o u t   t h e   a g g r e g a t e d   j u d g m e n t .   T h e   e f f i c a c y   o f   o u r   p r o p o s e d   m e t h o d   i s   s h o w n   b y   c o m p a r i n g   i t   w i t h   m a j o r i t y   v o t i n g .   ( C )   2 0 1 7   E l s e v i e r   I n c .   A l l   r i g h t s   r e s e r v e d . 	 [ C h a t t e r j e e ,   S u j o y ;   M u k h o p a d h y a y ,   A n i r b a n ]   U n i v   K a l y a n i ,   D e p t   C o m p   S c i   &   E n g n ,   K a l y a n i   7 4 1 2 3 5 ,   W   B e n g a l ,   I n d i a ;   [ B h a t t a c h a r y y a ,   M a l a y ]   I n d i a n   I n s t   E n g n   S c i   &   T e c h n o l   S h i b p u r ,   D e p t   I n f o r m a t   T e c h n o l ,   H o w r a h ,   I n d i a 	 C h a t t e r j e e ,   S   ( r e p r i n t   a u t h o r ) ,   U n i v   K a l y a n i ,   D e p t   C o m p   S c i   &   E n g n ,   K a l y a n i   7 4 1 2 3 5 ,   W   B e n g a l ,   I n d i a . 	 s u j o y @ k l y u n i v . a c . i n ;   a n i r b a n @ k l y u n i v . a c . i n ;   m a l a y b h a t t a c h a r y y a @ i t . i i e s t s . a c . i n 	 	 	 V i s v e s v a r a y a   Y o u n g   F a c u l t y   R e s e a r c h   F e l l o w s h i p   o f   D e i t Y ,   G o v e r n m e n t   o f   I n d i a ;   D S T - P U R S E   g r a n t   o f   U n i v e r s i t y   o f   K a l y a n i 	 T h e   a u t h o r s   w o u l d   l i k e   t o   t h a n k   t h e   a n o n y m o u s   r e v i e w e r s   f o r   t h e i r   v a l u a b l e   c o m m e n t s   t h a t   g r e a t l y   h e l p e d   t o   i m p r o v e   t h e   q u a l i t y   o f   t h e   p a p e r .   T h e   w o r k   o f   M a l a y   B h a t t a c h a r y y a   i s   s u p p o r t e d   b y   t h e   V i s v e s v a r a y a   Y o u n g   F a c u l t y   R e s e a r c h   F e l l o w s h i p   2 0 1 5 - 1 6   o f   D e i t Y ,   G o v e r n m e n t   o f   I n d i a .   A n i r b a n   M u k h o p a d h y a y   a c k n o w l e d g e s   t h e   s u p p o r t   r e c e i v e d   f r o m   D S T - P U R S E   g r a n t   o f   U n i v e r s i t y   o f   K a l y a n i . 	 A l a r i f i   A ,   2 0 1 6 ,   I N F O R M   S C I E N C E S ,   V 3 7 2 ,   P 3 3 2 ,   D O I   1 0 . 1 0 1 6 / j . i n s . 2 0 1 6 . 0 8 . 0 3 6 ;   A y a l a   R . J . D . ,   2 0 1 0 ,   P S Y C H O M E T R I K A ,   V 7 5 ,   P 7 7 8 ;   B h a t t a c h a r y y a   M . ,   2 0 1 4 ,   P   A A A I   C   H U M   C O M P   C R ;   B o r d o g n a   G ,   2 0 1 4 ,   I N F O R M   S C I E N C E S ,   V 2 5 8 ,   P 3 1 2 ,   D O I   1 0 . 1 0 1 6 / j . i n s . 2 0 1 3 . 0 7 . 0 1 3 ;   C h a t t e r j e e   S . ,   2 0 1 6 ,   P   4   A A A I   C   H U M   C O M P ;   C o s t a - J u s s a   M R ,   2 0 1 4 ,   I N F O R M   S C I E N C E S ,   V 2 7 5 ,   P 4 0 0 ,   D O I   1 0 . 1 0 1 6 / j . i n s . 2 0 1 4 . 0 1 . 0 4 3 ;   D a w i d   A   P ,   1 9 7 9 ,   A P P L   S T A T ,   V 2 8 ,   P 2 0 ,   D O I   D O I   1 0 . 2 3 0 7 / 2 3 4 6 8 0 6 ;   D e m a r t i n i   G . ,   2 0 1 2 ,   P   2 1   I N T   C   W O R L D   W I D ,   P 4 6 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 1 8 7 8 3 6 . 2 1 8 7 9 0 0 ;   F e r s c h l   F . ,   1 9 8 1 ,   M E T R I K A ,   V 2 8 ,   P 1 3 7 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 9 0 2 8 8 6 ;   H o v y   D . ,   2 0 1 3 ,   P   N A A C L   H L T ,   P 1 1 2 0 ;   J u n g   J . H . ,   2 0 1 2 ,   P   4   H U M   C O M P   W O R K S H ;   K a r g e r   D .   R . ,   2 0 1 1 ,   P   A D V   N E U R   I N F   P R O C ,   P 1 9 5 3 ;   K u m a r   A . ,   2 0 1 1 ,   P   W O R K S H   C R O W D S   S E A R ,   P 1 9 ;   L e a s e   M . ,   2 0 1 1 ,   P   3   H U M   C O M P   W O R K S H ,   P 9 7 ;   P a p o u l i s   A . ,   1 9 8 4 ,   P R O B A B I L I T Y   R A N D O M   V ;   R a y k a r   V C ,   2 0 1 2 ,   J   M A C H   L E A R N   R E S ,   V 1 3 ,   P 4 9 1 ;   R o s s   J . ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 . A C C E S S E D ;   R o s s   S . M . ,   2 0 1 0 ,   I N T R O   P R O B A B I L I T Y   M O ,   P 1 9 1 ,   D O I   1 0 . 1 0 1 6 / B 9 7 8 - 0 - 1 2 - 3 7 5 6 8 6 - 2 . 0 0 0 0 9 - 1 ;   S h e s h a d r i   A . ,   2 0 1 3 ,   P   1   A A A I   C   H U M   C O M P ,   P 2 0 3 5 ;   S m y t h   P . ,   1 9 9 4 ,   P   A D V   N E U R   I N F   P R O C ,   P 1 0 8 5 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S o r o k i n   A . ,   2 0 0 8 ,   P   1   I E E E   W O R K S H   I N T ,   P 1 ;   W e l i n d e r   P . ,   2 0 1 0 ,   P   A D V   N E U R   I N F   P R O C ,   P 2 4 2 4 ;   W h i t e h i l l   J ,   2 0 0 9 ,   P   A D V   N E U R   I N F   P R O C ,   P 2 0 3 5 	 2 4 	 0 	 0 	 8 	 8 	 E L S E V I E R   S C I E N C E   I N C 	 N E W   Y O R K 	 3 6 0   P A R K   A V E   S O U T H ,   N E W   Y O R K ,   N Y   1 0 0 1 0 - 1 7 1 0   U S A 	 0 0 2 0 - 0 2 5 5 	 1 8 7 2 - 6 2 9 1 	 	 I N F O R M   S C I E N C E S 	 I n f .   S c i . 	 A U G 	 2 0 1 7 	 3 9 6 	 	 	 	 	 	 8 3 	 9 6 	 	 1 0 . 1 0 1 6 / j . i n s . 2 0 1 7 . 0 1 . 0 3 6 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 E P 4 V W 	 W O S : 0 0 0 3 9 7 3 7 9 0 0 0 0 0 7 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 O ' L e a r y ,   D E 	 	 	 	 O ' L e a r y ,   D a n i e l   E . 	 	 	 C r o w d   p e r f o r m a n c e   i n   p r e d i c t i o n   o f   t h e   W o r l d   C u p   2 0 1 4 	 E U R O P E A N   J O U R N A L   O F   O P E R A T I O N A L   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 O R   i n   s p o r t s ;   C r o w d s o u r c i n g   E ;   x p e r t i s e ;   B r i e r   s c o r e ;   F I F A   W o r l d   C u p 	 A S S O C I A T I O N   F O O T B A L L ;   I N D E P E N D E N T   T R I A L S ;   E N G L I S H   F O O T B A L L ;   M A R K E T S ;   S I M U L A T I O N ;   S U C C E S S E S ;   M A T C H E S ;   N U M B E R ;   S P O R T ;   G O A L S 	 T h i s   p a p e r   i n v e s t i g a t e s   t h e   p e r f o r m a n c e   o f   t h e   Y a h o o   c r o w d   a n d   e x p e r t s   i n   p r e d i c t i n g   t h e   o u t c o m e s   o f   m a t c h e s   i n   t h e   W o r l d   C u p   i n   2 0 1 4 .   T h e   a n a l y s i s   f i n d s   t h a t   t h e   Y a h o o   c r o w d   w a s   s t a t i s t i c a l l y   s i g n i f i c a n t l y   b e t t e r   a t   p r e d i c t i n g   o u t c o m e s   o f   m a t c h e s   t h a n   e x p e r t s   a n d   v e r y   s i m i l a r   i n   p e r f o r m a n c e   t o   e s t a b l i s h e d   b e t t i n g   o d d s .   I n   a d d i t i o n ,   t h i s   p a p e r   f i n d s   t h a t   t h e r e   w a s   a   s t a t i s t i c a l l y   s i g n i f i c a n t   d i f f e r e n c e   b e t w e e n   t h e   Y a h o o   c r o w d   a n d   a   d i f f e r e n t   c r o w d ' s   p e r f o r m a n c e s ,   f o r   t h e   s a m e   t a s k ,   s u g g e s t i n g   t h a t   c h a r a c t e r i s t i c s   o f   t h e   " c r o w d   m a t t e r . " F i n a l l y ,   t h i s   p a p e r   f i n d s   t h a t   d i f f e r e n t   c r o w d s o u r c i n g   a p p r o a c h e s   a p p a r e n t l y   p r o v i d e   d i f f e r e n t   r e s u l t s .   A c c o r d i n g l y ,   i t   i s   i m p o r t a n t   t o   s p e c i f y   t h e   p a r t i c u l a r   c r o w d s o u r c i n g   a p p r o a c h ,   r a t h e r   t h a n   s i m p l y   " c r o w d s o u r c e .   ( C )   2 0 1 7   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ O ' L e a r y ,   D a n i e l   E . ]   U n i v   S o u t h e r n   C a l i f ,   L o s   A n g e l e s ,   C A   9 0 0 8 9   U S A 	 O ' L e a r y ,   D E   ( r e p r i n t   a u t h o r ) ,   U n i v   S o u t h e r n   C a l i f ,   L o s   A n g e l e s ,   C A   9 0 0 8 9   U S A . 	 o l e a r y @ u s c . e d u 	 	 	 	 	 B o t h o s   E ,   2 0 1 0 ,   I E E E   I N T E L L   S Y S T ,   V 2 5 ,   P 5 0 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 1 0 . 1 5 2 ;   B r e n n a n   C . ,   2 0 1 4 ,   U S   T O D A Y                 0 7 0 2 ;   B r i e r   G W ,   1 9 5 0 ,   M O N T H L Y   W E A T H E R   R E V I ,   V 7 8 ,   P 1 ,   D O I   [ D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 9 3 ( 1 9 5 0 ) 0 7 8 < 0 0 0 1 : V O F E I T > 2 . 0 . C O ; 2 ,   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 9 3 ( 1 9 5 0 ) 0 7 8 < 0 0 0 1 : V O F E I T & > 2 . 0 . C O ; 2 ] ;   B u d e s c u   D V ,   2 0 1 5 ,   M A N A G E   S C I ,   V 6 1 ,   P 2 6 7 ,   D O I   1 0 . 1 2 8 7 / m n s c . 2 0 1 4 . 1 9 0 9 ;   C a f f o   B . ,   2 0 0 7 ,   M E T H O D S   B I O S T A T I S T I C ;   C r o w d e r   M ,   2 0 0 2 ,   J   R O Y   S T A T   S O C   D - S T A ,   V 5 1 ,   P 1 5 7 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 8 8 4 . 0 0 3 0 8 ;   D e   V e a u x   R .   D . ,   2 0 0 8 ,   I N T R O   S T A T ;   D i x o n   M J ,   2 0 0 4 ,   I N T   J   F O R E C A S T I N G ,   V 2 0 ,   P 6 9 7 ,   D O I   1 0 . 1 0 1 6 / j . i j f o r e c a s t . 2 0 0 3 . 1 2 . 0 0 7 ;   D I X O N   M J ,   1 9 9 7 ,   J   R O Y   S T A T   S O C   C - A P P ,   V 4 6 ,   P 2 6 5 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 8 7 6 . 0 0 0 6 5 ;   D o b s o n   S . ,   2 0 0 0 ,   S T O C H A S T I C   M O D E L I N G ,   D O I   1 0 . 1 . 1 . 2 7 . 8 1 6 & r e p = r e p l & t y p e - p d f ;   D o b s o n   S . ,   2 0 0 1 ,   E C   F O O T B A L L ;   D y t e   D ,   2 0 0 0 ,   J   O P E R   R E S   S O C ,   V 5 1 ,   P 9 9 3 ,   D O I   1 0 . 1 0 5 7 / p a l g r a v e . j o r s . 2 6 0 0 9 9 7 ;   F A M A   E F ,   1 9 7 0 ,   J   F I N A N C ,   V 2 5 ,   P 3 8 3 ,   D O I   1 0 . 2 3 0 7 / 2 3 2 5 4 8 6 ;   F e l l e r   W . ,   1 9 5 0 ,   I N T R O   P R O B A B I L I T Y   T H ;   F e r n a n d e z   M ,   2 0 1 0 ,   I E E E   T   A E R O   E L E C   S Y S ,   V 4 6 ,   P 8 0 3 ,   D O I   1 0 . 1 1 0 9 / T A E S . 2 0 1 0 . 5 4 6 1 6 5 8 ;   F o r r e s t   D ,   2 0 0 0 ,   I N T   J   F O R E C A S T I N G ,   V 1 6 ,   P 3 1 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 9 - 2 0 7 0 ( 0 0 ) 0 0 0 5 0 - 9 ;   F o r r e s t   D ,   2 0 0 5 ,   I N T   J   F O R E C A S T I N G ,   V 2 1 ,   P 5 5 1 ,   D O I   1 0 . 1 0 1 6 / j . i j f o r e c a s t . 2 0 0 5 . 0 3 . 0 0 3 ;   F o r r e s t   D . ,   2 0 0 9 ,   A P P L   E C O N ,   V 4 0 ,   P 3 1 7 ;   G n e i t i n g   T ,   2 0 0 7 ,   J   A M   S T A T   A S S O C ,   V 1 0 2 ,   P 3 5 9 ,   D O I   1 0 . 1 1 9 8 / 0 1 6 2 1 4 5 0 6 0 0 0 0 0 1 4 3 7 ;   G o d d a r d   J ,   2 0 0 5 ,   I N T   J   F O R E C A S T I N G ,   V 2 1 ,   P 3 3 1 ,   D O I   1 0 . 1 0 1 6 / j . i j f o r e c a s t . 2 0 0 4 . 0 8 . 0 0 2 ;   G o d i n   F . ,   2 0 1 4 ,   K D D   W O R K S H   L A R G   S C A L ;   G o l d m a n   S a c h s ,   2 0 1 4 ,   W O R L D   C U P   E C   2 0 1 4 ;   G R O F M A N   B ,   1 9 8 3 ,   T H E O R   D E C I S ,   V 1 5 ,   P 2 6 1 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 1 2 5 6 7 2 ;   H a y e k   F A ,   1 9 4 5 ,   A M   E C O N   R E V ,   V 3 5 ,   P 5 1 9 ;   H e r z o g   S M ,   2 0 1 1 ,   J U D G M   D E C I S   M A K ,   V 6 ,   P 5 8 ;   H i r t h   M ,   2 0 1 3 ,   M A T H   C O M P U T   M O D E L ,   V 5 7 ,   P 2 9 1 8 ,   D O I   1 0 . 1 0 1 6 / j . m c m . 2 0 1 2 . 0 1 . 0 0 6 ;   H O E F F D I N G   W ,   1 9 5 6 ,   A N N   M A T H   S T A T ,   V 2 7 ,   P 7 1 3 ,   D O I   1 0 . 1 2 1 4 / a o m s / 1 1 7 7 7 2 8 1 7 8 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ;   J e n k i n s   M . ,   2 0 0 6 ,   B L O O M B E R G   S P O R T S   H A S ;   K o n i n g   R H ,   2 0 0 3 ,   E U R   J   O P E R   R E S ,   V 1 4 8 ,   P 2 6 8 ,   D O I   1 0 . 1 0 1 6 / S 0 3 7 7 - 2 2 1 7 ( 0 2 ) 0 0 6 8 3 - 5 ;   M a k r a d a k i s   S . ,   1 9 9 8 ,   F O R E C A S T I N G   M E T H O D S ;   M A R G O L I S   H ,   1 9 7 6 ,   P U B L I C   C H O I C E ,   V 2 6 ,   P 1 1 9 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 7 2 5 8 0 0 ;   M c C u l l o u g h   B D ,   2 0 1 0 ,   J   A P P L   S T A T ,   V 3 7 ,   P 8 8 1 ,   D O I   1 0 . 1 0 8 0 / 0 2 6 6 4 7 6 0 9 0 2 8 8 9 9 6 5 ;   M c G w i r e   D . ,   2 0 1 4 ,   2 0 1 4   W O R L D   C U P   R O U N D ;   M c H a l e   I ,   2 0 1 1 ,   S T A T   M O D E L ,   V 1 1 ,   P 2 1 9 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 1 0 8 2 X 1 0 0 1 1 0 0 3 0 3 ;   M o o r e   D .   S . ,   2 0 0 4 ,   B A S I C   P R A C T I C E   S T A T ;   P W C ,   2 0 1 4 ,   P W C   W O R L D   C U P   I N D   W H ;   R a d o s a v l j e v i c   V . ,   2 0 1 4 ,   K D D   W O R K S H   L A R G   S C A L ;   R i c c o b o n o   A . ,   2 0 1 4 ,   W O R L D   C U P   2 0 1 4   E A R L Y ;   R o u l s t o n   M S ,   2 0 0 2 ,   M O N   W E A T H E R   R E V ,   V 1 3 0 ,   P 1 6 5 3 ,   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 9 3 ( 2 0 0 2 ) 1 3 0 < 1 6 5 3 : E P F U I T > 2 . 0 . C O ; 2 ;   S c h l a e f l   S . ,   2 0 1 4 ,   P R E D I C T I N G   W O R L D   C U P ;   S c h u m a k e r   R P ,   2 0 1 6 ,   D E C I S   S U P P O R T   S Y S T ,   V 8 8 ,   P 7 6 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 6 . 0 5 . 0 1 0 ;   S k l a r   A . ,   1 9 9 6 ,   I M S   L E C T   N O T E S   M O N O G ,   V 2 8 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S ;   T H A L E R   R H ,   1 9 8 8 ,   J   E C O N   P E R S P E C T ,   V 2 ,   P 1 6 1 ;   T r o u b a d o u r ,   2 0 1 4 ,   P R E D   W O R L D C U P 2 0 1 4 ;   W A N G   Y H ,   1 9 9 3 ,   S T A T   S I N I C A ,   V 3 ,   P 2 9 5 	 4 7 	 0 	 0 	 2 2 	 2 2 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 3 7 7 - 2 2 1 7 	 1 8 7 2 - 6 8 6 0 	 	 E U R   J   O P E R   R E S 	 E u r .   J .   O p e r .   R e s . 	 J U L   1 6 	 2 0 1 7 	 2 6 0 	 2 	 	 	 	 	 7 1 5 	 7 2 4 	 	 1 0 . 1 0 1 6 / j . e j o r . 2 0 1 6 . 1 2 . 0 4 3 	 	 1 0 	 M a n a g e m e n t ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 B u s i n e s s   &   E c o n o m i c s ;   O p e r a t i o n s   R e s e a r c h   &   M a n a g e m e n t   S c i e n c e 	 E O 8 P S 	 W O S : 0 0 0 3 9 6 9 5 2 7 0 0 0 2 7 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 K o r p u s i k ,   M ;   G l a s s ,   J 	 	 	 	 K o r p u s i k ,   M a n d y ;   G l a s s ,   J a m e s 	 	 	 S p o k e n   L a n g u a g e   U n d e r s t a n d i n g   f o r   a   N u t r i t i o n   D i a l o g u e   S y s t e m 	 I E E E - A C M   T R A N S A C T I O N S   O N   A U D I O   S P E E C H   A N D   L A N G U A G E   P R O C E S S I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C o n d i t i o n a l   r a n d o m   f i e l d ;   c r o w d s o u r c i n g ;   n e u r a l   n e t w o r k s ;   s e m a n t i c   t a g g i n g ;   w o r d   v e c t o r s 	 	 F o o d   l o g g i n g   i s   r e c o m m e n d e d   b y   d i e t i c i a n s   f o r   p r e v e n t i o n   a n d   t r e a t m e n t   o f   o b e s i t y ,   b u t   c u r r e n t l y   a v a i l a b l e   m o b i l e   a p p l i c a t i o n s   f o r   d i e t   t r a c k i n g   a r e   o f t e n   t o o   d i f f i c u l t   a n d   t i m e c o n s u m i n g   f o r   p a t i e n t s   t o   u s e   r e g u l a r l y .   F o r   t h i s   r e a s o n ,   w e   p r o p o s e   a   n o v e l   a p p r o a c h   t o   f o o d   j o u r n a l i n g   t h a t   u s e s   s p e e c h   a n d   l a n g u a g e   u n d e r s t a n d i n g   t e c h n o l o g y   i n   o r d e r   t o   e n a b l e   e f f i c i e n t   s e l f - a s s e s s m e n t   o f   e n e r g y   a n d   n u t r i e n t   c o n s u m p t i o n .   T h i s   p a p e r   p r e s e n t s   o n g o i n g   l a n g u a g e   u n d e r s t a n d i n g   e x p e r i m e n t s   c o n d u c t e d   a s   p a r t   o f   a   l a r g e r   e f f o r t   t o   c r e a t e   a   n u t r i t i o n   d i a l o g u e   s y s t e m   t h a t   a u t o m a t i c a l l y   e x t r a c t s   f o o d   c o n c e p t s   f r o m   a   u s e r ' s   s p o k e n   m e a l   d e s c r i p t i o n .   W e   f i r s t   s u m m a r i z e   t h e   d a t a   c o l l e c t i o n   a n d   a n n o t a t i o n   o f   f o o d   d e s c r i p t i o n s   p e r f o r m e d   v i a   A m a z o n   M e c h a n i c a l   T u r k   ( A M T ) ,   f o r   b o t h   a   w r i t t e n   c o r p u s   a n d   s p o k e n   d a t a   f r o m   a n   i n - d o m a i n   s p e e c h   r e c o g n i z e r .   W e   s h o w   t h a t   t h e   a d d i t i o n   o f   w o r d   v e c t o r   f e a t u r e s   i m p r o v e s   c o n d i t i o n a l   r a n d o m   f i e l d   ( C R F )   p e r f o r m a n c e   f o r   s e m a n t i c   t a g g i n g   o f   f o o d   c o n c e p t s ,   a c h i e v i n g   a n   a v e r a g e   F 1   t e s t   s c o r e   o f   9 2 . 4   o n   w r i t t e n   d a t a ;   w e   a l s o   d e m o n s t r a t e   t h a t   a   c o n v o l u t i o n a l   n e u r a l   n e t w o r k   ( C N N )   w i t h   n o   h a n d - c r a f t e d   f e a t u r e s   o u t p e r f o r m s   t h e   b e s t   C R F   o n   s p o k e n   d a t a ,   a c h i e v i n g   a n   F 1   t e s t   s c o r e   o f   9 1 . 3 .   W e   i l l u s t r a t e   t w o   m e t h o d s   f o r   a s s o c i a t i n g   f o o d s   w i t h   p r o p e r t i e s :   s e g m e n t i n g   m e a l   d e s c r i p t i o n s   w i t h   a   C R F ,   a n d   a   c o m p l e m e n t a r y   m e t h o d   t h a t   d i r e c t l y   p r e d i c t s   a s s o c i a t i o n s   w i t h   a   f e e d - f o r w a r d   n e u r a l   n e t w o r k .   F i n a l l y ,   w e   c o n d u c t   a n   e n d - t o - e n d   s y s t e m   e v a l u a t i o n   t h r o u g h   a n   A M T u s e r   s t u d y   w i t h   w o r k e r   r a t i n g s   o f   8 3 %   s e m a n t i c   t a g g i n g   a c c u r a c y . 	 [ K o r p u s i k ,   M a n d y ;   G l a s s ,   J a m e s ]   M I T ,   C o m p   S c i   &   A r t i f i c i a l   I n t e l l i g e n c e   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A 	 K o r p u s i k ,   M   ( r e p r i n t   a u t h o r ) ,   M I T ,   C o m p   S c i   &   A r t i f i c i a l   I n t e l l i g e n c e   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A . 	 k o r p u s i k @ m i t . e d u ;   g l a s s @ m i t . e d u 	 	 	 Q u a n t a   C o m p u t i n g ,   I n c . ;   N I H ;   D e p a r t m e n t   o f   D e f e n s e   ( D o D )   t h r o u g h   t h e   N a t i o n a l   D e f e n s e   S c i e n c e   a n d   E n g i n e e r i n g   G r a d u a t e   F e l l o w s h i p   ( N D S E G )   P r o g r a m 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   a   g r a n t   f r o m   Q u a n t a   C o m p u t i n g ,   I n c . ,   i n   p a r t   b y   t h e   N I H ,   a n d   i n   p a r t   b y   t h e   D e p a r t m e n t   o f   D e f e n s e   ( D o D )   t h r o u g h   t h e   N a t i o n a l   D e f e n s e   S c i e n c e   a n d   E n g i n e e r i n g   G r a d u a t e   F e l l o w s h i p   ( N D S E G )   P r o g r a m .   T h e   a s s o c i a t e   e d i t o r   c o o r d i n a t i n g   t h e   r e v i e w   o f   t h i s   m a n u s c r i p t   a n d   a p p r o v i n g   i t   f o r   p u b l i c a t i o n   w a s   D r .   A n i   N e n k o v a .   ( C o r r e s p o n d i n g   a u t h o r :   M a n d y   K o r p u s i k . ) 	 A l - R f o u   R . ,   2 0 1 3 ,   P   1 7   C   C O M P   N A T   L A N G ,   P 1 8 3 ;   B a r o n i   M . ,   2 0 1 4 ,   P   5 2   A N N   M   A S S   C O M P ,   V 1 ,   P 2 3 8 ;   B i s h o p   C h r i s t o p h e r   M ,   2 0 0 6 ,   P A T T E R N   R E C O G N I T I O N ,   V 1 ;   B u h r m e s t e r   M ,   2 0 1 1 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 6 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 0 3 9 3 9 8 0 ;   C e l i k y i l m a z   A . ,   2 0 1 5   A A A I   S P R I N G   S   K ;   C h e n   Y . ,   2 0 1 4 ,   P   I E E E   S P O K   L A N G   T E C ;   C o l l o b e r t   R ,   2 0 1 1 ,   J   M A C H   L E A R N   R E S ,   V 1 2 ,   P 2 4 9 3 ;   C o n n e a u   A . ,   2 0 1 6 ,   A R X I V 1 6 0 6 0 1 7 8 1 ;   C o n w a y   D . ,   1 9 9 8 ,   P   2   A N N   P E R L   C   C   S A L ;   D a h l   D . ,   1 9 9 4 ,   P   A R P A   W O R K S H   H U M   L A ,   P 4 3 ,   D O I   1 0 . 3 1 1 5 / 1 0 7 5 8 1 2 . 1 0 7 5 8 2 3 ;   F l o r i a n   R . ,   2 0 0 1 ,   F A S T   T R A N S F O R M A T I O N ;   G e b h a r d t   S . ,   2 0 0 8 ,   U S D A   N A T L   N U T R   D A T A B ;   G e r s   F A ,   2 0 0 3 ,   J   M A C H   L E A R N   R E S ,   V 3 ,   P 1 1 5 ,   D O I   1 0 . 1 1 6 2 / 1 5 3 2 4 4 3 0 3 7 6 8 9 6 6 1 3 9 ;   G i l l i c k   L . ,   1 9 8 9 ,   P   I C A S S P ,   P 5 3 2 ;   G u o   J . ,   2 0 1 4 ,   P   2 0 1 4   C   E M P   M E T H   N A ,   P 1 1 0 ;   H e   Y . ,   2 0 0 3 ,   P   I E E E   A U T   S P E E C H   R E ,   P 5 8 3 ;   H e i n t z e   S . ,   2 0 1 0 ,   P   1 1   A N N   M   S P E C   I N T ,   P 9 ;   H e m p h i l l   C . ,   1 9 9 0 ,   P   D A R P A   S P E E C H   N A T   L ,   P 9 6 ,   D O I   1 0 . 3 1 1 5 / 1 1 6 5 8 0 . 1 1 6 6 1 3 ;   H e t h e r i n g t o n   I . ,   2 0 0 4 ,   P   8   I N T   C   S P O K   L A N G ;   H o c h r e i t e r   S ,   1 9 9 7 ,   N E U R A L   C O M P U T ,   V 9 ,   P 1 7 3 5 ,   D O I   1 0 . 1 1 6 2 / n e c o . 1 9 9 7 . 9 . 8 . 1 7 3 5 ;   H u a n g   Z . ,   2 0 1 5 ,   A R X I V 1 5 0 8 0 1 9 9 1 ;   K i m   Y . ,   2 0 1 6 ,   P   A A A I ,   P 2 7 4 1 ;   K i n g m a   D . ,   2 0 1 4 ,   1 4 1 2 6 9 8 0   A R X I V ;   K n u t h   D .   E . ,   1 9 7 7 ,   S I A M   J o u r n a l   o n   C o m p u t i n g ,   V 6 ,   P 3 2 3 ,   D O I   1 0 . 1 1 3 7 / 0 2 0 6 0 2 4 ;   K o r p u s i k   M . ,   2 0 1 6 ,   P   I E E E   C   A C   S P E E C H   S ;   K o r p u s i k   M . ,   2 0 1 5 ,   T H E S I S ;   K o r p u s i k   M . ,   2 0 1 4 ,   P   I E E E   S P O K   L A N G   T E C ;   L a k o f f   G . ,   2 0 0 8 ,   W O M E N   F I R E   D A N G E R O U S ;   L a m p l e   G . ,   2 0 1 6 ,   P   H L T   N A A C L   2 0 1 6   W O R ,   P 2 6 0 ;   L e i   T . ,   2 0 1 5 ,   A R X I V 1 5 1 2 0 5 7 2 6 ;   L i   J . ,   2 0 1 6 ,   P   5 4   A N N   M   A S S   C O M P ,   P 9 9 4 ;   L i   J K ,   2 0 1 6 ,   E N R G Y   P R O C E D ,   V 1 0 4 ,   P 1 1 0 ,   D O I   1 0 . 1 0 1 6 / j . e g y p r o . 2 0 1 6 . 1 2 . 0 2 0 ;   L i n   D . ,   2 0 0 9 ,   P   J O I N T   C   4 7   A N N   M   A ,   V 2 ,   P 1 0 3 0 ,   D O I   1 0 . 3 1 1 5 / 1 6 9 0 2 1 9 . 1 6 9 0 2 9 0 ;   L i u   J J ,   2 0 1 3 ,   I N T   C O N F   A C O U S T   S P E E ,   P 8 3 8 6 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 2 0 1 3 . 6 6 3 9 3 0 1 ;   M a n n i n g   C . D . ,   2 0 1 4 ,   P   5 2   A N N   M   A S S   C O M P ,   P 5 5 ;   M a n u v i n a k u r i k e   R . ,   2 0 1 6 ,   P   1 7   A N N   S I G D I A L   M   D ,   P 2 3 2 ;   M e s n i l   G . ,   2 0 1 3 ,   P   I N T E R S P E E C H ,   P 3 7 7 1 ;   M e z a - R u i z   I V ,   2 0 0 8 ,   I N T   C O N F   A C O U S T   S P E E ,   P 5 0 2 1 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 2 0 0 8 . 4 5 1 8 7 8 6 ;   M i k o l o v   T . ,   2 0 1 3 ,   P   N A A C L   2 0 1 3 ,   P 7 4 6 ;   M i k o l o v   T . ,   2 0 1 3 ,   C   A D V   N E U R   I N F   P R O C ,   P 3 1 1 1 ;   M i k o l o v   T . ,   2 0 1 3 ,   A R X I V 1 3 0 1 3 7 8 1 ;   M I L L E R   G A ,   1 9 9 1 ,   L A N G   C O G N I T I V E   P R O C ,   V 6 ,   P 1 ,   D O I   1 0 . 1 0 8 0 / 0 1 6 9 0 9 6 9 1 0 8 4 0 6 9 3 6 ;   N a d e a u   D a v i d ,   2 0 0 7 ,   L I N G V I S T I C A E   I N V E S T I ,   V 3 0 ,   P 3 ,   D O I   D O I   1 0 . 1 0 7 5 / 1 I . 3 0 . 1 . 0 3 N A D ;   N a p h t a l   R . ,   2 0 1 5 ,   T H E S I S ;   N g u y e n   T . ,   2 0 1 5 ,   P E R S P E C T I V E S   C U L T U R E ,   P 3 9 ;   O k a z a k i   N . ,   2 0 0 7 ,   C R F S U I T E   F A S T   I M P L E M ;   P a s s o s   A . ,   2 0 1 4 ,   P   1 8   C   C O M P   N A T   L A N G ,   P 7 8 ;   P e d r e g o s a   F ,   2 0 1 1 ,   J   M A C H   L E A R N   R E S ,   V 1 2 ,   P 2 8 2 5 ;   P e n n i n g t o n   J . ,   2 0 1 4 ,   P   C   E M P   M E T H   N A T   L A N ,   V 1 2 ;   P o v e y   D . ,   2 0 1 1 ,   P   I E E E   W O R K S H   A U T   S P ;   R a y m o n d   C . ,   2 0 0 7 ,   P   I N T   2 0 0 7 ,   P 1 6 0 5 ;   S a n t o s   C . ,   2 0 1 4 ,   P   3 1   I N T   C   M A C H   L E A R ,   P 1 8 1 8 ;   S a y l o r   P . ,   2 0 1 5 ,   T H E S I S ;   S c h u t z e   H . ,   1 9 9 3 ,   P   A D V   N E U R   I N F   P R O C ,   V 5 ,   P 8 9 5 ;   S e n e f f   S . ,   2 0 0 0 ,   P   A N L P   N A A C L   W O R K S H ,   V 3 ,   P 1 1 ;   S h a n g   L . ,   2 0 1 5 ,   P   5 3   A N N   M   A S S   C O M P ;   S o r d o n i   A . ,   2 0 1 5 ,   H U M   L A N G   T E C H N   2 0 1 5 ,   P 1 9 6 ;   S u t s k e v e r   I . ,   2 0 1 4 ,   P   A D V   N E U R   I N F   P R O C ,   P 3 1 0 4 ;   S u t t o n   C h a r l e s ,   2 0 1 1 ,   F o u n d a t i o n s   a n d   T r e n d s   i n   M a c h i n e   L e a r n i n g ,   V 4 ,   P 2 6 7 ,   D O I   1 0 . 1 5 6 1 / 2 2 0 0 0 0 0 0 1 3 ;   S u t t o n   C . ,   2 0 0 6 ,   I N T R O   S T A T   R E L A T I O N A ,   P 9 3 ;   T h o m s o n   B . ,   2 0 1 3 ,   S T A T   M E T H O D S   S P O K E N ;   T s a i   A G ,   2 0 1 1 ,   O B E S   R E V ,   V 1 2 ,   P 5 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 7 8 9 X . 2 0 0 9 . 0 0 7 0 8 . x ;   T u r   G ,   2 0 1 0 ,   P r o c e e d i n g s   2 0 1 0   I E E E   S p o k e n   L a n g u a g e   T e c h n o l o g y   W o r k s h o p   ( S L T   2 0 1 0 ) ,   P 1 9 ,   D O I   1 0 . 1 1 0 9 / S L T . 2 0 1 0 . 5 7 0 0 8 1 6 ;   T u r   G ,   2 0 1 1 ,   I N T   C O N F   A C O U S T   S P E E ,   P 5 6 2 8 ;   T u r n e y   P D ,   2 0 1 0 ,   J   A R T I F   I N T E L L   R E S ,   V 3 7 ,   P 1 4 1 ;   V i e r a   A J ,   2 0 0 5 ,   F A M   M E D ,   V 3 7 ,   P 3 6 0 ;   V i n y a l s   O . ,   2 0 1 5 ,   A R X I V 1 5 0 6 0 5 8 6 9 ;   W a n g   Y . ,   2 0 0 6 ,   P   C O L I N G   A C L   J U L ,   P 8 8 2 ,   D O I   1 0 . 3 1 1 5 / 1 2 7 3 0 7 3 . 1 2 7 3 1 8 6 ;   W a n g   Y ,   2 0 0 7 ,   E P I D E M I O L   R E V ,   V 2 9 ,   P 6 ,   D O I   1 0 . 1 0 9 3 / e p i r e v / m x m 0 0 7 ;   W .   H .   O r g a n i z a t i o n ,   2 0 0 0 ,   O B   P R E V   M A N   G L O B   E P ;   Y a o   K . ,   2 0 1 3 ,   P   1 4   A N N   C   I N T   S P E E C ,   P 2 5 2 4 ;   Y a o   K S ,   2 0 1 4 ,   2 0 1 4   I E E E   W O R K S H O P   O N   S P O K E N   L A N G U A G E   T E C H N O L O G Y   S L T   2 0 1 4 ,   P 1 8 9 ,   D O I   1 0 . 1 1 0 9 / S L T . 2 0 1 4 . 7 0 7 8 5 7 2 ;   Y i n   W . ,   2 0 1 6 ,   A R X I V 1 6 0 2 0 4 3 4 1 ;   Y i n   W . ,   2 0 1 6 ,   T   A S S   C O M P U T   L I N G U I S ,   V 4 ,   P 2 5 9 ;   Y o u n g   S ,   2 0 1 0 ,   C O M P U T   S P E E C H   L A N G ,   V 2 4 ,   P 1 5 0 ,   D O I   1 0 . 1 0 1 6 / j . c s l . 2 0 0 9 . 0 4 . 0 0 1 ;   Z h a n g   X . ,   2 0 1 5 ,   P   A D V   N E U R   I N F   P R O C ,   P 6 4 9 	 7 6 	 0 	 0 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 2 3 2 9 - 9 2 9 0 	 	 	 I E E E - A C M   T   A U D I O   S P E 	 I E E E - A C M   T r a n s .   A u d i o   S p e e c h   L a n g . 	 J U L 	 2 0 1 7 	 2 5 	 7 	 	 	 	 	 1 4 5 0 	 1 4 6 1 	 	 1 0 . 1 1 0 9 / T A S L P . 2 0 1 7 . 2 6 9 4 6 9 9 	 	 1 2 	 A c o u s t i c s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 A c o u s t i c s ;   E n g i n e e r i n g 	 E X 5 V P 	 W O S : 0 0 0 4 0 3 3 1 1 1 0 0 0 0 4 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 A l a c o v s k a ,   A 	 	 	 	 A l a c o v s k a ,   A n a 	 	 	 T h e   h i s t o r y   o f   p a r t i c i p a t o r y   p r a c t i c e s :   r e t h i n k i n g   m e d i a   g e n r e s   i n   t h e   h i s t o r y   o f   u s e r - g e n e r a t e d   c o n t e n t   i n   1 9 t h - c e n t u r y   t r a v e l   g u i d e b o o k s 	 M E D I A   C U L T U R E   &   S O C I E T Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g   p r a c t i c e s ;   g e n r e ;   g e n r e   a f f o r d a n c e s ;   h i s t o r y   o f   d i g i t a l   t e c h n o l o g i e s ;   h i s t o r y   o f   p a r t i c i p a t i o n ;   n e w   m e d i a   h i s t o r y ;   p a r t i c i p a t o r y   p r a c t i c e s ;   t r a v e l   g u i d e b o o k s ;   u s e r - g e n e r a t e d   c o n t e n t 	 W E B ;   B B C 	 T h i s   a r t i c l e   c h a r t s   t h e   h i s t o r i c a l   s t a b i l i t y   a n d   c o n t i n u i t y   o f   p a r t i c i p a t o r y   a n d   c r o w d s o u r c i n g   p r a c t i c e s .   T h e o r e t i c a l l y ,   i t   s u g g e s t s   t h a t   t h e   b l u r r i n g   o f   t h e   b o u n d a r i e s   b e t w e e n   a u d i e n c e s   a n d   p r o d u c e r s ,   w i t h   t h e   e n s u i n g   r e s u l t   o f   u s e r - g e n e r a t e d   c o n t e n t ,   i s   b y   n o   m e a n s   s o l e l y   t h e   u p s h o t   o f   n e w   m e d i a   t e c h n o l o g i c a l   a f f o r d a n c e s   b u t   l a r g e l y   a   f u n c t i o n   o f   r e l a t i v e l y   s t a b i l i z e d ,   g e n r e - s p e c i f i c   f o r m a l   a n d   f u n c t i o n a l   p r o p e r t i e s ,   o r   g e n r e   a f f o r d a n c e s ' .   C e r t a i n   r e f e r e n t i a l   a n d   p e r f o r m a t i v e   g e n r e s   e n a b l e   i n t e r a c t i o n   b e t w e e n   a u d i e n c e s ,   t e x t s   a n d   p r o d u c e r s   i n d e p e n d e n t l y   o f   n e w   m e d i a   t e c h n o l o g i e s   b e c a u s e   t h e s e   g e n r e s   c o n s t i t u t e   w h a t   m a t t e r s   f o r   b o t h   p r o d u c e r s   a n d   a u d i e n c e s   i n   s p e c i f i c   h i s t o r i c a l   c i r c u m s t a n c e s .   G e n r e s   m a k e   a v a i l a b l e   s h a r e d   c u l t u r a l ,   s o c i a l   a n d   p r a g m a t i c   r e s o u r c e s   f o r   a p p r o p r i a t e   a n d   d e s i r a b l e   b e i n g ,   d o i n g ,   f e e l i n g   a n d   t h i n k i n g .   E m p i r i c a l l y ,   t h i s   a r t i c l e   b u i l d s   u p o n   a n   a r c h i v a l   s t u d y   o f   c o - p r o d u c t i o n   r e l a t e d   t o   t h e   s p e c i f i c   g e n r e   o f   t r a v e l   g u i d e b o o k s .   I t   i n v e s t i g a t e s   ( a )   a u d i e n c e   f e e d b a c k   i n   t h e   f o r m   o f   h a n d w r i t t e n   l e t t e r s   s e n t   t o   J o h n   M u r r a y ,   a   v e n e r a b l e   1 9 t h - c e n t u r y   B r i t i s h   p u b l i s h i n g   h o u s e ,   a n d   ( b )   t h e   w a y s   i n   w h i c h   J o h n   M u r r a y ' s   y e s t e r y e a r   g u i d e b o o k   p r o d u c e r s   a c t i v e l y   s o l i c i t e d   a n d   i m p l e m e n t e d   r e a d e r - a u t h o r e d   c o n t e n t   i n   p r o f e s s i o n a l   p r o d u c t i o n   p r a c t i c e . 	 [ A l a c o v s k a ,   A n a ]   C o p e n h a g e n   B u s i n e s s   S c h ,   P o r c e l a e n s h a v e n   1 8 A ,   D K - 2 0 0 0   F r e d e r i k s b e r g ,   D e n m a r k 	 A l a c o v s k a ,   A   ( r e p r i n t   a u t h o r ) ,   C o p e n h a g e n   B u s i n e s s   S c h ,   P o r c e l a e n s h a v e n   1 8 A ,   D K - 2 0 0 0   F r e d e r i k s b e r g ,   D e n m a r k . 	 a a . i k l @ c b s . d k 	 	 	 D o c t o r a l   S c h o o l   f o r   O r g a n i s a t i o n   a n d   M a n a g e m e n t   S t u d i e s   a t   t h e   C o p e n h a g e n   B u s i n e s s   S c h o o l 	 T h e   D o c t o r a l   S c h o o l   f o r   O r g a n i s a t i o n   a n d   M a n a g e m e n t   S t u d i e s   a t   t h e   C o p e n h a g e n   B u s i n e s s   S c h o o l . 	 A a r s e t h   J E ,   1 9 9 7 ,   C Y B E R T E X T   P E R S P E C T I V ;   A l a c o v s k a   A ,   2 0 1 3 ,   C O M M U N   C U L T   C R I T ,   V 6 ,   P 4 1 ,   D O I   1 0 . 1 1 1 1 / c c c r . 1 2 0 0 4 ;   A l a c o v s k a   A ,   2 0 1 5 ,   E U R   J   C U L T   S T U D ,   V 1 8 ,   P 6 0 1 ,   D O I   1 0 . 1 1 7 7 / 1 3 6 7 5 4 9 4 1 5 5 7 2 3 1 8 ;   A l a c o v s k a   A ,   2 0 1 5 ,   S O C I O L   R E V ,   V 6 3 ,   P 1 2 8 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 5 4 X . 1 2 2 4 6 ;   B e c k e r   S H ,   2 0 0 6 ,   A R T   S T A R T   F I N I S H ,   P 2 1 ;   B e n k l e r   Y ,   2 0 0 6 ,   W E A L T H   N E T W O R K S ;   B o c z k o w s k i   J P ,   2 0 0 4 ,   D I G I T I Z I N G   N E W S   I N N O ;   B r a b h a m   D C ,   2 0 1 0 ,   I N F O R M   C O M M U N   S O C ,   V 1 3 ,   P 1 1 2 2 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 1 1 8 1 0 0 3 6 2 4 0 9 0 ;   B r u n s   A ,   2 0 0 8 ,   F I B E R C U L T U R E   J ;   C a r p e n t i e r   N ,   2 0 1 4 ,   C O M M U N I C A T I O N   M A N A G E ,   V 3 0 ,   P 7 ;   C a w e l t i   J o h n   C ,   1 9 7 6 ,   A D V E N T U R E   M Y S T E R Y   R O ;   C o u l d r y   N . ,   2 0 1 2 ,   M E D I A   S O C   W O R L D   S O C I ;   C o v e r   R ,   2 0 0 6 ,   N E W   M E D I A   S O C ,   V 8 ,   P 1 3 9 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 0 6 0 5 9 9 2 2 ;   C r o w s t o n   K ,   2 0 0 0 ,   I N F O R M   S O C ,   V 1 6 ,   P 2 0 1 ;   D e v i t t   J A ,   2 0 0 4 ,   W R I T I N G   G E N R E S ;   D r i v e r   E ,   2 0 0 9 ,   F O O D   C U L T U R E   S O C ,   V 1 2 ,   P 2 5 8 ;   E k s t r o m   A ,   2 0 1 1 ,   H I S T   P A R T I C I P A T O R Y   M ;   E m i g h   W ,   2 0 0 5 ,   P   3 8   H A W   I N T   C   S Y S T ,   P 1 ;   E n g l i s h   F . ,   2 0 1 1 ,   S T U D E N T   W R I T I N G   G E N R ;   F r e s h f i e l d   H J ,   1 8 6 1 ,   A L P I N E   B Y W A Y S   L I G H T ;   G a s s a n   R i c h a r d ,   2 0 0 5 ,   B O O K   H I S T ,   V 8 ,   P 5 1 ,   D O I   D O I   1 0 . 1 3 5 3 / B H . 2 0 0 5 . 0 0 0 5 ;   G o o d   K D ,   2 0 1 3 ,   N E W   M E D I A   S O C ,   V 1 5 ,   P 5 5 7 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 1 2 4 5 8 4 3 2 ;   G r e t t o n   R J ,   1 9 9 3 ,   M U R R A Y S   H D B   T R A V E L L E ,   p x i i ;   G r i f f e n - F o l e y   B ,   2 0 0 4 ,   M E D I A   C U L T   S O C ,   V 2 6 ,   P 5 3 3 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 3 4 4 3 7 0 4 0 4 4 2 1 6 ;   H a m i l t o n   J F ,   2 0 1 4 ,   M E D I A   C U L T   S O C ,   V 3 6 ,   P 4 9 1 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 3 4 4 3 7 1 4 5 2 3 8 1 2 ;   H a r r i s o n   J ,   2 0 1 0 ,   J O U R N A L I S M   S T U D ,   V 1 1 ,   P 2 4 3 ,   D O I   1 0 . 1 0 8 0 / 1 4 6 1 6 7 0 0 9 0 3 2 9 0 5 9 3 ;   H e a d r i c k   D R ,   2 0 0 0 ,   I N F O R M   C A M E   A G E ;   H e i d e g g e r   M a r t i n ,   1 9 7 7 ,   Q U E S T I O N   T E C H N O L O G Y ;   J a c k   G ,   2 0 0 5 ,   T O U R   C U L T   C H A N G ,   V 4 ,   P 1 ;   J a c k s o n   H J ,   2 0 0 1 ,   M A R G I N A L I A   R E A D E R S   W ;   J a k o b s o n   R ,   1 9 6 0 ,   S T Y L E   L A N G ,   P 3 5 0 ;   J e n k i n s   H . ,   2 0 0 6 ,   F A N S   B L O G G E R S   G A M E R S ;   J o h n   R R ,   1 9 9 5 ,   S P R E A D I N G   N E W S   A M   P O ;   J o n e s   S ,   2 0 1 1 ,   L O N G   H I S T   N E W   M E D I A ;   J o n s s o n   A n n a   M . ,   2 0 1 1 ,   J O U R N A L I S M   P R A C T I C E ,   V 5 ,   P 1 2 7 ,   D O I   [ 1 0 . 1 0 8 0 / 1 7 5 1 2 7 8 6 . 2 0 1 0 . 5 0 1 1 5 5 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 1 2 7 8 6 . 2 0 1 0 . 5 0 1 1 5 5 ] ;   K l i n g   R . ,   1 9 9 4 ,   I n f o r m a t i o n   S o c i e t y ,   V 1 0 ,   P 1 4 7 ;   K r e s s   G . ,   2 0 0 3 ,   L I T E R A C Y   N E W   M E D I A   A ;   L e s s i g   L ,   2 0 0 4 ,   F R E E   C U L T U R E ;   L i s t e r   W ,   1 9 9 3 ,   M U R R A Y S   H D B   T R A V E L L E ;   L i v i n g s t o n e   S ,   2 0 0 4 ,   E U R   J   C O M M U N ,   V 1 9 ,   P 7 5 ,   D O I   1 0 . 1 1 7 7 / 0 2 6 7 3 2 3 1 0 4 0 4 0 6 9 5 ;   L o m b o r g   S t i n e ,   2 0 1 1 ,   J   M E D I A   C O M M U N I C A T I O ,   V 5 1 ,   P 5 5 ;   L u n d e l l   P ,   2 0 1 1 ,   H I S T   P A R T I C I P A T O R Y   M ,   P 1 0 ;   M c A r t h u r   T ,   1 9 8 6 ,   W O R L D S   O F   R E F E R E N C E ;   M c M i l l a n   S ,   2 0 1 0 ,   H D B   N E W   M E D I A   S O C I A L ,   P 2 0 5 ;   M e r t o n   K R ,   2 0 0 4 ,   T R A V E L   A D V E N T U R E S   S E ;   M I L L E R   C R ,   1 9 8 4 ,   Q   J   S P E E C H ,   V 7 0 ,   P 1 5 1 ;   M i l l e r   C R ,   2 0 0 4 ,   B L O G G I N G   S O C I A L   A C T I ;   P a l m o w s k i   J ,   2 0 0 2 ,   H I S T   L E I S U R E ,   P 1 0 5 ;   P a u l u s s e n   S t e v e ,   2 0 0 8 ,   W E S T M I N S T E R   P A P E R S   C ,   V 5 ,   P 2 4 ;   S c a n n e l l   P ,   2 0 1 4 ,   T E L E V I S I O N   M E A N I N G   L ;   S c h r y e r   C F ,   1 9 9 4 ,   G E N R E   N E W   R H E T O R I C ,   P 8 4 ;   S i e g e r t   B ,   2 0 1 3 ,   T H E O R   C U L T   S O C ,   V 3 0 ,   P 4 8 ,   D O I   1 0 . 1 1 7 7 / 0 2 6 3 2 7 6 4 1 3 4 8 8 9 6 3 ;   S i m m o n s   C ,   2 0 0 9 ,   J   B R O A D C A S T   E L E C T R O N ,   V 5 3 ,   P 4 4 4 ,   D O I   1 0 . 1 0 8 0 / 0 8 8 3 8 1 5 0 9 0 3 1 0 2 6 2 6 ;   T h o m p s o n   B J ,   2 0 0 5 ,   B O O K S   D I G I T A L   A G E ;   W a r d l e   C ,   2 0 1 0 ,   M E D I A   C U L T   S O C ,   V 3 2 ,   P 7 8 1 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 3 4 4 3 7 1 0 3 7 3 9 5 3 ;   W i l l i a m s   R ,   1 9 7 4 ,   T E L E V I S I O N   T E C H N O L O G ;   W i t h e r s   C W J ,   2 0 1 1 ,   T   I   B R I T   G E O G R ,   V 3 6 ,   P 5 6 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 5 - 5 6 6 1 . 2 0 1 1 . 0 0 4 3 7 . x ;   Y a t e s   J ,   1 9 9 3 ,   C O N T R O L   C O M M U N I C A T I O ;   Y a t e s   J ,   1 9 9 4 ,   A D M   S C I   Q ,   V 3 9 ,   P 5 4 1 ;   Z i m m e r   M ,   2 0 0 9 ,   N E W   M E D I A   S O C ,   V 1 1 ,   P 9 5 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 0 8 0 9 9 5 7 3 	 6 0 	 0 	 0 	 0 	 0 	 S A G E   P U B L I C A T I O N S   L T D 	 L O N D O N 	 1   O L I V E R S   Y A R D ,   5 5   C I T Y   R O A D ,   L O N D O N   E C 1 Y   1 S P ,   E N G L A N D 	 0 1 6 3 - 4 4 3 7 	 1 4 6 0 - 3 6 7 5 	 	 M E D I A   C U L T   S O C 	 M e d i a   C u l t .   S o c . 	 J U L 	 2 0 1 7 	 3 9 	 5 	 	 	 	 	 6 6 1 	 6 7 9 	 	 1 0 . 1 1 7 7 / 0 1 6 3 4 4 3 7 1 6 6 6 3 6 4 2 	 	 1 9 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 C o m m u n i c a t i o n ;   S o c i o l o g y 	 E X 3 S Q 	 W O S : 0 0 0 4 0 3 1 5 3 1 0 0 0 0 4 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 W i l l i s ,   C G ;   L a w ,   E ;   W i l l i a m s ,   A C ;   F r a n z o n e ,   B F ;   B e r n a r d o s ,   R ;   B r u n o ,   L ;   H o p k i n s ,   C ;   S c h o r n ,   C ;   W e b e r ,   E ;   P a r k ,   D S ;   D a v i s ,   C C 	 	 	 	 W i l l i s ,   C h a r l e s   G . ;   L a w ,   E d i t h ;   W i l l i a m s ,   A l e x   C . ;   F r a n z o n e ,   B r i a n   F . ;   B e r n a r d o s ,   R e b e c c a ;   B r u n o ,   L i a n ;   H o p k i n s ,   C l a i r e ;   S c h o r n ,   C h r i s t i a n ;   W e b e r ,   E l l a ;   P a r k ,   D a n i e l   S . ;   D a v i s ,   C h a r l e s   C . 	 	 	 C r o w d C u r i o :   a n   o n l i n e   c r o w d s o u r c i n g   p l a t f o r m   t o   f a c i l i t a t e   c l i m a t e   c h a n g e   s t u d i e s   u s i n g   h e r b a r i u m   s p e c i m e n s 	 N E W   P H Y T O L O G I S T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c i t i z e n   s c i e n c e ;   f l o w e r i n g ;   f r u i t i n g ;   p h e n o l o g i c a l   s e n s i t i v i t y ;   p h e n o l o g y ;   p h e n o p h a s e 	 P L A N T   P H E N O L O G Y ;   C I T I Z E N - S C I E N C E ;   F L O W E R I N G   T I M E S ;   T H O R E A U S   W O O D S ;   R E C O R D S ;   P H O T O G R A P H S ;   R E V E A L ;   D R I V E N ;   C O M M O N ;   S H O W 	 P h e n o l o g y   i s   a   k e y   a s p e c t   o f   p l a n t   s u c c e s s .   R e c e n t   r e s e a r c h   h a s   d e m o n s t r a t e d   t h a t   h e r b a r i u m   s p e c i m e n s   c a n   p r o v i d e   i m p o r t a n t   i n f o r m a t i o n   o n   p l a n t   p h e n o l o g y .   M a s s i v e   d i g i t i z a t i o n   e f f o r t s   h a v e   t h e   p o t e n t i a l   t o   g r e a t l y   e x p a n d   h e r b a r i u m - b a s e d   p h e n o l o g i c a l   r e s e a r c h ,   b u t   a l s o   p o s e   a   s e r i o u s   c h a l l e n g e   r e g a r d i n g   e f f i c i e n t   d a t a   c o l l e c t i o n .   H e r e ,   w e   i n t r o d u c e   C r o w d C u r i o ,   a   c r o w d s o u r c i n g   t o o l   f o r   t h e   c o l l e c t i o n   o f   p h e n o l o g i c a l   d a t a   f r o m   h e r b a r i u m   s p e c i m e n s .   W e   t e s t   i t s   u t i l i t y   b y   h a v i n g   w o r k e r s   c o l l e c t   p h e n o l o g i c a l   d a t a   ( n u m b e r   o f   f l o w e r   b u d s ,   o p e n   f l o w e r s   a n d   f r u i t s )   f r o m   s p e c i m e n s   o f   t w o   c o m m o n   N e w   E n g l a n d   ( U S A )   s p e c i e s :   C h e l i d o n i u m   m a j u s   a n d   V a c c i n i u m   a n g u s t i f o l i u m .   W e   a s s e s s   t h e   r e l i a b i l i t y   o f   u s i n g   n o n e x p e r t   w o r k e r s   ( i . e .   A m a z o n   M e c h a n i c a l   T u r k )   a g a i n s t   e x p e r t   w o r k e r s .   W e   a l s o   u s e   t h e s e   d a t a   t o   e s t i m a t e   t h e   p h e n o l o g i c a l   s e n s i t i v i t y   t o   t e m p e r a t u r e   f o r   b o t h   s p e c i e s   a c r o s s   m u l t i p l e   p h e n o p h a s e s .   W e   f o u n d   n o   d i f f e r e n c e   i n   t h e   d a t a   q u a l i t y   o f   n o n e x p e r t s   a n d   e x p e r t s .   N o n e x p e r t s ,   h o w e v e r ,   w e r e   a   m o r e   e f f i c i e n t   w a y   o f   c o l l e c t i n g   m o r e   d a t a   a t   l o w e r   c o s t .   W e   a l s o   f o u n d   t h a t   p h e n o l o g i c a l   s e n s i t i v i t y   v a r i e d   a c r o s s   b o t h   s p e c i e s   a n d   p h e n o p h a s e s .   O u r   s t u d y   d e m o n s t r a t e s   t h e   u t i l i t y   o f   C r o w d C u r i o   a s   a   c r o w d s o u r c i n g   t o o l   f o r   t h e   c o l l e c t i o n   o f   p h e n o l o g i c a l   d a t a   f r o m   h e r b a r i u m   s p e c i m e n s .   F u r t h e r m o r e ,   o u r   r e s u l t s   h i g h l i g h t   t h e   i n s i g h t   g a i n e d   f r o m   c o l l e c t i n g   l a r g e   a m o u n t s   o f   p h e n o l o g i c a l   d a t a   t o   e s t i m a t e   m u l t i p l e   p h e n o p h a s e s . 	 [ W i l l i s ,   C h a r l e s   G . ;   F r a n z o n e ,   B r i a n   F . ;   B e r n a r d o s ,   R e b e c c a ;   B r u n o ,   L i a n ;   H o p k i n s ,   C l a i r e ;   S c h o r n ,   C h r i s t i a n ;   W e b e r ,   E l l a ;   P a r k ,   D a n i e l   S . ;   D a v i s ,   C h a r l e s   C . ]   H a r v a r d   U n i v ,   D e p t   O r g a n i s m   &   E v o l u t i o n a r y   B i o l ,   C a m b r i d g e ,   M A   2 0 1 3 8   U S A ;   [ W i l l i s ,   C h a r l e s   G . ;   F r a n z o n e ,   B r i a n   F . ;   B e r n a r d o s ,   R e b e c c a ;   B r u n o ,   L i a n ;   H o p k i n s ,   C l a i r e ;   S c h o r n ,   C h r i s t i a n ;   W e b e r ,   E l l a ;   P a r k ,   D a n i e l   S . ;   D a v i s ,   C h a r l e s   C . ]   H a r v a r d   U n i v ,   H a r v a r d   U n i v   H e r b a r i a ,   C a m b r i d g e ,   M A   2 0 1 3 8   U S A ;   [ L a w ,   E d i t h ;   W i l l i a m s ,   A l e x   C . ]   U n i v   W a t e r l o o ,   D a v i d   R   C h e r i t o n   S c h   C o m p   S c i ,   W a t e r l o o ,   O N   N 2 L   3 G 1 ,   C a n a d a 	 W i l l i s ,   C G ;   D a v i s ,   C C   ( r e p r i n t   a u t h o r ) ,   H a r v a r d   U n i v ,   D e p t   O r g a n i s m   &   E v o l u t i o n a r y   B i o l ,   C a m b r i d g e ,   M A   2 0 1 3 8   U S A . ;   W i l l i s ,   C G ;   D a v i s ,   C C   ( r e p r i n t   a u t h o r ) ,   H a r v a r d   U n i v ,   H a r v a r d   U n i v   H e r b a r i a ,   C a m b r i d g e ,   M A   2 0 1 3 8   U S A . 	 c h a r l e s w i l l i s @ f a s . h a r v a r d . e d u ;   c d a v i s @ o e b . h a r v a r d . e d u 	 	 	 N e w   E n g l a n d   V a s c u l a r   P l a n t   P r o j e c t   [ N S F - D B I : E F 1 2 0 8 8 3 5 ] ;   N S E R C   [ R G P I N - 2 0 1 5 - 0 4 5 4 3 ] 	 W e   w o u l d   l i k e   t o   t h a n k   A n n e   M a r i e   C o u n t i e   a n d   M i c h a e l a   S c h m u l l   f o r   t h e i r   h e l p   o n   t h e   p r o j e c t .   T h i s   s t u d y   w a s   f u n d e d   a s   p a r t   o f   t h e   N e w   E n g l a n d   V a s c u l a r   P l a n t   P r o j e c t   ( N S F - D B I : E F 1 2 0 8 8 3 5 )   a n d   p a r t   o f   a   N S E R C   D i s c o v e r y   G r a n t   ( R G P I N - 2 0 1 5 - 0 4 5 4 3 ) . 	 A r i n o   O . ,   2 0 1 0 ,   E S A   S P E C I A L   P U B L I C A T ,   P 1 ;   B a t e s   D ,   2 0 1 5 ,   J   S T A T   S O F T W ,   V 6 7 ,   P 1 ;   B u s w e l l   J M ,   2 0 1 1 ,   J   E C O L ,   V 9 9 ,   P 2 1 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 7 4 5 . 2 0 1 0 . 0 1 7 5 9 . x ;   C a l i n g e r   K M ,   2 0 1 3 ,   E C O L   L E T T ,   V 1 6 ,   P 1 0 3 7 ,   D O I   1 0 . 1 1 1 1 / e l e . 1 2 1 3 5 ;   C a r a d o n n a   P J ,   2 0 1 4 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 1 1 ,   P 1 ;   C h a m b e r s   L E ,   2 0 1 3 ,   P L O S   O N E ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 7 5 5 1 4 ;   C h a n g   J ,   2 0 1 6 ,   M E T H O D S   E C O L   E V O L ,   V 7 ,   P 4 7 2 ,   D O I   1 0 . 1 1 1 1 / 2 0 4 1 - 2 1 0 X . 1 2 5 0 8 ;   C l e l a n d   E E ,   2 0 0 7 ,   T R E N D S   E C O L   E V O L ,   V 2 2 ,   P 3 5 7 ,   D O I   1 0 . 1 0 1 6 / j . t r e e . 2 0 0 7 . 0 4 . 0 0 3 ;   D a v i s   C C ,   2 0 1 5 ,   A M   J   B O T ,   V 1 0 2 ,   P 1 5 9 9 ,   D O I   1 0 . 3 7 3 2 / a j b . 1 5 0 0 2 3 7 ;   E l l w o o d   E R ,   2 0 1 5 ,   B I O S C I E N C E ,   V 6 5 ,   P 3 8 3 ,   D O I   1 0 . 1 0 9 3 / b i o s c i / b i v 0 0 5 ;   E l l w o o d   E R ,   2 0 1 3 ,   P L O S   O N E ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 5 3 7 8 8 ;   E v e r i l l   P H ,   2 0 1 4 ,   A M   J   B O T ,   V 1 0 1 ,   P 1 2 9 3 ,   D O I   1 0 . 3 7 3 2 / a j b . 1 4 0 0 0 4 5 ;   F o r t   K ,   2 0 1 1 ,   C O M P U T   L I N G U I S T ,   V 3 7 ,   P 4 1 3 ,   D O I   1 0 . 1 1 6 2 / C O L I _ a _ 0 0 0 5 7 ;   G r i e s   C . ,   2 0 1 4 ,   B I O D I V E R S I T Y   D A T A   J ,   V 2 ,   p e 1 1 1 4 ,   D O I   [ D O I   1 0 . 3 8 9 7 / B D J . 2 . E 1 1 1 4 ,   1 0 . 3 8 9 7 / B D J . 2 . e 1 1 1 4 ] ;   H i l l   A ,   2 0 1 2 ,   Z O O K E Y S ,   P 2 1 9 ,   D O I   1 0 . 3 8 9 7 / z o o k e y s . 2 0 9 . 3 4 7 2 ;   H o r t o n   R ,   2 0 1 4 ,   C L I M A T E   C H A N G E   I M P A C ,   P 3 7 1 ,   D O I   D O I   1 0 . 7 9 3 0 / J 0 S F 2 T 3 P ;   I n o u y e   D W ,   2 0 0 8 ,   E C O L O G Y ,   V 8 9 ,   P 3 5 3 ,   D O I   1 0 . 1 8 9 0 / 0 6 - 2 1 2 8 . 1 ;   K a h l e   D ,   2 0 1 3 ,   R   J ,   V 5 ,   P 1 4 4 ;   K o s m a l a   M ,   2 0 1 6 ,   R E M O T E   S E N S - B A S E L ,   V 8 ,   D O I   1 0 . 3 3 9 0 / r s 8 0 9 0 7 2 6 ;   L a w   E ,   2 0 1 3 ,   1   A A A I   C   H U M   C O M P   C R ,   P 9 9 ;   L i n t o t t   C J ,   2 0 0 8 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 8 9 ,   P 1 1 7 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 8 . 1 3 6 8 9 . x ;   M e n z e l   A ,   2 0 0 6 ,   G L O B A L   C H A N G E   B I O L ,   V 1 2 ,   P 1 9 6 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 4 8 6 . 2 0 0 6 . 0 1 1 9 3 . x ;   M e y e r   C ,   2 0 1 6 ,   E C O L   L E T T ,   V 1 9 ,   P 9 9 2 ,   D O I   1 0 . 1 1 1 1 / e l e . 1 2 6 2 4 ;   M i l l e r - R u s h i n g   A J ,   2 0 0 8 ,   E C O L O G Y ,   V 8 9 ,   P 3 3 2 ,   D O I   1 0 . 1 8 9 0 / 0 7 - 0 0 6 8 . 1 ;   M i l l e r - R u s h i n g   A J ,   2 0 0 7 ,   A M   J   B O T ,   V 9 4 ,   P 1 4 7 0 ,   D O I   1 0 . 3 7 3 2 / a j b . 9 4 . 9 . 1 4 7 0 ;   M i l l e r - R u s h i n g   A J ,   2 0 0 6 ,   A M   J   B O T ,   V 9 3 ,   P 1 6 6 7 ,   D O I   1 0 . 3 7 3 2 / a j b . 9 3 . 1 1 . 1 6 6 7 ;   M o l l e r   A P ,   2 0 0 8 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 5 ,   P 1 6 1 9 5 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 8 0 3 8 2 5 1 0 5 ;   P a n c h e n   Z A ,   2 0 1 2 ,   A M   J   B O T ,   V 9 9 ,   P 7 5 1 ,   D O I   1 0 . 3 7 3 2 / a j b . 1 1 0 0 1 9 8 ;   P a r k   I W ,   2 0 1 5 ,   I N T   J   B I O M E T E O R O L ,   V 5 9 ,   P 3 4 7 ,   D O I   1 0 . 1 0 0 7 / s 0 0 4 8 4 - 0 1 4 - 0 8 4 6 - 0 ;   P a r m e s a n   C ,   2 0 0 6 ,   A N N U   R E V   E C O L   E V O L   S ,   V 3 7 ,   P 6 3 7 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . e c o l s y s . 3 7 . 0 9 1 3 0 5 . 1 1 0 1 0 0 ;   P r i m a c k   D ,   2 0 0 4 ,   A M   J   B O T ,   V 9 1 ,   P 1 2 6 0 ,   D O I   1 0 . 3 7 3 2 / a j b . 9 1 . 8 . 1 2 6 0 ;   P r i m a c k   R B ,   2 0 0 9 ,   B I O L   C O N S E R V ,   V 1 4 2 ,   P 5 0 0 ,   D O I   1 0 . 1 0 1 6 / j . b i o c o n . 2 0 0 8 . 1 0 . 0 3 8 ;   R   C o r e   T e a m ,   2 0 1 5 ,   R   L A N G   E N V   S T A T   C O M P ;   R i c h a r d s o n   A D ,   2 0 0 6 ,   G L O B A L   C H A N G E   B I O L ,   V 1 2 ,   P 1 1 7 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 4 8 6 . 2 0 0 6 . 0 1 1 6 4 . x ;   R o b b i r t   K M ,   2 0 1 1 ,   J   E C O L ,   V 9 9 ,   P 2 3 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 7 4 5 . 2 0 1 0 . 0 1 7 2 7 . x ;   S p e l l m a n   K V ,   2 0 1 6 ,   B I O S C I E N C E ,   V 6 6 ,   P 8 9 7 ,   D O I   1 0 . 1 0 9 3 / b i o s c i / b i w 1 1 6 ;   T e w k s b u r y   J J ,   2 0 1 4 ,   B I O S C I E N C E ,   V 6 4 ,   P 3 0 0 ,   D O I   1 0 . 1 0 9 3 / b i o s c i / b i u 0 3 2 ;   V e l l e n d   M ,   2 0 1 3 ,   A M   J   B O T ,   V 1 0 0 ,   P 1 2 9 4 ,   D O I   1 0 . 3 7 3 2 / a j b . 1 2 0 0 5 0 3 ;   V e n a b l e s   W .   N . ,   2 0 0 2 ,   M O D E R N   A P P L   S T A T   S ;   W a l t h e r   G R ,   2 0 0 4 ,   P E R S P E C T   P L A N T   E C O L ,   V 6 ,   P 1 6 9 ;   W i l l i a m s   A C ,   2 0 1 4 ,   B I G   D A T   B I G   D A T   2 0 1 4 ,   P 1 0 0 ;   W i l l i s   C G ,   T R E N D S   E C O L   I N   P R E S S ;   W i l l i s   C G ,   2 0 0 8 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 5 ,   P 1 7 0 2 9 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 8 0 6 4 4 6 1 0 5 ;   W i l l i s   C G ,   2 0 1 0 ,   P L O S   O N E ,   V 5 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 0 8 8 7 8 ;   W o l k o v i c h   E M ,   2 0 1 4 ,   N E W   P H Y T O L ,   V 2 0 1 ,   P 1 1 5 6 ,   D O I   1 0 . 1 1 1 1 / n p h . 1 2 5 9 9 ;   Z o h n e r   C M ,   2 0 1 4 ,   E C O L   L E T T ,   V 1 7 ,   P 1 0 1 6 ,   D O I   1 0 . 1 1 1 1 / e l e . 1 2 3 0 8 	 4 6 	 0 	 0 	 2 	 2 	 W I L E Y 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 0 2 8 - 6 4 6 X 	 1 4 6 9 - 8 1 3 7 	 	 N E W   P H Y T O L 	 N e w   P h y t o l . 	 J U L 	 2 0 1 7 	 2 1 5 	 1 	 	 	 	 	 4 7 9 	 4 8 8 	 	 1 0 . 1 1 1 1 / n p h . 1 4 5 3 5 	 	 1 0 	 P l a n t   S c i e n c e s 	 P l a n t   S c i e n c e s 	 E W 3 P Q 	 W O S : 0 0 0 4 0 2 4 1 3 1 0 0 0 4 0 	 2 8 3 9 4 0 2 3 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 M a ,   Q ;   G a o ,   L ;   L i u ,   Y F ;   H u a n g ,   J W 	 	 	 	 M a ,   Q i a n ;   G a o ,   L i n ;   L i u ,   Y a - F e n g ;   H u a n g ,   J i a n w e i 	 	 	 E c o n o m i c   A n a l y s i s   o f   C r o w d s o u r c e d   W i r e l e s s   C o m m u n i t y   N e t w o r k s 	 I E E E   T R A N S A C T I O N S   O N   M O B I L E   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M o b i l e   c r o w d s o u r c i n g ;   w i r e l e s s   c o m m u n i t y   n e t w o r k ;   e c o n o m i c   a n a l y s i s ;   p r i c e   d i f f e r e n t i a t i o n 	 O P T I M I Z A T I O N 	 C r o w d s o u r c e d   w i r e l e s s   c o m m u n i t y   n e t w o r k s   c a n   e f f e c t i v e l y   a l l e v i a t e   t h e   l i m i t e d   c o v e r a g e   i s s u e   o f   W i - F i   a c c e s s   p o i n t s   ( A P s ) ,   b y   e n c o u r a g i n g   i n d i v i d u a l s   ( u s e r s )   t o   s h a r e   t h e i r   p r i v a t e   r e s i d e n t i a l   W i - F i   A P s   w i t h   o t h e r s .   I n   t h i s   p a p e r ,   w e   p r o v i d e   a   c o m p r e h e n s i v e   e c o n o m i c   a n a l y s i s   f o r   s u c h   a   c r o w d s o u r c e d   n e t w o r k ,   w i t h   t h e   p a r t i c u l a r   f o c u s   o n   t h e   u s e r s '   b e h a v i o r   a n a l y s i s   a n d   t h e   c o m m u n i t y   n e t w o r k   o p e r a t o r ' s   p r i c i n g   d e s i g n .   S p e c i f i c a l l y ,   w e   f o r m u l a t e   t h e   i n t e r a c t i o n s   b e t w e e n   t h e   n e t w o r k   o p e r a t o r   a n d   u s e r s   a s   a   t w o - l a y e r   S t a c k e l b e r g   m o d e l ,   w h e r e   t h e   o p e r a t o r   d e t e r m i n i n g   t h e   p r i c i n g   s c h e m e   i n   L a y e r   I ,   a n d   t h e n   u s e r s   d e t e r m i n i n g   t h e i r   W i - F i   s h a r i n g   s c h e m e s   i n   L a y e r   I I .   F i r s t ,   w e   a n a l y z e   t h e   u s e r   b e h a v i o r   i n   L a y e r   I I   v i a   a   t w o - s t a g e   m e m b e r s h i p   s e l e c t i o n   a n d   n e t w o r k   a c c e s s   g a m e ,   f o r   b o t h   s m a l l - s c a l e   n e t w o r k s   a n d   l a r g e - s c a l e   n e t w o r k s .   T h e n ,   w e   d e s i g n   a   p a r t i a l   p r i c e   d i f f e r e n t i a t i o n   s c h e m e   f o r   t h e   o p e r a t o r   i n   L a y e r   I ,   w h i c h   g e n e r a l i z e s   b o t h   t h e   c o m p l e t e   p r i c e   d i f f e r e n t i a t i o n   s c h e m e   a n d   t h e   s i n g l e   p r i c i n g   s c h e m e   ( i . e . ,   n o   p r i c e   d i f f e r e n t i a t i o n ) .   W e   s h o w   t h a t   t h e   p r o p o s e d   p a r t i a l   p r i c i n g   s c h e m e   c a n   a c h i e v e   a   g o o d   t r a d e   o f f   b e t w e e n   t h e   r e v e n u e   a n d   t h e   i m p l e m e n t a t i o n   c o m p l e x i t y .   N u m e r i c a l   r e s u l t s   d e m o n s t r a t e   t h a t   w h e n   u s i n g   t h e   p a r t i a l   p r i c i n g   s c h e m e   w i t h   o n l y   t w o   p r i c e s ,   w e   c a n   i n c r e a s e   t h e   o p e r a t o r ' s   r e v e n u e   u p   t o   1 2 4 . 4 4   p e r c e n t   c o m p a r i n g   w i t h   t h e   s i n g l e   p r i c i n g   s c h e m e ,   a n d   c a n   a c h i e v e   a n   a v e r a g e   o f   8 0   p e r c e n t   o f   t h e   m a x i m u m   o p e r a t o r   r e v e n u e   u n d e r   t h e   c o m p l e t e   p r i c e   d i f f e r e n t i a t i o n   s c h e m e . 	 [ M a ,   Q i a n ;   H u a n g ,   J i a n w e i ]   C h i n e s e   U n i v   H o n g   K o n g ,   D e p t   I n f o r m a t   E n g n ,   S h a t i n ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a ;   [ G a o ,   L i n ]   H a r b i n   I n s t   T e c h n o l ,   S c h   E l e c t   &   I n f o r m a t   E n g n ,   S h e n z h e n   5 1 8 0 5 5 ,   P e o p l e s   R   C h i n a ;   [ L i u ,   Y a - F e n g ]   C h i n e s e   A c a d   S c i ,   A c a d   M a t h   &   S y s t   S c i ,   I n s t   C o m p u t a t   M a t h   &   S c i   E n g n   C o m p ,   S t a t e   K e y   L a b   S c i   &   E n g n   C o m p ,   B e i j i n g   1 0 0 1 9 0 ,   P e o p l e s   R   C h i n a 	 M a ,   Q   ( r e p r i n t   a u t h o r ) ,   C h i n e s e   U n i v   H o n g   K o n g ,   D e p t   I n f o r m a t   E n g n ,   S h a t i n ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a . 	 m q 0 1 2 @ i e . c u h k . e d u . h k ;   g a o l i n @ h i t s z . e d u . c n ;   y a f l i u @ l s e c . c c . a c . c n ;   j w h u a n g @ i e . c u h k . e d u . h k 	 	 	 G e n e r a l   R e s e a r c h   F u n d s   u n d e r   t h e   U n i v e r s i t y   G r a n t   C o m m i t t e e   o f   t h e   H o n g   K o n g   S p e c i a l   A d m i n i s t r a t i v e   R e g i o n ,   C h i n a   [ C U H K   1 4 2 0 2 8 1 4 ] ;   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 1 1 3 0 1 5 1 6 ,   1 1 3 3 1 0 1 2 ] 	 T h i s   w o r k   i s   p a r t i a l l y   s u p p o r t e d   b y   t h e   G e n e r a l   R e s e a r c h   F u n d s   ( P r o j e c t   N o . :   C U H K   1 4 2 0 2 8 1 4 )   e s t a b l i s h e d   u n d e r   t h e   U n i v e r s i t y   G r a n t   C o m m i t t e e   o f   t h e   H o n g   K o n g   S p e c i a l   A d m i n i s t r a t i v e   R e g i o n ,   C h i n a ,   a n d   t h e   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   u n d e r   G r a n t s   1 1 3 0 1 5 1 6   a n d   1 1 3 3 1 0 1 2 .   L i n   G a o   i s   t h e   c o r r e s p o n d i n g   a u t h o r . 	 A f r a s i a b i   M H ,   2 0 1 2 ,   2 0 1 2   P R O C E E D I N G S   I E E E   I N F O C O M ,   P 2 7 6 6 ,   D O I   1 0 . 1 1 0 9 / I N F C O M . 2 0 1 2 . 6 1 9 5 6 9 6 ;   B i c z o k   G . ,   2 0 0 9 ,   P   1   A C M   W O R K S H   U S   P R ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 6 5 9 0 2 9 . 1 6 5 9 0 3 1 ;   C a m p o n o v o   G . ,   2 0 1 1 ,   P   1 0   I N T   C   M O B   B U S ,   P 2 5 3 ;   C h i a n g   M . ,   2 0 1 2 ,   N E T W O R K E D   L I F E   2 0   Q U ;   C i s c o ,   2 0 1 5 ,   C I S C   V I S   N E T W   I N D   G L ;   C o u r c o u b e t i s   C . ,   2 0 0 3 ,   P R I C I N G   C O M M U N I C A T I O ;   F u d e n b e r g   D . ,   1 9 9 8 ,   T H E O R Y   L E A R N I N G   G A M E ;   G a o   L ,   2 0 1 4 ,   I E E E   I N F O C O M   S E R ,   P 6 8 2 ,   D O I   1 0 . 1 1 0 9 / I N F O C O M . 2 0 1 4 . 6 8 4 7 9 9 4 ;   G a o   L ,   2 0 1 4 ,   I E E E   J   S E L   A R E A   C O M M ,   V 3 2 ,   P 1 1 1 4 ,   D O I   1 0 . 1 1 0 9 / J S A C . 2 0 1 4 . 2 3 2 8 3 9 3 ;   G a o   L ,   2 0 1 1 ,   I E E E   J   S E L   A R E A   C O M M ,   V 2 9 ,   P 8 4 3 ,   D O I   1 0 . 1 1 0 9 / J S A C . 2 0 1 1 . 1 1 0 4 1 5 ;   G h o s h   J . ,   2 0 0 5 ,   T R 2 0 0 5 2 7   C S E   S T A T   U ;   G i b b o n s   R o b e r t ,   1 9 9 2 ,   G A M E   T H E O R Y   A P P L   E C ;   G R E E N   P E ,   1 9 9 0 ,   J   C L A S S I F ,   V 7 ,   P 2 7 1 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 9 0 8 7 2 0 ;   H u a n g   J Z X ,   2 0 0 5 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 7 ,   P 6 5 7 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 5 . 9 5 ;   I o s i f i d i s   G ,   2 0 1 5 ,   I E E E   A C M   T   N E T W O R K ,   V 2 3 ,   P 1 6 3 4 ,   D O I   1 0 . 1 1 0 9 / T N E T . 2 0 1 4 . 2 3 4 5 8 7 5 ;   I o s i f i d i s   G ,   2 0 1 4 ,   I E E E   C O M M U N   M A G ,   V 5 2 ,   P 2 0 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 4 . 6 8 9 4 4 4 8 ;   I o s i f i d i s   G ,   2 0 1 4 ,   I E E E   I N F O C O M   S E R ,   P 4 5 1 ,   D O I   1 0 . 1 1 0 9 / I N F O C O M . 2 0 1 4 . 6 8 4 7 9 6 8 ;   L i   S Q ,   2 0 1 4 ,   I E E E   A C M   T   N E T W O R K ,   V 2 2 ,   P 7 0 3 ,   D O I   1 0 . 1 1 0 9 / T N E T . 2 0 1 3 . 2 2 5 8 1 7 3 ;   M a   Q . ,   2 0 1 6 ,   P   I E E E   W I O P T   M A Y ,   P 1 ;   M a   Q . ,   2 0 1 6 ,   E C   A N A L   C R O W D S O U R C E D ;   M a   Q ,   2 0 1 5 ,   2 0 1 5   1 3 t h   I n t e r n a t i o n a l   S y m p o s i u m   o n   M o d e l i n g   a n d   O p t i m i z a t i o n   i n   M o b i l e ,   A d   H o c ,   a n d   W i r e l e s s   N e t w o r k s   ( W i O p t ) ,   P 3 5 5 ,   D O I   1 0 . 1 1 0 9 / W I O P T . 2 0 1 5 . 7 1 5 1 0 9 3 ;   M a n s h a e i   M .   H . ,   2 0 0 8 ,   P   I E E E   I N F O C O M ,   P 1 5 5 2 ;   M a s - C o l e l l   A . ,   1 9 9 5 ,   M I C R O E C O N O M I C   T H E O R Y ;   M a z l o u m i a n   A . ,   2 0 0 8 ,   P   I N T   W O R K S H   E C   N E T W ,   P 1 0 3 ,   D O I   1 0 . 1 1 4 5 / 1 4 0 3 0 2 7 . 1 4 0 3 0 5 0 ;   Q u e i p o   N V ,   2 0 0 5 ,   P R O G   A E R O S P   S C I ,   V 4 1 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . p a e r o s c i . 2 0 0 5 . 0 2 . 0 0 1 ;   R e g i s   R G ,   2 0 1 3 ,   E N G   O P T I M I Z ,   V 4 5 ,   P 5 2 9 ,   D O I   1 0 . 1 0 8 0 / 0 3 0 5 2 1 5 X . 2 0 1 2 . 6 8 7 7 3 1 ;   R i o s   L M ,   2 0 1 3 ,   J   G L O B A L   O P T I M ,   V 5 6 ,   P 1 2 4 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 8 9 8 - 0 1 2 - 9 9 5 1 - y ;   S i m o n   H A ,   1 9 9 1 ,   O R G A N   S C I ,   V 2 ,   P 1 2 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 2 . 1 . 1 2 5 ;   S c h m a l e n s e e   R . ,   1 9 8 9 ,   H D B   I N D   O R G ,   V 1 ,   P 5 9 7 ,   D O I   1 0 . 1 0 1 6 / S 1 5 7 3 - 4 4 8 X ( 8 9 ) 0 1 0 1 3 - 7 	 2 9 	 0 	 0 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 5 3 6 - 1 2 3 3 	 1 5 5 8 - 0 6 6 0 	 	 I E E E   T   M O B I L E   C O M P U T 	 I E E E .   T r a n s .   M o b .   C o m p u t . 	 J U L   1 	 2 0 1 7 	 1 6 	 7 	 	 	 	 	 1 8 5 6 	 1 8 6 9 	 	 1 0 . 1 1 0 9 / T M C . 2 0 1 6 . 2 6 0 6 3 9 0 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 E X 0 I G 	 W O S : 0 0 0 4 0 2 9 0 2 9 0 0 0 0 6 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 Z h a o ,   C ;   Y a n g ,   S S ;   Y a n g ,   X Y ;   M c C a n n ,   J A 	 	 	 	 Z h a o ,   C o n g ;   Y a n g ,   S h u s e n ;   Y a n g ,   X i n y u ;   M c C a n n ,   J u l i e   A . 	 	 	 R a p i d ,   U s e r - T r a n s p a r e n t ,   a n d   T r u s t w o r t h y   D e v i c e   P a i r i n g   f o r   D 2 D - E n a b l e d   M o b i l e   C r o w d s o u r c i n g 	 I E E E   T R A N S A C T I O N S   O N   M O B I L E   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M o b i l e   c r o w d s o u r c i n g ;   D 2 D   c o m m u n i c a t i o n s ;   u s e r - t r a n s p a r e n t   p a i r i n g ;   t r u s t w o r t h i n e s s 	 T R U S T   M A N A G E M E N T ;   R E P U T A T I O N ;   N E T W O R K S ;   A U T H E N T I C A T I O N 	 M o b i l e   C r o w d s o u r c i n g   i s   a   p r o m i s i n g   s e r v i c e   p a r a d i g m   u t i l i z i n g   u b i q u i t o u s   m o b i l e   d e v i c e s   t o   f a c i l i t a t e   l a r g e - s c a l e   c r o w d s o u r c i n g   t a s k s   ( e . g . ,   u r b a n   s e n s i n g   a n d   c o l l a b o r a t i v e   c o m p u t i n g ) .   M a n y   a p p l i c a t i o n s   i n   t h i s   d o m a i n   r e q u i r e   D e v i c e - t o - D e v i c e   ( D 2 D )   c o m m u n i c a t i o n s   b e t w e e n   p a r t i c i p a t i n g   d e v i c e s   f o r   i n t e r a c t i v e   o p e r a t i o n s   s u c h   a s   t a s k   c o l l a b o r a t i o n s   a n d   f i l e   t r a n s m i s s i o n s .   C o n s i d e r i n g   t h e   p r i v a t e   p a r t i c i p a t i n g   d e v i c e s   a n d   t h e i r   o p p o r t u n i s t i c   e n c o u n t e r i n g   b e h a v i o r s ,   i t   i s   h i g h l y   d e s i r e d   t o   e s t a b l i s h   s e c u r e   a n d   t r u s t w o r t h y   D 2 D   c o n n e c t i o n s   i n   a   f a s t   a n d   a u t o n o m o u s   w a y ,   w h i c h   i s   v i t a l   f o r   i m p l e m e n t i n g   p r a c t i c a l   M o b i l e   C r o w d s o u r c i n g   S y s t e m s   ( M C S s ) .   I n   t h i s   p a p e r ,   w e   d e v e l o p   a n   e f f i c i e n t   s c h e m e ,   T r u s t w o r t h y   D e v i c e   P a i r i n g   ( T D P ) ,   w h i c h   a c h i e v e s   u s e r - t r a n s p a r e n t   s e c u r e   D 2 D   c o n n e c t i o n s   a n d   r e l i a b l e   p e e r   d e v i c e   s e l e c t i o n s   f o r   t r u s t w o r t h y   D 2 D   c o m m u n i c a t i o n s .   T h r o u g h   r i g o r o u s   a n a l y s i s ,   w e   d e m o n s t r a t e   t h e   e f f e c t i v e n e s s   a n d   s e c u r i t y   i n t e n s i t y   o f   T D P   i n   t h e o r y .   T h e   p e r f o r m a n c e   o f   T D P   i s   e v a l u a t e d   b a s e d   o n   b o t h   r e a l - w o r l d   p r o t o t y p e   e x p e r i m e n t s   a n d   e x t e n s i v e   t r a c e - d r i v e n   s i m u l a t i o n s .   E v a l u a t i o n   r e s u l t s   v e r i f y   o u r   t h e o r e t i c a l   a n a l y s i s   a n d   s h o w   t h a t   T D P   s i g n i f i c a n t l y   o u t p e r f o r m s   e x i s t i n g   a p p r o a c h e s   i n   t e r m s   o f   p a i r i n g   s p e e d ,   s t a b i l i t y ,   a n d   s e c u r i t y . 	 [ Z h a o ,   C o n g ;   Y a n g ,   S h u s e n ;   Y a n g ,   X i n y u ]   X i   A n   J i a o   T o n g   U n i v ,   X i a n   7 1 0 0 4 9 ,   S h a a n x i ,   P e o p l e s   R   C h i n a ;   [ M c C a n n ,   J u l i e   A . ]   I m p e r i a l   C o l l   L o n d o n ,   D e p t   C o m p ,   L o n d o n   S W 7   2 A Z ,   E n g l a n d 	 Z h a o ,   C   ( r e p r i n t   a u t h o r ) ,   X i   A n   J i a o   T o n g   U n i v ,   X i a n   7 1 0 0 4 9 ,   S h a a n x i ,   P e o p l e s   R   C h i n a . 	 z h a o c o n g @ s t u . x j t u . e d u . c n ;   s h u s e n y a n g @ m a i l . x j t u . e d u . c n ;   y x y p h d @ m a i l . x j t u . e d u . c n ;   j . m c c a n n @ i m p e r i a l . a c . u k 	 	 	 I n t e l   C o r p o r a t i o n ;   C h i n a   1 0 0 0   Y o u n g   T a l e n t s   P r o g r a m ;   Y o u n g   T a l e n t   S u p p o r t   P l a n   o f   X i ' a n   J i a o t o n g   U n i v e r s i t y ;   N S F   C h i n a   ( N S F C )   [ 6 1 5 7 2 3 9 8 ] 	 T h i s   w o r k   i s   s p o n s o r e d   b y   I n t e l   C o r p o r a t i o n ,   C h i n a   1 0 0 0   Y o u n g   T a l e n t s   P r o g r a m ,   Y o u n g   T a l e n t   S u p p o r t   P l a n   o f   X i ' a n   J i a o t o n g   U n i v e r s i t y ,   a n d   N S F   C h i n a   ( N S F C )   u n d e r   G r a n t   6 1 5 7 2 3 9 8 .   T h e   a u t h o r s   t h a n k   t h e   a n o n y m o u s   r e v i e w e r s   f o r   t h e i r   h e l p f u l   a n d   i n s i g h t f u l   c o m m e n t s   a n d   s u g g e s t i o n s ,   w h i c h   s i g n i f i c a n t l y   c o n t r i b u t e   t o   i m p r o v i n g   t h e   q u a l i t y   o f   t h e   p a p e r .   S h u s e n   Y a n g   i s   t h e   c o r r e s p o n d i n g   a u t h o r . 	 A d e e l   U . ,   2 0 1 4 ,   P   1 1   I N T   C   A U T   C O M P ,   P 1 6 1 ;   A d i t y a   P ,   2 0 1 4 ,   M O B I S Y S ' 1 4 :   P R O C E E D I N G S   O F   T H E   1 2 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   S Y S T E M S ,   A P P L I C A T I O N S ,   A N D   S E R V I C E S ,   P 1 3 5 ,   D O I   1 0 . 1 1 4 5 / 2 5 9 4 3 6 8 . 2 5 9 4 3 7 4 ;   A l - R i y a m i   S .   S . ,   2 0 0 3 ,   P   9   I N T   C   T H E O R   A P P L ,   P 4 5 2 ;   B a k h t   M ,   2 0 1 2 ,   M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G ,   P 1 8 5 ;   B l a z e   M . ,   1 9 9 6 ,   P   I E E E   S   S E C   P R I V ,   V 3 0 ,   P 1 6 4 ;   C h u   X W ,   2 0 1 0 ,   T E L E C O M M U N   S Y S T ,   V 4 4 ,   P 1 9 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 3 5 - 0 0 9 - 9 2 5 9 - 5 ;   D a m i a n i   E ,   2 0 0 2 ,   P   A C M   C   C O M P   C O M M   S E ,   V 2 0 0 2 ,   P 2 0 7 ;   G a o   R . ,   2 0 1 4 ,   P   2 0   A N N   I N T   C   M O B   C ,   P 2 4 9 ;   H a n   Y Y ,   2 0 1 6 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 5 ,   P 2 9 8 7 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 6 . 2 5 2 4 5 9 0 ;   T r u o n g   H T T ,   2 0 1 4 ,   I N T   C O N F   P E R V A S   C O M P ,   P 1 6 3 ,   D O I   1 0 . 1 1 0 9 / P e r C o m . 2 0 1 4 . 6 8 1 3 9 5 7 ;   H u a n g   K L ,   2 0 1 0 ,   A C M   S   M O D E L   A N A L   S I M ,   P 1 4 ;   J o n e s   R .   H . ,   1 9 7 5 ,   J o u r n a l   o f   S t a t i s t i c a l   C o m p u t a t i o n   a n d   S i m u l a t i o n ,   V 3 ,   P 3 1 5 ,   D O I   1 0 . 1 0 8 0 / 0 0 9 4 9 6 5 7 5 0 8 8 1 0 0 9 6 ;   J o s a n g   A . ,   2 0 0 2 ,   P   1 5   B L E D   E L   C O M M   C ,   P 1 ;   J o u x   A ,   2 0 0 3 ,   J   C R Y P T O L ,   V 1 6 ,   P 2 3 9 ,   D O I   1 0 . 1 0 0 7 / s 0 0 1 4 5 - 0 0 3 - 0 0 5 2 - 4 ;   K a r a l i o p o u l o s   M . ,   2 0 1 5 ,   P   I E E E   C   C O M P   C O M M   I ,   P 2 2 5 4 ;   K e n n e y   J .   F . ,   1 9 5 4 ,   M A T H   S T A T   1 ;   L e n t z   M . ,   2 0 1 4 ,   P   2 3   U S E N I X   S E C   S   U S ,   P 9 2 5 ;   L i   J . ,   2 0 1 5 ,   P   I E E E   I N F O C O M ,   P 2 1 1 9 ;   L i   M . ,   2 0 1 3 ,   A C M   T   S E N S O R   N E T W O R K ,   V 9 ,   P 5 3 ;   L i   X Y ,   2 0 1 2 ,   I E E E   T   P A R A L L   D I S T R ,   V 2 3 ,   P 1 9 4 4 ,   D O I   1 0 . 1 1 0 9 / T P D S . 2 0 1 2 . 2 6 ;   L i   Y ,   2 0 1 4 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 3 ,   P 1 5 7 9 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 3 . 6 1 ;   L i u   J . ,   2 0 1 5 ,   P   I E E E   I N F O C O M ,   P 4 6 ;   M i e t t i n e n   M . ,   2 0 1 4 ,   P   2 0 1 4   A C M   S I G S A C   C ,   P 8 8 0 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 6 6 0 2 6 7 . 2 6 6 0 3 3 4 ;   M o u s a   H ,   2 0 1 5 ,   C O M P U T   N E T W ,   V 9 0 ,   P 4 9 ,   D O I   1 0 . 1 0 1 6 / j . c o m n e t . 2 0 1 5 . 0 7 . 0 1 1 ;   M u r r a y   D .   G . ,   2 0 1 0 ,   P   2   A C M   S I G C O M M   W O R K ,   P 3 9 ,   D O I   1 0 . 1 1 4 5 / 1 8 5 1 3 2 2 . 1 8 5 1 3 3 4 ;   N a w a z   S . ,   2 0 1 3 ,   P   1 9   A N N   I N T   C   M O B   C ,   P 7 5 ;   P i e t i l a i n e n   A . - K . ,   2 0 1 2 ,   C R A W D A D   D A T A S E T   T H L A ;   Q u r e s h i   B ,   2 0 1 2 ,   C O M P U T   C O M M U N ,   V 3 5 ,   P 6 0 8 ,   D O I   1 0 . 1 0 1 6 / j . c o m c o m . 2 0 1 1 . 0 7 . 0 0 8 ;   R e n   J ,   2 0 1 5 ,   I E E E   C O M M U N   M A G ,   V 5 3 ,   P 9 8 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 5 . 7 0 6 0 4 8 8 ;   S c o t t   J . ,   2 0 0 9 ,   C R A W D A D   D A T A S E T   C A M B ;   S e l v a r a j   C . ,   2 0 1 2 ,   C O M P U T E R   S C I   R E V ,   V 6 ,   P 1 4 5 ;   S h e n   H Y ,   2 0 1 6 ,   I E E E   T   P A R A L L   D I S T R ,   V 2 7 ,   P 2 2 7 4 ,   D O I   1 0 . 1 1 0 9 / T P D S . 2 0 1 5 . 2 4 8 9 1 9 8 ;   S h i n   H ,   2 0 1 4 ,   P R O C E E D I N G S   O F   T H E   1 6 T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   H U M A N - C O M P U T E R   I N T E R A C T I O N   W I T H   M O B I L E   D E V I C E S   A N D   S E R V I C E S   ( M O B I L E H C I ' 1 4 ) ,   P 3 8 9 ,   D O I   1 0 . 1 1 4 5 / 2 6 2 8 3 6 3 . 2 6 2 8 4 0 0 ;   T a l a s i l a   M ,   2 0 1 5 ,   P E R V A S I V E   M O B   C O M P U T ,   V 1 7 ,   P 4 3 ,   D O I   1 0 . 1 0 1 6 / j . p m c j . 2 0 1 4 . 0 2 . 0 0 4 ;   V a r s h a v s k y   A . ,   2 0 0 7 ,   P   9   I N T   C   U B   C O M P ,   P 2 5 3 ;   W a n g   X L ,   2 0 1 4 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 3 ,   P 2 7 7 7 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 3 . 1 5 0 ;   X i a o   M . ,   2 0 1 5 ,   P   I E E E   I N F O C O M ,   P 2 2 2 7 ;   Y a n g   S . ,   2 0 1 5 ,   P   2 0 1 5   I E E E   C   C O M P   C ,   P 1 4 9 0 ;   Y a n g   S S ,   2 0 1 3 ,   I E E E   J   S E L   A R E A   C O M M ,   V 3 1 ,   P 1 1 2 4 ,   D O I   1 0 . 1 1 0 9 / J S A C . 2 0 1 3 . 1 3 0 6 1 4 ;   Y a n g   S S ,   2 0 0 9 ,   T E L E C O M M U N   S Y S T ,   V 4 2 ,   P 2 9 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 3 5 - 0 0 9 - 9 1 6 7 - 8 ;   Y a n g   X Y ,   2 0 1 2 ,   C O M P U T   N E T W ,   V 5 6 ,   P 7 3 1 ,   D O I   1 0 . 1 0 1 6 / j . c o m n e t . 2 0 1 1 . 1 1 . 0 0 1 ;   Z h a n g   D . ,   2 0 1 4 ,   P   A C M   I N T   J O I N T   C   P E ,   P 7 0 3 ;   Z h a o   C . ,   2 0 1 5 ,   P   W O R K S H   W I R   S T U D   S T ,   P 4 ;   [ A n o n y m o u s ] ,   2 0 0 0 ,   S E C   2   R E C O M M E N D E D   E L ;   [ A n o n y m o u s ] ,   2 0 1 4 ,   W U I   F I   P E E R   T O   P E E R 	 4 5 	 0 	 0 	 0 	 0 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 5 3 6 - 1 2 3 3 	 1 5 5 8 - 0 6 6 0 	 	 I E E E   T   M O B I L E   C O M P U T 	 I E E E .   T r a n s .   M o b .   C o m p u t . 	 J U L   1 	 2 0 1 7 	 1 6 	 7 	 	 	 	 	 2 0 0 8 	 2 0 2 2 	 	 1 0 . 1 1 0 9 / T M C . 2 0 1 6 . 2 6 1 1 5 7 5 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 E X 0 I G 	 W O S : 0 0 0 4 0 2 9 0 2 9 0 0 0 1 7 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 M e a d o w s ,   A ;   N o l a n ,   L J ;   H i g g s ,   S 	 	 	 	 M e a d o w s ,   A n g e l a ;   N o l a n ,   L a u r e n c e   J . ;   H i g g s ,   S u z a n n e 	 	 	 S e l f - p e r c e i v e d   f o o d   a d d i c t i o n :   P r e v a l e n c e ,   p r e d i c t o r s ,   a n d   p r o g n o s i s 	 A P P E T I T E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 F o o d   a d d i c t i o n ;   F o o d   u s e   d i s o r d e r ;   D i s o r d e r e d   e a t i n g ;   E a t i n g   s e l f - e f f i c a c y ;   B o d y   i m a g e 	 B A R R A T T   I M P U L S I V E N E S S   S C A L E ;   B I N G E - E A T I N G   D I S O R D E R ;   S E E K I N G   W E I G H T - L O S S ;   B O D Y - M A S S   I N D E X ;   O B E S E - P A T I E N T S ;   P S Y C H O M E T R I C   E V A L U A T I O N ;   B A R I A T R I C   S U R G E R Y ;   B R I T I S H   W O M E N ;   R I S K - F A C T O R S ;   O V E R W E I G H T 	 F o o d   a d d i c t i o n   i s   c o n t r o v e r s i a l   w i t h i n   t h e   s c i e n t i f i c   c o m m u n i t y .   H o w e v e r   m a n y   l a y   p e o p l e   c o n s i d e r   t h e m s e l v e s   a d d i c t e d   t o   c e r t a i n   f o o d s .   W e   a s s e s s e d   t h e   p r e v a l e n c e   a n d   c h a r a c t e r i s t i c s   o f   s e l f - p e r c e i v e d   " f o o d   a d d i c t i o n "   a n d   i t s   r e l a t i o n s h i p   t o   a   d i a g n o s t i c   m e a s u r e   o f   " c l i n i c a l   f o o d   a d d i c t i o n "   i n   t w o   s a m p l e s :   ( 1 )   6 5 8   u n i v e r s i t y   s t u d e n t s ,   a n d   ( 2 )   6 1 4   a d u l t s   f r o m   a n   i n t e r n a t i o n a l   o n l i n e   c r o w d s o u r c i n g   p l a t f o r m .   P a r t i c i p a n t s   i n d i c a t e d   w h e t h e r   t h e y   c o n s i d e r e d   t h e m s e l v e s   t o   b e   a d d i c t e d   t o   f o o d ,   a n d   t h e n   c o m p l e t e d   t h e   Y a l e   F o o d   A d d i c t i o n   S c a l e ,   m e a s u r e s   o f   e a t i n g   b e h a v i o r ,   b o d y   i m a g e ,   a n d   e x p l i c i t   a n d   i n t e r n a l i z e d   w e i g h t   s t i g m a .   P a r t i c i p a n t s   i n   t h e   c o m m u n i t y   s a m p l e   a d d i t i o n a l l y   c o m p l e t e d   m e a s u r e s   o f   i m p u l s i v i t y ,   f o o d   c r a v i n g s ,   b i n g e   e a t i n g ,   a n d   d e p r e s s i v e   s y m p t o m a t o l o g y .   F o l l o w - u p   d a t a   w e r e   c o l l e c t e d   f r o m   a   s u b s e t   o f   3 0 5   s t u d e n t s   ( m e a n   f o l l o w - u p   2 8 0   + / -   3 0   d a y s ) .   S e l f - p e r c e i v e d   " f o o d   a d d i c t i o n "   w a s   p r e v a l e n t ,   a n d   w a s   a s s o c i a t e d   w i t h   e l e v a t e d   l e v e l s   o f   p r o b l e m a t i c   e a t i n g   b e h a v i o r ,   b o d y   i m a g e   c o n c e r n s ,   a n d   p s y c h o p a t h o l o g y   c o m p a r e d   w i t h   " n o n - a d d i c t s " ,   a l t h o u g h   i n d i v i d u a l s   w h o   a l s o   r e c e i v e d   a   p o s i t i v e   " d i a g n o s i s "   o n   t h e   Y a l e   F o o d   A d d i c t i o n   S c a l e   e x p e r i e n c e d   t h e   m o s t   s e v e r e   s y m p t o m s .   A   c l e a r   c o n t i n u u m   w a s   e v i d e n t   f o r   a l l   m e a s u r e s   d e s p i t e   n o   d i f f e r e n c e s   i n   b o d y   m a s s   i n d e x   b e t w e e n   t h e   t h r e e   g r o u p s .   M u l t i n o m i a l   l o g i s t i c   r e g r e s s i o n   a n a l y s e s   i n d i c a t e d   t h a t   p e r c e i v e d   l a c k   o f   s e l f - c o n t r o l   a r o u n d   f o o d   w a s   t h e   m a i n   f a c t o r   d i s t i n g u i s h i n g   b e t w e e n   t h o s e   w h o   d i d   a n d   d i d   n o t   c o n s i d e r   t h e m s e l v e s   a d d i c t e d   t o   f o o d ,   w h e r e a s   s e v e r i t y   o f   f o o d   c r a v i n g s   a n d   d e p r e s s i v e   s y m p t o m s   w e r e   t h e   m a i n   d i s c r i m i n a t i n g   v a r i a b l e s   b e t w e e n   s e l f - c l a s s i f i e r s   a n d   t h o s e   r e c e i v i n g   a   p o s i t i v e   " d i a g n o s i s "   o n   t h e   Y a l e   F o o d   A d d i c t i o n   S c a l e .   S e l f   p e r c e i v e d   " f o o d   a d d i c t i o n "   w a s   m o d e r a t e l y   s t a b l e   a c r o s s   t i m e ,   b u t   d i d   n o t   a p p e a r   p r e d i c t i v e   o f   w o r s e n i n g   e a t i n g   p a t h o l o g y .   S e l f - c l a s s i f i c a t i o n   a s   a   " f o o d   a d d i c t "   m a y   b e   o f   u s e   i n   i d e n t i f y i n g   i n d i v i d u a l s   i n   n e e d   o f   a s s i s t a n c e   w i t h   f o o d   m i s u s e ,   l o s s - o f - c o n t r o l   e a t i n g ,   a n d   b o d y   i m a g e   i s s u e s .   ( C )   2 0 1 7   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ M e a d o w s ,   A n g e l a ;   H i g g s ,   S u z a n n e ]   U n i v   B i r m i n g h a m ,   S c h   P s y c h o l ,   B i r m i n g h a m ,   W   M i d l a n d s ,   E n g l a n d ;   [ N o l a n ,   L a u r e n c e   J . ]   W a g n e r   C o l l ,   D e p t   P s y c h o l ,   S t a t e n   I s l ,   N Y   U S A 	 M e a d o w s ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   B i r m i n g h a m ,   D e p t   P s y c h o l ,   B i r m i n g h a m   B 1 5   2 T T ,   W   M i d l a n d s ,   E n g l a n d . 	 A x m 5 8 3 @ b h a m . a c . u k 	 	 	 	 	 A l l e n   K L ,   2 0 1 3 ,   J   A B N O R M   P S Y C H O L ,   V 1 2 2 ,   P 7 2 0 ,   D O I   1 0 . 1 0 3 7 / a 0 0 3 4 0 0 4 ;   A n d e r s o n   D .   A . ,   2 0 0 9 ,   H A N D B O O K   O F   A S S E S S M E ,   P 3 9 7 ;   A m e r i c a n   P s y c h i a t r i c   A s s o c i a t i o n   [ A P A ] ,   2 0 1 3 ,   D I A G N   S T A T   M A N   M E N T ;   B e r m a n   E r i c a   S ,   2 0 0 6 ,   E a t   B e h a v ,   V 7 ,   P 7 9 ,   D O I   1 0 . 1 0 1 6 / j . e a t b e h . 2 0 0 5 . 0 7 . 0 0 4 ;   B R O W N   T A ,   1 9 9 0 ,   J   P E R S   A S S E S S ,   V 5 5 ,   P 1 3 5 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 7 5 2 j p a 5 5 0 1 & 2 _ 1 3 ;   B r u n a u l t   P ,   2 0 1 6 ,   O B E S   S U R G ,   V 2 6 ,   P 1 6 5 0 ,   D O I   1 0 . 1 0 0 7 / s 1 1 6 9 5 - 0 1 6 - 2 1 8 9 - x ;   B u r m e i s t e r   J M ,   2 0 1 3 ,   A P P E T I T E ,   V 6 0 ,   P 1 0 3 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 1 2 . 0 9 . 0 1 3 ;   C a s h   T .   F ,   2 0 0 0 ,   M B S R Q   U S E R S   M A N U A L ;   C e p e d a - B e n i t o   A ,   2 0 0 0 ,   B E H A V   T H E R ,   V 3 1 ,   P 1 5 1 ,   D O I   1 0 . 1 0 1 6 / S 0 0 0 5 - 7 8 9 4 ( 0 0 ) 8 0 0 0 9 - X ;   C l a b a u g h   A ,   2 0 0 8 ,   S E L F   I D E N T I T Y ,   V 7 ,   P 3 3 7 ,   D O I   1 0 . 1 0 8 0 / 1 5 2 9 8 8 6 0 7 0 1 6 6 5 0 3 2 ;   C o r w i n   R L ,   2 0 0 9 ,   J   N U T R ,   V 1 3 9 ,   P 6 1 7 ,   D O I   1 0 . 3 9 4 5 / j n . 1 0 8 . 0 9 7 6 9 1 ;   C r o c k e r   J ,   2 0 0 2 ,   J   S O C   I S S U E S ,   V 5 8 ,   P 5 9 7 ,   D O I   1 0 . 1 1 1 1 / 1 5 4 0 - 4 5 6 0 . 0 0 2 7 9 ;   D a v i s   C . ,   2 0 1 3 ,   C U R R E N T   O B E S I T Y   R E P O ,   V 2 ,   P 1 7 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 3 6 7 9 - 0 1 3 - 0 0 4 9 - 8 ;   D a v i s   C ,   2 0 1 3 ,   P H Y S I O L   B E H A V ,   V 1 1 8 ,   P 6 3 ,   D O I   1 0 . 1 0 1 6 / j . p h y s b e h . 2 0 1 3 . 0 5 . 0 1 4 ;   D a v i s   C ,   2 0 1 1 ,   A P P E T I T E ,   V 5 7 ,   P 7 1 1 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 1 1 . 0 8 . 0 1 7 ;   d e   W i t   H ,   2 0 0 9 ,   A D D I C T   B I O L ,   V 1 4 ,   P 2 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 9 - 1 6 0 0 . 2 0 0 8 . 0 0 1 2 9 . x ;   D e n n y   K N ,   2 0 1 3 ,   A P P E T I T E ,   V 6 0 ,   P 1 3 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 1 2 . 0 9 . 0 2 9 ;   D O L A N   B ,   1 9 9 0 ,   B R I T   J   P S Y C H I A T ,   V 1 5 7 ,   P 5 2 3 ,   D O I   1 0 . 1 1 9 2 / b j p . 1 5 7 . 4 . 5 2 3 ;   D u r s o   L E ,   2 0 0 8 ,   O B E S I T Y ,   V 1 6 ,   p S 8 0 ,   D O I   1 0 . 1 0 3 8 / o b y . 2 0 0 8 . 4 4 8 ;   D y k m a n   B M ,   1 9 9 8 ,   J   P E R S   S O C   P S Y C H O L ,   V 7 4 ,   P 1 3 9 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 7 4 . 1 . 1 3 9 ;   E i c h e n   D M ,   2 0 1 3 ,   A P P E T I T E ,   V 6 7 ,   P 2 2 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 1 3 . 0 3 . 0 0 8 ;   F a i r w e a t h e r - S c h m i d t   A K ,   2 0 1 6 ,   J   A B N O R M   P S Y C H O L ,   V 1 2 5 ,   P 3 6 9 ,   D O I   1 0 . 1 0 3 7 / a b n 0 0 0 0 1 4 6 ;   F a r h a n g i   M .   A . ,   2 0 1 6 ,   E A T I N G   W E I G H T   D I S O R D ;   F i e l d   A . ,   2 0 1 3 ,   D I S C O V E R I N G   S T A T   U S I ;   F u r n h a m   A ,   2 0 0 1 ,   S O C   P S Y C H   P S Y C H   E P I D ,   V 3 6 ,   P 4 6 2 ,   D O I   1 0 . 1 0 0 7 / s 0 0 1 2 7 0 1 7 0 0 2 5 ;   G A R N E R   D M ,   1 9 8 2 ,   P S Y C H O L   M E D ,   V 1 2 ,   P 8 7 1 ;   G e a r h a r d t   A N ,   2 0 1 6 ,   P S Y C H O L   A D D I C T   B E H A V ,   V 3 0 ,   P 1 1 3 ,   D O I   1 0 . 1 0 3 7 / a d b 0 0 0 0 1 3 6 ;   G e a r h a r d t   A N ,   2 0 1 4 ,   E A T   B E H A V ,   V 1 5 ,   P 4 2 7 ,   D O I   1 0 . 1 0 1 6 / j . e a t b e h . 2 0 1 4 . 0 5 . 0 0 1 ;   G e a r h a r d t   A N ,   2 0 1 3 ,   C O M P R   P S Y C H I A T ,   V 5 4 ,   P 5 0 0 ,   D O I   1 0 . 1 0 1 6 / j . c o m p p s y c h . 2 0 1 2 . 1 2 . 0 0 9 ;   G e a r h a r d t   A N ,   2 0 1 2 ,   I N T   J   E A T   D I S O R D E R ,   V 4 5 ,   P 6 5 7 ,   D O I   1 0 . 1 0 0 2 / e a t . 2 0 9 5 7 ;   G e a r h a r d t   A s h l e y   N ,   2 0 1 1 ,   C u r r   D r u g   A b u s e   R e v ,   V 4 ,   P 2 0 1 ;   G e a r h a r d t   A N ,   2 0 1 1 ,   A R C H   G E N   P S Y C H I A T ,   V 6 8 ,   P 8 0 8 ,   D O I   1 0 . 1 0 0 1 / a r c h g e n p s y c h i a t r y . 2 0 1 1 . 3 2 ;   G e a r h a r d t   A N ,   2 0 1 1 ,   A D D I C T I O N ,   V 1 0 6 ,   P 1 2 0 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 0 - 0 4 4 3 . 2 0 1 0 . 0 3 3 0 1 . x ;   G e a r h a r d t   A N ,   2 0 0 9 ,   A P P E T I T E ,   V 5 2 ,   P 4 3 0 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 0 8 . 1 2 . 0 0 3 ;   G L Y N N   S M ,   1 9 8 6 ,   C O G N I T I V E   T H E R   R E S ,   V 1 0 ,   P 4 0 3 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 1 7 3 2 9 4 ;   G o l d s c h m i d t   A B ,   2 0 1 6 ,   D E V   P S Y C H O L ,   V 5 2 ,   P 4 7 5 ,   D O I   1 0 . 1 0 3 7 / d e v 0 0 0 0 0 8 6 ;   G O R M A L L Y   J ,   1 9 8 2 ,   A D D I C T   B E H A V ,   V 7 ,   P 4 7 ,   D O I   1 0 . 1 0 1 6 / 0 3 0 6 - 4 6 0 3 ( 8 2 ) 9 0 0 2 4 - 7 ;   H a r d m a n   C A ,   2 0 1 5 ,   A P P E T I T E ,   V 9 1 ,   P 1 7 9 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 1 5 . 0 4 . 0 5 2 ;   H a y a k i   J ,   2 0 0 3 ,   I N T   J   E A T   D I S O R D E R ,   V 3 4 ,   P 1 7 2 ,   D O I   1 0 . 1 0 0 2 / e a t . 1 0 1 7 2 ;   H e r m a n   C . P . ,   1 9 8 0 ,   O B E S I T Y ,   P 2 0 8 ;   H E T H E R I N G T O N   M M ,   1 9 9 3 ,   A P P E T I T E ,   V 2 1 ,   P 2 3 3 ,   D O I   1 0 . 1 0 0 6 / a p p e . 1 9 9 3 . 1 0 4 2 ;   I m p e r a t o r i   C ,   2 0 1 4 ,   C O M P R   P S Y C H I A T ,   V 5 5 ,   P 1 3 5 8 ,   D O I   1 0 . 1 0 1 6 / j . c o m p p s y c h . 2 0 1 4 . 0 4 . 0 2 3 ;   I v e z a j   V ,   2 0 1 6 ,   O B E S I T Y ,   V 2 4 ,   P 2 0 6 4 ,   D O I   1 0 . 1 0 0 2 / o b y . 2 1 6 0 7 ;   K o b a l l   A M ,   2 0 1 6 ,   S U R G   O B E S   R E L A T   D I S ,   V 1 2 ,   P 1 6 5 ,   D O I   1 0 . 1 0 1 6 / j . s o a r d . 2 0 1 5 . 0 4 . 0 0 9 ;   L A N D I S   J R ,   1 9 7 7 ,   B I O M E T R I C S ,   V 3 3 ,   P 1 5 9 ,   D O I   1 0 . 2 3 0 7 / 2 5 2 9 3 1 0 ;   L i l l i s   J ,   2 0 1 0 ,   O B E S I T Y ,   V 1 8 ,   P 9 7 1 ,   D O I   1 0 . 1 0 3 8 / o b y . 2 0 0 9 . 3 5 3 ;   L o n g   C G ,   2 0 1 5 ,   O B E S I T Y   F A C T S ,   V 8 ,   P 3 8 6 ,   D O I   1 0 . 1 1 5 9 / 0 0 0 4 4 2 4 0 3 ;   L O W E   M R ,   1 9 9 3 ,   P S Y C H O L   B U L L ,   V 1 1 4 ,   P 1 0 0 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 0 9 . 1 1 4 . 1 . 1 0 0 ;   M a d d e n   C E L ,   2 0 1 2 ,   P U B L I C   H E A L T H   N U T R ,   V 1 5 ,   P 2 2 7 2 ,   D O I   1 0 . 1 0 1 7 / S 1 3 6 8 9 8 0 0 1 2 0 0 0 8 8 2 ;   M a l i k a   N M ,   2 0 1 5 ,   E A T   B E H A V ,   V 1 8 ,   P 2 5 ,   D O I   1 0 . 1 0 1 6 / j . e a t b e h . 2 0 1 5 . 0 3 . 0 0 5 ;   M A R C U S   M D ,   1 9 8 5 ,   A D D I C T   B E H A V ,   V 1 0 ,   P 1 6 3 ,   D O I   1 0 . 1 0 1 6 / 0 3 0 6 - 4 6 0 3 ( 8 5 ) 9 0 0 2 2 - X ;   M a s s e y   A ,   2 0 1 2 ,   A P P E T I T E ,   V 5 8 ,   P 7 8 1 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 1 2 . 0 1 . 0 2 0 ;   M e r l o   L J ,   2 0 0 9 ,   J   A D D I C T   M E D ,   V 3 ,   P 2 6 ,   D O I   1 0 . 1 0 9 7 / A D M . 0 b 0 1 3 e 3 1 8 1 9 6 3 8 b 0 ;   M e u l e   A ,   2 0 1 4 ,   C l i n   O b e s ,   V 4 ,   P 2 2 8 ,   D O I   1 0 . 1 1 1 1 / c o b . 1 2 0 6 5 ;   M e u l e   A ,   2 0 1 5 ,   E U R   E A T   D I S O R D   R E V ,   V 2 3 ,   P 1 9 3 ,   D O I   1 0 . 1 0 0 2 / e r v . 2 3 5 5 ;   M e u l e   A ,   2 0 1 4 ,   N U T R I E N T S ,   V 6 ,   P 3 6 5 3 ,   D O I   1 0 . 3 3 9 0 / n u 6 0 9 3 6 5 3 ;   M e u l e   A ,   2 0 1 3 ,   F R O N T   P S Y C H O L ,   V 4 ,   D O I   1 0 . 3 3 8 9 / f p s y g . 2 0 1 3 . 0 0 1 7 7 ;   M e u l e   A ,   2 0 1 2 ,   E A T   B E H A V ,   V 1 3 ,   P 4 2 3 ,   D O I   1 0 . 1 0 1 6 / j . e a t b e h . 2 0 1 2 . 0 8 . 0 0 1 ;   M e u l e   A ,   2 0 1 2 ,   E A T   B E H A V ,   V 1 3 ,   P 2 5 2 ,   D O I   1 0 . 1 0 1 6 / j . e a t b e h . 2 0 1 2 . 0 2 . 0 0 1 ;   M e u l e   A d r i a n ,   2 0 1 1 ,   F r o n t   P s y c h i a t r y ,   V 2 ,   P 6 1 ,   D O I   1 0 . 3 3 8 9 / f p s y t . 2 0 1 1 . 0 0 0 6 1 ;   M e u l e   A ,   2 0 1 1 ,   D I A G N O S T I C A ,   V 5 7 ,   P 1 2 6 ,   D O I   1 0 . 1 0 2 6 / 0 0 1 2 - 1 9 2 4 / a 0 0 0 0 4 2 ;   M o r r i s   L   S ,   2 0 1 6 ,   C u r r   B e h a v   N e u r o s c i   R e p ,   V 3 ,   P 4 9 ;   M u r p h y   C M ,   2 0 1 4 ,   A P P E T I T E ,   V 7 3 ,   P 4 5 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 1 3 . 1 0 . 0 0 8 ;   N o l a n   L J ,   2 0 1 6 ,   A P P E T I T E ,   V 9 8 ,   P 8 9 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 1 5 . 1 2 . 0 2 5 ;   N o l a n   L .   J . ,   2 0 1 7 ,   A P P E T I T E ;   P e e r   E ,   2 0 1 4 ,   B E H A V   R E S   M E T H O D S ,   V 4 6 ,   P 1 0 2 3 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 3 - 0 4 3 4 - y ;   P e r o s a   L M ,   2 0 0 4 ,   J   C O U N S   D E V ,   V 8 2 ,   P 2 0 3 ;   P r e t l o w   R o b e r t   A ,   2 0 1 1 ,   E a t   D i s o r d ,   V 1 9 ,   P 2 9 5 ,   D O I   1 0 . 1 0 8 0 / 1 0 6 4 0 2 6 6 . 2 0 1 1 . 5 8 4 8 0 3 ;   P r i c e   M ,   2 0 1 5 ,   A P P E T I T E ,   V 9 5 ,   P 2 0 3 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 1 5 . 0 7 . 0 0 6 ;   P r i n c e   K .   R . ,   2 0 1 2 ,   B E H A V   T H E R A P I S T ,   V 3 5 ,   P 8 5 ;   P u h l   R M ,   2 0 0 7 ,   O B E S I T Y ,   V 1 5 ,   P 1 9 ,   D O I   1 0 . 1 0 3 8 / o b y . 2 0 0 7 . 5 2 1 ;   P u r s e y   K M ,   2 0 1 6 ,   A P P E T I T E ,   V 9 6 ,   P 5 3 3 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 1 5 . 1 0 . 0 1 5 ;   P u r s e y   K M ,   2 0 1 4 ,   N U T R I E N T S ,   V 6 ,   P 4 5 5 2 ,   D O I   1 0 . 3 3 9 0 / n u 6 1 0 4 5 5 2 ;   P u r s e y   K .   M . ,   2 0 1 5 ,   A D D I C T I V E   B E H A V   R E P O ,   V 2 ,   P 4 1 ,   D O I   D O I   1 0 . 1 0 1 6 / J . A B R E P . 2 0 1 5 . 0 5 . 0 0 7 ;   Q u i n n   D M ,   2 0 1 5 ,   P S Y C H I A T R   R E H A B I L   J ,   V 3 8 ,   P 1 0 3 ,   D O I   1 0 . 1 0 3 7 / p r j 0 0 0 0 1 3 6 ;   Q u i n n   D M ,   1 9 9 9 ,   J   P E R S   S O C   P S Y C H O L ,   V 7 7 ,   P 4 0 2 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 7 7 . 2 . 4 0 2 ;   R A D L O F F   L   S ,   1 9 7 7 ,   A p p l i e d   P s y c h o l o g i c a l   M e a s u r e m e n t ,   V 1 ,   P 3 8 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 6 6 2 1 6 7 7 0 0 1 0 0 3 0 6 ;   R o g e r s   P J ,   2 0 0 0 ,   P H A R M A C O L   B I O C H E M   B E ,   V 6 6 ,   P 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 9 1 - 3 0 5 7 ( 0 0 ) 0 0 1 9 7 - 0 ;   R u d d o c k   H K ,   2 0 1 6 ,   O B E S I T Y ,   V 2 4 ,   P 1 2 3 8 ,   D O I   1 0 . 1 0 0 2 / o b y . 2 1 4 9 9 ;   R u d d o c k   H K ,   2 0 1 5 ,   A P P E T I T E ,   V 9 5 ,   P 2 6 2 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 1 5 . 0 7 . 0 1 8 ;   R u d d o c k   H .   K ,   2 0 1 6 ,   A P P E T I T E   I N   P R E S S ;   S c h v e y   N .   A . ,   2 0 1 3 ,   A D V   E A T I N G   D I S O R D E R ,   V 1 ,   P 2 1 3 ,   D O I   D O I   1 0 . 1 0 8 0 / 2 1 6 6 2 6 3 0 . 2 0 1 3 . 7 9 4 5 2 3 ;   S h a r a n   P ,   2 0 1 5 ,   I N D I A N   J   P S Y C H I A T ,   V 5 7 ,   p S 2 8 6 ,   D O I   1 0 . 4 1 0 3 / 0 0 1 9 - 5 5 4 5 . 1 6 1 4 9 3 ;   S p i n e l l a   M ,   2 0 0 7 ,   I N T   J   N E U R O S C I ,   V 1 1 7 ,   P 3 5 9 ,   D O I   1 0 . 1 0 8 0 / 0 0 2 0 7 4 5 0 6 0 0 5 8 8 8 8 1 ;   S t i c e   E ,   2 0 0 2 ,   P S Y C H O L   B U L L ,   V 1 2 8 ,   P 8 2 5 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 0 9 . 1 2 8 . 5 . 8 2 5 ;   S t i c e   E ,   2 0 1 3 ,   J   A B N O R M   P S Y C H O L ,   V 1 2 2 ,   P 4 4 5 ,   D O I   1 0 . 1 0 3 7 / a 0 0 3 0 6 7 9 ;   S t i c e   E ,   2 0 0 9 ,   J   A B N O R M   P S Y C H O L ,   V 1 1 8 ,   P 5 8 7 ,   D O I   1 0 . 1 0 3 7 / a 0 0 1 6 4 8 1 ;   T e a l   P e d l o w   C . ,   2 0 1 3 ,   E A T   B E H A V ,   V 1 4 ,   P 9 5 ;   T y l k a   T L ,   2 0 0 6 ,   J   C O U N S   P S Y C H O L ,   V 5 3 ,   P 2 2 6 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 0 1 6 7 . 5 3 . 2 . 2 2 6 ;   T y l k a   T L ,   2 0 1 5 ,   A P P E T I T E ,   V 9 5 ,   P 1 6 6 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 1 5 . 0 7 . 0 0 4 ;   V a i n i k   U ,   2 0 1 5 ,   A P P E T I T E ,   V 9 0 ,   P 2 2 9 ,   D O I   1 0 . 1 0 1 6 / j . a p p e t . 2 0 1 5 . 0 3 . 0 0 4 ;   V i l a g u t   G ,   2 0 1 6 ,   P L O S   O N E ,   V 1 1 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 1 5 5 4 3 1 ;   W A R D L E   J ,   1 9 9 3 ,   J   C O M M U N I T Y   A P P L   S O C ,   V 3 ,   P 1 7 3 ,   D O I   1 0 . 1 0 0 2 / c a s p . 2 4 5 0 0 3 0 3 0 2 ;   Z i a u d d e e n   H ,   2 0 1 3 ,   O B E S   R E V ,   V 1 4 ,   P 1 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 7 8 9 X . 2 0 1 2 . 0 1 0 4 6 . x ;   Z i a u d d e e n   H ,   2 0 1 2 ,   N A T   R E V   N E U R O S C I ,   V 1 3 ,   P 2 7 9 ,   D O I   1 0 . 1 0 3 8 / n r n 3 2 1 2 	 9 5 	 0 	 0 	 6 	 6 	 A C A D E M I C   P R E S S   L T D -   E L S E V I E R   S C I E N C E   L T D 	 L O N D O N 	 2 4 - 2 8   O V A L   R D ,   L O N D O N   N W 1   7 D X ,   E N G L A N D 	 0 1 9 5 - 6 6 6 3 	 1 0 9 5 - 8 3 0 4 	 	 A P P E T I T E 	 A p p e t i t e 	 J U L   1 	 2 0 1 7 	 1 1 4 	 	 	 	 	 	 2 8 2 	 2 9 8 	 	 1 0 . 1 0 1 6 / j . a p p e t . 2 0 1 7 . 0 3 . 0 5 1 	 	 1 7 	 B e h a v i o r a l   S c i e n c e s ;   N u t r i t i o n   &   D i e t e t i c s 	 B e h a v i o r a l   S c i e n c e s ;   N u t r i t i o n   &   D i e t e t i c s 	 E W 2 T B 	 W O S : 0 0 0 4 0 2 3 4 7 8 0 0 0 3 5 	 2 8 3 8 5 5 8 1 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 C a r t o n ,   L ;   A c h e ,   P 	 	 	 	 C a r t o n ,   L i n d a ;   A c h e ,   P e t e r 	 	 	 C i t i z e n - s e n s o r - n e t w o r k s   t o   c o n f r o n t   g o v e r n m e n t   d e c i s i o n - m a k e r s :   T w o   l e s s o n s   f r o m   t h e   N e t h e r l a n d s 	 J O U R N A L   O F   E N V I R O N M E N T A L   M A N A G E M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C i t i z e n - s e n s o r - n e t w o r k s ;   P a r t i c i p a t o r y   s e n s i n g ;   V o l u n t a r y   e n v i r o n m e n t a l   m o n i t o r i n g ;   A i r p o r t   n o i s e ;   H u m a n   i n d u c e d   e a r t h q u a k e s ;   C i t i z e n   e m p o w e r m e n t 	 I N F O R M A T I O N ;   H E A L T H ;   W O R L D 	 T h i s   p a p e r   p r e s e n t s   o n e   e m e r g i n g   s o c i a l - t e c h n i c a l   i n n o v a t i o n :   T h e   e v o l u t i o n   o f   c i t i z e n - s e n s o r - n e t w o r k s   w h e r e   c i t i z e n s   o r g a n i z e   t h e m s e l v e s   f r o m   t h e   ' b o t t o m   u p ' ,   f o r   t h e   s a k e   o f   c o n f r o n t i n g   g o v e r n a n c e   o f f i c i a l s   w i t h   m e a s u r e d   i n f o r m a t i o n   a b o u t   e n v i r o n m e n t a l   q u a l i t i e s .   W e   h a v e   o b s e r v e d   h o w   c i t i z e n - s e n s o r   n e t w o r k s   h a v e   b e e n   i n i t i a t e d   i n   t h e   N e t h e r l a n d s   i n   c a s e s   w h e r e   o f f i c i a l   g o v e r n m e n t   m o n i t o r i n g   a n d   b u s i n e s s   o r g a n i z a t i o n s   l e a v e   g a p s .   T h e   f o r m e d   c i t i z e n - s e n s o r - n e t w o r k s   c o l l e c t   i n f o r m a t i o n   a b o u t   i s s u e s   t h a t   a f f e c t   t h e   l o c a l   c o m m u n i t y   i n   t h e i r   q u a l i t y - o f - l i v i n g .   I n   p a r t i c u l a r ,   t w o   c o m m u n i t y   i n i t i a t i v e s   a r e   d e s c r i b e d   w h e r e   t h e   s e n s e d   e n v i r o n m e n t a l   i n f o r m a t i o n ,   o n   n o i s e   p o l l u t i o n   a n d   g a s - e x t r a c t i o n   i n d u c e d   e a r t h q u a k e s   r e s p e c t i v e l y ,   i s   p u b l i s h e d   t h r o u g h   n e t w o r k e d   g e o g r a p h i c   i n f o r m a t i o n   m e t h o d s .   B o t h   c o m m u n i t y   i n i t i a t i v e s   p i o n e e r e d   i n   d e v e l o p i n g   a n   a p p r o a c h   t h a t   c o m p r i s e s   t h e   c o m b i n e d   s e t t i n g - u p   o f   s e n s o r   d a t a   f l o w s ,   r e a l - t i m e   m a p   p o r t a l s   a n d   c o m m u n i t y   o r g a n i z a t i o n .   T w o   p a r t i c u l a r   c a s e s   a r e   a n a l y z e d   t o   t r a c e   t h e   e m e r g e n c e   a n d   n e t w o r k   o p e r a t i o n   o f   s u c h   ' n e t w o r k e d   g e o - i n f o r m a t i o n   t o o l s '   i n   p r a c t i c e :   ( 1 )   T h e   G r o n i n g e n   e a r t h q u a k e   m o n i t o r ,   a n d   ( 2 )   T h e   A i r p l a n e   M o n i t o r   S c h i p h o l .   I n   b o t h   c a s e s ,   e n v i r o n m e n t a l   ' e x t e r n a l i t i e s '   o f   s p a t i a l - e c o n o m i c   a c t i v i t i e s   p l a y   a n   i m p o r t a n t   r o l e ,   h a v i n g   e c o n o m i c   d i m e n s i o n s   o f   n a t i o n a l   i m p o r t a n c e   ( e . g .   g a s   e x t r a c t i o n   a n d   n a t i o n a l   a i r p o r t   d e v e l o p m e n t )   w h i l e   s i m u l t a n e o u s l y   a f f e c t i n g   t h e   r e g i o n a l   c o m m u n i t y   w i t h   e n v i r o n m e n t a l   c o n s e q u e n c e s .   T h e   m o n i t o r i n g   s y s t e m s   a n a l y z e d   i n   t h i s   p a p e r   a r e   e s t a b l i s h e d   b o t t o m - u p ,   b y   c i t i z e n s   f o r   c i t i z e n s ,   t o   s e r v e   a s   ' i n f o r m a t i o n   p o w e r '   i n   d i a l o g u e   w i t h   g o v e r n m e n t   i n s t i t u t i o n s .   T h e   g o a l   o f   t h i s   p a p e r   i s   t o   g a i n   i n s i g h t   i n   h o w   t h e s e   c i t i z e n - s e n s o r - n e t w o r k s   c o m e   a b o u t :   h o w   t h e   i d e a   f o r   e s t a b l i s h i n g   a   s e n s o r   n e t w o r k   o r i g i n a t e d ,   h o w   t h e i r   v a l u e   g e t s   r e c o g n i z e d   a n d   a d o p t e d   i n   t h e   o v e r a l l   ' s y s t e m   o f   g o v e r n a n c e ' ;   t o   w h a t   e x t e n t   t h e y   b r i n g   c o u n t e r v a i l i n g   p o w e r   a g a i n s t   v e s t e d   i n t e r e s t s   a n d   e s t a b l i s h e d   d i s c o u r s e s   t o   t h e   t a b l e   a n d   i n f l u e n c e   p o w e r - l a d e n   c o n f l i c t s   o v e r   e n v i r o n m e n t a l   p r e s s u r e s ;   a n d   w h e t h e r   o r   n o t   t h e y   a c h i e v e   ( s o m e   f o r m   o f )   i n s t i t u t i o n a l i z a t i o n   a n d ,   u l t i m a t e l y ,   p o l i c y   c h a n g e .   W e   f i n d   t h a t   t h e   s t u d i e d - c i t i z e n - s e n s o r   n e t w o r k s   g a i n   s t r e n g t h   b y   u n i t i n g   e f f o r t s   a n d   a c t i v i t i e s   i n   c r o w d s o u r c i n g   d a t a ,   p r o v i d i n g   f a c t u a l ,   ' o b j e c t i v i z e d   d a t a '   o r   ' e v i d e n c e '   o f   t h e   s i t u a t i o n   ' o n   t h e   g r o u n d '   o n   a   m a t t e r   o f   l o c a l   c o m m u n i t y - w i d e   c o n c e r n .   B y   f i l l i n g   a n   i n f o r m a t i o n   n e e d   o f   t h e   l o c a l   c o m m u n i t y ,   a   p r o c e s s   o f   ' c o l l e c t i v e   s e n s e - m a k i n g '   c o m b i n e d   w i t h   c i t i z e n   e m p o w e r m e n t   c o u l d   g r o w ,   w h i c h   i n f l u e n c e d   s o c i e t a l   d i s c o u r s e   a n d   c h a l l e n g e d   p r e v a i l i n g   t r u t h - c l a i m s   o f   p u b l i c   i n s t i t u t i o n s .   I n   b o t h   c a s e s   s i m i l a r ,   ' c o m p e t i n g '   w e b - p o r t a l s   w e r e   d e v e l o p e d   i n   r e s p o n s e ,   b o t h   b y   t h e   g a s - e x t r a c t i o n   c o m p a n y   a n d   t h e   a i r p o r t .   B u t   w i t h   t h e   c i t i z e n - s e n s o r - n e t w o r k s   a l o n g s i d e ,   w e   c o n c l u d e   t h e r e   i s   a   s h i f t   i n   p o w e r   b a l a n c e   i n v o l v e d   b e t w e e n   g o v e r n m e n t   a n d   a f f e c t e d   c o m m u n i t i e s ,   a s   t h e   g o v e r n m e n t   n o   l o n g e r   h a s   i n f o r m a t i o n   m o n o p o l y   o n   e n v i r o n m e n t a l   m e a s u r e m e n t s .   ( C )   2 0 1 7   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ C a r t o n ,   L i n d a ;   A c h e ,   P e t e r ]   R a d b o u d   U n i v   N i j m e g e n ,   I n s t   M a n a g e m e n t   R e s ,   D e p t   G e o g   P l a n n i n g   &   E n v i r o n m ,   S p a t i a l   P l a n n i n g   G r p ,   T h o m a s   v a n   A q u i n o s t r   3 ,   N L - 6 5 2 5   G D   N i j m e g e n ,   N e t h e r l a n d s 	 C a r t o n ,   L   ( r e p r i n t   a u t h o r ) ,   R a d b o u d   U n i v   N i j m e g e n ,   I n s t   M a n a g e m e n t   R e s ,   D e p t   G e o g   P l a n n i n g   &   E n v i r o n m ,   T h o m a s   v a n   A q u i n o s t r   3 ,   N L - 6 5 2 5   G D   N i j m e g e n ,   N e t h e r l a n d s . 	 l . c a r t o n @ f m . r u . n l ;   p . a c h e @ f m . r u . n 	 	 	 	 	 A d a m s   M D ,   2 0 1 6 ,   J   E N V I R O N   M A N A G E ,   V 1 6 8 ,   P 1 3 3 ,   D O I   1 0 . 1 0 1 6 / j . j e n v m a n . 2 0 1 5 . 1 2 . 0 1 2 ;   B o d a n s k y   D ,   1 9 9 9 ,   A M   J   I N T   L A W ,   V 9 3 ,   P 5 9 6 ,   D O I   1 0 . 2 3 0 7 / 2 5 5 5 2 6 2 ;   B o u l o s   K a m e l ,   2 0 1 1 ,   I N T   J   H E A L T H   G E O G R ,   V 2 0 1 1 ,   P 6 7 ;   B u r k e   J . A . ,   2 0 0 6 ,   W O R L D   S E N S   W E B   W O R K S ;   C a r t o n   L .   J . ,   2 0 1 4 ,   P   A E S   2 0 1 4   C O N T R   C O E ;   C a r t o n   L . J . ,   2 0 0 7 ,   T H E S I S ;   C o r b e t t   J . ,   2 0 0 6 ,   P A R T I C I P A T O R Y   L E A R N I ,   V 5 4 ,   P 1 3 ;   C o r b u r n   J ,   2 0 0 4 ,   A M   J   P U B L I C   H E A L T H ,   V 9 4 ,   P 5 4 1 ,   D O I   1 0 . 2 1 0 5 / A J P H . 9 4 . 4 . 5 4 1 ;   C r a i g   W . ,   2 0 0 2 ,   C O M M U N I T Y   P A R T I C I P A T ;   D o d g e   M ,   2 0 0 7 ,   E N V I R O N   P L A N N   B ,   V 3 4 ,   P 4 3 1 ,   D O I   1 0 . 1 0 6 8 / b 3 2 0 4 1 t ;   D u t c h   S a f e t y   B o a r d ,   2 0 1 5 ,   I N V E S T I G A T I O N   R O L E   S ;   E l w o o d   S A ,   2 0 0 2 ,   E N V I R O N   P L A N N   A ,   V 3 4 ,   P 9 0 5 ,   D O I   1 0 . 1 0 6 8 / a 3 4 1 1 7 ;   E l w o o d   S ,   2 0 1 0 ,   P R O G   H U M   G E O G ,   V 3 4 ,   P 3 4 9 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 9 1 3 2 5 0 9 3 4 0 7 1 1 ;   G o o d c h i l d   M F ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - y ;   G o u v e i a   C ,   2 0 0 4 ,   J   E N V I R O N   M A N A G E ,   V 7 1 ,   P 1 3 5 ,   D O I   1 0 . 1 0 1 6 / j . j e n v m a n . 2 0 0 4 . 0 1 . 0 0 9 ;   H a b e r m a s   J . ,   1 9 9 8 ,   P R A G M A T I C S   C O M M U N I C A ;   H a k l a y   M . ,   2 0 1 3 ,   C R O W D S O U R C I N G   G E O G R A ;   H a k l a y   M ,   2 0 1 3 ,   E N V I R O N   P L A N N   A ,   V 4 5 ,   P 5 5 ,   D O I   1 0 . 1 0 6 8 / a 4 5 1 8 4 ;   H a r v e y   F ,   2 0 0 1 ,   J   U R I S A ,   V 1 3 ,   P 2 9 ;   I r w i n   A . ,   1 9 9 5 ,   S T U D Y   P E O P L E   E X P E R T I ;   K o o i s t r a   L ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 6 5 9 ,   P 1 4 9 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 2 9 0 3 - 5 _ 1 5 ;   L a k o f f   G . ,   1 9 8 0 ,   M E T A P H O R S   W E   L I V E   B Y ;   L a k o f f   G e o r g e ,   2 0 0 0 ,   M A T H   C O M E S   E M B O D I E D ;   L a k o f f   G . ,   1 9 9 9 ,   E M B O D I E D   M I N   C H A L L E N ;   L a w r e n c e   A . ,   2 0 0 6 ,   E T H I C S   P L A C E   E N V ,   V 9 ,   P 2 7 9 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 3 6 6 8 7 9 0 6 0 0 8 9 3 3 1 9 ;   S c h i p h o l   N e d e r l a n d   B . V . ,   2 0 1 1 ,   A U D I T   N O I S E   M O N I T O R I ;   P i c k l e s ,   1 9 9 5 ,   G R O U N D   T R U T H   S O C I A L ;   P i c k l e s ,   2 0 0 4 ,   H I S T   S P A C E S   C A R T O G R A ;   S c h i p h o l   A l d e r s t a f e l ,   2 0 1 2 ,   T E C H N I S C H E   B E S C H R I J V ;   S c h u u r m a n   N ,   2 0 0 4 ,   E N V I R O N   P L A N N   A ,   V 3 6 ,   P 1 3 3 7 ,   D O I   1 0 . 1 0 6 8 / a 3 6 0 8 _ b ;   S e n g e   P . M . ,   1 9 9 0 ,   A R T   P R A C T I C E   L E A R N I N ;   S e n s o r n e t ,   2 0 1 4 ,   R A P P   V L I E G T   L I V   M O N ;   S h e p p a r d   E ,   2 0 0 5 ,   C A R T O G R A P H I C A ,   V 4 0 ,   P 5 ,   D O I   1 0 . 3 1 3 8 / G H 2 7 - 1 8 4 7 - Q P 7 1 - 7 T P 7 ;   S T A R   S L ,   1 9 8 9 ,   S O C   S T U D   S C I ,   V 1 9 ,   P 3 8 7 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 6 3 1 2 8 9 0 1 9 0 0 3 0 0 1 ;   S t e p e m i c k   K F ,   2 0 1 5 ,   E C O L   S O C ,   V 2 0 ,   D O I   1 0 . 5 7 5 1 / E S - 0 7 3 2 9 - 2 0 0 3 1 9 ;   T r o u w ,   2 0 0 4 ,   S C H U L Z   G A A T   G E L   R O N D ;   V a n   V o s s o l e   J o n a s ,   2 0 1 2 ,   W O R K I N G   P A P E R ;   W e r k g r o e p ,   2 0 1 3 ,   G E L   K A A G   B R A A S S   N O O R ;   W e r k g r o e p   P .   R . ,   2 0 1 4 ,   G R O N I N G E R   B O D E M   B E W E 	 3 9 	 0 	 0 	 6 	 6 	 A C A D E M I C   P R E S S   L T D -   E L S E V I E R   S C I E N C E   L T D 	 L O N D O N 	 2 4 - 2 8   O V A L   R D ,   L O N D O N   N W 1   7 D X ,   E N G L A N D 	 0 3 0 1 - 4 7 9 7 	 1 0 9 5 - 8 6 3 0 	 	 J   E N V I R O N   M A N A G E 	 J .   E n v i r o n .   M a n a g e . 	 J U L   1 	 2 0 1 7 	 1 9 6 	 	 	 	 	 	 2 3 4 	 2 5 1 	 	 1 0 . 1 0 1 6 / j . j e n v m a n . 2 0 1 7 . 0 2 . 0 4 4 	 	 1 8 	 E n v i r o n m e n t a l   S c i e n c e s 	 E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y 	 E V 6 O I 	 W O S : 0 0 0 4 0 1 8 8 8 3 0 0 0 2 5 	 2 8 2 8 4 9 4 4 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 B o o t h b y ,   C A ;   K i m ,   H S ;   R o m a n o w ,   N K ;   H o d g i n s ,   D C ;   M c G r a t h ,   D S 	 	 	 	 B o o t h b y ,   C e l i n a   A . ;   K i m ,   H y o u n   S . ;   R o m a n o w ,   N i c o l e   K . ;   H o d g i n s ,   D a v i d   C . ;   M c G r a t h ,   D a n i e l   S . 	 	 	 A s s e s s i n g   t h e   r o l e   o f   i m p u l s i v i t y   i n   s m o k i n g   &   n o n - s m o k i n g   d i s o r d e r e d   g a m b l e r s 	 A D D I C T I V E   B E H A V I O R S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S m o k i n g ;   D i s o r d e r e d   g a m b l i n g ;   C o - m o r b i d   a d d i c t i o n s ;   T r a i t   i m p u l s i v i t y ;   U r g e n c y 	 S E E K I N G   P A T H O L O G I C A L   G A M B L E R S ;   G A M B L I N G   S E V E R I T Y   I N D E X ;   C I G A R E T T E - S M O K I N G ;   T O B A C C O   U S E ;   P S Y C H I A T R I C - D I S O R D E R S ;   N I C O T I N E   D E P E N D E N C E ;   S U B S T A N C E   U S E ;   Y O U N G - A D U L T S ;   A L C O H O L ;   U R G E N C Y 	 B a c k g r o u n d :   C o - m o r b i d i t y   w i t h   o t h e r   a d d i c t i v e   b e h a v i o r s   i s   c o m m o n   i n   d i s o r d e r e d   g a m b l i n g   ( D G ) .   I n   p a r t i c u l a r ,   t o b a c c o   d e p e n d e n c e   h a s   b e e n   f o u n d   t o   b e   a m o n g   t h e   m o s t   p r e v a l e n t   d i s o r d e r s   c o - m o r b i d   w i t h   D G .   W h i l e   t h e   e x t a n t   l i t e r a t u r e   h a s   f i r m l y   e s t a b l i s h e d   t h e   c o - o c c u r r e n c e   o f   D G   a n d   s m o k i n g ,   t h e r e   i s   a   p a u c i t y   o f   r e s e a r c h   e x a m i n i n g   f a c t o r s   t h a t   d i f f e r e n t i a t e   D G s   w h o   s m o k e   f r o m   t h o s e   w h o   d o   n o t .   O b j e c t i v e s :   T o   a d d r e s s   t h i s   e m p i r i c a l   g a p ,   t h e   c u r r e n t   s t u d y   t e s t e d   w h e t h e r   d i m e n s i o n s   o f   t r a i t   i m p u l s i v i t y   a s   m e a s u r e d   b y   t h e   U P P S - P   I m p u l s i v e   B e h a v i o r   S c a l e   ( p o s i t i v e   u r g e n c y ,   n e g a t i v e   u r g e n c y ,   l a c k   o f   p r e m e d i t a t i o n ,   l a c k   o f   p e r s e v e r a n c e ,   a n d   s e n s a t i o n   s e e k i n g ) ,   d i s c r i m i n a t e d   b e t w e e n   n o n - D G s   a n d   D G s   b a s e d   o n   t h e i r   p r e s e n t   s m o k i n g   s t a t u s :   n o n - s m o k e r ,   o c c a s i o n a l   s m o k e r ,   a n d   d a i l y   s m o k e r .   M e t h o d s :   T o   t h i s   e n d ,   5 6 4   c o m m u n i t y   g a m b l e r s   w e r e   r e c r u i t e d   t h r o u g h   a   c r o w d s o u r c i n g   p l a t f o r m   ( A m a z o n ' s   M e c h a n i c a l   T u r k )   a n d   c o m p l e t e d   a n   o n l i n e   s u r v e y ,   a s s e s s i n g   p r o b l e m   g a m b l i n g   s e v e r i t y ,   t o b a c c o   u s e ,   a n d   t r a i t   i m p u l s i v i t y .   R e s u l t s :   M A N O V A   a n a l y s e s   r e v e a l e d   s i g n i f i c a n t   m a i n   e f f e c t s   f o r   b o t h   g a m b l i n g   s e v e r i t y   a n d   s m o k i n g   s t a t u s   g r o u p s .   I m p o r t a n t l y ,   a   s i g n i f i c a n t   g a m b l i n g   b y   s m o k i n g   i n t e r a c t i o n   w a s   a l s o   f o u n d .   P a i r w i s e   c o m p a r i s o n s   r e v e a l e d   t h a t   D G s   w h o   w e r e   d a i l y   s m o k e r s   s c o r e d   h i g h e r   o n   n e g a t i v e   u r g e n c y   t h a n   t h o s e   w h o   s m o k e d   o c c a s i o n a l l y   o r   n o t   a l l .   F u r t h e r m o r e ,   a m o n g   n o n - D G s ,   s m o k i n g   s t a t u s   f a i l e d   t o   d i s c r i m i n a t e   b e t w e e n   m e a n   s c o r e s   o n   n e g a t i v e   u r g e n c y .   N o   o t h e r   s i g n i f i c a n t   i n t e r a c t i o n   e f f e c t s   w e r e   f o u n d   f o r   t h e   r e m a i n i n g   U P P S - P   i m p u l s i v i t y   f a c e t s .   C o n c l u s i o n s :   R e s u l t s   s u g g e s t   t h a t   i n d i v i d u a l   c o m p o n e n t s   o f   t r a i t   i m p u l s i v i t y ,   a n d   m o r e   s p e c i f i c a l l y   n e g a t i v e   u r g e n c y ,   s u c c e s s f u l l y   d i f f e r e n t i a t e   D G s   w h o   d o   n o t   s m o k e ,   o r   j u s t   s m o k e   o c c a s i o n a l l y ,   f r o m   D G s   w h o   s m o k e   d a i l y .   T h e s e   f i n d i n g s   s u g g e s t   t h a t   t h e   d e g r e e   o f   t r a i t   i m p u l s i v i t y   m a y   p o t e n t i a l l y   d i s t i n g u i s h   b e t w e e n   D G s   a n d   D G s   w h o   a r e   d u a l l y   a d d i c t e d   t o   o t h e r   s u b s t a n c e s   s u c h   a s   t o b a c c o . ( C )   2 0 1 7   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ B o o t h b y ,   C e l i n a   A . ;   K i m ,   H y o u n   S . ;   R o m a n o w ,   N i c o l e   K . ;   H o d g i n s ,   D a v i d   C . ;   M c G r a t h ,   D a n i e l   S . ]   U n i v   C a l g a r y ,   D e p t   P s y c h o l ,   A d m   B l d g   A D   2 1 6 , 2 5 0 0   U n i v   D r   N W ,   C a l g a r y ,   A B   T 2 N   1 N 4 ,   C a n a d a 	 M c G r a t h ,   D S   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l g a r y ,   D e p t   P s y c h o l ,   A d m   B l d g   A D   2 1 6 , 2 5 0 0   U n i v   D r   N W ,   C a l g a r y ,   A B   T 2 N   1 N 4 ,   C a n a d a . 	 c e l i n a . b o o t h b y @ u c a l g a r y . c a ;   h y o u n . k i m @ u c a l g a r y . c a ;   n r o m a n o w @ u c a l g a r y . c a ;   d h o d g i n s @ u c a l g a r y . c a ;   d a n i e l . m c g r a t h @ u c a l g a r y . c a 	 	 	 A l b e r t a   G a m b l i n g   R e s e a r c h   I n s t i t u t e   ( A G R I ) ;   A G R I ;   A l b e r t a   I n n o v a t e s :   H e a l t h   S o l u t i o n s   ( A I H S ) ;   S o c i a l   S c i e n c e s   a n d   H u m a n i t i e s   R e s e a r c h   C o u n c i l   ( S S H R C ) 	 T h i s   r e s e a r c h   w a s   n o t   d i r e c t l y   g r a n t   f u n d e d .   D u r i n g   t h e   p r e p a r a t i o n   o f   t h i s   m a n u s c r i p t ,   D a n i e l   S .   M c G r a t h   r e c e i v e d   p a r t i a l   f i n a n c i a l   s a l a r y   s u p p o r t   f r o m   t h e   A l b e r t a   G a m b l i n g   R e s e a r c h   I n s t i t u t e   ( A G R I ) .   H y o u n   S .   K i m   r e c e i v e d   d o c t o r a l   a w a r d s   f r o m   A G R I ,   A l b e r t a   I n n o v a t e s :   H e a l t h   S o l u t i o n s   ( A I H S ) ,   a n d   t h e   S o c i a l   S c i e n c e s   a n d   H u m a n i t i e s   R e s e a r c h   C o u n c i l   ( S S H R C ) .   D a v i d   C .   H o d g i n s   i s   a   c o o r d i n a t o r   o f   A G R I ,   w h i c h   p r o v i d e s   p a r t i a l   f i n a n c i a l   s a l a r y   s u p p o r t .   A G R I   h a d   n o   d i r e c t   r o l e   i n   t h i s   s t u d y . 	 A d a m s   Z W ,   2 0 1 2 ,   A D D I C T   B E H A V ,   V 3 7 ,   P 8 4 8 ,   D O I   1 0 . 1 0 1 6 / j . a d d b e h . 2 0 1 2 . 0 3 . 0 1 6 ;   B a r r e t t   S P ,   2 0 1 5 ,   P H A R M A C O L   B I O C H E M   B E ,   V 1 3 0 ,   P 3 4 ,   D O I   1 0 . 1 0 1 6 / j . p b b . 2 0 1 4 . 1 2 . 0 1 5 ;   B i l l i e u x   J ,   2 0 1 2 ,   P S Y C H I A T   R E S ,   V 1 9 8 ,   P 2 9 1 ,   D O I   1 0 . 1 0 1 6 / j . p s y c h r e s . 2 0 1 2 . 0 1 . 0 0 1 ;   B l a i n   B ,   2 0 1 5 ,   I N T   G A M B L   S T U D ,   V 1 5 ,   P 2 3 9 ,   D O I   1 0 . 1 0 8 0 / 1 4 4 5 9 7 9 5 . 2 0 1 5 . 1 0 2 9 9 6 0 ;   B l a s z c z y n s k i   A ,   1 9 9 7 ,   A D D I C T I O N ,   V 9 2 ,   P 7 5 ;   B l a s z c z y n s k i   A ,   2 0 0 2 ,   A D D I C T I O N ,   V 9 7 ,   P 4 8 7 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 0 - 0 4 4 3 . 2 0 0 2 . 0 0 0 1 5 . x ;   B l o o m   E L ,   2 0 1 4 ,   A D D I C T   R E S   T H E O R Y ,   V 2 2 ,   P 3 8 6 ,   D O I   1 0 . 3 1 0 9 / 1 6 0 6 6 3 5 9 . 2 0 1 3 . 8 6 7 4 3 2 ;   C a n a l e   N ,   2 0 1 5 ,   P S Y C H O L   A D D I C T   B E H A V ,   V 2 9 ,   P 8 1 3 ,   D O I   1 0 . 1 0 3 7 / a d b 0 0 0 0 0 6 0 ;   C u r r i e   S R ,   2 0 1 3 ,   J   G A M B L   S T U D ,   V 2 9 ,   P 3 1 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 8 9 9 - 0 1 2 - 9 3 0 0 - 6 ;   C y d e r s   M A ,   2 0 0 7 ,   P S Y C H O L   A S S E S S M E N T ,   V 1 9 ,   P 1 0 7 ,   D O I   1 0 . 1 0 3 7 / 1 0 4 0 - 3 5 9 0 . 1 9 . 1 . 1 0 7 ;   D a w e   S ,   2 0 0 4 ,   N E U R O S C I   B I O B E H A V   R ,   V 2 8 ,   P 3 4 3 ,   D O I   1 0 . 1 0 1 6 / j . n e u b i o r e v . 2 0 0 4 . 0 3 . 0 0 7 ;   D a w e   S ,   2 0 0 4 ,   A D D I C T   B E H A V ,   V 2 9 ,   P 1 3 8 9 ,   D O I   1 0 . 1 0 1 6 / j . a d d b e h . 2 0 0 4 . 0 6 . 0 0 4 ;   D o r a n   N ,   2 0 1 5 ,   A D D I C T   B E H A V ,   V 5 1 ,   P 1 3 1 ,   D O I   1 0 . 1 0 1 6 / j . a d d b e h . 2 0 1 5 . 0 7 . 0 2 3 ;   D o r a n   N ,   2 0 1 3 ,   J   P S Y C H O A C T I V E   D R U G S ,   V 4 5 ,   P 3 7 9 ,   D O I   1 0 . 1 0 8 0 / 0 2 7 9 1 0 7 2 . 2 0 1 3 . 8 4 4 3 8 0 ;   D o w l i n g   N A ,   2 0 1 6 ,   A D D I C T   B E H A V ,   V 5 8 ,   P 2 1 ,   D O I   1 0 . 1 0 1 6 / j . a d d b e h . 2 0 1 6 . 0 2 . 0 1 2 ;   F a r s t a d   S M ,   2 0 1 5 ,   P S Y C H O L   A D D I C T   B E H A V ,   V 2 9 ,   P 8 0 5 ,   D O I   1 0 . 1 0 3 7 / a d b 0 0 0 0 0 6 9 ;   F e r r i s   J . ,   2 0 0 1 ,   C A N A D I A N   P R O B L E M   G A M ;   G r a l l - B r o n n e c   M ,   2 0 1 2 ,   J   G A M B L   S T U D ,   V 2 8 ,   P 2 3 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 8 9 9 - 0 1 1 - 9 2 5 8 - 9 ;   G r a n t   J o n   E ,   2 0 0 5 ,   A n n   C l i n   P s y c h i a t r y ,   V 1 7 ,   P 2 3 7 ,   D O I   1 0 . 1 0 8 0 / 1 0 4 0 1 2 3 0 5 0 0 2 9 5 3 7 0 ;   G r a n t   J E ,   2 0 0 8 ,   J   A D D I C T   M E D ,   V 2 ,   P 1 7 8 ,   D O I   1 0 . 1 0 9 7 / A D M . 0 b 0 1 3 e 3 1 8 1 8 7 8 6 7 3 ;   H a w   J . ,   2 0 1 5 ,   I N T   J   M E N T   H E A L T H   A D ,   P 1 ;   H o d g i n s   D C ,   2 0 1 5 ,   I N T   J   M E N T   H E A L T H   A D ,   V 1 3 ,   P 6 9 9 ,   D O I   1 0 . 1 0 0 7 / s 1 1 4 6 9 - 0 1 5 - 9 5 7 2 - z ;   H o l t g r a v e s   T ,   2 0 0 9 ,   J   G A M B L   S T U D ,   V 2 5 ,   P 1 0 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 8 9 9 - 0 0 8 - 9 1 0 7 - 7 ;   K i m   H .   S . ,   2 0 1 7 ,   P S Y C H O L   A D D   I N   P R E S S ;   K r a p l i n   A ,   2 0 1 5 ,   J   C L I N   E X P   N E U R O P S Y C ,   V 3 7 ,   P 3 6 7 ,   D O I   1 0 . 1 0 8 0 / 1 3 8 0 3 3 9 5 . 2 0 1 5 . 1 0 1 8 1 4 5 ;   K r a p l i n   A ,   2 0 1 4 ,   P S Y C H I A T   R E S ,   V 2 1 5 ,   P 6 7 5 ,   D O I   1 0 . 1 0 1 6 / j . p s y c h r e s . 2 0 1 3 . 1 2 . 0 4 1 ;   L e d g e r w o o d   D M ,   2 0 1 0 ,   P S Y C H O L   A D D I C T   B E H A V ,   V 2 4 ,   P 6 8 0 ,   D O I   1 0 . 1 0 3 7 / a 0 0 1 9 9 0 6 ;   L e e   D C ,   2 0 1 5 ,   A D D I C T   B E H A V ,   V 4 6 ,   P 8 2 ,   D O I   1 0 . 1 0 1 6 / j . a d d b e h . 2 0 1 5 . 0 3 . 0 0 9 ;   L o r a i n s   F K ,   2 0 1 1 ,   A D D I C T I O N ,   V 1 0 6 ,   P 4 9 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 0 - 0 4 4 3 . 2 0 1 0 . 0 3 3 0 0 . x ;   L y n a m   D ,   2 0 0 6 ,   T E C H N I C A L   R E P O R T ;   M a c L a r e n   V V ,   2 0 1 1 ,   C L I N   P S Y C H O L   R E V ,   V 3 1 ,   P 1 0 5 7 ,   D O I   1 0 . 1 0 1 6 / j . c p r . 2 0 1 1 . 0 2 . 0 0 2 ;   M a r o t t a   J . ,   2 0 1 4 ,   2 0 1 3   N A T   S U R V E Y   P R O B ;   M c G r a t h   D S ,   2 0 1 2 ,   N I C O T I N E   T O B   R E S ,   V 1 4 ,   P 8 3 3 ,   D O I   1 0 . 1 0 9 3 / n t r / n t r 2 9 4 ;   M i c h a l c z u k   R ,   2 0 1 1 ,   P S Y C H O L   M E D ,   V 4 1 ,   P 2 6 2 5 ,   D O I   1 0 . 1 0 1 7 / S 0 0 3 3 2 9 1 7 1 1 0 0 0 9 5 X ;   M i l l e r   J .   D . ,   2 0 1 3 ,   W I L E Y   B L A C K W E L L   H D B ,   P 1 1 1 ;   M i l o s e v i c   A ,   2 0 1 0 ,   C L I N   P S Y C H O L   R E V ,   V 3 0 ,   P 9 8 8 ,   D O I   1 0 . 1 0 1 6 / j . c p r . 2 0 1 0 . 0 6 . 0 1 3 ;   M i t c h e l l   S H ,   1 9 9 9 ,   P S Y C H O P H A R M A C O L O G Y ,   V 1 4 6 ,   P 4 5 5 ,   D O I   1 0 . 1 0 0 7 / P L 0 0 0 0 5 4 9 1 ;   M o o n e y   M i c h a e l   A ,   2 0 1 7 ,   J   N e u r o s u r g ,   P 1 ,   D O I   1 0 . 3 1 7 1 / 2 0 1 6 . 1 1 . J N S 1 6 1 6 5 1 ;   N o w e r   L ,   2 0 1 7 ,   P S Y C H O L   A D D I C T I V E   B E ;   N o w e r   L ,   2 0 1 3 ,   A D D I C T I O N ,   V 1 0 8 ,   P 7 8 9 ,   D O I   1 0 . 1 1 1 1 / a d d . 1 2 0 1 2 ;   O d l a u g   B L ,   2 0 1 3 ,   P S Y C H O L   A D D I C T   B E H A V ,   V 2 7 ,   P 6 9 6 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 9 8 1 2 ;   P a n g   R D ,   2 0 1 4 ,   J   A D D I C T   D I S ,   V 3 3 ,   P 8 3 ,   D O I   1 0 . 1 0 8 0 / 1 0 5 5 0 8 8 7 . 2 0 1 4 . 9 0 9 6 9 5 ;   P e r k i n s   K A ,   2 0 1 3 ,   A D D I C T   B E H A V ,   V 3 8 ,   P 1 5 2 7 ,   D O I   1 0 . 1 0 1 6 / j . a d d b e h . 2 0 1 2 . 0 6 . 0 0 2 ;   P e r k i n s   K A ,   2 0 1 0 ,   B I O L   P S Y C H I A T ,   V 6 7 ,   P 7 0 7 ,   D O I   1 0 . 1 0 1 6 / j . b i o p s y c h . 2 0 0 9 . 1 2 . 0 1 7 ;   P e t r y   N M ,   2 0 0 2 ,   A D D I C T I O N ,   V 9 7 ,   P 7 4 5 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 0 - 0 4 4 3 . 2 0 0 2 . 0 0 1 6 3 . x ;   S H A P I R O   D N ,   2 0 1 3 ,   C L I N   P S Y C H O L   S C I ,   V 1 ,   P 2 1 3 ,   D O I   D O I   1 0 . 1 1 7 7 / 2 1 6 7 7 0 2 6 1 2 4 6 9 0 1 5 ;   S h a r m a   L ,   2 0 1 4 ,   P S Y C H O L   B U L L ,   V 1 4 0 ,   P 3 7 4 ,   D O I   1 0 . 1 0 3 7 / a 0 0 3 4 4 1 8 ;   S p i l l a n e   N S ,   2 0 1 3 ,   A D D I C T   R E S   T H E O R Y ,   V 2 1 ,   P 4 8 9 ,   D O I   1 0 . 3 1 0 9 / 1 6 0 6 6 3 5 9 . 2 0 1 2 . 7 4 8 8 9 4 ;   S p i l l a n e   N S ,   2 0 1 0 ,   A D D I C T   B E H A V ,   V 3 5 ,   P 7 0 0 ,   D O I   1 0 . 1 0 1 6 / j . a d d b e h . 2 0 1 0 . 0 3 . 0 0 8 ;   T u r n e r   N .   E . ,   2 0 0 8 ,   I N T   G A M B L   S T U D ,   V 8 ,   P 2 8 1 ,   D O I   D O I   1 0 . 1 0 8 0 / 1 4 4 5 9 7 9 0 8 0 2 4 0 5 9 0 5 ;   V e r d e j o - G a r c i a   A ,   2 0 0 7 ,   D R U G   A L C O H O L   D E P E N ,   V 9 1 ,   P 2 1 3 ,   D O I   1 0 . 1 0 1 6 / j . d r u g a l c d e p . 2 0 0 7 . 0 5 . 0 2 5 ;   W h i t e s i d e   S P ,   2 0 0 1 ,   P E R S   I N D I V   D I F F E R ,   V 3 0 ,   P 6 6 9 ,   D O I   1 0 . 1 0 1 6 / S 0 1 9 1 - 8 8 6 9 ( 0 0 ) 0 0 0 6 4 - 7 ;   Y a n   W S ,   2 0 1 6 ,   S C I   R E P - U K ,   V 6 ,   D O I   1 0 . 1 0 3 8 / s r e p 3 9 2 3 3 	 5 3 	 0 	 0 	 1 8 	 1 8 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 3 0 6 - 4 6 0 3 	 1 8 7 3 - 6 3 2 7 	 	 A D D I C T   B E H A V 	 A d d i c t .   B e h a v . 	 J U L 	 2 0 1 7 	 7 0 	 	 	 	 	 	 3 5 	 4 1 	 	 1 0 . 1 0 1 6 / j . a d d b e h . 2 0 1 7 . 0 2 . 0 0 2 	 	 7 	 P s y c h o l o g y ,   C l i n i c a l ;   S u b s t a n c e   A b u s e 	 P s y c h o l o g y ;   S u b s t a n c e   A b u s e 	 E R 5 X I 	 W O S : 0 0 0 3 9 8 8 7 7 2 0 0 0 0 7 	 2 8 1 8 9 9 3 7 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 L i v a n ,   G ;   C a c c i o l i ,   F ;   A s t e ,   T 	 	 	 	 L i v a n ,   G i a c o m o ;   C a c c i o l i ,   F a b i o ;   A s t e ,   T o m a s o 	 	 	 E x c e s s   r e c i p r o c i t y   d i s t o r t s   r e p u t a t i o n   i n   o n l i n e   s o c i a l   n e t w o r k s 	 S C I E N T I F I C   R E P O R T S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 C O M P L E X   N E T W O R K S ;   F E E D B A C K ;   S Y S T E M S ;   O R G A N I Z A T I O N ;   W O R L D ;   M O D E L ;   E B A Y ;   B I A S 	 T h e   p e e r - t o - p e e r   ( P 2 P )   e c o n o m y   r e l i e s   o n   e s t a b l i s h i n g   t r u s t   i n   d i s t r i b u t e d   n e t w o r k e d   s y s t e m s ,   w h e r e   t h e   r e l i a b i l i t y   o f   a   u s e r   i s   a s s e s s e d   t h r o u g h   d i g i t a l   p e e r - r e v i e w   p r o c e s s e s   t h a t   a g g r e g a t e   r a t i n g s   i n t o   r e p u t a t i o n   s c o r e s .   H e r e   w e   p r e s e n t   e v i d e n c e   o f   a   n e t w o r k   e f f e c t   w h i c h   b i a s e s   d i g i t a l   r e p u t a t i o n ,   r e v e a l i n g   t h a t   P 2 P   n e t w o r k s   d i s p l a y   e x c e e d i n g l y   h i g h   l e v e l s   o f   r e c i p r o c i t y .   I n   f a c t ,   t h e s e   a r e   m u c h   h i g h e r   t h a n   t h o s e   c o m p a t i b l e   w i t h   a   n u l l   a s s u m p t i o n   t h a t   p r e s e r v e s   t h e   e m p i r i c a l l y   o b s e r v e d   l e v e l   o f   a g r e e m e n t   b e t w e e n   a l l   p a i r s   o f   n o d e s ,   a n d   r a t h e r   c l o s e   t o   t h e   h i g h e s t   l e v e l s   s t r u c t u r a l l y   c o m p a t i b l e   w i t h   t h e   n e t w o r k s '   r e p u t a t i o n   l a n d s c a p e .   T h i s   i n d i c a t e s   t h a t   t h e   c r o w d s o u r c i n g   p r o c e s s   u n d e r p i n n i n g   d i g i t a l   r e p u t a t i o n   c a n   b e   s i g n i f i c a n t l y   d i s t o r t e d   b y   t h e   a t t e m p t   o f   u s e r s   t o   m u t u a l l y   b o o s t   r e p u t a t i o n ,   o r   t o   r e t a l i a t e ,   t h r o u g h   t h e   e x c h a n g e   o f   r a t i n g s .   W e   u n c o v e r   t h a t   t h e   l e a s t   a c t i v e   u s e r s   a r e   p r e d o m i n a n t l y   r e s p o n s i b l e   f o r   s u c h   r e c i p r o c i t y - i n d u c e d   b i a s ,   a n d   t h a t   t h i s   f a c t   c a n   b e   e x p l o i t e d   t o   o b t a i n   m o r e   r e l i a b l e   r e p u t a t i o n   e s t i m a t e s .   O u r   f i n d i n g s   a r e   r o b u s t   a c r o s s   d i f f e r e n t   P 2 P   p l a t f o r m s ,   i n c l u d i n g   b o t h   c a s e s   w h e r e   r a t i n g s   a r e   u s e d   t o   v o t e   o n   t h e   c o n t e n t   p r o d u c e d   b y   u s e r s   a n d   t o   v o t e   o n   u s e r   p r o f i l e s . 	 [ L i v a n ,   G i a c o m o ;   C a c c i o l i ,   F a b i o ;   A s t e ,   T o m a s o ]   U C L ,   D e p t   C o m p   S c i ,   6 6 - 7 2   G o w e r   S t ,   L o n d o n   W C 1 E   6 E A ,   E n g l a n d ;   [ L i v a n ,   G i a c o m o ;   C a c c i o l i ,   F a b i o ;   A s t e ,   T o m a s o ]   L o n d o n   S c h   E c o n   &   P o l i t   S c i ,   S y s t e m   R i s k   C t r ,   H o u g h t o n   S t ,   L o n d o n   W C 2 A   2 A E ,   E n g l a n d 	 L i v a n ,   G   ( r e p r i n t   a u t h o r ) ,   U C L ,   D e p t   C o m p   S c i ,   6 6 - 7 2   G o w e r   S t ,   L o n d o n   W C 1 E   6 E A ,   E n g l a n d . ;   L i v a n ,   G   ( r e p r i n t   a u t h o r ) ,   L o n d o n   S c h   E c o n   &   P o l i t   S c i ,   S y s t e m   R i s k   C t r ,   H o u g h t o n   S t ,   L o n d o n   W C 2 A   2 A E ,   E n g l a n d . 	 g . l i v a n @ u c l . a c . u k 	 	 	 E c o n o m i c   a n d   S o c i a l   R e s e a r c h   C o u n c i l   ( E S R C )   [ E S / K 0 0 2 3 0 9 / 1 ] ;   E P S R C   E a r l y   C a r e e r   F e l l o w s h i p   i n   D i g i t a l   E c o n o m y   [ E P / N 0 0 6 0 6 2 / 1 ] 	 W e   a c k n o w l e d g e   s u p p o r t   f r o m   t h e   E c o n o m i c   a n d   S o c i a l   R e s e a r c h   C o u n c i l   ( E S R C )   i n   f u n d i n g   t h e   S y s t e m i c   R i s k   C e n t r e   ( G r a n t   N o .   E S / K 0 0 2 3 0 9 / 1 ) .   G i a c o m o   L i v a n   a c k n o w l e d g e s   s u p p o r t   f r o m   a n   E P S R C   E a r l y   C a r e e r   F e l l o w s h i p   i n   D i g i t a l   E c o n o m y   ( G r a n t   N o .   E P / N 0 0 6 0 6 2 / 1 ) . 	 A l b e r t   R ,   2 0 0 0 ,   N A T U R E ,   V 4 0 6 ,   P 3 7 8 ,   D O I   1 0 . 1 0 3 8 / 3 5 0 1 9 0 1 9 ;   A l t a f i n i   C ,   2 0 1 3 ,   I E E E   T   A U T O M A T   C O N T R ,   V 5 8 ,   P 9 3 5 ,   D O I   1 0 . 1 1 0 9 / T A C . 2 0 1 2 . 2 2 2 4 2 5 1 ;   B i o n d o   A E ,   2 0 1 3 ,   J   S T A T   P H Y S ,   V 1 5 1 ,   P 6 0 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 9 5 5 - 0 1 3 - 0 6 9 1 - 2 ;   B o l t o n   G ,   2 0 1 3 ,   M A N A G E   S C I ,   V 5 9 ,   P 2 6 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 2 0 . 1 6 0 9 ;   C a l d a r e l l i   G . ,   2 0 0 7 ,   S C A L E   F R E E   N E T W O R K S ;   C i m i n i   G ,   2 0 1 5 ,   J A S S S - J   A R T I F   S O C   S ,   V 1 8 ;   C i o t t i   V ,   2 0 1 5 ,   P H Y S I C A   A ,   V 4 2 2 ,   P 2 5 ,   D O I   1 0 . 1 0 1 6 / j . p h y s a . 2 0 1 4 . 1 1 . 0 6 2 ;   C u r r a r i n i   S ,   2 0 0 9 ,   E C O N O M E T R I C A ,   V 7 7 ,   P 1 0 0 3 ,   D O I   1 0 . 3 9 8 2 / E C T A 7 5 2 8 ;   D e l l a r o c a s   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 4 6 0 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 7 0 . 0 7 4 7 ;   D o r o g o v t s e v   S N ,   2 0 0 8 ,   R E V   M O D   P H Y S ,   V 8 0 ,   P 1 2 7 5 ,   D O I   1 0 . 1 1 0 3 / R e v M o d P h y s . 8 0 . 1 2 7 5 ;   D o w d   M . ,   2 0 1 5 ,   N Y   T I M E S ;   F a c c h e t t i   G ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 2 0 9 5 3 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 1 0 9 5 2 1 1 0 8 ;   F a g i o l o   G ,   2 0 1 3 ,   J   E C O N   I N T E R A C T   C O O R ,   V 8 ,   P 7 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 4 0 3 - 0 1 2 - 0 1 0 4 - 7 ;   F e h r   E ,   2 0 0 0 ,   J   E C O N   P E R S P E C T ,   V 1 4 ,   P 1 5 9 ,   D O I   1 0 . 1 2 5 7 / j e p . 1 4 . 3 . 1 5 9 ;   F r a d k i n   A . ,   2 0 1 5 ,   P   1 6   A C M   C   E C   C O M P ;   G a r l a s c h e l l i   D ,   2 0 0 4 ,   P H Y S   R E V   L E T T ,   V 9 3 ,   D O I   1 0 . 1 1 0 3 / P h y s R e v L e t t . 9 3 . 2 6 8 7 0 1 ;   H e i d e r   F ,   1 9 4 6 ,   J   P S Y C H O L ,   V 2 1 ,   P 1 0 7 ,   D O I   1 0 . 1 0 8 0 / 0 0 2 2 3 9 8 0 . 1 9 4 6 . 9 9 1 7 2 7 5 ;   H u   N ,   2 0 0 9 ,   C O M M U N   A C M ,   V 5 2 ,   P 1 4 4 ,   D O I   1 0 . 1 1 4 5 / 1 5 6 2 7 6 4 . 1 5 6 2 8 0 0 ;   J i a n   L A ,   2 0 1 0 ,   B E   J   E C O N   A N A L   P O L I ,   V 1 0 ;   K u n e g i s   J . ,   2 0 1 3 ,   P   I N T   W E B   O B S   W O R K S H ;   L e h d o n v i r t a   V . ,   2 0 1 5 ,   P O L I C Y   I N T E R N E T ,   V 7 ,   P 2 6 3 ,   D O I   D O I   1 0 . 1 0 0 2 / P O I 3 . 1 0 3 ;   L e s k o v e c   J . ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ;   L e s k o v e c   J ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 3 6 1 ;   L i   M X ,   2 0 1 4 ,   N E W   J   P H Y S ,   V 1 6 ,   D O I   1 0 . 1 0 8 8 / 1 3 6 7 - 2 6 3 0 / 1 6 / 8 / 0 8 3 0 3 8 ;   L o r e n z   J ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 9 0 2 0 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 0 0 8 6 3 6 1 0 8 ;   M a n t e g n a   R N ,   1 9 9 6 ,   P H Y S   R E V   L E T T ,   V 7 6 ,   P 5 6 3 ,   D O I   1 0 . 1 1 0 3 / P h y s R e v L e t t . 7 6 . 5 6 3 ;   M c P h e r s o n   M ,   2 0 0 1 ,   A N N U   R E V   S O C I O L ,   V 2 7 ,   P 4 1 5 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . s o c . 2 7 . 1 . 4 1 5 ;   M u c h n i k   L ,   2 0 1 3 ,   S C I E N C E ,   V 3 4 1 ,   P 6 4 7 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 4 0 4 6 6 ;   N e w m a n   M ,   2 0 1 0 ,   N E T W O R K S   I N T R O ;   N o s k o   C . ,   2 0 1 5 ,   L I M I T S   R E P U T A T I O N   P L ;   P l u c h i n o   A ,   2 0 1 0 ,   P H Y S I C A   A ,   V 3 8 9 ,   P 4 6 7 ,   D O I   1 0 . 1 0 1 6 / j . p h y s a . 2 0 0 9 . 0 9 . 0 4 5 ;   R e s n i c k   P ,   2 0 0 6 ,   E X P   E C O N ,   V 9 ,   P 7 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 8 3 - 0 0 6 - 4 3 0 9 - 2 ;   S a l g a n i k   M J ,   2 0 0 6 ,   S C I E N C E ,   V 3 1 1 ,   P 8 5 4 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 2 1 0 6 6 ;   S q u a r t i n i   T ,   2 0 1 3 ,   S C I   R E P - U K ,   V 3 ,   D O I   1 0 . 1 0 3 8 / s r e p 0 3 3 5 7 ;   S z e l l   M ,   2 0 1 0 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 7 ,   P 1 3 6 3 6 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 0 0 4 0 0 8 1 0 7 ;   T a d e l i s   S ,   2 0 1 6 ,   I E E E   I N T E R N E T   C O M P U T ,   V 2 0 ,   P 1 2 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 5 . 1 4 0 ;   T a l e b   N .   N . ,   2 0 1 2 ,   A N T I F R A G I L E   T H I N G S   G ;   V a n   D i j c k   J . ,   2 0 1 5 ,   S O C I A L   M E D I A   S O C ,   V 1 ;   V a v i l i s   S ,   2 0 1 4 ,   D E C I S   S U P P O R T   S Y S T ,   V 6 1 ,   P 1 4 7 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 4 . 0 2 . 0 0 2 ;   W a s s e r m a n   S ,   1 9 9 4 ,   S O C I A L   N E T W O R K   A N A L ;   Z e r v a s   G . ,   2 0 1 6 ,   R I S E   S H A R I N G   E C   E S T I ;   Z e r v a s   G . ,   2 0 1 5 ,   1   L O O K   O N L I N E   R E P U T A 	 4 2 	 0 	 0 	 0 	 0 	 N A T U R E   P U B L I S H I N G   G R O U P 	 L O N D O N 	 M A C M I L L A N   B U I L D I N G ,   4   C R I N A N   S T ,   L O N D O N   N 1   9 X W ,   E N G L A N D 	 2 0 4 5 - 2 3 2 2 	 	 	 S C I   R E P - U K 	 S c i   R e p 	 J U N   1 4 	 2 0 1 7 	 7 	 	 	 	 	 	 	 	 3 5 5 1 	 1 0 . 1 0 3 8 / s 4 1 5 9 8 - 0 1 7 - 0 3 4 8 1 - 7 	 	 1 1 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 E X 5 Y G 	 W O S : 0 0 0 4 0 3 3 1 8 4 0 0 1 0 5 	 	 g o l d 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 M e j r i ,   O ;   M e n o n i ,   S ;   M a t i a s ,   K ;   A m i n o l t a h e r i ,   N 	 	 	 	 M e j r i ,   O u e j d a n e ;   M e n o n i ,   S c i r a ;   M a t i a s ,   K y l a ;   A m i n o l t a h e r i ,   N e g a r 	 	 	 C r i s i s   i n f o r m a t i o n   t o   s u p p o r t   s p a t i a l   p l a n n i n g   i n   p o s t   d i s a s t e r   r e c o v e r y 	 I N T E R N A T I O N A L   J O U R N A L   O F   D I S A S T E R   R I S K   R E D U C T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r i s i s   i n f o r m a t i o n ;   S p a t i a l   p l a n n i n g ;   R e s i l i e n c e ;   K n o w l e d g e   m a n a g e m e n t ;   O n t o l o g i e s ;   C r o w d s o u r c i n g 	 D A M A G E   A S S E S S M E N T ;   R I S K 	 I n   t h i s   p a p e r   w e   p r o p o s e   t o   e x p l o r e   t h e   c o m p l e x   n o d e   o f   p o s t   d i s a s t e r   r e c o n s t r u c t i o n ,   k n o w l e d g e   a n d   d a t a   n e c e s s a r y   t o   s u p p o r t   s p a t i a l   p l a n n i n g ,   a n d   n e w   i n f o r m a t i o n   t e c h n o l o g i e s .   T h e   m e t h o d o l o g y   t h a t   i s   i l l u s t r a t e d   a s s u m e s   t h a t   p o s t - e v e n t   d a m a g e   a s s e s s m e n t s   a r e   u s e f u l   t o   v e r i f y   t o   w h a t   e x t e n t   h a z a r d   a n d   r i s k   a s s e s s m e n t s   t h a t   w e r e   a v a i l a b l e   t o   p l a n n e r s   t o   m a k e   d e c i s i o n s   b e f o r e   t h e   d i s a s t e r   w e r e   c o r r e c t   a n d   i f   t h e y   w e r e   a c t u a l l y   u s e d   a s   a   b a s i s   f o r   l o c a t i o n a l   a n d   z o n i n g   c h o i c e s .   O u r   c o n t r i b u t i o n   i s   a i m e d   a t   t h e   c r e a t i o n   a n d   d e s i g n   o f   k n o w l e d g e   b a s e s   a c c o u n t i n g   f o r   t h e   d y n a m i c   e v o l u t i o n   o f   d i s a s t e r s .   N e w   w e b   b a s e d   t e c h n o l o g i e s   p r o v i d e   t h e   o p p o r t u n i t y   t o   c o l l e c t   a n d   a n a l y s e   d y n a m i c   t e r r i t o r i a l   c r i s i s   d a t a   u s i n g   c r o w d s o u r c i n g   a n d   c r o w d m a p p i n g   p l a t f o r m s .   T h e   p r o p o s e d   m e t h o d o l o g y   p e r m i t s   t o   s o r t   a n d   c l a s s i f y   a   v e r y   l a r g e   s e t   o f   d i f f e r e n t   t y p e s   o f   d a t a   g e n e r a t e d   t h r o u g h   t h e   w e b .   S e m a n t i c   c o n c e p t u a l i z a t i o n   u s i n g   o n t o l o g i e s   i s   p e r f o r m e d   t o   i d e n t i f y   a n d   s e l e c t   t h e   i n f o r m a t i o n   p r o d u c e d   d u r i n g   t h e   e m e r g e n c y   t h a t   c a n   s u p p o r t   s p a t i a l   p l a n n i n g   i n   t h e   p o s t   d i s a s t e r   r e c o n s t r u c t i o n .   T h e   c i t y   o f   T a c l o b a n   i n   t h e   P h i l i p p i n e s ,   a f f e c t e d   b y   t h e   S u p e r   T y p h o o n   H a i y a n   i n   N o v e m b e r   2 0 1 3   c o n s t i t u t e s   t h e   t e s t   c a s e   f o r   a p p l y i n g   t h e   m e t h o d o l o g y   t h a t   h a s   b e e n   d e v e l o p e d . 	 [ M e j r i ,   O u e j d a n e ;   M e n o n i ,   S c i r a ]   P o l i t e c n   M i l a n ,   D i p a r t i m e n t o   A r c h i t e t t u r a   &   S t u d i   U r b a n i   D A S T U ,   D e p t   A r c h i t e c t u r e   &   U r b a n   S t u d i e s ,   V i a   B o n a r d i   3 ,   I - 2 0 1 3 3   M i l a n ,   I t a l y ;   [ M a t i a s ,   K y l a ]   U n i v   T o k y o ,   D e p t   U r b a n   E n g n ,   T o k y o ,   J a p a n ;   [ A m i n o l t a h e r i ,   N e g a r ]   P o l i t e c n   M i l a n ,   S c i   C i v i l   E n g n   R i s k   M i t i g a t   C E R M ,   M i l a n ,   I t a l y 	 M e n o n i ,   S   ( r e p r i n t   a u t h o r ) ,   P o l i t e c n   M i l a n ,   D i p a r t i m e n t o   A r c h i t e t t u r a   &   S t u d i   U r b a n i   D A S T U ,   D e p t   A r c h i t e c t u r e   &   U r b a n   S t u d i e s ,   V i a   B o n a r d i   3 ,   I - 2 0 1 3 3   M i l a n ,   I t a l y . 	 s c i r a . m e n o n i @ p o l i m i . i t 	 	 	 E u r o p e a n   C o m m i s s i o n   u n d e r   t h e   V I I   F r a m e w o r k   P r o g r a m m e ;   D G - E C H O   [ G . A . N .   E C H O / S U B / 2 0 1 4 / 6 9 4 4 6 9 ] 	 T h e   r e s e a r c h   t h a t   i s   r e p o r t e d   i n   t h e   a r t i c l e   h a s   b e e n   d e v e l o p e d   w i t h i n   t h e   K n o w - 4 - d r r   ( E n a b l i n g   k n o w l e d g e   f o r   d i s a s t e r   r i s k   r e d u c t i o n   i n   i n t e g r a t i o n   t o   c l i m a t e   c h a n g e   a d a p t a t i o n )   -   C . N .   6 0 3 8 0 7 )   p r o j e c t   f u n d e d   b y   t h e   E u r o p e a n   C o m m i s s i o n   u n d e r   t h e   V I I   F r a m e w o r k   P r o g r a m m e   a n d   t h e   I d e a   p r o j e c t   ( I m p r o v i n g   D a m a g e   a s s e s s m e n t s   t o   E n h a n c e   c o s t - b e n e f i t   A n a l y s e s )   E U   p r e v e n t i o n   a n d   p r e p a r e d n e s s   p r o j e c t   i n   c i v i l   p r o t e c t i o n   a n d   m a r i n e   p o l l u t i o n   f u n d e d   b y   D G - E C H O ,   G . A . N .   E C H O / S U B / 2 0 1 4 / 6 9 4 4 6 9 ) . 	 A b e c k e r   A . ,   2 0 0 9 ,   H D B   O N T O L O G I E S ,   P 7 1 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 9 2 6 7 3 - 3 _ 3 2 ;   A c k o f f   R .   L . ,   1 9 8 9 ,   J   A P P L   S Y S T   A N A L ;   A i t s i - S e l m i   A ,   2 0 1 6 ,   I N T   J   D I S A S T   R I S K   S C ,   V 7 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / s 1 3 7 5 3 - 0 1 6 - 0 0 8 1 - x ;   A l e s c h   D . ,   2 0 1 2 ,   I N T   J   M A S S   E M E R G   D I S ,   V 3 2 ,   P 1 9 7 ;   A l e x a n d e r   D . ,   2 0 0 2 ,   P R I N C I P L E S   E M E R G E N C Y ;   A n d e r s o n   M . ,   1 9 9 8 ,   R I S I N G   A S H E S   D E V   S T R ;   A t u n   F . ,   2 0 1 4 ,   U N D E R S T A N D I N G   C O M P L E ;   B l a n c o   H ,   2 0 0 9 ,   P R O G   P L A N N ,   V 7 2 ,   P 1 9 5 ,   D O I   1 0 . 1 0 1 6 / j . p r o g r e s s . 2 0 0 9 . 0 9 . 0 0 1 ;   L i a n g   Y . ,   2 0 1 2 ,   1   M O N D A Y ,   V 1 7 ,   D O I   D O I   1 0 . 5 2 1 0 / F M . V 1 7 I 4 . 3 9 3 7 ;   B u r t o n   I . ,   2 0 1 0 ,   E N V   M A G A Z I N E ,   V 5 2 ,   P 5 ;   C a v e l t y   M .   D u n n ,   2 0 1 1 ,   C R I S I S   M A P P I N G   P H E N O ;   C h a n c e   H . ,   2 0 1 1 ,   G E S T I O N   P O S T C A T A S T R O ;   C h a n g   S E ,   2 0 1 0 ,   D I S A S T E R S ,   V 3 4 ,   P 3 0 3 ,   D O I   [ 1 0 . 1 1 1 1 / j . 1 4 6 7 - 7 7 1 7 . 2 0 0 9 . 0 1 1 3 0 . x ,   1 0 . 1 1 1 1 / j . 0 3 6 1 - 3 6 6 6 . 2 0 0 9 . 0 1 1 3 0 . x ] ;   C o l e s   E . ,   2 0 0 4 ,   A U S T R   J   E M E R G E N C Y   M A ,   V 1 9 ,   P 6 ;   C o m e r i o   M . ,   1 9 9 8 ,   D I S A S T E R   H I T S   H O M E   N ;   C o m f o r t   L K ,   2 0 0 5 ,   A N N U   R E V   P O L I T   S C I ,   V 8 ,   P 3 3 5 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . p o l s c i . 8 . 0 8 1 4 0 4 . 0 7 5 6 0 8 ;   C o m f o r t   L . K . ,   1 9 9 4 ,   J   C O N T I N G   C R I S I S   M A N ,   V 2 ,   P 1 7 4 ;   D a v i s   I . ,   2 0 1 6 ,   R E C O V E R Y   D I S A S T E R ;   d e   W i t   A ,   2 0 0 9 ,   G E O J O U R N A L   L I B ,   V 9 6 ,   P 1 6 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 9 0 - 4 8 1 - 2 6 2 0 - 0 _ 9 ;   D e   G r o e v e   T . ,   2 0 1 3 ,   R E C O R D I N G   D I S A S T E R S ;   D e   G r o e v e   T . ,   2 0 1 4 ,   D I S A S T E R   L O S S   D A T A   R ;   E i s e r   J R ,   2 0 1 2 ,   I N T   J   D I S A S T   R I S K   R E ,   V 1 ,   P 5 ,   D O I   1 0 . 1 0 1 6 / j . i j d r r . 2 0 1 2 . 0 5 . 0 0 2 ;   E m b l e y   D . ,   1 9 9 8 ,   P   7   I N T   C   I N F   K N O W L ;   E s n a r d   A .   M . ,   2 0 0 7 ,   L O S I N G   G R O U N D   N A T I O N ;   G a l d e r i s i   A . ,   2 0 0 7 ,   R I V   S E M E S T R A L E   I   N A Z ,   V 1 3 4 ,   P 2 0 ;   G a l l   M . ,   F L O O D   D A M A G   I N   P R E S S ;   G e i p e l   R . ,   1 9 9 1 ,   L O N G   T E R M   C O N S E Q U E N C ;   G E O R G A K O P O U L O S   D ,   1 9 9 5 ,   D I S T R I B   P A R A L L E L   D A T ,   V 3 ,   P 1 1 9 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 2 7 7 6 4 3 ;   G F D R R   ( G l o b a l   F a c i l i t y   f o r   D i s a t e r   R e d u c t i o n   a n d   R e c o v e r y ) ,   2 0 1 3 ,   P O S T D   N E E D S   A S S ;   G u e n a r d   F . ,   2 0 1 1 ,   R I S Q U E   C A T A S T R O P H E   P ;   H a a s   J . ,   1 9 7 7 ,   R E C O N S T R U C T I O N   F O L L O ;   H a r v a r d   H u m a n i t a r i a n   I n i t i a t i v e   D i s a s t e r   R e l i e f   2 . 0 ,   2 0 1 1 ,   D I S   R E L   2   0   F U T   I N F ;   H e i g e a s   L . ,   2 0 1 0 ,   A R X I V 1 0 0 5 4 4 0 5 ;   H e i n z e l m a n   J . ,   2 0 1 0 ,   2 5 2   U S   I   P E A C ;   H r i s t i d i s   V ,   2 0 1 0 ,   J   S Y S T   S O F T W A R E ,   V 8 3 ,   P 1 7 0 1 ,   D O I   1 0 . 1 0 1 6 / j . j s s . 2 0 1 0 . 0 4 . 0 6 5 ;   J e n k i n s   H ,   2 0 0 6 ,   C O N V E R G E N C E   C U L T U R E ;   L y o n s   M . ,   2 0 1 0 ,   B U I L D I N G   B A C K   B E T T E R ;   M c G u i n n e s s   D . ,   2 0 0 3 ,   S P I N N I N G   S E M A N T I C   W E ;   M e i e r   P . ,   2 0 1 5 ,   D I G I T A L   H U M A N I T A R I A N ;   M e j r i   O . ,   2 0 1 1 ,   S E R V I C E W A V E   2 0 1 0   W O R ;   M e l l   P . ,   2 0 0 9 ,   I N F O R M   T E C H N O L   L A B ,   V 1 5 ,   P 2 0 0 9 ;   M e n o n i   S . ,   2 0 1 5 ,   K N O W L E D G E   M A N A G E M E N T ;   M i l e s   S B ,   2 0 0 6 ,   E A R T H Q   S P E C T R A ,   V 2 2 ,   P 4 3 9 ,   D O I   1 0 . 1 1 9 3 / 1 . 2 1 9 2 8 4 7 ;   M o l i n a r i   D ,   2 0 1 4 ,   I N T   J   D I S A S T   R I S K   R E ,   V 1 0 ,   P 3 8 1 ,   D O I   1 0 . 1 0 1 6 / j . i j d r r . 2 0 1 4 . 1 0 . 0 0 9 ;   M o l i n a r i   D ,   2 0 1 4 ,   N A T   H A Z A R D   E A R T H   S Y S ,   V 1 4 ,   P 9 0 1 ,   D O I   1 0 . 5 1 9 4 / n h e s s - 1 4 - 9 0 1 - 2 0 1 4 ;   M o r r o w   N . ,   2 0 1 1 ,   D E V   I N F O R M   S Y S T E M S   I ,   V 8 ,   P 2 0 1 1 ;   M u s s e r   J . ,   2 0 0 6 ,   W E B   2   0   P R I N C I P L E S   B ;   N o r r i s   F H ,   2 0 0 8 ,   A M   J   C O M M U N   P S Y C H O L ,   V 4 1 ,   P 1 2 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 4 6 4 - 0 0 7 - 9 1 5 6 - 6 ;   O E C D ,   2 0 1 4 ,   I M P R   E V   B A S   C O S T S   D I ;   O l i v e r - S m i t h   A . ,   2 0 1 6 ,   I R D R   F O R I N   P U B L I C A T I ;   O l s h a n s k y   R . ,   2 0 0 5 ,   P   4 6   A N N   C   A S S   C O L L ;   R o s e   A . ,   2 0 0 4 ,   M O D E L I N G   S P A T I A L   E C ;   R o s e   A ,   2 0 0 4 ,   D I S A S T E R   P R E V E N T I O N ,   V 1 3 ,   P 3 0 7 ,   D O I   D O I   1 0 . 1 1 0 8 / 0 9 6 5 3 5 6 0 4 1 0 5 5 6 5 2 8 ;   S c h a f e r   W e n d y   A ,   2 0 0 7 ,   C o m p u t e r   S u p p o r t e d   C o o p e r a t i v e   W o r k :   T h e   J o u r n a l   o f   C o l l a b o r a t i v e   C o m p u t i n g ,   V 1 6 ,   P 5 0 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 0 6 - 0 0 7 - 9 0 5 0 - 7 ;   S m i t h   G . ,   2 0 1 0 ,   J   D I S A S T E R   T R A U M A   S T ,   V 1 ;   V a l e   L . ,   2 0 0 5 ,   R E S I L I E N T   C I T Y ;   V a n   R e e s   R . ,   2 0 0 3 ,   2 8 4   C I B ,   V 2 8 4 ,   P 4 3 2 ;   W a m s l e r   C ,   2 0 1 3 ,   J   C L E A N   P R O D ,   V 5 0 ,   P 6 8 ,   D O I   1 0 . 1 0 1 6 / j . j c l e p r o . 2 0 1 2 . 1 2 . 0 0 8 ;   Y a t e s   D ,   2 0 1 1 ,   I N T   J   I N F O R M   M A N A G E ,   V 3 1 ,   P 6 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 1 0 . 1 0 . 0 0 1 	 5 9 	 0 	 0 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 2 2 1 2 - 4 2 0 9 	 	 	 I N T   J   D I S A S T   R I S K   R E 	 I n t .   J .   D i s a s t e r   R i s k   R e d u c t . 	 J U N 	 2 0 1 7 	 2 2 	 	 	 	 	 	 4 6 	 6 1 	 	 1 0 . 1 0 1 6 / j . i j d r r . 2 0 1 7 . 0 2 . 0 0 7 	 	 1 6 	 G e o s c i e n c e s ,   M u l t i d i s c i p l i n a r y ;   M e t e o r o l o g y   &   A t m o s p h e r i c   S c i e n c e s ;   W a t e r   R e s o u r c e s 	 G e o l o g y ;   M e t e o r o l o g y   &   A t m o s p h e r i c   S c i e n c e s ;   W a t e r   R e s o u r c e s 	 E X 8 X L 	 W O S : 0 0 0 4 0 3 5 3 3 4 0 0 0 0 5 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 M a l h o t r a ,   A ;   M a j c h r z a k ,   A ;   N i e m i e c ,   R M 	 	 	 	 M a l h o t r a ,   A r v i n d ;   M a j c h r z a k ,   A n n ;   N i e m i e c ,   R e b e c c a   M . 	 	 	 U s i n g   P u b l i c   C r o w d s   f o r   O p e n   S t r a t e g y   F o r m u l a t i o n :   M i t i g a t i n g   t h e   R i s k s   o f   K n o w l e d g e   G a p s 	 L O N G   R A N G E   P L A N N I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 C O M P U T E R - M E D I A T E D   C O M M U N I C A T I O N ;   I N F O R M A T I O N - S Y S T E M S   S T R A T E G Y ;   O P E N   I N N O V A T I O N ;   P E R S P E C T I V E - T A K I N G ;   S O C I A L   S O F T W A R E ;   R E S E A R C H   A G E N D A ;   P R O D U C T   I D E A S ;   C O - C R E A T I O N ;   P A R T I C I P A T I O N ;   C O M M U N I T I E S 	 O n l i n e   p l a t f o r m s   a l l o w   f o r   t h e   p o s s i b i l i t y   o f   i n c l u d i n g   a n   a d   h o c   c r o w d   o f   i n t e r e s t e d   i n t e r n a l   a n d   e x t e r n a l   s t a k e h o l d e r s   d r a w n   f r o m   t h e   g e n e r a l   p u b l i c   f o r   o p e n   s t r a t e g y   f o r m u l a t i o n   ( O S F ) .   H o w e v e r ,   s h a r i n g   a n d   i n t e g r a t i o n   o f   k n o w l e d g e   i n   a d   h o c   c r o w d s   a r e   o f t e n   i m p e d e d   b y   k n o w l e d g e   g a p s   b e c a u s e   o f   t h e   w i d e   d i v e r s i t y   i n   t h e s e   c r o w d s .   T w o   r i s k s   a r i s e   p a r t i c u l a r l y   f o r   o p e n   s t r a t e g y   f o r m u l a t i o n   w h e n   k n o w l e d g e   g a p s   a r e   p r e s e n t :   c o n t e n t i o u s   c o n f l i c t   r i s k   a n d   s e l f - p r o m o t i o n   r i s k .   U s i n g   a c t i o n   r e s e a r c h ,   w e   e x a m i n e   t h e   a c t i o n s   t h a t   m i t i g a t e d   t h e s e   r i s k - i n d u c i n g   k n o w l e d g e   g a p s .   I n   p a r t i c u l a r ,   w e   f o u n d   t h a t   f o u r   m i t i g a t i o n   a c t i o n s   w e r e   t a k e n :   a p p r o p r i a t e l y   f r a m i n g   t h e   s t r a t e g i c   c h a l l e n g e   q u e s t i o n   p o s e d   t o   t h e   c r o w d s ,   i m p l e m e n t i n g   a   2 - p h a s e d   g u i d e d   c r o w d s o u r c i n g   p r o c e s s   t o   p r o m o t e   c o l l a b o r a t i o n   o v e r   c o n t e n t i o n ,   i n s t r u c t i o n s   e x p l i c i t l y   d i s c o u r a g i n g   s e l f - p r o m o t i o n ,   a n d   h a v i n g   t h e   c r o w d   p o s t   a n o n y m o u s l y .   I m p l i c a t i o n s   f o r   f u t u r e   r e s e a r c h   a n d   m a n a g e m e n t   i m p l i c a t i o n s   o n   t h e   u s e   o f   o n l i n e   p l a t f o r m s   f o r   O S F   a r e   d i s c u s s e d .   ( C )   2 0 1 6   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ M a l h o t r a ,   A r v i n d ]   U n i v   N o r t h   C a r o l i n a   C h a p e l   H i l l ,   K e n a n   F l a g l e r   B u s i n e s s   S c h ,   E n t r e p r e n e u r i a l   E d u c ,   C h a p e l   H i l l ,   N C   2 7 5 9 9   U S A ;   [ M a l h o t r a ,   A r v i n d ]   U n i v   N o r t h   C a r o l i n a   C h a p e l   H i l l ,   K e n a n   F l a g l e r   B u s i n e s s   S c h ,   S t r a t e g y   &   E n t r e p r e n e u r s h i p ,   C h a p e l   H i l l ,   N C   2 7 5 9 9   U S A ;   [ M a j c h r z a k ,   A n n ]   U n i v   S o u t h e r n   C a l i f ,   M a r s h a l l   S c h   B u s i n e s s ,   B u s i n e s s   A d m ,   L o s   A n g e l e s ,   C A   9 0 0 8 9   U S A ;   [ M a j c h r z a k ,   A n n ]   M a r s h a l l ,   D e p t   D a t a   S c i   &   O p e r a t ,   D i g i t a l   I n n o v a t ,   L o s   A n g e l e s ,   C A   U S A ;   [ M a j c h r z a k ,   A n n ]   R a m o n   L l u l l   U n i v ,   E s a d e   B u s i n e s s   S c h ,   B a r c e l o n a ,   S p a i n ;   [ M a j c h r z a k ,   A n n ]   L U I S S ,   R o m e   S c h   B u s i n e s s   &   M a n a g e m e n t   a r e a s   I n n o v a t   &   O r ,   R o m e ,   I t a l y ;   [ M a j c h r z a k ,   A n n ]   L o n d o n   S c h   E c o n ,   D e p t   M a n a g e m e n t ,   I n f o r m a t   S y s t   &   I n n o v a t   G r p ,   L o n d o n ,   E n g l a n d ;   [ N i e m i e c ,   R e b e c c a   M . ]   S t a n f o r d   S c h   E a r t h   S c i ,   E n v i r o n m   &   R e s o u r c e s ,   S t a n f o r d ,   C A   U S A 	 M a l h o t r a ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   N o r t h   C a r o l i n a   C h a p e l   H i l l ,   K e n a n   F l a g l e r   B u s i n e s s   S c h ,   E n t r e p r e n e u r i a l   E d u c ,   C h a p e l   H i l l ,   N C   2 7 5 9 9   U S A . ;   M a l h o t r a ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   N o r t h   C a r o l i n a   C h a p e l   H i l l ,   K e n a n   F l a g l e r   B u s i n e s s   S c h ,   S t r a t e g y   &   E n t r e p r e n e u r s h i p ,   C h a p e l   H i l l ,   N C   2 7 5 9 9   U S A . 	 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   ( N S F )   [ 1 2 1 9 8 3 ] 	 T h e   a u t h o r s   w o u l d   l i k e   t o   t h a n k   N a t i o n a l   S c i e n c e   F o u n d a t i o n   f o r   t h e i r   g e n e r o u s   f u n d i n g   o f   t h i s   r e s e a r c h   ( N S F   # 1 2 1 9 8 3 ) . 	 A i t a m u r t o   T . ,   2 0 1 1 ,   P R O M I S E   I D E A   C R O W D S O ;   A r d i c h v i l i   A . ,   2 0 0 3 ,   J o u r n a l   o f   K n o w l e d g e   M a n a g e m e n t ,   V 7 ,   P 6 4 ,   D O I   1 0 . 1 1 0 8 / 1 3 6 7 3 2 7 0 3 1 0 4 6 3 6 2 6 ;   B a p t i s t a   J . ,   2 0 1 4 ,   D I G I T A L   C A P A B I L I T I E S ;   B a s k e r v i l l e   R L ,   1 9 9 6 ,   J   I N F O R M   T E C H N O L ,   V 1 1 ,   P 2 3 5 ;   B a s k e r v i l l e   R . L . ,   1 9 9 9 ,   C O M M U N I C A T I O N S   A I S ,   V 2 ,   P 4 ;   B a y u s   B L ,   2 0 1 3 ,   M A N A G E   S C I ,   V 5 9 ,   P 2 2 6 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 2 0 . 1 5 9 9 ;   B e c h k y   B A ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 3 1 2 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 4 . 3 . 3 1 2 . 1 5 1 6 2 ;   B i s h o p   L ,   1 9 9 9 ,   I N D   L A B O R   R E L A T   R E V ,   V 5 2 ,   P 2 1 3 ,   D O I   1 0 . 2 3 0 7 / 2 5 2 5 1 6 3 ;   B l o m q v i s t   K . ,   2 0 0 6 ,   I n t e r n a t i o n a l   J o u r n a l   o f   M a n a g e m e n t   C o n c e p t s   a n d   P h i l o s o p h y ,   V 2 ,   P 3 1 ;   B r a b h a m   D C ,   2 0 1 2 ,   J   A P P L   C O M M U N   R E S ,   V 4 0 ,   P 3 0 7 ,   D O I   1 0 . 1 0 8 0 / 0 0 9 0 9 8 8 2 . 2 0 1 2 . 6 9 3 9 4 0 ;   B r a b h a m   D C ,   2 0 0 9 ,   P L A N   T H E O R ,   V 8 ,   P 2 4 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 3 0 9 5 2 0 9 1 0 4 8 2 4 ;   B u l l i n g e r   A C ,   2 0 1 0 ,   C R E A T   I N N O V   M A N A G ,   V 1 9 ,   P 2 9 0 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 9 1 . 2 0 1 0 . 0 0 5 6 5 . x ;   B u r i o l   L S ,   2 0 0 6 ,   2 0 0 6   I E E E / W I C / A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   W E B   I N T E L L I G E N C E ,   ( W I   2 0 0 6   M A I N   C O N F E R E N C E   P R O C E E D I N G S ) ,   P 4 5 ,   D O I   1 0 . 1 1 0 9 / W I . 2 0 0 6 . 1 6 4 ;   C a m i l l u s   J C ,   2 0 0 8 ,   H A R V A R D   B U S   R E V ,   V 8 6 ,   P 9 8 ;   C a r l i l e   P R ,   2 0 0 4 ,   O R G A N   S C I ,   V 1 5 ,   P 5 5 5 ,   D O I   1 0 . 1 2 8 7 / o r c s . 1 0 4 0 . 0 0 9 4 ;   C O H E N   W M ,   1 9 9 0 ,   A D M I N   S C I   Q U A R T ,   V 3 5 ,   P 1 2 8 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 5 5 3 ;   C r o n i n   M A ,   2 0 0 7 ,   A C A D   M A N A G E   R E V ,   V 3 2 ,   P 7 6 1 ;   D e l l a r o c a s   C . ,   2 0 1 0 ,   S L O A N   M A N A G E   R E V ,   V 5 1 ,   P 3 3 ;   D e n y e r   D ,   2 0 1 1 ,   L O N G   R A N G E   P L A N N ,   V 4 4 ,   P 3 7 5 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 1 1 . 0 9 . 0 0 7 ;   D o z   Y L ,   2 0 1 0 ,   L O N G   R A N G E   P L A N N ,   V 4 3 ,   P 3 7 0 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 0 9 . 0 7 . 0 0 6 ;   E d m o n d s o n   A ,   1 9 9 9 ,   A D M I N   S C I   Q U A R T ,   V 4 4 ,   P 3 5 0 ,   D O I   1 0 . 2 3 0 7 / 2 6 6 6 9 9 9 ;   F a r a j   S ,   2 0 1 1 ,   O R G A N   S C I ,   V 2 2 ,   P 1 2 2 4 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 0 0 . 0 6 1 4 ;   F u j i t a   K . ,   2 0 1 4 ,   U N D E R S T A N D I N G   P R I M I N ,   V 7 0 ;   G a l l i e r s   R . D . ,   2 0 1 1 ,   O X F O R D   H D B   M A N A G E M E N ,   P 3 2 9 ;   G a l l i e r s   R . D . ,   2 0 0 6 ,   O X F O R D   H D B   I N F O R M   C O ,   P 2 2 5 ;   G e b a u e r   J ,   2 0 1 3 ,   J   B U S   R E S ,   V 6 6 ,   P 1 5 1 6 ,   D O I   1 0 . 1 0 1 6 / j . j b u s r e s . 2 0 1 2 . 0 9 . 0 1 3 ;   G r a n t   A M ,   2 0 1 1 ,   A C A D   M A N A G E   J ,   V 5 4 ,   P 7 3 ,   D O I   1 0 . 5 4 6 5 / A M J . 2 0 1 1 . 5 9 2 1 5 0 8 5 ;   G r a y   J R ,   1 9 9 9 ,   P E R S   S O C   P S Y C H O L   B ,   V 2 5 ,   P 6 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 6 1 6 7 2 9 9 0 2 5 0 0 1 0 0 6 ;   H a e f l i g e r   S ,   2 0 1 1 ,   L O N G   R A N G E   P L A N N ,   V 4 4 ,   P 2 9 7 ,   D O I   1 0 . 1 0 1 6 / j . l r p . 2 0 1 1 . 0 8 . 0 0 1 ;   H e n f r i d s s o n   O ,   2 0 1 4 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 2 3 ,   P 1 1 ,   D O I   1 0 . 1 0 1 6 / j . j s i s . 2 0 1 3 . 1 1 . 0 0 1 ;   H o   S S ,   2 0 0 8 ,   C O M M U N   R E S ,   V 3 5 ,   P 1 9 0 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 3 6 5 0 2 0 7 3 1 3 1 5 9 ;   H u a n g   J ,   2 0 1 4 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 2 3 ,   P 2 9 ,   D O I   1 0 . 1 0 1 6 / j . j s i s . 2 0 1 4 . 0 1 . 0 0 1 ;   H u a n g   Y ,   2 0 1 4 ,   M A N A G E   S C I ,   V 6 0 ,   P 2 1 3 8 ,   D O I   1 0 . 1 2 8 7 / m n s c . 2 0 1 3 . 1 8 7 9 ;   H u s t o n   L ,   2 0 0 6 ,   H A R V A R D   B U S   R E V ,   V 8 4 ,   P 5 8 ;   I n d   N ,   2 0 1 3 ,   C A L I F   M A N A G E   R E V ,   V 5 5 ,   P 5 ,   D O I   1 0 . 1 5 2 5 / c m r . 2 0 1 3 . 5 5 . 3 . 5 ;   J e h n   K A ,   1 9 9 9 ,   A D M I N   S C I   Q U A R T ,   V 4 4 ,   P 7 4 1 ,   D O I   1 0 . 2 3 0 7 / 2 6 6 7 0 5 4 ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   J e p p e s e n   L B ,   2 0 0 6 ,   O R G A N   S C I ,   V 1 7 ,   P 4 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 5 6 ;   K a n n a n g a r a   S . N . ,   2 0 1 3 ,   T E C H N O L O G Y   I N N O V A T I O ,   V 3 ;   K e l l e y   T . ,   2 0 0 7 ,   A R T   I N N O V A T I O N   L E S S O ;   K i n g   A ,   2 0 1 3 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 5 ,   P 4 1 ;   K i t t u r   A ,   2 0 0 7 ,   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1   A N D   2 ,   P 4 5 3 ;   K i t t u r   A ,   2 0 0 9 ,   C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 4 9 5 ;   K o c h   G . ,   2 0 1 5 ,   A C A D   M A N A G E M E N T   P ,   V 2 0 1 5 ,   P 1 3 1 9 0 ;   L a m p e l   J . ,   2 0 0 7 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 2 ,   P 4 3 4 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 0 8 3 - 6 1 0 1 . 2 0 0 7 . 0 0 3 3 2 . X ;   L a n e   P J ,   2 0 0 6 ,   A C A D   M A N A G E   R E V ,   V 3 1 ,   P 8 3 3 ,   D O I   1 0 . 5 4 6 5 / A M R . 2 0 0 6 . 2 2 5 2 7 4 5 6 ;   L E E   H ,   2 0 0 5 ,   T H E   S O C I O L O G I C A L   Q U A ,   V 4 6 ,   P 3 8 5 ,   D O I   D O I   1 0 . 1 1 1 1 / T S Q . 2 0 0 5 . 4 6 . I S S U E - 2 ;   L e i m e i s t e r   J M ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 1 9 7 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 1 0 8 ;   L e o n a r d i   P M ,   2 0 1 4 ,   I N F O R M   S Y S T   R E S ,   V 2 5 ,   P 7 9 6 ,   D O I   1 0 . 1 2 8 7 / i s r e . 2 0 1 4 . 0 5 3 6 ;   L o e b b e c k e   C ,   2 0 1 6 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 2 5 ,   P 4 ,   D O I   1 0 . 1 0 1 6 / j . j s i s . 2 0 1 5 . 1 2 . 0 0 2 ;   L o p e z - V e g a   H ,   2 0 1 6 ,   R E S   P O L I C Y ,   V 4 5 ,   P 1 2 5 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 5 . 0 8 . 0 0 3 ;   M a j c h r z a k   A ,   2 0 1 3 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 2 2 ,   P 2 5 7 ,   D O I   1 0 . 1 0 1 6 / j . j s i s . 2 0 1 3 . 0 7 . 0 0 4 ;   M a j c h r z a k   A ,   2 0 1 2 ,   O R G A N   S C I ,   V 2 3 ,   P 9 5 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 1 0 . 0 6 7 7 ;   M a l h o t r a   A . ,   2 0 1 4 ,   C A L I F O R N I A   M A N A G E M E N ,   V 5 6 ;   M A R A B E L L I   M ,   2 0 1 2 ,   T H E   J O U R N A L   O F   S T R A T ,   V 2 1 ,   P 1 8 ,   D O I   D O I   1 0 . 1 0 1 6 / J . J S I S . 2 0 1 1 . 1 1 . 0 0 2 ;   M a r j a n o v i c   S . ,   2 0 1 2 ,   C R O W D S O U R C I N G   B A S E D ;   M e r a l i   Y ,   2 0 1 2 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 2 1 ,   P 1 2 5 ,   D O I   1 0 . 1 0 1 6 / j . j s i s . 2 0 1 2 . 0 4 . 0 0 2 ;   M e r g e l   I ,   2 0 1 3 ,   P U B L I C   A D M I N   R E V ,   V 7 3 ,   P 8 8 2 ,   D O I   1 0 . 1 1 1 1 / p u a r . 1 2 1 4 1 ;   N e w s t e a d   B . ,   2 0 1 0 ,   C A N   Y O U   O P E N   S O U R C E ,   P 3 2 ;   N i c o l i n i   D ,   2 0 1 1 ,   O R G A N   S C I ,   V 2 2 ,   P 6 0 2 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 0 0 . 0 5 5 6 ;   O D O N N E L L   A M ,   1 9 9 4 ,   E D U C   P S Y C H O L   R E V ,   V 6 ,   P 3 2 1 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 2 1 3 4 1 9 ;   O ' N e i l   M ,   2 0 1 0 ,   J   S C I   C O M M U N I C A T I O N ,   V 9 ,   P 1 ;   P a p a c h a r i s s i   Z ,   2 0 0 4 ,   N E W   M E D I A   S O C ,   V 6 ,   P 2 5 9 ,   D O I   1 0 . 1 1 7 7 / 1 4 6 1 4 4 4 8 0 4 0 4 1 4 4 4 ;   P a r k e r   S K ,   2 0 0 1 ,   A C A D   M A N A G E   J ,   V 4 4 ,   P 1 0 8 5 ,   D O I   1 0 . 2 3 0 7 / 3 0 6 9 3 9 0 ;   R o d a n   S ,   2 0 0 4 ,   S T R A T E G I C   M A N A G E   J ,   V 2 5 ,   P 5 4 1 ,   D O I   1 0 . 1 0 0 2 / s m j . 3 9 8 ;   S c h o n f e l d   E . ,   2 0 0 8 ,   C R O W D S O U R C I N G   F A I L S ,   P 2 0 0 8 ;   S i m u l a   H . ,   2 0 1 3 ,   I E E E   A C M   T   C O M P U T   B I ,   P 2 7 8 3 ;   S T A R   S L ,   1 9 8 9 ,   S O C   S T U D   S C I ,   V 1 9 ,   P 3 8 7 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 6 3 1 2 8 9 0 1 9 0 0 3 0 0 1 ;   S t i e g e r   D ,   2 0 1 2 ,   C A L I F   M A N A G E   R E V ,   V 5 4 ,   P 4 4 ,   D O I   1 0 . 1 5 2 5 / c m r . 2 0 1 2 . 5 4 . 4 . 4 4 ;   S U S M A N   G I ,   1 9 7 8 ,   A D M I N   S C I   Q U A R T ,   V 2 3 ,   P 5 8 2 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 2 5 8 1 ;   T r k m a n   P ,   2 0 1 2 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 2 1 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . j s i s . 2 0 1 1 . 1 1 . 0 0 1 ;   T R O M M S D O R F F   G ,   1 9 8 3 ,   I N T   J   P S Y C H O L ,   V 1 8 ,   P 3 8 1 ,   D O I   1 0 . 1 0 8 0 / 0 0 2 0 7 5 9 8 3 0 8 2 4 7 4 8 9 ;   T s o u k a s   H ,   2 0 0 9 ,   O R G A N   S C I ,   V 2 0 ,   P 9 4 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 3 5 ;   v o n   K r o g h   G ,   2 0 1 2 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 2 1 ,   P 1 5 4 ,   D O I   1 0 . 1 0 1 6 / j . j s i s . 2 0 1 2 . 0 4 . 0 0 3 ;   V O N K R O G H   G ,   2 0 0 9 ,   T H E   J O U R N A L   O F   S T R A T ,   V 1 8 ,   P 1 1 9 ,   D O I   D O I   1 0 . 1 0 1 6 / J . J S I S . 2 0 0 9 . 0 8 . 0 0 1 ;   W A L S H   J P ,   1 9 8 8 ,   A C A D   M A N A G E   J ,   V 3 1 ,   P 8 7 3 ,   D O I   1 0 . 2 3 0 7 / 2 5 6 3 4 3 ;   W h i t t i n g t o n   R ,   2 0 1 5 ,   B R I T   J   M A N A G E ,   V 2 6 ,   p S 1 3 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 8 5 5 1 . 1 2 0 7 8 ;   W h i t t i n g t o n   R ,   2 0 1 4 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 2 3 ,   P 8 7 ,   D O I   1 0 . 1 0 1 6 / j . j s i s . 2 0 1 4 . 0 1 . 0 0 3 ;   W h i t t i n g t o n   R ,   2 0 1 1 ,   B R I T   J   M A N A G E ,   V 2 2 ,   P 5 3 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 5 5 1 . 2 0 1 1 . 0 0 7 6 2 . x ;   Z h e n g   H C ,   2 0 1 1 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 5 7 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 4 0 2 	 8 0 	 0 	 0 	 2 	 2 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 0 0 2 4 - 6 3 0 1 	 1 8 7 3 - 1 8 7 2 	 	 L O N G   R A N G E   P L A N N 	 L o n g   R a n g e   P l a n . 	 J U N 	 2 0 1 7 	 5 0 	 3 	 	 	 S I 	 	 3 9 7 	 4 1 0 	 	 1 0 . 1 0 1 6 / j . l r p . 2 0 1 6 . 0 6 . 0 0 4 	 	 1 4 	 B u s i n e s s ;   M a n a g e m e n t ;   P l a n n i n g   &   D e v e l o p m e n t 	 B u s i n e s s   &   E c o n o m i c s ;   P u b l i c   A d m i n i s t r a t i o n 	 E X 3 I X 	 W O S : 0 0 0 4 0 3 1 2 6 9 0 0 0 0 8 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 B a l d a s s a n o ,   S N ;   B r i n k m a n n ,   B H ;   U n g ,   H ;   B l e v i n s ,   T ;   C o n r a d ,   E C ;   L e y d e ,   K ;   C o o k ,   M J ;   K h a m b h a t i ,   A N ;   W a g e n a a r ,   J B ;   W o r r e l l ,   G A ;   L i t t ,   B 	 	 	 	 B a l d a s s a n o ,   S t e v e n   N . ;   B r i n k m a n n ,   B e n j a m i n   H . ;   U n g ,   H o a m e n g ;   B l e v i n s ,   T y l e r ;   C o n r a d ,   E r i n   C . ;   L e y d e ,   K e n t ;   C o o k ,   M a r k   J . ;   K h a m b h a t i ,   A n k i t   N . ;   W a g e n a a r ,   J o o s t   B . ;   W o r r e l l ,   G r e g o r y   A . ;   L i t t ,   B r i a n 	 	 	 C r o w d s o u r c i n g   s e i z u r e   d e t e c t i o n :   a l g o r i t h m   d e v e l o p m e n t   a n d   v a l i d a t i o n   o n   h u m a n   i m p l a n t e d   d e v i c e   r e c o r d i n g s 	 B R A I N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   e p i l e p s y ;   s e i z u r e   d e t e c t i o n ;   i n t r a c r a n i a l   E E G ;   e x p e r i m e n t a l   m o d e l s 	 R E S P O N S I V E   C O R T I C A L   S T I M U L A T I O N ;   A R T I F I C I A L   N E U R A L - N E T W O R K ;   I N T R A C R A N I A L   E E G ;   I N T R A C T A B L E   E P I L E P S Y ;   C A N I N E   E P I L E P S Y ;   O N S E T   D E T E C T I O N ;   L O N G - T E R M ;   P R E D I C T I O N ;   I D E N T I F I C A T I O N ;   P E R F O R M A N C E 	 T h e r e   e x i s t   s i g n i f i c a n t   c l i n i c a l   a n d   b a s i c   r e s e a r c h   n e e d s   f o r   a c c u r a t e ,   a u t o m a t e d   s e i z u r e   d e t e c t i o n   a l g o r i t h m s .   T h e s e   a l g o r i t h m s   h a v e   t r a n s l a t i o n a l   p o t e n t i a l   i n   r e s p o n s i v e   n e u r o s t i m u l a t i o n   d e v i c e s   a n d   i n   a u t o m a t i c   p a r s i n g   o f   c o n t i n u o u s   i n t r a c r a n i a l   e l e c t r o e n c e p h a l o g r a p h y   d a t a .   A n   i m p o r t a n t   b a r r i e r   t o   d e v e l o p i n g   a c c u r a t e ,   v a l i d a t e d   a l g o r i t h m s   f o r   s e i z u r e   d e t e c t i o n   i s   l i m i t e d   a c c e s s   t o   h i g h - q u a l i t y ,   e x p e r t l y   a n n o t a t e d   s e i z u r e   d a t a   f r o m   p r o l o n g e d   r e c o r d i n g s .   T o   o v e r c o m e   t h i s ,   w e   h o s t e d   a   k a g g l e . c o m   c o m p e t i t i o n   t o   c r o w d s o u r c e   t h e   d e v e l o p m e n t   o f   s e i z u r e   d e t e c t i o n   a l g o r i t h m s   u s i n g   i n t r a c r a n i a l   e l e c t r o e n c e p h a l o g r a p h y   f r o m   c a n i n e s   a n d   h u m a n s   w i t h   e p i l e p s y .   T h e   t o p   t h r e e   p e r f o r m i n g   a l g o r i t h m s   f r o m   t h e   c o n t e s t   w e r e   t h e n   v a l i d a t e d   o n   o u t - o f - s a m p l e   p a t i e n t   d a t a   i n c l u d i n g   s t a n d a r d   c l i n i c a l   d a t a   a n d   c o n t i n u o u s   a m b u l a t o r y   h u m a n   d a t a   o b t a i n e d   o v e r   s e v e r a l   y e a r s   u s i n g   t h e   i m p l a n t a b l e   N e u r o V i s t a   s e i z u r e   a d v i s o r y   s y s t e m .   T w o   h u n d r e d   t e a m s   o f   d a t a   s c i e n t i s t s   f r o m   a l l   o v e r   t h e   w o r l d   p a r t i c i p a t e d   i n   t h e   k a g g l e . c o m   c o m p e t i t i o n .   T h e   t o p   p e r f o r m i n g   t e a m s   s u b m i t t e d   h i g h l y   a c c u r a t e   a l g o r i t h m s   w i t h   c o n s i s t e n t   p e r f o r m a n c e   i n   t h e   o u t - o f - s a m p l e   v a l i d a t i o n   s t u d y .   T h e   p e r f o r m a n c e   o f   t h e s e   s e i z u r e   d e t e c t i o n   a l g o r i t h m s ,   a c h i e v e d   u s i n g   f r e e l y   a v a i l a b l e   c o d e   a n d   d a t a ,   s e t s   a   n e w   r e p r o d u c i b l e   b e n c h m a r k   f o r   p e r s o n a l i z e d   s e i z u r e   d e t e c t i o n .   W e   h a v e   a l s o   s h a r e d   a   ' p l u g   a n d   p l a y '   p i p e l i n e   t o   a l l o w   o t h e r   r e s e a r c h e r s   t o   e a s i l y   u s e   t h e s e   a l g o r i t h m s   o n   t h e i r   o w n   d a t a s e t s .   T h e   s u c c e s s   o f   t h i s   c o m p e t i t i o n   d e m o n s t r a t e s   h o w   s h a r i n g   c o d e   a n d   h i g h   q u a l i t y   d a t a   r e s u l t s   i n   t h e   c r e a t i o n   o f   p o w e r f u l   t r a n s l a t i o n a l   t o o l s   w i t h   s i g n i f i c a n t   p o t e n t i a l   t o   i m p a c t   p a t i e n t   c a r e . 	 [ B a l d a s s a n o ,   S t e v e n   N . ;   U n g ,   H o a m e n g ;   B l e v i n s ,   T y l e r ;   K h a m b h a t i ,   A n k i t   N . ;   L i t t ,   B r i a n ]   U n i v   P e n n ,   D e p t   B i o e n g n ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A ;   [ B a l d a s s a n o ,   S t e v e n   N . ;   U n g ,   H o a m e n g ;   B l e v i n s ,   T y l e r ;   K h a m b h a t i ,   A n k i t   N . ;   W a g e n a a r ,   J o o s t   B . ;   L i t t ,   B r i a n ]   U n i v   P e n n ,   C t r   N e u r o e n g n   &   T h e r a p e u t ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A ;   [ B r i n k m a n n ,   B e n j a m i n   H . ;   W o r r e l l ,   G r e g o r y   A . ]   M a y o   C l i n ,   D e p t   N e u r o l ,   M a y o   S y s t   E l e c t r o p h y s i o l   L a b ,   R o c h e s t e r ,   M N   5 5 9 0 5   U S A ;   [ B r i n k m a n n ,   B e n j a m i n   H . ;   W o r r e l l ,   G r e g o r y   A . ]   M a y o   C l i n ,   D e p t   B i o m e d   E n g n ,   R o c h e s t e r ,   M N   5 5 9 0 5   U S A ;   [ B r i n k m a n n ,   B e n j a m i n   H . ;   W o r r e l l ,   G r e g o r y   A . ]   M a y o   C l i n   &   M a y o   F d n ,   D e p t   N e u r o l ,   2 0 0   1 s t   S t   S W ,   R o c h e s t e r ,   M N   5 5 9 0 5   U S A ;   [ C o n r a d ,   E r i n   C . ;   W a g e n a a r ,   J o o s t   B . ;   L i t t ,   B r i a n ]   U n i v   P e n n ,   D e p t   N e u r o l ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A ;   [ L e y d e ,   K e n t ]   N e u r o V i s t a ,   S e a t t l e ,   W A   U S A ;   [ C o o k ,   M a r k   J . ]   S t   V i n c e n t s   H o s p ,   M e l b o u r n e ,   V i c ,   A u s t r a l i a ;   [ C o o k ,   M a r k   J . ]   U n i v   M e l b o u r n e ,   D e p t   M e d ,   M e l b o u r n e ,   V i c ,   A u s t r a l i a 	 B a l d a s s a n o ,   S N   ( r e p r i n t   a u t h o r ) ,   U n i v   P e n n ,   3 0 1   H a y d e n   H a l l , 3 3 2 0   S m i t h   W a l k ,   P h i l a d e l p h i a ,   P A   1 9 1 0 4   U S A . 	 s t e v e n n b @ m a i l . m e d . u p e n n . e d u 	 	 	 N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   ( N I H )   [ U H 2 - N S 0 9 5 4 9 5 - 0 1 ,   R 0 1 N S 0 9 2 8 8 2 ,   1 K 0 1 E S 0 2 5 4 3 6 - 0 1 ] ;   M i r o w s k i   F a m i l y   F o u n d a t i o n ;   A s h t o n   F e l l o w s h i p   a t   t h e   U n i v e r s i t y   o f   P e n n s y l v a n i a ;   N I H   [ 5 - U 2 4 - N S - 0 6 3 9 3 0 - 0 5 ] 	 T h i s   r e s e a r c h   w a s   s u p p o r t e d   b y   t h e   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   ( N I H )   ( U H 2 - N S 0 9 5 4 9 5 - 0 1 ,   R 0 1 N S 0 9 2 8 8 2 ,   1 K 0 1 E S 0 2 5 4 3 6 - 0 1 ) ,   t h e   M i r o w s k i   F a m i l y   F o u n d a t i o n ,   t h e   A s h t o n   F e l l o w s h i p   a t   t h e   U n i v e r s i t y   o f   P e n n s y l v a n i a ,   a n d   c o n t r i b u t i o n s   f r o m   N e i l   a n d   B a r b a r a   S m i t .   T h e   I n t e r n a t i o n a l   E p i l e p s y   E l e c t r o p h y s i o l o g y   ( I E E G )   P o r t a l   i s   f u n d e d   b y   t h e   N I H   ( 5 - U 2 4 - N S - 0 6 3 9 3 0 - 0 5 ) . 	 A b e n d   N S ,   2 0 1 1 ,   N E U R O C R I T   C A R E ,   V 1 5 ,   P 7 0 ,   D O I   1 0 . 1 0 0 7 / s 1 2 0 2 8 - 0 1 0 - 9 3 8 0 - z ;   A b e n d   N S ,   2 0 1 0 ,   N E U R O C R I T   C A R E ,   V 1 2 ,   P 3 8 2 ,   D O I   1 0 . 1 0 0 7 / s 1 2 0 2 8 - 0 1 0 - 9 3 3 7 - 2 ;   A c h a r y a   U R ,   2 0 1 1 ,   I N T   J   N E U R A L   S Y S T ,   V 2 1 ,   P 1 9 9 ,   D O I   1 0 . 1 1 4 2 / S 0 1 2 9 0 6 5 7 1 1 0 0 2 8 0 8 ;   A l k a n   A ,   2 0 0 5 ,   J   N E U R O S C I   M E T H ,   V 1 4 8 ,   P 1 6 7 ,   D O I   1 0 . 1 0 1 6 / j . j n e u m e t h . 2 0 0 5 . 0 4 . 0 0 9 ;   A l t e n b u r g   J ,   2 0 0 3 ,   C L I N   N E U R O P H Y S I O L ,   V 1 1 4 ,   P 5 0 ,   D O I   1 0 . 1 0 1 6 / S 1 3 8 8 - 2 4 5 7 ( 0 2 ) 0 0 3 2 2 - X ;   B r i n k m a n n   B H ,   2 0 1 6 ,   B R A I N ,   V 1 3 9 ,   P 1 7 1 3 ,   D O I   1 0 . 1 0 9 3 / b r a i n / a w w 0 4 5 ;   B u h l m a n n   P . ,   2 0 1 2 ,   H D B   C O M P U T A T I O N A L   S T ,   P 9 8 5 ;   C a s s o n   A J ,   2 0 0 7 ,   P   A N N   I N T   I E E E   E M B S ,   P 2 4 5 6 ,   D O I   1 0 . 1 1 0 9 / I E M B S . 2 0 0 7 . 4 3 5 2 8 2 5 ;   C h a b o l l a   D R ,   2 0 0 6 ,   A N N   M   A M   E P   S O C   2 0 0 6 ;   C h k h e n k e l i   S A ,   2 0 0 4 ,   C L I N   N E U R O L   N E U R O S U R ,   V 1 0 6 ,   P 3 1 8 ,   D O I   1 0 . 1 0 1 6 / j . c l i n e u r o . 2 0 0 4 . 0 1 . 0 0 9 ;   C h u n g   J M ,   2 0 1 5 ,   I N T   J   E P I L E P S Y ,   V 2 ,   P 6 6 ;   C o o k   M J ,   2 0 1 3 ,   L A N C E T   N E U R O L ,   V 1 2 ,   P 5 6 3 ,   D O I   1 0 . 1 0 1 6 / S 1 4 7 4 - 4 4 2 2 ( 1 3 ) 7 0 0 7 5 - 9 ;   C u i   L i c o n g ,   2 0 1 2 ,   A M I A   A n n u   S y m p   P r o c ,   V 2 0 1 2 ,   P 1 1 9 1 ;   D ' A l e s s a n d r o   M ,   2 0 0 5 ,   C L I N   N E U R O P H Y S I O L ,   V 1 1 6 ,   P 5 0 6 ,   D O I   1 0 . 1 0 1 6 / j . c l i n p h . 2 0 0 4 . 1 1 . 0 1 4 ;   D a v i s   K A ,   2 0 1 6 ,   E P I L E P S I A ,   V 5 7 ,   P 8 9 ,   D O I   1 0 . 1 1 1 1 / e p i . 1 3 2 4 9 ;   D a v i s   K A ,   2 0 1 1 ,   E P I L E P S Y   R E S ,   V 9 6 ,   P 1 1 6 ,   D O I   1 0 . 1 0 1 6 / j . e p l e p s y r e s . 2 0 1 1 . 0 5 . 0 1 1 ;   D u d e k   F E ,   2 0 1 1 ,   E P I L E P S Y   R E S ,   V 9 7 ,   P 3 2 4 ,   D O I   1 0 . 1 0 1 6 / j . e p l e p s y r e s . 2 0 1 1 . 1 0 . 0 1 7 ;   E s t e l l e r   R ,   2 0 0 5 ,   C L I N   N E U R O P H Y S I O L ,   V 1 1 6 ,   P 5 1 7 ,   D O I   1 0 . 1 0 1 6 / j . c l i n p h . 2 0 0 4 . 1 0 . 0 1 5 ;   E s t e l l e r   R ,   2 0 0 1 ,   P   A N N   I N T   I E E E   E M B S ,   V 2 3 ,   P 1 7 0 7 ,   D O I   1 0 . 1 1 0 9 / I E M B S . 2 0 0 1 . 1 0 2 0 5 4 5 ;   G a r d n e r   A B ,   2 0 0 6 ,   J   M A C H   L E A R N   R E S ,   V 7 ,   P 1 0 2 5 ;   G e u r t s   P ,   2 0 0 6 ,   M A C H   L E A R N ,   V 6 3 ,   P 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 9 9 4 - 0 0 6 - 6 2 2 6 - 1 ;   G o t m a n   J ,   1 9 8 2 ,   C L I N   N E U R O P H Y S I O L ,   V 5 4 ,   P 5 3 0 ,   D O I   D O I   1 0 . 1 0 1 6 / 0 0 1 3 - 4 6 9 4 ( 8 2 ) 9 0 0 3 8 - 4 ;   G u t i e r r e z - C o l i n a   A M ,   2 0 1 2 ,   P E D I A T R   N E U R O L ,   V 4 6 ,   P 1 5 8 ,   D O I   1 0 . 1 0 1 6 / j . p e d i a t r n e u r o l . 2 0 1 1 . 1 2 . 0 0 9 ;   H a l f o r d   J J ,   2 0 1 3 ,   J   N E U R O S C I   M E T H ,   V 2 1 2 ,   P 3 0 8 ,   D O I   1 0 . 1 0 1 6 / j . j n e u m e t h . 2 0 1 2 . 1 1 . 0 0 5 ;   H o d a i e   M ,   2 0 0 2 ,   E P I L E P S I A ,   V 4 3 ,   P 6 0 3 ,   D O I   1 0 . 1 0 4 6 / j . 1 5 2 8 - 1 1 5 7 . 2 0 0 2 . 2 6 0 0 1 . x ;   K h a r b o u c h   A ,   2 0 1 1 ,   E P I L E P S Y   B E H A V ,   V 2 2 ,   p S 2 9 ,   D O I   1 0 . 1 0 1 6 / j . y e b e h . 2 0 1 1 . 0 8 . 0 3 1 ;   K w a n   P ,   2 0 0 0 ,   N E W   E N G L   J   M E D ,   V 3 4 2 ,   P 3 1 4 ,   D O I   1 0 . 1 0 5 6 / N E J M 2 0 0 0 0 2 0 3 3 4 2 0 5 0 3 ;   L i t t   B ,   2 0 0 1 ,   N E U R O N ,   V 3 0 ,   P 5 1 ,   D O I   1 0 . 1 0 1 6 / S 0 8 9 6 - 6 2 7 3 ( 0 1 ) 0 0 2 6 2 - 8 ;   L i u   H S ,   2 0 0 2 ,   I E E E   T   B I O - M E D   E N G ,   V 4 9 ,   P 1 5 5 7 ,   D O I   1 0 . 1 1 0 9 / T B M E . 2 0 0 2 . 8 0 5 4 7 7 ;   M o r r e l l   M J ,   2 0 1 1 ,   N E U R O L O G Y ,   V 7 7 ,   P 1 2 9 5 ,   D O I   1 0 . 1 2 1 2 / W N L . 0 b 0 1 3 e 3 1 8 2 3 0 2 0 5 6 ;   M o r r e l l   M J ,   2 0 0 2 ,   S E M I N   N E U R O L ,   V 2 2 ,   P 2 4 7 ,   D O I   1 0 . 1 0 5 5 / s - 2 0 0 2 - 3 6 6 4 5 ;   O r o s c o   L ,   2 0 1 3 ,   J   M E D   B I O L   E N G ,   V 3 3 ,   P 5 2 6 ,   D O I   1 0 . 5 4 0 5 / j m b e . 1 4 6 3 ;   O s o r i o   I ,   2 0 0 2 ,   E P I L E P S I A ,   V 4 3 ,   P 1 5 2 2 ,   D O I   1 0 . 1 0 4 6 / j . 1 5 2 8 - 1 1 5 7 . 2 0 0 2 . 1 1 1 0 2 . x ;   P F U R T S C H E L L E R   G ,   1 9 7 5 ,   E L E C T R O E N   C L I N   N E U R O ,   V 3 8 ,   P 9 3 ,   D O I   1 0 . 1 0 1 6 / 0 0 1 3 - 4 6 9 4 ( 7 5 ) 9 0 2 1 5 - 1 ;   P r a d h a n   N ,   1 9 9 6 ,   C O M P U T   B I O M E D   R E S ,   V 2 9 ,   P 3 0 3 ,   D O I   1 0 . 1 0 0 6 / c b m r . 1 9 9 6 . 0 0 2 2 ;   R a g h u n a t h a n   S ,   2 0 0 9 ,   J   N E U R A L   E N G ,   V 6 ,   D O I   1 0 . 1 0 8 8 / 1 7 4 1 - 2 5 6 0 / 6 / 5 / 0 5 6 0 0 5 ;   R a m g o p a l   S ,   2 0 1 4 ,   E P I L E P S Y   B E H A V ,   V 3 7 ,   P 2 9 1 ,   D O I   1 0 . 1 0 1 6 / j . y e b e h . 2 0 1 4 . 0 6 . 0 2 3 ;   R a y   A ,   2 0 0 7 ,   C L I N   N E U R O P H Y S I O L ,   V 1 1 8 ,   P 6 9 ,   D O I   1 0 . 1 0 1 6 / j . c l i n p h . 2 0 0 6 . 0 9 . 0 1 0 ;   S c h e e r   H J ,   2 0 0 6 ,   P H Y S I O L   M E A S ,   V 2 7 ,   P 1 0 9 ,   D O I   1 0 . 1 0 8 8 / 0 9 6 7 - 3 3 3 4 / 2 7 / 2 / 0 0 2 ;   S o   E L ,   2 0 0 0 ,   E P I L E P S I A ,   V 4 1 ,   p S 4 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 2 8 - 1 1 5 7 . 2 0 0 0 . t b 0 1 5 3 4 . x ;   S u n   F T ,   2 0 0 8 ,   N E U R O T H E R A P E U T I C S ,   V 5 ,   P 6 8 ,   D O I   1 0 . 1 0 1 6 / j . n u r t . 2 0 0 7 . 1 0 . 0 6 9 ;   S u n   F T ,   2 0 1 4 ,   N E U R O T H E R A P E U T I C S ,   V 1 1 ,   P 5 5 3 ,   D O I   1 0 . 1 0 0 7 / s 1 3 3 1 1 - 0 1 4 - 0 2 8 0 - 3 ;   T e m k o   A ,   2 0 1 1 ,   C L I N   N E U R O P H Y S I O L ,   V 1 2 2 ,   P 4 6 4 ,   D O I   1 0 . 1 0 1 6 / j . c l i n p h . 2 0 1 0 . 0 6 . 0 3 4 ;   T z a l l a s   A T ,   2 0 1 2 ,   E P I L E P S Y   H I S T   E L E C T R ;   V a r s a v s k y   A ,   2 0 1 1 ,   E P I L E P T I C   S E I Z U R E S   E ;   W a g e n a a r   J B ,   2 0 1 5 ,   J   C L I N   N E U R O P H Y S I O L ,   V 3 2 ,   P 2 3 5 ,   D O I   1 0 . 1 0 9 7 / W N P . 0 0 0 0 0 0 0 0 0 0 0 0 0 1 5 9 ;   W a g e n a a r   J B ,   2 0 1 3 ,   I   I E E E   E M B S   C   N E U R   E ,   P 1 3 8 6 ,   D O I   1 0 . 1 1 0 9 / N E R . 2 0 1 3 . 6 6 9 6 2 0 1 ;   W h i t e   A M ,   2 0 0 6 ,   J   N E U R O S C I   M E T H ,   V 1 5 2 ,   P 2 5 5 ,   D O I   1 0 . 1 0 1 6 / j . j n e u m e t h . 2 0 0 5 . 0 9 . 0 1 4 ;   W i e b e   S ,   2 0 0 1 ,   N E W   E N G L   J   M E D ,   V 3 4 5 ,   P 3 1 1 ,   D O I   1 0 . 1 0 5 6 / N E J M 2 0 0 1 0 8 0 2 3 4 5 0 5 0 1 ;   W i l s o n   S B ,   2 0 0 4 ,   C L I N   N E U R O P H Y S I O L ,   V 1 1 5 ,   P 2 2 8 0 ,   D O I   1 0 . 1 0 1 6 / j . c l i n p h . 2 0 0 4 . 0 5 . 0 1 8 ;   W i l s o n   S B ,   2 0 0 3 ,   C L I N   N E U R O P H Y S I O L ,   V 1 1 4 ,   P 2 1 5 6 ,   D O I   1 0 . 1 0 1 6 / S 1 3 8 8 - 2 4 5 7 ( 0 3 ) 0 0 2 1 2 - 8 	 5 1 	 0 	 0 	 1 	 1 	 O X F O R D   U N I V   P R E S S 	 O X F O R D 	 G R E A T   C L A R E N D O N   S T ,   O X F O R D   O X 2   6 D P ,   E N G L A N D 	 0 0 0 6 - 8 9 5 0 	 1 4 6 0 - 2 1 5 6 	 	 B R A I N 	 B r a i n 	 J U N 	 2 0 1 7 	 1 4 0 	 	 6 	 	 	 	 1 6 8 0 	 1 6 9 1 	 	 1 0 . 1 0 9 3 / b r a i n / a w x 0 9 8 	 	 1 2 	 C l i n i c a l   N e u r o l o g y ;   N e u r o s c i e n c e s 	 N e u r o s c i e n c e s   &   N e u r o l o g y 	 E W 7 V X 	 W O S : 0 0 0 4 0 2 7 2 6 6 0 0 0 2 2 	 2 8 4 5 9 9 6 1 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 W a n g ,   X Y ;   M u d i e ,   L I ;   B a s k a r a n ,   M ;   C h e n g ,   C Y ;   A l w a r d ,   W L ;   F r i e d m a n ,   D S ;   B r a d y ,   C J 	 	 	 	 W a n g ,   X u e y a n g ;   M u d i e ,   L u c y   I . ;   B a s k a r a n ,   M a n i ;   C h e n g ,   C h i n g - Y u ;   A l w a r d ,   W a l l a c e   L . ;   F r i e d m a n ,   D a v i d   S . ;   B r a d y ,   C h r i s t o p h e r   J . 	 	 	 C r o w d s o u r c i n g   t o   E v a l u a t e   F u n d u s   P h o t o g r a p h s   f o r   t h e   P r e s e n c e   o f   G l a u c o m a 	 J O U R N A L   O F   G L A U C O M A 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 t e l e g l a u c o m a ;   c r o w d s o u r c i n g ;   i m a g e   a n a l y s i s 	 O P E N - A N G L E   G L A U C O M A ;   D I A B E T I C - R E T I N O P A T H Y ;   U N I T E D - S T A T E S ;   O P T I C   D I S C ;   P R E V A L E N C E ;   E Y E ;   P O P U L A T I O N ;   A G R E E M E N T ;   R E T I N A 	 P u r p o s e :   T o   a s s e s s   t h e   a c c u r a c y   o f   c r o w d s o u r c i n g   f o r   g r a d i n g   o p t i c   n e r v e   i m a g e s   f o r   g l a u c o m a   u s i n g   A m a z o n   M e c h a n i c a l   T u r k   b e f o r e   a n d   a f t e r   t r a i n i n g   m o d u l e s .   M a t e r i a l s   a n d   M e t h o d s :   I m a g e s   ( n = 6 0 )   f r o m   2   l a r g e   p o p u l a t i o n   s t u d i e s   w e r e   g r a d e d   f o r   g l a u c o m a   s t a t u s   a n d   v e r t i c a l   c u p - t o - d i s c   r a t i o   ( V C D R ) .   I n   t h e   b a s e l i n e   t r i a l ,   u s e r s   o n   A m a z o n   M e c h a n i c a l   T u r k   ( T u r k e r s )   g r a d e d   f u n d u s   p h o t o s   f o r   g l a u c o m a   a n d   V C D R   a f t e r   r e v i e w i n g   a n n o t a t e d   e x a m p l e   i m a g e s .   I n   2   a d d i t i o n a l   t r i a l s ,   T u r k e r s   v i e w e d   a   2 6 - s l i d e   P o w e r P o i n t   t r a i n i n g   o r   a   1 0 - m i n u t e   v i d e o   t r a i n i n g   a n d   p a s s e d   a   q u i z   b e f o r e   b e i n g   p e r m i t t e d   t o   g r a d e   t h e   s a m e   6 0   i m a g e s .   E a c h   i m a g e   w a s   g r a d e d   b y   1 0   u n i q u e   T u r k e r s   i n   a l l   t r i a l s .   T h e   m o d e   o f   T u r k e r   g r a d e s   f o r   e a c h   i m a g e   w a s   c o m p a r e d   w i t h   a n   a d j u d i c a t e d   e x p e r t   g r a d e   t o   d e t e r m i n e   a c c u r a c y   a s   w e l l   a s   t h e   s e n s i t i v i t y   a n d   s p e c i f i c i t y   o f   T u r k e r   g r a d i n g .   R e s u l t s :   I n   t h e   b a s e l i n e   s t u d y ,   5 0 %   o f   t h e   i m a g e s   w e r e   g r a d e d   c o r r e c t l y   f o r   g l a u c o m a   s t a t u s   a n d   t h e   a r e a   u n d e r   t h e   r e c e i v e r   o p e r a t i n g   c h a r a c t e r i s t i c   ( A U R O C )   w a s   0 . 7 5   [ 9 5 %   c o n f i d e n c e   i n t e r v a l   ( C I ) ,   0 . 6 4 - 0 . 8 7 ] .   P o s t - P o w e r P o i n t   t r a i n i n g ,   6 6 . 7 %   o f   t h e   i m a g e s   w e r e   g r a d e d   c o r r e c t l y   w i t h   A U R O C   o f   0 . 8 6   ( 9 5 %   C I ,   0 . 7 8 0 . 9 5 ) .   F i n a l l y ,   T u r k e r   g r a d i n g   a c c u r a c y   w a s   6 3 . 3 %   w i t h   A U R O C   o f   0 . 8 9   ( 9 5 %   C I ,   0 . 8 3 - 0 . 9 6 )   a f t e r   v i d e o   t r a i n i n g .   O v e r a l l ,   T u r k e r   V C D R   g r a d e s   f o r   e a c h   i m a g e   c o r r e l a t e d   w i t h   e x p e r t   V C D R   g r a d e s   ( B l a n d - A l t m a n   p l o t   m e a n   d i f f e r e n c e   =   - 0 . 0 2 ) .   C o n c l u s i o n s :   T u r k e r s   g r a d e d   6 0   f u n d u s   i m a g e s   q u i c k l y   a n d   a t   l o w   c o s t ,   w i t h   g r a d i n g   a c c u r a c y ,   s e n s i t i v i t y ,   a n d   s p e c i f i c i t y ,   a l l   i m p r o v i n g   w i t h   b r i e f   t r a i n i n g .   W i t h   e f f e c t i v e   e d u c a t i o n ,   c r o w d s o u r c i n g   m a y   b e   a n   e f f i c i e n t   t o o l   t o   a i d   i n   t h e   i d e n t i f i c a t i o n   o f   g l a u c o m a t o u s   c h a n g e s   i n   r e t i n a l   i m a g e s . 	 [ W a n g ,   X u e y a n g ;   M u d i e ,   L u c y   I . ;   F r i e d m a n ,   D a v i d   S . ;   B r a d y ,   C h r i s t o p h e r   J . ]   J o h n s   H o p k i n s   S c h   M e d ,   W i l m e r   E y e   I n s t ,   6 0 0   N o r t h   W o l f e   S t ,   B a l t i m o r e ,   M D   2 1 2 8 7   U S A ;   [ A l w a r d ,   W a l l a c e   L . ]   U n i v   I o w a ,   C a r v e r   C o l l   M e d ,   D e p t   O p h t h a l m o l   &   V i s u a l   S c i ,   I o w a   C i t y ,   I A   U S A ;   [ B a s k a r a n ,   M a n i ;   C h e n g ,   C h i n g - Y u ]   N a t l   U n i v   S i n g a p o r e ,   S i n g a p o r e   N a t l   E y e   C t r ,   S i n g a p o r e   E y e   R e s   I n s t ,   S i n g a p o r e ,   S i n g a p o r e ;   [ B a s k a r a n ,   M a n i ;   C h e n g ,   C h i n g - Y u ]   N a t l   U n i v   S i n g a p o r e ,   D u k e   N U S   M e d   S c h ,   S i n g a p o r e ,   S i n g a p o r e ;   [ C h e n g ,   C h i n g - Y u ]   N a t l   U n i v   S i n g a p o r e ,   Y o n g   L o o   L i n   S c h   M e d ,   D e p t   O p h t h a l m o l ,   S i n g a p o r e ,   S i n g a p o r e 	 B r a d y ,   C J   ( r e p r i n t   a u t h o r ) ,   J o h n s   H o p k i n s   S c h   M e d ,   W i l m e r   E y e   I n s t ,   6 0 0   N o r t h   W o l f e   S t ,   B a l t i m o r e ,   M D   2 1 2 8 7   U S A . 	 c b r a d y 5 @ j h m i . e d u 	 	 	 N a t i o n a l   C e n t e r   f o r   A d v a n c i n g   T r a n s l a t i o n a l   S c i e n c e s   ( N C A T S )   a   c o m p o n e n t   o f   t h e   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   ( N I H )   [ K L 2 T R 0 0 1 0 7 7 ] ;   N I H   R o a d m a p   f o r   M e d i c a l   R e s e a r c h 	 T h i s   p u b l i c a t i o n   w a s   m a d e   p o s s i b l e   b y   t h e   J o h n s   H o p k i n s   I n s t i t u t e   f o r   C l i n i c a l   a n d   T r a n s l a t i o n a l   R e s e a r c h   ( I C T R )   w h i c h   i s   f u n d e d   i n   p a r t   b y   G r a n t   N u m b e r   K L 2 T R 0 0 1 0 7 7   f r o m   t h e   N a t i o n a l   C e n t e r   f o r   A d v a n c i n g   T r a n s l a t i o n a l   S c i e n c e s   ( N C A T S )   a   c o m p o n e n t   o f   t h e   N a t i o n a l   I n s t i t u t e s   o f   H e a l t h   ( N I H ) ,   a n d   N I H   R o a d m a p   f o r   M e d i c a l   R e s e a r c h .   I t s   c o n t e n t s   a r e   s o l e l y   t h e   r e s p o n s i b i l i t y   o f   t h e   a u t h o r s   a n d   d o   n o t   n e c e s s a r i l y   r e p r e s e n t   t h e   o f f i c i a l   v i e w   o f   t h e   J o h n s   H o p k i n s   I C T R ,   N C A T S ,   o r   N I H . 	 A B R A M S   L S ,   1 9 9 4 ,   O P H T H A L M O L O G Y ,   V 1 0 1 ,   P 1 6 6 2 ;   A l w a r d   W L M . ,   2 0 1 6 ,   W E L C O M E   I O W A   G L A U C O M ;   L u e n g o - O r o z   M A ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   P 2 0 7 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 3 3 8 ;   A z u a r a - B l a n c o   A ,   2 0 0 3 ,   A M   J   O P H T H A L M O L ,   V 1 3 6 ,   P 9 4 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 0 2 - 9 3 9 4 ( 0 3 ) 0 0 4 8 0 - X ;   B a s k a r a n   M ,   2 0 1 5 ,   J A M A   O P H T H A L M O L ,   V 1 3 3 ,   P 8 7 4 ,   D O I   1 0 . 1 0 0 1 / j a m a o p h t h a l m o l . 2 0 1 5 . 1 1 1 0 ;   B e t t i n   P ,   2 0 1 3 ,   O P H T H A L M I C   R E S ,   V 5 0 ,   P 1 9 7 ,   D O I   1 0 . 1 1 5 9 / 0 0 0 3 4 8 7 3 6 ;   B r a d y   C J ,   2 0 1 4 ,   J   M E D   I N T E R N E T   R E S ,   V 1 6 ,   P 1 7 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 3 8 0 7 ;   C h u a   J ,   2 0 1 4 ,   I N V E S T   O P H T H   V I S   S C I ,   V 5 5 ,   P 4 2 7 4 ;   C h u a   J ,   2 0 1 5 ,   J A M A   O P H T H A L M O L ,   V 1 3 3 ,   P 9 3 8 ,   D O I   1 0 . 1 0 0 1 / j a m a o p h t h a l m o l . 2 0 1 5 . 1 4 7 8 ;   D E L O N G   E R ,   1 9 8 8 ,   B I O M E T R I C S ,   V 4 4 ,   P 8 3 7 ,   D O I   1 0 . 2 3 0 7 / 2 5 3 1 5 9 5 ;   G u p t a   P ,   2 0 1 6 ,   I N V E S T   O P H T H   V I S   S C I ,   V 5 7 ,   P 2 9 0 5 ,   D O I   1 0 . 1 1 6 7 / i o v s . 1 5 - 1 8 4 6 9 ;   H e a l e y   P R ,   2 0 1 0 ,   O P H T H A L M O L O G Y ,   V 1 1 7 ,   P 1 6 6 7 ,   D O I   1 0 . 1 0 1 6 / j . o p h t h a . 2 0 1 0 . 0 7 . 0 0 1 ;   H u f f   C . ,   2 0 1 5 ,   S A G E   R E S   P O L ,   V 1 ,   P 1 ,   D O I   [ 1 0 . 1 1 7 7 / 2 0 5 3 1 6 8 0 1 5 6 0 4 6 4 8 ,   D O I   1 0 . 1 1 7 7 / 2 0 5 3 1 6 8 0 1 5 6 0 4 6 4 8 ] ;   I p e i r o t i s   P G ,   2 0 1 0 ,   C E D E R 1 0 0 1   N E W   Y O R K   U ;   J a m p e l   H D ,   2 0 0 9 ,   A M   J   O P H T H A L M O L ,   V 1 4 7 ,   P 3 9 ,   D O I   1 0 . 1 0 1 6 / j . a j o . 2 0 0 8 . 0 7 . 0 2 3 ;   K i m   J S ,   2 0 1 4 ,   N A T U R E ,   V 5 0 9 ,   P 3 3 1 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 1 3 2 4 0 ;   L a w   S K ,   2 0 1 2 ,   J   G L A U C O M A ,   V 2 1 ,   P 6 0 1 ,   D O I   1 0 . 1 0 9 7 / I J G . 0 b 0 1 3 e 3 1 8 2 1 d b 3 c 7 ;   L i c h t e r   P   R ,   1 9 7 6 ,   T r a n s   A m   O p h t h a l m o l   S o c ,   V 7 4 ,   P 5 3 2 ;   M a u l   E A ,   2 0 1 0 ,   O P H T H A L M O L O G Y ,   V 1 1 7 ,   P 1 6 6 5 ,   D O I   1 0 . 1 0 1 6 / j . o p h t h a . 2 0 0 9 . 1 1 . 0 0 1 ;   M i t r y   D ,   2 0 1 5 ,   P L O S   O N E ,   V 1 0 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 1 1 7 4 0 1 ;   N a r a y a n a s w a m y   A ,   2 0 1 3 ,   I N V E S T   O P H T H   V I S   S C I ,   V 5 4 ,   P 4 6 2 1 ,   D O I   1 0 . 1 1 6 7 / i o v s . 1 3 - 1 1 9 5 0 ;   N g   M a n c h o ,   2 0 0 9 ,   J   D i a b e t e s   S c i   T e c h n o l ,   V 3 ,   P 2 8 9 ;   Q u i g l e y   H A ,   2 0 0 6 ,   B R I T   J   O P H T H A L M O L ,   V 9 0 ,   P 2 6 2 ,   D O I   1 0 . 1 1 3 6 / b j o . 2 0 0 5 . 0 8 1 2 2 4 ;   S c a n l o n   P H ,   2 0 0 8 ,   J   M E D   S C R E E N ,   V 1 5 ,   P 1 ,   D O I   1 0 . 1 2 5 8 / j m s . 2 0 0 8 . 0 0 8 0 1 5 ;   S h e n   S Y ,   2 0 0 8 ,   I N V E S T   O P H T H   V I S   S C I ,   V 4 9 ,   P 3 8 4 6 ,   D O I   1 0 . 1 1 6 7 / i o v s . 0 8 - 1 7 5 9 ;   T I E L S C H   J M ,   1 9 9 1 ,   A M   J   E P I D E M I O L ,   V 1 3 4 ,   P 1 1 0 2 ;   V a j a r a n a n t   T S ,   2 0 1 2 ,   A M   J   O P H T H A L M O L ,   V 1 5 4 ,   P 3 0 3 ,   D O I   1 0 . 1 0 1 6 / j . a j o . 2 0 1 2 . 0 2 . 0 2 4 	 2 7 	 0 	 0 	 1 	 1 	 L I P P I N C O T T   W I L L I A M S   &   W I L K I N S 	 P H I L A D E L P H I A 	 T W O   C O M M E R C E   S Q ,   2 0 0 1   M A R K E T   S T ,   P H I L A D E L P H I A ,   P A   1 9 1 0 3   U S A 	 1 0 5 7 - 0 8 2 9 	 1 5 3 6 - 4 8 1 X 	 	 J   G L A U C O M A 	 J .   G l a u c o m a 	 J U N 	 2 0 1 7 	 2 6 	 6 	 	 	 	 	 5 0 5 	 5 1 0 	 	 1 0 . 1 0 9 7 / I J G . 0 0 0 0 0 0 0 0 0 0 0 0 0 6 6 0 	 	 6 	 O p h t h a l m o l o g y 	 O p h t h a l m o l o g y 	 E W 5 C Y 	 W O S : 0 0 0 4 0 2 5 2 4 0 0 0 0 1 3 	 2 8 3 1 9 5 2 5 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 R a v a z z a n i ,   G ;   C o r b a r i ,   C ;   C e p p i ,   A ;   F e k i ,   M ;   M a n c i n i ,   M ;   F e r r a r i ,   F ;   G i a n f r e d a ,   R ;   C o l o m b o ,   R ;   G i n o c c h i ,   M ;   M e u c c i ,   S ;   D e   V e c c h i ,   D ;   D e l l ' A c q u a ,   F ;   O b e r ,   G 	 	 	 	 R a v a z z a n i ,   G i o v a n n i ;   C o r b a r i ,   C h i a r a ;   C e p p i ,   A l e s s a n d r o ;   F e k i ,   M o u n a ;   M a n c i n i ,   M a r c o ;   F e r r a r i ,   F a b r i z i o ;   G i a n f r e d a ,   R o b e r t a ;   C o l o m b o ,   R o b e r t o ;   G i n o c c h i ,   M i r k o ;   M e u c c i ,   S t e f a n i a ;   D e   V e c c h i ,   D a n i e l e ;   D e l l ' A c q u a ,   F a b i o ;   O b e r ,   G i o v a n n a 	 	 	 F r o m   ( c y b e r ) s p a c e   t o   g r o u n d :   n e w   t e c h n o l o g i e s   f o r   s m a r t   f a r m i n g 	 H Y D R O L O G Y   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e ;   P r o c e e d i n g s   P a p e r 	 5 t h   H y d r o l o g y   D a y s   o f   t h e   I t a l i a n - H y d r o l o g i c a l - S o c i e t y 	 O C T   0 6 - 0 8 ,   2 0 1 5 	 P e r u g i a ,   I T A L Y 	 I t a l i a n   H y d r o l   S o c 	 	 c r o w d s o u r c i n g ;   h y d r o l o g i c a l   m o d e l ;   i r r i g a t i o n   m a n a g e m e n t ;   s a t e l l i t e   o b s e r v a t i o n s ;   s o i l   m o i s t u r e ;   w e a t h e r   f o r e c a s t 	 D I S T R I B U T E D   H Y D R O L O G I C A L   M O D E L ;   L A N D - S U R F A C E   T E M P E R A T U R E ;   D A T A   A S S I M I L A T I O N   S Y S T E M ;   S A T E L L I T E   D A T A ;   R I V E R - B A S I N S ;   R E F E R E N C E   E V A P O T R A N S P I R A T I O N ;   D I S C H A R G E   M E A S U R E M E N T S ;   C L I M A T E ;   B A L A N C E ;   C A L I B R A T I O N 	 I n c r e a s e d   w a t e r   d e m a n d   a n d   c l i m a t e   c h a n g e   i m p a c t s   h a v e   r e c e n t l y   e n h a n c e d   t h e   n e e d   t o   i m p r o v e   w a t e r   r e s o u r c e s   m a n a g e m e n t ,   e v e n   i n   t h o s e   a r e a s   w h i c h   t r a d i t i o n a l l y   h a v e   a n   a b u n d a n t   s u p p l y   o f   w a t e r ,   s u c h   a s   t h e   P o   V a l l e y   i n   n o r t h e r n   I t a l y .   T h e   h i g h e s t   c o n s u m p t i o n   o f   w a t e r   i s   d e v o t e d   t o   i r r i g a t i o n   f o r   a g r i c u l t u r a l   p r o d u c t i o n ,   a n d   s o   i t   i s   i n   t h i s   a r e a   t h a t   e f f o r t s   h a v e   t o   b e   f o c u s e d   t o   s t u d y   p o s s i b l e   i n t e r v e n t i o n s .   M e e t i n g   a n d   o p t i m i z i n g   t h e   c o n s u m p t i o n   o f   w a t e r   f o r   i r r i g a t i o n   a l s o   m e a n s   m a k i n g   m o r e   r e s o u r c e s   a v a i l a b l e   f o r   d r i n k i n g   w a t e r   a n d   i n d u s t r i a l   u s e ,   a n d   m a i n t a i n i n g   a n   o p t i m a l   s t a t e   o f   t h e   e n v i r o n m e n t .   I n   t h i s   s t u d y   w e   s h o w   t h e   e f f e c t i v e n e s s   o f   t h e   c o m b i n e d   u s e   o f   n u m e r i c a l   w e a t h e r   p r e d i c t i o n s   a n d   h y d r o l o g i c a l   m o d e l l i n g   t o   f o r e c a s t   s o i l   m o i s t u r e   a n d   c r o p   w a t e r   r e q u i r e m e n t   i n   o r d e r   t o   o p t i m i z e   i r r i g a t i o n   s c h e d u l i n g .   T h i s   s y s t e m   c o m b i n e s   s t a t e   o f   t h e   a r t   m a t h e m a t i c a l   m o d e l s   a n d   n e w   t e c h n o l o g i e s   f o r   e n v i r o n m e n t a l   m o n i t o r i n g ,   m e r g i n g   g r o u n d   o b s e r v e d   d a t a   w i t h   E a r t h   o b s e r v a t i o n s   f r o m   s p a c e   a n d   u n c o n v e n t i o n a l   i n f o r m a t i o n   f r o m   t h e   c y b e r s p a c e   t h r o u g h   c r o w d s o u r c i n g . 	 [ R a v a z z a n i ,   G i o v a n n i ;   C o r b a r i ,   C h i a r a ;   C e p p i ,   A l e s s a n d r o ;   F e k i ,   M o u n a ;   M a n c i n i ,   M a r c o ]   P o l i t e c n   M i l a n ,   D e p t   C i v i l   &   E n v i r o n m   E n g n ,   P i a z z a   L e o n a r d o   d a   V i n c i   3 2 ,   I - 2 0 1 3 3   M i l a n ,   I t a l y ;   [ F e r r a r i ,   F a b r i z i o ;   G i a n f r e d a ,   R o b e r t a ]   T e r r a r i a   S r l ,   V i a   M e l c h i o r r e   G i o i a   1 3 2 ,   I - 2 0 1 2 5   M i l a n ,   I t a l y ;   [ C o l o m b o ,   R o b e r t o ;   G i n o c c h i ,   M i r k o ]   U n i v   M i l a n o   B i c o c c a ,   D I S A T ,   R e m o t e   S e n s i n g   E n v i r o n m   D y n a m   L a b ,   P i a z z a   S c i   1 ,   I - 2 0 1 2 6   M i l a n ,   I t a l y ;   [ M e u c c i ,   S t e f a n i a ]   M M I   S r l ,   V i a   D a n i e l e   C r e s p i   7 ,   I - 2 0 1 3 3   M i l a n ,   I t a l y ;   [ D e   V e c c h i ,   D a n i e l e ;   D e l l ' A c q u a ,   F a b i o ]   U n i v   P a v i a ,   D e p t   I n d   &   I n f o r m a t   E n g n ,   V i a   F e r r a t a   5 ,   I - 2 7 1 0 0   P a v i a ,   I t a l y ;   [ O b e r ,   G i o v a n n a ]   C G S   S p A ,   V i a   G a l l a r a t e   1 5 0 ,   I - 2 0 1 5 1   M i l a n ,   I t a l y 	 R a v a z z a n i ,   G   ( r e p r i n t   a u t h o r ) ,   P o l i t e c n   M i l a n ,   D e p t   C i v i l   &   E n v i r o n m   E n g n ,   P i a z z a   L e o n a r d o   d a   V i n c i   3 2 ,   I - 2 0 1 3 3   M i l a n ,   I t a l y . 	 g i o v a n n i . r a v a z z a n i @ p o l i m i . i t 	 	 	 L o m b a r d y   r e g i o n 	 T h i s   w o r k   w a s   s p o n s o r e d   b y   t h e   L o m b a r d y   r e g i o n   i n   t h e   f r a m e w o r k   o f   t h e   S E G U I C I   p r o j e c t .   W e   t h a n k   A R P A   L o m b a r d i a   ( h t t p : / / w w w . a r p a l o m b a r d i a . i t )   a n d   t h e   M e t e o n e t w o r k   A s s o c i a t i o n   ( h t t p : / / w w w . m e t e o n e t w o r k . i t )   f o r   p r o v i d i n g   m e t e o r o l o g i c a l   o b s e r v a t i o n s   f r o m   a u t o m a t i c   s t a t i o n s .   T h e   e d i t o r ,   P r o f .   A t t i l i o   C a s t e l l a r i n ,   a n d   t h r e e   a n o n y m o u s   r e v i e w e r s   a r e   g r a t e f u l l y   a c k n o w l e d g e d   f o r   t h e i r   e f f o r t s   t o   i m p r o v e   t h e   q u a l i t y   a n d   c o n t e n t s   o f   t h i s   m a n u s c r i p t . 	 A m e n g u a l   A ,   2 0 0 8 ,   N A T   H A Z A R D   E A R T H   S Y S ,   V 8 ,   P 8 1 9 ;   A r n a u l t   J . ,   2 0 1 6 ,   J   H Y D R O M E T E O R O L O G Y ;   B a r k e r   D ,   2 0 1 2 ,   B   A M   M E T E O R O L   S O C ,   V 9 3 ,   P 8 3 1 ,   D O I   1 0 . 1 1 7 5 / B A M S - D - 1 1 - 0 0 1 6 7 . 1 ;   B a r k e r   D M ,   2 0 0 4 ,   M O N   W E A T H E R   R E V ,   V 1 3 2 ,   P 8 9 7 ,   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 9 3 ( 2 0 0 4 ) 1 3 2 < 0 8 9 7 : A T V D A S > 2 . 0 . C O ; 2 ;   B e v i n g t o n   J . ,   2 0 1 2 ,   1 5   W O R L D   C   E A R T H Q   E N ;   B o s c a r e l l o   L ,   2 0 1 4 ,   H Y D R O L   P R O C E S S ,   V 2 8 ,   P 4 9 6 ,   D O I   1 0 . 1 0 0 2 / h y p . 9 5 8 8 ;   B r o o k s   R H ,   1 9 6 4 ,   3   C O L   S T A T   U ;   C a i   J B ,   2 0 0 7 ,   A G R   F O R E S T   M E T E O R O L ,   V 1 4 5 ,   P 2 2 ,   D O I   1 0 . 1 0 1 6 / j . a g r f o r m e t . 2 0 0 7 . 0 4 . 0 1 2 ;   C a m p b e l l   G S ,   1 9 9 8 ,   I N T R O   E N V   B I O P H Y S I C S ;   C e p p i   A ,   2 0 1 4 ,   H Y D R O L   E A R T H   S Y S T   S C ,   V 1 8 ,   P 3 3 5 3 ,   D O I   1 0 . 5 1 9 4 / h e s s - 1 8 - 3 3 5 3 - 2 0 1 4 ;   C e p p i   A ,   2 0 1 3 ,   N A T   H A Z A R D   E A R T H   S Y S ,   V 1 3 ,   P 1 0 5 1 ,   D O I   1 0 . 5 1 9 4 / n h e s s - 1 3 - 1 0 5 1 - 2 0 1 3 ;   C e p p i   A . ,   2 0 1 0 ,   P R O C E D I A   S O C I A L   B E H A ,   V 2 ,   P 7 6 3 1 ;   C e r i a n i   M . ,   2 0 0 0 ,   M A P S   M E A N   M A X I M U M   M I ;   C H O U D H U R Y   B J ,   1 9 8 7 ,   R E M O T E   S E N S   E N V I R O N ,   V 2 2 ,   P 2 0 9 ,   D O I   1 0 . 1 0 1 6 / 0 0 3 4 - 4 2 5 7 ( 8 7 ) 9 0 0 5 9 - 9 ;   C o l l i n s   W .   D . ,   2 0 0 4 ,   N C A R T N 4 6 4 S T R ,   P 2 1 4 ;   C o l o m b o   R ,   2 0 0 3 ,   R E M O T E   S E N S   E N V I R O N ,   V 8 6 ,   P 1 2 0 ,   D O I   1 0 . 1 0 1 6 / S 0 0 3 4 - 4 2 5 7 ( 0 3 ) 0 0 0 9 4 - 4 ;   C o p p o l a   E ,   2 0 1 0 ,   I N T   J   C L I M A T O L ,   V 3 0 ,   P 1 1 ,   D O I   1 0 . 1 0 0 2 / j o c . 1 8 6 7 ;   C o r b a r i   C ,   2 0 1 5 ,   H Y D R O L O G   S C I   J ,   V 6 0 ,   P 2 0 2 ,   D O I   1 0 . 1 0 8 0 / 0 2 6 2 6 6 6 7 . 2 0 1 3 . 8 6 6 7 0 9 ;   C o r b a r i   C ,   2 0 1 4 ,   H Y D R O L   R E S ,   V 4 5 ,   P 6 0 3 ,   D O I   1 0 . 2 1 6 6 / n h . 2 0 1 3 . 0 1 6 ;   C o r b a r i   C ,   2 0 1 3 ,   P R O C E D I A   E N V I R O N   S C I ,   V 1 9 ,   P 2 8 5 ,   D O I   1 0 . 1 0 1 6 / j . p r o e n v . 2 0 1 3 . 0 6 . 0 3 3 ;   C o r b a r i   C ,   2 0 1 4 ,   J   H Y D R O M E T E O R O L ,   V 1 5 ,   P 3 7 6 ,   D O I   1 0 . 1 1 7 5 / J H M - D - 1 2 - 0 1 7 3 . 1 ;   C o r b a r i   C ,   2 0 1 1 ,   H Y D R O L   P R O C E S S ,   V 2 5 ,   P 1 4 4 3 ,   D O I   1 0 . 1 0 0 2 / h y p . 7 9 1 0 ;   D e d i e u   J P ,   2 0 1 4 ,   S C I   T O T A L   E N V I R O N ,   V 4 9 3 ,   P 1 2 6 7 ,   D O I   1 0 . 1 0 1 6 / j . s c i t o t e n v . 2 0 1 4 . 0 4 . 0 7 8 ;   E R S A F   ( R e g i o n a l   A g e n c y   f o r   A g r i c u l t u r e   a n d   F o r e s t   S e r v i c e s ) ,   2 0 0 4 ,   S O I L S   L A N D S   P R O V   L O D ;   G a l e a z z o   D A ,   2 0 1 5 ,   I N T   G E O S C I   R E M O T E   S E ,   P 1 3 4 8 ,   D O I   1 0 . 1 1 0 9 / I G A R S S . 2 0 1 5 . 7 3 2 6 0 2 5 ;   G a u d a r d   L ,   2 0 1 4 ,   S C I   T O T A L   E N V I R O N ,   V 4 9 3 ,   P 1 2 1 1 ,   D O I   1 0 . 1 0 1 6 / j . s c i t o t e n v . 2 0 1 3 . 1 0 . 0 1 2 ;   G o o d c h i l d   M F ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 3 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 7 5 9 2 5 5 ;   G o w i n g   J W ,   2 0 0 1 ,   A G R   W A T E R   M A N A G E ,   V 4 7 ,   P 1 3 7 ,   D O I   1 0 . 1 0 1 6 / S 0 3 7 8 - 3 7 7 4 ( 0 0 ) 0 0 1 0 1 - 3 ;   H o n g   S Y ,   2 0 0 6 ,   M O N   W E A T H E R   R E V ,   V 1 3 4 ,   P 2 3 1 8 ,   D O I   1 0 . 1 1 7 5 / M W R 3 1 9 9 . 1 ;   H o n g   S .   Y . ,   2 0 0 6 ,   K O R E A N   M E T E O R O L O G I C A ,   V 4 2 ,   P 1 2 9 ;   L a r s e n   M A D ,   2 0 1 6 ,   S C I   R E P - U K ,   V 6 ,   D O I   1 0 . 1 0 3 8 / s r e p 2 2 9 2 7 ;   L E E   D M ,   1 9 8 5 ,   C A N   J   S O I L   S C I ,   V 6 5 ,   P 5 6 3 ;   L I A N G   S . ,   2 0 0 0 ,   R E M O T E   S E N S   E N V I R O N ,   V 7 6 ,   P 2 1 3 ,   D O I   D O I   1 0 . 1 0 1 6 / S 0 0 3 4 - 4 2 5 7 ( 0 0 ) 0 0 2 0 5 - 4 ;   M a s s e r o n i   D ,   2 0 1 3 ,   P R O C E D I A   E N V I R O N   S C I ,   V 1 9 ,   P 2 9 3 ,   D O I   1 0 . 1 0 1 6 / j . p r o e n v . 2 0 1 3 , 0 6 . 0 3 4 ;   M a s s e r o n i   D ,   2 0 1 2 ,   A T M O S F E R A ,   V 2 5 ,   P 1 8 3 ;   M a t t a r   C ,   2 0 1 4 ,   R E M O T E   S E N S   E N V I R O N ,   V 1 4 7 ,   P 2 3 ,   D O I   1 0 . 1 0 1 6 / j . r s e . 2 0 1 4 . 0 2 . 0 1 1 ;   N a s h   J .   E . ,   1 9 7 0 ,   J   H Y D R O L ,   V 1 0 ,   P 2 8 2 ,   D O I   D O I   1 0 . 1 0 1 6 / 0 0 2 2 - 1 6 9 4 ( 7 0 ) 9 0 2 5 5 - 6 ;   P i a n o s i   F ,   2 0 1 0 ,   H Y D R O L   P R O C E S S ,   V 2 4 ,   P 3 1 9 5 ,   D O I   1 0 . 1 0 0 2 / h y p . 7 7 4 5 ;   R a b u f f e t t i   D ,   2 0 0 8 ,   N A T   H A Z A R D   E A R T H   S Y S ,   V 8 ,   P 1 6 1 ;   R a v a z z a n i   G ,   2 0 1 5 ,   H Y D R O L O G   S C I   J ,   V 6 0 ,   P 1 0 1 3 ,   D O I   1 0 . 1 0 8 0 / 0 2 6 2 6 6 6 7 . 2 0 1 4 . 9 1 6 4 0 5 ;   R a v a z z a n i   G ,   2 0 1 4 ,   P L O S   O N E ,   V 9 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 1 0 9 0 5 3 ;   R a v a z z a n i   G ,   2 0 1 4 ,   W A T E R   R E S O U R   M A N A G ,   V 2 8 ,   P 1 0 3 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 9 - 0 1 4 - 0 5 3 2 - 3 ;   R a v a z z a n i   G ,   2 0 1 4 ,   J   H Y D R O L   E N G ,   V 1 9 ,   P 2 3 5 ,   D O I   1 0 . 1 0 6 1 / ( A S C E ) H E . 1 9 4 3 - 5 5 8 4 . 0 0 0 0 7 6 4 ;   R a v a z z a n i   G ,   2 0 1 2 ,   J   I R R I G   D R A I N   E N G ,   V 1 3 8 ,   P 5 9 2 ,   D O I   1 0 . 1 0 6 1 / ( A S C E ) I R . 1 9 4 3 - 4 7 7 4 . 0 0 0 0 4 5 3 ;   R a v a z z a n i   G ,   2 0 1 1 ,   J   I R R I G   D R A I N   E - A S C E ,   V 1 3 7 ,   P 5 6 4 ,   D O I   1 0 . 1 0 6 1 / ( A S C E ) I R . 1 9 4 3 - 4 7 7 4 . 0 0 0 0 3 2 1 ;   R i c h t e r   K ,   2 0 0 9 ,   H Y D R O L   E A R T H   S Y S T   S C ,   V 1 3 ,   P 6 6 3 ;   S e n a t o r e   A ,   2 0 1 5 ,   J   A D V   M O D E L   E A R T H   S Y ,   V 7 ,   P 1 6 9 3 ,   D O I   1 0 . 1 0 0 2 / 2 0 1 5 M S 0 0 0 5 1 0 ;   T e w a r i   M . ,   2 0 0 4 ,   2 0   C   W E A T H   A N   F O R   1 6 ,   P 1 1 ;   U n i t e d   N a t i o n s ,   E S A P W P 2 4 1   U N   D E P   E C ;   W E N D R O T H   O ,   1 9 9 3 ,   S O I L   S C I   S O C   A M   J ,   V 5 7 ,   P 1 4 3 6 	 5 0 	 1 	 1 	 1 	 1 	 I W A   P U B L I S H I N G 	 L O N D O N 	 A L L I A N C E   H O U S E ,   1 2   C A X T O N   S T ,   L O N D O N   S W 1 H 0 Q S ,   E N G L A N D 	 1 9 9 8 - 9 5 6 3 	 2 2 2 4 - 7 9 5 5 	 	 H Y D R O L   R E S 	 H y d r o l .   R e s . 	 J U N 	 2 0 1 7 	 4 8 	 3 	 	 	 	 	 6 5 6 	 6 7 2 	 	 1 0 . 2 1 6 6 / n h . 2 0 1 6 . 1 1 2 	 	 1 7 	 W a t e r   R e s o u r c e s 	 W a t e r   R e s o u r c e s 	 E W 4 D V 	 W O S : 0 0 0 4 0 2 4 5 3 1 0 0 0 0 5 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 F e l l e r ,   J ;   G l e a s u r e ,   R ;   T r e a c y ,   S 	 	 	 	 F e l l e r ,   J o s e p h ;   G l e a s u r e ,   R o b ;   T r e a c y ,   S t e p h e n 	 	 	 I n f o r m a t i o n   s h a r i n g   a n d   u s e r   b e h a v i o r   i n   i n t e r n e t - e n a b l e d   p e e r - t o - p e e r   l e n d i n g   s y s t e m s :   a n   e m p i r i c a l   s t u d y 	 J O U R N A L   O F   I N F O R M A T I O N   T E C H N O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 I n t e r n e t - e n a b l e d   P e e r - t o - P e e r   L e n d i n g   S y s t e m s   ( I P 2 P L S ) ;   c r o w d f u n d i n g ;   c o l l e c t i v e   a c t i o n ;   i n f o r m a t i o n   s h a r i n g ;   p e r s o n a l   t r a n s p a r e n c y ;   S o c i a l   I d e n t i t y   T h e o r y 	 S O C I A L   I D E N T I T Y   T H E O R Y ;   S A L I E N C E ;   T R U S T ;   M I C R O F I N A N C E ;   P E R F O R M A N C E ;   C O M M I T M E N T ;   I D E N T I F I C A T I O N ;   M A R K E T P L A C E S ;   O R G A N I Z A T I O N ;   D I M E N S I O N S 	 I n t e r n e t - b a s e d   i n f o r m a t i o n   s y s t e m s   ( I S )   h a v e   e n a b l e d   v a r i o u s   f o r m s   o f   c o l l e c t i v e   i n t e l l i g e n c e ,   a c t i o n ,   a n d   r e s o u r c e s   ( e . g .   o p e n   s o u r c e   s o f t w a r e ,   i n n o v a t i o n   m a r k e t p l a c e s ,   c r o w d s o u r c i n g ,   a n d   c r o w d f u n d i n g ) .   W i t h i n   t h e   d o m a i n   o f   c r o w d f u n d i n g ,   I n t e r n e t - e n a b l e d   P e e r - t o - P e e r   L e n d i n g   S y s t e m s   ( I P 2 P L S )   h a v e   e m e r g e d   a s   a   d i s r u p t i v e   t e c h n o l o g y ,   w i t h   i m p l i c a t i o n s   f o r   t h e   f i n a n c i a l   s e r v i c e s   s e c t o r ,   b u s i n e s s   c a p i t a l i z a t i o n   s t r a t e g i e s ,   a n d   p e r s o n a l   a n d   c o m m u n i t y   d e v e l o p m e n t .   I S   r e s e a r c h   i n v e s t i g a t i n g   u s e r   b e h a v i o r   i n   I P 2 P L S   h a s   r e v e a l e d   t h e   s a l i e n c y   o f   s o c i a l   i d e n t i t y   a n d   p e r s o n a l   t r a n s p a r e n c y   ( a s   e x p r e s s e d   t h r o u g h   i n f o r m a t i o n   s h a r i n g )   i n   s u c h   s y s t e m s .   P r i o r   r e s e a r c h   h a s   l a r g e l y   f o c u s e d   o n   a   s m a l l   n u m b e r   o f   I P 2 P L S   p r o v i d e r s ,   t h u s   t h i s   s t u d y   e x a m i n e s   a   v e r y   l a r g e   b u t   u n d e r - r e s e a r c h e d   p l a t f o r m .   T h e   s t u d y   t e s t s   a   t h e o r e t i c a l   m o d e l   b a s e d   o n   S o c i a l   I d e n t i t y   T h e o r y   a n d   p r i o r   I P 2 P L S   s t u d i e s ,   t h r o u g h   a n   a n a l y s i s   o f   1 1 6 , 6 6 7   l o a n   r e c o r d s ,   a n d   a   s u b s e q u e n t   a n a l y s i s   o f   1 0 0 0   m a n u a l l y   c o d e d   r e c o r d s ,   t o   i n v e s t i g a t e   t h e   i m p a c t   o f   i n f o r m a t i o n   s h a r i n g   o n   u s e r   ( l e n d e r s   a n d   b o r r o w e r s )   b e h a v i o r .   T h e   s t u d y   r e v e a l s   t h e   i m p o r t a n c e   o f   s o c i a l   ( v s   f i n a n c i a l )   d a t a ,   a n d   f u r t h e r   r e v e a l s   r e l a t i o n s h i p s   t h a t   f r e q u e n t l y   c o n t r a d i c t   p r i o r   f i n d i n g s   f r o m   o t h e r   I P 2 P L S .   T h e   s t u d y   t h u s   i m p l i e s   t h e   n e e d   f o r   a   m o r e   h e t e r o g e n e o u s   v i e w   o f   t h e   I P 2 P L S   d o m a i n ,   a n d   t h e   n e e d   t o   m o r e   f u l l y   u n d e r s t a n d   a s   s y s t e m s   t h a t   s u p p o r t   u s e r   b e h a v i o r   b y   e n a b l i n g   s o c i a l   i n f o r m a t i o n   e x c h a n g e s . 	 [ F e l l e r ,   J o s e p h ;   G l e a s u r e ,   R o b ;   T r e a c y ,   S t e p h e n ]   U n i v   C o l l   C o r k ,   D e p t   A c c o u n t i n g   F i n a n c e   &   I n f o r m a t   S y s t ,   O R a h i l l y   B l d g   2 - 1 3 0 , C o l l   R d ,   C o r k ,   I r e l a n d 	 F e l l e r ,   J   ( r e p r i n t   a u t h o r ) ,   U n i v   C o l l   C o r k ,   D e p t   A c c o u n t i n g   F i n a n c e   &   I n f o r m a t   S y s t ,   O R a h i l l y   B l d g   2 - 1 3 0 , C o l l   R d ,   C o r k ,   I r e l a n d . 	 j f e l l e r @ a f i s . u c c . i e 	 	 	 L e w i s   C h a r i t a b l e   F o u n d a t i o n   ( U S A )   t h r o u g h   t h e   T e c h n o l o g y - E n a b l e d   O r g a n i z a t i o n a l   O p e n n e s s   a n d   T r a n s p a r e n c y   ( T O T O )   a t   U n i v e r s i t y   C o l l e g e   C o r k ,   I r e l a n d 	 T h i s   p a p e r   r e p o r t s   o n   r e s e a r c h   f u n d e d   b y   t h e   L e w i s   C h a r i t a b l e   F o u n d a t i o n   ( U S A )   t h r o u g h   t h e   T e c h n o l o g y - E n a b l e d   O r g a n i z a t i o n a l   O p e n n e s s   a n d   T r a n s p a r e n c y   ( T O T O )   p r o j e c t   h o s t e d   a t   U n i v e r s i t y   C o l l e g e   C o r k ,   I r e l a n d . 	 A l v e s s o n   M ,   2 0 1 0 ,   H U M   R E L A T ,   V 6 3 ,   P 1 9 3 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 8 7 2 6 7 0 9 3 5 0 3 7 2 ;   A N S O F F   H I ,   1 9 7 5 ,   C A L I F   M A N A G E   R E V ,   V 1 8 ,   P 2 1 ;   A r n e t t   D B ,   2 0 0 3 ,   J   M A R K E T I N G ,   V 6 7 ,   P 8 9 ,   D O I   1 0 . 1 5 0 9 / j m k g . 6 7 . 2 . 8 9 . 1 8 6 1 4 ;   A S H F O R T H   B E ,   1 9 8 9 ,   A C A D   M A N A G E   R E V ,   V 1 4 ,   P 2 0 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 1 8 9 ;   A s h m o r e   R D ,   2 0 0 4 ,   P S Y C H O L   B U L L ,   V 1 3 0 ,   P 8 0 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 3 0 . 1 . 8 0 ;   A t k i n s o n   S .   R e a y ,   2 0 1 4 ,   P   2   A S E   I N T   C   B I G   D A ,   P 1 ;   A t k i n s o n   S .   R e a y ,   2 0 1 4 ,   I N T   J   A D V   L I F E   S C I ,   V 6 ,   P 4 1 ;   A t k i n s o n   S .   R e a y ,   2 0 1 3 ,   2 1   C E N T U R Y   P A C I F I C   B ,   V 2 ,   P 2 8 ;   B a c h m a n n   A ,   2 0 1 1 ,   J   I N T E R N E T   B A N K   C O M M ,   V 1 6 ,   P 1 ;   B a r r y   J J ,   2 0 1 2 ,   T H I R D   W O R L D   Q ,   V 3 3 ,   P 1 2 5 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 3 6 5 9 7 . 2 0 1 2 . 6 2 8 1 0 7 ;   B e n b a s a t   I ,   2 0 0 3 ,   M I S   Q U A R T ,   V 2 7 ,   P 1 8 3 ;   B e r g e r   S . ,   2 0 0 9 ,   B U R   B U S I N E S S   R E S ,   V 2 ,   P 3 9 ,   D O I   D O I   1 0 . 1 0 0 7 / B F 0 3 3 4 3 5 2 8 ;   B e r k o v i c h   E . ,   2 0 1 1 ,   A N N   F I N A N C E ,   V 7 ,   P 3 8 9 ,   D O I   [ 1 0 . 1 0 0 7 / s 1 0 4 3 6 - 0 1 1 - 0 1 7 8 - 6 ,   D O I   1 0 . 1 0 0 7 / S 1 0 4 3 6 - 0 1 1 - 0 1 7 8 - 6 ] ;   B h a t t a c h a r y a   C B ,   2 0 0 3 ,   J   M A R K E T I N G ,   V 6 7 ,   P 7 6 ,   D O I   1 0 . 1 5 0 9 / j m k g . 6 7 . 2 . 7 6 . 1 8 6 0 9 ;   B U R K E   P J ,   1 9 9 1 ,   S O C   P S Y C H O L   Q U A R T ,   V 5 4 ,   P 2 3 9 ,   D O I   1 0 . 2 3 0 7 / 2 7 8 6 6 5 3 ;   B U R K E   P J ,   1 9 9 1 ,   A M   S O C I O L   R E V ,   V 5 6 ,   P 8 3 6 ,   D O I   1 0 . 2 3 0 7 / 2 0 9 6 2 5 9 ;   B u r k e   P J ,   1 9 9 9 ,   S O C   P S Y C H O L   Q U A R T ,   V 6 2 ,   P 3 4 7 ,   D O I   1 0 . 2 3 0 7 / 2 6 9 5 8 3 3 ;   C A L L E R O   P L ,   1 9 8 5 ,   S O C   P S Y C H O L   Q U A R T ,   V 4 8 ,   P 2 0 3 ,   D O I   1 0 . 2 3 0 7 / 3 0 3 3 6 8 1 ;   C e y h a n   S . ,   2 0 1 1 ,   P   2 0   I N T   C   W O R L D   W I D ,   P 5 4 7 ;   C h a f f e e   E .   C . ,   2 0 1 2 ,   W A S H I N G T O N   L E E   L A W   R ,   V 6 9 ,   P 4 8 5 ;   C h e n   D . ,   2 0 1 2 ,   J   I N T E R N E T   B A N K I N G   C ,   V 1 7 ,   P 1 ;   C h e n   N . ,   2 0 0 9 ,   P   A C M   E C   P A L   A L T   C A ,   P 3 3 5 ,   D O I   1 0 . 1 1 4 5 / 1 5 6 6 3 7 4 . 1 5 6 6 4 2 2 ;   C o l l i e r   B ,   2 0 1 0 ,   2 0 1 0   A C M   C O N F E R E N C E   O N   C O M P U T E R   S U P P O R T E D   C O O P E R A T I V E   W O R K ,   P 1 9 7 ;   C u n n i n g h a m   S ,   2 0 1 3 ,   L E N D I N G   C L U B   V S   P R O S ;   D e z s o   L ,   2 0 1 2 ,   J   E C O N   P S Y C H O L ,   V 3 3 ,   P 9 9 6 ,   D O I   1 0 . 1 0 1 6 / j . j o e p . 2 0 1 2 . 0 6 . 0 0 2 ;   D o   H . ,   2 0 1 2 ,   P   I N T   C   I N F   S Y S T   O R L ;   D u a r t e   J ,   2 0 1 2 ,   R E V   F I N A N C   S T U D ,   V 2 5 ,   P 2 4 5 5 ,   D O I   1 0 . 1 0 9 3 / r f s / h h s 0 7 1 ;   D U T T O N   J E ,   1 9 9 4 ,   A D M I N   S C I   Q U A R T ,   V 3 9 ,   P 2 3 9 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 2 3 5 ;   E l i a s o p h   N ,   2 0 0 3 ,   A M   J   S O C I O L ,   V 1 0 8 ,   P 7 3 5 ,   D O I   1 0 . 1 0 8 6 / 3 6 7 9 2 0 ;   F o r m a n   C ,   2 0 0 8 ,   I N F O R M   S Y S T   R E S ,   V 1 9 ,   P 2 9 1 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 8 0 . 0 1 9 3 ;   F r e e d m a n   S . ,   2 0 0 8 ,   0 8 4 3   N E T   I N D   U   S C H   P ;   G R A N O V E T T E R   M S ,   1 9 7 3 ,   A M   J   S O C I O L ,   V 7 8 ,   P 1 3 6 0 ,   D O I   1 0 . 1 0 8 6 / 2 2 5 4 6 9 ;   G r e i n e r   M E ,   2 0 1 0 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 5 ,   P 1 0 5 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 5 0 2 0 4 ;   G r e i n e r   M . E . ,   2 0 0 9 ,   I C I S   2 0 0 9   P ;   G u i r a l - C o n t r e r a s   A ,   2 0 0 7 ,   A C C O U N T   F I N A N C ,   V 4 7 ,   P 2 8 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 6 2 9 x . 2 0 0 6 . 0 0 2 0 8 . x ;   H a s l a m   N ,   2 0 0 0 ,   B R I T   J   S O C   P S Y C H O L ,   V 3 9 ,   P 1 1 3 ,   D O I   1 0 . 1 3 4 8 / 0 1 4 4 6 6 6 0 0 1 6 4 3 6 3 ;   H a s l a m   S A ,   1 9 9 9 ,   P E R S   S O C   P S Y C H O L   B ,   V 2 5 ,   P 8 0 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 6 1 6 7 2 9 9 0 2 5 0 0 7 0 0 4 ;   H e r r e r o - L o p e z   S . ,   2 0 0 9 ,   P   W O R K S H   S O C   N E T W   M I ,   D O I   [ 1 0 . 1 1 4 5 / 1 7 3 1 0 1 1 . 1 7 3 1 0 1 4 . ,   D O I   1 0 . 1 1 4 5 / 1 7 3 1 0 1 1 . 1 7 3 1 0 1 4 ] ;   H e r z e n s t e i n   M ,   2 0 1 1 ,   J   M A R K E T I N G   R E S ,   V 4 8 ,   p S 1 3 8 ;   H e r z e n s t e i n   M ,   2 0 1 1 ,   J   I N T E R A C T   M A R K ,   V 2 5 ,   P 2 7 ,   D O I   1 0 . 1 0 1 6 / j . i n t m a r . 2 0 1 0 . 0 7 . 0 0 1 ;   H i l t u n e n   E ,   2 0 0 8 ,   F U T U R E S ,   V 4 0 ,   P 2 4 7 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e s . 2 0 0 7 . 0 8 . 0 2 1 ;   H O E L T E R   J W ,   1 9 8 3 ,   S O C   P S Y C H O L   Q U A R T ,   V 4 6 ,   P 1 4 0 ,   D O I   1 0 . 2 3 0 7 / 3 0 3 3 8 5 0 ;   I a c o b u z i o   T . ,   2 0 0 6 ,   B A N K   T E C H N O L O G Y   N E W S ,   V 1 9 ,   P 2 5 ;   I y e r   R . ,   2 0 0 9 ,   A F A   2 0 1 1   D E N V   M ;   J e o n g   G . ,   2 0 1 2 ,   P   1 4   A N N   I N T   C   E L   C O ,   P 8 3 ;   K A T Z   M L ,   1 9 8 5 ,   A M   E C O N   R E V ,   V 7 5 ,   P 4 2 4 ;   K a t z   M .   L . ,   1 9 9 6 ,   I N D   C O R P   C H A N G E ,   V 5 ,   P 1 0 7 9 ;   K l a f f t   M ,   2 0 0 8 ,   P   I N T   C   I N F   S Y S T   T E C ;   K l a f f t   M ,   2 0 0 8 ,   L E N D E R S   P E R S P E C T I V E ,   P 3 7 1 ;   K u p p   M a r t i n ,   2 0 0 7 ,   B u s i n e s s   S t r a t e g y   R e v i e w ,   V 1 8 ,   P 1 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 1 6 . 2 0 0 7 . 0 0 4 7 8 . x ;   L a r r i m o r e   L ,   2 0 1 1 ,   J   A P P L   C O M M U N   R E S ,   V 3 9 ,   P 1 9 ,   D O I   1 0 . 1 0 8 0 / 0 0 9 0 9 8 8 2 . 2 0 1 0 . 5 3 6 8 4 4 ;   L e e   E ,   2 0 1 2 ,   E L E C T R O N   C O M M E R   R   A ,   V 1 1 ,   P 4 9 5 ,   D O I   1 0 . 1 0 1 6 / j . e l e r a p . 2 0 1 2 . 0 2 . 0 0 1 ;   L i n   M ,   2 0 0 9 ,   1 7   A M C I S   D O C T   C O N S ;   L i v i n g s t o n   L ,   2 0 0 9 ,   I N T   C   I N F   S Y S T ,   V 1 ,   P 1 ;   L u   Y . ,   2 0 1 2 ,   P   I N T   C   I N F   S Y S T   O R L ;   L u o   C . ,   2 0 1 1 ,   P   1 7   A C M   S I G K D D   I N T ,   P 2 9 2 ;   M e s t e r   L .   J . ,   1 9 9 7 ,   B U S   R E V ,   V 3 ,   P 3 ;   M i c h a l s k i   S . ,   2 0 0 8 ,   J   R E L A T I O N S H I P   M A R K E ,   V 7 ,   P 4 5 ;   M o o d i e   M ,   2 0 1 3 ,   S I G N S ,   V 3 8 ,   P 2 7 9 ,   D O I   1 0 . 1 0 8 6 / 6 6 7 4 4 8 ;   B r i c e n o   O r t e g a   A . C . ,   2 0 0 8 ,   A M C I S   2 0 0 8   P ;   P a v l o u   P A ,   2 0 0 4 ,   I N F O R M   S Y S T   R E S ,   V 1 5 ,   P 3 7 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 4 0 . 0 0 1 5 ;   P o p e   D G ,   2 0 1 1 ,   J   H U M   R E S O U R ,   V 4 6 ,   P 5 3 ;   P o t z s c h   S ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 1 0 1 ,   P 3 8 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 3 8 6 9 - 0 _ 2 8 ;   P u r o   L ,   2 0 1 1 ,   D E C I S   S U P P O R T   S Y S T ,   V 5 1 ,   P 3 1 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 0 . 1 1 . 0 1 6 ;   P u r o   L ,   2 0 1 0 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 9 ,   P 5 2 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 9 . 1 2 . 0 0 9 ;   S h e n   K N ,   2 0 1 0 ,   B E H A V   I N F O R M   T E C H N O L ,   V 2 9 ,   P 3 3 7 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 4 9 2 9 0 9 0 3 1 5 6 6 2 2 ;   S h i h   M ,   1 9 9 9 ,   P S Y C H O L   S C I ,   V 1 0 ,   P 8 0 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 2 8 0 . 0 0 1 1 1 ;   S i n a n a n   J . ,   2 0 0 9 ,   P   2 1   A N N   C   A U S T R   C O M ,   P 2 9 3 ,   D O I   1 0 . 1 1 4 5 / 1 7 3 8 8 2 6 . 1 7 3 8 8 7 8 ;   S o n e n s h e i n   S ,   2 0 1 1 ,   O R G A N   B E H A V   H U M   D E C ,   V 1 1 5 ,   P 6 9 ,   D O I   1 0 . 1 0 1 6 / j . o b h d p . 2 0 1 0 . 1 1 . 0 0 9 ;   S t e t s   J E ,   2 0 0 0 ,   S O C   P S Y C H O L   Q U A R T ,   V 6 3 ,   P 2 2 4 ,   D O I   1 0 . 2 3 0 7 / 2 6 9 5 8 7 0 ;   S T R Y K E R   S ,   1 9 6 8 ,   J   M A R R I A G E   F A M ,   V 3 0 ,   P 5 5 8 ,   D O I   1 0 . 2 3 0 7 / 3 4 9 4 9 4 ;   S T R Y K E R   S ,   1 9 9 4 ,   S O C   P S Y C H O L   Q U A R T ,   V 5 7 ,   P 1 6 ,   D O I   1 0 . 2 3 0 7 / 2 7 8 6 9 7 2 ;   S t r y k e r   S . ,   1 9 8 0 ,   S Y M B O L I C   I N T E R A C T I O N ;   S t r y k e r   S ,   2 0 0 8 ,   A N N U   R E V   S O C I O L ,   V 3 4 ,   P 1 5 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . s o c . 3 4 . 0 4 0 5 0 7 . 1 3 4 6 4 9 ;   T A J F E L   H ,   1 9 7 9 ,   B R I T   J   S O C   C L I N   P S Y C ,   V 1 8 ,   P 1 8 3 ;   T u r n e r   J .   C . ,   1 9 7 9 ,   S O C I A L   P S Y C H O L   I N T E R ,   P 3 3 ,   D O I   D O I   1 0 . 1 0 1 6 / S 0 0 6 5 - 2 6 0 1 ( 0 5 ) 3 7 0 0 5 - 5 ;   U z z i   B ,   1 9 9 6 ,   A M   S O C I O L   R E V ,   V 6 1 ,   P 6 7 4 ,   D O I   1 0 . 2 3 0 7 / 2 0 9 6 3 9 9 ;   W a n g   H . ,   2 0 1 0 ,   I C I S   2 0 1 0   P ;   W a n g   H . ,   2 0 1 1 ,   C O M M U N I C A T I O N S   A S S   I ,   V 2 9 ,   P 2 4 3 ;   W a n g   H ,   2 0 0 9 ,   L E C T   N O T E S   B U S   I N F   P ,   V 3 6 ,   P 1 8 2 ;   Y u m   H ,   2 0 1 2 ,   E L E C T R O N   C O M M E R   R   A ,   V 1 1 ,   P 4 6 9 ,   D O I   1 0 . 1 0 1 6 / j . e l e r a p . 2 0 1 2 . 0 5 . 0 0 3 ;   Z h a n g   J J ,   2 0 1 2 ,   M A N A G E   S C I ,   V 5 8 ,   P 8 9 2 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 4 5 9 	 8 2 	 0 	 0 	 8 	 8 	 P A L G R A V E   M A C M I L L A N   L T D 	 B A S I N G S T O K E 	 B R U N E L   R D   B L D G ,   H O U N D M I L L S ,   B A S I N G S T O K E   R G 2 1   6 X S ,   H A N T S ,   E N G L A N D 	 0 2 6 8 - 3 9 6 2 	 1 4 6 6 - 4 4 3 7 	 	 J   I N F   T E C H N O L 	 J .   I n f .   T e c h n o l . 	 J U N 	 2 0 1 7 	 3 2 	 2 	 	 	 	 	 1 2 7 	 1 4 6 	 	 1 0 . 1 0 5 7 / j i t . 2 0 1 6 . 1 	 	 2 0 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   M a n a g e m e n t 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   B u s i n e s s   &   E c o n o m i c s 	 E W 5 W D 	 W O S : 0 0 0 4 0 2 5 7 6 3 0 0 0 0 2 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 R a m s d a l e ,   J D ;   B a l m e ,   M R ;   C o n w a y ,   S J ;   G a l l a g h e r ,   C ;   v a n   G a s s e l t ,   S A ;   H a u b e r ,   E ;   O r g e l ,   C ;   S e j o u r n e ,   A ;   S k i n n e r ,   J A ;   C o s t a r d ,   F ;   J o h n s s o n ,   A ;   L o s i a k ,   A ;   R e i s s ,   D ;   S w i r a d ,   Z M ;   K e r e s z t u r i ,   A ;   S m i t h ,   I B ;   P l a t z ,   T 	 	 	 	 R a m s d a l e ,   J a s o n   D . ;   B a l m e ,   M a t t h e w   R . ;   C o n w a y ,   S u s a n   J . ;   G a l l a g h e r ,   C o l m a n ;   v a n   G a s s e l t ,   S t e p h a n   A . ;   H a u b e r ,   E r n s t ;   O r g e l ,   C s i l l a ;   S e j o u r n e ,   A n t o i n e ;   S k i n n e r ,   J a m e s   A . ;   C o s t a r d ,   F r a n c o i s ;   J o h n s s o n ,   A n d r e a s ;   L o s i a k ,   A n n a ;   R e i s s ,   D e n n i s ;   S w i r a d ,   Z u z a n n a   M . ;   K e r e s z t u r i ,   A k o s ;   S m i t h ,   I s a a c   B . ;   P l a t z ,   T h o m a s 	 	 	 G r i d - b a s e d   m a p p i n g :   A   m e t h o d   f o r   r a p i d l y   d e t e r m i n i n g   t h e   s p a t i a l   d i s t r i b u t i o n s   o f   s m a l l   f e a t u r e s   o v e r   v e r y   l a r g e   a r e a s 	 P L A N E T A R Y   A N D   S P A C E   S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 T R A N S V E R S E   A E O L I A N   R I D G E S ;   N O R T H E R N   P L A I N S ;   I S I D I S   P L A N I T I A ;   M A R S ;   L A T I T U D E ;   G L A C I A T I O N ;   O R I G I N ;   C O N E S ;   A G E S ;   S I T E 	 T h e   i n c r e a s e d   v o l u m e ,   s p a t i a l   r e s o l u t i o n ,   a n d   a r e a l   c o v e r a g e   o f   h i g h - r e s o l u t i o n   i m a g e s   o f   M a r s   o v e r   t h e   p a s t   1 5   y e a r s   h a v e   l e d   t o   a n   i n c r e a s e d   q u a n t i t y   a n d   v a r i e t y   o f   s m a l l - s c a l e   l a n d f o r m   i d e n t i f i c a t i o n s .   T h o u g h   m a n y   s u c h   l a n d f o r m s   a r e   t o o   s m a l l   t o   r e p r e s e n t   i n d i v i d u a l l y   o n   r e g i o n a l - s c a l e   m a p s ,   d e t e r m i n i n g   t h e i r   p r e s e n c e   o r   a b s e n c e   a c r o s s   l a r g e   a r e a s   h e l p s   f o r m   t h e   o b s e r v a t i o n a l   b a s i s   f o r   d e v e l o p i n g   h y p o t h e s e s   o n   t h e   g e o l o g i c a l   n a t u r e   a n d   e n v i r o n m e n t a l   h i s t o r y   o f   a   s t u d y   a r e a .   T h e   c o m b i n a t i o n   o f   i m p r o v e d   s p a t i a l   r e s o l u t i o n   a n d   n e a r - c o n t i n u o u s   c o v e r a g e   s i g n i f i c a n t l y   i n c r e a s e s   t h e   t i m e   r e q u i r e d   t o   a n a l y s e   t h e   d a t a .   T h i s   b e c o m e s   p r o b l e m a t i c   w h e n   a t t e m p t i n g   r e g i o n a l   o r   g l o b a l - s c a l e   s t u d i e s   o f   m e t r e   a n d   d e c a m e t r e - s c a l e   l a n d f o r m s .   H e r e ,   w e   d e s c r i b e   a n   a p p r o a c h   f o r   m a p p i n g   s m a l l   f e a t u r e s   ( f r o m   d e c i m e t r e   t o   k i l o m e t r e   s c a l e )   a c r o s s   l a r g e   a r e a s ,   f o r m u l a t e d   f o r   a   p r o j e c t   t o   s t u d y   t h e   n o r t h e r n   p l a i n s   o f   M a r s ,   a n d   p r o v i d e   c o n t e x t   o n   h o w   t h i s   m e t h o d   w a s   d e v e l o p e d   a n d   h o w   i t   c a n   b e   i m p l e m e n t e d .   R a t h e r   t h a n .   " m a p p i n g "   w i t h   p o i n t s   a n d   p o l y g o n s ,   g r i d - b a s e d   m a p p i n g   u s e s   a   " t i c k   b o x "   a p p r o a c h   t o   e f f i c i e n t l y   r e c o r d   t h e   l o c a t i o n s   o f   s p e c i f i c   l a n d f o r m s   ( w e   u s e   a n   e x a m p l e   s u i t e   o f   g l a c i a l   l a n d f o r m s ;   i n c l u d i n g   v i s c o u s   f l o w   f e a t u r e s ,   t h e   l a t i t u d e   d e p e n d a n t   m a n t l e   a n d   p o l y g o n i s e d   g r o u n d ) .   A   g r i d   o f   s q u a r e s   ( e . g .   2 0   k m   b y   2 0   k m )   i s   c r e a t e d   o v e r   t h e   m a p p i n g   a r e a .   T h e n   t h e   b a s e m a p   d a t a   a r e   s y s t e m a t i c a l l y   e x a m i n e d ,   g r i d - s q u a r e   b y   g r i d - s q u a r e   a t   f u l l   r e s o l u t i o n ,   i n   o r d e r   t o   i d e n t i f y   t h e   l a n d f o r m s   w h i l e   r e c o r d i n g   t h e   p r e s e n c e   o r   a b s e n c e   o f   s e l e c t e d   l a n d f o r m s   i n   e a c h   g r i d - s q u a r e   t o   d e t e r m i n e   s p a t i a l   d i s t r i b u t i o n s .   T h e   r e s u l t   i s   a   s e r i e s   o f   g r i d s   r e c o r d i n g   t h e   d i s t r i b u t i o n   o f   a l l   t h e   m a p p e d   l a n d f o r m s   a c r o s s   t h e   s t u d y   a r e a .   I n   s o m e   w a y s ,   t h e s e   a r e   e q u i v a l e n t   t o   r a s t e r   i m a g e s ,   a s   t h e y   s h o w   a   c o n t i n u o u s   d i s t r i b u t i o n - f i e l d   o f   t h e   v a r i o u s   l a n d f o r m s   a c r o s s   a   d e f i n e d   ( r e c t a n g u l a r ,   i n   m o s t   c a s e s )   a r e a .   W h e n   o v e r l a i n   o n   c o n t e x t   m a p s ,   t h e s e   f o r m   a   c o a r s e ,   d i g i t a l   l a n d f o r m   m a p .   W e   f i n d   t h a t   g r i d - b a s e d   m a p p i n g   p r o v i d e s   a n   e f f i c i e n t   s o l u t i o n   t o   t h e   p r o b l e m s   o f   m a p p i n g   s m a l l   l a n d f o r m s   o v e r   l a r g e   a r e a s ,   b y   p r o v i d i n g   a   c o n s i s t e n t   a n d   s t a n d a r d i s e d   a p p r o a c h   t o   s p a t i a l   d a t a   c o l l e c t i o n .   T h e   s i m p l i c i t y   o f   t h e   g r i d - b a s e d   m a p p i n g   a p p r o a c h   m a k e s   i t   e x t r e m e l y   s c a l a b l e   a n d   w o r k a b l e   f o r   g r o u p   e f f o r t s ,   r e q u i r i n g   m i n i m a l   u s e r   e x p e r i e n c e   a n d   p r o d u c i n g   c o n s i s t e n t   a n d   r e p e a t a b l e   r e s u l t s .   T h e   d i s c r e t e   n a t u r e   o f   t h e   d a t a s e t s ,   s i m p l i c i t y   o f   a p p r o a c h ,   a n d   d i v i s i b i l i t y   o f   t a s k s ,   o p e n   u p   t h e   p o s s i b i l i t y   f o r   c i t i z e n   s c i e n c e   i n   w h i c h   c r o w d s o u r c i n g   l a r g e   g r i d   b a s e d   m a p p i n g   a r e a s   c o u l d   b e   a p p l i e d . 	 [ R a m s d a l e ,   J a s o n   D . ;   B a l m e ,   M a t t h e w   R . ;   C o n w a y ,   S u s a n   J . ]   O p e n   U n i v ,   D e p t   P h y s   S c i ,   W a l t o n   H a l l ,   M i l t o n   K e y n e s   M K 7   6 A A ,   B u c k s ,   E n g l a n d ;   [ B a l m e ,   M a t t h e w   R . ;   P l a t z ,   T h o m a s ]   P l a n e t a r y   S c i   I n s t ,   S u i t e   1 0 6 , 1 7 0 0   E a s t   F t   L o w e l l ,   T u c s o n ,   A Z   U S A ;   [ C o n w a y ,   S u s a n   J . ]   C N R S ,   U M R   6 1 1 2 ,   L a b   P l a n e t o l   &   G e o d y n a m ,   2   R u e   H o u s s i n i e r e , B P   9 2 2 0 8 ,   F - 4 4 3 2 2   N a n t e s   3 ,   F r a n c e ;   [ G a l l a g h e r ,   C o l m a n ]   U n i v   C o l l ,   U C D   S c h   G e o g ,   D u b l i n   4 ,   I r e l a n d ;   [ G a l l a g h e r ,   C o l m a n ]   U n i v   C o l l ,   U C D   E a r t h   I n s t ,   D u b l i n   4 ,   I r e l a n d ;   [ v a n   G a s s e l t ,   S t e p h a n   A . ;   O r g e l ,   C s i l l a ]   F r e e   U n i v   B e r l i n ,   I n s t   G e o l   S c i   P l a n e t a r y   S c i   &   R e m o t e   S e n s i n g ,   D - 1 2 2 4 9   B e r l i n ,   G e r m a n y ;   [ H a u b e r ,   E r n s t ;   O r g e l ,   C s i l l a ]   D L R   I n s t   P l a n e t e n f o r s c h ,   R u t h e r f o r d s t r   2 ,   D - 1 2 4 8 9   B e r l i n ,   A d l e r s h o f ,   G e r m a n y ;   [ S e j o u r n e ,   A n t o i n e ;   C o s t a r d ,   F r a n c o i s ]   U n i v   P a r i s   1 1 ,   U n i v   P a r i s   S a c l a y ,   C N R S ,   G E O P S   G e o s c i   P a r i s   S u d ,   B a t   5 0 9 ,   F - 9 1 4 0 5   O r s a y ,   F r a n c e ;   [ S k i n n e r ,   J a m e s   A . ]   U S   G e o l   S u r v e y ,   F l a g s t a f f ,   A Z   8 6 0 0 1   U S A ;   [ J o h n s s o n ,   A n d r e a s ]   U n i v   G o t h e n b u r g ,   D e p t   E a r t h   S c i ,   B o x   4 6 0 ,   S E - 4 0 5 3 0   G o t h e n b u r g ,   S w e d e n ;   [ L o s i a k ,   A n n a ]   P o l i s h   A c a d   S c i ,   I n s t   G e o l   S c i ,   P o d w a l e   7 5 ,   P L - 5 0 4 4 9   W r o c l a w ,   P o l a n d ;   [ L o s i a k ,   A n n a ]   U n i v   V i e n n a ,   D e p t   L i t h o s p h e r   R e s ,   A l t h a n s t r   1 4 ,   A - 1 0 9 0   V i e n n a ,   A u s t r i a ;   [ R e i s s ,   D e n n i s ]   W e s t f a l l i s c h e   W i l h e i m s   U n i v ,   I n s t   P l a n e t o l ,   W i l h e l m   K l e m m   S t r   1 0 ,   D - 4 8 1 4 9   M u n s t e r ,   G e r m a n y ;   [ S w i r a d ,   Z u z a n n a   M . ]   U n i v   D u r h a m ,   D e p t   G e o g ,   D u r h a m   D H 1   3 L E ,   E n g l a n d ;   [ K e r e s z t u r i ,   A k o s ]   R e s   C t r   A s t r o n   &   E a r t h   S c i ,   C s a t k a i   U   6 - 8 ,   H - 9 4 0 0   S o p r o n ,   H u n g a r y ;   [ S m i t h ,   I s a a c   B . ]   U n i v   T e x a s   A u s t i n ,   I n s t   G e o p h y s ,   J J   P i c k l e   R e s   C a m p u s , B l d g   1 9 6 ,   A u s t i n ,   T X   7 8 7 5 8   U S A ;   [ P l a t z ,   T h o m a s ]   M a x   P l a n c k   I n s t   S o n n e n s y s t   F o r s c h ,   J u s t u s   v o n   L i e b i g   W e g   3 ,   D - 3 7 0 7 7   G o t t i n g e n ,   G e r m a n y 	 R a m s d a l e ,   J D   ( r e p r i n t   a u t h o r ) ,   O p e n   U n i v ,   D e p t   P h y s   S c i ,   W a l t o n   H a l l ,   M i l t o n   K e y n e s   M K 7   6 A A ,   B u c k s ,   E n g l a n d . 	 j a s o n . r a m s d a l e @ o p e n . a c . u k 	 	 	 S T F C   [ S T / L 0 0 0 7 7 6 / 1 ,   S T / K 5 0 2 2 1 2 / 1 ] ;   U K   L e v e r h u l m e   T r u s t   [ R P G - 3 9 7 ] ;   F r e n c h   S p a c e   A g e n c y   C N E S ;   N C N   [ U M O - 2 0 1 3 / 0 8 / S / S T 1 0 / 0 0 5 8 6 ] ;   E R A S M U S   p r o g r a m ;   B M W i   [ 5 0 Q M 1 3 0 1 ] 	 J R   w a s   s u p p o r t e d   b y   S T F C   ( S T / L 0 0 0 7 7 6 / 1   a n d   S T / K 5 0 2 2 1 2 / 1 ) .   M B   w a s   s u p p o r t e d   b y   g r a n t s   f r o m   S T F C   ( S T / L 0 0 0 7 7 6 / 1 )   a n d   t h e   U K   L e v e r h u l m e   T r u s t   ( R P G - 3 9 7 ) .   S C   w a s   s u p p o r t e d   b y   t h e   L e v e r h u l m e   T r u s t   ( R P G - 3 9 7 )   a n d   t h e   F r e n c h   S p a c e   A g e n c y   C N E S .   M . R . P .   A L   w a s   s u p p o r t e d   b y   g r a n t   N C N   ( U M O - 2 0 1 3 / 0 8 / S / S T 1 0 / 0 0 5 8 6 ) .   C O   w a s   s u p p o r t e d   b y   t h e   E R A S M U S   p r o g r a m   a n d   B M W i   g r a n t   5 0 Q M 1 3 0 1 . 	 B a l m e   M ,   2 0 0 8 ,   G E O M O R P H O L O G Y ,   V 1 0 1 ,   P 7 0 3 ,   D O I   1 0 . 1 0 1 6 / j . g e o m o r p h . 2 0 0 8 . 0 3 . 0 1 1 ;   B A R L O W   N G ,   1 9 9 0 ,   I C A R U S ,   V 8 7 ,   P 1 5 6 ,   D O I   1 0 . 1 0 1 6 / 0 0 1 9 - 1 0 3 5 ( 9 0 ) 9 0 0 2 6 - 6 ;   B e r m a n   D C ,   2 0 1 1 ,   I C A R U S ,   V 2 1 3 ,   P 1 1 6 ,   D O I   1 0 . 1 0 1 6 / j . i c a r u s . 2 0 1 1 . 0 2 . 0 1 4 ;   B r a d w e l l   T ,   2 0 1 3 ,   G E O M O R P H O L O G Y ,   V 2 0 1 ,   P 3 9 7 ,   D O I   1 0 . 1 0 1 6 / j . g e o m o r p h . 2 0 1 3 . 0 7 . 0 1 4 ;   B r i d g e s   J C ,   2 0 0 3 ,   J   G E O P H Y S   R E S - P L A N E T ,   V 1 0 8 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 1 J E 0 0 1 8 2 0 ;   B r o o k e r   L . ,   2 0 1 5 ,   P   M A R S   E U R   P L A N   S C I ;   B r u n o   B C ,   2 0 0 4 ,   J   G E O P H Y S   R E S - P L A N E T ,   V 1 0 9 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 4 J E 0 0 2 2 7 3 ;   B u r r   D M ,   2 0 0 9 ,   P L A N E T   S P A C E   S C I ,   V 5 7 ,   P 5 4 1 ,   D O I   1 0 . 1 0 1 6 / j . p s s . 2 0 0 8 . 1 1 . 0 0 3 ;   C h r i s t e n s e n   P R ,   2 0 0 4 ,   S P A C E   S C I   R E V ,   V 1 1 0 ,   P 8 5 ,   D O I   1 0 . 1 0 2 3 / B : S P A C . 0 0 0 0 0 2 1 0 0 8 . 1 6 3 0 5 . 9 4 ;   C O S T A R D   F M ,   1 9 9 5 ,   I C A R U S ,   V 1 1 4 ,   P 9 3 ,   D O I   1 0 . 1 0 0 6 / i c a r . 1 9 9 5 . 1 0 4 6 ;   D a v i s   P .   A . ,   1 9 9 5 ,   L U N A R   P L A N E T   S C I   C ,   P 3 2 1 ;   E l   M a a r r y   M R ,   2 0 1 0 ,   J   G E O P H Y S   R E S - P L A N E T ,   V 1 1 5 ,   D O I   1 0 . 1 0 2 9 / 2 0 1 0 J E 0 0 3 6 0 9 ;   F e d e r a l   G e o g r a p h i c   D a t a   C o m m i t t e e ,   2 0 0 6 ,   F G D C   D I G   C A R T   S T A N D ,   P 2 ;   F l a m i n i   E ,   2 0 1 0 ,   P L A N E T   S P A C E   S C I ,   V 5 8 ,   P 1 2 5 ,   D O I   1 0 . 1 0 1 6 / j . p s s . 2 0 0 9 . 0 6 . 0 1 7 ;   G h e n t   R R ,   2 0 1 2 ,   I C A R U S ,   V 2 1 7 ,   P 1 6 9 ,   D O I   1 0 . 1 0 1 6 / j . i c a r u s . 2 0 1 1 . 1 0 . 0 1 8 ;   G r e e l e y   R . ,   1 9 8 7 ,   G E O L O G I C   M A P   E   E Q U A T ;   G r e e n e   D .   R . ,   1 9 8 2 ,   P   A W R A   I N T   S   H Y D R   D E ;   G R I Z Z A F F I   P ,   1 9 8 9 ,   I C A R U S ,   V 7 7 ,   P 3 5 8 ,   D O I   1 0 . 1 0 1 6 / 0 0 1 9 - 1 0 3 5 ( 8 9 ) 9 0 0 9 4 - 8 ;   H a y w a r d   R K ,   2 0 0 7 ,   J   G E O P H Y S   R E S - P L A N E T ,   V 1 1 2 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 7 J E 0 0 2 9 4 3 ;   H u b b a r d   B ,   2 0 1 1 ,   I C A R U S ,   V 2 1 1 ,   P 3 3 0 ,   D O I   1 0 . 1 0 1 6 / j . i c a r u s . 2 0 1 0 . 1 0 . 0 2 1 ;   J o n e s   A P ,   2 0 1 1 ,   I C A R U S ,   V 2 1 1 ,   P 2 5 9 ,   D O I   1 0 . 1 0 1 6 / j . i c a r u s . 2 0 1 0 . 1 0 . 0 1 4 ;   J o y   K ,   2 0 1 1 ,   A S T R O N O M Y   G E O P H Y S ,   V 5 2 ,   P 2 ;   K a n e f s k y   B . ,   2 0 0 1 ,   L U N   P L A N   S C I   C ;   K A R G E L   J S ,   1 9 9 5 ,   J   G E O P H Y S   R E S - P L A N E T ,   V 1 0 0 ,   P 5 3 5 1 ,   D O I   1 0 . 1 0 2 9 / 9 4 J E 0 2 4 4 7 ;   K A R G E L   J S ,   1 9 9 2 ,   G E O L O G Y ,   V 2 0 ,   P 3 ,   D O I   1 0 . 1 1 3 0 / 0 0 9 1 - 7 6 1 3 ( 1 9 9 2 ) 0 2 0 < 0 0 0 3 : A G O M > 2 . 3 . C O ; 2 ;   K e s z t h e l y i   L ,   2 0 0 0 ,   J   G E O P H Y S   R E S - P L A N E T ,   V 1 0 5 ,   P 1 5 0 2 7 ,   D O I   1 0 . 1 0 2 9 / 1 9 9 9 J E 0 0 1 1 9 1 ;   K o s t a m a   V P ,   2 0 0 6 ,   G E O P H Y S   R E S   L E T T ,   V 3 3 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 6 G L 0 2 5 9 4 6 ;   K r e s l a y s k y   M .   A . ,   2 0 0 2 ,   G E O P H Y S   R E S   L E T T ,   V 2 9 ;   L a n a g a n   P D ,   2 0 0 1 ,   G E O P H Y S   R E S   L E T T ,   V 2 8 ,   P 2 3 6 5 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 1 G L 0 1 2 9 3 2 ;   L o c k w o o d   J .   F . ,   1 9 9 2 ,   L U N   P L A N   S C I   C ,   P 7 9 5 ;   L u c c h i t t a   B . K . ,   1 9 8 6 ,   M A R S   J   G E O P H Y S   R E S ,   V 9 1 ,   p E 1 6 6 ;   M a l i n   M C ,   2 0 0 1 ,   J   G E O P H Y S   R E S - P L A N E T ,   V 1 0 6 ,   P 2 3 4 2 9 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 0 J E 0 0 1 4 5 5 ;   M a l i n   M C ,   2 0 0 0 ,   S C I E N C E ,   V 2 8 8 ,   P 2 3 3 0 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 8 8 . 5 4 7 5 . 2 3 3 0 ;   M a n g o l d   N ,   2 0 0 5 ,   I C A R U S ,   V 1 7 4 ,   P 3 3 6 ,   D O I   1 0 . 1 0 1 6 / j . i c a r u s . 2 0 0 4 . 0 7 . 0 3 0 ;   M C G I L L   G E ,   1 9 9 2 ,   J   G E O P H Y S   R E S - P L A N E T ,   V 9 7 ,   P 2 6 3 3 ;   M e l l o n   M T ,   2 0 0 1 ,   J   G E O P H Y S   R E S - P L A N E T ,   V 1 0 6 ,   P 2 3 1 6 5 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 0 J E 0 0 1 4 2 4 ;   M i l l i k e n   R E ,   2 0 0 3 ,   J   G E O P H Y S   R E S - P L A N E T ,   V 1 0 8 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 2 J E 0 0 2 0 0 5 ;   N e u k u m   G . ,   2 0 0 4 ,   M A R S   E X P R E S S   S C I   P A Y ,   P 1 7 ;   O t t o   J .   C . ,   2 0 1 3 ,   G E O M O R P H O L O G I C A L   M A P ;   P E C H M A N N   J C ,   1 9 8 0 ,   I C A R U S ,   V 4 2 ,   P 1 8 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 1 9 - 1 0 3 5 ( 8 0 ) 9 0 0 7 1 - 8 ;   P e u l v a s t   J P ,   2 0 0 1 ,   G E O M O R P H O L O G Y ,   V 3 7 ,   P 3 2 9 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 9 - 5 5 5 X ( 0 0 ) 0 0 0 8 5 - 4 ;   P l e s c i a   J .   B . ,   1 9 8 0 ,   C I N D E R   C O N E S   I S I D I S ,   V 1 ,   P 2 6 3 ;   R o b b i n s   S J ,   2 0 1 2 ,   J   G E O P H Y S   R E S - P L A N E T ,   V 1 1 7 ,   D O I   1 0 . 1 0 2 9 / 2 0 1 1 J E 0 0 3 9 6 6 ;   S c o t t   D .   H . ,   1 9 7 8 ,   G E O L O G I C   M A P   O F   M A R S ;   S c o t t   D .   H . ,   1 9 8 6 ,   G E O L O G I C   M A P   W   E Q U A T ;   S H A R P   R P ,   1 9 7 5 ,   G E O L   S O C   A M   B U L L ,   V 8 6 ,   P 5 9 3 ,   D O I   1 0 . 1 1 3 0 / 0 0 1 6 - 7 6 0 6 ( 1 9 7 5 ) 8 6 < 5 9 3 : C O M > 2 . 0 . C O ; 2 ;   S k i n n e r   J r   J .   A . ,   2 0 0 6 ,   P   L U N   P L A N   S C I   C ,   V 3 7 ;   S m i t h   D .   E . ,   1 9 9 3 ,   M A R S   O B S E R V E R   L A S E R ,   P 1 4 ;   S o u n e s s   C ,   2 0 1 2 ,   P R O G   P H Y S   G E O G ,   V 3 6 ,   P 2 3 8 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 9 1 3 3 3 1 2 4 3 6 5 7 0 ;   S o u n e s s   C ,   2 0 1 2 ,   I C A R U S ,   V 2 1 7 ,   P 2 4 3 ,   D O I   1 0 . 1 0 1 6 / j . i c a r u s . 2 0 1 1 . 1 0 . 0 2 0 ;   T a n a k a   K L ,   2 0 1 4 ,   P L A N E T   S P A C E   S C I ,   V 9 5 ,   P 1 1 ,   D O I   1 0 . 1 0 1 6 / j . p s s . 2 0 1 3 . 0 3 . 0 0 6 ;   T a n a k a   K .   L . ,   2 0 1 4 ,   G E O L O G I C   M A P   O F   M A R S ;   T a n a k a   K .   L . ,   2 0 0 5 ,   G E O L O G I C   M A P   N O   P L A I ;   T a n a k a   K .   L . ,   1 9 8 7 ,   G E O L O G I C   M A P   P O L A R   R ;   T a n a k a   K . L . ,   1 9 8 8 ,   L U N A R   P L A N E T   S C I   C   P ,   V 1 8 ,   P 6 6 5 ;   U l r i c h   M ,   2 0 1 2 ,   I C A R U S ,   V 2 1 9 ,   P 3 4 5 ,   D O I   1 0 . 1 0 1 6 / j . i c a r u s . 2 0 1 2 . 0 3 . 0 1 9 ;   V o e l k e r   M . ,   2 0 1 5 ,   P   E U R   P L A N   S C I   C O N G R ;   W i l s o n   S A ,   2 0 0 4 ,   J   G E O P H Y S   R E S - P L A N E T ,   V 1 0 9 ,   D O I   1 0 . 1 0 2 9 / 2 0 0 4 J E 0 0 2 2 4 7 	 5 8 	 0 	 0 	 0 	 0 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 0 3 2 - 0 6 3 3 	 	 	 P L A N E T   S P A C E   S C I 	 P l a n e t   S p a c e   S c i . 	 J U N 	 2 0 1 7 	 1 4 0 	 	 	 	 	 	 4 9 	 6 1 	 	 1 0 . 1 0 1 6 / j . p s s . 2 0 1 7 . 0 4 . 0 0 2 	 	 1 3 	 A s t r o n o m y   &   A s t r o p h y s i c s 	 A s t r o n o m y   &   A s t r o p h y s i c s 	 E W 2 U G 	 W O S : 0 0 0 4 0 2 3 5 0 9 0 0 0 0 7 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 C h a t t e r j e e ,   A ;   S e o ,   D W ;   V a r s h n e y ,   L R 	 	 	 	 C h a t t e r j e e ,   A v h i s h e k ;   S e o ,   D a e w o n ;   V a r s h n e y ,   L a v   R . 	 	 	 C a p a c i t y   o f   S y s t e m s   w i t h   Q u e u e - L e n g t h   D e p e n d e n t   S e r v i c e   Q u a l i t y 	 I E E E   T R A N S A C T I O N S   O N   I N F O R M A T I O N   T H E O R Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C h a n n e l   c a p a c i t y ;   q u a l i t y   o f   s e r v i c e ;   q u e u i n g 	 S E R V E R   T I M I N G   C H A N N E L ;   I N F O R M A T I O N - T H E O R Y ;   T I M E ;   B I T S 	 W e   s t u d y   t h e   i n f o r m a t i o n - t h e o r e t i c   l i m i t   o f   r e l i a b l e   i n f o r m a t i o n   p r o c e s s i n g   b y   a   s e r v e r   w i t h   q u e u e - l e n g t h   d e p e n d e n t   q u a l i t y   o f   s e r v i c e .   W e   d e f i n e   t h e   c a p a c i t y   f o r   s u c h   a   s y s t e m   a s   t h e   n u m b e r   o f   b i t s   r e l i a b l y   p r o c e s s e d   p e r   u n i t   t i m e ,   a n d   c h a r a c t e r i z e   i t   i n   t e r m s   o f   q u e u i n g   s y s t e m   p a r a m e t e r s .   W e   a l s o   c h a r a c t e r i z e   t h e   d i s t r i b u t i o n s   o f   t h e   a r r i v a l   a n d   s e r v i c e   p r o c e s s e s   t h a t   m a x i m i z e   a n d   m i n i m i z e   t h e   c a p a c i t y   o f   s u c h   s y s t e m s   i n   a   d i s c r e t e t i m e   s e t t i n g .   F o r   a r r i v a l   p r o c e s s e s   w i t h   a t   m o s t   o n e   a r r i v a l   p e r   t i m e   s l o t ,   w e   o b s e r v e d   a   m i n i m u m   a r o u n d   t h e   m e m o r y l e s s   d i s t r i b u t i o n .   W e   a l s o   s t u d i e d   t h e   c a s e   o f   m u l t i p l e   a r r i v a l s   p e r   t i m e   s l o t ,   a n d   o b s e r v e d   t h a t   b u r s t i n e s s   i n   a r r i v a l   h a s   a d v e r s e   e f f e c t s   o n   t h e   s y s t e m .   T h e   p r o b l e m   i s   t h e o r e t i c a l l y   m o t i v a t e d   b y   a n   e f f o r t   t o   i n c o r p o r a t e   t h e   n o t i o n   o f   r e l i a b i l i t y   i n   q u e u i n g   s y s t e m s ,   a n d   i s   a p p l i c a b l e   i n   t h e   c o n t e x t s   o f   c r o w d s o u r c i n g ,   m u l t i m e d i a   c o m m u n i c a t i o n ,   a n d   s t r e a m   c o m p u t i n g . 	 [ C h a t t e r j e e ,   A v h i s h e k ;   S e o ,   D a e w o n ;   V a r s h n e y ,   L a v   R . ]   U n i v   I l l i n o i s ,   C o o r d i n a t e d   S c i   L a b ,   U r b a n a ,   I L   6 1 8 0 1   U S A 	 C h a t t e r j e e ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   I l l i n o i s ,   C o o r d i n a t e d   S c i   L a b ,   U r b a n a ,   I L   6 1 8 0 1   U S A . 	 a v h i s h e k @ i l l i n o i s . e d u ;   d s e o 9 @ i l l i n o i s . e d u ;   v a r s h n e y @ i l l i n o i s . e d u 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ C C F - 1 6 2 3 8 2 1 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   u n d e r   G r a n t   C C F - 1 6 2 3 8 2 1 .   T h i s   p a p e r   w a s   p r e s e n t e d   i n   p a r t   a t   t h e   2 0 1 6   I n t e r n a t i o n a l   S y m p o s i u m   o n   I n f o r m a t i o n   T h e o r y   a n d   I t s   A p p l i c a t i o n s   [ 1 ] . 	 A n a n t h a r a m   V ,   1 9 9 6 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 4 2 ,   P 4 ,   D O I   1 0 . 1 1 0 9 / 1 8 . 4 8 1 7 7 3 ;   B e d e k a r   A S ,   1 9 9 8 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 4 4 ,   P 4 4 6 ,   D O I   1 0 . 1 1 0 9 / 1 8 . 6 6 1 4 9 6 ;   B o r o k h o v i c h   M . ,   2 0 1 5 ,   P   D A T   G O O D   E X C H   D 4 G X ;   B r a n s o n   S ,   2 0 1 4 ,   I N T   J   C O M P U T   V I S I O N ,   V 1 0 8 ,   P 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 1 4 - 0 6 9 8 - 4 ;   C a i r e   G ,   1 9 9 9 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 4 5 ,   P 2 0 0 7 ,   D O I   1 0 . 1 1 0 9 / 1 8 . 7 8 2 1 2 5 ;   C h a t t e r j e e   A . ,   2 0 1 5 ,   P   2 0 1 5   I E E E   I N F O C O M ,   P 1 7 6 9 ;   C h a t t e r j e e   A . ,   2 0 1 6 ,   P   I N T   S   I N F   T H E O R   A P ,   P 5 8 3 ;   C o s t a   M ,   2 0 1 6 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 6 2 ,   P 1 8 9 7 ,   D O I   1 0 . 1 1 0 9 / T I T . 2 0 1 6 . 2 5 3 3 3 9 5 ;   C o v e r   T .   M . ,   1 9 9 1 ,   E L E M E N T S   I N F O R M   T H E O ;   D e r l e t   R W ,   2 0 0 0 ,   A N N   E M E R G   M E D ,   V 3 5 ,   P 6 3 ,   D O I   1 0 . 1 0 1 6 / S 0 1 9 6 - 0 6 4 4 ( 0 0 ) 7 0 1 0 5 - 3 ;   D r a p e r   S C ,   2 0 0 5 ,   I E E E   T   A U T O M A T   C O N T R ,   V 5 0 ,   P 5 3 2 ,   D O I   1 0 . 1 1 0 9 / T A C . 2 0 0 5 . 8 4 4 9 1 1 ;   D u g d a l e   D C ,   1 9 9 9 ,   J   G E N   I N T E R N   M E D ,   V 1 4 ,   p S 3 4 ;   E p h r e m i d e s   A ,   1 9 9 8 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 4 4 ,   P 2 4 1 6 ,   D O I   1 0 . 1 1 0 9 / 1 8 . 7 2 0 5 4 3 ;   G i l e s   J ,   2 0 0 2 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 4 8 ,   P 2 4 5 5 ,   D O I   1 0 . 1 1 0 9 / T I T . 2 0 0 2 . 8 0 1 4 0 5 ;   G o n g   X ,   2 0 1 1 ,   2 0 1 1   I E E E   I N T E R N A T I O N A L   S Y M P O S I U M   O N   I N F O R M A T I O N   T H E O R Y   P R O C E E D I N G S   ( I S I T ) ,   P 1 2 5 5 ,   D O I   1 0 . 1 1 0 9 / I S I T . 2 0 1 1 . 6 0 3 3 7 3 7 ;   G o r a n t l a   S K ,   2 0 1 2 ,   I E E E   T   I N F   F O R E N   S E C ,   V 7 ,   P 6 4 ,   D O I   1 0 . 1 1 0 9 / T I F S . 2 0 1 1 . 2 1 6 3 3 9 8 ;   G o y a l   V K ,   2 0 0 1 ,   I E E E   S I G N A L   P R O C   M A G ,   V 1 8 ,   P 7 4 ,   D O I   1 0 . 1 1 0 9 / 7 9 . 9 5 2 8 0 6 ;   H a n   T .   S . ,   2 0 0 3 ,   I N F O R M   S P E C T R U M   M E T H ;   H A R R I S   C M ,   1 9 6 7 ,   O P E R   R E S ,   V 1 5 ,   P 1 1 7 ,   D O I   1 0 . 1 2 8 7 / o p r e . 1 5 . 1 . 1 1 7 ;   J a m a l   M . ,   2 0 0 7 ,   I N T   J   S T R E S S   M A N A G E ,   V 1 4 ,   P 1 7 5 ,   D O I   D O I   1 0 . 1 0 3 7 / 1 0 7 2 - 5 2 4 5 . 1 4 . 2 . 1 7 5 ;   K l e i n r o c k   L . ,   1 9 7 5 ,   Q U E U I N G   S Y S T E M S   T H E O ,   V 1 ;   M i c h e l u s i   N ,   2 0 1 6 ,   I E E E   J   S E L   A R E A   C O M M ,   V 3 4 ,   P 5 8 4 ,   D O I   1 0 . 1 1 0 9 / J S A C . 2 0 1 6 . 2 5 2 5 5 5 8 ;   M u s y   S ,   2 0 0 6 ,   2 0 0 6   I E E E   I N T E R N A T I O N A L   S Y M P O S I U M   O N   I N F O R M A T I O N   T H E O R Y ,   V O L S   1 - 6 ,   P R O C E E D I N G S ,   P 2 8 9 9 ,   D O I   1 0 . 1 1 0 9 / I S I T . 2 0 0 6 . 2 6 1 6 7 0 ;   P i n s k e r   M .   S . ,   1 9 6 4 ,   I N F O R M   I N F O R M   S T A B I L ;   P r a b h a k a r   B ,   2 0 0 3 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 4 9 ,   P 3 5 7 ,   D O I   1 0 . 1 1 0 9 / T I T . 2 0 0 2 . 8 0 7 2 8 7 ;   R a j   S . ,   2 0 0 4 ,   A D V   N E T W O R K   I N F O R M   T ,   P 1 2 7 ;   S C H W A R T Z   B ,   1 9 7 8 ,   S O C   P S Y C H O L ,   V 4 1 ,   P 3 ,   D O I   1 0 . 2 3 0 7 / 3 0 3 3 5 9 2 ;   S R I R A M   K ,   1 9 8 9 ,   I E E E   T   C O M M U N ,   V 3 7 ,   P 7 0 3 ,   D O I   1 0 . 1 1 0 9 / 2 6 . 3 1 1 6 2 ;   S u n d a r e s a n   R ,   2 0 0 0 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 4 6 ,   P 7 0 5 ,   D O I   1 0 . 1 1 0 9 / 1 8 . 8 2 5 8 4 7 ;   T a v a n   M ,   2 0 1 3 ,   A N N   A L L E R T O N   C O N F ,   P 7 5 5 ,   D O I   1 0 . 1 1 0 9 / A l l e r t o n . 2 0 1 3 . 6 7 3 6 6 0 0 ;   T E L A T A R   I E ,   1 9 9 5 ,   I E E E   J   S E L   A R E A   C O M M ,   V 1 3 ,   P 9 6 3 ,   D O I   1 0 . 1 1 0 9 / 4 9 . 4 0 0 6 5 2 ;   T e l a t a r   I   E . ,   1 9 9 2 ,   T H E S I S ;   V e m p a t y   A ,   2 0 1 4 ,   I E E E   J - S T S P ,   V 8 ,   P 6 6 7 ,   D O I   1 0 . 1 1 0 9 / J S T S P . 2 0 1 4 . 2 3 1 6 1 1 6 ;   V E R D U   S ,   1 9 9 4 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 4 0 ,   P 1 1 4 7 ,   D O I   1 0 . 1 1 0 9 / 1 8 . 3 3 5 9 6 0 ;   W a g n e r   A B ,   2 0 0 5 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 5 1 ,   P 4 4 7 ,   D O I   1 0 . 1 1 0 9 / T I T . 2 0 0 4 . 8 4 0 8 7 6 	 3 5 	 0 	 0 	 1 	 1 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 0 0 1 8 - 9 4 4 8 	 1 5 5 7 - 9 6 5 4 	 	 I E E E   T   I N F O R M   T H E O R Y 	 I E E E   T r a n s .   I n f .   T h e o r y 	 J U N 	 2 0 1 7 	 6 3 	 6 	 	 	 	 	 3 9 5 0 	 3 9 6 3 	 	 1 0 . 1 1 0 9 / T I T . 2 0 1 7 . 2 6 8 1 6 8 2 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 E V 8 U F 	 W O S : 0 0 0 4 0 2 0 5 8 9 0 0 0 3 5 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 S t r i c k l a n d ,   J C ;   S t o o p s ,   W W 	 	 	 	 S t r i c k l a n d ,   J u s t i n   C . ;   S t o o p s ,   W i l l i a m   W . 	 	 	 S t i m u l u s   S e l e c t i v i t y   o f   D r u g   P u r c h a s e   T a s k s :   A   P r e l i m i n a r y   S t u d y   E v a l u a t i n g   A l c o h o l   a n d   C i g a r e t t e   D e m a n d 	 E X P E R I M E N T A L   A N D   C L I N I C A L   P S Y C H O P H A R M A C O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 b e h a v i o r a l   e c o n o m i c s ;   d e m a n d ;   c h o c o l a t e ;   m T u r k ;   s o d a 	 B E H A V I O R A L   E C O N O M I C - A N A L Y S I S ;   R E L A T I V E   R E I N F O R C I N G   E F F I C A C Y ;   U S E   D I S O R D E R S ;   I N T E R V E N T I O N   O U T C O M E S ;   N I C O T I N E   D E P E N D E N C E ;   C O C A I N E   U S E R S ;   S T R E S S ;   S M O K I N G ;   S M O K E R S ;   C U R V E 	 T h e   u s e   o f   d r u g   p u r c h a s e   t a s k s   t o   m e a s u r e   d r u g   d e m a n d   i n   h u m a n   b e h a v i o r a l   p h a r m a c o l o g y   a n d   a d d i c t i o n   r e s e a r c h   h a s   p r o l i f e r a t e d   i n   r e c e n t   y e a r s .   F e w   s t u d i e s   h a v e   s y s t e m a t i c a l l y   e v a l u a t e d   t h e   s t i m u l u s   s e l e c t i v i t y   o f   d r u g   p u r c h a s e   t a s k s   t o   d e m o n s t r a t e   t h a t   d e m a n d   m e t r i c s   a r e   s p e c i f i c   t o   v a l u a t i o n   o f   o r   d e m a n d   f o r   t h e   c o m m o d i t y   u n d e r   s t u d y .   S t i m u l u s   s e l e c t i v i t y   i s   b r o a d l y   d e f i n e d   f o r   t h i s   p u r p o s e   a s   a   c o n d i t i o n   u n d e r   w h i c h   a   s p e c i f i c   s t i m u l u s   i n p u t   o r   t a r g e t   ( e . g . ,   a l c o h o l ,   c i g a r e t t e s )   i s   t h e   p r i m a r y   d e t e r m i n a n t   o f   b e h a v i o r   ( e . g . ,   d e m a n d ) .   T h e   o v e r a l l   g o a l   o f   t h e   p r e s e n t   s t u d y   w a s   t o   e v a l u a t e   t h e   s t i m u l u s   s e l e c t i v i t y   o f   d r u g   p u r c h a s e   t a s k s .   P a r t i c i p a n t s   w e r e   s a m p l e d   f r o m   t h e   A m a z o n .   c o m ' s   c r o w d s o u r c i n g   p l a t f o r m   M e c h a n i c a l   T u r k .   P a r t i c i p a n t s   c o m p l e t e d   e i t h e r   a l c o h o l   a n d   s o d a   p u r c h a s e   t a s k s   ( E x p e r i m e n t   1 ;   N   =   1 3 9 )   o r   c i g a r e t t e   a n d   c h o c o l a t e   p u r c h a s e   t a s k s   ( E x p e r i m e n t   2 ;   N   =   4 6 ) ,   a n d   d e m a n d   m e t r i c s   w e r e   c o m p a r e d   t o   s e l f - r e p o r t e d   u s e   b e h a v i o r s .   D e m a n d   m e t r i c s   f o r   a l c o h o l   a n d   s o d a   w e r e   c l o s e l y   a s s o c i a t e d   w i t h   c o m m o d i t y - s i m i l a r   ( e . g . ,   a l c o h o l   d e m a n d   a n d   w e e k l y   a l c o h o l   u s e )   b u t   n o t   c o m m o d i t y - d i f f e r e n t   ( e . g . ,   a l c o h o l   d e m a n d   a n d   w e e k l y   s o d a   u s e )   v a r i a b l e s .   A   s i m i l a r   p a t t e r n   w a s   o b s e r v e d   f o r   c i g a r e t t e   a n d   c h o c o l a t e   d e m a n d ,   b u t   s e l e c t i v i t y   w a s   n o t   a s   c o n s i s t e n t   a s   f o r   a l c o h o l   a n d   s o d a .   C o l l e c t i v e l y ,   w e   o b s e r v e d   r o b u s t   s e l e c t i v i t y   f o r   a l c o h o l   a n d   s o d a   p u r c h a s e   t a s k s   a n d   m o d e s t   s e l e c t i v i t y   f o r   c i g a r e t t e   a n d   c h o c o l a t e   p u r c h a s e   t a s k s .   T h e s e   p r e l i m i n a r y   o u t c o m e s   s u g g e s t   t h a t   d e m a n d   m e t r i c s   a d e q u a t e l y   r e f l e c t   t h e   s p e c i f i c   c o m m o d i t y   u n d e r   s t u d y   a n d   s u p p o r t   t h e   c o n t i n u e d   u s e   o f   p u r c h a s e   t a s k s   i n   s u b s t a n c e   u s e   r e s e a r c h . 	 [ S t r i c k l a n d ,   J u s t i n   C . ;   S t o o p s ,   W i l l i a m   W . ]   U n i v   K e n t u c k y ,   C o l l   A r t s   &   S c i ,   D e p t   P s y c h o l ,   1 7 1   F u n k h o u s e r   D r ,   L e x i n g t o n ,   K Y   4 0 5 0 6   U S A ;   [ S t o o p s ,   W i l l i a m   W . ]   U n i v   K e n t u c k y ,   C o l l   M e d ,   D e p t   B e h a v   S c i ,   L e x i n g t o n ,   K Y   4 0 5 3 6   U S A ;   [ S t o o p s ,   W i l l i a m   W . ]   U n i v   K e n t u c k y ,   C o l l   M e d ,   D e p t   P s y c h i a t ,   L e x i n g t o n ,   K Y   U S A 	 S t r i c k l a n d ,   J C   ( r e p r i n t   a u t h o r ) ,   U n i v   K e n t u c k y ,   C o l l   A r t s   &   S c i ,   D e p t   P s y c h o l ,   1 7 1   F u n k h o u s e r   D r ,   L e x i n g t o n ,   K Y   4 0 5 0 6   U S A . 	 j u s t r i c k l a n d @ u k y . e d u 	 	 	 P s i   C h i   P s y c h o l o g y   H o n o r   S o c i e t y ;   N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ 1 2 4 7 3 9 2 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   P s i   C h i   P s y c h o l o g y   H o n o r   S o c i e t y   a n d   N a t i o n a l   S c i e n c e   F o u n d a t i o n   G r a n t   1 2 4 7 3 9 2 .   T h e s e   f u n d i n g   s o u r c e s   h a d   n o   r o l e   i n   s t u d y   d e s i g n ,   d a t a   c o l l e c t i o n   o r   a n a l y s i s ,   o r   p r e p a r a t i o n   o r   s u b m i s s i o n   o f   t h e   a r t i c l e . 	 A m l u n g   M ,   2 0 1 4 ,   A L C O H O L   C L I N   E X P   R E S ,   V 3 8 ,   P 1 7 8 0 ,   D O I   1 0 . 1 1 1 1 / a c e r . 1 2 4 2 3 ;   A m l u n g   M ,   2 0 1 3 ,   E X P   C L I N   P S Y C H O P H A R M ,   V 2 1 ,   P 4 6 7 ,   D O I   1 0 . 1 0 3 7 / a 0 0 3 4 2 1 4 ;   B i c k e l   W K ,   2 0 1 4 ,   A N N U   R E V   C L I N   P S Y C H O ,   V 1 0 ,   P 6 4 1 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v - c l i n p s y - 0 3 2 8 1 3 - 1 5 3 7 2 4 ;   B i c k e l   W K ,   2 0 1 2 ,   P H A R M A C O L   T H E R A P E U T ,   V 1 3 4 ,   P 2 8 7 ,   D O I   1 0 . 1 0 1 6 / j . p h a r m t h e r a . 2 0 1 2 . 0 2 . 0 0 4 ;   B i c k e l   W K ,   2 0 0 0 ,   P S Y C H O P H A R M A C O L O G Y ,   V 1 5 3 ,   P 4 4 ,   D O I   1 0 . 1 0 0 7 / s 0 0 2 1 3 0 0 0 0 5 8 9 ;   B i d w e l l   L C ,   2 0 1 2 ,   A D D I C T   B E H A V ,   V 3 7 ,   P 1 2 5 7 ,   D O I   1 0 . 1 0 1 6 / j . a d d b e h . 2 0 1 2 . 0 6 . 0 0 9 ;   B u j a r s k i   S ,   2 0 1 2 ,   E X P   C L I N   P S Y C H O P H A R M ,   V 2 0 ,   P 1 8 1 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 7 3 7 9 ;   C h a s e   H W ,   2 0 1 3 ,   P S Y C H O P H A R M A C O L O G Y ,   V 2 2 6 ,   P 3 7 1 ,   D O I   1 0 . 1 0 0 7 / s 0 0 2 1 3 - 0 1 2 - 2 9 1 1 - x ;   D e g e n h a r d t   L ,   2 0 0 1 ,   A D D I C T I O N ,   V 9 6 ,   P 1 6 0 3 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 0 - 0 4 4 3 . 2 0 0 1 . 9 6 1 1 1 6 0 3 7 . x ;   F e w   L R ,   2 0 1 2 ,   N I C O T I N E   T O B   R E S ,   V 1 4 ,   P 7 6 1 ,   D O I   1 0 . 1 0 9 3 / n t r / n t r 2 2 2 ;   G R A N T   B F ,   1 9 9 5 ,   D R U G   A L C O H O L   D E P E N ,   V 3 9 ,   P 1 9 7 ,   D O I   1 0 . 1 0 1 6 / 0 3 7 6 - 8 7 1 6 ( 9 5 ) 0 1 1 6 0 - 4 ;   [ A n o n y m o u s ] ,   G R A P H P A D   P R I S M   6   0 F ;   H E A T H E R T O N   T F ,   1 9 9 1 ,   B R I T   J   A D D I C T ,   V 8 6 ,   P 1 1 1 9 ;   H U R S H   S R ,   1 9 8 4 ,   J   E X P   A N A L   B E H A V ,   V 4 2 ,   P 4 3 5 ,   D O I   1 0 . 1 9 0 1 / j e a b . 1 9 8 4 . 4 2 - 4 3 5 ;   H u r s h   S R ,   2 0 1 3 ,   J   E X P   A N A L   B E H A V ,   V 9 9 ,   P 9 8 ,   D O I   1 0 . 1 0 0 2 / j e a b . 7 ;   J a c o b s   E A ,   1 9 9 9 ,   E X P   C L I N   P S Y C H O P H A R M ,   V 7 ,   P 4 1 2 ,   D O I   1 0 . 1 0 3 7 / / 1 0 6 4 - 1 2 9 7 . 7 . 4 . 4 1 2 ;   J o h n s o n   P S ,   2 0 1 5 ,   J   E X P   A N A L   B E H A V ,   V 1 0 3 ,   P 8 7 ,   D O I   1 0 . 1 0 0 2 / j e a b . 1 1 0 ;   K o f f a r n u s   M N ,   2 0 1 5 ,   E X P   C L I N   P S Y C H O P H A R M ,   V 2 3 ,   P 5 0 4 ,   D O I   1 0 . 1 0 3 7 / p h a 0 0 0 0 0 4 5 ;   M a c K i l l o p   J ,   2 0 0 8 ,   E X P   C L I N   P S Y C H O P H A R M ,   V 1 6 ,   P 5 7 ,   D O I   1 0 . 1 0 3 7 / 1 0 6 4 - 1 2 9 7 . 1 6 . 1 . 5 7 ;   M a c K i l l o p   J ,   2 0 0 7 ,   D R U G   A L C O H O L   D E P E N ,   V 8 9 ,   P 2 2 7 ,   D O I   1 0 . 1 0 1 6 / j . d r u g a l c d e p . 2 0 0 7 . 0 1 . 0 0 2 ;   M a c K i l l o p   J ,   2 0 1 6 ,   A L C O H O L   C L I N   E X P   R E S ,   V 4 0 ,   P 6 7 2 ,   D O I   1 0 . 1 1 1 1 / a c e r . 1 3 0 0 4 ;   M a c K i l l o p   J ,   2 0 1 2 ,   N I C O T I N E   T O B   R E S ,   V 1 4 ,   P 1 4 2 6 ,   D O I   1 0 . 1 0 9 3 / n t r / n t s 0 0 6 ;   M a c K i l l o p   J ,   2 0 1 0 ,   J   A B N O R M   P S Y C H O L ,   V 1 1 9 ,   P 1 0 6 ,   D O I   1 0 . 1 0 3 7 / a 0 0 1 7 5 1 3 ;   M a c K i l l o p   J ,   2 0 0 9 ,   P S Y C H O P H A R M A C O L O G Y ,   V 2 0 3 ,   P 3 3 ,   D O I   1 0 . 1 0 0 7 / s 0 0 2 1 3 - 0 0 8 - 1 3 6 7 - 5 ;   M a d d e n   G J ,   2 0 1 0 ,   N I C O T I N E   T O B   R E S ,   V 1 2 ,   P 4 1 6 ,   D O I   1 0 . 1 0 9 3 / n t r / n t q 0 1 8 ;   M c C l u r e   E A ,   2 0 1 3 ,   N I C O T I N E   T O B   R E S ,   V 1 5 ,   P 1 3 9 ,   D O I   1 0 . 1 0 9 3 / n t r / n t s 1 0 1 ;   M c K a y   J R ,   1 9 9 9 ,   J   S T U D   A L C O H O L ,   V 6 0 ,   P 1 7 6 ;   M u r p h y   C M ,   2 0 1 6 ,   P S Y C H O L   A D D I C T   B E H A V ,   V 3 0 ,   P 8 5 7 ,   D O I   1 0 . 1 0 3 7 / a d b 0 0 0 0 2 2 3 ;   M u r p h y   J G ,   2 0 1 5 ,   J   C O N S U L T   C L I N   P S Y C H ,   V 8 3 ,   P 1 0 3 3 ,   D O I   1 0 . 1 0 3 7 / c c p 0 0 0 0 0 3 2 ;   M u r p h y   J G ,   2 0 1 1 ,   D R U G   A L C O H O L   D E P E N ,   V 1 1 3 ,   P 2 0 7 ,   D O I   1 0 . 1 0 1 6 / j . d r u g a l c d e p . 2 0 1 0 . 0 8 . 0 0 4 ;   M u r p h y   J G ,   2 0 0 9 ,   E X P   C L I N   P S Y C H O P H A R M ,   V 1 7 ,   P 3 9 6 ,   D O I   1 0 . 1 0 3 7 / a 0 0 1 7 6 8 4 ;   N a t i o n a l   I n s t i t u t e   o n   A l c o h o l   A b u s e   a n d   A l c o h o l i s m ,   2 0 1 6 ,   D R I N K   L E V   D E F ;   O w e n s   M M ,   2 0 1 5 ,   J   E X P   A N A L   B E H A V ,   V 1 0 3 ,   P 7 7 ,   D O I   1 0 . 1 0 0 2 / j e a b . 1 1 4 ;   P i c k o v e r   A M ,   2 0 1 6 ,   E X P   C L I N   P S Y C H O P H A R M ,   V 2 4 ,   P 3 8 ,   D O I   1 0 . 1 0 3 7 / p h a 0 0 0 0 0 5 2 ;   P o w e l l   R .   A . ,   2 0 1 3 ,   I N T R O   L E A R N I N G   B E H A V ;   R o m a   P G ,   2 0 1 6 ,   M A N A G   D E C I S   E C O N ,   V 3 7 ,   P 3 0 6 ,   D O I   1 0 . 1 0 0 2 / m d e . 2 7 1 8 ;   S c h l i e n z   N J ,   2 0 1 4 ,   A D D I C T   B E H A V ,   V 3 9 ,   P 1 4 8 4 ,   D O I   1 0 . 1 0 1 6 / j . a d d b e h . 2 0 1 4 . 0 5 . 0 0 8 ;   S i n h a   R ,   2 0 0 8 ,   A N N   N Y   A C A D   S C I ,   V 1 1 4 1 ,   P 1 0 5 ,   D O I   1 0 . 1 1 9 6 / a n n a l s . 1 4 4 1 . 0 3 0 ;   S P I L L M A N   D ,   1 9 9 0 ,   P S Y C H O L   R E P ,   V 6 6 ,   P 4 9 9 ,   D O I   1 0 . 2 4 6 6 / P R 0 . 6 6 . 2 . 4 9 9 - 5 0 2 ;   S t e i n   J S ,   2 0 1 5 ,   E X P   C L I N   P S Y C H O P H A R M ,   V 2 3 ,   P 3 7 7 ,   D O I   1 0 . 1 0 3 7 / p h a 0 0 0 0 0 2 0 ;   S t r i c k l a n d   J C ,   2 0 1 6 ,   E X P   C L I N   P S Y C H O P H A R M ,   V 2 4 ,   P 4 4 7 ,   D O I   1 0 . 1 0 3 7 / p h a 0 0 0 0 0 9 6 ;   S t r i c k l a n d   J C ,   2 0 1 6 ,   D R U G   A L C O H O L   D E P E N ,   V 1 6 6 ,   P 6 1 ,   D O I   1 0 . 1 0 1 6 / j . d r u g a l c d e p . 2 0 1 6 . 0 6 . 0 2 2 ;   W i l s o n   A G ,   2 0 1 6 ,   N I C O T I N E   T O B   R E S ,   V 1 8 ,   P 5 2 4 ,   D O I   1 0 . 1 0 9 3 / n t r / n t v 1 5 4 	 4 3 	 0 	 0 	 1 	 1 	 A M E R   P S Y C H O L O G I C A L   A S S O C 	 W A S H I N G T O N 	 7 5 0   F I R S T   S T   N E ,   W A S H I N G T O N ,   D C   2 0 0 0 2 - 4 2 4 2   U S A 	 1 0 6 4 - 1 2 9 7 	 1 9 3 6 - 2 2 9 3 	 	 E X P   C L I N   P S Y C H O P H A R M 	 E x p .   C l i n .   P s y c h o p h a r m a c o l . 	 J U N 	 2 0 1 7 	 2 5 	 3 	 	 	 	 	 1 9 8 	 2 0 7 	 	 1 0 . 1 0 3 7 / p h a 0 0 0 0 1 2 3 	 	 1 0 	 P s y c h o l o g y ,   B i o l o g i c a l ;   P s y c h o l o g y ,   C l i n i c a l ;   P h a r m a c o l o g y   &   P h a r m a c y ;   P s y c h i a t r y 	 P s y c h o l o g y ;   P h a r m a c o l o g y   &   P h a r m a c y ;   P s y c h i a t r y 	 E U 5 Q P 	 W O S : 0 0 0 4 0 1 0 8 8 1 0 0 0 0 7 	 2 8 4 9 3 7 4 3 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 P e t e r s ,   E N ;   R o s e n b e r r y ,   Z R ;   S c h a u e r ,   G L ;   O ' G r a d y ,   K E ;   J o h n s o n ,   P S 	 	 	 	 P e t e r s ,   E r i c a   N . ;   R o s e n b e r r y ,   Z a c h a r y   R . ;   S c h a u e r ,   G i l l i a n   L . ;   O ' G r a d y ,   K e v i n   E . ;   J o h n s o n ,   P a t r i c k   S . 	 	 	 M a r i j u a n a   a n d   T o b a c c o   C i g a r e t t e s :   E s t i m a t i n g   T h e i r   B e h a v i o r a l   E c o n o m i c   R e l a t i o n s h i p   U s i n g   P u r c h a s i n g   T a s k s 	 E X P E R I M E N T A L   A N D   C L I N I C A L   P S Y C H O P H A R M A C O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 m a r i j u a n a ;   c a n n a b i s ;   t o b a c c o ;   c i g a r e t t e ;   b e h a v i o r a l   e c o n o m i c s 	 C O - U S E ;   P O L Y D R U G   A B U S E ;   S U B S T A N C E   U S E ;   C A N N A B I S   U S E ;   A L C O H O L - U S E ;   D E M A N D ;   D R U G ;   R E I N F O R C E R S ;   A B S T I N E N C E ;   C O N C U R R E N T 	 A l t h o u g h   m a r i j u a n a   a n d   t o b a c c o   a r e   c o m m o n l y   c o u s e d ,   t h e   n a t u r e   o f   t h e i r   r e l a t i o n s h i p   h a s   n o t   b e e n   f u l l y   e l u c i d a t e d .   B e h a v i o r a l   e c o n o m i c s   h a s   c h a r a c t e r i z e d   t h e   r e l a t i o n s h i p   b e t w e e n   c o n c u r r e n t l y   a v a i l a b l e   c o m m o d i t i e s   b u t   h a s   n o t   b e e n   a p p l i e d   t o   m a r i j u a n a   a n d   t o b a c c o   c o u s e .   U . S .   a d u l t s   > =   1 8   y e a r s   w h o   c o u s e d   m a r i j u a n a   a n d   t o b a c c o   c i g a r e t t e s   w e r e   r e c r u i t e d   v i a   M e c h a n i c a l   T u r k ,   a   c r o w d s o u r c i n g   s e r v i c e   b y   A m a z o n .   P a r t i c i p a n t s   ( N   =   8 2 )   c o m p l e t e d   o n l i n e   p u r c h a s i n g   t a s k s   a s s e s s i n g   h y p o t h e t i c a l   m a r i j u a n a   o r   t o b a c c o   c i g a r e t t e   p u f f   c o n s u m p t i o n   a c r o s s   a   r a n g e   o f   p e r - p u f f   p r i c e s ;   2   s i n g l e - c o m m o d i t y   t a s k s   a s s e s s e d   t h e s e   w h e n   o n l y   1   c o m m o d i t y   w a s   a v a i l a b l e ,   a n d   2   c r o s s - c o m m o d i t y   t a s k s   a s s e s s e d   t h e s e   i n   t h e   p r e s e n c e   o f   a   c o n c u r r e n t l y   a v a i l a b l e   f i x e d - p r i c e   c o m m o d i t y .   P u r c h a s i n g   t a s k s   g e n e r a t e d   m e a s u r e s   o f   d e m a n d   e l a s t i c i t y ,   t h a t   i s ,   s e n s i t i v i t y   o f   c o n s u m p t i o n   t o   p r i c e s .   I n   s i n g l e - c o m m o d i t y   t a s k s ,   c o n s u m p t i o n   o f   t o b a c c o   c i g a r e t t e   p u f f s   ( e l a s t i c i t y   o f   d e m a n d :   a l p h a   =   0 . 0 0 7 5 ;   9 5 %   c o n f i d e n c e   i n t e r v a l   [ 0 . 0 0 6 6 ,   0 . 0 0 8 5 ] ,   R - 2   =   0 . 7 2 )   a n d   o f   m a r i j u a n a   p u f f s   ( a l p h a   =   . 0 0 4 4 ;   9 5 %   c o n f i d e n c e   i n t e r v a l   [ 0 . 0 0 3 8 ,   0 . 0 0 4 9 ] ,   R - 2   =   0 . 7 1 )   d e c l i n e d   s i g n i f i c a n t l y   w i t h   i n c r e a s e s   i n   p r i c e   p e r   p u f f .   I n   c r o s s - c o m m o d i t y   t a s k s   w h e n   b o t h   t o b a c c o   c i g a r e t t e   p u f f s   a n d   m a r i j u a n a   p u f f s   w e r e   a v a i l a b l e ,   d e m a n d   f o r   1   c o m m o d i t y   w a s   i n d e p e n d e n t   o f   p r i c e   i n c r e a s e s   i n   t h e   o t h e r   c o m m o d i t y   ( p s   >   . 0 5 ) .   R e s u l t s   r e v e a l e d   t h a t ,   i n   t h i s   s m a l l   s a m p l e ,   m a r i j u a n a   a n d   t o b a c c o   c i g a r e t t e s   d i d   n o t   s u b s t i t u t e   f o r   e a c h   o t h e r   a n d   d i d   n o t   c o m p l e m e n t   e a c h   o t h e r ;   i n s t e a d ,   t h e y   w e r e   i n d e p e n d e n t   o f   e a c h   o t h e r .   T h e s e   p r e l i m i n a r y   r e s u l t s   c a n   i n f o r m   f u t u r e   s t u d i e s   a s s e s s i n g   t h e   e c o n o m i c   r e l a t i o n s h i p   b e t w e e n   t o b a c c o   a n d   m a r i j u a n a   i n   t h e   q u i c k l y   c h a n g i n g   p o l i c y   c l i m a t e   i n   t h e   U n i t e d   S t a t e s . 	 [ P e t e r s ,   E r i c a   N . ;   R o s e n b e r r y ,   Z a c h a r y   R . ]   B a t t e l l e   P u b l   H l t h   C t r   T o b a c c o   R e s ,   6 1 1 5   F a l l s   R d , S u i t e   2 0 0 ,   B a l t i m o r e ,   M D   2 1 2 0 9   U S A ;   [ S c h a u e r ,   G i l l i a n   L . ]   U n i v   W a s h i n g t o n ,   S c h   P u b l   H l t h ,   D e p t   H l t h   S e r v ,   S e a t t l e ,   W A   9 8 1 9 5   U S A ;   [ O ' G r a d y ,   K e v i n   E . ]   U n i v   M a r y l a n d ,   D e p t   P s y c h o l ,   C o l l e g e   P k ,   M D   2 0 7 4 2   U S A ;   [ J o h n s o n ,   P a t r i c k   S . ]   C a l i f   S t a t e   U n i v   C h i c o ,   D e p t   P s y c h o l ,   C h i c o ,   C A   9 5 9 2 9   U S A 	 P e t e r s ,   E N   ( r e p r i n t   a u t h o r ) ,   B a t t e l l e   P u b l   H l t h   C t r   T o b a c c o   R e s ,   6 1 1 5   F a l l s   R d , S u i t e   2 0 0 ,   B a l t i m o r e ,   M D   2 1 2 0 9   U S A . 	 f i n a n @ b a t t e l l e . o r g 	 	 	 B a t t e l l e   M e m o r i a l   I n s t i t u t e 	 W e   g r a t e f u l l y   a c k n o w l e d g e   M e r i d i t h   T h a n n e r ,   K e l l y   W a r d ,   a n d   M i c h a e l   D a l e y   f o r   t h e i r   c o n t r i b u t i o n s   t o   t h e   c u r r e n t   r e s e a r c h .   A l l   a u t h o r s   c o n t r i b u t e d   i n   a   s i g n i f i c a n t   w a y   t o   t h e   m a n u s c r i p t   a n d   h a v e   r e a d   a n d   a p p r o v e d   t h e   f i n a l   m a n u s c r i p t .   T h i s   w o r k   w a s   s u p p o r t e d   b y   i n t e r n a l   f u n d s   f r o m   B a t t e l l e   M e m o r i a l   I n s t i t u t e .   T h e   f u n d i n g   s o u r c e   h a d   n o   r o l e   o t h e r   t h a n   f i n a n c i a l   s u p p o r t . 	 A g r a w a l   A ,   2 0 0 6 ,   A D D I C T I O N ,   V 1 0 1 ,   P 8 0 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 0 - 0 4 4 3 . 2 0 0 6 . 0 1 3 9 9 . x ;   A g r a w a l   A ,   2 0 1 2 ,   A D D I C T I O N ,   V 1 0 7 ,   P 1 2 2 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 0 - 0 4 4 3 . 2 0 1 2 . 0 3 8 3 7 . x ;   A l l s o p   D J ,   2 0 1 4 ,   D R U G   A L C O H O L   D E P E N ,   V 1 3 8 ,   P 5 4 ,   D O I   1 0 . 1 0 1 6 / j . d r u g a l c d e p . 2 0 1 4 . 0 1 . 0 2 2 ;   A m l u n g   M T ,   2 0 1 2 ,   A L C O H O L   C L I N   E X P   R E S ,   V 3 6 ,   P 7 1 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 3 0 - 0 2 7 7 . 2 0 1 1 . 0 1 6 5 6 . x ;   A s h t o n   C H ,   2 0 0 1 ,   B R I T   J   P S Y C H I A T ,   V 1 7 8 ,   P 1 0 1 ,   D O I   1 0 . 1 1 9 2 / b j p . 1 7 8 . 2 . 1 0 1 ;   A s t o n   E R ,   2 0 1 5 ,   D R U G   A L C O H O L   D E P E N ,   V 1 5 2 ,   P 3 2 ,   D O I   1 0 . 1 0 1 6 / j . d r u g a l c d e p . 2 0 1 5 . 0 4 . 0 2 5 ;   B A K E R   T B ,   2 0 0 7 ,   N I C O T I N E   T O B A C C O   S 4 ,   V 0 0 0 9 ;   B e r i n s k y   A J ,   2 0 1 2 ,   P O L I T   A N A L ,   V 2 0 ,   P 3 5 1 ,   D O I   1 0 . 1 0 9 3 / p a n / m p r 0 5 7 ;   B i c k e l   W K ,   2 0 1 4 ,   A N N U   R E V   C L I N   P S Y C H O ,   V 1 0 ,   P 6 4 1 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v - c l i n p s y - 0 3 2 8 1 3 - 1 5 3 7 2 4 ;   B I C K E L   W K ,   1 9 9 5 ,   P S Y C H O P H A R M A C O L O G Y ,   V 1 1 8 ,   P 2 5 0 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 2 4 5 9 5 2 ;   C h a l o u p k a   F .   J . ,   1 9 9 9 ,   6 9 3 9   N A T   B U R   E C   R E S ;   C o l l i n s   R L ,   2 0 1 4 ,   E X P   C L I N   P S Y C H O P H A R M ,   V 2 2 ,   P 2 1 1 ,   D O I   1 0 . 1 0 3 7 / a 0 0 3 5 3 1 8 ;   C o p e r s i n o   M L ,   2 0 0 6 ,   A M   J   A D D I C T I O N ,   V 1 5 ,   P 8 ,   D O I   1 0 . 1 0 8 0 / 1 0 5 5 0 4 9 0 5 0 0 4 1 8 9 9 7 ;   F a r r e l l y   M C ,   2 0 0 1 ,   J   H E A L T H   E C O N ,   V 2 0 ,   P 5 1 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 7 - 6 2 9 6 ( 0 0 ) 0 0 0 6 7 - 9 ;   F i s c h e r   B e n e d i k t ,   2 0 1 5 ,   P r e v   M e d   R e p ,   V 2 ,   P 5 3 ,   D O I   1 0 . 1 0 1 6 / j . p m e d r . 2 0 1 4 . 1 2 . 0 0 6 ;   G r a c e   R C ,   2 0 1 5 ,   N I C O T I N E   T O B   R E S ,   V 1 7 ,   P 5 9 2 ,   D O I   1 0 . 1 0 9 3 / n t r / n t u 2 6 8 ;   G R E E N   L ,   1 9 9 3 ,   J   E X P   A N A L   B E H A V ,   V 6 0 ,   P 1 4 1 ,   D O I   1 0 . 1 9 0 1 / j e a b . 1 9 9 3 . 6 0 - 1 4 1 ;   H a n e y   M ,   2 0 1 3 ,   B I O L   P S Y C H I A T ,   V 7 3 ,   P 2 4 2 ,   D O I   1 0 . 1 0 1 6 / j . b i o p s y c h . 2 0 1 2 . 0 7 . 0 2 8 ;   H U R S H   S R ,   1 9 8 8 ,   J   E X P   A N A L   B E H A V ,   V 5 0 ,   P 4 1 9 ,   D O I   1 0 . 1 9 0 1 / j e a b . 1 9 8 8 . 5 0 - 4 1 9 ;   H U R S H   S R ,   1 9 8 0 ,   J   E X P   A N A L   B E H A V ,   V 3 4 ,   P 2 1 9 ,   D O I   1 0 . 1 9 0 1 / j e a b . 1 9 8 0 . 3 4 - 2 1 9 ;   H u r s h   S R ,   2 0 0 8 ,   P S Y C H O L   R E V ,   V 1 1 5 ,   P 1 8 6 ,   D O I   [ 1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 5 X . 1 1 5 . 1 . 1 8 6 ,   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 5 X 1 1 5 . 1 . 1 8 6 ] ;   H u r s h   S R ,   2 0 1 3 ,   J   E X P   A N A L   B E H A V ,   V 9 9 ,   P 9 8 ,   D O I   1 0 . 1 0 0 2 / j e a b . 7 ;   J o f r e - B o n e t   M ,   2 0 0 8 ,   J   E C O N   B E H A V   O R G A N ,   V 6 6 ,   P 2 8 1 ,   D O I   1 0 . 1 0 1 6 / j . j e b o . 2 0 0 6 . 0 5 . 0 0 2 ;   L e v i s o n   P .   K . ,   1 9 8 3 ,   C O M M O N A L I T I E S   S U B S T A ;   M a s o n   W A ,   2 0 1 6 ,   S U B S T   A B U S ,   V 3 7 ,   P 3 3 0 ,   D O I   1 0 . 1 0 8 0 / 0 8 8 9 7 0 7 7 . 2 0 1 5 . 1 0 7 1 7 2 3 ;   M c C l u r e   E A ,   2 0 1 4 ,   A M   J   D R U G   A L C O H O L   A B ,   V 4 0 ,   P 2 8 5 ,   D O I   1 0 . 3 1 0 9 / 0 0 9 5 2 9 9 0 . 2 0 1 3 . 8 7 8 7 1 8 ;   M e i e r   E ,   2 0 1 6 ,   D R U G   A L C O H O L   D E P E N ,   V 1 6 6 ,   P 6 ,   D O I   1 0 . 1 0 1 6 / j . d r u g a l c d e p . 2 0 1 6 . 0 7 . 0 1 3 ;   M i d a n i k   L T ,   2 0 0 7 ,   D R U G   A L C O H O L   D E P E N ,   V 9 0 ,   P 7 2 ,   D O I   1 0 . 1 0 1 6 / j . d r u g a l c d e p . 2 0 0 7 . 0 2 . 0 2 4 ;   O ' C o n n o r   R J ,   2 0 1 4 ,   A M   J   H E A L T H   B E H A V ,   V 3 8 ,   P 1 0 3 ,   D O I   1 0 . 5 9 9 3 / A J H B . 3 8 . 1 . 1 1 ;   P a c u l a   R o s a l i e   L i c c a r d o ,   2 0 1 4 ,   P u b l i c   H e a l t h   R e v ,   V 3 5 ,   P 1 ;   P e n e t a r   D M ,   2 0 0 5 ,   D R U G   A L C O H O L   D E P E N ,   V 7 9 ,   P 2 1 1 ,   D O I   1 0 . 1 0 1 6 / j . d r u g a l c d e p . 2 0 0 5 . 0 1 . 0 0 8 ;   P e t e r s   E N ,   2 0 1 2 ,   A D D I C T I O N ,   V 1 0 7 ,   P 1 4 0 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 0 - 0 4 4 3 . 2 0 1 2 . 0 3 8 4 3 . x ;   P e t r y   N M ,   1 9 9 8 ,   A D D I C T I O N ,   V 9 3 ,   P 3 2 1 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 0 - 0 4 4 3 . 1 9 9 8 . 9 3 3 3 2 1 2 . x ;   P e t r y   N M ,   2 0 0 1 ,   D R U G   A L C O H O L   D E P E N ,   V 6 2 ,   P 3 1 ,   D O I   1 0 . 1 0 1 6 / S 0 3 7 6 - 8 7 1 6 ( 0 0 ) 0 0 1 5 7 - 5 ;   R a b i n   R A ,   2 0 1 5 ,   A M   J   A D D I C T I O N ,   V 2 4 ,   P 1 0 5 ,   D O I   1 0 . 1 1 1 1 / a j a d . 1 2 1 8 6 ;   R a m o   D E ,   2 0 1 2 ,   C L I N   P S Y C H O L   R E V ,   V 3 2 ,   P 1 0 5 ,   D O I   1 0 . 1 0 1 6 / j . c p r . 2 0 1 1 . 1 2 . 0 0 2 ;   R a s s   O ,   2 0 1 5 ,   E X P   C L I N   P S Y C H O P H A R M ,   V 2 3 ,   P 4 9 4 ,   D O I   1 0 . 1 0 3 7 / p h a 0 0 0 0 0 5 0 ;   S c h a u e r   G L ,   2 0 1 6 ,   P S Y C H O L   A D D I C T   B E H A V ,   V 3 0 ,   P 4 0 6 ,   D O I   1 0 . 1 0 3 7 / a d b 0 0 0 0 1 7 2 ;   S c h a u e r   G L ,   2 0 1 5 ,   A D D I C T   B E H A V ,   V 4 9 ,   P 2 6 ,   D O I   1 0 . 1 0 1 6 / j . a d d b e h . 2 0 1 5 . 0 5 . 0 1 2 ;   S h a h a n   T A ,   2 0 0 0 ,   B E H A V   P H A R M A C O L ,   V 1 1 ,   P 7 1 ;   S t e i n   J S ,   2 0 1 5 ,   E X P   C L I N   P S Y C H O P H A R M ,   V 2 3 ,   P 3 7 7 ,   D O I   1 0 . 1 0 3 7 / p h a 0 0 0 0 0 2 0 ;   T y n a n   M i c h a e l   A . ,   2 0 1 2 ,   M o r b i d i t y   a n d   M o r t a l i t y   W e e k l y   R e p o r t ,   V 6 1 ,   P 5 6 5 ;   U S   D e p a r t m e n t   o f   H e a l t h   a n d   H u m a n   S e r v i c e s ,   2 0 1 4 ,   H L T H   C O N S M O K   5 0   Y E ;   U .   S .   D e p a r t m e n t   o f   H e a l t h   a n d   H u m a n   S e r v i c e s ,   2 0 1 5 ,   N A T   S U R V   D R U G   U S   H L T ;   V a n d r e y   R G ,   2 0 0 8 ,   D R U G   A L C O H O L   D E P E N ,   V 9 2 ,   P 4 8 ,   D O I   1 0 . 1 0 1 6 / j . d r u g a l c d e p . 2 0 0 7 . 0 6 . 0 1 0 ;   V U C H I N I C H   R E ,   1 9 8 8 ,   J   A B N O R M   P S Y C H O L ,   V 9 7 ,   P 1 8 1 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 1 - 8 4 3 X . 9 7 . 2 . 1 8 1 ;   P E T E R S   E N ,   2 0 1 0 ,   P a t e n t   N o .   1 0 6 1 1 1 ;   L E V I N   K H ,   2 0 1 0 ,   P a t e n t   N o .   1 1 1 1 2 0 	 4 8 	 0 	 0 	 3 	 3 	 A M E R   P S Y C H O L O G I C A L   A S S O C 	 W A S H I N G T O N 	 7 5 0   F I R S T   S T   N E ,   W A S H I N G T O N ,   D C   2 0 0 0 2 - 4 2 4 2   U S A 	 1 0 6 4 - 1 2 9 7 	 1 9 3 6 - 2 2 9 3 	 	 E X P   C L I N   P S Y C H O P H A R M 	 E x p .   C l i n .   P s y c h o p h a r m a c o l . 	 J U N 	 2 0 1 7 	 2 5 	 3 	 	 	 	 	 2 0 8 	 2 1 5 	 	 1 0 . 1 0 3 7 / p h a 0 0 0 0 1 2 2 	 	 8 	 P s y c h o l o g y ,   B i o l o g i c a l ;   P s y c h o l o g y ,   C l i n i c a l ;   P h a r m a c o l o g y   &   P h a r m a c y ;   P s y c h i a t r y 	 P s y c h o l o g y ;   P h a r m a c o l o g y   &   P h a r m a c y ;   P s y c h i a t r y 	 E U 5 Q P 	 W O S : 0 0 0 4 0 1 0 8 8 1 0 0 0 0 8 	 2 8 4 3 7 1 2 4 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 L u ,   Y D ;   S i n g h ,   P V ;   S u n ,   B H 	 	 	 	 L u ,   Y i n g d a ;   S i n g h ,   P a r a m   V i r ;   S u n ,   B a o h o n g 	 	 	 I S   A   C O R E - P E R I P H E R Y   N E T W O R K   G O O D   F O R   K N O W L E D G E   S H A R I N G ?   A   S T R U C T U R A L   M O D E L   O F   E N D O G E N O U S   N E T W O R K   F O R M A T I O N   O N   A   C R O W D S O U R C E D   C U S T O M E R   S U P P O R T   F O R U M 	 M I S   Q U A R T E R L Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S t r u c t u r a l   m o d e l i n g ;   s o c i a l   n e t w o r k s ;   W e b   2 . 0 ;   l e a r n i n g   b y   s h a r i n g ;   s o c i a l   m e d i a ;   d i s c u s s i o n   f o r u m s ;   s o c i a l   C R M 	 P E R F E C T   I N D U S T R Y   D Y N A M I C S ;   S O C I A L   C O N T A G I O N ;   D E C I S I O N - M A K I N G ;   B R A N D   C H O I C E ;   H E T E R O G E N E I T Y ;   C O M M U N I C A T I O N ;   D E M A N D ;   F A M I L Y 	 M a n y   c o m p a n i e s   h a v e   a d o p t e d   t e c h n o l o g y   d r i v e n   s o c i a l   l e a r n i n g   p l a t f o r m s   s u c h   a s   s o c i a l   c u s t o m e r   r e l a t i o n s h i p   m a n a g e m e n t   ( c r o w d s o u r c i n g   c u s t o m e r   s u p p o r t )   t o   s u p p o r t   k n o w l e d g e   s h a r i n g   a m o n g   c u s t o m e r s .   A   n u m b e r   o f   t h e s e   s e l f - e v o l v i n g ,   o n l i n e   c u s t o m e r   s u p p o r t   c o m m u n i t i e s   h a v e   r e p o r t e d   t h e   e m e r g e n c e   o f   a   c o r e p e r i p h e r y   k n o w l e d g e   s h a r i n g   n e t w o r k   s t r u c t u r e .   I n   t h i s   s t u d y ,   w e   i n v e s t i g a t e   w h y   s u c h   a   s t r u c t u r e   e m e r g e s   a n d   i t s   i m p l i c a t i o n s   f o r   k n o w l e d g e   s h a r i n g   w i t h i n   t h e   c o m m u n i t y .   W e   p r o p o s e   a   d y n a m i c   s t r u c t u r a l   m o d e l   w i t h   e n d o g e n i z e d   k n o w l e d g e - s h a r i n g   a n d   n e t w o r k   f o r m a t i o n .   O u r   m o d e l   r e c o g n i z e s   t h e   d y n a m i c   a n d   i n t e r d e p e n d e n t   n a t u r e   o f   k n o w l e d g e   s e e k i n g   a n d   s h a r i n g   d e c i s i o n s   a n d   a l l o w s   t h e m   t o   b e   d r i v e n   b y   k n o w l e d g e   i n c r e m e n t s   a n d   s o c i a l   s t a t u s   b u i l d i n g   i n   a n t i c i p a t i o n   o f   f u t u r e   r e c i p r o c a l   r e w a r d s   f r o m   p e e r s .   A p p l y i n g   t h i s   m o d e l   t o   a   f i n e   g r a i n e d   p a n e l   d a t a s e t   f r o m   a   s o c i a l   c u s t o m e r   s u p p o r t   f o r u m   f o r   a   t e l e c o m   f i r m ,   w e   i l l u s t r a t e   t h a t   a   u s e r   i n   t h i s   c o m m u n i t y   g a i n s   v a l u e   f r o m   b e i n g   l i n k e d   t o   o t h e r   i n d i v i d u a l s   w i t h   h i g h e r   s o c i a l   s t a t u s .   A s   a   r e s u l t ,   a   u s e r   i s   m o r e   i n c l i n e d   t o   a n s w e r   t h e   q u e s t i o n s   o f   t h o s e   w h o   a r e   i n   t h e   c o r e   ( w e l l   c o n n e c t e d )   t h a n   q u e s t i o n s   f r o m   t h o s e   w h o   a r e   i n   t h e   p e r i p h e r y   ( n o t   w e l l   c o n n e c t e d ) .   W e   f i n d   t h a t   u s e r s   a r e   t a k i n g   i n t o   a c c o u n t   t h e   e x p e c t e d   l i k e l i h o o d   o f   t h e i r   q u e s t i o n s   r e c e i v i n g   a   s o l u t i o n   b e f o r e   a s k i n g   a   q u e s t i o n .   W i t h   t h e   e m e r g e n c e   o f   a   c o r e - p e r i p h e r y   n e t w o r k   s t r u c t u r e ,   p e r i p h e r a l   i n d i v i d u a l s   a r e   d i s c o u r a g e d   f r o m   a s k i n g   q u e s t i o n s   a s   t h e i r   e x p e c t a t i o n   o f   r e c e i v i n g   a   s o l u t i o n   t o   t h e i r   q u e s t i o n   i s   v e r y   l o w .   T h u s ,   t h e   c o r e - p e r i p h e r y   s t r u c t u r e   h a s   c r e a t e d   a   b a r r i e r   t o   k n o w l e d g e   f l o w   t o   n e w   c u s t o m e r s   w h o   n e e d   t h e   k n o w l e d g e   t h e   m o s t .   O u r   c o u n t e r f a c t u a l s   s h o w   t h a t   h i d i n g   t h e   i d e n t i t y   o f   t h e   k n o w l e d g e   s e e k e r   o r   m a k i n g   t h e   i n d i v i d u a l   c o n t r i b u t i o n s   o b s o l e t e   f a s t e r   h e l p s   b r e a k   t h e   c o r e - p e r i p h e r y   s t r u c t u r e   a n d   i m p r o v e s   k n o w l e d g e   s h a r i n g   i n   t h e   c o m m u n i t y . 	 [ L u ,   Y i n g d a ]   R e n s s e l a e r   P o l y t e c h   I n s t ,   L a l l y   S c h   M a n a g e m e n t ,   T r o y ,   N Y   1 2 1 8 0   U S A ;   [ S i n g h ,   P a r a m   V i r ]   C a r n e g i e   M e l l o n   U n i v ,   D a v i d   A   T e p p e r   S c h   B u s i n e s s ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A ;   [ S u n ,   B a o h o n g ]   C h e u n g   K o n g   G r a d   S c h   B u s i n e s s ,   1   E   C h a n g a n   A v e ,   D o n g c h e n g   Q u ,   B e i j i n g   S h i ,   P e o p l e s   R   C h i n a 	 L u ,   Y D   ( r e p r i n t   a u t h o r ) ,   R e n s s e l a e r   P o l y t e c h   I n s t ,   L a l l y   S c h   M a n a g e m e n t ,   T r o y ,   N Y   1 2 1 8 0   U S A . 	 l u y 6 @ r p i . e d u ;   p s i d h u @ c m u . e d u ;   b h s u n @ c k g s b . e d u . c n 	 	 	 	 	 A d a m i c   L .   A . ,   2 0 0 8 ,   P   1 7   I N T   C   W O R L D   W I D ,   P 6 6 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 6 7 4 9 7 . 1 3 6 7 5 8 7 ;   A g u i r r e g a b i r i a   V ,   2 0 0 7 ,   E C O N O M E T R I C A ,   V 7 5 ,   P 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 0 2 6 2 . 2 0 0 7 . 0 0 7 3 1 . x ;   A r a l   S ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 1 6 2 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 4 2 1 ;   A r c i d i a c o n o   P ,   2 0 1 1 ,   E C O N O M E T R I C A ,   V 7 9 ,   P 1 8 2 3 ,   D O I   1 0 . 3 9 8 2 / E C T A 7 7 4 3 ;   B a n o s   R A ,   2 0 1 3 ,   E N T R O P Y - S W I T Z ,   V 1 5 ,   P 4 5 5 3 ,   D O I   1 0 . 3 3 9 0 / e 1 5 1 1 4 5 5 3 ;   B E A T T Y   S E ,   1 9 9 4 ,   J   C O N S U M   R E S ,   V 2 1 ,   P 3 3 2 ,   D O I   1 0 . 1 0 8 6 / 2 0 9 4 0 1 ;   B e n k a r d   C L ,   2 0 0 4 ,   R E V   E C O N   S T U D ,   V 7 1 ,   P 5 8 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 7 X . 2 0 0 4 . 0 0 2 9 7 . x ;   B O N A C I C H   P ,   1 9 8 7 ,   A M   J   S O C I O L ,   V 9 2 ,   P 1 1 7 0 ,   D O I   1 0 . 1 0 8 6 / 2 2 8 6 3 1 ;   B o r g a t t i   S P ,   1 9 9 9 ,   S O C   N E T W O R K S ,   V 2 1 ,   P 3 7 5 ;   B O U L D I N G   K E ,   1 9 6 6 ,   A M   E C O N   R E V ,   V 5 6 ,   P 1 ;   C h a n   T .   Y . ,   2 0 1 3 ,   W O R K I N G   P A P E R ;   C h u n g   D J ,   2 0 1 4 ,   M A R K E T   S C I ,   V 3 3 ,   P 1 6 5 ,   D O I   1 0 . 1 2 8 7 / m k s c . 2 0 1 3 . 0 8 1 5 ;   E r d e m   T ,   1 9 9 6 ,   M A R K E T   S C I ,   V 1 5 ,   P 1 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 5 . 1 . 1 ;   S t r e b e l   J . ,   2 0 0 5 ,   Q U A N T I T A T I V E   M A R K E T I ,   V 3 ,   P 2 0 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 1 2 9 - 0 0 5 - 0 2 6 9 - 7 ;   E r d e m   T ,   2 0 0 8 ,   M A R K E T   S C I ,   V 2 7 ,   P 1 1 1 1 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 8 0 . 0 3 6 2 ;   E R I C S O N   R ,   1 9 9 5 ,   R E V   E C O N   S T U D ,   V 6 2 ,   P 5 3 ,   D O I   1 0 . 2 3 0 7 / 2 2 9 7 8 4 1 ;   F i s h e r   D . ,   2 0 0 6 ,   P   3 9   H A W   I N T   C   S Y S T ,   V 3 ;   F R A N K   R H ,   1 9 8 5 ,   A M   E C O N   R E V ,   V 7 5 ,   P 1 0 1 ;   F r e n c h   J . ,   1 9 5 9 ,   C L A S S I C S   O R G   T H E O R Y ,   P 2 5 1 ;   G a r t n e r ,   2 0 0 8 ,   G A R T N   S A Y S   M O R   6 0   P E ;   G a r t n e r ,   2 0 1 1 ,   G A R T N   S A Y S   S P E N D   S O C ;   H a r t m a n n   W R ,   2 0 1 0 ,   M A R K E T   S C I ,   V 2 9 ,   P 5 8 5 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 1 0 0 . 0 5 5 9 ;   H e w l e t t   P a c k a r d ,   2 0 1 2 ,   E N G   E N   E X P   S U P   S U P P ;   H u a n g   Y . ,   2 0 1 3 ,   M A N A G E   S C I ,   V 6 1 ,   P 2 8 2 5 ;   I y e n g a r   R ,   2 0 1 1 ,   M A R K E T   S C I ,   V 3 0 ,   P 1 9 5 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 1 0 0 . 0 5 6 6 ;   K a t o n a   Z ,   2 0 0 8 ,   M A R K E T   S C I ,   V 2 7 ,   P 7 6 4 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 7 0 . 0 3 4 9 ;   K u m a r   V . ,   2 0 1 0 ,   W O R K I N G   P A P E R ;   L a k h a n i   K R ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 9 2 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 9 5 - 1 ;   L a m p e l   J . ,   2 0 0 7 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 2 ,   P 4 3 4 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 0 8 3 - 6 1 0 1 . 2 0 0 7 . 0 0 3 3 2 . X ;   L i   C . ,   2 0 0 9 ,   H E L P I N G   G R O U N D S W E L L ;   L u   Y D ,   2 0 1 3 ,   M A N A G E   S C I ,   V 5 9 ,   P 1 7 8 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 2 0 . 1 6 8 5 ;   L u r i e   N . ,   2 0 0 9 ,   W O R K I N G   P A P E R ;   M a   L . ,   2 0 1 0 ,   W O R K I N G   P A P E R ;   M a g n a c   T ,   2 0 0 2 ,   E C O N O M E T R I C A ,   V 7 0 ,   P 8 0 1 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 8 - 0 2 6 2 . 0 0 3 0 6 ;   M a y z l i n   D ,   2 0 1 2 ,   M A N A G E   S C I ,   V 5 8 ,   P 1 6 5 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 5 1 0 ;   M c P h e r s o n   M ,   2 0 0 1 ,   A N N U   R E V   S O C I O L ,   V 2 7 ,   P 4 1 5 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . s o c . 2 7 . 1 . 4 1 5 ;   N a m   K . ,   2 0 0 9 ,   C H I   2 0 0 9 ;   N a r a y a n a n   S ,   2 0 0 9 ,   M A R K E T   S C I ,   V 2 8 ,   P 4 2 4 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 8 0 . 0 4 1 0 ;   O b r a d o v i c   D . ,   2 0 0 9 ,   P   2 0 0 9   I N T   C   A D V   S O C ;   P A K E S   A ,   1 9 9 4 ,   R A N D   J   E C O N ,   V 2 5 ,   P 5 5 5 ,   D O I   1 0 . 2 3 0 7 / 2 5 5 5 9 7 5 ;   R y a n   S P ,   2 0 1 2 ,   Q M E - Q U A N T   M A R K   E C O N ,   V 1 0 ,   P 6 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 1 2 9 - 0 1 1 - 9 1 0 9 - 0 ;   R y u   C ,   2 0 0 5 ,   M I S   Q U A R T ,   V 2 9 ,   P 2 4 5 ;   S i n g h   P V ,   2 0 1 1 ,   M I S   Q U A R T ,   V 3 5 ,   P 8 1 3 ;   S i n g h   P V ,   2 0 1 0 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 7 ,   P 1 7 9 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 7 0 3 0 7 ;   S t e p h e n   A T ,   2 0 1 0 ,   J   M A R K E T I N G   R E S ,   V 4 7 ,   P 2 1 5 ;   T R I V E R S   R L ,   1 9 7 1 ,   T H E   Q U A R T E R L Y   R E V I E W ,   V 1 ,   P 3 5 ;   V a n   d e n   B u l t e   C ,   2 0 0 1 ,   A M   J   S O C I O L ,   V 1 0 6 ,   P 1 4 0 9 ,   D O I   1 0 . 1 0 8 6 / 3 2 0 8 1 9 ;   W e i n t r a u b   G Y ,   2 0 1 0 ,   O P E R   R E S ,   V 5 8 ,   P 1 2 4 7 ,   D O I   1 0 . 1 2 8 7 / o p r e . 1 0 9 0 . 0 7 9 0 ;   W e i n t r a u b   G Y ,   2 0 0 8 ,   E C O N O M E T R I C A ,   V 7 6 ,   P 1 3 7 5 ,   D O I   1 0 . 3 9 8 2 / E C T A 6 1 5 8 ;   W e s l e r   H .   T . ,   2 0 0 7 ,   J   S O C I A L   S T R U C T U R E ,   V 8 ,   P 5 6 4 ;   Z h a n g   J . ,   2 0 0 7 ,   P   1 6   I N T   C   W O R L D   W I D ,   P 2 2 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 2 4 2 5 7 2 . 1 2 4 2 6 0 3 ;   Z h a n g   J J ,   2 0 1 0 ,   M A R K E T   S C I ,   V 2 9 ,   P 3 1 5 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 0 9 0 . 0 5 0 0 	 5 2 	 0 	 0 	 8 	 8 	 S O C   I N F O R M   M A N A G E - M I S   R E S   C E N T 	 M I N N E A P O L I S 	 U N I V   M I N N E S O T A - S C H   M A N A G E M E N T   2 7 1   1 9 T H   A V E   S O U T H ,   M I N N E A P O L I S ,   M N   5 5 4 5 5   U S A 	 0 2 7 6 - 7 7 8 3 	 	 	 M I S   Q U A R T 	 M I S   Q . 	 J U N 	 2 0 1 7 	 4 1 	 2 	 	 	 	 	 6 0 7 	 + 	 	 	 	 2 7 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   M a n a g e m e n t 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e ;   B u s i n e s s   &   E c o n o m i c s 	 E U 8 W Y 	 W O S : 0 0 0 4 0 1 3 2 0 4 0 0 0 1 3 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 M i c a l l e f ,   L ;   P a l m a s ,   G ;   O u l a s v i r t a ,   A ;   W e i n k a u f ,   T 	 	 	 	 M i c a l l e f ,   L u a n a ;   P a l m a s ,   G r e g o r i o ;   O u l a s v i r t a ,   A n t t i ;   W e i n k a u f ,   T i n o 	 	 	 T o w a r d s   P e r c e p t u a l   O p t i m i z a t i o n   o f   t h e   V i s u a l   D e s i g n   o f   S c a t t e r p l o t s 	 I E E E   T R A N S A C T I O N S   O N   V I S U A L I Z A T I O N   A N D   C O M P U T E R   G R A P H I C S 	 	 	 E n g l i s h 	 A r t i c l e ;   P r o c e e d i n g s   P a p e r 	 I E E E   P a c i f i c   V i s u a l i z a t i o n   S y m p o s i u m   ( I E E E   P a c i f i c V i s ) 	 A P R   1 8 - 2 1 ,   2 0 1 7 	 S e o u l   N a t l   U n i v ,   S e o u l ,   S O U T H   K O R E A 	 I E E E ,   I E E E   T e c h   C o m m   V i s u a l i z a t   &   C o m p   G r a p h 	 S e o u l   N a t l   U n i v 	 S c a t t e r p l o t ;   o p t i m i z a t i o n ;   p e r c e p t i o n ;   c r o w d s o u r c i n g 	 M U L T I C L A S S   S C A T T E R P L O T S ;   R A N K I N G   V I S U A L I Z A T I O N S ;   Q U A L I T Y   M E T R I C S ;   W E B E R S   L A W ;   R E D U C T I O N ;   G R A P H I C S ;   P L O T S 	 D e s i g n i n g   a   g o o d   s c a t t e r p l o t   c a n   b e   d i f f i c u l t   f o r   n o n - e x p e r t s   i n   v i s u a l i z a t i o n ,   b e c a u s e   t h e y   n e e d   t o   d e c i d e   o n   m a n y   p a r a m e t e r s ,   s u c h   a s   m a r k e r   s i z e   a n d   o p a c i t y ,   a s p e c t   r a t i o ,   c o l o r ,   a n d   r e n d e r i n g   o r d e r .   T h i s   p a p e r   c o n t r i b u t e s   t o   r e s e a r c h   e x p l o r i n g   t h e   u s e   o f   p e r c e p t u a l   m o d e l s   a n d   q u a l i t y   m e t r i c s   t o   s e t   s u c h   p a r a m e t e r s   a u t o m a t i c a l l y   f o r   e n h a n c e d   v i s u a l   q u a l i t y   o f   a   s c a t t e r p l o t .   A   k e y   c o n s i d e r a t i o n   i n   t h i s   p a p e r   i s   t h e   c o n s t r u c t i o n   o f   a   c o s t   f u n c t i o n   t o   c a p t u r e   s e v e r a l   r e l e v a n t   a s p e c t s   o f   t h e   h u m a n   v i s u a l   s y s t e m ,   e x a m i n i n g   a   s c a t t e r p l o t   d e s i g n   f o r   s o m e   d a t a   a n a l y s i s   t a s k .   W e   s h o w   h o w   t h e   c o s t   f u n c t i o n   c a n   b e   u s e d   i n   a n   o p t i m i z e r   t o   s e a r c h   f o r   t h e   o p t i m a l   v i s u a l   d e s i g n   f o r   a   u s e r ' s   d a t a s e t   a n d   t a s k   o b j e c t i v e s   ( e . g . ,   " r e l i a b l e   l i n e a r   c o r r e l a t i o n   e s t i m a t i o n   i s   m o r e   i m p o r t a n t   t h a n   c l a s s   s e p a r a t i o n " ) .   T h e   a p p r o a c h   i s   e x t e n s i b l e   t o   d i f f e r e n t   a n a l y s i s   t a s k s .   T o   t e s t   i t s   p e r f o r m a n c e   i n   a   r e a l i s t i c   s e t t i n g ,   w e   p r e - c a l i b r a t e d   i t   f o r   c o r r e l a t i o n   e s t i m a t i o n ,   c l a s s   s e p a r a t i o n ,   a n d   o u t l i e r   d e t e c t i o n .   T h e   o p t i m i z e r   w a s   a b l e   t o   p r o d u c e   d e s i g n s   t h a t   a c h i e v e d   a   l e v e l   o f   s p e e d   a n d   s u c c e s s   c o m p a r a b l e   t o   t h a t   o f   t h o s e   u s i n g   h u m a n - d e s i g n e d   p r e s e t s   ( e . g . ,   i n   R   o r   M A T L A B ) .   C a s e   s t u d i e s   d e m o n s t r a t e   t h a t   t h e   a p p r o a c h   c a n   a d a p t   a   d e s i g n   t o   t h e   d a t a ,   t o   r e v e a l   p a t t e r n s   w i t h o u t   u s e r   i n t e r v e n t i o n . 	 [ M i c a l l e f ,   L u a n a ]   A a l t o   U n i v ,   D e p t   C o m p   S c i ,   H e l s i n k i   I n s t   I n f o r m a t   T e c h n o l ,   E s p o o   0 2 1 5 0 ,   F i n l a n d ;   [ P a l m a s ,   G r e g o r i o ;   W e i n k a u f ,   T i n o ]   K T H   R o y a l   I n s t   T e c h n o l ,   D e p t   C o m p u t a t   S c i   &   T e c h n o l ,   S c h   C o m p   S c i   &   C o m m u n ,   S - 1 1 4 2 8   S t o c k h o l m ,   S w e d e n ;   [ O u l a s v i r t a ,   A n t t i ]   A a l t o   U n i v ,   D e p t   C o m m u n   &   N e t w o r k i n g ,   E s p o o   0 2 1 5 0 ,   F i n l a n d 	 M i c a l l e f ,   L   ( r e p r i n t   a u t h o r ) ,   A a l t o   U n i v ,   D e p t   C o m p   S c i ,   H e l s i n k i   I n s t   I n f o r m a t   T e c h n o l ,   E s p o o   0 2 1 5 0 ,   F i n l a n d . 	 l u a n a . m i c a l l e f @ h i i t . f i ;   g p a l m a s @ k t h . s e ;   a n t t i . o u l a s v i r t a @ a a l t o . f i ;   w e i n k a u f @ k t h . s e 	 	 	 A c a d e m y   o f   F i n l a n d ;   C e n t r e   o f   E x c e l l e n c e   i n   C o m p u t a t i o n a l   I n f e r e n c e   R e s e a r c h   ( C O I N ) ;   S k A T - V G   p r o j e c t   -   E C   [ 6 1 8 0 6 7 ] ;   E u r o p e a n   R e s e a r c h   C o u n c i l   ( E R C )   u n d e r   t h e   E u r o p e a n   U n i o n ' s   H o r i z o n   2 0 2 0   r e s e a r c h   a n d   i n n o v a t i o n   p r o g r a m m e   [ 6 3 7 9 9 1 ] ;     [ 3 0 5 7 8 0 ] 	 L u a n a   M i c a l l e f   w a s   f u n d e d   b y   t h e   A c a d e m y   o f   F i n l a n d ,   C e n t r e   o f   E x c e l l e n c e   i n   C o m p u t a t i o n a l   I n f e r e n c e   R e s e a r c h   ( C O I N ) ,   a n d   g r a n t   a g r e e m e n t   3 0 5 7 8 0 .   G r e g o r i o   P a l m a s   a n d   T i n o   W e i n k a u f   r e c e i v e d   p a r t i a l   f u n d i n g   t h r o u g h   t h e   S k A T - V G   p r o j e c t ,   f u n d e d   b y   t h e   E C   u n d e r   F P 7 - I C T - 2 0 1 3 - C ,   F u t u r e   E m e r g i n g   T e c h n o l o g i e s ,   g r a n t   a g r e e m e n t   6 1 8 0 6 7 .   A n t t i   O u l a s v i r t a   w a s   f u n d e d   b y   t h e   E u r o p e a n   R e s e a r c h   C o u n c i l   ( E R C )   u n d e r   t h e   E u r o p e a n   U n i o n ' s   H o r i z o n   2 0 2 0   r e s e a r c h   a n d   i n n o v a t i o n   p r o g r a m m e   ( g r a n t   a g r e e m e n t   6 3 7 9 9 1 ) . 	 A u p e t i t   M . ,   2 0 1 6 ,   P   I E E E   P A C   V I S   S ,   P 1 ;   B a i l l y   G . ,   2 0 1 3 ,   P   2 6   A N N   A C M   S   U S   I N ,   P 3 3 1 ;   B e r t i n i   E ,   2 0 1 1 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 7 ,   P 2 2 0 3 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 1 . 2 2 9 ;   B r e h m e r   M . ,   2 0 1 4 ,   P   5   W O R K S H   T I M   E R R   N ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 6 6 9 5 5 7 . 2 6 6 9 5 5 9 ;   C A N N Y   J ,   1 9 8 6 ,   I E E E   T   P A T T E R N   A N A L ,   V 8 ,   P 6 7 9 ;   C h e n   H D ,   2 0 1 4 ,   I E E E   T   V I S   C O M P U T   G R ,   V 2 0 ,   P 1 6 8 3 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 4 . 2 3 4 6 5 9 4 ;   C L E V E L A N D   W S ,   1 9 8 2 ,   S C I E N C E ,   V 2 1 6 ,   P 1 1 3 8 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 1 6 . 4 5 5 0 . 1 1 3 8 ;   D o r i g o   M ,   1 9 9 9 ,   A R T I F   L I F E ,   V 5 ,   P 1 3 7 ,   D O I   1 0 . 1 1 6 2 / 1 0 6 4 5 4 6 9 9 5 6 8 7 2 8 ;   D r a g i c e v i c   P ,   2 0 1 6 ,   H U M - C O M P U T   I N T - S P R I N ,   P 2 9 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 2 6 6 3 3 - 6 _ 1 3 ;   E t e m a d p o u r   R ,   2 0 1 5 ,   I E E E   T   V I S   C O M P U T   G R ,   V 2 1 ,   P 8 1 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 4 . 2 3 3 0 6 1 7 ;   G l e i c h e r   M ,   2 0 1 3 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 9 ,   P 2 3 1 6 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 3 . 1 8 3 ;   H a r r i s o n   L ,   2 0 1 4 ,   I E E E   T   V I S   C O M P U T   G R ,   V 2 0 ,   P 1 9 4 3 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 4 . 2 3 4 6 9 7 9 ;   H e e r   J ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 0 3 ;   H o d g e   V J ,   2 0 0 4 ,   A R T I F   I N T E L L   R E V ,   V 2 2 ,   P 8 5 ,   D O I   1 0 . 1 0 2 3 / B : A I R E . 0 0 0 0 0 4 5 5 0 2 . 1 0 9 4 1 . a 9 ;   J a c o b   C . ,   1 9 9 4 ,   A M   P S Y C H O L ,   V 4 9 ,   P 9 9 7 ;   J o h a n s s o n   S ,   2 0 0 9 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 5 ,   P 9 9 3 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 0 9 . 1 5 3 ;   K a y   M ,   2 0 1 6 ,   I E E E   T   V I S   C O M P U T   G R ,   V 2 2 ,   P 4 6 9 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 5 . 2 4 6 7 6 7 1 ;   K E L L M A N   P J ,   1 9 9 1 ,   C O G N I T I V E   P S Y C H O L ,   V 2 3 ,   P 1 4 1 ,   D O I   1 0 . 1 0 1 6 / 0 0 1 0 - 0 2 8 5 ( 9 1 ) 9 0 0 0 9 - D ;   L a s t   M . ,   2 0 0 1 ,   P   2   I N T   C   I N T   T E C H N ,   P 2 9 2 ;   L e w i s   J .   M . ,   2 0 1 2 ,   P   3 4   C   C O G N   S C I   S O C ,   P 1 8 7 0 ;   L i   J ,   2 0 1 0 ,   I N F O R M   V I S U A L ,   V 9 ,   P 1 3 ,   D O I   1 0 . 1 0 5 7 / i v s . 2 0 0 8 . 1 3 ;   M a h a l a n o b i s   P . C ,   1 9 3 6 ,   P   N A T L   I   S C I   I N D I A ,   V 2 ,   P 4 9 ;   M a r l e r   R T ,   2 0 1 0 ,   S T R U C T   M U L T I D I S C I P   O ,   V 4 1 ,   P 8 5 3 ,   D O I   1 0 . 1 0 0 7 / s 0 0 1 5 8 - 0 0 9 - 0 4 6 0 - 7 ;   M a t e j k a   J . ,   2 0 1 5 ,   P   A C M   H U M   F A C T   C O M P ,   P 2 7 0 7 ;   M a y o r g a   A ,   2 0 1 3 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 9 ,   P 1 5 2 6 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 3 . 6 5 ;   M e y e r   J ,   1 9 9 7 ,   J   E X P   P S Y C H O L - A P P L ,   V 3 ,   P 3 ,   D O I   1 0 . 1 0 3 7 / 1 0 7 6 - 8 9 8 X . 3 . 1 . 3 ;   M u n z n e r   T . ,   2 0 1 4 ,   V I S U A L I Z A T I O N   A N A L   D ;   O ' D o n o v a n   P ,   2 0 1 4 ,   I E E E   T   V I S   C O M P U T   G R ,   V 2 0 ,   P 1 2 0 0 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 4 . 4 8 ;   O u l a s v i r t a   A ,   2 0 1 7 ,   C O M P U T E R ,   V 5 0 ,   P 4 0 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 1 7 . 6 ;   P e e r   E . ,   2 0 1 5 ,   T U R K   E M P I R I C A L   C O P   A ,   P 1 ;   R a h m a n   S .   K . ,   2 0 1 2 ,   I N T   J   R E S   C O M P U T E R   S ,   V 2 ;   R e d d y   M ,   2 0 0 1 ,   I E E E   C O M P U T   G R A P H ,   V 2 1 ,   P 6 8 ,   D O I   1 0 . 1 1 0 9 / 3 8 . 9 4 6 6 3 3 ;   R e n s i n k   R A ,   2 0 1 0 ,   C O M P U T   G R A P H   F O R U M ,   V 2 9 ,   P 1 2 0 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 5 9 . 2 0 0 9 . 0 1 6 9 4 . x ;   S c h n e i d e w i n d   J ,   2 0 0 6 ,   I E E E   C O N F   V I S   A N A L ,   P 1 9 9 ;   S e d l m a i r   M ,   2 0 1 5 ,   C O M P U T   G R A P H   F O R U M ,   V 3 4 ,   P 2 0 1 ,   D O I   1 0 . 1 1 1 1 / c g f . 1 2 6 3 2 ;   S e d l m a i r   M ,   2 0 1 2 ,   C O M P U T   G R A P H   F O R U M ,   V 3 1 ,   P 1 3 3 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 8 6 5 9 . 2 0 1 2 . 0 3 1 2 5 . x ;   S e d l m a i r   M ,   2 0 1 3 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 9 ,   P 2 6 3 4 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 1 3 . 1 5 3 ;   T a t u   A n d r a d a ,   2 0 0 9 ,   P r o c e e d i n g s   o f   t h e   2 0 0 9   I E E E   S y m p o s i u m   o n   V i s u a l   A n a l y t i c s   S c i e n c e   a n d   T e c h n o l o g y .   V A S T   2 0 0 9 .   H e l d   c o - j o i n t l y   w i t h   V i s W e e k   2 0 0 9 ,   P 5 9 ,   D O I   1 0 . 1 1 0 9 / V A S T . 2 0 0 9 . 5 3 3 2 6 2 8 ;   T o r y   M ,   2 0 0 4 ,   I E E E   T   V I S   C O M P U T   G R ,   V 1 0 ,   P 7 2 ,   D O I   1 0 . 1 1 0 9 / T V C G . 2 0 0 4 . 1 2 6 0 7 5 9 ;   v a n   d e r   W a l t   S ,   2 0 1 4 ,   P E E R J ,   V 2 ,   D O I   1 0 . 7 7 1 7 / p e e r j . 4 5 3 ;   W a n g   Z ,   2 0 0 4 ,   I E E E   T   I M A G E   P R O C E S S ,   V 1 3 ,   P 6 0 0 ,   D O I   1 0 . 1 1 0 9 / T I P . 2 0 0 3 . 8 1 9 8 6 1 ;   W i c k h a m   H ,   2 0 1 0 ,   J   C O M P U T   G R A P H   S T A T ,   V 1 9 ,   P 3 ,   D O I   1 0 . 1 1 9 8 / j c g s . 2 0 0 9 . 0 7 0 9 8 ;   W i l k i n s o n   L ,   2 0 0 5 ,   I N F O V I S   0 5 :   I E E E   S y m p o s i u m   o n   I n f o r m a t i o n   V i s u a l i z a t i o n ,   P r o c e e d i n g s ,   P 1 5 7 ,   D O I   1 0 . 1 1 0 9 / I N F V I S . 2 0 0 5 . 1 5 3 2 1 4 2 ;   Z a p f e l   G ,   2 0 1 0 ,   M E T A H E U R I S T I C   S E A R C H   C O N C E P T S ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 1 3 4 3 - 7 	 4 4 	 0 	 0 	 5 	 5 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 7 7 - 2 6 2 6 	 1 9 4 1 - 0 5 0 6 	 	 I E E E   T   V I S   C O M P U T   G R 	 I E E E   T r a n s .   V i s .   C o m p u t .   G r a p h . 	 J U N 	 2 0 1 7 	 2 3 	 6 	 	 	 	 	 1 5 8 8 	 1 5 9 9 	 	 1 0 . 1 1 0 9 / T V C G . 2 0 1 7 . 2 6 7 4 9 7 8 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 E T 8 D C 	 W O S : 0 0 0 4 0 0 5 2 7 5 0 0 0 0 3 	 2 8 2 5 2 4 0 7 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 D u m a s ,   T M ;   M a x w e l l - S m i t h ,   M ;   D a v i s ,   J P ;   G i u l i e t t i ,   P A 	 	 	 	 D u m a s ,   T a r a   M . ;   M a x w e l l - S m i t h ,   M a t t h e w ;   D a v i s ,   J o r d a n   P . ;   G i u l i e t t i ,   P a u l   A . 	 	 	 L y i n g   o r   l o n g i n g   f o r   l i k e s ?   N a r c i s s i s m ,   p e e r   b e l o n g i n g ,   l o n e l i n e s s   a n d   n o r m a t i v e   v e r s u s   d e c e p t i v e   l i k e - s e e k i n g   o n   I n s t a g r a m   i n   e m e r g i n g   a d u l t h o o d 	 C O M P U T E R S   I N   H U M A N   B E H A V I O R 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 I n s t a g r a m ;   N a r c i s s i s m ;   P e e r   b e l o n g i n g ;   L o n e l i n e s s ;   D e c e p t i o n ;   S o c i a l   n e t w o r k s 	 S E L F - P R E S E N T A T I O N ;   B E H A V I O R ;   F A C E B O O K ;   E S T E E M ;   S E N S E 	 W e   e x a m i n e d   t h e   e x t e n t   t o   w h i c h   e m e r g i n g   a d u l t s   e n g a g e   i n   d i f f e r e n t   b e h a v i o r s   o n   I n s t a g r a m ,   a   p o p u l a r   s o c i a l   n e t w o r k i n g   s i t e ,   t o   g a i n   a t t e n t i o n   a n d   v a l i d a t i o n   f r o m   o t h e r s   v i a   " l i k e s . "   W e   a l s o   e x a m i n e d   i n d i v i d u a l   d i f f e r e n c e s   i n   t h e   f r e q u e n c y   o f   l i k e - s e e k i n g   b e h a v i o r   a n d   m o t i v e s   f o r   I n s t a g r a m   u s e   a s   m e d i a t o r s   o f   t h e s e   r e l a t i o n s h i p s .   P a r t i c i p a n t s   ( N   =   1 9 8   a n d   2 6 5   ( r e p l i c a t i o n   s t u d y ) )   w e r e   r e c r u i t e d   v i a   a n   o n l i n e   c r o w d s o u r c i n g   p o r t a l   t o   c o m p l e t e   a   s u r v e y .   R e s u l t s   d e m o n s t r a t e d   t h a t ,   a s   p r e d i c t e d ,   p a r t i c i p a n t s   e n g a g e d   i n   a n   a s s o r t m e n t   o f   d i f f e r e n t   l i k e - s e e k i n g   b e h a v i o r s .   F u r t h e r ,   a   t w o - f a c t o r   s o l u t i o n   e m e r g e d ,   w i t h   l i k e - s e e k i n g   b e h a v i o r   s e p a r a t e d   b y   w h e t h e r   t h e y   w e r e   n o r m a t i v e   ( i . e . ,   c o m m o n   o r   a c c e p t e d ,   e . g . ,   u s i n g   f i l t e r s   o r   h a s h t a g s )   o r   d e c e p t i v e   ( e . g . ,   b u y i n g   l i k e s   o r   c h a n g i n g   o n e ' s   a p p e a r a n c e   i n   p h o t o s   u s i n g   s o f t w a r e ) .   D e c e p t i v e   l i k e - s e e k i n g   w a s   p r e d i c t e d   b y   s t r o n g e r   n a r c i s s i s m   a n d   a   w e a k e r   s e n s e   o f   p e e r   b e l o n g i n g ,   w h e r e a s   n o r m a t i v e   l i k e - s e e k i n g   w a s   p r e d i c t e d   b y   s t r o n g e r   n a r c i s s i s m   a n d   a   s t r o n g e r   s e n s e   o f   p e e r   b e l o n g i n g .   F u r t h e r ,   c o n s i s t e n t   w i t h   h y p o t h e s e s ,   s i g n i f i c a n t   m e d i a t o r s   o f   t h e   r e l a t i o n   b e t w e e n   n a r c i s s i s m   a n d   d e c e p t i v e   l i k e - s e e k i n g   i n c l u d e d   m o t i v e s   t o   u s e   I n s t a g r a m   t o   i n c r e a s e   p o p u l a r i t y   a n d   s h o w c a s e   c r e a t i v i t y .   R e s u l t s   h e l p   t o   i d e n t i f y   y o u n g   p e o p l e   w h o   a r e   m o r e   s u s c e p t i b l e   t o   e n g a g i n g   i n   d e c e p t i v e ,   p o t e n t i a l l y   h a r m f u l   a c t s   t o   g a i n   a t t e n t i o n   a n d   v a l i d a t i o n   o n   I n s t a g r a m .   ( C )   2 0 1 7   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ D u m a s ,   T a r a   M . ;   G i u l i e t t i ,   P a u l   A . ]   W e s t e r n   U n i v ,   H u r o n   U n i v   C o l l ,   L o n d o n ,   O N ,   C a n a d a ;   [ M a x w e l l - S m i t h ,   M a t t h e w ]   W e s t e r n   U n i v ,   L o n d o n ,   O N ,   C a n a d a ;   [ D a v i s ,   J o r d a n   P . ]   U n i v   I l l i n o i s ,   C h a m p a i g n ,   I L   U S A 	 D u m a s ,   T M   ( r e p r i n t   a u t h o r ) ,   H u r o n   U n i v   C o l l ,   1 3 4 9   W e s t e r n   R d ,   L o n d o n ,   O N   N 6 G   1 H 3 ,   C a n a d a . 	 t d u m a s 2 @ u w o . c a 	 	 	 	 	 A r n e t t   J J ,   2 0 0 0 ,   A M   P S Y C H O L ,   V 5 5 ,   P 4 6 9 ,   D O I   1 0 . 1 0 3 7 / / 0 0 0 3 - 0 6 6 X . 5 5 . 5 . 4 6 9 ;   B a r r y   C .   M . ,   2 0 1 6 ,   O X F O R D   H D B   E M E R G I N G ;   B e r i n s k y   A J ,   2 0 1 2 ,   P O L I T   A N A L ,   V 2 0 ,   P 3 5 1 ,   D O I   1 0 . 1 0 9 3 / p a n / m p r 0 5 7 ;   C a m p b e l l   W K ,   2 0 0 2 ,   P E R S   S O C   P S Y C H O L   B ,   V 2 8 ,   P 3 5 8 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 6 1 6 7 2 0 2 2 8 6 0 0 7 ;   C a m p b e l l   W K ,   1 9 9 9 ,   J   P E R S   S O C   P S Y C H O L ,   V 7 7 ,   P 1 2 5 4 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 7 7 . 6 . 1 2 5 4 ;   C a r p e n t e r   C J ,   2 0 1 2 ,   P E R S   I N D I V   D I F F E R ,   V 5 2 ,   P 4 8 2 ,   D O I   1 0 . 1 0 1 6 / j . p a i d . 2 0 1 1 . 1 1 . 0 1 1 ;   D e P a u l o   B M ,   1 9 9 8 ,   J   P E R S   S O C   P S Y C H O L ,   V 7 4 ,   P 6 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 7 4 . 1 . 6 3 ;   D e P a u l o   B M ,   1 9 9 6 ,   J   P E R S   S O C   P S Y C H O L ,   V 7 0 ,   P 9 7 9 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 7 0 . 5 . 9 7 9 ;   D i e n e r   E ,   1 9 9 9 ,   P S Y C H O L   B U L L ,   V 1 2 5 ,   P 2 7 6 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 2 5 . 2 . 2 7 6 ;   D u g g a n   M . ,   2 0 1 4 ,   S O C I A L   M E D I A   U P D A T E ;   E M M O N S   R A ,   1 9 8 4 ,   J   P E R S   A S S E S S ,   V 4 8 ,   P 2 9 1 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 7 5 2 j p a 4 8 0 3 _ 1 1 ;   G e n t i l e   B ,   2 0 1 3 ,   P S Y C H O L   A S S E S S M E N T ,   V 2 5 ,   P 1 1 2 0 ,   D O I   1 0 . 1 0 3 7 / a 0 0 3 3 1 9 2 ;   H a y e s   A .   F . ,   2 0 1 3 ,   I N T R O   M E D I A T I O N   M O D E ;   H A Y S   R D ,   1 9 8 7 ,   J   P E R S   A S S E S S ,   V 5 1 ,   P 6 9 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 7 5 2 j p a 5 1 0 1 _ 6 ;   H u   Y . ,   2 0 1 4 ,   W H A T   W E   I N S T A G R A M   1 ;   I n s t a g r a m ,   2 0 1 6 ,   S T A T S ;   J o n a s o n   P K ,   2 0 1 4 ,   P E R S   I N D I V   D I F F E R ,   V 7 0 ,   P 1 1 7 ,   D O I   1 0 . 1 0 1 6 / j . p a i d . 2 0 1 4 . 0 6 . 0 3 8 ;   K i m   J ,   2 0 1 1 ,   C Y B E R P S Y C H   B E H   S O C   N ,   V 1 4 ,   P 3 5 9 ,   D O I   1 0 . 1 0 8 9 / c y b e r . 2 0 1 0 . 0 3 7 4 ;   L e e   J A ,   2 0 1 6 ,   C Y B E R P S Y C H   B E H   S O C   N ,   V 1 9 ,   P 3 4 7 ,   D O I   1 0 . 1 0 8 9 / c y b e r . 2 0 1 5 . 0 4 8 6 ;   M e h d i z a d e h   S ,   2 0 1 0 ,   C Y B E R P S Y C H   B E H   S O C   N ,   V 1 3 ,   P 3 5 7 ,   D O I   1 0 . 1 0 8 9 / c y b e r . 2 0 0 9 . 0 2 5 7 ;   M o o n   J H ,   2 0 1 6 ,   P E R S   I N D I V   D I F F E R ,   V 1 0 1 ,   P 2 2 ,   D O I   1 0 . 1 0 1 6 / j . p a i d . 2 0 1 6 . 0 5 . 0 4 2 ;   M o r f   C C ,   2 0 0 1 ,   P S Y C H O L   I N Q ,   V 1 2 ,   P 1 7 7 ,   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 7 9 6 5 P L I 1 2 0 4 _ 1 ;   M u t h e n   L .   K . ,   2 0 1 0 ,   U S   S T A T   A N A L   L A T E N T ;   N e w m a n   B M ,   2 0 0 7 ,   A D O L E S C E N C E ,   V 4 2 ,   P 2 4 1 ;   O n g   E Y L ,   2 0 1 1 ,   P E R S   I N D I V   D I F F E R ,   V 5 0 ,   P 1 8 0 ,   D O I   1 0 . 1 0 1 6 / j . p a i d . 2 0 1 0 . 0 9 . 0 2 2 ;   P i t t m a n   M . ,   2 0 1 5 ,   J   S O C I A L   M E D I A   S O C ,   V 4 ;   R i m a l   R N ,   2 0 0 5 ,   C O M M U N   R E S ,   V 3 2 ,   P 3 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 3 6 5 0 2 0 5 2 7 5 3 8 5 ;   S h e l d o n   P ,   2 0 1 6 ,   C O M P U T   H U M   B E H A V ,   V 5 8 ,   P 8 9 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 5 . 1 2 . 0 5 9 ;   S t a n t o n   K ,   2 0 1 6 ,   P E R S   I N D I V   D I F F E R ,   V 8 8 ,   P 1 8 7 ,   D O I   1 0 . 1 0 1 6 / j . p a i d . 2 0 1 5 . 0 9 . 0 1 5 ;   S t r a y h o r n   T L ,   2 0 1 2 ,   J   C O L L   S T U D E N T   D E V ,   V 5 3 ,   P 7 8 3 ;   T a j f e l   H . ,   2 0 1 0 ,   S O C I A L   I D E N T I T Y   I N T E ;   T a r r a n t   M ,   2 0 0 2 ,   S O C   D E V ,   V 1 1 ,   P 1 1 0 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 5 0 7 . 0 0 1 8 9 ;   V E L I C E R   W F ,   1 9 7 6 ,   P S Y C H O M E T R I K A ,   V 4 1 ,   P 3 2 1 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 2 9 3 5 5 7 ;   W e i s s   R .   S . ,   1 9 7 3 ,   L O N E L I N E S S   E X P E R I E N C 	 3 4 	 0 	 0 	 2 7 	 2 7 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 7 4 7 - 5 6 3 2 	 1 8 7 3 - 7 6 9 2 	 	 C O M P U T   H U M   B E H A V 	 C o m p u t .   H u m .   B e h a v . 	 J U N 	 2 0 1 7 	 7 1 	 	 	 	 	 	 1 	 1 0 	 	 1 0 . 1 0 1 6 / j . c h b . 2 0 1 7 . 0 1 . 0 3 7 	 	 1 0 	 P s y c h o l o g y ,   M u l t i d i s c i p l i n a r y ;   P s y c h o l o g y ,   E x p e r i m e n t a l 	 P s y c h o l o g y 	 E S 4 N C 	 W O S : 0 0 0 3 9 9 5 1 1 0 0 0 0 0 1 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 M i c h o l i a ,   P ;   K a r a l i o p o u l o s ,   M ;   K o u t s o p o u l o s ,   I ;   A i e l l o ,   L M ;   M o r a l e s ,   G D F ;   Q u e r c i a ,   D 	 	 	 	 M i c h o l i a ,   P a n a g i o t a ;   K a r a l i o p o u l o s ,   M e r k o u r i s ;   K o u t s o p o u l o s ,   I o r d a n i s ;   A i e l l o ,   L u c a   M a r i a ;   M o r a l e s ,   G i a n m a r c o   D e   F r a n c i s c i ;   Q u e r c i a ,   D a n i e l e 	 	 	 I n c e n t i v i z i n g   s o c i a l   m e d i a   u s e r s   f o r   m o b i l e   c r o w d s o u r c i n g 	 I N T E R N A T I O N A L   J O U R N A L   O F   H U M A N - C O M P U T E R   S T U D I E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M o b i l e   c r o w d s o u r c i n g ;   F l i c k r ;   I n c e n t i v e s 	 T A S K S 	 W e   f o c u s   o n   t h e   p r o b l e m   o f   c o n t r i b u t o r - t a s k   m a t c h i n g   i n   m o b i l e   c r o w d - s o u r c i n g .   T h e   i d e a   i s   t o   i d e n t i f y   e x i s t i n g   s o c i a l   m e d i a   u s e r s   w h o   p o s s e s s   d o m a i n   e x p e r t i s e   ( e . g . ,   p h o t o g r a p h y )   a n d   i n c e n t i v i z e   t h e m   t o   p e r f o r m   s o m e   t a s k s   ( e . g . ,   t a k e   q u a l i t y   p i c t u r e s ) .   T o   t h i s   e n d ,   w e   p r o p o s e   a   f r a m e w o r k   t h a t   e x t r a c t s   t h e   p o t e n t i a l   c o n t r i b u t o r s '   e x p e r t i s e   b a s e d   o n   t h e i r   s o c i a l   m e d i a   a c t i v i t y   a n d   d e t e r m i n e s   i n c e n t i v e s   f o r   t h e m   w i t h i n   t h e   c o n s t r a i n t   o f   a   b u d g e t .   T h i s   f r a m e w o r k   d o e s   s o   b y   p r e f e r e n t i a l l y   t a r g e t i n g   c o n t r i b u t o r s   w h o   a r e   l i k e l y   t o   o f f e r   q u a l i t y   c o n t e n t .   W e   e v a l u a t e   o u r   f r a m e w o r k   o n   F l i c k r   d a t a   f o r   t h e   e n t i r e   c i t y   o f   B a r c e l o n a   a n d   s h o w   t h a t   i t   e n s u r e s   h i g h   l e v e l s   o f   t a s k   q u a l i t y   a n d   w i d e   g e o g r a p h i c   c o v e r a g e ,   a l l   w i t h o u t   c o m p r o m i s i n g   f a i r n e s s . 	 [ M i c h o l i a ,   P a n a g i o t a ;   K a r a l i o p o u l o s ,   M e r k o u r i s ;   K o u t s o p o u l o s ,   I o r d a n i s ]   U n i v   E c o n   &   B u s i n e s s ,   7 6   P a t i s s   S t r ,   G R - 1 0 4 3 4   A t h e n s ,   G r e e c e ;   [ M o r a l e s ,   G i a n m a r c o   D e   F r a n c i s c i ]   Q a t a r   C o m p   R e s   I n s t ,   T o r n a d o   T o w e r , 1 8 t h   F l o o r ,   D o h a ,   Q a t a r ;   [ A i e l l o ,   L u c a   M a r i a ;   Q u e r c i a ,   D a n i e l e ]   N o k i a   B e l l   L a b s ,   B r o e r s   B l d g , 2 1   J J   T h o m s o n   A v e ,   C a m b r i d g e   C B 3 0 F A ,   E n g l a n d 	 M i c h o l i a ,   P   ( r e p r i n t   a u t h o r ) ,   U n i v   E c o n   &   B u s i n e s s ,   7 6   P a t i s s   S t r ,   G R - 1 0 4 3 4   A t h e n s ,   G r e e c e . 	 p a n a m i x o @ a u e b . g r ;   m k a r a l i o @ a u e b . g r ;   j o r d a n @ a u e b . g r ;   l u c a . a i e l l o @ n o k i a . c o m ;   g d f m @ a c m . o r g ;   q u e r c i a @ c a n t a b . n e t 	 	 	 E u r o p e a n   C o m m i s s i o n   [ 6 8 8 7 6 8 ] 	 P .   M i c h o l i a ,   M .   K a r a l i o p o u l o s   a n d   I .   K o u t s o p o u l o s   a c k n o w l e d g e   t h e   s u p p o r t   o f   t h e   E u r o p e a n   C o m m i s s i o n   t h r o u g h   t h e   H o r i z o n   2 0 2 0   p r o j e c t   n e t C o m m o n s   ( C o n t r a c t   n u m b e r   6 8 8 7 6 8 ,   d u r a t i o n   2 0 1 6 - 2 0 1 8 ) . 	 A m i n t o o s i   H ,   2 0 1 4 ,   M O B I L E   N E T W   A P P L ,   V 1 9 ,   P 8 8 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 3 6 - 0 1 3 - 0 4 5 5 - x ;   A v r i e l   M . ,   2 0 0 3 ,   N O N L I N E A R   P R O G R A M M I N ;   B e r n s t e i n   M i c h a e l   S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   P 2 8 6 ;   G a o   L . ,   2 0 1 5 ,   C O R R ;   G o n c a l v e s   J o r g e ,   2 0 1 6 ,   P   1 9   A C M   C   C O M P   S U P P ,   P 1 0 4 0 ;   G o n c a l v e s   J o r g e ,   2 0 1 4 ,   P   2 0 1 4   A C M   I N T   J O I N T ,   P 4 8 7 ;   G o o d c h i l d   M F ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - y ;   H a k l a y   M ,   2 0 1 0 ,   E N V I R O N   P L A N N   B ,   V 3 7 ,   P 6 8 2 ,   D O I   1 0 . 1 0 6 8 / b 3 5 0 9 7 ;   H e   S B ,   2 0 1 4 ,   I E E E   I N F O C O M   S E R ,   P 7 4 5 ,   D O I   1 0 . 1 1 0 9 / I N F O C O M . 2 0 1 4 . 6 8 4 8 0 0 1 ;   H e i m e r l   K u r t i s ,   2 0 1 2 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 5 3 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 2 0 7 6 7 6 . 2 2 0 8 6 1 9 ;   H o   C J ,   2 0 1 3 ,   J M L R   W   C P ,   V 2 8 ,   P 5 3 4 ;   H o s i o   S i m o ,   2 0 1 5 ,   P O L I C Y   I N T E R N E T ,   V 7 ,   P 2 0 3 ,   D O I   D O I   1 0 . 1 0 0 2 / P 0 I 3 . 9 0 ;   H o s i o   S i m o ,   2 0 1 4 ,   P   2 7   A N N   A C M   S   U S   I N ,   P 5 5 ;   H s u e h   P . - Y . ,   2 0 0 9 ,   P   N A A C L   H L T   2 0 0 9   W O R ,   P 2 7 ,   D O I   1 0 . 3 1 1 5 / 1 5 6 4 1 3 1 . 1 5 6 4 1 3 7 ;   I r a n i   L . C . ,   2 0 1 3 ,   P   S I G C H I   C   H U M   F A C T ,   P 6 1 1 ,   D O I   [ D O I   1 0 . 1 1 4 5 / 2 4 7 0 6 5 4 . 2 4 7 0 7 4 2 ,   1 0 . 1 1 4 5 / 2 4 7 0 6 5 4 . 2 4 7 0 7 4 2 ] ;   J a i m e s   L G ,   2 0 1 2 ,   I N T   C O N F   P E R V A S   C O M P ,   P 1 0 3 ,   D O I   1 0 . 1 1 0 9 / P e r C o m . 2 0 1 2 . 6 1 9 9 8 5 5 ;   K a r a l i o p o u l o s   M ,   2 0 1 6 ,   M O B I H O C   ' 1 6 :   P R O C E E D I N G S   O F   T H E   1 7 T H   A C M   I N T E R N A T I O N A L   S Y M P O S I U M   O N   M O B I L E   A D   H O C   N E T W O R K I N G   A N D   C O M P U T I N G ,   P 2 7 1 ,   D O I   1 0 . 1 1 4 5 / 2 9 4 2 3 5 8 . 2 9 4 2 3 6 9 ;   K a z e m i   L . ,   2 0 1 2 ,   P   2 0   I N T   C   A D V   G E O G R ,   P 1 8 9 ;   K i t t u r   A n i k e t ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 4 3 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K o s i n s k i   M ,   2 0 1 3 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 1 0 ,   P 5 8 0 2 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 2 1 8 7 7 2 1 1 0 ;   K r o n t i r i s   I . ,   2 0 1 0 ,   I N T   T Y R R H   W O R K S H   D I G ;   L e e   J S ,   2 0 1 0 ,   P E R V A S I V E   M O B   C O M P U T ,   V 6 ,   P 6 9 3 ,   D O I   1 0 . 1 0 1 6 / j . p m c j . 2 0 1 0 . 0 8 . 0 0 6 ;   L I   H ,   2 0 1 5 ,   I E E E   I N T   C O N F   M O B ,   P 1 3 6 ;   L i t t l e   G ,   2 0 0 9 ,   S   V I S   L A N G   H U M   C E N   C ,   P 2 5 2 ,   D O I   1 0 . 1 1 0 9 / V L H C C . 2 0 0 9 . 5 2 9 5 2 4 7 ;   L u o   T ,   2 0 1 4 ,   2 0 1 4   I E E E   1 1 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   A D   H O C   A N D   S E N S O R   S Y S T E M S   ( M A S S ) ,   P 1 3 6 ,   D O I   1 0 . 1 1 0 9 / M A S S . 2 0 1 4 . 6 6 ;   M a r t e l l o   S . ,   1 9 9 0 ,   K N A P S A C K   P R O B L E M S   A L ;   M a s h h a d i   A . ,   2 0 1 3 ,   P   A C M   C   C O M P   S U P P   C O ,   P 6 1 1 ;   M a s h h a d i   A .   J . ,   2 0 1 1 ,   P   2   I N T   W O R K S H   U B   C R ,   P 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 0 3 0 1 0 0 . 2 0 3 0 1 0 3 ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   P a l o m a r   D P ,   2 0 0 5 ,   I E E E   T   S I G N A L   P R O C E S ,   V 5 3 ,   P 6 8 6 ,   D O I   1 0 . 1 1 0 9 / T S P . 2 0 0 4 . 8 4 0 8 1 6 ;   P e n g   D . ,   2 0 1 5 ,   P   1 6   A C M   I N T   S   M O B   A ,   P 1 7 7 ;   Q u a t t r o n e   G . ,   2 0 1 4 ,   C S C W   1 4 ,   P 9 3 4 ;   R a s h t c h i a n   C . ,   2 0 1 0 ,   C S L D A M T   1 0 ,   P 1 3 9 ;   R e d d y   S ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 0 3 0 ,   P 1 3 8 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 2 6 5 4 - 3 _ 9 ;   R e s t u c c i a   F . ,   2 0 1 5 ,   C O R R ;   S c h i f a n e l l a   R . ,   2 0 1 5 ,   P   9   A A A I   I N T   C   W E B L ;   S h e p p a r d   S . A . ,   2 0 1 4 ,   P   1 7   A C M   C   C O M P   S U P P ,   P 1 2 3 4 ,   D O I   [ D O I   1 0 . 1 1 4 5 / 2 5 3 1 6 0 2 . 2 5 3 1 6 8 9 ,   1 0 . 1 1 4 5 / 2 5 3 1 6 0 2 . 2 5 3 1 6 8 9 ] ;   S h i r a n i - M e h r   H . ,   2 0 0 9 ,   P   1 7   A C M   S I G S P A T I A L ,   P 6 2 ,   D O I   1 0 . 1 1 4 5 / 1 6 5 3 7 7 1 . 1 6 5 3 7 8 3 ;   T e o d o r o   R . ,   2 0 1 4 ,   P   1 7   A C M   C   C O M P   S U P P ,   P 2 3 6 	 4 1 	 0 	 0 	 6 	 6 	 A C A D E M I C   P R E S S   L T D -   E L S E V I E R   S C I E N C E   L T D 	 L O N D O N 	 2 4 - 2 8   O V A L   R D ,   L O N D O N   N W 1   7 D X ,   E N G L A N D 	 1 0 7 1 - 5 8 1 9 	 1 0 9 5 - 9 3 0 0 	 	 I N T   J   H U M - C O M P U T   S T 	 I n t .   J .   H u m . - C o m p u t .   S t u d . 	 J U N 	 2 0 1 7 	 1 0 2 	 	 	 	 	 	 4 	 1 3 	 	 1 0 . 1 0 1 6 / j . i j h c s . 2 0 1 6 . 0 9 . 0 0 7 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   E r g o n o m i c s ;   P s y c h o l o g y ,   M u l t i d i s c i p l i n a r y 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   P s y c h o l o g y 	 E S 4 P U 	 W O S : 0 0 0 3 9 9 5 1 8 0 0 0 0 0 2 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 H u a n g ,   Y ;   W h i t e ,   C ;   X i a ,   H ;   W a n g ,   Y 	 	 	 	 H u a n g ,   Y u n ;   W h i t e ,   C o r e y ;   X i a ,   H u i c h u a n ;   W a n g ,   Y a n g 	 	 	 A   c o m p u t a t i o n a l   c o g n i t i v e   m o d e l i n g   a p p r o a c h   t o   u n d e r s t a n d   a n d   d e s i g n   m o b i l e   c r o w d s o u r c i n g   f o r   c a m p u s   s a f e t y   r e p o r t i n g 	 I N T E R N A T I O N A L   J O U R N A L   O F   H U M A N - C O M P U T E R   S T U D I E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M o b i l e   c r o w d s o u r c i n g ;   C o g n i t i v e   c o m p u t a t i o n a l   m e t h o d ;   P u b l i c   s a f e t y ;   U s e r   c o n t r i b u t i o n ;   D r i f t - d i f f u s i o n   d e c i s i o n   m o d e l ;   N u d g e   m e c h a n i s m 	 D I F F U S I O N - M O D E L ;   C R I M E ;   B Y S T A N D E R ;   D E C I S I O N S ;   S E X 	 T h e   u n d e r - r e p o r t i n g   o f   p u b l i c   s a f e t y   i n c i d e n t s   i s   a   l o n g - s t a n d i n g   i s s u e .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   c o m p u t a t i o n a l   c o g n i t i v e   m o d e l i n g   a p p r o a c h   t o   u n d e r s t a n d   a n d   d e s i g n   a   m o b i l e   c r o w d s o u r c i n g   s y s t e m   f o r   i m p r o v i n g   c a m p u s   s a f e t y   r e p o r t i n g .   I n   p a r t i c u l a r ,   w e   a d o p t   d r i f t - d i f f u s i o n   m o d e l s   ( D D M s )   f r o m   c o g n i t i v e   p s y c h o l o g y   t o   i n v e s t i g a t e   t h e   e f f e c t   o f   v a r i o u s   f a c t o r s   o n   u s e r s '   r e p o r t i n g   t e n d e n c y   f o r   p u b l i c   s a f e t y .   O u r   l a b   e x p e r i m e n t   a n d   o n l i n e   s t u d y   s h o w   c o n s i s t e n t   r e s u l t s   o n   h o w   l o c a t i o n   c o n t e x t   i m p a c t s   p e o p l e ' s   r e p o r t i n g   d e c i s i o n s .   T h i s   f i n d i n g   i n f o r m s   t h e   d e s i g n   o f   a   n o v e l   l o c a t i o n - b a s e d   n u d g e   m e c h a n i s m ,   w h i c h   i s   t e s t e d   i n   a n o t h e r   l a b   e x p e r i m e n t   w i t h   8 4   p a r t i c i p a n t s   a n d   p r o v e d   t o   b e   e f f e c t i v e   i n   c h a n g i n g   u s e r s '   r e p o r t i n g   d e c i s i o n s .   O u r   f o l l o w - u p   i n t e r v i e w   s t u d y   f u r t h e r   s u g g e s t s   t h a t   t h e   i n f l u e n c e   o f   p e o p l e ' s   m o b i l i t y   p a t t e r n s   ( e . g . ,   e x p e c t e d   w a l k i n g   d i s t a n c e )   c o u l d   e x p l a i n   w h y   t h e   n u d g e   d e s i g n   i s   e f f e c t i v e .   O u r   w o r k   n o t   o n l y   i n f o r m s   t h e   d e s i g n   o f   m o b i l e   c r o w d s o u r c i n g   f o r   p u b l i c   s a f e t y   r e p o r t i n g   b u t   a l s o   d e m o n s t r a t e s   t h e   v a l u e   o f   a p p l y i n g   a   c o m p u t a t i o n a l   c o g n i t i v e   m o d e l i n g   a p p r o a c h   t o   a d d r e s s   H C I   r e s e a r c h   q u e s t i o n s   m o r e   b r o a d l y . 	 [ H u a n g ,   Y u n ;   X i a ,   H u i c h u a n ;   W a n g ,   Y a n g ]   S y r a c u s e   U n i v ,   S c h   I n f o r m a t   S t u d i e s ,   S y r a c u s e ,   N Y   1 3 2 4 4   U S A ;   [ W h i t e ,   C o r e y ]   S y r a c u s e   U n i v ,   D e p t   P s y c h o l ,   S y r a c u s e ,   N Y   1 3 2 4 4   U S A 	 H u a n g ,   Y   ( r e p r i n t   a u t h o r ) ,   S y r a c u s e   U n i v ,   S c h   I n f o r m a t   S t u d i e s ,   S y r a c u s e ,   N Y   1 3 2 4 4   U S A . 	 y h u a n g @ s y r . e d u ;   c n w h i t e @ s y r . e d u ;   h x i a @ s y r . e d u ;   y w a n g @ s y r . e d u 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ 1 4 6 4 3 1 2 ] 	 W e   t h a n k   o u r   p a r t i c i p a n t s   f o r   s h a r i n g   t h e i r   i n s i g h t s .   T h i s   m a t e r i a l   i s   b a s e d   u p o n   w o r k   s u p p o r t e d   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   u n d e r   G r a n t   n o .   1 4 6 4 3 1 2 .   A n y   o p i n i o n s ,   f i n d i n g s ,   a n d   c o n c l u s i o n s   o r   r e c o m m e n d a t i o n s   e x p r e s s e d   i n   t h i s   m a t e r i a l   a r e   t h o s e   o f   t h e   a u t h o r ( s )   a n d   d o   n o t   n e c e s s a r i l y   r e f l e c t   t h e   v i e w s   o f   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n . 	 A c k e r m a n   M .   S . ,   1 9 9 9 ,   P   1   A C M   C   E L   C O M M ,   V 9 9 ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 3 3 6 9 9 2 . 3 3 6 9 9 5 . U R L ;   A l y a c o m   E m e r g e n c y ,   2 0 1 4 ,   M O B   A P P L   A L   E M ;   A n g e l e s   R ,   2 0 0 7 ,   I N D   M A N A G E   D A T A   S Y S T ,   V 1 0 7 ,   P 4 6 1 ,   D O I   1 0 . 1 1 0 8 / 0 2 6 3 5 5 7 0 7 1 0 7 4 0 6 4 3 ;   A p p r i s e   I n c ,   2 0 1 4 ,   M O B   P U B L   S A F   A P P ;   B E N N E T T   R R ,   1 9 9 4 ,   C R I M I N O L O G Y ,   V 3 2 ,   P 1 3 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 5 - 9 1 2 5 . 1 9 9 4 . t b 0 1 1 4 9 . x ;   B I C K M A N   L ,   1 9 7 9 ,   C R I M I N O L O G Y ,   V 1 7 ,   P 2 8 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 5 - 9 1 2 5 . 1 9 7 9 . t b 0 1 2 9 5 . x ;   B i l o g r e v i c   I ,   2 0 1 6 ,   3 4 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   C H I   2 0 1 6 ,   P 5 2 1 5 ,   D O I   1 0 . 1 1 4 5 / 2 8 5 8 0 3 6 . 2 8 5 8 4 3 2 ;   B L E D A   P R ,   1 9 7 6 ,   J   E X P   S O C   P S Y C H O L ,   V 1 2 ,   P 9 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 2 - 1 0 3 1 ( 7 6 ) 9 0 0 8 3 - 4 ;   B o r i n g   R .   L . ,   2 0 0 2 ,   P   H U M   F A C T   E R G   S O C   A ,   V 4 6 ,   P 1 7 6 7 ;   B O R O F S K Y   G L ,   1 9 7 1 ,   J   E X P   S O C   P S Y C H O L ,   V 7 ,   P 3 1 3 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 2 - 1 0 3 1 ( 7 1 ) 9 0 0 3 1 - X ;   B o w l e s   R ,   2 0 0 9 ,   E U R   J   C R I M   P O L I C Y   R E ,   V 1 5 ,   P 3 6 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 1 0 - 0 0 9 - 9 1 0 9 - 8 ;   B o y a t z i s   R . ,   1 9 9 8 ,   T R A N S F O R M I N G   Q U A L I T A ;   B r i g g s   P ,   2 0 1 5 ,   A C M   T   C O M P U T - H U M   I N T ,   V 2 2 ,   D O I   1 0 . 1 1 4 5 / 2 7 7 8 9 7 2 ;   B u r k e   J . A . ,   P A R T I C I P A T O R Y   S E N S I N ;   C a r d   S . ,   1 9 8 3 ,   P S Y C H O L   H U M A N   C O M P U T ;   C h a t z i m i l i o u d i s   G ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 3 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 7 0 ;   C o n s o r t i u m   C . P . ,   U S   A M   U N D   C O M M   P O L   F ;   C r a i g   J . J . L ,   1 9 9 9 ,   C U R R   D I R   P S Y C H O L   S C I ,   V 8 ,   P 3 ;   D E R T K E   M C ,   1 9 7 4 ,   J   S O C   P S Y C H O L ,   V 9 4 ,   P 2 1 3 ;   E v a n s   B y r n e   M ,   2 0 1 3 ,   P   2 2   I N T   C   W O R L D   W I D ,   P 8 9 1 ;   F E S T I N G E R   L ,   1 9 5 2 ,   J   A B N O R M   S O C   P S Y C H ,   V 4 7 ,   P 3 8 2 ,   D O I   1 0 . 1 0 3 7 / h 0 0 5 7 9 0 6 ;   F i s h e r   B . S . ,   2 0 0 2 ,   P   E L   O F F   A L L   L E V   G O V ;   F r i e s e   S . ,   2 0 1 4 ,   Q U A L I T A T I V E   D A T A   A N A ;   F u c h s - K i t t o w s k i   F r a n k ,   2 0 1 4 ,   C o l l a b o r a t i o n   a n d   T e c h n o l o g y .   2 0 t h   I n t e r n a t i o n a l   C o n f e r e n c e ,   C R I W G   2 0 1 4 .   P r o c e e d i n g s :   L N C S   8 6 5 8 ,   P 1 2 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 1 0 1 6 6 - 8 _ 1 2 ;   F u r t a d o   A . ,   2 0 1 0 ,   I N F   S C I ;   G a r d i n e r   M . M . ,   1 9 8 7 ,   A P P L   C O G N I T I V E   P S Y C H ;   G e i g e r   D . ,   2 0 1 1 ,   P   2 2   A U S T R   C   I N F   S Y S ;   G E L F A N D   D M ,   1 9 7 3 ,   J   P E R S   S O C   P S Y C H O L ,   V 2 5 ,   P 2 7 6 ,   D O I   1 0 . 1 0 3 7 / h 0 0 3 3 9 5 3 ;   G o l d m a n   J . ,   2 0 0 9 ,   P A R T I C I P A T O R Y   S E N S I N ,   P 1 ;   G o u d r i a a n   H . ,   2 0 0 4 ,   J U S T I C E   Q ;   G r e e n   G . ,   1 9 8 1 ,   T H E S I S ;   G r e g o r y   D . E ,   2 0 1 1 ,   C R I M E   C A M P U S   C O M P L I A ;   G u o   B . ,   2 0 1 5 ,   A C M   C O M P U T   S U R V ,   V 4 8 ,   P 1 ;   H a r t   T . C . ,   2 0 0 3 ,   P   U S   D E P   J U S T   O F F   J U ;   H i n d e l a n g   M . J . ,   1 9 7 6 ,   C R I M I N A L   J U S T I C E   V I C ,   P 5 7 ;   H o f f m a n   T . ,   2 0 1 5 ,   N Y P D   T U R N S   S O C I A L   M E ;   H o l l a n   J . ,   2 0 0 0 ,   A C M   T r a n s a c t i o n s   o n   C o m p u t e r - H u m a n   I n t e r a c t i o n ,   V 7 ,   P 1 7 4 ,   D O I   1 0 . 1 1 4 5 / 3 5 3 4 8 5 . 3 5 3 4 8 7 ;   H u g h e s   A . L . ,   1 9 7 6 ,   J   H O M E L   S E C U R   E M E R G ,   V 2 0 1 2 ,   P 1 ;   I r i b e r r i   A . ,   2 0 1 0 ,   P   4 7   H A W   I N T   C   S Y S T ,   P 1 ;   K r a j b i c h   I ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 1 3 8 5 2 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 1 0 1 3 2 8 1 0 8 ;   K r a u t   R E ,   2 0 1 1 ,   B U I L D I N G   S U C C E S S F U L   O N L I N E   C O M M U N I T I E S :   E V I D E N C E - B A S E D   S O C I A L   D E S I G N ,   P 1 ;   L a n e   N D ,   2 0 1 0 ,   I E E E   C O M M U N   M A G ,   V 4 8 ,   P 1 4 0 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 0 . 5 5 6 0 5 9 8 ;   L a s l e y   J . ,   1 9 9 5 ,   J   C R I M   J U S T I C E ;   L a t a n e   B ,   1 9 7 0 ,   U N R E S P O N S I V E   B Y S T A N D ;   L e r o y   G . ,   2 0 0 6 ,   S C H O L A R S H I P   C L A R E M O N ;   L i s e t t i   C . L . ,   2 0 0 0 ,   P R A G M A T   C O G N ,   V 8 ,   P 1 8 5 ,   D O I   D O I   1 0 . 1 0 7 5 / P C . 8 . 1 . 0 9 L I S ;   L i u   S B ,   2 0 1 4 ,   C O M P U T   S U P P   C O O P   W   J ,   V 2 3 ,   P 3 8 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 0 6 - 0 1 4 - 9 2 0 4 - 3 ;   L u d w i g   T . ,   2 0 1 4 ,   P   I N T   C   S O C   I N F ,   P 4 2 1 ;   M a l o n e   T . W . ,   2 0 1 0 ,   I E E E   E N G   M A N A G E M E N T ,   V 3 8 ,   P 3 8 ;   M a w b y   R . I ,   1 9 8 0 ,   C R I M   J U S T I C E   B E H A V ;   M c C r i c k a r d   D S ,   2 0 0 3 ,   I N T   J   H U M - C O M P U T   S T ,   V 5 8 ,   P 5 0 9 ,   D O I   1 0 . 1 0 1 6 / S 1 0 7 1 - 5 8 1 9 ( 0 3 ) 0 0 0 2 5 - 9 ;   M i t c h e l l   G ,   2 0 1 2 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 7 ,   P 1 0 9 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 1 4 3 2 3 4 3 ;   M o r r i s   E .   W . ,   2 0 1 0 ,   J   C O N T E M P   C R I M   J U S T ,   V 2 6 ,   P 2 5 4 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 0 4 3 9 8 6 2 1 0 3 6 8 6 4 0 ;   N e l d e r   J . A . ,   1 9 6 5 ,   C O M P U T   J ;   R a t c l i f f   R ,   2 0 0 2 ,   P S Y C H O N   B   R E V ,   V 9 ,   P 4 3 8 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 6 3 0 2 ;   R a t c l i f f   R ,   2 0 0 8 ,   N E U R A L   C O M P U T ,   V 2 0 ,   P 8 7 3 ,   D O I   1 0 . 1 1 6 2 / n e c o . 2 0 0 8 . 1 2 - 0 6 - 4 2 0 ;   R e u t e r   C h r i s t i a n ,   2 0 1 4 ,   I n t e r n a t i o n a l   J o u r n a l   o f   I n f o r m a t i o n   S y s t e m s   f o r   C r i s i s   R e s p o n s e   a n d   M a n a g e m e n t ,   V 6 ,   P 3 8 ,   D O I   1 0 . 4 0 1 8 / i j i s c r a m . 2 0 1 4 0 4 0 1 0 3 ;   R i t o v   I . ,   J   R I S K   U N C E R T A I N ,   V 5 ;   R o t h e   P . ,   D Y N A M I C   I N F L U E N C E S   B ;   R u b a c k   R   B ,   1 9 9 9 ,   V i o l e n c e   V i c t ,   V 1 4 ,   P 3 8 1 ;   S c h n e b l y   S M ,   2 0 0 8 ,   J U S T I C E   Q ,   V 2 5 ,   P 2 2 3 ,   D O I   1 0 . 1 0 8 0 / 0 7 4 1 8 8 2 0 8 0 2 0 2 5 0 0 9 ;   S e o p   S . H . ,   2 0 1 1 ,   P   I N T   C   I C T   C O N V   S E O ,   P 7 2 2 ;   S h a h   S . ,   2 0 1 1 ,   P   1 9   A C M   S I G S P A T I A L ;   S h i n   H ,   2 0 1 4 ,   P R O C E E D I N G S   O F   T H E   1 6 T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   H U M A N - C O M P U T E R   I N T E R A C T I O N   W I T H   M O B I L E   D E V I C E S   A N D   S E R V I C E S   ( M O B I L E H C I ' 1 4 ) ,   P 3 8 9 ,   D O I   1 0 . 1 1 4 5 / 2 6 2 8 3 6 3 . 2 6 2 8 4 0 0 ;   S h i r a z i   A .   S a h a m i ,   2 0 1 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 0 5 5 ;   S i n g e r   S . ,   1 9 9 8 ,   J   Q U A N T   C R I M I N A L ;   S K O G A N   W G ,   1 9 8 4 ,   J   R E S   C R I M E   D E L I N Q ,   V 2 1 ,   P 1 1 3 ,   D O I   1 0 . 1 1 7 7 / 0 0 2 2 4 2 7 8 8 4 0 2 1 0 0 2 0 0 3 ;   S u n   R ,   2 0 0 8 ,   C A M B   H A N D B   P S Y C H O L ,   P 3 ;   T a n   E . ,   2 0 1 5 ,   I C O N F E R E N C E   M A R ;   T h a l e r   R .   H . ,   2 0 0 8 ,   N U D G E   I M P R O V I N G   D E C I ;   T h o m p s o n   D . ,   2 0 0 7 ,   J   A M   C O L L   H L T H ;   T i l a k   S . ,   2 0 1 3 ,   I S R N   S E N S   N E T W ;   T o m p s o n   L ,   2 0 1 5 ,   C A R T O G R   G E O G R   I N F   S C ,   V 4 2 ,   P 9 7 ,   D O I   1 0 . 1 0 8 0 / 1 5 2 3 0 4 0 6 . 2 0 1 4 . 9 7 2 4 5 6 ;   U . S .   D e p a r t m e n t   o f   E d u c a t i o n ,   1 9 9 2 ,   J   C L E R   D I S C L   C A M P   S E ;   W a n g   Y . ,   2 0 1 6 ,   P   P R I V   E N H A N C   T E C H N O ,   V 2 0 1 6 ,   P 1 7 2 ;   W h i t e   C N ,   2 0 1 4 ,   J   E X P   P S Y C H O L   L E A R N ,   V 4 0 ,   P 3 8 5 ,   D O I   1 0 . 1 0 3 7 / a 0 0 3 4 8 5 1 ;   W i l c o x   P . ,   2 0 0 7 ,   C R I M E   D E L I N Q ;   W o o l n o u g h   A D ,   2 0 0 9 ,   S E C U R   J ,   V 2 2 ,   P 4 0 ,   D O I   1 0 . 1 0 5 7 / s j . 2 0 0 8 . 1 1 ;   X i e   M ,   2 0 1 2 ,   J   Q U A N T   C R I M I N O L ,   V 2 8 ,   P 2 6 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 9 4 0 - 0 1 1 - 9 1 4 0 - z ;   Z i m m e r m a n   J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 6 7 7 	 8 0 	 0 	 0 	 6 	 6 	 A C A D E M I C   P R E S S   L T D -   E L S E V I E R   S C I E N C E   L T D 	 L O N D O N 	 2 4 - 2 8   O V A L   R D ,   L O N D O N   N W 1   7 D X ,   E N G L A N D 	 1 0 7 1 - 5 8 1 9 	 1 0 9 5 - 9 3 0 0 	 	 I N T   J   H U M - C O M P U T   S T 	 I n t .   J .   H u m . - C o m p u t .   S t u d . 	 J U N 	 2 0 1 7 	 1 0 2 	 	 	 	 	 	 2 7 	 4 0 	 	 1 0 . 1 0 1 6 / j . i j h c s . 2 0 1 6 . 1 1 . 0 0 3 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   E r g o n o m i c s ;   P s y c h o l o g y ,   M u l t i d i s c i p l i n a r y 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   P s y c h o l o g y 	 E S 4 P U 	 W O S : 0 0 0 3 9 9 5 1 8 0 0 0 0 0 4 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 S a s a o ,   T ;   K o n o m i ,   S ;   K o s t a k o s ,   V ;   K u r i b a y a s h i ,   K ;   G o n c a l v e s ,   J 	 	 	 	 S a s a o ,   T o m o y o ;   K o n o m i ,   S h i n ' i c h i ;   K o s t a k o s ,   V a s s i l i s ;   K u r i b a y a s h i ,   K e i s u k e ;   G o n c a l v e s ,   J o r g e 	 	 	 C o m m u n i t y   R e m i n d e r :   P a r t i c i p a t o r y   c o n t e x t u a l   r e m i n d e r   e n v i r o n m e n t s   f o r   l o c a l   c o m m u n i t i e s 	 I N T E R N A T I O N A L   J O U R N A L   O F   H U M A N - C O M P U T E R   S T U D I E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M o b i l e   c r o w d s o u r c i n g ;   C o m m u n i t y ;   C o n t e x t   a w a r e n e s s ;   R e m i n d e r ;   P a r t i c i p a t i o n 	 D E S I G N 	 M a n y   p r o j e c t s   h a v e   l o o k e d   a t   h o w   c o m m u n i t i e s   c a n   c o - d e s i g n   s h a r e d   o n l i n e   r e p o s i t o r i e s ,   s u c h   a s   W i k i m a p i a   a n d   W i k i p e d i a .   H o w e v e r ,   l i t t l e   w o r k   h a s   e x a m i n e d   h o w   l o c a l   c o m m u n i t i e s   c a n   g i v e   a d v i c e   a n d   s u p p o r t   t o   t h e i r   m e m b e r s   b y   c r e a t i n g   c o n t e x t - a w a r e   r e m i n d e r s   t h a t   m a y   i n c l u d e   a d v i c e ,   t i p s   a n d   s m a l l   r e q u e s t s .   W e   d e v e l o p e d   t h e   C o m m u n i t y   R e m i n d e r   e n v i r o n m e n t ,   a   s m a r t p h o n e - b a s e d   p l a t f o r m   t h a t   s u p p o r t s   c o m m u n i t y   m e m b e r s   t o   d e s i g n   a n d   u s e   c o n t e x t - a w a r e   r e m i n d e r s .   W e   h a v e   c o n d u c t e d   a   o n e   m o n t h   f i e l d   s t u d y   o f   C o m m u n i t y   R e m i n d e r   t o   c r o w d s o u r c e   a n d   d e l i v e r   s a f e t y - r e l e v a n t   i n f o r m a t i o n   i n   a   l o c a l   c o m m u n i t y .   T h e   r e s u l t s   s h o w   t h e   b e n e f i t s   o f   i n v o l v i n g   c o m m u n i t y   m e m b e r s   i n   r e m i n d e r   d e s i g n   a n d   c o n n e c t i n g   d i f f e r e n t   p e r s p e c t i v e s .   W e   a l s o   s h o w   t h a t   t h e   p r o p o s e d   a p p r o a c h   c a n   b r o a d e n   p a r t i c i p a t i o n   i n   l o c a l   c o m m u n i t i e s .   ( C )   2 0 1 7   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ S a s a o ,   T o m o y o ;   K u r i b a y a s h i ,   K e i s u k e ]   U n i v   T o k y o ,   G r a d   S c h   F r o n t i e r   S c i ,   T o k y o ,   J a p a n ;   [ K o n o m i ,   S h i n ' i c h i ]   U n i v   T o k y o ,   C t r   S p a t i a l   I n f o r m a t   S c i ,   T o k y o ,   J a p a n ;   [ K o s t a k o s ,   V a s s i l i s ;   G o n c a l v e s ,   J o r g e ]   U n i v   O u l u ,   C t r   U b i q u i t o u s   C o m p ,   O u l u ,   F i n l a n d 	 S a s a o ,   T   ( r e p r i n t   a u t h o r ) ,   U n i v   T o k y o ,   G r a d   S c h   F r o n t i e r   S c i ,   T o k y o ,   J a p a n . 	 	 	 	 M E X T ;   J S P S   K A K E N H I   [ 1 5 J 0 8 5 4 2 ] ;   S S   A v e n u e ,   I n c . ;   A c a d e m y   o f   F i n l a n d   [ 2 7 6 7 8 6 - A W A R E ,   2 8 5 0 6 2 - i C Y C L E ,   2 8 6 3 8 6 - C P D S S ,   2 8 5 4 5 9 - i S C I E N C E ] ;   E u r o p e a n   C o m m i s s i o n   [ P C I G 1 1 - G A - 2 0 1 2 - 3 2 2 1 3 8 ,   6 4 5 7 0 6 - G R A G E ,   6 A I K A - A 7 1 1 4 3 - A K A I ] 	 W e   t h a n k   a l l   t h e   p a r t i c i p a n t s   w h o   c o n t r i b u t e d   t o   t h e   s t u d y .   T h i s   w o r k   i s   p a r t i a l l y   s u p p o r t e d   b y   M E X T   u n d e r   t h e   G r e e n   N e t w o r k   o f   E x c e l l e n c e   ( G R E N E )   p r o g r a m ,   J S P S   K A K E N H I   G r a n t   N o .   1 5 J 0 8 5 4 2 ,   a n d   S S   A v e n u e ,   I n c .   u n d e r   t h e   j o i n t   r e s e a r c h   p r o g r a m   o n   c r o w d s o u r c i n g   t o o l s   f o r   c o p i n g   w i t h   c r i m e s   a n d   d i s a s t e r s   u s i n g   s p a t i a l   i n f o r m a t i o n .   T h i s   w o r k   i s   a l s o   p a r t i a l l y   f u n d e d   b y   t h e   A c a d e m y   o f   F i n l a n d   ( G r a n t s   2 7 6 7 8 6 - A W A R E ,   2 8 5 0 6 2 - i C Y C L E ,   2 8 6 3 8 6 - C P D S S ,   2 8 5 4 5 9 - i S C I E N C E ) ,   a n d   t h e   E u r o p e a n   C o m m i s s i o n   ( G r a n t s   P C I G 1 1 - G A - 2 0 1 2 - 3 2 2 1 3 8 ,   6 4 5 7 0 6 - G R A G E ,   a n d   6 A I K A - A 7 1 1 4 3 - A K A I ) .   T h e   w o r k   o n l y   r e f l e c t s   t h e   a u t h o r s '   v i e w s . 	 A l t   F . ,   2 0 1 0 ,   P   6   N O R D   C   H U M   C O M P ,   P 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 8 9 1 4 . 1 8 6 8 9 2 1 ;   A r i a s   E . ,   2 0 0 0 ,   A C M   T r a n s a c t i o n s   o n   C o m p u t e r - H u m a n   I n t e r a c t i o n ,   V 7 ,   P 8 4 ,   D O I   1 0 . 1 1 4 5 / 3 4 4 9 4 9 . 3 4 5 0 1 5 ;   A R N S T E I N   S R ,   1 9 6 9 ,   J   A M   I   P L A N N E R S ,   V 3 5 ,   P 2 1 6 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 4 4 3 6 6 9 0 8 9 7 7 2 2 5 ;   A u b r y   E . ,   2 0 1 4 ,   P   2 0 1 4   I N T   C   P E R V   C O ,   P 8 9 ;   B a n d u r a   A . ,   1 9 9 2 ,   S E L F   E F F I C A C Y   T H O U G H ,   P 3 ;   B a z e r m a n   M H ,   2 0 0 0 ,   A N N U   R E V   P S Y C H O L ,   V 5 1 ,   P 2 7 9 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . p s y c h . 5 1 . 1 . 2 7 9 ;   B e l l o t t i   V . ,   2 0 1 5 ,   P   3 3   A N N   A C M   C   H U M   F ,   P 1 0 8 5 ;   B i l a n d z i c   M a r k ,   2 0 0 8 ,   P r o c e e d i n g s   o f   t h e   7 t h   A C M   C o n f e r e n c e   o n   D e s i g n i n g   I n t e r a c t i v e   S y s t e m s .   D I S   2 0 0 8 ,   P 1 7 4 ,   D O I   1 0 . 1 1 4 5 / 1 3 9 4 4 4 5 . 1 3 9 4 4 6 4 ;   B j o r g v i n s s o n   E r l i n g ,   2 0 1 0 ,   P   1 1   B I E N N   P A R T   D E S ,   P 4 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 0 0 4 4 1 . 1 9 0 0 4 4 8 ;   B o r e r o   A . ,   2 0 1 0 ,   P   1 1   B I E N N   P A R T   D E S ,   P 8 1 ;   B r a d w e l l   P . ,   2 0 0 8 ,   2 3   D E M O S ;   B u r r e l l   J . ,   2 0 0 2 ,   P   4   I N T   C   U B   C O M P ,   P 1 ;   C a r r o l l   J M ,   2 0 0 7 ,   D E S   S T U D ,   V 2 8 ,   P 2 4 3 ,   D O I   1 0 . 1 0 1 6 / j . d e s t u d . 2 0 0 7 . 0 2 . 0 0 7 ;   C a r r o l l   J M ,   2 0 1 3 ,   A C M   T   C O M P U T - H U M   I N T ,   V 2 0 ,   D O I   1 0 . 1 1 4 5 / 2 4 9 1 5 0 0 . 2 4 9 1 5 0 4 ;   C h r i s t i n   D ,   2 0 1 3 ,   P E R V A S I V E   M O B   C O M P U T ,   V 9 ,   P 6 9 5 ,   D O I   1 0 . 1 0 1 6 / j . p m c j . 2 0 1 2 . 0 8 . 0 0 5 ;   C o o k   M . R . ,   2 0 1 3 ,   T H E S I S ;   C r a n s h a w   J . B . ,   2 0 1 4 ,   P   3 2   A N N   A C M   C   H U M   F ,   P 3 2 4 9 ;   D e y   A K ,   2 0 0 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 1 9 2 7 ,   P 1 7 2 ;   D e y   A K ,   2 0 0 1 ,   H U M - C O M P U T   I N T E R A C T ,   V 1 6 ,   P 9 7 ,   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 7 0 5 1 H C I 1 6 2 3 4 _ 0 2 ;   F e r r e i r a   D ,   2 0 1 3 ,   T H E S I S ;   F i s c h e r   G . ,   2 0 1 1 ,   A C M   J   I N T E R A C T I O N S ,   V 1 8 ,   P 4 2 ,   D O I   [ 1 0 . 1 1 4 5 / 1 9 6 2 4 3 8 . 1 9 6 2 4 5 0 ,   D O I   1 0 . 1 1 4 5 / 1 9 6 2 4 3 8 . 1 9 6 2 4 5 0 ] ;   G a l l a c h e r   S ,   2 0 1 5 ,   P R O C E E D I N G S   O F   T H E   2 0 1 5   A C M   I N T E R N A T I O N A L   J O I N T   C O N F E R E N C E   O N   P E R V A S I V E   A N D   U B I Q U I T O U S   C O M P U T I N G   ( U B I C O M P   2 0 1 5 ) ,   P 2 6 3 ,   D O I   1 0 . 1 1 4 5 / 2 7 5 0 8 5 8 . 2 8 0 7 5 2 9 ;   G o n c a l v e s   J . ,   2 0 1 3 ,   P   A S S E T S   1 3 ;   G o n c a l v e s   J o r g e ,   2 0 1 3 ,   P   2 0 1 3   A C M   I N T   J O I N T ,   P 7 5 3 ;   G o n c a l v e s   J o r g e ,   2 0 1 4 ,   P   2 0 1 4   C   D E S   I N T   S Y S ,   P 7 0 5 ;   G o n c a l v e s   J ,   2 0 1 4 ,   I N T E R A C T   C O M P U T ,   V 2 6 ,   P 1 9 6 ,   D O I   1 0 . 1 0 9 3 / i w c / i w t 0 3 5 ;   G o o d c h i l d   M F ,   2 0 1 0 ,   I N T   J   D I G I T   E A R T H ,   V 3 ,   P 2 3 1 ,   D O I   1 0 . 1 0 8 0 / 1 7 5 3 8 9 4 1 0 0 3 7 5 9 2 5 5 ;   H a n   K ,   2 0 1 6 ,   I N T E R A C T   C O M P U T ,   V 2 8 ,   P 2 2 0 ,   D O I   1 0 . 1 0 9 3 / i w c / i w u 0 4 0 ;   H e n r i c k s e n   K . ,   2 0 0 6 ,   P e r v a s i v e   a n d   M o b i l e   C o m p u t i n g ,   V 2 ,   P 3 7 ,   D O I   1 0 . 1 0 1 6 / j . p m c j . 2 0 0 5 . 0 7 . 0 0 3 ;   H o r n e c k e r   E . ,   2 0 0 6 ,   P   P A R T   D E S   C   2 0 0 6 ,   P 4 7 ;   H o s i o   S i m o ,   2 0 1 4 ,   P   2 7   A N N   A C M   S   U S   I N ,   P 5 5 ;   I F T T T ,   2 0 1 0 ,   L E A R N   I F T T   W O R K S ;   I n o u y e   D . ,   2 0 1 1 ,   P r o c e e d i n g s   o f   t h e   2 0 1 1   I E E E   T h i r d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   P r i v a c y ,   S e c u r i t y ,   R i s k   a n d   T r u s t   a n d   I E E E   T h i r d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S o c i a l   C o m p u t i n g   ( P A S S A T / S o c i a l C o m   2 0 1 1 ) ,   P 2 9 8 ,   D O I   1 0 . 1 1 0 9 / P A S S A T / S o c i a l C o m . 2 0 1 1 . 3 1 ;   I s h i i   H . ,   1 9 9 7 ,   P   C H I ,   V 1 9 9 7 ,   P 2 3 4 ;   K a u f m a n n   N . ,   2 0 1 1 ,   P   1 7   A M   C   I N F   S Y S T   A ;   P a u l o s   E . ,   2 0 1 3 ,   P   2 0 1 3   C   C O M P   S U P P   C ,   P 1 4 5 3 ;   L e   D a n t e c   C A ,   2 0 1 5 ,   P R O C E E D I N G S   O F   T H E   2 0 1 5   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C O M P U T E R - S U P P O R T E D   C O O P E R A T I V E   W O R K   A N D   S O C I A L   C O M P U T I N G   ( C S C W ' 1 5 ) ,   P 1 7 1 7 ,   D O I   1 0 . 1 1 4 5 / 2 6 7 5 1 3 3 . 2 6 7 5 2 1 2 ;   L O C Q L , ,   2 0 1 1 ,   S E L C   L O C Q L   L O C   B A S   Q ;   M a n z o o r   A ,   2 0 1 4 ,   T   E M E R G   T E L E C O M M U N   T ,   V 2 5 ,   P 6 4 ,   D O I   1 0 . 1 0 0 2 / e t t . 2 7 8 6 ;   M i s r a   A ,   2 0 1 4 ,   T R A N S P O R T   R E S   R E C ,   P 1 ,   D O I   1 0 . 3 1 4 1 / 2 4 1 4 - 0 1 ;   P a r k   S ,   2 0 1 4 ,   P R O C E E D I N G S   O F   T H E   1 6 T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   H U M A N - C O M P U T E R   I N T E R A C T I O N   W I T H   M O B I L E   D E V I C E S   A N D   S E R V I C E S   ( M O B I L E H C I ' 1 4 ) ,   P 1 3 ,   D O I   1 0 . 1 1 4 5 / 2 6 2 8 3 6 3 . 2 6 2 8 4 0 7 ;   P e t e r s o n   C . ,   1 9 9 9 ,   W E L L   B E I N G   F D N   H E D O N ,   P 2 8 8 ;   P r i e d h o r s k y   R ,   2 0 0 8 ,   C S C W :   2 0 0 8   A C M   C O N F E R E N C E   O N   C O M P U T E R   S U P P O R T E D   C O O P E R A T I V E   W O R K ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 2 6 7 ;   R e d d y   S ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 0 3 0 ,   P 1 3 8 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 2 6 5 4 - 3 _ 9 ;   S a b i e s c u   A . ,   2 0 1 4 ,   P   1 3   P A R T   D E S   C   R E S ,   p [ 1 ,   1 ] ;   S a n d e r s   E l i z a b e t h   B . - N ,   2 0 0 8 ,   C o D e s i g n ,   V 4 ,   P 5 ,   D O I   1 0 . 1 0 8 0 / 1 5 7 1 0 8 8 0 7 0 1 8 7 5 0 6 8 ;   S a s a o   T o m o y o ,   2 0 1 4 ,   D i s t r i b u t e d ,   A m b i e n t ,   a n d   P e r v a s i v e   I n t e r a c t i o n s .   S e c o n d   I n t e r n a t i o n a l   C o n f e r e n c e   ( D A P I   2 0 1 4 )   H e l d   a s   P a r t   o f   H C I   I n t e r n a t i o n a l   2 0 1 4 .   P r o c e e d i n g s :   L N C S   8 5 3 0 ,   P 6 0 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 0 7 7 8 8 - 8 _ 5 6 ;   S a s a o   T ,   2 0 1 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 9 7 4 9 ,   P 4 7 0 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 3 9 8 6 2 - 4 _ 4 3 ;   S e e C l i c k F i x ,   2 0 1 6 ,   R E P   N O N   U S S   R E C   A L   Y ;   S t e e n   M ,   2 0 1 1 ,   I N T   J   D E S ,   V 5 ,   P 5 3 ;   T a n g   L ,   2 0 1 1 ,   P E R S   U B I Q U I T   C O M P U T ,   V 1 5 ,   P 2 5 3 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 9 - 0 1 0 - 0 3 3 2 - 6 ;   T a y l o r   N . ,   2 0 1 4 ,   P   3 2   A N N   A M C   C   H U M   F ,   P 2 9 9 5 ;   U p w o r k   G l o b a l ,   2 0 1 6 ,   U P W   H I R   F R E E L   G E T   F R ;   W a n d e r s m a n   A . ,   2 0 0 0 ,   H D B   C O M M U N I T Y   P S Y C H O ,   P 2 4 7 ;   W E N G E R   E . ,   1 9 9 8 ,   C O M M U N I T Y   P R A C T I C E ;   W i l l e t t   W ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 0 3 0 ,   P 3 0 1 ;   W o o   J B ,   2 0 1 5 ,   P R O C E E D I N G S   O F   T H E   2 0 1 5   A C M   I N T E R N A T I O N A L   J O I N T   C O N F E R E N C E   O N   P E R V A S I V E   A N D   U B I Q U I T O U S   C O M P U T I N G   ( U B I C O M P   2 0 1 5 ) ,   P 7 7 9 ,   D O I   1 0 . 1 1 4 5 / 2 7 5 0 8 5 8 . 2 8 0 6 0 6 3 ;   Y o o   D ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 7 9 7 	 5 8 	 0 	 0 	 2 	 2 	 A C A D E M I C   P R E S S   L T D -   E L S E V I E R   S C I E N C E   L T D 	 L O N D O N 	 2 4 - 2 8   O V A L   R D ,   L O N D O N   N W 1   7 D X ,   E N G L A N D 	 1 0 7 1 - 5 8 1 9 	 1 0 9 5 - 9 3 0 0 	 	 I N T   J   H U M - C O M P U T   S T 	 I n t .   J .   H u m . - C o m p u t .   S t u d . 	 J U N 	 2 0 1 7 	 1 0 2 	 	 	 	 	 	 4 1 	 5 3 	 	 1 0 . 1 0 1 6 / j . i j h c s . 2 0 1 6 . 0 9 . 0 0 1 	 	 1 3 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   E r g o n o m i c s ;   P s y c h o l o g y ,   M u l t i d i s c i p l i n a r y 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   P s y c h o l o g y 	 E S 4 P U 	 W O S : 0 0 0 3 9 9 5 1 8 0 0 0 0 0 5 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 N i f o r a t o s ,   E ;   V o u r v o p o u l o s ,   A ;   L a n g h e i n r i c h ,   M 	 	 	 	 N i f o r a t o s ,   E v a n g e l o s ;   V o u r v o p o u l o s ,   A t h a n a s i o s ;   L a n g h e i n r i c h ,   M a r c 	 	 	 U n d e r s t a n d i n g   t h e   p o t e n t i a l   o f   h u m a n - m a c h i n e   c r o w d s o u r c i n g   f o r   w e a t h e r   d a t a 	 I N T E R N A T I O N A L   J O U R N A L   O F   H U M A N - C O M P U T E R   S T U D I E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S e n s o r   n e t w o r k s ;   S m a r t   c i t i e s ;   C r o w d s o u r c i n g ;   M o b i l e   s e n s i n g 	 	 R e l i a b l e   w e a t h e r   e s t i m a t i o n   t r a d i t i o n a l l y   r e q u i r e s   a   d e n s e   n e t w o r k   o f   m e t e o r o l o g i c a l   m e a s u r e m e n t   s t a t i o n s .   T h e   c o n c e p t   o f   p a r t i c i p a t o r y   s e n s i n g   p r o m i s e s   t o   a l l e v i a t e   t h i s   r e q u i r e m e n t   b y   c r o w d s o u r c i n g   w e a t h e r   d a t a   f r o m   a n   i d e a l l y   v e r y   l a r g e   s e t   o f   p a r t i c i p a t i n g   u s e r s   i n s t e a d .   P a r t i c i p a t i o n   m a y   i n v o l v e   n o t h i n g   m o r e   t h a n   d o w n l o a d i n g   a   c o r r e s p o n d i n g   a p p   t o   e n a b l e   t h e   c o l l e c t i o n   o f   s u c h   d a t a ,   g i v e n   t h a t   m o d e r n   s m a r t p h o n e s   c o n t a i n   a   p l e t h o r a   o f   w e a t h e r - r e l a t e d   s e n s o r s .   T o   u n d e r s t a n d   t h e   p o t e n t i a l   o f   p a r t i c i p a t o r y   s e n s i n g   f o r   w e a t h e r   e s t i m a t i o n ,   a n d   h o w   h u m a n s   c a n   b e   p u t   " i n   t h e   l o o p "   t o   f u r t h e r   i m p r o v e   s u c h   s e n s i n g ,   w e   c r e a t e d   A t m o s   -   a   c r o w d s o u r c i n g   w e a t h e r   a p p   t h a t   n o t   o n l y   p e r i o d i c a l l y   s a m p l e s   s m a r t p h o n e s '   s e n s o r s   f o r   w e a t h e r   m e a s u r e m e n t s ,   b u t   a l s o   a l l o w s   u s e r s   t o   e n t e r   t h e i r   o w n   e s t i m a t e s   o f   b o t h   c u r r e n t   a n d   f u t u r e   w e a t h e r   c o n d i t i o n s .   W e   p r e s e n t   t h e   r e s u l t s   o f   a   3 2 - m o n t h   p u b l i c   d e p l o y m e n t   o f   A t m o s   o n   t h e   G o o g l e   P l a y   S t o r e ,   s h o w i n g   t h a t   a   c o m b i n a t i o n   o f   b o t h   t y p e s   o f   " s e n s i n g "   r e s u l t s   i n   a c c u r a t e   t e m p e r a t u r e   e s t i m a t e s ,   f e a t u r i n g   a n   a v e r a g e   e r r o r   r a t e   o f   2 . 7   d e g r e e s   C ,   w h e r e a s   w h e n   u s i n g   o n l y   u s e r   i n p u t s ,   t h e   a v e r a g e   e r r o r   r a t e   d r o p s   t o   1 . 8 6   d e g r e e s   C . 	 [ N i f o r a t o s ,   E v a n g e l o s ;   L a n g h e i n r i c h ,   M a r c ]   U S I ,   C H - 6 9 0 0   L u g a n o ,   S w i t z e r l a n d ;   [ V o u r v o p o u l o s ,   A t h a n a s i o s ]   U n i v   M a d e i r a   U M a ,   P - 9 0 0 0 3 9 0   F u n c h a l ,   P o r t u g a l 	 N i f o r a t o s ,   E   ( r e p r i n t   a u t h o r ) ,   U S I ,   C H - 6 9 0 0   L u g a n o ,   S w i t z e r l a n d . 	 e v a n g e l o s . n i f o r a t o s @ u s i . c h 	 	 	 F u t u r e   a n d   E m e r g i n g   T e c h n o l o g i e s   ( F E T )   p r o g r a m m e   w i t h i n   t h e   7 t h   F r a m e w o r k   P r o g r a m m e   f o r   R e s e a r c h   o f   t h e   E u r o p e a n   C o m m i s s i o n ,   u n d e r   F E T   G r a n t   [ 6 1 2 9 3 3 ] 	 T h e   a u t h o r s   a c k n o w l e d g e   t h e   f i n a n c i a l   s u p p o r t   o f   t h e   F u t u r e   a n d   E m e r g i n g   T e c h n o l o g i e s   ( F E T )   p r o g r a m m e   w i t h i n   t h e   7 t h   F r a m e w o r k   P r o g r a m m e   f o r   R e s e a r c h   o f   t h e   E u r o p e a n   C o m m i s s i o n ,   u n d e r   F E T   G r a n t   N u m b e r :   6 1 2 9 3 3 . 	 B o u l o s   M N K ,   2 0 1 1 ,   I N T   J   H E A L T H   G E O G R ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 6 - 0 7 2 X - 1 0 - 6 7 ;   B r e i m a n   L ,   1 9 9 6 ,   M A C H   L E A R N ,   V 2 4 ,   P 1 2 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 1 8 0 5 4 3 1 4 3 5 0 ;   B r e i m a n   L . ,   1 9 8 4 ,   C L A S S I F I C A T I O N   R E G R E ;   B u r k e   J . ,   2 0 0 7 ,   I M A G E   B R O W S I N G   P R O C E ;   B u r k e   J .   A . ,   2 0 0 6 ,   P A R T I C I P A T O R Y   S E N S I N ;   C h a t z i m i l i o u d i s   G ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 3 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 7 0 ;   C h r i s t i n   D ,   2 0 1 6 ,   J   S Y S T   S O F T W A R E ,   V 1 1 6 ,   P 5 7 ,   D O I   1 0 . 1 0 1 6 / j . j s s . 2 0 1 5 . 0 3 . 0 6 7 ;   C o n s t a n t i n i d e s   M . ,   2 0 1 2 ,   P   1 1   H E L L   D A T   M A N   S ;   C o s t a   C ,   2 0 1 1 ,   P R O C   I N T   C O N F   D A T A ,   P 1 2 8 8 ,   D O I   1 0 . 1 1 0 9 / I C D E . 2 0 1 1 . 5 7 6 7 9 3 4 ;   C s i k s z e n t m i h a l y i   M i h a l y ,   2 0 1 4 ,   V A L I D I T Y   R E L I A B I L I T Y ,   P 3 5 ;   D e m i r b a s   M . ,   2 0 1 0 ,   P   I E E E   I N T   S   W O R L D   W ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / W O W M O M . 2 0 1 0 . 5 5 3 4 9 1 0 ;   D o m i n g o - F e r r e r   J ,   2 0 0 2 ,   I E E E   T   K N O W L   D A T A   E N ,   V 1 4 ,   P 1 8 9 ,   D O I   1 0 . 1 1 0 9 / 6 9 . 9 7 9 9 8 2 ;   D o n g   Y . F . ,   2 0 0 8 ,   A U T O M A T I C   C O L L E C T I O N ,   P 1 4 0 ;   E l h a r t   I . ,   2 0 1 5 ,   S H A D O W T O U C H   M U L T I U S E ,   P 2 0 9 ;   E l m o r e   K L ,   2 0 1 4 ,   B   A M   M E T E O R O L   S O C ,   V 9 5 ,   P 1 3 3 5 ,   D O I   1 0 . 1 1 7 5 / B A M S - D - 1 3 - 6 0 0 1 4 . 1 ;   E p h r a t h   J E ,   1 9 9 6 ,   A G R   S Y S T ,   V 5 1 ,   P 3 7 7 ,   D O I   1 0 . 1 0 1 6 / 0 3 0 8 - 5 2 1 X ( 9 5 ) 0 0 0 6 8 - G ;   E r i c k s o n   T . ,   2 0 1 0 ,   G E O C E N T R I C   C R O W D S O U R ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F e r r e i r a   D . ,   2 0 1 5 ,   A W A R E   M O B I L E   C O N T E X T ,   V 2 ;   G o n c a l v e s   J o r g e ,   2 0 1 4 ,   P   2 0 1 4   C   D E S   I N T   S Y S ,   P 7 0 5 ;   G o n c a l v e s   J ,   2 0 1 5 ,   C O M P U T   N E T W ,   V 9 0 ,   P 3 4 ,   D O I   1 0 . 1 0 1 6 / j . c o m n e t . 2 0 1 5 . 0 7 . 0 0 2 ;   G o z i c k   B ,   2 0 1 1 ,   I E E E   T   I N S T R U M   M E A S ,   V 6 0 ,   P 3 8 8 3 ,   D O I   1 0 . 1 1 0 9 / T I M . 2 0 1 1 . 2 1 4 7 6 9 0 ;   G u o   B ,   2 0 1 4 ,   I N T   C O N F   P E R V A S   C O M P ,   P 5 9 3 ,   D O I   1 0 . 1 1 0 9 / P e r C o m W . 2 0 1 4 . 6 8 1 5 2 7 3 ;   H a n   B ,   2 0 1 2 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 1 ,   P 8 2 1 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 1 . 1 0 1 ;   H i c k s   J . ,   2 0 1 0 ,   P   W H   1 0   W I R E L E S S   H L T ,   P 3 4 ,   D O I   [ 1 0 . 1 1 4 5 / 1 9 2 1 0 8 1 . 1 9 2 1 0 8 7 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 1 0 8 1 . 1 9 2 1 0 8 7 ] ;   H o s i o   S i m o ,   2 0 1 2 ,   P e r v a s i v e   C o m p u t i n g .   P r o c e e d i n g s   o f   t h e   1 0 t h   I n t e r n a t i o n a l   C o n f e r e n c e ,   P e r v a s i v e   2 0 1 2 ,   P 4 2 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 1 2 0 5 - 2 _ 2 6 ;   H o s i o   S . ,   2 0 1 4 ,   S I T U A T E D   C R O W D S O U R C I ,   P 5 5 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H u a n g   K L ,   2 0 1 0 ,   C O M P U T   C O M M U N ,   V 3 3 ,   P 1 2 6 6 ,   D O I   1 0 . 1 0 1 6 / j . c o m c o m . 2 0 0 9 . 0 8 . 0 1 2 ;   K a n h e r e   S .   S . ,   2 0 1 1 ,   P   I E E E   I N T   C   M O B   D A T ,   P 3 ,   D O I   D O I   1 0 . 1 1 0 9 / M D M . 2 0 1 1 . 1 6 ;   K a n j o   E ,   2 0 1 0 ,   M O B I L E   N E T W   A P P L ,   V 1 5 ,   P 5 6 2 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 3 6 - 0 0 9 - 0 2 1 7 - y ;   K o n s t a n t i n i d i s   A . ,   2 0 1 2 ,   S M A R T P 2 P   M U L T I O B J E C T ,   P 3 2 4 ;   L a n e   N . D . ,   2 0 0 8 ,   P   9   W O R K S H   M O B   C O M P ,   P 1 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 1 1 7 5 9 . 1 4 1 1 7 6 3 ;   L a n e   N . D . ,   2 0 1 3 ,   P   1 1   A C M   C   E M B   N E T W ,   P 7 ;   L a t h i a   N . ,   2 0 1 3 ,   P   A C M   I N T   J O I N T   C   P E ,   P 1 8 3 ;   M a c K e r r o n   G . ,   2 0 1 0 ,   B R   P O L I T   P O L I C Y   L S E ;   M a r s h a l l   P . ,   2 0 1 1 ,   P E R V A S I V E   C O M P U T   T E C ,   P 5 5 5 ;   M i c h i e   D . ,   1 9 9 4 ,   M A C H I N E   L E A R N I N G ;   M i l u z z o   E ,   2 0 0 8 ,   S E N S Y S ' 0 8 :   P R O C E E D I N G S   O F   T H E   6 T H   A C M   C O N F E R E N C E   O N   E M B E D D E D   N E T W O R K E D   S E N S O R   S Y S T E M S ,   P 3 3 7 ;   M o h a n   P ,   2 0 0 8 ,   S E N S Y S ' 0 8 :   P R O C E E D I N G S   O F   T H E   6 T H   A C M   C O N F E R E N C E   O N   E M B E D D E D   N E T W O R K E D   S E N S O R   S Y S T E M S ,   P 3 2 3 ;   M u l l e r   J o r g ,   2 0 0 9 ,   P E R V A S I V E   C O M P U T I N G ,   V 2 0 0 9 ,   P 1 ;   N i f o r a t o s   E v a n g e l o s ,   2 0 1 6 ,   W e b   E n g i n e e r i n g .   1 6 t h   I n t e r n a t i o n a l   C o n f e r e n c e ,   I C W E   2 0 1 6 .   P r o c e e d i n g s :   L N C S   9 6 7 1 ,   P 5 6 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 3 8 7 9 1 - 8 _ 5 0 ;   N i f o r a t o s   E v a n g e l o s ,   2 0 1 2 ,   J o u r n a l   o f   L o c a t i o n   B a s e d   S e r v i c e s ,   V 6 ,   P 2 3 4 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 8 9 7 2 5 . 2 0 1 2 . 6 9 1 6 7 1 ;   N i f o r a t o s   E . ,   2 0 1 4 ,   U B I C O M P   1 4   A D J U N C T ,   P 1 3 5 ;   N i f o r a t o s   E . ,   2 0 1 5 ,   P   4   A C M   I N T   S   P E R V   D ;   N i f o r a t o s   E . ,   2 0 1 5 ,   P   1 4   I N T   C   M O B   U B   M U ,   P 1 5 2 ;   N i f o r a t o s   E . ,   2 0 1 5 ,   P   2 0 1 5   A C M   I N T   S   W E A ,   P 7 7 5 ;   O v e r e e m   A ,   2 0 1 3 ,   G E O P H Y S   R E S   L E T T ,   V 4 0 ,   P 4 0 8 1 ,   D O I   1 0 . 1 0 0 2 / g r l . 5 0 7 8 6 ;   R a c h u r i   K K ,   2 0 1 3 ,   I N T   C O N F   P E R V A S   C O M P ,   P 8 5 ,   D O I   1 0 . 1 1 0 9 / P e r C o m . 2 0 1 3 . 6 5 2 6 7 1 8 ;   S c h w e i z e r   I . ,   2 0 1 1 ,   P   2   I N T   W O R K S H   S E N S ,   P 1 ;   S h o e m a k e r   G . ,   2 0 0 7 ,   P   2 0   A N N   A C M   S   U S   I N ,   P 5 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 2 9 4 2 1 1 . 1 2 9 4 2 2 1 ;   W h i t t l e   J ,   2 0 1 0 ,   U B I C O M P   2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 0 1 0   A C M   C O N F E R E N C E   O N   U B I Q U I T O U S   C O M P U T I N G ,   P 4 1 ;   Z a r k o   I .   P o d n a r ,   2 0 1 3 ,   P   2 0 1 3   A C M   C   P E R V   U B ,   P 1 0 9 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 4 9 4 0 9 1 . 2 4 9 9 5 7 7 	 5 3 	 0 	 0 	 4 	 4 	 A C A D E M I C   P R E S S   L T D -   E L S E V I E R   S C I E N C E   L T D 	 L O N D O N 	 2 4 - 2 8   O V A L   R D ,   L O N D O N   N W 1   7 D X ,   E N G L A N D 	 1 0 7 1 - 5 8 1 9 	 1 0 9 5 - 9 3 0 0 	 	 I N T   J   H U M - C O M P U T   S T 	 I n t .   J .   H u m . - C o m p u t .   S t u d . 	 J U N 	 2 0 1 7 	 1 0 2 	 	 	 	 	 	 5 4 	 6 8 	 	 1 0 . 1 0 1 6 / j . i j h c s . 2 0 1 6 . 1 0 . 0 0 2 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   E r g o n o m i c s ;   P s y c h o l o g y ,   M u l t i d i s c i p l i n a r y 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   P s y c h o l o g y 	 E S 4 P U 	 W O S : 0 0 0 3 9 9 5 1 8 0 0 0 0 0 6 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 H u a n g ,   Y ;   S h e m a ,   A ;   X i a ,   H C 	 	 	 	 H u a n g ,   Y u n ;   S h e m a ,   A l a i n ;   X i a ,   H u i c h u a n 	 	 	 A   p r o p o s e d   g e n o m e   o f   m o b i l e   a n d   s i t u a t e d   c r o w d s o u r c i n g   a n d   i t s   d e s i g n   i m p l i c a t i o n s   f o r   e n c o u r a g i n g   c o n t r i b u t i o n s 	 I N T E R N A T I O N A L   J O U R N A L   O F   H U M A N - C O M P U T E R   S T U D I E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S u r v e y ;   M o b i l e   c r o w d s o u r c i n g ;   S i t u a t e d   c r o w d s o u r c i n g ;   G e n o m e ;   D e s i g n   s u g g e s t i o n s 	 	 A   n u m b e r   o f   p a p e r s   h a v e   s u r v e y e d   m o b i l e   c r o w d s o u r c i n g   s y s t e m s   a n d ,   t o   a   l e s s e r   e x t e n t ,   s i t u a t e d   c r o w d s o u r c i n g   s y s t e m s .   T h e s e   s u r v e y s   h a v e   e i t h e r   c o n t r i b u t e d   a   c o m p r e h e n s i v e   t a x o n o m y   o f   t h e   d i v e r s e   a p p l i c a t i o n   d o m a i n s   w h e r e   t h e   s y s t e m s   h a v e   t a p p e d   i n t o   o r   h a v e   c h a r a c t e r i z e d   d i f f e r e n t   c o m p o n e n t s   o f   t h e   s y s t e m   p l a t f o r m s .   I n   t h i s   p a p e r ,   w e   p r e s e n t   a   s u r v e y   o f   m o b i l e   a n d   s i t u a t e d   c r o w d s o u r c i n g   s y s t e m s   b y   a d d r e s s i n g   f u n d a m e n t a l   q u e s t i o n s   a b o u t   u s e r   c o n t r i b u t i o n s   t h a t   s y s t e m   d e s i g n e r s   p o s e   w h e n   b u i l d i n g   n e w   s y s t e m s   o r   e v a l u a t i n g   e x i s t i n g   o n e s .   W e   s e l e c t   a n d   a n a l y z e   4 0   m o b i l e   a n d   s i t u a t e d   c r o w d s o u r c i n g   s y s t e m s   f o r   w h i c h   p r o t o t y p e s   w e r e   d e p l o y e d   a n d   s t u d i e d   i n   t h e   r e a l   w o r l d .   I n s p i r e d   b y   t h e   M I T ' s   g e n e t i c   m o d e l   o f   c o l l e c t i v e   i n t e l l i g e n c e ,   w e   p r o p o s e   o u r   g e n e t i c   m o d e l   a n d   n e w   g e n e s   f o r   m o b i l e   a n d   s i t u a t e d   c r o w d s o u r c i n g   s y s t e m s   b y   e x a m i n i n g   u s e r   c o n t r i b u t i o n s   t o   t h e   s e l e c t e d   s y s t e m s .   W e   p r e s e n t   t h e   o b s e r v e d   p a t t e r n s   o f   d i f f e r e n t   g e n e s   a n d   d i s c u s s   h o w   t h e   m o d e l   c a n   b e   u s e d   t o   c r e a t e   n e w   a p p l i c a t i o n s   a n d   d e s i g n   i d e a s .   B y   r e v i e w i n g   t h e   e x i s t i n g   d e s i g n   p r i n c i p l e s   o f   o n l i n e   c o m m u n i t i e s ,   w e   a l s o   p r o v i d e   e x a m p l e s   t o   i l l u s t r a t e   h o w   u n i q u e   g e n e s   i n s p i r e   n e w   d e s i g n   s u g g e s t i o n s   f o r   e n c o u r a g i n g   u s e r   c o n t r i b u t i o n s   i n   t h e   c o n t e x t   o f   m o b i l e   a n d   s i t u a t e d   c r o w d s o u r c i n g . 	 [ H u a n g ,   Y u n ;   S h e m a ,   A l a i n ;   X i a ,   H u i c h u a n ]   S y r a c u s e   U n i v ,   S c h   I n f o r m a t   S t u d i e s ,   S y r a c u s e ,   N Y   1 3 2 4 4   U S A 	 H u a n g ,   Y   ( r e p r i n t   a u t h o r ) ,   S y r a c u s e   U n i v ,   S c h   I n f o r m a t   S t u d i e s ,   S y r a c u s e ,   N Y   1 3 2 4 4   U S A . 	 y h u a n g @ s y r . e d u ;   s r a l a i n @ s y r . e d u ;   h x i a @ s y r . e d u 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ 1 4 6 4 3 1 2 ] ;   G o o g l e   F a c u l t y   R e s e a r c h   A w a r d 	 T h i s   m a t e r i a l   i s   b a s e d   u p o n   w o r k   s u p p o r t e d   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   u n d e r   G r a n t   N o . # 1 4 6 4 3 1 2 .   A n y   o p i n i o n s ,   f i n d i n g s ,   a n d   c o n c l u s i o n s   o r   r e c o m m e n d a t i o n s   e x p r e s s e d   i n   t h i s   m a t e r i a l   a r e   t h o s e   o f   t h e   a u t h o r ( s )   a n d   d o   n o t   n e c e s s a r i l y   r e f l e c t   t h e   v i e w s   o f   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n .   W e   a l s o   t h a n k   t h e   s u p p o r t   f r o m   a   G o o g l e   F a c u l t y   R e s e a r c h   A w a r d . 	 A i r b n b ,   2 0 1 5 ,   V A C   R E N T   H O M   A P   R O O M ;   A M A B I L E   T M ,   1 9 7 6 ,   J   P E R S   S O C   P S Y C H O L ,   V 3 4 ,   P 9 2 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 2 - 3 5 1 4 . 3 4 . 1 . 9 2 ;   A r v e d s o n   L . A . ,   1 9 7 5 ,   T H E S I S ;   B A N E R J E E   A V ,   1 9 9 2 ,   Q   J   E C O N ,   V 1 0 7 ,   P 7 9 7 ,   D O I   1 0 . 2 3 0 7 / 2 1 1 8 3 6 4 ;   B e a c h   A a r o n ,   2 0 0 8 ,   N E T W O R K   I E E E ,   V 2 2 ,   P 5 0 ;   B i g h a m   J .   P . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 3 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 8 0 ;   B i l a n d z i c   M . ,   2 0 0 8 ,   P   5   A C M   N O R D   C   H U M   C ,   P 4 1 5 ,   D O I   1 0 . 1 1 4 5 / 1 4 6 3 1 6 0 . 1 4 6 3 2 0 8 ;   C e l i n o   I ,   2 0 1 2 ,   P r o c e e d i n g s   o f   2 0 1 2   A S E / I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   P r i v a c y ,   S e c u r i t y ,   R i s k   a n d   T r u s t   a n d   2 0 1 2   A S E / I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S o c i a l   C o m p u t i n g   ( S o c i a l C o m / P A S S A T   2 0 1 2 ) ,   P 9 1 0 ,   D O I   1 0 . 1 1 0 9 / S o c i a l C o m - P A S S A T . 2 0 1 2 . 1 3 8 ;   C h a t z i m i l i o u d i s   G ,   2 0 1 2 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 6 ,   P 3 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 2 . 7 0 ;   C h e n   G . ,   2 0 0 9 ,   6   A N N   I N T   M O B   U B   S Y S ,   P 1 ;   c o u c h s u r f i n g ,   2 0 1 5 ,   S T A Y   L O C   M A K   T R A V   F R ;   D i l l a h u n t   T . R . ,   2 0 1 5 ,   P   3 3   A N N   A C M   C   H U M   F ,   P 2 2 8 5 ;   D o   N . ,   2 0 1 2 ,   P   A C M   M I D D L ,   P 1 ;   E a g l e   N . ,   2 0 0 9 ,   T X T E A G L E   M O B I L E   C R O W ,   P 4 4 7 ;   E i s e n m a n   S B ,   2 0 0 9 ,   A C M   T   S E N S O R   N E T W O R K ,   V 6 ,   D O I   1 0 . 1 1 4 5 / 1 6 5 3 7 6 0 . 1 6 5 3 7 6 6 ;   E r i c k s o n   T . ,   1   I N T   W O R K S H   U B   C R O W ;   F e n g   Z N ,   2 0 1 4 ,   I E E E   I N F O C O M   S E R ,   P 1 2 3 1 ,   D O I   1 0 . 1 1 0 9 / I N F O C O M . 2 0 1 4 . 6 8 4 8 0 5 5 ;   F o k   C L ,   2 0 0 5 ,   2 0 0 5   F O U R T H   I N T E R N A T I O N A L   S Y M P O S I U M   O N   I N F O R M A T I O N   P R O C E S S I N G   I N   S E N S O R   N E T W O R K S ,   P 3 8 2 ;   F r e i   B ,   2 0 0 9 ,   P A I D   C R O W D S O U R C I N G   C ;   F u c h s - K i t t o w s k i   F . ,   2 0 1 4 ,   A R C H I T E C T U R E   M O B I L E ,   P 1 2 1 ;   G e i g e r   D . ,   2 0 1 1 ,   P   2 2   A U S T R   C   I N F   S Y S ;   G o l d m a n   J . ,   2 0 0 9 ,   P A R T I C I P A T O R Y   S E N S I N ,   P 1 ;   G o n c a l v e s   J o r g e ,   2 0 1 3 ,   P   2 0 1 3   A C M   I N T   J O I N T ,   P 7 5 3 ;   G o n c a l v e s   J o r g e ,   2 0 1 4 ,   P   2 0 1 4   C   D E S   I N T   S Y S ,   P 7 0 5 ;   G o v i n d a r a j   D ,   2 0 1 1 ,   B E L L   L A B S   T E C H   J ,   V 1 5 ,   P 7 9 ,   D O I   1 0 . 1 0 0 2 / b l t j . 2 0 4 7 3 ;   G u o   B . ,   2 0 1 5 ,   A C M   C O M P U T   S U R V ,   V 4 8 ,   P 1 ;   G u p t a   A . ,   2 0 1 2 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 8 4 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 2 0 7 6 7 6 . 2 2 0 8 3 2 0 ;   H a m a r i   J ,   2 0 1 6 ,   J   A S S O C   I N F   S C I   T E C H ,   V 6 7 ,   P 2 0 4 7 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 3 5 5 2 ;   H e i m e r l   K u r t i s ,   2 0 1 2 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 5 3 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 2 0 7 6 7 6 . 2 2 0 8 6 1 9 ;   H o f f e r   E . ,   1 9 5 5 ,   P A S S I O N A T E   S T A T E   M I N ,   P 5 9 ;   H o s i o   S i m o ,   2 0 1 2 ,   P e r v a s i v e   C o m p u t i n g .   P r o c e e d i n g s   o f   t h e   1 0 t h   I n t e r n a t i o n a l   C o n f e r e n c e ,   P e r v a s i v e   2 0 1 2 ,   P 4 2 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 1 2 0 5 - 2 _ 2 6 ;   H o s i o   S i m o ,   2 0 1 4 ,   P   2 7   A N N   A C M   S   U S   I N ,   P 5 5 ;   H u   X F ,   2 0 1 3 ,   D E F E C T   D I F F U S   F O R U M ,   V 3 4 4 ,   P 8 5 ,   D O I   1 0 . 4 0 2 8 / w w w . s c i e n t i f i c . n e t / D D F . 3 4 4 . 8 5 ;   H u a n g   Y . ,   2 0 1 6 ,   P   1 8   I N T   C   H U M   C O M P ,   P 3 6 5 ,   D O I   h t t p : / / d x . d o i . o r g / 1 0 . 1 1 4 5 / 2 9 3 5 3 3 4 . 2 9 3 5 3 8 7 ;   H u a n g   Y . ,   M O B I L E H C I   I N   P R E S S ;   H u a n g   Y ,   2 0 1 5 ,   P R O C E E D I N G S   O F   T H E   2 0 1 5   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C O M P U T E R - S U P P O R T E D   C O O P E R A T I V E   W O R K   A N D   S O C I A L   C O M P U T I N G   ( C S C W ' 1 5 ) ,   P 1 3 0 ,   D O I   1 0 . 1 1 4 5 / 2 6 7 5 1 3 3 . 2 6 7 5 1 7 3 ;   J a c k s o n   A . S . K . - S . C ,   2 0 1 5 ,   I N T   J   M O B I L E   H C I ;   K a n d a p p u   T ,   2 0 1 3 ,   C O N E X T   S T U D E N T   W O R K S H O P   ' 1 3 ,   P 1 3 ,   D O I   1 0 . 1 1 4 5 / 2 5 3 7 1 4 8 . 2 5 3 7 1 5 0 ;   K o n o m i   S ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 5 3 8 ,   P 2 0 2 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 1 5 1 6 - 8 _ 1 5 ;   K o u k o u m i d i s   E . ,   2 0 1 1 ,   P   9   I N T   C   M O B   S Y S T   A ,   P 1 2 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 9 9 9 9 5 . 2 0 0 0 0 0 8 ;   K r a u t   R E ,   2 0 1 1 ,   B U I L D I N G   S U C C E S S F U L   O N L I N E   C O M M U N I T I E S :   E V I D E N C E - B A S E D   S O C I A L   D E S I G N ,   P 1 ;   L a n e   N D ,   2 0 1 0 ,   I E E E   C O M M U N   M A G ,   V 4 8 ,   P 1 4 0 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 0 . 5 5 6 0 5 9 8 ;   L a n g e   D . B ,   1 9 9 8 ,   M O B I L E   A G E N T S   J A V A   A ,   P 1 ;   L e a s e   M . ,   2 0 1 3 ,   M E C H   T U R K   I S   N O T   A N O ;   L e d l i e   J ,   2 0 1 0 ,   A C M   S I G O P S   O P E R A T I N G ,   V 4 3 ,   P 8 4 ;   L e e   U ,   2 0 1 0 ,   C O M P U T   N E T W ,   V 5 4 ,   P 5 2 7 ,   D O I   1 0 . 1 0 1 6 / j . c o m n e t . 2 0 0 9 . 0 7 . 0 1 1 ;   L O C K E   E A ,   1 9 6 8 ,   A M   J   P S Y C H O L ,   V 8 1 ,   P 3 9 8 ,   D O I   1 0 . 2 3 0 7 / 1 4 2 0 6 3 7 ;   L u o n   Y . ,   2 0 1 1 ,   M O B I L E   C O M P U T I N G   A P P ,   P 2 0 ;   l y f t , ,   2 0 1 5 ,   R I D   W H E N   Y O U   N E E D   O N ;   M a i s o n n e u v e   N ,   2 0 0 9 ,   E N V I R O N   S C I   E N G ,   P 2 1 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 8 8 3 5 1 - 7 _ 1 6 ;   M a l o n e   T . W . ,   2 0 1 0 ,   I E E E   E N G   M A N A G E M E N T ,   V 3 8 ,   P 3 8 ;   M a t h u r   S . ,   2 0 1 0 ,   P   8   I N T   C   M O B   S Y S T   A ,   P 1 2 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 1 4 4 3 3 . 1 8 1 4 4 4 8 ;   M a t y a s   S . ,   2 0 0 8 ,   P   2 0 0 8   I N T   C   A D V   C O M ,   P 2 4 4 ,   D O I   1 0 . 1 1 4 5 / 1 5 0 1 7 5 0 . 1 5 0 1 8 0 6 ;   M c C r i c k a r d   D S ,   2 0 0 3 ,   I N T   J   H U M - C O M P U T   S T ,   V 5 8 ,   P 5 0 9 ,   D O I   1 0 . 1 0 1 6 / S 1 0 7 1 - 5 8 1 9 ( 0 3 ) 0 0 0 2 5 - 9 ;   M e i j e r   A ,   2 0 1 3 ,   G O V   I N F O R M   Q ,   V 3 0 ,   P 3 4 3 ,   D O I   1 0 . 1 0 1 6 / j . g i q . 2 0 1 3 . 0 5 . 0 2 3 ;   M e r g e l   I ,   2 0 1 3 ,   G O V   I N F O R M   Q ,   V 3 0 ,   P 3 2 7 ,   D O I   1 0 . 1 0 1 6 / j . g i q . 2 0 1 3 . 0 5 . 0 1 5 ;   N a r u l a   P . ,   2 0 1 1 ,   H U M A N   C O M P U T A T I O N ,   V 1 1 ,   P 1 1 ;   R a c h u r i   K K ,   2 0 1 0 ,   P   1 2   A C M   I N T   C   U B   C O ,   P 2 8 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 4 3 4 9 . 1 8 6 4 3 9 3 ;   R a d u   V ,   2 0 1 3 ,   I N T   C O N F   N E T W   S E R ,   P 7 5 ,   D O I   1 0 . 1 1 0 9 / C N S M . 2 0 1 3 . 6 7 2 7 8 1 2 ;   R a s h i d   A . M . ,   2 0 0 6 ,   P   S I G C H I   C   H U M   F A C T ,   P 9 5 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 2 4 7 7 2 . 1 1 2 4 9 1 5 ;   R o g e r s   Y . ,   2 0 0 2 ,   W O R K S H   P U B L   C O M M   S I T ;   S h e n   G . ,   2 0 1 3 ,   P   1 0   U S E N I X   C   N E T W   S ,   P 8 5 ;   S h i r a z i   A .   S a h a m i ,   2 0 1 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 0 5 5 ;   T a n   E . ,   2 0 1 5 ,   I C O N F E R E N C E   2 0 1 5   P   I ;   T i l a k   S . ,   2 0 1 3 ,   R E A L   W O R L D   D E P L O Y M E N ;   T o m a s i c   A . ,   2 0 1 4 ,   P   A C M   C S C W ,   P 9 7 9 ;   u b e r ,   2 0 1 5 ,   U B   S I G N   D R I V   T A P   R I D ;   V a i s h   R . ,   2 0 1 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 6 4 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 5 5 6 2 8 8 . 2 5 5 6 9 9 6 ;   V u k o v i c   M a j a ,   2 0 1 3 ,   I n t e r n a t i o n a l   J o u r n a l   o f   C o m m u n i c a t i o n   N e t w o r k s   a n d   D i s t r i b u t e d   S y s t e m s ,   V 1 1 ,   P 1 1 ,   D O I   1 0 . 1 5 0 4 / I J C N D S . 2 0 1 3 . 0 5 4 8 3 2 ;   W a n g   Y . ,   2 0 1 3 ,   S C I E N C E ,   V 2 ,   p p p ;   w a z e ,   2 0 1 5 ,   F R E E   C O M M   B A S   M A P P   T ;   W h i t t l e   J ,   2 0 1 0 ,   U B I C O M P   2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 0 1 0   A C M   C O N F E R E N C E   O N   U B I Q U I T O U S   C O M P U T I N G ,   P 4 1 ;   Y a n   T . ,   2 0 0 9 ,   P   7   A C M   C   E M B   N E T W   S ,   P 3 4 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 4 4 0 3 8 . 1 6 4 4 0 9 4 ;   Y a n   T . ,   2 0 1 0 ,   P   8   I N T   C   M O B   S Y S T   A ,   P 7 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 1 4 4 3 3 . 1 8 1 4 4 4 3 ;   Y a n   T . ,   2 0 1 1 ,   T E C H N I C A L   R E P O R T ;   Z i m m e r m a n   J . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 1 6 7 7 	 7 6 	 0 	 0 	 3 	 3 	 A C A D E M I C   P R E S S   L T D -   E L S E V I E R   S C I E N C E   L T D 	 L O N D O N 	 2 4 - 2 8   O V A L   R D ,   L O N D O N   N W 1   7 D X ,   E N G L A N D 	 1 0 7 1 - 5 8 1 9 	 1 0 9 5 - 9 3 0 0 	 	 I N T   J   H U M - C O M P U T   S T 	 I n t .   J .   H u m . - C o m p u t .   S t u d . 	 J U N 	 2 0 1 7 	 1 0 2 	 	 	 	 	 	 6 9 	 8 0 	 	 1 0 . 1 0 1 6 / j . i j h c s . 2 0 1 6 . 0 8 . 0 0 4 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   E r g o n o m i c s ;   P s y c h o l o g y ,   M u l t i d i s c i p l i n a r y 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   P s y c h o l o g y 	 E S 4 P U 	 W O S : 0 0 0 3 9 9 5 1 8 0 0 0 0 0 7 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 C h a n g ,   Y J ;   P a r u t h i ,   G ;   W u ,   H Y ;   L i n ,   H Y ;   N e w m a n ,   M W 	 	 	 	 C h a n g ,   Y u n g - J u ;   P a r u t h i ,   G a u r a v ;   W u ,   H s i n - Y i n g ;   L i n ,   H s i n - Y u ;   N e w m a n ,   M a r k   W . 	 	 	 A n   i n v e s t i g a t i o n   o f   u s i n g   m o b i l e   a n d   s i t u a t e d   c r o w d s o u r c i n g   t o   c o l l e c t   a n n o t a t e d   t r a v e l   a c t i v i t y   d a t a   i n   r e a l - w o r d   s e t t i n g s 	 I N T E R N A T I O N A L   J O U R N A L   O F   H U M A N - C O M P U T E R   S T U D I E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M o b i l e   c r o w d s o u r c i n g ;   C r o w d s e n s i n g ;   W e a r a b l e   c a m e r a ;   A n n o t a t e d   a c t i v i t y   d a t a   c o l l e c t i o n ;   T r a v e l   a c t i v i t y 	 D A Y   R E C O N S T R U C T I O N   M E T H O D ;   W E A R A B L E   C A M E R A S ;   T I M E - U S E ;   P H O N E ;   E X P E R I E N C E ;   G P S ;   V A L I D I T Y 	 C o l l e c t i n g   a n n o t a t e d   a c t i v i t y   d a t a   i s   v i t a l   t o   m a n y   f o r m s   o f   c o n t e x t - a w a r e   s y s t e m   d e v e l o p m e n t .   L e v e r a g i n g   a   c r o w d   o f   s m a r t p h o n e   u s e r s   t o   c o l l e c t   a n n o t a t e d   a c t i v i t y   d a t a   i n   t h e   w i l d   i s   a   p r o m i s i n g   d i r e c t i o n   b e c a u s e   t h e   d a t a   b e i n g   c o l l e c t e d   a r e   r e a l i s t i c   a n d   d i v e r s e .   H o w e v e r ,   c u r r e n t   r e s e a r c h   l a c k s   a   s y s t e m a t i c   a n a l y s i s   c o m p a r i n g   d i f f e r e n t   a p p r o a c h e s   f o r   c o l l e c t i n g   s u c h   d a t a   a n d   i n v e s t i g a t i n g   h o w   u s e r s   u s e   t h e s e   a p p r o a c h e s   t o   c o l l e c t   a c t i v i t y   d a t a   i n   r e a l   w o r l d   s e t t i n g s .   I n   t h i s   p a p e r ,   w e   r e p o r t   r e s u l t s   f r o m   a   f i e l d   s t u d y   i n v e s t i g a t i n g   t h e   u s e   o f   m o b i l e   c r o w d s o u r c i n g   t o   c o l l e c t   a n n o t a t e d   t r a v e l   a c t i v i t y   d a t a   t h r o u g h   t h r e e   a p p r o a c h e s :   P a r t i c i p a t o r y ,   C o n t e x t   T r i g g e r e d   I n   S i t u ,   a n d   C o n t e x t - T r i g g e r e d   P o s t   H o c .   I n   p a r t i c u l a r ,   w e   c o n d u c t e d   t w o   p h a s e s   o f   a n a l y s i s .   I n   P h a s e   O n e ,   w e   a n a l y z e d   a n d   c o m p a r e d   t h e   r e s u l t i n g   d a t a   c o l l e c t e d   v i a   t h e   t h r e e   a p p r o a c h e s   a n d   u s e r   e x p e r i e n c e .   I n   P h a s e   T w o ,   w e   a n a l y z e d   u s e r s '   r e c o r d i n g   a n d   a n n o t a t i o n   b e h a v i o r   a s   w e l l   a s   t h e   a n n o t a t i o n   c o n t e n t   i n   u s i n g   e a c h   a p p r o a c h   i n   t h e   f i e l d .   O u r   r e s u l t s   s u g g e s t e d   t h a t   a l t h o u g h   C o n t e x t - T r i g g e r e d   a p p r o a c h e s   p r o d u c e d   a   l a r g e r   n u m b e r   o f   r e c o r d i n g s ,   t h e y   d i d   n o t   n e c e s s a r i l y   l e a d   t o   a   l a r g e r   q u a n t i t y   o f   d a t a   t h a n   t h e   P a r t i c i p a t o r y   a p p r o a c h .   I t   w a s   b e c a u s e   m a n y   o f   t h e   r e c o r d i n g s   w e r e   e i t h e r   n o t   l a b e l e d ,   i n c o m p l e t e ,   a n d / o r   f r a g m e n t e d   d u e   t o   t h e   i m p e r f e c t   c o n t e x t   d e t e c t i o n .   I n   a d d i t i o n ,   r e c o r d i n g s   c o l l e c t e d   b y   t h e   P a r t i c i p a t o r y   a p p r o a c h   t e n d e d   t o   b e   m o r e   c o m p l e t e   a n d   c o n t a i n   l e s s   n o i s e .   I n   t e r m s   o f   u s e r   e x p e r i e n c e ,   w h i l e   u s e r s   a p p r e c i a t e d   a u t o m a t e d   r e c o r d i n g   a n d   r e m i n d e r s   b e c a u s e   o f   t h e i r   c o n v e n i e n c e ,   t h e y   h i g h l y   v a l u e d   h a v i n g   t h e   c o n t r o l   o v e r   w h a t   a n d   w h e n   t o   r e c o r d   a n d   a n n o t a t e   t h a t   t h e   P a r t i c i p a t o r y   a p p r o a c h   p r o v i d e d .   F i n a l l y ,   w e   s h o w e d   t h a t   a c t i v i t y   t y p e   ( D r i v e r ,   R i d i n g   a s   P a s s e n g e r ,   W a l k i n g )   i n f l u e n c e d   u s e r s '   b e h a v i o r s   i n   r e c o r d i n g   a n d   a n n o t a t i n g   t h e i r   a c t i v i t y   d a t a .   I t   i n f l u e n c e d   t h e   t i m i n g   o f   r e c o r d i n g   a n d   a n n o t a t i n g   u s i n g   t h e   P a r t i c i p a t o r y   a p p r o a c h ,   u s e r s '   r e c e p t i v i t y   u s i n g   t h e   C o n t e x t - T r i g g e r e d   I n   S i t u   a p p r o a c h ,   a n d   t h e   c h a r a c t e r i s t i c s   o f   t h e   c o n t e n t   o f   a n n o t a t i o n s .   B a s e d   o n   t h e s e   f i n d i n g s ,   w e   p r o v i d e   d e s i g n   a n d   m e t h o d o l o g i c a l   r e c o m m e n d a t i o n s   f o r   f u t u r e   w o r k   t h a t   a i m s   t o   l e v e r a g e   m o b i l e   c r o w d s o u r c i n g   t o   c o l l e c t   a n n o t a t e d   a c t i v i t y   d a t a . 	 [ C h a n g ,   Y u n g - J u ;   P a r u t h i ,   G a u r a v ;   W u ,   H s i n - Y i n g ;   L i n ,   H s i n - Y u ;   N e w m a n ,   M a r k   W . ]   U n i v   M i c h i g a n ,   S c h   I n f o r m a t ,   A n n   A r b o r ,   M I   4 8 1 0 9   U S A ;   [ C h a n g ,   Y u n g - J u ]   N a t l   C h i a o   T u n g   U n i v ,   D e p t   C o m p   S c i ,   H s i n g c h u   C i t y ,   T a i w a n 	 C h a n g ,   Y J   ( r e p r i n t   a u t h o r ) ,   N a t l   C h i a o   T u n g   U n i v ,   D e p t   C o m p   S c i ,   H s i n g c h u   C i t y ,   T a i w a n . 	 a r m u r o @ c s . n c t u . e d u . t w ;   g p a r u t h i @ u m i c h . e d u ;   h s i n y i n g @ u m i c h . e d u ;   h y c l i n @ u m i c h . e d u ;   m w n e w m a n @ u m i c h . e d u 	 	 	 N S F   a w a r d   [ I I S - 1 1 4 9 6 0 1 ] ;   U n i v e r s i t y   o f   M i c h i g a n   M - C u b e d   p r o g r a m   [ 3 4 9 ] 	 T h i s   w o r k   w a s   f u n d e d   i n   p a r t   b y   N S F   a w a r d   I I S - 1 1 4 9 6 0 1   a n d   t h e   U n i v e r s i t y   o f   M i c h i g a n   M - C u b e d   p r o g r a m ,   P r o j e c t   I D :   3 4 9 . 	 A b o w d   G D ,   1 9 9 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 1 7 0 7 ,   P 3 0 4 ;   A g a p i e   E . ,   2 0 1 5 ,   P   3   A A A I   C   H U M   C O M P ;   A n d r i e n k o   G e n n a d y ,   2 0 1 0 ,   2 0 1 0   P r o c e e d i n g s   o f   I E E E   S y m p o s i u m   o n   V i s u a l   A n a l y t i c s   S c i e n c e   a n d   T e c h n o l o g y   ( V A S T   2 0 1 0 ) ,   P 5 9 ,   D O I   1 0 . 1 1 0 9 / V A S T . 2 0 1 0 . 5 6 5 2 4 7 8 ;   A s h b r o o k   D ,   2 0 0 3 ,   P E R S   U B I Q U I T   C O M P U T ,   V 7 ,   P 2 7 5 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 9 - 0 0 3 - 0 2 4 0 - 0 ;   A u l d   J ,   2 0 0 9 ,   T R A N S P   L E T T ,   V 1 ,   P 5 9 ,   D O I   1 0 . 3 3 2 8 / T L . 2 0 0 9 . 0 1 . 0 1 . 5 9 - 7 9 ;   B A L T R U N A S   L ,   2 0 1 1 ,   U S   E X P   U S   T H E O R ,   P 5 3 1 ;   B a o   L . ,   2 0 0 4 ,   P E R V A S I V E ,   V 2 0 0 4 ,   P 1 ,   D O I   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 2 4 6 4 6 - 6 _ ;   B h a t t a c h a r y a   T ,   2 0 1 2 ,   P   2 0   I N T   C   A D V   G E O G R ,   P 3 9 8 ;   C a o   X . ,   2 0 1 0 ,   P   V L D B   E N D O W M E N T ,   V 3 ,   P 1 0 0 9 ,   D O I   D O I   1 0 . 1 4 7 7 8 / 1 9 2 0 8 4 1 ;   C h a n g   Y . - J . ,   2 0 1 5 ,   P   S I G C H I   C   H U M   C O M P ,   P 6 ;   C h a n g   Y J ,   2 0 1 5 ,   P R O C E E D I N G S   O F   T H E   2 0 1 5   A C M   I N T E R N A T I O N A L   J O I N T   C O N F E R E N C E   O N   P E R V A S I V E   A N D   U B I Q U I T O U S   C O M P U T I N G   ( U B I C O M P   2 0 1 5 ) ,   P 6 7 1 ,   D O I   1 0 . 1 1 4 5 / 2 7 5 0 8 5 8 . 2 8 0 7 5 2 4 ;   C h a n g   Y J ,   2 0 1 2 ,   M O B I L E H C I   ' 1 2 :   C O M P A N I O N   P R O C E E D I N G S   O F   T H E   1 4 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   H U M A N   C O M P U T E R   I N T E R A C T I O N   W I T H   M O B I L E   D E V I C E S   A N D   S E R V I C E S ,   P 2 1 9 ;   C h e n   G . ,   2 0 0 0 ,   0 0 0 3 8 1   T R 2   D E P   C O M P ;   C l e l a n d   I . ,   2 0 1 3 ,   L E C T   N O T E S   C O M P U T E R ,   P 9 ;   C l e l a n d   I ,   2 0 1 4 ,   S E N S O R S - B A S E L ,   V 1 4 ,   P 1 5 8 6 1 ,   D O I   1 0 . 3 3 9 0 / s 1 4 0 9 1 5 8 6 1 ;   D e   C r i s t o f a r o   E ,   2 0 1 1 ,   W I S E C   1 1 :   P R O C E E D I N G S   O F   T H E   F O U R T H   A C M   C O N F E R E N C E   O N   W I R E L E S S   N E T W O R K   S E C U R I T Y ,   P 2 3 ;   D e V a u l   R . ,   2 0 0 1 ,   R E A L   T I M E   M O T I O N   C L A ;   D e y   A K ,   2 0 0 1 ,   H U M - C O M P U T   I N T E R A C T ,   V 1 6 ,   P 9 7 ,   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 7 0 5 1 H C I 1 6 2 3 4 _ 0 2 ;   D i n g   T . ,   2 0 1 5 ,   P   1 7   I N T   C   H U M   C O M P ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 7 8 5 8 3 0 . 2 7 8 5 8 4 0 ;   D o c k r a y   S ,   2 0 1 0 ,   S O C   I N D I C   R E S ,   V 9 9 ,   P 2 6 9 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 0 5 - 0 1 0 - 9 5 7 8 - 7 ;   D o h e r t y   A ,   2 0 1 3 ,   I E E E   P E R V A S   C O M P U T ,   V 1 2 ,   P 4 4 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 1 3 . 2 1 ;   D u m a i s   S . ,   2 0 1 4 ,   W A Y S   K N O W I N G   H C I ,   P 3 4 9 ;   F i s c h e r   J . E . ,   2 0 1 1 ,   P   1 3   I N T   C   H U M   C O M P ,   P 1 8 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 0 3 7 3 7 3 . 2 0 3 7 4 0 2 ;   F r o e h l i c h   J ,   2 0 0 9 ,   C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 0 4 3 ;   F r o e h l i c h   J ,   2 0 0 7 ,   M O B I S Y S   ' 0 7 :   P R O C E E D I N G S   O F   T H E   F I F T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   S Y S T E M S ,   A P P L I C A T I O N S ,   A N D   S E R V I C E S ,   P 5 7 ;   G a n t i   R K ,   2 0 1 1 ,   I E E E   C O M M U N   M A G ,   V 4 9 ,   P 3 2 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 1 . 6 0 6 9 7 0 7 ;   G a n t i   R K ,   2 0 0 8 ,   S E N S Y S ' 0 8 :   P R O C E E D I N G S   O F   T H E   6 T H   A C M   C O N F E R E N C E   O N   E M B E D D E D   N E T W O R K E D   S E N S O R   S Y S T E M S ,   P 2 8 1 ;   G o n c a l v e s   J o r g e ,   2 0 1 4 ,   P   2 0 1 4   C   D E S   I N T   S Y S ,   P 7 0 5 ;   H a r a d a   S . ,   2 0 0 8 ,   P   1 0   I N T   C   M U L T   I N T ,   P 6 9 ,   D O I   1 0 . 1 1 4 5 / 1 4 5 2 3 9 2 . 1 4 5 2 4 0 7 ;   H e i m e r l   K u r t i s ,   2 0 1 2 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 5 3 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 2 0 7 6 7 6 . 2 2 0 8 6 1 9 ;   H o s i o   S i m o ,   2 0 1 4 ,   P   2 7   A N N   A C M   S   U S   I N ,   P 5 5 ;   H u a n g   K L ,   2 0 1 0 ,   A C M   S   M O D E L   A N A L   S I M ,   P 1 4 ;   K a h n e m a n   D ,   2 0 0 4 ,   S C I E N C E ,   V 3 0 6 ,   P 1 7 7 6 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 0 3 5 7 2 ;   K a n h e r e   S . S ,   2 0 1 1 ,   M O B   D A T   M A N   M D M   2 0 1 1 ,   P 3 ;   K e l l y   P ,   2 0 1 4 ,   J   T R A N S P   H E A L T H ,   V 1 ,   P 1 9 0 ,   D O I   1 0 . 1 0 1 6 / j . j t h . 2 0 1 4 . 0 4 . 0 0 3 ;   K h a n   W Z ,   2 0 1 3 ,   I E E E   C O M M U N   S U R V   T U T ,   V 1 5 ,   P 4 0 2 ,   D O I   1 0 . 1 1 0 9 / S U R V . 2 0 1 2 . 0 3 1 4 1 2 . 0 0 0 7 7 ;   K i m   J ,   2 0 1 3 ,   B R I T   J   H E A L T H   P S Y C H ,   V 1 8 ,   P 1 5 5 ,   D O I   1 0 . 1 1 1 1 / b j h p . 1 2 0 0 0 ;   K l u m b   P L ,   1 9 9 9 ,   A P P L   C O G N I T I V E   P S Y C H ,   V 1 3 ,   P 5 2 7 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 9 - 0 7 2 0 ( 1 9 9 9 1 2 ) 1 3 : 6 < 5 2 7 : : A I D - A C P 6 1 4 > 3 . 0 . C O ; 2 - 1 ;   K o n o m i   S .   ' i c h i ,   2 0 1 5 ,   P   2 0 1 5   A C M   I N T   J O I N T ,   P 1 3 4 3 ;   K w a p i s z   J .   R . ,   2 0 1 1 ,   A C M   S I G K D D   E X P L O R A T I ,   V 1 2 ,   P 7 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 6 4 8 9 7 . 1 9 6 4 9 1 8 ] ;   L a n e   N . D . ,   2 0 1 1 ,   P   1 3   I N T   C   U B   C O M P   U ,   P 3 5 5 ;   L a n e   N D ,   2 0 1 0 ,   I E E E   C O M M U N   M A G ,   V 4 8 ,   P 1 4 0 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 0 . 5 5 6 0 5 9 8 ;   L i a o   L ,   2 0 0 7 ,   I N T   J   R O B O T   R E S ,   V 2 6 ,   P 1 1 9 ,   D O I   1 0 . 1 1 7 7 / 0 2 7 8 3 6 4 9 0 7 0 7 3 7 7 5 ;   L i n n a p   M ,   2 0 1 4 ,   J   U R B A N   T E C H N O L ,   V 2 1 ,   P 9 ,   D O I   1 0 . 1 0 8 0 / 1 0 6 3 0 7 3 2 . 2 0 1 4 . 8 8 8 2 1 6 ;   M a c l n t y r e   B . ,   2 0 0 4 ,   P   1 7   A N N   A C M   S   U S   I N ,   P 1 9 7 ;   M e s c h t s c h e r j a k o v   A . ,   2 0 1 0 ,   P   7   I N T   C   M E T H   T E C H N ,   P 2 9 ;   N a r d i   B A ,   1 9 9 6 ,   C O N T E X T   C O N S C I O U S N E S ;   N a z n e e n   N ,   2 0 1 2 ,   P E R S   U B I Q U I T   C O M P U T ,   V 1 6 ,   P 1 9 3 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 9 - 0 1 1 - 0 3 8 5 - 1 ;   N e w m a n   M . W . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 1 0 5 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 4 8 ;   N o w a k   S . ,   2 0 1 0 ,   P   I N T   C   M U L T   I N F   R E T ,   P 5 5 7 ;   O k o s h i   T ,   2 0 1 5 ,   P R O C E E D I N G S   O F   T H E   2 0 1 5   A C M   I N T E R N A T I O N A L   J O I N T   C O N F E R E N C E   O N   P E R V A S I V E   A N D   U B I Q U I T O U S   C O M P U T I N G   ( U B I C O M P   2 0 1 5 ) ,   P 4 7 5 ,   D O I   1 0 . 1 1 4 5 / 2 7 5 0 8 5 8 . 2 8 0 7 5 1 7 ;   P a x t o n   M ,   2 0 0 9 ,   U B I C O M P ' 0 9 :   P R O C E E D I N G S   O F   T H E   1 1 T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   U B I Q U I T O U S   C O M P U T I N G ,   P 2 6 5 ;   P e j o v i c   V . ,   2 0 1 4 ,   P   2 0 1 4   A C M   I N T   J O I N T ,   P 8 9 7 ;   P i e l o t   M . ,   2 0 1 5 ,   P   U B I C O M P ;   P i e l o t   M . ,   2 0 1 4 ,   P   I N T   J O I N T   C   P E R V   U ,   P 9 3 3 ;   P i e l o t   M . ,   2 0 1 4 ,   P   M O B I L E H C I ;   P i e l o t   M ,   2 0 1 4 ,   P   C H I   1 4 ,   P 3 3 1 9 ;   P o p p i n g a   B ,   2 0 1 4 ,   I E E E   P E R V A S   C O M P U T ,   V 1 3 ,   P 2 2 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 1 4 . 1 5 ;   R e d d y   S ,   2 0 1 0 ,   A C M   T   S E N S O R   N E T W O R K ,   V 6 ,   D O I   1 0 . 1 1 4 5 / 1 6 8 9 2 3 9 . 1 6 8 9 2 4 3 ;   R e d d y   S ,   2 0 0 7 ,   S E N S Y S ' 0 7 :   P R O C E E D I N G S   O F   T H E   5 T H   A C M   C O N F E R E N C E   O N   E M B E D D E D   N E T W O R K E D   S E N S O R   S Y S T E M S ,   P 4 1 7 ;   R o s e n t h a l   S ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 9 6 ,   P 1 7 0 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 1 7 2 6 - 5 _ 1 1 ;   S a k a m u r a   M . ,   2 0 1 4 ,   P   2 0 1 4   I N T   W O R K S H   W E ;   S a r k e r   H . ,   2 0 1 4 ,   P   2 0 1 4   A C M   I N T   J O I N T ,   P 9 0 9 ;   S h e p p a r d   S . A . ,   2 0 1 4 ,   P   1 7   A C M   C   C O M P   S U P P ,   P 1 2 3 4 ,   D O I   [ D O I   1 0 . 1 1 4 5 / 2 5 3 1 6 0 2 . 2 5 3 1 6 8 9 ,   1 0 . 1 1 4 5 / 2 5 3 1 6 0 2 . 2 5 3 1 6 8 9 ] ;   S h i r a z i   A .   S a h a m i ,   2 0 1 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 0 5 5 ;   S i l v e r t o w n   J ,   2 0 0 9 ,   T R E N D S   E C O L   E V O L ,   V 2 4 ,   P 4 6 7 ,   D O I   1 0 . 1 0 1 6 / j . t r e e . 2 0 0 9 . 0 3 . 0 1 7 ;   S o n n e n b e r g   B ,   2 0 1 2 ,   S O C   S C I   R E S ,   V 4 1 ,   P 1 0 3 7 ,   D O I   1 0 . 1 0 1 6 / j . s s r e s e a r c h . 2 0 1 2 . 0 3 . 0 1 3 ;   T u r n e r   L . D . ,   2 0 1 5 ,   I N T E R R U P T I B I L I T Y   P R E ;   V o n d r i c k   C ,   2 0 1 3 ,   I N T   J   C O M P U T   V I S I O N ,   V 1 0 1 ,   P 1 8 4 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 1 2 - 0 5 6 4 - 1 	 6 9 	 0 	 0 	 3 	 3 	 A C A D E M I C   P R E S S   L T D -   E L S E V I E R   S C I E N C E   L T D 	 L O N D O N 	 2 4 - 2 8   O V A L   R D ,   L O N D O N   N W 1   7 D X ,   E N G L A N D 	 1 0 7 1 - 5 8 1 9 	 1 0 9 5 - 9 3 0 0 	 	 I N T   J   H U M - C O M P U T   S T 	 I n t .   J .   H u m . - C o m p u t .   S t u d . 	 J U N 	 2 0 1 7 	 1 0 2 	 	 	 	 	 	 8 1 	 1 0 2 	 	 1 0 . 1 0 1 6 / j . i j h c s . 2 0 1 6 . 1 1 . 0 0 1 	 	 2 2 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   E r g o n o m i c s ;   P s y c h o l o g y ,   M u l t i d i s c i p l i n a r y 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   P s y c h o l o g y 	 E S 4 P U 	 W O S : 0 0 0 3 9 9 5 1 8 0 0 0 0 0 8 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 L u d w i g ,   T ;   K o t t h a u s ,   C ;   R e u t e r ,   C ;   v a n   D o n g e n ,   S ;   P i p e k ,   V 	 	 	 	 L u d w i g ,   T h o m a s ;   K o t t h a u s ,   C h r i s t o p h ;   R e u t e r ,   C h r i s t i a n ;   v a n   D o n g e n ,   S o r e n ;   P i p e k ,   V o l k m a r 	 	 	 S i t u a t e d   c r o w d s o u r c i n g   d u r i n g   d i s a s t e r s :   M a n a g i n g   t h e   t a s k s   o f   s p o n t a n e o u s   v o l u n t e e r s   t h r o u g h   p u b l i c   d i s p l a y s 	 I N T E R N A T I O N A L   J O U R N A L   O F   H U M A N - C O M P U T E R   S T U D I E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r i s i s   m a n a g e m e n t ;   S i t u a t e d   c r o w d s o u r c i n g ;   S p o n t a n e o u s   v o l u n t e e r s ;   D i s a s t e r s ;   D e s i g n   c a s e   s t u d y 	 R E S I L I E N C E ;   M E D I A 	 A l t h o u g h   e m e r g e n c y   s e r v i c e s   h a v e   a l r e a d y   r e c o g n i z e d   t h e   i m p o r t a n c e   o f   c i t i z e n - i n i t i a t e d   a c t i v i t i e s   d u r i n g   d i s a s t e r s ,   s t i l l   q u e s t i o n s   w i t h   r e g a r d   t o   t h e   c o o r d i n a t i o n   o f   s p o n t a n e o u s   v o l u n t e e r s   a n d   t h e i r   a c t i v i t i e s   a r i s e .   W i t h i n   o u r   a r t i c l e ,   w e   w i l l   p r e s e n t   a   t e c h n o l o g i c a l   a p p r o a c h   b a s e d   o n   p u b l i c   d i s p l a y s   w h i c h   a i m s   t o   f o s t e r   s i t u a t e d   c r o w d s o u r c i n g   b e t w e e n   a f f e c t e d   c i t i z e n s ,   s p o n t a n e o u s   v o l u n t e e r s   a s   w e l l   a s   o f f i c i a l   e m e r g e n c y   s e r v i c e s .   W e   w i l l   a d d r e s s   t h e   r e s e a r c h   q u e s t i o n :   H o w   c a n   t h e   s i t u a t e d   t a s k s   p e r f o r m e d   b y   s p o n t a n e o u s   v o l u n t e e r s   b e   s u p p o r t e d   b y   t h e   u s e   o f   p u b l i c   d i s p l a y s   d u r i n g   d i s a s t e r s ?   F i r s t   w e   w i l l   p r e s e n t   t h e   c u r r e n t   s t a t e   o f   t h e   a r t   w i t h   r e g a r d   t o   t h e   c o o r d i n a t i o n   p r a c t i c e s   o f   s p o n t a n e o u s   v o l u n t e e r s   a n d   e m e r g e n c y   s e r v i c e s   w i t h i n   d i s a s t e r   s i t u a t i o n s   a s   w e l l   a s   r e l a t e d   p r o b l e m s ,   p o t e n t i a l s   a n d   s p e c i f i c s   o f   s i t u a t e d   c r o w d s o u r c i n g   a n d   p u b l i c   d i s p l a y s .   T o   g a i n   i n s i g h t   i n t o   a c t u a l   c o o r d i n a t i o n   p r a c t i c e s ,   w e   c o n d u c t e d   a n   e m p i r i c a l   s t u d y   w i t h   1 8   d i f f e r e n t   s t a k e h o l d e r s   i n v o l v e d   i n   d i s a s t e r   m a n a g e m e n t .   B a s e d   o n   t h e   l i t e r a t u r e   r e v i e w   a n d   o u r   e m p i r i c a l   s t u d y ,   w e   h a v e   d e r i v e d   a   t e c h n i c a l   c o n c e p t   t h a t   s u p p o r t s   t h e   t a s k   a n d   a c t i v i t y   m a n a g e m e n t   o f   s p o n t a n e o u s   v o l u n t e e r s   a s   w e l l   a s   t h e   c o o r d i n a t i o n   b o t h   o f   t h e   d e m a n d s   o f   a f f e c t e d   p e o p l e   a n d   t h e   o f f e r s   f r o m   s p o n t a n e o u s   v o l u n t e e r s .   W e   h a v e   i m p l e m e n t e d   o u r   c o n c e p t   a s   t h e   p u b l i c   d i s p l a y   a p p l i c a t i o n   ' C i t y - S h a r e ' ,   w h i c h   p r o v i d e s   a   r o b u s t   c o m m u n i c a t i o n   i n f r a s t r u c t u r e   a n d   e n c o m p a s s e s   s i t u a t e d   c r o w d s o u r c i n g   m e c h a n i s m s   f o r   m a n a g i n g   o f f e r s   a n d   d e m a n d s   o f   a c t i v i t i e s   o n   t h e   - g r o u n d .   B a s e d   o n   i t s   e v a l u a t i o n   w i t h   s e v e r a l   u s e r s ,   w e   w i l l   d i s c u s s   o u r   f i n d i n g s   w i t h   r e g a r d   t o   t h e   a s s i g n m e n t   o f   t a s k s   o n - t h e - g r o u n d   a n d   s i t u a t e d   c r o w d s o u r c i n g   d u r i n g   e m e r g e n c i e s .   W e   o u t l i n e   t h a t   C i t y - S h a r e   c a n   i m p r o v e   a   c o m m u n i t y ' s   d i s a s t e r   r e s i l i e n c e ,   e s p e c i a l l y   w h e n   f o c u s i n g   o n   t h e   k i n d   o f   c o l l a b o r a t i v e   r e s i l i e n c e   e m e r g i n g   b e t w e e n   o f f i c i a l   s t a k e h o l d e r s   a n d   s p o n t a n e o u s   v o l u n t e e r s   o r   a f f e c t e d   c i t i z e n s   a t   a   l o c a l   l e v e l .   ( C )   2 0 1 7   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ L u d w i g ,   T h o m a s ;   K o t t h a u s ,   C h r i s t o p h ;   R e u t e r ,   C h r i s t i a n ;   v a n   D o n g e n ,   S o r e n ;   P i p e k ,   V o l k m a r ]   U n i v   S i e g e n ,   I n s t   I n f o r m a t   S y s t ,   S i e g e n ,   G e r m a n y 	 L u d w i g ,   T   ( r e p r i n t   a u t h o r ) ,   U n i v   S i e g e n ,   I n s t   I n f o r m a t   S y s t ,   S i e g e n ,   G e r m a n y . 	 t h o m a s . l u d w i g @ u n i - s i e g e n . d e 	 	 	 G e r m a n   F e d e r a l   M i n i s t r y   f o r   E d u c a t i o n   a n d   R e s e a r c h   [ 1 3 N 1 3 5 5 9 ] 	 T h e   r e s e a r c h   p r o j e c t   ' K O K O S '   i s   f u n d e d   b y   t h e   G e r m a n   F e d e r a l   M i n i s t r y   f o r   E d u c a t i o n   a n d   R e s e a r c h   ( N o .   1 3 N 1 3 5 5 9 ) . 	 A l d u n c e   P ,   2 0 1 4 ,   D I S A S T E R   P R E V   M A N A G ,   V 2 3 ,   P 2 5 2 ,   D O I   1 0 . 1 1 0 8 / D P M - 0 7 - 2 0 1 3 - 0 1 3 0 ;   A l t   F . ,   2 0 1 3 ,   P   A C M   C   H U M   F A C T   C O M ,   V 1 7 0 9 ;   A l t   F . ,   2 0 1 1 ,   P   1 0   I N T   C   M O B   U B   M U ,   P 1 6 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 1 0 7 5 9 6 . 2 1 0 7 6 1 8 ;   A l t   F . ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   P 2 5 8 ;   B h a m r a   R ,   2 0 1 1 ,   I N T   J   P R O D   R E S ,   V 4 9 ,   P 5 3 7 5 ,   D O I   1 0 . 1 0 8 0 / 0 0 2 0 7 5 4 3 . 2 0 1 1 . 5 6 3 8 2 6 ;   B o a r d   o n   E a r t h   S c i e n c e s   a n d   R e s o u r c e s ,   2 0 1 1 ,   B U I L D   C O M M   D I S   R E S   P ;   B r a b h a m   C . D . ,   2 0 1 3 ,   C R O W D S O U R C I N G ;   B r e s s l e r   G . H . ,   2 0 1 2 ,   W O R L D   F I N A N C I A L     M A R ,   P 7 7 ;   B r i g n u l l   H . ,   2 0 0 3 ,   I N T E R A C T   0 3 ,   V 3 ,   P 1 7 ;   B u n k e r   D . ,   2 0 1 1 ,   P   1   I N T   W O R K S H   E N C   S ,   P 7 ;   B u r k e n   J J ,   2 0 0 6 ,   M E D   C   C O N T R   A U T O M A T ,   P 1 ;   C a r r   S . ,   1 9 9 2 ,   C A M B R I D G E   S E R I E S   E N V ;   C o b b   C . ,   2 0 1 4 ,   P   1 7   A C M   C   C O M P   S U P P ,   P 8 8 8 ;   D a v i e s   N ,   2 0 1 2 ,   C O M P U T E R ,   V 4 5 ,   P 5 8 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 1 2 . 1 1 4 ;   D e p a r t m e n t   f o r   I n t e r n a t i o n a l   D e v e l o p m e n t ,   2 0 1 1 ,   D E F   D I S   R E S ;   D y n e s   R . R . ,   1 9 9 4 ,   S I T U A T I O N A L   A L T R U I S M ,   P 1 8 ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   G a o   H ,   2 0 1 1 ,   I E E E   I N T E L L   S Y S T ,   V 2 6 ,   P 1 0 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 1 1 . 5 2 ;   G o l d s t e i n   B E ,   2 0 1 0 ,   C O L L A B O R A T I V E   R E S I L I E N C E :   M O V I N G   T H R O U G H   C R I S I S   T O   O P P O R T U N I T Y ,   P 1 ;   G o n c a l v e s   J o r g e ,   2 0 1 3 ,   P   2 0 1 3   A C M   I N T   J O I N T ,   P 7 5 3 ;   G o n c a l v e s   J . ,   2 0 1 5 ,   U B I C O M P   2 0 1 5 ,   V 2 0 1 5 ,   P 1 3 3 9 ;   G o n c a l v e s   J ,   2 0 1 5 ,   C O M P U T   N E T W ,   V 9 0 ,   P 3 4 ,   D O I   1 0 . 1 0 1 6 / j . c o m n e t . 2 0 1 5 . 0 7 . 0 0 2 ;   G r a h a m   C . ,   2 0 0 8 ,   E X P L O R I N G   D I S P L A Y   D I ,   P 1 ;   H e s l i n   P A ,   2 0 0 9 ,   J   O C C U P   O R G A N   P S Y C H ,   V 8 2 ,   P 1 2 9 ,   D O I   1 0 . 1 3 4 8 / 0 9 6 3 1 7 9 0 8 X 2 8 5 6 4 2 ;   H o s i o   S . ,   2 0 1 0 ,   1 1   W O R K S H   M O B   C O M P   S ,   P 2 5 ;   H o s i o   S i m o ,   2 0 1 4 ,   P   2 7   A N N   A C M   S   U S   I N ,   P 5 5 ;   H u a n g   E .   M . ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   P 2 2 8 ;   I n s t i t u t e   f o r   C r i s i s   D i s a s t e r   a n d   R i s k   M a n a g e m e n t ,   2 0 0 9 ,   I C D R M   G W U   E M   M A N   G L O ;   J e n n e x   M . E . ,   2 0 1 2 ,   P   I N F   S Y S T   C R I S   R E S P ;   J o s e   R . ,   2 0 1 2 ,   P   N A T   C   C O M M ,   P 1 ;   K a r a p a n o s   E ,   2 0 0 9 ,   C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 7 2 9 ;   K l e i n e b r a h n   A . ,   2 0 1 4 ,   R O L E   U N B O U N D   V O U N T E E ;   K o s t a k o s   V ,   2 0 1 3 ,   I E E E   P E R V A S   C O M P U T ,   V 1 2 ,   P 8 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 1 3 . 1 5 ;   K u k k a   H a n n u ,   2 0 1 4 ,   P   8   N O R D   C   H U M   C O M P ,   P 6 5 8 ;   K u z n e t s o v   S . ,   2 0 1 4 ,   P   I N T   C   H U M   F A C T   C O M ,   P 2 3 7 5 ;   L u d w i g   T . ,   2 0 1 5 ,   P U B L I C   D I S P L A Y S   K O O R ,   P 1 9 ;   L u d w i g   T . ,   2 0 1 6 ,   P E R S   U B I Q U I T O U S   C O M P ;   L u d w i g   T . ,   2 0 1 5 ,   P   3 3   A N N   A C M   C   H U M   F ,   P 4 0 8 3 ;   M e m a r o v i c   N . ,   2 0 1 4 ,   P   2   M E D   A R C H   B I E N N   C ,   P 3 0 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 6 8 2 8 8 4 . 2 6 8 2 8 9 1 ;   M e m a r o v i c   N ,   2 0 1 3 ,   A C M   T   C O M P U T - H U M   I N T ,   V 2 0 ,   D O I   1 0 . 1 1 4 5 / 2 4 9 1 5 0 0 . 2 4 9 1 5 0 5 ;   M i n i s t r y   o f   C i v i l   D e f e n c e   &   E m e r g e n c y   M a n a g e m e n t ,   2 0 0 6 ,   S P O N T   V O L   M A N   P L A N N ;   M u l l e r   J o r g ,   2 0 1 0 ,   P   I N T   C   M U L T   M M   1 0 ,   P 1 2 8 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 7 3 9 5 1 . 1 8 7 4 2 0 3 ;   N i e l s e n   J . ,   1 9 9 3 ,   U S A B I L I T Y   E N G ;   O ' H a r a   K . ,   2 0 0 3 ,   P U B L I C   S I T U A T E D   D I S P ;   O l e c h   P . - S . ,   2 0 1 2 ,   P   2 0 1 2   I N T   C   I N F   K N O ;   P a l e n   L . ,   2 0 1 0 ,   P   2 0 1 0   A C M   B C S   V I S   C ,   P 1 ;   P f e i l   J . ,   2 0 0 0 ,   M A S S N A H M E N   K A T A S T R O P ;   Q u a r a n t e l l i   E . L . ,   1 9 9 9 ,   S U M M A R Y   5 0   Y E A R S   R E S ;   Q u a r a n t e l l i   E . L . ,   1 9 9 1 ,   D I F F E R E N T   T Y P E S   D I S A ;   R e d d y   S ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 8 1 7 ;   R e d h e a d   F ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 7 2 7 ,   P 4 5 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 3 6 5 8 - 3 _ 4 9 ;   R e u t e r   C . ,   2 0 1 5 ,   P   A C M   C   H U M   F A C T   C O M ;   R e u t e r   C . ,   2 0 1 3 ,   P   I N F   S Y S T   C R I S   R E S P ,   P 1 ;   S c h w e e r   B . ,   2 0 1 4 ,   K A T A S T R O P H E N S C H U T Z   U ;   S T A L L I N G S   R A ,   1 9 8 5 ,   P U B L I C   A D M I N   R E V ,   V 4 5 ,   P 9 3 ,   D O I   1 0 . 2 3 0 7 / 3 1 3 5 0 0 3 ;   S t a r b i r d   K . ,   2 0 1 1 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 0 7 1 ;   S t r a u s s   A . ,   1 9 8 7 ,   Q U A L I T A T I V E   A N A L   S O C ;   T a y l o r   N . ,   2 0 0 7 ,   P H O T O   D I S P ,   P 2 8 ;   T a y l o r   N ,   2 0 1 2 ,   C O M P U T E R ,   V 4 5 ,   P 2 6 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 1 2 . 1 1 3 ;   T i e r n e y   K ,   2 0 0 6 ,   A N N   A M   A C A D   P O L I T   S S ,   V 6 0 4 ,   P 5 7 ,   D O I   1 0 . 1 1 7 7 / 0 0 0 2 7 1 6 2 0 5 2 8 5 5 8 9 ;   T u r o f f   M u r r a y ,   2 0 0 9 ,   I n t e r n a t i o n a l   J o u r n a l   o f   I n f o r m a t i o n   S y s t e m s   f o r   C r i s i s   R e s p o n s e   a n d   M a n a g e m e n t ,   V 1 ,   P 1 2 ,   D O I   1 0 . 4 0 1 8 / j i s c r m . 2 0 0 9 0 1 0 1 0 2 ;   T w i d a l e   M . ,   1 9 9 4 ,   S I T U A T E D   E V A L U A T I O N ;   V o o r h e e s   W .   R . ,   2 0 0 8 ,   J   C O N T I N G   C R I S I S   M A N ,   V 1 6 ,   P 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 5 9 7 3 . 2 0 0 8 . 0 0 5 3 0 . x ;   V u k o v i c   M a j a ,   2 0 1 3 ,   I n t e r n a t i o n a l   J o u r n a l   o f   C o m m u n i c a t i o n   N e t w o r k s   a n d   D i s t r i b u t e d   S y s t e m s ,   V 1 1 ,   P 1 1 ,   D O I   1 0 . 1 5 0 4 / I J C N D S . 2 0 1 3 . 0 5 4 8 3 2 ;   V u k o v i c   M . ,   2 0 1 0 ,   P   1 2   A C M   I N T   C ,   P 5 2 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 4 4 3 1 . 1 8 6 4 5 0 4 ;   W a c h t e n d o r f   T . ,   2 0 0 6 ,   I M P R O V I S I N G   D I S A S T E R 	 6 6 	 0 	 0 	 7 	 7 	 A C A D E M I C   P R E S S   L T D -   E L S E V I E R   S C I E N C E   L T D 	 L O N D O N 	 2 4 - 2 8   O V A L   R D ,   L O N D O N   N W 1   7 D X ,   E N G L A N D 	 1 0 7 1 - 5 8 1 9 	 1 0 9 5 - 9 3 0 0 	 	 I N T   J   H U M - C O M P U T   S T 	 I n t .   J .   H u m . - C o m p u t .   S t u d . 	 J U N 	 2 0 1 7 	 1 0 2 	 	 	 	 	 	 1 0 3 	 1 2 1 	 	 1 0 . 1 0 1 6 / j . i j h c s . 2 0 1 6 . 0 9 . 0 0 8 	 	 1 9 	 C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s ;   E r g o n o m i c s ;   P s y c h o l o g y ,   M u l t i d i s c i p l i n a r y 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   P s y c h o l o g y 	 E S 4 P U 	 W O S : 0 0 0 3 9 9 5 1 8 0 0 0 0 0 9 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 D e n g ,   W H ;   H u ,   J N ;   Z h a n g ,   N H ;   C h e n ,   B H ;   G u o ,   J 	 	 	 	 D e n g ,   W e i h o n g ;   H u ,   J i a n i ;   Z h a n g ,   N a n h a i ;   C h e n ,   B i n g h u i ;   G u o ,   J u n 	 	 	 F i n e - g r a i n e d   f a c e   v e r i f i c a t i o n :   F G L F W   d a t a b a s e ,   b a s e l i n e s ,   a n d   h u m a n - D C M N   p a r t n e r s h i p 	 P A T T E R N   R E C O G N I T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 F i n e - g r a i n e d   v i s u a l   r e c o g n i t i o n ;   F a c e   v e r i f i c a t i o n ;   L a b e l e d   f a c e   i n   t h e   w i l d ;   D e e p   l e a r n i n g 	 R E C O G N I T I O N 	 A s   p e r f o r m a n c e   o n   s o m e   a s p e c t s   o f   t h e   L a b e l e d   F a c e s   i n   t h e   W i l d   ( L F W )   b e n c h m a r k   a p p r o a c h e s   1 0 0 %   a c c u r a c y ,   t h e r e   i s   a n   i n t e n s e   d e b a t e   o n   w h e t h e r   u n c o n s t r a i n e d   f a c e   v e r i f i c a t i o n   p r o b l e m   h a s   a l r e a d y   b e e n   s o l v e d .   I n   t h i s   p a p e r ,   w e   s t u d y   a   n e w   f a c e   v e r i f i c a t i o n   p r o b l e m   t h a t   a s s u m e s   t h e   i m p o s t e r   w o u l d   d e l i b e r a t e l y   s e e k   a   p e o p l e   w i t h   s i m i l a r l y - l o o k i n g   f a c e   t o   i n v a d e   t h e   b i o m e t r i c   s y s t e m .   T o   s i m u l a t e   t h i s   d e l i b e r a t e   i m p o s t u r e   a t t a c k ,   w e   f i r s t   c o n s t r u c t   a   F i n e - G r a i n e d   L F W   ( F G L F W )   d a t a b a s e ,   w h i c h   d e l i b e r a t e l y   s e l e c t s   3 0 0 0   s i m i l a r l y - l o o k i n g   f a c e   p a i r s   w i t h i n   o r i g i n a l   i m a g e   f o l d e r s   b y   h u m a n   c r o w d s o u r c i n g   t o   r e p l a c e   t h e   n e g a t i v e   p a i r s   o f   L F W .   O u r   c o n t r o l l e d   h u m a n   s u r v e y   r e p o r t s   9 9 . 8 5 %   a c c u r a c y   o n   L F W ,   b u t   o n l y   9 2 . 0 3 %   a c c u r a c y   o n   F G L F W .   A s   t h e   a l g o r i t h m   b a s e l i n e s ,   w e   e v a l u a t e   s e v e r a l   s t a t e - o f - t h e - a r t   m e t r i c   l e a r n i n g ,   f a c e   d e s c r i p t o r s ,   a n d   d e e p   l e a r n i n g   m e t h o d s   o n   t h e   n e w   F G L F W   d a t a b a s e ,   a n d   t h e i r   a c c u r a c y   d r o p s   a b o u t   1 0 - 2 0 %   c o m p a r e d   t o   t h e   c o r r e s p o n d i n g   L F W   p e r f o r m a n c e .   T o   a d d r e s s   t h i s   c h a l l e n g e ,   w e   d e v e l o p   a   D e e p   C o n v o l u t i o n a l   M a x o u t   N e t w o r k   ( D C M N )   w h i c h   a i m   t o   t o l e r a t e   t h e   m u l t i - m o d a l   i n t r a - p e r s o n a l   v a r i a t i o n s   a n d   d i s t i n g u i s h   f i n e - g r a i n e d   l o c a l i z e d   i n t e r - p e r s o n a l   f a c i a l   d e t a i l s .   T h e   e x p e r i m e n t a l   r e s u l t s   s u g g e s t   t h a t   t h e   p r o p o s e d   D C M N   m e t h o d   s i g n i f i c a n t l y   o u t p e r f o r m s   c u r r e n t   t e c h n i q u e s   s u c h   a s   D e e p f a c e ,   D e e p I D 2 ,   a n d   V G G - F a c e .   F u s i o n   o f   t h e   s c o r e s   o f   o u r   p r o p o s e d   D C M N   t o   t h a t   o f   h u m a n   o p e r a t o r s   n o t a b l y   b o o s t   t h e   v e r i f i c a t i o n   a c c u r a c y   f r o m   9 2 - 9 6 % ,   s u g g e s t i n g   t h a t   h u m a n   a l g o r i t h m   p a r t n e r s h i p s   a r e   p r o m i s i n g   t o   d e t e c t   t h e   s i m i l a r l y - l o o k i n g   d e l i b e r a t e   i m p o s t o r s . 	 [ D e n g ,   W e i h o n g ;   H u ,   J i a n i ;   Z h a n g ,   N a n h a i ;   C h e n ,   B i n g h u i ;   G u o ,   J u n ]   B e i j i n g   U n i v   P o s t s   &   T e l e c o m m u n ,   S c h   I n f o r m a t   &   C o m m u n   E n g n ,   B e i j i n g   1 0 0 8 7 6 ,   P e o p l e s   R   C h i n a 	 D e n g ,   W H   ( r e p r i n t   a u t h o r ) ,   B e i j i n g   U n i v   P o s t s   &   T e l e c o m m u n ,   S c h   I n f o r m a t   &   C o m m u n   E n g n ,   B e i j i n g   1 0 0 8 7 6 ,   P e o p l e s   R   C h i n a . 	 w h d e n g @ b u p t . e d u . c n 	 	 	 N S F C   ( N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a )   [ 6 1 3 7 5 0 3 1 ,   6 1 5 7 3 0 6 8 ,   6 1 4 7 1 0 4 8 ,   6 1 2 7 3 2 1 7 ] ;   F u n d a m e n t a l   R e s e a r c h   F u n d s   f o r   t h e   C e n t r a l   U n i v e r s i t i e s   [ 2 0 1 4 Z D 0 3 - 0 1 ] ;   P r o g r a m   f o r   N e w   C e n t u r y   E x c e l l e n t   T a l e n t s   i n   U n i v e r s i t y ;   B e i j i n g   N o v a   P r o g r a m   [ Z 1 6 1 1 0 0 0 0 4 9 1 6 0 8 8 ] 	 T h i s   w o r k   w a s   p a r t i a l l y   s p o n s o r e d   b y   s u p p o r t e d   b y   t h e   N S F C   ( N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a )   u n d e r   G r a n t   n o s .   6 1 3 7 5 0 3 1 ,   6 1 5 7 3 0 6 8 ,   6 1 4 7 1 0 4 8 ,   a n d   6 1 2 7 3 2 1 7 ,   t h e   F u n d a m e n t a l   R e s e a r c h   F u n d s   f o r   t h e   C e n t r a l   U n i v e r s i t i e s   u n d e r   G r a n t   n o .   2 0 1 4 Z D 0 3 - 0 1 ,   T h i s   w o r k   w a s   a l s o   s u p p o r t e d   b y   t h e   P r o g r a m   f o r   N e w   C e n t u r y   E x c e l l e n t   T a l e n t s   i n   U n i v e r s i t y ,   B e i j i n g   N o v a   P r o g r a m   u n d e r   G r a n t   n o .   Z 1 6 1 1 0 0 0 0 4 9 1 6 0 8 8 . 	 A h o n e n   T ,   2 0 0 6 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 8 ,   P 2 0 3 7 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 6 . 2 4 4 ;   B e r g   T ,   2 0 1 3 ,   P R O C   C V P R   I E E E ,   P 9 5 5 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 3 . 1 2 8 ;   B e r g   T .   L . ,   2 0 0 4 ,   2 0 0 4   I E E E   C O M P   S O C   C ,   V 2 ;   B e r g   T . L . ,   2 0 0 5 ,   A D V   N E U R A L   I N F O R M   P R ,   V 1 7 ,   P 1 3 7 ;   B e s t - R o w d e n   L ,   2 0 1 4 ,   I E E E   T   I N F   F O R E N   S E C ,   V 9 ,   P 2 1 4 4 ,   D O I   1 0 . 1 1 0 9 / T I F S . 2 0 1 4 . 2 3 5 9 5 7 7 ;   C a o   Q ,   2 0 1 3 ,   I E E E   I   C O N F   C O M P   V I S ,   P 2 4 0 8 ,   D O I   1 0 . 1 1 0 9 / I C C V . 2 0 1 3 . 2 9 9 ;   C h e n   D ,   2 0 1 2 ,   L E C T   N O T E S   C O M P U T   S C ,   V 7 5 7 4 ,   P 5 6 6 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 3 7 1 2 - 3 _ 4 1 ;   C h e n   D ,   2 0 1 3 ,   P R O C   C V P R   I E E E ,   P 3 0 2 5 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 3 . 3 8 9 ;   C O R T E S   C ,   1 9 9 5 ,   M A C H   L E A R N ,   V 2 0 ,   P 2 7 3 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 2 6 2 7 4 1 1 4 1 1 ;   D a v i s   J .   V . ,   2 0 0 7 ,   P   2 4   I N T   C   M A C H   L E A R ,   P 2 0 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 2 7 3 4 9 6 . 1 2 7 3 5 2 ;   D e n g   J . ,   2 0 1 3 ,   P   I E E E   C   C O M P   V I S   P A ,   P 5 8 0 ;   D e n g   W H ,   2 0 1 4 ,   P A T T E R N   R E C O G N ,   V 4 7 ,   P 3 7 3 8 ,   D O I   1 0 . 1 0 1 6 / j . p a t c o g . 2 0 1 4 . 0 6 . 0 2 0 ;   D e n g   W H ,   2 0 1 4 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 6 ,   P 1 2 7 5 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 1 3 . 1 9 4 ;   D e n g   W H ,   2 0 1 3 ,   P R O C   C V P R   I E E E ,   P 3 9 9 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 3 . 5 8 ;   D e n g   W e i h o n g ,   2 0 1 2 ,   P A T T E R N   A N A L   M A C H I N E ,   V 3 4 ,   P 1 8 6 4 ,   D O I   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 1 2 . 3 0 ;   F e r e n c z   A ,   2 0 0 5 ,   I E E E   I   C O N F   C O M P   V I S ,   P 2 8 6 ;   F e r e n c z   A .   D . ,   2 0 0 4 ,   A D V   N E U R A L   I N F O R M   P R ,   P 4 2 5 ;   G a v v e s   E ,   2 0 1 3 ,   I E E E   I   C O N F   C O M P   V I S ,   P 1 7 1 3 ,   D O I   1 0 . 1 1 0 9 / I C C V . 2 0 1 3 . 2 1 5 ;   G l o r o t   X . ,   2 0 1 0 ,   J L M R   P   T R A C K ,   V 9 ,   P 2 4 9 ,   D O I   D O I   1 0 . 1 . 1 / 2 0 7 . 2 0 5 9 ;   G o o d f e l l o w   I . ,   2 0 1 3 ,   J M L R   W   C P ,   V 2 8 ,   P 1 3 1 9 ;   G u i l l a u m i n   M ,   2 0 0 9 ,   I E E E   I   C O N F   C O M P   V I S ,   P 4 9 8 ,   D O I   1 0 . 1 1 0 9 / I C C V . 2 0 0 9 . 5 4 5 9 1 9 7 ;   H u   J L ,   2 0 1 5 ,   I N T   C O N F   B I O M E T R ,   P 7 9 ,   D O I   1 0 . 1 1 0 9 / I C B . 2 0 1 5 . 7 1 3 9 0 7 9 ;   H u a n g   G . ,   2 0 1 4 ,   L A B E L E D   F A C E S   W I L D   U ;   H u a n g   G . B . ,   2 0 0 7 ,   L A B E L E D   F A C E S   W I L D   D ;   H u a n g   S . ,   2 0 1 5 ,   A R X I V 1 5 1 2 0 8 0 8 6 ;   K o e s t i n g e r   M . ,   2 0 1 2 ,   P   I E E E   C   C O M P   V I S   P A ,   P 2 2 8 8 ;   K u m a r   N ,   2 0 0 9 ,   I E E E   I   C O N F   C O M P   V I S ,   P 3 6 5 ,   D O I   1 0 . 1 1 0 9 / I C C V . 2 0 0 9 . 5 4 5 9 2 5 0 ;   L e a r n e d - M i l l e r   E . ,   L A B E L E D   F A C E S   W I L D   S ;   L I   J ,   2 0 1 5 ,   I N T   C O N F   B I O M E T R ,   P 4 9 3 ;   L i n   T Y ,   2 0 1 5 ,   I E E E   I   C O N F   C O M P   V I S ,   P 1 4 4 9 ,   D O I   1 0 . 1 1 0 9 / I C C V . 2 0 1 5 . 1 7 0 ;   M i l l e r   D . ,   2 0 1 5 ,   A R X I V 1 5 0 5 0 2 1 0 8 ;   N g   H W ,   2 0 1 4 ,   I E E E   I M A G E   P R O C ,   P 3 4 3 ,   D O I   1 0 . 1 1 0 9 / I C I P . 2 0 1 4 . 7 0 2 5 0 6 8 ;   P a r k h i   O .   M . ,   2 0 1 5 ,   B R I T   M A C H   V I S   C ;   P h i l l i p s   P   J ,   2 0 1 1 ,   P r o c e e d i n g s   2 0 1 1   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A u t o m a t i c   F a c e   &   G e s t u r e   R e c o g n i t i o n   ( F G   2 0 1 1 ) ,   P 1 8 5 ,   D O I   1 0 . 1 1 0 9 / F G . 2 0 1 1 . 5 7 7 1 3 9 5 ;   R e e d   S . ,   2 0 1 6 ,   A R X I V 1 6 0 5 0 5 3 9 5 ;   S c h r o f f   F . ,   2 0 1 5 ,   C V P R ;   S i m o n y a n   K . ,   2 0 1 4 ,   A R X I V 1 4 0 9 1 5 5 6 ;   S i m o n y a n   K . ,   2 0 1 3 ,   B R I T   M A C H   V I S   C ;   S r i v a s t a v a   N ,   2 0 1 4 ,   J   M A C H   L E A R N   R E S ,   V 1 5 ,   P 1 9 2 9 ;   S u n   Y . ,   2 0 1 4 ,   A D V   N E U R A L   I N F O R M   P R ,   P 1 9 8 8 ;   S u n   Z . ,   2 0 1 0 ,   S P I E   D E F E N S E   S E C U R I T ;   T a i g m a n   Y ,   2 0 1 4 ,   P R O C   C V P R   I E E E ,   P 1 7 0 1 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 4 . 2 2 0 ;   T o o l e   A   J ,   2 0 0 7 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 9 ,   P 1 6 4 2 ;   W u   X . ,   2 0 1 5 ,   A R X I V 1 5 1 1 0 2 6 8 3 ;   Y i   D . ,   2 0 1 4 ,   A R X I V 1 4 1 1 7 9 2 3 ;   Z h a n g   N . ,   2 0 1 6 ,   P   9   I A P R   I N T   C   B I O M ;   Z h a n g   N . ,   2 0 1 4 ,   E C C V ,   P 8 3 4 ;   Z h a n g   X . ,   2 0 1 6 ,   P   I E E E   C   C O M P   V I S   P A ,   P 1 1 3 4 	 4 8 	 0 	 0 	 3 	 3 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 0 0 3 1 - 3 2 0 3 	 1 8 7 3 - 5 1 4 2 	 	 P A T T E R N   R E C O G N 	 P a t t e r n   R e c o g n i t . 	 J U N 	 2 0 1 7 	 6 6 	 	 	 	 S I 	 	 6 3 	 7 3 	 	 1 0 . 1 0 1 6 / j . p a t c o g . 2 0 1 6 . 1 1 . 0 2 3 	 	 1 1 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 E P 4 T C 	 W O S : 0 0 0 3 9 7 3 7 1 8 0 0 0 0 8 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 L u ,   J F ;   T a n g ,   C B ;   L i ,   X ;   W u ,   Q 	 	 	 	 L u ,   J i a n f e n g ;   T a n g ,   C h a n g b i n g ;   L i ,   X i a n g ;   W u ,   Q i a n 	 	 	 D e s i g n i n g   S o c i a l l y - O p t i m a l   R a t i n g   P r o t o c o l s   f o r   C r o w d s o u r c i n g   C o n t e s t   D i l e m m a 	 I E E E   T R A N S A C T I O N S   O N   I N F O R M A T I O N   F O R E N S I C S   A N D   S E C U R I T Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g   c o n t e s t   d i l e m m a ;   i n c e n t i v e   m e c h a n i s m ;   r a t i n g   p r o t o c o l ;   s o c i a l   o p t i m u m ;   g a m e   t h e o r y 	 I N D I R E C T   R E C I P R O C I T Y ;   C O O P E R A T I O N ;   N E T W O R K S ;   E N F O R C E M E N T ;   M A N E T S ;   G A M E 	 D e s p i t e   t h e   i n c r e a s i n g   p o p u l a r i t y   a n d   t h e   p e r c e i v e d   p r o m i s e   o f   c r o w d s o u r c i n g ,   i t s   o p e n n e s s   p r e s e n t s   i n d i v i d u a l s   w i t h   a n   o p p o r t u n i t y   t o   e x h i b i t   a n t i s o c i a l   b e h a v i o r ,   s u c h   a s   f r e e - r i d e   a n d   a t t a c k   t o   d e c r e a s e   t h e   s o c i a l   w e l f a r e ,   w h i c h   i s   c o n s i d e r e d   a s   a   c r o w d s o u r c i n g   c o n t e s t   d i l e m m a .   H e n c e ,   i n c e n t i v e   m e c h a n i s m s   a r e   n e e d e d   t o   c o m p e l   r a t i o n a l   a n d   s e l f i s h   i n d i v i d u a l s   t o   c o n t r i b u t e   w e l l   b e h a v i o r   i n   t a s k s .   I n   t h i s   p a p e r ,   w e   i n t e g r a t e   t h e   p r i c i n g   a n d   r e p u t a t i o n   s c h e m e s   t o   d e s i g n   a   n o v e l   s o c i a l l y   o p t i m a l   r a t i n g   p r o t o c o l   b a s e d   o n   g a m e   t h e o r y ,   i n   w h i c h   e a c h   p l a y e r   i s   t a g g e d   w i t h   a   r a t i n g   t o   r e p r e s e n t   i t s   s o c i a l   s t a t u s ,   a n d   p l a y e r s   a r e   e n c o u r a g e d   t o   c o n t r i b u t e   g o o d   b e h a v i o r s   t o   i n c r e a s e   t h e i r   r a t i n g s ,   t h u s   r e c e i v e   h i g h e r   r e w a r d s .   I n   p a r t i c u l a r ,   w e   a n a l y z e   h o w   t h e   p l a y e r s '   b e h a v i o r s   a r e   i n f l u e n c e d   b y   t h e   i n c u r r e d   c o s t s   a n d   t h e   d e s i g n e d   p a y m e n t ,   a s   w e l l   a s   t h e i r   l o n g - t e r m   u t i l i t i e s .   B y   q u a n t i f y i n g   t h e   s u f f i c i e n t   a n d   n e c e s s a r y   c o n d i t i o n s   u n d e r   w h i c h   a l l   p l a y e r s   c o m p l y   w i t h   t h e   s o c i a l   n o r m   i n   t h e i r   s e l f - i n t e r e s t s ,   w e   f o r m u l a t e   t h e   r a t i n g   p r o t o c o l   d e s i g n   p r o b l e m ,   a n d   a n a l y z e   t h e   i m p a c t s   o f   t h e   d e s i g n   p a r a m e t e r s   i n   o r d e r   t o   c h a r a c t e r i z e   t h e   o p t i m a l   d e s i g n ,   t h a t   m a x i m i z e s   t h e   s o c i a l   w e l f a r e   t o   a c h i e v e   t h e   s o c i a l   o p t i m u m .   F i n a l l y ,   i l l u s t r a t i v e   r e s u l t s   s h o w   t h e   v a l i d i t y   a n d   e f f e c t i v e n e s s   o f   o u r   p r o p o s e d   p r o t o c o l   d e s i g n   f o r   c r o w d s o u r c i n g   c o n t e s t   d i l e m m a . 	 [ L u ,   J i a n f e n g ;   T a n g ,   C h a n g b i n g ;   W u ,   Q i a n ]   Z h e j i a n g   N o r m a l   U n i v ,   D e p t   C o m p   S c i   &   E n g n ,   J i n h u a   3 2 1 0 0 4 ,   P e o p l e s   R   C h i n a ;   [ L i ,   X i a n g ]   F u d a n   U n i v ,   D e p t   E l e c t   E n g n ,   A d a p t   N e t w o r k s   &   C o n t r o l   L a b ,   S h a n g h a i   2 0 0 4 3 3 ,   P e o p l e s   R   C h i n a ;   [ L i ,   X i a n g ]   F u d a n   U n i v ,   S c h   I n f o r m a t   S c i   &   E n g n ,   C t r   S m a r t   N e t w o r k s   &   S y s t ,   S h a n g h a i   2 0 0 4 3 3 ,   P e o p l e s   R   C h i n a 	 L u ,   J F   ( r e p r i n t   a u t h o r ) ,   Z h e j i a n g   N o r m a l   U n i v ,   D e p t   C o m p   S c i   &   E n g n ,   J i n h u a   3 2 1 0 0 4 ,   P e o p l e s   R   C h i n a . 	 l u j i a n f e n g @ z j n u . e d u . c n ;   t a n g c b @ z j n u . e d u . c n ;   l i x @ f u d a n . e d u . c n ;   w x q _ T S @ 1 6 3 . c o m 	 	 	 N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 6 1 4 0 2 4 1 8 ,   6 1 5 0 3 3 4 2 ,   6 1 4 0 1 3 9 9 ,   6 1 6 7 2 4 6 8 ,   6 1 6 0 2 4 1 8 ] ;   N a t i o n a l   S c i e n c e   F u n d   f o r   D i s t i n g u i s h e d   Y o u n g   S c h o l a r   o f   C h i n a   [ 6 1 4 2 5 0 1 9 2 ] ;   S o c i a l   D e v e l o p m e n t   P r o j e c t   o f   Z h e j i a n g   p r o v i n c i a l   p u b l i c   T e c h n o l o g y   R e s e a r c h   [ 2 0 1 7 C 3 3 0 5 4 ] ;   M i n i s t r y   o f   E d u c a t i o n   i n   C h i n a   P r o j e c t   o f   H u m a n i t y   a n d   S o c i a l   S c i e n c e   [ 1 2 Y J C Z H 1 4 2 ] ;   Z h e j i a n g   P r o v i n c i a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ L Y 1 6 F 0 3 0 0 0 2 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   u n d e r   G r a n t   6 1 4 0 2 4 1 8 ,   G r a n t   6 1 5 0 3 3 4 2 ,   G r a n t   6 1 4 0 1 3 9 9 ,   G r a n t   6 1 6 7 2 4 6 8 ,   a n d   G r a n t   6 1 6 0 2 4 1 8 ,   i n   p a r t   b y   t h e   N a t i o n a l   S c i e n c e   F u n d   f o r   D i s t i n g u i s h e d   Y o u n g   S c h o l a r   o f   C h i n a   u n d e r   G r a n t   6 1 4 2 5 0 1 9 2 ,   i n   p a r t   b y   t h e   S o c i a l   D e v e l o p m e n t   P r o j e c t   o f   Z h e j i a n g   p r o v i n c i a l   p u b l i c   T e c h n o l o g y   R e s e a r c h   u n d e r   G r a n t   2 0 1 7 C 3 3 0 5 4 ,   i n   p a r t   b y   t h e   M i n i s t r y   o f   E d u c a t i o n   i n   C h i n a   P r o j e c t   o f   H u m a n i t y   a n d   S o c i a l   S c i e n c e   u n d e r   G r a n t   1 2 Y J C Z H 1 4 2 ,   a n d   i n   p a r t   b y   t h e   Z h e j i a n g   P r o v i n c i a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   u n d e r   G r a n t   L Y 1 6 F 0 3 0 0 0 2 .   T h e   a s s o c i a t e   e d i t o r   c o o r d i n a t i n g   t h e   r e v i e w   o f   t h i s   m a n u s c r i p t   a n d   a p p r o v i n g   i t   f o r   p u b l i c a t i o n   w a s   D r .   W a l i d   S a a d . 	 C h e n   Y ,   2 0 1 1 ,   I E E E   T   C O M M U N ,   V 5 9 ,   P 1 5 9 ,   D O I   1 0 . 1 1 0 9 / T C O M M . 2 0 1 0 . 1 1 0 3 1 0 . 1 0 0 1 4 3 ;   C h e n   Y ,   2 0 1 0 ,   J   P U B L I C   E C O N   T H E O R Y ,   V 1 2 ,   P 6 4 1 ;   C h e n g   J . ,   2 0 1 5 ,   P   9   I N T   A A A I   C   W E B L ,   P 6 1 ;   D e l l a r o c a s   C ,   2 0 0 5 ,   I N F O R M   S Y S T   R E S ,   V 1 6 ,   P 2 0 9 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 5 0 . 0 0 5 4 ;   D e l l a r o c a s   C ,   2 0 0 6 ,   I N F O R M   S Y S T   R E S ,   V 1 7 ,   P 2 7 1 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 6 0 . 0 0 9 2 ;   D i P a l a n t i n o   D ,   2 0 0 9 ,   1 0 T H   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E   -   E C   2 0 0 9 ,   P 1 1 9 ;   F e l d m a n   M ,   2 0 0 6 ,   I E E E   J   S E L   A R E A   C O M M ,   V 2 4 ,   P 1 0 1 0 ,   D O I   1 0 . 1 1 0 9 / J S A C . 2 0 0 6 . 8 7 2 8 8 2 ;   G a r c i a - M o l i n a   H ,   2 0 1 6 ,   I E E E   T   K N O W L   D A T A   E N ,   V 2 8 ,   P 9 0 1 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 1 6 . 2 5 1 8 6 6 9 ;   H u   H Q ,   2 0 1 6 ,   P R O C   I N T   C O N F   D A T A ,   P 8 8 3 ,   D O I   1 0 . 1 1 0 9 / I C D E . 2 0 1 6 . 7 4 9 8 2 9 8 ;   I s m a i l   Z ,   2 0 1 6 ,   I E E E   T   I N F   F O R E N   S E C ,   V 1 1 ,   P 1 6 8 5 ,   D O I   1 0 . 1 1 0 9 / T I F S . 2 0 1 6 . 2 5 4 9 0 0 2 ;   J i   Z . ,   2 0 0 6 ,   P   I E E E   2 5   I N F O C O M   B A ,   P 1 ,   D O I   1 0 . 1 1 0 9 / I N F O C O M . 2 0 0 6 . 1 1 2 ;   J i   Z ,   2 0 1 0 ,   I E E E   T   M O B I L E   C O M P U T ,   V 9 ,   P 1 2 4 2 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 0 . 8 7 ;   K A N D O R I   M ,   1 9 9 2 ,   R E V   E C O N   S T U D ,   V 5 9 ,   P 6 3 ,   D O I   1 0 . 2 3 0 7 / 2 2 9 7 9 2 5 ;   M a s o n   W . ,   2 0 0 9 ,   P   A C M   S I G K D D   W O R K S H ,   P 7 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 0 0 1 5 0 . 1 6 0 0 1 7 5 ;   M i c h i a r d i   P . ,   2 0 0 2 ,   P   I F I P   T C 6   T C 1 1   6   J O ,   P 1 0 7 ;   M i s r a   S ,   2 0 1 5 ,   I E E E   T   W I R E L   C O M M U N ,   V 1 4 ,   P 2 7 6 9 ,   D O I   1 0 . 1 1 0 9 / T W C . 2 0 1 5 . 2 3 9 3 3 0 3 ;   N a r o d i t s k i y   V i c t o r ,   2 0 1 4 ,   J   R O Y A L   S O C ,   V 1 1 ,   P 1 ;   N o w a k   M A ,   2 0 0 5 ,   N A T U R E ,   V 4 3 7 ,   P 1 2 9 1 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 4 1 3 1 ;   N o w a k   M A ,   2 0 0 6 ,   E V O L U T I O N A R Y   D Y N A M I C ;   O i s h i   K ,   2 0 1 4 ,   S C I   R E P - U K ,   V 4 ,   D O I   1 0 . 1 0 3 8 / s r e p 0 4 1 0 0 ;   M a i l a t h   G . ,   2 0 0 6 ,   R E P E A T E D   G A M E S   R E P U T ;   P i c k a r d   G ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 4 ,   P 5 0 9 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 0 5 8 6 9 ;   Q u e r   G ,   2 0 1 3 ,   I E E E   T   C O M M U N ,   V 6 1 ,   P 4 3 1 0 ,   D O I   1 0 . 1 1 0 9 / T C O M M . 2 0 1 3 . 0 8 2 8 1 3 . 1 2 0 7 1 0 ;   R e f a e i   M T ,   2 0 1 0 ,   I E E E   T   C O M P U T ,   V 5 9 ,   P 7 0 7 ,   D O I   1 0 . 1 1 0 9 / T C . 2 0 1 0 . 3 4 ;   S i n g h   A . ,   2 0 0 3 ,   P   3   I N T   C   P E E R   T O   P E ,   P 1 4 2 ,   D O I   D O I   1 0 . 1 1 0 9 / P T P . 2 0 0 3 . 1 2 3 1 5 1 4 ;   T a k a h a s h i   S ,   2 0 1 0 ,   J   E C O N   T H E O R Y ,   V 1 4 5 ,   P 4 2 ,   D O I   1 0 . 1 0 1 6 / j . j e t . 2 0 0 9 . 0 6 . 0 0 3 ;   T a n g   C B ,   2 0 1 5 ,   I E E E   T   C Y B E R N E T I C S ,   V 4 5 ,   P 2 1 9 0 ,   D O I   1 0 . 1 1 0 9 / T C Y B . 2 0 1 4 . 2 3 6 6 9 7 1 ;   T a n g   J C ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 7 8 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 1 ;   T a r a b l e   A . ,   2 0 1 5 ,   P   2 0 1 5   I E E E   C   C O M P   C ,   P 2 8 2 1 ;   W u   Y B ,   2 0 1 6 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 5 ,   P 1 2 4 9 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 5 . 2 4 4 4 3 7 9 ;   X i a o   L ,   2 0 1 2 ,   I E E E   T   I N F   F O R E N   S E C ,   V 7 ,   P 1 3 6 8 ,   D O I   1 0 . 1 1 0 9 / T I F S . 2 0 1 2 . 2 2 0 2 2 2 8 ;   X i a o   Y . ,   2 0 1 5 ,   A C M   T   E C   C O M P U T ,   V 3 ;   Y a n g   K ,   2 0 1 5 ,   I E E E   C O M M U N   M A G ,   V 5 3 ,   P 7 5 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 5 . 7 1 8 0 5 1 1 ;   Y u   W ,   2 0 0 5 ,   I E E E   J   S E L   A R E A   C O M M ,   V 2 3 ,   P 2 2 6 0 ,   D O I   1 0 . 1 1 0 9 / J S A C . 2 0 0 5 . 8 5 7 2 0 1 ;   Z h a n g   Y . ,   2 0 1 5 ,   P   3 1   I E E E   C   C O M P   C O M ,   P 2 1 4 0 ;   Z h a n g   Y . ,   2 0 1 4 ,   J   F U N D A M   R E N E W   E N E R G ,   V 4 ,   P 1 ;   Z h a n g   Y ,   2 0 1 4 ,   I E E E   T   S I G N A L   P R O C E S ,   V 6 2 ,   P 3 0 6 9 ,   D O I   1 0 . 1 1 0 9 / T S P . 2 0 1 4 . 2 3 2 0 4 5 7 	 3 7 	 0 	 0 	 2 0 	 2 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 5 5 6 - 6 0 1 3 	 1 5 5 6 - 6 0 2 1 	 	 I E E E   T   I N F   F O R E N   S E C 	 I E E E   T r a n s .   I n f .   F o r e n s i c   S e c u r . 	 J U N 	 2 0 1 7 	 1 2 	 6 	 	 	 	 	 1 3 3 0 	 1 3 4 4 	 	 1 0 . 1 1 0 9 / T I F S . 2 0 1 7 . 2 6 5 6 4 6 8 	 	 1 5 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 E N 5 Y H 	 W O S : 0 0 0 3 9 6 0 8 1 2 0 0 0 0 7 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 B r e m n e r ,   P A ;   C e l i k t u t a n ,   O ;   G u n e s ,   H 	 	 	 	 B r e m n e r ,   P a u l   A d a m ;   C e l i k t u t a n ,   O y a ;   G u n e s ,   H a t i c e 	 	 	 P e r s o n a l i t y   P e r c e p t i o n   o f   r o b o t   a v a t a r   T e l e o p e r a t o r s   i n   s o l o   a n d   D y a d i c   T a s k s 	 F R O N T I E R S   I N   R O B O T I C S   A N D   A I 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 t e l e p r e s e n c e ;   B i g   F i v e   p e r s o n a l i t y   t r a i t s ;   p e r s o n a l i t y   p e r c e p t i o n 	 A C C U R A C Y ;   B I G - 5 ;   A C Q U A I N T A N C E ;   I M P R E S S I O N S ;   A P P E A R A N C E ;   J U D G M E N T S ;   B E H A V I O R ;   T R A I T S 	 H u m a n o i d   r o b o t   a v a t a r s   a r e   a   p o t e n t i a l   n e w   t e l e c o m m u n i c a t i o n   t o o l ,   w h e r e b y   a   u s e r   i s   r e m o t e l y   r e p r e s e n t e d   b y   a   r o b o t   t h a t   r e p l i c a t e s   t h e i r   a r m ,   h e a d ,   a n d   p o s s i b l e   f a c e   m o v e m e n t s .   T h e y   h a v e   b e e n   s h o w n   t o   h a v e   a   n u m b e r   o f   b e n e f i t s   o v e r   m o r e   t r a d i t i o n a l   m e d i a   s u c h   a s   p h o n e s   o r   v i d e o   c a l l s .   H o w e v e r ,   u s i n g   a   t e l e o p e r a t e d   h u m a n o i d   a s   a   c o m m u n i c a t i o n   m e d i u m   i n h e r e n t l y   c h a n g e s   t h e   a p p e a r a n c e   o f   t h e   o p e r a t o r ,   a n d   a p p e a r a n c e - b a s e d   s t e r e o t y p e s   a r e   u s e d   i n   i n t e r p e r s o n a l   j u d g m e n t s   ( w h e t h e r   c o n s c i o u s l y   o r   u n c o n s c i o u s l y ) .   O n e   s u c h   j u d g m e n t   t h a t   p l a y s   a   k e y   r o l e   i n   h o w   p e o p l e   i n t e r a c t   i s   p e r s o n a l i t y .   H e n c e ,   w e   h a v e   b e e n   m o t i v a t e d   t o   i n v e s t i g a t e   i f   a n d   h o w   u s i n g   a   r o b o t   a v a t a r   a l t e r s   t h e   p e r c e i v e d   p e r s o n a l i t y   o f   t e l e o p e r a t o r s .   T o   d o   s o ,   w e   c a r r i e d   o u t   t w o   s t u d i e s   w h e r e   p a r t i c i p a n t s   p e r f o r m e d   3   c o m m u n i c a t i o n   t a s k s ,   s o l o   i n   s t u d y   o n e   a n d   d y a d i c   i n   s t u d y   t w o ,   a n d   w e r e   r e c o r d e d   o n   v i d e o   b o t h   w i t h   a n d   w i t h o u t   r o b o t   m e d i a t i o n .   J u d g e s   r e c r u i t e d   u s i n g   o n l i n e   c r o w d s o u r c i n g   s e r v i c e s   t h e n   m a d e   p e r s o n a l i t y   j u d g m e n t s   o f   t h e   p a r t i c i p a n t s   i n   t h e   v i d e o   c l i p s .   W e   o b s e r v e d   t h a t   j u d g e s   w e r e   a b l e   t o   m a k e   i n t e r n a l l y   c o n s i s t e n t   t r a i t   j u d g m e n t s   i n   b o t h   c o m m u n i c a t i o n   c o n d i t i o n s .   H o w e v e r ,   j u d g e   a g r e e m e n t   w a s   a f f e c t e d   b y   r o b o t   m e d i a t i o n ,   a l t h o u g h   w h i c h   t r a i t s   w e r e   a f f e c t e d   w a s   h i g h l y   t a s k   d e p e n d e n t .   O u r   m o s t   i m p o r t a n t   f i n d i n g   w a s   t h a t   i n   d y a d i c   t a s k s   p e r s o n a l i t y   t r a i t   p e r c e p t i o n   w a s   s h i f t e d   t o   i n c o r p o r a t e   c u e s   r e l a t i n g   t o   t h e   r o b o t ' s   a p p e a r a n c e   w h e n   i t   w a s   u s e d   t o   c o m m u n i c a t e .   O u r   f i n d i n g s   h a v e   i m p o r t a n t   i m p l i c a t i o n s   f o r   t e l e p r e s e n c e   r o b o t   d e s i g n   a n d   p e r s o n a l i t y   e x p r e s s i o n   i n   a u t o n o m o u s   r o b o t s . 	 [ B r e m n e r ,   P a u l   A d a m ]   U n i v   W e s t   E n g l a n d ,   B r i s t o l   R o b o t   L a b ,   B r i s t o l ,   E n g l a n d ;   [ C e l i k t u t a n ,   O y a ;   G u n e s ,   H a t i c e ]   U n i v   C a m b r i d g e ,   C o m p   L a b ,   C a m b r i d g e ,   E n g l a n d 	 B r e m n e r ,   P A   ( r e p r i n t   a u t h o r ) ,   U n i v   W e s t   E n g l a n d ,   B r i s t o l   R o b o t   L a b ,   B r i s t o l ,   E n g l a n d . 	 p a u l . b r e m n e r @ b r l . a c . u k 	 	 	 E P S R C   u n d e r   I D E A S   F a c t o r y   S a n d p i t s   [ E P / L 0 0 4 1 6 X / 1 ] 	 T h i s   w o r k   w a s   f u n d e d   b y   t h e   E P S R C   u n d e r   i t s   I D E A S   F a c t o r y   S a n d p i t s   c a l l   o n   D i g i t a l   P e r s o n h o o d   ( G r a n t   R e f :   E P / L 0 0 4 1 6 X / 1 ) . 	 A d a l g e i r s s o n   S O ,   2 0 1 0 ,   A C M I E E E   I N T   C O N F   H U M ,   P 1 5 ,   D O I   1 0 . 1 1 0 9 / H R I . 2 0 1 0 . 5 4 5 3 2 7 2 ;   A l i b a l i   M W ,   2 0 0 1 ,   J   M E M   L A N G ,   V 4 4 ,   P 1 6 9 ,   D O I   1 0 . 1 0 0 6 / j m l a . 2 0 0 0 . 2 7 5 2 ;   A l y   A . ,   2 0 1 3 ,   P   A C M   I E E E   I N T   C   H U M ;   A r a n   O . ,   2 0 1 3 ,   P   A C M   I N T   C   M U L T   I N T ;   B a r r i c k   M R ,   2 0 0 0 ,   P E R S   P S Y C H O L ,   V 5 3 ,   P 9 2 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 4 - 6 5 7 0 . 2 0 0 0 . t b 0 2 4 2 4 . x ;   B a t r i n c a   L ,   2 0 1 6 ,   I E E E   T   M U L T I M E D I A ,   V 1 8 ,   P 6 5 9 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 1 6 . 2 5 2 2 7 6 3 ;   B e h r e n d   T ,   2 0 1 2 ,   C O M P U T   H U M   B E H A V ,   V 2 8 ,   P 2 1 2 8 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 2 . 0 6 . 0 1 7 ;   B e v a n   C ,   2 0 1 5 ,   A C M I E E E   I N T   C O N F   H U M ,   P 2 4 7 ,   D O I   1 0 . 1 1 4 5 / 2 6 9 6 4 5 4 . 2 6 9 6 4 9 0 ;   B i e l   J I ,   2 0 1 3 ,   I E E E   T   M U L T I M E D I A ,   V 1 5 ,   P 4 1 ,   D O I   1 0 . 1 1 0 9 / T M M . 2 0 1 2 . 2 2 2 5 0 3 2 ;   B O R K E N A U   P ,   1 9 9 2 ,   J   P E R S   S O C   P S Y C H O L ,   V 6 2 ,   P 6 4 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 6 2 . 4 . 6 4 5 ;   B o r k e n a u   P ,   2 0 0 4 ,   J   P E R S   S O C   P S Y C H O L ,   V 8 6 ,   P 5 9 9 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 8 6 . 4 . 5 9 9 ;   B r e m n e r   P . ,   2 0 1 6 ,   R O   M A N ;   B r e m n e r   P ,   2 0 1 6 ,   E L E V E N T H   A C M / I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   H U M A N   R O B O T   I N T E R A T I O N   ( H R I ' 1 6 ) ,   P 1 4 1 ,   D O I   1 0 . 1 1 0 9 / H R I . 2 0 1 6 . 7 4 5 1 7 4 5 ;   B r e m n e r   P ,   2 0 1 6 ,   F R O N T   P S Y C H O L ,   V 7 ,   D O I   1 0 . 3 3 8 9 / f p s y g . 2 0 1 6 . 0 0 1 8 3 ;   B r e m n e r   P ,   2 0 1 5 ,   I E E E   I N T   C O N F   R O B O T ,   P 1 9 9 9 ,   D O I   1 0 . 1 1 0 9 / I C R A . 2 0 1 5 . 7 1 3 9 4 6 0 ;   C a r n e y   D R ,   2 0 0 7 ,   J   R E S   P E R S ,   V 4 1 ,   P 1 0 5 4 ,   D O I   1 0 . 1 0 1 6 / j . j r p . 2 0 0 7 . 0 1 . 0 0 4 ;   C e l i k t u t a n   O . ,   2 0 1 6 ,   2 5   I E E E   I N T   S   R O B   H U ;   C e l i k t u t a n   O ,   2 0 1 5 ,   2 0 1 5   2 4 T H   I E E E   I N T E R N A T I O N A L   S Y M P O S I U M   O N   R O B O T   A N D   H U M A N   I N T E R A C T I V E   C O M M U N I C A T I O N   ( R O - M A N ) ,   P 8 1 5 ,   D O I   1 0 . 1 1 0 9 / R O M A N . 2 0 1 5 . 7 3 3 3 6 0 2 ;   C r e d e   M ,   2 0 1 2 ,   J   P E R S   S O C   P S Y C H O L ,   V 1 0 2 ,   P 8 7 4 ,   D O I   1 0 . 1 0 3 7 / a 0 0 2 7 4 0 3 ;   D a l y - J o n e s   O ,   1 9 9 8 ,   I N T   J   H U M - C O M P U T   S T ,   V 4 9 ,   P 2 1 ,   D O I   1 0 . 1 0 0 6 / i j h c . 1 9 9 8 . 0 1 9 5 ;   D e Y o u n g   C .   D . ,   2 0 1 1 ,   C A M B R I D G E   H D B   I N T E L L ,   P 7 1 1 ,   D O I   D O I   1 0 . 1 0 1 7 / C B O 9 7 8 0 5 1 1 9 7 7 2 4 4 . 0 3 6 ;   E D W A R D S   A L ,   1 9 4 8 ,   P S Y C H O M E T R I K A ,   V 1 3 ,   P 1 8 5 ,   D O I   D O I   1 0 . 1 0 0 7 / B F 0 2 2 8 9 2 6 1 ;   F E L D T   L S ,   1 9 8 7 ,   A P P L   P S Y C H   M E A S ,   V 1 1 ,   P 9 3 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 6 6 2 1 6 8 7 0 1 1 0 0 1 0 7 ;   F o n g   K ,   2 0 1 5 ,   P E R S   S O C   P S Y C H O L   B ,   V 4 1 ,   P 2 3 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 6 1 6 7 2 1 4 5 6 2 7 6 1 ;   F U N D E R   D C ,   1 9 9 5 ,   P S Y C H O L   R E V ,   V 1 0 2 ,   P 6 5 2 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 5 X . 1 0 2 . 4 . 6 5 2 ;   F u n d e r   D C ,   2 0 0 0 ,   J   P E R S ,   V 6 8 ,   P 4 5 1 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 6 4 9 4 . 0 0 1 0 3 ;   F U N D E R   D C ,   1 9 9 3 ,   J   P E R S   S O C   P S Y C H O L ,   V 6 4 ,   P 4 7 9 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 6 4 . 3 . 4 7 9 ;   G o u a i l l i e r   D . ,   2 0 0 9 ,   P   I E E E   I N T   C   R O B   A U T ,   P 7 6 9 ,   D O I   D O I   1 0 . 1 1 0 9 / R O B O T . 2 0 0 9 . 5 1 5 2 5 1 6 ;   K E N N Y   D A ,   1 9 9 4 ,   P S Y C H O L   B U L L ,   V 1 1 6 ,   P 2 4 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 1 6 . 2 . 2 4 5 ;   K r i s t o f f e r s s o n   A n n i c a ,   2 0 1 3 ,   A d v a n c e s   i n   H u m a n - C o m p u t i n g   I n t e r a c t i o n ,   D O I   1 0 . 1 1 5 5 / 2 0 1 3 / 9 0 2 3 1 6 ;   K u w a m u r a   K . ,   2 0 1 2 ,   P   I E E E   I N T   S   R O B   H U M ,   P 4 9 ;   L e e   M .   K . ,   2 0 1 1 ,   P   2 0 1 1   A N N   C   H U M   F A C ,   P 3 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 8 9 5 0 ;   M a c r a e   C .   N . ,   1 9 9 6 ,   S T E R E O T Y P E S   S T E R E O T Y ;   M a m o d e   H Z H ,   2 0 1 3 ,   I E E E   I N T   C O N F   R O B O T ,   P 1 8 4 ,   D O I   1 0 . 1 1 0 9 / I C R A . 2 0 1 3 . 6 6 3 0 5 7 4 ;   M a r t i n s   H . ,   2 0 0 9 ,   I E E E   C   E M   T E C H N   F A C T ,   P 1 ;   M c K e o w n   G ,   2 0 1 2 ,   I E E E   T   A F F E C T   C O M P U T ,   V 3 ,   P 5 ,   D O I   1 0 . 1 1 0 9 / T - A F F C . 2 0 1 1 . 2 0 ;   M u r r a y   H .   A . ,   1 9 4 3 ,   T H E M A T I C   A P P E R C E P T I O ;   N a u m a n n   L P ,   2 0 0 9 ,   P E R S   S O C   P S Y C H O L   B ,   V 3 5 ,   P 1 6 6 1 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 6 1 6 7 2 0 9 3 4 6 3 0 9 ;   O ' C o n a i l l   B . ,   1 9 9 3 ,   H u m a n - C o m p u t e r   I n t e r a c t i o n ,   V 8 ,   P 3 8 9 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 0 5 1 h c i 0 8 0 4 _ 4 ;   P a r k   E ,   2 0 1 2 ,   I N T   J   A D V   R O B O T   S Y S T ,   V 9 ,   D O I   1 0 . 5 7 7 2 / 5 0 2 2 8 ;   R a e   I . ,   2 0 1 3 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 9 2 1 ;   R a m m s t e d t   B ,   2 0 0 7 ,   J   R E S   P E R S ,   V 4 1 ,   P 2 0 3 ,   D O I   1 0 . 1 0 1 6 / j . j r p . 2 0 0 6 . 0 2 . 0 0 1 ;   R i g g i o   R . ,   1 9 8 6 ,   P E R S O N A L I T Y   S O C I A L   P ,   V 5 0 ,   P 4 2 1 ,   D O I   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 5 0 . 2 . 4 2 1 ;   S a l a m   H ,   2 0 1 7 ,   I E E E   A C C E S S ,   V 5 ,   P 7 0 5 ,   D O I   1 0 . 1 1 0 9 / A C C E S S . 2 0 1 6 . 2 6 1 4 5 2 5 ;   S H R O U T   P E ,   1 9 7 9 ,   P S Y C H O L   B U L L ,   V 8 6 ,   P 4 2 0 ,   D O I   1 0 . 1 0 3 7 / / 0 0 3 3 - 2 9 0 9 . 8 6 . 2 . 4 2 0 ;   S t r a u b   I ,   2 0 1 0 ,   2 0 1 0   I E E E   R O - M A N ,   P 1 1 9 ,   D O I   1 0 . 1 1 0 9 / R O M A N . 2 0 1 0 . 5 5 9 8 6 9 5 ;   T a n g   A . ,   2 0 0 4 ,   P   A U S T R   U S   I N T ,   P 7 3 ;   T o p o l e w s k a   E . ,   2 0 1 4 ,   A N N   P S Y C H O L ,   V 2 ,   P 3 8 5 ;   V i n c i a r e l l i   A ,   2 0 1 4 ,   I E E E   T   A F F E C T   C O M P U T ,   V 5 ,   P 2 7 3 ,   D O I   1 0 . 1 1 0 9 / T A F F C . 2 0 1 4 . 2 3 3 0 8 1 6 ;   W a n g   Y Q ,   2 0 1 3 ,   I N T   C O N F   A F F E C T ,   P 4 7 9 ,   D O I   1 0 . 1 1 0 9 / A C I I . 2 0 1 3 . 8 5 ;   Y a m a z a k i   R . ,   2 0 1 2 ,   R O   M A N ,   P 1 0 6 6 ;   Z i l l i g   L M P ,   2 0 0 2 ,   P E R S   S O C   P S Y C H O L   B ,   V 2 8 ,   P 8 4 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 6 1 6 7 2 0 2 2 8 9 0 1 3 	 5 2 	 0 	 0 	 0 	 0 	 F R O N T I E R S   M E D I A   S A 	 L A U S A N N E 	 P O   B O X   1 1 0 ,   E P F L   I N N O V A T I O N   P A R K ,   B U I L D I N G   I ,   L A U S A N N E ,   1 0 1 5 ,   S W I T Z E R L A N D 	 2 2 9 6 - 9 1 4 4 	 	 	 F R O N T   R O B O T   A I 	 F r o n t .   R o b o t .   A I 	 M A Y   2 3 	 2 0 1 7 	 4 	 	 	 	 	 	 	 	 1 6 	 1 0 . 3 3 8 9 / f r o b t . 2 0 1 7 . 0 0 0 1 6 	 	 1 6 	 R o b o t i c s 	 R o b o t i c s 	 E W 7 I Q 	 W O S : 0 0 0 4 0 2 6 8 3 4 0 0 0 0 1 	 	 g o l d 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 Z h a o ,   R ;   S u n ,   J B ;   Z h a n g ,   X X ;   W u ,   H J ;   L i u ,   P ;   Y a n g ,   X J ;   Q i n ,   W 	 	 	 	 Z h a o ,   R u i ;   S u n ,   J i n b o ;   Z h a n g ,   X i n x i n ;   W u ,   H u a n j u ;   L i u ,   P e n g ;   Y a n g ,   X u e j u a n ;   Q i n ,   W e i 	 	 	 S l e e p   s p i n d l e   d e t e c t i o n   b a s e d   o n   n o n - e x p e r t s :   A   v a l i d a t i o n   s t u d y 	 P L O S   O N E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 A R T I F I C I A L   N E U R A L - N E T W O R K S ;   P A R K I N S O N S - D I S E A S E ;   H E A L T H Y - S U B J E C T S ;   E E G ;   D E N S I T Y ;   M E M O R Y ;   F I N G E R P R I N T ;   P E R F O R M A N C E ;   I N C R E A S E S ;   D I S O R D E R 	 A c c u r a t e   a n d   e f f i c i e n t   d e t e c t i o n   o f   s l e e p   s p i n d l e s   i s   a   m e t h o d o l o g i c a l   c h a l l e n g e .   T h e   p r e s e n t   s t u d y   d e s c r i b e s   a   m e t h o d   o f   u s i n g   n o n - e x p e r t s   f o r   m a n u a l   d e t e c t i o n   o f   s l e e p   s p i n d l e s .   W e   r e c r u i t e d   f i v e   e x p e r t s   a n d   1 6 8   n o n - e x p e r t s   t o   m a n u a l l y   i d e n t i f y   s p i n d l e s   i n   s t a g e   N 2   a n d   s t a g e   N 3   s l e e p   d a t a   u s i n g   a   M A T L A B   i n t e r f a c e .   S c o r e r s   c l a s s i f i e d   e a c h   s p i n d l e   i n t o   d e f i n i t e   a n d   i n d e f i n i t e   s p i n d l e   ( w i t h   w e i g h t s   o f   1   a n d   0 . 5 ,   r e s p e c t i v e l y ) .   F i r s t ,   a   m e t h o d   o f   o p t i m i z i n g   t h e   t h r e s h o l d s   o f   t h e   e x p e r t / n o n - e x p e r t   g r o u p   c o n s e n s u s   a c c o r d i n g   t o   t h e   r e s u l t s   o f   e x p e r t s   a n d   n o n - e x p e r t s   t h e m s e l v e s   i s   d e s c r i b e d .   U s i n g   t h i s   m e t h o d ,   w e   e s t a b l i s h e d   e x p e r t   a n d   n o n - e x p e r t   g r o u p   s t a n d a r d s   f r o m   e x p e r t   a n d   n o n - e x p e r t   s c o r e r s ,   r e s p e c t i v e l y ,   a n d   e v a l u a t e d   t h e   p e r f o r m a n c e   o f   t h e   n o n - e x p e r t   g r o u p   s t a n d a r d s   b y   c o m p a r e d   w i t h   t h e   e x p e r t   g r o u p   s t a n d a r d   ( t e r m e d   E G S ) .   T h e   r e s u l t s   i n d i c a t e d   t h a t   t h e   h i g h e s t   p e r f o r m a n c e   w a s   t h e   n o n e x p e r t   g r o u p   s t a n d a r d   w h e n   d e f i n i t e   s p i n d l e s   w e r e   o n l y   c o n s i d e r e d   ( t e r m e d   n E G S - 1 ;   F 1   s c o r e   =   0 . 7 8   f o r   N 2 ;   0 . 6 8   f o r   N 3 ) .   S e c o n d ,   f o u r   a u t o m a t i c   s p i n d l e   d e t e c t i o n   m e t h o d s   w e r e   c o m p a r e d   w i t h   t h e   E G S .   W e   f o u n d   t h a t   t h e   p e r f o r m a n c e   o f   n E G S - 1   v e r s u s   E G S   w a s   h i g h e r   t h a n   t h a t   o f   t h e   f o u r   a u t o m a t e d   m e t h o d s .   O u r   r e s u l t s   a l s o   s h o w e d   p o s i t i v e   c o r r e l a t i o n   b e t w e e n   t h e   m e a n   F 1   s c o r e   o f   i n d i v i d u a l   e x p e r t   i n   E G S   a n d   t h e   F 1   s c o r e   o f   n E G S - 1   v e r s u s   E G S   a c r o s s   3 0   s e g m e n t s   o f   s t a g e   N 2   d a t a   ( r   =   0 . 6 1 ,   P   <   0 . 0 0 1 ) .   F u r t h e r ,   w e   f o u n d   t h a t   s i x   a n d   n i n e   n o n - e x p e r t s   w e r e   n e e d e d   t o   m a n u a l l y   i d e n t i f y   s p i n d l e s   i n   s t a g e s   N 2   a n d   N 3 ,   r e s p e c t i v e l y ,   w h i l e   m a i n t a i n i n g   a c c e p t a b l e   p e r f o r m a n c e   o f   n E G S - 1   v e r s u s   E G S   ( F 1   s c o r e   =   0 . 7 9   f o r   N 2 ;   0 . 6 4   f o r   N 3 ) .   I n   c o n c l u s i o n ,   t h i s   s t u d y   e s t a b l i s h e s   a   d e t a i l e d   p r o c e s s   f o r   d e t e c t i o n   o f   s l e e p   s p i n d l e s   b y   n o n - e x p e r t s   i n   a   c r o w d s o u r c i n g   s c h e m e . 	 [ Z h a o ,   R u i ;   S u n ,   J i n b o ;   Z h a n g ,   X i n x i n ;   W u ,   H u a n j u ;   L i u ,   P e n g ;   Y a n g ,   X u e j u a n ;   Q i n ,   W e i ]   X i d i a n   U n i v ,   S c h   L i f e   S c i   &   T e c h n o l ,   S l e e p   &   N e u r o i m a g e   G r p ,   X i a n ,   S h a a n x i ,   P e o p l e s   R   C h i n a 	 Q i n ,   W   ( r e p r i n t   a u t h o r ) ,   X i d i a n   U n i v ,   S c h   L i f e   S c i   &   T e c h n o l ,   S l e e p   &   N e u r o i m a g e   G r p ,   X i a n ,   S h a a n x i ,   P e o p l e s   R   C h i n a . 	 w q i n @ x i d i a n . e d u . c n 	 	 	 N a t i o n a l   B a s i c   R e s e a r c h   P r o g r a m   o f   C h i n a   [ 2 0 1 5 C B 8 5 6 4 0 3 ,   2 0 1 4 C B 5 4 3 2 0 3 ,   2 0 1 2 C B 5 1 8 5 0 1 ] ;   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 8 1 2 7 1 6 4 4 ,   8 1 4 7 1 8 1 1 ,   8 1 4 7 1 7 3 8 ,   6 1 4 0 1 3 4 6 ] ;   F u n d a m e n t a l   R e s e a r c h   F u n d s   f o r   t h e   C e n t r a l   U n i v e r s i t i e s 	 T h i s   s t u d y   w a s   f i n a n c i a l l y   s u p p o r t e d   b y   N a t i o n a l   B a s i c   R e s e a r c h   P r o g r a m   o f   C h i n a   u n d e r   G r a n t   N o s .   2 0 1 5 C B 8 5 6 4 0 3 ,   2 0 1 4 C B 5 4 3 2 0 3   a n d   2 0 1 2 C B 5 1 8 5 0 1 ;   t h e   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   u n d e r   G r a n t   N o s .   8 1 2 7 1 6 4 4 ,   8 1 4 7 1 8 1 1 ,   8 1 4 7 1 7 3 8   a n d   6 1 4 0 1 3 4 6 ;   a n d   t h e   F u n d a m e n t a l   R e s e a r c h   F u n d s   f o r   t h e   C e n t r a l   U n i v e r s i t i e s .   T h e   f u n d e r s   h a d   n o   r o l e   i n   s t u d y   d e s i g n ,   d a t a   c o l l e c t i o n   a n d   a n a l y s i s ,   d e c i s i o n   t o   p u b l i s h ,   o r   p r e p a r a t i o n   o f   t h e   m a n u s c r i p t . 	 A c i r   N ,   2 0 0 4 ,   E X P E R T   S Y S T   A P P L ,   V 2 7 ,   P 4 5 1 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 0 4 . 0 5 . 0 0 7 ;   B o d i z s   R ,   2 0 0 5 ,   J   S L E E P   R E S ,   V 1 4 ,   P 2 8 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 8 6 9 . 2 0 0 5 . 0 0 4 7 2 . x ;   B o d i z s   R ,   2 0 0 9 ,   J   N E U R O S C I   M E T H ,   V 1 7 8 ,   P 2 0 5 ,   D O I   1 0 . 1 0 1 6 / j . j n e u m e t h . 2 0 0 8 . 1 1 . 0 0 6 ;   C A M P B E L L   K ,   1 9 8 0 ,   E L E C T R O E N   C L I N   N E U R O ,   V 4 8 ,   P 6 0 2 ,   D O I   1 0 . 1 0 1 6 / 0 0 1 3 - 4 6 9 4 ( 8 0 ) 9 0 2 9 6 - 5 ;   C a r s k a d o n   M . A . ,   2 0 0 0 ,   P R I N C I P L E S   P R A C T I C E ,   V 2 ,   P 1 6 ;   C h e n   C ,   2 0 1 4 ,   J   S U R G   R E S ,   V 1 8 7 ,   P 6 5 ,   D O I   1 0 . 1 0 1 6 / j . j s s . 2 0 1 3 . 0 9 . 0 2 4 ;   C h r i s t e n s e n   J A E ,   2 0 1 4 ,   C L I N   N E U R O P H Y S I O L ,   V 1 2 5 ,   P 5 1 2 ,   D O I   1 0 . 1 0 1 6 / j . c l i n p h . 2 0 1 3 . 0 8 . 0 1 3 ;   C r o w l e y   K ,   2 0 0 2 ,   C L I N   N E U R O P H Y S I O L ,   V 1 1 3 ,   P 1 6 1 5 ,   D O I   1 0 . 1 0 1 6 / S 1 3 8 8 - 2 4 5 7 ( 0 2 ) 0 0 2 3 7 - 7 ;   D e   G e n n a r o   L ,   2 0 0 5 ,   N E U R O I M A G E ,   V 2 6 ,   P 1 1 4 ,   D O I   1 0 . 1 0 1 6 / j . n e u r o i m a g e . 2 0 0 5 . 0 1 . 0 2 0 ;   D e   G e n n a r o   L ,   2 0 0 0 ,   S l e e p   R e s   O n l i n e ,   V 3 ,   P 1 5 5 ;   D e v u y s t   S ,   2 0 0 6 ,   C o n f   P r o c   I E E E   E n g   M e d   B i o l   S o c ,   V 1 ,   P 3 8 8 3 ;   D e v u y s t   S ,   2 0 1 1 ,   E N G   M E D   B I O L   S O C   E M B ;   D i e k e l m a n n   S ,   2 0 1 0 ,   N A T   R E V   N E U R O S C I ,   V 1 1 ,   P 1 1 4 ,   D O I   1 0 . 1 0 3 8 / n r n 2 7 6 2 ;   F e r r a r e l l i   F ,   2 0 0 7 ,   A M   J   P S Y C H I A T ,   V 1 6 4 ,   P 4 8 3 ,   D O I   1 0 . 1 1 7 6 / a p p i . a j p . 1 6 4 . 3 . 4 8 3 ;   F o g e l   S M ,   2 0 0 7 ,   B E H A V   N E U R O S C I ,   V 1 2 1 ,   P 1 ,   D O I   1 0 . 1 0 3 7 / 0 7 3 5 - 7 0 4 4 . 1 2 1 . 1 . 1 ;   F o g e l   S M ,   2 0 1 1 ,   N E U R O S C I   B I O B E H A V   R ,   V 3 5 ,   P 1 1 5 4 ,   D O I   1 0 . 1 0 1 6 / j . n e u b i o r e v . 2 0 1 0 . 1 2 . 0 0 3 ;   G A I L L A R D   J M ,   1 9 8 1 ,   S L E E P ,   V 4 ,   P 3 8 5 ;   G a i s   S ,   2 0 0 2 ,   J   N E U R O S C I ,   V 2 2 ,   P 6 8 3 0 ;   G o r u r r   D . ,   A U T O M A T E D   D E T E C T I O N ;   H a g e m a n n   D ,   2 0 0 8 ,   C L I N   N E U R O P H Y S I O L ,   V 1 1 9 ,   P 1 2 7 1 ,   D O I   1 0 . 1 0 1 6 / j . c l i n p h . 2 0 0 8 . 0 2 . 0 1 0 ;   H u u p p o n e n   E ,   2 0 0 7 ,   A R T I F   I N T E L L   M E D ,   V 4 0 ,   P 1 5 7 ,   D O I   1 0 . 1 0 1 6 / j . a r t m e d . 2 0 0 7 . 0 4 . 0 0 3 ;   L a t r e i l l e   V ,   2 0 1 5 ,   N E U R O B I O L   A G I N G ,   V 3 6 ,   P 1 0 8 3 ,   D O I   1 0 . 1 0 1 6 / j . n e u r o b i o l a g i n g . 2 0 1 4 . 0 9 . 0 0 9 ;   L i m o g e s   E ,   2 0 0 5 ,   B R A I N ,   V 1 2 8 ,   P 1 0 4 9 ,   D O I   1 0 . 1 0 9 3 / b r a i n / a w h 4 2 5 ;   M a r t i n   N ,   2 0 1 3 ,   N E U R O B I O L   A G I N G ,   V 3 4 ,   P 4 6 8 ,   D O I   1 0 . 1 0 1 6 / j . n e u r o b i o l a g i n g . 2 0 1 2 . 0 5 . 0 2 0 ;   M a t t i o n i   T A ,   2 0 1 2 ,   R A D I O L O G Y ,   V 2 6 2 ,   P 8 2 4 ;   M c C o r m i c k   L ,   1 9 9 7 ,   S L E E P ,   V 2 0 ,   P 9 3 9 ;   M e d i c i n e   A A o S   I b e r   C . ,   2 0 0 7 ,   A A S M   M A N U A L   S C O R I N G ;   M i t r y   D ,   2 0 1 5 ,   P L O S   O N E ,   V 1 0 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 1 1 7 4 0 1 ;   M o l l e   M ,   2 0 0 2 ,   J   N E U R O S C I ,   V 2 2 ,   P 1 0 9 4 1 ;   M o n t a g n a   P ,   2 0 0 5 ,   S L E E P   M E D   R E V ,   V 9 ,   P 3 3 9 ,   D O I   1 0 . 1 0 1 6 / j . s m r v . 2 0 0 5 . 0 2 . 0 0 1 ;   M o n t a g n a   P ,   2 0 0 3 ,   L A N C E T   N E U R O L ,   V 2 ,   P 1 6 7 ,   D O I   1 0 . 1 0 1 6 / S 1 4 7 4 - 4 4 2 2 ( 0 3 ) 0 0 3 2 3 - 5 ;   M o r i n   A ,   2 0 0 8 ,   S L E E P ,   V 3 1 ,   P 1 1 4 9 ;   N i c o l a s   A ,   2 0 0 1 ,   C L I N   N E U R O P H Y S I O L ,   V 1 1 2 ,   P 5 2 1 ,   D O I   1 0 . 1 0 1 6 / S 1 3 8 8 - 2 4 5 7 ( 0 0 ) 0 0 5 5 6 - 3 ;   N o w a k   S ,   2 0 1 0 ,   I N T   C   M U L T   I N F   R E T R ;   P l a n t e   D T ,   2 0 1 3 ,   J   A F F E C T   D I S O R D E R S ,   V 1 4 6 ,   P 1 2 0 ,   D O I   1 0 . 1 0 1 6 / j . j a d . 2 0 1 2 . 0 6 . 0 1 6 ;   R a u c h s   G ,   2 0 0 8 ,   N E U R O R E P O R T ,   V 1 9 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 9 7 / W N R . 0 b 0 1 3 e 3 2 8 3 0 8 6 7 c 4 ;   R a y   L B ,   2 0 1 5 ,   F R O N T   H U M   N E U R O S C I ,   V 9 ,   D O I   1 0 . 3 3 8 9 / f n h u m . 2 0 1 5 . 0 0 5 0 7 ;   R a y   L B ,   2 0 1 0 ,   J   S L E E P   R E S ,   V 1 9 ,   P 3 7 4 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 8 6 9 . 2 0 0 9 . 0 0 8 0 2 . x ;   R i c e   J K ,   2 0 1 3 ,   N E U R O I M A G E ,   V 6 4 ,   P 4 7 6 ,   D O I   1 0 . 1 0 1 6 / j . n e u r o i m a g e . 2 0 1 2 . 0 9 . 0 4 1 ;   S c h a b u s   M ,   2 0 0 7 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 4 ,   P 1 3 1 6 4 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 7 0 3 0 8 4 1 0 4 ;   S C H I M I C E K   P ,   1 9 9 4 ,   C L I N   E L E C T R O E N C E P H A L ,   V 2 5 ,   P 2 6 ;   S i t n i k o v a   E ,   2 0 0 9 ,   J   N E U R O S C I   M E T H ,   V 1 8 0 ,   P 3 0 4 ,   D O I   1 0 . 1 0 1 6 / j . j n e u m e t h . 2 0 0 9 . 0 4 . 0 0 6 ;   U j m a   P P ,   2 0 1 4 ,   J   N E U R O S C I ,   V 3 4 ,   P 1 6 3 5 8 ,   D O I   1 0 . 1 5 2 3 / J N E U R O S C I . 1 8 5 7 - 1 4 . 2 0 1 4 ;   V e n t o u r a s   E M ,   2 0 0 5 ,   C O M P U T   M E T H   P R O G   B I O ,   V 7 8 ,   P 1 9 1 ,   D O I   1 0 . 1 0 1 6 / j . c m p b . 2 0 0 5 . 0 2 . 0 0 6 ;   W a l k e r   M P ,   2 0 0 9 ,   A N N   N Y   A C A D   S C I ,   V 1 1 5 6 ,   P 1 6 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 9 - 6 6 3 2 . 2 0 0 9 . 0 4 4 1 6 . x ;   W a m s l e y   E J ,   2 0 1 2 ,   B I O L   P S Y C H I A T ,   V 7 1 ,   P 1 5 4 ,   D O I   1 0 . 1 0 1 6 / j . b i o p s y c h . 2 0 1 1 . 0 8 . 0 0 8 ;   W a r b y   S C ,   2 0 1 4 ,   N A T   M E T H O D S ,   V 1 1 ,   P 3 8 5 ,   D O I   [ 1 0 . 1 0 3 8 / n m e t h . 2 8 5 5 ,   1 0 . 1 0 3 8 / N M E T H . 2 8 5 5 ] ;   W e n d t   S L ,   2 0 1 4 ,   C L I N   N E U R O P H Y S I O L O G Y ;   W e r t h   E ,   1 9 9 7 ,   C L I N   N E U R O P H Y S I O L ,   V 1 0 3 ,   P 5 3 5 ,   D O I   D O I   1 0 . 1 0 1 6 / S 0 0 1 3 - 4 6 9 4 ( 9 7 ) 0 0 0 7 0 - 9 ;   Z e i t l h o f e r   J ,   1 9 9 7 ,   J   S L E E P   R E S ,   V 6 ,   P 1 4 9 ,   D O I   1 0 . 1 0 4 6 / j . 1 3 6 5 - 2 8 6 9 . 1 9 9 7 . 0 0 0 4 6 . x ;   Z y g i e r e w i c z   J ,   1 9 9 9 ,   C L I N   N E U R O P H Y S I O L ,   V 1 1 0 ,   P 2 1 3 6 ,   D O I   1 0 . 1 0 1 6 / S 1 3 8 8 - 2 4 5 7 ( 9 9 ) 0 0 1 7 5 - 3 	 5 1 	 0 	 0 	 1 	 1 	 P U B L I C   L I B R A R Y   S C I E N C E 	 S A N   F R A N C I S C O 	 1 1 6 0   B A T T E R Y   S T R E E T ,   S T E   1 0 0 ,   S A N   F R A N C I S C O ,   C A   9 4 1 1 1   U S A 	 1 9 3 2 - 6 2 0 3 	 	 	 P L O S   O N E 	 P L o S   O n e 	 M A Y   1 1 	 2 0 1 7 	 1 2 	 5 	 	 	 	 	 	 	 e 0 1 7 7 4 3 7 	 1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 1 7 7 4 3 7 	 	 2 7 	 M u l t i d i s c i p l i n a r y   S c i e n c e s 	 S c i e n c e   &   T e c h n o l o g y   -   O t h e r   T o p i c s 	 E U 8 U P 	 W O S : 0 0 0 4 0 1 3 1 4 3 0 0 1 0 8 	 	 g o l d 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 L a a k s o n e n ,   M ;   S a j a n t i ,   E ;   S o r m u n e n ,   J J ;   P e n t t i n e n ,   R ;   H a n n i n e n ,   J ;   R u o h o m a k i ,   K ;   S a a k s j a r v i ,   I ;   V e s t e r i n e n ,   E J ;   V u o r i n e n ,   I ;   H y t o n e n ,   J ;   K l e m o l a ,   T 	 	 	 	 L a a k s o n e n ,   M a i j a ;   S a j a n t i ,   E e v a ;   S o r m u n e n ,   J a n i   J . ;   P e n t t i n e n ,   R i t v a ;   H a n n i n e n ,   J a r i ;   R u o h o m a k i ,   K a i ;   S a a k s j a r v i ,   I l a r i ;   V e s t e r i n e n ,   E e r o   J . ;   V u o r i n e n ,   I l p p o ;   H y t o n e n ,   J u k k a ;   K l e m o l a ,   T e r o 	 	 	 C r o w d s o u r c i n g - b a s e d   n a t i o n w i d e   t i c k   c o l l e c t i o n   r e v e a l s   t h e   d i s t r i b u t i o n   o f   I x o d e s   r i c i n u s   a n d   I .   p e r s u l c a t u s   a n d   a s s o c i a t e d   p a t h o g e n s   i n   F i n l a n d 	 E M E R G I N G   M I C R O B E S   &   I N F E C T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 B o r r e l i a   b u r g d o r f e r i ;   B o r r e l i a   m i y a m o t o i ;   c r o w d s o u r c i n g ;   d i s t r i b u t i o n ;   I x o d e s   p e r s u l c a t u s ;   I x o d e s   r i c i n u s ;   t i c k - b o r n e   e n c e p h a l i t i s   v i r u s ;   t i c k - b o r n e   p a t h o g e n s 	 B O R N E   E N C E P H A L I T I S - V I R U S ;   B U R G D O R F E R I   S E N S U - L A T O ;   G E O G R A P H I C A L - D I S T R I B U T I O N ;   L Y M E   B O R R E L I O S I S ;   C L I M A T E - C H A N G E ;   P R E V A L E N C E ;   R U S S I A ;   E U R O P E ;   S W E D E N ;   P O P U L A T I O N 	 A   n a t i o n a l   c r o w d s o u r c i n g - b a s e d   t i c k   c o l l e c t i o n   c a m p a i g n   w a s   o r g a n i z e d   i n   2 0 1 5   w i t h   t h e   o b j e c t i v e   o f   p r o d u c i n g   n o v e l   d a t a   o n   t i c k   d i s t r i b u t i o n   a n d   t i c k - b o r n e   p a t h o g e n s   i n   F i n l a n d .   N e a r l y   2 0   0 0 0   I x o d e s   t i c k s   w e r e   c o l l e c t e d .   T h e   c o l l e c t e d   m a t e r i a l   r e v e a l e d   t h e   n a t i o n w i d e   d i s t r i b u t i o n   o f   I .   p e r s u l c a t u s   f o r   t h e   f i r s t   t i m e   a n d   a   s h i f t   n o r t h w a r d s   i n   t h e   d i s t r i b u t i o n   o f   I .   r i c i n u s   i n   F i n l a n d .   A   s u b s e t   o f   2 0 3 8   t i c k   s a m p l e s   c o n t a i n i n g   b o t h   s p e c i e s   w a s   s c r e e n e d   f o r   B o r r e l i a   b u r g d o r f e r i   s e n s u   l a t o   ( t h e   p r e v a l e n c e   w a s   1 4 . 2 %   f o r   I .   r i c i n u s   a n d   1 9 . 8 %   f o r   I .   p e r s u l c a t u s ) ,   B .   m i y a m o t o i   ( 0 . 2 %   a n d   0 . 4 % ,   r e s p e c t i v e l y )   a n d   t i c k - b o r n e   e n c e p h a l i t i s   v i r u s   ( T B E V ;   0 . 2 %   a n d   3 . 0 % ,   r e s p e c t i v e l y ) .   W e   a l s o   r e p o r t   n e w   r i s k   a r e a s   f o r   T B E V   i n   F i n l a n d   a n d ,   f o r   t h e   f i r s t   t i m e ,   t h e   p r e s e n c e   o f   B .   m i y a m o t o i   i n   t i c k s   f r o m   m a i n l a n d   F i n l a n d .   M o s t   i m p o r t a n t l y ,   o u r   s t u d y   d e m o n s t r a t e s   t h e   o v e r w h e l m i n g   p o w e r   o f   c i t i z e n   s c i e n c e   i n   a c c o m p l i s h i n g   a   c o l l e c t i o n   e f f o r t   t h a t   w o u l d   h a v e   b e e n   i m p o s s i b l e   w i t h   t h e   s c i e n t i f i c   c o m m u n i t y   a l o n e . 	 [ L a a k s o n e n ,   M a i j a ;   S o r m u n e n ,   J a n i   J . ;   R u o h o m a k i ,   K a i ;   K l e m o l a ,   T e r o ]   U n i v   T u r k u ,   D e p t   B i o l ,   F I - 2 0 0 1 4   T u r k u ,   F i n l a n d ;   [ S a j a n t i ,   E e v a ;   H y t o n e n ,   J u k k a ]   U n i v   T u r k u ,   D e p t   M e d   M i c r o b i o l   &   I m m u n o l ,   F I - 2 0 5 2 0   T u r k u ,   F i n l a n d ;   [ S o r m u n e n ,   J a n i   J . ;   H a n n i n e n ,   J a r i ;   V u o r i n e n ,   I l p p o ]   U n i v   T u r k u ,   A r c h i p e l a g o   R e s   I n s t ,   B i o d i v e r s   U n i t ,   F I - 2 0 0 1 4   T u r k u ,   F i n l a n d ;   [ P e n t t i n e n ,   R i t v a ;   S a a k s j a r v i ,   I l a r i ]   U n i v   T u r k u ,   B i o d i v e r s   U n i t ,   Z o o l   M u s e u m ,   F I - 2 0 0 1 4   T u r k u ,   F i n l a n d ;   [ V e s t e r i n e n ,   E e r o   J . ]   U n i v   H e l s i n k i ,   D e p t   A g r   S c i ,   F I - 0 0 0 1 4   H e l s i n k i ,   F i n l a n d 	 L a a k s o n e n ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   T u r k u ,   D e p t   B i o l ,   F I - 2 0 0 1 4   T u r k u ,   F i n l a n d . 	 m a i j a . k . l a a k s o n e n @ u t u . f i 	 K l e m o l a ,   T e r o / B - 9 2 3 5 - 2 0 1 4 	 K l e m o l a ,   T e r o / 0 0 0 0 - 0 0 0 2 - 8 5 1 0 - 3 2 9 X 	 U n i v e r s i t y   o f   T u r k u ;   M a j   a n d   T o r   N e s s l i n g   F o u n d a t i o n ;   J a n e   a n d   A a t o s   E r k k o   F o u n d a t i o n ;   V a r s i n a i s - S u o m i   R e g i o n a l   F u n d   o f   t h e   F i n n i s h   C u l t u r a l   F o u n d a t i o n ;   A c a d e m y   o f   F i n l a n d ;   P f i z e r   I n c .   ( F i n l a n d ) 	 W e   t h a n k   J o r m a   N u r m i   ( D e p a r t m e n t   o f   B i o l o g y ,   U n i v e r s i t y   o f   T u r k u )   f o r   p r o v i d i n g   c o o r d i n a t e s   f o r   t i c k   d i s t r i b u t i o n   m a p s ,   H e i d i   I s o k a a n t a   ( D e p a r t m e n t   o f   M e d i c a l   M i c r o b i o l o g y   a n d   I m m u n o l o g y ,   U n i v e r s i t y   o f   T u r k u )   f o r   t e c h n i c a l   a s s i s t a n c e   w i t h   D N A / R N A   e x t r a c t i o n s ,   O t t o   G l a d e r   ( D e p a r t m e n t   o f   M e d i c a l   M i c r o b i o l o g y   a n d   I m m u n o l o g y ,   U n i v e r s i t y   o f   T u r k u )   f o r   h e l p i n g   w i t h   t h e   p a t h o g e n   P C R   r u n s ,   J u l i a   G e l l e r   ( D e p a r t m e n t   o f   V i r o l o g y ,   N a t i o n a l   I n s t i t u t e   o f   H e a l t h   D e v e l o p m e n t ,   T a l l i n n ,   E s t o n i a )   f o r   p r o v i d i n g   u s   w i t h   a   p o s i t i v e   B .   m i y a m o t o i   c o n t r o l ,   a n d   E l i n a   T o n t e r i   ( D e p a r t m e n t   o f   V i r o l o g y ,   U n i v e r s i t y   o f   H e l s i n k i ,   H e l s i n k i ,   F i n l a n d )   a n d   A n u   J a a s k e l a i n e n   ( D e p a r t m e n t   o f   V i r o l o g y ,   U n i v e r s i t y   o f   H e l s i n k i ,   H e l s i n k i ,   F i n l a n d )   f o r   p r o v i d i n g   T B E V   s t r a i n s   f o r   p o s i t i v e   c o n t r o l s .   T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   U n i v e r s i t y   o f   T u r k u ,   S a k a r i   A l h o p u r o ,   P f i z e r   I n c .   ( F i n l a n d ) ,   M a j   a n d   T o r   N e s s l i n g   F o u n d a t i o n ,   J a n e   a n d   A a t o s   E r k k o   F o u n d a t i o n ,   T h e   V a r s i n a i s - S u o m i   R e g i o n a l   F u n d   o f   t h e   F i n n i s h   C u l t u r a l   F o u n d a t i o n ,   a n d   t h e   A c a d e m y   o f   F i n l a n d . 	 A l e k s e e v   A N ,   1 9 9 8 ,   J   M E D   E N T O M O L ,   V 3 5 ,   P 1 3 6 ;   B a l a s h o v   Y u   S . ,   1 9 9 8 ,   E n t o m o l o g i c h e s k o e   O b o z r e n i e ,   V 7 7 ,   P 7 1 3 ;   B o r g o y a k o v   V .   Y u . ,   2 0 1 0 ,   P a r a z i t o l o g i y a   ( S t .   P e t e r s b u r g ) ,   V 4 4 ,   P 5 4 3 ;   B o r m a n e   A ,   2 0 0 4 ,   I N T   J   M E D   M I C R O B I O L ,   V 2 9 3 ,   P 3 6 ,   D O I   1 0 . 1 0 1 6 / S 1 4 3 3 - 1 1 2 8 ( 0 4 ) 8 0 0 0 7 - X ;   B u g m y r i n   S V ,   2 0 1 3 ,   T I C K S   T I C K - B O R N E   D I S ,   V 4 ,   P 5 7 ,   D O I   1 0 . 1 0 1 6 / j . t t b d i s . 2 0 1 2 . 0 7 . 0 0 4 ;   B u r b a i t e   L i n a ,   2 0 0 9 ,   E s t o n i a n   J o u r n a l   o f   E c o l o g y ,   V 5 8 ,   P 1 6 9 ,   D O I   1 0 . 3 1 7 6 / e c o . 2 0 0 9 . 3 . 0 2 ;   D o b s o n   A D M ,   2 0 1 1 ,   J   A P P L   E C O L ,   V 4 8 ,   P 1 0 2 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 6 6 4 . 2 0 1 1 . 0 2 0 0 4 . x ;   G e l l e r   J ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 5 1 9 1 4 ;   G r a y   J .   S . ,   2 0 0 9 ,   I n t e r d i s c i p l i n a r y   P e r s p e c t i v e s   o n   I n f e c t i o u s   D i s e a s e s ,   V 2 0 0 9 ,   P 5 9 3 2 3 2 ,   D O I   1 0 . 1 1 5 5 / 2 0 0 9 / 5 9 3 2 3 2 ;   G r i p e n b e r g   U ,   1 9 8 7 ,   M E T H O D S   C H R O M O S O M E   S ;   G u s t a f s o n   R ,   1 9 9 5 ,   S C A N D   J   I N F E C T   D I S ,   V 2 7 ,   P 5 9 7 ,   D O I   1 0 . 3 1 0 9 / 0 0 3 6 5 5 4 9 5 0 9 0 4 7 0 7 4 ;   H E L L E   E ,   1 9 9 1 ,   H O L A R C T I C   E C O L ,   V 1 4 ,   P 2 7 8 ;   H o v i u s   J W R ,   2 0 1 3 ,   L A N C E T ,   V 3 8 2 ,   P 6 5 8 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 0 - 6 7 3 6 ( 1 3 ) 6 1 6 4 4 - X ;   I v a c i c   L ,   2 0 0 7 ,   D I A G N   M I C R   I N F E C   D I S ,   V 5 7 ,   P 1 3 7 ,   D O I   1 0 . 1 0 1 6 / j . d i a g m i c r o b i o . 2 0 0 6 . 0 8 . 0 0 5 ;   J a a s k e l a i n e n   A E ,   2 0 0 6 ,   E M E R G   I N F E C T   D I S ,   V 1 2 ,   P 1 5 6 8 ;   J a a s k e l a i n e n   A E ,   2 0 1 0 ,   J   G E N   V I R O L ,   V 9 1 ,   P 2 7 0 6 ,   D O I   1 0 . 1 0 9 9 / v i r . 0 . 0 2 3 6 6 3 - 0 ;   J a e n s o n   T G T ,   2 0 1 2 ,   P A R A S I T E   V E C T O R ,   V 5 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 6 - 3 3 0 5 - 5 - 8 ;   J a e n s o n   T G T ,   2 0 1 1 ,   T I C K S   T I C K - B O R N E   D I S ,   V 2 ,   P 4 4 ,   D O I   1 0 . 1 0 1 6 / j . t t b d i s . 2 0 1 0 . 1 0 . 0 0 6 ;   J u n t t i l a   T ,   1 9 9 9 ,   J   C L I N   M I C R O B I O L ,   V 3 7 ,   P 1 3 6 1 ;   K a t a r g i n a   O ,   2 0 1 3 ,   P L O S   O N E ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 6 1 3 7 4 ;   K e k k o n e n   J ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 4 3 4 8 2 ;   K O R E N B E R G   E I ,   1 9 9 3 ,   E U R   J   E P I D E M I O L ,   V 9 ,   P 8 6 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 4 6 3 0 9 5 ;   K O V A L E V S K I I   Y V ,   1 9 9 5 ,   E X P   A P P L   A C A R O L ,   V 1 9 ,   P 1 9 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 0 5 1 9 3 4 ;   L a v s u n d   S t e n ,   2 0 0 3 ,   A l c e s ,   V 3 9 ,   P 1 0 9 ;   L i n d g r e n   E ,   2 0 0 0 ,   E N V I R O N   H E A L T H   P E R S P ,   V 1 0 8 ,   P 1 1 9 ,   D O I   1 0 . 2 3 0 7 / 3 4 5 4 5 0 9 ;   L i n d g r e n   E ,   2 0 0 6 ,   C L I M A T E   C H A N G E   A D A P T ;   M e d l o c k   J M ,   2 0 1 3 ,   P A R A S I T E   V E C T O R ,   V 6 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 6 - 3 3 0 5 - 6 - 1 ;   M i k k o n e n   S ,   2 0 1 5 ,   S T O C H   E N V   R E S   R I S K   A ,   V 2 9 ,   P 1 5 2 1 ,   D O I   1 0 . 1 0 0 7 / s 0 0 4 7 7 - 0 1 4 - 0 9 9 2 - 2 ;   N a t i o n a l   I n s t i t u t e   f o r   H e a l t h   a n d   W e l f a r e ,   2 0 1 6 ,   B O R R   E S   2 0 1 5 ;   O h m a n   C ,   1 9 6 1 ,   A C T A   S O C   F A U N A   F L O R A ,   V 7 4 ,   P 1 ;   R a n a r d   B L ,   2 0 1 4 ,   J   G E N   I N T E R N   M E D ,   V 2 9 ,   P 1 8 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 6 0 6 - 0 1 3 - 2 5 3 6 - 8 ;   R a n d o l p h   S E ,   2 0 0 0 ,   P   R O Y   S O C   B - B I O L   S C I ,   V 2 6 7 ,   P 1 7 4 1 ,   D O I   1 0 . 1 0 9 8 / r s p b . 2 0 0 0 . 1 2 0 4 ;   R a u t e r   C ,   2 0 0 5 ,   A P P L   E N V I R O N   M I C R O B ,   V 7 1 ,   P 7 2 0 3 ,   D O I   1 0 . 1 1 2 8 / A E M . 7 1 . 1 1 . 7 2 0 3 - 7 2 1 6 . 2 0 0 5 ;   R i z z o l i   A ,   2 0 0 9 ,   P L O S   O N E ,   V 4 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 0 4 3 3 6 ;   S c h w a i g e r   M ,   2 0 0 3 ,   J   C L I N   V I R O L ,   V 2 7 ,   P 1 3 6 ,   D O I   1 0 . 1 0 1 6 / S 1 3 8 6 - 6 5 3 2 ( 0 2 ) 0 0 1 6 8 - 3 ;   S o n e n s h i n e   D ,   2 0 1 4 ,   B I O L   T I C K S ;   S o r m u n e n   J J ,   2 0 1 6 ,   P A R A S I T E   V E C T O R ,   V 9 ,   D O I   1 0 . 1 1 8 6 / s 1 3 0 7 1 - 0 1 6 - 1 4 4 9 - x ;   S o r m u n e n   J J ,   2 0 1 6 ,   T I C K S   T I C K - B O R N E   D I S ,   V 7 ,   P 2 0 8 ,   D O I   1 0 . 1 0 1 6 / j . t t b d i s . 2 0 1 5 . 1 0 . 0 1 1 ;   S t r o u p   W W ,   2 0 1 2 ,   G E N   L I N E A R   M I X E D   M O D ;   S u s s   J ,   2 0 0 2 ,   I N T   J   M E D   M I C R O B I O L ,   V 2 9 1 ,   P 3 4 ;   S u s s   J ,   2 0 0 3 ,   E P I D E M I O L O G Y   E C O L O G Y ,   V 2 1 ,   P 1 9 ;   T a l l e k l i n t   L ,   1 9 9 8 ,   J   M E D   E N T O M O L ,   V 3 5 ,   P 5 2 1 ;   T o k a r e v i c h   N K ,   2 0 1 1 ,   G L O B A L   H E A L T H   A C T I O N ,   V 4 ,   D O I   1 0 . 3 4 0 2 / g h a . v 4 i 0 . 8 4 4 8 ;   T o n t e r i   E ,   2 0 1 3 ,   P L O S   O N E ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 8 1 2 1 4 ;   T o n t e r i   E ,   2 0 1 1 ,   E M E R G   I N F E C T   D I S ,   V 1 7 ,   P 7 2 ,   D O I   1 0 . 3 2 0 1 / e i d 1 7 0 1 . 1 0 0 0 5 1 ;   W i l h e l m s s o n   P ,   2 0 1 0 ,   J   C L I N   M I C R O B I O L ,   V 4 8 ,   P 4 1 6 9 ,   D O I   1 0 . 1 1 2 8 / J C M . 0 1 0 6 1 - 1 0 	 4 6 	 0 	 0 	 3 	 3 	 N A T U R E   P U B L I S H I N G   G R O U P 	 L O N D O N 	 M A C M I L L A N   B U I L D I N G ,   4   C R I N A N   S T ,   L O N D O N   N 1   9 X W ,   E N G L A N D 	 2 2 2 2 - 1 7 5 1 	 	 	 E M E R G   M I C R O B E S   I N F E C 	 E m e r g .   M i c r o b e s   I n f e c t . 	 M A Y   1 0 	 2 0 1 7 	 6 	 	 	 	 	 	 	 	 e 3 1 	 1 0 . 1 0 3 8 / e m i . 2 0 1 7 . 1 7 	 	 7 	 I m m u n o l o g y ;   M i c r o b i o l o g y 	 I m m u n o l o g y ;   M i c r o b i o l o g y 	 E W 1 Z Y 	 W O S : 0 0 0 4 0 2 2 9 7 0 0 0 0 0 3 	 2 8 4 8 7 5 6 1 	 g o l d 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 G o n c a l v e s ,   J ;   H o s i o ,   S ;   K o s t a k o s ,   V 	 	 	 	 G o n c a l v e s ,   J o r g e ;   H o s i o ,   S i m o ;   K o s t a k o s ,   V a s s i l i s 	 	 	 E l i c i t i n g   S t r u c t u r e d   K n o w l e d g e   f r o m   S i t u a t e d   C r o w d   M a r k e t s 	 A C M   T R A N S A C T I O N S   O N   I N T E R N E T   T E C H N O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   s t r u c t u r e d   k n o w l e d g e ;   s i t u a t e d ;   q u e s t i o n s ;   o p t i o n s ;   c r i t e r i a ;   p e r f o r m a n c e ;   a c c u r a c y ;   q u a l i t y ;   l o c a l   c r o w d s 	 S I M I L A R I T Y ;   F E A T U R E S 	 W e   p r e s e n t   a   c r o w d s o u r c i n g   m e t h o d o l o g y   t o   e l i c i t   h i g h l y   s t r u c t u r e d   k n o w l e d g e   f o r   a r b i t r a r y   q u e s t i o n s .   T h e   m e t h o d   e l i c i t s   p o t e n t i a l   a n s w e r s   ( " o p t i o n s " ) ,   c r i t e r i a   a g a i n s t   w h i c h   t h o s e   o p t i o n s   s h o u l d   b e   e v a l u a t e d ,   a n d   a   r a n k i n g   o f   t h e   t o p   " o p t i o n s . "   O u r   s t u d y   s h o w s   t h a t   s i t u a t e d   c r o w d s o u r c i n g   m a r k e t s   c a n   r e l i a b l y   e l i c i t / m o d e r a t e   k n o w l e d g e   t o   g e n e r a t e   a   r a n k i n g   o f   o p t i o n s   b a s e d   o n   d i f f e r e n t   c r i t e r i a   t h a t   c o r r e l a t e   w i t h   e s t a b l i s h e d   o n l i n e   p l a t f o r m s .   O u r   e v a l u a t i o n   a l s o   s h o w s   t h a t   l o c a l   c r o w d s   c a n   g e n e r a t e   k n o w l e d g e   t h a t   i s   m i s s i n g   f r o m   o n l i n e   p l a t f o r m s   a n d   o n   h o w   a   l o c a l   c r o w d   p e r c e i v e s   a   c e r t a i n   i s s u e .   F i n a l l y ,   w e   d i s c u s s   t h e   b e n e f i t s   a n d   c h a l l e n g e s   o f   e l i c i t i n g   s t r u c t u r e d   k n o w l e d g e   f r o m   l o c a l   c r o w d s . 	 [ G o n c a l v e s ,   J o r g e ;   H o s i o ,   S i m o ;   K o s t a k o s ,   V a s s i l i s ]   U n i v   O u l u ,   C t r   U b i q u i t o u s   C o m p ,   O u l u ,   F i n l a n d ;   [ G o n c a l v e s ,   J o r g e ;   K o s t a k o s ,   V a s s i l i s ]   U n i v   M e l b o u r n e ,   D e p t   C o m p   &   I n f o r m a t   S y s t ,   M e l b o u r n e ,   V i c ,   A u s t r a l i a ;   [ G o n c a l v e s ,   J o r g e ;   H o s i o ,   S i m o ;   K o s t a k o s ,   V a s s i l i s ]   E r k k i   K o i s o   K a n t t i l a n   K a t u   3 , D o o r   E , P O B   4 5 0 0 ,   F I - 9 0 0 1 4   O u l u ,   F i n l a n d 	 G o n c a l v e s ,   J   ( r e p r i n t   a u t h o r ) ,   U n i v   O u l u ,   C t r   U b i q u i t o u s   C o m p ,   O u l u ,   F i n l a n d . ;   G o n c a l v e s ,   J   ( r e p r i n t   a u t h o r ) ,   U n i v   M e l b o u r n e ,   D e p t   C o m p   &   I n f o r m a t   S y s t ,   M e l b o u r n e ,   V i c ,   A u s t r a l i a . ;   G o n c a l v e s ,   J   ( r e p r i n t   a u t h o r ) ,   E r k k i   K o i s o   K a n t t i l a n   K a t u   3 , D o o r   E , P O B   4 5 0 0 ,   F I - 9 0 0 1 4   O u l u ,   F i n l a n d . 	 j o r g e . g o n c a l v e s @ o u l u . f i ;   s i m o . h o s i o @ o u l u . f i ;   v a s s i l i s . k o s t a k o s @ o u l u . f i 	 	 	 A c a d e m y   o f   F i n l a n d   [ 2 7 6 7 8 6 - A W A R E ,   2 8 5 0 6 2 - i C Y C L E ,   2 8 6 3 8 6 - C P D S S ,   2 8 5 4 5 9 - i S C I E N C E ] ;   E u r o p e a n   C o m m i s s i o n   [ P C I G 1 1 - G A - 2 0 1 2 - 3 2 2 1 3 8 ,   6 4 5 7 0 6 - G R A G E ,   6 A I K A - A 7 1 1 4 3 - A K A I ] 	 T h i s   w o r k   i s   p a r t i a l l y   f u n d e d   b y   t h e   A c a d e m y   o f   F i n l a n d   ( G r a n t s   2 7 6 7 8 6 - A W A R E ,   2 8 5 0 6 2 - i C Y C L E ,   2 8 6 3 8 6 - C P D S S ,   a n d   2 8 5 4 5 9 - i S C I E N C E )   a n d   t h e   E u r o p e a n   C o m m i s s i o n   ( G r a n t s   P C I G 1 1 - G A - 2 0 1 2 - 3 2 2 1 3 8 ,   6 4 5 7 0 6 - G R A G E ,   a n d   6 A I K A - A 7 1 1 4 3 - A K A I ) . 	 A m e r i c a n   M o v i e   A w a r d s ,   2 0 1 7 ,   J U D G   C R I T ;   B a n g o r   A ,   2 0 0 8 ,   I N T   J   H U M - C O M P U T   I N T ,   V 2 4 ,   P 5 7 4 ,   D O I   1 0 . 1 0 8 0 / 1 0 4 4 7 3 1 0 8 0 2 2 0 5 7 7 6 ;   B e r n s t e i n   M i c h a e l   S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B i n   G u o   Z h u W a n g ,   2 0 1 6 ,   A C M   C O M P U T   S U R V ,   V 4 8 ,   P 1 ;   B r i g n u l l   H a r r y ,   2 0 0 3 ,   P   I N T E R A C T   2 0 0 3 ,   P 1 7 ;   C a l l i s o n - B u r c h   C . ,   2 0 0 9 ,   P   2 0 0 9   C   E M P   M E T H   N A ,   V 1 ,   P 2 8 6 ,   D O I   1 0 . 3 1 1 5 / 1 6 9 9 5 1 0 . 1 6 9 9 5 4 8 ;   C h e n   L i ,   2 0 1 1 ,   U S E R   M O D E L   U S E R - A D A P ,   V 2 2 ,   P 1 ;   C h e n   L ,   2 0 1 2 ,   U S E R   M O D E L   U S E R - A D A P ,   V 2 2 ,   P 1 2 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 5 7 - 0 1 1 - 9 1 0 8 - 6 ;   C h e n g   J ,   2 0 1 5 ,   P R O C E E D I N G S   O F   T H E   2 0 1 5   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C O M P U T E R - S U P P O R T E D   C O O P E R A T I V E   W O R K   A N D   S O C I A L   C O M P U T I N G   ( C S C W ' 1 5 ) ,   P 6 0 0 ,   D O I   1 0 . 1 1 4 5 / 2 6 7 5 1 3 3 . 2 6 7 5 2 1 4 ;   D o w n s   J S ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 3 9 9 ;   G o n c a l v e s   J o r g e ,   2 0 1 6 ,   P   1 9   A C M   C   C O M P   S U P P ,   P 1 0 4 0 ;   G o n c a l v e s   J o r g e ,   2 0 1 3 ,   P   2 0 1 3   A C M   I N T   J O I N T ,   P 7 5 3 ;   G o n c a l v e s   J o r g e ,   2 0 1 4 ,   P   2 0 1 4   C   D E S   I N T   S Y S ,   P 7 0 5 ;   G o n c a l v e s   J o r g e ,   2 0 1 4 ,   P   2 0 1 4   A C M   I N T   J O I N T ,   P 4 8 7 ;   G o n c a l v e s   J ,   2 0 1 5 ,   C O M P U T   N E T W ,   V 9 0 ,   P 3 4 ,   D O I   1 0 . 1 0 1 6 / j . c o m n e t . 2 0 1 5 . 0 7 . 0 0 2 ;   H e i m e r l   K u r t i s ,   2 0 1 2 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 5 3 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 2 0 7 6 7 6 . 2 2 0 8 6 1 9 ;   H o r t o n   J J ,   2 0 1 1 ,   E X P   E C O N ,   V 1 4 ,   P 3 9 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 8 3 - 0 1 1 - 9 2 7 3 - 9 ;   H o s i o   S i m o ,   2 0 1 5 ,   P O L I C Y   I N T E R N E T ,   V 7 ,   P 2 0 3 ,   D O I   D O I   1 0 . 1 0 0 2 / P 0 I 3 . 9 0 ;   H o s i o   S i m o ,   2 0 1 6 ,   P   2 0 1 6   B R I T   H C I   C   B R ;   H o s i o   S i m o ,   2 0 1 4 ,   P   2 7   A N N   A C M   S   U S   I N ,   P 5 5 ;   H o s i o   S ,   2 0 1 4 ,   P U B   A D M I N   I N F   T E C H ,   V 9 ,   P 9 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 0 5 9 6 3 - 1 _ 7 ;   H u a n g   Y i - C h i n g ,   2 0 1 5 ,   P   1 8   A C M   C   C O M P   C O M P ,   P 7 3 ;   I p e i r o t i s   P a n a g i o t i s ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   K i t t u r   A n i k e t ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 4 3 ;   K u k k a   H a n n u ,   2 0 1 3 ,   P   C H I   1 3 ,   P 1 6 9 9 ;   L a k h a n i   K R ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 9 2 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 9 5 - 1 ;   L a m p e   C ,   2 0 1 4 ,   G O V   I N F O R M   Q ,   V 3 1 ,   P 3 1 7 ,   D O I   1 0 . 1 0 1 6 / j . g i q . 2 0 1 3 . 1 1 . 0 0 5 ;   L e e   M .   D . ,   2 0 0 5 ,   C O G S C I 2 0 0 5 ,   P 1 2 5 4 ;   T r o p e   J . ,   2 0 0 7 ,   S O C I A L   P S Y C H O L   H D B   B ,   V 2 ,   P 3 5 3 ;   M u l l e r   J o r g ,   2 0 1 0 ,   P   I N T   C   M U L T   M M   1 0 ,   P 1 2 8 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 7 3 9 5 1 . 1 8 7 4 2 0 3 ;   N a v a r r o   D J ,   2 0 0 4 ,   P S Y C H O N   B   R E V ,   V 1 1 ,   P 9 6 1 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 6 7 2 8 ;   N a v a r r o   G ,   2 0 0 1 ,   A C M   C O M P U T   S U R V ,   V 3 3 ,   P 3 1 ,   D O I   1 0 . 1 1 4 5 / 3 7 5 3 6 0 . 3 7 5 3 6 5 ;   N o r o n h a   J o n ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 2 0 4 7 1 9 6 . 2 0 4 7 1 9 8 ;   R o g e r s   Y v o n n e ,   2 0 1 1 ,   I N T E R A C T I O N   D E S I G N   H ;   S h i r k y   C l a y ,   2 0 1 0 ,   P E N G U I N ;   S W E L L E R   J ,   1 9 8 8 ,   C O G N I T I V E   S C I ,   V 1 2 ,   P 2 5 7 ,   D O I   1 0 . 1 2 0 7 / s 1 5 5 1 6 7 0 9 c o g 1 2 0 2 _ 4 ;   T V E R S K Y   A ,   1 9 7 7 ,   P S Y C H O L   R E V ,   V 8 4 ,   P 3 2 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 5 X . 8 4 . 4 . 3 2 7 ;   v o n   A h n   L . ,   2 0 0 4 ,   C H I ,   P 3 1 9 ;   W u   S h a o m e i ,   2 0 1 1 ,   P   2 7   I E E E   I N T   C   D A T ,   P 1 5 1 	 3 9 	 0 	 0 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 1 5 3 3 - 5 3 9 9 	 1 5 5 7 - 6 0 5 1 	 	 A C M   T   I N T E R N E T   T E C H N 	 A C M   T r a n s .   I n t e r n e t .   T e c h n o l . 	 M A Y 	 2 0 1 7 	 1 7 	 2 	 	 	 S I 	 	 	 	 1 4 	 1 0 . 1 1 4 5 / 3 0 0 7 9 0 0 	 	 2 1 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 E X 6 H J 	 W O S : 0 0 0 4 0 3 3 4 3 1 0 0 0 0 4 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 H e ,   Y A ;   L i a n g ,   J Q ;   L i u ,   Y H 	 	 	 	 H e ,   Y u a n ;   L i a n g ,   J i a q i ;   L i u ,   Y u n h a o 	 	 	 P e r v a s i v e   F l o o r p l a n   G e n e r a t i o n   B a s e d   o n   O n l y   I n e r t i a l   S e n s i n g :   F e a s i b i l i t y ,   D e s i g n ,   a n d   I m p l e m e n t a t i o n 	 I E E E   J O U R N A L   O N   S E L E C T E D   A R E A S   I N   C O M M U N I C A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M o b i l e   c r o w d s o u r c i n g ;   f l o o r p l a n   g e n e r a t i o n ;   i n e r t i a l   s e n s i n g 	 	 M o b i l e   c r o w d s o u r c i n g   i s   d e e m e d   a s   a   p o w e r f u l   t e c h n i q u e   t o   s o l v e   t r a d i t i o n a l   p r o b l e m s .   B u t   t h e   c r o w d s o u r c e d   d a t a   f r o m   s m a r t p h o n e s   a r e   g e n e r a l l y   l o w   q u a l i t y ,   w h i c h   c a n   i n d u c e   c r u c i a l   c h a l l e n g e s   a n d   h u r t   t h e   a p p l i c a b i l i t y   o f   c r o w d s o u r c i n g   a p p l i c a t i o n s .   T h i s   p a p e r   p r e s e n t s   o u r   s t u d y   t o   a d d r e s s   s u c h   c h a l l e n g e s   i n   a   c o n c r e t e   a p p l i c a t i o n ,   n a m e l y ,   f l o o r p l a n   g e n e r a t i o n .   E x i s t i n g   p r o p o s a l s   m o s t l y   r e l y   o n   i n f r a s t r u c t u r a l   r e f e r e n c e s   o r   a c c u r a t e   d a t a   s o u r c e s ,   w h i c h   a r e   r e s t r i c t e d   i n   t e r m s   o f   a p p l i c a b i l i t y   a n d   p e r v a s i v e n e s s .   O u r   p r o p o s a l   c a l l e d   S e n s e W i t   i s   m o t i v a t e d   b y   t h e   o b s e r v a t i o n   t h a t   p e o p l e ' s   b e h a v i o r   o f f e r s   m e a n i n g f u l   c l u e s   f o r   l o c a t i o n   i n f e r e n c e .   T h e   n o i s e ,   a m b i g u i t y ,   a n d   b e h a v i o r   d i v e r s i t y   c o n t a i n e d   i n   t h e   c r o w d s o u r c e d   d a t a ,   h o w e v e r ,   m e a n   n o n - t r i v i a l   c h a l l e n g e s   i n   g e n e r a t i n g   h i g h - q u a l i t y   f l o o r p l a n s .   W e   p r o p o s e :   1 )   a   n o v e l   c o n c e p t   c a l l e d   N a i l   t o   i d e n t i f y   f e a t u r e d   l o c a t i o n s   i n   i n d o o r   s p a c e   a n d   2 )   a   h e u r i s t i c   p a t h l e t   b u n d l i n g   a l g o r i t h m   t o   p r o g r e s s i v e l y   d i s c o v e r   t h e   i n t e r n a l   l a y o u t s   o f   a   f l o o r p l a n .   W e   i m p l e m e n t   S e n s e W i t   a n d   c o n d u c t   r e a l - w o r l d   e x p e r i m e n t s   i n   d i f f e r e n t   s p a c e s   t o   d e m o n s t r a t e   i t s   e f f i c a c y .   T h i s   p a p e r   o f f e r s   a n   e f f i c i e n t   t e c h n i q u e   t o   o b t a i n   h i g h - q u a l i t y   s t r u c t u r e s   ( e i t h e r   l o g i c a l   o r   p h y s i c a l )   f r o m   l o w - q u a l i t y   d a t a .   W e   b e l i e v e   i t   c a n   b e   g e n e r a l i z e d   t o   o t h e r   c r o w d s o u r c i n g   a p p l i c a t i o n s . 	 [ H e ,   Y u a n ;   L i u ,   Y u n h a o ]   T s i n g h u a   U n i v ,   S c h   S o f t w a r e ,   B e i j i n g   1 0 0 0 8 4 ,   P e o p l e s   R   C h i n a ;   [ H e ,   Y u a n ;   L i u ,   Y u n h a o ]   T s i n g h u a   U n i v ,   T s i n g h u a   N a t l   L a b   I n f o r m a t   S c i   &   T e c h n o l ,   B e i j i n g   1 0 0 0 8 4 ,   P e o p l e s   R   C h i n a ;   [ L i a n g ,   J i a q i ]   C h i n a   M e r c h a n t s   B a n k ,   I T   D e p t ,   S h a n g h a i   2 0 1 2 0 1 ,   P e o p l e s   R   C h i n a 	 H e ,   Y A   ( r e p r i n t   a u t h o r ) ,   T s i n g h u a   U n i v ,   S c h   S o f t w a r e ,   B e i j i n g   1 0 0 0 8 4 ,   P e o p l e s   R   C h i n a . ;   H e ,   Y A   ( r e p r i n t   a u t h o r ) ,   T s i n g h u a   U n i v ,   T s i n g h u a   N a t l   L a b   I n f o r m a t   S c i   &   T e c h n o l ,   B e i j i n g   1 0 0 0 8 4 ,   P e o p l e s   R   C h i n a . 	 h e y u a n @ t s i n g h u a . e d u . c n ;   l m u m u 7 7 @ 1 6 3 . c o m ;   y u n h a o @ t s i n g h u a . e d u . c n 	 	 	 N a t i o n a l   N a t u r a l   S c i e n c e   F u n d   [ 6 1 4 2 2 2 0 7 ] ;   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 6 1 3 7 3 1 4 6 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   N a t i o n a l   N a t u r a l   S c i e n c e   F u n d   f o r   E x c e l l e n t   Y o u n g   S c i e n t i s t s   u n d e r   G r a n t   6 1 4 2 2 2 0 7   a n d   i n   p a r t   b y   t h e   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   u n d e r   G r a n t   6 1 3 7 3 1 4 6 . 	 A l z a n t o t   M ,   2 0 1 2 ,   I E E E   W C N C ,   P 3 2 0 4 ,   D O I   1 0 . 1 1 0 9 / W C N C . 2 0 1 2 . 6 2 1 4 3 5 9 ;   A n s h u l   R . ,   2 0 1 2 ,   P   A C M   M O B I C O M ,   P 2 9 3 ;   A z i z y a n   M ,   2 0 0 9 ,   F I F T E E N T H   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G   ( M O B I C O M   2 0 0 9 ) ,   P 2 6 1 ;   B e a u r e g a r d   S . ,   2 0 0 6 ,   P   3   W O R K S H   P O S   N A V   C ,   P 2 7 ;   C h e n   S ,   2 0 1 5 ,   I N T   C O N   D I S T R   C O M P   S ,   P 1 ,   D O I   1 0 . 1 1 0 9 / I C D C S . 2 0 1 5 . 9 ;   C h e n   X ,   2 0 1 4 ,   I E E E   I N F O C O M   S E R ,   P 2 3 1 0 ,   D O I   1 0 . 1 1 0 9 / I N F O C O M . 2 0 1 4 . 6 8 4 8 1 7 5 ;   C h i n t a l a p u d i   K ,   2 0 1 0 ,   M O B I C O M   1 0   &   M O B I H O C   1 0 :   P R O C E E D I N G S   O F   T H E   1 6 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G   A N D   T H E   1 1 T H   A C M   I N T E R N A T I O N A L   S Y M P O S I U M   O N   M O B I L E   A D   H O C   N E T W O R K I N G   A N D   C O M P U T I N G ,   P 1 7 3 ;   d e   M a g a l h a e s   S .   V .   G . ,   2 0 1 4 ,   P   A C M   S I G S P A T I A L ,   P 6 1 3 ;   G a o   R . ,   2 0 1 4 ,   P   2 0   A N N   I N T   C   M O B   C ,   P 2 4 9 ;   J i a n g   Y . ,   2 0 1 3 ,   P   2 0 1 3   A C M   I N T   J O I N T ,   P 3 1 5 ;   J i a q i   L . ,   2 0 1 6 ,   P   I E E E   D C O S S   M A Y ,   P 1 ;   L i   F . ,   2 0 1 2 ,   P   1 4   I N T   C   U B   C O M P   U ,   P 4 2 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 3 7 0 2 1 6 . 2 3 7 0 2 8 0 ;   L i u   S Y ,   2 0 1 3 ,   I E E E   T   V E H   T E C H N O L ,   V 6 2 ,   P 1 5 2 7 ,   D O I   1 0 . 1 1 0 9 / T V T . 2 0 1 2 . 2 2 3 1 9 7 3 ;   L u o   C W ,   2 0 1 4 ,   P R O C E E D I N G S   O F   T H E   1 3 T H   I N T E R N A T I O N A L   S Y M P O S I U M   O N   I N F O R M A T I O N   P R O C E S S I N G   I N   S E N S O R   N E T W O R K S   ( I P S N '   1 4 ) ,   P 1 4 3 ,   D O I   1 0 . 1 1 0 9 / I P S N . 2 0 1 4 . 6 8 4 6 7 4 8 ;   M o u s t a f a   A . ,   2 0 1 2 ,   P   A C M   S I G S P A T I A L ,   P 9 9 ;   R a n a   R . ,   2 0 1 0 ,   P   9   A C M   I E E E   I N T   C   I ,   P 1 0 5 ,   D O I   1 0 . 1 1 4 5 / 1 7 9 1 2 1 2 . 1 7 9 1 2 2 6 ;   R o y   N ,   2 0 1 4 ,   M O B I S Y S ' 1 4 :   P R O C E E D I N G S   O F   T H E   1 2 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   S Y S T E M S ,   A P P L I C A T I O N S ,   A N D   S E R V I C E S ,   P 3 2 9 ,   D O I   1 0 . 1 1 4 5 / 2 5 9 4 3 6 8 . 2 5 9 4 3 9 2 ;   S a n t o s   M . ,   2 0 1 2 ,   P   I E E E   7   C O L   C O M P   C ,   P 1 ;   S h e n   G . ,   2 0 1 3 ,   P   1 0   U S E N I X   C   N E T W   S ,   P 8 5 ;   S h i n   H ,   2 0 1 2 ,   I E E E   T   S Y S T   M A N   C Y   C ,   V 4 2 ,   P 8 8 9 ,   D O I   1 0 . 1 1 0 9 / T S M C C . 2 0 1 1 . 2 1 6 9 4 0 3 ;   S h u   Y . ,   2 0 1 5 ,   P   A C M   M O B I C O M ,   P 5 1 2 ;   S u n   W ,   2 0 1 3 ,   I N T   C O N   D I S T R   C O M P   S ,   P 2 2 6 ,   D O I   1 0 . 1 1 0 9 / I C D C S . 2 0 1 3 . 4 1 ;   S u s i   M ,   2 0 1 3 ,   S E N S O R S - B A S E L ,   V 1 3 ,   P 1 5 3 9 ,   D O I   1 0 . 3 3 9 0 / s 1 3 0 2 0 1 5 3 9 ;   T h r u n   S ,   2 0 0 3 ,   A U T O N   R O B O T ,   V 1 5 ,   P 1 1 1 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 5 5 8 4 8 0 7 6 2 5 ;   W a n g   H . ,   2 0 1 2 ,   P   1 0   I N T   C   M O B   S Y S T ,   P 1 9 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 3 0 7 6 3 6 . 2 3 0 7 6 5 5 ;   Y a n g   Z ,   2 0 1 2 ,   M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G ,   P 2 6 9 ;   Z h a n g   L ,   2 0 1 4 ,   I E E E   I N F O C O M   S E R ,   P 7 9 9 ,   D O I   1 0 . 1 1 0 9 / I N F O C O M . 2 0 1 4 . 6 8 4 8 0 0 7 ;   Z h o u   P . ,   2 0 1 2 ,   P   1 0   I N T   C   M O B   S Y S T ,   P 3 7 9 	 2 8 	 0 	 0 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 0 7 3 3 - 8 7 1 6 	 1 5 5 8 - 0 0 0 8 	 	 I E E E   J   S E L   A R E A   C O M M 	 I E E E   J .   S e l .   A r e a s   C o m m u n . 	 M A Y 	 2 0 1 7 	 3 5 	 5 	 	 	 	 	 1 1 3 2 	 1 1 4 0 	 	 1 0 . 1 1 0 9 / J S A C . 2 0 1 7 . 2 6 7 9 6 5 9 	 	 9 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 E W 0 B G 	 W O S : 0 0 0 4 0 2 1 5 2 4 0 0 0 0 9 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 S a k a m o t o ,   M ;   N a k a j i m a ,   T ;   A k i o k a ,   S 	 	 	 	 S a k a m o t o ,   M i z u k i ;   N a k a j i m a ,   T a t s u o ;   A k i o k a ,   S a y a k a 	 	 	 G a m i f y i n g   c o l l e c t i v e   h u m a n   b e h a v i o r   w i t h   g a m e f u l   d i g i t a l   r h e t o r i c 	 M U L T I M E D I A   T O O L S   A N D   A P P L I C A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 D i g i t a l   r h e t o r i c ;   D e s i g n   f r a m e w o r k ;   S o c i a l   i n f r a s t r u c t u r e ;   C o l l e c t i v e   h u m a n   b e h a v i o r ;   S o c i a l   i n f l u e n c e ;   S u s t a i n a b l e   s o c i e t y ;   G a m i f i c a t i o n ;   C r o w d s o u r c i n g 	 D E S I G N 	 T h i s   p a p e r   p r e s e n t s   a   d e s i g n   f r a m e w o r k   c a l l e d   G a m e f u l   D i g i t a l   R h e t o r i c   t h a t   o f f e r s   a   s e t   o f   d e s i g n   f r a m e s   f o r   d e s i g n i n g   m e a n i n g f u l   d i g i t a l   r h e t o r i c   t h a t   g u i d e s   c o l l e c t i v e   h u m a n   b e h a v i o r   i n   u b i q u i t o u s   s o c i a l   d i g i t a l   s e r v i c e s ,   s u c h   a s   c r o w d s o u r c i n g .   T h e   f r a m e w o r k   i s   e x t r a c t e d   f r o m   o u r   e x p e r i e n c e s   w i t h   b u i l d i n g   a n d   d e v e l o p i n g   c r o w d s o u r c i n g   c a s e   s t u d i e s .   F r o m   a   v i d e o   g a m e   p e r s p e c t i v e ,   t h e   p a p e r   h a s   c a t e g o r i z e d   o u r   e x p e r i e n c e s   i n t o   s e v e n   d e s i g n   f r a m e s   t o   e n c o u r a g e   c o l l e c t i v e   h u m a n   a c t i v i t y .   T h i s   a p p r o a c h   i s   d i f f e r e n t   f r o m   t r a d i t i o n a l   g a m i f i c a t i o n ,   a s   i t   f o c u s e s   m o r e   o n   t h e   s e m i o t i c   a s p e c t   o f   v i r t u a l i t y   i n   t h e   v i d e o   g a m e s ,   n o t   g a m e   m e c h a n i c s ;   i t   h e l p s   t o   e n h a n c e   t h e   c u r r e n t   m e a n i n g   o f   t h e   r e a l   w o r l d   f o r   c h a n g i n g   h u m a n   a t t i t u d e   a n d   b e h a v i o r   t h r o u g h   v a r i o u s   s o c i o - c u l t u r a l   a n d   p s y c h o l o g i c a l   t e c h n i q u e s .   T h e r e f o r e ,   i t   i s   p o s s i b l e   t o   d i s c u s s   r e s p e c t i v e   d e s i g n   f r a m e s   f o r   e n h a n c i n g   c r o w d s o u r c i n g   b y   i n c r e m e n t a l l y   a d d i n g   n e w   d i g i t a l   r h e t o r i c .   T h e   p a p e r   a l s o   p r e s e n t s   h o w   G a m e f u l   D i g i t a l   R h e t o r i c   a l l o w s   u s   t o   g u i d e   c o l l e c t i v e   h u m a n   b e h a v i o r   i n   C o l l e c t i v i s t   C r o w d s o u r c i n g ;   t h e   d e s i g n   i s   e x p l a i n e d   t h r o u g h   a   s c e n a r i o - b a s e d   a n d   e x p e r i m e n t - b a s e d   a n a l y s e s .   T h e   p a p e r   t h e n   d i s c u s s e s   h o w   t o   d e s i g n   c o l l e c t i v e   h u m a n   b e h a v i o r   w i t h   G a m e f u l   D i g i t a l   R h e t o r i c   a n d   h o w   t o   i d e n t i f y   t h e   d e s i g n ' s   p o t e n t i a l   p i t f a l l s .   O u r   a p p r o a c h   o f f e r s   u s e f u l   i n s i g h t s   i n t o   t h e   d e s i g n   o f   f u t u r e   s o c i a l   d i g i t a l   s e r v i c e s   t h a t   i n f l u e n c e   c o l l e c t i v e   h u m a n   b e h a v i o r . 	 [ S a k a m o t o ,   M i z u k i ;   N a k a j i m a ,   T a t s u o ]   W a s e d a   U n i v ,   D e p t   C o m p   S c i   &   E n g n ,   S h i n j u k u   K u ,   T o k y o ,   J a p a n ;   [ A k i o k a ,   S a y a k a ]   M e i j i   U n i v ,   D e p t   N e t w o r k   D e s i g n ,   T o k y o ,   J a p a n 	 N a k a j i m a ,   T   ( r e p r i n t   a u t h o r ) ,   W a s e d a   U n i v ,   D e p t   C o m p   S c i   &   E n g n ,   S h i n j u k u   K u ,   T o k y o ,   J a p a n . 	 t a t s u o @ d c l . c s . w a s e d a . a c . j p 	 	 	 	 	 A k e r l o f   G ,   1 9 7 0 ,   Q   J   E C O N ,   V 8 4 ,   P 9 8 8 ;   A n t i k a i n e n   M a r i a   J ,   2 0 1 0 ,   I n t e r n a t i o n a l   J o u r n a l   o f   E n t r e p r e n e u r s h i p   a n d   I n n o v a t i o n   M a n a g e m e n t ,   V 1 1 ,   P 4 4 0 ,   D O I   1 0 . 1 5 0 4 / I J E I M . 2 0 1 0 . 0 3 2 2 6 7 ;   A s i f   M .   M . ,   2 0 1 1 ,   I N T   J   H U M A N I T I E S   S O C ,   V 1 ,   P 1 9 6 ;   A z u m a   H ,   2 0 0 7 ,   P O S T M O D E R N   2   B O R N   A N ;   B a r d z e l l   J ,   2 0 1 3 ,   P   S I G C H I   C   H U M   F A C T ;   B l y t h e   B ,   2 0 1 4 ,   P   I N T   C   H U M   F A C T   C O M ;   B o g o s t   I a n ,   2 0 0 7 ,   P E R S U A S I V E   G A M E S   E X P ;   C h a n d l e r   D ,   2 0 1 3 ,   J   E C O N   B E H A V   O R G A N ,   V 9 0 ,   P 1 2 3 ,   D O I   1 0 . 1 0 1 6 / j . j e b o . 2 0 1 3 . 0 3 . 0 0 3 ;   C i a l d i n i   R B ,   2 0 0 6 ,   I N F L U E N C E   P S Y C H O L   P E ;   C o n r a d   C C ,   2 0 1 1 ,   E N V I R O N   M O N I T   A S S E S S ,   V 1 7 6 ,   P 2 7 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 6 1 - 0 1 0 - 1 5 8 2 - 5 ;   C s i k s z e n t m i h a l y i   M . ,   2 0 0 8 ,   F L O W   P S Y C H O L   O P T I M A L ;   D e c i   E .   L . ,   1 9 8 0 ,   P S Y C H O L   S E L F   D E T E R M I ;   D e n n y   P ,   2 0 1 3 ,   P   3 1   I N T   C   H U M   F A C T ;   D e s m e t   P M A ,   2 0 1 3 ,   I N T   J   D E S ,   V 7 ,   P 5 ;   D e t e r d i n g   S . ,   2 0 1 1 ,   P   1 5   I N T   A C   M I N D T R E K ,   P 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 1 8 1 0 3 7 . 2 1 8 1 0 4 0 ;   D e t e r d i n g   S ,   2 0 1 5 ,   H U M - C O M P U T   I N T E R A C T ,   V 3 0 ,   P 2 9 4 ,   D O I   1 0 . 1 0 8 0 / 0 7 3 7 0 0 2 4 . 2 0 1 4 . 9 9 3 4 7 1 ;   D u c a t e l   K . ,   2 0 0 1 ,   S C E N A R I O S   A M B I E N T   I N ;   D u n n e   A . ,   2 0 1 3 ,   S P E C U L A T I V E   E V E R Y T H I ;   F a h e y   L ,   1 9 9 7 ,   L E A R N I N G   F U T U R E   C O M P ;   F r a s c a   G ,   2 0 0 7 ,   T H E S I S   I T   U   C O P E N H A G ;   G a l b r a i t h   P W ,   2 0 1 1 ,   G A M E   S T U D I E S ,   V 1 1 ;   G e r b e r   E M ,   2 0 1 2 ,   P   I N T   W O R K S H   D E S   I N F ;   G o d i n   D ,   2 0 1 4 ,   P   D R S   2 0 1 4   D E S   B I G   D ;   G u s h i m a   K ,   2 0 1 6 ,   P   4   I N T   C   D I S T R   A M B ;   H a m a r i   J ,   2 0 1 7 ,   C O M P U T   H U M   B E H A V ,   V 7 1 ,   P 4 6 9 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 5 . 0 3 . 0 3 6 ;   H a r p e r   F M ,   2 0 0 9 ,   P   2 9   I N T   C   H U M   F A C T ;   H u o t a r i   K . ,   2 0 1 2 ,   P   1 6   I N T   A C   M I N D T R E K ,   P 1 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 3 9 3 1 3 2 . 2 3 9 3 1 3 7 ;   H u o t a r i   K ,   2 0 1 7 ,   E L E C T R O N   M A R K ,   V 2 7 ,   P 2 1 ,   D O I   1 0 . 1 0 0 7 / s 1 2 5 2 5 - 0 1 5 - 0 2 1 2 - z ;   I n s t i t u t e   o f   G o v e r n m e n t ,   2 0 1 0 ,   M I N D S P A C E   I N F L   B E H   P ;   I p e i r o t i s   P .   G . ,   2 0 1 0 ,   X R D S ,   V 1 7 ,   P 1 6 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 9 0 8 6 . 1 8 6 9 0 9 4 ;   I s h i z a w a   F ,   2 0 1 5 ,   P   1 3   I N T   C   A D V   M O B   C ;   J o r d a n   P W ,   2 0 0 2 ,   D E S I G N I N G   P L E A S U R A B L ;   J u u l   J e s p e r ,   2 0 0 5 ,   H A L F   R E A L   V I D E O   G A M E ;   K a h n e m a n n   D ,   2 0 1 2 ,   T H I N K I N G   F A S T   S L O W ;   K a u f m a n n   N ,   2 0 1 1 ,   P   A A A I   W O R K S H   H U M   C O ;   K i r b y   D ,   2 0 1 0 ,   S O C   S T U D   S C I ,   V 4 0 ,   P 4 1 ,   D O I   1 0 . 1 1 7 7 / 0 3 0 6 3 1 2 7 0 9 3 3 8 3 2 5 ;   K i t t u r   A ,   2 0 0 8 ,   P   2 6   I N T   C   H U M   F A C T ;   K r o n t i r i s   K ,   2 0 1 5 ,   U N D E R S T A N D I N G   A M   I N T ;   L a m e r i c h s   N ,   2 0 1 4 ,   T H E S I S ;   L a y o u s   K ,   2 0 1 4 ,   P O S I T I V E   E M O T I O N   I N T ,   P 4 7 3 ;   L e h d o n v i r t a   V ,   2 0 1 4 ,   P   I P P   2 0 1 4   C R O W D S   P O ;   L e h d o n v i r t a   V . ,   2 0 1 4 ,   V I R T U A L   E C   D E S I G N   A N ;   L i n d l e y   J ,   2 0 1 5 ,   P   1 1   E U R   A C   D E S   C ;   L i u   Y ,   2 0 1 3 ,   P   2 2   I N T   C   W O R L D   W I D ,   P 8 0 3 ;   M a l o n e   T ,   2 0 0 9 ,   4 7 3 2 0 9   M I T   S L O A N   S C H ;   M a y e r   F W ,   2 0 1 4 ,   N A R R A T I V E   P O L I T I C S   S ;   M c G o n i g a l   J a n e ,   2 0 1 1 ,   R E A L I T Y   I S   B R O K E N   W H ;   M c G o n i g a l   K ,   2 0 1 3 ,   W I L L P O W E R   I N S T I N C T   S ;   M i d d e n   C ,   2 0 1 1 ,   P   6   I N T   C   P E R S   T E C H N ;   M i l l e r   J ,   2 0 0 3 ,   G A M E   T H E O R Y   W O R K   U S E ;   M o n t o l a   M . ,   2 0 0 9 ,   P E R V A S I V E   G A M E S   T H E O ;   M o n t o l a   M ,   2 0 0 7 ,   P   I N T   C   D I G R A   2 0 0 7 ;   M o r s c h h e u s e r   B ,   2 0 1 6 ,   P   4 9   A N N   H A W   I N T   C   S ;   M u l l e r   M ,   2 0 1 3 ,   P   3 1   I N T   C   H U M   F A C T ;   N a k a j i m a   T ,   2 0 1 3 ,   P E R S   U B I Q U I T   C O M P U T ,   V 1 7 ,   P 1 0 7 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 9 - 0 1 1 - 0 4 6 9 - y ;   N i c h o l s o n   S ,   2 0 1 2 ,   P   G A M   L E A R N   S O C   8   0 ;   O E C D ,   2 0 1 5 ,   H O W S   L I F   2 0 1 5   M E A S   W ;   O l s o n   M . ,   1 9 6 5 ,   L O G I C   C O L L E C T I V E   A C T ;   O x f o r d   I n t e r n e t   I n s t i t u t e ,   2 0 1 4 ,   P   I N T   C   I N T   P O L   P O L ;   P a u l   C .   L . ,   2 0 0 8 ,   J   U S A B I L I T Y   S T U D I E S ,   V 4 ,   P 7 ;   Q u e r c i a   D ,   2 0 1 4 ,   P   2 5   A C M   C   H Y P   S O C   M ;   R e n e   G . ,   2 0 1 3 ,   T O D I G R A ,   V 1 ,   P 1 ;   R o g s t a d i u s   J ,   2 0 1 1 ,   P   5   I N T   A A A I   C   W E B L ;   R y a n   R M ,   2 0 0 0 ,   C O N T E M P   E D U C   P S Y C H O L ,   V 2 5 ,   P 5 4 ,   D O I   1 0 . 1 0 0 6 / c e p s . 1 9 9 9 . 1 0 2 0 ;   S a k a m o t o   M ,   2 0 1 4 ,   P   2 5   I N T   C   D A T   E X P   S ;   S a k a m o t o   M ,   2 0 1 5 ,   P   4   I N T   C   D E S   U S   E X P ,   P 6 5 4 ;   S a k a m o t o   M ,   2 0 1 3 ,   P   I N T   C   M O B   U B   M U L T ;   S a k a m o t o   M ,   2 0 1 4 ,   L N C S ;   S a k a m o t o   M ,   2 0 1 6 ,   E N R I C H I N G   U R B A N   S P A C ;   S a k a m o t o   M ,   2 0 1 6 ,   M U L T I M E D   T O O L S   A P P L ,   V 7 5 ,   P 8 2 8 9 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 5 - 2 7 5 1 - x ;   S a k a m o t o   M ,   2 0 1 5 ,   M U L T I M E D   T O O L S   A P P L ,   V 7 4 ,   P 1 1 5 3 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 4 - 2 2 5 0 - 5 ;   S c h w a r t z   B . ,   2 0 0 5 ,   P A R A D O X   C H O I C E   W H Y   M ;   S e g a l   Z .   V . ,   2 0 0 2 ,   M I N D F U L N E S S   B A S E D   C O ;   S e l i g m a n   M .   E .   P ,   2 0 1 1 ,   F L O U R I S H   V I S I O N A R Y   N ;   S e n   A ,   1 9 7 4 ,   P R A C T I C A L   R E A S O N ,   P 5 4 ;   S h a w   A D ,   2 0 1 1 ,   P   2 0 1 1   A C M   C   C O M P   S U ;   S i l v i o   G ,   1 9 5 8 ,   N A T U R A L   E C   O R D E R ;   S p a g n o l l i   A ,   2 0 1 6 ,   I N T   J   H U M - C O M P U T   I N T ,   V 3 2 ,   P 1 7 7 ,   D O I   1 0 . 1 0 8 0 / 1 0 4 4 7 3 1 8 . 2 0 1 6 . 1 1 4 2 7 9 8 ;   S u n   Y Q ,   2 0 1 1 ,   C O M P U T   H U M   B E H A V ,   V 2 7 ,   P 1 0 3 3 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 0 . 1 2 . 0 0 7 ;   T a n e n b a u m   J ,   2 0 1 4 ,   D E S I G N   F I C T I O N A L   I N T ;   T o d d   P M ,   2 0 0 7 ,   E U R   J   O P E R   R E S ,   V 1 7 7 ,   P 1 3 1 7 ,   D O I   1 0 . 1 0 1 6 / j . e j o r . 2 0 0 5 . 0 4 . 0 0 5 ;   T r e a n o r   M ,   2 0 0 9 ,   P   D I G R A   2 0 0 9   B R E A K   N ;   v o n   A h n   L ,   2 0 0 8 ,   C O M M U N   A C M ,   V 5 1 ,   P 5 8 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 8 7 0 4 . 1 3 7 8 7 1 9 ;   W E B E R   M ,   1 9 8 7 ,   E U R   J   O P E R   R E S ,   V 2 8 ,   P 4 4 ,   D O I   1 0 . 1 0 1 6 / 0 3 7 7 - 2 2 1 7 ( 8 7 ) 9 0 1 6 8 - 8 ;   W e i n s c h e n k   S ,   2 0 1 3 ,   G E T   P E O P L E   S T U F F   M A S ;   W o l f e   A K ,   2 0 1 4 ,   B E H A V   C H A N G E   B U I L D I N ;   Y a m a b e   T ,   2 0 0 9 ,   P   1 1   I N T   C   U B   C O M P ;   Y a n g   D ,   2 0 1 2 ,   P   1 8   I N T   C   M O B   C O M P ;   Z i m m e r m a n   J ,   2 0 1 4 ,   W A Y S   K N O W I N G   H C I ,   P 1 6 7 ;   Z u c k e r m a n   O ,   2 0 1 4 ,   P E R S   U B I Q U I T   C O M P U T ,   V 1 8 ,   P 1 7 0 5 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 9 - 0 1 4 - 0 7 8 3 - 2 	 9 0 	 2 	 2 	 2 	 2 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 0 - 7 5 0 1 	 1 5 7 3 - 7 7 2 1 	 	 M U L T I M E D   T O O L S   A P P L 	 M u l t i m e d .   T o o l s   A p p l . 	 M A Y 	 2 0 1 7 	 7 6 	 1 0 	 	 	 	 	 1 2 5 3 9 	 1 2 5 8 1 	 	 1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 6 - 3 6 6 5 - y 	 	 4 3 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 E V 7 D S 	 W O S : 0 0 0 4 0 1 9 3 5 2 0 0 0 1 7 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 D a i n t y ,   K N ;   V a i d ,   H ;   B r o o k s ,   S C 	 	 	 	 D a i n t y ,   K a t i e   N . ;   V a i d ,   H a r i s ;   B r o o k s ,   S t e v e n   C . 	 	 	 N o r t h   A m e r i c a n   P u b l i c   O p i n i o n   S u r v e y   o n   t h e   A c c e p t a b i l i t y   o f   C r o w d s o u r c i n g   B a s i c   L i f e   S u p p o r t   f o r   O u t - o f - H o s p i t a l   C a r d i a c   A r r e s t   W i t h   t h e   P u l s e P o i n t   M o b i l e   P h o n e   A p p 	 J M I R   M H E A L T H   A N D   U H E A L T H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 s u d d e n   c a r d i a c   d e a t h ;   s u r v e y s   a n d   q u e s t i o n n a i r e s ;   c a r d i o p u l m o n a r y   r e s u s c i t a t i o n ;   P u l s e P o i n t ;   N o r t h   A m e r i c a 	 A U T O M A T E D   E X T E R N A L   D E F I B R I L L A T O R S ;   T E C H N O L O G I E S ;   B Y S T A N D E R ;   A T T I T U D E S ;   S U R V I V A L ;   R I S K 	 B a c k g r o u n d :   T h e   P u l s e P o i n t   R e s p o n d   a p p   i s   a   n o v e l   s y s t e m   t h a t   c a n   b e   i m p l e m e n t e d   i n   e m e r g e n c y   d i s p a t c h   c e n t e r s   t o   c r o w d s o u r c e   b a s i c   l i f e   s u p p o r t   ( B L S )   f o r   p a t i e n t s   w i t h   c a r d i a c   a r r e s t   a n d   f a c i l i t a t e   b y s t a n d e r   c a r d i o p u l m o n a r y   r e s u s c i t a t i o n   ( C P R )   a n d   a u t o m a t e d   e x t e r n a l   d e f i b r i l l a t o r   u s e   w h i l e   f i r s t   r e s p o n d e r s   a r e   e n   r o u t e .   O b j e c t i v e :   T h e   a i m   o f   t h i s   s t u d y   w a s   t o   c o n d u c t   a   N o r t h   A m e r i c a n   s u r v e y   t o   e v a l u a t e   t h e   p u b l i c   p e r c e p t i o n   o f   t h e   a b o v e - m e n t i o n e d   s t r a t e g y ,   i n c l u d i n g   a c c e p t a b i l i t y   a n d   w i l l i n g n e s s   t o   r e s p o n d   t o   a l e r t s .   M e t h o d s :   W e   d e s i g n e d   a   W e b - b a s e d   s u r v e y   a d m i n i s t e r e d   b y   I P S O S   R e i d ,   a n   e s t a b l i s h e d   e x t e r n a l   p o l l i n g   v e n d o r .   S a m p l i n g   w a s   d e s i g n e d   t o   e n s u r e   b r o a d   r e p r e s e n t a t i o n   u s i n g   r e c e n t   c e n s u s   s t a t i s t i c s .   R e s u l t s :   A   t o t a l   o f   2 4 1 5   s u r v e y   r e s p o n s e s   w e r e   a n a l y z e d   ( 1 1 0 6   f r o m   C a n a d a   a n d   1 3 0 9   f r o m   t h e   U n i t e d   S t a t e s ) .   I t   w a s   f o u n d   t h a t   9 8 . 3 7 %   ( 1 0 8 8 / 1 1 0 6 )   o f   C a n a d i a n s   a n d   9 6 %   ( 1 2 5 9 / 1 3 0 9 )   o f   A m e r i c a n s   h a d   n o   o b j e c t i o n s   t o   P u l s e P o i n t   b e i n g   i m p l e m e n t e d   i n   t h e i r   c o m m u n i t y ;   8 4 . 2 7 %   ( 9 3 2 / 1 1 0 6 )   o f   C a n a d i a n s   a n d   5 5 . 6 1 %   ( 7 2 8 / 1 3 0 9 )   o f   A m e r i c a n s   s a i d   t h e y   w o u l d   d o w n l o a d   t h e   a p p   t o   b e c o m e   a   p o t e n t i a l   r e s p o n d e r   t o   c a r d i a c   a r r e s t ,   r e s p e c t i v e l y .   A m o n g   C a n a d i a n s ,   t h o s e   w h o   s a i d   t h e y   w e r e   l i k e l y   t o   d o w n l o a d   P u l s e P o i n t   w e r e   a l s o   m o r e   l i k e l y   t o   h a v e   e v e r   h a d   C P R   t r a i n i n g   ( O R   1 . 7 ,   9 5 %   C I   1 . 2 - 2 . 4 ;   P = . 0 0 2 ) ;   h o w e v e r ,   t h i s   w a s   n o t   t r u e   o f   A m e r i c a n   r e s p o n d e n t s   ( O R   1 . 0 ,   9 5 %   C I   0 . 7 9 - 1 . 3 ;   P = . 8 8 ) .   W h e n   a s k e d   t o   i m a g i n e   t h e m s e l v e s   a s   a   c a r d i a c   a r r e s t   v i c t i m ,   9 5 . 3 9 %   ( 1 0 5 5 / 1 1 0 6 )   o f   C a n a d i a n s   a n d   9 2 . 4 4 %   ( 1 2 1 0 / 1 3 0 9 )   o f   A m e r i c a n s   h a d   n o   o b j e c t i o n s   t o   r e c e i v i n g   c r o w d s o u r c e d   h e l p   i n   a   p u b l i c   s e t t i n g ;   8 8 . 7 9 %   ( 9 8 2 / 1 1 0 6 )   o f   C a n a d i a n s   a n d   8 4 . 8 7 %   ( 1 1 1 1 / 1 3 0 9 )   o f   A m e r i c a n s   a l s o   h a d   n o   o b j e c t i o n s   t o   r e c e i v i n g   h e l p   i n   a   p r i v a t e   s e t t i n g ,   r e s p e c t i v e l y .   T h e   m o s t   c o m m o n   c o n c e r n   i d e n t i f i e d   w i t h   r e s p e c t   t o   P u l s e P o i n t   i m p l e m e n t a t i o n   w a s   a   r e s p o n d e r ' s   l a c k   o f   a b i l i t y ,   t r a i n i n g ,   o r   a c c e s s   t o   p r o p e r   e q u i p m e n t   i n   a   p u b l i c   s e t t i n g .   C o n c l u s i o n s :   T h e   N o r t h   A m e r i c a n   p u b l i c   f i n d s   t h e   c o n c e p t   o f   c r o w d s o u r c i n g   B L S   f o r   o u t - o f - h o s p i t a l   c a r d i a c   a r r e s t   t o   b e   a c c e p t a b l e .   I t   d e m o n s t r a t e s   w i l l i n g n e s s   t o   r e s p o n d   t o   P u l s e P o i n t   C P R   n o t i f i c a t i o n s   a n d   t o   a c c e p t   h e l p   f r o m   o t h e r s   a l e r t e d   b y   t h e   a p p   i f   t h e y   t h e m s e l v e s   s u f f e r e d   a   c a r d i a c   a r r e s t . 	 [ D a i n t y ,   K a t i e   N . ]   S t   M i c h a e l s   H o s p ,   L i   K a   S h i n g   K n o w l e d g e   I n s t ,   R e s c u ,   3 0   B o n d   S t ,   T o r o n t o ,   O N   M 5 B   1 W 8 ,   C a n a d a ;   [ D a i n t y ,   K a t i e   N . ]   U n i v   T o r o n t o ,   I n s t   H l t h   P o l i c y   M a n a g e m e n t   &   E v a l u a t ,   T o r o n t o ,   O N ,   C a n a d a ;   [ V a i d ,   H a r i s ]   Q u e e n s   U n i v ,   S c h   M e d ,   K i n g s t o n ,   O N ,   C a n a d a ;   [ B r o o k s ,   S t e v e n   C . ]   Q u e e n s   U n i v ,   D e p t   E m e r g e n c y   M e d ,   K i n g s t o n ,   O N ,   C a n a d a 	 D a i n t y ,   K N   ( r e p r i n t   a u t h o r ) ,   S t   M i c h a e l s   H o s p ,   L i   K a   S h i n g   K n o w l e d g e   I n s t ,   R e s c u ,   3 0   B o n d   S t ,   T o r o n t o ,   O N   M 5 B   1 W 8 ,   C a n a d a . 	 d a i n t y k @ s m h . c a 	 	 	 L a e r d a l   F o u n d a t i o n   f o r   A c u t e   M e d i c i n e 	 T h i s   r e s e a r c h   w a s   f u n d e d   t h r o u g h   a   g r a n t   f r o m   t h e   L a e r d a l   F o u n d a t i o n   f o r   A c u t e   M e d i c i n e . 	 B r o o k s   S C ,   2 0 1 6 ,   R E S U S C I T A T I O N ,   V 9 8 ,   P 2 0 ,   D O I   1 0 . 1 0 1 6 / j . r e s u s c i t a t i o n . 2 0 1 5 . 0 9 . 3 9 2 ;   C a f f r e y   S L ,   2 0 0 2 ,   N E W   E N G L   J   M E D ,   V 3 4 7 ,   P 1 2 4 2 ,   D O I   1 0 . 1 0 5 6 / N E J M o a 0 2 0 9 3 2 ;   C h a n g   T ,   2 0 1 6 ,   J   M E D   I N T E R N E T   R E S ,   V 1 8 ,   D O I   1 0 . 2 1 9 6 / j m i r . 5 1 3 8 ;   E l o   S ,   2 0 0 8 ,   J   A D V   N U R S ,   V 6 2 ,   P 1 0 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 6 4 8 . 2 0 0 7 . 0 4 5 6 9 . x ;   F i s c h e r   A R H ,   2 0 0 8 ,   H E A L T H   R I S K   S O C ,   V 1 0 ,   P 3 8 5 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 9 8 5 7 0 8 0 2 1 6 6 4 4 9 ;   G o t t l i e b   A ,   2 0 1 5 ,   J   M E D   I N T E R N E T   R E S ,   V 1 7 ,   D O I   1 0 . 2 1 9 6 / j m i r . 3 9 6 2 ;   G u p t a   N ,   2 0 1 2 ,   P U B L I C   U N D E R S T   S C I ,   V 2 1 ,   P 7 8 2 ,   D O I   1 0 . 1 1 7 7 / 0 9 6 3 6 6 2 5 1 0 3 9 2 4 8 5 ;   H a l l s t r o m   A P ,   2 0 0 4 ,   N E W   E N G L   J   M E D ,   V 3 5 1 ,   P 6 3 7 ;   K r i s t a n   J ,   2 0 1 5 ,   T R A N S L   B E H A V   M E D ,   V 5 ,   P 4 5 ,   D O I   1 0 . 1 0 0 7 / s 1 3 1 4 2 - 0 1 4 - 0 2 9 8 - 4 ;   M e n d e l s o n   J ,   2 0 1 6 ,   R E S U S C I T A T I O N ,   V 1 0 7 ,   p A 1 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s u s c i t a t i o n . 2 0 1 6 . 0 7 . 0 0 2 ;   M e r c h a n t   R M ,   2 0 1 3 ,   C I R C - C A R D I O V A S C   Q U A L ,   V 6 ,   P 2 2 9 ,   D O I   1 0 . 1 1 6 1 / C I R C O U T C O M E S . 1 1 3 . 0 0 0 1 4 0 ;   M e y e r   A N D ,   2 0 1 6 ,   J   M E D   I N T E R N E T   R E S ,   V 1 8 ,   D O I   1 0 . 2 1 9 6 / j m i r . 4 8 8 7 ;   O T W A Y   H J ,   1 9 8 2 ,   P O L I C Y   S C I ,   V 1 4 ,   P 2 4 7 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 1 3 6 3 9 9 ;   P a g e   R L ,   2 0 0 0 ,   N E W   E N G L   J   M E D ,   V 3 4 3 ,   P 1 2 1 0 ,   D O I   1 0 . 1 0 5 6 / N E J M 2 0 0 0 1 0 2 6 3 4 3 1 7 0 2 ;   P i j l s   R W M ,   2 0 1 6 ,   R E S U S C I T A T I O N ,   V 1 0 5 ,   P 1 8 2 ,   D O I   1 0 . 1 0 1 6 / j . r e s u s c i t a t i o n . 2 0 1 6 . 0 6 . 0 0 6 ;   R i n g h   M ,   2 0 1 5 ,   N E W   E N G L   J   M E D ,   V 3 7 2 ,   P 2 3 1 6 ,   D O I   1 0 . 1 0 5 6 / N E J M o a 1 4 0 6 0 3 8 ;   R u m s f e l d   J S ,   2 0 1 6 ,   C I R C U L A T I O N ,   V 1 3 4 ,   p E 8 7 ,   D O I   1 0 . 1 1 6 1 / C I R . 0 0 0 0 0 0 0 0 0 0 0 0 0 4 2 8 ;   S i e g r i s t   M ,   2 0 0 7 ,   R I S K   A N A L ,   V 2 7 ,   P 5 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 3 9 - 6 9 2 4 . 2 0 0 6 . 0 0 8 5 9 . x ;   S j o b e r g   L ,   2 0 0 2 ,   P O L I C Y   S C I ,   V 3 5 ,   P 3 7 9 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 1 3 5 4 9 0 0 9 2 8 ;   S j o b e r g   L ,   2 0 0 1 ,   R I S K   A N A L ,   V 2 1 ,   P 4 2 7 ,   D O I   1 0 . 1 1 1 1 / 0 2 7 2 - 4 3 3 2 . 2 1 3 1 2 3 ;   V a l e n z u e l a   T D ,   2 0 0 0 ,   N E W   E N G L   J   M E D ,   V 3 4 3 ,   P 1 2 0 6 ,   D O I   1 0 . 1 0 5 6 / N E J M 2 0 0 0 1 0 2 6 3 4 3 1 7 0 1 ;   Z i j l s t r a   J A ,   2 0 1 5 ,   R E S U S C I T A T I O N ,   V 9 2 ,   P 1 1 5 ,   D O I   1 0 . 1 0 1 6 / j . r e s u s c i t a t i o n . 2 0 1 5 . 0 4 . 0 2 8 	 2 2 	 0 	 0 	 1 	 1 	 J M I R   P U B L I C A T I O N S ,   I N C 	 T O R O N T O 	 5 9   W I N N E R S   C I R C L E ,   T O R O N T O ,   O N   M 4 L   3 Y 7 ,   C A N A D A 	 2 2 9 1 - 5 2 2 2 	 	 	 J M I R   M H E A L T H   U H E A L T H 	 J M I R   m H e a l t h   u H e a l t h 	 M A Y 	 2 0 1 7 	 5 	 5 	 	 	 	 	 	 	 e 6 3 	 1 0 . 2 1 9 6 / m h e a l t h . 6 9 2 6 	 	 1 0 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s 	 E W 2 A G 	 W O S : 0 0 0 4 0 2 2 9 7 8 0 0 0 1 6 	 2 8 5 2 6 6 6 8 	 g o l d 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 J u e n g s t ,   E T 	 	 	 	 J u e n g s t ,   E r i c   T . 	 	 	 C r o w d s o u r c i n g   t h e   M o r a l   L i m i t s   o f   H u m a n   G e n e   E d i t i n g ? 	 H A S T I N G S   C E N T E R   R E P O R T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 I n   2 0 1 5 ,   a   f l o u r i s h   o f   a l a r u m s   a n d   e x c u r s i o n s   b y   t h e   s c i e n t i f i c   c o m m u n i t y   p r o p e l l e d   C R I S P R / C a s 9   a n d   o t h e r   n e w   g e n e - e d i t i n g   t e c h n i q u e s   i n t o   p u b l i c   a t t e n t i o n .   A t   i s s u e   w e r e   t w o   k i n d s   o f   p o t e n t i a l   g e n e - e d i t i n g   e x p e r i m e n t s   i n   h u m a n s :   t h o s e   m a k i n g   i n h e r i t a b l e   g e r m - l i n e   m o d i f i c a t i o n s   a n d   t h o s e   d e s i g n e d   t o   e n h a n c e   h u m a n   t r a i t s   b e y o n d   w h a t   i s   n e c e s s a r y   f o r   h e a l t h   a n d   h e a l i n g .   T h e   s c i e n t i f i c   c o n s e n s u s   s e e m e d   t o   b e   t h a t   w h i l e   r e s e a r c h   t o   d e v e l o p   s a f e   a n d   e f f e c t i v e   h u m a n   g e n e   e d i t i n g   s h o u l d   c o n t i n u e ,   s o c i e t y ' s   m o r a l   u n c e r t a i n t i e s   a b o u t   t h e s e   t w o   k i n d s   o f   e x p e r i m e n t s   n e e d e d   t o   b e   b e t t e r   r e s o l v e d   b e f o r e   c l i n i c a l   t r i a l s   o f   e i t h e r   t y p e   s h o u l d   b e   a t t e m p t e d . I n   t h e   U n i t e d   S t a t e s ,   t h e   N a t i o n a l   A c a d e m i e s   o f   S c i e n c e ,   E n g i n e e r i n g   a n d   M e d i c i n e   ( N A S E M )   c o n v e n e d   t h e   C o m m i t t e e   o n   H u m a n   G e n e   E d i t i n g :   S c i e n t i f i c ,   M e d i c a l   a n d   E t h i c a l   C o n s i d e r a t i o n s   t o   p u r s u e   t h a t   r e s o l u t i o n .   T h e   c o m m i t t e e ' s   2 0 1 7   c o n s e n s u s   r e p o r t   h a s   b e e n   w i d e l y   i n t e r p r e t e d   a s   o p e n i n g   t h e   d o o r   t o   i n h e r i t a b l e   h u m a n   g e n e t i c   m o d i f i c a t i o n   a n d   h o l d i n g   a   l i n e   a g a i n s t   e n h a n c e m e n t   i n t e r v e n t i o n s .   B u t   o n   a   c l o s e   r e a d i n g   i t   d o e s   n e i t h e r .   T h e r e   a r e   t w o   r e a s o n s   f o r   t h i s   e c c e n t r i c   c o n c l u s i o n ,   b o t h   o f   w h i c h   d e p e n d   u p o n   t h e   s t r e n g t h   o f   t h e   c o m m i t t e e ' s   c o m m i t m e n t   t o   e n g a g i n g   d i v e r s e   p u b l i c   v o i c e s   i n   t h e   g e n e - e d i t i n g   p o l i c y - m a k i n g   p r o c e s s . 	 [ J u e n g s t ,   E r i c   T . ]   U n i v   N   C a r o l i n a ,   C t r   B i o e t h ,   C h a p e l   H i l l ,   N C   2 7 5 1 5   U S A 	 J u e n g s t ,   E T   ( r e p r i n t   a u t h o r ) ,   U n i v   N   C a r o l i n a ,   C t r   B i o e t h ,   C h a p e l   H i l l ,   N C   2 7 5 1 5   U S A . 	 	 	 	 	 	 A n d e r s o n   F .   W . ,   1 9 7 2 ,   E W   G E N E T I C S   F U T U R E   M ,   P 1 1 0 ;   D r e s s e r   R ,   2 0 0 4 ,   M I L B A N K   Q ,   V 8 2 ,   P 1 9 5 ,   D O I   1 0 . 1 1 1 1 / j . 0 8 8 7 - 3 7 8 X . 2 0 0 4 . 0 0 3 0 6 . x ;   D r e s s e r   R e b e c c a ,   2 0 0 4 ,   I R B ,   V 2 6 ,   P 1 ,   D O I   1 0 . 2 3 0 7 / 3 5 6 3 9 4 5 ;   E v a n s   C . ,   2 0 0 4 ,   D E S I G N I N G   O U R   D E S C E N ,   P 9 3 ;   H O T C H K I S S   R D ,   1 9 6 5 ,   J   H E R E D ,   V 5 6 ,   P 1 9 7 ;   I s g r i g   K ,   2 0 1 7 ,   M O L   T H E R ,   V 2 5 ,   P 7 8 0 ,   D O I   1 0 . 1 0 1 6 / j . y m t h e . 2 0 1 7 . 0 1 . 0 0 7 ;   J u e n g s t   E . ,   1 9 9 8 ,   D E M O C R A C Y   S O C I A L   V A L ,   P 1 6 3 ;   J u e n g s t   E T ,   2 0 0 3 ,   H A S T I N G S   C E N T   R E P ,   V 3 3 ,   P 2 1 ,   D O I   1 0 . 2 3 0 7 / 3 5 2 8 3 7 7 ;   J u e n g s t   E . ,   2 0 0 9 ,   H U M A N   E N H A N C E M E N T ,   P 4 3 ;   K a e b n i c k   G .   E . ,   2 0 1 7 ,   B I O E T H I C S   F O R U M ;   K a i s e r   J . ,   2 0 1 7 ,   S C I E N C E ;   K i m m e l m a n   J . ,   2 0 1 0 ,   G E N E   T R A N S F E R   E T H I C S ;   K o z u b e k   J . ,   2 0 1 7 ,   S C I   A M   B L O G           0 2 1 7 ;   L a n p h i e r   E ,   2 0 1 5 ,   N A T U R E ,   V 5 1 9 ,   P 4 1 0 ,   D O I   1 0 . 1 0 3 8 / 5 1 9 4 1 0 a ;   L e n o i r   N ,   1 9 9 9 ,   C o l u m b i a   H u m a n   R i g h t s   L a w   R e v ,   V 3 0 ,   P 5 3 7 ;   M e h l m a n   M   J ,   1 9 9 9 ,   W a k e   F o r e s t   L a w   R e v ,   V 3 4 ,   P 6 7 1 ;   M e h l m a n   M .   J . ,   2 0 0 9 ,   P R I C E   P E R F E C T I O N   I N D ;   N a t i o n a l   A c a d e m i e s   o f   S c i e n c e   E n g i n e e r i n g   a n d   M e d i c i n e   C o m m i t t e e   o n   H u m a n   G e n e   E d i t i n g :   S c i e n t i f i c   M e d i c a l   a n d   E t h i c a l   C o n s i d e r a t i o n s ,   2 0 1 7 ,   H U M   G E N   E D   S C I   M E D   E ,   P 1 3 ;   N i l e r   E . ,   2 0 1 7 ,   W I R E D   M A G A Z I N E ;   R a s k o   J . ,   2 0 0 6 ,   E T H I C S   I N H E R I T A B L E   G ;   S i l v e r s ,   H U M   R I G H T S ;   S i l v e r s   A ,   2 0 0 3 ,   J   L A W   M E D   E T H I C S ,   V 3 1 ,   P 3 7 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 8 - 7 2 0 X . 2 0 0 3 . t b 0 0 1 0 1 . x ;   T e r r y   S . ,   2 0 1 2 ,   H L T H   A F F A I R S   B L O G ;   W h i t e   G . ,   1 9 9 4 ,   K E N N E D Y   I N S T   E T H I C   J ,   V 3 ,   P 4 0 1 ;   W h i t e h o u s e   P J ,   2 0 0 5 ,   J   A M   G E R I A T R   S O C ,   V 5 3 ,   P 1 4 1 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 3 2 - 5 4 1 5 . 2 0 0 5 . 5 3 4 1 1 . x ;   W o r l d   A n t i - D o p i n g   A s s o c i a t i o n ,   2 0 0 7 ,   W O R L D   A N T   A S S   C O D   2 0 	 2 6 	 0 	 0 	 2 	 2 	 W I L E Y 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 0 9 3 - 0 3 3 4 	 1 5 5 2 - 1 4 6 X 	 	 H A S T I N G S   C E N T   R E P 	 H a s t i n g s   C e n t .   R e p . 	 M A Y - J U N 	 2 0 1 7 	 4 7 	 3 	 	 	 	 	 1 5 	 2 3 	 	 1 0 . 1 0 0 2 / h a s t . 7 0 1 	 	 9 	 E t h i c s ;   H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   E t h i c s ;   S o c i a l   S c i e n c e s ,   B i o m e d i c a l 	 S o c i a l   S c i e n c e s   -   O t h e r   T o p i c s ;   H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s ;   M e d i c a l   E t h i c s ;   B i o m e d i c a l   S o c i a l   S c i e n c e s 	 E V 8 K D 	 W O S : 0 0 0 4 0 2 0 2 8 2 0 0 0 0 6 	 2 8 5 4 3 4 1 1 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 L o v e ,   J ;   H i r s c h h e i m ,   R 	 	 	 	 L o v e ,   J a m e s ;   H i r s c h h e i m ,   R u d y 	 	 	 C r o w d s o u r c i n g   o f   i n f o r m a t i o n   s y s t e m s   r e s e a r c h 	 E U R O P E A N   J O U R N A L   O F   I N F O R M A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   r e s e a r c h   a g e n d a ;   r e s e a r c h   f r a m e w o r k ;   a l t e r n a t i v e   g e n r e ;   i n f o r m a t i o n   s y s t e m s   d i s c i p l i n e ;   I S   r e s e a r c h 	 O P E N   S O U R C E   S O F T W A R E ;   K N O W L E D G E ;   H I S T O R Y ;   S C I E N C E ;   F I E L D 	 T h i s   p a p e r   a d d r e s s e s   h o w   t e c h n o l o g y - m e d i a t e d   m a s s   c o l l a b o r a t i o n   o f f e r s   a   d r a m a t i c a l l y   i n n o v a t i v e   a l t e r n a t i v e   f o r   p r o d u c i n g   I S   r e s e a r c h .   W e   r e f e r   t o   t h i s   e m e r g i n g   g e n r e   a s   t h e   c r o w d s o u r c e d   r e s e a r c h   g e n r e   a n d   d e v e l o p   a   f r a m e w o r k   t o   s t r u c t u r e   d i s c o u r s e   o n   h o w   i t   m a y   a f f e c t   t h e   p r o d u c t i o n   o f   I S   r e s e a r c h .   A f t e r   s y s t e m a t i c a l l y   t r a v e r s i n g   t h e   a l t e r n a t i v e   g e n r e ' s   l a n d s c a p e   u s i n g   t h e   f r a m e w o r k ,   w e   p r o p o s e   a   r e s e a r c h   a g e n d a   o f   t h e   m o s t   s u b s t a n t i a l   a n d   i m m i n e n t   i s s u e s   f o r   t h e   s u c c e s s f u l   d e v e l o p m e n t   o f   t h e   g e n r e ,   i n c l u d i n g   c o n t r i b u t o r   i n c e n t i v e s ,   s c h o l a r l y   c o n t r i b u t i o n   a s s e s s m e n t ,   a n o n y m i t y ,   g o v e r n a n c e ,   i n t e l l e c t u a l   p r o p e r t y   o w n e r s h i p ,   a n d   v a l u e   p r o p o s i t i o n s .   I n   a d d r e s s i n g   t h i s   r e s e a r c h   a g e n d a ,   w e   r e f l e c t   o n   w h a t   m i g h t   b e   l e a r n e d   f r o m   o t h e r   a r e a s   i n   w h i c h   c r o w d s o u r c i n g   h a s   b e e n   e s t a b l i s h e d   w i t h   s u c c e s s . 	 [ L o v e ,   J a m e s ]   F r a n c i s c a n   M i s s i o n a r i e s   O u r   L a d y   U n i v ,   D e p t   H e a l t h c a r e   A d m ,   5 3 4 5   B r i t t a n y   D r ,   B a t o n   R o u g e ,   L A   7 0 8 0 8   U S A ;   [ H i r s c h h e i m ,   R u d y ]   L o u i s i a n a   S t a t e   U n i v ,   D e p t   I n f o r m a t   S y s t   &   D e c i s   S c i ,   B u s i n e s s   E d u c   C o m p l e x , R o o m   2 2 2 1 ,   B a t o n   R o u g e ,   L A   7 0 8 0 3   U S A 	 L o v e ,   J   ( r e p r i n t   a u t h o r ) ,   F r a n c i s c a n   M i s s i o n a r i e s   O u r   L a d y   U n i v ,   D e p t   H e a l t h c a r e   A d m ,   5 3 4 5   B r i t t a n y   D r ,   B a t o n   R o u g e ,   L A   7 0 8 0 8   U S A . 	 J a m e s . L o v e @ o l o l c o l l e g e . e d u 	 	 	 	 	 B e a t h   C ,   2 0 1 3 ,   J   A S S O C   I N F   S Y S T ,   V 1 4 ,   p I ;   B e h r e n d   T S ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 8 0 0 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 0 8 1 - 0 ;   B h a t t a c h e r j e e   A ,   2 0 1 2 ,   S O C I A L   S C I   R E S   P R I N C ;   B r a b h a m   D C ,   2 0 0 8 ,   C O N V E R G E N C E - U S ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r o o k s   F . P . ,   1 9 9 5 ,   M Y T H I C A L   M A N   M O N T H   E ;   B u k v o v a   H ,   2 0 0 9 ,   S P R O U T S   W O R K I N G   P A P E ,   V 9 ;   C a r i l l o   K ,   2 0 0 8 ,   J   C O M P U T   I N F O R M   S Y S T ,   V 4 9 ,   P 1 ;   C h e n   W S ,   2 0 0 4 ,   I N F O R M   S Y S T   J ,   V 1 4 ,   P 1 9 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 5 7 5 . 2 0 0 4 . 0 0 1 7 3 . x ;   D e n n i s   A . ,   2 0 0 1 ,   C O M M U N I C A T I O N S ,   V 7 ,   P 1 ;   D E N N I S   A R ,   1 9 8 8 ,   M I S   Q U A R T ,   V 1 2 ,   P 5 9 1 ,   D O I   1 0 . 2 3 0 7 / 2 4 9 1 3 5 ;   E l s e v i e r ,   2 0 1 5 ,   O P E N   A C C E S S   O P T I O N S ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F e l l e r   J ,   2 0 0 0 ,   P   2 1   A N N   I N T   C   I N F   S ;   F l e t c h e r   D ,   2 0 0 9 ,   T I M E ;   G a s B u d d y ,   2 0 1 5 ,   I T   W O R K S   G A S B   G A S   P R ;   G e i g e r   D ,   2 0 1 1 ,   A M C I S   2 0 1 1   P   A L L   S U B ;   G e i g e r   D ,   2 0 1 1 ,   A C I S   2 0 1 1   P ;   G i l e s   J ,   2 0 0 5 ,   N A T U R E ,   V 4 3 8 ,   P 9 0 0 ,   D O I   1 0 . 1 0 3 8 / 4 3 8 9 0 0 a ;   G o e s   P ,   2 0 1 4 ,   M I S   Q ,   V 3 8 ,   p i i i ;   H a r d a w a y   D E ,   2 0 0 5 ,   C O M M U N   A C M ,   V 4 8 ,   P 1 2 5 ,   D O I   1 0 . 1 1 4 5 / 1 0 7 6 2 1 1 . 1 0 7 6 2 1 6 ;   H a r d a w a y   D E ,   2 0 1 2 ,   M I S   Q U A R T ,   V 3 6 ,   P 3 3 9 ;   H e t m a n k   L ,   2 0 1 3 ,   W I R T S C H   P ,   V 2 0 1 3 ,   P 4 ;   H i r s c h h e i m   R ,   2 0 0 3 ,   J   A S S O C   I N F   S Y S T ,   V 4 ,   P 2 3 7 ;   H i r s c h h e i m   R ,   2 0 1 2 ,   J   A S S O C   I N F   S Y S T ,   V 1 3 ,   P 1 8 8 ;   H o j a t   M ,   2 0 0 3 ,   A D V   H E A L T H   S C I   E D U C ,   V 8 ,   P 7 5 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 2 6 7 0 4 3 2 3 7 3 ;   H o v o r k a   D ,   2 0 1 2 ,   I C I S   2 0 1 2   P ;   H o w e   J . ,   2 0 0 9 ,   C R O W D S O U R C I N G   W H Y   P O ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   V 1 4 ,   P 1 7 6 ;   I i v a r i   J ,   2 0 0 4 ,   I N F O R M   S Y S T   J ,   V 1 4 ,   P 3 1 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 5 7 5 . 2 0 0 4 . 0 0 1 7 7 . x ;   I i v a r i   J ,   2 0 0 8 ,   E U R   J   I N F O R M   S Y S T ,   V 1 7 ,   P 1 6 9 ,   D O I   1 0 . 1 0 5 7 / e j i s . 2 0 0 8 . 1 0 ;   T h e   i S c h o o l   A T   I l l i n o i s ,   2 0 1 5 ,   S P E C   D A T   C U R ;   J e s s u p   L ,   1 9 8 8 ,   P   1 9 8 8   A N N   M   A C   M A N ;   K a g a n e r   E ,   2 0 1 3 ,   S L O A N   M A N A G E   R E V ,   P 2 3 ;   K e   W L ,   2 0 1 0 ,   J   A S S O C   I N F   S Y S T ,   V 1 1 ,   P 7 8 4 ;   K e e n   P .   G .   W . ,   1 9 8 0 ,   P   1   I N T   C   I N F   S Y S T   P ,   P 9 ;   K r o g h   G . v . ,   2 0 1 2 ,   M I S   Q ,   V 3 6 ,   P 6 4 9 ;   L a B a r r e   S . ,   2 0 1 3 ,   P O P U L A R   S C I ;   L a r s e n   K ,   2 0 1 4 ,   T H E O R I E S   U S E D   I S   R E S ;   L e a v i t t   H ,   1 9 6 5 ,   H D B   O R G ,   V 2 7 ,   P 1 1 4 4 ;   L e e   A ,   1 9 9 9 ,   M I S   Q ,   V 2 3 ,   p v ;   L e e   E ,   2 0 0 7 ,   W I K I P E D I A   M O V E S   S F   F ;   L e i s t   S ,   2 0 1 1 ,   A C I S   2 0 1 1   P ;   L i m a y e m   M ,   2 0 1 1 ,   I C I S   2 0 1 1   P ;   L o v e   J ,   2 0 1 4 ,   D A T A   B A S E   A D V   I N F   S Y ,   V 4 5 ,   P 8 ,   D O I   1 0 . 1 1 4 5 / 2 6 9 1 5 1 7 . 2 6 9 1 5 1 9 ;   L u k y a n e n k o   R ,   2 0 1 1 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 6 2 9 ,   P 4 6 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 6 3 3 - 7 _ 3 4 ;   P a l g r a v e   M a c M i l l a n ,   2 0 1 5 ,   P A L G R A V E   O P E N ;   M c D o n a l d   M ,   2 0 1 4 ,   J   C U S T O M E R   B E H A V ,   V 1 3 ,   P 2 3 7 ;   M i n g e r s   J ,   2 0 0 9 ,   J   O P E R   R E S   S O C ,   V 6 0 ,   P 1 1 4 3 ,   D O I   1 0 . 1 0 5 7 / j o r s . 2 0 0 8 . 9 4 ;   M i t r o f f   I .   I . ,   1 9 8 3 ,   S T A K E H O L D E R S   O R G   M I N ;   M o r g a n   G a r e t h ,   1 9 8 6 ,   I M A G E S   O R G ;   N A D L E R   D A ,   1 9 8 0 ,   O R G A N   D Y N ,   V 9 ,   P 3 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 9 0 - 2 6 1 6 ( 8 0 ) 9 0 0 3 9 - X ;   N U N A M A K E R   J F ,   1 9 9 1 ,   C O M M U N   A C M ,   V 3 4 ,   P 4 0 ,   D O I   1 0 . 1 1 4 5 / 1 0 5 7 8 3 . 1 0 5 7 9 3 ;   P e d e r s e n   J . ,   2 0 1 3 ,   P r o c e e d i n g s   o f   t h e   2 0 1 3   4 6 t h   H a w a i i   I n t e r n a t i o n a l   C o n f e r e n c e   o n   S y s t e m   S c i e n c e s   ( H I C S S   2 0 1 3 ) ,   P 5 7 9 ,   D O I   1 0 . 1 1 0 9 / H I C S S . 2 0 1 3 . 1 4 3 ;   P h i l l i p s   L ,   2 0 1 4 ,   W H Y   Y O U L L   N E V E R   H E A R ;   R a i   A ,   2 0 1 6 ,   M I S   Q U A R T ,   V 4 0 ,   p I I I ;   R a y m o n d   E . ,   1 9 9 9 ,   C A T H E D R A L   B A Z A A R   M U S ;   R o w e   F ,   2 0 1 2 ,   E U R   J   I N F O R M   S Y S T ,   V 2 1 ,   P 4 6 9 ,   D O I   1 0 . 1 0 5 7 / e j i s . 2 0 1 2 . 3 8 ;   S a n g e r   L ,   2 0 0 5 ,   E A R L Y   H I S T   N U P E D I A   W ;   S a u n d e r s   C ,   2 0 0 5 ,   M I S   Q U A R T ,   V 2 9 ,   p I I I ;   S t a c k   O v e r f l o w ,   2 0 1 5 ,   B A D G ;   S u r o w i e c k i   J ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   S w o o n   R e a d s ,   2 0 1 4 ,   S W O O N   R E A D S   F A Q S   C O M ;   T a r r e l l   A ,   2 0 1 3 ,   P   1 9   A M   C   I N F   S Y S T ;   W a s k o   M M ,   2 0 0 5 ,   M I S   Q U A R T ,   V 2 9 ,   P 3 5 ;   W e n   W ,   2 0 1 3 ,   I N F O R M   S Y S T   R E S ,   V 2 4 ,   P 1 1 3 1 ,   D O I   1 0 . 1 2 8 7 / i s r e . 2 0 1 3 . 0 4 7 9 ;   W i g g i n s   A . ,   2 0 1 1 ,   P   H I C S S ,   V 4 4 ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / H I C S S . 2 0 1 1 . 2 0 7 ;   W i n t e r   S J ,   2 0 1 1 ,   J   I N F   T E C H N O L ,   V 2 6 ,   P 9 9 ,   D O I   1 0 . 1 0 5 7 / j i t . 2 0 1 1 . 6 ;   W u   H ,   2 0 1 0 ,   D E C I S   S U P P O R T   S Y S T ,   V 5 0 ,   P 2 9 2 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 0 . 0 8 . 0 3 1 ;   Z h a n g   P ,   2 0 1 3 ,   M E N D E L E Y   R E S   N E T W O R K 	 6 9 	 1 	 1 	 3 	 3 	 P A L G R A V E   M A C M I L L A N   L T D 	 B A S I N G S T O K E 	 B R U N E L   R D   B L D G ,   H O U N D M I L L S ,   B A S I N G S T O K E   R G 2 1   6 X S ,   H A N T S ,   E N G L A N D 	 0 9 6 0 - 0 8 5 X 	 1 4 7 6 - 9 3 4 4 	 	 E U R   J   I N F O R M   S Y S T 	 E u r .   J .   I n f o r m .   S y s t . 	 M A Y 	 2 0 1 7 	 2 6 	 3 	 	 	 	 	 3 1 5 	 3 3 2 	 	 1 0 . 1 0 5 7 / s 4 1 3 0 3 - 0 1 7 - 0 0 3 6 - 3 	 	 1 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 C o m p u t e r   S c i e n c e ;   I n f o r m a t i o n   S c i e n c e   &   L i b r a r y   S c i e n c e 	 E V 6 H Q 	 W O S : 0 0 0 4 0 1 8 7 0 9 0 0 0 0 8 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 W a n g ,   T Y ;   W a n g ,   G ;   W a n g ,   B ;   S a m b a s i v a n ,   D ;   Z h a n g ,   Z B ;   L i ,   X ;   Z h e n g ,   H T ;   Z h a o ,   B Y 	 	 	 	 W a n g ,   T i a n y i ;   W a n g ,   G a n g ;   W a n g ,   B o l u n ;   S a m b a s i v a n ,   D i v y a ;   Z h a n g ,   Z e n g b i n ;   L i ,   X i n g ;   Z h e n g ,   H a i t a o ;   Z h a o ,   B e n   Y . 	 	 	 V a l u e   a n d   M i s i n f o r m a t i o n   i n   C o l l a b o r a t i v e   I n v e s t i n g   P l a t f o r m s 	 A C M   T R A N S A C T I O N S   O N   T H E   W E B 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M e a s u r e m e n t ;   M a n a g e m e n t ;   D e s i g n ;   C r o w d s o u r c i n g ;   s t o c k   m a r k e t ;   s e n t i m e n t   a n a l y s i s 	 	 I t   i s   o f t e n   d i f f i c u l t   t o   s e p a r a t e   t h e   h i g h l y   c a p a b l e   " e x p e r t s "   f r o m   t h e   a v e r a g e   w o r k e r   i n   c r o w d s o u r c e d   s y s t e m s .   T h i s   i s   e s p e c i a l l y   t r u e   f o r   c h a l l e n g e   a p p l i c a t i o n   d o m a i n s   t h a t   r e q u i r e   e x t e n s i v e   d o m a i n   k n o w l e d g e .   T h e   p r o b l e m   o f   s t o c k   a n a l y s i s   i s   o n e   s u c h   d o m a i n ,   w h e r e   e v e n   t h e   h i g h l y   p a i d ,   w e l l - e d u c a t e d   d o m a i n   e x p e r t s   a r e   p r o n e   t o   m a k e   m i s t a k e s .   A s   a n   e x t r e m e l y   c h a l l e n g i n g   p r o b l e m   s p a c e ,   t h e   " w i s d o m   o f   t h e   c r o w d s "   p r o p e r t y   t h a t   m a n y   c r o w d s o u r c e d   a p p l i c a t i o n s   r e l y   o n   m a y   n o t   h o l d .   I n   t h i s   a r t i c l e ,   w e   s t u d y   t h e   p r o b l e m   o f   e v a l u a t i n g   a n d   i d e n t i f y i n g   e x p e r t s   i n   t h e   c o n t e x t   o f   S e e k i n g A l p h a   a n d   S t o c k T w i t s ,   t w o   c r o w d s o u r c e d   i n v e s t m e n t   s e r v i c e s   t h a t   h a v e   r e c e n t l y   b e g u n   t o   e n c r o a c h   o n   a   s p a c e   d o m i n a t e d   f o r   d e c a d e s   b y   l a r g e   i n v e s t m e n t   b a n k s .   W e   s e e k   t o   u n d e r s t a n d   t h e   q u a l i t y   a n d   i m p a c t   o f   c o n t e n t   o n   c o l l a b o r a t i v e   i n v e s t m e n t   p l a t f o r m s ,   b y   e m p i r i c a l l y   a n a l y z i n g   c o m p l e t e   d a t a s e t s   o f   S e e k i n g A l p h a   a r t i c l e s   ( 9   y e a r s )   a n d   S t o c k T w i t s   m e s s a g e s   ( 4   y e a r s ) .   W e   d e v e l o p   s e n t i m e n t   a n a l y s i s   t o o l s   a n d   c o r r e l a t e   c o n t r i b u t e d   c o n t e n t   t o   t h e   h i s t o r i c a l   p e r f o r m a n c e   o f   r e l e v a n t   s t o c k s .   W h i l e   S e e k i n g A l p h a   a r t i c l e s   a n d   S t o c k T w i t s   m e s s a g e s   p r o v i d e   m i n i m a l   c o r r e l a t i o n   t o   s t o c k   p e r f o r m a n c e   i n   a g g r e g a t e ,   a   s u b s e t   o f   e x p e r t s   c o n t r i b u t e   m o r e   v a l u a b l e   ( p r e d i c t i v e )   c o n t e n t .   W e   s h o w   t h a t   t h e s e   a u t h o r s   c a n   b e   e a s i l y   i d e n t i f i e d   b y   u s e r   i n t e r a c t i o n s ,   a n d   i n v e s t m e n t s   b a s e d   o n   t h e i r   a n a l y s i s   s i g n i f i c a n t l y   o u t p e r f o r m   b r o a d e r   m a r k e t s .   T h i s   e f f e c t i v e l y   s h o w s   t h a t   e v e n   i n   c h a l l e n g i n g   a p p l i c a t i o n   d o m a i n s ,   t h e r e   i s   a   s e c o n d a r y   o r   i n d i r e c t   w i s d o m   o f   t h e   c r o w d s .   F i n a l l y ,   w e   c o n d u c t   a   u s e r   s u r v e y   t h a t   s h e d s   l i g h t   o n   u s e r s '   v i e w s   o f   S e e k i n g A l p h a   c o n t e n t   a n d   s t o c k   m a n i p u l a t i o n .   W e   a l s o   d e v o t e   e f f o r t s   t o   i d e n t i f y   p o t e n t i a l   m a n i p u l a t i o n   o f   s t o c k s   b y   d e t e c t i n g   a u t h o r s   c o n t r o l l i n g   m u l t i p l e   i d e n t i t i e s . 	 [ W a n g ,   T i a n y i ;   L i ,   X i n g ]   T s i n g h u a   U n i v ,   E l e c t   E n g n ,   B e i j i n g ,   P e o p l e s   R   C h i n a ;   [ W a n g ,   T i a n y i ;   W a n g ,   G a n g ;   W a n g ,   B o l u n ;   S a m b a s i v a n ,   D i v y a ;   Z h a n g ,   Z e n g b i n ;   Z h e n g ,   H a i t a o ;   Z h a o ,   B e n   Y . ]   U n i v   C a l i f   S a n t a   B a r b a r a ,   D e p t   C o m p   S c i ,   S a n t a   B a r b a r a ,   C A   9 3 1 0 6   U S A ;   [ W a n g ,   G a n g ]   V i r g i n i a   T e c h ,   B l a c k s b u r g ,   V A   U S A 	 W a n g ,   T Y   ( r e p r i n t   a u t h o r ) ,   T s i n g h u a   U n i v ,   E l e c t   E n g n ,   B e i j i n g ,   P e o p l e s   R   C h i n a . ;   W a n g ,   T Y   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   S a n t a   B a r b a r a ,   D e p t   C o m p   S c i ,   S a n t a   B a r b a r a ,   C A   9 3 1 0 6   U S A . 	 t s i n g h u a w t y @ g m a i l . c o m ;   g a n g w @ c s . u c s b . e d u ;   b o l u n w a n g @ c s . u c s b . e d u ;   d i v y a _ s a m b a s i v a n @ c s . u c s b . e d u ;   z e n g b i n @ c s . u c s b . e d u ;   x i n g @ c e r n e t . e d u . c n ;   h t z h e n g @ c s . u c s b . e d u ;   r a v e n b e n @ c s . u c s b . e d u 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ I I S - 1 3 2 1 0 8 3 ,   C N S - 1 2 2 4 1 0 0 ] ;   D A R P A   G R A P H S   p r o g r a m   [ B A A - 1 2 - 0 1 ] ;   D e p a r t m e n t   o f   S t a t e 	 T h i s   w o r k   i s   s u p p o r t e d   i n   p a r t   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   u n d e r   g r a n t s   I I S - 1 3 2 1 0 8 3   a n d   C N S - 1 2 2 4 1 0 0 ,   b y   t h e   D A R P A   G R A P H S   p r o g r a m   ( B A A - 1 2 - 0 1 ) ,   a n d   b y   t h e   D e p a r t m e n t   o f   S t a t e .   A n y   o p i n i o n s ,   f i n d i n g s ,   a n d   c o n c l u s i o n s   o r   r e c o m m e n d a t i o n s   e x p r e s s e d   i n   t h i s   m a t e r i a l   a r e   t h o s e   o f   t h e   a u t h o r s   a n d   d o   n o t   n e c e s s a r i l y   r e f l e c t   t h e   v i e w s   o f   a n y   f u n d i n g   a g e n c i e s . 	 A b b a s i   A ,   2 0 0 8 ,   A C M   T   I N F O R M   S Y S T ,   V 2 6 ,   D O I   1 0 . 1 1 4 5 / 1 3 6 1 6 8 4 . 1 3 6 1 6 8 5 ;   A d a m i c   L a d a   A . ,   2 0 0 8 ,   P   W O R L D   W I D   W E B   W W W ;   A f r o z   S a d i a ,   2 0 1 2 ,   P   I E E E   S   P ;   A k o g l u   L e m a n ,   2 0 1 3 ,   P   I C W S M ;   B a r b o s a   L u c i a n o ,   2 0 1 0 ,   P   C O L I N G ;   B a r - H a i m   R o y ,   2 0 1 1 ,   P   E M N L P ;   B e n e v e n u t o   F a b r i c i o ,   2 0 1 0 ,   P   C E A S ;   B h a r g a v a   M u d i t ,   2 0 1 3 ,   P   2   I N T   C   B I G   D A T   A N ,   P 3 7 ;   V i s w a n a t h   B i m a l ,   2 0 1 0 ,   P   S I G C O M M ;   B i n g   L i u ,   2 0 1 2 ,   S Y N T H E S I S   L E C T   H U M A N ,   V 5 ,   P 1 ;   B o   P a n g ,   2 0 0 2 ,   P   A C L ;   B o   P a n g ,   2 0 0 8 ,   F o u n d a t i o n s   a n d   T r e n d s   i n   I n f o r m a t i o n   R e t r i e v a l ,   V 2 ,   P 1 ,   D O I   1 0 . 1 5 6 1 / 1 5 0 0 0 0 0 0 0 1 ;   B o l l e n   J ,   2 0 1 1 ,   J   C O M P U T   S C I - N E T H ,   V 2 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . j o c s . 2 0 1 0 . 1 2 . 0 0 7 ;   B r o w n   E r i c   D . ,   2 0 1 2 ,   P   S A I S ;   C h e n   H L ,   2 0 1 4 ,   R E V   F I N A N C   S T U D ,   V 2 7 ,   P 1 3 6 7 ,   D O I   1 0 . 1 0 9 3 / r f s / h h u 0 0 1 ;   C h o n g   O h ,   2 0 1 1 ,   P   I C I S ;   D e   C h o u d h u r y   M u n m u n ,   2 0 0 8 ,   P   H Y P E R T E X T ;   D I A M O N D   D W ,   1 9 8 7 ,   J   F I N A N C   E C O N ,   V 1 8 ,   P 2 7 7 ,   D O I   1 0 . 1 0 1 6 / 0 3 0 4 - 4 0 5 X ( 8 7 ) 9 0 0 4 2 - 0 ;   E s u l i   A n d r e a ,   2 0 0 7 ,   P   A C L ;   F e u e r s t e i n   A d a m ,   2 0 1 4 ,   T H E S T R E E T   N E W S       F E B ;   F o r l i n e s   C l i f t o n ,   2 0 1 4 ,   P   C H I ;   F u n g   G a b r i e l   P u i   C h e o n g ,   2 0 0 3 ,   P   C I F E R ;   G a n g   W a n g ,   2 0 1 3 ,   P   U S E N I X   S E C ;   G a n g   W a n g ,   2 0 1 5 ,   P   C S C W ;   G a n g   W a n g ,   2 0 1 4 ,   P   U S E N I X   S E C ;   G a n g   W a n g ,   2 0 1 3 ,   P   W W W ;   G a n g   W a n g ,   2 0 1 3 ,   P   N D S S ;   G a n g   W a n g ,   2 0 1 2 ,   P   W W W ;   G a o   H o n g y u ,   2 0 1 0 ,   P   I M C ;   G e o r g e   M i k r o s   K . ,   2 0 0 7 ,   P   P A N ;   G i l b e r t   E r i c ,   2 0 1 0 ,   P   I C W S M ;   G o d b o l e   N . ,   2 0 0 7 ,   P   I C W S M ;   G o n c a l v e s   P o l l y a n n a ,   2 0 1 3 ,   P   C O S N ;   H a r p e r   F .   M a x w e l l ,   2 0 0 8 ,   P   C H I ;   I n v e s t m e n t ,   2 0 1 3 ,   T E C H N I C A L   R E P O R T ;   J a c o v i   M i c h a l ,   2 0 1 4 ,   P   C S C W ;   K a r a b u l u t   Y i g i t c a n ,   2 0 1 1 ,   S S R N   E L I B R A R Y ;   K i m   J o y ,   2 0 1 4 ,   P   C S C W ;   K i m e l m a n   J o h n ,   2 0 1 4 ,   B A R R O N S   N E W S           M A R ;   K i s h a n   S a i j e l ,   2 0 1 3 ,   B L O O M B E R G   N E W S ;   K i t t u r   A n i k e t ,   2 0 1 3 ,   P   C S C W ;   K l e i n   D a n ,   2 0 0 3 ,   P   A C L ;   L i a o   Q .   V e r a ,   2 0 1 2 ,   P   C H I ;   L i a o   W e n h u i ,   2 0 1 4 ,   S O C I A L   C O M P U T I N G   B E H ,   P 1 0 3 ,   D O I   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 0 5 5 7 9 - 4 ;   L o u g h r a n   T ,   2 0 1 1 ,   J   F I N A N C ,   V 6 6 ,   P 3 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 6 2 6 1 . 2 0 1 0 . 0 1 6 2 5 . x ;   M a k r e h c h i   M a s o u d ,   2 0 1 3 ,   P   W I   I A T ;   M o a t   H e l e n   S u s a n n a h ,   2 0 1 3 ,   S C I   R E P O R T S ,   V 3 ;   M u k h e r j e e   A . ,   2 0 1 3 ,   P   1 9   A C M   S I G K D D   I N T ,   P 6 3 2 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 4 8 7 5 7 5 . 2 4 8 7 5 8 0 ;   N a r a y a n a n   A r v i n d ,   2 0 1 2 ,   P   I E E E   S   P ;   N i c h o l s   J e f f r e y ,   2 0 1 3 ,   P   C S C W ;   O L I V E I R A   N U N O ,   2 0 1 3 ,   I N   P R O G R E S S ,   P 3 5 5 ;   O l s o n   J u d i t h   S . ,   2 0 1 4 ,   W A Y S   K N O W I N G   H C I ;   O t t e r b a c h e r   J a h n a ,   2 0 0 9 ,   P   C H I ;   P e a r s o n   K . ,   1 8 9 5 ,   P H I L O S   T   R   S O C   A ,   V 1 8 6 ,   P 3 4 3 ,   D O I   D O I   1 0 . 1 0 9 8 / R S T A . 1 8 9 5 . 0 0 1 0 ;   P e a r s o n   R i c h a r d ,   2 0 1 4 ,   S E E K I N G   A L P H A         J U L ;   P r e i s   T o b i a s ,   2 0 1 3 ,   S C I   R E P O R T S ,   V 3 ;   R a o   T u s h a r ,   2 0 1 2 ,   P   A S O N A M ;   S c h u m a k e r   R P ,   2 0 0 9 ,   A C M   T   I N F O R M   S Y S T ,   V 2 7 ,   D O I   1 0 . 1 1 4 5 / 1 4 6 2 1 9 8 . 1 4 6 2 2 0 4 ;   S h e n g   V .   S . ,   2 0 0 8 ,   P   1 4   A C M   S I G K D D   I N T ,   P 6 1 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 0 1 8 9 0 . 1 4 0 1 9 6 5 ;   S o h n   D . - N . ,   2 0 0 9 ,   P   A C L   I J C N L P   2 0 0 9   C ,   P 3 2 1 ,   D O I   1 0 . 3 1 1 5 / 1 6 6 7 5 8 3 . 1 6 6 7 6 8 2 ;   S p r e n g e r   T i m m   O . ,   2 0 1 3 ,   E U R O P E A N   F I N A N C I A L   M ;   S u n   Y u - A n ,   2 0 1 2 ,   P   C O L L   I N T ;   T a u s c z i k   Y l a   R . ,   2 0 1 4 ,   P   C S C W ;   T w e n e y   D y l a n ,   2 0 1 3 ,   V E N T U R E B E A T   N E W S   O C T ;   W a n g   A l e x   H a i ,   2 0 1 0 ,   P   S E C R Y P T ;   X u   A n b a n g ,   2 0 1 4 ,   P   C S C W ;   Y a h o o ,   2 0 1 4 ,   Y A H   F I N   A P I ;   Y u   H a i f e n g ,   2 0 0 6 ,   P   S I G C O M M ;   Z h e n g   R ,   2 0 0 6 ,   J   A M   S O C   I N F   S C I   T E C ,   V 5 7 ,   P 3 7 8 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 0 3 1 6 ;   Z h i   Y a n g ,   2 0 1 1 ,   P   I M C 	 7 0 	 0 	 0 	 0 	 0 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 1 5 5 9 - 1 1 3 1 	 1 5 5 9 - 1 1 4 X 	 	 A C M   T   W E B 	 A C M   T r a n s .   W e b 	 M A Y 	 2 0 1 7 	 1 1 	 2 	 	 	 	 	 	 	 8 	 1 0 . 1 1 4 5 / 3 0 2 7 4 8 7 	 	 3 2 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 E V 1 V P 	 W O S : 0 0 0 4 0 1 5 3 8 1 0 0 0 0 1 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 X u ,   H T ;   L i u ,   D P ;   W a n g ,   H N ;   S t a v r o u ,   A 	 	 	 	 X u ,   H a i t a o ;   L i u ,   D a i p i n g ;   W a n g ,   H a i n i n g ;   S t a v r o u ,   A n g e l o s 	 	 	 A n   E m p i r i c a l   I n v e s t i g a t i o n   o f   E c o m m e r c e - R e p u t a t i o n - E s c a l a t i o n - a s - a - S e r v i c e 	 A C M   T R A N S A C T I O N S   O N   T H E   W E B 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S e c u r i t y ;   M e a s u r e m e n t ;   E c o n o m i c s ;   H u m a n   F a c t o r s ;   E - c o m m e r c e ;   r e p u t a t i o n   m a n i p u l a t i o n ;   f a k e   t r a n s a c t i o n 	 	 I n   o n l i n e   m a r k e t s ,   a   s t o r e ' s   r e p u t a t i o n   i s   c l o s e l y   t i e d   t o   i t s   p r o f i t a b i l i t y .   S e l l e r s '   d e s i r e   t o   q u i c k l y   a c h i e v e   a   h i g h   r e p u t a t i o n   h a s   f u e l e d   a   p r o f i t a b l e   u n d e r g r o u n d   b u s i n e s s   t h a t   o p e r a t e s   a s   a   s p e c i a l i z e d   c r o w d s o u r c i n g   m a r k e t p l a c e   a n d   a c c u m u l a t e s   w e a l t h   b y   a l l o w i n g   o n l i n e   s e l l e r s   t o   h a r n e s s   h u m a n   l a b o r e r s   t o   c o n d u c t   f a k e   t r a n s a c t i o n s   t o   i m p r o v e   t h e i r   s t o r e s '   r e p u t a t i o n s .   W e   t e r m   s u c h   a n   u n d e r g r o u n d   m a r k e t   a   s e l l e r - r e p u t a t i o n - e s c a l a t i o n   ( S R E )   m a r k e t .   I n   t h i s   a r t i c l e ,   w e   i n v e s t i g a t e   t h e   i m p a c t   o f   t h e   S R E   s e r v i c e   o n   r e p u t a t i o n   e s c a l a t i o n   b y   p e r f o r m i n g   i n - d e p t h   m e a s u r e m e n t s   o f   t h e   p r e v a l e n c e   o f   t h e   S R E   s e r v i c e ,   t h e   b u s i n e s s   m o d e l   a n d   m a r k e t   s i z e   o f   S R E   m a r k e t s ,   a n d   t h e   c h a r a c t e r i s t i c s   o f   s e l l e r s   a n d   o f f e r e d   l a b o r e r s .   T o   t h i s   e n d ,   w e   h a v e   i n f i l t r a t e d   f i v e   S R E   m a r k e t s   a n d   s t u d i e d   t h e i r   o p e r a t i o n s   u s i n g   d a i l y   d a t a   c o l l e c t i o n   o v e r   a   c o n t i n u o u s   p e r i o d   o f   2   m o n t h s .   W e   i d e n t i f i e d   m o r e   t h a n   1 1 , 0 0 0   o n l i n e   s e l l e r s   p o s t i n g   a t   l e a s t   2 1 9 , 1 6 5   f a k e - p u r c h a s e   t a s k s   o n   t h e   f i v e   S R E   m a r k e t s .   T h e s e   t r a n s a c t i o n s   e a r n e d   a t   l e a s t   $ 4 6 , 4 3 8   i n   r e v e n u e   f o r   t h e   f i v e   S R E   m a r k e t s ,   a n d   t h e   t o t a l   v a l u e   o f   m e r c h a n d i s e   i n v o l v e d   e x c e e d e d   $ 3 , 4 5 2 , 5 3 0 .   O u r   s t u d y   d e m o n s t r a t e s   t h a t   o n l i n e   s e l l e r s   u s i n g   t h e   S R E   s e r v i c e   c a n   i n c r e a s e   t h e i r   s t o r e s '   r e p u t a t i o n s   a t   l e a s t   1 0   t i m e s   f a s t e r   t h a n   l e g i t i m a t e   o n e s   w h i l e   a b o u t   2 5 %   o f   t h e m   w e r e   v i s i b l y   p e n a l i z e d .   E v e n   w o r s e ,   w e   f o u n d   a   m u c h   s t e a l t h i e r   a n d   m o r e   h a z a r d o u s   s e r v i c e   t h a t   c a n ,   w i t h i n   a   s i n g l e   d a y ,   b o o s t   a   s e l l e r ' s   r e p u t a t i o n   b y   s u c h   a   d e g r e e   t h a t   w o u l d   r e q u i r e   a   l e g i t i m a t e   s e l l e r   a t   l e a s t   a   y e a r   t o   a c c o m p l i s h .   A r m e d   w i t h   o u r   a n a l y s i s   o f   t h e   o p e r a t i o n a l   c h a r a c t e r i s t i c s   o f   t h e   u n d e r g r o u n d   e c o n o m y ,   w e   o f f e r   s o m e   i n s i g h t s   i n t o   p o t e n t i a l   m i t i g a t i o n   s t r a t e g i e s .   F i n a l l y ,   w e   r e v i s i t   t h e   S R E   e c o s y s t e m   1   y e a r   l a t e r   t o   e v a l u a t e   t h e   l a t e s t   d y n a m i s m   o f   t h e   S R E   m a r k e t s ,   e s p e c i a l l y   t h e   s t a t u s e s   o f   t h e   o n l i n e   s t o r e s   o n c e   i d e n t i f i e d   t o   l a u n c h   f a k e - t r a n s a c t i o n   c a m p a i g n s   o n   t h e   S R E   m a r k e t s .   W e   o b s e r v e   t h a t   t h e   S R E   m a r k e t s   a r e   n o t   a s   a c t i v e   a s   t h e y   w e r e   1   y e a r   a g o   a n d   a b o u t   1 7 %   o f   t h e   i n v o l v e d   o n l i n e   s t o r e s   b e c o m e   i n a c c e s s i b l e   l i k e l y   b e c a u s e   t h e y   h a v e   b e e n   f o r c i b l y   s h u t   d o w n   b y   t h e   c o r r e s p o n d i n g   E - c o m m e r c e   m a r k e t p l a c e   f o r   c o n d u c t i n g   f a k e   t r a n s a c t i o n s . 	 [ X u ,   H a i t a o ]   N o r t h w e s t e r n   U n i v ,   E v a n s t o n ,   I L   6 0 2 0 8   U S A ;   [ L i u ,   D a i p i n g ;   W a n g ,   H a i n i n g ]   U n i v   D e l a w a r e ,   N e w a r k ,   D E   U S A ;   [ S t a v r o u ,   A n g e l o s ]   G e o r g e   M a s o n   U n i v ,   F a i r f a x ,   V A   2 2 0 3 0   U S A 	 X u ,   H T   ( r e p r i n t   a u t h o r ) ,   N o r t h w e s t e r n   U n i v ,   E v a n s t o n ,   I L   6 0 2 0 8   U S A . 	 h x u @ n o r t h w e s t e r n . e d u ;   d p l i u @ u d e l . e d u ;   h n w @ u d e l . e d u ;   a s t a v r o u @ g m u . e d u 	 	 	 N S F   [ C N S - 1 6 1 8 1 1 7 ] 	 T h i s   w o r k   w a s   p a r t i a l l y   s u p p o r t e d   b y   N S F   g r a n t   C N S - 1 6 1 8 1 1 7 .   A n y   o p i n i o n s ,   f i n d i n g s ,   a n d   c o n c l u s i o n s   o r   r e c o m m e n d a t i o n s   e x p r e s s e d   i n   t h i s   m a t e r i a l   a r e   t h o s e   o f   t h e   a u t h o r s   a n d   d o   n o t   n e c e s s a r i l y   r e f l e c t   t h e   v i e w s   o f   t h e   f u n d i n g   a g e n c y . 	 A k o g l u   L . ,   2 0 1 3 ,   P   7   I N T   A A A I   C   W E B L ;   B a i d u   B a i k e ,   2 0 1 2 ,   I N D   R E M O V I N G   N E G A T I V ;   C a b a l l e r o   J . ,   2 0 1 1 ,   P   2 0   U S E N I X   S E C   S ;   C h e n   Y . ,   2 0 1 5 ,   M A N A G E   S C I ,   V 5 4 ,   P 4 6 0 ;   C h r i s t i n   N . ,   2 0 1 3 ,   P   2 2   I N T   C   W O R L D   W I D ;   C h u   K . ,   2 0 1 5 ,   C N N   A L I B A B A S   F A K E   S H ;   C N N ,   2 0 1 6 ,   A M   S U E S   M O R   T H A N   1 0 0 ;   D e l l a r o c a s   C . ,   2 0 0 8 ,   S O U N D   S I L E N C E   O N L I N E ;   D i g i t a l   T r e n d s ,   2 0 1 6 ,   C O M B A T   F A K E   R E V   A M A Z ;   F r a n k l i n   J . ,   2 0 0 7 ,   P   1 4   A C M   C   C O M P   C O M M ;   G r i e r   C . ,   2 0 1 2 ,   P   1 9   A C M   C   C O M P   C O M M ;   G u o k r ,   2 0 1 5 ,   D I S   T A O B   S E L L   N E G   R A ;   H o   C . ,   2 0 1 2 ,   P   A C M   S I G K D D   W O R K S H ;   H o f f m a n   K ,   2 0 0 9 ,   A C M   C O M P U T   S U R V ,   V 4 2 ,   D O I   1 0 . 1 1 4 5 / 1 5 9 2 4 5 1 . 1 5 9 2 4 5 2 ;   I p e i r o t i s   P .   G . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ;   L e v c h e n k o   K . ,   2 0 1 1 ,   P   3 2   I E E E   S   S E C   P R I V ;   L i   J . ,   2 0 1 3 ,   P   C   E M P   M E T H   N A T   L A N ;   M a y z l i n   D ,   2 0 1 4 ,   A M   E C O N   R E V ,   V 1 0 4 ,   P 2 4 2 1 ,   D O I   1 0 . 1 2 5 7 / a e r . 1 0 4 . 8 . 2 4 2 1 ;   M c C o y   D . ,   2 0 1 2 ,   P   1 9   A C M   C   C O M P   C O M M ;   M c C o y   D . ,   2 0 1 2 ,   P   2 1   U S E N I X   S E C   S ;   M o t o y a m a   M . ,   2 0 1 0 ,   P   1 9   U S E N I X   S E C   S ;   M o t o y a m a   M . ,   2 0 1 1 ,   P   2 0   U S E N I X   S E C   S ;   M o t o y a m a   M . ,   2 0 1 1 ,   P   A C M   S I G C O M M   C   I N T ;   M u k h e r j e e   A . ,   2 0 1 3 ,   P   1 9   A C M   S I G K D D   I N T ;   N i c o l e ,   2 0 1 3 ,   O V E R V I E W   P O P U L A R   O N L ;   N o s k o   C . ,   2 0 1 4 ,   W O R K I N G   P A P E R ;   O t t   M . ,   2 0 1 2 ,   P   2 1   I N T   C   W O R L D   W I D ;   P a r k   Y . ,   2 0 1 4 ,   P   N E T W   D I S T R   S Y S T   S E ;   R a y a n a   S . ,   2 0 1 5 ,   P   2 1   A C M   S I G K D D   I N T ;   S i n a   T e c h ,   2 0 1 5 ,   4 7   T A O B   S E L L   A R   P E N ;   S i n a   W e i b o ,   2 0 1 6 ,   T A O B   S E L L   N E G   R A T ;   S o h u   T e c h ,   2 0 1 5 ,   A L   T E R M   P A R T N   1 1   S H I ;   S t r i n g h i n i   G . ,   2 0 1 3 ,   P   A C M   S I G C O M M   C   I N T ;   S w a m y n a t h a n   G ,   2 0 1 0 ,   E L E C T R O N   C O M M E R   R E S ,   V 1 0 ,   P 2 3 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 6 0 - 0 1 0 - 9 0 6 4 - y ;   T a o b a o   F o r u m ,   2 0 1 3 ,   S R E   O P   M A K   M O N ;   T A O D A I S H A N ,   2 0 1 6 ,   M A R K   H E L P   R E M   N E G   R A ;   T e c h   C r u n c h ,   2 0 1 6 ,   A M   S U E S   S E L L   B U Y I N G ;   T e n c e n t   T e c h ,   2 0 1 5 ,   U N D   I N D ;   T h o m a s   K . ,   2 0 1 3 ,   P   2 2   U S E N I X   S E C   S ;   T h o m a s   K . ,   2 0 1 1 ,   P   A C M   S I G C O M M   C   I N T ;   T i a n y a   B B S ,   2 0 1 1 ,   T I A N Y A   B B S ;   W o r l d   B a n k ,   2 0 1 4 ,   G D P   P E R   C A P ;   P a v i e   X a v i e r ,   2 0 1 6 ,   7   R E A S   A L   S U C C ;   X u   H . ,   2 0 1 5 ,   P   2 4   I N T   C   W O R L D   W I D ;   Z H O N G C H A P I N G X G ,   2 0 1 6 ,   M A R K   H E L P   R E M   N E G   R A ;   [ A n o n y m o u s ] ,   2 0 1 6 ,   B B C   B U S I N E S S 	 4 6 	 0 	 0 	 1 	 1 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 1 5 5 9 - 1 1 3 1 	 1 5 5 9 - 1 1 4 X 	 	 A C M   T   W E B 	 A C M   T r a n s .   W e b 	 M A Y 	 2 0 1 7 	 1 1 	 2 	 	 	 	 	 	 	 1 3 	 1 0 . 1 1 4 5 / 2 9 8 3 6 4 6 	 	 3 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 E V 1 V P 	 W O S : 0 0 0 4 0 1 5 3 8 1 0 0 0 0 6 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 R y v k i n ,   D ;   S e r r a ,   D ;   T r e m e w a n c ,   J 	 	 	 	 R y v k i n ,   D m i t r y ;   S e r r a ,   D a n i l a ;   T r e m e w a n ,   J a m e s 	 	 	 I   p a i d   a   b r i b e :   A n   e x p e r i m e n t   o n   i n f o r m a t i o n   s h a r i n g   a n d   e x t o r t i o n a r y   c o r r u p t i o n 	 E U R O P E A N   E C O N O M I C   R E V I E W 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 I n f o r m a t i o n   s h a r i n g ;   E x t o r t i o n a r y   c o r r u p t i o n ;   E x p e r i m e n t ;   C r o w d s o u r c i n g 	 P R I C E   D I S P E R S I O N ;   F I E L D   E X P E R I M E N T ;   C O N S U M E R   S E A R C H ;   R E P U T A T I O N ;   I N D O N E S I A ;   C O S T S ;   E B A Y ;   A V E R S I O N ;   R E V I E W S ;   P E O P L E 	 T h e o r e t i c a l   a n d   e m p i r i c a l   r e s e a r c h   o n   c o r r u p t i o n   h a s   f l o u r i s h e d   i n   t h e   l a s t   t h r e e   d e c a d e s ;   h o w e v e r ,   i d e n t i f y i n g   s u c c e s s f u l   a n t i - c o r r u p t i o n   p o l i c i e s   r e m a i n s   a   c h a l l e n g e .   I n   t h i s   p a p e r   w e   a s k   w h e t h e r   b o t t o m - u p   i n s t i t u t i o n s   t h a t   r e l y   o n   v o l u n t a r y   a n d   a n o n y m o u s   r e p o r t s   o f   b r i b e   d e m a n d s ,   s u c h   a s   t h e   I   p a i d   a   b r i b e   w e b s i t e   f i r s t   l a u n c h e d   i n   I n d i a   i n   2 0 1 0 ,   c o u l d   a c t   a s   e f f e c t i v e   a n t i - c o r r u p t i o n   t o o l s ,   a n d ,   i f   t h i s   i s   t h e   c a s e ,   w h e t h e r   a n d   h o w   t h e i r   e f f e c t i v e n e s s   c o u l d   b e   i m p r o v e d .   W e   o v e r c o m e   m e a s u r e m e n t   a n d   i d e n t i f i c a t i o n   p r o b l e m s   b y   a d d r e s s i n g   o u r   r e s e a r c h   q u e s t i o n s   i n   t h e   l a b o r a t o r y .   O u r   r e s u l t s   s h o w   t h a t   t h e   p r e s e n c e   o f   a   r e p o r t i n g   p l a t f o r m   l i k e   t h e   I   p a i d   a   b r i b e   w e b s i t e   m a y   b e   i n s u f f i c i e n t   t o   s y s t e m a t i c a l l y   l o w e r   b r i b e r y .   A   m o r e   e f f e c t i v e   p l a t f o r m   i s   o n e   w h e r e   p o s t s   d i s c l o s e   s p e c i f i c   i n f o r m a t i o n   a b o u t   t h e   s i z e   o f   t h e   b r i b e s   a n d   t h e   l o c a t i o n   o f   t h e i r   r e q u e s t o r s ,   i . e . ,   a   p l a t f o r m   t h a t   c o u l d   s e r v e   a s   a   s e a r c h   e n g i n e   f o r   t h e   l e a s t   c o r r u p t   o f f i c i a l s ,   e s p e c i a l l y   i f   p o s t i n g   i s   r e s t r i c t e d   t o   s e r v i c e   r e c i p i e n t s .   O u r   r e s u l t s   a l s o   s h o w   t h a t   w h i l e   c i t i z e n s   r a r e l y   p o s t   f a l s e   i n f o r m a t i o n ,   l y i n g   b y   o f f i c i a l s ,   w h e n   a l l o w e d   t o   p o s t   o n   t h e   p l a t f o r m ,   i s   w i d e s p r e a d .   ( C )   2 0 1 7   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ R y v k i n ,   D m i t r y ]   F l o r i d a   S t a t e   U n i v ,   D e p t   E c o n ,   1 1 3   C o l l e g i a t e   L o o p ,   T a l l a h a s s e e ,   F L   3 2 3 0 6   U S A ;   [ S e r r a ,   D a n i l a ]   S o u t h e r n   M e t h o d i s t   U n i v ,   D e p t   E c o n ,   U m p h r e y   L e e   C t r ,   3 3 0 0   D y e r   S t , S u i t e   3 0 1 C ,   D a l l a s ,   T X   7 5 2 7 5   U S A ;   [ T r e m e w a n ,   J a m e s ]   U n i v   V i e n n a ,   D e p t   E c o n ,   O s k a r   M o r g e n s t e r n   P l   1 ,   A - 1 0 9 0   V i e n n a ,   A u s t r i a 	 R y v k i n ,   D   ( r e p r i n t   a u t h o r ) ,   F l o r i d a   S t a t e   U n i v ,   D e p t   E c o n ,   1 1 3   C o l l e g i a t e   L o o p ,   T a l l a h a s s e e ,   F L   3 2 3 0 6   U S A . 	 d y v k i n @ f s u . e d u ;   d s e r r a @ s m u . e d u ;   j a m e s . t r e m e w a n @ u n i v i e . a c . a t 	 	 	 	 	 A b b i n k   K ,   2 0 0 2 ,   J   L A W   E C O N   O R G A N ,   V 1 8 ,   P 4 2 8 ,   D O I   1 0 . 1 0 9 3 / j l e o / 1 8 . 2 . 4 2 8 ;   A b b i n k   K ,   2 0 1 4 ,   J   P U B L I C   E C O N ,   V 1 1 1 ,   P 1 7 ,   D O I   1 0 . 1 0 1 6 / j . j p u b e c o . 2 0 1 3 . 1 2 . 0 1 2 ;   A n d e r s o n   E T ,   2 0 1 3 ,   J   M A R K E T I N G   R E S ,   V 5 0 ,   P 4 8 9 ;   A n d e r s o n   M ,   2 0 1 2 ,   E C O N   J ,   V 1 2 2 ,   P 9 5 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 0 2 9 7 . 2 0 1 2 . 0 2 5 1 2 . x ;   A r m a n t i e r   O ,   2 0 1 3 ,   E C O N   J ,   V 1 2 3 ,   P 1 1 6 8 ,   D O I   1 0 . 1 1 1 1 / e c o j . 1 2 0 1 9 ;   B a n e r j e e   A V ,   2 0 1 0 ,   A M   E C O N   J - E C O N   P O L I C ,   V 2 ,   P 1 ,   D O I   1 0 . 1 2 5 7 / p o l . 2 . 1 . 1 ;   B a n u r i   S ,   2 0 1 5 ,   S O C   C H O I C E   W E L F A R E ,   V 4 5 ,   P 5 7 9 ,   D O I   1 0 . 1 0 0 7 / s 0 0 3 5 5 - 0 1 5 - 0 8 8 3 - 6 ;   B a r d h a n   P ,   1 9 9 7 ,   J   E C O N   L I T ,   V 3 5 ,   P 1 3 2 0 ;   B a r r   A ,   2 0 1 0 ,   J   P U B L I C   E C O N ,   V 9 4 ,   P 8 6 2 ,   D O I   1 0 . 1 0 1 6 / j . j p u b e c o . 2 0 1 0 . 0 7 . 0 0 6 ;   B i k h c h a n d a n i   S ,   1 9 9 6 ,   J   E C O N   D Y N   C O N T R O L ,   V 2 0 ,   P 3 3 3 ,   D O I   1 0 . 1 0 1 6 / 0 1 6 5 - 1 8 8 9 ( 9 4 ) 0 0 8 5 4 - 7 ;   B j o r k m a n   M ,   2 0 1 0 ,   J   E U R   E C O N   A S S O C ,   V 8 ,   P 5 7 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 2 - 4 7 7 4 . 2 0 1 0 . t b 0 0 5 2 7 . x ;   B o l t o n   G ,   2 0 1 3 ,   M A N A G E   S C I ,   V 5 9 ,   P 2 6 5 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 2 0 . 1 6 0 9 ;   B U R D E T T   K ,   1 9 8 3 ,   E C O N O M E T R I C A ,   V 5 1 ,   P 9 5 5 ,   D O I   1 0 . 2 3 0 7 / 1 9 1 2 0 4 5 ;   C a b r a l   L ,   2 0 1 0 ,   J   I N D   E C O N ,   V 5 8 ,   P 5 4 ;   C a m e r e r   C . ,   2 0 1 1 ,   W O R K I N G   P A P E R ;   C a m e r o n   L ,   2 0 0 9 ,   J   P U B L I C   E C O N ,   V 9 3 ,   P 8 4 3 ,   D O I   1 0 . 1 0 1 6 / j . j p u b e c o . 2 0 0 9 . 0 3 . 0 0 4 ;   C a s o n   T N ,   2 0 0 3 ,   J   E C O N   T H E O R Y ,   V 1 1 2 ,   P 2 3 2 ,   D O I   1 0 . 1 0 1 6 / S 0 0 2 2 - 0 5 3 1 ( 0 3 ) 0 0 1 2 7 - 3 ;   C h a u d h u r y   N ,   2 0 0 6 ,   J   E C O N   P E R S P E C T ,   V 2 0 ,   P 9 1 ,   D O I   1 0 . 1 2 5 7 / 0 8 9 5 3 3 0 0 6 7 7 6 5 2 6 0 5 8 ;   C h e v a l i e r   J A ,   2 0 0 6 ,   J   M A R K E T I N G   R E S ,   V 4 3 ,   P 3 4 5 ,   D O I   1 0 . 1 5 0 9 / j m k r . 4 3 . 3 . 3 4 5 ;   D a v i s   D D ,   1 9 9 6 ,   E C O N   I N Q ,   V 3 4 ,   P 1 3 3 ;   D I A M O N D   P A ,   1 9 7 1 ,   J   E C O N   T H E O R Y ,   V 3 ,   P 1 5 6 ,   D O I   1 0 . 1 0 1 6 / 0 0 2 2 - 0 5 3 1 ( 7 1 ) 9 0 0 1 3 - 5 ;   D u f l o   E ,   2 0 1 5 ,   J   P U B L I C   E C O N ,   V 1 2 3 ,   P 9 2 ,   D O I   1 0 . 1 0 1 6 / j . j p u b e c o . 2 0 1 4 . 1 1 . 0 0 8 ;   F i s c h b a c h e r   U ,   2 0 0 7 ,   E X P   E C O N ,   V 1 0 ,   P 1 7 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 8 3 - 0 0 6 - 9 1 5 9 - 4 ;   G n e e z y   U ,   2 0 1 3 ,   J   E C O N   B E H A V   O R G A N ,   V 9 3 ,   P 2 9 3 ,   D O I   1 0 . 1 0 1 6 / j . j e b o . 2 0 1 3 . 0 3 . 0 2 5 ;   G r e i n e r   B . ,   2 0 1 5 ,   J   E C   S C I   A S S ,   V 1 ,   P 1 1 4 ,   D O I   D O I   1 0 . 1 0 0 7 / S 4 0 8 8 1 - 0 1 5 - 0 0 0 4 - 4 ;   G u p t a   S . ,   1 9 9 8 ,   D O E S   C O R R U P T I O N   A F F E ;   H o l t   C A ,   2 0 0 2 ,   A M   E C O N   R E V ,   V 9 2 ,   P 1 6 4 4 ,   D O I   1 0 . 1 2 5 7 / 0 0 0 2 8 2 8 0 2 7 6 2 0 2 4 7 0 0 ;   H o u s e r   D ,   2 0 0 6 ,   J   E C O N   M A N A G E   S T R A T ,   V 1 5 ,   P 3 5 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 3 0 - 9 1 3 4 . 2 0 0 6 . 0 0 1 0 3 . x ;   H u n t   J ,   2 0 0 7 ,   J   D E V   E C O N ,   V 8 4 ,   P 5 7 4 ,   D O I   1 0 . 1 0 1 6 / j . j d e v e c o . 2 0 0 7 . 0 2 . 0 0 3 ;   K e s s l e r   J . ,   2 0 1 1 ,   E X T E R N A L   V A L I D I T Y   L A ;   L a f k y   J ,   2 0 1 4 ,   G A M E   E C O N   B E H A V ,   V 8 7 ,   P 5 5 4 ,   D O I   1 0 . 1 0 1 6 / j . g e b . 2 0 1 4 . 0 2 . 0 0 8 ;   L u c a   M . ,   2 0 1 3 ,   1 4 0 0 6   H A R V   B U S   S C H   N ;   M a s c l e t   D ,   2 0 1 2 ,   A P P L   E C O N ,   V 4 4 ,   P 4 5 5 3 ,   D O I   1 0 . 1 0 8 0 / 0 0 0 3 6 8 4 6 . 2 0 1 1 . 5 9 1 7 4 0 ;   M A U R O   P ,   1 9 9 5 ,   Q   J   E C O N ,   V 1 1 0 ,   P 6 8 1 ,   D O I   1 0 . 2 3 0 7 / 2 9 4 6 6 9 6 ;   M a y z l i n   D . ,   2 0 1 2 ,   T E C H N I C A L   R E P O R T ;   M e o n   P G ,   2 0 0 5 ,   P U B L I C   C H O I C E ,   V 1 2 2 ,   P 6 9 ,   D O I   1 0 . 1 0 0 7 / s 1 1 1 2 7 - 0 0 5 - 3 9 8 8 - 0 ;   M o r g a n   J ,   2 0 0 6 ,   G A M E   E C O N   B E H A V ,   V 5 4 ,   P 1 3 4 ,   D O I   1 0 . 1 0 1 6 / j . g e b . 2 0 0 4 . 0 7 . 0 0 5 ;   O l k e n   B A ,   2 0 0 6 ,   J   P U B L I C   E C O N ,   V 9 0 ,   P 8 5 3 ,   D O I   1 0 . 1 0 1 6 / j . j p u b e c o . 2 0 0 5 . 0 5 . 0 0 4 ;   O l k e n   B A ,   2 0 0 7 ,   J   P O L I T   E C O N ,   V 1 1 5 ,   P 2 0 0 ,   D O I   1 0 . 1 0 8 6 / 5 1 7 9 3 5 ;   P r a d h a n   M ,   2 0 1 4 ,   A M   E C O N   J - A P P L   E C O N ,   V 6 ,   P 1 0 5 ,   D O I   1 0 . 1 2 5 7 / a p p . 6 . 2 . 1 0 5 ;   R e i n i k k a   R ,   2 0 0 4 ,   Q   J   E C O N ,   V 1 1 9 ,   P 6 7 9 ,   D O I   1 0 . 1 1 6 2 / 0 0 3 3 5 5 3 0 4 1 3 8 2 1 2 0 ;   R e s n i c k   P ,   2 0 0 6 ,   E X P   E C O N ,   V 9 ,   P 7 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 6 8 3 - 0 0 6 - 4 3 0 9 - 2 ;   R o c k e n b a c h   B ,   2 0 1 2 ,   J   E C O N   B E H A V   O R G A N ,   V 8 1 ,   P 6 8 9 ,   D O I   1 0 . 1 0 1 6 / j . j e b o . 2 0 1 1 . 1 0 . 0 0 9 ;   R y v k i n   D . ,   2 0 1 6 ,   I N D   O R G   C O R R U P   U N P U B ;   R y v k i n   D . ,   2 0 1 5 ,   I S   M O R E   C O M P E T I T I O N ;   R y v k i n   D ,   2 0 1 2 ,   J   E C O N   B E H A V   O R G A N ,   V 8 1 ,   P 4 6 6 ,   D O I   1 0 . 1 0 1 6 / j . j e b o . 2 0 1 1 . 0 7 . 0 0 4 ;   S a l m o n   T . ,   2 0 1 6 ,   W O R K I N G   P A P E R ;   S e q u e i r a   S . ,   2 0 1 2 ,   A D V   M E A S U R I N G   C O R R U P ,   P 1 4 5 ;   S e q u e i r a   S . ,   2 0 1 3 ,   W O R K I N G   P A P E R ;   S e r r a   D ,   2 0 0 6 ,   P U B L I C   C H O I C E ,   V 1 2 6 ,   P 2 2 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 1 2 7 - 0 0 6 - 0 2 8 6 - 4 ;   S e r r a   D ,   2 0 1 2 ,   R E S   E X P   E C O N ,   V 1 5 ,   P 1 ;   S e r r a   D ,   2 0 1 2 ,   J   L A W   E C O N   O R G A N ,   V 2 8 ,   P 5 6 9 ,   D O I   1 0 . 1 0 9 3 / j l e o / e w r 0 1 0 ;   S T A H L   D O ,   1 9 8 9 ,   A M   E C O N   R E V ,   V 7 9 ,   P 7 0 0 ;   T a n z i   V . ,   1 9 9 8 ,   C O R R U P T I O N   P U B L I C   I N ;   T r e i s m a n   D ,   2 0 0 0 ,   J   P U B L I C   E C O N ,   V 7 6 ,   P 3 9 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 7 - 2 7 2 7 ( 9 9 ) 0 0 0 9 2 - 4 ;   W o r l d   B a n k ,   2 0 0 4 ,   M A K   S E R V   W O R K   P O O R   P ;   Y e   Q ,   2 0 0 9 ,   I N T   J   H O S P   M A N A G ,   V 2 8 ,   P 1 8 0 ,   D O I   1 0 . 1 0 1 6 / j . i j h m . 2 0 0 8 . 0 6 . 0 1 1 	 5 7 	 0 	 0 	 1 	 1 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 0 1 4 - 2 9 2 1 	 1 8 7 3 - 5 7 2 X 	 	 E U R   E C O N   R E V 	 E u r .   E c o n .   R e v . 	 M A Y 	 2 0 1 7 	 9 4 	 	 	 	 	 	 1 	 2 2 	 	 1 0 . 1 0 1 6 / j . e u r o e c o r e v . 2 0 1 7 . 0 2 . 0 0 3 	 	 2 2 	 E c o n o m i c s 	 B u s i n e s s   &   E c o n o m i c s 	 E U 7 I C 	 W O S : 0 0 0 4 0 1 2 0 7 5 0 0 0 0 1 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 A l i ,   A L ;   F a l o m i r ,   Z ;   S c h m i d ,   F ;   F r e k s a ,   C 	 	 	 	 A l i ,   A h m e d   L o a i ;   F a l o m i r ,   Z o e ;   S c h m i d ,   F a l k o ;   F r e k s a ,   C h r i s t i a n 	 	 	 R u l e - g u i d e d   h u m a n   c l a s s i f i c a t i o n   o f   V o l u n t e e r e d   G e o g r a p h i c   I n f o r m a t i o n 	 I S P R S   J O U R N A L   O F   P H O T O G R A M M E T R Y   A N D   R E M O T E   S E N S I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 V o l u n t e e r e d   G e o g r a p h i c   I n f o r m a t i o n   ( V G I ) ;   S p a t i a l   d a t a   q u a l i t y ;   S p a t i a l   d a t a   m i n i n g ;   C l a s s i f i c a t i o n ;   T o p o l o g y ;   Q u a l i t a t i v e   s p a t i a l   r e a s o n i n g 	 Q U A L I T A T I V E   R E P R E S E N T A T I O N S ;   I M A G E - A N A L Y S I S ;   O P E N S T R E E T M A P ;   M A P S ;   S C I E N C E ;   R E G I O N 	 D u r i n g   t h e   l a s t   d e c a d e ,   w e b   t e c h n o l o g i e s   a n d   l o c a t i o n   s e n s i n g   d e v i c e s   h a v e   e v o l v e d   g e n e r a t i n g   a   f o r m   o f   c r o w d s o u r c i n g   k n o w n   a s   V o l u n t e e r e d   G e o g r a p h i c   I n f o r m a t i o n   ( V G I ) .   V G I   a c t e d   a s   a   p l a t f o r m   o f   s p a t i a l   d a t a   c o l l e c t i o n ,   i n   p a r t i c u l a r ,   w h e n   a   g r o u p   o f   p u b l i c   p a r t i c i p a n t s   a r e   i n v o l v e d   i n   c o l l a b o r a t i v e   m a p p i n g   a c t i v i t i e s :   t h e y   w o r k   t o g e t h e r   t o   c o l l e c t ,   s h a r e ,   a n d   u s e   i n f o r m a t i o n   a b o u t   g e o g r a p h i c   f e a t u r e s .   V G I   e x p l o i t s   p a r t i c i p a n t s '   l o c a l   k n o w l e d g e   t o   p r o d u c e   r i c h   d a t a   s o u r c e s .   H o w e v e r ,   t h e   r e s u l t i n g   d a t a   i n h e r i t s   p r o b l e m a t i c   d a t a   c l a s s i f i c a t i o n .   I n   V G I   p r o j e c t s ,   t h e   c h a l l e n g e s   o f   d a t a   c l a s s i f i c a t i o n   a r e   d u e   t o   t h e   f o l l o w i n g :   ( i )   d a t a   i s   l i k e l y   p r o n e   t o   s u b j e c t i v e   c l a s s i f i c a t i o n ,   ( i i )   r e m o t e   c o n t r i b u t i o n s   a n d   f l e x i b l e   c o n t r i b u t i o n   m e c h a n i s m s   i n   m o s t   p r o j e c t s ,   a n d   ( i i i )   t h e   u n c e r t a i n t y   o f   s p a t i a l   d a t a   a n d   n o n - s t r i c t   d e f i n i t i o n s   o f   g e o g r a p h i c   f e a t u r e s .   T h e s e   f a c t o r s   l e a d   t o   v a r i o u s   f o r m s   o f   p r o b l e m a t i c   c l a s s i f i c a t i o n :   i n c o n s i s t e n t ,   i n c o m p l e t e ,   a n d   i m p r e c i s e   d a t a   c l a s s i f i c a t i o n .   T h i s   r e s e a r c h   a d d r e s s e s   c l a s s i f i c a t i o n   a p p r o p r i a t e n e s s .   W h e t h e r   t h e   c l a s s i f i c a t i o n   o f   a n   e n t i t y   i s   a p p r o p r i a t e   o r   i n a p p r o p r i a t e   i s   r e l a t e d   t o   q u a n t i t a t i v e   a n d / o r   q u a l i t a t i v e   o b s e r v a t i o n s .   S m a l l   d i f f e r e n c e s   b e t w e e n   o b s e r v a t i o n s   m a y   b e   n o t   r e c o g n i z a b l e   p a r t i c u l a r l y   f o r   n o n - e x p e r t   p a r t i c i p a n t s .   H e n c e ,   i n   t h i s   p a p e r ,   t h e   p r o b l e m   i s   t a c k l e d   b y   d e v e l o p i n g   a   r u l e - g u i d e d   c l a s s i f i c a t i o n   a p p r o a c h .   T h i s   a p p r o a c h   e x p l o i t s   d a t a   m i n i n g   t e c h n i q u e s   o f   A s s o c i a t i o n   C l a s s i f i c a t i o n   ( A C )   t o   e x t r a c t   d e s c r i p t i v e   ( q u a l i t a t i v e )   r u l e s   o f   s p e c i f i c   g e o g r a p h i c   f e a t u r e s .   T h e   r u l e s   a r e   e x t r a c t e d   b a s e d   o n   t h e   i n v e s t i g a t i o n   o f   q u a l i t a t i v e   t o p o l o g i c a l   r e l a t i o n s   b e t w e e n   t a r g e t   f e a t u r e s   a n d   t h e i r   c o n t e x t .   A f t e r w a r d s ,   t h e   e x t r a c t e d   r u l e s   a r e   u s e d   t o   d e v e l o p   a   r e c o m m e n d a t i o n   s y s t e m   a b l e   t o   g u i d e   p a r t i c i p a n t s   t o   t h e   m o s t   a p p r o p r i a t e   c l a s s i f i c a t i o n .   T h e   a p p r o a c h   p r o p o s e s   t w o   s c e n a r i o s   t o   g u i d e   p a r t i c i p a n t s   t o w a r d s   e n h a n c i n g   t h e   q u a l i t y   o f   d a t a   c l a s s i f i c a t i o n .   A n   e m p i r i c a l   s t u d y   i s   c o n d u c t e d   t o   i n v e s t i g a t e   t h e   c l a s s i f i c a t i o n   o f   g r a s s - r e l a t e d   f e a t u r e s   l i k e   f o r e s t ,   g a r d e n ,   p a r k ,   a n d   m e a d o w .   T h e   f i n d i n g s   o f   t h i s   s t u d y   i n d i c a t e   t h e   f e a s i b i l i t y   o f   t h e   p r o p o s e d   a p p r o a c h .   ( C )   2 0 1 6   I n t e r n a t i o n a l   S o c i e t y   f o r   P h o t o g r a m m e t r y   a n d   R e m o t e   S e n s i n g ,   I n c .   ( I S P R S ) .   P u b l i s h e d   b y   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ A l i ,   A h m e d   L o a i ;   F a l o m i r ,   Z o e ;   S c h m i d ,   F a l k o ;   F r e k s a ,   C h r i s t i a n ]   U n i v   B r e m e n ,   B r e m e n   S p a t i a l   C o g n i t   C t r ,   E n r i q u e   S c h m i d t   S t r   5 ,   D - 2 8 3 5 9   B r e m e n ,   G e r m a n y ;   [ A l i ,   A h m e d   L o a i ]   A s s i u t   U n i v ,   F a c   C o m p   &   I n f o r m a t ,   D e p t   I n f o r m a t   S y s t ,   A s s i u t ,   E g y p t 	 A l i ,   A L   ( r e p r i n t   a u t h o r ) ,   U n i v   B r e m e n ,   B r e m e n   S p a t i a l   C o g n i t   C t r ,   E n r i q u e   S c h m i d t   S t r   5 ,   D - 2 8 3 5 9   B r e m e n ,   G e r m a n y . 	 l o a i @ i n f o r m a t i k . u n i - b r e m e n . d e ;   z f a l o m i r @ i n f o r m a t i k . u n i - b r e m e n . d e ;   s c h m i d @ i n f o r m a t i k . u n i - b r e m e n . d e ;   f r e k s a @ u n i - b r e m e n . d e 	 	 	 G e r m a n   A c a d e m i c   E x c h a n g e   S e r v i c e   ( D A A D ) ;   B r e m e n   S p a t i a l   C o g n i t i o n   C e n t e r   ( B S C C ) ;   E u r o p e a n   M a r i e   C u r i e   p r o j e c t   C O G N I T I V E - A M I ;   U n i v e r s i t y   o f   B r e m e n   ( p r o j e c t   C o g n i t i v e   Q u a l i t a t i v e   D e s c r i p t i o n s   a n d   A p p l i c a t i o n s   -   C o g Q D A ) 	 T h i s   w o r k   i s   p a r t i a l l y   f u n d e d   b y   t h e   G e r m a n   A c a d e m i c   E x c h a n g e   S e r v i c e   ( D A A D ) ,   t h e   B r e m e n   S p a t i a l   C o g n i t i o n   C e n t e r   ( B S C C ) ,   t h e   E u r o p e a n   M a r i e   C u r i e   p r o j e c t   C O G N I T I V E - A M I   a n d   t h e   U n i v e r s i t y   o f   B r e m e n   ( p r o j e c t   C o g n i t i v e   Q u a l i t a t i v e   D e s c r i p t i o n s   a n d   A p p l i c a t i o n s   -   C o g Q D A ) . 	 A l i   A L ,   2 0 1 5 ,   I N T   A R C H   P H O T O G R A M M ,   V I I - 3 ,   P 2 1 1 ,   D O I   1 0 . 5 1 9 4 / i s p r s a n n a l s - I I - 3 - W 5 - 2 1 1 - 2 0 1 5 ;   A l i   A . L . ,   2 0 1 4 ,   P   2 2   A C M   S I G S P A T I A L ,   P 1 4 3 ;   A l i   A . L . ,   2 0 1 4 ,   P   8   I N T   C   G E O G R   I N F ,   P 1 2 6 ;   A l - S a l m a n   R . ,   2 0 1 4 ,   T H E S I S ;   A r s a n j a n i   J J ,   2 0 1 5 ,   L E C T   N O T E S   G E O I N F   C A ,   P 3 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 1 4 2 8 0 - 7 _ 3 ;   A r v o r   D ,   2 0 1 3 ,   I S P R S   J   P H O T O G R A M M ,   V 8 2 ,   P 1 2 5 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 1 3 . 0 5 . 0 0 3 ;   B a l l a t o r e   A . ,   2 0 1 5 ,   P   1 2   I N T   C   S P A T   I N F ,   P 8 9 ;   B a r r o n   C ,   2 0 1 4 ,   T   G I S ,   V 1 8 ,   P 8 7 7 ,   D O I   1 0 . 1 1 1 1 / t g i s . 1 2 0 7 3 ;   B h a t t   M . ,   2 0 1 5 ,   S T U D Y I N G   V I S U A L   S P A T ,   P 1 0 9 ;   B h a t t   M . ,   2 0 0 9 ,   I   J   R O B O T I C S   A U T O M A T ,   V 2 4 ;   B h a t t   M ,   2 0 1 4 ,   I S P R S   I N T   G E O - I N F ,   V 3 ,   P 1 6 6 ,   D O I   1 0 . 3 3 9 0 / i j g i 3 0 1 0 1 6 6 ;   B i s h r   M ,   2 0 0 7 ,   L E C T   N O T E S   G E O I N F   C A ,   P 3 6 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 7 2 3 8 5 - 1 _ 2 2 ;   B l a s c h k e   T ,   2 0 1 4 ,   I S P R S   J   P H O T O G R A M M ,   V 8 7 ,   P 1 8 0 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 1 3 . 0 9 . 0 1 4 ;   C   e l e g a n s   S e q u e n c i n g   C o n s o r t i u m ,   1 9 9 8 ,   S C I E N C E ,   V 2 8 2 ,   P 2 0 1 2 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 8 2 . 5 3 9 6 . 2 0 1 2 ;   C o d e s c u   M . ,   2 0 1 1 ,   P   S O T M   E U   2 0 1 1   1   S T A ,   P 5 5 ;   C o h n   A G ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 9 4 8 ,   P 2 2 1 ;   C o h n   A . G . ,   2 0 0 7 ,   H D B   K N O W L E D G E   R E P R E S ;   D o r n   H ,   2 0 1 5 ,   I S P R S   I N T   J   G E O - I N F ,   V 4 ,   P 1 6 5 7 ,   D O I   1 0 . 3 3 9 0 / i j g i 4 0 3 1 6 5 7 ;   E G E N H O F E R   M J ,   1 9 9 2 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 3 9 ,   P 1 9 6 ;   E G E N H O F E R   M J ,   1 9 9 5 ,   I N T   J   G E O G R   I N F   S Y S T ,   V 9 ,   P 1 3 3 ,   D O I   1 0 . 1 0 8 0 / 0 2 6 9 3 7 9 9 5 0 8 9 0 2 0 3 0 ;   E l w o o d   S ,   2 0 1 2 ,   A N N   A S S O C   A M   G E O G R ,   V 1 0 2 ,   P 5 7 1 ,   D O I   1 0 . 1 0 8 0 / 0 0 0 4 5 6 0 8 . 2 0 1 1 . 5 9 5 6 5 7 ;   F a l o m i r   Z ,   2 0 1 5 ,   N E U R O C O M P U T I N G ,   V 1 6 1 ,   P 3 ,   D O I   1 0 . 1 0 1 6 / j . n e u c o m . 2 0 1 5 . 0 1 . 0 7 4 ;   F a l o m i r   Z ,   2 0 1 3 ,   S P A T   C O G N   C O M P U T ,   V 1 3 ,   P 1 8 1 ,   D O I   1 0 . 1 0 8 0 / 1 3 8 7 5 8 6 8 . 2 0 1 2 . 7 0 0 4 6 3 ;   F a l o m i r   Z ,   2 0 1 3 ,   P A T T E R N   R E C O G N   L E T T ,   V 3 4 ,   P 7 3 1 ,   D O I   1 0 . 1 0 1 6 / j . p a t r e c . 2 0 1 2 . 0 8 . 0 1 2 ;   F a l o m i r   Z ,   2 0 1 1 ,   S P A T   C O G N   C O M P U T ,   V 1 1 ,   P 4 5 ,   D O I   1 0 . 1 0 8 0 / 1 3 8 7 5 8 6 8 . 2 0 1 0 . 5 4 5 6 1 1 ;   F i s h e r   P .   F . ,   1 9 9 9 ,   G E O G R A P H I C A L   I N F O R M ,   V 1 ,   P 1 9 1 ;   F o g l i a r o n i   P . ,   2 0 1 3 ,   N E X T   G E N E R A T I O N   A C C E ,   V 9 ;   F o o d y   G . ,   2 0 1 4 ,   C A R T O G R   J ,   P 1 ;   F o t h   M a r c u s ,   2 0 0 9 ,   J o u r n a l   o f   L o c a t i o n   B a s e d   S e r v i c e s ,   V 3 ,   P 9 7 ,   D O I   1 0 . 1 0 8 0 / 1 7 4 8 9 7 2 0 9 0 3 1 5 0 0 1 6 ;   F r e k s a   C . ,   1 9 9 1 ,   P   I M A C S   W O R K S H   D E C   S ,   P 1 8 1 ;   G i r r e s   J F ,   2 0 1 0 ,   T   G I S ,   V 1 4 ,   P 4 3 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 0 . 0 1 2 0 3 . x ;   G o o d c h i l d   M . F . ,   2 0 0 8 ,   P   C   A U   F R A N K S   6 0   B I R ;   G o o d c h i l d   M F ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - y ;   G o o d c h i l d   M F ,   2 0 1 2 ,   S P A T   S T A T - N E T H ,   V 1 ,   P 1 1 0 ,   D O I   1 0 . 1 0 1 6 / j . s p a s t a . 2 0 1 2 . 0 3 . 0 0 2 ;   G o u v e i a   C ,   2 0 0 8 ,   G E O J O U R N A L ,   V 7 2 ,   P 1 8 5 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 8 - 9 1 8 3 - 3 ;   G u e s g e n   H .   W . ,   1 9 8 9 ,   T E C H   R E P ;   H a k l a y   M ,   2 0 1 0 ,   E N V I R O N   P L A N N   B ,   V 3 7 ,   P 6 8 2 ,   D O I   1 0 . 1 0 6 8 / b 3 5 0 9 7 ;   H a k l a y   M ,   2 0 0 8 ,   I E E E   P E R V A S   C O M P U T ,   V 7 ,   P 1 2 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 0 8 . 8 0 ;   H e c h t   B . ,   2 0 1 4 ,   P   8   I N T   C   W E B L   S O C   M ;   J a c k s o n   S P ,   2 0 1 3 ,   I S P R S   I N T   G E O - I N F ,   V 2 ,   P 5 0 7 ,   D O I   1 0 . 3 3 9 0 / i j g i 2 0 2 0 5 0 7 ;   J i a n g   J . ,   2 0 0 8 ,   P   1 6   A C M   S I G S P A T I A L ;   J o n e s   C B ,   2 0 0 8 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 2 ,   P 1 0 4 5 ,   D O I   [ 1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 0 7 0 1 8 5 0 5 4 7 ,   1 0 . 1 0 8 0 / 0 0 2 0 7 7 2 0 8 0 2 0 8 5 2 4 5 ] ;   K e s s l e r   C . ,   2 0 1 1 ,   I D   O B J   P R O C   E V   S P A T ,   V 1 2 ;   K h a n   A . ,   2 0 1 3 ,   P   1   A C M   S I G S P A T I A L   I ;   K l i p p e l   A ,   2 0 1 5 ,   I N T   A R C H   P H O T O G R A M M ,   V I I - 3 ,   P 3 2 5 ,   D O I   1 0 . 5 1 9 4 / i s p r s a n n a l s - I I - 3 - W 5 - 3 2 5 - 2 0 1 5 ;   L i g o z a t   G . ,   2 0 1 1 ,   Q U A L I T A T I V E   S P A T I A L ;   L u d w i g   I ,   2 0 1 1 ,   L E C T   N O T E S   G E O I N F   C A ,   V 1 ,   P 6 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 9 7 8 9 - 5 _ 4 ;   M c D o u g a l l   K . ,   2 0 0 9 ,   P   1 1   W O R L D   C   S P A T   D A ;   M o o n e y   P e t e r ,   2 0 1 2 ,   F u t u r e   I n t e r n e t ,   V 4 ,   P 2 8 5 ,   D O I   1 0 . 3 3 9 0 / f i 4 0 1 0 2 8 5 ;   M o o n e y   P ,   2 0 1 2 ,   T   G I S ,   V 1 6 ,   P 5 6 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 2 . 0 1 3 0 6 . x ;   N e i s   P a s c a l ,   2 0 1 3 ,   F u t u r e   I n t e r n e t ,   V 5 ,   P 2 8 2 ,   D O I   1 0 . 3 3 9 0 / f i 5 0 2 0 2 8 2 ;   N e i s   P a s c a l ,   2 0 1 2 ,   F u t u r e   I n t e r n e t ,   V 4 ,   P 1 ,   D O I   1 0 . 3 3 9 0 / f i 4 0 1 0 0 0 1 ;   N i t t e l   S . ,   2 0 1 5 ,   A D V   G E O G R   I N F O R M   S C I ;   P o u r a b d o l l a h   A ,   2 0 1 3 ,   I S P R S   I N T   G E O - I N F ,   V 2 ,   P 7 0 4 ,   D O I   1 0 . 3 3 9 0 / i j g i 2 0 3 0 7 0 4 ;   R a n d e l l   D .   A . ,   1 9 9 2 ,   P r i n c i p l e s   o f   K n o w l e d g e   R e p r e s e n t a t i o n   a n d   R e a s o n i n g :   P r o c e e d i n g s   o f   t h e   T h i r d   I n t e r n a t i o n a l   C o n f e r e n c e   ( K R   ' 9 2 ) ,   P 1 6 5 ;   R i c h t e r   K F ,   2 0 1 0 ,   A D V   E N G   I N F O R M ,   V 2 4 ,   P 1 8 0 ,   D O I   1 0 . 1 0 1 6 / j . a e i . 2 0 0 9 . 0 8 . 0 1 2 ;   R i c h t e r   K . - F . ,   2 0 1 5 ,   C E S I P   W O R K S H   C O G N   E N ;   R o c h e   S ,   2 0 1 3 ,   G E O J O U R N A L ,   V 7 8 ,   P 2 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 1 1 - 9 4 2 3 - 9 ;   S c h m i d   F . ,   2 0 1 3 ,   P   4   A N N   S   C O M P   D E V ,   P 8 ;   S c h w e r i n g   A ,   2 0 1 4 ,   S P A T   C O G N   C O M P U T ,   V 1 4 ,   P 2 2 0 ,   D O I   1 0 . 1 0 8 0 / 1 3 8 7 5 8 6 8 . 2 0 1 4 . 9 1 7 3 7 8 ;   S o n g   W . ,   2 0 1 0 ,   P   1 8   I N T   C   G E O I N F   B E ,   P 1 ;   S p a r k s   K ,   2 0 1 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 9 3 6 8 ,   P 2 8 9 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 2 3 3 7 4 - 1 _ 1 4 ;   T h a b t a h   F ,   2 0 0 7 ,   K N O W L   E N G   R E V ,   V 2 2 ,   P 3 7 ,   D O I   1 0 . 1 0 1 7 / S 0 2 6 9 8 8 8 9 0 7 0 0 1 0 2 6 ;   T O B L E R   W R ,   1 9 7 0 ,   E C O N   G E O G R ,   V 4 6 ,   P 2 3 4 ,   D O I   1 0 . 2 3 0 7 / 1 4 3 1 4 1 ;   V a n d e c a s t e e l e   A . ,   2 0 1 3 ,   I S P R S   I N T   A R C H   P H O T O ,   V 1 ,   P 1 4 3 ,   D O I   D O I   1 0 . 5 1 9 4 / I S P R S A R C H I V E S - X L - 2 - W 1 - 1 4 3 - 2 0 1 3 ;   V a s a r d a n i   M ,   2 0 1 3 ,   I N T   J   G E O G R   I N F   S C I ,   V 2 7 ,   P 2 5 0 9 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 5 8 8 1 6 . 2 0 1 3 . 7 8 5 5 5 0 ;   V a s a r d a n i   M ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 7 5 6 ,   P 1 5 9 ;   W i t t e n   I H ,   2 0 0 5 ,   D A T A   M I N I N G   P R A C T I C A ;   W o l t e r   D . ,   2 0 1 1 ,   R O B O T I C   S A I L I N G ,   P 1 4 1 ;   Z i e l s t r a   D . ,   2 0 1 0 ,   P   6   I N T   C   G E O G R   I N F ,   P 2 0 	 7 0 	 2 	 2 	 4 	 4 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 9 2 4 - 2 7 1 6 	 1 8 7 2 - 8 2 3 5 	 	 I S P R S   J   P H O T O G R A M M 	 I S P R S - J .   P h o t o g r a m m .   R e m o t e   S e n s . 	 M A Y 	 2 0 1 7 	 1 2 7 	 	 	 	 	 	 3 	 1 5 	 	 1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 1 6 . 0 6 . 0 0 3 	 	 1 3 	 G e o g r a p h y ,   P h y s i c a l ;   G e o s c i e n c e s ,   M u l t i d i s c i p l i n a r y ;   R e m o t e   S e n s i n g ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 P h y s i c a l   G e o g r a p h y ;   G e o l o g y ;   R e m o t e   S e n s i n g ;   I m a g i n g   S c i e n c e   &   P h o t o g r a p h i c   T e c h n o l o g y 	 E U 7 M B 	 W O S : 0 0 0 4 0 1 2 1 7 8 0 0 0 0 2 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 A r a m a k i ,   E ;   S h i k a t a ,   S ;   A y a y a ,   S ;   K u m a g a y a ,   S I 	 	 	 	 A r a m a k i ,   E i j i ;   S h i k a t a ,   S h u k o ;   A y a y a ,   S a t s u k i ;   K u m a g a y a ,   S h i n - I c h i r o 	 	 	 C r o w d s o u r c e d   I d e n t i f i c a t i o n   o f   P o s s i b l e   A l l e r g y - A s s o c i a t e d   F a c t o r s :   A u t o m a t e d   H y p o t h e s i s   G e n e r a t i o n   a n d   V a l i d a t i o n   U s i n g   C r o w d s o u r c i n g   S e r v i c e s 	 J M I R   R E S E A R C H   P R O T O C O L S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 a l l e r g y ;   c r o w d s o u r c i n g ;   d i s e a s e   r i s k ;   a u t o m a t i c   a b d u c t i o n ;   T o h j i s h a - K e n k y u ;   s e l f - s u p p o r t   s t u d y 	 E A R L Y - C H I L D H O O D ;   P U B L I C - H E A L T H ;   F O O D   A L L E R G Y ;   A S T H M A ;   D I S O R D E R ;   R H I N I T I S ;   D I S E A S E S ;   H Y G I E N E ;   U P D A T E ;   R I S K 	 B a c k g r o u n d :   H y p o t h e s i s   g e n e r a t i o n   i s   a n   e s s e n t i a l   t a s k   f o r   c l i n i c a l   r e s e a r c h ,   a n d   i t   c a n   r e q u i r e   y e a r s   o f   r e s e a r c h   e x p e r i e n c e   t o   f o r m u l a t e   a   m e a n i n g f u l   h y p o t h e s i s .   R e c e n t   s t u d i e s   h a v e   e n d e a v o r e d   t o   a p p l y   c r o w d s o u r c i n g   t o   g e n e r a t e   n o v e l   h y p o t h e s e s   f o r   r e s e a r c h .   I n   t h i s   s t u d y ,   w e   a p p l y   c r o w d s o u r c i n g   t o   e x p l o r e   p r e v i o u s l y   u n k n o w n   a l l e r g y - a s s o c i a t e d   f a c t o r s .   O b j e c t i v e :   I n   t h i s   s t u d y ,   w e   a i m e d   t o   c o l l e c t   a n d   t e s t   h y p o t h e s e s   o f   u n k n o w n   a l l e r g y - a s s o c i a t e d   f a c t o r s   u s i n g   a   c r o w d s o u r c i n g   s e r v i c e .   M e t h o d s :   U s i n g   a   s e r i e s   o f   q u e s t i o n n a i r e s ,   w e   a s k e d   c r o w d s o u r c i n g   p a r t i c i p a n t s   t o   p r o v i d e   h y p o t h e s e s   o n   a s s o c i a t e d   f a c t o r s   f o r   s e v e n   d i f f e r e n t   a l l e r g i e s ,   a n d   v a l i d a t e d   t h e   c a n d i d a t e   h y p o t h e s e s   w i t h   o d d s   r a t i o s   c a l c u l a t e d   f o r   e a c h   a s s o c i a t e d   f a c t o r .   W e   r e p e a t e d   t h i s   a b d u c t i v e   v a l i d a t i o n   p r o c e s s   t o   i d e n t i f y   a   s e t   o f   r e l i a b l e   h y p o t h e s e s .   R e s u l t s :   W e   o b t a i n e d   t w o   p r i m a r y   f i n d i n g s :   ( 1 )   c r o w d s o u r c i n g   s h o w e d   t h a t   8   o f   t h e   1 3   k n o w n   h y p o t h e s i z e d   a l l e r g y   r i s k s   w e r e   s t a t i c a l l y   s i g n i f i c a n t ;   a n d   ( 2 )   a m o n g   t h e   t o t a l   o f   1 5 7   h y p o t h e s e s   g e n e r a t e d   b y   t h e   c r o w d s o u r c i n g   s e r v i c e ,   7 5   h y p o t h e s e s   w e r e   s t a t i s t i c a l l y   s i g n i f i c a n t   a l l e r g y - a s s o c i a t e d   f a c t o r s ,   c o m p r i s i n g   t h e   8   k n o w n   r i s k s   a n d   5 3   p r e v i o u s l y   u n k n o w n   a l l e r g y - a s s o c i a t e d   f a c t o r s .   T h e s e   f i n d i n g s   s u g g e s t   t h a t   t h e r e   a r e   s t i l l   m a n y   t o p i c s   t o   b e   e x a m i n e d   i n   f u t u r e   a l l e r g y   s t u d i e s .   C o n c l u s i o n s :   C r o w d s o u r c i n g   g e n e r a t e d   n e w   h y p o t h e s e s   o n   a l l e r g y - a s s o c i a t e d   f a c t o r s .   I n   t h e   n e a r   f u t u r e ,   c l i n i c a l   t r i a l s   s h o u l d   b e   c o n d u c t e d   t o   v a l i d a t e   t h e   h y p o t h e s e s   g e n e r a t e d   i n   t h i s   s t u d y . 	 [ A r a m a k i ,   E i j i ;   S h i k a t a ,   S h u k o ]   N a r a   I n s t   S c i   &   T e c h n o l ,   G r a d   S c h   I n f o r m a t   S c i ,   S o c i a l   C o m p   L a b ,   T a k a y a m a   C h o , B L D   4 0 5 ,   I k o m a   6 3 0 0 1 9 2 ,   J a p a n ;   [ A y a y a ,   S a t s u k i ;   K u m a g a y a ,   S h i n - I c h i r o ]   U n i v   T o k y o ,   R e s   C t r   A d v   S c i   &   T e c h n o l ,   T o k y o ,   J a p a n 	 A r a m a k i ,   E   ( r e p r i n t   a u t h o r ) ,   N a r a   I n s t   S c i   &   T e c h n o l ,   G r a d   S c h   I n f o r m a t   S c i ,   S o c i a l   C o m p   L a b ,   T a k a y a m a   C h o , B L D   4 0 5 ,   I k o m a   6 3 0 0 1 9 2 ,   J a p a n . 	 a r a m a k i @ i s . n a i s t . j p 	 	 	 J S P S   K A K E N H I   [ J P 1 6 H 0 6 3 9 5 ,   1 6 H 0 6 3 9 9 ,   1 6 K 2 1 7 2 0 ] 	 T h i s   s t u d y   w a s   s u p p o r t e d   ( i n   p a r t )   b y   J S P S   K A K E N H I   G r a n t   N u m b e r s   J P 1 6 H 0 6 3 9 5 ,   1 6 H 0 6 3 9 9 ,   a n d   1 6 K 2 1 7 2 0 . 	 A r m s t r o n g   A W ,   2 0 1 2 ,   J   D R U G S   D E R M A T O L ,   V 1 1 ,   P 1 1 5 3 ;   A r m s t r o n g   A W ,   2 0 1 2 ,   A M   J   C L I N   D E R M A T O L ,   V 1 3 ,   P 4 0 5 ,   D O I   1 0 . 2 1 6 5 / 1 1 6 3 4 0 4 0 - 0 0 0 0 0 0 0 0 0 - 0 0 0 0 0 ;   B a r t r a   J ,   2 0 0 9 ,   J   I N V E S T   A L L E R G   C L I N ,   V 1 9 ,   P 3 ;   B e l l i a   V ,   2 0 0 7 ,   C H E S T ,   V 1 3 2 ,   P 1 1 7 5 ,   D O I   1 0 . 1 3 7 8 / c h e s t . 0 6 - 2 8 2 4 ;   B e v e l a n d e r   K E ,   2 0 1 4 ,   P L O S   O N E ,   V 9 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 8 7 7 5 6 ;   B l o o m f i e l d   S F ,   2 0 0 6 ,   C L I N   E X P   A L L E R G Y ,   V 3 6 ,   P 4 0 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 2 2 2 . 2 0 0 6 . 0 2 4 6 3 . x ;   B o n g a r d   J C ,   2 0 1 3 ,   I E E E   T   S Y S T   M A N   C Y - S ,   V 4 3 ,   P 1 7 6 ,   D O I   1 0 . 1 1 0 9 / T S M C A . 2 0 1 2 . 2 1 9 5 1 6 8 ;   B o u s q u e t   J ,   2 0 0 8 ,   A L L E R G Y ,   V 6 3 ,   P 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 9 8 - 9 9 9 5 . 2 0 0 7 . 0 1 6 2 0 . x ;   B o u s q u e t   J ,   1 9 9 7 ,   F O O D   A L L E R G Y ,   P 1 0 ;   B r a b h a m   D C ,   2 0 1 4 ,   A M   J   P R E V   M E D ,   V 4 6 ,   P 1 7 9 ,   D O I   1 0 . 1 0 1 6 / j . a m e p r e . 2 0 1 3 . 1 0 . 0 1 6 ;   B u r g e s s   J A ,   2 0 1 2 ,   C H E S T ,   V 1 4 2 ,   P 6 4 7 ,   D O I   1 0 . 1 3 7 8 / c h e s t . 1 1 - 1 4 3 2 ;   C h e n   C ,   2 0 1 4 ,   J   S U R G   R E S ,   V 1 8 7 ,   P 6 5 ,   D O I   1 0 . 1 0 1 6 / j . j s s . 2 0 1 3 . 0 9 . 0 2 4 ;   D e l v e s   P J ,   2 0 0 0 ,   N E W   E N G L   J   M E D ,   V 3 4 3 ,   P 3 7 ;   F a r o o q i   I S ,   1 9 9 8 ,   T H O R A X ,   V 5 3 ,   P 9 2 7 ;   G r a m m a t i k o s   A P ,   2 0 0 8 ,   A N N   M E D ,   V 4 0 ,   P 4 8 2 ,   D O I   1 0 . 1 0 8 0 / 0 7 8 5 3 8 9 0 8 0 2 0 8 2 0 9 6 ;   G r e i n e r   A N ,   2 0 1 1 ,   L A N C E T ,   V 3 7 8 ,   P 2 1 1 2 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 0 - 6 7 3 6 ( 1 1 ) 6 0 1 3 0 - X ;   G u p t a   A ,   1 9 9 7 ,   P E D I A T R   C L I N   N   A M ,   V 4 4 ,   P 7 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 3 1 - 3 9 5 5 ( 0 5 ) 7 0 4 6 4 - 8 ;   G u p t a   M A ,   2 0 1 2 ,   C L I N   D E R M A T O L ,   V 3 0 ,   P 3 5 1 ,   D O I   1 0 . 1 0 1 6 / j . c l i n d e r m a t o l . 2 0 1 2 . 0 1 . 0 1 2 ;   H a a s   A M ,   2 0 1 0 ,   C U R R   A L L E R G Y   A S T H M   R ,   V 1 0 ,   P 2 5 8 ,   D O I   1 0 . 1 0 0 7 / s 1 1 8 8 2 - 0 1 0 - 0 1 1 1 - 5 ;   H e a l t h   S e r v i c e   B u r e a u   J M o H ,   2 0 1 1 ,   G U I D   R H E U M   A L L ;   H o l s t   D ,   2 0 1 5 ,   J   E N D O U R O L ,   V 2 9 ,   P 6 0 4 ,   D O I   1 0 . 1 0 8 9 / e n d . 2 0 1 4 . 0 6 1 6 ;   J a p a n   M i n i s t r y   o f   t h e   E n v i r o n m e n t ,   2 0 1 4 ,   H A Y   F E V   E N V   H L T H   M A N ;   J a p a n e s e   M i n i s t r y   o f   H e a l t h ,   2 0 1 1 ,   R H E U M   A L L   P R E V   C O M M ;   J a p a n   M i n i s t r y   o f   H e a l t h   L a b o u r   a n d   W e l f a r e ,   2 0 1 1 ,   R H E U M   A L L   P R E V   C O M M ;   J e n e r o w i c z   D ,   2 0 1 2 ,   A N N   A G R   E N V   M E D ,   P 1 9 ;   K a b a s h i m a   K ,   2 0 1 3 ,   J   D E R M A T O L   S C I ,   V 7 0 ,   P 3 ,   D O I   1 0 . 1 0 1 6 / j . j d e r m s c i . 2 0 1 3 . 0 2 . 0 0 1 ;   K e l l y   W F ,   2 0 1 4 ,   A L L E R G I C   E N V   A S T H M A ;   M a i e r - H e i n   L e n a ,   2 0 1 4 ,   M e d   I m a g e   C o m p u t   C o m p u t   A s s i s t   I n t e r v ,   V 1 7 ,   P 3 4 9 ;   M c C o n n e l l   T ,   2 0 0 7 ,   N A T U R E   D I S   P A T H O L O G Y ;   M i n i s t r y   o f   H e a l t h   L a W ,   2 0 1 1 ,   S U M M   R E P   V I T   S T A T   J A ;   M o r t o n   C C ,   2 0 1 4 ,   I E E E   P U L S E ,   V 5 ,   P 6 3 ,   D O I   1 0 . 1 1 0 9 / M P U L . 2 0 1 3 . 2 2 8 9 4 6 7 ;   N O V E Y   H S ,   1 9 8 3 ,   J   A L L E R G Y   C L I N   I M M U N ,   V 7 2 ,   P 4 0 7 ,   D O I   1 0 . 1 0 1 6 / 0 0 9 1 - 6 7 4 9 ( 8 3 ) 9 0 5 0 7 - 9 ;   O k a d a   H ,   2 0 1 0 ,   C L I N   E X P   I M M U N O L ,   V 1 6 0 ,   P 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 2 4 9 . 2 0 1 0 . 0 4 1 3 9 . x ;   Q U I R C E   S ,   1 9 9 4 ,   J   A L L E R G Y   C L I N   I M M U N ,   V 9 3 ,   P 4 4 ,   D O I   1 0 . 1 0 1 6 / 0 0 9 1 - 6 7 4 9 ( 9 4 ) 9 0 2 3 1 - 3 ;   T h e   R h e u m a t i s m   a n d   A l l e r g y   C e n t e r ,   2 0 0 9 ,   S I C K   H O U S   S Y N D R   M E D ;   S a i d   M a r i a   A ,   2 0 1 3 ,   M i l   M e d ,   V 1 7 8 ,   p e 1 3 7 5 ,   D O I   1 0 . 7 2 0 5 / M I L M E D - D - 1 3 - 0 0 2 3 3 ;   S a m i m i   P ,   2 0 1 4 ,   S C I   W O R L D   J ,   D O I   1 0 . 1 1 5 5 / 2 0 1 4 / 1 3 5 6 4 1 ;   S a m p s o n   H A ,   2 0 0 4 ,   J   A L L E R G Y   C L I N   I M M U N ,   V 1 1 3 ,   P 8 0 5 ,   D O I   1 0 . 1 0 1 6 / j . j a c i . 2 0 0 4 . 0 3 . 0 1 4 ;   S a m p s o n   H A ,   2 0 1 4 ,   J   A L L E R G Y   C L I N   I M M U N ,   V 1 3 4 ,   P 1 0 1 6 ,   D O I   1 0 . 1 0 1 6 / j . j a c i . 2 0 1 4 . 0 5 . 0 1 3 ;   S a t o   S u g u r u ,   2 0 1 6 ,   R e s p i r   I n v e s t i g ,   V 5 4 ,   P 2 1 6 ,   D O I   1 0 . 1 0 1 6 / j . r e s i n v . 2 0 1 5 . 1 0 . 0 0 2 ;   S E L T Z E R   J M ,   1 9 9 4 ,   J   A L L E R G Y   C L I N   I M M U N ,   V 9 4 ,   P 3 5 1 ,   D O I   1 0 . 1 0 1 6 / 0 0 9 1 - 6 7 4 9 ( 9 4 ) 9 0 0 9 6 - 5 ;   S i c h e r e r   S H ,   2 0 1 5 ,   F O O D   A L L E R G I E S   C O M P L ;   S w a n   M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 8 8 ;   U r i s u   A ,   2 0 1 4 ,   A L L E R G O L   I N T ,   V 6 3 ,   P 3 9 9 ,   D O I   1 0 . 2 3 3 2 / a l l e r g o l i n t . 1 4 - R A I - 0 7 7 0 ;   W a n g   D e - Y u n ,   2 0 0 5 ,   T h e r   C l i n   R i s k   M a n a g ,   V 1 ,   P 1 1 5 ,   D O I   1 0 . 2 1 4 7 / t c r m . 1 . 2 . 1 1 5 . 6 2 9 0 7 	 4 5 	 0 	 0 	 2 	 2 	 J M I R   P U B L I C A T I O N S ,   I N C 	 T O R O N T O 	 5 9   W I N N E R S   C I R C L E ,   T O R O N T O ,   O N   M 4 L   3 Y 7 ,   C A N A D A 	 1 9 2 9 - 0 7 4 8 	 	 	 J M I R   R E S   P R O T O C 	 J M I R   R E S .   P r o t o c . 	 M A Y 	 2 0 1 7 	 6 	 5 	 	 	 	 	 	 	 e 8 3 	 1 0 . 2 1 9 6 / r e s p r o t . 5 8 5 1 	 	 1 2 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s 	 E V 0 O I 	 W O S : 0 0 0 4 0 1 4 4 0 1 0 0 0 1 4 	 2 8 5 1 2 0 7 9 	 g o l d 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 X u ,   Z ;   L i u ,   Y H ;   X u a n ,   J Y ;   C h e n ,   H Y ;   M e i ,   L 	 	 	 	 X u ,   Z h e n g ;   L i u ,   Y u n h u a i ;   X u a n ,   J u n y u ;   C h e n ,   H a i y a n ;   M e i ,   L i n 	 	 	 C r o w d s o u r c i n g   b a s e d   s o c i a l   m e d i a   d a t a   a n a l y s i s   o f   u r b a n   e m e r g e n c y   e v e n t s 	 M U L T I M E D I A   T O O L S   A N D   A P P L I C A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   S o c i a l m e d i a   a n a l y s i s ;   U r b a n   e m e r g e n c y   e v e n t s 	 W E B ;   T I M E 	 A n   u r b a n   e m e r g e n c y   e v e n t   r e q u i r e s   a n   i m m e d i a t e   r e a c t i o n   o r   a s s i s t a n c e   f o r   a n   e m e r g e n c y   s i t u a t i o n .   W i t h   t h e   p o p u l a r i t y   o f   t h e   W o r l d   W i d e   W e b ,   t h e   i n t e r n e t   i s   b e c o m i n g   a   m a j o r   i n f o r m a t i o n   p r o v i d e r   a n d   d i s s e m i n a t o r   o f   e m e r g e n c y   e v e n t s   a n d   t h i s   i s   d u e   t o   i t s   r e a l - t i m e ,   o p e n ,   a n d   d y n a m i c   f e a t u r e s .   H o w e v e r ,   f a c e d   w i t h   t h e   h u g e ,   d i s o r d e r e d   a n d   c o n t i n u o u s   n a t u r e   o f   w e b   r e s o u r c e s ,   i t   i s   i m p o s s i b l e   f o r   p e o p l e   t o   e f f i c i e n t l y   r e c o g n i z e ,   c o l l e c t   a n d   o r g a n i z e   t h e s e   e v e n t s .   I n   t h i s   p a p e r ,   a   c r o w d s o u r c i n g   b a s e d   b u r s t   c o m p u t a t i o n   a l g o r i t h m   o f   a n   u r b a n   e m e r g e n c y   e v e n t   i s   d e v e l o p e d   i n   o r d e r   t o   c o n v e y   i n f o r m a t i o n   a b o u t   t h e   e v e n t   c l e a r l y   a n d   t o   h e l p   p a r t i c u l a r   s o c i a l   g r o u p s   o r   g o v e r n m e n t s   t o   p r o c e s s   e v e n t s   e f f e c t i v e l y .   A   d e f i n i t i o n   o f   a n   u r b a n   e m e r g e n c y   e v e n t   i s   f i r s t l y   i n t r o d u c e d .   T h i s   s e r v e s   a s   t h e   f o u n d a t i o n   f o r   u s i n g   w e b   r e s o u r c e s   t o   c o m p u t e   t h e   b u r s t   p o w e r   o f   e v e n t s   o n   t h e   w e b .   S e c o n d l y ,   t h e   d i f f e r e n t   t e m p o r a l   f e a t u r e s   o f   w e b   e v e n t s   a r e   d e v e l o p e d   t o   p r o v i d e   t h e   b a s i c   i n f o r m a t i o n   f o r   t h e   p r o p o s e d   c o m p u t a t i o n   a l g o r i t h m .   M o r e o v e r ,   t h e   b u r s t   p o w e r   i s   p r e s e n t e d   t o   i n t e g r a t e   t h e   a b o v e   t e m p o r a l   f e a t u r e s   o f   a n   e v e n t .   E m p i r i c a l   e x p e r i m e n t s   o n   r e a l   d a t a s e t s   s h o w   t h a t   t h e   b u r s t   p o w e r   c a n   b e   u s e d   t o   a n a l y z e   e v e n t s . 	 [ X u ,   Z h e n g ;   L i u ,   Y u n h u a i ;   M e i ,   L i n ]   M i n i s t   P u b l   S e c u r ,   R e s   I n s t   3 ,   S h a n g h a i ,   P e o p l e s   R   C h i n a ;   [ X u ,   Z h e n g ]   T s i n g h u a   U n i v ,   B e i j i n g ,   P e o p l e s   R   C h i n a ;   [ X u a n ,   J u n y u ]   S h a n g h a i   U n i v ,   S h a n g h a i ,   P e o p l e s   R   C h i n a ;   [ C h e n ,   H a i y a n ]   E a s t   C h i n a   U n i v   P o l i t   S c i   &   L a w ,   S h a n g h a i ,   P e o p l e s   R   C h i n a 	 X u ,   Z   ( r e p r i n t   a u t h o r ) ,   M i n i s t   P u b l   S e c u r ,   R e s   I n s t   3 ,   S h a n g h a i ,   P e o p l e s   R   C h i n a . 	 x u z h e n g @ s h u . e d u . c n 	 	 	 N a t i o n a l   S c i e n c e   a n d   T e c h n o l o g y   M a j o r   P r o j e c t   [ 2 0 1 3 Z X 0 1 0 3 3 0 0 2 - 0 0 3 ] ;   N a t i o n a l   H i g h   T e c h n o l o g y   R e s e a r c h   a n d   D e v e l o p m e n t   P r o g r a m   o f   C h i n a   ( 8 6 3   P r o g r a m )   [ 2 0 1 3 A A 0 1 4 6 0 1 ,   2 0 1 3 A A 0 1 4 6 0 3 ] ;   N a t i o n a l   K e y   T e c h n o l o g y   S u p p o r t   P r o g r a m   [ 2 0 1 2 B A H 0 7 B 0 1 ] ;   N a t i o n a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 6 1 3 0 0 2 0 2 ,   6 1 3 0 0 0 2 8 ] ;   M i n i s t r y   o f   P u b l i c   S e c u r i t y   [ 2 0 1 4 J S Y J B 0 0 9 ] ;   C h i n a   P o s t d o c t o r a l   S c i e n c e   F o u n d a t i o n   [ 2 0 1 4   M 5 6 0 0 8 5 ] ;   S h a n g h a i   M u n i c i p a l   C o m m i s s i o n   o f   E c o n o m y   a n d   I n f o r m a t i o n   [ 1 2 G A - 1 9 ] ;   S c i e n c e   F o u n d a t i o n   o f   S h a n g h a i   [ 1 3 Z R 1 4 5 2 9 0 0 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   N a t i o n a l   S c i e n c e   a n d   T e c h n o l o g y   M a j o r   P r o j e c t   u n d e r   G r a n t   2 0 1 3 Z X 0 1 0 3 3 0 0 2 - 0 0 3 ,   i n   p a r t   b y   t h e   N a t i o n a l   H i g h   T e c h n o l o g y   R e s e a r c h   a n d   D e v e l o p m e n t   P r o g r a m   o f   C h i n a   ( 8 6 3   P r o g r a m )   u n d e r   G r a n t   2 0 1 3 A A 0 1 4 6 0 1 ,   2 0 1 3 A A 0 1 4 6 0 3 ,   i n   p a r t   b y   N a t i o n a l   K e y   T e c h n o l o g y   S u p p o r t   P r o g r a m   u n d e r   G r a n t   2 0 1 2 B A H 0 7 B 0 1 ,   i n   p a r t   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   u n d e r   G r a n t   6 1 3 0 0 2 0 2 ,   6 1 3 0 0 0 2 8 ,   i n   p a r t   b y   t h e   P r o j e c t   o f   t h e   M i n i s t r y   o f   P u b l i c   S e c u r i t y   u n d e r   G r a n t   2 0 1 4 J S Y J B 0 0 9 ,   i n   p a r t   b y   t h e   C h i n a   P o s t d o c t o r a l   S c i e n c e   F o u n d a t i o n   u n d e r   G r a n t   2 0 1 4   M 5 6 0 0 8 5 ,   t h e   p r o j e c t   o f   S h a n g h a i   M u n i c i p a l   C o m m i s s i o n   o f   E c o n o m y   a n d   I n f o r m a t i o n   u n d e r   G r a n t   1 2 G A - 1 9 ,   a n d   i n   p a r t   b y   t h e   S c i e n c e   F o u n d a t i o n   o f   S h a n g h a i   u n d e r   G r a n t   1 3 Z R 1 4 5 2 9 0 0 . 	 A b o n y i   J ,   2 0 0 5 ,   F U Z Z Y   S E T   S Y S T ,   V 1 4 9 ,   P 3 9 ,   D O I   1 0 . 1 0 1 6 / j . f s s . 2 0 0 4 . 0 7 . 0 0 8 ;   A l l a n   J ,   2 0 0 0 ,   T O P I C   D E T E C T I O N   T R A C ;   A l l a n   J ,   1 9 9 8 ,   P   B R O A D C   N E W S   T R A N S C ;   F u n g   C ,   2 0 0 7 ,   P   1 3   A C M   S I G K D D   I N T ,   P 3 0 0 ;   H a d d o w   D ,   2 0 1 0 ,   I N T R O   E M E R G E N C Y   M A N A ;   H e   Q ,   2 0 1 0 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 2 ,   P 1 7 9 5 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 9 . 2 0 3 ;   H i m b e r g   J ,   2 0 0 1 ,   P   2 0 0 1   I E   I N T   C   D A T ;   H r i s t i d i s   V ,   2 0 0 6 ,   P   1 5   A C M   I N T   C   I N F   K ,   P 8 0 2 ,   D O I   1 0 . 1 1 4 5 / 1 1 8 3 6 1 4 . 1 1 8 3 7 3 8 ;   H u   C P ,   2 0 1 4 ,   I E E E   T   E M E R G   T O P   C O M ,   V 2 ,   P 3 7 6 ,   D O I   1 0 . 1 1 0 9 / T E T C . 2 0 1 4 . 2 3 1 6 5 2 5 ;   J e s s   F ,   2 0 1 2 ,   P   1 5   I N T   C   N E T W   B A S ,   P 1 ;   J i n   X ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 4 8 1 ,   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 4 0 ;   J o   Y ,   2 0 0 7 ,   K D D - 2 0 0 7   P R O C E E D I N G S   O F   T H E   T H I R T E E N T H   A C M   S I G K D D   I N T E R N A T I O N A L   C O N F E R E N C E   O N   K N O W L E D G E   D I S C O V E R Y   A N D   D A T A   M I N I N G ,   P 3 7 0 ;   K e o g h   E ,   2 0 0 0 ,   J   K N O W L   I N F   S Y S T ,   V 3 ;   L e s k o v e c   J ,   2 0 0 7 ,   P   K D D ;   L e s k o v e c   J ,   2 0 0 8 ,   P   1 7   I N T   W O R L D   W I D   W ;   L i u   X ,   2 0 1 3 ,   A C M   T   S O F T W   E N G   M E T H ;   L i u   Y H ,   2 0 1 1 ,   I E E E   T   P A R A L L   D I S T R ,   V 2 2 ,   P 2 1 0 0 ,   D O I   1 0 . 1 1 0 9 / T P D S . 2 0 1 1 . 1 1 3 ;   L u o   X F ,   2 0 1 1 ,   I E E E   T   A U T O M   S C I   E N G ,   V 8 ,   P 4 8 2 ,   D O I   1 0 . 1 1 0 9 / T A S E . 2 0 1 0 . 2 0 9 4 6 0 8 ;   M a k k o n e n   J ,   2 0 0 3 ,   P   2 0 0 3   C   N   A M   C H A P T ,   P 4 3 ;   M e i   Q . ,   2 0 0 5 ,   P   1 1   A C M   S I G K D D   I N T ,   P 1 9 8 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 0 8 1 8 7 0 . 1 0 8 1 8 9 5 ;   N a l l a p a t i   R ,   2 0 0 4 ,   P   1 3   A C M   I N T   C   I N F   K ,   P 4 4 6 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 0 3 1 1 7 1 . 1 0 3 1 2 5 8 ;   S A L T O N   G ,   1 9 8 8 ,   I N F O R M   P R O C E S S   M A N A G ,   V 2 4 ,   P 5 1 3 ,   D O I   1 0 . 1 0 1 6 / 0 3 0 6 - 4 5 7 3 ( 8 8 ) 9 0 0 2 1 - 0 ;   S u n g   C ,   2 0 1 2 ,   I E E E   T   S Y S T   M A N   C Y   C ,   V 4 2 ,   P 5 3 2 ,   D O I   1 0 . 1 1 0 9 / T S M C C . 2 0 1 1 . 2 1 3 5 8 5 0 ;   T a n g   J H ,   2 0 1 2 ,   M U L T I M E D   T O O L S   A P P L ,   V 5 6 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 1 - 0 8 2 2 - 1 ;   W a n g   C . ,   2 0 0 8 ,   P   1 7   A C M   C   I N F   K N O W L ,   P 1 0 3 3 ,   D O I   1 0 . 1 1 4 5 / 1 4 5 8 0 8 2 . 1 4 5 8 2 1 9 ;   W a n g   L Z ,   2 0 1 3 ,   F U T U R E   G E N E R   C O M P   S Y ,   V 2 9 ,   P 7 3 9 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e . 2 0 1 2 . 0 9 . 0 0 1 ;   W e i   C P ,   2 0 0 7 ,   I E E E   T   S Y S T   M A N   C Y   A ,   V 3 7 ,   P 2 7 3 ,   D O I   1 0 . 1 1 0 9 / T S M C A . 2 0 0 6 . 8 8 6 3 7 7 ;   W e i   X ,   2 0 1 5 ,   I E E E   T   F U Z Z Y   S Y S T ,   V 2 3 ,   P 7 2 ,   D O I   1 0 . 1 1 0 9 / T F U Z Z . 2 0 1 5 . 2 3 9 0 2 2 6 ;   W u   X A ,   2 0 1 1 ,   I E E E   M U L T I M E D I A ,   V 1 8 ,   P 3 8 ,   D O I   1 0 . 1 1 0 9 / M M U L . 2 0 1 1 . 1 2 ;   X i o n g   P C ,   2 0 0 9 ,   I E E E   T   A U T O M   S C I   E N G ,   V 6 ,   P 3 1 1 ,   D O I   1 0 . 1 1 0 9 / T A S E . 2 0 0 8 . 2 0 0 9 1 0 3 ;   X u   Z ,   F U T U R E   G E N E R   C O M P   S Y ,   D O I   [ 1 0 . 1 0 1 6 / J . f u t u r e . 2 0 1 3 . 9 . 0 2 7 ,   D O I   1 0 . 1 0 1 6 / J . F U T U R E . 2 0 1 3 . 9 . 0 2 7 ] ;   X u   Z ,   2 0 1 5 ,   F U T U R E   G E N E R   C O M P   S Y ,   V 4 3 - 4 4 ,   P 4 0 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e . 2 0 1 4 . 0 4 . 0 0 2 ;   Y a n g   C ,   2 0 0 6 ,   P   1 5   I N T   C   W O R L D   W I D ,   P 9 4 5 ,   D O I   1 0 . 1 1 4 5 / 1 1 3 5 7 7 7 . 1 1 3 5 9 5 7 ;   Y a n g   C C ,   2 0 0 9 ,   I E E E   T   S Y S T   M A N   C Y   A ,   V 3 9 ,   P 8 5 0 ,   D O I   1 0 . 1 1 0 9 / T S M C A . 2 0 0 9 . 2 0 1 5 8 8 5 ;   Y e n   N Y ,   2 0 1 5 ,   M U L T I M E D   T O O L S   A P P L ,   V 7 4 ,   P 5 0 0 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 5 - 2 4 6 1 - 4 ;   Y i n   X X ,   2 0 0 8 ,   I E E E   T   K N O W L   D A T A   E N ,   V 2 0 ,   P 7 9 6 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 0 7 . 1 9 0 7 4 5 ;   Z h a o   Q ,   2 0 0 6 ,   P   1 2   A C M   S I G K D D   I N T ,   P 4 8 4 ,   D O I   1 0 . 1 1 4 5 / 1 1 5 0 4 0 2 . 1 1 5 0 4 5 6 	 3 7 	 1 1 	 1 1 	 1 	 1 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 0 - 7 5 0 1 	 1 5 7 3 - 7 7 2 1 	 	 M U L T I M E D   T O O L S   A P P L 	 M u l t i m e d .   T o o l s   A p p l . 	 M A Y 	 2 0 1 7 	 7 6 	 9 	 	 	 	 	 1 1 5 6 7 	 1 1 5 8 4 	 	 1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 5 - 2 7 3 1 - 1 	 	 1 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 E U 2 G E 	 W O S : 0 0 0 4 0 0 8 4 5 0 0 0 0 2 6 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 S e i d e l ,   V P ;   L a n g n e r ,   B ;   S i m s ,   J 	 	 	 	 S e i d e l ,   V i c t o r   P . ;   L a n g n e r ,   B e n e d i k t ;   S i m s ,   J o n a t h a n 	 	 	 D o m i n a n t   c o m m u n i t i e s   a n d   d o m i n a n t   d e s i g n s :   C o m m u n i t y - b a s e d   i n n o v a t i o n   i n   t h e   c o n t e x t   o f   t h e   t e c h n o l o g y   l i f e   c y c l e 	 S T R A T E G I C   O R G A N I Z A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 i n n o v a t i o n   m a n a g e m e n t ;   o r g a n i z a t i o n   d e s i g n ;   t e c h n o l o g i c a l   c h a n g e ;   o n l i n e   c o m m u n i t i e s ;   c r o w d s o u r c i n g 	 O P E N - S O U R C E   S O F T W A R E ;   L I N U X   K E R N E L ;   F I R M ;   G O V E R N A N C E ;   M O T I V A T I O N ;   E V O L U T I O N ;   I N D U S T R Y ;   C R E A T I O N ;   U S E R S ;   O R G A N I Z A T I O N 	 O n l i n e   c o m m u n i t y - b a s e d   i n n o v a t i o n w h e t h e r   t h r o u g h   s e l f - o r g a n i z e d   c o m m u n i t i e s ,   f i r m - c o m m u n i t y   c o l l a b o r a t i o n s ,   o r   i n n o v a t i o n   c o n t e s t s   a n d   c r o w d s o u r c i n g i s   i n c r e a s i n g l y   u s e d   a s   a   s o u r c e   o f   t e c h n o l o g i c a l   a d v a n c e s ,   y e t   s t u d i e s   i n   t h i s   d o m a i n   a r e   o f t e n   d e t a c h e d   f r o m   c o n s i d e r i n g   t h e   d y n a m i c s   o f   t e c h n o l o g i c a l   e v o l u t i o n   i t s e l f .   W h e r e   t e c h n o l o g i c a l   a d v a n c e s   r e s i d e   ( k n o w l e d g e   d i s t r i b u t i o n ) ,   t h e   d e g r e e   t o   w h i c h   i n n o v a t i o n   t a s k s   c a n   b e   s p e c i f i e d   ( t a s k   d e c o m p o s i t i o n )   a n d   t h e   r a t e   o f   t e c h n o l o g i c a l   p r o g r e s s   ( p e r f o r m a n c e   t r a j e c t o r y )   a l l   v a r y   d r a m a t i c a l l y   o v e r   t h e   t e c h n o l o g y   l i f e   c y c l e .   T h e s e   f a c t o r s   h a v e   i m p l i c a t i o n s   f o r   w h a t   f o r m s   o f   o n l i n e   c r o w d s   a n d   c o m m u n i t i e s   a r e   m o s t   l i k e l y   t o   c o n t r i b u t e   t e c h n o l o g i c a l   a d v a n c e s .   W e   p r o v i d e   a   d y n a m i c   m o d e l   o f   t h e   e x p e c t e d   d o m i n a n t   c o m m u n i t i e s   f o r   t e c h n o l o g i c a l   a d v a n c e s   a t   e a c h   p h a s e   o f   t h e   l i f e   c y c l e ,   a n d   w e   d r a w   o n   e x a m p l e s   f r o m   o p e n - s o u r c e   s o f t w a r e   a n d   c o n s u m e r   t h r e e - d i m e n s i o n a l   p r i n t i n g   t o   i l l u s t r a t e   t h e   m o d e l .   O u r   o b j e c t i v e s   a r e   t o   d e t e r m i n e   h o w   d i f f e r e n t   f o r m s   o f   c o m m u n i t y - b a s e d   i n n o v a t i o n   d o m i n a t e   a t   d i f f e r e n t   t i m e s ,   t o   g r o u n d   i n n o v a t i o n   m o d e l s   m o r e   f i r m l y   i n   m a t e r i a l   t e c h n o l o g i c a l   a d v a n c e s ,   a n d   t o   p r o v i d e   f o c u s   f o r   f u t u r e   r e s e a r c h   i n   t h i s   d o m a i n . 	 [ S e i d e l ,   V i c t o r   P . ]   B a b s o n   C o l l ,   F W   O l i n   G r a d   S c h   B u s i n e s s ,   B a b s o n   P k ,   M A   0 2 1 5 7   U S A ;   [ L a n g n e r ,   B e n e d i k t ]   B a i n   &   C o ,   M u n i c h ,   G e r m a n y ;   [ S i m s ,   J o n a t h a n ]   B a b s o n   C o l l ,   S t r a t e g y ,   B a b s o n   P k ,   M A   0 2 1 5 7   U S A 	 S e i d e l ,   V P   ( r e p r i n t   a u t h o r ) ,   B a b s o n   C o l l ,   F W   O l i n   G r a d   S c h   B u s i n e s s ,   B a b s o n   P k ,   M A   0 2 1 5 7   U S A . 	 v s e i d e l @ b a b s o n . e d u 	 	 	 G r e e n   T e m p l e t o n   D o c t o r a l   S c h o l a r s h i p   F u n d ;   S a i d   F o u n d a t i o n   o f   S a i d   B u s i n e s s   S c h o o l ,   U n i v e r s i t y   o f   O x f o r d ;   B a b s o n   F a c u l t y   R e s e a r c h   F u n d 	 T h e   a u t h o r ( s )   d i s c l o s e d   r e c e i p t   o f   t h e   f o l l o w i n g   f i n a n c i a l   s u p p o r t   f o r   t h e   r e s e a r c h ,   a u t h o r s h i p ,   a n d / o r   p u b l i c a t i o n   o f   t h i s   a r t i c l e :   B . L .   i s   s u p p o r t e d   b y   t h e   G r e e n   T e m p l e t o n   D o c t o r a l   S c h o l a r s h i p   F u n d   a n d   t h e   S a i d   F o u n d a t i o n   o f   S a i d   B u s i n e s s   S c h o o l ,   U n i v e r s i t y   o f   O x f o r d .   V . P . S .   a n d   J . S .   a r e   s u p p o r t e d   b y   t h e   B a b s o n   F a c u l t y   R e s e a r c h   F u n d . 	 A B E R N A T H Y   W J ,   1 9 7 8 ,   T E C H N O L   R E V ,   V 8 0 ,   P 4 0 ;   A B R A H A M S O N   E ,   1 9 9 1 ,   A C A D   M A N A G E   R E V ,   V 1 6 ,   P 5 8 6 ,   D O I   1 0 . 2 3 0 7 / 2 5 8 9 1 9 ;   A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   A l b e r s   S ,   2 0 1 6 ,   J   M A N A G E ,   V 4 2 ,   P 5 8 2 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 9 2 0 6 3 1 3 4 8 8 2 0 9 ;   A n d e r s o n   C . ,   2 0 1 2 ,   M A K E R S   N E W   I N D   R E V O L ;   A N D E R S O N   P ,   1 9 9 0 ,   A D M I N   S C I   Q U A R T ,   V 3 5 ,   P 6 0 4 ,   D O I   1 0 . 2 3 0 7 / 2 3 9 3 5 1 1 ;   A r g y r e s   N ,   2 0 1 5 ,   S T R A T E G I C   M A N A G E   J ,   V 3 6 ,   P 2 1 6 ,   D O I   1 0 . 1 0 0 2 / s m j . 2 2 0 7 ;   B a l d w i n   C ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 1 2 9 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 4 . 0 1 2 ;   B a l d w i n   C .   Y . ,   2 0 0 0 ,   D E S I G N   R U L E S   P O W E R   M ;   B e c h t h o l d   L ,   2 0 1 5 ,   3 D   P R I N T I N G   Q U A L I T A T ;   B e n n e r   M J ,   2 0 1 2 ,   S T R A T E G I C   M A N A G E   J ,   V 3 3 ,   P 2 7 7 ,   D O I   1 0 . 1 0 0 2 / s m j . 9 5 0 ;   B e r g - J e n s e n   M .   B . ,   2 0 1 4 ,   J   P R O D   I N N O V A T   M A N A G ,   V 3 1 ,   P 7 5 ;   B o u d r e a u   K J ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 8 4 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 2 2 ;   B o u d r e a u   K J ,   2 0 0 9 ,   M I T   S L O A N   M A N A G E   R E V ,   V 5 0 ,   P 6 9 ;   C a s a d e s u s - M a s a n e l l   R ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 1 2 1 2 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 5 3 ;   C a s s i m a n   B ,   2 0 0 9 ,   S T R A T E G   O R G A N ,   V 7 ,   P 4 3 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 6 1 2 7 0 0 8 1 0 0 1 2 9 ;   C h e s b r o u g h   H ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 2 2 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 2 8 . x ;   C h r i s t e n s e n   C . M . ,   1 9 9 2 ,   P R O D U C T I O N   O P E R A T I O N ,   V 1 ,   P 3 3 4 ;   D A V I D   P A ,   1 9 8 5 ,   A M   E C O N   R E V ,   V 7 5 ,   P 3 3 2 ;   D i   G a n g i   P M ,   2 0 0 9 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 8 ,   P 3 0 3 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 9 . 0 4 . 0 0 4 ;   F e l i n   T ,   2 0 1 4 ,   R E S   P O L I C Y ,   V 4 3 ,   P 9 1 4 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 3 . 0 9 . 0 0 6 ;   F e l i n   T ,   2 0 1 1 ,   S T R A T E G   O R G A N ,   V 9 ,   P 1 6 3 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 6 1 2 7 0 1 1 4 0 8 2 5 0 ;   F j e l d s t a d   O D ,   2 0 1 2 ,   S T R A T E G I C   M A N A G E   J ,   V 3 3 ,   P 7 3 4 ,   D O I   1 0 . 1 0 0 2 / s m j . 1 9 6 8 ;   F o s f u r i   A ,   2 0 0 8 ,   O R G A N   S C I ,   V 1 9 ,   P 2 9 2 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 7 0 . 0 3 2 1 ;   F o s f u r i   A ,   2 0 1 1 ,   S T R A T E G   O R G A N ,   V 9 ,   P 2 2 2 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 6 1 2 7 0 1 1 4 1 5 2 4 8 ;   F o s t e r   R . ,   1 9 8 6 ,   I N N O V A T I O N   A T T A C K E R S ;   F u l l e r   J ,   2 0 0 7 ,   J   B U S   R E S ,   V 6 0 ,   P 6 0 ,   D O I   1 0 . 1 0 1 6 / j . j b u s r e s . 2 0 0 6 . 0 9 . 0 1 9 ;   F u l l e r   J ,   2 0 0 8 ,   J   P R O D   I N N O V A T   M A N A G ,   V 2 5 ,   P 6 0 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 5 8 8 5 . 2 0 0 8 . 0 0 3 2 5 . x ;   F u l l e r   J ,   2 0 0 9 ,   J   M A N A G E   I N F O R M   S Y S T ,   V 2 6 ,   P 7 1 ,   D O I   1 0 . 2 7 5 3 / M I S 0 7 4 2 - 1 2 2 2 2 6 0 3 0 3 ;   G a w e r   A ,   2 0 1 4 ,   R E S   P O L I C Y ,   V 4 3 ,   P 1 2 3 9 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 4 . 0 3 . 0 0 6 ;   G u l a t i   R ,   2 0 1 2 ,   S T R A T E G I C   M A N A G E   J ,   V 3 3 ,   P 5 7 1 ,   D O I   1 0 . 1 0 0 2 / s m j . 1 9 7 5 ;   H a l f a k e r   A ,   2 0 1 3 ,   A M   B E H A V   S C I ,   V 5 7 ,   P 6 6 4 ,   D O I   1 0 . 1 1 7 7 / 0 0 0 2 7 6 4 2 1 2 4 6 9 3 6 5 ;   H e r t e l   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 7 - 7 ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   J e p p e s e n   L B ,   2 0 0 6 ,   O R G A N   S C I ,   V 1 7 ,   P 4 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 5 0 . 0 1 5 6 ;   K a p l a n   S ,   2 0 0 8 ,   R E S   P O L I C Y ,   V 3 7 ,   P 7 9 0 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 8 . 0 2 . 0 0 2 ;   L a k h a n i   K R ,   2 0 1 3 ,   N A T   B I O T E C H N O L ,   V 3 1 ,   P 1 0 8 ,   D O I   1 0 . 1 0 3 8 / n b t . 2 4 9 5 ;   L a k h a n i   K R ,   2 0 1 3 ,   H D B   E C   O R G   I N T E G R A T I ,   P 3 5 5 ;   L a n g n e r   B ,   2 0 1 5 ,   J   P R O D   I N N O V A T   M A N A G ,   V 3 2 ,   P 5 2 2 ,   D O I   1 0 . 1 1 1 1 / j p i m . 1 2 2 1 6 ;   L e e   G K ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 6 3 3 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 4 . 6 . 6 3 3 . 2 4 8 6 6 ;   M o i l a n e n   J ,   2 0 1 5 ,   J   P E E R   P R O D U C T I O N ,   V 1 ;   M u r m a n n   J P ,   2 0 0 6 ,   R E S   P O L I C Y ,   V 3 5 ,   P 9 2 5 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 0 6 . 0 4 . 0 1 1 ;   M u r r a y   F ,   2 0 1 2 ,   R E S   P O L I C Y ,   V 4 1 ,   P 1 7 7 9 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 2 . 0 6 . 0 1 3 ;   O ' M a h o n y   S ,   2 0 0 7 ,   A C A D   M A N A G E   J ,   V 5 0 ,   P 1 0 7 9 ;   O ' M a h o n y   S ,   2 0 1 1 ,   R E S   S O C I O L   O R G A N - R E S ,   V 3 3 ,   P 3 ,   D O I   1 0 . 1 1 0 8 / S 0 7 3 3 - 5 5 8 X ( 2 0 1 1 ) 0 0 0 0 0 3 3 0 0 4 ;   O ' R e i l l y   C A ,   2 0 0 8 ,   R E S   O R G A N   B E H A V ,   V 2 8 ,   P 1 8 5 ,   D O I   1 0 . 1 0 1 6 / j . r i o b . 2 0 0 8 . 0 6 . 0 0 2 ;   O ' M a h o n y   S ,   2 0 0 7 ,   J   M A N A G E M E N T   G O V E R N A ,   V 1 1 ,   P 1 3 9 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 9 9 7 - 0 0 7 - 9 0 2 4 - 7 ;   P i l l e r   F T ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 0 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 2 . x ;   R o h r b e c k   R ,   2 0 1 0 ,   T E C H N O L   A N A L   S T R A T E G ,   V 2 2 ,   P 1 1 7 ,   D O I   1 0 . 1 0 8 0 / 0 9 5 3 7 3 2 0 9 0 3 4 9 8 4 6 2 ;   R o s e n k o p f   L . ,   1 9 9 8 ,   I N D   C O R P   C H A N G E ,   V 7 ,   P 3 1 1 ,   D O I   D O I   1 0 . 1 0 9 3 / I C C / 7 . 2 . 3 1 1 ;   S c h i l l i n g   M A ,   2 0 0 9 ,   E N E R G   P O L I C Y ,   V 3 7 ,   P 1 7 6 7 ,   D O I   1 0 . 1 0 1 6 / j . e n p o l . 2 0 0 9 . 0 1 . 0 0 4 ;   S e i d e l   V P ,   2 0 1 5 ,   I N D   C O R P   C H A N G E ,   V 2 4 ,   P 6 3 5 ,   D O I   1 0 . 1 0 9 3 / i c c / d t v 0 1 6 ;   S h a h   S K ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 0 0 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 3 ;   S h a p i r o   C . ,   1 9 9 9 ,   I N F O R M   R U L E S   S T R A T E G ;   S o d a   G ,   2 0 1 2 ,   S T R A T E G   O R G A N ,   V 1 0 ,   P 9 9 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 6 1 2 7 0 1 2 4 4 2 8 5 2 ;   S u a r e z   F F ,   2 0 1 5 ,   S T R A T E G I C   M A N A G E   J ,   V 3 6 ,   P 4 3 7 ,   D O I   1 0 . 1 0 0 2 / s m j . 2 2 2 5 ;   T e r w i e s c h   C ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 1 5 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 8 0 . 0 8 8 4 ;   T o r v a l d s   L ,   1 9 9 9 ,   C O M M U N   A C M ,   V 4 2 ,   P 3 8 ,   D O I   1 0 . 1 1 4 5 / 2 9 9 1 5 7 . 2 9 9 1 6 5 ;   T r i p s a s   M ,   2 0 0 8 ,   M A N A G E R I A L   D E C I S I O N ,   V 2 9 ,   P 7 9 ,   D O I   D O I   1 0 . 1 0 0 2 / M D E . 1 3 8 9 ;   T u s h m a n   M . ,   2 0 1 2 ,   J   O R G   D E S I G N ,   V 1 ,   P 2 4 ;   T U S H M A N   M L ,   1 9 9 2 ,   R E S   O R G A N   B E H A V ,   V 1 4 ,   P 3 1 1 ;   T z a b b a r   D ,   2 0 0 8 ,   S T R A T E G   O R G A N ,   V 6 ,   P 3 7 5 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 6 1 2 7 0 0 8 0 9 6 3 6 3 ;   U T T E R B A C K   J M ,   1 9 9 3 ,   R E S   P O L I C Y ,   V 2 2 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 8 - 7 3 3 3 ( 9 3 ) 9 0 0 3 0 - L ;   V e r o n a   G ,   2 0 0 6 ,   O R G A N   S T U D ,   V 2 7 ,   P 7 6 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 7 0 8 4 0 6 0 6 0 6 1 0 7 3 ;   v o n   H i p p e l   E ,   2 0 0 2 ,   M A N A G E   S C I ,   V 4 8 ,   P 8 2 1 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 8 . 7 . 8 2 1 . 2 8 1 7 ;   v o n   K r o g h   G ,   2 0 1 2 ,   M I S   Q U A R T ,   V 3 6 ,   P 6 4 9 ;   W A D E   J ,   1 9 9 5 ,   S T R A T E G I C   M A N A G E   J ,   V 1 6 ,   P 1 1 1 ,   D O I   1 0 . 1 0 0 2 / s m j . 4 2 5 0 1 6 0 9 2 0 ;   W e s t   J . ,   2 0 0 1 ,   K N O W L E D G E   T E C H N O L O G Y ,   V 1 4 ,   P 8 8 ,   D O I   1 0 . 1 0 0 7 / s 1 2 1 3 0 - 0 0 1 - 1 0 0 8 - 3 ;   W e s t   J ,   2 0 0 6 ,   R & D   M A N A G E ,   V 3 6 ,   P 3 1 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 0 6 . 0 0 4 3 6 . x ;   W e s t   J ,   2 0 1 6 ,   T E C H N O L   F O R E C A S T   S O C ,   V 1 0 2 ,   P 1 6 9 ,   D O I   1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 1 5 . 0 7 . 0 2 5 	 7 0 	 1 	 1 	 4 	 4 	 S A G E   P U B L I C A T I O N S   L T D 	 L O N D O N 	 1   O L I V E R S   Y A R D ,   5 5   C I T Y   R O A D ,   L O N D O N   E C 1 Y   1 S P ,   E N G L A N D 	 1 4 7 6 - 1 2 7 0 	 1 7 4 1 - 3 1 5 X 	 	 S T R A T E G   O R G A N 	 S t r a t e g .   O r g a n . 	 M A Y 	 2 0 1 7 	 1 5 	 2 	 	 	 	 	 2 2 0 	 2 4 1 	 	 1 0 . 1 1 7 7 / 1 4 7 6 1 2 7 0 1 6 6 5 3 7 2 6 	 	 2 2 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 E U 7 T T 	 W O S : 0 0 0 4 0 1 2 3 8 3 0 0 0 0 5 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 N i c k e r s o n ,   J A ;   W u e b k e r ,   R ;   Z e n g e r ,   T 	 	 	 	 N i c k e r s o n ,   J a c k s o n   A . ;   W u e b k e r ,   R o b e r t ;   Z e n g e r ,   T o d d 	 	 	 P r o b l e m s ,   t h e o r i e s ,   a n d   g o v e r n i n g   t h e   c r o w d 	 S T R A T E G I C   O R G A N I Z A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c r o w d s o u r c i n g ;   g o v e r n a n c e ;   k n o w l e d g e   c r e a t i o n ;   m a n a g e r i a l   c o g n i t i o n ;   v a l u e   c r e a t i o n ;   v e r t i c a l   i n t e g r a t i o n 	 R E S E A R C H - A N D - D E V E L O P M E N T ;   K N O W L E D G E - B A S E D   E X A M I N A T I O N ;   T E C H N O L O G I C A L - D E V E L O P M E N T ;   I N N O V A T I O N   C O N T E S T S ;   F U T U R E - D I R E C T I O N S ;   F I R M ;   P E R F O R M A N C E ;   G O V E R N A N C E ;   B O U N D A R I E S ;   C O L L A B O R A T I O N 	 R e s e a r c h   a n d   r e c o m m e n d a t i o n s   o n   i n n o v a t i o n   t h r o u g h   c r o w d s o u r c i n g   a r e   d i v e r s e   a n d   o f t e n   c o n t r a d i c t o r y ,   p r o v i d i n g   l i t t l e   g u i d a n c e   o n   w h e n ,   w h e r e ,   a n d   u n d e r   w h a t   c o n d i t i o n s   t o   u s e   v a r i o u s   f o r m s   o f   c r o w d s o u r c i n g .   T h i s   a r t i c l e   r e s p o n d s   b y   a r g u i n g   t h a t   f o c a l   e c o n o m i c   a c t o r s ,   a s   o r g a n i z a t i o n   d e s i g n e r s ,   c a t a l y z e   i n n o v a t i o n   w h e n   t h e y   e f f i c i e n t l y   m a t c h   a t t r i b u t e s   o f   t h e   p r o b l e m   o r   a t t r i b u t e s   o f   a   d o m a i n   o f   p r o b l e m s   t o   m o d e s   o f   o r g a n i z i n g   p r o b l e m   f i n d i n g   a n d   s o l u t i o n   s e a r c h .   F o u r   b a s i c   i n s i g h t s   d r i v e   t h i s   a p p r o a c h .   F i r s t ,   s o u r c i n g   f r o m   t h e   c r o w d   i s ,   f u n d a m e n t a l l y ,   a   g o v e r n a n c e   c h o i c e .   S e c o n d ,   c r o w d s o u r c i n g   i s   a n   a m a l g a m   o f   b o t h   p r o b l e m   f i n d i n g   a n d   p r o b l e m   s o l v i n g   t h r o u g h   t h e   c r o w d .   T h i r d ,   t h e   a t t r i b u t e s   o f   f o c a l   a c t o r s ,   i n c l u d i n g   t h e   t h e o r i e s   o f   v a l u e   c r e a t i o n   t h e y   p o s s e s s ,   s h a p e   p r o b l e m   f o r m u l a t i o n ,   s o l u t i o n - s e a r c h ,   a n d   t h e   g o v e r n a n c e   o f   t h e s e   p r o c e s s e s .   F o u r t h ,   t h e   a c t   o f   d e f i n i n g   p r o b l e m s   r e v e a l s ,   a n d   o f t e n   g e n e r a t e s ,   a   v a s t   r e s i d u a l   d o m a i n   o f   p r o b l e m s o f t e n   u n s e e n   b y   t h e   f o c a l   e c o n o m i c   a c t o r t h a t   i s   i m p l i c i t l y   d e f e r r e d   t o   t h e   c r o w d   t o   f i n d   a n d   p o t e n t i a l l y   s o l v e . 	 [ N i c k e r s o n ,   J a c k s o n   A . ]   W a s h i n g t o n   U n i v ,   O l i n   B u s i n e s s   S c h ,   C a m p u s   B o x   1 1 3 3 , 1   B r o o k i n g s   D r ,   S t   L o u i s ,   M O   6 3 1 3 0   U S A ;   [ W u e b k e r ,   R o b e r t ;   Z e n g e r ,   T o d d ]   U n i v   U t a h ,   D a v i d   E c c l e s   S c h   B u s i n e s s ,   S a l t   L a k e   C i t y ,   U T   8 4 1 1 2   U S A 	 Z e n g e r ,   T   ( r e p r i n t   a u t h o r ) ,   U n i v   U t a h ,   D a v i d   E c c l e s   S c h   B u s i n e s s ,   S a l t   L a k e   C i t y ,   U T   8 4 1 1 2   U S A . 	 n i c k e r s o n @ w u s t l . e d u ;   r o b e r t . w u e b k e r @ e c c l e s . u t a h . e d u ;   t o d d . z e n g e r @ e c c l e s . u t a h . e d u 	 	 	 	 	 A c s   Z J ,   1 9 9 0 ,   I N N O V A T I O N   S M A L L   F I R ;   A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   A h u j a   G ,   2 0 0 0 ,   S T R A T E G I C   M A N A G E   J ,   V 2 1 ,   P 3 1 7 ,   D O I   1 0 . 1 0 0 2 / ( S I C I ) 1 0 9 7 - 0 2 6 6 ( 2 0 0 0 0 3 ) 2 1 : 3 < 3 1 7 : : A I D - S M J 9 0 > 3 . 0 . C O ; 2 - B ;   A r g y r e s   N S ,   2 0 1 2 ,   O R G A N   S C I ,   V 2 3 ,   P 1 6 4 3 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 1 0 . 0 7 3 6 ;   A r m i s e n   A ,   2 0 1 5 ,   B U S   H O R I Z O N S ,   V 5 8 ,   P 3 8 9 ,   D O I   1 0 . 1 0 1 6 / j . b u s h o r . 2 0 1 5 . 0 3 . 0 0 4 ;   B A N T E L   K A ,   1 9 8 9 ,   S T R A T E G I C   M A N A G E   J ,   V 1 0 ,   P 1 0 7 ,   D O I   1 0 . 1 0 0 2 / s m j . 4 2 5 0 1 0 0 7 0 9 ;   B e n - M e n a h e m   S ,   2 0 1 5 ,   A C A D   M A N A G E   J ,   D O I   [ 1 0 . 5 4 6 5 / a m j . 2 0 1 3 . 1 2 1 4 ,   D O I   1 0 . 5 4 6 5 / A M J . 2 0 1 3 . 1 2 1 4 ] ;   B o n g s u n   K ,   2 0 1 5 ,   E U R O P E A N   M A N A G E M E N T ;   B o u d r e a u   K J ,   2 0 1 3 ,   H A R V A R D   B U S   R E V ,   V 9 1 ,   P 6 0 ;   B o u d r e a u   K J ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 8 4 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 2 2 ;   B o u m g a r d e n   P ,   2 0 1 2 ,   S T R A T E G I C   M A N A G E   J ,   V 3 3 ,   P 5 8 7 ,   D O I   1 0 . 1 0 0 2 / s m j . 1 9 7 2 ;   B r a n d e n b u r g e r   A M ,   1 9 9 6 ,   J   E C O N   M A N A G E   S T R A T ,   V 5 ,   P 5 ;   B r e s c h i   S ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 6 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 0 4 - 5 ;   C h e s b r o u g h   H ,   2 0 0 6 ,   O P E N   I N N O V A T I O N   N E W ;   C h e s b r o u g h   H W ,   2 0 1 3 ,   O P E N   B U S I N E S S   M O D E L S ;   C o h e n   W M ,   1 9 9 6 ,   E C O N   J ,   V 1 0 6 ,   P 9 2 5 ,   D O I   1 0 . 2 3 0 7 / 2 2 3 5 3 6 5 ;   C s a s z a r   F A ,   2 0 1 6 ,   S T R A T E G I C   M A N A G E   J ,   V 3 7 ,   P 2 0 3 1 ,   D O I   1 0 . 1 0 0 2 / s m j . 2 4 4 0 ;   C Y E R T   R . M . ,   1 9 6 3 ,   B E H A V   T H E O R Y   F I R M ;   D a h l a n d e r   L ,   2 0 1 0 ,   R E S   P O L I C Y ,   V 3 9 ,   P 6 9 9 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 0 . 0 1 . 0 1 3 ;   D e m s e t z   H . ,   1 9 8 8 ,   J   L A W   E C O N   O R G A N ,   V 4 ,   P 1 4 1 ;   D y e r   J H ,   2 0 0 9 ,   H A R V A R D   B U S   R E V ,   V 8 7 ,   P 6 0 ;   E i n s t e i n   A ,   1 9 3 8 ,   E V O L U T I O N   P H Y S ,   P 9 2 ;   F e l i n   T ,   2 0 1 5 ,   O R G A N   S C I ,   V 2 7 ,   P 2 2 2 ;   F e l i n   T ,   2 0 1 4 ,   R E S   P O L I C Y ,   V 4 3 ,   P 9 1 4 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 3 . 0 9 . 0 0 6 ;   F e l i n   T ,   2 0 0 9 ,   S T R A T E G   E N T R E P   J ,   V 3 ,   P 1 2 7 ,   D O I   1 0 . 1 0 0 2 / s e j . 6 7 ;   F e y   C F ,   2 0 0 5 ,   J   M A N A G E ,   V 3 1 ,   P 5 9 7 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 9 2 0 6 3 0 4 2 7 2 3 4 6 ;   F l e m i n g   L ,   2 0 0 7 ,   O R G A N   S C I ,   V 1 8 ,   P 1 6 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 6 0 . 0 2 4 2 ;   F o s s   N J ,   2 0 1 1 ,   O R G A N   S C I ,   V 2 2 ,   P 9 8 0 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 1 0 0 . 0 5 8 4 ;   F o s s   N .   J . ,   2 0 1 2 ,   O R G   E N T R E P R E N E U R I A L ;   F o s s   N .   J . ,   2 0 0 5 ,   H D B   E N T R E P R E N E U R S H I P ,   P 5 5 ;   F u r r   N ,   2 0 1 6 ,   W O R K I N G   P A P E R ;   H u s t o n   L ,   2 0 0 6 ,   H A R V A R D   B U S   R E V ,   V 8 4 ,   P 5 8 ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   L a k h a n i   K ,   2 0 1 2 ,   1 2 5 7   H A R V   B U S   S C H   T E ,   P 1 2 ;   L a k h a n i   K R ,   2 0 0 7 ,   H A R V A R D   B U S   R E V ,   V 8 5 ,   P 3 0 ;   L a u r s e n   K ,   2 0 0 6 ,   S T R A T E G I C   M A N A G E   J ,   V 2 7 ,   P 1 3 1 ,   D O I   1 0 . 1 0 0 2 / s m j . 5 0 7 ;   L e i p o n e n   A ,   2 0 1 0 ,   S T R A T E G   M A N A G E   J ,   V 3 1 ,   P 2 2 4 ,   D O I   1 0 . 1 0 0 2 / s m j . 8 0 7 ;   M a c D o n a l d   G ,   2 0 0 4 ,   M A N A G E   S C I ,   V 5 0 ,   P 1 3 1 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 3 0 . 0 1 5 2 ;   M a c h e r   J T ,   2 0 1 2 ,   S T R A T E G I C   M A N A G E   J ,   V 3 3 ,   P 1 0 1 6 ,   D O I   1 0 . 1 0 0 2 / s m j . 1 9 5 6 ;   M a c h e r   J T ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 8 2 6 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 1 1 ;   M a r c h   J . G . ,   1 9 5 8 ,   O R G A N I Z A T I O N S ;   M a y e r   K J ,   2 0 0 6 ,   A C A D   M A N A G E   J ,   V 4 9 ,   P 9 4 2 ;   M c K i n s e y   &   C o m p a n y ,   2 0 0 9 ,   W I N N   I S   P H I L   G O V   M A K ;   N i c k e r s o n   J A ,   2 0 0 4 ,   O R G A N   S C I ,   V 1 5 ,   P 6 1 7 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 4 0 . 0 0 9 3 ;   N i c k e r s o n   J A ,   2 0 0 2 ,   O R G A N   S C I ,   V 1 3 ,   P 5 4 7 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 3 . 5 . 5 4 7 . 7 8 1 5 ;   N i c k e r s o n   J ,   2 0 1 2 ,   A C A D   M A N A G E   P E R S P E C T ,   V 2 6 ,   P 5 2 ,   D O I   1 0 . 5 4 6 5 / a m p . 2 0 1 1 . 0 1 0 6 ;   N i c k e r s o n   J A ,   2 0 0 7 ,   S T R A T E G   O R G A N ,   V 5 ,   P 2 1 1 ,   D O I   1 0 . 1 1 7 7 / 1 4 7 6 1 2 7 0 0 7 0 7 9 9 6 9 ;   O ' R e i l l y   C A ,   2 0 0 4 ,   H A R V A R D   B U S   R E V ,   V 8 2 ,   P 7 4 ;   P o p p e r   K a r l ,   1 9 9 9 ,   A L L   L I F E   I S   P R O B L E M ;   R a i s c h   S ,   2 0 0 9 ,   O R G A N   S C I ,   V 2 0 ,   P 6 8 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 2 8 ;   S c h u m p e t e r   J .   A . ,   1 9 4 2 ,   C A P I T A L I S M   S O C I A L I S M ;   S c h u m p e t e r   J .   A . ,   1 9 3 4 ,   T H E O R Y   E C   D E V   I N Q U I R ;   S i m o n   H . ,   1 9 8 2 ,   M O D E L S   B O U N D E D   R A T I O ;   S I M O N   H A ,   1 9 8 5 ,   A M   P O L I T   S C I   R E V ,   V 7 9 ,   P 2 9 3 ,   D O I   1 0 . 2 3 0 7 / 1 9 5 6 6 5 0 ;   S i m o n   H .   A . ,   1 9 4 7 ,   A D M   B E H A V   S T U D Y   D E C I ;   S i m o n   H A ,   1 9 9 1 ,   A D M   B E H A V   S T U D Y   D E C I ,   p x v i ;   S I M O N   H A ,   1 9 6 2 ,   T H E   A M E R I C A N   E C O N O M I ,   V 5 2 ,   P 1 ;   S p e n d e r   J C ,   1 9 9 6 ,   S T R A T E G I C   M A N A G E   J ,   V 1 7 ,   P 5 ;   S t a n k o   M A ,   2 0 1 1 ,   R & D   M A N A G E ,   V 4 1 ,   P 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 1 0 . 0 0 6 2 4 . x ;   T E E C E   D J ,   1 9 8 6 ,   R E S   P O L I C Y ,   V 1 5 ,   P 2 8 5 ,   D O I   1 0 . 1 0 1 6 / 0 0 4 8 - 7 3 3 3 ( 8 6 ) 9 0 0 2 7 - 2 ;   T e t h e r   B S ,   1 9 9 8 ,   R E S   P O L I C Y ,   V 2 7 ,   P 7 2 5 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 9 8 ) 0 0 0 7 9 - 1 ;   U R B A N   G L ,   1 9 8 8 ,   M A N A G E   S C I ,   V 3 4 ,   P 5 6 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 3 4 . 5 . 5 6 9 ;   v a n   d e   V r a n d e   V ,   2 0 1 0 ,   I N T   J   T E C H N O L   M A N A G E ,   V 5 2 ,   P 2 2 1 ,   D O I   1 0 . 1 5 0 4 / I J T M . 2 0 1 0 . 0 3 5 9 7 4 ;   V a n   d e n   S t e e n   E ,   2 0 1 0 ,   A M   E C O N   R E V ,   V 1 0 0 ,   P 4 6 6 ,   D O I   1 0 . 1 2 5 7 / a e r . 1 0 0 . 1 . 4 6 6 ;   V O N H I P P E L   E ,   1 9 9 4 ,   M A N A G E   S C I ,   V 4 0 ,   P 4 2 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 4 0 . 4 . 4 2 9 ;   V o n   H i p p e l   E ,   2 0 0 7 ,   S O U R C E S   I N N O V A T I O N ;   V o n   H i p p e l   E ,   2 0 1 5 ,   O R G A N   S C I ,   V 2 7 ,   P 2 0 7 ;   v o n   H i p p e l   E . ,   2 0 0 5 ,   D E M O C R A T I Z I N G   I N N O V A ;   W e s t   J ,   2 0 1 1 ,   P R O F I T I N G   E X T E R N A L   I ;   W e s t   M A ,   2 0 0 2 ,   A P P L   P S Y C H O L - I N T   R E V ,   V 5 1 ,   P 3 5 5 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 4 - 0 5 9 7 . 0 0 9 5 1 ;   W i l l i a m s o n   O .   E . ,   1 9 8 5 ,   E C   I   C A P I T A L I S M ;   W i l l i a m s o n   O . E . ,   1 9 7 5 ,   M A R K E T S   H I E R A R C H I E S ;   W i l l i a m s o n   O .   E . ,   1 9 9 6 ,   M E C H   G O V E R N A N C E ;   W u e b k e r   R ,   2 0 1 6 ,   W O R K I N G   P A P E R   S E R I E S ;   Z i r p o l i   F ,   2 0 1 1 ,   R & D   M A N A G E ,   V 4 1 ,   P 2 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 3 1 0 . 2 0 1 0 . 0 0 6 2 9 . x 	 7 5 	 0 	 0 	 1 	 1 	 S A G E   P U B L I C A T I O N S   L T D 	 L O N D O N 	 1   O L I V E R S   Y A R D ,   5 5   C I T Y   R O A D ,   L O N D O N   E C 1 Y   1 S P ,   E N G L A N D 	 1 4 7 6 - 1 2 7 0 	 1 7 4 1 - 3 1 5 X 	 	 S T R A T E G   O R G A N 	 S t r a t e g .   O r g a n . 	 M A Y 	 2 0 1 7 	 1 5 	 2 	 	 	 	 	 2 7 5 	 2 8 8 	 	 1 0 . 1 1 7 7 / 1 4 7 6 1 2 7 0 1 6 6 4 9 9 4 3 	 	 1 4 	 B u s i n e s s ;   M a n a g e m e n t 	 B u s i n e s s   &   E c o n o m i c s 	 E U 7 T T 	 W O S : 0 0 0 4 0 1 2 3 8 3 0 0 0 0 8 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 P o h l i g ,   F ;   L e n z e ,   U ;   M u h l h o f e r ,   H M L ;   L e n z e ,   F W ;   S c h a u w e c k e r ,   J ;   K n e b e l ,   C ;   Z i m m e r m a n n ,   T ;   H e r s c h b a c h ,   P 	 	 	 	 P o h l i g ,   F l o r i a n ;   L e n z e ,   U l r i c h ;   M u h l h o f e r ,   H e i n r i c h   M .   L . ;   L e n z e ,   F l o r i a n   W . ;   S c h a u w e c k e r ,   J o h a n n e s ;   K n e b e l ,   C a r o l i n ;   Z i m m e r m a n n ,   T a n j a ;   H e r s c h b a c h ,   P e t e r 	 	 	 I T - b a s e d   P s y c h o s o c i a l   D i s t r e s s   S c r e e n i n g   i n   P a t i e n t s   w i t h   S a r c o m a   a n d   P a r e n t a l   C a r e g i v e r s   v i a   D i s e a s e - s p e c i f i c   O n l i n e   S o c i a l   M e d i a   C o m m u n i t i e s 	 I N   V I V O 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 P s y c h o s o c i a l   d i s t r e s s ;   p s y c h o - o n c o l o g y ;   c r o w d s o u r c i n g ;   F a c e b o o k ;   o s t e o s a r c o m a ;   E w i n g ' s   s a r c o m a 	 P I G M E N T E D   V I L L O N O D U L A R   S Y N O V I T I S ;   C A N C E R - P A T I E N T S ;   P R O G R E S S I O N   Q U E S T I O N N A I R E ;   C L I N I C A L - P R A C T I C E ;   E W I N G S - S A R C O M A ;   R A R E   C A N C E R S ;   O S T E O S A R C O M A ;   C H I L D R E N ;   T U M O R S ;   F E A R 	 B a c k g r o u n d :   P s y c h o s o c i a l   d i s t r e s s   c a n   b e   f r e q u e n t l y   o b s e r v e d   i n   p a t i e n t s   w i t h   s a r c o m a ,   d e p i c t i n g   a   r e l e v a n t   c l i n i c a l   p r o b l e m .   H o w e v e r ,   p r o s p e c t i v e   d a t a   c o l l e c t i o n   o n   p s y c h o s o c i a l   d i s t r e s s   i n   p a t i e n t s   w i t h   r a r e   t u m o r s   i s   o f t e n   t i m e - c o n s u m i n g .   I n   t h i s   c o n t e x t ,   s o c i a l   m e d i a   s u c h   a s   F a c e b o o k   c a n   s e r v e   a s   a   p o t e n t i a l   p l a t f o r m   t o   e x p a n d   r e s e a r c h .   T h e   a i m   o f   t h i s   s t u d y   w a s   t o   a s s e s s   t h e   f e a s i b i l i t y   o f   p s y c h o s o c i a l   d i s t r e s s   s c r e e n i n g   i n   p a t i e n t s   w i t h   o s t e o s a r c o m a   a n d   E w i n g ' s   s a r c o m a   v i a   s o c i a l   m e d i a .   M a t e r i a l s   a n d   M e t h o d s :   F o r   t h i s   s t u d y   a n   o n l i n e   q u e s t i o n n a i r e   i n c l u d i n g   g e n e r a l   i n f o r m a t i o n   a n d   s e l f - a s s e s s m e n t   d i s t r e s s   m e a s u r e m e n t   t o o l s   f o r   p a t i e n t s   a n d   p a r e n t s   w a s   c r e a t e d .   T h e   l i n k   t o   t h e   q u e s t i o n n a i r e   w a s   t h e n   p o s t e d   o n   t h e   m a i n   p a g e   o f   t h e   t w o   l a r g e s t   d i s e a s e - s p e c i f i c   F a c e b o o k   c o m m u n i t i e s   o n   o s t e o s a r c o m a   a n d   E w i n g ' s   s a r c o m a .   R e s u l t s :   W i t h i n   2   m o n t h s ,   2 8   p a t i e n t s   a n d   5 8   p a r e n t s   o f   p a t i e n t s   w e r e   e n r o l l e d .   A l l   p a t i e n t s   w i t h   o s t e o s a r c o m a   a n d   E w i n g ' s   s a r c o m a ,   a s   w e l l   a s   t h e   m a j o r i t y   o f   p a r e n t a l   c a r e g i v e r s   o f   s u c h   p a t i e n t s ,   s h o w e d   r e l e v a n t   p s y c h o s o c i a l   d i s t r e s s   l e v e l s .   C o n c l u s i o n :   C r o w d s o u r c i n g   v i a   d i s e a s e - s p e c i f i c   p a t i e n t   c o m m u n i t i e s   o n   F a c e b o o k   i s   f e a s i b l e   a n d   p r o v i d e s   g r e a t   p o t e n t i a l   f o r   a c q u i s i t i o n   o f   m e d i c a l   d a t a   o f   r a r e   d i s e a s e s . 	 [ P o h l i g ,   F l o r i a n ;   L e n z e ,   U l r i c h ;   M u h l h o f e r ,   H e i n r i c h   M .   L . ;   L e n z e ,   F l o r i a n   W . ;   S c h a u w e c k e r ,   J o h a n n e s ;   K n e b e l ,   C a r o l i n ]   T e c h   U n i v   M u n i c h ,   D e p t   O r t h o p a e d   S u r g ,   M u n i c h ,   G e r m a n y ;   [ H e r s c h b a c h ,   P e t e r ]   T e c h   U n i v   M u n i c h ,   R o m a n   H e r z o g   C o m p r e h e n s   C a n c   C t r ,   D e p t   P s y c h o s o m a t   M e d ,   M u n i c h ,   G e r m a n y ;   [ H e r s c h b a c h ,   P e t e r ]   T e c h   U n i v   M u n i c h ,   R e c h t s   I s a r   H o s p ,   M u n i c h ,   G e r m a n y ;   [ L e n z e ,   F l o r i a n   W . ]   T r a u n s t e i n   H o s p ,   D e p t   T r a u m a t o l ,   T r a u n s t e i n ,   G e r m a n y ;   [ Z i m m e r m a n n ,   T a n j a ]   H a n n o v e r   M e d   S c h ,   D e p t   P s y c h o s o m a t   M e d   &   P s y c h o t h e r a p y ,   H a n n o v e r ,   G e r m a n y 	 P o h l i g ,   F   ( r e p r i n t   a u t h o r ) ,   T e c h   U n i v   M u n i c h ,   D e p t   O r t h o p a e d   S u r g ,   K l i n i k u m   R e c h t s   I s a r ,   I s m a n i n g e r   S t r   2 2 ,   D - 8 1 6 7 5   M u n i c h ,   G e r m a n y . 	 F l o r i a n . P o h l i g @ m r i . t u m . d e 	 	 	 W i l h e l m - S a n d e r - F o u n d a t i o n 	 T h e   A u t h o r s   w i s h   t o   e x p l i c i t l y   t h a n k   t h e   W i l h e l m - S a n d e r - F o u n d a t i o n ,   a   c h a r i t a b l e ,   n o n - p r o f i t   f o u n d a t i o n   w h o s e   p u r p o s e   i s   t o   p r o m o t e   c a n c e r   r e s e a r c h ,   f o r   f u n d i n g   t h i s   s t u d y . 	 A n d e r s o n   M E ,   2 0 1 6 ,   O R T H O P   C L I N   N   A M ,   V 4 7 ,   P 2 8 3 ,   D O I   1 0 . 1 0 1 6 / j . o c l . 2 0 1 5 . 0 8 . 0 2 2 ;   A u r e g a n   J C ,   2 0 1 4 ,   A R T H R O S C O P Y ,   V 3 0 ,   P 1 3 2 7 ,   D O I   1 0 . 1 0 1 6 / j . a r t h r o . 2 0 1 4 . 0 4 . 1 0 1 ;   B a l d i n i   E H ,   1 9 9 9 ,   A N N   S U R G ,   V 2 3 0 ,   P 7 9 ,   D O I   1 0 . 1 0 9 7 / 0 0 0 0 0 6 5 8 - 1 9 9 9 0 7 0 0 0 - 0 0 0 1 2 ;   B i e l a c k   S ,   2 0 0 9 ,   A N N   O N C O L ,   V 2 0 ,   P 1 3 7 ,   D O I   1 0 . 1 0 9 3 / a n n o n c / m d p 1 5 4 ;   B i l l i n g h a m   L ,   2 0 1 6 ,   L A N C E T   O N C O L ,   V 1 7 ,   p E 7 0 ,   D O I   1 0 . 1 0 1 6 / S 1 4 7 0 - 2 0 4 5 ( 1 5 ) 0 0 3 9 6 - 4 ;   B o o k   K ,   2 0 1 1 ,   P S Y C H O - O N C O L O G Y ,   V 2 0 ,   P 2 8 7 ,   D O I   1 0 . 1 0 0 2 / p o n . 1 8 2 1 ;   C a p e   J ,   1 9 9 9 ,   B R I T   J   G E N   P R A C T ,   V 4 9 ,   P 8 7 5 ;   C a r l s o n   L E ,   2 0 0 3 ,   J   P S Y C H O S O M   R E S ,   V 5 5 ,   P 4 0 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 2 2 - 3 9 9 9 ( 0 3 ) 0 0 5 1 4 - 2 ;   D O R F M A N   H D ,   1 9 9 5 ,   C A N C E R ,   V 7 5 ,   P 2 0 3 ,   D O I   1 0 . 1 0 0 2 / 1 0 9 7 - 0 1 4 2 ( 1 9 9 5 0 1 0 1 ) 7 5 : 1 + < 2 0 3 : : A I D - C N C R 2 8 2 0 7 5 1 3 0 8 > 3 . 0 . C O ; 2 - V ;   F i d i k a   A ,   2 0 1 5 ,   J   P S Y C H O S O M   R E S ,   V 7 9 ,   P 4 9 ,   D O I   1 0 . 1 0 1 6 / j . j p s y c h o r e s . 2 0 1 5 . 0 2 . 0 1 4 ;   G a t t a   G ,   2 0 1 1 ,   E U R   J   C A N C E R ,   V 4 7 ,   P 2 4 9 3 ,   D O I   1 0 . 1 0 1 6 / j . e j c a . 2 0 1 1 . 0 8 . 0 0 8 ;   G e l h o r n   H L ,   2 0 1 6 ,   C L I N   T H E R ,   V 3 8 ,   P 7 7 8 ,   D O I   1 0 . 1 0 1 6 / j . c l i n t h e r a . 2 0 1 6 . 0 3 . 0 0 8 ;   G n a n a s a k t h y   A ,   2 0 1 2 ,   V A L U E   H E A L T H ,   V 1 5 ,   P 4 3 7 ,   D O I   1 0 . 1 0 1 6 / j . j v a l . 2 0 1 1 . 1 1 . 0 3 2 ;   G r a v e s   K D ,   2 0 0 7 ,   L U N G   C A N C E R ,   V 5 5 ,   P 2 1 5 ,   D O I   1 0 . 1 0 1 6 / j . l u n g c a n . 2 0 0 6 . 1 0 . 0 0 1 ;   G r i e r   H E ,   1 9 9 7 ,   P E D I A T R   C L I N   N   A M ,   V 4 4 ,   P 9 9 1 ,   D O I   1 0 . 1 0 1 6 / S 0 0 3 1 - 3 9 5 5 ( 0 5 ) 7 0 5 4 1 - 1 ;   H e r s c h b a c h   P ,   2 0 0 4 ,   B R I T   J   C A N C E R ,   V 9 1 ,   P 5 0 4 ,   D O I   1 0 . 1 0 3 8 / s j . b j c . 6 6 0 1 9 8 6 ;   H E R S C H B A C H   P ,   1 9 8 5 ,   O N K O L O G I E ,   V 8 ,   P 2 1 9 ;   H e r s c h b a c h   P ,   2 0 0 3 ,   Z   M E D   P S Y C H O L ,   V 1 2 ,   P 6 9 ;   L e n z e   U ,   2 0 1 2 ,   O R T H O P A D E ,   V 4 1 ,   P 9 5 8 ,   D O I   1 0 . 1 0 0 7 / s 0 0 1 3 2 - 0 1 2 - 1 9 8 1 - 0 ;   L o p e z   J o s e   L u i s ,   2 0 1 1 ,   R e p   P r a c t   O n c o l   R a d i o t h e r ,   V 1 6 ,   P 1 0 3 ,   D O I   1 0 . 1 0 1 6 / j . r p o r . 2 0 1 1 . 0 1 . 0 0 6 ;   L u e t k e   A ,   2 0 1 4 ,   C A N C E R   T R E A T   R E V ,   V 4 0 ,   P 5 2 3 ,   D O I   1 0 . 1 0 1 6 / j . c t r v . 2 0 1 3 . 1 1 . 0 0 6 ;   L u g o - F a g u n d o   C ,   2 0 1 6 ,   J   A M   C O L L   R A D I O L ,   V 1 3 ,   P 3 1 6 ,   D O I   1 0 . 1 0 1 6 / j . j a c r . 2 0 1 5 . 1 0 . 0 2 3 ;   M i r a b e l l o   L ,   2 0 0 9 ,   C A N C E R ,   V 1 1 5 ,   P 1 5 3 1 ,   D O I   1 0 . 1 0 0 2 / c n c r . 2 4 1 2 1 ;   M i t c h e l l   A J ,   2 0 0 7 ,   J   C L I N   O N C O L ,   V 2 5 ,   P 4 6 7 0 ,   D O I   1 0 . 1 2 0 0 / J C O . 2 0 0 6 . 1 0 . 0 4 3 8 ;   M i t c h e l l   A J ,   2 0 1 1 ,   L A N C E T   O N C O L ,   V 1 2 ,   P 1 6 0 ,   D O I   1 0 . 1 0 1 6 / S 1 4 7 0 - 2 0 4 5 ( 1 1 ) 7 0 0 0 2 - X ;   N e t w o r k   N C C ,   2 0 1 6 ,   N C C N   C L I N   P R A C T I C E   G ;   O g u r a   K ,   2 0 1 3 ,   J   B O N E   J O I N T   S U R G   A M ,   V 9 5 A ,   P 1 6 8 4 ,   D O I   1 0 . 2 1 0 6 / J B J S . L . 0 0 9 1 3 ;   O t t a v i a n i   G ,   2 0 0 9 ,   C A N C   T R E A T ,   V 1 5 2 ,   P 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 1 - 4 4 1 9 - 0 2 8 4 - 9 _ 1 ;   S c h e p p e r   F ,   2 0 1 5 ,   K L I N   P A D I A T R ,   V 2 2 7 ,   P 1 5 1 ,   D O I   1 0 . 1 0 5 5 / s - 0 0 3 5 - 1 5 4 5 3 5 2 ;   S i e d e n t o p f   F ,   2 0 1 0 ,   E U R   J   O B S T E T   G Y N   R   B ,   V 1 4 8 ,   P 1 6 6 ,   D O I   1 0 . 1 0 1 6 / j . e j o g r b . 2 0 0 9 . 1 0 . 0 1 4 ;   S i n g e r   S ,   2 0 1 0 ,   A N N   O N C O L ,   V 2 1 ,   P 9 2 5 ,   D O I   1 0 . 1 0 9 3 / a n n o n c / m d p 5 1 5 ;   S L E V I N   M L ,   1 9 8 8 ,   B R I T   J   C A N C E R ,   V 5 7 ,   P 1 0 9 ,   D O I   1 0 . 1 0 3 8 / b j c . 1 9 8 8 . 2 0 ;   V a l d e r a s   J M ,   2 0 0 8 ,   Q U A L   L I F E   R E S ,   V 1 7 ,   P 1 7 9 ,   D O I   1 0 . 1 0 0 7 / s 1 1 1 3 6 - 0 0 7 - 9 2 9 5 - 0 ;   v a n   d e r   H e i j d e n   L ,   2 0 1 6 ,   I N T   O R T H O P ,   V 4 0 ,   P 2 4 5 9 ,   D O I   1 0 . 1 0 0 7 / s 0 0 2 6 4 - 0 1 6 - 3 2 0 8 - 1 ;   V A R N I   J W ,   1 9 9 1 ,   A R C H   P H Y S   M E D   R E H A B ,   V 7 2 ,   P 1 0 5 3 ;   v o n   E i s e n h a r t - R o t h e   R ,   2 0 1 1 ,   O R T H O P A D E ,   V 4 0 ,   P 1 1 2 1 ,   D O I   1 0 . 1 0 0 7 / s 0 0 1 3 2 - 0 1 1 - 1 8 6 6 - 7 ;   Z i m m e r m a n n   T ,   2 0 1 1 ,   B E H A V   M E D ,   V 3 7 ,   P 9 5 ,   D O I   1 0 . 1 0 8 0 / 0 8 9 6 4 2 8 9 . 2 0 1 1 . 6 0 5 3 9 9 	 3 7 	 0 	 0 	 1 	 1 	 I N T   I N S T   A N T I C A N C E R   R E S E A R C H 	 A T H E N S 	 E D I T O R I A L   O F F I C E   1 S T   K M   K A P A N D R I T I O U - K A L A M O U   R D   K A P A N D R I T I ,   P O   B O X   2 2 ,   A T H E N S   1 9 0 1 4 ,   G R E E C E 	 0 2 5 8 - 8 5 1 X 	 1 7 9 1 - 7 5 4 9 	 	 I N   V I V O 	 I n   V i v o 	 M A Y - J U N 	 2 0 1 7 	 3 1 	 3 	 	 	 	 	 4 4 3 	 4 5 0 	 	 1 0 . 2 1 8 7 3 / i n v i v o . 1 1 0 8 1 	 	 8 	 M e d i c i n e ,   R e s e a r c h   &   E x p e r i m e n t a l 	 R e s e a r c h   &   E x p e r i m e n t a l   M e d i c i n e 	 E T 1 R H 	 W O S : 0 0 0 4 0 0 0 4 6 0 0 0 0 2 6 	 2 8 4 3 8 8 7 7 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 X u ,   G ;   Z h u ,   X ;   F u ,   D J ;   D o n g ,   J W ;   X i a o ,   X M 	 	 	 	 X u ,   G u a n g ;   Z h u ,   X u a n ;   F u ,   D o n g j i e ;   D o n g ,   J i n w e i ;   X i a o ,   X i a n g m i n g 	 	 	 A u t o m a t i c   l a n d   c o v e r   c l a s s i f i c a t i o n   o f   g e o - t a g g e d   f i e l d   p h o t o s   b y   d e e p   l e a r n i n g 	 E N V I R O N M E N T A L   M O D E L L I N G   &   S O F T W A R E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 D e e p   l e a r n i n g ;   C o n v o l u t i o n a l   n e u r a l   n e t w o r k ;   T r a n s f e r   l e a r n i n g ;   M u l t i n o m i a l   l o g i s t i c   r e g r e s s i o n ;   L a n d   c o v e r ;   C r o w d s o u r c e d   p h o t o s 	 D E C I D U O U S   R U B B E R   P L A N T A T I O N S ;   F A C E   D E T E C T I O N ;   I M A G E R Y ;   B A S I N ;   R E C O G N I T I O N ;   P A L S A R 	 W i t h   m o r e   a n d   m o r e   c r o w d s o u r c i n g   g e o - t a g g e d   f i e l d   p h o t o s   a v a i l a b l e   o n l i n e ,   t h e y   a r e   b e c o m i n g   a   p o t e n t i a l l y   v a l u a b l e   s o u r c e   o f   i n f o r m a t i o n   f o r   e n v i r o n m e n t a l   s t u d i e s .   H o w e v e r ,   t h e   l a b e l l i n g   a n d   r e c o g n i t i o n   o f   t h e s e   p h o t o s   a r e   t i m e - c o n s u m i n g .   T o   u t i l i s e   s u c h   i n f o r m a t i o n ,   a   l a n d   c o v e r   t y p e   r e c o g n i t i o n   m o d e l   f o r   f i e l d   p h o t o s   w a s   p r o p o s e d   b a s e d   o n   t h e   d e e p   l e a r n i n g   t e c h n i q u e .   T h i s   m o d e l   c o m b i n e s   a   p r e - t r a i n e d   c o n v o l u t i o n a l   n e u r a l   n e t w o r k   ( C N N )   a s   t h e   i m a g e   f e a t u r e   e x t r a c t o r   a n d   t h e   m u l t i n o m i a l   l o g i s t i c   r e g r e s s i o n   m o d e l   a s   t h e   f e a t u r e   c l a s s i f i e r .   T h e   p r e - t r a i n e d   C N N   m o d e l   I n c e p t i o n - v 3   w a s   u s e d   i n   t h i s   s t u d y .   T h e   l a b e l l e d   f i e l d   p h o t o s   f r o m   t h e   G l o b a l   G e o - R e f e r e n c e d   F i e l d   P h o t o   L i b r a r y   ( h t t p : / / e o m f . o u . e d u i p h o t o s )   w e r e   c h o s e n   f o r   m o d e l   t r a i n i n g   a n d   v a l i d a t i o n .   T h e   r e s u l t s   i n d i c a t e d   t h a t   o u r   r e c o g n i t i o n   m o d e l   a c h i e v e d   a n   a c c e p t a b l e   a c c u r a c y   ( 4 8 . 4 0 %   f o r   t o p - 1   p r e d i c t i o n   a n d   7 6 . 2 4 %   f o r   t o p - 3   p r e d i c t i o n )   o f   l a n d   c o v e r   c l a s s i f i c a t i o n .   W i t h   a c c u r a t e   s e l f - a s s e s s m e n t   o f   c o n f i d e n c e ,   t h e   m o d e l   c a n   b e   a p p l i e d   t o   c l a s s i f y   n u m e r o u s   o n l i n e   g e o - t a g g e d   f i e l d   p h o t o s   f o r   e n v i r o n m e n t a l   i n f o r m a t i o n   e x t r a c t i o n .   ( C )   2 0 1 7   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ X u ,   G u a n g ;   Z h u ,   X u a n ]   M o n a s h   U n i v ,   S c h   E a r t h   A t m o s p h e r e   &   E n v i r o n m ,   C l a y t o n   C a m p u s ,   C l a y t o n ,   V i c   3 8 0 0 ,   A u s t r a l i a ;   [ F u ,   D o n g j i e ]   C h i n e s e   A c a d   S c i ,   I n s t   G e o g   S c i   &   N a t   R e s o u r c e s   R e s ,   S t a t e   K e y   L a b   R e s o u r c e s   &   E n v i r o n m   I n f o r m a t   S y s t ,   B e i j i n g   1 0 0 1 0 1 ,   P e o p l e s   R   C h i n a ;   [ D o n g ,   J i n w e i ]   C h i n e s e   A c a d   S c i ,   I n s t   G e o g   S c i   &   N a t   R e s o u r c e s   R e s ,   K e y   L a b   L a n d   S u r f a c e   P a t t e r n   &   S i m u l a t ,   B e i j i n g   1 0 0 1 0 1 ,   P e o p l e s   R   C h i n a ;   [ D o n g ,   J i n w e i ;   X i a o ,   X i a n g m i n g ]   U n i v   O k l a h o m a ,   D e p t   M i c r o b i o l   &   P l a n t   B i o l ,   N o r m a n ,   O K   7 3 0 1 9   U S A ;   [ D o n g ,   J i n w e i ;   X i a o ,   X i a n g m i n g ]   U n i v   O k l a h o m a ,   C t r   S p a t i a l   A n a l ,   N o r m a n ,   O K   7 3 0 1 9   U S A 	 X u ,   G   ( r e p r i n t   a u t h o r ) ,   M o n a s h   U n i v ,   S c h   E a r t h   A t m o s p h e r e   &   E n v i r o n m ,   C l a y t o n   C a m p u s ,   C l a y t o n ,   V i c   3 8 0 0 ,   A u s t r a l i a . 	 x g 1 9 9 0 @ g m a i l . c o m 	 	 	 N A S A   L a n d   U s e   a n d   L a n d   C o v e r   C h a n g e   p r o g r a m   [ N N X 1 4 A D 7 8 G ] ;   K e y   R e s e a r c h   P r o g r a m   o f   F r o n t i e r   S c i e n c e s ;   C h i n e s e   A c a d e m y   o f   S c i e n c e s   [ Q Y Z D B - S S W - D Q C 0 0 5 ] ;   T h o u s a n d   Y o u t h   T a l e n t s   P l a n ;   Y o u t h   S c i e n c e   F u n d s   o f   S t a t e   K e y   L a b o r a t o r y   o f   R e s o u r c e s   a n d   E n v i r o n m e n t a l   I n f o r m a t i o n   S y s t e m   [ O 8 R 8 A 0 8 0 Y A ] ;   N a t i o n a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 4 1 5 0 1 4 7 3 ] ;   I n s t i t u t e   o f   G e o g r a p h i c   S c i e n c e s   a n d   N a t u r a l   R e s o u r c e s   R e s e a r c h   [ Y 6 V 6 0 2 0 6 Y Z ] 	 W e   w o u l d   l i k e   t o   t h a n k   G o o g l e   f o r   m a k i n g   t h e   T e n s o r F l o w   l i b r a r y   a n d   t h e   I n c e p t i o n - v 3   m o d e l   a v a i l a b l e .   W e   a l s o   w o u l d   l i k e   t o   t h a n k   a l l   t h e   c o n t r i b u t o r s   o f   t h e   G l o b a l   G e o - R e f e r e n c e d   F i e l d   P h o t o   L i b r a r y   w h o   m a k e   t h i s   s t u d y   p o s s i b l e .   T h i s   s t u d y   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   N A S A   L a n d   U s e   a n d   L a n d   C o v e r   C h a n g e   p r o g r a m   ( N N X 1 4 A D 7 8 G ) ,   a n d   t h e   K e y   R e s e a r c h   P r o g r a m   o f   F r o n t i e r   S c i e n c e s ,   t h e   C h i n e s e   A c a d e m y   o f   S c i e n c e s   ( Q Y Z D B - S S W - D Q C 0 0 5 ) ,   t h e   " T h o u s a n d   Y o u t h   T a l e n t s   P l a n " .   T h i s   r e s e a r c h   w a s   a l s o   s u p p o r t e d   b y   t h e   Y o u t h   S c i e n c e   F u n d s   o f   S t a t e   K e y   L a b o r a t o r y   o f   R e s o u r c e s   a n d   E n v i r o n m e n t a l   I n f o r m a t i o n   S y s t e m   ( O 8 R 8 A 0 8 0 Y A ) ,   C h i n e s e   A c a d e m y   o f   S c i e n c e s ,   t h e   r e s e a r c h   g r a n t s   ( 4 1 5 0 1 4 7 3 )   f u n d e d   b y   N a t i o n a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   a n d   t h e   r e s e a r c h   g r a n t s   ( Y 6 V 6 0 2 0 6 Y Z )   f u n d e d   b y   I n s t i t u t e   o f   G e o g r a p h i c   S c i e n c e s   a n d   N a t u r a l   R e s o u r c e s   R e s e a r c h ,   C h i n e s e   A c a d e m y   o f   S c i e n c e s . 	 A r b i b   M A ,   2 0 0 3 ,   H D B   B R A I N   T H E O R Y   N E U ;   B e n g i o   Y . ,   2 0 1 2 ,   U N S U P E R V I S E D   T R A N S F ,   V 7 ,   P 1 9 ;   B e n g i o   Y . ,   2 0 1 1 ,   I N T   C   A R T   I N T   S T A T ;   C a r u a n a   R . ,   1 9 9 5 ,   A d v a n c e s   i n   N e u r a l   I n f o r m a t i o n   P r o c e s s i n g   S y s t e m s   7 ,   P 6 5 7 ;   C h e n   B Q ,   2 0 1 6 ,   I N T   J   A P P L   E A R T H   O B S ,   V 5 0 ,   P 1 1 7 ,   D O I   1 0 . 1 0 1 6 / j . j a g . 2 0 1 6 . 0 3 . 0 1 1 ;   C h e n   Y ,   2 0 1 6 ,   S C I   R E P O R T S ,   V 6 ;   D o n a h u e   J . ,   2 0 1 3 ,   A R X I V 1 3 1 0 1 5 3 1 ;   D o n g   J ,   2 0 1 4 ,   P L O S   O N E ,   V 9 ;   D o n g   J W ,   2 0 1 6 ,   R E M O T E   S E N S   E N V I R O N ,   V 1 8 5 ,   P 1 4 2 ,   D O I   1 0 . 1 0 1 6 / j . r s e . 2 0 1 6 . 0 2 . 0 1 6 ;   D o n g   J W ,   2 0 1 3 ,   R E M O T E   S E N S   E N V I R O N ,   V 1 3 4 ,   P 3 9 2 ,   D O I   1 0 . 1 0 1 6 / j . r s e . 2 0 1 3 . 0 3 . 0 1 4 ;   D u b i t z k y   W . ,   2 0 0 7 ,   F U N D A M E N T A L S   D A T A   M I ;   F o o d y   G M ,   2 0 1 3 ,   T   G I S ,   V 1 7 ,   P 8 4 7 ,   D O I   1 0 . 1 1 1 1 / t g i s . 1 2 0 3 3 ;   F r i t z   S ,   2 0 1 2 ,   E N V I R O N   M O D E L L   S O F T W ,   V 3 1 ,   P 1 1 0 ,   D O I   1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 1 1 . 1 1 . 0 1 5 ;   F U K U S H I M A   K ,   1 9 8 0 ,   B I O L   C Y B E R N ,   V 3 6 ,   P 1 9 3 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 3 4 4 2 5 1 ;   G a l l a n t   A . L . ,   2 0 0 4 ,   E N V I R O N   M A N A G E ,   V 3 4 ,   p S 8 9 ;   G a r c i a   C ,   2 0 0 2 ,   I N T   C   P A T T   R E C O G ,   P 4 4 ,   D O I   1 0 . 1 1 0 9 / I C P R . 2 0 0 2 . 1 0 4 8 2 3 2 ;   K a r a y e v   S . ,   2 0 1 3 ,   A R X I V 1 3 1 1 3 7 1 5 ;   K a r p a t h y   A . ,   2 0 1 6 ,   W H A T   I   L E A R N E D   C O M P E ;   L e c u n   Y ,   1 9 9 8 ,   P   I E E E ,   V 8 6 ,   P 2 2 7 8 ,   D O I   1 0 . 1 1 0 9 / 5 . 7 2 6 7 9 1 ;   L e i n e n k u g e l   P ,   2 0 1 3 ,   R E M O T E   S E N S   E N V I R O N ,   V 1 3 6 ,   P 1 8 0 ,   D O I   1 0 . 1 0 1 6 / j . r s e . 2 0 1 3 . 0 5 . 0 0 4 ;   L o n g   J . ,   2 0 1 5 ,   F U L L Y   C O N V O   I N   P R E S S ;   O s a d c h y   M ,   2 0 0 7 ,   J   M A C H   L E A R N   R E S ,   V 8 ,   P 1 1 9 7 ;   P a n   S J ,   2 0 1 0 ,   I E E E   T   K N O W L   D A T A   E N ,   V 2 2 ,   P 1 3 4 5 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 0 9 . 1 9 1 ;   Q i n   Y W ,   2 0 1 5 ,   I S P R S   J   P H O T O G R A M M ,   V 1 0 5 ,   P 2 2 0 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 1 5 . 0 4 . 0 0 8 ;   R a z a v i a n   A . ,   2 0 1 4 ,   P   I E E E   C   C O M P   V I S   P A ;   R u s s a k o v s k y   O ,   2 0 1 5 ,   I N T   J   C O M P U T   V I S I O N ,   V 1 1 5 ,   P 2 1 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 1 5 - 0 8 1 6 - y ;   S e r m a n e t   P . ,   2 0 1 3 ,   A R X I V 1 3 1 2 6 2 2 9 ;   S o u l a r d   C E ,   2 0 1 2 ,   R E G   E N V I R O N   C H A N G E ,   V 1 2 ,   P 8 1 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 1 1 3 - 0 1 2 - 0 2 9 6 - 3 ;   S p a r k s   K ,   2 0 1 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 9 3 6 8 ,   P 2 8 9 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 2 3 3 7 4 - 1 _ 1 4 ;   S t r i g l   D ,   2 0 1 0 ,   E U R O M I C R O   W O R K S H O P   P ,   P 3 1 7 ,   D O I   1 0 . 1 1 0 9 / P D P . 2 0 1 0 . 4 3 ;   S z e g e d y   C h r i s t i a n ,   2 0 1 5 ,   A R X I V 1 5 1 2 0 0 5 6 7 ;   T h o m e e   B ,   2 0 1 5 ,   A R X I V 1 5 0 3 0 1 8 1 7 ;   T s a r o u c h i   G M ,   2 0 1 4 ,   I N T   J   R E M O T E   S E N S ,   V 3 5 ,   P 3 1 5 0 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 3 1 1 6 1 . 2 0 1 4 . 9 0 3 3 5 2 ;   X i a o   X . ,   2 0 1 1 ,   E O S   T   A M   G E O P H Y S   U N ,   V 9 2 ,   P 4 5 3 ,   D O I   D O I   1 0 . 1 0 2 9 / 2 0 1 1 E O 4 9 0 0 0 2 ;   Y o s i n s k i   J . ,   2 0 1 4 ,   A D V   N E U R A L   I N F O R M   P R ,   P 3 3 2 0 	 3 5 	 0 	 0 	 7 	 7 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 1 3 6 4 - 8 1 5 2 	 1 8 7 3 - 6 7 2 6 	 	 E N V I R O N   M O D E L L   S O F T W 	 E n v i r o n .   M o d e l l .   S o f t w . 	 M A Y 	 2 0 1 7 	 9 1 	 	 	 	 	 	 1 2 7 	 1 3 4 	 	 1 0 . 1 0 1 6 / j . e n v s o f t . 2 0 1 7 . 0 2 . 0 0 4 	 	 8 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s ;   E n g i n e e r i n g ,   E n v i r o n m e n t a l ;   E n v i r o n m e n t a l   S c i e n c e s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y 	 E S 9 H T 	 W O S : 0 0 0 3 9 9 8 6 8 0 0 0 0 0 9 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 K r i s h n a ,   R ;   Z h u ,   Y K ;   G r o t h ,   O ;   J o h n s o n ,   J ;   H a t a ,   K ;   K r a v i t z ,   J ;   C h e n ,   S ;   K a l a n t i d i s ,   Y ;   L i ,   L J ;   S h a m m a ,   D A ;   B e r n s t e i n ,   M S ;   L i ,   F F 	 	 	 	 K r i s h n a ,   R a n j a y ;   Z h u ,   Y u k e ;   G r o t h ,   O l i v e r ;   J o h n s o n ,   J u s t i n ;   H a t a ,   K e n j i ;   K r a v i t z ,   J o s h u a ;   C h e n ,   S t e p h a n i e ;   K a l a n t i d i s ,   Y a n n i s ;   L i ,   L i - J i a ;   S h a m m a ,   D a v i d   A . ;   B e r n s t e i n ,   M i c h a e l   S . ;   L i   F e i - F e i 	 	 	 V i s u a l   G e n o m e :   C o n n e c t i n g   L a n g u a g e   a n d   V i s i o n   U s i n g   C r o w d s o u r c e d   D e n s e   I m a g e   A n n o t a t i o n s 	 I N T E R N A T I O N A L   J O U R N A L   O F   C O M P U T E R   V I S I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C o m p u t e r   v i s i o n ;   D a t a s e t ;   I m a g e ;   S c e n e   g r a p h ;   Q u e s t i o n   a n s w e r i n g ;   O b j e c t s ;   A t t r i b u t e s ;   R e l a t i o n s h i p s ;   K n o w l e d g e ;   L a n g u a g e ;   C r o w d s o u r c i n g 	 D A T A B A S E ;   C L A S S I F I C A T I O N ;   K N O W L E D G E ;   W O R D N E T ;   O B J E C T 	 D e s p i t e   p r o g r e s s   i n   p e r c e p t u a l   t a s k s   s u c h   a s   i m a g e   c l a s s i f i c a t i o n ,   c o m p u t e r s   s t i l l   p e r f o r m   p o o r l y   o n   c o g n i t i v e   t a s k s   s u c h   a s   i m a g e   d e s c r i p t i o n   a n d   q u e s t i o n   a n s w e r i n g .   C o g n i t i o n   i s   c o r e   t o   t a s k s   t h a t   i n v o l v e   n o t   j u s t   r e c o g n i z i n g ,   b u t   r e a s o n i n g   a b o u t   o u r   v i s u a l   w o r l d .   H o w e v e r ,   m o d e l s   u s e d   t o   t a c k l e   t h e   r i c h   c o n t e n t   i n   i m a g e s   f o r   c o g n i t i v e   t a s k s   a r e   s t i l l   b e i n g   t r a i n e d   u s i n g   t h e   s a m e   d a t a s e t s   d e s i g n e d   f o r   p e r c e p t u a l   t a s k s .   T o   a c h i e v e   s u c c e s s   a t   c o g n i t i v e   t a s k s ,   m o d e l s   n e e d   t o   u n d e r s t a n d   t h e   i n t e r a c t i o n s   a n d   r e l a t i o n s h i p s   b e t w e e n   o b j e c t s   i n   a n   i m a g e .   W h e n   a s k e d   " W h a t   v e h i c l e   i s   t h e   p e r s o n   r i d i n g ? " ,   c o m p u t e r s   w i l l   n e e d   t o   i d e n t i f y   t h e   o b j e c t s   i n   a n   i m a g e   a s   w e l l   a s   t h e   r e l a t i o n s h i p s   r i d i n g ( m a n ,   c a r r i a g e )   a n d   p u l l i n g ( h o r s e ,   c a r r i a g e )   t o   a n s w e r   c o r r e c t l y   t h a t   " t h e   p e r s o n   i s   r i d i n g   a   h o r s e - d r a w n   c a r r i a g e . "   I n   t h i s   p a p e r ,   w e   p r e s e n t   t h e   V i s u a l   G e n o m e   d a t a s e t   t o   e n a b l e   t h e   m o d e l i n g   o f   s u c h   r e l a t i o n s h i p s .   W e   c o l l e c t   d e n s e   a n n o t a t i o n s   o f   o b j e c t s ,   a t t r i b u t e s ,   a n d   r e l a t i o n s h i p s   w i t h i n   e a c h   i m a g e   t o   l e a r n   t h e s e   m o d e l s .   S p e c i f i c a l l y ,   o u r   d a t a s e t   c o n t a i n s   o v e r   1 0 8 K   i m a g e s   w h e r e   e a c h   i m a g e   h a s   a n   a v e r a g e   o f   o b j e c t s ,   a t t r i b u t e s ,   a n d   p a i r w i s e   r e l a t i o n s h i p s   b e t w e e n   o b j e c t s .   W e   c a n o n i c a l i z e   t h e   o b j e c t s ,   a t t r i b u t e s ,   r e l a t i o n s h i p s ,   a n d   n o u n   p h r a s e s   i n   r e g i o n   d e s c r i p t i o n s   a n d   q u e s t i o n s   a n s w e r   p a i r s   t o   W o r d N e t   s y n s e t s .   T o g e t h e r ,   t h e s e   a n n o t a t i o n s   r e p r e s e n t   t h e   d e n s e s t   a n d   l a r g e s t   d a t a s e t   o f   i m a g e   d e s c r i p t i o n s ,   o b j e c t s ,   a t t r i b u t e s ,   r e l a t i o n s h i p s ,   a n d   q u e s t i o n   a n s w e r   p a i r s . 	 [ K r i s h n a ,   R a n j a y ;   Z h u ,   Y u k e ;   J o h n s o n ,   J u s t i n ;   H a t a ,   K e n j i ;   K r a v i t z ,   J o s h u a ;   C h e n ,   S t e p h a n i e ;   B e r n s t e i n ,   M i c h a e l   S . ;   L i   F e i - F e i ]   S t a n f o r d   U n i v ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A ;   [ G r o t h ,   O l i v e r ]   T e c h   U n i v   D r e s d e n ,   D r e s d e n ,   G e r m a n y ;   [ K a l a n t i d i s ,   Y a n n i s ]   Y a h o o   I n c ,   S a n   F r a n c i s c o ,   C A   U S A ;   [ L i ,   L i - J i a ]   S n a p c h a t   I n c ,   L o s   A n g e l e s ,   C A   U S A ;   [ S h a m m a ,   D a v i d   A . ]   C t r   W i s k u n d e   &   I n f o r m a t ,   A m s t e r d a m ,   N e t h e r l a n d s 	 K r i s h n a ,   R   ( r e p r i n t   a u t h o r ) ,   S t a n f o r d   U n i v ,   S t a n f o r d ,   C A   9 4 3 0 5   U S A . 	 r a n j a y k r i s h n a @ c s . s t a n f o r d . e d u 	 	 	 S t a n f o r d   C o m p u t e r   S c i e n c e   D e p a r t m e n t ;   Y a h o o   L a b s ;   B r o w n   I n s t i t u t e   f o r   M e d i a   I n n o v a t i o n ;   T o y o t a ;   A d o b e ;   O N R   M U R I 	 W e   w o u l d   l i k e   t o   s t a r t   b y   t h a n k i n g   o u r   s p o n s o r s :   S t a n f o r d   C o m p u t e r   S c i e n c e   D e p a r t m e n t ,   Y a h o o   L a b s ,   T h e   B r o w n   I n s t i t u t e   f o r   M e d i a   I n n o v a t i o n ,   T o y o t a ,   A d o b e   a n d   O N R   M U R I .   N e x t ,   w e   s p e c i a l l y   t h a n k   M i c h a e l   S t a r k ,   Y u t i a n   L i ,   F r e d e r i c   R e n ,   S h e r m a n   L e u n g ,   M i c h e l l e   G u o   a n d   G a v i n   M a i   f o r   t h e i r   c o n t r i b u t i o n s .   W e   t h a n k   C a r s t e n   R o t h e r   f r o m   t h e   U n i v e r s i t y   o f   D r e s d e n   f o r   f a c i l i t a t i n g   O l i v e r   G r o t h ' s   i n v o l v e m e n t .   W e   a l s o   t h a n k   a l l   t h e   t h o u s a n d s   o f   c r o w d   w o r k e r s   f o r   t h e i r   d i l i g e n t   c o n t r i b u t i o n   t o   V i s u a l   G e n o m e .   F i n a l l y ,   w e   t h a n k   a l l   m e m b e r s   o f   t h e   S t a n f o r d   V i s i o n   L a b   a n d   S t a n f o r d   H C I   G r o u p   f o r   t h e i r   u s e f u l   c o m m e n t s   a n d   d i s c u s s i o n s . 	 A n t o l   S . ,   2 0 1 5 ,   I N T   C   C O M P   V I S ;   A n t o l   S . ,   2 0 1 4 ,   E C C V ,   P 4 0 1 ;   B a k e r   C .   F . ,   1 9 9 8 ,   P   3 6   A N N   M   A S S   C O M P ,   V 1 ,   P 8 6 ,   D O I   D O I   1 0 . 3 1 1 5 / 9 8 0 8 4 5 . 9 8 0 8 6 0 ;   B e t t e r i d g e   J . ,   2 0 0 9 ,   A A A I   S P R I N G   S   L E A R N ,   P 1 ;   B i r d   S . ,   2 0 0 6 ,   P   C O L I N G   A C L   I N T   P R E ,   P 6 9 ,   D O I   [ 1 0 . 3 1 1 5 / 1 2 2 5 4 0 3 . 1 2 2 5 4 2 1 ,   D O I   1 0 . 3 1 1 5 / 1 2 2 5 4 0 3 . 1 2 2 5 4 2 1 ] ;   B R U N E R   J ,   1 9 9 0 ,   H U M   D E V ,   V 3 3 ,   P 3 4 4 ;   B u n e s c u   R .   C . ,   2 0 0 5 ,   P   C   H U M   L A N G   T E C H N   E ,   P 7 2 4 ,   D O I   D O I   1 0 . 3 1 1 5 / 1 2 2 0 5 7 5 . 1 2 2 0 6 6 6 ;   C h a n g   A . X . ,   2 0 1 4 ,   A C L ,   P 1 7 ;   C h e n   X . ,   2 0 1 4 ,   E M N L P ,   P 1 0 2 5 ;   C h e n   X ,   2 0 1 5 ,   P R O C   C V P R   I E E E ,   P 2 4 2 2 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 5 . 7 2 9 8 8 5 6 ;   C h e n   X L ,   2 0 1 3 ,   I E E E   I   C O N F   C O M P   V I S ,   P 1 4 0 9 ,   D O I   1 0 . 1 1 0 9 / I C C V . 2 0 1 3 . 1 7 8 ;   C h e n   X   L ,   2 0 1 5 ,   A R X I V 1 5 0 4 0 0 3 2 5 ;   C h o i   W G ,   2 0 1 3 ,   P R O C   C V P R   I E E E ,   P 3 3 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 3 . 1 2 ;   C u l o t t a   A . ,   2 0 0 4 ,   P   4 2   A N N   M   A S S   C O M P ,   P 4 2 3 ,   D O I   D O I   1 0 . 3 1 1 5 / 1 2 1 8 9 5 5 . 1 2 1 9 0 0 9 ;   D a u p h i n   Y . ,   2 0 1 5 ,   A D V   N E U R A L   I N F O R M   P R ,   P 1 5 0 4 ;   D e n g   J . ,   2 0 0 9 ,   I E E E   C   C O M P   V I S   P A T T ,   P 2 4 8 ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 0 9 . 5 2 0 6 8 4 8 ;   D e n k o w s k i   M . ,   2 0 1 4 ,   P   9   W O R K S H   S T A T   M A C H ;   D o l l a r   P ,   2 0 1 2 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 4 ,   P 7 4 3 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 1 1 . 1 5 5 ;   D o n a h u e   J ,   2 0 1 5 ,   P R O C   C V P R   I E E E ,   P 2 6 2 5 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 5 . 7 2 9 8 8 7 8 ;   E v e r i n g h a m   M ,   2 0 1 0 ,   I N T   J   C O M P U T   V I S I O N ,   V 8 8 ,   P 3 0 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 9 - 0 2 7 5 - 4 ;   F a n g   H ,   2 0 1 5 ,   P R O C   C V P R   I E E E ,   P 1 4 7 3 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 5 . 7 2 9 8 7 5 4 ;   F a r h a d i   A ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 3 1 4 ,   P 1 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 5 5 6 1 - 1 _ 2 ;   F a r h a d i   A ,   2 0 0 9 ,   P R O C   C V P R   I E E E ,   P 1 7 7 8 ,   D O I   1 0 . 1 1 0 9 / C V P R W . 2 0 0 9 . 5 2 0 6 7 7 2 ;   F e i - F e i   L . ,   2 0 0 7 ,   C O M P   V I S   I M G   U N D E R ,   V 1 0 6 ,   P 5 9 ,   D O I   D O I   1 0 . 1 0 1 6 / J . C V I U . 2 0 0 5 . 0 9 . 0 1 2 ;   F e r r a r i   V . ,   2 0 0 7 ,   A D V   N E U R A L   I N F O R M   P R ,   P 4 3 3 ;   F e r r u c c i   D ,   2 0 1 0 ,   A I   M A G ,   V 3 1 ,   P 5 9 ;   F i r e s t o n e   C ,   2 0 1 6 ,   B E H A V   B R A I N   S C I ,   V 3 9 ,   D O I   1 0 . 1 0 1 7 / S 0 1 4 0 5 2 5 X 1 5 0 0 0 9 6 5 ;   G a o   H . ,   2 0 1 5 ,   A D V   N E U R A L   I N F O R M   P R ,   P 2 2 9 6 ;   G e m a n   D ,   2 0 1 5 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 1 2 ,   P 3 6 1 8 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 4 2 2 9 5 3 1 1 2 ;   G i r s h i c k   R . ,   2 0 1 5 ,   P   I E E E   I N T   C   C O M P   V I ,   P 1 4 4 0 ;   G i r s h i c k   R ,   2 0 1 4 ,   P R O C   C V P R   I E E E ,   P 5 8 0 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 4 . 8 1 ;   G o r i n g   C ,   2 0 1 4 ,   P R O C   C V P R   I E E E ,   P 2 4 8 9 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 4 . 3 1 9 ;   G r i f f i n   G ,   2 0 0 7 ,   C A L T E C H   2 5 6   O B J E C T   C ;   G u o D o n g   Z . ,   2 0 0 5 ,   P   4 3   A N N   M   A S S   C O M P ,   P 4 2 7 ,   D O I   1 0 . 3 1 1 5 / 1 2 1 9 8 4 0 . 1 2 1 9 8 9 3 ;   G u p t a   A ,   2 0 0 8 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 3 0 2 ,   P 1 6 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 8 8 6 8 2 - 2 _ 3 ;   G u p t a   A ,   2 0 0 9 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 1 ,   P 1 7 7 5 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 9 . 8 3 ;   H a y e s   P .   J . ,   1 9 7 8 ,   N A I V E   P H Y S   M A N I F E S T O ;   H a y e s   P .   J . ,   1 9 8 5 ,   T H E O R I E S   C O M M O N S E N S E ,   P 1 ;   H e a r s t   M A ,   1 9 9 8 ,   I E E E   I N T E L L   S Y S T   A P P ,   V 1 3 ,   P 1 8 ,   D O I   1 0 . 1 1 0 9 / 5 2 5 4 . 7 0 8 4 2 8 ;   H o c h r e i t e r   S ,   1 9 9 7 ,   N E U R A L   C O M P U T ,   V 9 ,   P 1 7 3 5 ,   D O I   1 0 . 1 1 6 2 / n e c o . 1 9 9 7 . 9 . 8 . 1 7 3 5 ;   H o d o s h   M ,   2 0 1 3 ,   J   A R T I F   I N T E L L   R E S ,   V 4 7 ,   P 8 5 3 ;   H o u   C .   S . - J . ,   2 0 0 2 ,   I n t e l l i g e n t   I n f o r m a t i o n   P r o c e s s i n g .   I F I P   1 7 t h   W o r l d   C o m p u t e r   C o n g r e s s   -   T C 1 2   S t r e a m   o n   I n t e l l i g e n t   I n f o r m a t i o n   P r o c e s s i n g ,   P 7 7 ;   H u a n g   G .   B . ,   2 0 0 8 ,   W O R K S H   F A C   R E A L   L I F ;   I s o l a   P ,   2 0 1 5 ,   P R O C   C V P R   I E E E ,   P 1 3 8 3 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 5 . 7 2 9 8 7 4 4 ;   I z a d i n i a   H ,   2 0 1 4 ,   P R O C   C V P R   I E E E ,   P 2 3 2 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 4 . 3 7 ;   J o h n s o n   J . ,   2 0 1 5 ,   I E E E   C   C O M P   V I S   P A T T ;   K a r p a t h y   A ,   2 0 1 5 ,   P R O C   C V P R   I E E E ,   P 3 1 2 8 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 5 . 7 2 9 8 9 3 2 ;   K i r o s   R . ,   2 0 1 4 ,   I C M L ,   V 1 4 ,   P 5 9 5 ;   K r i s h n a   R . ,   2 0 1 6 ,   C H I   1 6   S I G C H I   C   H U M ;   K r i z h e v s k y   A ,   2 0 1 2 ,   A D V   N E U R   I N F O R M   P R O C ,   V 2 0 1 2 ,   P 1 0 9 7 ;   L a m p e r t   C H ,   2 0 0 9 ,   P R O C   C V P R   I E E E ,   P 9 5 1 ,   D O I   1 0 . 1 1 0 9 / C V P R W . 2 0 0 9 . 5 2 0 6 5 9 4 ;   L e a c o c k   C ,   1 9 9 8 ,   C O M P U T   L I N G U I S T ,   V 2 4 ,   P 1 4 7 ;   L e b r e t   R . ,   2 0 1 5 ,   A R X I V 1 5 0 2 0 3 6 7 1 ;   L i n   T Y ,   2 0 1 4 ,   L E C T   N O T E S   C O M P U T   S C ,   V 8 6 9 3 ,   P 7 4 0 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 1 0 6 0 2 - 1 _ 4 8 ;   L u   C . ,   2 0 1 6 ,   E U R   C   C O M P   V I S   E C C V ;   M a   L . ,   2 0 1 5 ,   A R X I V 1 5 0 6 0 0 3 3 3 ;   M a l i n o w s k i   M . ,   2 0 1 4 ,   A D V   N E U R A L   I N F O R M   P R ,   P 1 6 8 2 ;   M a l i n o w s k i   M ,   2 0 1 5 ,   I E E E   I   C O N F   C O M P   V I S ,   P 1 ,   D O I   1 0 . 1 1 0 9 / I C C V . 2 0 1 5 . 9 ;   M a l i s i e w i c z   T . ,   2 0 0 8 ,   I E E E   C   C O M P   V I S   P A T T ,   P 1 ;   M a n n i n g   C . D . ,   2 0 1 4 ,   P   5 2   A N N   M   A S S   C O M P ,   P 5 5 ;   M a o   J . ,   2 0 1 4 ,   A R X I V 1 4 1 0 1 0 9 0 ;   M i h a l c e a   R . ,   2 0 0 4 ,   S E N S E V A L   3   E N G L I S H   L ;   M i k o l o v   T . ,   2 0 1 3 ,   A R X I V 1 3 0 1 3 7 8 1 ;   M I L L E R   G A ,   1 9 9 5 ,   C O M M U N   A C M ,   V 3 8 ,   P 3 9 ,   D O I   1 0 . 1 1 4 5 / 2 1 9 7 1 7 . 2 1 9 7 4 8 ;   N i u   F ,   2 0 1 2 ,   I N T   J   S E M A N T   W E B   I N F ,   V 8 ,   P 4 2 ,   D O I   1 0 . 4 0 1 8 / j s w i s . 2 0 1 2 0 7 0 1 0 3 ;   O r d o n e z   V . ,   2 0 1 1 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 4 ,   P 1 1 4 3 ;   P a l   A .   R . ,   2 0 1 5 ,   A R X I V 1 5 0 8 0 1 3 4 6 ;   P a p i n e n i   K . ,   2 0 0 2 ,   P   4 0   A N N   M   A S S   C O M P ,   P 3 1 1 ,   D O I   D O I   1 0 . 3 1 1 5 / 1 0 7 3 0 8 3 . 1 0 7 3 1 3 5 ;   P a t t e r s o n   G ,   2 0 1 4 ,   I N T   J   C O M P U T   V I S I O N ,   V 1 0 8 ,   P 5 9 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 1 3 - 0 6 9 5 - z ;   P e r r o n n i n   F ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 3 1 4 ,   P 1 4 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 5 5 6 1 - 1 _ 1 1 ;   P r e s t   A ,   2 0 1 2 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 4 ,   P 6 0 1 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 1 1 . 1 5 8 ;   R a m a n a t h a n   V ,   2 0 1 5 ,   P R O C   C V P R   I E E E ,   P 1 1 0 0 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 5 . 7 2 9 8 7 1 3 ;   R e n   M . ,   2 0 1 5 ,   A R X I V 1 5 0 5 0 2 0 7 4 ;   R e n   S . ,   2 0 1 5 ,   A D V   N E U R A L   I N F O R M   P R ,   P 9 1 ;   R o n c h i   M .   R . ,   2 0 1 5 ,   P   B R I T   M A C H   V I S   C   B M ,   V 5 2 ,   P 1 ;   R o t h e   S . ,   2 0 1 5 ,   A R X I V 1 5 0 7 0 1 1 2 7 ;   R u s s a k o v s k y   O . ,   2 0 1 5 ,   I N T   J   C O M P U T   V I S I O N ,   P 1 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 1 2 6 3 - 0 1 5 - 0 8 1 6 - Y ;   R u s s e l l   B C ,   2 0 0 8 ,   I N T   J   C O M P U T   V I S I O N ,   V 7 7 ,   P 1 5 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 7 - 0 0 9 0 - 8 ;   S a d e g h i   F ,   2 0 1 5 ,   P R O C   C V P R   I E E E ,   P 1 4 5 6 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 5 . 7 2 9 8 7 5 2 ;   S a d e g h i   M A ,   2 0 1 1 ,   P R O C   C V P R   I E E E ,   P 1 7 4 5 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 1 . 5 9 9 5 7 1 1 ;   S a l e h i   N . ,   2 0 1 5 ,   P   3 3   A N N   A C M   C   H U M   F ,   P 1 6 2 1 ;   S c h a n k   R .   C . ,   2 0 1 3 ,   S C R I P T S   P L A N S   G O A L S ;   S c h u l e r   K .   K . ,   2 0 0 5 ,   T H E S I S ;   S c h u s t e r   S . ,   2 0 1 5 ,   P   4   W O R K S H   V I S   L A N G ,   P 7 0 ;   S e r m a n e t   P . ,   2 0 1 3 ,   A R X I V 1 3 1 2 6 2 2 9 ;   S i l b e r m a n   N . ,   2 0 1 2 ,   E C C V ;   S i m o n y a n   K . ,   2 0 1 4 ,   1 4 0 9 1 5 5 6   A R X I V ,   D O I   D O I   1 0 . 1 1 0 9 / T N N . 2 0 1 0 . 2 0 6 6 2 8 6 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   S o c h e r   R . ,   2 0 1 2 ,   P   2 0 1 2   J O I N T   C   E M P   M ,   P 1 2 0 1 ;   S t e i n b a c h   M ,   2 0 0 0 ,   P   K D D   W O R K S H   T E X T   M I ,   V 4 0 0 ,   P 5 2 5 ;   S z e g e d y   C ,   2 0 1 5 ,   P R O C   C V P R   I E E E ,   P 1 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 5 . 7 2 9 8 5 9 4 ;   T h o m e e   B ,   2 0 1 6 ,   C O M M U N   A C M ,   V 5 9 ,   P 6 4 ,   D O I   1 0 . 1 1 4 5 / 2 8 1 2 8 0 2 ;   T o r r a l b a   A ,   2 0 0 8 ,   I E E E   T   P A T T E R N   A N A L ,   V 3 0 ,   P 1 9 5 8 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 8 . 1 2 8 ;   V a r m a   M ,   2 0 0 5 ,   I N T   J   C O M P U T   V I S I O N ,   V 6 2 ,   P 6 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 5 - 4 6 3 5 - 4 ;   V e d a n t a m   R ,   2 0 1 5 ,   I E E E   I   C O N F   C O M P   V I S ,   P 2 5 4 2 ,   D O I   1 0 . 1 1 0 9 / I C C V . 2 0 1 5 . 2 9 2 ;   V e d a n t a m   R ,   2 0 1 5 ,   P R O C   C V P R   I E E E ,   P 4 5 6 6 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 5 . 7 2 9 9 0 8 7 ;   V i n y a l s   O ,   2 0 1 5 ,   P R O C   C V P R   I E E E ,   P 3 1 5 6 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 5 . 7 2 9 8 9 3 5 ;   W a h   C . ,   2 0 1 1 ,   C N S T R 2 0 1 1 0 0 1   C A L T E C H ;   X i a o   J X ,   2 0 1 0 ,   P R O C   C V P R   I E E E ,   P 3 4 8 5 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 0 . 5 5 3 9 9 7 0 ;   X u   K . ,   2 0 1 5 ,   A R X I V 1 5 0 2 0 3 0 4 4   C O R R ;   Y a n g   Y ,   2 0 1 2 ,   P R O C   C V P R   I E E E ,   P 3 5 2 2 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 2 . 6 2 4 8 0 9 5 ;   Y a o   B P ,   2 0 1 0 ,   P R O C   C V P R   I E E E ,   P 1 7 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 0 . 5 5 4 0 2 3 5 ;   Y a o   B ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 6 7 9 ,   P 1 6 9 ;   Y o u n g   P . ,   2 0 1 4 ,   P   T A C L ,   V 2 ,   P 6 7 ;   Y u   L . ,   2 0 1 5 ,   A R X I V 1 5 0 6 0 0 2 7 8 ;   Z e n g   D a o j i a n ,   2 0 1 4 ,   P   C O L I N G ,   P 2 3 3 5 ;   Z h o u   G . ,   2 0 0 7 ,   E M N L P   C O N L L ,   P 7 2 8 ;   Z h u   J . ,   2 0 0 9 ,   P   1 8   I N T   C   W O R L D   W I D ,   P 1 0 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 7 2 4 ;   Z h u   Y . ,   2 0 1 5 ,   A R X I V 1 5 0 7 0 5 6 7 0 ;   Z h u   Y . ,   2 0 1 4 ,   E U R   C   C O M P   V I S ;   Z i t n i c k   C L ,   2 0 1 3 ,   P R O C   C V P R   I E E E ,   P 3 0 0 9 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 3 . 3 8 7 	 1 1 1 	 0 	 0 	 2 	 2 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 0 9 2 0 - 5 6 9 1 	 1 5 7 3 - 1 4 0 5 	 	 I N T   J   C O M P U T   V I S I O N 	 I n t .   J .   C o m p u t .   V i s . 	 M A Y 	 2 0 1 7 	 1 2 3 	 1 	 	 	 S I 	 	 3 2 	 7 3 	 	 1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 1 6 - 0 9 8 1 - 7 	 	 4 2 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 E T 4 S Y 	 W O S : 0 0 0 4 0 0 2 7 6 4 0 0 0 0 3 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 P l u m m e r ,   B A ;   W a n g ,   L W ;   C e r v a n t e s ,   C M ;   C a i c e d o ,   J C ;   H o c k e n m a i e r ,   J ;   L a z e b n i k ,   S 	 	 	 	 P l u m m e r ,   B r y a n   A . ;   W a n g ,   L i w e i ;   C e r v a n t e s ,   C h r i s   M . ;   C a i c e d o ,   J u a n   C . ;   H o c k e n m a i e r ,   J u l i a ;   L a z e b n i k ,   S v e t l a n a 	 	 	 F l i c k r 3 0 k   E n t i t i e s :   C o l l e c t i n g   R e g i o n - t o - P h r a s e   C o r r e s p o n d e n c e s   f o r   R i c h e r   I m a g e - t o - S e n t e n c e   M o d e l s 	 I N T E R N A T I O N A L   J O U R N A L   O F   C O M P U T E R   V I S I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C o m p u t e r   v i s i o n ;   L a n g u a g e ;   R e g i o n   p h r a s e   c o r r e s p o n d e n c e ;   D a t a s e t s ;   C r o w d s o u r c i n g 	 	 T h e   F l i c k r 3 0 k   d a t a s e t   h a s   b e c o m e   a   s t a n d a r d   b e n c h m a r k   f o r   s e n t e n c e - b a s e d   i m a g e   d e s c r i p t i o n .   T h i s   p a p e r   p r e s e n t s   F l i c k r 3 0 k   E n t i t i e s ,   w h i c h   a u g m e n t s   t h e   1 5 8 k   c a p t i o n s   f r o m   F l i c k r 3 0 k   w i t h   2 4 4 k   c o r e f e r e n c e   c h a i n s ,   l i n k i n g   m e n t i o n s   o f   t h e   s a m e   e n t i t i e s   a c r o s s   d i f f e r e n t   c a p t i o n s   f o r   t h e   s a m e   i m a g e ,   a n d   a s s o c i a t i n g   t h e m   w i t h   2 7 6 k   m a n u a l l y   a n n o t a t e d   b o u n d i n g   b o x e s .   S u c h   a n n o t a t i o n s   a r e   e s s e n t i a l   f o r   c o n t i n u e d   p r o g r e s s   i n   a u t o m a t i c   i m a g e   d e s c r i p t i o n   a n d   g r o u n d e d   l a n g u a g e   u n d e r s t a n d i n g .   T h e y   e n a b l e   u s   t o   d e f i n e   a   n e w   b e n c h m a r k   f o r   l o c a l i z a t i o n   o f   t e x t u a l   e n t i t y   m e n t i o n s   i n   a n   i m a g e .   W e   p r e s e n t   a   s t r o n g   b a s e l i n e   f o r   t h i s   t a s k   t h a t   c o m b i n e s   a n   i m a g e - t e x t   e m b e d d i n g ,   d e t e c t o r s   f o r   c o m m o n   o b j e c t s ,   a   c o l o r   c l a s s i f i e r ,   a n d   a   b i a s   t o w a r d s   s e l e c t i n g   l a r g e r   o b j e c t s .   W h i l e   o u r   b a s e l i n e   r i v a l s   i n   a c c u r a c y   m o r e   c o m p l e x   s t a t e - o f - t h e - a r t   m o d e l s ,   w e   s h o w   t h a t   i t s   g a i n s   c a n n o t   b e   e a s i l y   p a r l a y e d   i n t o   i m p r o v e m e n t s   o n   s u c h   t a s k s   a s   i m a g e - s e n t e n c e   r e t r i e v a l ,   t h u s   u n d e r l i n i n g   t h e   l i m i t a t i o n s   o f   c u r r e n t   m e t h o d s   a n d   t h e   n e e d   f o r   f u r t h e r   r e s e a r c h . 	 [ P l u m m e r ,   B r y a n   A . ;   W a n g ,   L i w e i ;   C e r v a n t e s ,   C h r i s   M . ;   H o c k e n m a i e r ,   J u l i a ;   L a z e b n i k ,   S v e t l a n a ]   U n i v   I l l i n o i s ,   U r b a n a ,   I L   6 1 8 0 1   U S A ;   [ C a i c e d o ,   J u a n   C . ]   B r o a d   I n s t   M I T   &   H a r v a r d ,   B o s t o n ,   M A   U S A 	 P l u m m e r ,   B A   ( r e p r i n t   a u t h o r ) ,   U n i v   I l l i n o i s ,   U r b a n a ,   I L   6 1 8 0 1   U S A . 	 b p l u m m e 2 @ i l l i n o i s . e d u 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ 1 0 5 3 8 5 6 ,   1 2 0 5 6 2 7 ,   1 4 0 5 8 8 3 ,   1 2 2 8 0 8 2 ,   1 3 0 2 4 3 8 ,   1 5 6 3 7 2 7 ] ;   X e r o x   U A C ;   S l o a n   F o u n d a t i o n 	 T h i s   m a t e r i a l   i s   b a s e d   u p o n   w o r k   s u p p o r t e d   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   u n d e r   G r a n t s   N o .   1 0 5 3 8 5 6 ,   1 2 0 5 6 2 7 ,   1 4 0 5 8 8 3 ,   1 2 2 8 0 8 2 ,   1 3 0 2 4 3 8 ,   1 5 6 3 7 2 7 ,   a s   w e l l   a s   s u p p o r t   f r o m   X e r o x   U A C   a n d   t h e   S l o a n   F o u n d a t i o n .   W e   t h a n k   t h e   N V I D I A   C o r p o r a t i o n   f o r   t h e   g e n e r o u s   d o n a t i o n   o f   t h e   G P U s   u s e d   f o r   o u r   e x p e r i m e n t s . 	 A n t o l   S . ,   2 0 1 5 ,   I C C V ;   C h e n   X . ,   2 0 1 5 ,   C V P R ;   D e n g   J . ,   2 0 0 9 ,   C V P R ;   D e v l i n   J . ,   2 0 1 5 ,   A C L ;   D o d g e   J . ,   2 0 1 2 ,   N A A C L ;   D o n a h u e   J . ,   2 0 1 5 ,   C V P R ;   E v e r i n g h a m   M . ,   2 0 0 8 ,   P A S C A L   V I S U A L   O B J E C T ;   E v e r i n g h a m   M . ,   2 0 1 2 ,   P A S C A L   V I S U A L   O B J E C T ;   F a n g   H . ,   2 0 1 5 ,   C V P R ;   F a r h a d i   A . ,   2 0 1 0 ,   E C C V ;   F i d l e r   S . ,   2 0 1 3 ,   C V P R ;   F u k u i   A . ,   2 0 1 6 ,   A R X I V 1 6 0 6 0 1 8 4 7 ;   G a o   H . ,   2 0 1 5 ,   N I P S ;   G i r s h i c k   R . ,   2 0 1 5 ,   I C C V ;   G o n g   Y . ,   2 0 1 4 ,   E C C V ;   G o n g   Y C ,   2 0 1 4 ,   I N T   J   C O M P U T   V I S I O N ,   V 1 0 6 ,   P 2 1 0 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 1 3 - 0 6 5 8 - 4 ;   G r u b i n g e r   M . ,   2 0 0 6 ,   I N T   W O R K S H   O N T O I M A G E ,   P 1 3 ;   H o d o s h   M . ,   2 0 1 0 ,   C O N L L ,   P 1 6 2 ;   H o d o s h   M . ,   2 0 1 3 ,   J A I R ;   H o t e l l i n g   H ,   1 9 3 6 ,   B I O M E T R I K A ,   V 2 8 ,   P 3 2 1 ,   D O I   1 0 . 1 0 9 3 / b i o m e t / 2 8 . 3 - 4 . 3 2 1 ;   H u   R . ,   2 0 1 6 ,   C V P R ;   J o h n s o n   J . ,   2 0 1 5 ,   C V P R ;   J o h n s o n   J . ,   2 0 1 6 ,   C V P R ;   K a r p a t h y   A . ,   2 0 1 5 ,   C V P R ;   K a r p a t h y   A . ,   2 0 1 4 ,   N I P S ;   K a z e m z a d e h   S . ,   2 0 1 4 ,   E M N L P ;   K i r o s   R . ,   2 0 1 4 ,   A R X I V 1 4 1 1 2 5 3 9 ;   K l e i n   B . ,   2 0 1 4 ,   A R X I V 1 4 1 1 7 3 9 9 ;   K o n g   C . ,   2 0 1 4 ,   C V P R ;   K r i s h n a   R . ,   2 0 1 6 ,   A R X I V 1 6 0 2 0 7 3 3 2 ;   K u l k a r n i   G . ,   2 0 1 1 ,   C V P R ;   L e b r e t   R . ,   2 0 1 5 ,   I C M L ;   L e v   G . ,   2 0 1 6 ,   E C C V ;   L i n   T . ,   2 0 1 4 ,   E C C V ;   M a   L . ,   2 0 1 5 ,   I C C V ;   M a l i n o w s k i   M . ,   2 0 1 4 ,   N I P S ;   M a o   J . ,   2 0 1 5 ,   I C L R ;   M a o   J . ,   2 0 1 6 ,   C V P R ;   M c C a r t h y   J .   F . ,   1 9 9 5 ,   U S I N G   D E C I S I O N   T R E E S ;   M i k o l o v   T . ,   2 0 1 3 ,   N I P S ;   O r d o n e z   V . ,   2 0 1 1 ,   N I P S ;   P e r r o n n i n   F l o r e n t ,   2 0 1 0 ,   E C C V ;   P l u m m e r   B . ,   2 0 1 5 ,   I C C V ;   R a m a n a t h a n   V . ,   2 0 1 4 ,   E C C V ;   R a s h t c h i a n   C . ,   2 0 1 0 ,   N A A C L   W O R K S H   C R E A T   S ,   P 1 3 9 ;   R e n   M . ,   2 0 1 5 ,   N I P S ;   R o h r b a c h   A . ,   2 0 1 6 ,   E C C V ;   S i l b e r m a n   N . ,   2 0 1 2 ,   E C C V ;   S i m o n y a n   K . ,   2 0 1 4 ,   1 4 0 9 1 5 5 6   A R X I V ,   D O I   D O I   1 0 . 1 1 0 9 / T N N . 2 0 1 0 . 2 0 6 6 2 8 6 ;   S o o n   W M ,   2 0 0 1 ,   C O M P U T   L I N G U I S T ,   V 2 7 ,   P 5 2 1 ,   D O I   1 0 . 1 1 6 2 / 0 8 9 1 2 0 1 0 1 7 5 3 3 4 2 6 5 3 ;   S o r o k i n   A . ,   2 0 0 8 ,   I N T   V I S   W O R K S H ;   S u   H . ,   2 0 1 2 ,   A A A I   T E C H N   R E P ;   T o m m a s i   T . ,   2 0 1 6 ,   B M V C ;   U i j l i n g s   J R R ,   2 0 1 3 ,   I N T   J   C O M P U T   V I S I O N ,   V 1 0 4 ,   P 1 5 4 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 1 3 - 0 6 2 0 - 5 ;   V i n y a l s   O . ,   2 0 1 5 ,   C V P R ;   W a n g   L . ,   2 0 1 6 ,   C V P R ;   W a n g   M . ,   2 0 1 6 ,   E C C V ;   X u   K . ,   2 0 1 5 ,   I C M L ;   Y a o   B Z ,   2 0 1 0 ,   P   I E E E ,   V 9 8 ,   P 1 4 8 5 ,   D O I   1 0 . 1 1 0 9 / J P R O C . 2 0 1 0 . 2 0 5 0 4 1 1 ;   Y o u n g   P . ,   2 0 1 4 ,   P   T A C L ,   V 2 ,   P 6 7 ;   Y u   L . ,   2 0 1 5 ,   I C C V ;   Z h a n g   J . ,   2 0 1 6 ,   E C C V ;   Z i t n i c k   C .   L . ,   2 0 1 4 ,   E C C V ;   Z i t n i c k   C .   L . ,   2 0 1 3 ,   C V P R 	 6 4 	 0 	 0 	 1 	 1 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 0 9 2 0 - 5 6 9 1 	 1 5 7 3 - 1 4 0 5 	 	 I N T   J   C O M P U T   V I S I O N 	 I n t .   J .   C o m p u t .   V i s . 	 M A Y 	 2 0 1 7 	 1 2 3 	 1 	 	 	 S I 	 	 7 4 	 9 3 	 	 1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 1 6 - 0 9 6 5 - 7 	 	 2 0 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 E T 4 S Y 	 W O S : 0 0 0 4 0 0 2 7 6 4 0 0 0 0 4 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 M e n g ,   R ;   C h e n ,   L ;   T o n g ,   Y X ;   Z h a n g ,   C 	 	 	 	 M e n g ,   R u i ;   C h e n ,   L e i ;   T o n g ,   Y o n g x i n ;   Z h a n g ,   C h e n 	 	 	 K n o w l e d g e   B a s e   S e m a n t i c   I n t e g r a t i o n   U s i n g   C r o w d s o u r c i n g 	 I E E E   T R A N S A C T I O N S   O N   K N O W L E D G E   A N D   D A T A   E N G I N E E R I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 K n o w l e d g e   b a s e ;   c r o w d s o u r c i n g ;   d a t a   i n t e g r a t i o n 	 	 T h e   s e m a n t i c   w e b   h a s   e n a b l e d   t h e   c r e a t i o n   o f   a   g r o w i n g   n u m b e r   o f   k n o w l e d g e   b a s e s   ( K B s ) ,   w h i c h   a r e   d e s i g n e d   i n d e p e n d e n t l y   u s i n g   d i f f e r e n t   t e c h n i q u e s .   I n t e g r a t i o n   o f   K B s   h a s   a t t r a c t e d   m u c h   a t t e n t i o n   a s   d i f f e r e n t   K B s   u s u a l l y   c o n t a i n   o v e r l a p p i n g   a n d   c o m p l e m e n t a r y   i n f o r m a t i o n .   A u t o m a t i c   t e c h n i q u e s   f o r   K B   i n t e g r a t i o n   h a v e   b e e n   i m p r o v e d   b u t   f a r   f r o m   p e r f e c t .   T h e r e f o r e ,   i n   t h i s   p a p e r ,   w e   s t u d y   t h e   p r o b l e m   o f   k n o w l e d g e   b a s e   s e m a n t i c   i n t e g r a t i o n   u s i n g   c r o w d   i n t e l l i g e n c e .   T h e r e   a r e   b o t h   c l a s s e s   a n d   i n s t a n c e s   i n   a   K B ,   i n   o u r   w o r k ,   w e   p r o p o s e   a   n o v e l   h y b r i d   f r a m e w o r k   f o r   K B   s e m a n t i c   i n t e g r a t i o n   c o n s i d e r i n g   t h e   s e m a n t i c   h e t e r o g e n e i t y   o f   K B   c l a s s   s t r u c t u r e s .   W e   f i r s t   p e r f o r m   s e m a n t i c   i n t e g r a t i o n   o f   t h e   c l a s s   s t r u c t u r e s   v i a   c r o w d s o u r c i n g ,   t h e n   a p p l y   t h e   b l o c k i n g - b a s e d   i n s t a n c e   m a t c h i n g   a p p r o a c h   a c c o r d i n g   t o   t h e   i n t e g r a t e d   c l a s s   s t r u c t u r e .   F o r   c l a s s   s t r u c t u r e   ( t a x o n o m y )   s e m a n t i c   i n t e g r a t i o n ,   t h e   c r o w d   i s   l e v e r a g e d   t o   h e l p   i d e n t i f y i n g   t h e   s e m a n t i c   r e l a t i o n s h i p s   b e t w e e n   c l a s s e s   t o   h a n d l e   t h e   s e m a n t i c   h e t e r o g e n e i t y   p r o b l e m .   U n d e r   t h e   c o n d i t i o n s   o f   b o t h   l a r g e   s c a l e   K B s   a n d   l i m i t e d   m o n e t a r y   b u d g e t   f o r   c r o w d s o u r c i n g ,   w e   f o r m a l i z e   t h e   c l a s s   s t r u c t u r e   ( t a x o n o m y )   s e m a n t i c   i n t e g r a t i o n   p r o b l e m   a s   a   L o c a l   T r e e   B a s e d   Q u e r y   S e l e c t i o n   ( L T Q S )   p r o b l e m .   W e   s h o w   t h a t   t h e   L T Q S   p r o b l e m   i s   N P - h a r d   a n d   p r o p o s e   t w o   g r e e d y - b a s e d   a l g o r i t h m s ,   i . e . ,   s t a t i c   q u e r y   s e l e c t i o n   a n d   a d a p t i v e   q u e r y   s e l e c t i o n .   F u r t h e r m o r e ,   t h e   K B s   a r e   u s u a l l y   o f   l a r g e   s c a l e s   a n d   h a v e   m i l l i o n s   o f   i n s t a n c e s ,   d i r e c t   p a i r w i s e - b a s e d   i n s t a n c e   m a t c h i n g   i s   i n e f f i c i e n t .   T h e r e f o r e ,   w e   a d o p t   t h e   b l o c k i n g - b a s e d   s t r a t e g y   f o r   i n s t a n c e   m a t c h i n g ,   t a k i n g   a d v a n t a g e   o f   t h e   c l a s s   s t r u c t u r e   ( t a x o n o m y )   i n t e g r a t i o n   r e s u l t .   T h e   e x p e r i m e n t s   o n   r e a l   l a r g e   s c a l e   K B s   v e r i f y   t h e   e f f e c t i v e n e s s   a n d   e f f i c i e n c y   o f   t h e   p r o p o s e d   a p p r o a c h e s . 	 [ M e n g ,   R u i ;   C h e n ,   L e i ;   Z h a n g ,   C h e n ]   H o n g   K o n g   U n i v   S c i   &   T e c h n o l ,   D e p t   C o m p   S c i   &   E n g n ,   K o w l o o n ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a ;   [ T o n g ,   Y o n g x i n ]   B e i h a n g   U n i v ,   S t a t e   K e y   L a b   S o f t w a r e   D e v   E n v i r o n m ,   S c h   C o m p   S c i   &   E n g n ,   B e i j i n g   1 0 0 1 9 1 ,   P e o p l e s   R   C h i n a ;   [ Z h a n g ,   C h e n ]   S h a n d o n g   U n i v   F i n a n c e   &   E c o n ,   J i n a n ,   S h a n d o n g ,   P e o p l e s   R   C h i n a 	 M e n g ,   R   ( r e p r i n t   a u t h o r ) ,   H o n g   K o n g   U n i v   S c i   &   T e c h n o l ,   D e p t   C o m p   S c i   &   E n g n ,   K o w l o o n ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a . 	 r m e n g @ c s e . u s t . h k ;   l e i c h e n @ c s e . u s t . h k ;   y x t o n g @ b u a a . e d u . c n ;   c z h a n g a d @ c s e . u s t . h k 	 	 	 H o n g   K o n g   R G C   P r o j e c t   [ H K U S T 6 3 7 / 1 3 ] ;   N a t i o n a l   G r a n d   F u n d a m e n t a l   R e s e a r c h   9 7 3   P r o g r a m   o f   C h i n a   [ 2 0 1 4 C B 3 4 0 3 0 3 ] ;   N a t i o n a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   ( N S F C )   [ 6 1 5 0 2 0 2 1 ,   6 1 3 2 8 2 0 2 ,   6 1 5 3 2 0 0 4 ] ;   N S F C   G u a n g   D o n g   G r a n t   [ U 1 3 0 1 2 5 3 ] ;   M i c r o s o f t   R e s e a r c h   A s i a   F e l l o w s h i p 	 T h e   a u t h o r s   a r e   g r a t e f u l   t o   a n o n y m o u s   r e v i e w e r s   f o r   t h e i r   c o n s t r u c t i v e   c o m m e n t s   o n   t h i s   w o r k .   T h e   w o r k   i s   p a r t i a l l y   s u p p o r t e d   b y   t h e   H o n g   K o n g   R G C   P r o j e c t   N   H K U S T 6 3 7 / 1 3 ,   N a t i o n a l   G r a n d   F u n d a m e n t a l   R e s e a r c h   9 7 3   P r o g r a m   o f   C h i n a   u n d e r   G r a n t   2 0 1 4 C B 3 4 0 3 0 3 ,   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   ( N S F C )   u n d e r   G r a n t   N o .   6 1 5 0 2 0 2 1 ,   6 1 3 2 8 2 0 2 ,   a n d   6 1 5 3 2 0 0 4 ,   N S F C   G u a n g   D o n g   G r a n t   N o .   U 1 3 0 1 2 5 3 ,   a n d   M i c r o s o f t   R e s e a r c h   A s i a   F e l l o w s h i p   2 0 1 2 .   T h e   F o s t e r i n g   P r o j e c t   o f   D o m i n a n t   D i s c i p l i n e   a n d   T a l e n t   T e a m   o f   S h a n d o n g   P r o v i n c e   H i g h e r   E d u c a t i o n   I n s t i t u t i o n s . 	 A u e r   S . ,   2 0 0 7 ,   P   6   I N T   S E M   W E B   C   2 ,   P 7 2 2 ,   D O I   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 5 4 0 - 7 6 2 9 8 - 0 _ 5 2 ;   A u m u e l l e r   D . ,   2 0 0 5 ,   P   2 0 0 5   A C M   S I G M O D   I N ,   P 9 0 6 ,   D O I   1 0 . 1 1 4 5 / 1 0 6 6 1 5 7 . 1 0 6 6 2 8 3 ;   B o l l a c k e r   K . ,   2 0 0 8 ,   P   2 0 0 8   A C M   S I G M O D   I N ,   P 1 2 4 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 7 6 6 1 6 . 1 3 7 6 7 4 6 ;   B r a g g   J . ,   2 0 1 3 ,   P   1   A A A I   C   H U M   C O M P ,   P 2 5 ;   B r o d i e   M .   L . ,   2 0 1 2 ,   K N O W L E D G E   B A S E   M A N A G ;   C a r l s o n   A ,   2 0 1 0 ,   P R O C E E D I N G S   O F   T H E   T W E N T Y - F O U R T H   A A A I   C O N F E R E N C E   O N   A R T I F I C I A L   I N T E L L I G E N C E   ( A A A I - 1 0 ) ,   P 1 3 0 6 ;   C h e n   Z ,   2 0 1 4 ,   P V L D B ,   V 7 ,   P 1 6 2 9 ;   C h i l t o n   L .   B . ,   2 0 1 3 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 9 9 9 ;   C h u   X . ,   2 0 1 5 ,   P   A C M   S I G M O D   I N T   C   M ,   P 1 2 4 7 ;   C r e s c e n z i   V . ,   2 0 1 3 ,   P   2 2   I N T   C   W O R L D   W I D ,   P 2 6 1 ;   C r u z   I .   F . ,   2 0 1 4 ,   P   1 9   I N T   C   K N O W L   E N G ,   P 8 0 ;   C r u z   I F ,   2 0 1 2 ,   P R O C   I N T   C O N F   D A T A ,   P 1 3 2 1 ,   D O I   1 0 . 1 1 0 9 / I C D E . 2 0 1 2 . 1 3 7 ;   E t z i o n i   O . ,   2 0 0 4 ,   P   1 3   I N T   C   W O R L D   W I D ,   P 1 0 0 ,   D O I   D O I   1 0 . 1 1 4 5 / 9 8 8 6 7 2 . 9 8 8 6 8 7 ;   E u z e n a t   J . ,   2 0 0 7 ,   O N T O L O G Y   M A T C H I N G ;   F a n   J . ,   2 0 1 5 ,   P   A C M   S I G M O D   I N T   C   M ,   P 1 0 1 5 ;   F a n   J ,   2 0 1 4 ,   P R O C   I N T   C O N F   D A T A ,   P 9 7 6 ,   D O I   1 0 . 1 1 0 9 / I C D E . 2 0 1 4 . 6 8 1 6 7 1 6 ;   G i a r e t t a   P . ,   1 9 9 5 ,   V E R Y   L A R G E   K N O W L E D G E ;   H o f f a r t   J ,   2 0 1 3 ,   A R T I F   I N T E L L ,   V 1 9 4 ,   P 2 8 ,   D O I   1 0 . 1 0 1 6 / j . a r t i n t . 2 0 1 2 . 0 6 . 0 0 1 ;   J e a n - M a r y   Y v e s   R ,   2 0 0 9 ,   W e b   S e m a n t ,   V 7 ,   P 2 3 5 ;   J u n g   J J ,   2 0 0 8 ,   E X P E R T   S Y S T   A P P L ,   V 3 4 ,   P 2 7 2 1 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 0 7 . 0 5 . 0 1 5 ;   K o n d r e d d i   S K ,   2 0 1 4 ,   P R O C   I N T   C O N F   D A T A ,   P 9 8 8 ,   D O I   1 0 . 1 1 0 9 / I C D E . 2 0 1 4 . 6 8 1 6 7 1 7 ;   L a c o s t e - J u l i e n   S . ,   2 0 1 3 ,   P   1 9   A C M   S I G K D D   I N T ,   P 5 7 2 ;   L e a s e   M . ,   2 0 1 4 ,   P   E N C   S O C   N E T W   A N   M I ,   P 3 0 5 ;   M e n g   R ,   2 0 1 5 ,   I E E E   D A T A   M I N I N G ,   P 9 1 3 ,   D O I   1 0 . 1 1 0 9 / I C D M . 2 0 1 5 . 7 7 ;   N a n d i   A . ,   2 0 0 9 ,   P V L D B ,   V 2 ,   P 1 8 1 ;   N E M H A U S E R   G L ,   1 9 7 8 ,   M A T H   P R O G R A M ,   V 1 4 ,   P 2 6 5 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 5 8 8 9 7 1 ;   N i u   F . ,   2 0 1 2 ,   P   2   I N T   W O R K S H   S E A R C ,   P 2 5 ;   O t e r o - C e r d e i r a   L ,   2 0 1 5 ,   E X P E R T   S Y S T   A P P L ,   V 4 2 ,   P 9 4 9 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 4 . 0 8 . 0 3 2 ;   P a p a d a k i s   G . ,   2 0 1 3 ,   T K D E ,   V 2 5 ,   P 2 6 6 5 ;   P a p a d a k i s   G . ,   2 0 1 1 ,   P   4   A C M   I N T   C   W E B   S E ,   P 5 3 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 3 5 8 2 6 . 1 9 3 5 9 0 3 ;   P a p a d i m i t r i o u   P ,   2 0 1 3 ,   I E E E   T   K N O W L   D A T A   E N ,   V 2 5 ,   P 1 6 4 3 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 1 2 . 5 4 ;   P a r a m e s w a r a n   A .   G . ,   2 0 1 1 ,   P   V L D B ,   V 4 ,   P 2 6 7 ;   S a r a s u a   C . ,   2 0 1 2 ,   P   I N T   S E M   W E B   C ,   P 5 2 5 ;   S h i   F . ,   2 0 0 9 ,   P   I N T   C   S E M   W E B   I C S W ,   P 5 8 5 ;   S h v a i k o   P a v e l ,   2 0 1 3 ,   K N O W L E D G E   D A T A   E N G   I ,   V 2 5 ,   P 1 5 8 ;   S i m p s o n   E .   D . ,   2 0 1 5 ,   P   2 4   I N T   C   W O R L D   W I D ,   P 9 9 2 ;   S u c h a n e k   F .   M . ,   2 0 1 1 ,   P   V L D B   E N D O W M E N T ,   V 5 ,   P 1 5 7 ;   U d r e a   O . ,   2 0 0 7 ,   P   A C M   S I G M O D   I N T   C   M ,   P 4 4 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 2 4 7 4 8 0 . 1 2 4 7 5 3 1 ;   V e s d a p u n t   N . ,   2 0 1 4 ,   P   V L D B   E N D O W M E N T ,   V 7 ,   P 1 0 7 1 ;   W a n g   J . ,   2 0 1 2 ,   P   V L D B   E N D O W ,   V 5 ,   P 1 4 8 3 ,   D O I   [ D O I   1 0 . 1 4 7 7 8 / 2 3 5 0 2 2 9 . 2 3 5 0 2 6 3 ,   1 0 . 1 4 7 7 8 / 2 3 5 0 2 2 9 . 2 3 5 0 2 6 3 ] ;   W a n g   J S ,   2 0 1 3 ,   A D V   I N T E L   S Y S   R E S ,   V 4 2 ,   P 2 2 9 ;   W u   W . ,   2 0 1 2 ,   P   2 0 1 2   A C M   S I G M O D   I N ,   P 4 8 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 2 1 3 8 3 6 . 2 2 1 3 8 9 1 ;   Z h a n g   C . J . ,   2 0 1 3 ,   P V L D B ,   V 6 ,   P 7 5 7 ;   Z h e n g   Y . ,   2 0 1 5 ,   P   A C M   S I G M O D   I N T   C   M ,   P 1 0 3 1 	 4 4 	 0 	 0 	 8 	 8 	 I E E E   C O M P U T E R   S O C 	 L O S   A L A M I T O S 	 1 0 6 6 2   L O S   V A Q U E R O S   C I R C L E ,   P O   B O X   3 0 1 4 ,   L O S   A L A M I T O S ,   C A   9 0 7 2 0 - 1 3 1 4   U S A 	 1 0 4 1 - 4 3 4 7 	 1 5 5 8 - 2 1 9 1 	 	 I E E E   T   K N O W L   D A T A   E N 	 I E E E   T r a n s .   K n o w l .   D a t a   E n g . 	 M A Y   1 	 2 0 1 7 	 2 9 	 5 	 	 	 	 	 1 0 8 7 	 1 1 0 0 	 	 1 0 . 1 1 0 9 / T K D E . 2 0 1 7 . 2 6 5 6 0 8 6 	 	 1 4 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 E S 1 L O 	 W O S : 0 0 0 3 9 9 2 8 9 3 0 0 0 1 2 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 H u a n g ,   C ;   W a n g ,   D ;   M a n n ,   B 	 	 	 	 H u a n g ,   C h a o ;   W a n g ,   D o n g ;   M a n n ,   B r i a n 	 	 	 T o w a r d s   s o c i a l - a w a r e   i n t e r e s t i n g   p l a c e   f i n d i n g   i n   s o c i a l   s e n s i n g   a p p l i c a t i o n s 	 K N O W L E D G E - B A S E D   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 I n t e r e s t i n g   p l a c e   f i n d i n g ;   S o c i a l   d e p e n d e n c y ;   S o c i a l   s e n s i n g ;   C r o w d s o u r c i n g ;   E x p e c t a t i o n   m a x i m i z a t i o n 	 M A X I M U M - L I K E L I H O O D - E S T I M A T I O N ;   A L G O R I T H M ;   M E D I A ;   M O D E L 	 T h i s   p a p e r   d e v e l o p s   a   p r i n c i p l e d   a p p r o a c h   t o   a c c u r a t e l y   i d e n t i f y   i n t e r e s t i n g   p l a c e s   i n   a   c i t y   t h r o u g h   s o c i a l   s e n s i n g   a p p l i c a t i o n s .   S o c i a l   s e n s i n g   h a s   e m e r g e d   a s   a   n e w   a p p l i c a t i o n   p a r a d i g m ,   w h e r e   a   c r o w d   o f   s o c i a l   s o u r c e s   ( h u m a n s   o r   d e v i c e s   o n   t h e i r   b e h a l f )   c o l l e c t i v e l y   c o n t r i b u t e   a   l a r g e   a m o u n t   o f   o b s e r v a t i o n s   a b o u t   t h e   p h y s i c a l   w o r l d .   T h i s   p a p e r   s t u d i e s   a n   i n t e r e s t i n g   p l a c e   f i n d i n g   p r o b l e m ,   i n   w h i c h   t h e   g o a l   i s   t o   c o r r e c t l y   i d e n t i f y   t h e   i n t e r e s t i n g   p l a c e s   i n   a   c i t y .   I m p o r t a n t   c h a l l e n g e s   e x i s t   i n   s o l v i n g   t h i s   p r o b l e m :   ( i )   t h e   i n t e r e s t i n g n e s s   o f   a   p l a c e   i s   n o t   o n l y   r e l a t e d   t o   t h e   n u m b e r   o f   u s e r s   w h o   v i s i t   i t ,   b u t   a l s o   d e p e n d s   u p o n   t h e   t r a v e l   e x p e r i e n c e   o f   t h e   v i s i t i n g   u s e r s ;   ( i i )   t h e   u s e r ' s   s o c i a l   c o n n e c t i o n s   c o u l d   d i r e c t l y   a f f e c t   t h e i r   v i s i t i n g   b e h a v i o r   a n d   t h e   i n t e r e s t i n g n e s s   j u d g m e n t   o f   a   g i v e n   p l a c e .   I n   t h i s   p a p e r ,   w e   d e v e l o p   a   n e w   S o c i a l - a w a r e   I n t e r e s t i n g   P l a c e   F i n d i n g   P l u s   ( S I P F + )   a p p r o a c h   t h a t   a d d r e s s e s   t h e   a b o v e   c h a l l e n g e s   b y   e x p l i c i t l y   i n c o r p o r a t i n g   b o t h   t h e   u s e r ' s   t r a v e l   e x p e r i e n c e   a n d   s o c i a l   r e l a t i o n s h i p   i n t o   a   r i g o r o u s   a n a l y t i c a l   f r a m e w o r k .   T h e   S I P F +   s c h e m e   c a n   f i n d   i n t e r e s t i n g   p l a c e s   n o t   t y p i c a l l y   i d e n t i f i e d   b y   t r a d i t i o n a l   t r a v e l   w e b s i t e s   ( e . g . ,   T r i p A d v i s o r ,   E x p e d i a ) .   W e   c o m p a r e   o u r   s o l u t i o n   w i t h   s t a t e - o f - t h e - a r t   b a s e l i n e s   u s i n g   t w o   r e a l - w o r l d   d a t a s e t s   c o l l e c t e d   f r o m   l o c a t i o n - b a s e d   s o c i a l   n e t w o r k   s e r v i c e s   a n d   v e r i f i e d   t h e   e f f e c t i v e n e s s   o f   o u r   a p p r o a c h .   ( C )   2 0 1 7   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ H u a n g ,   C h a o ;   W a n g ,   D o n g ;   M a n n ,   B r i a n ]   U n i v   N o t r e   D a m e ,   D e p t   C o m p   S c i   &   E n g n ,   N o t r e   D a m e ,   I N   4 6 5 5 6   U S A 	 W a n g ,   D   ( r e p r i n t   a u t h o r ) ,   U n i v   N o t r e   D a m e ,   D e p t   C o m p   S c i   &   E n g n ,   N o t r e   D a m e ,   I N   4 6 5 5 6   U S A . 	 d w a n g 5 @ n d . e d u 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ C B E T - 1 6 3 7 2 5 1 ,   C N S - 1 5 6 6 4 6 5 ,   I I S - 1 4 4 7 7 9 5 ] ;   A r m y   R e s e a r c h   O f f i c e   [ W 9 1 1 N F 1 6 - 1 - 0 3 8 8 ] 	 T h i s   m a t e r i a l   i s   b a s e d   u p o n   w o r k   s u p p o r t e d   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   u n d e r   G r a n t   N o .   C B E T - 1 6 3 7 2 5 1 ,   C N S - 1 5 6 6 4 6 5   a n d   I I S - 1 4 4 7 7 9 5   a n d   A r m y   R e s e a r c h   O f f i c e   u n d e r   G r a n t   W 9 1 1 N F 1 6 - 1 - 0 3 8 8 .   T h e   v i e w s   a n d   c o n c l u s i o n s   c o n t a i n e d   i n   t h i s   d o c u m e n t   a r e   t h o s e   o f   t h e   a u t h o r s   a n d   s h o u l d   n o t   b e   i n t e r p r e t e d   a s   r e p r e s e n t i n g   t h e   o f f i c i a l   p o l i c i e s ,   e i t h e r   e x p r e s s e d   o r   i m p l i e d ,   o f   t h e   A r m y   R e s e a r c h   O f f i c e   o r   t h e   U . S .   G o v e r n m e n t .   T h e   U . S .   G o v e r n m e n t   i s   a u t h o r i z e d   t o   r e p r o d u c e   a n d   d i s t r i b u t e   r e p r i n t s   f o r   G o v e r n m e n t   p u r p o s e s   n o t w i t h s t a n d i n g   a n y   c o p y r i g h t   n o t a t i o n   h e r e   o n . 	 B a e z a - Y a t e s   R . ,   1 9 9 9 ,   M O D E R N   I N F O R M   R E T R I E ,   V 4 6 3 ;   B a n b u r a   M ,   2 0 1 4 ,   J   A P P L   E C O N O M E T ,   V 2 9 ,   P 1 3 3 ,   D O I   1 0 . 1 0 0 2 / j a e . 2 3 0 6 ;   C a m b r i a   E . ,   2 0 1 4 ,   C O M P U T A T I O N A L   I N T E L L ;   C h o   E . ,   2 0 1 1 ,   P   1 7   A C M   S I G K D D   I N T ,   P 1 0 8 2 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 0 2 0 4 0 8 . 2 0 2 0 5 7 9 ;   D E M P S T E R   A P ,   1 9 7 7 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 3 9 ,   P 1 ;   D e n o e u x   T ,   2 0 1 4 ,   I N T   J   A P P R O X   R E A S O N ,   V 5 5 ,   P 1 5 3 5 ,   D O I   1 0 . 1 0 1 6 / j . i j a r . 2 0 1 3 . 0 6 . 0 0 7 ;   D e n o e u x   T ,   2 0 1 3 ,   I E E E   T   K N O W L   D A T A   E N ,   V 2 5 ,   P 1 1 9 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 1 1 . 2 0 1 ;   G a n g e m i   A ,   2 0 1 4 ,   I E E E   C O M P U T   I N T E L L   M ,   V 9 ,   P 2 0 ,   D O I   1 0 . 1 1 0 9 / M C I . 2 0 1 3 . 2 2 9 1 6 8 8 ;   G e   Y o n g ,   2 0 1 1 ,   P   1 7   A C M   S I G K D D   I N T ,   P 9 8 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 0 2 0 4 0 8 . 2 0 2 0 5 6 8 ;   H a r d i n g   M . ,   2 0 1 3 ,   P   2 0 1 3   A C M   I N T   J O I N T ,   P 1 7 3 ;   H u   B ,   2 0 1 3 ,   I E E E   D A T A   M I N I N G ,   P 1 0 7 3 ,   D O I   1 0 . 1 1 0 9 / I C D M . 2 0 1 3 . 1 3 9 ;   H u a n g   C . ,   2 0 1 5 ,   2 0 1 5   I E E E   I N T   C   S M A R ;   J a r v e l i n   K ,   2 0 0 2 ,   A C M   T   I N F O R M   S Y S T ,   V 2 0 ,   P 4 2 2 ,   D O I   1 0 . 1 1 4 5 / 5 8 2 4 1 5 . 5 8 2 4 1 8 ;   K a n u n g o   T ,   2 0 0 2 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 4 ,   P 8 8 1 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 2 . 1 0 1 7 6 1 6 ;   K h e t a r p a u l   S . ,   2 0 1 1 ,   P   8   I N T   W O R K S H   I N F   I ,   P 8 ;   K l e i n b e r g   J M ,   1 9 9 9 ,   J   A C M ,   V 4 6 ,   P 6 0 4 ,   D O I   1 0 . 1 1 4 5 / 3 2 4 1 3 3 . 3 2 4 1 4 0 ;   K u r a s h i m a   T . ,   2 0 1 3 ,   P   6   A C M   I N T   C   W E B   S E ,   P 3 7 5 ;   L a u   R Y K ,   2 0 1 4 ,   I E E E   C O M P U T   I N T E L L   M ,   V 9 ,   P 3 1 ,   D O I   1 0 . 1 1 0 9 / M C I . 2 0 1 3 . 2 2 9 1 6 8 9 ;   L i   K . ,   2 0 1 4 ,   P   2 0   A C M   S I G K D D   I N T ,   P 1 2 0 6 ;   L i u   X . ,   2 0 1 2 ,   P   1 8   A C M   S I G K D D   I N T ,   P 1 0 3 2 ;   M a j i d   A ,   2 0 1 5 ,   D A T A   K N O W L   E N G ,   V 9 5 ,   P 6 6 ,   D O I   1 0 . 1 0 1 6 / j . d a t a k . 2 0 1 4 . 1 1 . 0 0 1 ;   M a n n i n g   C .   D . ,   2 0 0 8 ,   I N T R O   I N F O R M   R E T R I E V ,   V 1 ;   S h e   J . ,   2 0 1 6 ,   K N O W L   D A T A   E N G   I E E E ;   S h e   J . ,   2 0 1 5 ,   P   A C M   S I G M O D   I N T   C   M ,   P 1 6 2 9 ;   T a n   P . - N . ,   2 0 0 5 ,   I N T R O   D A T A   M I N I N G ;   T i w a r i   S u n i t a ,   2 0 1 3 ,   D a t a b a s e s   i n   N e t w o r k e d   I n f o r m a t i o n   S y s t e m s .   8 t h   I n t e r n a t i o n a l   W o r k s h o p ,   D N I S   2 0 1 3 .   P r o c e e d i n g s ,   P 2 6 2 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 7 1 3 4 - 9 _ 2 0 ;   T o n g   Y . ,   2 0 1 5 ,   B O T T L E N E C K   A W A R E   A R R ,   P 1 ;   T s a k o n a s   E ,   2 0 1 3 ,   I E E E   T   S I G N A L   P R O C E S ,   V 6 1 ,   P 5 7 0 4 ,   D O I   1 0 . 1 1 0 9 / T S P . 2 0 1 3 . 2 2 7 8 5 2 9 ;   V a t s a v a i   R . R . ,   2 0 1 2 ,   P   1   A C M   S I G S P A T I A L   I ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 4 4 7 4 8 1 . 2 4 4 7 4 8 2 ;   W a n g   D . ,   2 0 1 5 ,   S O C I A L   S E N S I N G   B U I L D ;   W a n g   D . ,   2 0 1 2 ,   1 1   A C M   I E E E   C   I N F   P R ;   W a n g   D . ,   2 0 1 3 ,   I E E E   3 4   R E A L   T I M   S Y S ;   X i e   J . ,   2 0 1 1 ,   D A T   M I N   W O R K S H   I C D M W ,   P 3 4 4 ;   Y u a n   N J ,   2 0 1 5 ,   I E E E   T   K N O W L   D A T A   E N ,   V 2 7 ,   P 7 1 2 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 1 4 . 2 3 4 5 4 0 5 ;   Z h a n g   J . - D . ,   2 0 1 3 ,   P   2 1   A C M   S I G S P A T I A L ,   P 3 3 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 5 2 5 3 1 4 . 2 5 2 5 3 3 9 ;   Z h a n g   J D ,   2 0 1 5 ,   S I G I R   2 0 1 5 :   P R O C E E D I N G S   O F   T H E   3 8 T H   I N T E R N A T I O N A L   A C M   S I G I R   C O N F E R E N C E   O N   R E S E A R C H   A N D   D E V E L O P M E N T   I N   I N F O R M A T I O N   R E T R I E V A L ,   P 4 4 3 ,   D O I   1 0 . 1 1 4 5 / 2 7 6 6 4 6 2 . 2 7 6 7 7 1 1 ;   Z h e n g   Y . ,   2 0 1 0 ,   I E E E   D A T A   E N G   B ,   V 3 3 ,   P 3 2 ;   Z h e n g   Y . ,   2 0 0 9 ,   P   1 8   I N T   C   W O R L D   W I D ,   P 7 9 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 8 1 6 ;   Z h e n g   Y ,   2 0 1 1 ,   A C M   T   I N T E L   S Y S T   T E C ,   V 2 ,   D O I   1 0 . 1 1 4 5 / 1 8 8 9 6 8 1 . 1 8 8 9 6 8 3 	 3 9 	 0 	 0 	 0 	 0 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 0 9 5 0 - 7 0 5 1 	 1 8 7 2 - 7 4 0 9 	 	 K N O W L - B A S E D   S Y S T 	 K n o w l e d g e - B a s e d   S y s t . 	 M A Y   1 	 2 0 1 7 	 1 2 3 	 	 	 	 	 	 3 1 	 4 0 	 	 1 0 . 1 0 1 6 / j . k n o s y s . 2 0 1 7 . 0 2 . 0 0 6 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e 	 C o m p u t e r   S c i e n c e 	 E S 6 B Y 	 W O S : 0 0 0 3 9 9 6 3 2 5 0 0 0 0 3 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 K r a m e r ,   J L K ;   G e i s l e r ,   F ;   R a m e r ,   L ;   P l u n e t ,   W ;   C r a g g ,   J J 	 	 	 	 K r a m e r ,   J o h n   L .   K . ;   G e i s l e r ,   F r e d ;   R a m e r ,   L e a n n e ;   P l u n e t ,   W a r d ;   C r a g g ,   J a c q u e l y n   J . 	 	 	 O p e n   A c c e s s   P l a t f o r m s   i n   S p i n a l   C o r d   I n j u r y :   E x i s t i n g   C l i n i c a l   T r i a l   D a t a   t o   P r e d i c t   a n d   I m p r o v e   O u t c o m e s 	 N E U R O R E H A B I L I T A T I O N   A N D   N E U R A L   R E P A I R 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 s p i n a l   c o r d   i n j u r y ;   d i s e a s e   p r o g r e s s i o n ;   h e t e r o g e n e i t y ;   c l i n i c a l   t r i a l s ;   o p e n   a c c e s s ;   c r o w d s o u r c i n g ;   S C I ;   r e c o v e r y   p r o f i l e 	 P R O G R E S S I O N ;   R E C O V E R Y 	 R e c o v e r y   f r o m   a c u t e   s p i n a l   c o r d   i n j u r y   ( S C I )   i s   c h a r a c t e r i z e d   b y   e x t e n s i v e   h e t e r o g e n e i t y ,   r e s u l t i n g   i n   u n c e r t a i n   p r o g n o s i s .   R e l i a b l e   p r e d i c t i o n   o f   r e c o v e r y   i n   t h e   a c u t e   p h a s e   b e n e f i t s   p a t i e n t s   a n d   t h e i r   f a m i l i e s   d i r e c t l y ,   a s   w e l l   a s   i m p r o v e s   t h e   l i k e l i h o o d   o f   d e t e c t i n g   e f f i c a c y   i n   c l i n i c a l   t r i a l s .   T h i s   i s s u e   o f   h e t e r o g e n e i t y   i s   n o t   u n i q u e   t o   S C I .   I n   f i e l d s   s u c h   a s   t r a u m a t i c   b r a i n   i n j u r y ,   P a r k i n s o n ' s   d i s e a s e ,   a n d   a m y o t r o p h i c   l a t e r a l   s c l e r o s i s ,   o n e   a p p r o a c h   t o   u n d e r s t a n d   v a r i a b i l i t y   i n   r e c o v e r y   h a s   b e e n   t o   m a k e   c l i n i c a l   t r i a l   d a t a   w i d e l y   a v a i l a b l e   t o   t h e   g r e a t e r   r e s e a r c h   c o m m u n i t y .   W e   c o n t e n d   t h a t   t h e   S C I   c o m m u n i t y   s h o u l d   a d o p t   a   s i m i l a r   a p p r o a c h   i n   p r o v i d i n g   o p e n   a c c e s s   c l i n i c a l   t r i a l   d a t a . 	 [ K r a m e r ,   J o h n   L .   K . ;   P l u n e t ,   W a r d ;   C r a g g ,   J a c q u e l y n   J . ]   U n i v   B r i t i s h   C o l u m b i a ,   V a n c o u v e r ,   B C ,   C a n a d a ;   [ G e i s l e r ,   F r e d ]   R h a u s l e r   I n c ,   C a n   C a r l o s ,   C A   U S A ;   [ R a m e r ,   L e a n n e ]   S i m o n   F r a s e r   U n i v ,   D e p t   B i o m e d   P h y s i o l   &   K i n e s i o l ,   B u r n a b y ,   B C ,   C a n a d a 	 K r a m e r ,   J L K   ( r e p r i n t   a u t h o r ) ,   U n i v   B r i t i s h   C o l u m b i a ,   V a n c o u v e r ,   B C ,   C a n a d a . ;   K r a m e r ,   J L K   ( r e p r i n t   a u t h o r ) ,   U n i v   B r i t i s h   C o l u m b i a ,   S c h   K i n e s i o l ,   I C O R D ,   V a n c o u v e r ,   B C ,   C a n a d a . 	 k r a m e r @ i c o r d . o r g 	 	 	 W i n g s   f o r   L i f e   S p i n a l   C o r d   R e s e a r c h   F o u n d a t i o n ;   R i c k   H a n s e n   I n s t i t u t e ;   M i c h a e l   S m i t h   F o u n d a t i o n   f o r   H e a l t h   R e s e a r c h 	 T h e   a u t h o r s   d i s c l o s e d   r e c e i p t   o f   t h e   f o l l o w i n g   f i n a n c i a l   s u p p o r t   f o r   t h e   r e s e a r c h ,   a u t h o r s h i p ,   a n d / o r   p u b l i c a t i o n   o f   t h i s   a r t i c l e :   D r   K r a m e r ' s   l a b o r a t o r y   i s   s u p p o r t e d   b y   t h e   W i n g s   f o r   L i f e   S p i n a l   C o r d   R e s e a r c h   F o u n d a t i o n ,   t h e   R i c k   H a n s e n   I n s t i t u t e ,   a n d   t h e   M i c h a e l   S m i t h   F o u n d a t i o n   f o r   H e a l t h   R e s e a r c h .   D r   C r a g g   i s   a   S o c i e t y   i n   S c i e n c e   B r a n c o   W e i s s   P o s t d o c t o r a l   F e l l o w   a n d   i s   a l s o   s u p p o r t e d   b y   t h e   M i c h a e l   S m i t h   F o u n d a t i o n   f o r   H e a l t h   R e s e a r c h . 	 A t a s s i   N ,   2 0 1 4 ,   N E U R O L O G Y ,   V 8 3 ,   P 1 7 1 9 ,   D O I   1 0 . 1 2 1 2 / W N L . 0 0 0 0 0 0 0 0 0 0 0 0 0 9 5 1 ;   B e d l a c k   R S ,   2 0 1 6 ,   N E U R O L O G Y ,   V 8 6 ,   P 8 0 8 ,   D O I   1 0 . 1 2 1 2 / W N L . 0 0 0 0 0 0 0 0 0 0 0 0 2 2 5 1 ;   B r a c k e n   M B ,   1 9 9 7 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 7 7 ,   P 1 5 9 7 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 7 7 . 2 0 . 1 5 9 7 ;   G E I S L E R   F H ,   1 9 9 1 ,   N E W   E N G L   J   M E D ,   V 3 2 4 ,   P 1 8 2 9 ,   D O I   1 0 . 1 0 5 6 / N E J M 1 9 9 1 0 6 2 7 3 2 4 2 6 0 1 ;   G e i s l e r   F H ,   2 0 0 1 ,   S P I N E ,   V 2 6 ,   p S 8 7 ,   D O I   1 0 . 1 0 9 7 / 0 0 0 0 7 6 3 2 - 2 0 0 1 1 2 1 5 1 - 0 0 0 1 5 ;   G o l l e   P . ,   2 0 0 6 ,   P   5   A C M   W O R K S H   P R I V ,   P 7 7 ,   D O I   1 0 . 1 1 4 5 / 1 1 7 9 6 0 1 . 1 1 7 9 6 1 5 ;   H a w r y l u k   G W J ,   2 0 0 8 ,   N E U R O S U R G   F O C U S ,   V 2 5 ,   D O I   1 0 . 3 1 7 1 / F O C . 2 0 0 8 . 2 5 . 1 1 . E 1 4 ;   H o t h o r n   T ,   2 0 1 4 ,   A M Y O T R O P H   L A T   S C L   F R ,   V 1 5 ,   P 4 4 4 ,   D O I   1 0 . 3 1 0 9 / 2 1 6 7 8 4 2 1 . 2 0 1 4 . 8 9 3 3 6 1 ;   K i r s h b l u m   S C ,   2 0 1 1 ,   J   S P I N A L   C O R D   M E D ,   V 3 4 ,   P 5 4 7 ,   D O I   [ 1 0 . 1 1 7 9 / 2 0 4 5 7 7 2 1 1 X 1 3 2 0 7 4 4 6 2 9 3 6 9 5 ,   1 0 . 1 1 7 9 / 1 0 7 9 0 2 6 1 1 X 1 3 1 8 6 0 0 0 4 2 0 2 4 2 ] ;   K u f f n e r   R ,   2 0 1 5 ,   N A T   B I O T E C H N O L ,   V 3 3 ,   P 5 1 ,   D O I   1 0 . 1 0 3 8 / n b t . 3 0 5 1 ;   L o   B ,   2 0 1 5 ,   J A M A - J   A M   M E D   A S S O C ,   V 3 1 3 ,   P 7 9 3 ,   D O I   D O I   1 0 . 1 0 0 1 / J A M A . 2 0 1 5 . 2 9 2 ;   L o n g o   D L ,   2 0 1 6 ,   N E W   E N G L   J   M E D ,   V 3 7 4 ,   P 2 7 6 ,   D O I   1 0 . 1 0 5 6 / N E J M e 1 5 1 6 5 6 4 ;   L u n e t t a   C ,   2 0 1 6 ,   A M Y O T R O P H   L A T   S C L   F R ,   V 1 7 ,   P 9 3 ,   D O I   1 0 . 3 1 0 9 / 2 1 6 7 8 4 2 1 . 2 0 1 5 . 1 0 8 3 5 8 5 ;   M C C A R T H Y   M ,   2 0 1 4 ,   B M J - B R I T   M E D   J ,   V 3 4 8 ,   D O I   D O I   1 0 . 1 1 3 6 / B M J . G 1 1 3 5 ;   N a v a r r o   R o b e r t ,   2 0 0 8 ,   I n f o r m   P r i m   C a r e ,   V 1 6 ,   P 2 5 7 ;   N i e l s o n   J L ,   2 0 1 5 ,   N A T   C O M M U N ,   V 6 ,   D O I   1 0 . 1 0 3 8 / n c o m m s 9 5 8 1 ;   S t e e v e s   J D ,   2 0 1 1 ,   S P I N A L   C O R D ,   V 4 9 ,   P 2 5 7 ,   D O I   1 0 . 1 0 3 8 / s c . 2 0 1 0 . 9 9 ;   S w e e n e y   L ,   2 0 0 0 ,   3   C A R N   M E L L   U   S C H   C O ,   P 1 ;   T a i c h m a n   D B ,   2 0 1 6 ,   P L O S   M E D ,   V 1 3 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 1 0 0 1 9 5 0 ;   W u   X ,   2 0 1 5 ,   S P I N A L   C O R D ,   V 5 3 ,   P 8 4 ,   D O I   1 0 . 1 0 3 8 / s c . 2 0 1 4 . 2 3 2 	 2 0 	 0 	 0 	 0 	 0 	 S A G E   P U B L I C A T I O N S   I N C 	 T H O U S A N D   O A K S 	 2 4 5 5   T E L L E R   R D ,   T H O U S A N D   O A K S ,   C A   9 1 3 2 0   U S A 	 1 5 4 5 - 9 6 8 3 	 1 5 5 2 - 6 8 4 4 	 	 N E U R O R E H A B   N E U R A L   R E 	 N e u r o r e h a b i l .   N e u r a l   R e p a i r 	 M A Y 	 2 0 1 7 	 3 1 	 5 	 	 	 	 	 3 9 9 	 4 0 1 	 	 1 0 . 1 1 7 7 / 1 5 4 5 9 6 8 3 1 6 6 8 8 8 0 1 	 	 3 	 C l i n i c a l   N e u r o l o g y ;   R e h a b i l i t a t i o n 	 N e u r o s c i e n c e s   &   N e u r o l o g y ;   R e h a b i l i t a t i o n 	 E S 7 E E 	 W O S : 0 0 0 3 9 9 7 1 1 6 0 0 0 0 1 	 2 8 1 0 7 7 8 9 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 L o o r ,   M ;   D e   T r e ,   G 	 	 	 	 L o o r ,   M a r c e l o ;   D e   T r e ,   G u y 	 	 	 O n   t h e   n e e d   f o r   a u g m e n t e d   a p p r a i s a l   d e g r e e s   t o   h a n d l e   e x p e r i e n c e - b a s e d   e v a l u a t i o n s 	 A P P L I E D   S O F T   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 F u z z y   i n f o r m a t i o n   p r o c e s s i n g ;   A u g m e n t e d   ( f u z z y )   c o m p u t a t i o n ;   C o n n o t a t i o n   d i f f e r e n t i a l ;   S e m a n t i c   r i c h e r   c o m p a r i s o n ;   C r o w d - s o u r c e d   ( f u z z y )   d a t a 	 I N T U I T I O N I S T I C   F U Z Z Y - S E T S ;   G R O U P   D E C I S I O N - M A K I N G ;   C I T I Z E N   S C I E N C E ;   I N F O R M A T I O N ;   Q U A L I T Y 	 E x p e r i e n c e - b a s e d   e v a l u a t i o n s ,   i . e . ,   e v a l u a t i o n s   r e s u l t i n g   f r o m   w h a t   o n e   h a s   l e a r n e d   o r   u n d e r s t o o d   a b o u t   a   p a r t i c u l a r   t o p i c   b y   e x p e r i e n c e ,   a r e   a n   i m p o r t a n t   c o m p o n e n t   i n   m o d e r n   i n f o r m a t i o n   m a n a g e m e n t .   T h i s   i s   e s p e c i a l l y   t h e   c a s e   w h e n   d a t a   f r o m   s o c i a l   m e d i a   o r   c r o w d s o u r c i n g   a r e   i n v o l v e d .   I n   t h i s   p a p e r ,   t e c h n i q u e s   f o r   h a n d l i n g   a n d   c o m p a r i n g   e x p e r i e n c e - b a s e d   ( f u z z y )   e v a l u a t i o n s   a r e   p r o p o s e d   a n d   s t u d i e d .   S i n c e   s u c h   e v a l u a t i o n s   c o u l d   b e   f a i r l y   s u b j e c t i v e ,   t h e i r   c o m p a r i s o n   c o u l d   b e   a f f e c t e d   n o t   o n l y   b y   t h e   m a g n i t u d e   o f   e a c h   a p p r a i s a l ,   b u t   a l s o   b y   i t s   c o n t e x t -   h e r e i n ,   b y   ' c o n t e x t   o f   a n   e v a l u a t i o n '   i s   m e a n t   t h e   c o n d i t i o n s   t h a t   a r i s e   w h e n   t h e   e v a l u a t i o n   i s   c a r r i e d   o u t ,   w h i c h   m a i n l y   d e p e n d   o n   t h e   e x p e r i e n c e   o f   a n   e v a l u a t o r   a b o u t   t h e   t o p i c   u n d e r   c o n s i d e r a t i o n .   T h e r e f o r e ,   t o   c h a r a c t e r i z e   i n   a   b e t t e r   w a y   t h e   c o n n o t a t i v e   m e a n i n g   i n   e a c h   e x p e r i e n c e - b a s e d   e v a l u a t i o n ,   a n   a u g m e n t e d   a p p r a i s a l   d e g r e e ,   A A D   f o r   s h o r t ,   i s   p r o p o s e d   a s   a   n o v e l   g e n e r a l i z a t i o n   o f   a   m e m b e r s h i p   ( o r   n o n - m e m b e r s h i p )   d e g r e e .   A l o n g   w i t h   t h e   d e f i n i t i o n   o f   a n   A A D ,   a n   a u g m e n t e d   f r a m e w o r k   i s   d e s c r i b e d .   T h e   a u g m e n t e d   f r a m e w o r k   i n c l u d e s   s e v e r a l   c o n c e p t s ,   o p e r a t o r s   a n d   f u n c t i o n s   t h a t   s u p p o r t   d i f f e r e n t   m e t h o d s   o f   c o m p u t a t i o n   w i t h   ( c o l l e c t i o n s   o f )   A A D s .   W e   p a y   s p e c i a l   a t t e n t i o n   t o   t h e   d e s c r i p t i o n ,   u s e ,   p o t e n t i a l   b e n e f i t s   a n d   a p p l i c a t i o n s   o f   t h i s   a u g m e n t e d   f r a m e w o r k .   ( C )   2 0 1 7   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ L o o r ,   M a r c e l o ;   D e   T r e ,   G u y ]   U n i v   G h e n t ,   D e p t   T e l e c o m m u n   &   I n f o r m a t   P r o c ,   S i n t   P i e t e r s n i e u w s t r   4 1 ,   B - 9 0 0 0   G h e n t ,   B e l g i u m ;   [ L o o r ,   M a r c e l o ]   E S P O L   U n i v ,   D e p t   E l e c t   &   C o m p   E n g n ,   C a m p u s   G u s t a v o   G a l i n d o   5 , K m   3 0 - 5   V i a   P e r i m e t r a l ,   G u a y a q u i l ,   E c u a d o r 	 L o o r ,   M   ( r e p r i n t   a u t h o r ) ,   U n i v   G h e n t ,   D e p t   T e l e c o m m u n   &   I n f o r m a t   P r o c ,   S i n t   P i e t e r s n i e u w s t r   4 1 ,   B - 9 0 0 0   G h e n t ,   B e l g i u m . 	 M a r c e l o . L o o r @ U G e n t . b e ;   G u y . D e T r e @ U G e n t . b e 	 	 	 	 	 A t a n a s s o v   K T ,   2 0 1 2 ,   S T U D   F U Z Z   S O F T   C O M P ,   V 2 8 3 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 9 1 2 7 - 2 ;   A T A N A S S O V   K T ,   1 9 8 6 ,   F U Z Z Y   S E T   S Y S T ,   V 2 0 ,   P 8 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 5 - 0 1 1 4 ( 8 6 ) 8 0 0 3 4 - 3 ;   B o r d o g n a   G ,   2 0 1 4 ,   I N F O R M   S C I E N C E S ,   V 2 5 8 ,   P 3 1 2 ,   D O I   1 0 . 1 0 1 6 / j . i n s . 2 0 1 3 . 0 7 . 0 1 3 ;   B r a b h a m   D C ,   2 0 1 3 ,   M I T   P R E S S   E S S E N T ,   P 1 ;   C r a l l   A W ,   2 0 1 1 ,   C O N S E R V   L E T T ,   V 4 ,   P 4 3 3 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 5 5 - 2 6 3 X . 2 0 1 1 . 0 0 1 9 6 . x ;   D e   T r e   G ,   2 0 0 9 ,   L E C T   N O T E S   A R T I F   I N T ,   V 5 8 2 2 ,   P 5 9 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 4 9 5 7 - 6 _ 5 1 ;   D u b o i s   D . ,   2 0 0 0 ,   F U Z Z Y   S E T S   S E R I E S ,   V 7 ,   P 2 1 ;   E K M A N   G ,   1 9 6 3 ,   P S Y C H O M E T R I K A ,   V 2 8 ,   P 3 3 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 2 8 9 5 4 5 ;   G o o d   B M ,   2 0 1 3 ,   B I O I N F O R M A T I C S ,   V 2 9 ,   P 1 9 2 5 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t t 3 3 3 ;   G o o d c h i l d   M F ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - y ;   H a n d   E ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 6 8 5 ,   D O I   1 0 . 1 0 3 8 / 4 6 6 6 8 5 a ;   P e r e z   I J ,   2 0 1 4 ,   I E E E   T   S Y S T   M A N   C Y - S ,   V 4 4 ,   P 4 9 4 ,   D O I   1 0 . 1 1 0 9 / T S M C . 2 0 1 3 . 2 2 5 9 1 5 5 ;   L o o r   M a r c e l o ,   2 0 1 4 ,   P r o c e e d i n g s   o f   t h e   I n t e r n a t i o n a l   C o n f e r e n c e   o n   F u z z y   C o m p u t a t i o n   T h e o r y   a n d   A p p l i c a t i o n s   F C T A   2 0 1 4 ,   P 1 2 7 ;   L o o r   M . ,   2 0 1 4 ,   M O D E R N   A P P R O A C H E S   F U ,   V I ,   P 1 0 5 ;   L o o r   M . ,   2 0 1 5 ,   P   7   I N T   J O I N T   C   C O M P ,   V 2 ,   P 5 7 ;   L o w r y   C S ,   2 0 1 3 ,   G R O U N D   W A T E R ,   V 5 1 ,   P 1 5 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 5 - 6 5 8 4 . 2 0 1 2 . 0 0 9 5 6 . x ;   M a t t h e   T . ,   2 0 0 9 ,   P   2 0 0 9   A C M   S   A P P L   C O ,   P 1 6 9 9 ,   D O I   1 0 . 1 1 4 5 / 1 5 2 9 2 8 2 . 1 5 2 9 6 6 4 ;   M o r e n t e - M o l i n e r a   J A ,   2 0 1 6 ,   I N F O R M   S C I E N C E S ,   V 3 2 8 ,   P 4 1 8 ,   D O I   1 0 . 1 0 1 6 / j . i n s . 2 0 1 5 . 0 8 . 0 5 1 ;   M o r e n t e - M o l i n e r a   J A ,   2 0 1 5 ,   K N O W L - B A S E D   S Y S T ,   V 8 8 ,   P 1 5 4 ,   D O I   1 0 . 1 0 1 6 / j . k n o s y s . 2 0 1 5 . 0 7 . 0 3 5 ;   O v c h i n n i k o v   S ,   2 0 0 0 ,   H D B   F U Z Z   S E T   S E R ,   V 7 ,   P 2 3 3 ;   P a l m e r   M . ,   2 0 1 3 ,   C R O W D S O U R C I N G   G E O G R A ,   P 2 8 7 ;   S z m i d t   E ,   2 0 0 5 ,   L E C T   N O T E S   A R T I F   I N T ,   V 3 5 5 8 ,   P 2 7 2 ;   S z m i d t   E ,   2 0 0 0 ,   F U Z Z Y   S E T   S Y S T ,   V 1 1 4 ,   P 5 0 5 ,   D O I   1 0 . 1 0 1 6 / S 0 1 6 5 - 0 1 1 4 ( 9 8 ) 0 0 2 4 4 - 9 ;   S z m i d t   E . ,   2 0 0 4 ,   P   I N T   J O I N T   C   N E U R   N ,   V 2 ,   P 1 1 2 9 ;   S z m i d t   E . ,   2 0 1 3 ,   8   C   E U R   S O C   F U Z Z   L O G ,   P 8 4 0 ;   S z m i d t   E ,   2 0 0 8 ,   S T U D   C O M P U T   I N T E L L ,   V 1 0 9 ,   P 4 5 5 ;   T V E R S K Y   A ,   1 9 7 7 ,   P S Y C H O L   R E V ,   V 8 4 ,   P 3 2 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 5 X . 8 4 . 4 . 3 2 7 ;   V l a c h o s   I K ,   2 0 0 7 ,   P A T T E R N   R E C O G N   L E T T ,   V 2 8 ,   P 1 9 7 ,   D O I   1 0 . 1 0 1 6 / j . p a t r e c . 2 0 0 6 . 0 7 . 0 0 4 ;   Y a g e r   R R ,   2 0 1 3 ,   P R O C E E D I N G S   O F   T H E   2 0 1 3   J O I N T   I F S A   W O R L D   C O N G R E S S   A N D   N A F I P S   A N N U A L   M E E T I N G   ( I F S A / N A F I P S ) ,   P 5 7 ,   D O I   1 0 . 1 1 0 9 / I F S A - N A F I P S . 2 0 1 3 . 6 6 0 8 3 7 5 ;   Y a g e r   R R ,   2 0 1 3 ,   I N T   J   I N T E L L   S Y S T ,   V 2 8 ,   P 4 3 6 ,   D O I   1 0 . 1 0 0 2 / i n t . 2 1 5 8 4 ;   Z A D E H   L A ,   1 9 6 5 ,   I N F O R M   C O N T R O L ,   V 8 ,   P 3 3 8 ,   D O I   1 0 . 1 0 1 6 / S 0 0 1 9 - 9 9 5 8 ( 6 5 ) 9 0 2 4 1 - X ;   Z a d e h   L .   A . ,   1 9 7 2 ,   J   C Y B E R N E T I C S ,   V 2 ,   P 4 ,   D O I   D O I   1 0 . 1 0 8 0 / 0 1 9 6 9 7 2 7 2 0 8 5 4 2 9 1 0 ;   Z a d e h   L A ,   2 0 1 3 ,   I N F O R M   S C I E N C E S ,   V 2 4 8 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . i n s . 2 0 1 3 . 0 6 . 0 0 3 ;   Z a d e h   L A ,   2 0 0 8 ,   I N F O R M   S C I E N C E S ,   V 1 7 8 ,   P 2 7 5 1 ,   D O I   1 0 . 1 0 1 6 / j . i n s . 2 0 0 8 . 0 2 . 0 1 2 	 3 4 	 0 	 0 	 2 	 2 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 1 5 6 8 - 4 9 4 6 	 1 8 7 2 - 9 6 8 1 	 	 A P P L   S O F T   C O M P U T 	 A p p l .   S o f t .   C o m p u t . 	 M A Y 	 2 0 1 7 	 5 4 	 	 	 	 	 	 2 8 4 	 2 9 5 	 	 1 0 . 1 0 1 6 / j . a s o c . 2 0 1 7 . 0 1 . 0 0 9 	 	 1 2 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 C o m p u t e r   S c i e n c e 	 E N 3 I C 	 W O S : 0 0 0 3 9 5 9 0 1 2 0 0 0 1 9 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 G o h ,   D H L ;   P e - T h a n ,   E P P ;   L e e ,   C S 	 	 	 	 G o h ,   D i o n   H o e - L i a n ;   P e - T h a n ,   E i   P a   P a ;   L e e ,   C h e i   S i a n 	 	 	 P e r c e p t i o n s   o f   v i r t u a l   r e w a r d   s y s t e m s   i n   c r o w d s o u r c i n g   g a m e s 	 C O M P U T E R S   I N   H U M A N   B E H A V I O R 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g   g a m e s ;   V i r t u a l   r e w a r d   s y s t e m s ;   P o i n t s ;   B a d g e s ;   E x p e r i m e n t s ;   P e r c e i v e d   o u t p u t   q u a l i t y ;   P e r c e i v e d   e n j o y m e n t ;   M o t i v a t i o n a l   n e e d s 	 E N G A G E M E N T ;   E N J O Y M E N T ;   Q U A L I T Y ;   S A T I S F A C T I O N ;   P E R S P E C T I V E ;   B E H A V I O R ;   T R U S T ;   N E E D S ;   W E B 	 T h e   g a m i n g   a p p r o a c h   t o   c r o w d s o u r c i n g   i s   a   m a j o r   w a y   t o   f o s t e r   e n g a g e m e n t   a n d   s u s t a i n e d   p a r t i c i p a t i o n .   A l s o   k n o w n   a s   c r o w d s o u r c i n g   g a m e s ,   p l a y e r s   c o n t r i b u t e   t h e i r   e f f o r t   t o   t a c k l e   p r o b l e m s   a n d   r e c e i v e   e n j o y m e n t   i n   r e t u r n .   A s   i n   a n y   g a m e ,   a   f u n d a m e n t a l   m e c h a n i s m   i n   c r o w d s o u r c i n g   g a m e s   i s   i t s   v i r t u a l   r e w a r d   s y s t e m .   T h i s   p a p e r   i n v e s t i g a t e s   h o w   v i r t u a l   r e w a r d   s y s t e m s   e v o k e   i n t r i n s i c   m o t i v a t i o n ,   p e r c e i v e d   e n j o y m e n t   a n d   o u t p u t   q u a l i t y   i n   t h e   c o n t e x t   o f   c r o w d s o u r c i n g   g a m e s .   T h r e e   m o b i l e   a p p l i c a t i o n s   f o r   c r o w d s o u r c i n g   l o c a t i o n - b a s e d   c o n t e n t   w e r e   d e v e l o p e d   f o r   a n   e x p e r i m e n t a l   s t u d y .   T h e   T r a c k   v e r s i o n   o f f e r e d   a   p o i n t s - b a s e d   r e w a r d   s y s t e m   f o r   a c t i o n s   s u c h   a s   c o n t r i b u t i o n   o f   c o n t e n t .   T h e   B a d g e   v e r s i o n   o f f e r e d   d i f f e r e n t   b a d g e s   f o r   c o l l e c t i o n   w h i l e   t h e   S h a r e   v e r s i o n   s e r v e d   a s   a   c o n t r o l   w h i c h   d i d   n o t   h a v e   a n y   v i r t u a l   r e w a r d   s y s t e m .   F o r   e a c h   a p p l i c a t i o n ,   p a r t i c i p a n t s   p e r f o r m e d   a   s e r i e s   o f   t a s k s   a f t e r   w h i c h   a   q u e s t i o n n a i r e   s u r v e y   W a s   a d m i n i s t e r e d .   R e s u l t s   s h o w e d   t h a t   B a d g e   a n d   T r a c k   e n h a n c e d   e n j o y m e n t   e m o t i o n a l l y ,   c o g n i t i v e l y   a n d   b e h a v i o r a l l y .   T h e y   a l s o   i n c r e a s e d   p e r c e p t i o n s   o f   t h e   q u a l i t y   o f   o u t p u t s   w h e n   c o m p a r e d   t o   S h a r e .   A s   w e l l ,   t h e y   b e t t e r   s a t i s f i e d   t h e   m o t i v a t i o n a l   n e e d s   f o r   a u t o n o m y   a n d   c o m p e t e n c e   t h a n   S h a r e .   I n t e r e s t i n g l y ,   t h e r e   w e r e   a l s o   s i g n i f i c a n t   d i f f e r e n c e s   i n   h o w   B a d g e   a n d   T r a c k   w e r e   p e r c e i v e d .   ( C )   2 0 1 7   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ G o h ,   D i o n   H o e - L i a n ;   P e - T h a n ,   E i   P a   P a ;   L e e ,   C h e i   S i a n ]   N a n y a n g   T e c h n o l   U n i v ,   W e e   K i m   W e e   S c h   C o m m u n   &   I n f o r m a t ,   3 1 N a n y a n g   L i n k , S C I   B l d g ,   S i n g a p o r e   6 3 7 7 1 8 ,   S i n g a p o r e 	 G o h ,   D H L   ( r e p r i n t   a u t h o r ) ,   N a n y a n g   T e c h n o l   U n i v ,   W e e   K i m   W e e   S c h   C o m m u n   &   I n f o r m a t ,   3 1 N a n y a n g   L i n k , S C I   B l d g ,   S i n g a p o r e   6 3 7 7 1 8 ,   S i n g a p o r e . 	 a s h l g o h @ n t u . e d u . s g ;   e i 1 @ n t u . e d u . s g ;   l e e c s @ n t u . e d u . s g 	 	 	 M O E / T i e r   1   g r a n t   [ R G 6 4 / 1 4 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   M O E / T i e r   1   g r a n t   R G 6 4 / 1 4 . 	 A l k h a t t a b i   M . ,   2 0 1 0 ,   K N O W L E D G E   M A N A G E M E N T ,   V 2 ,   P 3 4 0 ;   A n t i n   J . ,   2 0 1 1 ,   C H I   2 0 1 1   G A M   W O R K S H ;   B o e z e m a n   E J ,   2 0 0 9 ,   J   O C C U P   O R G A N   P S Y C H ,   V 8 2 ,   P 8 9 7 ,   D O I   1 0 . 1 3 4 8 / 0 9 6 3 1 7 9 0 8 X 3 8 3 7 4 2 ;   B r a b h a m   D C ,   2 0 1 2 ,   J   A P P L   C O M M U N   R E S ,   V 4 0 ,   P 3 0 7 ,   D O I   1 0 . 1 0 8 0 / 0 0 9 0 9 8 8 2 . 2 0 1 2 . 6 9 3 9 4 0 ;   C a s e y   S . ,   2 0 0 7 ,   P   2 0 0 7   I N T   C   A D V   C O M ,   P 9 ,   D O I   1 0 . 1 1 4 5 / 1 2 5 5 0 4 7 . 1 2 5 5 0 5 0 ;   C a v u s o g l u   H . ,   2 0 1 5 ,   P   1 8   A C M   C   C O M P   C O M P ,   P 1 7 1 ;   C h e n   Y C ,   2 0 1 4 ,   C O M P U T   H U M   B E H A V ,   V 3 0 ,   P 7 8 7 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 3 . 0 5 . 0 1 9 ;   C s i k s z e n t m i h a l y i   M . ,   1 9 9 0 ,   F L O W   P S Y C H O L   O P T I M A L ;   D e c i   E L ,   2 0 0 0 ,   P S Y C H O L   I N Q ,   V 1 1 ,   P 2 2 7 ,   D O I   1 0 . 1 2 0 7 / S 1 5 3 2 7 9 6 5 P L I 1 1 0 4 _ 0 1 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   E n t e r t a i n m e n t   S o f t w a r e   A s s o c i a t i o n ,   2 0 1 5 ,   E S S   F A C T S   C O M P   V I D   G ;   F a n g   X W ,   2 0 1 0 ,   C O M P U T   I N D ,   V 6 1 ,   P 3 4 2 ,   D O I   1 0 . 1 0 1 6 / j . c o m p i n d . 2 0 0 9 . 1 2 . 0 0 5 ;   F a r z a n   R ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 5 6 3 ;   G o h   D .   H . ,   2 0 1 5 ,   P   1 7   H U M   C O M P   I N T   I N ,   P 5 9 6 ;   G o h   D H ,   2 0 1 1 ,   J   I N F   S C I ,   V 3 7 ,   P 5 1 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 1 4 1 7 7 8 6 ;   G o h   D H L ,   2 0 1 1 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 2 ,   P 1 3 1 1 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 4 7 8 ;   H a k l a y   M ,   2 0 0 8 ,   I E E E   P E R V A S   C O M P U T ,   V 7 ,   P 1 2 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 0 8 . 8 0 ;   H a m a r i   J . ,   2 0 1 5 ,   C O M P U T E R S   H   I N   P R E S S ;   H a n u s   M D ,   2 0 1 5 ,   C O M P U T   E D U C ,   V 8 0 ,   P 1 5 2 ,   D O I   1 0 . 1 0 1 6 / j . c o m p e d u . 2 0 1 4 . 0 8 . 0 1 9 ;   H s u   C L ,   2 0 0 7 ,   C O M P U T   H U M   B E H A V ,   V 2 3 ,   P 1 6 4 2 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 0 5 . 0 9 . 0 0 1 ;   H w a n g   Y J ,   2 0 0 7 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 3 ,   P 7 4 6 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 6 . 1 2 . 0 0 8 ;   J a k o b s s o n   M . ,   2 0 1 1 ,   G A M E   S T U D I E S ,   V 1 1 ,   P 1 ;   K i m   B ,   2 0 0 9 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 0 ,   P 1 0 1 2 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 1 0 4 1 ;   K i n g   D ,   2 0 1 0 ,   I N T   J   M E N T   H E A L T H   A D ,   V 8 ,   P 9 0 ,   D O I   1 0 . 1 0 0 7 / s 1 1 4 6 9 - 0 0 9 - 9 2 0 6 - 4 ;   K r u g e r   J ,   2 0 0 4 ,   J   E X P   S O C   P S Y C H O L ,   V 4 0 ,   P 9 1 ,   D O I   1 0 . 1 0 1 6 / S 0 0 2 2 - 1 0 3 1 ( 0 3 ) 0 0 0 6 5 - 9 ;   L a f f a n   D A ,   2 0 1 6 ,   C O M P U T   H U M   B E H A V ,   V 6 5 ,   P 5 4 4 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 6 . 0 9 . 0 0 4 ;   L e e   H . ,   2 0 1 2 ,   P   2 0 1 2   I N T   S   U B   V I R T ,   P 3 4 ;   L e e   J . ,   2 0 1 3 ,   P   2 2   I N T   C   W O R L D   W I D ,   P 2 0 7 ;   L e e   Y W ,   2 0 0 2 ,   I N F O R M   M A N A G E - A M S T E R ,   V 4 0 ,   P 1 3 3 ,   D O I   1 0 . 1 0 1 6 / S 0 3 7 8 - 7 2 0 6 ( 0 2 ) 0 0 0 4 3 - 5 ;   L e w i s   I . ,   2 0 1 3 ,   P   1 8   I N T   C   C O M P   G A M ,   P 6 6 ;   L i u   D ,   2 0 1 3 ,   M I S   Q U A R T ,   V 3 7 ,   P 1 1 1 ;   M a s s u n g   E l a i n e ,   2 0 1 3 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 7 1 ;   M e k l e r   E D ,   2 0 1 3 ,   P   C H I   1 3   E X T   A B S T R   H ,   P 1 1 3 7 ;   M e k l e r   E .   D . ,   2 0 1 5 ,   C O M P U T E R S   H   I N   P R E S S ;   N a b i   R L ,   2 0 0 4 ,   C O M M U N   T H E O R ,   V 1 4 ,   P 2 8 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 2 8 8 5 . 2 0 0 4 . t b 0 0 3 1 6 . x ;   N a g l e   A . ,   2 0 1 4 ,   I N T   J   S E R I   G A M E S ,   V 1 ,   P 3 5 ,   D O I   1 0 . 1 7 0 8 3 / i j s g . v 1 i 4 . 4 7 ;   P e - T h a n   E P P ,   2 0 1 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 9 4 6 9 ,   P 2 4 6 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 2 7 9 7 4 - 9 _ 2 5 ;   P r a n d i   C . ,   2 0 1 6 ,   P   2 0 1 6   I N T   C   C O M P   N E ,   P 1 ;   P r e s t o p n i k   N R ,   2 0 1 5 ,   C O M P U T   H U M   B E H A V ,   V 5 2 ,   P 4 9 2 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 5 . 0 5 . 0 5 1 ;   P r z y b y l s k i   A K ,   2 0 1 0 ,   R E V   G E N   P S Y C H O L ,   V 1 4 ,   P 1 5 4 ,   D O I   1 0 . 1 0 3 7 / a 0 0 1 9 4 4 0 ;   R e i n e c k e   L ,   2 0 1 2 ,   J   C O M M U N ,   V 6 2 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 0 - 2 4 6 6 . 2 0 1 2 . 0 1 6 4 9 . x ;   R i c h t e r   G . ,   2 0 1 5 ,   G A M I F I C A T I O N   E D   B U S I ,   P 2 1 ;   R y a n   B . ,   2 0 0 6 ,   M O T I V   E M O T I O N ,   V 3 0 ,   P 3 4 4 ;   S K I N N E R   B .   F . ,   1 9 7 4 ,   B E H A V I O R I S M ;   W y e t h   P . ,   2 0 0 5 ,   A C M   C O M P U T E R S   E N T E R T ,   V 3 ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 0 7 7 2 4 6 . 1 0 7 7 2 5 3 ;   T h o m s e n   D . ,   2 0 1 3 ,   H D B   H U M A N   C O M P U T A T I O ,   P 2 6 5 ;   T u i t e   K . ,   2 0 1 1 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 3 8 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 6 ;   v o n   A h n   L ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   [ D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 . I S B N ] ;   V o r d e r e r   P ,   2 0 0 4 ,   C O M M U N   T H E O R ,   V 1 4 ,   P 3 8 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 2 8 8 5 . 2 0 0 4 . t b 0 0 3 2 1 . x ;   W a n g   H H ,   2 0 1 1 ,   J   N A N O M A T E R ,   D O I   1 0 . 1 1 5 5 / 2 0 1 1 / 5 4 7 1 0 3 ;   W a n g   R .   Y . ,   1 9 9 6 ,   J o u r n a l   o f   M a n a g e m e n t   I n f o r m a t i o n   S y s t e m s ,   V 1 2 ,   P 5 ;   W e t z e l   R . ,   2 0 1 2 ,   P   I N T   C   F D N   D I G   G A M ,   P 2 3 8 ;   W u   J . ,   2 0 0 7 ,   J   E L E C T R O N   C O M M E R   R E ,   V 8 ,   P 1 2 8 ;   W u   J H ,   2 0 1 0 ,   C O M P U T   H U M   B E H A V ,   V 2 6 ,   P 1 8 6 2 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 0 . 0 7 . 0 3 3 ;   Y u e n   M .   C . ,   2 0 0 9 ,   P   2 0 0 9   I N T   C   C O M P   S C ,   P 7 2 3 ;   Z u c k e r m a n   O . ,   2 0 1 4 ,   P E R S   U B I Q U I T   C O M P U T ,   V 1 8 ,   P 1 7 0 4 	 5 6 	 0 	 0 	 6 	 6 	 P E R G A M O N - E L S E V I E R   S C I E N C E   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   E N G L A N D 	 0 7 4 7 - 5 6 3 2 	 1 8 7 3 - 7 6 9 2 	 	 C O M P U T   H U M   B E H A V 	 C o m p u t .   H u m .   B e h a v . 	 M A Y 	 2 0 1 7 	 7 0 	 	 	 	 	 	 3 6 5 	 3 7 4 	 	 1 0 . 1 0 1 6 / j . c h b . 2 0 1 7 . 0 1 . 0 0 6 	 	 1 0 	 P s y c h o l o g y ,   M u l t i d i s c i p l i n a r y ;   P s y c h o l o g y ,   E x p e r i m e n t a l 	 P s y c h o l o g y 	 E O 8 O P 	 W O S : 0 0 0 3 9 6 9 4 9 4 0 0 0 4 1 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 P e e r ,   E ;   B r a n d i m a r t e ,   L ;   S a m a t ,   S ;   A c q u i s t i ,   A 	 	 	 	 P e e r ,   E y a l ;   B r a n d i m a r t e ,   L a u r a ;   S a m a t ,   S o n a m ;   A c q u i s t i ,   A l e s s a n d r o 	 	 	 B e y o n d   t h e   T u r k :   A l t e r n a t i v e   p l a t f o r m s   f o r   c r o w d s o u r c i n g   b e h a v i o r a l   r e s e a r c h 	 J O U R N A L   O F   E X P E R I M E N T A L   S O C I A L   P S Y C H O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 O n l i n e   r e s e a r c h ;   C r o w d s o u r c i n g ;   D a t a   q u a l i t y ;   A m a z o n   M e c h a n i c a l   T u r k ;   P r o l i f i c   A c a d e m i c ;   C r o w d F l o w e r 	 A M A Z O N   M E C H A N I C A L   T U R K ;   C O N S E Q U E N C E S ;   W O R K E R S 	 T h e   s u c c e s s   o f   A m a z o n   M e c h a n i c a l   T u r k   ( M T u r k )   a s   a n   o n l i n e   r e s e a r c h   p l a t f o r m   h a s   c o m e   a t   a   p r i c e :   M T u r k   h a s   s u f f e r e d   f r o m   s l o w i n g   r a t e s   o f   p o p u l a t i o n   r e p l e n i s h m e n t ,   a n d   g r o w i n g   p a r t i c i p a n t   n o n - n a i v e t y .   R e c e n t l y ,   a   n u m b e r   o f   a l t e r n a t i v e   p l a t f o r m s   h a v e   e m e r g e d ,   o f f e r i n g   c a p a b i l i t i e s   s i m i l a r   t o   M T u r k   b u t   p r o v i d i n g   a c c e s s   t o   n e w   a n d   m o r e   n a i v e   p o p u l a t i o n s .   A f t e r   s u r v e y i n g   s e v e r a l   o p t i o n s ,   w e   e m p i r i c a l l y   e x a m i n e d   t w o   s u c h   p l a t f o r m s ,   C r o w d F l o w e r   ( C F )   a n d   P r o l i f i c   A c a d e m i c   ( P r o A ) .   I n   t w o   s t u d i e s ,   w e   f o u n d   t h a t   p a r t i c i p a n t s   o n   b o t h   p l a t f o r m s   w e r e   m o r e   n a i v e   a n d   l e s s   d i s h o n e s t   c o m p a r e d   t o   M T u r k   p a r t i c i p a n t s .   A c r o s s   t h e   t h r e e   p l a t f o r m s ,   C F   p r o v i d e d   t h e   b e s t   r e s p o n s e   r a t e ,   b u t   C F   p a r t i c i p a n t s   f a i l e d   m o r e   a t t e n t i o n - c h e c k   q u e s t i o n s   a n d   d i d   n o t   r e p r o d u c e   k n o w n   e f f e c t s   r e p l i c a t e d   o n   P r o A   a n d   M T u r k .   M o r e o v e r ,   P r o A   p a r t i c i p a n t s   p r o d u c e d   d a t a   q u a l i t y   t h a t   w a s   h i g h e r   t h a n   C F ' s   a n d   c o m p a r a b l e   t o   M T u r k ' s .   P r o A   a n d   C F   p a r t i c i p a n t s   w e r e   a l s o   m u c h   m o r e   d i v e r s e   t h a n   p a r t i c i p a n t s   f r o m   M T u r k .   ( C )   2 0 1 7   E l s e v i e r   I n c .   A l l   r i g h t s   r e s e r v e d . 	 [ P e e r ,   E y a l ]   B a r   I l a n   U n i v ,   G r a d   S c h   B u s i n e s s   A d m ,   I L - 5 2 9 0 0   R a m a t   G a n ,   I s r a e l ;   [ B r a n d i m a r t e ,   L a u r a ]   U n i v   A r i z o n a ,   E l l e r   C o l l   M a n a g e m e n t ,   T u c s o n ,   A Z   U S A ;   [ S a m a t ,   S o n a m ;   A c q u i s t i ,   A l e s s a n d r o ]   C a r n e g i e   M e l l o n   U n i v ,   H e i n z   C o l l ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A 	 P e e r ,   E   ( r e p r i n t   a u t h o r ) ,   B a r   I l a n   U n i v ,   G r a d   S c h   B u s i n e s s   A d m ,   I L - 5 2 9 0 0   R a m a t   G a n ,   I s r a e l . 	 e y a l . p e e r @ b i u . a c . i l 	 	 	 	 	 B u h r m e s t e r   M ,   2 0 1 1 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 6 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 0 3 9 3 9 8 0 ;   C A C I O P P O   J T ,   1 9 8 4 ,   J   P E R S   A S S E S S ,   V 4 8 ,   P 3 0 6 ,   D O I   1 0 . 1 2 0 7 / s 1 5 3 2 7 7 5 2 j p a 4 8 0 3 _ 1 3 ;   C h a n d l e r   J ,   2 0 1 5 ,   P S Y C H O L   S C I ,   V 2 6 ,   P 1 1 3 1 ,   D O I   1 0 . 1 1 7 7 / 0 9 5 6 7 9 7 6 1 5 5 8 5 1 1 5 ;   C h a n d l e r   J ,   2 0 1 4 ,   B E H A V   R E S   M E T H O D S ,   V 4 6 ,   P 1 1 2 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 3 - 0 3 6 5 - 7 ;   C r u m p   M J C ,   2 0 1 3 ,   P L O S   O N E ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 5 7 4 1 0 ;   F o r t   K ,   2 0 1 1 ,   C O M P U T   L I N G U I S T ,   V 3 7 ,   P 4 1 3 ,   D O I   1 0 . 1 1 6 2 / C O L I _ a _ 0 0 0 5 7 ;   G o o d m a n   J K ,   2 0 1 3 ,   J   B E H A V   D E C I S   M A K I N G ,   V 2 6 ,   P 2 1 3 ,   D O I   1 0 . 1 0 0 2 / b d m . 1 7 5 3 ;   H A K S T I A N   A R ,   1 9 7 6 ,   P S Y C H O M E T R I K A ,   V 4 1 ,   P 2 1 9 ,   D O I   1 0 . 1 0 0 7 / B F 0 2 2 9 1 8 4 0 ;   H e n r i c h   J ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 2 9 ,   D O I   1 0 . 1 0 3 8 / 4 6 6 0 2 9 a ;   K a h n e m a n   D . ,   1 9 8 2 ,   J U D G M E N T   U N C E R T A I N T Y ,   P 2 0 1 ,   D O I   D O I   1 0 . 1 0 1 7 / C B O 9 7 8 0 5 1 1 8 0 9 4 7 7 . 0 1 5 ;   K l e i n   R A ,   2 0 1 4 ,   S O C   P S Y C H O L - G E R M A N Y ,   V 4 5 ,   P 1 4 2 ,   D O I   1 0 . 1 0 2 7 / 1 8 6 4 - 9 3 3 5 / a 0 0 0 1 7 8 ;   L O R G E   I ,   1 9 3 6 ,   T H E   J O U R N A L   O F   S O C I A ,   V 7 ,   P 3 8 6 ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   O p p e n h e i m e r   D M ,   2 0 0 9 ,   J U D G M   D E C I S   M A K ,   V 4 ,   P 3 2 6 ;   O p p e n h e i m e r   D M ,   2 0 0 9 ,   J   E X P   S O C   P S Y C H O L ,   V 4 5 ,   P 8 6 7 ,   D O I   1 0 . 1 0 1 6 / j . j e s p . 2 0 0 9 . 0 3 . 0 0 9 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 5 ,   D O I   D O I   1 0 . 1 1 1 1 / N T W E . 1 2 0 3 8 ;   P a o l a c c i   G ,   2 0 1 4 ,   C U R R   D I R   P S Y C H O L   S C I ,   V 2 3 ,   P 1 8 4 ,   D O I   1 0 . 1 1 7 7 / 0 9 6 3 7 2 1 4 1 4 5 3 1 5 9 8 ;   P e e r   E ,   2 0 1 4 ,   B E H A V   R E S   M E T H O D S ,   V 4 6 ,   P 1 0 2 3 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 3 - 0 4 3 4 - y ;   R a n d   D G ,   2 0 1 2 ,   J   T H E O R   B I O L ,   V 2 9 9 ,   P 1 7 2 ,   D O I   1 0 . 1 0 1 6 / j . j t b i . 2 0 1 1 . 0 3 . 0 0 4 ;   R o s e n b e r g   M . ,   1 9 7 9 ,   R O S E N B E R G   S E L F   E S T E E ;   S i m c o x   T ,   2 0 1 4 ,   B E H A V   R E S   M E T H O D S ,   V 4 6 ,   P 9 5 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 3 - 0 3 4 5 - y ;   S p r o u s e   J ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 1 5 5 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 0 - 0 0 3 9 - 7 ;   S t e w a r t   N ,   2 0 1 5 ,   J U D G M   D E C I S   M A K ,   V 1 0 ,   P 4 7 9 ;   S T R A T H M A N   A ,   1 9 9 4 ,   J   P E R S   S O C   P S Y C H O L ,   V 6 6 ,   P 7 4 2 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 6 6 . 4 . 7 4 2 ;   T V E R S K Y   A ,   1 9 8 1 ,   S C I E N C E ,   V 2 1 1 ,   P 4 5 3 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 7 4 5 5 6 8 3 ;   V a k h a r i a   D . ,   2 0 1 5 ,   P   I C O N F E R E N C E   2 0 1 5 ;   W o o d s   A T ,   2 0 1 5 ,   P E E R J ,   V 3 ,   D O I   1 0 . 7 7 1 7 / p e e r j . 1 0 5 8 	 2 7 	 4 	 4 	 1 2 	 1 2 	 A C A D E M I C   P R E S S   I N C   E L S E V I E R   S C I E N C E 	 S A N   D I E G O 	 5 2 5   B   S T ,   S T E   1 9 0 0 ,   S A N   D I E G O ,   C A   9 2 1 0 1 - 4 4 9 5   U S A 	 0 0 2 2 - 1 0 3 1 	 1 0 9 6 - 0 4 6 5 	 	 J   E X P   S O C   P S Y C H O L 	 J .   E x p .   S o c .   P s y c h o l . 	 M A Y 	 2 0 1 7 	 7 0 	 	 	 	 	 	 1 5 3 	 1 6 3 	 	 1 0 . 1 0 1 6 / j . j e s p . 2 0 1 7 . 0 1 . 0 0 6 	 	 1 1 	 P s y c h o l o g y ,   S o c i a l 	 P s y c h o l o g y 	 E P 4 R B 	 W O S : 0 0 0 3 9 7 3 6 6 5 0 0 0 1 7 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 P r o b s t ,   T ;   P r y s s ,   R C ;   L a n g g u t h ,   B ;   S p i l i o p o u l o u ,   M ;   L a n d g r e b e ,   M ;   V e s a l a ,   M ;   H a r r i s o n ,   S ;   S c h o b e l ,   J ;   R e i c h e r t ,   M ;   S t a c h ,   M ;   S c h l e e ,   W 	 	 	 	 P r o b s t ,   T h o m a s ;   P r y s s ,   R u e d i g e r   C . ;   L a n g g u t h ,   B e r t h o l d ;   S p i l i o p o u l o u ,   M y r a ;   L a n d g r e b e ,   M i c h a e l ;   V e s a l a ,   M a r k k u ;   H a r r i s o n ,   S t e p h e n ;   S c h o b e l ,   J o h a n n e s ;   R e i c h e r t ,   M a n f r e d ;   S t a c h ,   M i c h a e l ;   S c h l e e ,   W i n f r i e d 	 	 	 O u t p a t i e n t   T i n n i t u s   C l i n i c ,   S e l f - H e l p   W e b   P l a t f o r m ,   o r   M o b i l e   A p p l i c a t i o n   t o   R e c r u i t   T i n n i t u s   S t u d y   S a m p l e s ? 	 F R O N T I E R S   I N   A G I N G   N E U R O S C I E N C E 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 t i n n i t u s ;   r e c r u i t m e n t ;   c r o w d s o u r c i n g ;   c r o w d s e n s i n g ;   c l i n i c a l   d a t a 	 T R A C K Y O U R T I N N I T U S   A P P L I C A T I O N ;   I N T E R N E T ;   H E A L T H ;   I N T E R V E N T I O N S ;   P R E V A L E N C E ;   E F F I C A C Y 	 F o r   u n d e r s t a n d i n g   t h e   h e t e r o g e n e i t y   o f   t i n n i t u s ,   l a r g e   s a m p l e s   a r e   r e q u i r e d .   H o w e v e r ,   i n v e s t i g a t i o n s   o n   h o w   s a m p l e s   r e c r u i t e d   b y   d i f f e r e n t   m e t h o d s   d i f f e r   f r o m   e a c h   o t h e r   a r e   l a c k i n g .   I n   t h e   p r e s e n t   s t u d y ,   t h r e e   l a r g e   s a m p l e s   e a c h   r e c r u i t e d   b y   d i f f e r e n t   m e a n s   w e r e   c o m p a r e d :   N   =   5 0 1 7   i n d i v i d u a l s   r e g i s t e r e d   a t   a   s e l f - h e l p   w e b   p l a t f o r m   f o r   t i n n i t u s   ( c r o w d s o u r c i n g   p l a t f o r m   T i n n i t u s   T a l k ) ,   N   =   8 6 7   u s e r s   o f   a   s m a r t   m o b i l e   a p p l i c a t i o n   f o r   t i n n i t u s   ( c r o w d s e n s i n g   p l a t f o r m   T r a c k Y o u r T i n n i t u s ) ,   a n d   N   =   3 7 8 6   p a t i e n t s   c o n t a c t i n g   a n   o u t p a t i e n t   t i n n i t u s   c l i n i c   ( T i n n i t u s   C e n t e r   o f   t h e   U n i v e r s i t y   H o s p i t a l   R e g e n s b u r g ) .   T h e   t h r e e   s a m p l e s   w e r e   c o m p a r e d   r e g a r d i n g   a g e ,   g e n d e r ,   a n d   d u r a t i o n   o f   t i n n i t u s   ( m o n t h   o r   y e a r s   p e r c e i v i n g   t i n n i t u s ;   s u b j e c t i v e   r e p o r t )   u s i n g   c h i - s q u a r e d   t e s t s .   T h e   t h r e e   s a m p l e s   s i g n i f i c a n t l y   d i f f e r e d   f r o m   e a c h   o t h e r   i n   a g e ,   g e n d e r   a n d   t i n n i t u s   d u r a t i o n   ( p   <   0 . 0 5 ) .   U s e r s   o f   t h e   T r a c k Y o u r T i n n i t u s   c r o w d s e n s i n g   p l a t f o r m   w e r e   y o u n g e r ,   u s e r s   o f   t h e   T i n n i t u s   T a l k   c r o w d s o u r c i n g   p l a t f o r m   h a d   m o r e   o f t e n   f e m a l e   g e n d e r ,   a n d   u s e r s   o f   b o t h   n e w e r   t e c h n o l o g i e s   ( c r o w d s o u r c i n g   a n d   c r o w d s e n s i n g )   h a d   m o r e   f r e q u e n t l y   a c u t e / s u b a c u t e   t i n n i t u s   ( <   3   m o n t h s   a n d   4 - 6   m o n t h s )   a s   w e l l   a s   a   v e r y   l o n g   t i n n i t u s   d u r a t i o n   ( >   2 0   y e a r s ) .   T h e   i m p l i c a t i o n s   o f   t h e s e   f i n d i n g s   f o r   c l i n i c a l   r e s e a r c h   a r e   t h a t   n e w e r   t e c h n o l o g i e s   s u c h   a s   c r o w d s o u r c i n g   a n d   c r o w d s e n s i n g   p l a t f o r m s   o f f e r   t h e   p o s s i b i l i t y   t o   r e a c h   i n d i v i d u a l s   h a r d   t o   g e t   i n   c o n t a c t   w i t h   a t   a n   o u t p a t i e n t   t i n n i t u s   c l i n i c .   D e p e n d i n g   o n   t h e   a i m s   a n d   t h e   i n c l u s i o n / e x c l u s i o n   c r i t e r i a   o f   a   g i v e n   s t u d y ,   d i f f e r e n t   r e c r u i t i n g   s t r a t e g i e s   ( c l i n i c   a n d / o r   n e w e r   t e c h n o l o g i e s )   o f f e r   d i f f e r e n t   a d v a n t a g e s   a n d   d i s a d v a n t a g e s .   I n   g e n e r a l ,   t h e   r e p r e s e n t a t i v e n e s s   o f   s t u d y   r e s u l t s   m i g h t   b e   i n c r e a s e d   w h e n   t i n n i t u s   s t u d y   s a m p l e s   a r e   r e c r u i t e d   i n   t h e   c l i n i c   a s   w e l l   a s   v i a   c r o w d s o u r c i n g   a n d   c r o w d s e n s i n g . 	 [ P r o b s t ,   T h o m a s ]   G e o r g   A u g u s t   U n i v   G o t t i n g e n ,   G e o r g   E l i a s   M u l l e r   I n s t   P s y c h o l ,   G o t t i n g e n ,   G e r m a n y ;   [ P r o b s t ,   T h o m a s ;   P r y s s ,   R u e d i g e r   C . ;   S c h o b e l ,   J o h a n n e s ;   R e i c h e r t ,   M a n f r e d ;   S t a c h ,   M i c h a e l ]   U l m   U n i v ,   I n s t   D a t a b a s e s   &   I n f o r m a t   S y s t ,   U l m ,   G e r m a n y ;   [ L a n g g u t h ,   B e r t h o l d ;   L a n d g r e b e ,   M i c h a e l ;   S c h l e e ,   W i n f r i e d ]   U n i v   R e g e n s b u r g ,   D e p t   P s y c h i a t   &   P s y c h o t h e r a p y ,   U n i v   R e g e n s b u r g   B e z i r k s k l i n i k u m   R e g e n s b u r g ,   R e g e n s b u r g ,   G e r m a n y ;   [ S p i l i o p o u l o u ,   M y r a ]   O t t o   v o n   G u e r i c k e   U n i v ,   D e p t   T e c h   &   B u s i n e s s   I n f o r m a t   S y s t ,   M a g d e b u r g ,   G e r m a n y ;   [ L a n d g r e b e ,   M i c h a e l ]   C l i n   L e c h   M a n g f a l l ,   A g a t h a r i e d ,   G e r m a n y ;   [ V e s a l a ,   M a r k k u ;   H a r r i s o n ,   S t e p h e n ]   T i n n i t u s   H u b   L t d ,   H e m s w o r t h ,   E n g l a n d 	 P r o b s t ,   T   ( r e p r i n t   a u t h o r ) ,   G e o r g   A u g u s t   U n i v   G o t t i n g e n ,   G e o r g   E l i a s   M u l l e r   I n s t   P s y c h o l ,   G o t t i n g e n ,   G e r m a n y . ;   P r o b s t ,   T   ( r e p r i n t   a u t h o r ) ,   U l m   U n i v ,   I n s t   D a t a b a s e s   &   I n f o r m a t   S y s t ,   U l m ,   G e r m a n y . 	 t h o m a s . p r o b s t @ u r . d e 	 	 	 G e r m a n   R e s e a r c h   F o u n d a t i o n   ( D F G )   w i t h i n   t h e   f u n d i n g   p r o g r a m m e   O p e n   A c c e s s   P u b l i s h i n g 	 T h i s   w o r k   w a s   s u p p o r t e d   b y   t h e   G e r m a n   R e s e a r c h   F o u n d a t i o n   ( D F G )   w i t h i n   t h e   f u n d i n g   p r o g r a m m e   O p e n   A c c e s s   P u b l i s h i n g .   T h e   a u t h o r s   w o u l d   l i k e   t o   t h a n k   A n k u r   B a h r e   ( O t t o - v o n G u e r i c k e - U n i v e r s i t y   M a g d e b u r g )   f o r   p r o v i d i n g   h e l p f u l   r e f e r e n c e s   a n d   V i s h n u   U n n i k r i s h n a n   ( O t t o - v o n - G u e r i c k e - U n i v e r s i t y   M a g d e b u r g )   f o r   t h e   s t a t i s t i c a l   w o r k   w i t h   t h e   t h r e e   s a m p l e s . 	 A B R A M S O N   L Y ,   1 9 7 8 ,   J   A B N O R M   P S Y C H O L ,   V 8 7 ,   P 4 9 ,   D O I   1 0 . 1 0 3 7 / / 0 0 2 1 - 8 4 3 X . 8 7 . 1 . 4 9 ;   A n d e r s s o n   G ,   2 0 1 5 ,   A M   J   A U D I O L ,   V 2 4 ,   P 2 9 9 ,   D O I   1 0 . 1 0 4 4 / 2 0 1 5 _ A J A - 1 4 - 0 0 8 0 ;   B a g u l e y   D ,   2 0 1 3 ,   L A N C E T ,   V 3 8 2 ,   P 1 6 0 0 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 0 - 6 7 3 6 ( 1 3 ) 6 0 1 4 2 - 7 ;   B e v e l a n d e r   K E ,   2 0 1 4 ,   P L O S   O N E ,   V 9 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 8 7 7 5 6 ;   B h a t t   J M ,   2 0 1 6 ,   J A M A   O T O L A R Y N G O L ,   V 1 4 2 ,   P 9 5 9 ,   D O I   1 0 . 1 0 0 1 / j a m a o t o . 2 0 1 6 . 1 7 0 0 ;   B r i o n e s   E M ,   2 0 1 7 ,   B E H A V   R E S   M E T H O D S ,   V 4 9 ,   P 3 2 0 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 6 - 0 7 1 0 - 8 ;   C h a n d l e r   J ,   2 0 1 6 ,   A N N U   R E V   C L I N   P S Y C H O ,   V 1 2 ,   P 5 3 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v - c l i n p s y - 0 2 1 8 1 5 - 0 9 3 6 2 3 ;   D o n k e r   T ,   2 0 1 3 ,   J   M E D   I N T E R N E T   R E S ,   V 1 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 7 9 1 ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   G a l l u s   S ,   2 0 1 5 ,   N E U R O E P I D E M I O L O G Y ,   V 4 5 ,   P 1 2 ,   D O I   1 0 . 1 1 5 9 / 0 0 0 4 3 1 3 7 6 ;   G a n t i   R .   K . ,   2 0 1 1 ,   C O M M U N I C A T I O N S   M A G A Z ,   V 4 9 ,   P 3 2 ;   G i o i a   C J ,   2 0 1 6 ,   A D D I C T   B E H A V ,   V 5 4 ,   P 2 4 ,   D O I   1 0 . 1 0 1 6 / j . a d d b e h . 2 0 1 5 . 1 1 . 0 0 8 ;   G o s l i n g   S D ,   2 0 0 4 ,   A M   P S Y C H O L ,   V 5 9 ,   P 9 3 ,   D O I   1 0 . 1 0 3 7 / 0 0 0 3 - 0 6 6 X . 5 9 . 2 . 9 3 ;   G u o   B . ,   2 0 1 5 ,   A C M   C O M P U T   S U R V ,   V 4 8 ,   P 1 ;   G u o   B ,   2 0 1 4 ,   I N T   C O N F   P E R V A S   C O M P ,   P 5 9 3 ,   D O I   1 0 . 1 1 0 9 / P e r C o m W . 2 0 1 4 . 6 8 1 5 2 7 3 ;   H e r o n   K E ,   2 0 1 0 ,   B R I T   J   H E A L T H   P S Y C H ,   V 1 5 ,   P 1 ,   D O I   1 0 . 1 3 4 8 / 1 3 5 9 1 0 7 0 9 X 4 6 6 0 6 3 ;   J a s p e r   K ,   2 0 1 4 ,   P S Y C H O T H E R   P S Y C H O S O M ,   V 8 3 ,   P 2 3 4 ,   D O I   1 0 . 1 1 5 9 / 0 0 0 3 6 0 7 0 5 ;   K a y r o u z   R o n y ,   2 0 1 6 ,   I n t e r n e t   I n t e r v e n t i o n s ,   V 4 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . i n v e n t . 2 0 1 6 . 0 1 . 0 0 1 ;   L a n d g r e b e   M ,   2 0 1 0 ,   B M C   M E D   I N F O R M   D E C I S ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 2 - 6 9 4 7 - 1 0 - 4 2 ;   L a n e   T S ,   2 0 1 5 ,   J   M E D   I N T E R N E T   R E S ,   V 1 7 ,   D O I   1 0 . 2 1 9 6 / j m i r . 4 3 5 9 ;   L a n g g u t h   B ,   2 0 1 3 ,   L A N C E T   N E U R O L ,   V 1 2 ,   P 9 2 0 ,   D O I   1 0 . 1 0 1 6 / S 1 4 7 4 - 4 4 2 2 ( 1 3 ) 7 0 1 6 0 - 1 ;   L i n d n e r   P h i l i p ,   2 0 1 5 ,   I n t e r n e t   I n t e r v e n t i o n s ,   V 2 ,   P 2 2 1 ,   D O I   1 0 . 1 0 1 6 / j . i n v e n t . 2 0 1 5 . 0 4 . 0 0 2 ;   M a r t i n e z   C ,   2 0 1 5 ,   E A R   H E A R I N G ,   V 3 6 ,   p E 6 9 ,   D O I   1 0 . 1 0 9 7 / A U D . 0 0 0 0 0 0 0 0 0 0 0 0 0 1 2 1 ;   M c C o r m a c k   A ,   2 0 1 6 ,   H E A R I N G   R E S ,   V 3 3 7 ,   P 7 0 ,   D O I   1 0 . 1 0 1 6 / j . h e a r e s . 2 0 1 6 . 0 5 . 0 0 9 ;   M e i k l e   M B ,   1 9 9 7 ,   O T O L A R Y N G   H E A D   N E C K ,   V 1 1 7 ,   P 6 9 8 ,   D O I   1 0 . 1 0 1 6 / S 0 1 9 4 - 5 9 9 8 ( 9 7 ) 7 0 0 5 5 - X ;   M e y e r s o n   P ,   2 0 0 3 ,   B E H A V   R E S   M E T H   I N S   C ,   V 3 5 ,   P 6 1 4 ,   D O I   1 0 . 3 7 5 8 / B F 0 3 1 9 5 5 4 1 ;   M o r g a n   A J ,   2 0 1 3 ,   J   M E D   I N T E R N E T   R E S ,   V 1 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 2 6 2 ;   N e w m a n   C W ,   1 9 9 6 ,   A R C H   O T O L A R Y N G O L ,   V 1 2 2 ,   P 1 4 3 ;   N o n d a h l   D M ,   2 0 1 2 ,   E A R   H E A R I N G ,   V 3 3 ,   P 6 4 0 ,   D O I   1 0 . 1 0 9 7 / A U D . 0 b 0 1 3 e 3 1 8 2 5 0 6 9 e 8 ;   N y e n h u i s   N ,   2 0 1 3 ,   C O G N   B E H A V   T H E R A P Y ,   V 4 2 ,   P 1 2 7 ,   D O I   1 0 . 1 0 8 0 / 1 6 5 0 6 0 7 3 . 2 0 1 2 . 6 5 5 3 0 5 ;   N y e n h u i s   N ,   2 0 1 3 ,   C O G N   B E H A V   T H E R A P Y ,   V 4 2 ,   P 1 5 9 ,   D O I   1 0 . 1 0 8 0 / 1 6 5 0 6 0 7 3 . 2 0 1 3 . 8 0 3 4 9 6 ;   P r o b s t   T ,   2 0 1 6 ,   S C I   R E P - U K ,   V 6 ,   D O I   1 0 . 1 0 3 8 / s r e p 3 1 1 6 6 ;   P r o b s t   T ,   2 0 1 6 ,   S C I   R E P - U K ,   V 6 ,   D O I   1 0 . 1 0 3 8 / s r e p 2 0 3 8 2 ;   P r y s s   R ,   2 0 1 5 ,   I E E E   I N T   C O N F   M O ,   P 3 5 2 ,   D O I   [ 1 0 . 1 1 0 9 / M o b S e r v . 2 0 1 5 . 5 5 ,   1 0 . 1 1 0 9 / M S . 2 0 1 5 . 5 5 ] ;   P r y s s   R ,   2 0 1 5 ,   C O M P   M E D   S Y ,   P 2 3 ,   D O I   1 0 . 1 1 0 9 / C B M S . 2 0 1 5 . 2 6 ;   R a n a r d   B L ,   2 0 1 4 ,   J   G E N   I N T E R N   M E D ,   V 2 9 ,   P 1 8 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 6 0 6 - 0 1 3 - 2 5 3 6 - 8 ;   S c h l e e   W ,   2 0 1 6 ,   F R O N T   A G I N G   N E U R O S C I ,   V 8 ,   D O I   1 0 . 3 3 8 9 / f n a g i . 2 0 1 6 . 0 0 2 9 4 ;   S w a n   M ,   2 0 1 2 ,   J   M E D   I N T E R N E T   R E S ,   V 1 4 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 8 8 ;   T h o r n t o n   L o u i s e ,   2 0 1 6 ,   I n t e r n e t   I n t e r v e n t i o n s ,   V 4 ,   P 7 2 ,   D O I   1 0 . 1 0 1 6 / j . i n v e n t . 2 0 1 6 . 0 2 . 0 0 1 ;   T i t o v   N ,   2 0 1 0 ,   P L O S   O N E ,   V 5 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 1 0 8 8 5 ;   T o p o l o v e c - V r a n i c   J ,   2 0 1 6 ,   J   M E D   I N T E R N E T   R E S ,   V 1 8 ,   D O I   1 0 . 2 1 9 6 / j m i r . 5 6 9 8 ;   V a y e n a   E ,   2 0 1 3 ,   P L O S   M E D ,   V 1 0 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p m e d . 1 0 0 1 4 0 2 ;   W i t s e l l   D L ,   2 0 1 1 ,   O T O L A R Y N G   H E A D   N E C K ,   V 1 4 5 ,   P 5 6 5 ,   D O I   1 0 . 1 1 7 7 / 0 1 9 4 5 9 9 8 1 1 4 0 6 3 6 9 	 4 3 	 0 	 0 	 0 	 0 	 F R O N T I E R S   M E D I A   S A 	 L A U S A N N E 	 P O   B O X   1 1 0 ,   E P F L   I N N O V A T I O N   P A R K ,   B U I L D I N G   I ,   L A U S A N N E ,   1 0 1 5 ,   S W I T Z E R L A N D 	 1 6 6 3 - 4 3 6 5 	 	 	 F R O N T   A G I N G   N E U R O S C I 	 F r o n t .   A g i n g   N e u r o s c i . 	 A P R   2 1 	 2 0 1 7 	 9 	 	 	 	 	 	 	 	 1 1 3 	 1 0 . 3 3 8 9 / f n a g i . 2 0 1 7 . 0 0 1 1 3 	 	 7 	 G e r i a t r i c s   &   G e r o n t o l o g y ;   N e u r o s c i e n c e s 	 G e r i a t r i c s   &   G e r o n t o l o g y ;   N e u r o s c i e n c e s   &   N e u r o l o g y 	 E T 3 P W 	 W O S : 0 0 0 4 0 0 1 9 2 9 0 0 0 0 1 	 2 8 4 8 4 3 8 9 	 g o l d 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 W r e n ,   J D ;   G e o r g e s c u ,   C ;   G i l e s ,   C B ;   H e n n e s s e y ,   J 	 	 	 	 W r e n ,   J o n a t h a n   D . ;   G e o r g e s c u ,   C o n s t a n t i n ;   G i l e s ,   C o r y   B . ;   H e n n e s s e y ,   J a s o n 	 	 	 U s e   i t   o r   l o s e   i t :   c i t a t i o n s   p r e d i c t   t h e   c o n t i n u e d   o n l i n e   a v a i l a b i l i t y   o f   p u b l i s h e d   b i o i n f o r m a t i c s   r e s o u r c e s 	 N U C L E I C   A C I D S   R E S E A R C H 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 U R L   D E C A Y ;   J O U R N A L S ;   R E F E R E N C E S ;   M E D L I N E ;   M I T I G A T I O N ;   A B S T R A C T S ;   A R T I C L E S ;   S C I E N C E ;   T R E N D S 	 S c i e n t i f i c   D a t a   A n a l y s i s   R e s o u r c e s   ( S D A R s )   s u c h   a s   b i o i n f o r m a t i c s   p r o g r a m s ,   w e b   s e r v e r s   a n d   d a t a b a s e s   a r e   i n t e g r a l   t o   m o d e r n   s c i e n c e ,   b u t   p r e v i o u s   s t u d i e s   h a v e   s h o w n   t h a t   t h e   U n i f o r m   R e s o u r c e   L o c a t o r s   ( U R L s )   l i n k i n g   t o   t h e m   d e c a y   i n   a   t i m e - d e p e n d e n t   m a n n e r ,   w i t h   s i m i l a r   t o   2 7 %   d e c a y e d   t o   d a t e .   B e c a u s e   S D A R s   a r e   o v e r r e p r e s e n t e d   a m o n g   s c i e n c e ' s   m o s t   c i t e d   p a p e r s   o v e r   t h e   p a s t   2 0   y e a r s ,   l o s s   o f   w i d e l y   u s e d   S D A R s   c o u l d   b e   p a r t i c u l a r l y   d i s r u p t i v e   t o   s c i e n t i f i c   r e s e a r c h .   W e   i d e n t i f i e d   U R L s   i n   M E D L I N E   a b s t r a c t s   a n d   u s e d   c r o w d s o u r c i n g   t o   i d e n t i f y   w h i c h   r e p o r t e d   t h e   c r e a t i o n   o f   S D A R s .   W e   u s e d   t h e   I n t e r n e t   A r c h i v e ' s   W a y b a c k   M a c h i n e   t o   a p p r o x i m a t e   ' d e a t h   d a t e s '   a n d   c a l c u l a t e   c i t a t i o n s / y e a r   o v e r   e a c h   S D A R ' s   l i f e s p a n .   A t   f i r s t   g l a n c e ,   d e c a y e d   S D A R s   d i d   n o t   s i g n i f i c a n t l y   d i f f e r   f r o m   a v a i l a b l e   S D A R s   i n   t h e i r   a v e r a g e   c i t a t i o n s   p e r   y e a r   o v e r   t h e i r   l i f e s p a n   o r   j o u r n a l   i m p a c t   f a c t o r   ( J I F ) .   B u t   t h e   m o s t   c i t e d   S D A R s   w e r e   9 4 %   l i k e l y   t o   b e   r e l o c a t e d   t o   a n o t h e r   U R L   v e r s u s   o n l y   3 4 %   o f   u n c i t e d   o n e s .   T a k i n g   r e l o c a t i o n   i n t o   a c c o u n t ,   w e   f i n d   t h a t   c i t a t i o n s   a r e   t h e   s t r o n g e s t   p r e d i c t o r s   o f   c u r r e n t   o n l i n e   a v a i l a b i l i t y   a f t e r   t i m e   s i n c e   p u b l i c a t i o n ,   a n d   J I F   m o d e s t l y   p r e d i c t i v e .   T h i s   s u g g e s t s   t h a t   U R L   d e c a y   i s   a   g e n e r a l ,   p e r s i s t e n t   p h e n o m e n o n   a f f e c t i n g   a l l   U R L s ,   b u t   t h e   m o s t   u s e f u l / r e c o g n i z e d   S D A R s   a r e   m o r e   l i k e l y   t o   p e r s i s t . 	 [ W r e n ,   J o n a t h a n   D . ;   G e o r g e s c u ,   C o n s t a n t i n ;   G i l e s ,   C o r y   B . ]   O k l a h o m a   M e d   R e s   F d n ,   A r t h r i t   &   C l i n   I m m u n o l   R e s   P r o g r a m ,   8 2 5   N E   1 3 t h   S t ,   O k l a h o m a   C i t y ,   O K   7 3 1 0 4   U S A ;   [ W r e n ,   J o n a t h a n   D . ]   U n i v   O k l a h o m a ,   H l t h   S c i   C t r ,   D e p t   B i o c h e m   &   M o l   B i o l ,   9 4 0   S t a n t o n   L   Y o u n g   B l v d ,   O k l a h o m a   C i t y ,   O K   7 3 1 0 4   U S A ;   [ H e n n e s s e y ,   J a s o n ]   B o s t o n   U n i v ,   D e p t   C o m p   S c i ,   1 1 1   C u m m i n g t o n   M a l l ,   B o s t o n ,   M A   0 2 2 1 5   U S A 	 W r e n ,   J D   ( r e p r i n t   a u t h o r ) ,   O k l a h o m a   M e d   R e s   F d n ,   A r t h r i t   &   C l i n   I m m u n o l   R e s   P r o g r a m ,   8 2 5   N E   1 3 t h   S t ,   O k l a h o m a   C i t y ,   O K   7 3 1 0 4   U S A . ;   W r e n ,   J D   ( r e p r i n t   a u t h o r ) ,   U n i v   O k l a h o m a ,   H l t h   S c i   C t r ,   D e p t   B i o c h e m   &   M o l   B i o l ,   9 4 0   S t a n t o n   L   Y o u n g   B l v d ,   O k l a h o m a   C i t y ,   O K   7 3 1 0 4   U S A . 	 j o n a t h a n - w r e n @ o m r f . o r g 	 	 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ N S F   g r a n t ]   [ A C I - 1 3 4 5 4 2 6 ] ;   I n s t i t u t i o n a l   f u n d i n g   ( O M R F ) 	 N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ N S F   g r a n t   # A C I - 1 3 4 5 4 2 6 ] .   F u n d i n g   f o r   o p e n   a c c e s s   c h a r g e :   I n s t i t u t i o n a l   f u n d i n g   ( O M R F ) . 	 C a r n e v a l e   R J ,   2 0 0 7 ,   I N T   J   M E D   I N F O R M ,   V 7 6 ,   P 2 6 9 ,   D O I   1 0 . 1 0 1 6 / j . i j m e d i n f . 2 0 0 5 . 1 2 . 0 0 1 ;   D e l l a v a l l e   R P ,   2 0 0 3 ,   S C I E N C E ,   V 3 0 2 ,   P 7 8 7 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 0 8 8 2 3 4 ;   D u c u t   E ,   2 0 0 8 ,   B M C   M E D   I N F O R M   D E C I S ,   V 8 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 2 - 6 9 4 7 - 8 - 2 3 ;   T r u d e l   M . ,   2 0 0 5 ,   J   M E D   I N T E R N E T   R E S ,   V 7 ,   p e 6 0 ;   E y s e n b a c h   G u n t h e r ,   2 0 0 6 ,   A M I A   A n n u   S y m p   P r o c ,   P 9 1 9 ;   G o o d   B M ,   2 0 1 3 ,   B I O I N F O R M A T I C S ,   V 2 9 ,   P 1 9 2 5 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t t 3 3 3 ;   H a b i b z a d e h   P ,   2 0 1 3 ,   A P P L   C L I N   I N F O R M ,   V 4 ,   P 4 5 5 ,   D O I   1 0 . 4 3 3 8 / A C I - 2 0 1 3 - 0 7 - R A - 0 0 5 5 ;   H e n n e s s e y   J ,   2 0 1 4 ,   B M C   B I O I N F O R M A T I C S ,   V 1 5 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 1 5 - S 1 1 - S 7 ;   H e n n e s s e y   J ,   2 0 1 3 ,   B M C   B I O I N F O R M A T I C S ,   V 1 4 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 1 4 - S 1 4 - S 5 ;   H o w i s o n   J ,   2 0 1 6 ,   J   A S S O C   I N F   S C I   T E C H ,   V 6 7 ,   P 2 1 3 7 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 3 5 3 8 ;   K e l l y   D P ,   2 0 0 4 ,   P L O S   B I O L ,   V 2 ,   P 4 4 1 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p b i o . 0 0 2 0 0 9 9 ;   P a r v a n t a   C l a u d i a ,   2 0 1 3 ,   H e a l t h   P r o m o t   P r a c t ,   V 1 4 ,   P 1 6 3 ,   D O I   1 0 . 1 1 7 7 / 1 5 2 4 8 3 9 9 1 2 4 7 0 6 5 4 ;   P e n g   R D ,   2 0 1 1 ,   S C I E N C E ,   V 3 3 4 ,   P 1 2 2 6 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 1 3 8 4 7 ;   P e r e z - I r a t x e t a   C ,   2 0 0 7 ,   B R I E F   B I O I N F O R M ,   V 8 ,   P 8 8 ,   D O I   1 0 . 1 0 9 3 / b i b / b b l 0 3 5 ;   R a n a r d   B L ,   2 0 1 4 ,   J   G E N   I N T E R N   M E D ,   V 2 9 ,   P 1 8 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 6 0 6 - 0 1 3 - 2 5 3 6 - 8 ;   R u n g   J ,   2 0 1 3 ,   N A T   R E V   G E N E T ,   V 1 4 ,   P 8 9 ,   D O I   1 0 . 1 0 3 8 / n r g 3 3 9 4 ;   T h o r p   A W ,   2 0 1 1 ,   A N N   E M E R G   M E D ,   V 5 7 ,   P 1 6 5 ,   D O I   1 0 . 1 0 1 6 / j . a n n e m e r g m e d . 2 0 1 0 . 1 1 . 0 2 9 ;   W a g n e r   C ,   2 0 0 9 ,   J   M E D   L I B R   A S S O C ,   V 9 7 ,   P 1 2 2 ,   D O I   1 0 . 3 1 6 3 / 1 5 3 6 - 5 0 5 0 . 9 7 . 2 . 0 0 9 ;   W h i t f i e l d   J ,   2 0 0 4 ,   N A T U R E ,   V 4 2 8 ,   P 5 9 2 ,   D O I   1 0 . 1 0 3 8 / 4 2 8 5 9 2 a ;   W r e n   J D ,   2 0 0 4 ,   B I O I N F O R M A T I C S ,   V 2 0 ,   P 6 6 8 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t g 4 6 5 ;   W r e n   J D ,   2 0 0 8 ,   B I O I N F O R M A T I C S ,   V 2 4 ,   P 1 3 8 1 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t n 1 2 7 ;   W r e n   J D ,   2 0 0 6 ,   A R C H   D E R M A T O L ,   V 1 4 2 ,   P 1 1 4 7 ,   D O I   1 0 . 1 0 0 1 / a r c h d e r m . 1 4 2 . 9 . 1 1 4 7 ;   W r e n   J D ,   2 0 1 6 ,   B I O I N F O R M A T I C S ,   V 3 2 ,   P 2 6 8 6 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t w 2 8 4 	 2 3 	 0 	 0 	 8 	 8 	 O X F O R D   U N I V   P R E S S 	 O X F O R D 	 G R E A T   C L A R E N D O N   S T ,   O X F O R D   O X 2   6 D P ,   E N G L A N D 	 0 3 0 5 - 1 0 4 8 	 1 3 6 2 - 4 9 6 2 	 	 N U C L E I C   A C I D S   R E S 	 N u c l e i c   A c i d s   R e s . 	 A P R   2 0 	 2 0 1 7 	 4 5 	 7 	 	 	 	 	 3 6 2 7 	 3 6 3 3 	 	 1 0 . 1 0 9 3 / n a r / g k x 1 8 2 	 	 7 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y 	 B i o c h e m i s t r y   &   M o l e c u l a r   B i o l o g y 	 E S 3 S D 	 W O S : 0 0 0 3 9 9 4 4 8 4 0 0 0 1 2 	 2 8 3 3 4 9 8 2 	 g o l d 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 L o p e z - A p a r i c i o ,   S ;   V o g t ,   M ;   S c h n e i d e r ,   P ;   K a h i l a - T a n i ,   M ;   B r o b e r g ,   A 	 	 	 	 L o p e z - A p a r i c i o ,   S u s a n a ;   V o g t ,   M a t t h i a s ;   S c h n e i d e r ,   P h i l i p p ;   K a h i l a - T a n i ,   M a a r i t ;   B r o b e r g ,   A n n a 	 	 	 P u b l i c   p a r t i c i p a t i o n   G I S   f o r   i m p r o v i n g   w o o d   b u r n i n g   e m i s s i o n s   f r o m   r e s i d e n t i a l   h e a t i n g   a n d   u r b a n   e n v i r o n m e n t a l   m a n a g e m e n t 	 J O U R N A L   O F   E N V I R O N M E N T A L   M A N A G E M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   F u e l w o o d ;   U r b a n   e m i s s i o n s ;   P u b l i c   p a r t i c i p a t i o n   G I S ;   C o - b e n e f i t 	 A I R - P O L L U T I O N ;   G E O G R A P H I C   I N F O R M A T I O N ;   S Y S T E M S 	 A   c r o w d s o u r c i n g   s t u d y   s u p p o r t e d   b y   a   p u b l i c   p a r t i c i p a t i o n   G I S   t o o l   w a s   d e s i g n e d   a n d   c a r r i e d   o u t   i n   t w o   N o r w e g i a n   r e g i o n s .   T h e   a i m   w a s   t o   i m p r o v e   t h e   k n o w l e d g e   a b o u t   e m i s s i o n s   f r o m   w o o d   b u r n i n g   f o r   r e s i d e n t i a l   h e a t i n g   i n   u r b a n   a r e a s   b a s e d   o n   t h e   c o l l e c t i o n   o f   c i t i z e n s '   l o c a l i z e d   i n s i g h t s .   W e   f o c u s   o n   t h r e e   m a i n   i s s u e s :   1 )   t y p e   o f   d w e l l i n g   a n d   r e s i d e n t i a l   h e a t i n g   s o u r c e ;   2 )   w o o d   c o n s u m p t i o n   a n d   t y p e   o f   w o o d   a p p l i a n c e s ;   a n d   3 )   c i t i z e n s '   p e r c e p t i o n   o f   t h e   u r b a n   e n v i r o n m e n t .   O u r   s t u d y   s h o w s   t h e   i m p o r t a n c e   o f   w o o d   b u r n i n g   f o r   r e s i d e n t i a l   h e a t i n g ,   a n d   o f   t h e   r e s u l t e d   p a r t i c l e   e m i s s i o n s ,   i n   N o r w e g i a n   u r b a n   a r e a s .   C i t i z e n s '   l o c a l i z e d   i n s i g h t s   o n   e n v i r o n m e n t a l   p e r c e p t i o n   h i g h l i g h t   t h e   a r e a s   i n   t h e   c i t y   t h a t   r e q u i r e   p a r t i c u l a r   a t t e n t i o n   a s   p a r t   o f   c l e a n   a i r   s t r a t e g i e s .   I n f o r m a t i o n   a b o u t   e n v i r o n m e n t a l   p e r c e p t i o n   i s   c o m b i n e d   w i t h   e x i s t i n g   e n v i r o n m e n t a l   d a t a   s h o w i n g   c e r t a i n   c o r r e l a t i o n .   T h e   r e s u l t s   s u p p o r t   t h e   u r b a n   e n v i r o n m e n t a l   m a n a g e m e n t   b a s e d   o n   c o - b e n e f i t   a p p r o a c h e s ,   a c h i e v i n g   s e v e r a l   o u t c o m e s   f r o m   a   s i n g l e   p o l i c y   m e a s u r e .   M e a s u r e s   t o   r e d u c e   u r b a n   a i r   p o l l u t i o n   w i l l   h a v e   a   p o s i t i v e   i m p a c t   o n   t h e   c i t i z e n s '   e n v i r o n m e n t a l   p e r c e p t i o n ,   a n d   t h e r e f o r e   o n   t h e i r   q u a l i t y   o f   l i f e ,   i n   a d d i t i o n   t o   r e d u c i n g   t h e   n e g a t i v e   c o n s e q u e n c e s   o f   a i r   p o l l u t i o n   o n   h u m a n   h e a l t h .   T h e   c h a r a c t e r i z a t i o n   o f   r e s i d e n t i a l   h e a t i n g   b y   f u e l w o o d   i s   s t i l l   a   c h a l l e n g i n g   a c t i v i t y .   O u r   s t u d y   s h o w s   t h e   p o t e n t i a l   o f   a   c r o w d s o u r c i n g   m e t h o d   a s   m e a n s   f o r   b o t t o m - u p   a p p r o a c h e s   d e s i g n e d   t o   i n c r e a s e   o u r   k n o w l e d g e   o n   h u m a n   a c t i v i t i e s   a t   u r b a n   s c a l e   t h a t   r e s u l t   o n   e m i s s i o n s .   ( C )   2 0 1 7   T h e   A u t h o r s .   P u b l i s h e d   b y   E l s e v i e r   L t d . 	 [ L o p e z - A p a r i c i o ,   S u s a n a ;   V o g t ,   M a t t h i a s ;   S c h n e i d e r ,   P h i l i p p ]   N I L U   N o r w e g i a n   I n s t   A i r   R e s ,   I n s t   V e i e n   1 8 ,   N - 2 0 2 7   K j e l l e r ,   N o r w a y ;   [ K a h i l a - T a n i ,   M a a r i t ]   A a l t o   U n i v ,   D e p t   R e a l   E s t a t e   P l a n n i n g   &   G e o i n f o r m a t ,   E s p o o ,   F i n l a n d ;   [ B r o b e r g ,   A n n a ]   M a p i t a   L t d ,   H e l s i n k i ,   F i n l a n d 	 L o p e z - A p a r i c i o ,   S   ( r e p r i n t   a u t h o r ) ,   N I L U   N o r w e g i a n   I n s t   A i r   R e s ,   I n s t   V e i e n   1 8 ,   N - 2 0 2 7   K j e l l e r ,   N o r w a y . 	 s l a @ n i l u . n o 	 	 	 R e s e a r c h   C o u n c i l   o f   N o r w a y   t h r o u g h   t h e   f i n a n c i n g   o f   t h e   i R e s p o n s e   p r o j e c t   [ 2 4 7 8 8 4 / 0 7 0 ] 	 T h i s   s t u d y   w a s   m a d e   p o s s i b l e   t h a n k s   t o   t h e   f i n a n c i a l   s u p p o r t   o f   t h e   R e s e a r c h   C o u n c i l   o f   N o r w a y   t h r o u g h   t h e   f i n a n c i n g   o f   t h e   i R e s p o n s e   p r o j e c t   ( 2 4 7 8 8 4 / 0 7 0 ) .   S p e c i a l   t h a n k s   a r e   d u e   t o   t h e   m e m b e r s   o f   t h e   i R e s p o n s e   p r o j e c t   f o r   t h e i r   s u p p o r t   a n d   h e l p f u l   d i s c u s s i o n s .   W e   w o u l d   l i k e   t o   t h a n k   a l l   c i t i z e n s   p a r t i c i p a t i n g   i n   t h e   P P G I S   s u r v e y . 	 B e l i s   C A ,   2 0 1 1 ,   A T M O S   E N V I R O N ,   V 4 5 ,   P 7 2 6 6 ,   D O I   1 0 . 1 0 1 6 / j . a t m o s e n v . 2 0 1 1 . 0 8 . 0 6 1 ;   B e s s a g n e t   B ,   2 0 1 6 ,   A T M O S   C H E M   P H Y S ,   V 1 6 ,   P 1 2 6 6 7 ,   D O I   1 0 . 5 1 9 4 / a c p - 1 6 - 1 2 6 6 7 - 2 0 1 6 ;   B o n d   T C ,   2 0 1 3 ,   J   G E O P H Y S   R E S - A T M O S ,   V 1 1 8 ,   P 5 3 8 0 ,   D O I   1 0 . 1 0 0 2 / j g r d . 5 0 1 7 1 ;   B r o w n   G ,   2 0 1 4 ,   A P P L   G E O G R ,   V 4 6 ,   P 1 2 2 ,   D O I   1 0 . 1 0 1 6 / j . a p g e o g . 2 0 1 3 . 1 1 . 0 0 4 ;   C a s t e l l   N u r i a ,   2 0 1 5 ,   U r b a n   C l i m a t e ,   V 1 4 ,   P 3 7 0 ,   D O I   1 0 . 1 0 1 6 / j . u c l i m . 2 0 1 4 . 0 8 . 0 0 2 ;   C h a f e   Z . ,   2 0 1 5 ,   R E S I D E N T I A L   H E A T I N G ;   D e n b y   B . ,   2 0 0 9 ,   S O U R C E   R E C E P T O R   I N V E ;   G a n   W Q ,   2 0 1 3 ,   A M   J   R E S P   C R I T   C A R E ,   V 1 8 7 ,   P 7 2 1 ,   D O I   1 0 . 1 1 6 4 / r c c m . 2 0 1 2 1 1 - 2 0 0 4 O C ;   H o i s k a r   B . A . K . ,   2 0 1 4 ,   4 9 2 0 1 4   N I L U ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   J a n s s e n   N . A . ,   2 0 1 2 ,   H L T H   E F F E C T S   B L A C K   C ,   P 4 0 ;   K a h i l a - T a n i   M . ,   2 0 1 6 ,   R E S H A P I N G   P L A N N I N G   P ;   K a r r   C J ,   2 0 0 9 ,   A M   J   R E S P   C R I T   C A R E ,   V 1 8 0 ,   P 9 9 5 ,   D O I   1 0 . 1 1 6 4 / r c c m . 2 0 0 9 0 1 - 0 1 1 7 O C ;   K a r v o s e n o j a   N ,   2 0 0 8 ,   B O R E A L   E N V I R O N   R E S ,   V 1 3 ,   P 4 6 5 ;   K i p p i n g   A ,   2 0 1 5 ,   E N E R G Y ,   V 9 3 ,   P 6 5 5 ,   D O I   1 0 . 1 0 1 6 / j . e n e r g y . 2 0 1 5 . 0 9 . 0 1 3 ;   K u e n e n   J J P ,   2 0 1 4 ,   A T M O S   C H E M   P H Y S ,   V 1 4 ,   P 1 0 9 6 3 ,   D O I   1 0 . 5 1 9 4 / a c p - 1 4 - 1 0 9 6 3 - 2 0 1 4 ;   K y t t a   M ,   2 0 1 1 ,   U R B A N   D E S   I N T ,   V 1 6 ,   P 1 9 ,   D O I   1 0 . 1 0 5 7 / u d i . 2 0 1 0 . 1 9 ;   L e v a n d e r   T . ,   2 0 1 4 ,   T E M A L L O R D ;   N o r w e g i a n   E n v i r o n m e n t   A g e n c y ,   2 0 1 4 ,   I N F   I N V   R E P   I I R   2 0 1 4 ;   P e w   R e s e a r c h   C e n t e r ,   2 0 1 4 ,   O L D E R   A D U L T S   T E C H N O L ;   R a y m o n d   C M ,   2 0 1 6 ,   L A N D S C A P E   U R B A N   P L A N ,   V 1 5 3 ,   P 1 9 8 ,   D O I   1 0 . 1 0 1 6 / j . l a n d u r b p l a n . 2 0 1 6 . 0 5 . 0 0 5 ;   S e e   L ,   2 0 1 6 ,   I S P R S   I N T   J   G E O - I N F ,   V 5 ,   D O I   1 0 . 3 3 9 0 / i j g i 5 0 5 0 0 5 5 ;   S i l i b e l l o   C ,   2 0 1 2 ,   A T M O S   P O L L U T   R E S ,   V 3 ,   P 3 9 9 ,   D O I   1 0 . 5 0 9 4 / A P R . 2 0 1 2 . 0 4 6 ;   S I N T E F ,   2 0 1 3 ,   F 7 3 0 6   S I N T E F   T R ;   S l o r d a l   L . ,   2 0 0 8 ,   I N F O R M   T E C H N O L O G I E S ,   V 1 ,   P 4 0 ;   S m i t h   K R ,   2 0 1 1 ,   L A N C E T ,   V 3 7 8 ,   P 1 7 1 7 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 0 - 6 7 3 6 ( 1 1 ) 6 0 9 2 1 - 5 ;   T h u n i s   P ,   2 0 1 6 ,   E N V I R O N   S C I   P O L I C Y ,   V 6 5 ,   P 1 3 ,   D O I   1 0 . 1 0 1 6 / j . e n v s c i . 2 0 1 6 . 0 3 . 0 1 3 ;   D e n i e r   v a n   d e r   G o n   H . A . C . ,   2 0 1 0 ,   T N O 0 3 4 U T 2 0 1 0 0 1 8 9 5 ;   V i a n a   M . ,   2 0 1 6 ,   2 0 1 5 1   E T C A C M ;   W i l k i n s o n   M E ,   2 0 1 5 ,   J   E N V I R O N   M A N A G E ,   V 1 6 1 ,   P 3 8 ,   D O I   1 0 . 1 0 1 6 / j . j e n v m a n . 2 0 1 5 . 0 6 . 0 0 9 	 3 0 	 0 	 0 	 2 2 	 2 2 	 A C A D E M I C   P R E S S   L T D -   E L S E V I E R   S C I E N C E   L T D 	 L O N D O N 	 2 4 - 2 8   O V A L   R D ,   L O N D O N   N W 1   7 D X ,   E N G L A N D 	 0 3 0 1 - 4 7 9 7 	 1 0 9 5 - 8 6 3 0 	 	 J   E N V I R O N   M A N A G E 	 J .   E n v i r o n .   M a n a g e . 	 A P R   1 5 	 2 0 1 7 	 1 9 1 	 	 	 	 	 	 1 7 9 	 1 8 8 	 	 1 0 . 1 0 1 6 / j . j e n v m a n . 2 0 1 7 . 0 1 . 0 1 8 	 	 1 0 	 E n v i r o n m e n t a l   S c i e n c e s 	 E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y 	 E O 8 R J 	 W O S : 0 0 0 3 9 6 9 5 7 3 0 0 0 1 9 	 2 8 0 9 2 7 5 4 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 V i a n a ,   P ;   P i n t o ,   J P 	 	 	 	 V i a n a ,   P a u l a ;   P i n t o ,   J o s e   P e d r o 	 	 	 A   c o l l a b o r a t i v e   a p p r o a c h   f o r   s e m a n t i c   t i m e - b a s e d   v i d e o   a n n o t a t i o n   u s i n g   g a m i f i c a t i o n 	 H U M A N - C E N T R I C   C O M P U T I N G   A N D   I N F O R M A T I O N   S C I E N C E S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 T a g g i n g ;   V i d e o   a n n o t a t i o n ;   G a m i f i c a t i o n ;   C r o w d s o u r c e ;   M e t a d a t a 	 S Y S T E M S 	 E f f i c i e n t   a c c e s s   t o   l a r g e   s c a l e   v i d e o   a s s e t s ,   m a y   i t   b e   o u r   l i f e   m e m o r i e s   i n   o u r   h a r d   d r i v e   o r   a   b r o a d c a s t e r   a r c h i v e   w h i c h   t h e   c o m p a n y   i s   e a g e r   t o   s e l l ,   r e q u i r e s   c o n t e n t   t o   b e   c o n v e n i e n t l y   a n n o t a t e d .   M a n u a l l y   a n n o t a t i n g   v i d e o   c o n t e n t   i s ,   h o w e v e r ,   a n   i n t e l l e c t u a l l y   e x p e n s i v e   a n d   t i m e - c o n s u m i n g   p r o c e s s .   I n   t h i s   p a p e r   w e   a r g u e   t h a t   c r o w d s o u r c i n g ,   a n   a p p r o a c h   t h a t   r e l i e s   o n   a   r e m o t e   t a s k   f o r c e   t o   p e r f o r m   a c t i v i t i e s   t h a t   a r e   c o s t l y   o r   t i m e - c o n s u m i n g   u s i n g   t r a d i t i o n a l   m e t h o d s ,   i s   a   s u i t a b l e   a l t e r n a t i v e   a n d   w e   d e s c r i b e   a   s o l u t i o n   b a s e d   o n   g a m i f i c a t i o n   m e c h a n i s m s   f o r   c o l l a b o r a t i v e l y   c o l l e c t i n g   t i m e d   m e t a d a t a .   T a g s   i n t r o d u c e d   b y   r e g i s t e r e d   p l a y e r s   a r e   v a l i d a t e d   b a s e d   o n   a   c o l l a b o r a t i v e   s c o r i n g   m e c h a n i s m   t h a t   e x c l u d e s   e r r a t i c   a n n o t a t i o n s .   V o t i n g   m e c h a n i s m s ,   e n a b l i n g   u s e r s   t o   a p p r o v e   o r   r e f u s e   e x i s t i n g   t a g s ,   p r o v i d e   a n   e x t r a   g u a r a n t e e   o n   t h e   q u a l i t y   o f   t h e   a n n o t a t i o n s .   T h e   s e n s e   o f   c o m m u n i t y   i s   a l s o   c r e a t e d   a s   u s e r s   m a y   w a t c h   t h e   c r o w d ' s   f a v o u r i t e   m o m e n t s   o f   t h e   v i d e o   p r o v i d e d   b y   a   s u m m a r i z a t i o n   f u n c t i o n a l i t y .   T h e   s y s t e m   w a s   t e s t e d   w i t h   a   p o o l   o f   v o l u n t e e r s   i n   o r d e r   t o   e v a l u a t e   t h e   q u a l i t y   o f   t h e   c o n t r i b u t i o n s .   T h e   r e s u l t s   s u g g e s t   t h a t   c r o w d s o u r c e d   a n n o t a t i o n   c a n   d e s c r i b e   o b j e c t s ,   p e r s o n s ,   p l a c e s ,   e t c .   c o r r e c t l y ,   a s   w e l l   a s   b e   v e r y   a c c u r a t e   i n   t i m e . 	 [ V i a n a ,   P a u l a ;   P i n t o ,   J o s e   P e d r o ]   I N E S C   T E C ,   C a m p u s   F E U P , R u a   D r   R o b e r t o   F r i a s   3 7 8 ,   P - 4 2 0 0 4 6 5   O p o r t o ,   P o r t u g a l ;   [ V i a n a ,   P a u l a ]   P o l y t e c h   P o r t o ,   I S E P   P   P o r t o   S c h   E n g n ,   R u a   D r   A n t o n i o   B e r n a r d i n o   d e   A l m e i d a   4 3 1 ,   P - 4 2 0 0 0 7 2   O p o r t o ,   P o r t u g a l 	 V i a n a ,   P   ( r e p r i n t   a u t h o r ) ,   I N E S C   T E C ,   C a m p u s   F E U P , R u a   D r   R o b e r t o   F r i a s   3 7 8 ,   P - 4 2 0 0 4 6 5   O p o r t o ,   P o r t u g a l . 	 p a u l a . v i a n a @ i n e s c t e c . p t 	 	 	 N o r t h   P o r t u g a l   R e g i o n a l   O p e r a t i o n a l   P r o g r a m m e   ( N O R T E ) ,   u n d e r   t h e   P O R T U G A L   P a r t n e r s h i p   A g r e e m e n t ;   E u r o p e a n   R e g i o n a l   D e v e l o p m e n t   F u n d   ( E R D F )   [ N O R T E - 0 1 -   0 1 4 5 - F E D E R - 0 0 0 0 2 0 ] 	 N o r t h   P o r t u g a l   R e g i o n a l   O p e r a t i o n a l   P r o g r a m m e   ( N O R T E   2 0 2 0 ) ,   u n d e r   t h e   P O R T U G A L   2 0 2 0   P a r t n e r s h i p   A g r e e m e n t ,   a n d   t h r o u g h   t h e   E u r o p e a n   R e g i o n a l   D e v e l o p m e n t   F u n d   ( E R D F )   w i t h i n   F o u r E y e s ,   a   R e s e a r c h   L i n e   w i t h i n   p r o j e c t   " T E C 4 G r o w t h   -   P e r v a s i v e   I n t e l l i g e n c e ,   E n h a n c e r s   a n d   P r o o f s   o f   C o n c e p t   w i t h   I n d u s t r i a l   I m p a c t / N O R T E - 0 1 -   0 1 4 5 - F E D E R - 0 0 0 0 2 0 " . 	 A l t a d m r i   A ,   2 0 1 4 ,   M U L T I M E D   T O O L S   A P P L ,   V 7 2 ,   P 1 1 6 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 3 - 1 3 6 3 - 6 ;   B a i d y a   E ,   2 0 1 4 ,   I N T   C O N F   C O N T E M P ,   P 3 7 ,   D O I   1 0 . 1 1 0 9 / I C 3 . 2 0 1 4 . 6 8 9 7 1 4 4 ;   B a l l e s t e r o s   L u i s   G u i l l e r m o   M a r t i n e z ,   2 0 1 0 ,   P r o c e e d i n g s   o f   t h e   2 0 1 0   I E E E   A N D E S C O N ,   D O I   1 0 . 1 1 0 9 / A N D E S C O N . 2 0 1 0 . 5 6 3 2 3 2 0 ;   B e r t i n i   M ,   2 0 0 5 ,   P   1 3   A N N   A C M   I N T   C   M ,   P 3 9 5 ,   D O I   1 0 . 1 1 4 5 / 1 1 0 1 1 4 9 . 1 1 0 1 2 3 5 ;   B r o o k l y n   M u s e u m - T a g !   Y o u ' r e   i t ! ,   2 0 1 5 ,   T A G   Y O U R   I T   T A G   Y O U R ;   C h u   W - T ,   2 0 1 1 ,   P   I N T   A C M   W O R K S H   S O C ,   P 3 5 ;   C h u a   T - S ,   2 0 0 9 ,   N U S   W I D E   R E A L   W O R L D ;   D a v i s   S J ,   2 0 0 9 ,   I E E E   M U L T I M E D I A ,   V 1 6 ,   P 5 2 ,   D O I   1 0 . 1 1 0 9 / M M U L . 2 0 0 9 . 9 5 ;   E g g i n k   J ,   2 0 1 3 ,   2 0 1 3   1 4   I   N T   W O R K S H ,   P 1 ;   F e r r a c a n i   A ,   2 0 1 5 ,   P   2 3   A C M   I N T   C   M U L T ,   P 7 5 7 ;   G o l d e r   S A ,   2 0 0 6 ,   J   I N F   S C I ,   V 3 2 ,   P 1 9 8 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 0 6 0 6 2 3 3 7 ;   H i l d e b r a n d   M ,   2 0 1 3 ,   P   2 1   A C M   I N T   C   M U L T ,   P 8 2 3 ;   L a r s o n   M ,   2 0 1 1 ,   P   1   A C M   I N T   C   M U L T   R ;   L i   G ,   2 0 1 1 ,   P   1   A C M   I N T   C   M U L T   R ;   L i   Q F ,   2 0 0 8 ,   I E E E   M U L T I M E D I A ,   V 1 5 ,   P 1 4 ,   D O I   1 0 . 1 1 0 9 / M M U L . 2 0 0 8 . 5 4 ;   M a r l o w   C ,   2 0 0 6 ,   A C M   7   C   H Y P   H Y P ,   P 3 1 ;   M e t a d a t a   G a m e s ,   2 0 1 5 ,   M E T   G A M   P L A Y   T A G ;   M i e t t i n e n   V ,   2 0 1 1 ,   P   4   A C M   W O R K S H   O N L   B ,   P 5 5 ;   M i s h n e   G ,   2 0 0 6 ,   P   1 5   I N T   C   W O R L D   W I D ,   P 9 5 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 3 5 7 7 7 . 1 1 3 5 9 6 1 ;   M o x l e y   E ,   2 0 0 8 ,   2 0 0 8   I E E E   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M U L T I M E D I A   A N D   E X P O ,   V O L S   1 - 4 ,   P 6 8 5 ,   D O I   1 0 . 1 1 0 9 / I C M E . 2 0 0 8 . 4 6 0 7 5 2 7 ;   N g a   D H ,   2 0 1 3 ,   P   2 1   A C M   I N T   C   M U L T ,   P 5 2 5 ;   O n t o G a m e s ,   2 0 1 5 ,   G A M   D E M   C O N T   C R E A T ;   P i n t o   J P ,   2 0 1 5 ,   P   1 2   E U R   C   V I S   M E D   P ;   P i n t o   J P ,   2 0 1 3 ,   P   2 1   A C M   I N T   C   M U L T ,   P 2 5 ;   R i e k   L D ,   2 0 1 1 ,   P   4   I N T   C   A F F   C O M P   I ,   P 2 7 7 ;   S i o r p a e s   K ,   2 0 0 8 ,   I E E E   I N T E L L   S Y S T ,   V 2 3 ,   P 5 0 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 8 . 4 5 ;   S n o e k   C G M ,   2 0 1 0 ,   P   I N T   C   M U L T   M M   1 0 ,   P 1 5 3 5 ,   D O I   1 0 . 1 1 4 5 / 1 8 7 3 9 5 1 . 1 8 7 4 2 7 8 ;   S o a r e s   M ,   2 0 1 5 ,   M U L T I M E D   T O O L S   A P P L ,   V 7 4 ,   P 7 0 1 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 4 - 1 9 5 0 - 1 ;   S o o d   S ,   2 0 0 7 ,   T A G A S S I S T   A U T O M A T I C ;   T i l t f a c t o r ,   2 0 1 5 ,   T I L T F   G A M ;   T r a n   H - T ,   2 0 1 3 ,   E X T R A C T I O N   G E S T I O N   C ,   P 4 6 1 ;   V i d d l e r ,   2 0 1 5 ,   V I D D L   I N T   V I D   T R A I N ;   v i d e o T a g ,   2 0 1 5 ,   V I D   V I D   T A G G   G A M   S O C ;   W u   B ,   2 0 1 4 ,   P   2 0   A C M   S I G K K D   I N T ,   P 7 2 1 ;   X u   P ,   2 0 1 4 ,   P   2 0 1 4   I N T   A C M   W O R K S ,   P 5 7 ;   Y a n g   H J ,   2 0 1 4 ,   I E E E   T   L E A R N   T E C H N O L ,   V 7 ,   P 1 4 2 ,   D O I   1 0 . 1 1 0 9 / T L T . 2 0 1 4 . 2 3 0 7 3 0 5 ;   Y a n g   H J ,   2 0 1 4 ,   M U L T I M E D   T O O L S   A P P L ,   V 6 9 ,   P 2 1 7 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 2 - 1 2 5 0 - 6 ;   Y a n g   Q ,   2 0 0 8 ,   P   I N T   C   I M   V I D   R E T R ,   P 5 9 1 ,   D O I   1 0 . 1 1 4 5 / 1 3 8 6 3 5 2 . 1 3 8 6 4 3 8 ;   Y a n g   Y ,   2 0 1 1 ,   P   I N T   C   M U L T ,   P 1 1 3 7 ;   Y a o   T ,   2 0 1 3 ,   P   A C M   M U L T ,   P 9 7 7 	 4 0 	 0 	 0 	 1 	 1 	 S P R I N G E R   H E I D E L B E R G 	 H E I D E L B E R G 	 T I E R G A R T E N S T R A S S E   1 7 ,   D - 6 9 1 2 1   H E I D E L B E R G ,   G E R M A N Y 	 2 1 9 2 - 1 9 6 2 	 	 	 H U M - C E N T R I C   C O M P U T   I 	 H u m a n - c e n t r i c   C o m p u t .   I n f .   S c i . 	 A P R   1 2 	 2 0 1 7 	 7 	 	 	 	 	 	 	 	 1 3 	 1 0 . 1 1 8 6 / s 1 3 6 7 3 - 0 1 7 - 0 0 9 4 - 5 	 	 2 1 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s 	 C o m p u t e r   S c i e n c e 	 E W 0 U L 	 W O S : 0 0 0 4 0 2 2 0 6 6 0 0 0 0 1 	 	 g o l d 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 C i a v a r r i n i ,   G ;   L u c o n i ,   V ;   V e c c h i o ,   A 	 	 	 	 C i a v a r r i n i ,   G l o r i a ;   L u c o n i ,   V a l e r i o ;   V e c c h i o ,   A l e s s i o 	 	 	 S m a r t p h o n e - b a s e d   g e o l o c a t i o n   o f   I n t e r n e t   h o s t s 	 C O M P U T E R   N E T W O R K S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 I P   g e o l o c a t i o n ;   S m a r t p h o n e ;   C r o w d s o u r c i n g ;   N e t w o r k   m e a s u r e m e n t 	 	 T h e   l o c a t i o n   o f   I n t e r n e t   h o s t s   i s   f r e q u e n t l y   u s e d   i n   d i s t r i b u t e d   a p p l i c a t i o n s   a n d   n e t w o r k i n g   s e r v i c e s .   E x a m p l e s   i n c l u d e   c u s t o m i z e d   a d v e r t i s i n g ,   d i s t r i b u t i o n   o f   c o n t e n t ,   a n d   p o s i t i o n - b a s e d   s e c u r i t y .   U n f o r t u n a t e l y   t h e   r e l a t i o n s h i p   b e t w e e n   a n   I P   a d d r e s s   a n d   i t s   p o s i t i o n   i s   i n   g e n e r a l   v e r y   w e a k .   T h i s   m o t i v a t e s   t h e   s t u d y   o f   m e a s u r e m e n t - b a s e d   I P   g e o l o c a t i o n   t e c h n i q u e s ,   w h e r e   t h e   p o s i t i o n   o f   t h e   t a r g e t   h o s t   i s   a c t i v e l y   e s t i m a t e d   u s i n g   t h e   d e l a y s   b e t w e e n   a   n u m b e r   o f   l a n d m a r k s   a n d   t h e   t a r g e t   i t s e l f .   T h i s   p a p e r   d i s c u s s e s   a n   I P   g e o l o c a t i o n   m e t h o d   b a s e d   o n   c r o w d s o u r c i n g   w h e r e   t h e   s m a r t p h o n e s   o f   u s e r s   o p e r a t e   a s   l a n d m a r k s .   S i n c e   s m a r t p h o n e s   r e l y   o n   w i r e l e s s   c o n n e c t i o n s ,   a   s p e c i f i c   d e l a y - d i s t a n c e   m o d e l   w a s   d e r i v e d   t o   c a p t u r e   t h e   c h a r a c t e r i s t i c s   o f   t h i s   n o v e l   o p e r a t i n g   s c e n a r i o .   ( C )   2 0 1 7   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ C i a v a r r i n i ,   G l o r i a ;   V e c c h i o ,   A l e s s i o ]   U n i v   P i s a ,   D i p   I n g n   I n f o r m a z ,   L a r g o   L   L a z z a r i n o   1 ,   I - 5 6 1 2 2   P i s a ,   I t a l y ;   [ L u c o n i ,   V a l e r i o ]   C N R ,   I s t   I n f o r m a t   &   T e l e m a t ,   V i a   G   M o r u z z i   1 ,   I - 5 6 1 2 4   P i s a ,   I t a l y 	 V e c c h i o ,   A   ( r e p r i n t   a u t h o r ) ,   U n i v   P i s a ,   D i p   I n g n   I n f o r m a z ,   L a r g o   L   L a z z a r i n o   1 ,   I - 5 6 1 2 2   P i s a ,   I t a l y . 	 g l o r i a . c i a v a r r i n i @ f o r . u n i p i . i t ;   v a l e r i o . l u c o n i @ i i t . c n r . i t ;   a l e s s i o . v e c c h i o @ u n i p i . i t 	 	 	 	 	 C h o f f n e s   D R ,   2 0 1 0 ,   A C M   S I G C O M M   C O M P   C O M ,   V 4 0 ,   P 3 8 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 5 1 2 7 5 . 1 8 5 1 2 2 8 ;   C h u n   B ,   2 0 0 3 ,   A C M   S I G C O M M   C O M P   C O M ,   V 3 3 ,   P 3 ,   D O I   1 0 . 1 1 4 5 / 9 5 6 9 9 3 . 9 5 6 9 9 5 ;   D a i g l e   L . ,   2 0 0 4 ,   3 9 1 2   R F C ,   D O I   1 0 . 1 7 4 8 7 / R F C 3 9 1 2 ;   D a v i s   C . ,   1 9 9 6 ,   1 8 7 6   R F C   N E T W   W O R K   G ;   D o n g   Z Q ,   2 0 1 2 ,   C O M P U T   N E T W ,   V 5 6 ,   P 8 5 ,   D O I   1 0 . 1 0 1 6 / j . c o m n e t . 2 0 1 1 . 0 8 . 0 1 1 ;   D u d a   R . ,   2 0 0 0 ,   P A T T E R N   C L A S S I F I C A T I ;   F a g g i a n i   A . ,   2 0 1 2 ,   P   1 0   I N T   S   M O D   O P T   M ,   P 3 1 8 ;   F a g g i a n i   A . ,   2 0 1 3 ,   P   1   I N T   W O R K S H   S E N S ,   D O I   [ 1 0 . 1 1 4 5 / 2 5 3 6 7 1 4 . 2 5 3 6 7 1 7 ,   D O I   1 0 . 1 1 4 5 / 2 5 3 6 7 1 4 . 2 5 3 6 7 1 7 ] ;   F a g g i a n i   A ,   2 0 1 4 ,   I E E E   C O M M U N   M A G ,   V 5 2 ,   P 1 0 6 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 4 . 6 7 1 0 0 7 1 ;   F r e e d m a n   M . J . ,   2 0 0 5 ,   P   5   A C M   S I G C O M M   C   I N ,   P 1 3 ;   G o n d r e e   M . ,   2 0 1 3 ,   P   3   A C M   C   D A T   A P P L   S ,   P 2 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 4 3 5 3 4 9 . 2 4 3 5 3 5 3 ;   G r e g o r i   E ,   2 0 1 3 ,   I N T   C O N F   P E R V A S   C O M P ,   P 2 4 8 ;   G u e y e   B ,   2 0 0 6 ,   I E E E   A C M   T   N E T W O R K ,   V 1 4 ,   P 1 2 1 9 ,   D O I   1 0 . 1 1 0 9 / T N E T . 2 0 0 6 . 8 8 6 3 3 2 ;   H a w k i n s o n   J . ,   1 9 9 6 ,   1 9 3 0   R F C ;   H O R T O N   J J ,   2 0 1 0 ,   P   A C M   1 1   A C M   C   E L   C O ,   V 1 1 ,   P 2 0 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 0 7 3 4 2 . 1 8 0 7 3 7 6 ;   H o w e   J ,   2 0 0 8 ,   C R O W D S O U R C I N G   P O W E R ;   K a t z - B a s s e t t   E . ,   2 0 0 6 ,   P   6   A C M   S I G C O M M   C   I N ,   P 7 1 ,   D O I   1 0 . 1 1 4 5 / 1 1 7 7 0 8 0 . 1 1 7 7 0 9 0 ;   K o m o s n y   D ,   2 0 1 5 ,   2 0 1 5   3 8 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   T E L E C O M M U N I C A T I O N S   A N D   S I G N A L   P R O C E S S I N G   ( T S P ) ,   P 6 4 2 ,   D O I   1 0 . 1 1 0 9 / T S P . 2 0 1 5 . 7 2 9 6 3 4 2 ;   L a k i   S ,   2 0 1 0 ,   C O M P U T   N E T W ,   V 5 4 ,   P 1 4 9 0 ,   D O I   1 0 . 1 0 1 6 / j . c o m n e t . 2 0 0 9 . 1 2 . 0 0 4 ;   L a k i   S . ,   2 0 1 1 ,   P   I E E E   I N F O C O M ,   P 3 1 7 3 ,   D O I   1 0 . 1 1 0 9 / I N F C O M . 2 0 1 1 . 5 9 3 5 1 6 5 ;   L i   W . ,   2 0 1 5 ,   2 0 1 5   I E E E   C   C O M P   C O M ,   P 3 7 0 ,   D O I   [ 1 0 . 1 1 0 9 / I N F O C O M . 2 0 1 5 . 7 2 1 8 4 0 2 ,   D O I   1 0 . 1 1 0 9 / I N F O C O M . 2 0 1 5 . 7 2 1 8 4 0 2 ] ;   M a o   A . ,   2 0 1 3 ,   1   A A A I   C   H U M   C O M P   C R ;   M a t t h e w s   W ,   2 0 0 0 ,   I E E E   C O M M U N   M A G ,   V 3 8 ,   P 1 3 0 ,   D O I   1 0 . 1 1 0 9 / 3 5 . 8 4 1 8 3 7 ;   P a d m a n a b h a n   V N ,   2 0 0 1 ,   A C M   S I G C O M M   C O M P   C O M ,   V 3 1 ,   P 1 7 3 ,   D O I   1 0 . 1 1 4 5 / 9 6 4 7 2 3 . 3 8 3 0 7 3 ;   P o e s e   I ,   2 0 1 1 ,   A C M   S I G C O M M   C O M P   C O M ,   V 4 1 ,   P 5 3 ,   D O I   1 0 . 1 1 4 5 / 1 9 7 1 1 6 2 . 1 9 7 1 1 7 1 ;   W o n g   B . ,   2 0 0 7 ,   2 0 0 7   P   N S D I ,   V 7 ,   P 2 3 ;   Y a n g   D J ,   2 0 1 2 ,   M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G ,   P 1 7 3 ;   Y o u n   I . ,   2 0 0 9 ,   P   1 8   I N T   C   C O M P   C O M M ,   P 1 ,   D O I   1 0 . 1 1 0 9 / I C C C N . 2 0 0 9 . 5 2 3 5 3 7 3 ;   Z h a n g   M ,   2 0 0 6 ,   U S E N I X   A s s o c i a t i o n   P r o c e e d i n g s   o f   t h e   2 0 0 6   U S E N I X   A n n u a l   T e c h n i c a l   C o n f e r e n c e ,   P 3 6 9 ;   Z i v i a n i   A ,   2 0 0 5 ,   C O M P U T   N E T W ,   V 4 7 ,   P 5 0 3 ,   D O I   1 0 . 1 0 1 6 / j . c o m n e t . 2 0 0 4 . 0 8 . 0 1 3 ;   [ A n o n y m o u s ] ,   2 0 1 6 ,   G E O L P 	 3 1 	 0 	 0 	 4 	 4 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 1 3 8 9 - 1 2 8 6 	 1 8 7 2 - 7 0 6 9 	 	 C O M P U T   N E T W 	 C o m p u t .   N e t w . 	 A P R   7 	 2 0 1 7 	 1 1 6 	 	 	 	 	 	 2 2 	 3 2 	 	 1 0 . 1 0 1 6 / j . c o m n e t . 2 0 1 7 . 0 2 . 0 0 6 	 	 1 1 	 C o m p u t e r   S c i e n c e ,   H a r d w a r e   &   A r c h i t e c t u r e ;   C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 E P 9 L E 	 W O S : 0 0 0 3 9 7 6 9 4 3 0 0 0 0 3 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 S a l k ,   C F ;   S t u r n ,   T ;   S e e ,   L ;   F r i t z ,   S 	 	 	 	 S a l k ,   C a r l   F . ;   S t u r n ,   T o b i a s ;   S e e ,   L i n d a ;   F r i t z ,   S t e f f e n 	 	 	 L i m i t a t i o n s   o f   M a j o r i t y   A g r e e m e n t   i n   C r o w d s o u r c e d   I m a g e   I n t e r p r e t a t i o n 	 T R A N S A C T I O N S   I N   G I S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 C I T I Z E N   S C I E N C E ;   Q U A L I T Y 	 C r o w d s o u r c i n g   c a n   e f f i c i e n t l y   c o m p l e t e   t a s k s   t h a t   a r e   d i f f i c u l t   t o   a u t o m a t e ,   b u t   t h e   q u a l i t y   o f   c r o w d - s o u r c e d   d a t a   i s   t r i c k y   t o   e v a l u a t e .   A l g o r i t h m s   t o   g r a d e   v o l u n t e e r   w o r k   o f t e n   a s s u m e   t h a t   a l l   t a s k s   a r e   s i m i l a r l y   d i f f i c u l t ,   a n   a s s u m p t i o n   t h a t   i s   f r e q u e n t l y   f a l s e .   W e   u s e   a   c r o p l a n d   i d e n t i f i c a t i o n   g a m e   w i t h   o v e r   2 , 6 0 0   p a r t i c i p a n t s   a n d   1 6 5 , 0 0 0   u n i q u e   t a s k s   t o   i n v e s t i g a t e   h o w   b e s t   t o   e v a l u a t e   t h e   d i f f i c u l t y   o f   c r o w d - s o u r c e d   t a s k s   a n d   t o   w h a t   e x t e n t   t h i s   i s   p o s s i b l e   b a s e d   o n   v o l u n t e e r   r e s p o n s e s   a l o n e .   I n t e r - v o l u n t e e r   a g r e e m e n t   e x c e e d e d   9 0 %   f o r   a b o u t   8 0 %   o f   t h e   i m a g e s   a n d   w a s   n e g a t i v e l y   c o r r e l a t e d   w i t h   v o l u n t e e r - e x p r e s s e d   u n c e r t a i n t y   a b o u t   i m a g e   c l a s s i f i c a t i o n .   A   t o t a l   o f   3 4 3   r e l a t i v e l y   d i f f i c u l t   i m a g e s   w e r e   i n d e p e n d e n t l y   c l a s s i f i e d   a s   c r o p l a n d ,   n o n - c r o p l a n d   o r   i m p o s s i b l e   b y   t w o   e x p e r t s .   T h e   e x p e r t s   d i s a g r e e d   w e a k l y   ( o n e   s a i d   i m p o s s i b l e   w h i l e   t h e   o t h e r   r a t e d   a s   c r o p l a n d   o r   n o n - c r o p l a n d )   o n   2 7 %   o f   t h e   i m a g e s ,   b u t   d i s a g r e e d   s t r o n g l y   ( c r o p l a n d   v s .   n o n - c r o p l a n d )   o n   o n l y   7 % .   I n t e r - v o l u n t e e r   d i s a g r e e m e n t   i n c r e a s e d   s i g n i f i c a n t l y   w i t h   i n t e r - e x p e r t   d i s a g r e e m e n t .   W h i l e   v o l u n t e e r s   a g r e e d   w i t h   e x p e r t   c l a s s i f i c a t i o n s   f o r   m o s t   i m a g e s ,   o v e r   2 0 %   w o u l d   h a v e   b e e n   m i s - c a t e g o r i z e d   i f   o n l y   t h e   v o l u n t e e r s '   m a j o r i t y   v o t e   w a s   u s e d .   W e   e n d   w i t h   a   s e r i e s   o f   r e c o m m e n d a t i o n s   f o r   m a n a g i n g   t h e   c h a l l e n g e s   p o s e d   b y   h e t e r o g e n e o u s   t a s k s   i n   c r o w d s o u r c i n g   c a m p a i g n s . 	 [ S a l k ,   C a r l   F . ;   S t u r n ,   T o b i a s ;   S e e ,   L i n d a ;   F r i t z ,   S t e f f e n ]   I n t   I n s t   A p p l   S y s t   A n a l ,   L a x e n b u r g ,   A u s t r i a ;   [ S a l k ,   C a r l   F . ]   S w e d i s h   U n i v   A g r   S c i ,   A l n a r p ,   S w e d e n 	 S a l k ,   C F   ( r e p r i n t   a u t h o r ) ,   I n t   I n s t   A p p l   S y s t   A n a l ,   E c o s y s t   S e r v   &   M a n a g e m e n t   P r o g r a m ,   S c h l o s s p l   1 ,   A - 2 3 6 1   L a x e n b u r g ,   A u s t r i a . 	 s a l k @ i i a s a . a c . a t 	 	 	 I I A S A   p o s t d o c t o r a l   f e l l o w s h i p ;   E R C   C r o w d L a n d   p r o j e c t   [ 6 1 7 7 5 4 ] ;   E R C   S I G M A   p r o j e c t   [ 6 0 3 7 1 9 ] 	 T h i s   r e s e a r c h   w a s   s u p p o r t e d   b y   a   I I A S A   p o s t d o c t o r a l   f e l l o w s h i p   t o   C a r l   S a l k   a n d   t h e   E R C   C r o w d L a n d   ( 6 1 7 7 5 4 )   a n d   S I G M A   ( 6 0 3 7 1 9 )   p r o j e c t s . 	 A l l a h b a k h s h   M ,   2 0 1 3 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 7 ,   P 7 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 3 . 2 0 ;   B a c h r a c h   Y ,   2 0 1 2 ,   P   2 9   I N T   C   M A C H   L E A R ;   B a t t e r s b y   S E ,   2 0 1 2 ,   P H O T O G R A M M   E N G   R E M   S ,   V 7 8 ,   P 6 2 5 ;   B e r n s t e i n   M i c h a e l   S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B i a n c h e t t i   R   A ,   2 0 1 4 ,   T H E S I S ;   B o h a n n o n   J ,   2 0 0 9 ,   W I R E D   M A G A Z I N E ,   P 1 7 ;   B o n n e y   R ,   2 0 0 9 ,   B I O S C I E N C E ,   V 5 9 ,   P 9 7 7 ,   D O I   1 0 . 1 5 2 5 / b i o . 2 0 0 9 . 5 9 . 1 1 . 9 ;   B u h r m e s t e r   M ,   2 0 1 1 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 6 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 0 3 9 3 9 8 0 ;   D a w i d   A   P ,   1 9 7 9 ,   A P P L   S T A T ,   V 2 8 ,   P 2 0 ,   D O I   D O I   1 0 . 2 3 0 7 / 2 3 4 6 8 0 6 ;   F A O ,   2 0 1 3 ,   F A O   G L O S S ;   F r i t z   S ,   2 0 1 3 ,   E N V I R O N   S C I   T E C H N O L ,   V 4 7 ,   P 1 6 8 8 ,   D O I   1 0 . 1 0 2 1 / e s 3 0 3 1 4 1 h ;   G o o d c h i l d   M F ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - y ;   H a k l a y   M ,   2 0 1 3 ,   C R O W D S O U R C I N G   G E O G R A ,   P 1 0 5 ,   D O I   D O I   1 0 . 1 0 0 7 / 9 7 8 - 9 4 - 0 0 7 - 4 5 8 7 - 2 _ 7 ;   H o f f m a n   R   R ,   1 9 9 0 ,   G E O C A R T O   I N T ,   V 2 ,   P 3 ;   H o w e   J ,   2 0 0 6 ,   W I R E D ,   P 1 4 ;   H u n t e r   J ,   2 0 1 3 ,   C O N C U R R   C O M P - P R A C T   E ,   V 2 5 ,   P 4 5 4 ,   D O I   1 0 . 1 0 0 2 / c p e . 2 9 2 3 ;   I p e i r o t i s   P   G ,   2 0 1 0 ,   P   2   H U M   C O M P   W O R K S H ;   L i n t o t t   C J ,   2 0 0 8 ,   M O N   N O T   R   A S T R O N   S O C ,   V 3 8 9 ,   P 1 1 7 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 9 6 6 . 2 0 0 8 . 1 3 6 8 9 . x ;   L l o y d   R . ,   2 0 0 2 ,   C A R T O G R   G E O G R   I N F   S C ,   V 2 9 ,   P 3 ,   D O I   D O I   1 0 . 1 5 5 9 / 1 5 2 3 0 4 0 0 2 7 8 2 0 6 4 5 9 2 ;   M e k l e r   E   D ,   2 0 1 3 ,   P   1   I N T   C   G A M   D E S   R E ,   P 6 6 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 5 8 3 0 0 8 . 2 5 8 3 0 1 7 ;   O r e g   S ,   2 0 0 8 ,   C O M P U T   H U M   B E H A V ,   V 2 4 ,   P 2 0 5 5 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 0 7 . 0 9 . 0 0 7 ;   P o u r a b d o l l a h   A ,   2 0 1 3 ,   I S P R S   I N T   G E O - I N F ,   V 2 ,   P 7 0 4 ,   D O I   1 0 . 3 3 9 0 / i j g i 2 0 3 0 7 0 4 ;   R   C o r e   T e a m ,   2 0 1 4 ,   R   L A N G   E N V   S T A T   C O M P ;   R a d d i c k   M   J ,   2 0 1 3 ,   A S T R O N   E D   R E V ,   V 1 2 ,   D O I   D O I   1 0 . 3 8 4 7 / A E R 2 0 1 1 0 2 1 ;   S a l k   C   F ,   2 0 1 5 ,   I N T   J   D I G I T   I N   P R E S S ,   V 8 ;   S e e   L ,   2 0 1 4 ,   P   1 7   A G I L E   I N T   C   G E O ;   S e e   L ,   2 0 1 5 ,   I S P R S   J   P H O T O G R A M M ,   V 1 0 3 ,   P 4 8 ,   D O I   1 0 . 1 0 1 6 / j . i s p r s j p r s . 2 0 1 4 . 0 6 . 0 1 6 ;   S i l v e r t o w n   J ,   2 0 0 9 ,   T R E N D S   E C O L   E V O L ,   V 2 4 ,   P 4 6 7 ,   D O I   1 0 . 1 0 1 6 / j . t r e e . 2 0 0 9 . 0 3 . 0 1 7 ;   v o n   A h n   L ,   2 0 0 4 ,   P   S I G C H I   C   H U M   F A C T ,   P 3 1 9 ,   D O I   [ D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 ,   D O I   1 0 . 1 1 4 5 / 9 8 5 6 9 2 . 9 8 5 7 3 3 . I S B N ] ;   W a n g   J ,   2 0 1 3 ,   C B A 1 3 0 6   N E W   Y O R K   U   S ;   W e l i n d e r   P ,   2 0 1 0 ,   P   2 4   I N T   C   A D V   N E U R ;   W h i t e h i l l   J ,   2 0 0 9 ,   P   A D V   N E U R   I N F   P R O C ,   P 2 0 3 5 ;   Z h a o   Y Y ,   2 0 1 4 ,   I N T   J   R E M O T E   S E N S ,   V 3 5 ,   P 4 7 9 5 ,   D O I   1 0 . 1 0 8 0 / 0 1 4 3 1 1 6 1 . 2 0 1 4 . 9 3 0 2 0 2 	 3 3 	 0 	 0 	 0 	 0 	 W I L E Y 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 1 3 6 1 - 1 6 8 2 	 1 4 6 7 - 9 6 7 1 	 	 T   G I S 	 T r a n s .   G I S 	 A P R 	 2 0 1 7 	 2 1 	 2 	 	 	 	 	 2 0 7 	 2 2 3 	 	 1 0 . 1 1 1 1 / t g i s . 1 2 1 9 4 	 	 1 7 	 G e o g r a p h y 	 G e o g r a p h y 	 E X 6 C K 	 W O S : 0 0 0 4 0 3 3 2 9 8 0 0 0 0 3 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 P o b l e t ,   M ;   F i t z p a t r i c k ,   M ;   C h h e t r i ,   P 	 	 	 	 P o b l e t ,   M a r t a ;   F i t z p a t r i c k ,   M a r i ;   C h h e t r i ,   P r e m 	 	 	 M i c r o t a s k i n g :   r e d e f i n i n g   c r o w d s o u r c i n g   p r a c t i c e s   i n   e m e r g e n c y   m a n a g e m e n t 	 A U S T R A L I A N   J O U R N A L   O F   E M E R G E N C Y   M A N A G E M E N T 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 	 T h i s   p a p e r   e x a m i n e s   t h e   r o l e s ,   t y p e s   a n d   f o r m s   o f   v i r t u a l   m i c r o t a s k i n g   f o r   e m e r g e n c y   i n f o r m a t i o n   m a n a g e m e n t   i n   o r d e r   t o   b e t t e r   u n d e r s t a n d   c o l l e c t i v e   i n t e l l i g e n c e   m e c h a n i s m s   a n d   t h e   p o t e n t i a l   f o r   l o g i s t i c s   r e s p o n s e .   U s i n g   t h r e e   c a s e   s t u d i e s   t h i s   p a p e r   r e v i e w s   t h e   e m e r g i n g   b o d y   o f   k n o w l e d g e   i n   m i c r o t a s k i n g   p r a c t i c e s   i n   e m e r g e n c y   m a n a g e m e n t   t o   d e m o n s t r a t e   h o w   c r o w d - s o u r c e d   i n f o r m a t i o n   i s   c a p t u r e d   a n d   p r o c e s s e d   d u r i n g   e m e r g e n c y   e v e n t s   t o   p r o v i d e   c r i t i c a l   i n t e l l i g e n c e   t h r o u g h o u t   t h e   e m e r g e n c y   c y c l e .   I t   a l s o   c o n s i d e r s   t h e   i m p a c t   o f   v i r t u a l   i n f o r m a t i o n   c o l l e c t i o n ,   c o l l a t i o n   a n d   m a n a g e m e n t   o n   t r a d i t i o n a l   h u m a n i t a r i a n   o p e r a t i o n s   a n d   r e l i e f   e f f o r t s .   B a s e d   o n   t h e   c a s e   s t u d i e s   t h e   e m e r g e n t   f o r m s   o f   m i c r o t a s k i n g   f o r   e m e r g e n c y   i n f o r m a t i o n   m a n a g e m e n t   w e r e   i d e n t i f i e d .   O p p o r t u n i t i e s   f o r   c o n t i n u i t i e s ,   a d a p t a t i o n s   a n d   i n n o v a t i o n s   a r e   e x p l a i n e d .   T h e   c o n t r i b u t i o n   o f   v i r t u a l   m i c r o t a s k i n g   e x t e n d s   t o   a l l   s u p p l y   c h a i n   s t r a t e g i c   d o m a i n s   t o   h e l p   m a x i m i s e   r e s o u r c e   u s e   a n d   o p t i m i s e   s e r v i c e   d e l i v e r y   r e s p o n s e . 	 [ P o b l e t ,   M a r t a ]   R M I T   U n i v ,   M e l b o u r n e ,   V i c ,   A u s t r a l i a ;   [ F i t z p a t r i c k ,   M a r i ]   R M I T   U n i v ,   G r a d   S c h   B u s i n e s s   &   L a w ,   M e l b o u r n e ,   V i c ,   A u s t r a l i a ;   [ C h h e t r i ,   P r e m ]   R M I T   U n i v ,   G e o l o g i s t ,   M e l b o u r n e ,   V i c ,   A u s t r a l i a 	 P o b l e t ,   M   ( r e p r i n t   a u t h o r ) ,   R M I T   U n i v ,   M e l b o u r n e ,   V i c ,   A u s t r a l i a . 	 	 	 	 	 	 B e n k l e r   Y ,   2 0 1 3 ,   P E E R   P R O D U C T I O   U N P U B ;   B l u m b e r g   M ,   2 0 1 3 ,   H D B   H U M A N   C O M P U T A T I O ,   P 5 ;   B l u m b e r g   M ,   2 0 1 3 ,   H D B   H U M A N   C O M P U T A T I O ,   P 3 ;   B o l l i e r   D ,   2 0 1 4 ,   W E I G H T L E S S   M A R K E T P L A ;   C l o u t i e r   P ,   2 0 1 4 ,   D I G I T A L   V O L U N T E E R S   E ,   P 1 ;   C o b b   C ,   2 0 1 4 ,   C O M P U T E R   S U P P O R T E D   C ,   V 1 4 ,   P 1 ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F r a n z o n i   C ,   2 0 1 4 ,   R E S   P O L I C Y ,   V 4 3 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . r e s p o l . 2 0 1 3 . 0 7 . 0 0 5 ;   H o s s a i n   M o k t e r ,   2 0 1 5 ,   S t r a t e g i c   O u t s o u r c i n g ,   V 8 ,   P 2 ,   D O I   1 0 . 1 1 0 8 / S O - 1 2 - 2 0 1 4 - 0 0 2 9 ;   K i t t u r   A ,   2 0 1 3 ,   P   2 0 1 3   C   C O M P   S U P P   C ,   P 1 3 0 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 4 4 1 7 7 6 . 2 4 4 1 9 2 3 ;   L i u   S ,   2 0 1 4 ,   C O M P U T E R   S U P P O R T E D   C ,   V 2 3 ,   P 3 8 9 ;   L u z   N ,   2 0 1 4 ,   A R T I F   I N T E L L ,   P 1 ;   M a n y i k a   J ,   2 0 1 4 ,   G L O B A L   F L O W S   D I G I T A L ,   P 1 ;   M e e s   B ,   2 0 1 6 ,   A U S T   J   E M E R G   M A N A G ,   V 3 1 ,   P 3 8 ;   M i c h e l u c c i   P ,   2 0 1 3 ,   H D B   H U M A N   C O M P U T A T I O ;   M U N R O   R ,   2 0 1 3 ,   J   I N F O R M   R E T R I E V A L ,   V 1 6 ,   P 2 1 0 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 7 9 1 - 0 1 2 - 9 2 0 3 - 2 ;   N o v a k   J ,   2 0 1 3 ,   H D B   H U M A N   C O M P U T A T I O ,   P 4 2 1 ;   C o n f e r e n c e   C H I ,   2 0 1 1 ,   C H I   C   7   1 2   M A Y   2 0 1 1 ;   R e u t e r   S ,   2 0 1 4 ,   N A T   V O A D   C   2 0 1 4 ;   S a i t o   S ,   2 0 1 4 ,   U N I V E R S A L   A C C E S S   H U M ,   D O I   [ 1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 0 7 4 4 0 - 5 _ 3 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 0 7 4 4 0 - 5 _ 3 7 ] ;   S t a r b i r d   K ,   2 0 1 3 ,   P   2 0 1 3   C   C O M P   S U P P   C ,   P 4 9 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 4 4 1 7 7 6 . 2 4 4 1 8 3 2 	 2 1 	 0 	 0 	 0 	 0 	 E M E R G E N C Y   M A N A G E M E N T   A U S T R A L I A 	 M O U N T   M A C E D O N 	 6 0 1   M O U N T   M A C E D O N   R D ,   M O U N T   M A C E D O N ,   V I C   3 4 4 1 ,   A U S T R A L I A 	 1 3 2 4 - 1 5 4 0 	 	 	 A U S T   J   E M E R G   M A N A G 	 A u s t .   J .   E m e r g .   M a n a g . 	 A P R 	 2 0 1 7 	 3 2 	 2 	 	 	 	 	 4 7 	 5 3 	 	 	 	 7 	 P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h 	 P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h 	 E X 2 J O 	 W O S : 0 0 0 4 0 3 0 5 2 7 0 0 0 1 7 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 M c D u f f ,   D ;   e l   K a l i o u b y ,   R 	 	 	 	 M c D u f f ,   D a n i e l ;   e l   K a l i o u b y ,   R a n a 	 	 	 A p p l i c a t i o n s   o f   A u t o m a t e d   F a c i a l   C o d i n g   i n   M e d i a   M e a s u r e m e n t 	 I E E E   T R A N S A C T I O N S   O N   A F F E C T I V E   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 F a c i a l   e x p r e s s i o n s ;   f a c i a l   c o d i n g ;   e m o t i o n ;   m e d i a   m e a s u r e m e n t ;   a d v e r t i s i n g ;   m a r k e t i n g ;   c r o w d s o u r c i n g 	 S E X - D I F F E R E N C E S ;   A D V E R T I S E M E N T ;   R E C O G N I T I O N ;   C O M M E R C I A L S ;   R E S P O N S E S ;   P A T T E R N S ;   S M I L E ;   S C A L E ;   A D S 	 F a c i a l   c o d i n g   h a s   b e c o m e   a   c o m m o n   t o o l   i n   m e d i a   m e a s u r e m e n t ,   w i t h   l a r g e   c o m p a n i e s   ( e . g . ,   U n i l e v e r )   u s i n g   i t   t o   t e s t   a l l   o f   t h e i r   n e w   v i d e o   a d   c o n t e n t .   F a c i a l   r e a c t i o n s   c a p t u r e   t h e   i n - t h e - m o m e n t   r e s p o n s e   o f   a n   i n d i v i d u a l   a n d   t h e s e   d a t a   c o m p l e m e n t   s e l f - r e p o r t   m e a s u r e s .   T w o   a d v a n c e m e n t s   i n   a f f e c t i v e   c o m p u t i n g   h a v e   m a d e   m e a s u r e m e n t   p o s s i b l e   a t   s c a l e :   1 )   c o m p u t e r   v i s i o n   a l g o r i t h m s   a r e   u s e d   t o   a u t o m a t i c a l l y   c o d e   s i g n   a n d   m e s s a g e   j u d g m e n t s   b a s e d   o n   f a c i a l   m u s c l e   m o v e m e n t s ,   2 )   v i d e o   d a t a   a r e   c o l l e c t e d   b y   r e c o r d i n g   r e s p o n s e s   i n   e v e r y d a y   e n v i r o n m e n t s   v i a   t h e   v i e w e r ' s   o w n   w e b c a m   o v e r   t h e   I n t e r n e t .   W e   p r e s e n t   r e s u l t s   o f   o n l i n e   f a c i a l   c o d i n g   s t u d i e s   o f   v i d e o   a d s ,   m o v i e   t r a i l e r s ,   p o l i t i c a l   c o n t e n t ,   a n d   l o n g - f o r m   T V   s h o w s .   W e   e x p l a i n   h o w   t h e s e   d a t a   c a n   b e   u s e d   i n   m a r k e t   r e s e a r c h .   D e s p i t e   t h e   a b i l i t y   t o   m e a s u r e   f a c i a l   b e h a v i o r   i n   a   s c a l a b l e   a n d   q u a n t i f i a b l e   w a y ,   t h e   i n t e r p r e t a t i o n   o f   t h e s e   d a t a   i s   s t i l l   c h a l l e n g i n g   w i t h o u t   b a s e l i n e s   a n d   c o m p a r a t i v e   m e a s u r e s .   O v e r   t h e   p a s t   f o u r   y e a r s   w e   h a v e   c o l l e c t e d   a n d   c o d e d   o v e r   t w o   m i l l i o n   r e s p o n s e s   t o   e v e r y d a y   m e d i a   c o n t e n t .   O u r   h u g e   d a t a s e t   a l l o w s   u s   t o   c a l c u l a t e   r e l i a b l e   n o r m a t i v e   d i s t r i b u t i o n s   o f   r e s p o n s e s   a c r o s s   d i f f e r e n t   m e d i a   t y p e s .   W e   p r e s e n t   t h e s e   d a t a   a n d   a r g u e   t h a t   t h i s   p r o v i d e s   a   c o n t e x t   w i t h i n   w h i c h   t o   i n t e r p r e t   f a c i a l   r e s p o n s e s   m o r e   a c c u r a t e l y . 	 [ M c D u f f ,   D a n i e l ;   e l   K a l i o u b y ,   R a n a ]   A f f e c t i v a ,   W a l t h a m ,   M A   0 2 4 5 2   U S A ;   [ M c D u f f ,   D a n i e l ]   M I T ,   M e d i a   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A 	 M c D u f f ,   D   ( r e p r i n t   a u t h o r ) ,   A f f e c t i v a ,   W a l t h a m ,   M A   0 2 4 5 2   U S A . ;   M c D u f f ,   D   ( r e p r i n t   a u t h o r ) ,   M I T ,   M e d i a   L a b ,   C a m b r i d g e ,   M A   0 2 1 3 9   U S A . 	 d j m c d u f f @ m e d i a . m i t . e d u ;   k a l i o u b y @ a f f e c t i v a . c o m 	 	 	 	 	 C o h n   J .   F . ,   2 0 0 7 ,   H D B   E M O T I O N   E L I C I T A T ,   P 2 0 3 ;   D ' M e l l o   S ,   2 0 0 7 ,   I E E E   I N T E L L   S Y S T ,   V 2 2 ,   P 5 3 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 0 7 . 7 9 ;   D a l a i   N . ,   2 0 0 5 ,   P R O C   C V P R   I E E E ,   V 1 ,   P 8 8 6 ,   D O I   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 0 5 . 1 7 7 ;   D E R B A I X   C M ,   1 9 9 5 ,   J   M A R K E T I N G   R E S ,   V 3 2 ,   P 4 7 0 ,   D O I   1 0 . 2 3 0 7 / 3 1 5 2 1 8 2 ;   E k m a n   P . ,   1 9 7 8 ,   M A N U A L   F A C I A L   A C T I O N ;   F a s e l   B . ,   2 0 0 2 ,   P   I N T   C   P A T T   R E C   I C P ,   V 2 ,   P 4 0 ;   F R I D L U N D   A J ,   1 9 9 1 ,   J   P E R S   S O C   P S Y C H O L ,   V 6 0 ,   P 2 2 9 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 2 - 3 5 1 4 . 6 0 . 2 . 2 2 9 ;   F r i e s e n   W .   V . ,   1 9 7 3 ,   T H E S I S   U   C A L I F O R N I A ;   G i r a r d   J .   M . ,   2 0 1 5 ,   I E E E   I N T   C   A U T   F A C   G ,   P 1 ;   H e r n a n d e z   J . ,   2 0 1 3 ,   P R O D U C T I O N   P L A N N I N G ,   P 1 ;   J o h o   H ,   2 0 1 1 ,   M U L T I M E D   T O O L S   A P P L ,   V 5 1 ,   P 5 0 5 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 0 - 0 6 3 2 - x ;   K a s s a m   K .   S . ,   2 0 1 0 ,   A S S E S S M E N T   E M O T I O N A L ;   L a F r a n c e   M ,   2 0 0 3 ,   P S Y C H O L   B U L L ,   V 1 2 9 ,   P 3 0 5 ,   D O I   1 0 . 1 0 3 7 / 0 0 3 3 - 2 9 0 9 . 1 2 9 . 2 . 3 0 5 ;   M a t s u g u   M ,   2 0 0 3 ,   N E U R A L   N E T W O R K S ,   V 1 6 ,   P 5 5 5 ,   D O I   1 0 . 1 0 1 6 / S 0 8 9 3 - 6 0 8 0 ( 0 3 ) 0 0 1 1 5 - 1 ;   M A T S U M O T O   D ,   1 9 9 0 ,   M O T I V   E M O T I O N ,   V 1 4 ,   P 1 9 5 ,   D O I   1 0 . 1 0 0 7 / B F 0 0 9 9 5 5 6 9 ;   M c D u f f   D . ,   J   N O N V E R B A L   I N   P R E S S ;   M c D u f f   D . ,   2 0 1 3 ,   P   1 0   I E E E   I N T   C   W O R K ,   P 1 ;   M c D u f f   D . ,   2 0 1 2 ,   A F F E C T I V E   C O M P U T I N G ,   V 3 ,   P 4 5 6 ;   M c D u f f   D ,   2 0 1 5 ,   I E E E   T   A F F E C T   C O M P U T ,   V 6 ,   P 2 2 3 ,   D O I   1 0 . 1 1 0 9 / T A F F C . 2 0 1 4 . 2 3 8 4 1 9 8 ;   M c d u f f   D ,   2 0 1 3 ,   I N T   C O N F   A F F E C T ,   P 3 6 9 ,   D O I   1 0 . 1 1 0 9 / A C I I . 2 0 1 3 . 6 7 ;   M c D u f f   D .   J . ,   2 0 1 4 ,   T H E S I S   M I T   C A M B R I D G E ;   M i c u   A C ,   2 0 1 0 ,   J   A D V E R T I S I N G   R E S ,   V 5 0 ,   P 1 3 7 ,   D O I   1 0 . 2 5 0 1 / S 0 0 2 1 8 4 9 9 1 0 0 9 1 3 0 0 ;   N a v a r a t h n a   R ,   2 0 1 4 ,   2 0 1 4   I E E E   W I N T E R   C O N F E R E N C E   O N   A P P L I C A T I O N S   O F   C O M P U T E R   V I S I O N   ( W A C V ) ,   P 1 0 5 8 ,   D O I   1 0 . 1 1 0 9 / W A C V . 2 0 1 4 . 6 8 3 5 9 8 7 ;   O j a l a   T ,   2 0 0 2 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 4 ,   P 9 7 1 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 2 . 1 0 1 7 6 2 3 ;   O t t a   E ,   1 9 9 8 ,   P S Y C H O L   R E P ,   V 8 3 ,   P 9 0 7 ,   D O I   1 0 . 2 4 6 6 / P R 0 . 8 3 . 7 . 9 0 7 - 9 1 3 ;   P o h   M Z ,   2 0 1 1 ,   I E E E   T   B I O - M E D   E N G ,   V 5 8 ,   P 7 ,   D O I   1 0 . 1 1 0 9 / T B M E . 2 0 1 0 . 2 0 8 6 4 5 6 ;   S e n e c h a l   T . ,   2 0 1 3 ,   P   1 0   I E E E   I N T   C   A U T ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / F G 2 0 1 3 . 6 5 5 3 7 7 6 ;   S o l e y m a n i   M . ,   2 0 0 9 ,   I N T   J   S E M A N T I C   C O M P U ,   V 3 ,   P 2 3 5 ;   S o l e y m a n i   M ,   2 0 1 2 ,   I E E E   T   A F F E C T   C O M P U T ,   V 3 ,   P 2 1 1 ,   D O I   1 0 . 1 1 0 9 / T - A F F C . 2 0 1 1 . 3 7 ;   S o l e y m a n i   M ,   2 0 0 8 ,   I E E E   I N T   S Y M   M U L T I M ,   P 2 2 8 ,   D O I   1 0 . 1 1 0 9 / I S M . 2 0 0 8 . 1 4 ;   T e i x e i r a   T ,   2 0 1 4 ,   M A R K E T   S C I ,   V 3 3 ,   P 8 0 9 ,   D O I   1 0 . 1 2 8 7 / m k s c . 2 0 1 4 . 0 8 5 4 ;   T e i x e i r a   T S ,   2 0 1 0 ,   M A R K E T   S C I ,   V 2 9 ,   P 7 8 3 ,   D O I   1 0 . 1 2 8 7 / m k s c . 1 1 0 0 . 0 5 6 7 ;   V a l s t a r   M . ,   2 0 1 5 ,   U N D E R S T A N D I N G   F A C I A L ,   P 1 4 3 ;   V i o l a   P ,   2 0 0 1 ,   P R O C   C V P R   I E E E ,   P 5 1 1 ;   W a n g   S F ,   2 0 1 4 ,   I M A G E   V I S I O N   C O M P U T ,   V 3 2 ,   P 6 8 2 ,   D O I   1 0 . 1 0 1 6 / j . i m a v i s . 2 0 1 4 . 0 4 . 0 1 3 ;   W a r r e n   S .   D . ,   1 8 9 0 ,   H A R V A R D   L A W   R E V ,   V 4 ,   P 1 9 3 ,   D O I   D O I   1 0 . 2 3 0 7 / 1 3 2 1 1 6 0 ;   X i o n g   X H ,   2 0 1 3 ,   P R O C   C V P R   I E E E ,   P 5 3 2 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 3 . 7 5 ;   Y a n g   S F ,   2 0 1 4 ,   I E E E   T   A F F E C T   C O M P U T ,   V 5 ,   P 4 3 2 ,   D O I   1 0 . 1 1 0 9 / T A F F C . 2 0 1 4 . 2 3 6 4 5 8 1 ;   Z h a o   S . ,   2 0 1 1 ,   P   1 9   A C M   I N T   C   M U L T ,   P 1 4 7 3 	 3 9 	 0 	 0 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 9 4 9 - 3 0 4 5 	 	 	 I E E E   T   A F F E C T   C O M P U T 	 I E E E   T r a n s .   A f f e c t .   C o m p u t . 	 A P R - J U N 	 2 0 1 7 	 8 	 2 	 	 	 	 	 1 4 8 	 1 6 0 	 	 1 0 . 1 1 0 9 / T A F F C . 2 0 1 6 . 2 5 7 1 2 8 4 	 	 1 3 	 C o m p u t e r   S c i e n c e ,   A r t i f i c i a l   I n t e l l i g e n c e ;   C o m p u t e r   S c i e n c e ,   C y b e r n e t i c s 	 C o m p u t e r   S c i e n c e 	 E W 7 Q S 	 W O S : 0 0 0 4 0 2 7 0 9 9 0 0 0 0 2 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 P u ,   L J ;   C h e n ,   X ;   X u ,   J D ;   F u ,   X M 	 	 	 	 P u ,   L i n g j u n ;   C h e n ,   X u ;   X u ,   J i n g d o n g ;   F u ,   X i a o m i n g 	 	 	 C r o w d   F o r a g i n g :   A   Q o S - O r i e n t e d   S e l f - O r g a n i z e d   M o b i l e   C r o w d s o u r c i n g   F r a m e w o r k   O v e r   O p p o r t u n i s t i c   N e t w o r k s 	 I E E E   J O U R N A L   O N   S E L E C T E D   A R E A S   I N   C O M M U N I C A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M o b i l e   c r o w d s o u r c i n g ;   s e r v i c e   q u a l i t y ;   w o r k e r   r e c r u i t m e n t ;   o p p o r t u n i s t i c   n e t w o r k s 	 S O C I A L   N E T W O R K S 	 R e c e n t   y e a r s   h a v e   w i t n e s s e d   t h e   p r o l i f e r a t i o n   o f   m o b i l e   c r o w d s o u r c i n g   t h a t   b r i n g s   a   n e w   o p p o r t u n i t y   t o   l e v e r a g e   h u m a n   i n t e l l i g e n c e   a n d   m o v e m e n t   b e h a v i o r s   t o   w i d e r   a p p l i c a t i o n   a r e a s .   I n   p a r a l l e l   w i t h   t h e   d e v e l o p m e n t   o f   o n l i n e   c e n t r a l i z e d   p l a t f o r m s ,   w e   l o o k   i n t o   t h e   r e a l i z a t i o n   o f   s e l f - o r g a n i z e d   m o b i l e   c r o w d s o u r c i n g   d r a w i n g   o n   o p p o r t u n i s t i c   n e t w o r k s ,   a n d   p r o p o s e   t h e   C r o w d   F o r a g i n g   f r a m e w o r k ,   i n   w h i c h   a   m o b i l e   t a s k   r e q u e s t e r   c a n   p r o a c t i v e l y   r e c r u i t   a   m a s s i v e   c r o w d   o f   o p p o r t u n i s t i c   e n c o u n t e r e d   m o b i l e   w o r k e r s   i n   r e a l   t i m e   f o r   q u i c k   a n d   h i g h - q u a l i t y   r e s u l t s .   W e   p r e s e n t   a   c o m p r e h e n s i v e   f r a m e w o r k   m o d e l   t h a t   f u l l y   i n t e g r a t e s   h u m a n   b e h a v i o r   f a c t o r s   f o r   m o d e l i n g   t a s k   p r o f i l e ,   w o r k e r   a r r i v a l ,   a n d   w o r k   a b i l i t y ,   a n d   t h e n   i n t r o d u c e   a   s e r v i c e   q u a l i t y   c o n c e p t   t o   i n d i c a t e   t h e   e x p e c t e d   s e r v i c e   g a i n   t h a t   a   r e q u e s t e r   c a n   e n j o y   w h e n   s h e   r e c r u i t s   a n   a r r i v a l   w o r k e r   b y   j o i n t l y   c o n s i d e r i n g   t h e   w o r k   a b i l i t y   o f   w o r k e r s   a s   w e l l   a s   t i m e l i n e s s   a n d   r e w a r d   o f   t a s k s .   F u r t h e r m o r e ,   w e   f o r m u l a t e   a   s e q u e n t i a l   w o r k e r   r e c r u i t m e n t   p r o b l e m   a s   a n   o n l i n e   m u l t i p l e   s t o p p i n g   p r o b l e m   t o   m a x i m i z e   t h e   e x p e c t e d   s u m   o f   s e r v i c e   q u a l i t y ,   a n d   a c c o r d i n g l y   d e r i v e   a n   o p t i m a l   w o r k e r   r e c r u i t m e n t   p o l i c y   t h r o u g h   t h e   d y n a m i c   p r o g r a m m i n g   p r i n c i p l e ,   w h i c h   e x h i b i t s   a   n i c e   t h r e s h o l d - b a s e d   s t r u c t u r e .   W e   p r o v i d e   d a t a - d r i v e n   c a s e   s t u d i e s   t o   v a l i d a t e   t h e   a s s u m p t i o n s   u s e d   i n   t h e   p o l i c y   d e s i g n ,   a n d   c o n d u c t   e x t e n s i v e   t r a c e - d r i v e n   n u m e r i c a l   e v a l u a t i o n s ,   w h i c h   d e m o n s t r a t e   t h a t   o u r   p o l i c y   c a n   a c h i e v e   s u p e r i o r   p e r f o r m a n c e   ( e . g . ,   i m p r o v e   m o r e   t h a n   3 0 %   p e r f o r m a n c e   o v e r   c l a s s i c   p o l i c i e s ) .   B e s i d e s ,   o u r   A n d r o i d   p r o t o t y p e   s h o w s   t h a t   t h e   C r o w d   F o r a g i n g   f r a m e w o r k   i s   c o s t - e f f i c i e n t ,   s u c h   a s   r e q u i r i n g   l e s s   t h a n   7   s   a n d   6   J   i n   t e r m s   o f   t i m e   a n d   e n e r g y   c o n s u m p t i o n   f o r   t h e   o p t i m a l   t h r e s h o l d   c a l c u l a t i o n   i n   o u r   p o l i c y   i n   m o s t   c a s e s . 	 [ P u ,   L i n g j u n ;   X u ,   J i n g d o n g ]   N a n k a i   U n i v ,   C o l l   C o m p   &   C o n t r o l   E n g n ,   T i a n j i n   3 0 0 0 7 1 ,   P e o p l e s   R   C h i n a ;   [ C h e n ,   X u ]   S u n   Y a t   S e n   U n i v ,   S c h   D a t a   &   C o m p   S c i ,   G u a n g z h o u   5 1 0 0 0 6 ,   G u a n g d o n g ,   P e o p l e s   R   C h i n a ;   [ C h e n ,   X u ]   M i n i s t   E d u c ,   K e y   L a b   M a c h i n e   I n t e l l i g e n c e   &   A d v   C o m p ,   G u a n g z h o u   5 1 0 0 0 6 ,   G u a n g d o n g ,   P e o p l e s   R   C h i n a ;   [ F u ,   X i a o m i n g ]   U n i v   G o t t i n g e n ,   I n s t   C o m p   S c i ,   D - 3 7 0 7 3   G o t t i n g e n ,   G e r m a n y 	 C h e n ,   X   ( r e p r i n t   a u t h o r ) ,   S u n   Y a t   S e n   U n i v ,   S c h   D a t a   &   C o m p   S c i ,   G u a n g z h o u   5 1 0 0 0 6 ,   G u a n g d o n g ,   P e o p l e s   R   C h i n a . ;   C h e n ,   X   ( r e p r i n t   a u t h o r ) ,   M i n i s t   E d u c ,   K e y   L a b   M a c h i n e   I n t e l l i g e n c e   &   A d v   C o m p ,   G u a n g z h o u   5 1 0 0 0 6 ,   G u a n g d o n g ,   P e o p l e s   R   C h i n a . 	 p u l i n g j u n @ n a n k a i . e d u . c n ;   c h e n x u 3 5 @ m a i l . s y s u . e d u . c n ;   x u j d @ n a n k a i . e d u . c n ;   f u @ c s . u n i - g o e t t i n g e n . d e 	 	 	 N a t i o n a l   K e y   R e s e a r c h   a n d   D e v e l o p m e n t   P r o g r a m   o f   C h i n a   [ 2 0 1 6 Y F B 0 2 0 1 9 0 0 ] ;   S u n   Y a t - S e n   U n i v e r s i t y ;   E U   F P 7   I R S E S   M o b i l e C l o u d   P r o j e c t   [ 6 1 2 2 1 2 ] ;   E U - J a p a n   H o r i z o n 2 0 2 0   I C N 2 0 2 0   P r o j e c t   t h r o u g h   E U   [ 7 2 3 0 1 4 ] ;   N I C T   [ 1 8 4 ] ;   A l e x a n d e r   H u m b o l d t   F o u n d a t i o n ;   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   T i a n j i n ,   C h i n a   [ 1 6 J C Q N J C 0 0 7 0 0 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   N a t i o n a l   K e y   R e s e a r c h   a n d   D e v e l o p m e n t   P r o g r a m   o f   C h i n a   u n d e r   G r a n t   2 0 1 6 Y F B 0 2 0 1 9 0 0 ,   i n   p a r t   b y   t h e   S t a r t - U p   F u n d   f r o m   S u n   Y a t - S e n   U n i v e r s i t y ,   i n   p a r t   b y   t h e   E U   F P 7   I R S E S   M o b i l e C l o u d   P r o j e c t   u n d e r   G r a n t   6 1 2 2 1 2 ,   i n   p a r t   b y   t h e   E U - J a p a n   H o r i z o n 2 0 2 0   I C N 2 0 2 0   P r o j e c t   t h r o u g h   E U   u n d e r   G r a n t   7 2 3 0 1 4   a n d   N I C T   u n d e r   G r a n t   1 8 4 ,   i n   p a r t   b y   t h e   A l e x a n d e r   H u m b o l d t   F o u n d a t i o n ,   a n d   i n   p a r t   b y   t h e   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   T i a n j i n ,   C h i n a ,   u n d e r   G r a n t   1 6 J C Q N J C 0 0 7 0 0 .   P a r t   o f   t h e   r e s u l t s   i n   t h i s   p a p e r   w a s   p r e s e n t e d   a t   t h e   P r o c e e d i n g s   o f   t h e   I E E E   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r   C o m m u n i c a t i o n s ,   A p r i l   1 0 - 1 5 ,   2 0 1 6 ,   S a n   F r a n c i s c o ,   C A ,   U S A .   ( C o r r e s p o n d i n g   a u t h o r :   X u   C h e n ) . 	 A g a p i e   E . ,   2 0 1 5 ,   P   A A A I   C   H U M   C O M P   C R ,   P 2 ;   A s a d i   A . ,   2 0 1 4 ,   I E E E   C O M M U N I C A T I O N S ,   V 4 ,   P 1 8 0 1 ;   B a b a i o f f   M ,   2 0 0 7 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 6 2 7 ,   P 1 6 ;   B l o n d e l   V D ,   2 0 0 8 ,   J   S T A T   M E C H - T H E O R Y   E ,   D O I   1 0 . 1 0 8 8 / 1 7 4 2 - 5 4 6 8 / 2 0 0 8 / 1 0 / P 1 0 0 0 8 ;   B o u t s i s   I ,   2 0 1 4 ,   I N T   C O N   D I S T R   C O M P   S ,   P 1 ,   D O I   1 0 . 1 1 0 9 / I C D C S . 2 0 1 4 . 9 ;   C a i   H ,   2 0 0 9 ,   I E E E   A C M   T   N E T W O R K ,   V 1 7 ,   P 1 5 7 8 ,   D O I   1 0 . 1 1 0 9 / T N E T . 2 0 0 8 . 2 0 1 1 7 3 4 ;   C h a n g   W ,   2 0 1 5 ,   I E E E   T   P A R A L L   D I S T R ,   V 2 6 ,   P 2 0 2 0 ,   D O I   1 0 . 1 1 0 9 / T P D S . 2 0 1 4 . 2 3 3 0 2 9 8 ;   D i f a l l a h   D .   E . ,   2 0 1 5 ,   P   2 4   I N T   C   W O R L D   W I D ,   P 2 3 8 ;   E k m a n   F ,   2 0 0 8 ,   W O R K I N G   D A Y   M O V E M E N T ,   P 3 3 ;   F a n   J L ,   2 0 1 1 ,   I E E E   T   V E H   T E C H N O L ,   V 6 0 ,   P 2 1 8 1 ,   D O I   1 0 . 1 1 0 9 / T V T . 2 0 1 1 . 2 1 4 7 3 4 2 ;   F a r i d a n i   S . ,   2 0 1 1 ,   P   A A A I   C   A R T   I N T ,   P 2 6 ;   G a d i r a j u   U ,   2 0 1 5 ,   I E E E   I N T E L L   S Y S T ,   V 3 0 ,   P 8 1 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 1 5 . 6 6 ;   G a o   W ,   2 0 0 9 ,   M O B I H O C ' 0 9   P R O C E E D I N G S   O F   T H E   T E N T H   A C M   I N T E R N A T I O N A L   S Y M P O S I U M   O N   M O B I L E   A D   H O C   N E T W O R K I N G   A N D   C O M P U T I N G ,   P 2 9 9 ,   D O I   1 0 . 1 1 4 5 / 1 5 3 0 7 4 8 . 1 5 3 0 7 9 0 ;   G a o   Y . ,   2 0 1 4 ,   P V L D B ,   V 7 ,   P 1 9 6 5 ;   H a n   Y Y ,   2 0 1 6 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 5 ,   P 2 9 8 7 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 6 . 2 5 2 4 5 9 0 ;   H e i m e r l   K u r t i s ,   2 0 1 2 ,   P   S I G C H I   C   H U M   F A C T ,   P 1 5 3 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 2 0 7 6 7 6 . 2 2 0 8 6 1 9 ;   H u a n g   L . ,   2 0 1 5 ,   P   A C M   S   M O B   A D   H O C   N ,   P 5 7 ;   J i a n g   C . ,   2 0 1 6 ,   P   I E E E   G L O B   C O M M   C   G ,   P 1 ;   J i a n g   C . ,   2 0 1 5 ,   P   O P T   E L   C O M M   C ,   P 1 ;   K a r a g i a n n i s   T ,   2 0 1 0 ,   I E E E   T   M O B I L E   C O M P U T ,   V 9 ,   P 1 3 7 7 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 0 . 9 9 ;   K a r a l i o p o u l o s   M . ,   2 0 1 5 ,   P   I E E E   C   C O M P   C O M M   I ,   P 2 2 5 4 ;   L i   Y J ,   2 0 1 4 ,   I E E E   I N F O C O M   S E R ,   P 1 0 6 0 ,   D O I   1 0 . 1 1 0 9 / I N F O C O M . 2 0 1 4 . 6 8 4 8 0 3 6 ;   L i u   S . ,   2 0 1 3 ,   P   1 9   A N N   I N T   C   M O B   C ,   P 3 1 5 ;   N e w m a n   M E J ,   2 0 0 6 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 3 ,   P 8 5 7 7 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 6 0 1 6 0 2 1 0 3 ;   P i c u   A ,   2 0 1 5 ,   I E E E   A C M   T   N E T W O R K ,   V 2 3 ,   P 5 8 7 ,   D O I   1 0 . 1 1 0 9 / T N E T . 2 0 1 4 . 2 3 0 1 3 7 6 ;   R i l e y   K .   F . ,   2 0 0 6 ,   M A T H   M E T H O D S   P H Y S   E N ,   P 2 0 ;   S h i   C . ,   2 0 1 2 ,   P   1 3   A C M   I N T   S   M O B   A ,   P 1 4 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 2 4 8 3 7 1 . 2 2 4 8 3 9 4 ;   S i n g l a   A . ,   2 0 1 3 ,   P   2 2   I N T   C   W O R L D   W I D ,   P 1 1 6 7 ;   T u n c a y   G .   S . ,   2 0 1 3 ,   P   8   A C M   M O B I C O M   W O R K ,   P 2 5 ;   W u   J ,   2 0 1 3 ,   I E E E   I N F O C O M   S E R ,   P 2 3 1 9 ;   Z h a n g   Y ,   2 0 1 5 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 4 ,   P 2 5 1 6 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 5 . 2 4 0 5 5 3 9 ;   Z h a o   D ,   2 0 1 6 ,   I E E E   A C M   T   N E T W O R K ,   V 2 4 ,   P 6 4 7 ,   D O I   1 0 . 1 1 0 9 / T N E T . 2 0 1 4 . 2 3 7 9 2 8 1 	 3 2 	 0 	 0 	 1 	 1 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 0 7 3 3 - 8 7 1 6 	 1 5 5 8 - 0 0 0 8 	 	 I E E E   J   S E L   A R E A   C O M M 	 I E E E   J .   S e l .   A r e a s   C o m m u n . 	 A P R 	 2 0 1 7 	 3 5 	 4 	 	 	 	 	 8 4 8 	 8 6 2 	 	 1 0 . 1 1 0 9 / J S A C . 2 0 1 7 . 2 6 7 9 5 9 8 	 	 1 5 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 E W 0 A X 	 W O S : 0 0 0 4 0 2 1 5 1 4 0 0 0 0 3 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 X i a n g ,   L Y ;   T a i ,   T Y ;   L i ,   B C ;   L i ,   B 	 	 	 	 X i a n g ,   L i y a o ;   T a i ,   T z u - Y i n ;   L i ,   B a o c h u n ;   L i ,   B o 	 	 	 T a c k :   L e a r n i n g   T o w a r d s   C o n t e x t u a l   a n d   E p h e m e r a l   I n d o o r   L o c a l i z a t i o n   W i t h   C r o w d s o u r c i n g 	 I E E E   J O U R N A L   O N   S E L E C T E D   A R E A S   I N   C O M M U N I C A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 S m a r t   d e v i c e s ;   b l u e t o o t h ;   c r o w d s o u r c i n g ;   i n d o o r   e n v i r o n m e n t s ;   l o c a l i z a t i o n ;   m o b i l e   c o m p u t i n g ;   i n f e r e n c e   m e c h a n i s m s ;   p a r t i c l e   f i l t e r s 	 	 A t   e v e n t s ,   s u c h   a s   c o n f e r e n c e s ,   i n d o o r   l o c a l i z a t i o n   i s   b o t h   c o n t e x t u a l   a n d   e p h e m e r a l ,   i n   t h a t   l o c a l i z a t i o n   i s   o n l y   n e e d e d   w i t h i n   t h e   c o n t e x t   o f   a n d   f o r   t h e   d u r a t i o n   o f   t h e   e v e n t .   A s   s u c h ,   t h e   c o s t s   a n d   r e q u i r e m e n t s   o f   p r o v i d i n g   s u c h   s e r v i c e s   n e e d   t o   b e   m i n i m a l .   I n   t h i s   p a p e r ,   w e   d e s i g n ,   i m p l e m e n t ,   a n d   e v a l u a t e   T a c k ,   a   n e w   m o b i l e   a p p l i c a t i o n   f r a m e w o r k   t h a t   i s   s p e c i f i c a l l y   e n g i n e e r e d   t o   s u p p o r t   s u c h   c o n t e x t u a l   a n d   e p h e m e r a l   i n d o o r   l o c a l i z a t i o n   d u r i n g   a n   e v e n t .   T o   p r o v i d e   l o c a t i o n - b a s e d   s e r v i c e s   w i t h   T a c k ,   a n   e v e n t   o r g a n i z e r   o n l y   n e e d s   t o   b r i n g   a n d   p l a c e   a   s m a l l   n u m b e r   o f   ( r e u s a b l e )   b e a c o n s   a r o u n d   t h e   v e n u e   b e f o r e   t h e   e v e n t   b e g i n s .   A s   a   s y s t e m   f r a m e w o r k ,   T a c k   u s e s   a   c o m b i n a t i o n   o f   k n o w n   b e a c o n   l o c a t i o n s ,   c o n t a c t s   o v e r   b l u e t o o t h   l o w   e n e r g y ,   c r o w d s o u r c i n g ,   a n d   d e a d - r e c k o n i n g   t o   e s t i m a t e   a n d   r e f i n e   u s e r   l o c a t i o n s .   T o   m a k e   o u r   l o c a t i o n   e s t i m a t e s   m o r e   a c c u r a t e ,   w e   e m b r a c e   t h e   i n h e r e n t   n a t u r e   o f   b e a c o n s ,   d e s i g n   c r o w d s o u r c i n g - b a s e d   i n f e r e n c e   a l g o r i t h m s ,   a n d   p r e s e n t   a n   e x t e n s i v e   e v a l u a t i o n   b y   r u n n i n g   r e a l - w o r l d   e x p e r i m e n t s   w i t h   i O S   d e v i c e s   a n d   b e a c o n s .   T a c k   h a s   b e e n   i m p l e m e n t e d   a s   a n   o p e n - s o u r c e   f r a m e w o r k   o n   t h e   i O S   p l a t f o r m   a n d   c a n   b e   u s e d   b y   m o b i l e   a p p l i c a t i o n s   d e s i g n e d   f o r   e v e n t s   w i t h   l o c a t i o n - b a s e d   s e r v i c e s . 	 [ X i a n g ,   L i y a o ]   U n i v   T o r o n t o ,   D e p t   E l e c t   &   C o m p   E n g n ,   T o r o n t o ,   O N   M 5 S   3 G 4 ,   C a n a d a ;   [ T a i ,   T z u - Y i n ]   U n i v   T o r o n t o ,   T o r o n t o ,   O N   M 5 S   3 G 4 ,   C a n a d a ;   H o n g   K o n g   U n i v   S c i   &   T e c h n o l ,   D e p t   C o m p   S c i   &   E n g n ,   H o n g   K o n g ,   H o n g   K o n g ,   P e o p l e s   R   C h i n a 	 X i a n g ,   L Y   ( r e p r i n t   a u t h o r ) ,   U n i v   T o r o n t o ,   D e p t   E l e c t   &   C o m p   E n g n ,   T o r o n t o ,   O N   M 5 S   3 G 4 ,   C a n a d a . 	 l i y a o x @ e c e . u t o r o n t o . c a ;   n i n a . t a i @ m a i l . u t o r o n t o . c a ;   b l i @ e c e . t o r o n t o . e d u ;   b l i @ c s e . u s t . h k 	 	 	 R G C   [ 6 1 5 6 1 3 ,   1 6 2 1 1 7 1 5 ,   C 7 0 3 6 - 1 5 G   ( C R F ) ] ;   N S F   C h i n a   [ U 1 3 0 1 2 5 3 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   R G C   u n d e r   C o n t r a c t   6 1 5 6 1 3 ,   C o n t r a c t   1 6 2 1 1 7 1 5 ,   a n d   C 7 0 3 6 - 1 5 G   ( C R F ) ,   a n d   i n   p a r t   b y   N S F   C h i n a   u n d e r   C o n t r a c t   U 1 3 0 1 2 5 3 . 	 A b d e l n a s s e r   H ,   2 0 1 6 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 5 ,   P 1 7 7 0 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 5 . 2 4 7 8 4 5 1 ;   B a h l   P . ,   2 0 0 0 ,   P r o c e e d i n g s   I E E E   I N F O C O M   2 0 0 0 .   C o n f e r e n c e   o n   C o m p u t e r   C o m m u n i c a t i o n s .   N i n e t e e n t h   A n n u a l   J o i n t   C o n f e r e n c e   o f   t h e   I E E E   C o m p u t e r   a n d   C o m m u n i c a t i o n s   S o c i e t i e s   ( C a t .   N o . 0 0 C H 3 7 0 6 4 ) ,   P 7 7 5 ,   D O I   1 0 . 1 1 0 9 / I N F C O M . 2 0 0 0 . 8 3 2 2 5 2 ;   C h i n t a l a p u d i   K ,   2 0 1 0 ,   M O B I C O M   1 0   &   M O B I H O C   1 0 :   P R O C E E D I N G S   O F   T H E   1 6 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G   A N D   T H E   1 1 T H   A C M   I N T E R N A T I O N A L   S Y M P O S I U M   O N   M O B I L E   A D   H O C   N E T W O R K I N G   A N D   C O M P U T I N G ,   P 1 7 3 ;   C o n s t a n d a c h e   I . ,   2 0 1 0 ,   P   I E E E   I N F O C O M ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / I N E C O M . 2 0 1 0 . 5 4 6 2 0 5 8 ;   C o n s t a n d a c h e   I ,   2 0 1 0 ,   M O B I C O M   1 0   &   M O B I H O C   1 0 :   P R O C E E D I N G S   O F   T H E   1 6 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G   A N D   T H E   1 1 T H   A C M   I N T E R N A T I O N A L   S Y M P O S I U M   O N   M O B I L E   A D   H O C   N E T W O R K I N G   A N D   C O M P U T I N G ,   P 1 4 9 ;   H e   S N ,   2 0 1 7 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 6 ,   P 1 8 9 7 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 6 . 2 6 0 8 9 4 6 ;   J u n   J . ,   2 0 1 3 ,   P   1 1   A C M   C   E M B   N E T W ,   P 1 4 ;   R a i   A ,   2 0 1 2 ,   M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G ,   P 2 9 3 ;   R e k l e i t i s   I .   M . ,   2 0 0 4 ,   T R C I M 0 4 0 2   M C G I L L   U ;   S h e n   G . ,   2 0 1 3 ,   P   1 0   U S E N I X   C   N E T W   S ,   P 8 5 ;   S o r o u r   S ,   2 0 1 5 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 4 ,   P 1 0 3 1 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 4 . 2 3 4 3 6 3 6 ;   W a n g   H . ,   2 0 1 2 ,   P   A C M   M O B   J U N ,   V 1 0 ,   P 1 9 7 ,   D O I   D O I   1 0 . H T T P : / / D X . D 0 I . 0 M / 1 0 . 1 1 4 5 / 2 3 0 7 6 3 6 . 2 3 0 7 6 5 5 ;   W a n g   P C ,   2 0 1 1 ,   A C M   S I G C O M M   C O M P   C O M ,   V 4 1 ,   P 3 8 6 ,   D O I   1 0 . 1 1 4 5 / 2 0 4 3 1 6 4 . 2 0 1 8 4 8 1 ;   W u   C S ,   2 0 1 5 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 4 ,   P 4 4 4 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 4 . 2 3 2 0 2 5 4 ;   X i e   H W ,   2 0 1 6 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 5 ,   P 1 8 7 7 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 5 . 2 4 8 0 0 6 4 ;   X i o n g   J . ,   2 0 1 3 ,   P   1 0   U S E N I X   C   N E T W   S ,   P 7 1 ;   Y o u s s e f   M ,   2 0 0 5 ,   P r o c e e d i n g s   o f   t h e   T h i r d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   M o b i l e   S y s t e m s ,   A p p l i c a t i o n s ,   a n d   S e r v i c e s   ( M o b i S y s   2 0 0 5 ) ,   P 2 0 5 ,   D O I   1 0 . 1 1 4 5 / 1 0 6 7 1 7 0 . 1 0 6 7 1 9 3 ;   Z a f a r i   F . ,   2 0 1 5 ,   P   I E E E   G L O B   C O M M   C   G ,   P 1 ;   Z h e n g   Y . ,   2 0 1 4 ,   P   2 0   A N N   I N T   C   M O B   C ,   P 4 7 1 	 1 9 	 0 	 0 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 0 7 3 3 - 8 7 1 6 	 1 5 5 8 - 0 0 0 8 	 	 I E E E   J   S E L   A R E A   C O M M 	 I E E E   J .   S e l .   A r e a s   C o m m u n . 	 A P R 	 2 0 1 7 	 3 5 	 4 	 	 	 	 	 8 6 3 	 8 7 9 	 	 1 0 . 1 1 0 9 / J S A C . 2 0 1 7 . 2 6 7 9 6 0 5 	 	 1 7 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 E W 0 A X 	 W O S : 0 0 0 4 0 2 1 5 1 4 0 0 0 0 4 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 Z h a n g ,   Y R ;   J i a n g ,   C J ;   S o n g ,   L Y ;   P a n ,   M ;   D a w y ,   Z ;   H a n ,   Z 	 	 	 	 Z h a n g ,   Y a n r u ;   J i a n g ,   C h u n x i a o ;   S o n g ,   L i n g y a n g ;   P a n ,   M i a o ;   D a w y ,   Z a h e r ;   H a n ,   Z h u 	 	 	 I n c e n t i v e   M e c h a n i s m   f o r   M o b i l e   C r o w d s o u r c i n g   U s i n g   a n   O p t i m i z e d   T o u r n a m e n t   M o d e l 	 I E E E   J O U R N A L   O N   S E L E C T E D   A R E A S   I N   C O M M U N I C A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M o b i l e   c r o w d s o u r c i n g ;   i n c e n t i v e   m e c h a n i s m ;   c o n t r a c t   t h e o r y ;   m o r a l   h a z a r d ;   t o u r n a m e n t 	 D E S I G N ;   C O N T R A C T S ;   C O N T E S T S 	 W i t h   t h e   w i d e   a d o p t i o n   o f   s m a r t   m o b i l e   d e v i c e s ,   t h e r e   i s   a   r a p i d   d e v e l o p m e n t   o f   l o c a t i o n - b a s e d   s e r v i c e s .   O n e   k e y   f e a t u r e   o f   s u p p o r t i n g   a   p l e a s a n t / e x c e l l e n t   s e r v i c e   i s   t h e   a c c e s s   t o   a d e q u a t e   a n d   c o m p r e h e n s i v e   d a t a ,   w h i c h   c a n   b e   o b t a i n e d   b y   m o b i l e   c r o w d s o u r c i n g .   T h e   m a i n   c h a l l e n g e   i n   c r o w d s o u r c i n g   i s   h o w   t h e   s e r v i c e   p r o v i d e r   ( p r i n c i p a l )   i n c e n t i v i z e s   a   l a r g e   g r o u p   o f   m o b i l e   u s e r s   t o   p a r t i c i p a t e .   I n   t h i s   p a p e r ,   w e   i n v e s t i g a t e   t h e   p r o b l e m   o f   d e s i g n i n g   a   c r o w d s o u r c i n g   t o u r n a m e n t   t o   m a x i m i z e   t h e   p r i n c i p a l ' s   u t i l i t y   i n   c r o w d s o u r c i n g   a n d   p r o v i d e   c o n t i n u o u s   i n c e n t i v e s   f o r   u s e r s   b y   r e w a r d i n g   t h e m   b a s e d   o n   t h e   r a n k   a c h i e v e d .   F i r s t ,   w e   m o d e l   t h e   u s e r ' s   u t i l i t y   o f   r e w a r d   f r o m   a c h i e v i n g   o n e   o f   t h e   w i n n i n g   r a n k s   i n   t h e   t o u r n a m e n t .   T h e n ,   t h e   u t i l i t y   m a x i m i z a t i o n   p r o b l e m   o f   t h e   p r i n c i p a l   i s   f o r m u l a t e d ,   u n d e r   t h e   c o n s t r a i n t   t h a t   t h e   u s e r   m a x i m i z e s   i t s   o w n   u t i l i t y   b y   c h o o s i n g   t h e   o p t i m a l   e f f o r t   i n   t h e   c r o w d s o u r c i n g   t o u r n a m e n t .   F i n a l l y ,   w e   p r e s e n t   n u m e r i c a l   r e s u l t s   t o   s h o w   t h e   p a r a m e t e r s '   i m p a c t   o n   t h e   t o u r n a m e n t   d e s i g n   a n d   c o m p a r e   t h e   s y s t e m   p e r f o r m a n c e   u n d e r   t h e   d i f f e r e n t   p r o p o s e d   i n c e n t i v e   m e c h a n i s m s .   W e   s h o w   t h a t   b y   u s i n g   t h e   t o u r n a m e n t ,   t h e   p r i n c i p a l   s u c c e s s f u l l y   m a x i m i z e s   t h e   u t i l i t i e s ,   a n d   u s e r s   o b t a i n   t h e   c o n t i n u o u s   i n c e n t i v e s   t o   p a r t i c i p a t e   i n   t h e   c r o w d s o u r c i n g   a c t i v i t y . 	 [ Z h a n g ,   Y a n r u ;   P a n ,   M i a o ;   H a n ,   Z h u ]   U n i v   H o u s t o n ,   D e p t   E l e c t   &   C o m p   E n g n ,   H o u s t o n ,   T X   7 7 0 0 4   U S A ;   [ J i a n g ,   C h u n x i a o ]   T s i n g h u a   U n i v ,   T s i n g h u a   S p a c e   C t r ,   B e i j i n g   1 0 0 0 8 4 ,   P e o p l e s   R   C h i n a ;   [ S o n g ,   L i n g y a n g ]   P e k i n g   U n i v ,   S c h   E l e c t   E n g n   &   C o m p   S c i ,   B e i j i n g   1 0 0 8 7 1 ,   P e o p l e s   R   C h i n a ;   [ D a w y ,   Z a h e r ]   A m e r   U n i v   B e i r u t ,   E l e c t   &   C o m p   E n g n   D e p t ,   B e i r u t   1 1 0 7 2 0 2 0 ,   L e b a n o n 	 Z h a n g ,   Y R   ( r e p r i n t   a u t h o r ) ,   U n i v   H o u s t o n ,   D e p t   E l e c t   &   C o m p   E n g n ,   H o u s t o n ,   T X   7 7 0 0 4   U S A . 	 y z h a n g 8 2 @ u h . e d u ;   j c h x @ t s i n g h u a . e d u . c n ;   l i n g y a n g . s o n g @ p k u . e d u . c n ;   m p a n 2 @ u h . e d u ;   z d 0 3 @ a u b . e d u . l b ;   z h a n 2 @ u h . e d u 	 	 	 U . S .   N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ C N S - 1 3 4 3 3 6 1 ,   C N S - 1 3 5 0 2 3 0 ,   C P S - 1 6 4 6 6 0 7 ] 	 T h e   w o r k   o f   M .   P a n   w a s   s u p p o r t e d   b y   t h e   U . S .   N a t i o n a l   S c i e n c e   F o u n d a t i o n   u n d e r   G r a n t   C N S - 1 3 4 3 3 6 1 ,   G r a n t   C N S - 1 3 5 0 2 3 0   ( C A R E E R ) ,   a n d   G r a n t   C P S - 1 6 4 6 6 0 7 . 	 A n g m i n   J . ,   2 0 1 1 ,   T E C H   R E P ;   A r c h a k   N . ,   2 0 0 9 ,   P   3 0   I N T   C   I N F   S Y S T ,   P 1 ;   B H A T T A C H A R Y A   S ,   1 9 8 8 ,   J   P O L I T   E C O N ,   V 9 6 ,   P 8 6 7 ,   D O I   1 0 . 1 0 8 6 / 2 6 1 5 6 7 ;   B o l t o n   P . ,   2 0 0 4 ,   C O N T R A C T   T H E O R Y ;   B u d d e   J ,   2 0 0 9 ,   J   M A T H   E C O N ,   V 4 5 ,   P 5 9 ,   D O I   1 0 . 1 0 1 6 / j . j m a t e c o . 2 0 0 8 . 0 6 . 0 0 2 ;   S i v a n   B . ,   2 0 1 2 ,   P   A C M   S I A M   S Y M   D I S C R ,   V 2 3 ,   P 8 5 6 ;   C h e n   H ,   2 0 1 1 ,   M A N A G E   S C I ,   V 5 7 ,   P 8 6 4 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 1 0 . 1 3 2 5 ;   D u a n   L J ,   2 0 1 2 ,   2 0 1 2   P R O C E E D I N G S   I E E E   I N F O C O M ,   P 1 7 0 1 ,   D O I   1 0 . 1 1 0 9 / I N F C O M . 2 0 1 2 . 6 1 9 5 5 4 1 ;   F e n g   Z ,   2 0 1 4 ,   I N T   C O N   D I S T R   C O M P   S ,   P 1 1 ,   D O I   1 0 . 1 1 0 9 / I C D C S . 2 0 1 4 . 1 0 ;   G R E E N   J R ,   1 9 8 3 ,   J   P O L I T   E C O N ,   V 9 1 ,   P 3 4 9 ,   D O I   1 0 . 1 0 8 6 / 2 6 1 1 5 3 ;   H a r b r i n g   C ,   2 0 0 3 ,   L A B O U R   E C O N ,   V 1 0 ,   P 4 4 3 ,   D O I   1 0 . 1 0 1 6 / S 0 9 2 7 - 5 3 7 1 ( 0 3 ) 0 0 0 3 4 - 4 ;   H o s s f e l d   T ,   2 0 1 4 ,   C O M P U T E R ,   V 4 7 ,   P 9 8 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 1 4 . 2 4 5 ;   K a l r a   A ,   2 0 0 1 ,   M A R K E T   S C I ,   V 2 0 ,   P 1 7 0 ,   D O I   1 0 . 1 2 8 7 / m k s c . 2 0 . 2 . 1 7 0 . 1 0 1 9 3 ;   K o n g   Q L ,   2 0 1 4 ,   I E E E   G L O B   C O M M   C O N F ,   P 4 9 0 4 ,   D O I   1 0 . 1 1 0 9 / G L O C O M . 2 0 1 4 . 7 0 3 7 5 8 2 ;   L A Z E A R   E P ,   1 9 8 1 ,   J   P O L I T   E C O N ,   V 8 9 ,   P 8 4 1 ,   D O I   1 0 . 1 0 8 6 / 2 6 1 0 1 0 ;   L i   Y . ,   I E E E   J   S E L   I N   P R E S S ;   L u o   T ,   2 0 1 4 ,   2 0 1 4   I E E E   1 1 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   A D   H O C   A N D   S E N S O R   S Y S T E M S   ( M A S S ) ,   P 1 3 6 ,   D O I   1 0 . 1 1 0 9 / M A S S . 2 0 1 4 . 6 6 ;   L u o   T ,   2 0 1 4 ,   I E E E   I N F O C O M   S E R ,   P 1 2 7 ,   D O I   1 0 . 1 1 0 9 / I N F O C O M . 2 0 1 4 . 6 8 4 7 9 3 2 ;   M u r p h y   W H ,   2 0 0 4 ,   J   A C A D   M A R K E T   S C I ,   V 3 2 ,   P 1 2 7 ,   D O I   1 0 . 1 1 7 7 / 0 0 9 2 0 7 0 3 0 3 2 6 1 5 8 2 ;   N A L E B U F F   B J ,   1 9 8 3 ,   B E L L   J   E C O N ,   V 1 4 ,   P 2 1 ,   D O I   1 0 . 2 3 0 7 / 3 0 0 3 5 3 5 ;   P o u j o l   F J ,   2 0 1 0 ,   J   P E R S   S E L L   S A L E S   M ,   V 3 0 ,   P 3 3 ,   D O I   1 0 . 2 7 5 3 / P S S 0 8 8 5 - 3 1 3 4 3 0 0 1 0 3 ;   P u l l a   V .   S .   K . ,   2 0 1 3 ,   P   2 0 1 3   I E E E   C   C O M P   C ,   P 7 5 ;   R y v k i n   D ,   2 0 0 8 ,   M A N A G E   S C I ,   V 5 4 ,   P 4 9 2 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 7 0 . 0 8 5 6 ;   S a n c h e z - C h a r l e s   D ,   2 0 1 4 ,   I E E E   I N T   F U Z Z Y   S Y S T ,   P 1 8 0 1 ,   D O I   1 0 . 1 1 0 9 / F U Z Z - I E E E . 2 0 1 4 . 6 8 9 1 8 0 7 ;   X i a o   Y Z ,   2 0 1 3 ,   I N T   C O N F   A C O U S T   S P E E ,   P 5 2 6 3 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 2 0 1 3 . 6 6 3 8 6 6 7 ;   X i e   H ,   2 0 1 4 ,   A N N   A L L E R T O N   C O N F ,   P 1 4 0 ,   D O I   1 0 . 1 1 0 9 / A L L E R T O N . 2 0 1 4 . 7 0 2 8 4 4 8 ;   Y a n g   D J ,   2 0 1 6 ,   I E E E   A C M   T   N E T W O R K ,   V 2 4 ,   P 1 7 3 2 ,   D O I   1 0 . 1 1 0 9 / T N E T . 2 0 1 5 . 2 4 2 1 8 9 7 ;   Z h a n g   X ,   2 0 1 5 ,   I E E E   I N T E R N E T   T H I N G S ,   V 2 ,   P 5 6 2 ,   D O I   1 0 . 1 1 0 9 / J I O T . 2 0 1 5 . 2 4 4 1 0 3 1 ;   Z h a n g   X L ,   2 0 1 4 ,   I E E E   T   P A R A L L   D I S T R ,   V 2 5 ,   P 3 1 9 0 ,   D O I   1 0 . 1 1 0 9 / T P D S . 2 0 1 3 . 2 2 9 7 1 1 2 ;   Z h a n g   Y R ,   2 0 1 5 ,   I E E E   W C N C ,   P 2 0 8 5 ,   D O I   1 0 . 1 1 0 9 / W C N C . 2 0 1 5 . 7 1 2 7 7 8 9 ;   Z h a n g   Y ,   2 0 1 2 ,   2 0 1 2   P R O C E E D I N G S   I E E E   I N F O C O M ,   P 2 1 4 0 ,   D O I   1 0 . 1 1 0 9 / I N F C O M . 2 0 1 2 . 6 1 9 5 5 9 7 ;   Z h a o   D ,   2 0 1 4 ,   I E E E   I N F O C O M   S E R ,   P 1 2 1 3 ,   D O I   1 0 . 1 1 0 9 / I N F O C O M . 2 0 1 4 . 6 8 4 8 0 5 3 	 3 2 	 0 	 0 	 2 	 2 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 0 7 3 3 - 8 7 1 6 	 1 5 5 8 - 0 0 0 8 	 	 I E E E   J   S E L   A R E A   C O M M 	 I E E E   J .   S e l .   A r e a s   C o m m u n . 	 A P R 	 2 0 1 7 	 3 5 	 4 	 	 	 	 	 8 8 0 	 8 9 2 	 	 1 0 . 1 1 0 9 / J S A C . 2 0 1 7 . 2 6 8 0 7 9 8 	 	 1 3 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 E W 0 A X 	 W O S : 0 0 0 4 0 2 1 5 1 4 0 0 0 0 5 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 G a n ,   X Y ;   W a n g ,   X ;   N i u ,   W H ;   H a n g ,   G ;   T i a n ,   X H ;   W a n g ,   X B ;   X u ,   J 	 	 	 	 G a n ,   X i a o y i n g ;   W a n g ,   X i o n g ;   N i u ,   W e n h a o ;   H a n g ,   G a i ;   T i a n ,   X i a o h u a ;   W a n g ,   X i n b i n g ;   X u ,   J u n 	 	 	 I n c e n t i v i z e   M u l t i - C l a s s   C r o w d   L a b e l i n g   U n d e r   B u d g e t   C o n s t r a i n t 	 I E E E   J O U R N A L   O N   S E L E C T E D   A R E A S   I N   C O M M U N I C A T I O N S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   m u l t i - c l a s s   l a b e l i n g ;   b u d g e t ;   r e v e r s e   a u c t i o n 	 A U C T I O N 	 C r o w d s o u r c i n g   s y s t e m s   a l l o c a t e   t a s k s   t o   a   g r o u p   o f   w o r k e r s   o v e r   t h e   I n t e r n e t ,   w h i c h   h a v e   b e c o m e   a n   e f f e c t i v e   p a r a d i g m   f o r   h u m a n - p o w e r e d   p r o b l e m   s o l v i n g ,   s u c h   a s   i m a g e   c l a s s i f i c a t i o n ,   o p t i c a l   c h a r a c t e r   r e c o g n i t i o n ,   a n d   p r o o f r e a d i n g .   I n   t h i s   p a p e r ,   w e   f o c u s   o n   i n c e n t i v i z i n g   c r o w d   w o r k e r s   t o   l a b e l   a   s e t   o f   m u l t i - c l a s s   l a b e l i n g   t a s k s   u n d e r   s t r i c t   b u d g e t   c o n s t r a i n t .   W e   p r o p e r l y   p r o f i l e   t h e   t a s k s '   d i f f i c u l t y   l e v e l s   a n d   w o r k e r s '   q u a l i t y   i n   c r o w d s o u r c i n g   s y s t e m s ,   w h e r e   t h e   c o l l e c t e d   l a b e l s   a r e   a g g r e g a t e d   w i t h   s e q u e n t i a l   B a y e s i a n   a p p r o a c h .   T o   s t i m u l a t e   w o r k e r s   t o   u n d e r t a k e   c r o w d   l a b e l i n g   t a s k s ,   t h e   i n t e r a c t i o n   b e t w e e n   w o r k e r s   a n d   t h e   p l a t f o r m   i s   m o d e l e d   a s   a   r e v e r s e   a u c t i o n .   W e   r e v e a l   t h a t   t h e   p l a t f o r m   u t i l i t y   m a x i m i z a t i o n   c o u l d   b e   i n t r a c t a b l e ,   f o r   w h i c h   a n   i n c e n t i v e   m e c h a n i s m   t h a t   d e t e r m i n e s   t h e   w i n n i n g   b i d   a n d   p a y m e n t s   w i t h   p o l y n o m i a l - t i m e   c o m p u t a t i o n   c o m p l e x i t y   i s   d e v e l o p e d .   M o r e o v e r ,   w e   t h e o r e t i c a l l y   p r o v e   t h a t   o u r   m e c h a n i s m   i s   t r u t h f u l ,   i n d i v i d u a l l y   r a t i o n a l ,   a n d   b u d g e t   f e a s i b l e .   T h r o u g h   e x t e n s i v e   s i m u l a t i o n s ,   w e   d e m o n s t r a t e   t h a t   o u r   m e c h a n i s m   u t i l i z e s   b u d g e t   e f f i c i e n t l y   t o   a c h i e v e   h i g h   p l a t f o r m   u t i l i t y   w i t h   p o l y n o m i a l   c o m p u t a t i o n   c o m p l e x i t y . 	 [ G a n ,   X i a o y i n g ;   W a n g ,   X i o n g ;   N i u ,   W e n h a o ;   H a n g ,   G a i ;   T i a n ,   X i a o h u a ;   W a n g ,   X i n b i n g ]   S h a n g h a i   J i a o   T o n g   U n i v ,   D e p t   E l e c t   E n g n ,   S h a n g h a i   2 0 0 2 4 0 ,   P e o p l e s   R   C h i n a ;   [ G a n ,   X i a o y i n g ]   X i d i a n   U n i v ,   S t a t e   K e y   L a b   I n t e g r a t e d   S e r v   N e t w o r k s ,   X i a n   7 1 0 0 7 1 ,   P e o p l e s   R   C h i n a ;   [ X u ,   J u n ]   G e o r g i a   I n s t   T e c h n o l ,   S c h   C o m p   S c i ,   A t l a n t a ,   G A   3 0 3 3 2   U S A 	 G a n ,   X Y   ( r e p r i n t   a u t h o r ) ,   S h a n g h a i   J i a o   T o n g   U n i v ,   D e p t   E l e c t   E n g n ,   S h a n g h a i   2 0 0 2 4 0 ,   P e o p l e s   R   C h i n a . ;   G a n ,   X Y   ( r e p r i n t   a u t h o r ) ,   X i d i a n   U n i v ,   S t a t e   K e y   L a b   I n t e g r a t e d   S e r v   N e t w o r k s ,   X i a n   7 1 0 0 7 1 ,   P e o p l e s   R   C h i n a . 	 g a n x i a o y i n g @ s j t u . e d u . c n ;   w a n g x i o n g s j t u @ s j t u . e d u . c n ;   1 1 8 7 2 0 3 1 5 5 @ s j t u . e d u . c n ;   h a n g g a i @ s j t u . e d u . c n ;   x t i a n @ s j t u . e d u . c n ;   x w a n g 8 @ s j t u . e d u . c n ;   j x @ c c . g a t e c h . e d u 	 	 	 N S F   C h i n a   [ 6 1 6 7 2 3 4 2 ,   9 1 4 3 8 1 1 5 ,   6 1 6 7 1 4 7 8 ,   6 1 5 3 2 0 1 2 ,   6 1 3 2 5 0 1 2 ,   6 1 4 2 8 2 0 5 ,   6 1 5 2 1 0 6 2 ,   6 1 5 7 2 3 1 9 ] ;   C h i n a   P o s t d o c t o r a l   S c i e n c e   F o u n d a t i o n ;   U S   N S F   [ C N S - 1 3 0 2 1 9 7 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   N S F   C h i n a   u n d e r   G r a n t   6 1 6 7 2 3 4 2 .   G r a n t   9 1 4 3 8 1 1 5 .   G r a n t   6 1 6 7 1 4 7 8 ,   G r a n t   6 1 5 3 2 0 1 2 ,   G r a n t   6 1 3 2 5 0 1 2 ,   G r a n t   6 1 4 2 8 2 0 5 ,   G r a n t   6 1 5 2 1 0 6 2 ,   a n d   G r a n t   6 1 5 7 2 3 1 9 ,   i n   p a r t   b y   t h e   C h i n a   P o s t d o c t o r a l   S c i e n c e   F o u n d a t i o n ,   a n d   i n   p a r t   b y   U S   N S F   u n d e r   G r a n t   C N S - 1 3 0 2 1 9 7 .   T h i s   p a p e r   w a s   p r e s e n t e d   a t   t h e   I E E E   I N F O C O M   2 0 1 5   [ 2 5 ] . 	 A b r a m o w i t z   M . ,   1 9 7 2 ,   H D B   M A T H   F U N C T I O N S   F ;   A h n   L . V . ,   2 0 0 6 ,   C O M P U T E R ,   V 3 9 ,   D O I   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 6 . 1 9 6 ;   A u m a n n   R o b e r t ,   1 9 9 5 ,   G A M E   E C O N   B E H A V ,   V 8 ,   P 2 6 3 ;   C h e n   X ,   2 0 1 3 ,   I C M L ,   V 2 0 1 3 ,   P 6 4 ;   D u a n   L J ,   2 0 1 4 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 3 ,   P 2 3 2 0 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 4 . 2 3 0 7 3 2 7 ;   F e n g   X X ,   2 0 1 4 ,   I E E E   T   C O M M U N ,   V 6 2 ,   P 2 6 5 1 ,   D O I   1 0 . 1 1 0 9 / T C O M M . 2 0 1 4 . 2 3 2 2 3 5 2 ;   F e n g   Z N ,   2 0 1 4 ,   I E E E   I N F O C O M   S E R ,   P 1 2 3 1 ,   D O I   1 0 . 1 1 0 9 / I N F O C O M . 2 0 1 4 . 6 8 4 8 0 5 5 ;   H e   S B ,   2 0 1 4 ,   I E E E   I N F O C O M   S E R ,   P 7 4 5 ,   D O I   1 0 . 1 1 0 9 / I N F O C O M . 2 0 1 4 . 6 8 4 8 0 0 1 ;   J a i m e s   L G ,   2 0 1 2 ,   I N T   C O N F   P E R V A S   C O M P ,   P 1 0 3 ,   D O I   1 0 . 1 1 0 9 / P e r C o m . 2 0 1 2 . 6 1 9 9 8 5 5 ;   J a i n   S ,   2 0 0 9 ,   1 0 T H   A C M   C O N F E R E N C E   O N   E L E C T R O N I C   C O M M E R C E   -   E C   2 0 0 9 ,   P 1 2 9 ;   K a r g e r   D .   R . ,   2 0 1 3 ,   P   A C M   S I G M E T R I C S   I N T ,   P 8 1 ;   K a r g e r   D .   R . ,   2 0 1 1 ,   P   A D V   N E U R   I N F   P R O C ,   P 1 9 5 3 ;   L e e   J . ,   2 0 1 0 ,   P   I E E E   I N T   C   P E R V   C O ,   P 6 0 ;   M Y E R S O N   R B ,   1 9 8 1 ,   M A T H   O P E R   R E S ,   V 6 ,   P 5 8 ,   D O I   1 0 . 1 2 8 7 / m o o r . 6 . 1 . 5 8 ;   R a y k a r   V .   C . ,   2 0 1 1 ,   P   A D V   N E U R   I N F   P R O C ,   P 1 8 0 9 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   S i n g e r   Y ,   2 0 1 0 ,   A N N   I E E E   S Y M P   F O U N D ,   P 7 6 5 ,   D O I   1 0 . 1 1 0 9 / F O C S . 2 0 1 0 . 7 8 ;   Y a n g   D J ,   2 0 1 2 ,   M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G ,   P 1 7 3 ;   Z h a n g   Q . ,   2 0 1 5 ,   P   I E E E   I N F O C O M ,   P 2 8 1 2 ;   Z h a n g   Y ,   2 0 1 2 ,   2 0 1 2   P R O C E E D I N G S   I E E E   I N F O C O M ,   P 2 1 4 0 ,   D O I   1 0 . 1 1 0 9 / I N F C O M . 2 0 1 2 . 6 1 9 5 5 9 7 	 2 0 	 0 	 0 	 1 	 1 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 0 7 3 3 - 8 7 1 6 	 1 5 5 8 - 0 0 0 8 	 	 I E E E   J   S E L   A R E A   C O M M 	 I E E E   J .   S e l .   A r e a s   C o m m u n . 	 A P R 	 2 0 1 7 	 3 5 	 4 	 	 	 	 	 8 9 3 	 9 0 5 	 	 1 0 . 1 1 0 9 / J S A C . 2 0 1 7 . 2 6 8 0 8 3 8 	 	 1 3 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 E W 0 A X 	 W O S : 0 0 0 4 0 2 1 5 1 4 0 0 0 0 6 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 W a n g ,   L L ;   L i u ,   G Z ;   S u n ,   L J 	 	 	 	 W a n g ,   L i n g l i n g ;   L i u ,   G u o z h u ;   S u n ,   L i j u n 	 	 	 A   S e c u r e   a n d   P r i v a c y - P r e s e r v i n g   N a v i g a t i o n   S c h e m e   U s i n g   S p a t i a l   C r o w d s o u r c i n g   i n   F o g - B a s e d   V A N E T s 	 S E N S O R S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 f o g - b a s e d   V A N E T s ;   r e a l - t i m e   n a v i g a t i o n ;   p r i v a c y - p r e s e r v i n g ;   s p a t i a l   c r o w d s o u r c i n g 	 P R O T O C O L ;   P A I R I N G S ;   N E T W O R K S 	 F o g - b a s e d   V A N E T s   ( V e h i c u l a r   a d   h o c   n e t w o r k s )   i s   a   n e w   p a r a d i g m   o f   v e h i c u l a r   a d   h o c   n e t w o r k s   w i t h   t h e   a d v a n t a g e s   o f   b o t h   v e h i c u l a r   c l o u d   a n d   f o g   c o m p u t i n g .   R e a l - t i m e   n a v i g a t i o n   s c h e m e s   b a s e d   o n   f o g - b a s e d   V A N E T s   c a n   p r o m o t e   t h e   s c h e m e   p e r f o r m a n c e   e f f i c i e n t l y .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   s e c u r e   a n d   p r i v a c y - p r e s e r v i n g   n a v i g a t i o n   s c h e m e   b y   u s i n g   v e h i c u l a r   s p a t i a l   c r o w d s o u r c i n g   b a s e d   o n   f o g - b a s e d   V A N E T s .   F o g   n o d e s   a r e   u s e d   t o   g e n e r a t e   a n d   r e l e a s e   t h e   c r o w d s o u r c i n g   t a s k s ,   a n d   c o o p e r a t i v e l y   f i n d   t h e   o p t i m a l   r o u t e   a c c o r d i n g   t o   t h e   r e a l - t i m e   t r a f f i c   i n f o r m a t i o n   c o l l e c t e d   b y   v e h i c l e s   i n   t h e i r   c o v e r a g e   a r e a s .   M e a n w h i l e ,   t h e   v e h i c l e   p e r f o r m i n g   t h e   c r o w d s o u r c i n g   t a s k   c a n   g e t   a   r e a s o n a b l e   r e w a r d .   T h e   q u e r y i n g   v e h i c l e   c a n   r e t r i e v e   t h e   n a v i g a t i o n   r e s u l t s   f r o m   e a c h   f o g   n o d e   s u c c e s s i v e l y   w h e n   e n t e r i n g   i t s   c o v e r a g e   a r e a ,   a n d   f o l l o w   t h e   o p t i m a l   r o u t e   t o   t h e   n e x t   f o g   n o d e   u n t i l   i t   r e a c h e s   t h e   d e s i r e d   d e s t i n a t i o n .   O u r   s c h e m e   f u l f i l l s   t h e   s e c u r i t y   a n d   p r i v a c y   r e q u i r e m e n t s   o f   a u t h e n t i c a t i o n ,   c o n f i d e n t i a l i t y   a n d   c o n d i t i o n a l   p r i v a c y   p r e s e r v a t i o n .   S o m e   c r y p t o g r a p h i c   p r i m i t i v e s ,   i n c l u d i n g   t h e   E l g a m a l   e n c r y p t i o n   a l g o r i t h m ,   A E S ,   r a n d o m i z e d   a n o n y m o u s   c r e d e n t i a l s   a n d   g r o u p   s i g n a t u r e s ,   a r e   a d o p t e d   t o   a c h i e v e   t h i s   g o a l .   F i n a l l y ,   w e   a n a l y z e   t h e   s e c u r i t y   a n d   t h e   e f f i c i e n c y   o f   t h e   p r o p o s e d   s c h e m e . 	 [ W a n g ,   L i n g l i n g ;   L i u ,   G u o z h u ;   S u n ,   L i j u n ]   Q i n g d a o   U n i v   S c i   &   T e c h n o l ,   S c h   I n f o r m a t   S c i   &   T e c h n o l ,   Q i n g d a o   2 6 6 0 6 1 ,   P e o p l e s   R   C h i n a 	 W a n g ,   L L   ( r e p r i n t   a u t h o r ) ,   Q i n g d a o   U n i v   S c i   &   T e c h n o l ,   S c h   I n f o r m a t   S c i   &   T e c h n o l ,   Q i n g d a o   2 6 6 0 6 1 ,   P e o p l e s   R   C h i n a . 	 t e a c h e r w l l @ 1 6 3 . c o m ;   L G Z _ 0 2 2 8 @ 1 6 3 . c o m ;   l i j u n s u n @ q u s t . e d u . c n 	 	 	 F u n d   P r o j e c t   o f   D o m e s t i c   V i s i t i n g   S c h o l a r s   o f   E x c e l l e n t   B a c k b o n e   T e a c h e r s   o f   H i g h e r   E d u c a t i o n   I n s t i t u t i o n s   i n   S h a n d o n g   P r o v i n c e 	 T h e   r e s e a r c h   w a s   s p o n s o r e d   b y   t h e   F u n d   P r o j e c t   o f   D o m e s t i c   V i s i t i n g   S c h o l a r s   o f   E x c e l l e n t   B a c k b o n e   T e a c h e r s   o f   H i g h e r   E d u c a t i o n   I n s t i t u t i o n s   i n   S h a n d o n g   P r o v i n c e . 	 B e h r e n d t   K . ,   2 0 0 5 ,   P   D I S T R   S A N   D I E G   C A ;   B e l l a r e   M ,   2 0 1 3 ,   L E C T   N O T E S   C O M P U T   S C ,   V 7 8 8 1 ,   P 2 9 6 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 8 3 4 8 - 9 _ 1 8 ;   B o n o m i   F . ,   2 0 1 2 ,   E D   M C C   W O R K S H   M O B   C L ,   P 1 3 ;   C a m e n i s c h   J . ,   2 0 0 2 ,   P   3   C   S E C   C O M M   N E T W ,   P 2 6 8 ;   C h a u m   D . ,   1 9 9 1 ,   P   1 0   A N N   I N T   C   T H E O R ,   P 2 5 7 ,   D O I   D O I   1 0 . 1 0 0 7 / 3 - 5 4 0 - 4 6 4 1 6 - 6 _ 2 2 ;   C h e n   L ,   2 0 0 7 ,   I N T   J   I N F   S E C U R ,   V 6 ,   P 2 1 3 ,   D O I   1 0 . 1 0 0 7 / s 1 0 2 0 7 - 0 0 6 - 0 0 1 1 - 9 ;   C h e n   P . - Y . ,   2 0 1 0 ,   P   I E E E   C U S T   I N T   C I R C ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / C I C C . 2 0 1 0 . 5 6 1 7 4 4 4 ;   C h i m   T W ,   2 0 1 4 ,   I E E E   T   C O M P U T ,   V 6 3 ,   P 5 1 0 ,   D O I   1 0 . 1 1 0 9 / T C . 2 0 1 2 . 1 8 8 ;   C h o   W . ,   2 0 1 3 ,   J   W I R E L   M O B   N E T W   U B I ,   V 4 ,   P 8 0 ;   G a l b r a i t h   S D ,   2 0 0 8 ,   D I S C R E T E   A P P L   M A T H ,   V 1 5 6 ,   P 3 1 1 3 ,   D O I   1 0 . 1 0 1 6 / j . d a m . 2 0 0 7 . 1 2 . 0 1 0 ;   G e n t r y   C ,   2 0 0 2 ,   L E C T   N O T E S   C O M P U T   S C ,   V 2 5 0 1 ,   P 5 4 8 ;   H u r   J ,   2 0 1 6 ,   I E E E   T   K N O W L   D A T A   E N ,   V 2 8 ,   P 3 1 1 3 ,   D O I   1 0 . 1 1 0 9 / T K D E . 2 0 1 6 . 2 5 8 0 1 3 9 ;   L e o n t i a d i s   I . ,   2 0 1 0 ,   P   I E E E   I N F O C O M ,   P 1 ;   L i n   X D ,   2 0 0 8 ,   I E E E   C O M M U N   M A G ,   V 4 6 ,   P 8 8 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 0 8 . 4 4 8 1 3 4 6 ;   L i n   X D ,   2 0 0 7 ,   I E E E   T   V E H   T E C H N O L ,   V 5 6 ,   P 3 4 4 2 ,   D O I   1 0 . 1 1 0 9 / T V T . 2 0 0 7 . 9 0 6 8 7 8 ;   L i n   X D ,   2 0 0 8 ,   I E E E   T   W I R E L   C O M M U N ,   V 7 ,   P 4 9 8 7 ,   D O I   1 0 . 1 1 0 9 / T - W C . 2 0 0 8 . 0 7 0 7 7 3 ;   L i u   C G ,   2 0 1 3 ,   J   H I G H   S P E E D   N E T W ,   V 1 9 ,   P 3 1 1 ,   D O I   1 0 . 3 2 3 3 / J H S - 1 3 0 4 8 0 ;   L u   R X ,   2 0 0 9 ,   I E E E   I N F O C O M   S E R ,   P 1 4 1 3 ,   D O I   1 0 . 1 1 0 9 / I N F C O M . 2 0 0 9 . 5 0 6 2 0 5 7 ;   L u   R X ,   2 0 0 9 ,   I E E E   T   V E H   T E C H N O L ,   V 5 8 ,   P 1 4 5 4 ,   D O I   1 0 . 1 1 0 9 / T V T . 2 0 0 8 . 9 2 5 3 0 4 ;   L u a n   T .   H . ,   2 0 1 5 ,   A R X I V 1 5 0 2 0 1 8 1 5 ;   M a o   B . ,   2 0 1 3 ,   I E E E   T   C O M P U T ,   V 2 5 ,   P 1 7 7 5 ;   M i y a j i   A ,   2 0 0 1 ,   I E I C E   T   F U N D   E L E C T R ,   V E 8 4 A ,   P 1 2 3 4 ;   N i   J .   B . ,   2 0 1 6 ,   P   I E E E   8 4   V E H   T E C H N ;   O l a r i u   S . ,   2 0 1 3 ,   N E X T   P A R A D I G M   S H I F T ,   P 6 4 5 ;   P o i n t c h e v a l   D . ,   2 0 1 6 ,   P   C T   R S A   2 0 1 6   S A N   F R ,   V 9 6 1 0 ,   P 1 1 1 ;   S C H N O R R   C P ,   1 9 9 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 4 3 4 ,   P 6 8 8 ;   S c o t t   M . ,   E F F I C I E N T   I M P L E M E N T A ;   S u r   C ,   2 0 1 6 ,   I N T   J   C O M P U T   M A T H ,   V 9 3 ,   P 3 2 5 ,   D O I   1 0 . 1 0 8 0 / 0 0 2 0 7 1 6 0 . 2 0 1 4 . 9 3 4 6 8 5 ;   Y a n   G J ,   2 0 1 3 ,   I E E E   T   I N T E L L   T R A N S P ,   V 1 4 ,   P 2 8 4 ,   D O I   1 0 . 1 1 0 9 / T I T S . 2 0 1 2 . 2 2 1 1 8 7 0 ;   Y a n   Z ,   2 0 1 6 ,   I E E E   C L O U D   C O M P U T ,   V 3 ,   P 2 8 ,   D O I   1 0 . 1 1 0 9 / M C C . 2 0 1 6 . 2 9 ;   Y u   R ,   2 0 1 3 ,   I E E E   N E T W O R K ,   V 2 7 ,   P 4 8 ,   D O I   1 0 . 1 1 0 9 / M N E T . 2 0 1 3 . 6 6 1 6 1 1 5 ;   Z h e n g   J .   R . ,   2 0 1 5 ,   C H I N A   D A I L Y ;   [ A n o n y m o u s ] ,   1 9 9 5 ,   G L O B A L   P O S I T I O N I N G   S 	 3 3 	 0 	 0 	 0 	 0 	 M D P I   A G 	 B A S E L 	 S T   A L B A N - A N L A G E   6 6 ,   C H - 4 0 5 2   B A S E L ,   S W I T Z E R L A N D 	 1 4 2 4 - 8 2 2 0 	 	 	 S E N S O R S - B A S E L 	 S e n s o r s 	 A P R 	 2 0 1 7 	 1 7 	 4 	 	 	 	 	 	 	 6 6 8 	 1 0 . 3 3 9 0 / s 1 7 0 4 0 6 6 8 	 	 1 5 	 C h e m i s t r y ,   A n a l y t i c a l ;   E l e c t r o c h e m i s t r y ;   I n s t r u m e n t s   &   I n s t r u m e n t a t i o n 	 C h e m i s t r y ;   E l e c t r o c h e m i s t r y ;   I n s t r u m e n t s   &   I n s t r u m e n t a t i o n 	 E U 1 Y U 	 W O S : 0 0 0 4 0 0 8 2 2 9 0 0 0 0 9 	 	 g o l d 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 Z h o u ,   B D ;   L i ,   Q Q ;   M a o ,   Q Z ;   T u ,   W 	 	 	 	 Z h o u ,   B a o d i n g ;   L i ,   Q i n g q u a n ;   M a o ,   Q i n g z h o u ;   T u ,   W e i 	 	 	 A   R o b u s t   C r o w d s o u r c i n g - B a s e d   I n d o o r   L o c a l i z a t i o n   S y s t e m 	 S E N S O R S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 i n d o o r   l o c a l i z a t i o n ;   c r o w d s o u r c i n g ;   r a d i o   m a p ;   s m a r t p h o n e 	 N A V I G A T I O N 	 W i F i   f i n g e r p r i n t i n g - b a s e d   i n d o o r   l o c a l i z a t i o n   h a s   b e e n   w i d e l y   u s e d   d u e   t o   i t s   s i m p l i c i t y   a n d   c a n   b e   i m p l e m e n t e d   o n   t h e   s m a r t p h o n e s .   T h e   m a j o r   d r a w b a c k   o f   W i F i   f i n g e r p r i n t i n g   i s   t h a t   t h e   r a d i o   m a p   c o n s t r u c t i o n   i s   v e r y   l a b o r - i n t e n s i v e   a n d   t i m e - c o n s u m i n g .   A n o t h e r   d r a w b a c k   o f   W i F i   f i n g e r p r i n t i n g   i s   t h e   R e c e i v e d   S i g n a l   S t r e n g t h   ( R S S )   v a r i a n c e   p r o b l e m ,   c a u s e d   b y   e n v i r o n m e n t a l   c h a n g e s   a n d   d e v i c e   d i v e r s i t y .   R S S   v a r i a n c e   s e v e r e l y   d e g r a d e s   t h e   l o c a l i z a t i o n   a c c u r a c y .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   r o b u s t   c r o w d s o u r c i n g - b a s e d   i n d o o r   l o c a l i z a t i o n   s y s t e m   ( R C I L S ) .   R C I L S   c a n   a u t o m a t i c a l l y   c o n s t r u c t   t h e   r a d i o   m a p   u s i n g   c r o w d s o u r c i n g   d a t a   c o l l e c t e d   b y   s m a r t p h o n e s .   R C I L S   a b s t r a c t s   t h e   i n d o o r   m a p   a s   t h e   s e m a n t i c s   g r a p h   i n   w h i c h   t h e   e d g e s   a r e   t h e   p o s s i b l e   u s e r   p a t h s   a n d   t h e   v e r t e x e s   a r e   t h e   l o c a t i o n   w h e r e   u s e r s   m a y   t a k e   s p e c i a l   a c t i v i t i e s .   R C I L S   e x t r a c t s   t h e   a c t i v i t y   s e q u e n c e   c o n t a i n e d   i n   t h e   t r a j e c t o r i e s   b y   a c t i v i t y   d e t e c t i o n   a n d   p e d e s t r i a n   d e a d - r e c k o n i n g .   B a s e d   o n   t h e   s e m a n t i c s   g r a p h   a n d   a c t i v i t y   s e q u e n c e ,   c r o w d s o u r c i n g   t r a j e c t o r i e s   c a n   b e   l o c a t e d   a n d   a   r a d i o   m a p   i s   c o n s t r u c t e d   b a s e d   o n   t h e   l o c a l i z a t i o n   r e s u l t s .   F o r   t h e   R S S   v a r i a n c e   p r o b l e m ,   R C I L S   u s e s   t h e   t r a j e c t o r y   f i n g e r p r i n t   m o d e l   f o r   i n d o o r   l o c a l i z a t i o n .   D u r i n g   o n l i n e   l o c a l i z a t i o n ,   R C I L S   o b t a i n s   a n   R S S   s e q u e n c e   a n d   r e a l i z e s   l o c a l i z a t i o n   b y   m a t c h i n g   t h e   R S S   s e q u e n c e   w i t h   t h e   r a d i o   m a p .   T o   e v a l u a t e   R C I L S ,   w e   a p p l y   R C I L S   i n   a n   o f f i c e   b u i l d i n g .   E x p e r i m e n t   r e s u l t s   d e m o n s t r a t e   t h e   e f f i c i e n c y   a n d   r o b u s t n e s s   o f   R C I L S . 	 [ Z h o u ,   B a o d i n g ;   L i ,   Q i n g q u a n ;   T u ,   W e i ]   S h e n z h e n   U n i v ,   S h e n z h e n   K e y   L a b   S p a t i a l   S m a r t   S e n s i n g   &   S e r v ,   S h e n z h e n   5 1 8 0 6 0 ,   P e o p l e s   R   C h i n a ;   [ Z h o u ,   B a o d i n g ;   L i ,   Q i n g q u a n ;   T u ,   W e i ]   S h e n z h e n   U n i v ,   N a t l   A d m   S u r v e y i n g   M a p p i n g   &   G e o i n f o r m a t ,   K e y   L a b   G e o e n v i r o n m   M o n i t o r i n g   C o a s t a l   Z o n e ,   S h e n z h e n   5 1 8 0 6 0 ,   P e o p l e s   R   C h i n a ;   [ M a o ,   Q i n g z h o u ]   W u h a n   U n i v ,   S t a t e   K e y   L a b   I n f o r m a t   E n g n   S u r v e y i n g   M a p p i n g   &   R ,   W u h a n   4 3 0 0 7 9 ,   P e o p l e s   R   C h i n a 	 L i ,   Q Q ;   T u ,   W   ( r e p r i n t   a u t h o r ) ,   S h e n z h e n   U n i v ,   S h e n z h e n   K e y   L a b   S p a t i a l   S m a r t   S e n s i n g   &   S e r v ,   S h e n z h e n   5 1 8 0 6 0 ,   P e o p l e s   R   C h i n a . ;   L i ,   Q Q ;   T u ,   W   ( r e p r i n t   a u t h o r ) ,   S h e n z h e n   U n i v ,   N a t l   A d m   S u r v e y i n g   M a p p i n g   &   G e o i n f o r m a t ,   K e y   L a b   G e o e n v i r o n m   M o n i t o r i n g   C o a s t a l   Z o n e ,   S h e n z h e n   5 1 8 0 6 0 ,   P e o p l e s   R   C h i n a . 	 b d z h o u @ s z u . e d u . c n ;   l i q q @ s z u . e d u . c n ;   q z h m a o @ w h u . e d u . c n ;   t u w e i @ s z u . e d u . c n 	 	 	 N a t i o n a l   K e y   R e s e a r c h   D e v e l o p m e n t   P r o g r a m   o f   C h i n a   [ 2 0 1 6 Y F B 0 5 0 2 2 0 3 ] ;   C h i n a   P o s t d o c t o r a l   S c i e n c e   F o u n d a t i o n   [ 2 0 1 5 M 5 8 0 7 3 2 ,   2 0 1 6 T 9 0 8 0 0 ] ;   O p e n   R e s e a r c h   F u n d   P r o g r a m   o f   S t a t e   K e y   L a b o r a t o r y   o f   I n f o r m a t i o n   E n g i n e e r i n g   i n   S u r v e y i n g ,   M a p p i n g ,   a n d   R e m o t e   S e n s i n g   [ 1 6 I 0 2 ] ;   S h e n z h e n   F u t u r e   I n d u s t r y   D e v e l o p m e n t   F u n d i n g   P r o g r a m   [ 2 0 1 5 0 7 2 1 1 2 1 9 2 4 7 8 6 0 ] ;   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 4 1 3 7 1 3 7 7 ,   9 1 5 4 6 1 0 6 ,   4 1 4 0 1 4 4 4 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   N a t i o n a l   K e y   R e s e a r c h   D e v e l o p m e n t   P r o g r a m   o f   C h i n a   ( 2 0 1 6 Y F B 0 5 0 2 2 0 3 ) ;   b y   t h e   C h i n a   P o s t d o c t o r a l   S c i e n c e   F o u n d a t i o n   ( 2 0 1 5 M 5 8 0 7 3 2 ,   2 0 1 6 T 9 0 8 0 0 ) ;   b y   t h e   O p e n   R e s e a r c h   F u n d   P r o g r a m   o f   S t a t e   K e y   L a b o r a t o r y   o f   I n f o r m a t i o n   E n g i n e e r i n g   i n   S u r v e y i n g ,   M a p p i n g ,   a n d   R e m o t e   S e n s i n g   ( 1 6 I 0 2 ) ;   b y   t h e   S h e n z h e n   F u t u r e   I n d u s t r y   D e v e l o p m e n t   F u n d i n g   P r o g r a m   ( 2 0 1 5 0 7 2 1 1 2 1 9 2 4 7 8 6 0 ) ;   a n d   b y   t h e   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   ( 4 1 3 7 1 3 7 7 ,   9 1 5 4 6 1 0 6 ,   4 1 4 0 1 4 4 4 ) . 	 B a h l   P . ,   2 0 0 0 ,   I E E E   I N F O C O M ,   V 2 ,   P 7 7 5 ,   D O I   D O I   1 0 . 1 1 0 9 / I N F C 0 M . 2 0 0 0 . 8 3 2 2 5 2 ;   B a r g h   M .   S . ,   2 0 0 8 ,   P   1   A C M   I N T   W O R K S H   M ,   P 4 9 ,   D O I   1 0 . 1 1 4 5 / 1 4 1 0 0 1 2 . 1 4 1 0 0 2 4 ;   B o l l i g e r   P . ,   2 0 0 8 ,   P   1   A C M   I N T   W O R K S H   M ,   P 5 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 1 0 0 1 2 . 1 4 1 0 0 2 5 ;   B o l l i g e r   P ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 5 6 1 ,   P 3 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 1 7 2 1 - 6 _ 3 ;   C h i n t a l a p u d i   K ,   2 0 1 0 ,   M O B I C O M   1 0   &   M O B I H O C   1 0 :   P R O C E E D I N G S   O F   T H E   1 6 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G   A N D   T H E   1 1 T H   A C M   I N T E R N A T I O N A L   S Y M P O S I U M   O N   M O B I L E   A D   H O C   N E T W O R K I N G   A N D   C O M P U T I N G ,   P 1 7 3 ;   C h o   D .   K . ,   2 0 1 0 ,   P   I E E E   I N T   C   P E R V   C O ,   P 1 1 6 ;   G o s w a m i   A . ,   2 0 1 1 ,   P   7   C   E M   N E T W   E X P E R I ;   H a n   D . ,   2 0 1 4 ,   P   I E E E   I N T   C   I N D   P O S ,   P 6 1 5 ;   H a n   D ,   2 0 1 4 ,   I E E E   P E R V A S   C O M P U T ,   V 1 3 ,   P 7 2 ,   D O I   1 0 . 1 1 0 9 / M P R V . 2 0 1 4 . 2 4 ;   H e   S N ,   2 0 1 6 ,   I E E E   C O M M U N   S U R V   T U T ,   V 1 8 ,   P 4 6 6 ,   D O I   1 0 . 1 1 0 9 / C O M S T . 2 0 1 5 . 2 4 6 4 0 8 4 ;   H o s s a i n   A K M M ,   2 0 1 5 ,   C O M P U T   C O M M U N ,   V 6 6 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . c o m c o m . 2 0 1 5 . 0 3 . 0 0 1 ;   J u n g   S H ,   2 0 1 7 ,   I E E E   T   I N T E L L   T R A N S P ,   V 1 8 ,   P 8 8 0 ,   D O I   1 0 . 1 1 0 9 / T I T S . 2 0 1 6 . 2 5 9 4 4 7 9 ;   K i m   Y ,   2 0 1 5 ,   C O M P U T   C O M M U N ,   V 6 0 ,   P 8 6 ,   D O I   1 0 . 1 0 1 6 / j . c o m c o m . 2 0 1 4 . 1 1 . 0 0 6 ;   K i m   Y ,   2 0 1 2 ,   I E E E   T   S Y S T   M A N   C Y   C ,   V 4 2 ,   P 1 1 2 ,   D O I   1 0 . 1 1 0 9 / T S M C C . 2 0 1 0 . 2 0 9 3 5 1 6 ;   L i u   H ,   2 0 0 7 ,   I E E E   T   S Y S T   M A N   C Y   C ,   V 3 7 ,   P 1 0 6 7 ,   D O I   1 0 . 1 1 0 9 / T S M C C . 2 0 0 7 . 9 0 5 7 5 0 ;   L i u   J B ,   2 0 1 2 ,   S E N S O R S - B A S E L ,   V 1 2 ,   P 1 7 2 0 8 ,   D O I   1 0 . 3 3 9 0 / s 1 2 1 2 1 7 2 0 8 ;   M l a d e n o v   M . ,   2 0 0 9 ,   P   1   I N T   W O R K S H   C O N T ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 5 5 4 2 3 3 . 1 5 5 4 2 3 5 ;   N i   L M ,   2 0 0 4 ,   W I R E L   N E T W ,   V 1 0 ,   P 7 0 1 ,   D O I   1 0 . 1 0 2 3 / B : W I N E . 0 0 0 0 0 4 4 0 2 9 . 0 6 3 4 4 . d d ;   W a n g   H . ,   2 0 1 2 ,   P   1 0   I N T   C   M O B   S Y S T ,   P 1 9 7 ;   P a r k   J . - g . ,   2 0 1 0 ,   P   8   I N T   C   M O B   S Y S T   A ,   P 2 7 1 ,   D O I   1 0 . 1 1 4 5 / 1 8 1 4 4 3 3 . 1 8 1 4 4 6 1 ;   R a i   A ,   2 0 1 2 ,   M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G ,   P 2 9 3 ;   S h a n g   J G ,   2 0 1 6 ,   S E N S O R S - B A S E L ,   V 1 6 ,   D O I   1 0 . 3 3 9 0 / s 1 6 1 2 2 1 3 7 ;   S t e l i o s   M .   A . ,   2 0 0 8 ,   P   6   I N T   C   A D V   M O B   C O ,   P 1 7 8 ,   D O I   1 0 . 1 1 4 5 / 1 4 9 7 1 8 5 . 1 4 9 7 2 2 3 ;   W o o d m a n   O ,   2 0 0 9 ,   L E C T   N O T E S   C O M P U T   S C ,   V 5 5 3 8 ,   P 2 3 8 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 0 1 5 1 6 - 8 _ 1 7 ;   W u   C S ,   2 0 1 5 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 4 ,   P 4 4 4 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 4 . 2 3 2 0 2 5 4 ;   W u   C S ,   2 0 1 3 ,   I E E E   T   P A R A L L   D I S T R ,   V 2 4 ,   P 8 3 9 ,   D O I   1 0 . 1 1 0 9 / T P D S . 2 0 1 2 . 1 7 9 ;   Y a n g   Z ,   2 0 1 2 ,   M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G ,   P 2 6 9 ;   Y e   X . ,   2 0 1 6 ,   P   2 0 1 6   1 3   A N N   I E E E   I ,   P 1 ;   Z h a n g   C ,   2 0 1 5 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 4 ,   P 3 8 7 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 4 . 2 3 1 9 8 2 4 ;   Z h o u   B D ,   2 0 1 5 ,   I E E E   T   I N T E L L   T R A N S P ,   V 1 6 ,   P 2 7 7 4 ,   D O I   1 0 . 1 1 0 9 / T I T S . 2 0 1 5 . 2 4 2 3 3 2 6 ;   Z h o u   B D ,   2 0 1 5 ,   I E E E   T   H U M - M A C H   S Y S T ,   V 4 5 ,   P 5 6 2 ,   D O I   1 0 . 1 1 0 9 / T H M S . 2 0 1 4 . 2 3 6 8 0 9 2 	 3 1 	 0 	 0 	 1 	 1 	 M D P I   A G 	 B A S E L 	 S T   A L B A N - A N L A G E   6 6 ,   C H - 4 0 5 2   B A S E L ,   S W I T Z E R L A N D 	 1 4 2 4 - 8 2 2 0 	 	 	 S E N S O R S - B A S E L 	 S e n s o r s 	 A P R 	 2 0 1 7 	 1 7 	 4 	 	 	 	 	 	 	 8 6 4 	 1 0 . 3 3 9 0 / s 1 7 0 4 0 8 6 4 	 	 1 6 	 C h e m i s t r y ,   A n a l y t i c a l ;   E l e c t r o c h e m i s t r y ;   I n s t r u m e n t s   &   I n s t r u m e n t a t i o n 	 C h e m i s t r y ;   E l e c t r o c h e m i s t r y ;   I n s t r u m e n t s   &   I n s t r u m e n t a t i o n 	 E U 1 Y U 	 W O S : 0 0 0 4 0 0 8 2 2 9 0 0 2 0 5 	 	 g o l d 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 S i r i b a ,   D N ;   D a l y o t ,   S 	 	 	 	 S i r i b a ,   D a v i d   N . ;   D a l y o t ,   S a g i 	 	 	 A d o p t i o n   o f   v o l u n t e e r e d   g e o g r a p h i c   i n f o r m a t i o n   i n t o   t h e   f o r m a l   l a n d   a d m i n i s t r a t i o n   s y s t e m   i n   K e n y a 	 L A N D   U S E   P O L I C Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C o m m u n i t y - l e d   l a n d   m a p p i n g ;   F o r m a l i z a t i o n ;   I n t e g r a t i o n ;   L a n d   a d m i n i s t r a t i o n ;   V G I ;   C r o w d s o u r c i n g 	 D O M A I N   M O D E L 	 I n d i v i d u a l i z a t i o n   o f   t e n u r e   t h r o u g h   t i t l e   r e g i s t r a t i o n   p r o g r a m m e s   i n t r o d u c e d   i n   m a n y   A f r i c a n   c o u n t r i e s   a f t e r   i n d e p e n d e n c e   w i t h   t h e   p r o m i s e   o f   s e c u r i t y   o f   t e n u r e   a n d   i n c r e a s e d   a g r i c u l t u r a l   p r o d u c t i v i t y   h a s ,   i n s t e a d ,   h a d   t h e   o p p o s i t e   e f f e c t .   I n f o r m a l   l a n d   a r r a n g e m e n t s   c o n t i n u e   t o   e m e r g e   a s   a   r e s u l t   o f   t h e   s l o w   p a c e   o f   l a n d   a d j u d i c a t i o n   ( f o r m a l i z a t i o n )   a n d   u p d a t i n g   o f   l a n d   i n f o r m a t i o n   s y s t e m s .   T h e   t r e n d   t o w a r d s   c o m p u t e r i z a t i o n   o f   l a n d   i n f o r m a t i o n   s y s t e m s   h a s   o n l y   p u t   f o c u s   o n   a l r e a d y   e x i s t i n g   f o r m a l   l a n d   t e n u r e   a r r a n g e m e n t s ,   l e a v i n g   o u t   t h e   i n f o r m a l   s o c i a l   t e n u r e   a r r a n g e m e n t s .   A s   a   r e s u l t ,   t h e r e   a r e   n o w   m a n y   e f f o r t s   w o r l d w i d e   m o t i v a t e d   b y   t h e   i n t r o d u c t i o n   o f   t h e   S o c i a l   T e n u r e   D o m a i n   M o d e l   ( S T D M ) ,   a n d   f r e e l y   a v a i l a b l e   a n d   e a s y - t o - u s e   t e c h n o l o g y   t o o l s   t o   i d e n t i f y ,   d o c u m e n t   a n d   m a p   l a n d   i n   s u p p o r t   o f   i n f o r m a l   l a n d   a d m i n i s t r a t i o n   a r r a n g e m e n t s .   A c t i o n s   a r e   m a d e   t o w a r d s   t h e   u s e   o f   c o m m u n i t y - g e n e r a t e d   i n f o r m a t i o n   t o   s u p p o r t   l a n d   a d m i n i s t r a t i o n .   U s i n g   t h e o r i e s   f r o m   t h e   i n t e r p l a y   b e t w e e n   f o r m a l   a n d   i n f o r m a l   i n s t i t u t i o n s ,   t h i s   p a p e r   d i s c u s s e s   t h e   p o t e n t i a l   o u t c o m e s   i n   a d o p t i n g   V o l u n t e e r e d   G e o g r a p h i c   I n f o r m a t i o n   ( V G I )   i n   l a n d   a d m i n i s t r a t i o n   i n   K e n y a .   T w o   c a s e   s t u d i e s   a r e   p r e s e n t e d   t h a t   d e m o n s t r a t e   t h e   c o m p l e m e n t a r y - a c c o m m o d a t i n g ,   v e r s u s   t h e   s u b s t i t u t i v e - c o m p e t i n g   a p p r o a c h e s .   T h e s e   a r e   t h e n   c o m p a r e d   w i t h   t h e   f o r m a l   l a n d   a d j u d i c a t i o n   p r o c e s s   i n   K e n y a .   I t   i s   e s t a b l i s h e d   t h a t   b e c a u s e   o f   t h e   d i r e c t   i n v o l v e m e n t   o f   t h e   n a t i o n a l   m a p p i n g   a g e n c y   i n   l a n d   a d j u d i c a t i o n   w h e r e   V G I   i s   u t i l i z e d ,   t h e   o u t c o m e   i s   a   c a s e   o f   f o r m a l   a d o p t i o n   o f   V G I ,   w h i l e   i n   t h e   o t h e r   c a s e ,   w h e r e   t h e r e   i s   l i t t l e   o r   n o   i n v o l v e m e n t   b y   t h e   n a t i o n a l   m a p p i n g   a g e n c y ,   t h e   o u t c o m e   i s   m o r e   o f   c o m p e t i t i o n   a n d   s u b s t i t u t i o n .   T h e   l a t t e r   i s   a n   e x a m p l e   i n   w h i c h   t h e   V G I   i s   u s e d   j u s t   l i k e   a n y   o t h e r   i n f o r m a t i o n   t o   i n f o r m   p o l i c y   m a k i n g ,   r a t h e r   t h a n   t a k i n g   i t   a s   t h e   a u t h o r i t a t i v e   s o u r c e .   W e   a r g u e   t h a t   s i n c e   i n f o r m a l i t y   i s   -   a n d   w i l l   a l w a y s   b e   -   p a r t   a n d   p a r c e l   o f   l a n d   a d m i n i s t r a t i o n   i n   m a n y   A f r i c a n   c o u n t r i e s   a s   a   r e s u l t   o f   i n g r a i n e d   s o c i a l   r e l a t i o n s   a n d   p o w e r   s t r u c t u r e s ,   a d o p t i n g   c r o w d s o u r c e d   l a n d   i n f o r m a t i o n   i n t o   e x i s t i n g   f o r m a l   l a n d   a d m i n i s t r a t i o n   s y s t e m s   s h o u l d   c o n s i d e r   t h e   p a r t i c u l a r   l a n d   a d m i n i s t r a t i o n   p r o c e s s ,   s a t i s f y i n g   i n n a t e   d e m a n d s   a n d   r e q u i r e m e n t s ,   t h u s   r e - e n g i n e e r e d   t o   a c c o m m o d a t e   V G I .   ( C )   2 0 1 7   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ S i r i b a ,   D a v i d   N . ]   U n i v   N a i r o b i ,   D e p t   G e o s p a t i a l   &   S p a c e   T e c h n o l ,   P O B   3 0 1 9 7 ,   N a i r o b i   0 0 1 0 0 ,   K e n y a ;   [ D a l y o t ,   S a g i ]   T e c h n i o n   I s r a e l   I n s t   T e c h n o l ,   F a c   C i v i l   &   E n v i r o n m   E n g n ,   T r a n s p o r t a t   &   G e o i n f o r m a t   E n g n ,   I L - 3 2 0 0 0   H a i f a ,   I s r a e l 	 D a l y o t ,   S   ( r e p r i n t   a u t h o r ) ,   T e c h n i o n   I s r a e l   I n s t   T e c h n o l ,   F a c   C i v i l   &   E n v i r o n m   E n g n ,   T r a n s p o r t a t   &   G e o i n f o r m a t   E n g n ,   I L - 3 2 0 0 0   H a i f a ,   I s r a e l . 	 d n s i r i b a @ u o n b i . a c . k e ;   d a l y o t @ t e c h n i o n . a c . i l 	 	 	 	 	 A r s a n j a n i   J J . ,   2 0 1 5 ,   O P E N S T R E E T M A P   G L S C I E ;   A u g u s t i n u s   A ,   2 0 1 0 ,   P   2 4   F I G   I N T   C   2 0 1 0 ;   B a j p a i   V . ,   2 0 1 3 ,   E M   T R E N D S   A P P L   C O M P ,   P 5 8 ;   B e s t e m a n   V . ,   1 9 9 4 ,   J   I N T   A F R   I ,   V 6 4 ,   P 4 8 4 ;   B r a b h a m   D C ,   2 0 0 8 ,   C O N V E R G E N C E - U S ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   D e   S o t o   H e r n a n d o ,   2 0 0 3 ,   M Y S T E R Y   C A P I T A L   W H Y ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F a i r b a i r n   D . ,   2 0 1 5 ,   2 7   I N T   C A R T   C   1 6   G E N ;   F I G ,   2 0 1 4 ,   F I G   P U B L I C A T I O N ,   V 6 0 ;   H a k l a y   M . ,   2 0 1 4 ,   C R O W D S O U R C E D   G E O G R A P ;   H a r v e y   F . ,   2 0 1 3 ,   C R O W D S O U R C I N G   G E O G R A ,   P 3 0 ;   H E L M K E   G ,   2 0 0 4 ,   P E R S P E C T I V E S   P O L I T I C ,   V 0 0 0 2 ;   I S O ,   2 0 1 2 ,   1 9 1 5 2   I S O ;   K a r a n j a   I ,   2 0 1 0 ,   E N V I R O N   U R B A N ,   V 2 2 ,   P 2 1 7 ,   D O I   1 0 . 1 1 7 7 / 0 9 5 6 2 4 7 8 0 9 3 6 2 6 4 2 ;   K u r i a ,   2 0 1 5 ,   K I J   N Y A N D   P U B L   L A N D ;   L e m m e n   C . ,   2 0 1 0 ,   S O C I A L   T E N U R E   D O M A I N ,   V 5 2 ;   L e m m e n   C ,   2 0 1 5 ,   L A N D   U S E   P O L I C Y ,   V 4 9 ,   P 5 3 5 ,   D O I   1 0 . 1 0 1 6 / j . l a n d u s e p o l . 2 0 1 5 . 0 1 . 0 1 4 ;   M c L a r e n   R . ,   2 0 1 1 ,   I N T   F E D E R A T I O N   S U R V E ;   N a v r a t i l   G . ,   2 0 1 3 ,   I N T   A R C H   P H O T O G R A M M E ,   V X L - 2 ;   N e w m a n   G ,   2 0 1 1 ,   E C O L   I N F O R M ,   V 6 ,   P 2 1 7 ,   D O I   1 0 . 1 0 1 6 / j . e c o i n f . 2 0 1 1 . 0 3 . 0 0 2 ;   N a t i o n a l   R e s e a r c h   C o u n c i l   ( N R C ) ,   1 9 9 3 ,   C O O R D   S P A T   D A T   I N F R ;   O l t e a n u - R a i m o n d   A .   - M . ,   2 0 1 6 ,   T   G I S ,   D O I   h t t p : / / d x . d o i . o r g / 1 0 . 1 1 1 1 / t g i s . 1 2 1 8 9 ;   P a n e k   J . ,   2 0 1 5 ,   E L E C T   J   I N F O R M   S Y S T E ,   V 6 8 ,   P 1 ;   S c h a e f e r   P . ,   2 0 1 4 ,   P O L I C Y   A N A L   N O   7 6 5 ,   P 1 5 7 ;   U N D P ,   2 0 1 4 ,   I N F   J U S T   S Y S T   C H A R T ;   v a n   O o s t e r o m   P ,   2 0 1 5 ,   L A N D   U S E   P O L I C Y ,   V 4 9 ,   P 5 2 7 ,   D O I   1 0 . 1 0 1 6 / j . l a n d u s e p o l . 2 0 1 5 . 0 9 . 0 3 2 ;   v a n   T a t e n h o v e   I . ,   2 0 0 6 ,   P E R S P E C T   E U R   P O L I T I C ,   V 7 ,   P 8 ;   W i l l i a m s o n   I . ,   2 0 1 0 ,   L A N D   A D M   S U S T A I N A B L E 	 2 8 	 0 	 0 	 0 	 0 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 0 2 6 4 - 8 3 7 7 	 1 8 7 3 - 5 7 5 4 	 	 L A N D   U S E   P O L I C Y 	 L a n d   U s e   P o l . 	 A P R 	 2 0 1 7 	 6 3 	 	 	 	 	 	 2 7 9 	 2 8 7 	 	 1 0 . 1 0 1 6 / j . l a n d u s e p o l . 2 0 1 7 . 0 1 . 0 3 6 	 	 9 	 E n v i r o n m e n t a l   S t u d i e s 	 E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y 	 E U 9 Z Q 	 W O S : 0 0 0 4 0 1 3 9 8 6 0 0 0 2 6 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 P e t e r s ,   S A E ;   D u n f o r d ,   E ;   W a r e ,   L J ;   H a r r i s ,   T ;   W a l k e r ,   A ;   W i c k s ,   M ;   V a n   Z y l ,   T ;   S w a n e p o e l ,   B ;   C h a r l t o n ,   K E ;   W o o d w a r d ,   M ;   W e b s t e r ,   J ;   N e a l ,   B 	 	 	 	 P e t e r s ,   S a n n e   A .   E . ;   D u n f o r d ,   E l i z a b e t h ;   W a r e ,   L i s a   J . ;   H a r r i s ,   T e r e s a ;   W a l k e r ,   A d e l e ;   W i c k s ,   M a r i a a n ;   v a n   Z y l ,   T e r t i a ;   S w a n e p o e l ,   B i a n c a ;   C h a r l t o n ,   K a r e n   E . ;   W o o d w a r d ,   M a r k ;   W e b s t e r ,   J a c q u i ;   N e a l ,   B r u c e 	 	 	 T h e   S o d i u m   C o n t e n t   o f   P r o c e s s e d   F o o d s   i n   S o u t h   A f r i c a   d u r i n g   t h e   I n t r o d u c t i o n   o f   M a n d a t o r y   S o d i u m   L i m i t s 	 N U T R I E N T S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 s a l t   i n t a k e ;   s o d i u m   l e g i s l a t i o n ;   S o u t h   A f r i c a ;   p a c k a g e d   f o o d ;   n u t r i t i o n a l   c o m p o s i t i o n 	 S A L T   R E D U C T I O N   I N I T I A T I V E S ;   C A R D I O V A S C U L A R - D I S E A S E ;   P R O G R A M S ;   P O P U L A T I O N ;   P O T A S S I U M ;   T A R G E T S ;   I M P A C T ;   U K 	 B a c k g r o u n d :   I n   J u n e   2 0 1 6 ,   t h e   R e p u b l i c   o f   S o u t h   A f r i c a   i n t r o d u c e d   l e g i s l a t i o n   f o r   m a n d a t o r y   l i m i t s   f o r   t h e   u p p e r   s o d i u m   c o n t e n t   p e r m i t t e d   i n   a   w i d e   r a n g e   o f   p r o c e s s e d   f o o d s .   W e   a s s e s s e d   t h e   s o d i u m   l e v e l s   o f   p a c k a g e d   f o o d s   i n   S o u t h   A f r i c a   d u r i n g   t h e   o n e - y e a r   p e r i o d   l e a d i n g   u p   t o   t h e   m a n d a t o r y   i m p l e m e n t a t i o n   d a t e   o f   t h e   l e g i s l a t i o n .   M e t h o d s :   D a t a   o n   t h e   n u t r i t i o n a l   c o m p o s i t i o n   o f   p a c k a g e d   f o o d s   w a s   o b t a i n e d   f r o m   n u t r i t i o n   i n f o r m a t i o n   p a n e l s   o n   f o o d   l a b e l s   t h r o u g h   b o t h   i n - s t o r e   s u r v e y s   a n d   c r o w d s o u r c i n g   b y   u s e r s   o f   t h e   H e a l t h y F o o d   S w i t c h   m o b i l e   p h o n e   a p p   b e t w e e n   J u n e   2 0 1 5   a n d   A u g u s t   2 0 1 6 .   S u m m a r y   s o d i u m   l e v e l s   w e r e   c a l c u l a t e d   f o r   1 5   f o o d   c a t e g o r i e s ,   i n c l u d i n g   t h e   1 3   c a t e g o r i e s   c o v e r e d   b y   t h e   s o d i u m   l e g i s l a t i o n .   T h e   p e r c e n t a g e   o f   f o o d s   t h a t   m e t   t h e   g o v e r n m e n t ' s   2 0 1 6   s o d i u m   l i m i t s   w a s   a l s o   c a l c u l a t e d .   R e s u l t s :   1 1 , 0 6 5   p r o c e s s e d   f o o d   i t e m s   w e r e   i n c l u d e d   i n   t h e   a n a l y s e s ;   1 8 5 1   o f   t h e s e   w e r e   s u b j e c t   t o   t h e   s o d i u m   l e g i s l a t i o n .   O v e r a l l ,   6 7 %   o f   t a r g e t e d   f o o d s   h a d   a   s o d i u m   l e v e l   a t   o r   b e l o w   t h e   l e g i s l a t e d   l i m i t .   C a t e g o r i e s   w i t h   t h e   l o w e s t   p e r c e n t a g e   o f   f o o d s   t h a t   m e t   l e g i s l a t e d   l i m i t s   w e r e   b r e a d   ( 2 7 % ) ,   p o t a t o   c r i s p s   ( 4 1 % ) ,   s a l t   a n d   v i n e g a r   f l a v o u r e d   s n a c k s   ( 4 2 % ) ,   a n d   r a w   p r o c e s s e d   s a u s a g e s   ( 4 5 % ) .   A b o u t   h a l f   ( 4 9 % )   o f   t a r g e t e d   f o o d s   n o t   m e e t i n g   t h e   l e g i s l a t e d   l i m i t s   w e r e   l e s s   t h a n   2 5 %   a b o v e   t h e   m a x i m u m   s o d i u m   l e v e l .   C o n c l u s i o n :   S o d i u m   l e v e l s   i n   t w o - t h i r d s   o f   f o o d s   c o v e r e d   b y   t h e   S o u t h   A f r i c a n   s o d i u m   l e g i s l a t i o n   w e r e   a t   o r   b e l o w   t h e   p e r m i t t e d   u p p e r   l e v e l s   a t   t h e   m a n d a t o r y   i m p l e m e n t a t i o n   d a t e   o f   t h e   l e g i s l a t i o n   a n d   m a n y   m o r e   w e r e   c l o s e   t o   t h e   l i m i t .   T h e   S o u t h   A f r i c a n   f o o d   i n d u s t r y   h a s   a n   e x c e l l e n t   o p p o r t u n i t y   t o   r a p i d l y   m e e t   t h e   l e g i s l a t e d   r e q u i r e m e n t s . 	 [ P e t e r s ,   S a n n e   A .   E . ;   W o o d w a r d ,   M a r k ]   U n i v   O x f o r d ,   G e o r g e   I n s t   G l o b a l   H l t h ,   O x f o r d   O X 1   3 Q X ,   E n g l a n d ;   [ D u n f o r d ,   E l i z a b e t h ]   U n i v   N   C a r o l i n a ,   C a r o l i n a   P o p u l a t   C t r ,   C h a p e l   H i l l ,   N C   2 7 5 1 6   U S A ;   [ D u n f o r d ,   E l i z a b e t h ;   W o o d w a r d ,   M a r k ;   W e b s t e r ,   J a c q u i ;   N e a l ,   B r u c e ]   U n i v   S y d n e y ,   G e o r g e   I n s t   G l o b a l   H l t h ,   S y d n e y ,   N S W   2 0 5 0 ,   A u s t r a l i a ;   [ W a r e ,   L i s a   J . ]   N o r t h   W e s t   U n i v ,   H y p e r t e n s   A f r i c a   R e s   T e a m ,   Z A - 2 5 2 0   P o t c h e f s t r o o m ,   S o u t h   A f r i c a ;   [ H a r r i s ,   T e r e s a ;   W a l k e r ,   A d e l e ]   D i s c o v e r y   V i t a l ,   Z A - 2 1 4 6   S a n d t o n ,   S o u t h   A f r i c a ;   [ W i c k s ,   M a r i a a n ;   v a n   Z y l ,   T e r t i a ;   S w a n e p o e l ,   B i a n c a ]   N o r t h   W e s t   U n i v ,   C t r   E x c e l l e n c e   N u t r ,   Z A - 2 5 2 0   P o t c h e f s t r o o m ,   S o u t h   A f r i c a ;   [ C h a r l t o n ,   K a r e n   E . ]   U n i v   W o l l o n g o n g ,   S c h   M e d ,   W o l l o n g o n g ,   N S W   2 5 2 2 ,   A u s t r a l i a ;   [ W o o d w a r d ,   M a r k ]   J o h n s   H o p k i n s   U n i v ,   D e p t   E p i d e m i o l ,   B a l t i m o r e ,   M D   2 1 2 1 8   U S A ;   [ N e a l ,   B r u c e ]   U n i v   S y d n e y ,   C h a r l e s   P e r k i n s   C t r ,   S y d n e y ,   N S W   2 0 0 6 ,   A u s t r a l i a ;   [ N e a l ,   B r u c e ]   R o y a l   P r i n c e   A l f r e d   H o s p ,   C a m p e r d o w n ,   N S W   2 0 5 0 ,   A u s t r a l i a ;   [ N e a l ,   B r u c e ]   I m p e r i a l   C o l l   L o n d o n ,   L o n d o n   S W 7   2 A Z ,   E n g l a n d 	 P e t e r s ,   S A E   ( r e p r i n t   a u t h o r ) ,   U n i v   O x f o r d ,   G e o r g e   I n s t   G l o b a l   H l t h ,   O x f o r d   O X 1   3 Q X ,   E n g l a n d . 	 s a n n e . p e t e r s @ g e o r g e i n s t i t u t e . o x . a c . u k ;   e d u n f o r d @ g e o r g e i n s t i t u t e . o r g . a u ;   l i s a . w a r e @ n w u . a c . z a ;   t e r r y h @ d i s c o v e r y . c o . z a ;   a d e l e w a @ d i s c o v e r y . c o . z a ;   1 3 0 0 9 4 9 4 @ n w u . a c . z a ;   t e r t i a . v a n z y l @ n w u . a c . z a ;   b i a n c a s w a n e p o e l . n w u @ g m a i l . c o m ;   k a r e n c @ u o w . e d u . a u ;   m a r k w @ g e o r g e i n s t i t u t e . o r g . a u ;   j w e b s t e r @ g e o r g e i n s t i t u t e . o r g . a u ;   b n e a l @ g e o r g e i n s t i t u t e . o r g . a u 	 	 	 	 	 S i x t y - S i x t h   W o r l d   H e a l t h   A s s e m b l y ,   2 0 1 3 ,   F O L L   U P   P O L   D E C L   H I G ;   B e r t r a m   M Y ,   2 0 1 2 ,   S A M J   S   A F R   M E D   J ,   V 1 0 2 ,   P 7 4 3 ,   D O I   [ 1 0 . 7 1 9 6 / S A M J . 5 8 3 2 ,   1 0 . 7 1 9 6 / s a m j . 5 8 3 2 ] ;   C h a r l t o n   K ,   2 0 1 6 ,   B M J   O P E N ,   V 6 ,   D O I   1 0 . 1 1 3 6 / b m j o p e n - 2 0 1 6 - 0 1 3 3 1 6 ;   C h a r l t o n   K ,   2 0 1 4 ,   N U T R I E N T S ,   V 6 ,   P 3 6 7 2 ,   D O I   1 0 . 3 3 9 0 / n u 6 0 9 3 6 7 2 ;   C h a r l t o n   K E ,   2 0 0 5 ,   N U T R I T I O N ,   V 2 1 ,   P 3 9 ,   D O I   1 0 . 1 0 1 6 / j . n u t . 2 0 0 4 . 0 9 . 0 0 7 ;   C h r i s t o f o r o u   A ,   2 0 1 6 ,   J   E P I D E M I O L   C O M M U N   H ,   V 7 0 ,   P 1 1 4 0 ,   D O I   1 0 . 1 1 3 6 / j e c h - 2 0 1 5 - 2 0 6 9 9 7 ;   D e p a r t m e n t   o f   H e a l t h ,   F 9   S A L T   R E D   2 0 1 7 ;   D u n f o r d   E ,   2 0 1 4 ,   J M I R   M H E A L T H   U H E A L T H ,   V 2 ,   D O I   1 0 . 2 1 9 6 / m h e a l t h . 3 2 3 0 ;   D u n f o r d   E ,   2 0 1 2 ,   E U R   J   P R E V   C A R D I O L ,   V 1 9 ,   P 1 3 2 6 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 1 8 2 6 7 1 1 4 2 5 7 7 7 ;   E y l e s   H ,   2 0 1 6 ,   B R I T   J   N U T R ,   V 1 1 5 ,   P 1 8 3 5 ,   D O I   1 0 . 1 0 1 7 / S 0 0 0 7 1 1 4 5 1 6 0 0 0 8 8 X ;   E y l e s   H ,   2 0 1 3 ,   P R E V   M E D ,   V 5 7 ,   P 5 5 5 ,   D O I   1 0 . 1 0 1 6 / j . y p m e d . 2 0 1 3 . 0 7 . 0 2 4 ;   F a b i a n s s o n   S U ,   2 0 0 6 ,   A S I A   P A C   J   C L I N   N U T R ,   V 1 5 ,   P 4 5 1 ;   F o o d   S t a n d a r d s   A g e n c y ,   S A L T   R E D   T A R G   2 0 1 7 ;   F o r o u z a n f a r   M H ,   2 0 1 6 ,   L A N C E T ,   V 3 8 8 ,   P 1 6 5 9 ;   H e   F . J . ,   2 0 1 3 ,   C O C H R A N E   D B   S Y S T   R E V ,   V 3 ;   H o f m a n   K . J . ,   2 0 1 3 ,   I N T E R S E C T O R I A L   C A S E ;   M o z a f f a r i a n   D ,   2 0 1 4 ,   N E W   E N G L   J   M E D ,   V 3 7 1 ,   P 6 2 4 ,   D O I   1 0 . 1 0 5 6 / N E J M o a 1 3 0 4 1 2 7 ;   S a d l e r   K . ,   2 0 1 2 ,   D I E T   N U T R   S U R V E Y   A S S ;   S w a n e p o e l   B ,   2 0 1 6 ,   J   A M   S O C   H Y P E R T E N S ,   V 1 0 ,   P 8 2 9 ,   D O I   1 0 . 1 0 1 6 / j . j a s h . 2 0 1 6 . 0 8 . 0 0 7 ;   T r e v e n a   H ,   2 0 1 4 ,   N U T R I E N T S ,   V 6 ,   P 3 8 0 2 ,   D O I   1 0 . 3 3 9 0 / n u 6 0 9 3 8 0 2 ;   T r i e u   K ,   2 0 1 5 ,   P L O S   O N E ,   V 1 0 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 1 3 0 2 4 7 ;   W a t k i n s   D A ,   2 0 1 6 ,   H E A L T H   P O L I C Y   P L A N N ,   V 3 1 ,   P 7 5 ,   D O I   1 0 . 1 0 9 3 / h e a p o l / c z v 0 2 3 ;   W e b s t e r   J L ,   2 0 1 1 ,   J   H Y P E R T E N S ,   V 2 9 ,   P 1 0 4 3 ,   D O I   1 0 . 1 0 9 7 / H J H . 0 b 0 1 3 e 3 2 8 3 4 5 e d 8 3 ;   W e b s t e r   J ,   2 0 1 4 ,   N U T R I E N T S ,   V 6 ,   P 3 2 7 4 ,   D O I   1 0 . 3 3 9 0 / n u 6 0 8 3 2 7 4 ;   W H O ,   2 0 1 2 ,   G U I D   S O D   I N T   A D   C H I L ;   W o r l d   H e a l t h   O r g a n i z a t i o n ,   2 0 1 0 ,   G L O B A L   S T A T U S   R E P O R T 	 2 6 	 0 	 0 	 2 	 2 	 M D P I   A G 	 B A S E L 	 S T   A L B A N - A N L A G E   6 6 ,   C H - 4 0 5 2   B A S E L ,   S W I T Z E R L A N D 	 2 0 7 2 - 6 6 4 3 	 	 	 N U T R I E N T S 	 N u t r i e n t s 	 A P R 	 2 0 1 7 	 9 	 4 	 	 	 	 	 	 	 4 0 4 	 1 0 . 3 3 9 0 / n u 9 0 4 0 4 0 4 	 	 1 5 	 N u t r i t i o n   &   D i e t e t i c s 	 N u t r i t i o n   &   D i e t e t i c s 	 E U 9 J I 	 W O S : 0 0 0 4 0 1 3 5 5 6 0 0 0 8 9 	 	 g o l d 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 Y a n g ,   G ;   H e ,   S B ;   S h i ,   Z G 	 	 	 	 Y a n g ,   G u a n g ;   H e ,   S h i b o ;   S h i ,   Z h i g u o 	 	 	 L e v e r a g i n g   C r o w d s o u r c i n g   f o r   E f f i c i e n t   M a l i c i o u s   U s e r s   D e t e c t i o n   i n   L a r g e - S c a l e   S o c i a l   N e t w o r k s 	 I E E E   I N T E R N E T   O F   T H I N G S   J O U R N A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   l a r g e - s c a l e   n e t w o r k s ;   m a l i c i o u s   u s e r s   d e t e c t i o n 	 W I R E L E S S   S E N S O R   N E T W O R K S ;   I N T R U S I O N - D E T E C T I O N   S Y S T E M ;   M O B I L E   N E T W O R K S ;   P R I V A C Y ;   P E R F O R M A N C E ;   D E P L O Y M E N T ;   C O V E R A G E 	 T h e   p a s t   f e w   y e a r s   h a v e   w i t n e s s e d   t h e   d r a m a t i c   p o p u l a r i t y   o f   l a r g e - s c a l e   s o c i a l   n e t w o r k s   w h e r e   m a l i c i o u s   n o d e s   d e t e c t i o n   i s   o n e   o f   t h e   f u n d a m e n t a l   p r o b l e m s .   M o s t   e x i s t i n g   w o r k s   f o c u s   o n   a c t i v e l y   d e t e c t i n g   m a l i c i o u s   n o d e s   b y   v e r i f y i n g   s i g n a l   c o r r e l a t i o n   o r   b e h a v i o r   c o n s i s t e n c y .   I t   m a y   n o t   w o r k   w e l l   i n   l a r g e - s c a l e   s o c i a l   n e t w o r k s   s i n c e   t h e   n u m b e r   o f   u s e r s   i s   e x t r e m e l y   l a r g e   a n d   t h e   d i f f e r e n c e   b e t w e e n   n o r m a l   u s e r s   a n d   m a l i c i o u s   u s e r s   i s   i n c o n s p i c u o u s .   I n   t h i s   p a p e r ,   w e   p r o p o s e   a   n o v e l   a p p r o a c h   t h a t   l e v e r a g e s   t h e   p o w e r   o f   u s e r s   t o   p e r f o r m   t h e   d e t e c t i o n   t a s k .   W e   d e s i g n   i n c e n t i v e   m e c h a n i s m s   t o   e n c o u r a g e   t h e   p a r t i c i p a t i o n   o f   u s e r s   u n d e r   t w o   s c e n a r i o s :   1 )   f u l l   i n f o r m a t i o n   a n d   2 )   p a r t i a l   i n f o r m a t i o n .   I n   f u l l   i n f o r m a t i o n   s c e n a r i o ,   w e   d e s i g n   a   s p e c i f i c   i n c e n t i v e   s c h e m e   f o r   u s e r s   a c c o r d i n g   t o   t h e i r   p r e f e r e n c e s ,   w h i c h   c a n   p r o v i d e   t h e   d e s i r a b l e   d e t e c t i o n   r e s u l t   a n d   m i n i m i z e   o v e r a l l   c o s t .   I n   p a r t i a l   i n f o r m a t i o n   s c e n a r i o ,   a s s u m i n g   t h a t   w e   o n l y   h a v e   s t a t i s t i c a l   i n f o r m a t i o n   a b o u t   u s e r s ,   w e   f i r s t   t r a n s f o r m   t h e   i n c e n t i v e   m e c h a n i s m   d e s i g n   t o   a n   o p t i m i z a t i o n   p r o b l e m ,   a n d   t h e n   d e s i g n   t h e   o p t i m a l   i n c e n t i v e   s c h e m e   u n d e r   d i f f e r e n t   s y s t e m   p a r a m e t e r s   b y   s o l v i n g   t h e   o p t i m i z a t i o n   p r o b l e m .   W e   p e r f o r m   e x t e n s i v e   s i m u l a t i o n s   t o   v a l i d a t e   t h e   a n a l y s i s   a n d   d e m o n s t r a t e   t h e   i m p a c t   o f   s y s t e m   f a c t o r s   o n   t h e   o v e r a l l   c o s t . 	 [ Y a n g ,   G u a n g ;   S h i ,   Z h i g u o ]   Z h e j i a n g   U n i v ,   C o l l   I n f o r m a t   S c i   &   E l e c t   E n g n ,   H a n g z h o u   3 1 0 0 2 7 ,   Z h e j i a n g ,   P e o p l e s   R   C h i n a ;   [ H e ,   S h i b o ]   Z h e j i a n g   U n i v ,   S t a t e   K e y   L a b   I n d   C o n t r o l   T e c h n o l ,   H a n g z h o u   3 1 0 0 2 7 ,   Z h e j i a n g ,   P e o p l e s   R   C h i n a 	 H e ,   S B   ( r e p r i n t   a u t h o r ) ,   Z h e j i a n g   U n i v ,   S t a t e   K e y   L a b   I n d   C o n t r o l   T e c h n o l ,   H a n g z h o u   3 1 0 0 2 7 ,   Z h e j i a n g ,   P e o p l e s   R   C h i n a . 	 s h i b o h e @ i e e e . o r g 	 	 	 Z h e j i a n g   P r o v i n c i a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ L R 1 6 F 0 1 0 0 0 2 ] ;   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 6 1 4 0 2 4 0 5 ,   6 1 5 2 8 1 0 5 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   Z h e j i a n g   P r o v i n c i a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   u n d e r   G r a n t   L R 1 6 F 0 1 0 0 0 2   a n d   i n   p a r t   b y   t h e   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   u n d e r   G r a n t   6 1 4 0 2 4 0 5   a n d   G r a n t   6 1 5 2 8 1 0 5 .   ( C o r r e s p o n d i n g   a u t h o r :   S h i b o   H e . ) 	 A t a s s i   A l a a ,   2 0 1 4 ,   I n t e r n a t i o n a l   J o u r n a l   o f   S p a c e - B a s e d   a n d   S i t u a t e d   C o m p u t i n g ,   V 4 ,   P 1 5 ,   D O I   1 0 . 1 5 0 4 / I J S S C . 2 0 1 4 . 0 6 0 6 8 5 ;   B a b a   Y . ,   2 0 1 3 ,   P   1 9   A C M   S I G K D D   I N T ,   P 5 5 4 ;   B o l t o n   P . ,   2 0 0 5 ,   C O N T R A C T   T H E O R Y ;   C h e n   C L ,   2 0 1 2 ,   I E E E   G L O B   C O M M   C O N F ,   P 4 8 5 6 ,   D O I   1 0 . 1 1 0 9 / G L O C O M . 2 0 1 2 . 6 5 0 3 8 8 8 ;   C h e n   C ,   2 0 1 5 ,   I E E E   I C C ,   P 7 0 6 5 ,   D O I   1 0 . 1 1 0 9 / I C C . 2 0 1 5 . 7 2 4 9 4 5 3 ;   C h e n   J M ,   2 0 1 5 ,   I E E E   T   P A R A L L   D I S T R ,   V 2 6 ,   P 9 5 ,   D O I   1 0 . 1 1 0 9 / T P D S . 2 0 1 4 . 2 3 0 7 8 6 8 ;   C h e n   J M ,   2 0 1 3 ,   A C M   T   S E N S O R   N E T W O R K ,   V 1 0 ,   D O I   1 0 . 1 1 4 5 / 2 5 2 9 9 7 3 ;   D a i   H . ,   2 0 1 3 ,   P   I E E E   I N T   C   T R U S T   S ,   P 2 3 9 ;   D o n g   M . ,   2 0 1 4 ,   I E E E   C L O U D   C O M P U T I N G ,   V 1 ,   P 5 0 ;   D o n g   M X ,   2 0 1 5 ,   I E E E   W I R E L   C O M M U N ,   V 2 2 ,   P 5 0 ,   D O I   1 0 . 1 1 0 9 / M W C . 2 0 1 5 . 7 2 2 4 7 2 7 ;   D u a n   L J ,   2 0 1 4 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 3 ,   P 1 7 4 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 2 . 2 3 1 ;   F a t e m i e h   O . ,   2 0 1 0 ,   P   I E E E   S   N E W   F R O N T   D ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / D Y S P A N . 2 0 1 0 . 5 4 5 7 8 9 3 ;   G r i e r   C ,   2 0 1 0 ,   P R O C E E D I N G S   O F   T H E   1 7 T H   A C M   C O N F E R E N C E   O N   C O M P U T E R   A N D   C O M M U N I C A T I O N S   S E C U R I T Y   ( C C S ' 1 0 ) ,   P 2 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 6 6 3 0 7 . 1 8 6 6 3 1 1 ;   H a n   G J ,   2 0 1 5 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 4 ,   P 2 4 4 7 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 5 . 2 4 0 2 1 2 0 ;   H a n   G J ,   2 0 1 5 ,   I E E E   T   I N D   E L E C T R O N ,   V 6 2 ,   P 1 7 2 5 ,   D O I   1 0 . 1 1 0 9 / T I E . 2 0 1 4 . 2 3 6 2 7 3 1 ;   H e   S B ,   2 0 1 4 ,   I E E E   T   W I R E L   C O M M U N ,   V 1 3 ,   P 7 2 4 ,   D O I   1 0 . 1 1 0 9 / T W C . 2 0 1 3 . 1 2 1 8 1 3 . 1 3 0 1 9 8 ;   H u a n g   C ,   2 0 1 4 ,   I E E E   T   W I R E L   C O M M U N ,   V 1 3 ,   P 1 0 7 4 ,   D O I   1 0 . 1 1 0 9 / T W . 2 0 1 3 . 1 2 1 8 1 3 . 1 3 0 9 5 3 ;   H u a n g   C ,   2 0 1 3 ,   I E E E   J   S E L   A R E A   C O M M ,   V 3 1 ,   P 1 4 6 9 ,   D O I   1 0 . 1 1 0 9 / J S A C . 2 0 1 3 . 1 3 0 8 1 1 ;   K o n g   L H ,   2 0 1 5 ,   I N T   C O N   D I S T R   C O M P   S ,   P 3 1 ,   D O I   1 0 . 1 1 0 9 / I C D C S . 2 0 1 5 . 1 2 ;   L e i   L ,   2 0 1 6 ,   I E E E   T   V E H   T E C H N O L ,   V 6 5 ,   P 3 4 9 1 ,   D O I   1 0 . 1 1 0 9 / T V T . 2 0 1 5 . 2 4 4 4 7 9 1 ;   L i m   S .   Y . ,   2 0 1 3 ,   J   S E N S O R   A C T U A T O R   N E ,   V 2 ,   P 7 0 ;   L i u   J J ,   2 0 1 5 ,   I E E E   C O M M U N   S U R V   T U T ,   V 1 7 ,   P 1 9 2 3 ,   D O I   1 0 . 1 1 0 9 / C O M S T . 2 0 1 4 . 2 3 7 5 9 3 4 ;   L i u   J J ,   2 0 1 4 ,   I E E E   W I R E L   C O M M U N ,   V 2 1 ,   P 5 7 ,   D O I   1 0 . 1 1 0 9 / M W C . 2 0 1 4 . 6 8 1 2 2 9 2 ;   L i u   J J ,   2 0 1 3 ,   M O B I L E   N E T W   A P P L ,   V 1 8 ,   P 1 8 6 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 3 6 - 0 1 2 - 0 3 5 7 - 3 ;   L i u   S ,   2 0 1 3 ,   I N T   C O N   D I S T R   C O M P   S ,   P 2 5 6 ,   D O I   1 0 . 1 1 0 9 / I C D C S . 2 0 1 3 . 3 5 ;   M a r t i   S ,   2 0 0 0 ,   P   6   A N N   I N T   C   M O B   C O ,   P 2 5 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 3 4 5 9 1 0 . 3 4 5 9 5 5 ;   M c C a l l   T . ,   2 0 0 7 ,   G A R T N E R   S U R V E Y   S H O W S ;   N a s s e r   N ,   2 0 0 7 ,   I E E E   I C C ,   P 1 1 5 4 ,   D O I   1 0 . 1 1 0 9 / I C C . 2 0 0 7 . 1 9 6 ;   S h a k s h u k i   E M ,   2 0 1 3 ,   I E E E   T   I N D   E L E C T R O N ,   V 6 0 ,   P 1 0 8 9 ,   D O I   1 0 . 1 1 0 9 / T I E . 2 0 1 2 . 2 1 9 6 0 1 0 ;   S h u   Y C ,   2 0 1 5 ,   A C M   T   S E N S O R   N E T W O R K ,   V 1 1 ,   D O I   1 0 . 1 1 4 5 / 2 7 0 0 2 5 7 ;   S i n g h   M . ,   2 0 1 4 ,   P   A C M   I N T   C   S E C   I N F ,   P 2 4 7 ;   S t r i n g h i n i   G . ,   2 0 1 0 ,   P   2 6   A N N   C O M P   S E C   A P ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 2 0 2 6 1 . 1 9 2 0 2 6 3 ;   T a l a s i l a   M . ,   2 0 1 3 ,   P   6   J O I N T   I F I P   W I R   M ,   P 1 ;   W e i   K M ,   2 0 1 5 ,   I E E E   T   P A R A L L   D I S T R ,   V 2 6 ,   P 2 1 7 8 ,   D O I   1 0 . 1 1 0 9 / T P D S . 2 0 1 4 . 2 3 4 6 2 1 2 ;   W e i   L F ,   2 0 1 4 ,   I N F O R M   S C I E N C E S ,   V 2 5 8 ,   P 3 7 1 ,   D O I   1 0 . 1 0 1 6 / j . i n s . 2 0 1 3 . 0 4 . 0 2 8 ;   X i a o   X . ,   2 0 0 7 ,   P   6   A C M   I N T   W O R K S H   D ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 2 5 4 8 5 0 . 1 2 5 4 8 5 2 ;   Y a n g   C . ,   2 0 1 5 ,   P   I N T   C   W I R   A L G   S Y S T ,   P 6 6 4 ;   Y a n g   Q Q ,   2 0 1 5 ,   I E E E   T   V E H   T E C H N O L ,   V 6 4 ,   P 3 6 7 ,   D O I   1 0 . 1 1 0 9 / T V T . 2 0 1 4 . 2 3 0 0 1 8 1 ;   Y i m   S . - J . ,   2 0 1 2 ,   W I R E L E S S   S E N S O R   N E T W ,   V 4 ,   P 2 1 9 ;   Y u e n   M . - C . ,   2 0 1 1 ,   P   I E E E   3   I N T   C   S O C   C ,   P 7 6 6 ,   D O I   D O I   1 0 . 1 1 0 9 / P A S S A T / S O C I A L C O M . 2 0 1 1 . 2 0 3 ;   Z h a n g   H ,   2 0 1 6 ,   I E E E   T   C O N T R   S Y S T   T ,   V 2 4 ,   P 8 4 3 ,   D O I   1 0 . 1 1 0 9 / T C S T . 2 0 1 5 . 2 4 6 2 7 4 1 ;   Z h a n g   H ,   2 0 1 5 ,   I E E E   T   A U T O M A T   C O N T R ,   V 6 0 ,   P 3 0 2 3 ,   D O I   1 0 . 1 1 0 9 / T A C . 2 0 1 5 . 2 4 0 9 9 0 5 ;   Z h a n g   Y M ,   2 0 1 6 ,   I E E E   A C M   T   N E T W O R K ,   V 2 4 ,   P 1 6 3 2 ,   D O I   1 0 . 1 1 0 9 / T N E T . 2 0 1 5 . 2 4 2 5 1 4 6 ;   Z h e n g   K ,   2 0 1 6 ,   I E E E   N E T W O R K ,   V 3 0 ,   P 4 4 ,   D O I   1 0 . 1 1 0 9 / M N E T . 2 0 1 6 . 7 3 8 9 8 3 0 ;   Z h o u   C W ,   2 0 1 5 ,   I N T   C O N F   A C O U S T   S P E E ,   P 2 3 6 9 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 2 0 1 5 . 7 1 7 8 3 9 5 	 4 5 	 1 	 1 	 3 	 3 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 2 3 2 7 - 4 6 6 2 	 	 	 I E E E   I N T E R N E T   T H I N G S 	 I E E E   I n t e r n e t   T h i n g s   J . 	 A P R 	 2 0 1 7 	 4 	 2 	 	 	 	 	 3 3 0 	 3 3 9 	 	 1 0 . 1 1 0 9 / J I O T . 2 0 1 6 . 2 5 6 0 5 1 8 	 	 1 0 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 E T 8 T N 	 W O S : 0 0 0 4 0 0 5 7 4 3 0 0 0 0 5 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 Z h u o ,   G Q ;   J i a ,   Q ;   G u o ,   L ;   L i ,   M ;   L i ,   P 	 	 	 	 Z h u o ,   G a o q i a n g ;   J i a ,   Q i ;   G u o ,   L i n k e ;   L i ,   M i n g ;   L i ,   P a n 	 	 	 P r i v a c y - P r e s e r v i n g   V e r i f i a b l e   S e t   O p e r a t i o n   i n   B i g   D a t a   f o r   C l o u d - A s s i s t e d   M o b i l e   C r o w d s o u r c i n g 	 I E E E   I N T E R N E T   O F   T H I N G S   J O U R N A L 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 B i g   d a t a ;   m o b i l e   c r o w d s o u r c i n g ;   p r i v a c y ;   v e r i f i a b l e   c o m p u t a t i o n 	 A U T H E N T I C A T I O N   S Y S T E M ;   N E T W O R K S ;   A G G R E G A T I O N ;   F R A M E W O R K ;   S E A R C H ;   F I N E 	 T h e   u b i q u i t y   o f   s m a r t p h o n e s   m a k e s   t h e   m o b i l e   c r o w d s o u r c i n g   p o s s i b l e ,   w h e r e   t h e   r e q u e s t e r   ( t a s k   o w n e r )   c a n   c r o w d s o u r c e   d a t a   f r o m   t h e   w o r k e r s   ( s m a r t p h o n e   u s e r s )   b y   u s i n g   t h e i r   s e n s o r - r i c h   m o b i l e   d e v i c e s .   H o w e v e r ,   d a t a   c o l l e c t i o n ,   d a t a   a g g r e g a t i o n ,   a n d   d a t a   a n a l y s i s   h a v e   b e c o m e   c h a l l e n g i n g   p r o b l e m s   f o r   a   r e s o u r c e   c o n s t r a i n e d   r e q u e s t e r   w h e n   d a t a   v o l u m e   i s   e x t r e m e l y   l a r g e ,   i . e . ,   b i g   d a t a .   I n   p a r t i c u l a r   t o   d a t a   a n a l y s i s ,   s e t   o p e r a t i o n s ,   i n c l u d i n g   i n t e r s e c t i o n ,   u n i o n ,   a n d   c o m p l e m e n t a t i o n ,   e x i s t   i n   m o s t   b i g   d a t a   a n a l y s i s   f o r   f i l t e r i n g   r e d u n d a n t   d a t a   a n d   p r e p r o c e s s i n g   r a w   d a t a .   F a c i n g   c h a l l e n g e s   i n   t e r m s   o f   l i m i t e d   c o m p u t a t i o n   a n d   s t o r a g e   r e s o u r c e s ,   c l o u d - a s s i s t e d   a p p r o a c h e s   m a y   s e r v e   a s   a   p r o m i s i n g   w a y   t o   t a c k l e   t h e   b i g   d a t a   a n a l y s i s   i s s u e .   H o w e v e r ,   w o r k e r s   m a y   n o t   b e   w i l l i n g   t o   p a r t i c i p a t e   i f   t h e   p r i v a c y   o f   t h e i r   s e n s i n g   d a t a   a n d   i d e n t i t y   a r e   n o t   w e l l   p r e s e r v e d   i n   t h e   u n t r u s t e d   c l o u d .   I n   t h i s   p a p e r ,   w e   p r o p o s e   t o   t h e   u s e   c l o u d   t o   c o m p u t e   a   s e t   o p e r a t i o n   f o r   t h e   r e q u e s t e r ,   a t   t h e   s a m e   t i m e   w o r k e r s '   d a t a   p r i v a c y   a n d   i d e n t i t i e s   p r i v a c y   a r e   w e l l   p r e s e r v e d .   B e s i d e s ,   t h e   r e q u e s t e r   c a n   v e r i f y   t h e   c o r r e c t n e s s   o f   s e t   o p e r a t i o n   r e s u l t s .   W e   a l s o   e x t e n d   o u r   s c h e m e   t o   s u p p o r t   d a t a   p r e p r o c e s s i n g ,   w i t h   w h i c h   i n v a l i d   d a t a   c a n   b e   e x c l u d e d   b e f o r e   d a t a   a n a l y s i s .   B y   u s i n g   b a t c h   v e r i f i c a t i o n   a n d   d a t a   u p d a t e   m e t h o d s ,   t h e   p r o p o s e d   s c h e m e   g r e a t l y   r e d u c e s   t h e   c o m p u t a t i o n a l   c o s t .   E x t e n s i v e   p e r f o r m a n c e   a n a l y s i s   a n d   e x p e r i m e n t   b a s e d   o n   r e a l   c l o u d   s y s t e m   h a v e   s h o w n   b o t h   t h e   f e a s i b i l i t y   a n d   e f f i c i e n c y   o f   o u r   p r o p o s e d   s c h e m e . 	 [ Z h u o ,   G a o q i a n g ;   J i a ,   Q i ;   G u o ,   L i n k e ]   S U N Y   B i n g h a m t o n ,   D e p t   E l e c t   &   C o m p   E n g n ,   B i n g h a m t o n ,   N Y   1 3 9 0 2   U S A ;   [ L i ,   M i n g ]   U n i v   N e v a d a ,   D e p t   C o m p   S c i   &   E n g n ,   R e n o ,   N V   8 9 5 5 7   U S A ;   [ L i ,   P a n ]   C a s e   W e s t e r n   R e s e r v e   U n i v ,   D e p t   E l e c t   E n g n   &   C o m p   S c i ,   C l e v e l a n d ,   O H   4 4 1 0 6   U S A 	 Z h u o ,   G Q   ( r e p r i n t   a u t h o r ) ,   S U N Y   B i n g h a m t o n ,   D e p t   E l e c t   &   C o m p   E n g n ,   B i n g h a m t o n ,   N Y   1 3 9 0 2   U S A . 	 g z h u o 1 @ b i n g h a m t o n . e d u ;   q j i a 1 @ b i n g h a m t o n . e d u ;   l g u o @ b i n g h a m t o n . e d u ;   m i n g l i @ u n r . e d u ;   l i p a n @ c a s e . e d u 	 	 	 U . S .   N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ C N S - 1 3 4 3 2 2 0 ,   C N S - 1 1 4 9 7 8 6 ] ;   N a t i o n a l   S c i e n c e   F o u n d a t i o n   [ C N S - 1 5 6 6 6 3 4 ] 	 T h e   w o r k   o f   P .   L i   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   U . S .   N a t i o n a l   S c i e n c e   F o u n d a t i o n   u n d e r   G r a n t   C N S - 1 3 4 3 2 2 0   a n d   G r a n t   C N S - 1 1 4 9 7 8 6 .   T h e   w o r k   o f   M .   L i   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   N a t i o n a l   S c i e n c e   F o u n d a t i o n   u n d e r   G r a n t   C N S - 1 5 6 6 6 3 4 . 	 A b a d i   A . ,   2 0 1 5 ,   P   I F I P   I N T   I N F   S E C   C ,   P 3 ;   B e n   L . ,   P A I R I N G   B A S E D   C R Y P T O ;   B e n a b b a s   S . ,   2 0 1 0 ,   P   C R Y P T O   S A N T   B A R B   C ,   P 1 1 1 ;   B o n e h   D . ,   2 0 0 1 ,   P   2 1   A N N   I N T   C R Y P T   C ,   P 2 1 3 ;   C a n e t t i   R ,   2 0 1 4 ,   L E C T   N O T E S   C O M P U T   S C ,   V 8 3 8 3 ,   P 1 1 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 5 4 6 3 1 - 0 _ 7 ;   C h e n   X ,   2 0 1 4 ,   I E E E   I N F O C O M   S E R ,   P 2 3 1 0 ,   D O I   1 0 . 1 1 0 9 / I N F O C O M . 2 0 1 4 . 6 8 4 8 1 7 5 ;   C o r n e l i u s   C ,   2 0 0 8 ,   M O B I S Y S ' 0 8 :   P R O C E E D I N G S   O F   T H E   S I X T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   S Y S T E M S ,   A P P L I C A T I O N S ,   A N D   S E R V I C E S ,   P 2 1 1 ;   D e   C r i s t o f a r o   E ,   2 0 1 0 ,   L E C T   N O T E S   C O M P U T   S C ,   V 6 4 7 7 ,   P 2 1 3 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 1 7 3 7 3 - 8 _ 1 3 ;   D e   C r i s t o f a r o   E . ,   2 0 1 2 ,   P   T R U S T   V I E N N   A U S T R ,   P 5 5 ;   D e   C r i s t o f a r o   E . ,   2 0 1 0 ,   P   I N T   C   F I N   C R Y P T   D A ,   P 1 4 3 ;   D o n g   C . ,   2 0 1 3 ,   P   2 0 1 3   A C M   S I G S A C   C ,   P 7 8 9 ;   E l G a m a l   T . ,   1 9 8 4 ,   P   C R Y P T O   8 4 ,   P 1 0 ;   F i o r e   D . ,   2 0 1 4 ,   P   2 0 1 4   A C M   S I G S A C   C ,   P 8 4 4 ;   F i o r e   D . ,   2 0 1 2 ,   P   2 0 1 2   A C M   C   C O M P   C O ,   P 5 0 1 ;   F r e e d m a n   M .   J . ,   2 0 0 4 ,   P   I N T   C   T H E O R   A P P L   C ,   P 1 ;   G e n n a r o   R ,   2 0 1 0 ,   P   3 0   A N N   C   A D V   C R Y P T ,   P 4 6 5 ;   G o h   E . - J . ,   2 0 0 7 ,   T H E S I S ;   G u o   L . ,   2 0 1 5 ,   P   I E E E   C   C O M P   C O M M   I ,   P 1 0 2 6 ;   G u o   L K ,   2 0 1 3 ,   I E E E   G L O B   C O M M   C O N F ,   P 6 2 9 ,   D O I   1 0 . 1 1 0 9 / G L O C O M . 2 0 1 3 . 6 8 3 1 1 4 2 ;   G u o   L K ,   2 0 1 4 ,   I E E E   T   M O B I L E   C O M P U T ,   V 1 3 ,   P 1 9 2 7 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 1 3 . 8 4 ;   G u o   L K ,   2 0 1 3 ,   I E E E   C O N F   C O M M   N E T W ,   P 1 1 8 ,   D O I   1 0 . 1 1 0 9 / C N S . 2 0 1 3 . 6 6 8 2 6 9 9 ;   G u o   L K ,   2 0 1 2 ,   I N T   C O N   D I S T R   C O M P   S ,   P 2 2 4 ,   D O I   1 0 . 1 1 0 9 / I C D C S . 2 0 1 2 . 4 5 ;   H a r a   K . ,   2 0 1 5 ,   A C M   T   A C C E S S   C O M P U T ,   V 6 ;   K a n h e r e   S .   S . ,   2 0 1 1 ,   P   I E E E   I N T   C   M O B   D A T ,   P 3 ,   D O I   D O I   1 0 . 1 1 0 9 / M D M . 2 0 1 1 . 1 6 ;   K a n h e r e   S . ,   2 0 1 1 ,   M O B   D A T   M A N   M D M   2 0 1 1 ,   V 2 ,   P 3 ;   K e r s c h b a u m   F . ,   2 0 1 2 ,   P   7   A C M   S   I N F   C O M P   C ,   P 8 5 ;   K i s s n e r   L . ,   2 0 0 5 ,   P   C R Y P T   2 0 0 5 ,   P 2 4 1 ;   L i   H W ,   2 0 1 6 ,   I E E E   T   D E P E N D   S E C U R E ,   V 1 3 ,   P 3 1 2 ,   D O I   1 0 . 1 1 0 9 / T D S C . 2 0 1 5 . 2 4 0 6 7 0 4 ;   L i   H W ,   2 0 1 5 ,   I E E E   W I R E L   C O M M U N ,   V 2 2 ,   P 7 4 ,   D O I   1 0 . 1 1 0 9 / M W C . 2 0 1 5 . 7 2 2 4 7 3 0 ;   [ Ng)P  L i   Q i a n ] ,   2 0 1 2 ,   [ ؚRP[b,   P o l y m e r   B u l l e t i n ] ,   P 1 ;   L i   Q H ,   2 0 1 5 ,   I E E E   C O M M U N   M A G ,   V 5 3 ,   P 6 8 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 5 . 7 1 8 0 5 1 0 ;   L i   Q H ,   2 0 1 4 ,   I E E E   T   D E P E N D   S E C U R E ,   V 1 1 ,   P 1 1 5 ,   D O I   1 0 . 1 1 0 9 / T D S C . 2 0 1 3 . 3 1 ;   L i u   B . ,   2 0 1 2 ,   P   1 0   A C M   C   E M B   N E T W ,   P 5 7 ;   L u   R X ,   2 0 1 4 ,   I E E E   I N F O C O M   S E R ,   P 7 6 3 ,   D O I   1 0 . 1 1 0 9 / I N F O C O M . 2 0 1 4 . 6 8 4 8 0 0 3 ;   P a p a m a n t h o u   C . ,   2 0 1 1 ,   P   3 1   A N N   C   A D V   C R Y P T ,   P 9 1 ;   S h a o   J ,   2 0 1 4 ,   I E E E   I N F O C O M   S E R ,   P 2 4 4 ,   D O I   1 0 . 1 1 0 9 / I N F O C O M . 2 0 1 4 . 6 8 4 7 9 4 5 ;   W a n g   B . ,   2 0 1 2 ,   P   I E E E   5   I N T   C   C L O U D ,   P 2 9 5 ;   Y u e   H ,   2 0 1 4 ,   I E E E   I N T E R N E T   T H I N G S ,   V 1 ,   P 4 7 2 ,   D O I   1 0 . 1 1 0 9 / J I O T . 2 0 1 4 . 2 3 5 3 6 2 9 ;   Z h a n g   R ,   2 0 1 3 ,   I E E E   J   S E L   A R E A   C O M M ,   V 3 1 ,   P 2 6 8 ,   D O I   1 0 . 1 1 0 9 / J S A C . 2 0 1 3 . S U P . 0 5 1 3 0 2 4 ;   Z h u o   G . ,   2 0 1 6 ,   P   I E E E   I N F O C O M ,   P 1 9 5 3 ;   Z h u o   G . ,   2 0 1 5 ,   P   I E E E   G L O B   C O M M   C   G ,   P 1 	 4 1 	 0 	 0 	 4 	 4 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 2 3 2 7 - 4 6 6 2 	 	 	 I E E E   I N T E R N E T   T H I N G S 	 I E E E   I n t e r n e t   T h i n g s   J . 	 A P R 	 2 0 1 7 	 4 	 2 	 	 	 	 	 5 7 2 	 5 8 2 	 	 1 0 . 1 1 0 9 / J I O T . 2 0 1 6 . 2 5 8 5 5 9 2 	 	 1 1 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s 	 E T 8 T N 	 W O S : 0 0 0 4 0 0 5 7 4 3 0 0 0 3 0 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 L i t m a n ,   L ;   R o b i n s o n ,   J ;   A b b e r b o c k ,   T 	 	 	 	 L i t m a n ,   L e i b ;   R o b i n s o n ,   J o n a t h a n ;   A b b e r b o c k ,   T z v i 	 	 	 T u r k P r i m e . c o m :   A   v e r s a t i l e   c r o w d s o u r c i n g   d a t a   a c q u i s i t i o n   p l a t f o r m   f o r   t h e   b e h a v i o r a l   s c i e n c e s 	 B E H A V I O R   R E S E A R C H   M E T H O D S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M e c h a n i c a l   T u r k ;   C r o w d s o u r c i n g ;   O n l i n e   r e s e a r c h 	 M E C H A N I C A L   T U R K ;   Q U A L I T Y 	 I n   r e c e n t   y e a r s ,   M e c h a n i c a l   T u r k   ( M T u r k )   h a s   r e v o l u t i o n i z e d   s o c i a l   s c i e n c e   b y   p r o v i d i n g   a   w a y   t o   c o l l e c t   b e h a v i o r a l   d a t a   w i t h   u n p r e c e d e n t e d   s p e e d   a n d   e f f i c i e n c y .   H o w e v e r ,   M T u r k   w a s   n o t   i n t e n d e d   t o   b e   a   r e s e a r c h   t o o l ,   a n d   m a n y   c o m m o n   r e s e a r c h   t a s k s   a r e   d i f f i c u l t   a n d   t i m e - c o n s u m i n g   t o   i m p l e m e n t   a s   a   r e s u l t .   T u r k P r i m e   w a s   d e s i g n e d   a s   a   r e s e a r c h   p l a t f o r m   t h a t   i n t e g r a t e s   w i t h   M T u r k   a n d   s u p p o r t s   t a s k s   t h a t   a r e   c o m m o n   t o   t h e   s o c i a l   a n d   b e h a v i o r a l   s c i e n c e s .   L i k e   M T u r k ,   T u r k P r i m e   i s   a n   I n t e r n e t - b a s e d   p l a t f o r m   t h a t   r u n s   o n   a n y   b r o w s e r   a n d   d o e s   n o t   r e q u i r e   a n y   d o w n l o a d s   o r   i n s t a l l a t i o n .   T a s k s   t h a t   c a n   b e   i m p l e m e n t e d   w i t h   T u r k P r i m e   i n c l u d e :   e x c l u d i n g   p a r t i c i p a n t s   o n   t h e   b a s i s   o f   p r e v i o u s   p a r t i c i p a t i o n ,   l o n g i t u d i n a l   s t u d i e s ,   m a k i n g   c h a n g e s   t o   a   s t u d y   w h i l e   i t   i s   r u n n i n g ,   a u t o m a t i n g   t h e   a p p r o v a l   p r o c e s s ,   i n c r e a s i n g   t h e   s p e e d   o f   d a t a   c o l l e c t i o n ,   s e n d i n g   b u l k   e - m a i l s   a n d   b o n u s e s ,   e n h a n c i n g   c o m m u n i c a t i o n   w i t h   p a r t i c i p a n t s ,   m o n i t o r i n g   d r o p o u t   a n d   e n g a g e m e n t   r a t e s ,   p r o v i d i n g   e n h a n c e d   s a m p l i n g   o p t i o n s ,   a n d   m a n y   o t h e r s .   T h i s   a r t i c l e   d e s c r i b e s   h o w   T u r k P r i m e   s a v e s   t i m e   a n d   r e s o u r c e s ,   i m p r o v e s   d a t a   q u a l i t y ,   a n d   a l l o w s   r e s e a r c h e r s   t o   d e s i g n   a n d   i m p l e m e n t   s t u d i e s   t h a t   w e r e   p r e v i o u s l y   v e r y   d i f f i c u l t   o r   i m p o s s i b l e   t o   c a r r y   o u t   o n   M T u r k .   T u r k P r i m e   i s   d e s i g n e d   a s   a   r e s e a r c h   t o o l   w h o s e   a i m   i s   t o   i m p r o v e   t h e   q u a l i t y   o f   t h e   c r o w d s o u r c i n g   d a t a   c o l l e c t i o n   p r o c e s s .   V a r i o u s   f e a t u r e s   h a v e   b e e n   a n d   c o n t i n u e   t o   b e   i m p l e m e n t e d   o n   t h e   b a s i s   o f   f e e d b a c k   f r o m   t h e   r e s e a r c h   c o m m u n i t y .   T u r k P r i m e   i s   a   f r e e   r e s e a r c h   p l a t f o r m . 	 [ L i t m a n ,   L e i b ;   R o b i n s o n ,   J o n a t h a n ;   A b b e r b o c k ,   T z v i ]   L a n d e r   C o l l ,   F l u s h i n g ,   N Y   1 1 3 6 7   U S A ;   [ L i t m a n ,   L e i b ]   L a n d e r   C o l l ,   D e p t   P s y c h o l ,   7 5 - 3 1   1 5 0 t h   S t ,   F l u s h i n g ,   N Y   1 1 3 6 7   U S A 	 L i t m a n ,   L   ( r e p r i n t   a u t h o r ) ,   L a n d e r   C o l l ,   F l u s h i n g ,   N Y   1 1 3 6 7   U S A . ;   L i t m a n ,   L   ( r e p r i n t   a u t h o r ) ,   L a n d e r   C o l l ,   D e p t   P s y c h o l ,   7 5 - 3 1   1 5 0 t h   S t ,   F l u s h i n g ,   N Y   1 1 3 6 7   U S A . 	 l e i b . l i t m a n @ t o u r o . e d u 	 	 	 	 	 B e r i n s k y   A J ,   2 0 1 2 ,   P O L I T   A N A L ,   V 2 0 ,   P 3 5 1 ,   D O I   1 0 . 1 0 9 3 / p a n / m p r 0 5 7 ;   B u c c a f u s c o   C ,   2 0 1 4 ,   T E X   L A W   R E V ,   V 9 2 ,   P 1 9 2 1 ;   B u h r m e s t e r   M ,   2 0 1 1 ,   P E R S P E C T   P S Y C H O L   S C I ,   V 6 ,   P 3 ,   D O I   1 0 . 1 1 7 7 / 1 7 4 5 6 9 1 6 1 0 3 9 3 9 8 0 ;   C h a n d l e r   J . ,   2 0 1 3 ,   M E T H O D O L O G I C A L   U N P U B ;   C h a n d l e r   J ,   2 0 1 5 ,   P S Y C H O L   S C I ,   V 2 6 ,   P 1 1 3 1 ,   D O I   1 0 . 1 1 7 7 / 0 9 5 6 7 9 7 6 1 5 5 8 5 1 1 5 ;   C h i l t o n   L .   B . ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 8 8 9 ;   E y s e n b a c h   G ,   2 0 0 4 ,   J   M E D   I N T E R N E T   R E S ,   V 6 ,   P 1 2 ,   D O I   1 0 . 2 1 9 6 / j m i r . 6 . 3 . e 3 4 ;   G o s l i n g   S .   D . ,   2 0 1 0 ,   A D V   M E T H O D S   C O N D U C T I ;   G u r e c k i s   T M ,   2 0 1 6 ,   B E H A V   R E S   M E T H O D S ,   V 4 8 ,   P 8 2 9 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 5 - 0 6 4 2 - 8 ;   H e n r i c h   J ,   2 0 1 0 ,   B E H A V   B R A I N   S C I ,   V 3 3 ,   P 6 1 ,   D O I   1 0 . 1 0 1 7 / S 0 1 4 0 5 2 5 X 0 9 9 9 1 5 2 X ;   K r a u t   R . ,   2 0 0 4 ,   P S Y C H O L   R E S   O N L I N E ,   V 5 9 ,   P 1 0 5 ,   D O I   D O I   1 0 . 1 0 3 7 / 0 0 0 3 - 0 6 6 X . 5 9 . 2 . 1 0 5 ;   L i t m a n   L ,   2 0 1 5 ,   B E H A V   R E S   M E T H O D S ,   V 4 7 ,   P 5 1 9 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 4 - 0 4 8 3 - x ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   N o s e k   B A ,   2 0 0 2 ,   G R O U P   D Y N - T H E O R   R E S ,   V 6 ,   P 1 0 1 ,   D O I   1 0 . 1 0 3 7 / / 1 0 8 9 - 2 6 9 9 . 6 . 1 . 1 0 1 ;   P a o l a c c i   G ,   2 0 1 0 ,   J U D G M   D E C I S   M A K ,   V 5 ,   P 5 ,   D O I   D O I   1 0 . 1 1 1 1 / N T W E . 1 2 0 3 8 ;   P e e r   E . ,   2 0 1 2 ,   S E L E C T I V E L Y   R E   U N P U B ;   P e e r   E ,   2 0 1 4 ,   B E H A V   R E S   M E T H O D S ,   V 4 6 ,   P 1 0 2 3 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 3 - 0 4 3 4 - y ;   R o s e n z w e i g   C . ,   2 0 1 5 ,   S   M   A S S   P S Y C H   S C I   N E ;   S H A P I R O   D N ,   2 0 1 3 ,   C L I N   P S Y C H O L   S C I ,   V 1 ,   P 2 1 3 ,   D O I   D O I   1 0 . 1 1 7 7 / 2 1 6 7 7 0 2 6 1 2 4 6 9 0 1 5 ;   S p r o u s e   J ,   2 0 1 1 ,   B E H A V   R E S   M E T H O D S ,   V 4 3 ,   P 1 5 5 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 0 - 0 0 3 9 - 7 ;   V o n   E m d e n   R . ,   2 0 1 5 ,   E X P L O R A T O R Y   T U R K P R I M 	 2 1 	 1 	 1 	 4 	 4 	 S P R I N G E R 	 N E W   Y O R K 	 2 3 3   S P R I N G   S T ,   N E W   Y O R K ,   N Y   1 0 0 1 3   U S A 	 1 5 5 4 - 3 5 1 X 	 1 5 5 4 - 3 5 2 8 	 	 B E H A V   R E S   M E T H O D S 	 B e h a v .   R e s .   M e t h o d s 	 A P R 	 2 0 1 7 	 4 9 	 2 	 	 	 	 	 4 3 3 	 4 4 2 	 	 1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 6 - 0 7 2 7 - z 	 	 1 0 	 P s y c h o l o g y ,   M a t h e m a t i c a l ;   P s y c h o l o g y ,   E x p e r i m e n t a l 	 P s y c h o l o g y 	 E T 6 H J 	 W O S : 0 0 0 4 0 0 3 9 1 8 0 0 0 0 3 	 2 7 0 7 1 3 8 9 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 E s p i n o z a ,   S E E ;   D e   l a   F u e n t e ,   A E V ;   C o n t r e r a s ,   C A M 	 	 	 	 E s p i n o z a   E s p i n o z a ,   S e b a s t i a n   E d u a r d o ;   V i v a c e t a   D e   l a   F u e n t e ,   A n i b a l   E n r i q u e ;   M a c h u c a   C o n t r e r a s ,   C o n s t a n z a   A n d r e a 	 	 	 V a l p a r a i s o ' s   2 0 1 4   F i r e :   E v a l u a t i o n   o f   E n v i r o n m e n t a l   a n d   E p i d e m i o l o g i c a l   R i s k   F a c t o r s   D u r i n g   t h e   E m e r g e n c y   T h r o u g h   a   C r o w d s o u r c i n g   T o o l 	 D I S A S T E R   M E D I C I N E   A N D   P U B L I C   H E A L T H   P R E P A R E D N E S S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 u r b a n   f i r e ;   e n v i r o n m e n t a l   r i s k   f a c t o r s ;   e p i d e m i o l o g y ;   e m e r g e n c i e s   a n d   d i s a s t e r s ;   c r o w d s o u r c i n g 	 D I S A S T E R S ;   H E A L T H 	 O b j e c t i v e :   T o   d e s c r i b e   a n d   r e l a t e   t h e   m a i n   e n v i r o n m e n t a l   r i s k   f a c t o r s   i n   t h e   e m e r g e n c y   p r o c e s s   a f t e r   a   l a r g e   u r b a n   f i r e   i n   V a l p a r a i s o ,   C h i l e ,   i n   A p r i l   2 0 1 4 .   M e t h o d s :   A n   o b s e r v a t i o n a l ,   c r o s s - s e c t i o n a l   d e s c r i p t i v e   s t u d y   w a s   p e r f o r m e d .   A l l   2 4 3   r e p o r t s   f r o m   a n   a d   h o c   w e b / m o b i l e   w e b s i t e   c r e a t e d   o n   t h e   U s h a h i d i / C r o w d m a p   p l a t f o r m   w e r e   r e v i e w e d .   R e p o r t s   w e r e   r e c o r d e d   i n   a   n e w   d a t a b a s e   w i t h   d i c h o t o m i s t   v a r i a b l e s   b a s e d   o n   e i t h e r   t h e   p r e s e n c e   o r   a b s e n c e   o f   t h e   r e l e v a n t   c a t e g o r y   i n   e a c h   r e p o r t .   R e s u l t s :   A l m o s t   o n e - t h i r d   o f   t h e   r e p o r t s   p r e s e n t e d   d a t a   a b o u t   g a r b a g e   ( 3 0 % )   a n d   c h e m i c a l   t o i l e t s   ( 2 9 % ) .   R e p o r t s   r e l a t e d   t o   w a t e r ,   i n f r a s t r u c t u r a l   d a m a g e ,   a n d   g a r b a g e   h a d   s i g n i f i c a n t   a s s o c i a t i o n s   w i t h   4   c a t e g o r i e s   b y   c h i - s q u a r e   t e s t .   I n   t h e   l o g i s t i c   r e g r e s s i o n   m o d e l   f o r   c h e m i c a l   t o i l e t s ,   o n l y   t h e   v a r i a b l e   o f   w a t e r   w a s   s i g n i f i c a n t   ( P   v a l u e = 0 . 0 0 ;   m o d e l   P   v a l u e :   0 . 0 0 ;   R - 2 :   1 1 . 7 % ) .   T h e   g a r b a g e   c a t e g o r y   c o n f i r m e d   i n f r a s t r u c t u r a l   d a m a g e   ( P   v a l u e :   0 . 0 0 ) ,   w a t e r   ( P   v a l u e :   0 . 0 2 8 ) ,   a n d   v e c t o r s   ( P   v a l u e :   0 . 0 0 )   a s   p r e d i c t o r s   ( m o d e l   P   v a l u e :   0 . 0 0 ;   R - 2 :   2 3 . 0 9 % ) .   C o n c l u s i o n s :   S t a t i s t i c a l l y   s i g n i f i c a n t   e v i d e n c e   w a s   f o u n d   f o r   t h e   s t a t i s t i c a l   d e p e n d e n c e   o f   7   o u t   o f   1 0   s t u d i e d   v a r i a b l e s .   T h e   m o s t   f r e q u e n t   e n v i r o n m e n t a l   r i s k   f a c t o r s   i n   t h e   r e p o r t s   w e r e   g a r b a g e ,   c h e m i c a l   t o i l e t s ,   a n d   d o n a t i o n   c e n t e r s .   T h e   h i g h e s t   c o r r e l a t i o n   f o u n d   w a s   f o r   d a m a g e d   i n f r a s t r u c t u r e ,   v e c t o r s ,   a n d   g a r b a g e . 	 [ E s p i n o z a   E s p i n o z a ,   S e b a s t i a n   E d u a r d o ;   M a c h u c a   C o n t r e r a s ,   C o n s t a n z a   A n d r e a ]   U n i v   V a l p a r a i s o ,   S c h   D e n t ,   D e p t   P u b l   H l t h ,   V a l p a r a i s o ,   C h i l e ;   [ V i v a c e t a   D e   l a   F u e n t e ,   A n i b a l   E n r i q u e ]   U n i v   V a l p a r a i s o ,   S c h   M e d ,   D e p t   P u b l   H l t h ,   V a l p a r a i s o ,   C h i l e 	 E s p i n o z a ,   S E E   ( r e p r i n t   a u t h o r ) ,   2 1 1   S u b i d a   C a r v a l l o ,   V a l p a r a i s o ,   C h i l e . 	 s e b a s t i a n . e s p i n o z a @ u v . c l 	 	 	 	 	 A s t o r g a   M ,   2 0 1 4 ,   R E V   C H I L E N A   S A L U D   P U ,   V 1 8 ,   P 1 9 9 ;   D a t a r   A ,   2 0 1 3 ,   S O C   S C I   M E D ,   V 7 6 ,   P 8 3 ,   D O I   1 0 . 1 0 1 6 / j . s o c s c i m e d . 2 0 1 2 . 1 0 . 0 0 8 ;   D o m i n i c i   F ,   2 0 0 5 ,   E P I D E M I O L   R E V ,   V 2 7 ,   P 9 ,   D O I   1 0 . 1 0 9 3 / e p i r e v / m x i 0 0 9 ;   K o r t e w e g   H A ,   2 0 1 0 ,   B M C   P U B L I C   H E A L T H ,   V 1 0 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 4 5 8 - 1 0 - 2 9 5 ;   N o j i   E r i c   K . ,   2 0 0 0 ,   I M P A C T O   D E S A S T R E S   S A ;   P a n   A m e r i c a n   H e a l t h   A s s o c i a t i o n   M i n i s t r y   o f   H e a l t h   O f f i c e ,   2 0 1 0 ,   G U I A   V I G   E P   E M   D E S ;   P e t e r s e n   K ,   2 0 1 4 ,   S O C I O L   R E V ,   V 6 2 ,   P 9 1 ,   D O I   1 0 . 1 1 1 1 / 1 4 6 7 - 9 5 4 X . 1 2 1 2 5 ;   v a n   d e n   B e r g   B e l l i s ,   2 0 0 8 ,   P r e h o s p   D i s a s t e r   M e d ,   V 2 3 ,   p s 5 5 ;   Z o o k   M . ,   2 0 1 0 ,   W o r l d   M e d i c a l   a n d   H e a l t h   P o l i c y ,   V 2 ,   P 7 ,   D O I   1 0 . 2 2 0 2 / 1 9 4 8 - 4 6 8 2 . 1 0 6 9 	 9 	 0 	 0 	 4 	 4 	 C A M B R I D G E   U N I V   P R E S S 	 N E W   Y O R K 	 3 2   A V E N U E   O F   T H E   A M E R I C A S ,   N E W   Y O R K ,   N Y   1 0 0 1 3 - 2 4 7 3   U S A 	 1 9 3 5 - 7 8 9 3 	 1 9 3 8 - 7 4 4 X 	 	 D I S A S T E R   M E D   P U B L I C 	 D i s .   M e d .   P u b l i c   H e a l t h   P r e p . 	 A P R 	 2 0 1 7 	 1 1 	 2 	 	 	 	 	 2 3 9 	 2 4 3 	 	 1 0 . 1 0 1 7 / d m p . 2 0 1 6 . 1 1 7 	 	 5 	 P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h 	 P u b l i c ,   E n v i r o n m e n t a l   &   O c c u p a t i o n a l   H e a l t h 	 E T 1 C R 	 W O S : 0 0 0 4 0 0 0 0 4 0 0 0 0 1 4 	 2 7 6 1 8 8 8 1 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 W a n g ,   X ;   D i n g ,   L ;   W a n g ,   Q ;   X i e ,   J ;   W a n g ,   T Y ;   T i a n ,   X H ;   G u a n ,   Y F ;   W a n g ,   X B 	 	 	 	 W a n g ,   X i o n g ;   D i n g ,   L e i ;   W a n g ,   Q i ;   X i e ,   J i n ;   W a n g ,   T i a n y i ;   T i a n ,   X i a o h u a ;   G u a n ,   Y u n f e n g ;   W a n g ,   X i n b i n g 	 	 	 A   P i c t u r e   i s   W o r t h   a   T h o u s a n d   W o r d s :   S h a r e   Y o u r   R e a l - T i m e   V i e w   o n   t h e   R o a d 	 I E E E   T R A N S A C T I O N S   O N   V E H I C U L A R   T E C H N O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g   s y s t e m ;   o n - d e m a n d ;   r e a l - t i m e ;   v i s u a l 	 D A T A   F U S I O N ;   P R E D I C T I O N ;   F E A T U R E S ;   S Y S T E M S 	 T h e   v i s u a l   i n f o r m a t i o n   p r o v i d e d   b y   a p p l i c a t i o n s   f a c i l i t a t i n g   u r b a n   c o m m u n i c a t i o n s   s u c h   a s   G o o g l e   S t r e e t   V i e w   a n d   W a z e   s c e n e   r e p o r t   i s   i n t u i t i o n i s t i c   a n d   u s e f u l   s i n c e   i t   c o n f o r m s   t o   h u m a n   c o g n i t i v e   h a b i t s .   H o w e v e r ,   c u r r e n t   s t r e e t   v i e w   s e r v i c e s   c a n n o t   p r o v i d e   r e a l - t i m e   i n f o r m a t i o n ,   a n d   t h e   s c e n e   r e p o r t   s e r v i c e   i s   p a s s i v e .   A n   o n - d e m a n d   a n d   r e a l - t i m e   v i s u a l - i n f o r m a t i o n - p r o v i d i n g   m e c h a n i s m   i s   s t i l l   u n a v a i l a b l e .   I n   t h i s   p a p e r ,   w e   d e v e l o p   t h e   c r o w d s o u r c i n g - b a s e d   R e a l - t i m e   V i e w   S h a r e   ( R V S h a r e )   s y s t e m ,   w h i c h   p r o v i d e s   p i c t u r e s   o f   r e q u e s t e d   l o c a t i o n s   t a k e n   b y   t r a v e l e r s   j u s t   p a s s i n g   b y .   T o   e n a b l e   t h e   R V S h a r e   s y s t e m ,   w e   p r o p o s e   a   v i e w - s h a r i n g   j o b   d i s t r i b u t i o n   m e c h a n i s m ,   w h e r e   a   w a v e l e t - b a s e d   v e h i c l e   p r e d i c t i o n   s c h e m e   a n d   a   t r e e - s e a r c h i n g - b a s e d   t r a c k i n g   s c h e m e   a r e   d e v e l o p e d   t o   s e l e c t   v e h i c l e s   f o r   v i e w   s h a r i n g .   W e   a l s o   d e s i g n   a   s i m p l e   b u t   e f f e c t i v e   i n c e n t i v e   m e c h a n i s m   t o   e n c o u r a g e   m o r e   t r a v e l e r s   t o   p a r t i c i p a t e   i n t o   t h e   v i e w - s h a r i n g   a c t i v i t y ,   w h e r e   t h e   r e w a r d i n g   p r o c e s s   t a k e s   t h e   q u a l i t y   o f   u p l o a d e d   p i c t u r e s   i n t o   a c c o u n t .   M o r e o v e r ,   w e   d e v e l o p   a   p r o c e s s i n g   f l o w   f o r   u p l o a d e d   p i c t u r e s   t o   i m p r o v e   t h e   a c c u r a c y   o f   t h e   p i c t u r e   q u a l i t y   e v a l u a t i o n   a n d   v e r i f y   t h e   p i c t u r e   c o n t e n t .   C o m p r e h e n s i v e   e x p e r i m e n t   r e s u l t s   f r o m   r o a d   t e s t s   a r e   c o n d u c t e d   t o   e v a l u a t e   t h e   p e r f o r m a n c e   o f   t h e   R V S h a r e   s y s t e m . 	 [ W a n g ,   X i o n g ;   W a n g ,   T i a n y i ;   T i a n ,   X i a o h u a ;   G u a n ,   Y u n f e n g ;   W a n g ,   X i n b i n g ]   S h a n g h a i   J i a o   T o n g   U n i v ,   D e p t   E l e c t   E n g n ,   S h a n g h a i   2 0 0 2 4 0 ,   P e o p l e s   R   C h i n a ;   [ D i n g ,   L e i ]   U n i v   C a l i f   L o s   A n g e l e s ,   D e p t   E l e c t   E n g n ,   L o s   A n g e l e s ,   C A   9 0 0 2 4   U S A ;   [ W a n g ,   Q i ]   C o l u m b i a   U n i v ,   D e p t   C o m p   S c i ,   N e w   Y o r k ,   N Y   1 0 0 2 7   U S A ;   [ X i e ,   J i n ]   N o r t h e a s t e r n   U n i v ,   D e p t   E l e c t   &   C o m p   E n g n ,   B o s t o n ,   M A   0 2 1 1 5   U S A ;   [ T i a n ,   X i a o h u a ]   S o u t h e a s t   U n i v ,   N a t l   M o b i l e   C o m m u n i c a t   R e s   L a b ,   N a n j i n g   2 1 0 0 9 6 ,   J i a n g s u ,   P e o p l e s   R   C h i n a 	 W a n g ,   X   ( r e p r i n t   a u t h o r ) ,   S h a n g h a i   J i a o   T o n g   U n i v ,   D e p t   E l e c t   E n g n ,   S h a n g h a i   2 0 0 2 4 0 ,   P e o p l e s   R   C h i n a . 	 w a n g x i o n g s j t u @ s j t u . e d u . c n ;   s t o n e r @ s j t u . e d u . c n ;   p a o p t u 0 2 3 @ s j t u . e d u . c n ;   x i e j i n @ s j t u . e d u . c n ;   c 8 6 6 6 8 2 4 8 @ s j t u . e d u . c n ;   x t i a n @ s j t u . e d u . c n ;   y f g u a n 6 9 @ y a h o o . c o m ;   x w a n g 8 @ s j t u . e d u . c n 	 	 	 N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 6 1 5 3 2 0 1 2 ,   6 1 3 2 5 0 1 2 ,   6 1 2 7 1 2 1 9 ,   6 1 5 2 1 0 6 2 ,   6 1 4 2 8 2 0 5 ,   9 1 4 3 8 1 1 5 ,   6 1 5 7 2 3 1 9 ,   U 1 4 0 5 2 5 1 ] ;   N a t i o n a l   M o b i l e   C o m m u n i c a t i o n s   R e s e a r c h   L a b o r a t o r y ,   S o u t h e a s t   U n i v e r s i t y   [ 2 0 1 4 D 0 7 ] 	 T h i s   w o r k   w a s   s u p p o r t e d   i n   p a r t   b y   t h e   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   u n d e r   G r a n t   6 1 5 3 2 0 1 2 ,   G r a n t   6 1 3 2 5 0 1 2 ,   G r a n t   6 1 2 7 1 2 1 9 ,   G r a n t   6 1 5 2 1 0 6 2 ,   G r a n t   6 1 4 2 8 2 0 5 ,   G r a n t   9 1 4 3 8 1 1 5 ,   G r a n t   6 1 5 7 2 3 1 9 ,   a n d   G r a n t   U 1 4 0 5 2 5 1   a n d   i n   p a r t   b y   t h e   N a t i o n a l   M o b i l e   C o m m u n i c a t i o n s   R e s e a r c h   L a b o r a t o r y ,   S o u t h e a s t   U n i v e r s i t y   u n d e r   G r a n t   2 0 1 4 D 0 7 . 	 A l i   K ,   2 0 1 2 ,   I E E E   W C N C ,   P 3 3 0 7 ,   D O I   1 0 . 1 1 0 9 / W C N C . 2 0 1 2 . 6 2 1 4 3 7 9 ;   A l m o m a n i   I . ,   2 0 1 1 ,   P   2 0 1 1   I E E E   J O R D   C   A ,   P 1 ;   A m r   T . ,   S U R V E Y   T I M E   S E R I E S   D ;   A n a n d   A ,   2 0 1 4 ,   J   I N T E L L   T R A N S P O R T   S ,   V 1 8 ,   P 3 6 7 ,   D O I   1 0 . 1 0 8 0 / 1 5 4 7 2 4 5 0 . 2 0 1 3 . 8 0 6 8 4 4 ;   A r a n d j e l o v i c   R ,   2 0 1 2 ,   P R O C   C V P R   I E E E ,   P 2 9 1 1 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 2 . 6 2 4 8 0 1 8 ;   A r n a u d   G . ,   2 0 1 4 ,   P   T R A N S P   R E S   A R ,   P 1 ;   B a y   H ,   2 0 0 6 ,   L E C T   N O T E S   C O M P U T   S C ,   V 3 9 5 1 ,   P 4 0 4 ;   C h e n   D . ,   2 0 1 5 ,   P   1 3   A N N   I N T   C   M O B   S ,   P 1 ;   C h e n   J ,   2 0 1 5 ,   I E E E   T   A U T O M   S C I   E N G ,   V 1 2 ,   P 9 0 1 ,   D O I   1 0 . 1 1 0 9 / T A S E . 2 0 1 5 . 2 4 2 2 8 5 2 ;   C l a r k e   E .   H . ,   1 9 7 1 ,   P U B L I C   C H O I C E ,   V 1 1 ,   P 1 7 ,   D O I   D O I   1 0 . 1 0 0 7 / B F 0 1 7 2 6 2 1 0 ;   D u b s k a   M ,   2 0 1 5 ,   I E E E   T   I N T E L L   T R A N S P ,   V 1 6 ,   P 1 1 6 2 ,   D O I   1 0 . 1 1 0 9 / T I T S . 2 0 1 4 . 2 3 5 2 8 5 4 ;   F i r l   J . ,   2 0 1 1 ,   P   E C M R ,   P 8 9 ;   F I S C H L E R   M A ,   1 9 8 1 ,   C O M M U N   A C M ,   V 2 4 ,   P 3 8 1 ,   D O I   1 0 . 1 1 4 5 / 3 5 8 6 6 9 . 3 5 8 6 9 2 ;   G a o   L . ,   2 0 1 5 ,   P   I E E E   I N F O C O M ,   P 2 8 0 3 ;   H a j i m o l a h o s e i n i   H ,   2 0 1 4 ,   I E T   C O M P U T   V I S ,   V 8 ,   P 5 3 5 ,   D O I   1 0 . 1 0 4 9 / i e t - c v i . 2 0 1 3 . 0 2 6 7 ;   H l n h a g e n   T . ,   2 0 1 0 ,   P   I E E E   4 ,   P 2 1 ;   J o   Y . ,   2 0 1 4 ,   I N T   J   D I S T R I B   S E N S   N ,   V 1 6 ,   p 1 4   0 5 0 ;   K h a n   W Z ,   2 0 1 3 ,   I E E E   C O M M U N   S U R V   T U T ,   V 1 5 ,   P 4 0 2 ,   D O I   1 0 . 1 1 0 9 / S U R V . 2 0 1 2 . 0 3 1 4 1 2 . 0 0 0 7 7 ;   L o w e   D G ,   2 0 0 4 ,   I N T   J   C O M P U T   V I S I O N ,   V 6 0 ,   P 9 1 ,   D O I   1 0 . 1 0 2 3 / B : V I S I . 0 0 0 0 0 2 9 6 6 4 . 9 9 6 1 5 . 9 4 ;   M i k o l a j c z y k   K ,   2 0 0 5 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 7 ,   P 1 6 1 5 ,   D O I   1 0 . 1 1 0 9 / T P A M I . 2 0 0 5 . 1 8 8 ;   O h n - B a r   E ,   2 0 1 4 ,   I E E E   I N T   V E H   S Y M ,   P 7 1 9 ,   D O I   1 0 . 1 1 0 9 / I V S . 2 0 1 4 . 6 8 5 6 6 1 2 ;   S o u l t a u   N . ,   2 0 1 4 ,   P   5   I E E E   I N T   S   P O W   E ,   P 1 ;   V I C K R E Y   W ,   1 9 6 1 ,   J   F I N A N C ,   V 1 6 ,   P 8 ,   D O I   1 0 . 2 3 0 7 / 2 9 7 7 6 3 3 ;   W e n   Y T ,   2 0 1 5 ,   I E E E   T   V E H   T E C H N O L ,   V 6 4 ,   P 4 2 0 3 ,   D O I   1 0 . 1 1 0 9 / T V T . 2 0 1 4 . 2 3 6 3 8 4 2 ;   X i o n g   Y . ,   2 0 1 2 ,   M U L T I M E D I A   S I G N A L   P R ,   V 2 4 6 ,   P 2 0 0 ;   Y a n g   D J ,   2 0 1 2 ,   M O B I C O M   1 2 :   P R O C E E D I N G S   O F   T H E   1 8 T H   A N N U A L   I N T E R N A T I O N A L   C O N F E R E N C E   O N   M O B I L E   C O M P U T I N G   A N D   N E T W O R K I N G ,   P 1 7 3 ;   Z h a n g   X . ,   2 0 1 5 ,   P   I E E E   I N F O C O M ,   P 2 8 3 0 	 2 7 	 0 	 0 	 0 	 0 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 0 0 1 8 - 9 5 4 5 	 1 9 3 9 - 9 3 5 9 	 	 I E E E   T   V E H   T E C H N O L 	 I E E E   T r a n s .   V e h .   T e c h n o l . 	 A P R 	 2 0 1 7 	 6 6 	 4 	 	 	 	 	 2 9 0 2 	 2 9 1 4 	 	 1 0 . 1 1 0 9 / T V T . 2 0 1 6 . 2 5 9 2 6 8 5 	 	 1 3 	 E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T e l e c o m m u n i c a t i o n s ;   T r a n s p o r t a t i o n   S c i e n c e   &   T e c h n o l o g y 	 E n g i n e e r i n g ;   T e l e c o m m u n i c a t i o n s ;   T r a n s p o r t a t i o n 	 E S 7 R Z 	 W O S : 0 0 0 3 9 9 7 4 9 5 0 0 0 0 2 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 B a t e m a n ,   D R ;   B r a d y ,   E ;   W i l k e r s o n ,   D ;   Y i ,   E H ;   K a r a n a m ,   Y ;   C a l l a h a n ,   C M 	 	 	 	 B a t e m a n ,   D a n i e l   R o b e r t ;   B r a d y ,   E r i n ;   W i l k e r s o n ,   D a v i d ;   Y i ,   E u n - H y e ;   K a r a n a m ,   Y a m i n i ;   C a l l a h a n ,   C h r i s t o p h e r   M . 	 	 	 C o m p a r i n g   C r o w d s o u r c i n g   a n d   F r i e n d s o u r c i n g :   A   S o c i a l   M e d i a - B a s e d   F e a s i b i l i t y   S t u d y   t o   S u p p o r t   A l z h e i m e r   D i s e a s e   C a r e g i v e r s 	 J M I R   R E S E A R C H   P R O T O C O L S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A l z h e i m e r   d i s e a s e ;   A l z h e i m e r   d i s e a s e   a n d   r e l a t e d   d e m e n t i a s ;   c a r e g i v e r s ;   m o b i l e   h e a l t h ;   s o c i a l   m e d i a ;   c r o w d s o u r c i n g ;   f r i e n d s o u r c i n g ;   e m o t i o n a l   s u p p o r t ;   i n f o r m a t i o n a l   s u p p o r t ;   o n l i n e   s u p p o r t 	 A M A Z O N   M E C H A N I C A L   T U R K ;   H E A L T H - C A R E ;   D E M E N T I A ;   P R E V A L E N C E ;   P E O P L E ;   I N T E R V E N T I O N S ;   M E T A A N A L Y S I S ;   D E P R E S S I O N ;   O U T C O M E S ;   P A T I E N T 	 B a c k g r o u n d :   I n   t h e   U n i t e d   S t a t e s ,   o v e r   1 5   m i l l i o n   i n f o r m a l   c a r e g i v e r s   p r o v i d e   u n p a i d   c a r e   t o   p e o p l e   w i t h   A l z h e i m e r   d i s e a s e   ( A D ) .   C o m p a r e d   w i t h   o t h e r s   i n   t h e i r   a g e   g r o u p ,   A D   c a r e g i v e r s   h a v e   h i g h e r   r a t e s   o f   s t r e s s ,   a n d   m e d i c a l   a n d   p s y c h i a t r i c   i l l n e s s e s .   P s y c h o s o c i a l   i n t e r v e n t i o n s   i m p r o v e   t h e   h e a l t h   o f   c a r e g i v e r s .   H o w e v e r ,   c o n s t r a i n t s   o f   t i m e ,   d i s t a n c e ,   a n d   a v a i l a b i l i t y   i n h i b i t   t h e   u s e   o f   t h e s e   s e r v i c e s .   N e w e r   o n l i n e   t e c h n o l o g i e s ,   s u c h   a s   s o c i a l   m e d i a ,   o n l i n e   g r o u p s ,   f r i e n d s o u r c i n g ,   a n d   c r o w d s o u r c i n g ,   p r e s e n t   a l t e r n a t i v e   m e t h o d s   o f   d e l i v e r i n g   s u p p o r t .   H o w e v e r ,   l i m i t e d   w o r k   h a s   b e e n   d o n e   i n   t h i s   a r e a   w i t h   c a r e g i v e r s .   O b j e c t i v e :   T h e   p r i m a r y   a i m s   o f   t h i s   s t u d y   w e r e   t o   d e t e r m i n e   ( 1 )   t h e   f e a s i b i l i t y   o f   i n n o v a t i n g   p e e r   s u p p o r t   g r o u p   w o r k   d e l i v e r e d   t h r o u g h   s o c i a l   m e d i a   w i t h   f r i e n d s o u r c i n g ,   ( 2 )   w h e t h e r   t h e   i n t e r v e n t i o n   p r o v i d e s   a n   a c c e p t a b l e   m e t h o d   f o r   A D   c a r e g i v e r s   t o   o b t a i n   s u p p o r t ,   a n d   ( 3 )   w h e t h e r   c a r e g i v e r   o u t c o m e s   w e r e   a f f e c t e d   b y   t h e   i n t e r v e n t i o n .   A   F a c e b o o k   a p p   p r o v i d e d   s u p p o r t   t o   A D   c a r e g i v e r s   t h r o u g h   c o l l e c t i n g   f r i e n d s o u r c e d   a n s w e r s   t o   c a r e g i v e r   q u e s t i o n s   f r o m   p a r t i c i p a n t s '   s o c i a l   n e t w o r k s .   T h e   s t u d y ' s   s e c o n d a r y   a i m   w a s   t o   d e s c r i p t i v e l y   c o m p a r e   f r i e n d s o u r c e d   a n s w e r s   v e r s u s   c r o w d s o u r c e d   a n s w e r s .   M e t h o d s :   W e   r e c r u i t e d   A D   c a r e g i v e r s   o n l i n e   t o   p a r t i c i p a t e   i n   a   6 - w e e k - l o n g   a s y n c h r o n o u s ,   o n l i n e ,   c l o s e d   g r o u p   o n   F a c e b o o k ,   w h e r e   c a r e g i v e r s   r e c e i v e d   s u p p o r t   t h r o u g h   m o d e r a t o r   p r o m p t s ,   g r o u p   m e m b e r   i n t e r a c t i o n s ,   a n d   f r i e n d s o u r c e d   a n s w e r s   t o   c a r e g i v e r   q u e s t i o n s .   W e   s u r v e y e d   a n d   i n t e r v i e w e d   p a r t i c i p a n t s   b e f o r e   a n d   a f t e r   t h e   o n l i n e   g r o u p   t o   a s s e s s   t h e i r   n e e d s ,   v i e w s   o n   t e c h n o l o g y ,   a n d   e x p e r i e n c e   w i t h   t h e   i n t e r v e n t i o n .   C a r e g i v e r   q u e s t i o n s   w e r e   p u s h e d   a u t o m a t i c a l l y   t o   t h e   p a r t i c i p a n t s '   F a c e b o o k   N e w s   F e e d ,   a l l o w i n g   p a r t i c i p a n t s '   F a c e b o o k   f r i e n d s   t o   s e e   a n d   p o s t   a n s w e r s   t o   t h e   c a r e g i v e r   q u e s t i o n s   ( F r i e n d s o u r c e d   a n s w e r s ) .   O f   t h e s e   c a r e g i v e r   q u e s t i o n s ,   2   w e r e   p u s h e d   t o   c r o w d s o u r c e   w o r k e r s   t h r o u g h   t h e   A m a z o n   M e c h a n i c a l   T u r k   p l a t f o r m .   W e   d e s c r i p t i v e l y   c o m p a r e d   c h a r a c t e r i s t i c s   o f   t h e s e   c r o w d s o u r c e d   a n s w e r s   w i t h   t h e   f r i e n d s o u r c e d   a n s w e r s .   R e s u l t s :   I n   t o t a l ,   6   A D   c a r e g i v e r s   c o m p l e t e d   t h e   i n i t i a l   o n l i n e   s u r v e y   a n d   s e m i s t r u c t u r e d   t e l e p h o n e   i n t e r v i e w .   O f   t h e s e ,   4   A D   c a r e g i v e r s   a g r e e d   t o   p a r t i c i p a t e   i n   t h e   o n l i n e   F a c e b o o k   c l o s e d   g r o u p   a c t i v i t y   p o r t i o n   o f   t h e   s t u d y .   F r i e n d s o u r c i n g   a n d   c r o w d s o u r c i n g   a n s w e r s   t o   c a r e g i v e r   q u e s t i o n s   h a d   s i m i l a r   r a t e s   o f   a c c e p t a b i l i t y   a s   r a t e d   b y   c o n t e n t   e x p e r t s :   9 0 %   ( 2 7 /   3 0 )   a n d   1 0 0 %   ( 4 5 /   4 5 ) ,   r e s p e c t i v e l y .   R a t e s   o f   e m o t i o n a l   s u p p o r t   a n d   i n f o r m a t i o n a l   s u p p o r t   f o r   b o t h   g r o u p s   o f   a n s w e r s   a p p e a r e d   t o   t r e n d   w i t h   t h e   t y p e   o f   s u p p o r t   e m p h a s i z e d   i n   t h e   c a r e g i v e r   q u e s t i o n   ( e m o t i o n a l   v s   i n f o r m a t i o n a l   s u p p o r t   q u e s t i o n ) .   F r i e n d s o u r c e d   a n s w e r s   i n c l u d e d   m o r e   s h a r e d   e x p e r i e n c e s   ( 2 0 /   3 0 ,   6 7 % )   t h a n   d i d   c r o w d s o u r c e d   a n s w e r s   ( 4 /   4 5 ,   9 % ) .   C o n c l u s i o n s :   W e   f o u n d   a n   a s y n c h r o n o u s ,   o n l i n e ,   c l o s e d   g r o u p   o n   F a c e b o o k   t o   b e   g e n e r a l l y   a c c e p t a b l e   a s   a   m e a n s   t o   d e l i v e r   s u p p o r t   t o   c a r e g i v e r s   o f   p e o p l e   w i t h   A D .   T h i s   p i l o t   i s   t o o   s m a l l   t o   m a k e   j u d g m e n t s   o n   e f f e c t i v e n e s s ;   h o w e v e r ,   r e s u l t s   t r e n d e d   t o w a r d   a n   i m p r o v e m e n t   i n   c a r e g i v e r s '   s e l f - e f f i c a c y ,   s e n s e   o f   s u p p o r t ,   a n d   p e r c e i v e d   s t r e s s ,   b u t   t h e s e   r e s u l t s   w e r e   n o t   s t a t i s t i c a l l y   s i g n i f i c a n t .   B o t h   f r i e n d s o u r c e d   a n d   c r o w d s o u r c e d   a n s w e r s   m a y   b e   a n   a c c e p t a b l e   w a y   t o   p r o v i d e   i n f o r m a t i o n a l   a n d   e m o t i o n a l   s u p p o r t   t o   c a r e g i v e r s   o f   p e o p l e   w i t h   A D . 	 [ B a t e m a n ,   D a n i e l   R o b e r t ;   B r a d y ,   E r i n ;   W i l k e r s o n ,   D a v i d ;   Y i ,   E u n - H y e ;   C a l l a h a n ,   C h r i s t o p h e r   M . ]   I n d i a n a   U n i v   C t r   A g i n g   R e s ,   1 1 0 1   W   T e n t h   S t ,   I n d i a n a p o l i s ,   I N   4 6 2 0 2   U S A ;   [ B a t e m a n ,   D a n i e l   R o b e r t ]   I n d i a n a   U n i v   S c h   M e d ,   D e p t   P s y c h i a t ,   I n d i a n a p o l i s ,   I N   4 6 2 0 2   U S A ;   [ B a t e m a n ,   D a n i e l   R o b e r t ;   B r a d y ,   E r i n ;   W i l k e r s o n ,   D a v i d ;   Y i ,   E u n - H y e ;   C a l l a h a n ,   C h r i s t o p h e r   M . ]   R e g e n s t r i e f   I n s t   H l t h   C a r e ,   I n d i a n a p o l i s ,   I N   4 6 2 0 2   U S A ;   [ B a t e m a n ,   D a n i e l   R o b e r t ;   C a l l a h a n ,   C h r i s t o p h e r   M . ]   I n d i a n a   A l z h e i m e r   D i s e a s e   C t r ,   I n d i a n a p o l i s ,   I N   4 6 2 0 2   U S A ;   [ B r a d y ,   E r i n ;   K a r a n a m ,   Y a m i n i ]   I n d i a n a   U n i v   P u r d u e   U n i v ,   S c h   I n f o r m a t   &   C o m p ,   D e p t   H u m a n   C e n t e r e d   C o m p ,   I n d i a n a p o l i s ,   I N   4 6 2 0 2   U S A ;   [ W i l k e r s o n ,   D a v i d ;   Y i ,   E u n - H y e ]   I n d i a n a   U n i v ,   S c h   S o c i a l   W o r k ,   I n d i a n a p o l i s ,   I N   4 6 2 0 4   U S A ;   [ C a l l a h a n ,   C h r i s t o p h e r   M . ]   I n d i a n a   U n i v   S c h   M e d ,   D e p t   M e d ,   I n d i a n a p o l i s ,   I N   4 6 2 0 2   U S A 	 B a t e m a n ,   D R   ( r e p r i n t   a u t h o r ) ,   I n d i a n a   U n i v   C t r   A g i n g   R e s ,   1 1 0 1   W   T e n t h   S t ,   I n d i a n a p o l i s ,   I N   4 6 2 0 2   U S A . 	 d a r b a t e @ i u p u i . e d u 	 	 	 T h e   R e g e n s t r i e f   I n s t i t u t e 	 T h i s   w o r k   w a s   f u n d e d   b y   a n   I n n o v a t i o n s   g r a n t   f r o m   T h e   R e g e n s t r i e f   I n s t i t u t e . W e   w o u l d   l i k e   t o   e s p e c i a l l y   t h a n k   B i l l   B e n n e t t , A l i t a   P i n t o , R i c h a r d   H o l d e n   P h D , a n d   H u g h   H e n d r i e   M B   C h B   D S c . 	 B a r a k   A ,   2 0 0 8 ,   C O M P U T   H U M   B E H A V ,   V 2 4 ,   P 1 8 6 7 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 0 8 . 0 2 . 0 0 4 ;   B e d a r d   M ,   2 0 0 1 ,   G E R O N T O L O G I S T ,   V 4 1 ,   P 6 5 2 ;   B e r n s t e i n   M S ,   2 0 1 0 ,   A C M   T   C O M P U T - H U M   I N T ,   V 1 7 ,   D O I   1 0 . 1 1 4 5 / 1 7 4 6 2 5 9 . 1 7 4 6 2 6 0 ;   B r a d y   E ,   2 0 1 5 ,   3 3   A N N   A C M   C   H U M   F A C ,   P 1 0 5 5 ,   D O I   [ 1 0 . 1 1 4 5 / 2 7 0 2 1 2 3 . 2 7 0 2 3 2 9 ,   D O I   1 0 . 1 1 4 5 / 2 7 0 2 1 2 3 . 2 7 0 2 3 2 9 ] ;   B r a u n   V . ,   2 0 0 6 ,   Q U A L I T A T I V E   R E S   P S Y C ,   V 3 ,   P 7 7 ,   D O I   D O I   1 0 . 1 1 9 1 / 1 4 7 8 0 8 8 7 0 6 Q P 0 6 3 O A ;   B u r k e   M ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 9 0 9 ;   C h r i s t a k i s   N A ,   2 0 0 6 ,   N E W   E N G L   J   M E D ,   V 3 5 4 ,   P 7 1 9 ,   D O I   1 0 . 1 0 5 6 / N E J M s a 0 5 0 1 9 6 ;   C l i n e   R J W ,   2 0 0 1 ,   H E A L T H   E D U C   R E S ,   V 1 6 ,   P 6 7 1 ,   D O I   1 0 . 1 0 9 3 / h e r / 1 6 . 6 . 6 7 1 ;   C O H E N   S ,   1 9 8 3 ,   J   H E A L T H   S O C   B E H A V ,   V 2 4 ,   P 3 8 5 ,   D O I   1 0 . 2 3 0 7 / 2 1 3 6 4 0 4 ;   C o l v i n   J ,   2 0 0 4 ,   F A M   R E L A T ,   V 5 3 ,   P 4 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 7 4 1 - 3 7 2 9 . 2 0 0 4 . 0 0 0 0 8 . x ;   C o v i n s k y   K E ,   2 0 0 3 ,   J   G E N   I N T E R N   M E D ,   V 1 8 ,   P 1 0 0 6 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 2 5 - 1 4 9 7 . 2 0 0 3 . 3 0 1 0 3 . x ;   C U M M I N G S   J L ,   1 9 9 4 ,   N E U R O L O G Y ,   V 4 4 ,   P 2 3 0 8 ;   D U G G A N   M . ,   2 0 1 5 ,   S O C I A L   M E D I A   U P D A T E ;   D u g g a n   M . ,   2 0 1 3 ,   S O C I A L   M E D I A   U P D A T E ;   S t e i n f i e l d   C h a r l e s ,   2 0 0 7 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 2 ,   P 1 1 4 3 ,   D O I   D O I   1 0 . 1 1 1 1 / J . 1 0 8 3 - 6 1 0 1 . 2 0 0 7 . 0 0 3 6 7 . X ;   E y s e n b a c h   G ,   2 0 0 8 ,   J   M E D   I N T E R N E T   R E S ,   V 1 0 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 0 3 0 ;   F a m i l y   C a r e g i v e r   A l l i a n c e ,   2 0 1 6 ,   C A R   S T A T   D E M ;   F o x   S ,   2 0 1 3 ,   F A M I L Y   C A R E G I V E R S   A R ;   G a u g l e r   J E ,   2 0 0 5 ,   J   A M   G E R I A T R   S O C ,   V 5 3 ,   P 2 0 9 8 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 3 2 - 5 4 1 5 . 2 0 0 5 . 0 0 4 9 5 . x ;   G i l h o o l y   K J ,   2 0 1 6 ,   B M C   G E R I A T R ,   V 1 6 ,   D O I   1 0 . 1 1 8 6 / s 1 2 8 7 7 - 0 1 6 - 0 2 8 0 - 8 ;   G o o d m a n   R A ,   2 0 1 7 ,   A L Z H E I M E R S   D E M E N T ,   V 1 3 ,   P 2 8 ,   D O I   1 0 . 1 0 1 6 / j . j a l z . 2 0 1 6 . 0 4 . 0 0 2 ;   G o r e n   A ,   2 0 1 6 ,   B M C   G E R I A T R ,   V 1 6 ,   D O I   1 0 . 1 1 8 6 / s 1 2 8 7 7 - 0 1 6 - 0 2 9 8 - y ;   G o t t l i e b   B H ,   2 0 0 2 ,   A G I N G   M E N T   H E A L T H ,   V 6 ,   P 3 2 5 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 0 7 8 6 0 2 1 0 0 0 0 0 6 9 4 7 ;   H a r t z l e r   A ,   2 0 1 1 ,   J   M E D   I N T E R N E T   R E S ,   V 1 3 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 7 2 8 ;   H e l g e s o n   V .   S . ,   2 0 0 0 ,   S O C I A L   S U P P O R T   M E A S U ,   P 2 2 1 ;   H u h   J ,   2 0 1 5 ,   P R O C E E D I N G S   O F   T H E   2 0 1 5   A C M   I N T E R N A T I O N A L   C O N F E R E N C E   O N   C O M P U T E R - S U P P O R T E D   C O O P E R A T I V E   W O R K   A N D   S O C I A L   C O M P U T I N G   ( C S C W ' 1 5 ) ,   P 1 4 8 8 ,   D O I   1 0 . 1 1 4 5 / 2 6 7 5 1 3 3 . 2 6 7 5 2 5 9 ;   I p e i r o t i s   P G ,   2 0 1 0 ,   D E M O G R A P H I C S   M E C H   T U ;   J o h n s o n   G J ,   2 0 0 6 ,   C O M M U N   A C M ,   V 4 9 ,   P 1 0 7 ,   D O I   1 0 . 1 1 4 5 / 1 1 0 7 4 5 8 . 1 1 0 7 4 6 3 ;   K I E C O L T G L A S E R   J K ,   1 9 9 1 ,   P S Y C H O S O M   M E D ,   V 5 3 ,   P 3 4 5 ;   K i t t u r   A ,   2 0 1 3 ,   2 0 1 3   C   C O M P   S U P P   C O O ,   P 1 3 0 1 ;   K i t t u r   A ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 4 5 3 ;   K n e e b o n e   I I ,   2 0 0 3 ,   B R I T   J   H E A L T H   P S Y C H ,   V 8 ,   P 1 ,   D O I   1 0 . 1 3 4 8 / 1 3 5 9 1 0 7 0 3 7 6 2 8 7 9 1 7 4 ;   L a k s   J ,   2 0 1 6 ,   G E R I A T R   P S Y C H I A T ,   V 3 1 ,   P 1 7 6 ;   L e d e r m a n   R ,   2 0 1 4 ,   H E A L T H   P O L I C Y   T E C H N ,   V 3 ,   P 1 3 ,   D O I   1 0 . 1 0 1 6 / j . h l p t . 2 0 1 3 . 1 1 . 0 0 3 ;   L i   R ,   2 0 1 3 ,   I N T   P S Y C H O G E R I A T R ,   V 2 5 ,   P 2 0 4 ,   D O I   1 0 . 1 0 1 7 / S 1 0 4 1 6 1 0 2 1 2 0 0 1 7 5 5 ;   L i t t l e   G ,   2 0 1 0 ,   2 3   A N N   A C M   S   U S   I N T ,   P 5 7 ;   L i u   S ,   2 0 1 7 ,   J   C L I N   N U R S ,   V 2 6 ,   P 1 2 9 1 ,   D O I   1 0 . 1 1 1 1 / j o c n . 1 3 6 0 1 ;   M a s o n   W ,   2 0 1 2 ,   B E H A V   R E S   M E T H O D S ,   V 4 4 ,   P 1 ,   D O I   1 0 . 3 7 5 8 / s 1 3 4 2 8 - 0 1 1 - 0 1 2 4 - 6 ;   M o o r h e a d   S A ,   2 0 1 3 ,   J   M E D   I N T E R N E T   R E S ,   V 1 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 1 9 3 3 ;   M o r r i s   M R ,   2 0 1 0 ,   C H I 2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 8 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 7 3 9 ;   M o r r i s   R . R . ,   2 0 1 2 ,   C O L L   I N T   C   A P R   1 8   2 0 ;   N e u n d o r f e r   M M ,   2 0 0 6 ,   A G I N G   M E N T   H E A L T H ,   V 1 0 ,   P 6 0 6 ,   D O I   1 0 . 1 0 8 0 / 1 3 6 0 7 8 6 0 6 0 0 6 4 1 0 3 6 ;   N i e l s e n   J ,   2 0 0 6 ,   P A R T I C I P A T I O N   I N E Q U A ;   P r i n c e   M ,   2 0 1 3 ,   A L Z H E I M E R S   D E M E N T ,   V 9 ,   P 6 3 ,   D O I   1 0 . 1 0 1 6 / j . j a l z . 2 0 1 2 . 1 1 . 0 0 7 ;   P u s e y   H ,   2 0 0 1 ,   A G I N G   M E N T   H E A L T H ,   V 5 ,   P 1 0 7 ;   Q u i n n   A J ,   2 0 1 1 ,   P   A C M   C H I ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   R a i n s   S A ,   2 0 0 9 ,   H U M   C O M M U N   R E S ,   V 3 5 ,   P 3 0 9 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 2 9 5 8 . 2 0 0 9 . 0 1 3 5 3 . x ;   R a n d   D G ,   2 0 1 2 ,   J   T H E O R   B I O L ,   V 2 9 9 ,   P 1 7 2 ,   D O I   1 0 . 1 0 1 6 / j . j t b i . 2 0 1 1 . 0 3 . 0 0 4 ;   R o e p k e   S K ,   2 0 1 1 ,   P S Y C H O S O M   M E D ,   V 7 3 ,   P 2 0 6 ,   D O I   1 0 . 1 0 9 7 / P S Y . 0 b 0 1 3 e 3 1 8 2 0 8 1 0 0 4 ;   R o s s   J . ,   2 0 1 0 ,   P   A M C   C H I   C ,   V 2 0 1 0 ,   P 2 8 6 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 8 4 6 . 1 7 5 3 8 7 3 ;   R U S S O   J ,   1 9 9 5 ,   J   A B N O R M   P S Y C H O L ,   V 1 0 4 ,   P 1 9 7 ,   D O I   1 0 . 1 0 3 7 / 0 0 2 1 - 8 4 3 X . 1 0 4 . 1 . 1 9 7 ;   S a u n d e r s   D R ,   2 0 1 3 ,   J   M E D   I N T E R N E T   R E S ,   V 1 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 6 2 0 ;   S C H U L Z   R ,   1 9 9 5 ,   G E R O N T O L O G I S T ,   V 3 5 ,   P 7 7 1 ;   S c h u l z   R ,   2 0 0 4 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 9 2 ,   P 9 6 1 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 9 2 . 8 . 9 6 1 ;   S c h u l z   R ,   2 0 0 3 ,   N E W   E N G L   J   M E D ,   V 3 4 9 ,   P 1 9 3 6 ,   D O I   1 0 . 1 0 5 6 / N E J M s a 0 3 5 3 7 3 ;   S c h u l z   R ,   1 9 9 9 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 8 2 ,   P 2 2 1 5 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 8 2 . 2 3 . 2 2 1 5 ;   S H E R B O U R N E   C D ,   1 9 9 1 ,   S O C   S C I   M E D ,   V 3 2 ,   P 7 0 5 ,   D O I   1 0 . 1 0 1 6 / 0 2 7 7 - 9 5 3 6 ( 9 1 ) 9 0 1 5 0 - B ;   S t e f f e n   A M ,   2 0 0 2 ,   J   G E R O N T O L   B - P S Y C H O L ,   V 5 7 ,   p P 7 4 ;   S u e h s   B T ,   2 0 1 4 ,   J   A M   G E R I A T R   S O C ,   V 6 2 ,   P 4 3 5 ,   D O I   1 0 . 1 1 1 1 / j g s . 1 2 6 9 4 ;   T h i n n e s   A ,   2 0 1 1 ,   A M   J   O C C U P   T H E R ,   V 6 5 ,   P 5 4 1 ,   D O I   1 0 . 5 0 1 4 / a j o t . 2 0 1 1 . 0 0 2 6 3 4 ;   U g a n d e r   J . ,   2 0 1 1 ,   A N A T O M Y   F A C E B O O K   S O C ;   v a n   M i e r l o   T ,   2 0 1 4 ,   J   M E D   I N T E R N E T   R E S ,   V 1 6 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 9 6 6 ;   V l a h o v i c   T ,   2 0 1 4 ,   S I G C H I   C   H U M   F A C T   C O ,   P 1 6 2 5 ,   D O I   [ 1 0 . 1 1 4 5 / 2 5 5 6 2 8 8 . 2 5 5 7 1 0 8 ,   D O I   1 0 . 1 1 4 5 / 2 5 5 6 2 8 8 . 2 5 5 7 1 0 8 ] ;   v o n   K a n e l   R ,   2 0 0 8 ,   G E R O N T O L O G Y ,   V 5 4 ,   P 1 3 1 ,   D O I   1 0 . 1 1 5 9 / 0 0 0 1 1 3 6 4 9 ;   W a n g   Y . - C . ,   2 0 1 2 ,   A C M   C   C O M P   S U P P   C O O P ,   P 8 3 3 ;   W i l k e r s o n   D A ,   2 0 1 6 ,   J   T E C H N O L   H U M A N   S E R V ,   V 3 4 ,   P 2 5 6 ,   D O I   1 0 . 1 0 8 0 / 1 5 2 2 8 8 3 5 . 2 0 1 6 . 1 1 9 3 4 5 6 ;   X i e   S X ,   2 0 0 9 ,   A L Z   D I S   A S S O C   D I S ,   V 2 3 ,   P 2 6 8 ,   D O I   1 0 . 1 0 9 7 / W A D . 0 b 0 1 3 e 3 1 8 1 9 4 a 3 2 4 ;   Y a f f e   K ,   2 0 0 2 ,   J A M A - J   A M   M E D   A S S O C ,   V 2 8 7 ,   P 2 0 9 0 ,   D O I   1 0 . 1 0 0 1 / j a m a . 2 8 7 . 1 6 . 2 0 9 0 ;   Y u   B ,   2 0 1 3 ,   J   M E D   I N T E R N E T   R E S ,   V 1 5 ,   D O I   1 0 . 2 1 9 6 / j m i r . 2 5 1 3 ;   Z h a n g   Y ,   2 0 1 3 ,   J   M E D   S Y S T ,   V 3 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 9 1 6 - 0 1 3 - 9 9 4 2 - 7 	 7 0 	 0 	 0 	 5 	 5 	 J M I R   P U B L I C A T I O N S ,   I N C 	 T O R O N T O 	 5 9   W I N N E R S   C I R C L E ,   T O R O N T O ,   O N   M 4 L   3 Y 7 ,   C A N A D A 	 1 9 2 9 - 0 7 4 8 	 	 	 J M I R   R E S   P R O T O C 	 J M I R   R E S .   P r o t o c . 	 A P R 	 2 0 1 7 	 6 	 4 	 	 	 	 	 	 	 e 5 6 	 1 0 . 2 1 9 6 / r e s p r o t . 6 9 0 4 	 	 1 6 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s 	 H e a l t h   C a r e   S c i e n c e s   &   S e r v i c e s 	 E S 2 U E 	 W O S : 0 0 0 3 9 9 3 8 2 6 0 0 0 0 7 	 2 8 3 9 6 3 0 4 	 g o l d 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 T s v e t k o v a ,   M ;   Y a s s e r i ,   T ;   M e y e r ,   E T ;   P i c k e r i n g ,   J B ;   E n g e n ,   V ;   W a l l a n d ,   P ;   L u d e r s ,   M ;   F o l s t a d ,   A ;   B r a v o s ,   G 	 	 	 	 T s v e t k o v a ,   M i l e n a ;   Y a s s e r i ,   T a h a ;   M e y e r ,   E r i c   T . ;   P i c k e r i n g ,   J .   B r i a n ;   E n g e n ,   V e g a r d ;   W a l l a n d ,   P a u l ;   L u d e r s ,   M a r i k a ;   F o l s t a d ,   A s b j o r n ;   B r a v o s ,   G e o r g e 	 	 	 U n d e r s t a n d i n g   H u m a n - M a c h i n e   N e t w o r k s :   A   C r o s s - D i s c i p l i n a r y   S u r v e y 	 A C M   C O M P U T I N G   S U R V E Y S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C r o w d s o u r c i n g ;   m a s s   c o l l a b o r a t i o n ;   c r o w d s e n s i n g ;   s o c i a l   m e d i a ;   p e e r - t o - p e e r ;   c o m p l e x   n e t w o r k s ;   h u m a n - m a c h i n e   n e t w o r k s 	 P A R T I C I P A T O R Y   S E N S I N G   S Y S T E M S ;   S O U R C E   S O F T W A R E - D E V E L O P M E N T ;   W O R L D - W I D E - W E B ;   S O C I A L - I N F L U E N C E ;   P R O J E C T   S U C C E S S ;   V I R T U A L   W O R L D S ;   O N L I N E   G A M E S ;   T R U S T ;   P R I V A C Y ;   M O D E L 	 I n   t h e   c u r r e n t   h y p e r c o n n e c t e d   e r a ,   m o d e r n   I n f o r m a t i o n   a n d   C o m m u n i c a t i o n   T e c h n o l o g y   ( I C T )   s y s t e m s   f o r m   s o p h i s t i c a t e d   n e t w o r k s   w h e r e   n o t   o n l y   d o   p e o p l e   i n t e r a c t   w i t h   o t h e r   p e o p l e ,   b u t   a l s o   m a c h i n e s   t a k e   a n   i n c r e a s i n g l y   v i s i b l e   a n d   p a r t i c i p a t o r y   r o l e .   S u c h   H u m a n - M a c h i n e   N e t w o r k s   ( H M N s )   a r e   e m b e d d e d   i n   t h e   d a i l y   l i v e s   o f   p e o p l e ,   b o t h   f o r   p e r s o n a l   a n d   p r o f e s s i o n a l   u s e .   T h e y   c a n   h a v e   a   s i g n i f i c a n t   i m p a c t   b y   p r o d u c i n g   s y n e r g y   a n d   i n n o v a t i o n s .   T h e   c h a l l e n g e   i n   d e s i g n i n g   s u c c e s s f u l   H M N s   i s   t h a t   t h e y   c a n n o t   b e   d e v e l o p e d   a n d   i m p l e m e n t e d   i n   t h e   s a m e   m a n n e r   a s   n e t w o r k s   o f   m a c h i n e s   n o d e s   a l o n e ,   o r   f o l l o w i n g   a   w h o l l y   h u m a n c e n t r i c   v i e w   o f   t h e   n e t w o r k .   T h e   p r o b l e m   r e q u i r e s   a n   i n t e r d i s c i p l i n a r y   a p p r o a c h .   H e r e ,   w e   r e v i e w   c u r r e n t   r e s e a r c h   o f   r e l e v a n c e   t o   H M N s   a c r o s s   m a n y   d i s c i p l i n e s .   E x t e n d i n g   t h e   p r e v i o u s   t h e o r e t i c a l   c o n c e p t s   o f   s o c i o t e c h n i c a l   s y s t e m s ,   a c t o r - n e t w o r k   t h e o r y ,   c y b e r - p h y s i c a l - s o c i a l   s y s t e m s ,   a n d   s o c i a l   m a c h i n e s ,   w e   c o n c e n t r a t e   o n   t h e   i n t e r a c t i o n s   a m o n g   h u m a n s   a n d   b e t w e e n   h u m a n s   a n d   m a c h i n e s .   W e   i d e n t i f y   e i g h t   t y p e s   o f   H M N s :   p u b l i c - r e s o u r c e   c o m p u t i n g ,   c r o w d s o u r c i n g ,   w e b   s e a r c h   e n g i n e s ,   c r o w d s e n s i n g ,   o n l i n e   m a r k e t s ,   s o c i a l   m e d i a ,   m u l t i p l a y e r   o n l i n e   g a m e s   a n d   v i r t u a l   w o r l d s ,   a n d   m a s s   c o l l a b o r a t i o n .   W e   s y s t e m a t i c a l l y   s e l e c t   l i t e r a t u r e   o n   e a c h   o f   t h e s e   t y p e s   a n d   r e v i e w   i t   w i t h   a   f o c u s   o n   i m p l i c a t i o n s   f o r   d e s i g n i n g   H M N s .   M o r e o v e r ,   w e   d i s c u s s   r i s k s   a s s o c i a t e d   w i t h   H M N s   a n d   i d e n t i f y   e m e r g i n g   d e s i g n   a n d   d e v e l o p m e n t   t r e n d s . 	 [ T s v e t k o v a ,   M i l e n a ]   L o n d o n   S c h   E c o n   &   P o l i t   S c i ,   D e p t   M e t h o d o l ,   H o u g h t o n   S t ,   L o n d o n   W C 2 A   2 A E ,   E n g l a n d ;   [ Y a s s e r i ,   T a h a ;   M e y e r ,   E r i c   T . ]   U n i v   O x f o r d ,   O x f o r d   I n t e r n e t   I n s t ,   1   S t   G i l e s ,   O x f o r d   O X 1   3 J S ,   E n g l a n d ;   [ P i c k e r i n g ,   J .   B r i a n ;   E n g e n ,   V e g a r d ;   W a l l a n d ,   P a u l ]   U n i v   S o u t h a m p t o n ,   I T   I n n o v a t   C t r ,   G a m m a   H o u s e , E n t e r p r i s e   R d ,   S o u t h a m p t o n   S O 1 6   7 N S ,   H a n t s ,   E n g l a n d ;   [ L u d e r s ,   M a r i k a ]   U n i v   O s l o ,   D e p t   M e d i a   &   C o m m u n ,   P o s t b o k s   1 0 9 3   B l i n d e r n ,   N - 0 3 1 7   O s l o ,   N o r w a y ;   [ F o l s t a d ,   A s b j o r n ]   S I N T E F ,   F o r s k n i n g s v e i e n   1 ,   N - 0 3 7 3   O s l o ,   N o r w a y ;   [ B r a v o s ,   G e o r g e ]   A t h e n s   T e c h n o l   C t r ,   C h a l a n d r i   1 5 2 3 3 ,   G r e e c e 	 T s v e t k o v a ,   M   ( r e p r i n t   a u t h o r ) ,   L o n d o n   S c h   E c o n   &   P o l i t   S c i ,   D e p t   M e t h o d o l ,   H o u g h t o n   S t ,   L o n d o n   W C 2 A   2 A E ,   E n g l a n d . 	 m . t s v e t k o v a @ l s e . a c . u k ;   t a h a . y a s s e r i @ o i i . o x . a c . u k ;   e r i c . m e y e r @ o i i . o x . a c . u k ;   j b p @ i t - i n n o v a t i o n . s o t o n . a c . u k ;   v e @ i t - i n n o v a t i o n . s o t o n . a c . u k ;   p w w @ i t - i n n o v a t i o n . s o t o n . a c . u k ;   m a r i k a . l u d e r s @ m e d i a . u i o . n o ;   A s b j o r n . F o l s t a d @ s i n t e f . n o ;   g e b r a v o s @ g m a i l . c o m 	 	 	 E u r o p e a n   U n i o n   [ 6 4 5 0 4 3 ] 	 T h i s   p r o j e c t   h a s   r e c e i v e d   f u n d i n g   f r o m   t h e   E u r o p e a n   U n i o n ' s   H o r i z o n   2 0 2 0   r e s e a r c h   a n d   i n n o v a t i o n   p r o g r a m   u n d e r   g r a n t   a g r e e m e n t   N o   6 4 5 0 4 3 . 	 A d j e i   M T ,   2 0 1 0 ,   J   A C A D   M A R K E T   S C I ,   V 3 8 ,   P 6 3 4 ,   D O I   1 0 . 1 0 0 7 / s 1 1 7 4 7 - 0 0 9 - 0 1 7 8 - 5 ;   A g i c h t e i n   E . ,   2 0 0 8 ,   P   I N T   C   W E B   S E A R C H   W ,   P 1 8 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 4 1 5 3 1 . 1 3 4 1 5 5 7 ;   A g u i r r e   B E ,   1 9 9 8 ,   S O C I O L   F O R U M ,   V 1 3 ,   P 3 0 1 ,   D O I   1 0 . 1 0 2 3 / A : 1 0 2 2 1 4 5 9 0 0 9 2 8 ;   A l l a h b a k h s h   M ,   2 0 1 3 ,   I E E E   I N T E R N E T   C O M P U T ,   V 1 7 ,   P 7 6 ,   D O I   1 0 . 1 1 0 9 / M I C . 2 0 1 3 . 2 0 ;   A n d e r s o n   D P ,   2 0 0 4 ,   F I F T H   I E E E / A C M   I N T E R N A T I O N A L   W O R K S H O P   O N   G R I D   C O M P U T I N G ,   P R O C E E D I N G S ,   P 4 ,   D O I   1 0 . 1 1 0 9 / G R I D . 2 0 0 4 . 1 4 ;   A n d e r s o n   D a v i d   P . ,   2 0 0 2 ,   C O M M U N   A C M ,   V 4 5 ,   P 5 6 ;   K a p l a n   A n d r e a s   M . ,   2 0 1 0 ,   B U S   H O R I Z O N S ,   V 5 3 ,   P 5 9 ,   D O I   D O I   1 0 . 1 0 1 6 / J . B U S H O R . 2 0 0 9 . 0 9 . 0 0 3 ;   A r a s u   A r v i n d ,   2 0 0 1 ,   A C M   T   I N T E R N E T   T E C H N ,   V 1 ,   P 2 ,   D O I   D O I   1 0 . 1 1 4 5 / 3 8 3 0 3 4 . 3 8 3 0 3 5 ;   A r d i c h v i l i   A . ,   2 0 0 8 ,   A D V   D E V   H U M A N   R E S O U R ,   V 1 0 ,   P 5 4 1 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 5 2 3 4 2 2 3 0 8 3 1 9 5 3 6 ;   A r m i n e n   I ,   2 0 0 6 ,   P E R S   U B I Q U I T   C O M P U T ,   V 1 0 ,   P 3 1 9 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 9 - 0 0 5 - 0 0 5 2 - 5 ;   A t z o r i   L ,   2 0 1 0 ,   C O M P U T   N E T W ,   V 5 4 ,   P 2 7 8 7 ,   D O I   1 0 . 1 0 1 6 / j . c o m n e t . 2 0 1 0 . 0 5 . 0 1 0 ;   B a e k   H ,   2 0 1 2 ,   I N T   J   E L E C T R O N   C O M M ,   V 1 7 ,   P 9 9 ,   D O I   1 0 . 2 7 5 3 / J E C 1 0 8 6 - 4 4 1 5 1 7 0 2 0 4 ;   B a g o z z i   R P ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 9 9 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 4 5 ;   B a k s h y   E . ,   2 0 1 2 ,   P   W W W   1 2 ,   P 5 1 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 1 8 7 8 3 6 . 2 1 8 7 9 0 7 ;   B a k s h y   E ,   2 0 1 5 ,   S C I E N C E ,   V 3 4 8 ,   P 1 1 3 0 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . a a a 1 1 6 0 ;   B a l d w i n   C Y ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 1 1 6 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 4 6 ;   B A R A N   M E ,   1 9 8 9 ,   I E E E   T   P O W E R   D E L I V E R ,   V 4 ,   P 1 4 0 1 ,   D O I   1 0 . 1 1 0 9 / 6 1 . 2 5 6 2 7 ;   B a y u s   B L ,   2 0 1 3 ,   M A N A G E   S C I ,   V 5 9 ,   P 2 2 6 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 1 2 0 . 1 5 9 9 ;   B e b e r g   A d a m   L . ,   2 0 0 9 ,   P   2 3   I E E E   I N T   S   P A R ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / I P D P S . 2 0 0 9 . 5 1 6 0 9 2 2 ;   B e n b y a   H . ,   2 0 0 6 ,   I n f o r m a t i o n   T e c h n o l o g y   &   P e o p l e ,   V 1 9 ,   P 1 2 ,   D O I   1 0 . 1 1 0 8 / 0 9 5 9 3 8 4 0 6 1 0 6 4 9 9 5 2 ;   B e r n e r s - L e e   T . ,   2 0 0 0 ,   W E A V I N G   W E B   O R I G I N A L ;   B e r n s t e i n   M i c h a e l   S . ,   2 0 1 0 ,   P   2 3   A N N   A C M   S   U S   I N ,   P 3 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 6 0 2 9 . 1 8 6 6 0 7 8 ;   B i r d   C h r i s t i a n ,   2 0 0 8 ,   P   1 6   A C M   S I G S O F T   I N T ,   P 2 4 ,   D O I   1 0 . 1 1 4 5 / 1 4 5 3 1 0 1 . 1 4 5 3 1 0 7 ;   B o c c a l e t t i   S ,   2 0 0 6 ,   P H Y S   R E P ,   V 4 2 4 ,   P 1 7 5 ,   D O I   1 0 . 1 0 1 6 / j . p h y s r e p . 2 0 0 5 . 1 0 . 0 0 9 ;   B o n d   R M ,   2 0 1 2 ,   N A T U R E ,   V 4 8 9 ,   P 2 9 5 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 1 1 4 2 1 ;   B o y a t z i s   R .   E . ,   2 0 0 6 ,   J o u r n a l   o f   M a n a g e m e n t   D e v e l o p m e n t ,   V 2 5 ,   P 6 0 7 ,   D O I   1 0 . 1 1 0 8 / 0 2 6 2 1 7 1 0 6 1 0 6 7 8 4 4 5 ;   B o y d   D a n a h   M ,   2 0 0 7 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 ,   P 1 3 ;   B r a b a h a n   D . ,   2 0 0 8 ,   I N T   J   R E S   N E W   M E D I A ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   B r i n   S ,   2 0 1 2 ,   C O M P U T   N E T W ,   V 5 6 ,   P 3 8 2 5 ,   D O I   1 0 . 1 0 1 6 / j . c o m n e t . 2 0 1 2 . 1 0 . 0 0 7 ;   B r o c h   J ,   1 9 9 8 ,   P   4   A N N   A C M   I E E E   I N T ,   P 8 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 8 8 2 3 5 . 2 8 8 2 5 6 ;   B r o c k   A ,   2 0 1 2 ,   J   B R O A D C A S T   E L E C T R O N ,   V 5 6 ,   P 5 2 9 ,   D O I   1 0 . 1 0 8 0 / 0 8 8 3 8 1 5 1 . 2 0 1 2 . 7 3 2 1 4 7 ;   B u c h   I ,   2 0 1 0 ,   J   C H E M   I N F   M O D E L ,   V 5 0 ,   P 3 9 7 ,   D O I   1 0 . 1 0 2 1 / c i 9 0 0 4 5 5 r ;   B u r e g i o   V a n i l s o n ,   2 0 1 3 ,   I N T   W O R L D   W I D   W E B   C ,   P 1 ;   C a l a b r e s e   F ,   2 0 1 1 ,   I E E E   T   I N T E L L   T R A N S P ,   V 1 2 ,   P 1 4 1 ,   D O I   1 0 . 1 1 0 9 / T I T S . 2 0 1 0 . 2 0 7 4 1 9 6 ;   C a r d e l l i n i   V ,   1 9 9 9 ,   I E E E   I N T E R N E T   C O M P U T ,   V 3 ,   P 2 8 ,   D O I   1 0 . 1 1 0 9 / 4 2 3 6 . 7 6 9 4 2 0 ;   C a r p i n e t o   C ,   2 0 1 2 ,   A C M   C O M P U T   S U R V ,   V 4 4 ,   D O I   1 0 . 1 1 4 5 / 2 0 7 1 3 8 9 . 2 0 7 1 3 9 0 ;   C a s t e l l s   M . ,   2 0 1 1 ,   R I S E   N E T W O R K   S O C   I N F ,   V 1 ;   C e n t o l a   D ,   2 0 1 5 ,   S O C   S C I   M E D ,   V 1 2 5 ,   P 1 9 ,   D O I   1 0 . 1 0 1 6 / j . s o c s c i m e d . 2 0 1 4 . 0 5 . 0 1 9 ;   C h e n   D B ,   2 0 1 3 ,   P L O S   O N E ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 7 7 4 5 5 ;   C h e s h i r e   C ,   2 0 1 1 ,   D A E D A L U S - U S ,   V 1 4 0 ,   P 4 9 ;   C h i t i   F ,   2 0 0 8 ,   I E E E   W I R E L   C O M M U N ,   V 1 5 ,   P 8 ,   D O I   1 0 . 1 1 0 9 / M W C . 2 0 0 8 . 4 5 4 7 5 1 7 ;   C h i u   C M ,   2 0 0 6 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 2 ,   P 1 8 7 2 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 6 . 0 4 . 0 0 1 ;   C h o i   D .   J . ,   2 0 0 4 ,   I S S U E S   R E P O R T   D I G I T A ,   V 1 ,   P 1 ;   C h r i s t i n   D ,   2 0 1 1 ,   J   S Y S T   S O F T W A R E ,   V 8 4 ,   P 1 9 2 8 ,   D O I   1 0 . 1 0 1 6 / j . j s s . 2 0 1 1 . 0 6 . 0 7 3 ;   C l a y p o o l   M ,   2 0 0 6 ,   C O M M U N   A C M ,   V 4 9 ,   P 4 0 ,   D O I   1 0 . 1 1 4 5 / 1 1 6 7 8 3 8 . 1 1 6 7 8 6 0 ;   C o l l i n s - T h o m p s o n   K e v y n ,   2 0 1 1 ,   P   2 0   A C M   I N T   C   I N F   K ,   P 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 0 6 3 5 7 6 . 2 0 6 3 6 3 9 ;   C o n s o l v o   S ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 1 7 9 7 ;   C o o p e r   S ,   2 0 1 0 ,   N A T U R E ,   V 4 6 6 ,   P 7 5 6 ,   D O I   1 0 . 1 0 3 8 / n a t u r e 0 9 3 0 4 ;   C o r r i t o r e   C L ,   2 0 0 3 ,   I N T   J   H U M - C O M P U T   S T ,   V 5 8 ,   P 7 3 7 ,   D O I   1 0 . 1 0 1 6 / S 1 0 7 1 - 5 8 1 9 ( 0 3 ) 0 0 0 4 1 - 7 ;   C r o w s t o n   K . ,   2 0 0 5 ,   1   M O N D A Y ,   V 1 0 ,   P 2 ,   D O I   [ D O I   1 0 . 5 2 1 0 / F M . V 1 0 I 2 . 1 2 0 7 ,   1 0 . 5 2 1 0 / f m . v 1 0 i 2 . 1 2 0 7 ] ;   C r o w s t o n   K ,   2 0 1 2 ,   A C M   C O M P U T   S U R V ,   V 4 4 ,   D O I   1 0 . 1 1 4 5 / 2 0 8 9 1 2 5 . 2 0 8 9 1 2 7 ;   C u o m o   A ,   2 0 1 3 ,   J   G R I D   C O M P U T ,   V 1 1 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 2 3 - 0 1 2 - 9 2 4 1 - 4 ;   C u t i l l o   L A ,   2 0 0 9 ,   I E E E   C O M M U N   M A G ,   V 4 7 ,   P 9 4 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 0 9 . 5 3 5 0 3 7 4 ;   d e   M o n t j o y e   Y A ,   2 0 1 3 ,   S C I   R E P - U K ,   V 3 ,   D O I   1 0 . 1 0 3 8 / s r e p 0 1 3 7 6 ;   D e s e l l   T ,   2 0 1 3 ,   2 0 1 3   I E E E   9 T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   E - S C I E N C E   ( E - S C I E N C E ) ,   P 1 0 7 ,   D O I   1 0 . 1 1 0 9 / e S c i e n c e . 2 0 1 3 . 5 0 ;   D o a n   A ,   2 0 1 1 ,   C O M M U N   A C M ,   V 5 4 ,   P 8 6 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 4 4 2 1 . 1 9 2 4 4 4 2 ;   D o c t o r   V a n e s s a ,   2 0 1 3 ,   H A S H T A G   H I S T   W H A T   S T ;   D o n a t h   J ,   2 0 0 4 ,   B T   T E C H N O L   J ,   V 2 2 ,   P 7 1 ,   D O I   1 0 . 1 0 2 3 / B : B T T J . 0 0 0 0 0 4 7 5 8 5 . 0 6 2 6 4 . c c ;   D o n e t   J A D ,   2 0 1 4 ,   L E C T   N O T E S   C O M P U T   S C ,   V 8 4 3 8 ,   P 8 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 6 2 - 4 4 7 7 4 - 1 _ 7 ;   Y e e   N . ,   2 0 0 6 ,   C H I ,   P 4 0 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 1 2 4 7 7 2 . 1 1 2 4 8 3 4 ;   D u c h e n e a u t   N . ,   2 0 0 4 ,   P   2 0 0 4   A C M   C   C O M P   S U ,   P 3 6 0 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 0 3 1 6 0 7 . 1 0 3 1 6 6 7 ;   D w y e r   C a t h e r i n e ,   2 0 0 7 ,   T R U S T   P R I V A C Y   C O N C E R ;   E i d e   A s l a k   W e g n e r ,   2 0 1 6 ,   H U M A N   M A C H I N E   N E T W O R ;   E M E R Y   F E ,   1 9 6 5 ,   H U M   R E L A T ,   V 1 8 ,   P 2 1 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 8 7 2 6 7 6 5 0 1 8 0 0 1 0 3 ;   E s t e l l e s - A r o l a s   E ,   2 0 1 2 ,   J   I N F   S C I ,   V 3 8 ,   P 1 8 9 ,   D O I   1 0 . 1 1 7 7 / 0 1 6 5 5 5 1 5 1 2 4 3 7 6 3 8 ;   F a n g   L . ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 3 5 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 2 7 ;   F a n g   Y . ,   2 0 0 9 ,   J   M A N A G E M E N T   I N F O R M ,   V 4 ,   P 9 ;   F a u l k n e r   M ,   2 0 1 4 ,   C O M M U N   A C M ,   V 5 7 ,   P 6 6 ,   D O I   1 0 . 1 1 4 5 / 2 6 2 2 6 2 8 . 2 6 2 2 6 3 3 ;   F o r t u n a t o   J o e ,   2 0 1 3 ,   H A S T A G   H I S T   D E E P E R   T ;   F o r t u n a t o   S ,   2 0 1 0 ,   P H Y S   R E P ,   V 4 8 6 ,   P 7 5 ,   D O I   1 0 . 1 0 1 6 / j . p h y s r e p . 2 0 0 9 . 1 1 . 0 0 2 ;   F o s t e r   I ,   2 0 0 1 ,   I N T   J   S U P E R C O M P U T E R ,   V 1 5 ;   F r e y   B r u n o   S . ,   1 9 9 9 ,   M O T I V A T I O N   C R O W D I N G ;   F r o e h l i c h   J ,   2 0 0 9 ,   C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 1 0 4 3 ;   G a n t i   R K ,   2 0 1 1 ,   I E E E   C O M M U N   M A G ,   V 4 9 ,   P 3 2 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 1 . 6 0 6 9 7 0 7 ;   G a n t i   R .   K . ,   2 0 1 0 ,   P   8   I N T   C   M O B   S Y S T   A ,   P 1 5 1 ,   D O I   1 0 . 1 1 4 5 / 1 8 1 4 4 3 3 . 1 8 1 4 4 5 0 ;   G e d i k   B ,   2 0 0 8 ,   I E E E   T   M O B I L E   C O M P U T ,   V 7 ,   P 1 ,   D O I   1 0 . 1 1 0 9 / T M C . 2 0 0 7 . 1 0 6 2 ;   G e i g e r   D a v i d ,   2 0 1 1 ,   M A N A G I N G   C R O W D   T A X O N ;   G i l b e r t   E ,   2 0 0 9 ,   C H I 2 0 0 9 :   P R O C E E D I N G S   O F   T H E   2 7 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S ,   V O L S   1 - 4 ,   P 2 1 1 ;   G i l e s   H o w a r d ,   2 0 1 2 ,   I N T E R   C U L T U R A L   C O M M U ,   P 1 4 1 ;   G l a s g o w   K i m b e r l y ,   2 0 1 3 ,   S o c i a l   C o m p u t i n g ,   B e h a v i o r a l - C u l t u r a l   M o d e l i n g   a n d   P r e d i c t i o n .   6 t h   I n t e r n a t i o n a l   C o n f e r e n c e ,   S B P   2 0 1 3 .   P r o c e e d i n g s ,   P 3 1 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 3 7 2 1 0 - 0 _ 3 4 ;   G o e l   L ,   2 0 1 3 ,   I N F O R M   S Y S T   J ,   V 2 3 ,   P 3 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 3 6 5 - 2 5 7 5 . 2 0 1 1 . 0 0 3 9 6 . x ;   G o l l a p u d i   S r e e n i v a s ,   2 0 0 9 ,   P   1 8   I N T   C   W O R L D   W I D ,   P 3 8 1 ,   D O I   1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 7 6 1 ;   G r e w a l   R ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 4 3 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 0 ;   G u o   B . ,   2 0 1 5 ,   A C M   C O M P U T   S U R V ,   V 4 8 ,   P 1 ;   G u o   B ,   2 0 1 3 ,   J   N E T W   C O M P U T   A P P L ,   V 3 6 ,   P 1 5 3 1 ,   D O I   1 0 . 1 0 1 6 / j . j n c a . 2 0 1 2 . 1 2 . 0 2 8 ;   H a c h m a n n   J ,   2 0 1 1 ,   J   P H Y S   C H E M   L E T T ,   V 2 ,   P 2 2 4 1 ,   D O I   1 0 . 1 0 2 1 / j z 2 0 0 8 6 6 s ;   H a h n   J ,   2 0 0 8 ,   I N F O R M   S Y S T   R E S ,   V 1 9 ,   P 3 6 9 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 0 8 0 . 0 1 9 2 ;   H a n s o n   R ,   2 0 0 6 ,   J   E C O N   B E H A V   O R G A N ,   V 6 0 ,   P 4 4 9 ,   D O I   1 0 . 1 0 1 6 / j . j e b o . 2 0 0 4 . 0 9 . 0 1 1 ;   H a r d j o n o   T h o m a s ,   2 0 0 4 ,   M U L T I C A S T   G R O U P   S E C U ;   H a r s   A l e x a n d e r ,   2 0 0 1 ,   P   3 4   A N N   H A W   I N T   C   S ;   H e   Y Q ,   2 0 1 1 ,   P R O C   I N T   C O N F   D A T A ,   P 1 1 9 9 ,   D O I   1 0 . 1 1 0 9 / I C D E . 2 0 1 1 . 5 7 6 7 9 3 3 ;   H e r t e l   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 1 5 9 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 4 7 - 7 ;   H e y m a n n   P a u l ,   2 0 0 8 ,   P   I N T   C   W E B   S E A R C H   W ,   P 1 9 5 ,   D O I   1 0 . 1 1 4 5 / 1 3 4 1 5 3 1 . 1 3 4 1 5 5 8 ;   H o g g   M A ,   2 0 0 6 ,   C O M M U N   T H E O R ,   V 1 6 ,   P 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 2 8 8 5 . 2 0 0 6 . 0 0 0 0 3 . x ;   H o r w i t z   S ,   2 0 0 4 ,   A C M   S I G P L A N   N O T I C E S ,   V 3 9 ,   P 2 2 9 ,   D O I   1 0 . 1 1 4 5 / 9 8 9 3 9 3 . 9 8 9 4 1 9 ;   H o w e   J . ,   2 0 0 6 ,   W I R E D ,   V 1 4 ,   P 6 ;   H r i s t o v a   D e s i s l a v a ,   2 0 1 3 ,   P R O C E E D I N G S   O F   T H E   A ,   P 2 3 4 ;   H u   S Y ,   2 0 0 6 ,   I E E E   N E T W O R K ,   V 2 0 ,   P 2 2 ,   D O I   1 0 . 1 1 0 9 / M N E T . 2 0 0 6 . 1 6 6 8 4 0 0 ;   H u a n g   J . ,   2 0 0 9 ,   P   1 8   A C M   C   I N F   K N O W L ,   P 7 7 ,   D O I   1 0 . 1 1 4 5 / 1 6 4 5 9 5 3 . 1 6 4 5 9 6 6 ;   H u a n g   K L ,   2 0 1 0 ,   C O M P U T   C O M M U N ,   V 3 3 ,   P 1 2 6 6 ,   D O I   1 0 . 1 0 1 6 / j . c o m c o m . 2 0 0 9 . 0 8 . 0 1 2 ;   H u e b s c h e r   M C ,   2 0 0 8 ,   A C M   C O M P U T   S U R V ,   V 4 0 ,   D O I   1 0 . 1 1 4 5 / 1 3 8 0 5 8 4 . 1 3 8 0 5 8 5 ;   H u g h e s   D . ,   2 0 0 5 ,   I E E E   D I S T R I B U T E D   S Y S ,   V 6 ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / M D S O . 2 0 0 5 . 3 1 ;   I p e i r o t i s   P a n a g i o t i s ,   2 0 1 0 ,   P   A C M   S I G K D D   W O R K S H ,   P 6 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 3 7 8 8 5 . 1 8 3 7 9 0 6 ;   J a n s e n   B J ,   2 0 0 8 ,   I N F O R M   P R O C E S S   M A N A G ,   V 4 4 ,   P 1 2 5 1 ,   D O I   1 0 . 1 0 1 6 / j . i p m . 2 0 0 7 . 0 7 . 0 1 5 ;   J i a   H a i y a n ,   2 0 1 2 ,   P   2 0 1 2   A C M   C   U B   C O M P ,   P 1 1 8 5 ;   J o n e s   J ,   2 0 1 0 ,   I N T   J   U N C O N V   C O M P U T ,   V 6 ,   P 1 2 5 ;   J o n e s   K ,   2 0 0 8 ,   I N F O R M   M A N A G E - A M S T E R ,   V 4 5 ,   P 8 8 ,   D O I   1 0 . 1 0 1 6 / j . i m . 2 0 0 7 . 1 2 . 0 0 2 ;   J o s a n g   A ,   2 0 0 7 ,   D E C I S   S U P P O R T   S Y S T ,   V 4 3 ,   P 6 1 8 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 0 5 . 0 5 . 0 1 9 ;   J u l i a n   D ,   2 0 0 2 ,   I E E E   I N F O C O M   S E R ,   P 4 7 7 ,   D O I   1 0 . 1 1 0 9 / I N F C O M . 2 0 0 2 . 1 0 1 9 2 9 2 ;   K a m b l e   V i h a n g ,   2 0 0 4 ,   P   I N T   C   S I G N   P R O C   C O ,   P 4 1 2 ;   K a m v a r   S . D . ,   2 0 0 3 ,   P   1 2   I N T   C   W O R L D   W I D ,   P 6 4 0 ,   D O I   D O I   1 0 . 1 1 4 5 / 7 7 5 1 5 2 . 7 7 5 2 4 2 ;   K a w r y k o w   A ,   2 0 1 2 ,   P L O S   O N E ,   V 7 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 3 1 3 6 2 ;   K e p h a r t   J . ,   2 0 0 3 ,   I E E E   C O M P U T E R   M A G A Z I ,   V 3 6 ,   P 1 ,   D O I   D O I   1 0 . 1 1 0 9 / M C . 2 0 0 3 . 1 1 6 0 0 5 5 ;   K h a n   W Z ,   2 0 1 3 ,   I E E E   C O M M U N   S U R V   T U T ,   V 1 5 ,   P 4 0 2 ,   D O I   1 0 . 1 1 0 9 / S U R V . 2 0 1 2 . 0 3 1 4 1 2 . 0 0 0 7 7 ;   K h a t i b   F ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 1 8 9 4 9 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 1 1 5 8 9 8 1 0 8 ;   K i e t z m a n n   J .   H . ,   2 0 1 2 ,   J O U R N A L   O F   P U B L I C   A F ,   V 1 2 ,   P 1 0 9 ,   D O I   D O I   1 0 . 1 0 0 2 / P A . 1 4 1 2 ;   K i m   W ,   2 0 1 0 ,   I N F O R M   S Y S T ,   V 3 5 ,   P 2 1 5 ,   D O I   1 0 . 1 0 1 6 / j . i s . 2 0 0 9 . 0 8 . 0 0 3 ;   K i t t u r   A ,   2 0 1 3 ,   P   2 0 1 3   C   C O M P   S U P P   C ,   P 1 3 0 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 4 4 1 7 7 6 . 2 4 4 1 9 2 3 ;   K i t t u r   A n i k e t ,   2 0 1 1 ,   P   2 4   A N N   A C M   S   U S   I N ,   P 4 3 ;   K l e i n b e r g   J o n   M . ,   1 9 9 9 ,   J A C M ,   V 4 6 ,   P 6 0 4 ;   K o s i n s k i   M ,   2 0 1 3 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 1 0 ,   P 5 8 0 2 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 2 1 8 7 7 2 1 1 0 ;   K o u t s o p o u l o s   I ,   2 0 1 3 ,   I E E E   I N F O C O M   S E R ,   P 1 4 0 2 ;   K r a m e r   A . ,   2 0 1 4 ,   P   1 1 1   P   N A T   A C   S C I ,   V 2 4 ,   P 8 7 8 8 ,   D O I   D O I   1 0 . 1 0 7 3 / P N A S . 1 3 2 0 0 4 0 1 1 1 ;   K r a s n o v a   H ,   2 0 1 0 ,   J   I N F   T E C H N O L ,   V 2 5 ,   P 1 0 9 ,   D O I   1 0 . 1 0 5 7 / j i t . 2 0 1 0 . 6 ;   K w a k   H . ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 5 9 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 5 1 ;   L a k h a n i   K R ,   2 0 1 3 ,   N A T   B I O T E C H N O L ,   V 3 1 ,   P 1 0 8 ,   D O I   1 0 . 1 0 3 8 / n b t . 2 4 9 5 ;   L a k h a n i   K R ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 9 2 3 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 2 ) 0 0 0 9 5 - 1 ;   L a n e   N D ,   2 0 1 0 ,   I E E E   C O M M U N   M A G ,   V 4 8 ,   P 1 4 0 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 1 0 . 5 5 6 0 5 9 8 ;   L a n g l e y   D J ,   2 0 1 4 ,   J   I N T E R A C T   M A R K ,   V 2 8 ,   P 1 6 ,   D O I   1 0 . 1 0 1 6 / j . i n t m a r . 2 0 1 3 . 0 6 . 0 0 5 ;   L a t o u r   B ,   2 0 0 5 ,   R E A S S E M B L I N G   S O C I A L ;   L A W   J ,   1 9 9 2 ,   S Y S T   P R A C T I C E ,   V 5 ,   P 3 7 9 ,   D O I   1 0 . 1 0 0 7 / B F 0 1 0 5 9 8 3 0 ;   L E E   J ,   1 9 9 2 ,   E R G O N O M I C S ,   V 3 5 ,   P 1 2 4 3 ,   D O I   1 0 . 1 0 8 0 / 0 0 1 4 0 1 3 9 2 0 8 9 6 7 3 9 2 ;   L e e   J D ,   2 0 0 4 ,   H U M   F A C T O R S ,   V 4 6 ,   P 5 0 ,   D O I   1 0 . 1 5 1 8 / h f e s . 4 6 . 1 . 5 0 . 3 0 3 9 2 ;   L e e   J ,   2 0 1 4 ,   I N T   J   A P P L   M E C H ,   V 6 ,   D O I   1 0 . 1 1 4 2 / S 1 7 5 8 8 2 5 1 1 4 5 0 0 5 4 9 ;   L e e   J . ,   2 0 1 0 ,   P   I E E E   I N T   C   P E R V   C O ,   P 6 0 ;   L e e   K M ,   2 0 1 5 ,   E U R   P H Y S   J   B ,   V 8 8 ,   D O I   1 0 . 1 1 4 0 / e p j b / e 2 0 1 5 - 5 0 7 4 2 - 1 ;   L e o n a r d i   P a u l   M . ,   2 0 1 2 ,   M A T   O R G   S O C I A L   I N T E R ,   P 2 5 ;   L e y d e s d o r f f   L ,   2 0 1 5 ,   J   A S S O C   I N F   S C I   T E C H ,   V 6 6 ,   P 1 0 0 1 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 3 2 4 3 ;   L e y d e s d o r f f   L ,   2 0 1 3 ,   J   A M   S O C   I N F   S C I   T E C ,   V 6 4 ,   P 2 5 7 3 ,   D O I   1 0 . 1 0 0 2 / a s i . 2 2 9 4 6 ;   L i   Q H ,   2 0 1 4 ,   I E E E   T   D E P E N D   S E C U R E ,   V 1 1 ,   P 1 1 5 ,   D O I   1 0 . 1 1 0 9 / T D S C . 2 0 1 3 . 3 1 ;   L i n   C A ,   2 0 0 3 ,   C O M M U N   T H E O R ,   V 1 3 ,   P 3 4 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 8 - 2 8 8 5 . 2 0 0 3 . t b 0 0 2 9 6 . x ;   L i n   H e s h a n ,   2 0 1 0 ,   P   1 9   A C M   I N T   S   H I G H ,   P 9 5 ,   D O I   1 0 . 1 1 4 5 / 1 8 5 1 4 7 6 . 1 8 5 1 4 8 9 ;   L i n   K Y ,   2 0 1 1 ,   C O M P U T   H U M   B E H A V ,   V 2 7 ,   P 1 1 5 2 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 0 . 1 2 . 0 0 9 ;   L i n   Y ,   2 0 0 3 ,   I N T   J   H U M - C O M P U T   S T ,   V 5 9 ,   P 8 3 7 ,   D O I   1 0 . 1 0 1 6 / S 1 0 7 1 - 5 8 1 9 ( 0 3 ) 0 0 1 2 2 - 8 ;   L o r e n z   J ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 9 0 2 0 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 0 0 8 6 3 6 1 0 8 ;   L u   L ,   2 0 0 5 ,   O C E A N   E N G ,   V 3 2 ,   P 2 0 0 7 ,   D O I   1 0 . 1 0 1 6 / j . o c e a n e n g . 2 0 0 5 . 0 4 . 0 0 4 ;   L u   Y B ,   2 0 1 0 ,   E L E C T R O N   C O M M E R   R   A ,   V 9 ,   P 3 4 6 ,   D O I   1 0 . 1 0 1 6 / j . e l e r a p . 2 0 0 9 . 0 7 . 0 0 3 ;   L u s s e a u   D ,   2 0 0 3 ,   P   R O Y   S O C   B - B I O L   S C I ,   V 2 7 0 ,   p S 1 8 6 ,   D O I   1 0 . 1 0 9 8 / r s b l . 2 0 0 3 . 0 0 5 7 ;   M a r i e l   M i k a i l a ,   2 0 1 3 ,   W I L E Y   B L A C K W E L L   E N C Y ;   M a r o z z o   F ,   2 0 1 2 ,   J   C O M P U T   S Y S T   S C I ,   V 7 8 ,   P 1 3 8 2 ,   D O I   1 0 . 1 0 1 6 / j . j c s s . 2 0 1 1 . 1 2 . 0 2 1 ;   M a y e r   P . ,   2 0 1 5 ,   L N C S ,   V 8 9 9 8 ,   P 4 9 5 ;   M c E v i l y   B ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 1 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 4 . 1 . 1 . 1 2 8 1 2 ;   M e h l h o r n   K . ,   1 9 8 9 ,   M F C S   ' 8 9 .   M a t h e m a t i c a l   F o u n d a t i o n s   o f   C o m p u t e r   S c i e n c e   1 9 8 9   P r o c e e d i n g s ,   P 8 8 ;   M e n d e z   D ,   2 0 1 3 ,   P E R V A S I V E   M O B   C O M P U T ,   V 9 ,   P 1 3 2 ,   D O I   1 0 . 1 0 1 6 / j . p m c j . 2 0 1 2 . 1 1 . 0 0 1 ;   M i l o   R ,   2 0 0 2 ,   S C I E N C E ,   V 2 9 8 ,   P 8 2 4 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 2 9 8 . 5 5 9 4 . 8 2 4 ;   M i s l o v e   A ,   2 0 0 7 ,   I M C ' 0 7 :   P R O C E E D I N G S   O F   T H E   2 0 0 7   A C M   S I G C O M M   I N T E R N E T   M E A S U R E M E N T   C O N F E R E N C E ,   P 2 9 ;   M o c k u s   A ,   2 0 0 2 ,   A C M   T   S O F T W   E N G   M E T H ,   V 1 1 ,   P 3 0 9 ,   D O I   1 0 . 1 1 4 5 / 5 6 7 7 9 3 . 5 6 7 7 9 5 ;   M O R R I S   M R ,   2 0 1 0 ,   P   2 8   I N T   C   H U M   F A C T ,   P 1 7 3 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 5 3 3 2 6 . 1 7 5 3 5 8 7 ;   M o r r i s   M e r e d i t h   R i n g e l ,   2 0 0 7 ,   P   2 0   A N N   A C M   S   U S   I N ,   P 3 ,   D O I   1 0 . 1 1 4 5 / 1 2 9 4 2 1 1 . 1 2 9 4 2 1 5 ;   M o r r i s   M e r e d i t h   R i n g e l ,   2 0 1 3 ,   P   2 0 1 3   C   C O M P   S U P P   C ,   P 1 1 8 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 4 4 1 7 7 6 . 2 4 4 1 9 1 0 ;   M u c h n i k   L ,   2 0 1 3 ,   S C I E N C E ,   V 3 4 1 ,   P 6 4 7 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 2 4 0 4 6 6 ;   M u r r a y   T o m ,   2 0 1 4 ,   F I N A L   R E P O R T   S O C I A L ,   P 6 2 ;   M u r r a y - R u s t   D a v e ,   2 0 1 4 ,   P   C O L L A B O R A T E C O M   C   I ,   P 1 0 ;   N e w m a n   M E J ,   2 0 0 3 ,   P H Y S   R E V   E ,   V 6 8 ,   D O I   [ 1 0 . 1 1 0 3 / P h y s R e v E . 6 8 . 0 2 6 1 2 1 ,   1 0 . 1 1 0 3 / P h y s R e v E . 6 8 . 0 3 6 1 2 2 ] ;   N e w m a n   M E J ,   2 0 0 3 ,   S I A M   R E V ,   V 4 5 ,   P 1 6 7 ,   D O I   1 0 . 1 1 3 7 / S 0 0 3 6 1 4 4 5 0 3 4 2 4 8 0 ;   N o r m a n   D A ,   2 0 0 3 ,   I B M   S Y S T   J ,   V 4 2 ,   P 3 8 ;   N o v   O d e d ,   2 0 1 0 ,   P   1 9   I N T   C   W O R L D   W I D ,   P 7 4 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 7 7 2 6 9 0 . 1 7 7 2 7 6 6 ;   O n d r e j k a   C o r y   R . ,   2 0 0 4 ,   A V I A T O R S   M O G U L S   F A S H ;   O n n e l a   J P ,   2 0 1 0 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 7 ,   P 1 8 3 7 5 ,   D O I   1 0 . 1 0 7 3 / p n a s . 0 9 1 4 5 7 2 1 0 7 ;   O r e g   S ,   2 0 0 8 ,   C O M P U T   H U M   B E H A V ,   V 2 4 ,   P 2 0 5 5 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 0 7 . 0 9 . 0 0 7 ;   P a g e   L . ,   1 9 9 9 ,   P A G E R A N K   C I T A T I O N   R A ;   P a n t i c   M ,   2 0 0 3 ,   P   I E E E ,   V 9 1 ,   P 1 3 7 0 ,   D O I   1 0 . 1 1 0 9 / J P R O C . 2 0 0 3 . 8 1 7 1 2 2 ;   P a r i s e r   E . ,   2 0 1 1 ,   F I L T E R   B U B B L E   W H A T   I ;   P e j o v i c   V . ,   2 0 1 5 ,   A C M   C O M P U T   S U R V ,   V 4 7 ,   P 1 ;   P i c a r d   R W ,   2 0 0 1 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 3 ,   P 1 1 7 5 ,   D O I   1 0 . 1 1 0 9 / 3 4 . 9 5 4 6 0 7 ;   P o u w e l s e   J A ,   2 0 0 8 ,   C O N C U R R   C O M P - P R A C T   E ,   V 2 0 ,   P 1 2 7 ,   D O I   1 0 . 1 0 0 2 / c p e . 1 1 8 9 ;   P r o k e s c h   T ,   2 0 1 5 ,   T E C H N O L   F O R E C A S T   S O C ,   V 9 7 ,   P 4 7 ,   D O I   1 0 . 1 0 1 6 / j . t e c h f o r e . 2 0 1 4 . 0 2 . 0 2 1 ;   Q u i n n   A J ,   2 0 1 1 ,   P   A C M   C H I ,   P 1 4 0 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 8 9 4 2 . 1 9 7 9 1 4 8 ;   R a   M . ,   2 0 1 2 ,   P   1 0   I N T   C   M O B   S Y S T ,   P 3 3 7 ;   R a e n t o   M ,   2 0 0 9 ,   S O C I O L   M E T H O D   R E S ,   V 3 7 ,   P 4 2 6 ,   D O I   1 0 . 1 1 7 7 / 0 0 4 9 1 2 4 1 0 8 3 3 0 0 0 5 ;   R a y k a r   V i k a s   C . ,   2 0 1 1 ,   A D V   N E U R A L   I N F O R M   P R ,   P 1 8 0 9 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   R o g e r s   P . J . ,   2 0 0 8 ,   E V A L U A T I O N ,   V 1 4 ,   P 2 9 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 6 3 8 9 0 0 7 0 8 4 6 7 4 ;   R o n s o n   J o n ,   2 0 1 5 ,   S O   Y O U   B E E N   P U B L I C L Y ;   R o s e   J e r e m y ,   2 0 0 5 ,   J   I N F O R M   S Y S T E M S ,   V 1 7 ,   P 8 ;   R o u s s e a u   D M ,   1 9 9 8 ,   A C A D   M A N A G E   R E V ,   V 2 3 ,   P 3 9 3 ,   D O I   1 0 . 5 4 6 5 / A M R . 1 9 9 8 . 9 2 6 6 1 7 ;   S a a v e d r a   S ,   2 0 1 1 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 8 ,   P 5 2 9 6 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 0 1 8 4 6 2 1 0 8 ;   S a l k i n t z i s   A K ,   2 0 0 6 ,   I E E E   C O M M U N   M A G ,   V 4 4 ,   P 3 8 ,   D O I   1 0 . 1 1 0 9 / M C O M . 2 0 0 6 . 1 5 8 0 9 3 1 ;   S a r o i u   S t e f a n ,   2 0 0 1 ,   I N T   S O C   O P T I C S   P H O T O ,   P 1 5 6 ;   S a x t o n   G D ,   2 0 1 3 ,   I N F O R M   S Y S T   M A N A G E ,   V 3 0 ,   P 2 ,   D O I   1 0 . 1 0 8 0 / 1 0 5 8 0 5 3 0 . 2 0 1 3 . 7 3 9 8 8 3 ;   S c e l l a t o   S ,   2 0 1 1 ,   A C M   K D D 1 1 ,   V 1 1 ,   P 1 0 4 6 ,   D O I   [ 1 0 . 1 1 4 5 / 2 0 2 0 4 0 8 . 2 0 2 0 5 7 5 ,   D O I   1 0 . 1 1 4 5 / 2 0 2 0 4 0 8 . 2 0 2 0 5 7 5 ] ;   S c h a f e r   J .   B e n ,   2 0 0 1 ,   A P P L   D A T A   M I N I N G   E L E ,   P 1 1 5 ;   S c h a f e r   J . B . ,   1 9 9 9 ,   P   1   A C M   C   E L   C O M M ,   P 1 5 8 ,   D O I   D O I   1 0 . 1 1 4 5 / 3 3 6 9 9 2 . 3 3 7 0 3 5 ;   S c h o o r m a n   F D ,   2 0 0 7 ,   A C A D   M A N A G E   R E V ,   V 3 2 ,   P 3 4 4 ;   S h a d b o l t   N i g e l   R . ,   2 0 1 3 ,   P   2 2   I N T   C   W O R L D   W I D ,   P 9 0 5 ;   S h a h   S K ,   2 0 0 6 ,   M A N A G E   S C I ,   V 5 2 ,   P 1 0 0 0 ,   D O I   1 0 . 1 2 8 7 / m n s c . 1 0 6 0 . 0 5 5 3 ;   S h e e h a n   K B ,   2 0 0 2 ,   I N F O R M   S O C ,   V 1 8 ,   P 2 1 ,   D O I   1 0 . 1 0 8 0 / 0 1 9 7 2 2 4 0 2 5 2 8 1 8 2 0 7 ;   S h e n g   X ,   2 0 1 2 ,   2 0 1 2   P R O C E E D I N G S   I E E E   I N F O C O M ,   P 1 9 1 6 ,   D O I   1 0 . 1 1 0 9 / I N F C O M . 2 0 1 2 . 6 1 9 5 5 6 8 ;   S h e t h   A ,   2 0 1 3 ,   I E E E   I N T E L L   S Y S T ,   V 2 8 ,   P 7 8 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 1 3 . 2 0 ;   S i l v e r t o w n   J ,   2 0 1 5 ,   Z O O K E Y S ,   P 1 2 5 ,   D O I   1 0 . 3 8 9 7 / z o o k e y s . 4 8 0 . 8 8 0 3 ;   S i n g h   P V ,   2 0 1 1 ,   M I S   Q U A R T ,   V 3 5 ,   P 8 1 3 ;   S k o w r o n   M ,   2 0 1 4 ,   C O G N   C O M P U T ,   V 6 ,   P 8 7 2 ,   D O I   1 0 . 1 0 0 7 / s 1 2 5 5 9 - 0 1 4 - 9 2 7 1 - 2 ;   S l e d g i a n o w s k i   D ,   2 0 0 9 ,   J   C O M P U T   I N F O R M   S Y S T ,   V 4 9 ,   P 7 4 ;   S m a r t   P ,   2 0 1 5 ,   C O M P U T   S O C   S C I ,   P 5 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 0 8 6 8 1 - 1 _ 3 ;   S o l l n e r   M a t t h i a s ,   2 0 1 3 ,   P S Y C H O L   T R U S T   N E W   R E ,   P 1 2 7 ;   S o l l n e r   M a t t h i a s ,   2 0 1 2 ,   I C I S   2 0 1 2   P   A S S   I N F ,   P 1 ;   S r i p a n i d k u l c h a i   K ,   2 0 0 3 ,   I E E E   I N F O C O M   S E R ,   P 2 1 6 6 ;   S t a n d i f i r d   S S ,   2 0 0 1 ,   J   M A N A G E ,   V 2 7 ,   P 2 7 9 ,   D O I   1 0 . 1 0 1 6 / S 0 1 4 9 - 2 0 6 3 ( 0 1 ) 0 0 0 9 2 - 7 ;   S t e i c h e n   B ,   2 0 1 2 ,   I N F O R M   P R O C E S S   M A N A G ,   V 4 8 ,   P 6 9 8 ,   D O I   1 0 . 1 0 1 6 / j . i p m . 2 0 1 1 . 1 2 . 0 0 4 ;   S t e i n k u e h l e r   C . ,   2 0 0 6 ,   J   C O M P U T - M E D I A T   C O M M ,   V 1 1 ,   P 8 8 5 ,   D O I   [ 1 0 . 1 1 1 1 / j . 1 0 8 3 - 6 1 0 1 . 2 0 0 6 . 0 0 3 0 0 . x ,   D O I   1 0 . 1 1 1 1 / J . 1 0 8 3 - 6 1 0 1 . 2 0 0 6 . 0 0 3 0 0 . X ] ;   S t e w a r t   K J ,   2 0 0 3 ,   O R G A N   S C I ,   V 1 4 ,   P 5 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 4 . 1 . 5 . 1 2 8 1 0 ;   S u r o w i e c k i   J ,   2 0 0 5 ,   W I S D O M   C R O W D S ;   S z e l l   M ,   2 0 1 0 ,   P   N A T L   A C A D   S C I   U S A ,   V 1 0 7 ,   P 1 3 6 3 6 ,   D O I   1 0 . 1 0 7 3 / p n a s . 1 0 0 4 0 0 8 1 0 7 ;   T a p s c o t t   D o n ,   2 0 1 1 ,   W I K I N O M I C S ;   T e n g   C I ,   2 0 1 0 ,   C O M P U T   H U M   B E H A V ,   V 2 6 ,   P 1 5 4 7 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 0 . 0 5 . 0 2 9 ;   T o m a   C L ,   2 0 1 3 ,   P E R S   S O C   P S Y C H O L   B ,   V 3 9 ,   P 3 2 1 ,   D O I   1 0 . 1 1 7 7 / 0 1 4 6 1 6 7 2 1 2 4 7 4 6 9 4 ;   U g a n d e r   J . ,   2 0 1 3 ,   W S D M ,   P 5 0 7 ;   V e n k a t e s h   V ,   2 0 0 0 ,   I N F O R M   S Y S T   R E S ,   V 1 1 ,   P 3 4 2 ,   D O I   1 0 . 1 2 8 7 / i s r e . 1 1 . 4 . 3 4 2 . 1 1 8 7 2 ;   V e r h a g e n   T ,   2 0 1 2 ,   C O M P U T   H U M   B E H A V ,   V 2 8 ,   P 4 8 4 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 1 . 1 0 . 0 2 0 ;   V i n c i a r e l l i   A ,   2 0 1 2 ,   I E E E   T   A F F E C T   C O M P U T ,   V 3 ,   P 6 9 ,   D O I   1 0 . 1 1 0 9 / T - A F F C . 2 0 1 1 . 2 7 ;   v o n   A h n   L ,   2 0 0 8 ,   S C I E N C E ,   V 3 2 1 ,   P 1 4 6 5 ,   D O I   1 0 . 1 1 2 6 / s c i e n c e . 1 1 6 0 3 7 9 ;   v o n   K r o g h   G ,   2 0 0 3 ,   R E S   P O L I C Y ,   V 3 2 ,   P 1 2 1 7 ,   D O I   1 0 . 1 0 1 6 / S 0 0 4 8 - 7 3 3 3 ( 0 3 ) 0 0 0 5 0 - 7 ;   W a n g   F Y ,   2 0 1 0 ,   I E E E   I N T E L L   S Y S T ,   V 2 5 ,   P 8 5 ,   D O I   1 0 . 1 1 0 9 / M I S . 2 0 1 0 . 1 0 4 ;   W A N G   X L ,   2 0 1 3 ,   I E E E   I N F O C O M   S E R ,   P 2 5 1 7 ;   W h i t e   S R ,   2 0 0 4 ,   I N T E R N A T I O N A L   C O N F E R E N C E   O N   A U T O N O M I C   C O M P U T I N G ,   P R O C E E D I N G S ,   P 2 ,   D O I   1 0 . 1 1 0 9 / I C A C . 2 0 0 4 . 1 3 0 1 3 4 0 ;   W o l f e r s   J ,   2 0 0 4 ,   J   E C O N   P E R S P E C T ,   V 1 8 ,   P 1 0 7 ,   D O I   1 0 . 1 2 5 7 / 0 8 9 5 3 3 0 0 4 1 3 7 1 3 2 1 ;   W u   J H ,   2 0 1 0 ,   C O M P U T   H U M   B E H A V ,   V 2 6 ,   P 1 8 6 2 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 0 . 0 7 . 0 3 3 ;   X u   C Y ,   2 0 1 2 ,   I N F O R M   M A N A G E - A M S T E R ,   V 4 9 ,   P 2 1 0 ,   D O I   1 0 . 1 0 1 6 / j . i m . 2 0 1 2 . 0 5 . 0 0 1 ;   Y a h y a v i   A ,   2 0 1 3 ,   A C M   C O M P U T   S U R V ,   V 4 6 ,   D O I   1 0 . 1 1 4 5 / 2 5 2 2 9 6 8 . 2 5 2 2 9 7 7 ;   Y e e   N . ,   2 0 0 6 ,   C Y B E R P S Y C H O L O G Y   B E H A ,   V 9 ;   Z h a n g   X ,   2 0 1 4 ,   C O M P U T   H U M   B E H A V ,   V 3 5 ,   P 5 7 8 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 4 . 0 2 . 0 3 4 ;   Z h e l e v a   E . ,   2 0 0 9 ,   P   1 8   I N T   C   W O R L D   W I D ,   P 5 3 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 7 8 1 ;   Z h o u   P . ,   2 0 1 2 ,   P   1 0   I N T   C   M O B   S Y S T ,   P 3 7 9 ;   Z h o u   R F ,   2 0 0 7 ,   I E E E   T   P A R A L L   D I S T R ,   V 1 8 ,   P 4 6 0 ,   D O I   1 0 . 1 1 0 9 / T P D S . 2 0 0 7 . 1 0 1 5 ;   Z h o u   Z Y ,   2 0 1 1 ,   I N T   J   I N F O R M   M A N A G E ,   V 3 1 ,   P 2 6 1 ,   D O I   1 0 . 1 0 1 6 / j . i j i n f o m g t . 2 0 1 0 . 0 7 . 0 0 7 ;   Z o o k   M . ,   2 0 1 0 ,   W o r l d   M e d i c a l   a n d   H e a l t h   P o l i c y ,   V 2 ,   P 7 ,   D O I   1 0 . 2 2 0 2 / 1 9 4 8 - 4 6 8 2 . 1 0 6 9 	 2 3 6 	 0 	 0 	 5 	 5 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 0 3 6 0 - 0 3 0 0 	 1 5 5 7 - 7 3 4 1 	 	 A C M   C O M P U T   S U R V 	 A C M   C o m p u t .   S u r v . 	 A P R 	 2 0 1 7 	 5 0 	 1 	 	 	 	 	 	 	 1 2 	 1 0 . 1 1 4 5 / 3 0 3 9 8 6 8 	 	 3 5 	 C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 E R 9 B P 	 W O S : 0 0 0 3 9 9 1 1 8 6 0 0 0 1 2 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 P o u s s i n ,   C ;   B e l c a s t r o ,   V ;   M a r t i n ,   F ;   B o u e ,   S ;   P e i t s c h ,   M C ;   H o e n g ,   J 	 	 	 	 P o u s s i n ,   C a r i n e ;   B e l c a s t r o ,   V i n c e n z o ;   M a r t i n ,   F l o r i a n ;   B o u e ,   S t e p h a n i e ;   P e i t s c h ,   M a n u e l   C . ;   H o e n g ,   J u l i a 	 	 	 C r o w d - S o u r c e d   V e r i f i c a t i o n   o f   C o m p u t a t i o n a l   M e t h o d s   a n d   D a t a   i n   S y s t e m s   T o x i c o l o g y :   A   C a s e   S t u d y   w i t h   a   H e a t - N o t - B u r n   C a n d i d a t e   M o d i f i e d   R i s k   T o b a c c o   P r o d u c t 	 C H E M I C A L   R E S E A R C H   I N   T O X I C O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e ;   P r o c e e d i n g s   P a p e r 	 I n t e r n a t i o n a l   S y s t e m s   T o x i c o l o g y   M e e t i n g 	 2 0 1 6 	 S W I T Z E R L A N D 	 	 	 	 D I F F E R E N T I A L   D N A   M E T H Y L A T I O N ;   S M O K I N G - C E S S A T I O N ;   C A R D I O V A S C U L A R - D I S E A S E ;   N E T W O R K   M O D E L S ;   E X P O S U R E ;   B L O O D ;   S I G N A T U R E ;   D I S C O V E R Y ;   I M P R O V E R ;   I N F L A M M A T I O N 	 S y s t e m s   t o x i c o l o g y   i n t e n d s   t o   q u a n t i f y   t h e   e f f e c t   o f   t o x i c   m o l e c u l e s   i n   b i o l o g i c a l   s y s t e m s   a n d   u n r a v e l   t h e i r   m e c h a n i s m s   o f   t o x i c i t y .   T h e   d e v e l o p m e n t   o f   a d v a n c e d   c o m p u t a t i o n a l   m e t h o d s   i s   r e q u i r e d   f o r   a n a l y z i n g   a n d   i n t e g r a t i n g   h i g h   t h r o u g h p u t   d a t a   g e n e r a t e d   f o r   t h i s   p u r p o s e   a s   w e l l   a s   f o r   e x t r a p o l a t i n g   p r e d i c t i v e   t o x i c o l o g i c a l   o u t c o m e s   a n d   r i s k   e s t i m a t e s .   T o   e n s u r e   t h e   p e r f o r m a n c e   a n d   r e l i a b i l i t y   o f   t h e   m e t h o d s   a n d   v e r i f y   c o n c l u s i o n s   f r o m   s y s t e m s   t o x i c o l o g y   d a t a   a n a l y s i s ,   i t   i s   i m p o r t a n t   t o   c o n d u c t   u n b i a s e d   e v a l u a t i o n s   b y   i n d e p e n d e n t   t h i r d   p a r t i e s .   A s   a   c a s e   s t u d y ,   w e   r e p o r t   h e r e   t h e   r e s u l t s   o f   a n   i n d e p e n d e n t   v e r i f i c a t i o n   o f   m e t h o d s   a n d   d a t a   i n   s y s t e m s   t o x i c o l o g y   b y   c r o w d s o u r c i n g .   T h e   s b v   I M P R O V E R   s y s t e m s   t o x i c o l o g y   c o m p u t a t i o n a l   c h a l l e n g e   a i m e d   t o   e v a l u a t e   c o m p u t a t i o n a l   m e t h o d s   f o r   t h e   d e v e l o p m e n t   o f   b l o o d - b a s e d   g e n e   e x p r e s s i o n   s i g n a t u r e   c l a s s i f i c a t i o n   m o d e l s   w i t h   t h e   a b i l i t y   t o   p r e d i c t   s m o k i n g   e x p o s u r e   s t a t u s .   P a r t i c i p a n t s   c r e a t e d / t r a i n e d   m o d e l s   o n   b l o o d   g e n e   e x p r e s s i o n   d a t a   s e t s   i n c l u d i n g   s m o k e r s / m i c e   e x p o s e d   t o   3 R 4 F   ( a   r e f e r e n c e   c i g a r e t t e )   o r   n o n c u r r e n t   s m o k e r s / S h a m   ( m i c e   e x p o s e d   t o   a i r ) .   P a r t i c i p a n t s   a p p l i e d   t h e i r   m o d e l s   o n   u n s e e n   d a t a   t o   p r e d i c t   w h e t h e r   s u b j e c t s   c l a s s i f y   c l o s e r   t o   s m o k e - e x p o s e d   o r   n o n s m o k e   e x p o s e d   g r o u p s .   T h e   d a t a   s e t s   a l s o   i n c l u d e d   d a t a   f r o m   s u b j e c t s   t h a t   h a d   b e e n   e x p o s e d   t o   p o t e n t i a l   m o d i f i e d   r i s k   t o b a c c o   p r o d u c t s   ( M R T P s )   o r   t h a t   h a d   s w i t c h e d   t o   a   M R T P   a f t e r   e x p o s u r e   t o   c o n v e n t i o n a l   c i g a r e t t e   s m o k e .   T h e   s c o r i n g   o f   a n o n y m i z e d   p a r t i c i p a n t s '   p r e d i c t i o n s   w a s   d o n e   u s i n g   p r e d e f i n e d   m e t r i c s .   T h e   t o p   3   p e r f o r m e r s '   m e t h o d s   p r e d i c t e d   c l a s s   l a b e l s   w i t h   a r e a   u n d e r   t h e   p r e c i s i o n   r e c a l l   s c o r e s   a b o v e   0 . 9 .   F u r t h e r m o r e ,   a l t h o u g h   v a r i o u s   c o m p u t a t i o n a l   a p p r o a c h e s   w e r e   u s e d ,   t h e   c r o w d ' s   r e s u l t s   c o n f i r m e d   o u r   o w n   d a t a   a n a l y s i s   o u t c o m e s   w i t h   r e g a r d s   t o   t h e   c l a s s i f i c a t i o n   o f   M R T P - r e l a t e d   s a m p l e s .   M i c e   e x p o s e d   d i r e c t l y   t o   a   M R T P   w e r e   c l a s s i f i e d   c l o s e r   t o   t h e   S h a m   g r o u p .   A f t e r   s w i t c h i n g   t o   a   M R T P ,   t h e   c o n f i d e n c e   t h a t   s u b j e c t s   b e l o n g e d   t o   t h e   s m o k e - e x p o s e d   g r o u p   d e c r e a s e d   s i g n i f i c a n t l y .   S m o k i n g   e x p o s u r e   g e n e   s i g n a t u r e s   t h a t   c o n t r i b u t e d   t o   t h e   g r o u p   s e p a r a t i o n   i n c l u d e d   a   c o r e   s e t   o f   g e n e s   h i g h l y   c o n s i s t e n t   a c r o s s   t e a m s   s u c h   a s   A H R R ,   L R R N 3 ,   S A S H 1 ,   a n d   P 2 R Y 6 .   I n   c o n c l u s i o n ,   c r o w d s o u r c i n g   c o n s t i t u t e s   a   p e r t i n e n t   a p p r o a c h ,   i n   c o m p l e m e n t   t o   t h e   c l a s s i c a l   p e e r   r e v i e w   p r o c e s s ,   t o   i n d e p e n d e n t l y   a n d   u n b i a s e d l y   v e r i f y   c o m p u t a t i o n a l   m e t h o d s   a n d   d a t a   f o r   r i s k   a s s e s s m e n t   u s i n g   s y s t e m s   t o x i c o l o g y . 	 [ P o u s s i n ,   C a r i n e ;   B e l c a s t r o ,   V i n c e n z o ;   M a r t i n ,   F l o r i a n ;   B o u e ,   S t e p h a n i e ;   P e i t s c h ,   M a n u e l   C . ;   H o e n g ,   J u l i a ]   P h i l i p   M o r r i s   P r o d   S A ,   P M I   R & D ,   Q u a i   J e a n r e n a u d   5 ,   C H - 2 0 0 0   N e u c h a t e l ,   S w i t z e r l a n d 	 P o u s s i n ,   C   ( r e p r i n t   a u t h o r ) ,   P h i l i p   M o r r i s   P r o d   S A ,   P M I   R & D ,   Q u a i   J e a n r e n a u d   5 ,   C H - 2 0 0 0   N e u c h a t e l ,   S w i t z e r l a n d . 	 c a r i n e . p o u s s i n @ p m i . c o m 	 	 	 P h i l i p   M o r r i s   I n t e r n a t i o n a l 	 P h i l i p   M o r r i s   I n t e r n a t i o n a l   i s   t h e   s o l e   s o u r c e   o f   f u n d i n g   a n d   s p o n s o r   o f   t h i s   p r o j e c t . 	 A m b a t i p u d i   S ,   2 0 1 6 ,   E P I G E N O M I C S - U K ,   V 8 ,   P 5 9 9 ,   D O I   1 0 . 2 2 1 7 / e p i - 2 0 1 6 - 0 0 0 1 ;   B a u e r   M ,   2 0 1 6 ,   C L I N   E P I G E N E T I C S ,   V 8 ,   D O I   1 0 . 1 1 8 6 / s 1 3 1 4 8 - 0 1 6 - 0 2 4 9 - 7 ;   B e i n e k e   P ,   2 0 1 2 ,   B M C   M E D   G E N O M I C S ,   V 5 ,   D O I   1 0 . 1 1 8 6 / 1 7 5 5 - 8 7 9 4 - 5 - 5 8 ;   B e l c a s t r o   V . ,   2 0 1 7 ,   S B V   I M P R O V E R   S Y S T E M S ;   B o u e   S ,   2 0 1 3 ,   T O X I C O L O G Y ,   V 3 1 4 ,   P 1 1 2 ,   D O I   1 0 . 1 0 1 6 / j . t o x . 2 0 1 3 . 0 9 . 0 1 3 ;   B r e i t l i n g   L P ,   2 0 1 1 ,   A M   J   H U M   G E N E T ,   V 8 8 ,   P 4 5 0 ,   D O I   1 0 . 1 0 1 6 / j . a j h g . 2 0 1 1 . 0 3 . 0 0 3 ;   C h o u   J P ,   2 0 1 3 ,   P L O S   O N E ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 6 4 7 0 2 ;   E y r e   T A ,   2 0 0 7 ,   B R I E F   B I O I N F O R M ,   V 8 ,   P 2 ,   D O I   1 0 . 1 0 9 3 / b i b / b b l 0 3 0 ;   F a n e r   R ,   2 0 1 4 ,   P L O S   O N E ,   V 9 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 9 7 4 9 1 ;   [ A n o n y m o u s ] ,   2 0 1 2 ,   M O D   R I S K   T O B   P R O D   A P ;   G u i d a   F ,   2 0 1 5 ,   H U M   M O L   G E N E T ,   V 2 4 ,   P 2 3 4 9 ,   D O I   1 0 . 1 0 9 3 / h m g / d d u 7 5 1 ;   H a l v o r s e n   B ,   2 0 0 7 ,   S C A N D   J   C L I N   L A B   I N V ,   V 6 7 ,   P 6 0 4 ,   D O I   1 0 . 1 0 8 0 / 0 0 3 6 5 5 1 0 7 0 1 2 8 3 8 7 8 ;   H a z i z a   C ,   2 0 1 6 ,   R E G U L   T O X I C O L   P H A R M ,   V 8 1 ,   p S 1 3 9 ,   D O I   1 0 . 1 0 1 6 / j . y r t p h . 2 0 1 6 . 1 1 . 0 0 3 ;   H o e n g   J ,   2 0 1 4 ,   D R U G   D I S C O V   T O D A Y ,   V 1 9 ,   P 1 8 3 ,   D O I   1 0 . 1 0 1 6 / j . d r u d i s . 2 0 1 3 . 0 7 . 0 2 3 ;   I s k a n d a r   A .   R . ,   2 0 1 6 ,   A L T E X ,   D O I   1 0 . 1 4 5 7 3 / a l t e x . 1 6 0 5 0 4 1 s ;   L a B r e c h e   H G ,   2 0 1 1 ,   P L O S   O N E ,   V 6 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 2 3 0 4 3 ;   M a r t i n   F ,   2 0 1 5 ,   H U M   E X P   T O X I C O L ,   V 3 4 ,   P 1 2 0 0 ,   D O I   1 0 . 1 1 7 7 / 0 9 6 0 3 2 7 1 1 5 6 0 0 3 6 4 ;   M a r t i n   F ,   2 0 1 6 ,   R E G U L   T O X I C O L   P H A R M ,   V 8 1 ,   p S 1 5 1 ,   D O I   1 0 . 1 0 1 6 / j . y r t p h . 2 0 1 6 . 1 1 . 0 1 1 ;   M c C a l l   M N ,   2 0 1 1 ,   B M C   B I O I N F O R M A T I C S ,   V 1 2 ,   D O I   1 0 . 1 1 8 6 / 1 4 7 1 - 2 1 0 5 - 1 2 - 1 3 7 ;   M c C a l l   M N ,   2 0 1 0 ,   B I O S T A T I S T I C S ,   V 1 1 ,   P 2 4 2 ,   D O I   1 0 . 1 0 9 3 / b i o s t a t i s t i c s / k x p 0 5 9 ;   M e s s n e r   B ,   2 0 1 4 ,   A R T E R I O S C L   T H R O M   V A S ,   V 3 4 ,   P 5 0 9 ,   D O I   1 0 . 1 1 6 1 / A T V B A H A . 1 1 3 . 3 0 0 1 5 6 ;   M e y e r   P ,   2 0 1 2 ,   B I O I N F O R M A T I C S ,   V 2 8 ,   P 1 1 9 3 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t s 1 1 6 ;   M e y e r   P ,   2 0 1 1 ,   N A T   B I O T E C H N O L ,   V 2 9 ,   P 8 1 1 ,   D O I   1 0 . 1 0 3 8 / n b t . 1 9 6 8 ;   N a   H K ,   2 0 1 5 ,   T O X I C O L   L E T T ,   V 2 3 2 ,   P 4 2 9 ,   D O I   1 0 . 1 0 1 6 / j . t o x l e t . 2 0 1 4 . 1 0 . 0 0 5 ;   N a m a s i v a y a m   A A ,   2 0 1 6 ,   G E N E   R E G U L   S Y S T   B I O ,   V 1 0 ,   P 5 1 ,   D O I   1 0 . 4 1 3 7 / G R S B . S 3 9 0 7 6 ;   N o r e l   R ,   2 0 1 1 ,   M O L   S Y S T   B I O L ,   V 7 ,   D O I   1 0 . 1 0 3 8 / m s b . 2 0 1 1 . 7 0 ;   O b e i d a t   M ,   2 0 1 6 ,   N I C O T I N E   T O B   R E S ,   V 1 8 ,   P 1 9 0 3 ,   D O I   1 0 . 1 0 9 3 / n t r / n t w 1 2 9 ;   P a u l   S . ,   2 0 1 4 ,   J   C A R C I N O G   M U T A G E N ,   V 5 ,   D O I   [ 1 0 . 4 1 7 2 / 2 1 5 7 - 2 5 1 8 . 1 0 0 0 1 9 8 ,   D O I   1 0 . 4 1 7 2 / 2 1 5 7 - 2 5 1 8 . 1 0 0 0 1 9 8 ] ;   P h i l l i p s   B ,   2 0 1 6 ,   T O X I C O L   S C I ,   V 1 5 1 ,   P 4 6 2 ,   D O I   1 0 . 1 0 9 3 / t o x s c i / k f w 0 6 2 ;   P h i l l i p s   B ,   2 0 1 5 ,   F O O D   C H E M   T O X I C O L ,   V 8 0 ,   P 3 2 8 ,   D O I   1 0 . 1 0 1 6 / j . f c t . 2 0 1 5 . 0 3 . 0 0 9 ;   P o u s s i n   C ,   2 0 1 6 ,   T O X I C O L O G Y ,   V 3 3 9 ,   P 7 3 ,   D O I   1 0 . 1 0 1 6 / j . t o x . 2 0 1 5 . 1 1 . 0 0 7 ;   P o u s s i n   C ,   2 0 1 4 ,   S C I   D A T A ,   V 1 ,   D O I   1 0 . 1 0 3 8 / s d a t a . 2 0 1 4 . 9 ;   R h r i s s o r r a k r a i   K ,   2 0 1 5 ,   B I O I N F O R M A T I C S ,   V 3 1 ,   P 4 7 1 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t u 6 1 1 ;   S a u e r   J o h n   M i c h a e l ,   2 0 1 6 ,   T o x i c o l   R e s ,   V 3 2 ,   P 5 ,   D O I   1 0 . 5 4 8 7 / T R . 2 0 1 6 . 3 2 . 1 . 0 0 5 ;   S a u e r   J M ,   2 0 1 5 ,   I N T   J   T O X I C O L ,   V 3 4 ,   P 3 4 6 ,   D O I   1 0 . 1 1 7 7 / 1 0 9 1 5 8 1 8 1 5 5 7 6 5 5 1 ;   S c h o r p   M K ,   2 0 1 2 ,   R E G U L   T O X I C O L   P H A R M ,   V 6 4 ,   p S 1 ,   D O I   1 0 . 1 0 1 6 / j . y r t p h . 2 0 1 2 . 0 8 . 0 0 8 ;   S m i t h   M R ,   2 0 1 6 ,   R E G U L   T O X I C O L   P H A R M ,   V 8 1 ,   p S 1 7 ,   D O I   1 0 . 1 0 1 6 / j . y r t p h . 2 0 1 6 . 0 7 . 0 0 6 ;   S t u r l a   S J ,   2 0 1 4 ,   C H E M   R E S   T O X I C O L ,   V 2 7 ,   P 3 1 4 ,   D O I   1 0 . 1 0 2 1 / t x 4 0 0 4 1 0 s ;   T a r c a   A L ,   2 0 1 3 ,   B I O I N F O R M A T I C S ,   V 2 9 ,   P 2 8 9 2 ,   D O I   1 0 . 1 0 9 3 / b i o i n f o r m a t i c s / b t t 4 9 2 ;   T e a m   R .   D .   C . ,   2 0 0 8 ,   R   L A N G   E N V   S T A T   C O M P ;   T h e o p h i l u s   E H ,   2 0 1 5 ,   R E G U L   T O X I C O L   P H A R M ,   V 7 1 ,   P 2 2 5 ,   D O I   1 0 . 1 0 1 6 / j . y r t p h . 2 0 1 4 . 1 2 . 0 2 3 ;   T i t z   B ,   2 0 1 5 ,   J   P R O T E O M I C S ,   V 1 2 8 ,   P 3 0 6 ,   D O I   1 0 . 1 0 1 6 / j . j p r o t . 2 0 1 5 . 0 8 . 0 0 9 ;   v a n   d e r   T o o r n   M ,   2 0 1 5 ,   F O O D   C H E M   T O X I C O L ,   V 8 6 ,   P 8 1 ,   D O I   1 0 . 1 0 1 6 / j . f c t . 2 0 1 5 . 0 9 . 0 1 6 ;   V a p n i k   V N ,   1 9 9 8 ,   S T A T   L E A R N I N G   T H E O R Y ;   V e r d u g o   R A ,   2 0 1 3 ,   P L O S   O N E ,   V 8 ,   D O I   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 0 5 0 8 8 8 ;   V i n k   J M ,   2 0 1 7 ,   A D D I C T   B I O L ,   V 2 2 ,   P 5 5 0 ,   D O I   1 0 . 1 1 1 1 / a d b . 1 2 3 2 2 ;   W a n   E S ,   2 0 1 2 ,   H U M   M O L   G E N E T ,   V 2 1 ,   P 3 0 7 3 ,   D O I   1 0 . 1 0 9 3 / h m g / d d s 1 3 5 ;   W e i d m a n n   H ,   2 0 1 5 ,   A T H E R O S C L E R O S I S ,   V 2 4 2 ,   P 5 7 1 ,   D O I   1 0 . 1 0 1 6 / j . a t h e r o s c l e r o s i s . 2 0 1 5 . 0 8 . 0 1 3 ;   W e r l e y   M S ,   2 0 0 8 ,   R E G U L   T O X I C O L   P H A R M ,   V 5 2 ,   P 1 2 2 ,   D O I   1 0 . 1 0 1 6 / j . y r t p h . 2 0 0 8 . 0 5 . 0 1 4 ;   Z h a n g   Y ,   2 0 1 6 ,   E N V I R O N   R E S ,   V 1 4 6 ,   P 3 9 5 ,   D O I   1 0 . 1 0 1 6 / j . e n v r e s . 2 0 1 6 . 0 1 . 0 2 6 	 5 0 	 0 	 0 	 1 	 1 	 A M E R   C H E M I C A L   S O C 	 W A S H I N G T O N 	 1 1 5 5   1 6 T H   S T ,   N W ,   W A S H I N G T O N ,   D C   2 0 0 3 6   U S A 	 0 8 9 3 - 2 2 8 X 	 1 5 2 0 - 5 0 1 0 	 	 C H E M   R E S   T O X I C O L 	 C h e m .   R e s .   T o x i c o l . 	 A P R 	 2 0 1 7 	 3 0 	 4 	 	 	 	 	 9 3 4 	 9 4 5 	 	 1 0 . 1 0 2 1 / a c s . c h e m r e s t o x . 6 b 0 0 3 4 5 	 	 1 2 	 C h e m i s t r y ,   M e d i c i n a l ;   C h e m i s t r y ,   M u l t i d i s c i p l i n a r y ;   T o x i c o l o g y 	 P h a r m a c o l o g y   &   P h a r m a c y ;   C h e m i s t r y ;   T o x i c o l o g y 	 E S 5 Z T 	 W O S : 0 0 0 3 9 9 6 2 6 1 0 0 0 0 7 	 2 8 0 8 5 2 5 3 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 T h a m m a s u d j a r i t ,   R ;   P l a n g p r a s o p c h o k ,   A ;   P l u e m p i t i w i r i y a w e j ,   C 	 	 	 	 T h a m m a s u d j a r i t ,   R a t c h a i n a n t ;   P l a n g p r a s o p c h o k ,   A n o n ;   P l u e m p i t i w i r i y a w e j ,   C h a r n y o t e 	 	 	 A   N o v e l   L a b e l   A g g r e g a t i o n   w i t h   A t t e n u a t e d   S c o r e s   f o r   G r o u n d - T r u t h   I d e n t i f i c a t i o n   o f   D a t a s e t   A n n o t a t i o n   w i t h   C r o w d s o u r c i n g 	 I E I C E   T R A N S A C T I O N S   O N   I N F O R M A T I O N   A N D   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e ;   P r o c e e d i n g s   P a p e r 	 8 t h   F o r u m   o n   D a t a   E n g i n e e r i n g   a n d   I n f o r m a t i o n   M a n a g e m e n t   ( D E I M ) 	 M A R ,   2 0 1 6 	 F u k u o k a ,   J A P A N 	 	 	 g r o u n d - t r u t h   i d e n t i f i c a t i o n ;   c r o w d s o u r c i n g ;   l a b e l   a g g r e g a t i o n ;   a t t e n u a t i o n   s c o r i n g 	 A L G O R I T H M 	 G r o u n d - t r u t h   i d e n t i f i c a t i o n   -   t h e   p r o c e s s ,   w h i c h   i n f e r s   t h e   m o s t   p r o b a b l e   l a b e l s ,   f o r   a   c e r t a i n   d a t a s e t ,   f r o m   c r o w d s o u r c i n g   a n n o t a t i o n s   -   i s   a   c r u c i a l   t a s k   t o   m a k e   t h e   d a t a s e t   u s a b l e ,   e . g . ,   f o r   a   s u p e r v i s e d   l e a r n i n g   p r o b l e m .   N e v e r t h e l e s s ,   t h e   p r o c e s s   i s   c h a l l e n g i n g   b e c a u s e   a n n o t a t i o n s   f r o m   m u l t i p l e   a n n o t a t o r s   a r e   i n c o n s i s t e n t   a n d   n o i s y .   E x i s t i n g   m e t h o d s   r e q u i r e   a   s e t   o f   d a t a   s a m p l e   w i t h   c o r r e s p o n d i n g   g r o u n d - t r u t h   l a b e l s   t o   p r e c i s e l y   e s t i m a t e   a n n o t a t o r   p e r f o r m a n c e   b u t   s u c h   s a m p l e s   a r e   d i f f i c u l t   t o   o b t a i n   i n   p r a c t i c e .   M o r e o v e r ,   t h e   p r o c e s s   r e q u i r e s   a   p o s t - e d i t i n g   s t e p   t o   v a l i d a t e   i n d e f i n i t e   l a b e l s ,   w h i c h   a r e   g e n e r a l l y   u n i d e n t i f i a b l e   w i t h o u t   t h o r o u g h l y   i n s p e c t i n g   t h e   w h o l e   a n n o t a t e d   d a t a .   T o   a d d r e s s   t h e   c h a l l e n g e s ,   t h i s   p a p e r   i n t r o d u c e s :   1 )   A t t e n u a t e d   s c o r e   ( A - s c o r e )   -   a n   i n d i c a t o r   t h a t   l o c a l l y   m e a s u r e s   a n n o t a t o r   p e r f o r m a n c e   f o r   s e g m e n t s   o f   a n n o t a t i o n   s e q u e n c e s ,   a n d   2 )   l a b e l   a g g r e g a t i o n   m e t h o d   t h a t   a p p l i e s   A - s c o r e   f o r   g r o u n d - t r u t h   i d e n t i f i c a t i o n .   T h e   e x p e r i m e n t a l   r e s u l t s   d e m o n s t r a t e   t h a t   A - s c o r e   l a b e l   a g g r e g a t i o n   o u t p e r f o r m s   m a j o r i t y   v o t e   i n   a l l   d a t a s e t s   b y   a c c u r a t e l y   r e c o v e r i n g   m o r e   l a b e l s .   I t   a l s o   a c h i e v e s   h i g h e r   F 1   s c o r e s   t h a n   t h o s e   o f   t h e   s t r o n g   b a s e l i n e s   i n   a l l   m u l t i - c l a s s   d a t a .   A d d i t i o n a l l y ,   t h e   r e s u l t s   s u g g e s t   t h a t   A - s c o r e   i s   a   p r o m i s i n g   i n d i c a t o r   t h a t   h e l p s   i d e n t i f y i n g   i n d e f i n i t e   l a b e l s   f o r   t h e   p o s t e d i t i n g   p r o c e d u r e . 	 [ T h a m m a s u d j a r i t ,   R a t c h a i n a n t ;   P l u e m p i t i w i r i y a w e j ,   C h a r n y o t e ]   M a h i d o l   U n i v ,   F a c   I n f o r m a t   &   C o m m u n   T e c h n o l ,   S a l a y a ,   N a k h o n   P a t h o m ,   T h a i l a n d ;   [ P l a n g p r a s o p c h o k ,   A n o n ]   N a t l   E l e c t   &   C o m p   T e c h n o l   C t r ,   P a t h u m   T h a n i ,   T h a i l a n d 	 T h a m m a s u d j a r i t ,   R   ( r e p r i n t   a u t h o r ) ,   M a h i d o l   U n i v ,   F a c   I n f o r m a t   &   C o m m u n   T e c h n o l ,   S a l a y a ,   N a k h o n   P a t h o m ,   T h a i l a n d . 	 r a t c h a i n a n t . t h a @ s t u d e n t . m a h i d o l . a c . t h ;   a n o n . p l a n g p l a s o p c h o k @ n e c t e c . o r . t h ;   c h a r n y o t e . p l u @ m a h i d o l . a c . t h 	 	 	 	 	 C h e n   X . ,   2 0 1 3 ,   P   3 0   I N T   C   M A C H   L E A R ,   P 6 4 ;   C h u n g   M J Y ,   2 0 1 4 ,   I E E E   I N T   C O N F   R O B O T ,   P 4 7 7 7 ,   D O I   1 0 . 1 1 0 9 / I C R A . 2 0 1 4 . 6 9 0 7 5 5 8 ;   D a w i d   A   P ,   1 9 7 9 ,   A P P L   S T A T ,   V 2 8 ,   P 2 0 ,   D O I   D O I   1 0 . 2 3 0 7 / 2 3 4 6 8 0 6 ;   D e m a r t i n i   G . ,   2 0 1 2 ,   P   2 1   I N T   C   W O R L D   W I D ,   P 4 6 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 1 8 7 8 3 6 . 2 1 8 7 9 0 0 ;   D E M P S T E R   A P ,   1 9 7 7 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 3 9 ,   P 1 ;   D e n g   J . ,   2 0 0 9 ,   2 0 0 9   I E E E   C   C O M P   V I S ,   P 2 ,   D O I   1 0 . 1 1 0 9 / I C E M I . 2 0 0 9 . 5 2 7 4 5 9 1 ;   G e o r g e s c u   M . ,   2 0 1 4 ,   P   4   I N T   C   W E B   I N T   M I ;   H o v y   D . ,   2 0 1 4 ,   P   5 2   A N N   M   A S S   C O M P ,   V 2 ,   P 3 7 7 ;   H o v y   D . ,   2 0 1 3 ,   N A A C L   H L T   1 3 ,   V 3 ,   P 1 1 2 0 ;   H s u e h   P . - Y . ,   2 0 0 9 ,   P   N A A C L   H L T   2 0 0 9   W O R ,   P 2 7 ,   D O I   1 0 . 3 1 1 5 / 1 5 6 4 1 3 1 . 1 5 6 4 1 3 7 ;   L e e c h   G . ,   2 0 0 5 ,   D E V   L I N G U I S T I C   C O R P O ,   P 1 7 ;   L I T T L E S T O N E   N ,   1 9 9 4 ,   I N F O R M   C O M P U T ,   V 1 0 8 ,   P 2 1 2 ,   D O I   1 0 . 1 0 0 6 / i n c o . 1 9 9 4 . 1 0 0 9 ;   L i u   Q . ,   2 0 1 2 ,   P   A D V   N E U R   I N F   P R O C ,   P 7 0 1 ;   R a y k a r   V C ,   2 0 1 0 ,   J   M A C H   L E A R N   R E S ,   V 1 1 ,   P 1 2 9 7 ;   R o d r i g u e s   F ,   2 0 1 3 ,   P A T T E R N   R E C O G N   L E T T ,   V 3 4 ,   P 1 4 2 8 ,   D O I   1 0 . 1 0 1 6 / j . p a t r e c . 2 0 1 3 . 0 5 . 0 1 2 ;   S h e s h a d r i   A . ,   2 0 1 3 ,   P   1   A A A I   C   H U M   C O M P ,   P 1 5 6 ;   S n o w   R . ,   2 0 0 8 ,   P   C   E M P   M E T H   N A T   L A N ,   P 2 5 4 ,   D O I   1 0 . 3 1 1 5 / 1 6 1 3 7 1 5 . 1 6 1 3 7 5 1 ;   T h a m m a s u d j a r i t   R . ,   2 0 1 6 ,   S   N A T   L A N G   P R O C ;   T i a n   Y . ,   2 0 1 2 ,   P   1 8   A C M   S I G K D D   I N T ,   P 2 2 6 ;   V i e r a   A J ,   2 0 0 5 ,   F A M   M E D ,   V 3 7 ,   P 3 6 0 ;   W h i t e h i l l   J . ,   2 0 0 9 ,   A D V   N E U R A L   I N F O R M   P R ,   P 1 ;   W u   X . ,   2 0 1 2 ,   P   2 6   A A A I   C   A R T   I N T ,   P 1 7 1 3 ;   Z h o u   D . ,   2 0 1 2 ,   A D V   N E U R A L   I N F O R M   P R ,   V 2 5 ,   P 2 2 0 4 ;   Z h o u   D . ,   2 0 1 4 ,   P   3 1   I N T   C   M A C H   L E A R ,   P 2 6 2 	 2 4 	 0 	 0 	 2 	 2 	 I E I C E - I N S T   E L E C T R O N I C S   I N F O R M A T I O N   C O M M U N I C A T I O N S   E N G 	 T O K Y O 	 K I K A I - S H I N K O - K A I K A N   B L D G ,   3 - 5 - 8 ,   S H I B A - K O E N ,   M I N A T O - K U ,   T O K Y O ,   1 0 5 - 0 0 1 1 ,   J A P A N 	 1 7 4 5 - 1 3 6 1 	 	 	 I E I C E   T   I N F   S Y S T 	 I E I C E   T r a n s .   I n f .   S y s t . 	 A P R 	 2 0 1 7 	 E 1 0 0 D 	 4 	 	 	 	 	 7 5 0 	 7 5 7 	 	 1 0 . 1 5 8 7 / t r a n s i n f . 2 0 1 6 D A P 0 0 2 4 	 	 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   S o f t w a r e   E n g i n e e r i n g 	 C o m p u t e r   S c i e n c e 	 E S 2 P T 	 W O S : 0 0 0 3 9 9 3 7 1 1 0 0 0 1 7 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 G o n g ,   Y W 	 	 	 	 G o n g ,   Y i w e i 	 	 	 E s t i m a t i n g   p a r t i c i p a n t s   f o r   k n o w l e d g e - i n t e n s i v e   t a s k s   i n   a   n e t w o r k   o f   c r o w d s o u r c i n g   m a r k e t p l a c e s 	 I N F O R M A T I O N   S Y S T E M S   F R O N T I E R S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 K n o w l e d g e - i n t e n s i v e   c r o w d s o u r c i n g ;   F l e x i b i l i t y ;   S e a r c h   f r i c t i o n ;   E s t i m a t i o n   a l g o r i t h m 	 I N F O R M A T I O N - S Y S T E M S ;   M A N A G E M E N T - S Y S T E M S ;   S E A R C H ;   A H P ;   M O D E L ;   C A P A B I L I T I E S ;   E Q U I L I B R I U M ;   P E R S P E C T I V E ;   F R A M E W O R K ;   D E C I S I O N 	 C r o w d s o u r c i n g   h a s   b e c o m e   a n   i n c r e a s i n g l y   a t t r a c t i v e   p r a c t i c e   f o r   c o m p a n i e s   t o   a b s t a i n   o n - d e m a n d   w o r k f o r c e   a n d   h i g h e r   l e v e l   o f   f l e x i b i l i t y   i n   o p e n   c o n t e x t s .   W h i l e   k n o w l e d g e - i n t e n s i v e   c r o w d s o u r c i n g   i s   e x p e c t e d   t o   b e   p r o s p e r o u s ,   m o s t   c u r r e n t   c r o w d s o u r c i n g   c a l l s   a r e   s t i l l   a b o u t   g e n e r a l   a n d   l o w - p r i c e d   t a s k s .   A n   o b s t a c l e   o f   c o n d u c i n g   k n o w l e d g e - i n t e n s i v e   c r o w d s o u r c i n g   i s   t h e   l a c k   o f   d i v e r s i t y   o f   e x p e r t i s e   a n d   t h e   s m a l l   s c a l e   o f   c r o w d   i n   i s o l a t e d   c r o w d s o u r c i n g   m a r k e t p l a c e s .   I n   t h i s   p a p e r ,   a   n e t w o r k   o f   c r o w d s o u r c i n g   m a r k e t p l a c e s   i s   e n v i s i o n e d   f o r   e f f i c i e n t   k n o w l e d g e - i n t e n s i v e   c r o w d s o u r c i n g   a n d   e n g a g e m e n t   o f   m a s s i v e   a n d   d i v e r s e   p a r t i c i p a n t s   a c r o s s   d i f f e r e n t   m a r k e t p l a c e s .   B a s e d   o n   a n   a l g o r i t h m   f o r   e s t i m a t i n g   p a r t i c i p a n t s   f o r   k n o w l e d g e - i n t e n s i v e   c r o w d s o u r c i n g   t a s k s ,   a n   e x p e r i m e n t   w i t h   1 0 0   s i m u l a t i o n s   i n d i c a t e s   t h a t   c o n d u c t i n g   c r o w d s o u r c i n g   t a s k s   i n   a   n e t w o r k   o f   c r o w d s o u r c i n g   m a r k e t p l a c e s   r e s u l t s   i n   h i g h e r   c u s t o m e r   s a t i s f a c t i o n   t h a n   d o i n g   t h a t   i n   i s o l a t e d   m a r k e t p l a c e s .   T h i s   f i n d i n g   a d v o c a t e s   t h e   d e v e l o p m e n t   o f   a   n e t w o r k   o f   c r o w d s o u r c i n g   m a r k e t p l a c e s   t o   o p e n   u p   t h e   p o t e n t i a l   o f   k n o w l e d g e - i n t e n s i v e   c r o w d s o u r c i n g . 	 [ G o n g ,   Y i w e i ]   W u h a n   U n i v ,   S c h   I n f o r m a t   M a n a g e m e n t ,   W u h a n   4 3 0 0 7 2 ,   H u b e i ,   P e o p l e s   R   C h i n a 	 G o n g ,   Y W   ( r e p r i n t   a u t h o r ) ,   W u h a n   U n i v ,   S c h   I n f o r m a t   M a n a g e m e n t ,   W u h a n   4 3 0 0 7 2 ,   H u b e i ,   P e o p l e s   R   C h i n a . 	 y i w e i g o n g @ w h u . e d u . c n 	 	 	 N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   [ 7 1 5 0 1 1 4 5 ] 	 T h i s   w o r k   i s   s u p p o r t e d   b y   t h e   N a t i o n a l   N a t u r a l   S c i e n c e   F o u n d a t i o n   o f   C h i n a   ( G r a n d   N o .   7 1 5 0 1 1 4 5 ) . 	 A b a s c a l - M e n a   R . ,   2 0 1 4 ,   6   I N T   C   S O C   C O M P   S O C ;   A f u a h   A ,   2 0 1 2 ,   A C A D   M A N A G E   R E V ,   V 3 7 ,   P 3 5 5 ,   D O I   1 0 . 5 4 6 5 / a m r . 2 0 1 0 . 0 1 4 6 ;   A l a v i   M ,   2 0 0 1 ,   M I S   Q U A R T ,   V 2 5 ,   P 1 0 7 ,   D O I   1 0 . 2 3 0 7 / 3 2 5 0 9 6 1 ;   B o u d r e a u   K J ,   2 0 1 3 ,   H A R V A R D   B U S   R E V ,   V 9 1 ,   P 6 0 ;   B r a b h a m   D C ,   2 0 0 8 ,   C O N V E R G E N C E - U S ,   V 1 4 ,   P 7 5 ,   D O I   D O I   1 0 . 1 1 7 7 / 1 3 5 4 8 5 6 5 0 7 0 8 4 4 2 0 ;   C h e n   M F ,   2 0 0 4 ,   M A T H   C O M P U T   M O D E L ,   V 4 0 ,   P 1 4 7 3 ,   D O I   1 0 . 1 0 1 6 / j . m c m . 2 0 0 5 . 0 1 . 0 0 6 ;   C o r v e l l o   V i n c e n z o ,   2 0 1 3 ,   J o u r n a l   o f   T e c h n o l o g y   M a n a g e m e n t   &   I n n o v a t i o n ,   V 8 ,   P 1 6 6 ,   D O I   1 0 . 4 0 6 7 / S 0 7 1 8 - 2 7 2 4 2 0 1 3 0 0 0 2 0 0 0 1 4 ;   D e n g   J u l o n g ,   1 9 8 9 ,   J o u r n a l   o f   G r e y   S y s t e m s ,   V 1 ,   P 1 ;   D I A M O N D   P A ,   1 9 8 2 ,   J   P O L I T   E C O N ,   V 9 0 ,   P 8 8 1 ,   D O I   1 0 . 1 0 8 6 / 2 6 1 0 9 9 ;   D i f a l l a h   D .   E . ,   2 0 1 5 ,   2 4   I N T   C   W O R L D   W I D   W ;   F o r d   R C ,   2 0 1 5 ,   B U S   H O R I Z O N S ,   V 5 8 ,   P 3 7 7 ,   D O I   1 0 . 1 0 1 6 / j . b u s h o r . 2 0 1 5 . 0 3 . 0 0 3 ;   G a r r i g o s - S i m o n   F J ,   2 0 1 2 ,   M A N A G E   D E C I S ,   V 5 0 ,   P 1 8 8 0 ,   D O I   1 0 . 1 1 0 8 / 0 0 2 5 1 7 4 1 2 1 1 2 7 9 6 5 7 ;   G a r r i g o s - S i m o n   F .   J . ,   2 0 1 5 ,   A D V   C R O W D S O U R C I N G ,   P 1 ;   G e f e n   D . ,   2 0 1 5 ,   J   S Y S T E M S   S O F T W A R E ;   G e i g e r   D ,   2 0 1 4 ,   D E C I S   S U P P O R T   S Y S T ,   V 6 5 ,   P 3 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 4 . 0 5 . 0 0 7 ;   G o n g   Y . ,   2 0 1 5 ,   O P E N   B I G   D A T A   M A N A G E ,   V 9 3 7 3 ;   G o n g   Y W ,   2 0 1 2 ,   G O V   I N F O R M   Q ,   V 2 9 ,   p S 6 1 ,   D O I   1 0 . 1 0 1 6 / j . g i q . 2 0 1 1 . 0 8 . 0 0 4 ;   G u i t t a r d   C . ,   2 0 1 5 ,   A D V   C R O W D S O U R C I N G ,   P 4 9 ;   H e i m e r l   K . ,   2 0 1 2 ,   A C M   S I G C H I   C   H U M   F A C ;   H o w e   J . ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ;   H w a n g   C . - L . ,   1 9 8 5 ,   M U L T I P L E   A T T R I B U T E   D ;   I E E E ,   1 9 9 0 ,   I N T   I E E E   S T A N D   C O M P ;   J a m a l i   R e z a ,   2 0 0 9 ,   L i b r a r y   M a n a g e m e n t ,   V 3 0 ,   P 3 1 9 ,   D O I   1 0 . 1 1 0 8 / 0 1 4 3 5 1 2 0 9 1 0 9 5 7 9 7 7 ;   J a n s s e n   M ,   2 0 1 4 ,   C O M P U T E R ,   V 4 7 ,   P 4 4 ,   D O I   1 0 . 1 1 0 9 / M C . 2 0 1 4 . 2 9 0 ;   J e p p e s e n   L B ,   2 0 1 0 ,   O R G A N   S C I ,   V 2 1 ,   P 1 0 1 6 ,   D O I   1 0 . 1 2 8 7 / o r s c . 1 0 9 0 . 0 4 9 1 ;   K i t t u r   A . ,   2 0 1 3 ,   1 6   A C M   C   C O M P   S U P P   C ;   L i n   M C ,   2 0 0 8 ,   C O M P U T   I N D ,   V 5 9 ,   P 1 7 ,   D O I   1 0 . 1 0 1 6 / j . c o m p i n d . 2 0 0 7 . 0 5 . 0 1 3 ;   L u   B Z ,   2 0 1 5 ,   I N F O R M   S Y S T   F R O N T ,   V 1 7 ,   P 6 0 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 6 - 0 1 3 - 9 4 4 0 - y ;   M a h r   D . ,   2 0 1 5 ,   C U S T O M E R   N E E D S   S O L U T ,   V 2 ,   P 2 0 9 ;   M a j c h r z a k   A ,   2 0 1 3 ,   J   S T R A T E G I C   I N F   S Y S T ,   V 2 2 ,   P 2 5 7 ,   D O I   1 0 . 1 0 1 6 / j . j s i s . 2 0 1 3 . 0 7 . 0 0 4 ;   M o r t e n s e n   D T ,   2 0 1 1 ,   A M   E C O N   R E V ,   V 1 0 1 ,   P 1 0 7 3 ,   D O I   1 0 . 1 2 5 7 / a e r . 1 0 1 . 4 . 1 0 7 3 ;   N e v o   D ,   2 0 1 4 ,   D E C I S   S U P P O R T   S Y S T ,   V 6 5 ,   P 1 7 ,   D O I   1 0 . 1 0 1 6 / j . d s s . 2 0 1 4 . 0 5 . 0 0 8 ;   N g a i   E W T ,   2 0 0 5 ,   E X P E R T   S Y S T   A P P L ,   V 2 9 ,   P 8 8 9 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 0 5 . 0 6 . 0 2 5 ;   T h u a n   N H ,   2 0 1 6 ,   I N F O R M   S Y S T   F R O N T ,   V 1 8 ,   P 4 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 6 - 0 1 5 - 9 5 7 8 - x ;   O z t a y s i   B ,   2 0 1 4 ,   K N O W L - B A S E D   S Y S T ,   V 7 0 ,   P 4 4 ,   D O I   1 0 . 1 0 1 6 / j . k n o s y s . 2 0 1 4 . 0 2 . 0 1 0 ;   P a t i l   S K ,   2 0 1 4 ,   E X P E R T   S Y S T   A P P L ,   V 4 1 ,   P 6 7 9 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 3 . 0 7 . 0 9 3 ;   P i s s a r i d e s   C A ,   2 0 1 1 ,   A M   E C O N   R E V ,   V 1 0 1 ,   P 1 0 9 2 ,   D O I   1 0 . 1 2 5 7 / a e r . 1 0 1 . 4 . 1 0 9 2 ;   R o y   S B ,   2 0 1 5 ,   V L D B   J ,   V 2 4 ,   P 4 6 7 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 8 - 0 1 5 - 0 3 8 5 - 2 ;   S a a t y   T L . ,   1 9 8 0 ,   A N A L   H I E R A R C H Y   P R O C E ;   S a t z g e r   B ,   2 0 1 3 ,   I N F O R M   S Y S T ,   V 3 8 ,   P 5 4 7 ,   D O I   1 0 . 1 0 1 6 / j . i s . 2 0 1 2 . 0 9 . 0 0 3 ;   S c h a l l   D ,   2 0 1 4 ,   W O R L D   W I D E   W E B ,   V 1 7 ,   P 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 8 0 - 0 1 2 - 0 1 8 0 - 6 ;   S e k h a r   C ,   2 0 1 5 ,   P R O C D   S O C   B E H V ,   V 1 8 9 ,   P 2 7 5 ,   D O I   1 0 . 1 0 1 6 / j . s b s p r o . 2 0 1 5 . 0 3 . 2 2 3 ;   S l i v k i n s   A . ,   2 0 1 3 ,   A C M   S I G E C O M   E X C H A N G E ,   V 1 2 ,   P 4 ;   S o m m e r   R A ,   2 0 0 3 ,   I N D   M A N A G E   D A T A   S Y S T ,   V 1 0 3 ,   P 1 7 7 ,   D O I   1 0 . 1 1 0 8 / 0 2 6 3 5 5 7 0 3 1 0 4 6 5 6 5 2 ;   V a k h a r i a   D . ,   2 0 1 5 ,   I C O N F E R E N C E   2 0 1 5   N E W ;   W i l l i a m s o n   O E ,   2 0 0 2 ,   J   E C O N   P E R S P E C T ,   V 1 6 ,   P 1 7 1 ,   D O I   1 0 . 1 2 5 7 / 0 8 9 5 3 3 0 0 2 7 6 0 2 7 8 7 7 6 ;   Y a n g   J . ,   2 0 1 5 ,   1 5   I N T   C   W E B   E N G   I C W ;   Y u e n   M C ,   2 0 1 5 ,   N E U R A L   P R O C E S S   L E T T ,   V 4 1 ,   P 2 2 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 6 3 - 0 1 4 - 9 3 4 3 - z ;   Z e n g e r   T R ,   2 0 1 1 ,   A C A D   M A N A G   A N N ,   V 5 ,   P 8 9 ,   D O I   1 0 . 1 0 8 0 / 1 9 4 1 6 5 2 0 . 2 0 1 1 . 5 9 0 3 0 1 ;   Z h a o   Y X ,   2 0 1 4 ,   I N F O R M   S Y S T   F R O N T ,   V 1 6 ,   P 4 1 7 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 9 6 - 0 1 2 - 9 3 5 0 - 4 	 5 0 	 0 	 0 	 4 	 4 	 S P R I N G E R 	 D O R D R E C H T 	 V A N   G O D E W I J C K S T R A A T   3 0 ,   3 3 1 1   G Z   D O R D R E C H T ,   N E T H E R L A N D S 	 1 3 8 7 - 3 3 2 6 	 1 5 7 2 - 9 4 1 9 	 	 I N F O R M   S Y S T   F R O N T 	 I n f .   S y s t .   F r o n t . 	 A P R 	 2 0 1 7 	 1 9 	 2 	 	 	 	 	 3 0 1 	 3 1 9 	 	 1 0 . 1 0 0 7 / s 1 0 7 9 6 - 0 1 6 - 9 6 7 4 - 6 	 	 1 9 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   C o m p u t e r   S c i e n c e ,   T h e o r y   &   M e t h o d s 	 C o m p u t e r   S c i e n c e 	 E R 7 U A 	 W O S : 0 0 0 3 9 9 0 1 7 9 0 0 0 0 9 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 V e r n e z ,   S L ;   H u y n h ,   V ;   O s a n n ,   K ;   O k h u n o v ,   Z ;   L a n d m a n ,   J ;   C l a y m a n ,   R V 	 	 	 	 V e r n e z ,   S i m o n e   L . ;   H u y n h ,   V i c t o r ;   O s a n n ,   K a t h r y n ;   O k h u n o v ,   Z h a m s h i d ;   L a n d m a n ,   J a i m e ;   C l a y m a n ,   R a l p h   V . 	 	 	 C - S A T S :   A s s e s s i n g   S u r g i c a l   S k i l l s   A m o n g   U r o l o g y   R e s i d e n c y   A p p l i c a n t s 	 J O U R N A L   O F   E N D O U R O L O G Y 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 c l i n i c a l   c o m p e t e n c e ;   c r o w d s o u r c i n g ;   e d u c a t i o n ;   i n t e r v i e w s ;   r e s i d e n c y ;   v a l i d a t i o n   s t u d i e s 	 C R O W D - S O U R C E D   A S S E S S M E N T ;   T E C H N I C A L   S K I L L S ;   A S S E S S M E N T - T O O L ;   S U R G E R Y ;   P E R F O R M A N C E ;   S I M U L A T O R 	 B a c k g r o u n d :   W e   h y p o t h e s i z e d   t h a t   s u r g i c a l   s k i l l s   a s s e s s m e n t   c o u l d   a i d   i n   t h e   s e l e c t i o n   p r o c e s s   o f   m e d i c a l   s t u d e n t   a p p l i c a n t s   t o   a   s u r g i c a l   p r o g r a m .   R e c e n t l y ,   c r o w d s o u r c i n g   h a s   b e e n   s h o w n   t o   p r o v i d e   a n   a c c u r a t e   a s s e s s m e n t   o f   s u r g i c a l   s k i l l s   a t   a l l   l e v e l s   o f   t r a i n i n g .   W e   c o m p a r e d   e x p e r t   a n d   c r o w d   a s s e s s m e n t   o f   s u r g i c a l   t a s k s   p e r f o r m e d   b y   r e s i d e n t   a p p l i c a n t s   d u r i n g   t h e i r   i n t e r v i e w   d a y   a t   t h e   u r o l o g y   p r o g r a m   a t   t h e   U n i v e r s i t y   o f   C a l i f o r n i a ,   I r v i n e .   M a t e r i a l s   a n d   M e t h o d s :   T w e n t y - f i v e   r e s i d e n t   i n t e r v i e w e e s   p e r f o r m e d   f o u r   t a s k s :   o p e n   s q u a r e   k n o t   t y i n g ,   l a p a r o s c o p i c   p e g   t r a n s f e r ,   r o b o t i c   s u t u r i n g ,   a n d   s k i l l   t a s k   8   o n   t h e   L A P   M e n t o r   ( T M )   ( S i m b i o n i x   L t d . ,   L o d ,   I s r a e l ) .   F a c u l t y   e x p e r t s   a n d   c r o w d   w o r k e r s   ( C r o w d - S o u r c e d   A s s e s s m e n t   o f   T e c h n i c a l   S k i l l s   [ C - S A T S ] ,   S e a t t l e ,   W A )   a s s e s s e d   r e c o r d e d   p e r f o r m a n c e s   u s i n g   t h e   O b j e c t i v e   S t r u c t u r e d   A s s e s s m e n t   o f   T e c h n i c a l   S k i l l s   ( O S A T S ) ,   G l o b a l   E v a l u a t i v e   A s s e s s m e n t   o f   R o b o t i c   S k i l l s   ( G E A R S ) ,   a n d   t h e   G l o b a l   O p e r a t i v e   A s s e s s m e n t   o f   L a p a r o s c o p i c   S k i l l s   ( G O A L S )   v a l i d a t e d   a s s e s s m e n t   t o o l s .   R e s u l t s :   O v e r a l l ,   3 9 3 8   c r o w d   a s s e s s m e n t s   w e r e   o b t a i n e d   f o r   t h e   f o u r   t a s k s   i n   l e s s   t h a n   3 . 5   h o u r s ,   w h e r e a s   t h e   a v e r a g e   t i m e   t o   r e c e i v e   1 5 0   e x p e r t   a s s e s s m e n t s   w a s   2 2   d a y s .   I n t e r - r a t e r   a g r e e m e n t   b e t w e e n   e x p e r t   a n d   c r o w d   a s s e s s m e n t   s c o r e s   w a s   0 . 6 2   f o r   o p e n   k n o t   t y i n g ,   0 . 9 2   f o r   l a p a r o s c o p i c   p e g   t r a n s f e r ,   a n d   0 . 8 6   f o r   r o b o t i c   s u t u r i n g .   A g r e e m e n t   b e t w e e n   a p p l i c a n t   r a n k   o n   s k i l l   t a s k   8   o n   t h e   L A P   M e n t o r   a s s e s s m e n t   a n d   c r o w d   a s s e s s m e n t   w a s   0 . 3 2 .   T h e   c r o w d   m a t c h   r a n k   b a s e d   s o l e l y   o n   s k i l l s   p e r f o r m a n c e   d i d   n o t   c o m p a r e   w e l l   w i t h   t h e   f i n a l   f a c u l t y   m a t c h   r a n k   l i s t   ( 0 . 4 6 ) ;   h o w e v e r ,   n o n e   o f   t h e   b o t t o m   f i v e   c r o w d - r a t e d   a p p l i c a n t s   a p p e a r e d   i n   t h e   t o p   f i v e   e x p e r t - r a t e d   a p p l i c a n t s   a n d   n o n e   o f   t h e   t o p   f i v e   c r o w d - r a t e d   a p p l i c a n t s   a p p e a r e d   i n   t h e   b o t t o m   f i v e   e x p e r t r a t e d   a p p l i c a n t s .   C o n c l u s i o n s :   C r o w d - s o u r c e   a s s e s s m e n t   o f   r e s i d e n t   a p p l i c a n t   s u r g i c a l   s k i l l s   h a s   g o o d   i n t e r - r a t e r   a g r e e m e n t   w i t h   e x p e r t   p h y s i c i a n   r a t e r s   b u t   n o t   w i t h   a   c o m p u t e r - b a s e d   o b j e c t i v e   m o t i o n   m e t r i c s   s o f t w a r e   a s s e s s m e n t .   O v e r a l l   a p p l i c a n t   r a n k   w a s   a f f e c t e d   t o   s o m e   d e g r e e   b y   t h e   c r o w d   p e r f o r m a n c e   r a t i n g . 	 [ V e r n e z ,   S i m o n e   L . ;   H u y n h ,   V i c t o r ;   O k h u n o v ,   Z h a m s h i d ;   L a n d m a n ,   J a i m e ;   C l a y m a n ,   R a l p h   V . ]   U n i v   C a l i f   I r v i n e ,   D e p t   U r o l ,   3 3 3   C i t y   B l v d   W e s t , S u i t e   2 1 0 0 ,   O r a n g e ,   C A   9 2 8 6 8   U S A ;   [ O s a n n ,   K a t h r y n ]   U n i v   C a l i f   I r v i n e ,   D e p t   M e d ,   H e m a t o l   O n c o l   D i v ,   O r a n g e ,   C A   9 2 6 6 8   U S A 	 C l a y m a n ,   R V   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   I r v i n e ,   D e p t   U r o l ,   3 3 3   C i t y   B l v d   W e s t , S u i t e   2 1 0 0 ,   O r a n g e ,   C A   9 2 8 6 8   U S A . 	 r c l a y m a n @ u c i . e d u 	 	 	 	 	 B i r k m e y e r   J D ,   2 0 1 3 ,   N E W   E N G L   J   M E D ,   V 3 6 9 ,   P 1 4 3 4 ,   D O I   1 0 . 1 0 5 6 / N E J M s a 1 3 0 0 6 2 5 ;   C h e n   C ,   2 0 1 4 ,   J   S U R G   R E S ,   V 1 8 7 ,   P 6 5 ,   D O I   1 0 . 1 0 1 6 / j . j s s . 2 0 1 3 . 0 9 . 0 2 4 ;   C r o n b a c h   L J ,   2 0 0 4 ,   E D U C   P S Y C H O L   M E A S ,   V 6 4 ,   P 3 9 1 ,   D O I   1 0 . 1 1 7 7 / 0 0 1 3 1 6 4 4 0 4 2 6 6 3 8 6 ;   G h a n i   K R ,   2 0 1 6 ,   E U R   U R O L ,   V 6 9 ,   P 5 4 7 ,   D O I   1 0 . 1 0 1 6 / j . e u r u r o . 2 0 1 5 . 1 1 . 0 2 8 ;   G o h   A C ,   2 0 1 2 ,   J   U R O L O G Y ,   V 1 8 7 ,   P 2 4 7 ,   D O I   1 0 . 1 0 1 6 / j . j u r o . 2 0 1 1 . 0 9 . 0 3 2 ;   H o l s t   D ,   2 0 1 5 ,   J   E N D O U R O L ,   V 2 9 ,   P 1 1 8 3 ,   D O I   1 0 . 1 0 8 9 / e n d . 2 0 1 5 . 0 1 0 4 ;   H o l s t   D ,   2 0 1 5 ,   J   E N D O U R O L ,   V 2 9 ,   P 6 0 4 ,   D O I   1 0 . 1 0 8 9 / e n d . 2 0 1 4 . 0 6 1 6 ;   K o w a l e w s k i   T M ,   2 0 1 6 ,   J   U R O L O G Y ,   V 1 9 5 ,   P 1 8 5 9 ,   D O I   1 0 . 1 0 1 6 / j . j u r o . 2 0 1 6 . 0 1 . 0 0 5 ;   L a n g e   P H ,   2 0 0 8 ,   A U A   N E W S ,   V 1 3 ,   P 1 ;   M a t s u d a   T ,   2 0 0 6 ,   J   U R O L O G Y ,   V 1 7 6 ,   P 2 1 6 8 ,   D O I   1 0 . 1 0 1 6 / j . j u r o . 2 0 0 6 . 0 7 . 0 3 4 ;   M a t s u d a   T ,   2 0 1 2 ,   J   E N D O U R O L ,   V 2 6 ,   P 1 5 0 6 ,   D O I   1 0 . 1 0 8 9 / e n d . 2 0 1 2 . 0 1 8 3 ;   M c D o u g a l l   E M ,   2 0 0 6 ,   J   A M   C O L L   S U R G E O N S ,   V 2 0 2 ,   P 7 7 9 ,   D O I   1 0 . 1 0 1 6 / j . j a m c o l l s u r g . 2 0 0 6 . 0 1 - 0 0 4 ;   P o l i n   M R ,   2 0 1 6 ,   A M   J   O B S T E T   G Y N E C O L ,   V 2 1 5 ,   D O I   1 0 . 1 0 1 6 / j . a j o g . 2 0 1 6 . 0 6 . 0 3 3 ;   P o w e r s   M K ,   2 0 1 6 ,   J   E N D O U R O L ,   V 3 0 ,   P 4 4 7 ,   D O I   1 0 . 1 0 8 9 / e n d . 2 0 1 5 . 0 6 6 5 ;   S c o t t   D J ,   2 0 0 0 ,   S U R G E R Y ,   V 1 2 8 ,   P 6 1 3 ,   D O I   1 0 . 1 0 6 7 / m s y . 2 0 0 0 . 1 0 8 1 1 5 ;   S t e e r s   W D ,   2 0 0 5 ,   J   U R O L O G Y ,   V 1 7 3 ,   P 1 4 5 1 ,   D O I   1 0 . 1 0 9 7 / 0 1 . j u . 0 0 0 0 1 5 9 6 5 2 . 2 9 0 2 6 . 2 8 ;   v a n   H o v e   P D ,   2 0 1 0 ,   B R I T   J   S U R G ,   V 9 7 ,   P 9 7 2 ,   D O I   1 0 . 1 0 0 2 / b j s . 7 1 1 5 ;   V a s s i l i o u   M C ,   2 0 0 5 ,   A M   J   S U R G ,   V 1 9 0 ,   P 1 0 7 ,   D O I   1 0 . 1 0 1 6 / j . a m j s u r g . 2 0 0 5 . 0 4 . 0 0 4 ;   W e i s s b a r t   S J ,   2 0 1 5 ,   U R O L O G Y ,   V 8 5 ,   P 7 3 1 ,   D O I   1 0 . 1 0 1 6 / j . u r o l o g y . 2 0 1 4 . 1 2 . 0 4 1 ;   W h i t e   L W ,   2 0 1 5 ,   J   E N D O U R O L ,   V 2 9 ,   P 1 2 9 5 ,   D O I   1 0 . 1 0 8 9 / e n d . 2 0 1 5 . 0 1 9 1 	 2 0 	 0 	 0 	 0 	 0 	 M A R Y   A N N   L I E B E R T ,   I N C 	 N E W   R O C H E L L E 	 1 4 0   H U G U E N O T   S T R E E T ,   3 R D   F L ,   N E W   R O C H E L L E ,   N Y   1 0 8 0 1   U S A 	 0 8 9 2 - 7 7 9 0 	 1 5 5 7 - 9 0 0 X 	 	 J   E N D O U R O L 	 J .   E n d o u r o l . 	 A P R 	 2 0 1 7 	 3 1 	 	 	 1 	 	 	 S 9 5 	 S 1 0 0 	 	 1 0 . 1 0 8 9 / e n d . 2 0 1 6 . 0 5 6 9 	 	 6 	 U r o l o g y   &   N e p h r o l o g y 	 U r o l o g y   &   N e p h r o l o g y 	 E S 4 I X 	 W O S : 0 0 0 3 9 9 4 9 8 9 0 0 0 1 8 	 2 7 6 3 3 3 3 2 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 A h m e t o v i c ,   D ;   M a n d u c h i ,   R ;   C o u g h l a n ,   J M ;   M a s c e t t i ,   S 	 	 	 	 A h m e t o v i c ,   D r a g a n ;   M a n d u c h i ,   R o b e r t o ;   C o u g h l a n ,   J a m e s   M . ;   M a s c e t t i ,   S e r g i o 	 	 	 M i n d   Y o u r   C r o s s i n g s :   M i n i n g   G I S   I m a g e r y   f o r   C r o s s w a l k   L o c a l i z a t i o n 	 A C M   T R A N S A C T I O N S   O N   A C C E S S I B L E   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 B L I N D   P E D E S T R I A N S ;   P E O P L E 	 F o r   b l i n d   t r a v e l e r s ,   f i n d i n g   c r o s s w a l k s   a n d   r e m a i n i n g   w i t h i n   t h e i r   b o r d e r s   w h i l e   t r a v e r s i n g   t h e m   i s   a   c r u c i a l   p a r t   o f   a n y   t r i p   i n v o l v i n g   s t r e e t   c r o s s i n g s .   W h i l e   s t a n d a r d   O r i e n t a t i o n   &   M o b i l i t y   ( O & M )   t e c h n i q u e s   a l l o w   b l i n d   t r a v e l e r s   t o   s a f e l y   n e g o t i a t e   s t r e e t   c r o s s i n g s ,   a d d i t i o n a l   i n f o r m a t i o n   a b o u t   c r o s s w a l k s   a n d   o t h e r   i m p o r t a n t   f e a t u r e s   a t   i n t e r s e c t i o n s   w o u l d   b e   h e l p f u l   i n   m a n y   s i t u a t i o n s ,   r e s u l t i n g   i n   g r e a t e r   s a f e t y   a n d / o r   c o m f o r t   d u r i n g   i n d e p e n d e n t   t r a v e l .   F o r   i n s t a n c e ,   i n   p l a n n i n g   a   t r i p   a   b l i n d   p e d e s t r i a n   m a y   w i s h   t o   b e   i n f o r m e d   o f   t h e   p r e s e n c e   o f   a l l   m a r k e d   c r o s s i n g s   n e a r   a   d e s i r e d   r o u t e .   W e   h a v e   c o n d u c t e d   a   s u r v e y   o f   s e v e r a l   O & M   e x p e r t s   f r o m   t h e   U n i t e d   S t a t e s   a n d   I t a l y   t o   d e t e r m i n e   t h e   r o l e   t h a t   c r o s s w a l k s   p l a y   i n   t r a v e l   b y   b l i n d   p e d e s t r i a n s .   T h e   r e s u l t s   s h o w   s t a r k   d i f f e r e n c e s   b e t w e e n   s u r v e y   r e s p o n d e n t s   f r o m   t h e   U . S .   c o m p a r e d   w i t h   I t a l y :   t h e   f o r m e r   g r o u p   e m p h a s i z e d   t h e   i m p o r t a n c e   o f   f o l l o w i n g   s t a n d a r d   O & M   t e c h n i q u e s   a t   a l l   l e g a l   c r o s s i n g s   (   m a r k e d   o r   u n m a r k e d ) ,   w h i l e   t h e   l a t t e r   g r o u p   s t r o n g l y   r e c o m m e n d e d   c r o s s i n g   a t   m a r k e d   c r o s s i n g s   w h e n e v e r   p o s s i b l e .   T h e s e   c o n t r a s t i n g   o p i n i o n s   r e f l e c t   d i f f e r e n c e s   i n   t h e   t r a f f i c   r e g u l a t i o n s   o f   t h e   t w o   c o u n t r i e s   a n d   h i g h l i g h t   t h e   d i v e r s i t y   o f   n e e d s   t h a t   t r a v e l e r s   i n   d i f f e r e n t   r e g i o n s   m a y   h a v e .   T o   a d d r e s s   t h e   c h a l l e n g e s   f a c e d   b y   b l i n d   p e d e s t r i a n s   i n   n e g o t i a t i n g   s t r e e t   c r o s s i n g s ,   w e   d e v i s e d   a   c o m p u t e r   v i s i o n - b a s e d   t e c h n i q u e   t h a t   m i n e s   e x i s t i n g   s p a t i a l   i m a g e   d a t a b a s e s   f o r   d i s c o v e r y   o f   z e b r a   c r o s s w a l k s   i n   u r b a n   s e t t i n g s .   O u r   a l g o r i t h m   f i r s t   s e a r c h e s   f o r   z e b r a   c r o s s w a l k s   i n   s a t e l l i t e   i m a g e s ;   a l l   c a n d i d a t e s   t h u s   f o u n d   a r e   v a l i d a t e d   a g a i n s t   s p a t i a l l y   r e g i s t e r e d   G o o g l e   S t r e e t   V i e w   i m a g e s .   T h i s   c a s c a d e d   a p p r o a c h   e n a b l e s   f a s t   a n d   r e l i a b l e   d i s c o v e r y   a n d   l o c a l i z a t i o n   o f   z e b r a   c r o s s w a l k s   i n   l a r g e   i m a g e   d a t a s e t s .   W h i l e   f u l l y   a u t o m a t i c ,   o u r   a l g o r i t h m   c a n   b e   i m p r o v e d   b y   a   f i n a l   c r o w d s o u r c i n g   v a l i d a t i o n .   T o   t h i s   e n d ,   w e   d e v e l o p e d   a   P e d e s t r i a n   C r o s s i n g   H u m a n   V a l i d a t i o n   w e b   s e r v i c e ,   w h i c h   s u p p o r t s   c r o w d s o u r c i n g ,   t o   r u l e   o u t   f a l s e   p o s i t i v e s   a n d   i d e n t i f y   f a l s e   n e g a t i v e s . 	 [ A h m e t o v i c ,   D r a g a n ]   C a r n e g i e   M e l l o n   U n i v ,   5 0 0 0   F o r b e s   A v e , N e w e l l   S i m o n   H a l l   4 5 2 2 ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A ;   [ M a n d u c h i ,   R o b e r t o ]   U n i v   C a l i f   S a n t a   C r u z ,   1 1 5 6   H i g h   S t , M S   S O E 3 ,   S a n t a   C r u z ,   C A   9 5 0 6 4   U S A ;   [ C o u g h l a n ,   J a m e s   M . ]   S m i t h   K e t t l e w e l l   E y e   R e s   I n s t ,   2 3 1 8   F i l l m o r e   S t ,   S a n   F r a n c i s c o ,   C A   9 4 1 1 5   U S A ;   [ M a s c e t t i ,   S e r g i o ]   U n i v   M i l a n ,   D e p t   C o m p   S c i ,   E v e r y W a r e   L a b ,   V i a   C o m e l   3 9 ,   I - 2 0 1 3 5   M i l a n ,   I t a l y 	 A h m e t o v i c ,   D   ( r e p r i n t   a u t h o r ) ,   C a r n e g i e   M e l l o n   U n i v ,   5 0 0 0   F o r b e s   A v e , N e w e l l   S i m o n   H a l l   4 5 2 2 ,   P i t t s b u r g h ,   P A   1 5 2 1 3   U S A . 	 d r a g a n 1 @ c m u . e d u ;   m a n d u c h i @ s o e . u c s c . e d u ;   c o u g h l a n @ s k i . o r g 	 	 	 	 	 A h m e t o v i c   D r a g a n ,   2 0 1 1 ,   P   1 3   I N T   C   H U M   C O M P ,   P 2 7 5 ;   A h m e t o v i c   D r a g a n ,   2 0 1 6 ,   P   1 8   I N T   C   H U M   C O M P ,   P 9 0 ;   A h m e t o v i c   D . ,   2 0 1 6 ,   P   1 3   W E B   A L L   C   W 4 A   1 ;   A h m e t o v i c   D ,   2 0 1 5 ,   A S S E T S ' 1 5 :   P R O C E E D I N G S   O F   T H E   1 7 T H   I N T E R N A T I O N A L   A C M   S I G A C C E S S   C O N F E R E N C E   O N   C O M P U T E R S   &   A C C E S S I B I L I T Y ,   P 2 5 1 ,   D O I   1 0 . 1 1 4 5 / 2 7 0 0 6 4 8 . 2 8 0 9 8 4 7 ;   A h m e t o v i c   D ,   2 0 1 4 ,   I N T   C   P A T T   R E C O G ,   P 2 5 6 6 ,   D O I   1 0 . 1 1 0 9 / I C P R . 2 0 1 4 . 4 4 3 ;   A k i n l a r   C ,   2 0 1 1 ,   P A T T E R N   R E C O G N   L E T T ,   V 3 2 ,   P 1 6 3 3 ,   D O I   1 0 . 1 0 1 6 / j . p a t r e c . 2 0 1 1 . 0 6 . 0 0 1 ;   A n c i l l o t t i   M a s s i m o ,   2 0 1 0 ,   R I F O R M A   C O D I C E   S T R A D ;   A s h m e a d   D H ,   2 0 0 5 ,   J   T R A N S P   E N G - A S C E ,   V 1 3 1 ,   P 8 1 2 ,   D O I   1 0 . 1 0 6 1 / ( A S C E ) 0 7 3 3 - 9 4 7 X ( 2 0 0 5 ) 1 3 1 : 1 1 ( 8 1 2 ) ;   B a r l o w   J .   M . ,   2 0 1 0 ,   F D N   O R I E N T A T I O N   M O B I ;   C a m p b e l l   M ,   2 0 1 4 ,   P   1 6   I N T   A C M   S I G A C C E ,   P 1 1 ;   C o u g h l a n   J . ,   2 0 1 3 ,   J   A S S I S T   T E C H N O L ,   V 7 ,   P 1 3 1 ;   F i t z p a t r i c k   K a y ,   2 0 1 0 ,   F H W A H R T 1 0 0 6 8 ;   F u s c o   G ,   2 0 1 4 ,   L E C T   N O T E S   C O M P U T   S C ,   V 8 5 4 7 ,   P 4 2 7 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 0 8 5 9 6 - 8 _ 6 5 ;   F u s c o   G ,   2 0 1 4 ,   2 0 1 4   C A N A D I A N   C O N F E R E N C E   O N   C O M P U T E R   A N D   R O B O T   V I S I O N   ( C R V ) ,   P 4 0 ,   D O I   1 0 . 1 1 0 9 / C R V . 2 0 1 4 . 1 4 ;   G o o d c h i l d   M F ,   2 0 0 7 ,   G E O J O U R N A L ,   V 6 9 ,   P 2 1 1 ,   D O I   1 0 . 1 0 0 7 / s 1 0 7 0 8 - 0 0 7 - 9 1 1 1 - y ;   G u y   R i c h a r d ,   2 0 1 2 ,   P   C   H U M   F A C T   C O M P   S Y ;   H a r a   K o t a r o ,   2 0 1 5 ,   A C M   T r a n s a c t i o n s   o n   A c c e s s i b l e   C o m p u t i n g ,   V 6 ,   D O I   1 0 . 1 1 4 5 / 2 7 1 7 5 1 3 ;   H a r a   K . ,   2 0 1 3 ,   P   S I G C H I   C   H U M   F A C T ,   P 6 3 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 4 7 0 6 5 4 . 2 4 7 0 7 4 4 ;   H a r a   K o t a r o ,   2 0 1 4 ,   P   2 7   A N N   A C M   S   U S   I N ,   P 1 8 9 ;   H a r a   K o t a r o ,   2 0 1 3 ,   E X P L O R I N G   E A R L Y   S O L U ;   H o c h m a i r   H a r t w i g   H . ,   2 0 1 3 ,   T R A N S P   R E S   B O A R D   A N N ;   K a c o r r i   H ,   2 0 1 6 ,   A S S E T S ' 1 6 :   P R O C E E D I N G S   O F   T H E   1 8 T H   I N T E R N A T I O N A L   A C M   S I G A C C E S S   C O N F E R E N C E   O N   C O M P U T E R S   A N D   A C C E S S I B I L I T Y ,   P 1 5 1 ,   D O I   1 0 . 1 1 4 5 / 2 9 8 2 1 4 2 . 2 9 8 2 1 7 8 ;   K a m a r   E . ,   2 0 1 2 ,   P   1 1   I N T   C   A U T   A G   M U ,   V 3 ,   P 1 3 2 9 ;   K a m a r   E . ,   2 0 1 2 ,   P   1 1   I N T   C   A U T   A G   M U ,   V 1 ,   P 4 6 7 ;   K i r s c h b a u m   J u l i e   B . ,   2 0 0 1 ,   T E C H N I C A L   R E P O R T ;   K n o b l a u c h   R i c h a r d   L . ,   1 9 8 7 ,   T E C H N I C A L   R E P O R T ;   K o e s t e r   D a n i e l ,   2 0 1 6 ,   P   1 5   I N T   C   C O M P   H E L P ,   P 2 7 ;   K u b a s e k   M i r o s l a v ,   2 0 1 3 ,   I N T   J   S P A T I A L   D A T A   I ;   L e i t l o f f   J e n s ,   2 0 1 0 ,   T   G E O S C I   R E M O T E   S E N S ,   V 4 8 ,   P 2 7 9 5 ;   L i n   T Y ,   2 0 1 5 ,   P R O C   C V P R   I E E E ,   P 5 0 0 7 ,   D O I   1 0 . 1 1 0 9 / C V P R . 2 0 1 5 . 7 2 9 9 1 3 5 ;   M a s c e t t i   S ,   2 0 1 6 ,   P A T T E R N   R E C O G N ,   V 6 0 ,   P 4 0 5 ,   D O I   1 0 . 1 0 1 6 / j . p a t c o g . 2 0 1 6 . 0 5 . 0 0 2 ;   M a t t y u s   G ,   2 0 1 5 ,   I E E E   I   C O N F   C O M P   V I S ,   P 1 6 8 9 ,   D O I   1 0 . 1 1 0 9 / I C C V . 2 0 1 5 . 1 9 7 ;   M o k h t a r z a d e   M ,   2 0 0 7 ,   I N T   J   A P P L   E A R T H   O B S ,   V 9 ,   P 3 2 ,   D O I   1 0 . 1 0 1 6 / j . j a g . 2 0 0 6 . 0 5 . 0 0 1 ;   M u r a l i   V i d y a   N ,   2 0 1 3 ,   I E E E   I n t   C o n f   M u l t i m e d   E x p o   W o r k s h o p s ,   V 2 0 1 3 ,   P 1 ;   P o g g i   M a t t e o ,   2 0 1 5 ,   P   N E W   T R E N D S   I M   A N   P ,   P 2 8 2 ;   P o g r u n d   R o n a   L . ,   2 0 1 2 ,   T E A C H I N G   A G E   A P P R O P R ;   R i c e   M T ,   2 0 1 2 ,   T   G I S ,   V 1 6 ,   P 1 7 7 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 6 7 - 9 6 7 1 . 2 0 1 2 . 0 1 3 1 8 . x ;   R i t u e r t o   A ,   2 0 1 6 ,   A S S E T S ' 1 6 :   P R O C E E D I N G S   O F   T H E   1 8 T H   I N T E R N A T I O N A L   A C M   S I G A C C E S S   C O N F E R E N C E   O N   C O M P U T E R S   A N D   A C C E S S I B I L I T Y ,   P 2 8 7 ,   D O I   1 0 . 1 1 4 5 / 2 9 8 2 1 4 2 . 2 9 8 2 2 0 2 ;   S e n l e t   T ,   2 0 1 2 ,   I N T   C   P A T T   R E C O G ,   P 8 0 5 ;   S i r m a c e k   B e r i l ,   2 0 0 9 ,   T   G E O S C I   R E M O T E   S E N S ,   V 4 7 ,   P 1 1 5 6 ;   W i e n e r   W i l l i a m   R . ,   2 0 1 0 ,   F D N   O R I E N T A T I O N   M O B I ;   X i a o   J X ,   2 0 0 9 ,   I E E E   I   C O N F   C O M P   V I S ,   P 6 8 6 ,   D O I   1 0 . 1 1 0 9 / I C C V . 2 0 0 9 . 5 4 5 9 2 4 9 ;   Z a m i r   A m i r   R o s h a n ,   2 0 1 0 ,   P   E C C V ,   P 2 5 5 ;   Z e g e e r   C h a r l e s   V . ,   1 9 9 5 ,   D E S I G N   S A F E T Y   P E D E S T 	 4 4 	 0 	 0 	 2 	 2 	 A S S O C   C O M P U T I N G   M A C H I N E R Y 	 N E W   Y O R K 	 2   P E N N   P L A Z A ,   S T E   7 0 1 ,   N E W   Y O R K ,   N Y   1 0 1 2 1 - 0 7 0 1   U S A 	 1 9 3 6 - 7 2 2 8 	 1 9 3 6 - 7 2 3 6 	 	 A C M   T   A C C E S S   C O M P U T 	 A C M   T r a n s .   A c c e s s .   C o m p u t . 	 A P R 	 2 0 1 7 	 9 	 4 	 1 	 	 S I 	 	 	 	 1 1 	 1 0 . 1 1 4 5 / 3 0 4 6 7 9 0 	 	 2 5 	 C o m p u t e r   S c i e n c e ,   I n t e r d i s c i p l i n a r y   A p p l i c a t i o n s 	 C o m p u t e r   S c i e n c e 	 E R 8 S J 	 W O S : 0 0 0 3 9 9 0 9 2 7 0 0 0 0 2 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 M o h a m e d ,   R ;   A l y ,   H ;   Y o u s s e f ,   M 	 	 	 	 M o h a m e d ,   R e h a m ;   A l y ,   H e b a ;   Y o u s s e f ,   M o u s t a f a 	 	 	 A c c u r a t e   R e a l - t i m e   M a p   M a t c h i n g   f o r   C h a l l e n g i n g   E n v i r o n m e n t s 	 I E E E   T R A N S A C T I O N S   O N   I N T E L L I G E N T   T R A N S P O R T A T I O N   S Y S T E M S 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 M a p   m a t c h i n g ;   H i d d e n   M a r k o v   M o d e l ;   c e l l u l a r - b a s e d   t r a j e c t o r i e s ;   c r o w d s o u r c i n g 	 P H O N E 	 W e   p r e s e n t   t h e   S n a p N e t   s y s t e m ,   w h i c h   p r o v i d e s   a c c u r a t e   r e a l - t i m e   m a p   m a t c h i n g   f o r   c e l l u l a r - b a s e d   t r a j e c t o r y   t r a c e s .   S u c h   t r a c e s   a r e   c h a r a c t e r i z e d   b y   i n p u t   l o c a t i o n s   t h a t   a r e   f a r   f r o m   t h e   a c t u a l   r o a d   s e g m e n t ,   e r r o r s   o n   t h e   o r d e r   o f   k i l o m e t e r s ,   b a c k - a n d - f o r t h   t r a n s i t i o n s ,   a n d   h i g h l y   s p a r s e   i n p u t   d a t a .   S n a p N e t   a p p l i e s   a   s e r i e s   o f   f i l t e r s   t o   h a n d l e   t h e   n o i s y   l o c a t i o n s   a n d   a n   i n t e r p o l a t i o n   s t a g e   t o   a d d r e s s   t h e   d a t a   s p a r s e n e s s .   A t   t h e   c o r e   o f   S n a p N e t   i s   a   n o v e l   i n c r e m e n t a l   H M M   a l g o r i t h m   t h a t   c o m b i n e s   d i g i t a l   m a p   h i n t s   i n   t h e   e s t i m a t i o n   p r o c e s s   a n d   a   n u m b e r   o f   h e u r i s t i c s   t o   r e d u c e   t h e   n o i s e   a n d   p r o v i d e   r e a l - t i m e   e s t i m a t i o n s .   E v a l u a t i o n   o f   S n a p N e t   u s i n g   a c t u a l   t r a c e s   f r o m   d i f f e r e n t   c i t i e s   c o v e r i n g   m o r e   t h a n   4 0 0   k m   s h o w s   t h a t   i t   c a n   a c h i e v e   a   p r e c i s i o n   a n d   r e c a l l   o f   m o r e   t h a n   9 0 %   u n d e r   n o i s y   c o a r s e - g r a i n e d   i n p u t   l o c a t i o n   e s t i m a t e s .   T h i s   m a p s   t o   o v e r   9 7 %   a n d   3 4 %   e n h a n c e m e n t   i n   p r e c i s i o n   a n d   r e c a l l ,   r e s p e c t i v e l y ,   w h e n   c o m p a r e d   t o   t h e   t r a d i t i o n a l   H M M   m a p - m a t c h i n g   a l g o r i t h m s .   M o r e o v e r ,   S n a p N e t   h a s   a   l a t e n c y   o f   0 . 5 8   m s   p e r   l o c a t i o n   e s t i m a t e . 	 [ M o h a m e d ,   R e h a m ;   A l y ,   H e b a ]   E g y p t   J a p a n   U n i v   S c i   &   T e c h n o l ,   W i r e l e s s   R e s   C t r ,   A l e x a n d r i a   2 1 9 3 4 ,   E g y p t ;   [ A l y ,   H e b a ]   U n i v   M a r y l a n d ,   C o l l e g e   P k ,   M D   2 0 7 4 2   U S A ;   [ Y o u s s e f ,   M o u s t a f a ]   E g y p t   J a p a n   U n i v   S c i   &   T e c h n o l ,   A l e x a n d r i a   2 1 9 3 4 ,   E g y p t 	 M o h a m e d ,   R   ( r e p r i n t   a u t h o r ) ,   E g y p t   J a p a n   U n i v   S c i   &   T e c h n o l ,   W i r e l e s s   R e s   C t r ,   A l e x a n d r i a   2 1 9 3 4 ,   E g y p t . 	 r e h a m . m o h a m e d @ e j u s t . e d u . e g ;   h e b a @ c s . u m d . e d u ;   m o u s t a f a . y o u s s e f @ e j u s t . e d u . e g 	 	 Y o u s s e f ,   M o u s t a f a / 0 0 0 0 - 0 0 0 2 - 2 0 6 3 - 4 3 6 4 	 	 	 A l - H u s s e i n y   A . ,   2 0 1 2 ,   P   2 5   S B C C I ,   P 1 ;   A l t   H ,   2 0 0 3 ,   S I A M   P R O C   S ,   P 5 8 9 ;   A l y   H . ,   2 0 1 5 ,   P   I E E E   P E R C O M ,   P 1 6 3 ;   A l y   H . ,   2 0 1 4 ,   P   1 1   A N N   I E E E   I N T   C ,   P 5 4 6 ;   A l y   H . ,   2 0 1 3 ,   P   2 1   A C M   S I G S P A T I A L ,   P 1 5 4 ;   A l y   H ,   2 0 1 6 ,   P E R V A S I V E   M O B   C O M P U T ,   V 2 6 ,   P 3 5 ,   D O I   1 0 . 1 0 1 6 / j . p m c j . 2 0 1 5 . 1 0 . 0 1 9 ;   A l y   H . ,   2 0 1 5 ,   P   2 0 1 5   I E E E   1   I N T   S M ,   P 1 ;   A l z a n t o t   M ,   2 0 1 2 ,   I E E E   W C N C ,   P 3 2 0 4 ,   D O I   1 0 . 1 1 0 9 / W C N C . 2 0 1 2 . 6 2 1 4 3 5 9 ;   B a d e r   M . ,   2 0 1 3 ,   T E X T S   C O M P U T E R   S C I   E ;   B E D N A R   J ,   1 9 8 4 ,   A C O U S T I C S   S P E E C H   S I G ,   V 3 2 ,   P 1 4 5 ;   B e r n s t e i n   D . ,   1 9 9 6 ,   T E C H   R E P ;   B l a z q u e z   C A ,   2 0 0 5 ,   T R A N S P O R T   R E S   R E C ,   P 6 8 ;   B l o i t   J ,   2 0 0 8 ,   I N T   C O N F   A C O U S T   S P E E ,   P 2 1 2 1 ,   D O I   1 0 . 1 1 0 9 / I C A S S P . 2 0 0 8 . 4 5 1 8 0 6 1 ;   B r a k a t s o u l a s   S . ,   2 0 0 5 ,   P   3 1   I N T   C   V E R   L A R G ,   P 8 5 3 ;   C u i   Y J ,   2 0 0 3 ,   I E E E   T   R O B O T I C   A U T O M ,   V 1 9 ,   P 1 5 ,   D O I   1 0 . 1 1 0 9 / T R A . 2 0 0 2 . 8 0 7 5 5 7 ;   E k i z   N . ,   2 0 0 5 ,   I N T   J   I N F   T E C H N O L ,   V 2 ,   P 1 3 2 ;   E l h a m s h a r y   M . ,   2 0 1 5 ,   P   I P I N ,   P 1 ;   E l h a m s h a r y   M . ,   2 0 1 4 ,   P   A C M   I N T   J O I N T   C   P E ,   P 6 0 7 ;   G o h   C Y ,   2 0 1 2 ,   I E E E   I N T   C   I N T E L L   T R ,   P 7 7 6 ,   D O I   1 0 . 1 1 0 9 / I T S C . 2 0 1 2 . 6 3 3 8 6 2 7 ;   G r e e n f e l d   J .   S . ,   2 0 0 2 ,   8 1   A N N   M   T R A N S P   R E S ;   G u h a   S ,   2 0 1 2 ,   A C M   T   S E N S O R   N E T W O R K ,   V 8 ,   D O I   1 0 . 1 1 4 5 / 2 2 4 0 1 1 6 . 2 2 4 0 1 2 0 ;   G u t t m a n   A . ,   1 9 8 4 ,   P   A C M   S I G M O D   I N T   C   M ,   P 4 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 6 0 2 2 5 9 . 6 0 2 2 6 6 ;   H u m m e l   B . ,   2 0 0 6 ,   D Y N A M I C   M O B I L E   G I S   I ;   I b r a h i m   M . ,   2 0 1 1 ,   P   I E E E   I C C ,   P 1 ;   I s a a c s o n   E . ,   1 9 9 4 ,   A N A L   N U M E R I C A L   M E T H O ;   K a s s e m   N . ,   2 0 1 2 ,   P   7 5   I E E E   V E H   T E C H N ,   P 1 ;   K r u m m   J . ,   2 0 0 7 ,   P   S A E   W O R L D   C ,   P 1 ;   L e e   S ,   2 0 1 2 ,   I E E E   T   W I R E L   C O M M U N ,   V 1 1 ,   P 2 7 2 0 ,   D O I   1 0 . 1 1 0 9 / T W C . 2 0 1 2 . 0 5 2 4 1 2 . 1 1 0 0 2 2 ;   L i   X . ,   2 0 0 7 ,   P   I E T   C   W I R   M O B   S E N S ,   P 4 5 4 ;   M o h a m e d   R . ,   2 0 1 4 ,   P   2 2   A C M   S I G S P A T I A L ,   P 4 0 1 ;   M o h s s e n   N . ,   2 0 1 4 ,   P   1 1   I N T   C   M O B   U B   S Y ,   P 7 0 ;   N e w s o n   P . ,   2 0 0 9 ,   P   1 7   A C M   S I G S P A T I A L ,   P 3 3 6 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 5 3 7 7 1 . 1 6 5 3 8 1 8 ;   P h u y a l   B .   P . ,   2 0 0 2 ,   P   I   N A V   G P S   I O N   G P S ,   P 4 3 0 ;   Q u d d u s   M . A . ,   2 0 0 3 ,   G P S   S O L U T I O N S   J ,   V 7 ,   P 1 5 7 ,   D O I   D O I   1 0 . 1 0 0 7 / S 1 0 2 9 1 - 0 0 3 - 0 0 6 9 - Z ;   R a b i n e r   L .   R . ,   1 9 8 6 ,   I E E E   A S S P   M a g a z i n e ,   V 3 ,   P 4 ,   D O I   1 0 . 1 1 0 9 / M A S S P . 1 9 8 6 . 1 1 6 5 3 4 2 ;   S c h u l t e s   D . ,   2 0 0 8 ,   T H E S I S ;   S r a m e k   R . ,   2 0 0 7 ,   A R X I V 0 7 0 4 0 0 6 2 ;   T h i a g a r a j a n   A . ,   2 0 1 1 ,   P   U S E N I X ,   P 1 ;   T h i a g a r a j a n   A ,   2 0 0 9 ,   S E N S Y S   0 9 :   P R O C E E D I N G S   O F   T H E   7 T H   A C M   C O N F E R E N C E   O N   E M B E D D E D   N E T W O R K E D   S E N S O R   S Y S T E M S ,   P 8 5 ;   W a n g   H ,   2 0 1 3 ,   I E E E   I N F O C O M   S E R ,   P 2 7 3 3 ;   W h i t e   C E ,   2 0 0 0 ,   T R A N S P O R T   R E S   C - E M E R ,   V 8 ,   P 9 1 ,   D O I   1 0 . 1 0 1 6 / S 0 9 6 8 - 0 9 0 X ( 0 0 ) 0 0 0 2 6 - 7 ;   Y a n g   J . - S . ,   2 0 0 5 ,   J   E   A S I A   S O C   T R A N S P O ,   V 6 ,   P 2 5 6 1 ,   D O I   D O I   1 0 . 1 1 1 7 5 / E A S T S . 6 . 2 5 6 1 	 4 2 	 0 	 0 	 2 	 2 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 1 5 2 4 - 9 0 5 0 	 1 5 5 8 - 0 0 1 6 	 	 I E E E   T   I N T E L L   T R A N S P 	 I E E E   T r a n s .   I n t e l l .   T r a n s p .   S y s t . 	 A P R 	 2 0 1 7 	 1 8 	 4 	 	 	 	 	 8 4 7 	 8 5 7 	 	 1 0 . 1 1 0 9 / T I T S . 2 0 1 6 . 2 5 9 1 9 5 8 	 	 1 1 	 E n g i n e e r i n g ,   C i v i l ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c ;   T r a n s p o r t a t i o n   S c i e n c e   &   T e c h n o l o g y 	 E n g i n e e r i n g ;   T r a n s p o r t a t i o n 	 E R 7 F N 	 W O S : 0 0 0 3 9 8 9 7 5 7 0 0 0 1 4 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 L e w i s ,   M W ;   S i l k s t o n e ,   N 	 	 	 	 L e w i s ,   M a t t h e w   W . ;   S i l k s t o n e ,   N i c h o l a s 	 	 	 I m p r o v e m e n t s   i n   n o w c a s t i n g   c a p a b i l i t y :   a n a l y s i s   o f   t h r e e   s t r u c t u r a l l y   d i s t i n c t   s e v e r e   t h u n d e r s t o r m s   a c r o s s   n o r t h e r n   E n g l a n d   o n   1   J u l y   2 0 1 5 	 W E A T H E R 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 	 S E A - B R E E Z E ;   P R E C I P I T A T I O N ;   C L I M A T O L O G Y ;   S U P E R C E L L ;   S T O R M S 	 T h r e e   s e v e r e   a n d   v e r y   d i f f e r e n t   s t o r m s   d e v e l o p e d   a c r o s s   n o r t h e r n   E n g l a n d   o n   1   J u l y   2 0 1 5   d u r i n g   a   s h o r t - l i v e d   h o t   s p e l l .   T h e s e   e v e n t s   a r e   a n a l y s e d   u s i n g   a   m i x t u r e   o f   t r a d i t i o n a l   d a t a   s o u r c e s ,   a s   w e l l   a s   t h e   i m p r o v e d   U K   r a d a r   c a p a b i l i t y   a n d   t h e   p u b l i c   c r o w d s o u r c i n g   o f   d a t a ,   w h i c h   i t s e l f   c o u l d   h a v e   a   p o w e r f u l   r o l e   i n   f u t u r e   n o w c a s t i n g .   T h e   f i r s t   s t o r m   d e v e l o p e d   d u r i n g   e a r l y   a f t e r n o o n   f r o m   a n   a r e a   o f   m e d i u m - l e v e l   i n s t a b i l i t y ,   r e s u l t i n g   i n   s t r o n g   s t r a i g h t - l i n e   w i n d s   a n d   l o c a l i s e d   f l a s h   f l o o d i n g   i n   n o r t h e a s t   E n g l a n d .   T h e   s e c o n d   s t o r m   w a s   r o o t e d   t o   t h e   b o u n d a r y   l a y e r   a n d ,   f r o m   a n a l y s i s   o f   s o c i a l   m e d i a   r e p o r t s ,   p r o d u c e d   a   1 3 0 k m   s w a t h e   o f   l a r g e   h a i l .   S u b s e q u e n t   r a d a r   a n a l y s i s   s h o w e d   t h i s   s t o r m   t o   h a v e   a c q u i r e d   c h a r a c t e r i s t i c s   o f   a   s u p e r c e l l .   D e s p i t e   t h e   l o s s   o f   d a y t i m e   h e a t i n g ,   f u r t h e r   t h u n d e r s t o r m s   d e v e l o p e d   a c r o s s   n o r t h w e s t   E n g l a n d   l a t e r   i n   t h e   e v e n i n g ,   a l b e i t   r o o t e d   t o   a   l a y e r   a b o v e   t h e   b o u n d a r y   l a y e r .   H o w e v e r ,   t h e s e   s t o r m s   s t i l l   p r o d u c e d   l a r g e   h a i l   a n d   f r e q u e n t   l i g h t n i n g ,   w i t h   r a d a r   a n a l y s i s   s h o w i n g   t h e   d e v e l o p m e n t   o f   a   r a r e   e l e v a t e d   s u p e r c e l l . 	 [ L e w i s ,   M a t t h e w   W . ;   S i l k s t o n e ,   N i c h o l a s ]   O p e r a t   C t r ,   M e t   O f f ,   E x e t e r ,   D e v o n ,   E n g l a n d 	 L e w i s ,   M W   ( r e p r i n t   a u t h o r ) ,   O p e r a t   C t r ,   M e t   O f f ,   E x e t e r ,   D e v o n ,   E n g l a n d . 	 m a t t h e w . l e w i s @ m e t o f f i c e . g o v . u k 	 	 	 	 	 A t l a s   D ,   2 0 0 4 ,   J   A T M O S   S C I ,   V 6 1 ,   P 1 1 8 6 ,   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 6 9 ( 2 0 0 4 ) 0 6 1 < 1 1 8 6 : P O O A W M > 2 . 0 . C O ; 2 ;   A T L A S   D ,   1 9 6 0 ,   J   M E T E O R O L ,   V 1 7 ,   P 2 4 4 ,   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 6 9 ( 1 9 6 0 ) 0 1 7 < 0 2 4 4 : R D O T S B > 2 . 0 . C O ; 2 ;   B R O W N I N G   K A ,   1 9 6 4 ,   J   A T M O S   S C I ,   V 2 1 ,   P 6 3 4 ,   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 6 9 ( 1 9 6 4 ) 0 2 1 < 0 6 3 4 : A A P T W S > 2 . 0 . C O ; 2 ;   D o t z e k   N ,   2 0 0 9 ,   A T M O S   R E S ,   V 9 3 ,   P 4 5 7 ,   D O I   1 0 . 1 0 1 6 / j . a t m o s r e s . 2 0 0 8 . 0 9 . 0 3 4 ;   F o v e l l   R G ,   2 0 0 5 ,   M O N   W E A T H E R   R E V ,   V 1 3 3 ,   P 2 6 4 ,   D O I   1 0 . 1 1 7 5 / M W R - 2 8 5 2 . 1 ;   H o l l e y   D M ,   2 0 1 4 ,   I N T   J   C L I M A T O L ,   V 3 4 ,   P 3 8 1 1 ,   D O I   1 0 . 1 0 0 2 / j o c . 3 9 7 6 ;   J i r a k   I L ,   2 0 0 3 ,   M O N   W E A T H E R   R E V ,   V 1 3 1 ,   P 2 4 2 8 ,   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 9 3 ( 2 0 0 3 ) 1 3 1 < 2 4 2 8 : S A R S O M > 2 . 0 . C O ; 2 ;   K L E M P   J B ,   1 9 8 7 ,   A N N U   R E V   F L U I D   M E C H ,   V 1 9 ,   P 3 6 9 ,   D O I   1 0 . 1 1 4 6 / a n n u r e v . f l u i d . 1 9 . 1 . 3 6 9 ;   L a c   C ,   2 0 0 2 ,   J   A T M O S   S C I ,   V 5 9 ,   P 1 2 9 3 ,   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 6 9 ( 2 0 0 2 ) 0 5 9 < 1 2 9 3 : R O G W I T > 2 . 0 . C O ; 2 ;   L e w i s   M W ,   2 0 1 0 ,   A T M O S   R E S ,   V 9 7 ,   P 1 9 4 ,   D O I   1 0 . 1 0 1 6 / j . a t m o s r e s . 2 0 1 0 . 0 4 . 0 0 1 ;   M i l l e r   R C . ,   1 9 7 2 ,   A W S T R 2 0 0 R E V   U S   A I R   F ;   M i l l i g a n   D ,   2 0 1 5 ,   N   E   T H U N D E R S T O R M   R E C ;   P a u l i t s c h   H ,   2 0 0 9 ,   A D V   G E O S C I ,   V 2 0 ,   P 3 ;   R a s m u s s e n   E N ,   1 9 9 8 ,   W E A T H E R   F O R E C A S T ,   V 1 3 ,   P 1 1 4 8 ,   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 3 4 ( 1 9 9 8 ) 0 1 3 < 1 1 4 8 : A B C O S D > 2 . 0 . C O ; 2 ;   S R I V A S T A V A   R C ,   1 9 8 7 ,   J   A T M O S   S C I ,   V 4 4 ,   P 1 7 5 2 ,   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 6 9 ( 1 9 8 7 ) 0 4 4 < 1 7 5 2 : A M O I D D > 2 . 0 . C O ; 2 ;   W e b b   J D C ,   2 0 0 9 ,   A T M O S   R E S ,   V 9 3 ,   P 5 8 7 ,   D O I   1 0 . 1 0 1 6 / j . a t m o s r e s . 2 0 0 8 . 1 0 . 0 3 4 ;   W E I S M A N   M L ,   1 9 8 2 ,   M O N   W E A T H E R   R E V ,   V 1 1 0 ,   P 5 0 4 ,   D O I   1 0 . 1 1 7 5 / 1 5 2 0 - 0 4 9 3 ( 1 9 8 2 ) 1 1 0 < 0 5 0 4 : T D O N S C > 2 . 0 . C O ; 2 ;   W e s t b r o o k   C ,   2 0 1 3 ,   W E A T H E R ,   V 6 8 ,   P 1 2 8 ,   D O I   1 0 . 1 0 0 2 / w e a . 1 9 9 7 ;   Z r n i c   D S ,   2 0 1 0 ,   J   A P P L   M E T E O R O L   C L I M ,   V 4 9 ,   P 6 8 7 ,   D O I   1 0 . 1 1 7 5 / 2 0 0 9 J A M C 2 3 0 0 . 1 	 1 9 	 0 	 0 	 1 	 1 	 W I L E Y 	 H O B O K E N 	 1 1 1   R I V E R   S T ,   H O B O K E N   0 7 0 3 0 - 5 7 7 4 ,   N J   U S A 	 0 0 4 3 - 1 6 5 6 	 1 4 7 7 - 8 6 9 6 	 	 W E A T H E R 	 W e a t h e r 	 A P R 	 2 0 1 7 	 7 2 	 4 	 	 	 	 	 9 1 	 9 8 	 	 1 0 . 1 0 0 2 / w e a . 2 8 3 7 	 	 8 	 M e t e o r o l o g y   &   A t m o s p h e r i c   S c i e n c e s 	 M e t e o r o l o g y   &   A t m o s p h e r i c   S c i e n c e s 	 E R 3 V W 	 W O S : 0 0 0 3 9 8 7 2 8 8 0 0 0 0 3 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 F i l i m o w i c z ,   M A ;   T z a n k o v a ,   V K 	 	 	 	 F i l i m o w i c z ,   M i c h a e l   A . ;   T z a n k o v a ,   V e r o n i k a   K . 	 	 	 C r e a t i v e   m a k i n g ,   l a r g e   l e c t u r e s ,   a n d   s o c i a l   m e d i a :   B r e a k i n g   w i t h   t r a d i t i o n   i n   a r t   a n d   d e s i g n   e d u c a t i o n 	 A R T S   A N D   H U M A N I T I E S   I N   H I G H E R   E D U C A T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A r t   a n d   d e s i g n   e d u c a t i o n ;   l a r g e   e n r o l l m e n t s ;   o n l i n e   l e a r n i n g ;   s o c i a l   m e d i a ;   t e a c h i n g   c r e a t i v i t y 	 	 T h e   p u r p o s e   o f   t h i s   a r t i c l e   i s   t o   c h a l l e n g e   t h e   n o t i o n   o f   s m a l l   s t u d i o   f o r m a t   d e l i v e r y   e x p e c t a t i o n s   i n   a r t   a n d   d e s i g n   e d u c a t i o n .   O u r   r e s e a r c h   r e p o r t s   o n   a n   i n t r o d u c t o r y   D i g i t a l   P h o t o g r a p h y   c o u r s e   d e s i g n   t h a t   p r o d u c e d   e q u i v a l e n t   l e a r n i n g   o u t c o m e s   i n   a   l a r g e   e n r o l l m e n t   l e c t u r e   f o r m a t .   T h e   o b j e c t i v e   o f   t h e   p r o j e c t   w a s   t o   i n t r o d u c e   ( 1 )   a   c a s e - b a s e d   a p p r o a c h   t o   t e a c h i n g   a n d   l e a r n i n g   a n d   ( 2 )   a   m u l t i t i e r e d   f e e d b a c k   m o d e l .   T h e   p o s i t i v e   l e a r n i n g   o u t c o m e s   p r o d u c e d   b y   t h i s   c o u r s e   d e s i g n   c a l l   i n t o   q u e s t i o n   t h e   p r e v a i l i n g   r e g i m e s   o f   t e a c h i n g   c r e a t i v e   p r o d u c t i o n   w i t h i n   t h e   l i m i t s   o f   s m a l l   s t u d i o   p e d a g o g y .   I n   a d d i t i o n ,   t h e   m u l t i t i e r e d   f e e d b a c k   m o d e l   w e   p r o p o s e   c a n   b e   e x t e n d e d   m u c h   b e y o n d   a   c l a s s r o o m   s e t t i n g   t o   i n c l u d e   c r o w d s o u r c i n g '   a s   a   f e e d b a c k   m o d e l   i n   M a s s i v e   O p e n   O n l i n e   C o u r s e s ,   a l s o   k n o w n   a s   M O O C s .   O u r   a p p r o a c h   i s   a l s o   h i g h l y   s u g g e s t i v e   o f   f u r t h e r   i n v e s t i g a t i o n   i n t o   a p p l y i n g   K a n t ' s   n o t i o n   o f   t h e   s e n s u s   c o m m u n i s   -   t h e   s h a r e d   s u b j e c t i v e   b u t   u n i v e r s a l   s e n s e   o f   t h e   a e s t h e t i c   -   t o   c o m m o n   i s s u e s   s u r r o u n d i n g   c r e a t i v i t y ,   s c a l e   a n d   e v a l u a t i o n . 	 [ F i l i m o w i c z ,   M i c h a e l   A . ]   S i m o n   F r a s e r   U n i v ,   S c h   I n t e r a c t   A r t s   &   T e c h n o l ,   S I A T   S F U   S u r r e y   C a m p u s , 2 5 0 - 1 3 4 5 0   1 0 2   A v e , P o d i u m ,   S u r r e y ,   B C   V 3 T   0 A 3 ,   C a n a d a ;   [ T z a n k o v a ,   V e r o n i k a   K . ]   S i m o n   F r a s e r   U n i v ,   S c h   C o m m u n ,   S u r r e y ,   B C   V 5 A   1 S 6 ,   C a n a d a 	 F i l i m o w i c z ,   M A   ( r e p r i n t   a u t h o r ) ,   S i m o n   F r a s e r   U n i v ,   S c h   I n t e r a c t   A r t s   &   T e c h n o l ,   S I A T   S F U   S u r r e y   C a m p u s , 2 5 0 - 1 3 4 5 0   1 0 2   A v e , P o d i u m ,   S u r r e y ,   B C   V 3 T   0 A 3 ,   C a n a d a . 	 m f a 1 3 @ s f u . c a 	 	 	 S i m o n   F r a s e r   U n i v e r s i t y ' s   I n s t i t u t e   f o r   t h e   S t u d y   o f   T e a c h i n g   a n d   L e a r n i n g   i n   t h e   D i s c i p l i n e s 	 T h e   a u t h o r s   d i s c l o s e d   r e c e i p t   o f   t h e   f o l l o w i n g   f i n a n c i a l   s u p p o r t   f o r   t h e   r e s e a r c h ,   a u t h o r s h i p ,   a n d / o r   p u b l i c a t i o n   o f   t h i s   a r t i c l e :   T h i s   r e s e a r c h   w a s   s u p p o r t e d   b y   a   T e a c h i n g   a n d   L e a r n i n g   D e v e l o p m e n t   G r a n t   f r o m   S i m o n   F r a s e r   U n i v e r s i t y ' s   I n s t i t u t e   f o r   t h e   S t u d y   o f   T e a c h i n g   a n d   L e a r n i n g   i n   t h e   D i s c i p l i n e s . 	 C o l l e g e   A r t   A s s o c i a t i o n ,   2 0 1 1 ,   S T A N D   G U I D ;   C r e s w e l l   J .   W . ,   1 9 9 7 ,   Q U A L I T A T I V E   I N Q U I R Y ;   D e C u i r - G u n b y   J .   T . ,   2 0 0 8 ,   B E S T   P R A C T I C E S   Q U A N T ,   P 1 2 5 ;   F l y v b j e r g   B . ,   2 0 1 1 ,   S A G E   H D B   Q U A L I T A T I V E ,   P 3 0 1 ,   D O I   D O I   1 0 . 1 0 1 6 / B 9 7 8 - 1 - 8 5 6 1 7 - 7 2 6 - 9 . 0 0 0 0 5 - 4 ;   F o r s e y   M ,   2 0 1 3 ,   J   S O C I O L ,   V 4 9 ,   P 4 7 1 ,   D O I   1 0 . 1 1 7 7 / 1 4 4 0 7 8 3 3 1 3 5 0 4 0 5 9 ;   K i m m e r l e   H ,   2 0 0 0 ,   S C H R I F T E N   P H I L O S   D I F ;   K i r m a y e r   L J ,   2 0 1 3 ,   T R A N S C U L T   P S Y C H I A T R Y ,   V 5 0 ,   P 1 6 5 ,   D O I   1 0 . 1 1 7 7 / 1 3 6 3 4 6 1 5 1 3 4 9 0 6 2 6 ;   P o l a n y i   M i c h a e l ,   2 0 0 9 ,   T A C I T   D I M E N S I O N ;   Z a h a v i   D . ,   2 0 0 5 ,   S U B J E C T I V I T Y   S E L F H O O 	 9 	 0 	 0 	 6 	 6 	 S A G E   P U B L I C A T I O N S   L T D 	 L O N D O N 	 1   O L I V E R S   Y A R D ,   5 5   C I T Y   R O A D ,   L O N D O N   E C 1 Y   1 S P ,   E N G L A N D 	 1 4 7 4 - 0 2 2 2 	 1 7 4 1 - 2 6 5 X 	 	 A R T S   H U M   H I G H   E D U C 	 A r t s   H u m .   H i g h .   E d u c . 	 A P R 	 2 0 1 7 	 1 6 	 2 	 	 	 	 	 1 5 6 	 1 7 2 	 	 1 0 . 1 1 7 7 / 1 4 7 4 0 2 2 2 1 4 5 5 2 1 9 7 	 	 1 7 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 E d u c a t i o n   &   E d u c a t i o n a l   R e s e a r c h 	 E P 6 F U 	 W O S : 0 0 0 3 9 7 4 7 4 6 0 0 0 0 3 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 M c K e r c h e r ,   G R ;   S a l m o n d ,   J A ;   V a n o s ,   J K 	 	 	 	 M c K e r c h e r ,   G r a n t   R . ;   S a l m o n d ,   J e n n i f e r   A . ;   V a n o s ,   J e n n i f e r   K . 	 	 	 C h a r a c t e r i s t i c s   a n d   a p p l i c a t i o n s   o f   s m a l l ,   p o r t a b l e   g a s e o u s   a i r   p o l l u t i o n   m o n i t o r s 	 E N V I R O N M E N T A L   P O L L U T I O N 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 A i r   p o l l u t i o n ;   M o n i t o r i n g ;   L o w - c o s t   s e n s o r s ;   U r b a n   p o l l u t i o n ;   O z o n e 	 H E A R T - R A T E - V A R I A B I L I T Y ;   P A R T I C U L A T E   M A T T E R ;   P E R S O N A L   E X P O S U R E ;   U L T R A F I N E   P A R T I C L E S ;   N I T R O G E N - D I O X I D E ;   C A R B O N - M O N O X I D E ;   L O W - C O S T ;   Q U A L I T Y ;   S E N S O R S ;   O Z O N E 	 B a c k g r o u n d :   T r a d i t i o n a l   a p p r o a c h e s   f o r   m e a s u r i n g   a i r   q u a l i t y   b a s e d   o n   f i x e d   m e a s u r e m e n t s   a r e   i n a d e q u a t e   f o r   p e r s o n a l   e x p o s u r e   m o n i t o r i n g .   T o   c o m b a t   t h i s   i s s u e ,   t h e   u s e   o f   s m a l l ,   p o r t a b l e   g a s - s e n s i n g   a i r   p o l l u t i o n   m o n i t o r i n g   t e c h n o l o g i e s   i s   i n c r e a s i n g ,   w i t h   r e s e a r c h e r s   a n d   i n d i v i d u a l s   e m p l o y i n g   p o r t a b l e   a n d   m o b i l e   m e t h o d s   t o   o b t a i n   m o r e   s p a t i a l l y   a n d   t e m p o r a l l y   r e p r e s e n t a t i v e   a i r   p o l l u t i o n   d a t a .   H o w e v e r ,   m a n y   c o m m e r c i a l l y   a v a i l a b l e   o p t i o n s   a r e   b u i l t   f o r   v a r i o u s   a p p l i c a t i o n s   a n d   b a s e d   o n   d i f f e r e n t   t e c h n o l o g i e s ,   a s s u m p t i o n s ,   a n d   l i m i t a t i o n s .   A   r e v i e w   o f   t h e   m o n i t o r   c h a r a c t e r i s t i c s   o f   s m a l l ,   g a s e o u s   m o n i t o r s   i s   m i s s i n g   f r o m   c u r r e n t   s c i e n t i f i c   l i t e r a t u r e .   P u r p o s e :   A   s t a t e - o f - t h e - a r t   r e v i e w   o f   s m a l l ,   p o r t a b l e   m o n i t o r s   t h a t   m e a s u r e   a m b i e n t   g a s e o u s   o u t d o o r   p o l l u t a n t s   w a s   d e v e l o p e d   t o   a d d r e s s   b r o a d   t r e n d s   d u r i n g   t h e   l a s t   5 - 1 0   y e a r s ,   a n d   t o   h e l p   f u t u r e   e x p e r i m e n t e r s   i n t e r e s t e d   i n   s t u d y i n g   g a s e o u s   a i r   p o l l u t a n t s   c h o o s e   m o n i t o r s   a p p r o p r i a t e   f o r   t h e i r   a p p l i c a t i o n   a n d   s a m p l i n g   n e e d s .   M e t h o d s :   T r e n d s   i n   s m a l l ,   p o r t a b l e   g a s e o u s   a i r   p o l l u t i o n   m o n i t o r   u s e s   a n d   t e c h n o l o g i e s   w e r e   f i r s t   i d e n t i f i e d   a n d   d i s c u s s e d   i n   a   r e v i e w   o f   l i t e r a t u r e .   N e x t ,   s e a r c h e s   o f   o n l i n e   d a t a b a s e s   w e r e   p e r f o r m e d   f o r   a r t i c l e s   c o n t a i n i n g   s p e c i f i c   i n f o r m a t i o n   r e l a t e d   t o   p e r f o r m a n c e ,   c h a r a c t e r i s t i c s ,   a n d   u s e   o f   s u c h   m o n i t o r s   t h a t   m e a s u r e   o n e   o r   m o r e   o f   t h r e e   c r i t e r i a   g a s e o u s   a i r   p o l l u t a n t s :   o z o n e ,   n i t r o g e n   d i o x i d e ,   a n d   c a r b o n   m o n o x i d e .   A l l   d a t a   w e r e   s u m m a r i z e d   i n t o   r e f e r e n c e   t a b l e s   f o r   c o m p a r i s o n   b e t w e e n   a p p l i c a t i o n s ,   p h y s i c a l   f e a t u r e s ,   s e n s i n g   c a p a b i l i t i e s ,   a n d   c o s t s   o f   t h e   d e v i c e s .   R e s u l t s :   R e c e n t   p o r t a b l e   m o n i t o r i n g   t r e n d s   a r e   s t r o n g l y   r e l a t e d   t o   a s s o c i a t e d   a p p l i c a t i o n s   a n d   a u d i e n c e s .   F u n d a m e n t a l   r e s e a r c h   r e q u i r e s   m o n i t o r s   w i t h   t h e   b e s t   i n d i v i d u a l   p e r f o r m a n c e ,   a n d   t h u s   t h e   h i g h e s t   c o s t   t e c h n o l o g y .   M o n i t o r   n e t w o r k i n g   f a v o r s   r e a l - t i m e   c a p a b i l i t i e s   a n d   m o d e r a t e   c o s t   f o r   g r e a t e r   r e p r o d u c t i o n .   C i t i z e n   s c i e n c e   a n d   c r o w d s o u r c i n g   a p p l i c a t i o n s   a l l o w   f o r   l o w e r - c o s t   c o m p o n e n t s ;   h o w e v e r   i m p o r t a n t   s t r e n g t h s   a n d   l i m i t a t i o n s   f o r   e a c h   a p p l i c a t i o n   m u s t   b e   a d d r e s s e d   o r   a c k n o w l e d g e d   f o r   t h e   g i v e n   u s e .   ( C )   2 0 1 6   E l s e v i e r   L t d .   A l l   r i g h t s   r e s e r v e d . 	 [ M c K e r c h e r ,   G r a n t   R . ;   V a n o s ,   J e n n i f e r   K . ]   T e x a s   T e c h   U n i v ,   D e p t   G e o s c i ,   3 0 0 3   1 5 t h   S t ,   L u b b o c k ,   T X   7 9 4 0 9   U S A ;   [ S a l m o n d ,   J e n n i f e r   A . ]   U n i v   A u c k l a n d ,   S c h   E n v i r o n m ,   1 0   S y m o n d s   S t ,   A u c k l a n d   1 0 1 0 ,   N e w   Z e a l a n d ;   [ V a n o s ,   J e n n i f e r   K . ]   U n i v   C a l i f   S a n   D i e g o ,   S c r i p p s   I n s t   O c e a n o g ,   9 5 0 0   G i l m a n   D r ,   L a   J o l l a ,   C A   9 2 0 9 3   U S A 	 V a n o s ,   J K   ( r e p r i n t   a u t h o r ) ,   T e x a s   T e c h   U n i v ,   D e p t   G e o s c i ,   3 0 0 3   1 5 t h   S t ,   L u b b o c k ,   T X   7 9 4 0 9   U S A . ;   V a n o s ,   J K   ( r e p r i n t   a u t h o r ) ,   U n i v   C a l i f   S a n   D i e g o ,   S c r i p p s   I n s t   O c e a n o g ,   9 5 0 0   G i l m a n   D r ,   L a   J o l l a ,   C A   9 2 0 9 3   U S A . 	 j k v a n o s @ u c s d . e d u 	 	 	 	 	 2 B   T e c h n o l o g i e s ,   2 0 1 2 ,   U V   P O M   M A N U A L ;   2 B   T e c h n o l o g i e s ,   2 0 1 6 ,   P O R N   P E R S   O Z O N   M O N ;   A e r o q u a l ,   2 0 1 6 ,   P O R T   F I X   M O N   G A S   S E N ;   A e r o q u a l ,   2 0 1 6 ,   A E R   S E R   2 0 0   3 0 0   5 0 0 ;   A l - A l i   A R ,   2 0 1 0 ,   I E E E   S E N S   J ,   V 1 0 ,   P 1 6 6 6 ,   D O I   1 0 . 1 1 0 9 / J S E N . 2 0 1 0 . 2 0 4 5 8 9 0 ;   A l e i x a n d r e   M . ,   2 0 1 2 ,   C H E M   E N G   T ,   V 3 0 ;   A n t o n i c   A . ,   2 0 1 4 ,   S O F T W   T E L   C O M P   N E T W ,   P 4 2 3 ;   B a l e s   E . ,   2 0 1 4 ,   P E R S O N A L   P O L L U T I O N   M ;   B a x t e r   L K ,   2 0 1 3 ,   J   E X P O   S C I   E N V   E P I D ,   V 2 3 ,   P 6 5 4 ,   D O I   1 0 . 1 0 3 8 / j e s . 2 0 1 3 . 6 2 ;   B e c k x   C ,   2 0 0 9 ,   E N V I R O N   I M P A C T   A S S E S ,   V 2 9 ,   P 1 7 9 ,   D O I   1 0 . 1 0 1 6 / j . e i a r . 2 0 0 8 . 1 0 . 0 0 1 ;   B e r e i t s c h a f t   B ,   2 0 1 5 ,   S U S T A I N   C I T I E S   S O C ,   V 1 5 ,   P 6 4 ,   D O I   1 0 . 1 0 1 6 / j . s c s . 2 0 1 4 . 1 2 . 0 0 1 ;   B o u l o s   M . N . K ,   2 0 1 1 ,   I N T   J   H E A L T H   G E O G R ,   V 1 0 ,   P 1 ;   C a i r P o l ,   2 0 1 6 ,   A U T   P O L L   S E N S   C A I R C L ;   C a o   T T ,   2 0 1 6 ,   S E N S O R   A C T U A T   B - C H E M ,   V 2 2 4 ,   P 9 3 6 ,   D O I   1 0 . 1 0 1 6 / j . s n b . 2 0 1 5 . 1 0 . 0 9 0 ;   C a s t e l l   N u r i a ,   2 0 1 5 ,   U r b a n   C l i m a t e ,   V 1 4 ,   P 3 7 0 ,   D O I   1 0 . 1 0 1 6 / j . u c l i m . 2 0 1 4 . 0 8 . 0 0 2 ;   C a s t e l l   N . ,   2 0 1 3 ,   R E A L   W O R L D   A P P L   N E W ;   C a t t a n e o   A ,   2 0 1 0 ,   A E R O S O L   S C I   T E C H ,   V 4 4 ,   P 3 7 0 ,   D O I   1 0 . 1 0 8 0 / 0 2 7 8 6 8 2 1 0 0 3 6 6 2 9 3 4 ;   C a v e l l i n   L D ,   2 0 1 6 ,   E N V I R O N   S C I   T E C H N O L ,   V 5 0 ,   P 3 1 3 ,   D O I   1 0 . 1 0 2 1 / a c s . e s t . 5 b 0 4 2 3 5 ;   C h a u d h r y   V ,   2 0 1 3 ,   I N T   J   E N V   E N G   M A N A G ,   V 4 ,   P 6 3 9 ;   C o m p o n e n t   D i s t r i b u t o r s   I n c ,   2 0 1 6 ,   S G X   S E N S   L I M   F O R M   E 2 ;   d e   N a z e l l e   A ,   2 0 1 2 ,   A T M O S   E N V I R O N ,   V 5 9 ,   P 1 5 1 ,   D O I   1 0 . 1 0 1 6 / j . a t m o s e n v . 2 0 1 2 . 0 5 . 0 1 3 ;   D e l g a d o - S a b o r i t   J M ,   2 0 1 2 ,   J   E N V I R O N   M O N I T O R ,   V 1 4 ,   P 1 8 2 4 ,   D O I   1 0 . 1 0 3 9 / c 2 e m 1 0 9 9 6 d ;   D e v a r a k o n d a   S . ,   2 0 1 3 ,   P   2   A C M   S I G K D D   I N T   W ,   P 1 5 ;   D u t t a   P . ,   2 0 0 9 ,   P   7   A C M   C   E M B   N E T W   S ,   P 3 4 9 ,   D O I   1 0 . 1 1 4 5 / 1 6 4 4 0 3 8 . 1 6 4 4 0 9 5 ;   e 2 v   T e c h n o l o g i e s ,   2 0 0 8 ,   M I C S   4 5 1 4   C O M B   C O   N O ;   E L A M P A R I   K ,   2 0 1 0 ,   I N D I A N   J   S C I   T E C H N O L ,   V 3 ,   P 9 0 0 ;   E l e n   B ,   2 0 1 3 ,   S E N S O R S - B A S E L ,   V 1 3 ,   P 2 2 1 ,   D O I   1 0 . 3 3 9 0 / s 1 3 0 1 0 0 2 2 1 ;   G e r b o l e s   M . ,   2 0 0 9 ,   J T   R E S   C E N T   E N V   S U S T ;   G o o d   N . ,   2 0 1 5 ,   J   E X P O   S C I   E N V   E P I D E ;   G o z z i   F . ,   2 0 1 5 ,   A T M O S   P O L L U T   R E S ;   G r a n t   M J ,   2 0 0 9 ,   H E A L T H   I N F O   L I B R   J ,   V 2 6 ,   P 9 1 ,   D O I   1 0 . 1 1 1 1 / j . 1 4 7 1 - 1 8 4 2 . 2 0 0 9 . 0 0 8 4 8 . x ;   G r i n e s k i   S .   E . ,   2 0 0 7 ,   E n v i r o n m e n t a l   H a z a r d s ,   V 7 ,   P 3 6 0 ;   G r i n e s k i   S ,   2 0 0 7 ,   S O C   S C I   Q U A R T ,   V 8 8 ,   P 5 3 5 ,   D O I   1 0 . 1 1 1 1 / j . 1 5 4 0 - 6 2 3 7 . 2 0 0 7 . 0 0 4 7 0 . x ;   H a b i t a t M a p ,   2 0 1 6 ,   B U I L D   A I R C   A I R   M O N ;   H a s e n f r a t z   D . ,   2 0 1 2 ,   M O B   S E N S ;   H o n i c k y   R . ,   2 0 0 8 ,   P   2   A C M   S I G C O M M   W O R K ,   P 2 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 3 9 7 7 0 5 . 1 3 9 7 7 1 3 ;   J a l l a d   K . ,   2 0 1 2 ,   E N V   N A T U R A L   R E S O U R C E ,   V 2 ,   P 2 ,   D O I   D O I   1 0 . 5 5 3 9 / E N R R . V 2 N 2 P 2 ;   J o v a s e v i c - S t o j a n o v i c   M ,   2 0 1 5 ,   E N V I R O N   P O L L U T ,   V 2 0 6 ,   P 6 9 6 ,   D O I   1 0 . 1 0 1 6 / j . e n v p o l . 2 0 1 5 . 0 8 . 0 3 5 ;   K a u r   S ,   2 0 0 7 ,   A T M O S   E N V I R O N ,   V 4 1 ,   P 4 7 8 1 ,   D O I   1 0 . 1 0 1 6 / j . a t m o s e n v . 2 0 0 7 . 0 2 . 0 0 2 ;   K a u r   S ,   2 0 0 5 ,   A T M O S   E N V I R O N ,   V 3 9 ,   P 3 6 2 9 ,   D O I   1 0 . 1 0 1 6 / j . a t m o s e n v . 2 0 0 5 . 0 2 . 0 4 6 ;   K o r o t c e n k o v   G . ,   2 0 1 3 ,   H D B   G A S   S E N S O R   M A T ;   K u m a r   N ,   2 0 1 3 ,   J   E X P O   S C I   E N V   E P I D ,   V 2 3 ,   P 6 3 7 ,   D O I   1 0 . 1 0 3 8 / j e s . 2 0 1 3 . 5 2 ;   K u m a r   P ,   2 0 1 5 ,   E N V I R O N   I N T ,   V 7 5 ,   P 1 9 9 ,   D O I   1 0 . 1 0 1 6 / j . e n v i n t . 2 0 1 4 . 1 1 . 0 1 9 ;   L i n   C ,   2 0 1 5 ,   A T M O S   E N V I R O N ,   V 1 0 0 ,   P 1 1 1 ,   D O I   1 0 . 1 0 1 6 / j . a t m o s e n v . 2 0 1 4 . 1 1 . 0 0 2 ;   M a c D o n a l d   C . P . ,   2 0 1 4 ,   O Z O N E   C O N C E N T R A T I O N S ,   V 9 3 7 2 6 - 1 0 0 2 4 4 ;   M a c N a u g h t o n   P ,   2 0 1 4 ,   S C I   T O T A L   E N V I R O N ,   V 4 9 0 ,   P 3 7 ,   D O I   1 0 . 1 0 1 6 / j . s c i t o t e n v . 2 0 1 4 . 0 4 . 1 1 1 ;   M c C o n n e l l   R ,   2 0 1 0 ,   E N V I R O N   H E A L T H   P E R S P ,   V 1 1 8 ,   P 1 0 2 1 ,   D O I   1 0 . 1 2 8 9 / e h p . 0 9 0 1 2 3 2 ;   M c K e r c h e r   G . R . ,   2 0 1 6 ,   T H E S I S ;   M e a d   M I ,   2 0 1 3 ,   A T M O S   E N V I R O N ,   V 7 0 ,   P 1 8 6 ,   D O I   1 0 . 1 0 1 6 / j . a t m o s e n v . 2 0 1 2 . 1 1 . 0 6 0 ;   P o p e   R . L . ,   2 0 1 4 ,   S P A T I O T E M P O R A L   P A T T E ;   S n y d e r   E G ,   2 0 1 3 ,   E N V I R O N   S C I   T E C H N O L ,   V 4 7 ,   P 1 1 3 6 9 ,   D O I   1 0 . 1 0 2 1 / e s 4 0 2 2 6 0 2 ;   S t e i n l e   S ,   2 0 1 3 ,   S C I   T O T A L   E N V I R O N ,   V 4 4 3 ,   P 1 8 4 ,   D O I   1 0 . 1 0 1 6 / j . s c i t o t e n v . 2 0 1 2 . 1 0 . 0 9 8 ;   S t e v e n s   C ,   2 0 1 4 ,   E N V I R O N   S C I - P R O C   I M P ,   V 1 6 ,   P 9 4 ,   D O I   1 0 . 1 0 3 9 / c 3 e m 0 0 3 6 4 g ;   U n i t e c ,   2 0 1 6 ,   S E N S   I T   D A T ;   U n i t e c ,   2 0 1 6 ,   U N I T   S E N S   I T   T E C H N   N ;   V a n   d e n   B o s s c h e   J ,   2 0 1 5 ,   A T M O S   E N V I R O N ,   V 1 0 5 ,   P 1 4 8 ,   D O I   1 0 . 1 0 1 6 / j . a t m o s e n v . 2 0 1 5 . 0 1 . 0 1 7 ;   V a n   P o p p e l   M ,   2 0 1 3 ,   E N V I R O N   P O L L U T ,   V 1 8 3 ,   P 2 2 4 ,   D O I   1 0 . 1 0 1 6 / j . e n v p o l . 2 0 1 3 . 0 2 . 0 2 0 ;   V a n o s   J K ,   2 0 1 5 ,   E N V I R O N   I N T ,   V 7 6 ,   P 1 ,   D O I   1 0 . 1 0 1 6 / j . e n v i n t . 2 0 1 4 . 1 1 . 0 1 6 ;   W a k e f i e l d   S E L ,   2 0 0 1 ,   H E A L T H   P L A C E ,   V 7 ,   P 1 6 3 ,   D O I   1 0 . 1 0 1 6 / S 1 3 5 3 - 8 2 9 2 ( 0 1 ) 0 0 0 0 6 - 5 ;   W e i c h e n t h a l   S ,   2 0 1 1 ,   E N V I R O N   H E A L T H   P E R S P ,   V 1 1 9 ,   P 1 3 7 3 ,   D O I   1 0 . 1 2 8 9 / e h p . 1 0 0 3 3 2 1 ;   W e s t e r d a h l   D ,   2 0 0 5 ,   A T M O S   E N V I R O N ,   V 3 9 ,   P 3 5 9 7 ,   D O I   1 0 . 1 0 1 6 / j . a t m o s e n v . 2 0 0 5 . 0 2 . 0 3 4 ;   W h e e l e r   B W ,   2 0 0 5 ,   J   E P I D E M I O L   C O M M U N   H ,   V 5 9 ,   P 9 4 8 ,   D O I   1 0 . 1 1 3 6 / j e c h . 2 0 0 5 . 0 3 6 4 1 8 ;   W h i t e   R . M . ,   2 0 1 2 ,   A I R   W A S T E   M A N A G E M E N T ,   P 3 6 ;   W i l l i a m s   R . ,   2 0 1 5 ,   E P A 6 0 0 R 1 5 1 1 9 ;   W i l l i a m s   R . ,   2 0 1 4 ,   E P A 6 0 0 R 1 4 1 5 9 ;   W i l l i a m s   R . ,   2 0 1 4 ,   E P A 6 0 0 R 1 4 1 4 3 ;   W u   C F ,   2 0 1 0 ,   A M   J   E P I D E M I O L ,   V 1 7 1 ,   P 1 2 9 9 ,   D O I   1 0 . 1 0 9 3 / a j e / k w q 0 6 0 ;   Z a r t a r i a n   V .   G . ,   2 0 0 7 ,   E X P O S U R E   A N A L ,   P 3 3 ;   Z h u   Y F ,   2 0 0 2 ,   J   A I R   W A S T E   M A N A G E ,   V 5 2 ,   P 1 0 3 2 	 6 9 	 0 	 0 	 2 3 	 2 3 	 E L S E V I E R   S C I   L T D 	 O X F O R D 	 T H E   B O U L E V A R D ,   L A N G F O R D   L A N E ,   K I D L I N G T O N ,   O X F O R D   O X 5   1 G B ,   O X O N ,   E N G L A N D 	 0 2 6 9 - 7 4 9 1 	 1 8 7 3 - 6 4 2 4 	 	 E N V I R O N   P O L L U T 	 E n v i r o n .   P o l l u t . 	 A P R 	 2 0 1 7 	 2 2 3 	 	 	 	 	 	 1 0 2 	 1 1 0 	 	 1 0 . 1 0 1 6 / j . e n v p o l . 2 0 1 6 . 1 2 . 0 4 5 	 	 9 	 E n v i r o n m e n t a l   S c i e n c e s 	 E n v i r o n m e n t a l   S c i e n c e s   &   E c o l o g y 	 E P 4 O J 	 W O S : 0 0 0 3 9 7 3 5 9 5 0 0 0 1 1 	 2 8 1 6 2 8 0 1 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 S u h ,   C H ;   T a n ,   V Y F ;   Z h a o ,   R B 	 	 	 	 S u h ,   C h a n g h o ;   T a n ,   V i n c e n t   Y .   F . ;   Z h a o ,   R e n b o 	 	 	 A d v e r s a r i a l   T o p - K   R a n k i n g 	 I E E E   T R A N S A C T I O N S   O N   I N F O R M A T I O N   T H E O R Y 	 	 	 E n g l i s h 	 A r t i c l e ;   P r o c e e d i n g s   P a p e r 	 I n f o r m a t i o n   T h e o r y   a n d   A p p l i c a t i o n s   W o r k s h o p 	 J A N   3 1 - F E B   0 5 ,   2 0 1 6 	 L a   J o l l a ,   C A 	 	 	 A d v e r s a r i a l   p o p u l a t i o n ;   B r a d l e y - T e r r y - L u c e   m o d e l ;   c r o w d s o u r c i n g ;   m i n i m a x   o p t i m a l i t y ;   s a m p l e   c o m p l e x i t y ;   t o p - K   r a n k i n g ;   t e n s o r   d e c o m p o s i t i o n s 	 L A T E N T   V A R I A B L E   M O D E L S 	 W e   s t u d y   t h e   t o p - K   r a n k i n g   p r o b l e m   w h e r e   t h e   g o a l   i s   t o   r e c o v e r   t h e   s e t   o f   t o p - K   r a n k e d   i t e m s   o u t   o f   a   l a r g e   c o l l e c t i o n   o f   i t e m s   b a s e d   o n   p a r t i a l l y   r e v e a l e d   p r e f e r e n c e s .   W e   c o n s i d e r   a n   a d v e r s a r i a l   c r o w d s o u r c e d   s e t t i n g   w h e r e   t h e r e   a r e   t w o   p o p u l a t i o n   s e t s ,   a n d   p a i r w i s e   c o m p a r i s o n   s a m p l e s   d r a w n   f r o m   o n e   o f   t h e   p o p u l a t i o n s   f o l l o w   t h e   s t a n d a r d   B r a d l e y - T e r r y - L u c e   m o d e l   ( i . e . ,   t h e   c h a n c e   o f   i t e m   i   b e a t i n g   i t e m   j   i s   p r o p o r t i o n a l   t o   t h e   r e l a t i v e   s c o r e   o f   i t e m   i   t o   i t e m   j ) ,   w h i l e   i n   t h e   o t h e r   p o p u l a t i o n ,   t h e   c o r r e s p o n d i n g   c h a n c e   i s   i n v e r s e l y   p r o p o r t i o n a l   t o   t h e   r e l a t i v e   s c o r e .   W h e n   t h e   r e l a t i v e   s i z e   o f   t h e   t w o   p o p u l a t i o n s   i s   k n o w n ,   w e   c h a r a c t e r i z e   t h e   m i n i m a x   l i m i t   o n   t h e   s a m p l e   s i z e   r e q u i r e d   ( u p   t o   a   c o n s t a n t )   f o r   r e l i a b l y   i d e n t i f y i n g   t h e   t o p - K   i t e m s ,   a n d   d e m o n s t r a t e   h o w   i t   s c a l e s   w i t h   t h e   r e l a t i v e   s i z e .   M o r e o v e r ,   b y   l e v e r a g i n g   a   t e n s o r   d e c o m p o s i t i o n   m e t h o d   f o r   d i s a m b i g u a t i n g   m i x t u r e   d i s t r i b u t i o n s ,   w e   e x t e n d   o u r   r e s u l t   t o   t h e   m o r e   r e a l i s t i c   s c e n a r i o ,   i n   w h i c h   t h e   r e l a t i v e   p o p u l a t i o n   s i z e   i s   u n k n o w n ,   t h u s   e s t a b l i s h i n g   a n   u p p e r   b o u n d   o n   t h e   f u n d a m e n t a l   l i m i t   o f   t h e   s a m p l e   s i z e   f o r   r e c o v e r i n g   t h e   t o p - K   s e t . 	 [ S u h ,   C h a n g h o ]   K o r e a   A d v   I n s t   S c i   &   T e c h n o l ,   S c h   E l e c t   E n g n ,   T a e j o n   3 0 5 7 0 1 ,   S o u t h   K o r e a ;   [ T a n ,   V i n c e n t   Y .   F . ;   Z h a o ,   R e n b o ]   N a t l   U n i v   S i n g a p o r e ,   D e p t   E l e c t   &   C o m p   E n g n ,   S i n g a p o r e   1 1 7 5 8 3 ,   S i n g a p o r e ;   [ T a n ,   V i n c e n t   Y .   F . ;   Z h a o ,   R e n b o ]   N U S ,   D e p t   M a t h ,   S i n g a p o r e   1 1 9 0 7 6 ,   S i n g a p o r e ;   [ Z h a o ,   R e n b o ]   N U S ,   D e p t   I n d   &   S y s t   E n g n ,   S i n g a p o r e   1 1 7 5 7 6 ,   S i n g a p o r e 	 S u h ,   C H   ( r e p r i n t   a u t h o r ) ,   K o r e a   A d v   I n s t   S c i   &   T e c h n o l ,   S c h   E l e c t   E n g n ,   T a e j o n   3 0 5 7 0 1 ,   S o u t h   K o r e a . 	 c h s u h @ k a i s t . a c . k r ;   v t a n @ n u s . e d u . s g ;   e l e z r e n @ n u s . e d u . s g 	 	 T a n ,   V i n c e n t / 0 0 0 0 - 0 0 0 2 - 5 0 0 8 - 4 5 2 7 	 N a t i o n a l   R e s e a r c h   F o u n d a t i o n   o f   K o r e a   w i t h i n   M S I P   t h r o u g h   t h e   K o r e a n   G o v e r n m e n t   [ 2 0 1 5 R 1 C 1 A 1 A 0 2 0 3 6 5 6 1 ] ;   N a t i o n a l   U n i v e r s i t y   o f   S i n g a p o r e   ( N U S )   t h r o u g h   t h e   N U S   Y o u n g   I n v e s t i g a t o r   A w a r d   [ R - 2 6 3 - 0 0 0 - B 3 7 - 1 3 3 ] ;   M o E   A c R F   T i e r   1   G r a n t   [ R - 2 6 3 - 0 0 0 - C 1 2 - 1 1 2 ] 	 M a n u s c r i p t   r e c e i v e d   F e b r u a r y   1 5 ,   2 0 1 6 ;   r e v i s e d   O c t o b e r   1 1 ,   2 0 1 6 ;   a c c e p t e d   J a n u a r y   2 3 ,   2 0 1 7 .   D a t e   o f   p u b l i c a t i o n   J a n u a r y   2 6 ,   2 0 1 7 ;   d a t e   o f   c u r r e n t   v e r s i o n   M a r c h   1 5 ,   2 0 1 7 .   C .   S u h   w a s   s u p p o r t e d   b y   t h e   N a t i o n a l   R e s e a r c h   F o u n d a t i o n   o f   K o r e a   w i t h i n   M S I P   t h r o u g h   t h e   K o r e a n   G o v e r n m e n t   u n d e r   G r a n t   2 0 1 5 R 1 C 1 A 1 A 0 2 0 3 6 5 6 1 .   V .   Y .   F .   T a n   a n d   R .   Z h a o   w e r e   s u p p o r t e d   i n   p a r t   b y   t h e   N a t i o n a l   U n i v e r s i t y   o f   S i n g a p o r e   ( N U S )   t h r o u g h   t h e   N U S   Y o u n g   I n v e s t i g a t o r   A w a r d   u n d e r   A w a r d   R - 2 6 3 - 0 0 0 - B 3 7 - 1 3 3   a n d   i n   p a r t   b y   M o E   A c R F   T i e r   1   G r a n t   u n d e r   G r a n t   R - 2 6 3 - 0 0 0 - C 1 2 - 1 1 2 .   T h i s   p a p e r   w a s   p r e s e n t e d   a t   t h e   2 0 1 6   I n f o r m a t i o n   T h e o r y   a n d   A p p l i c a t i o n s   W o r k s h o p . 	 A m m a r   A . ,   2 0 1 1 ,   P   A L L   C   S E P ,   P 7 7 6 ;   A n a n d k u m a r   A ,   2 0 1 4 ,   J   M A C H   L E A R N   R E S ,   V 1 5 ,   P 2 7 7 3 ;   B a l t r u n a s   L . ,   2 0 1 0 ,   P   4   A C M   C   R E C   S Y S T ,   P 1 1 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 8 6 4 7 0 8 . 1 8 6 4 7 3 3 ;   B e i r a m i   A ,   2 0 1 1 ,   2 0 1 1   I E E E   I N T E R N A T I O N A L   S Y M P O S I U M   O N   I N F O R M A T I O N   T H E O R Y   P R O C E E D I N G S   ( I S I T ) ,   P 1 5 0 4 ,   D O I   1 0 . 1 1 0 9 / I S I T . 2 0 1 1 . 6 0 3 3 7 9 3 ;   B o r d a   J . - C .   d . ,   1 7 8 1 ,   H I S T   A C A D   R O Y A L E   S C I ;   B R A D L E Y   R A ,   1 9 5 2 ,   B I O M E T R I K A ,   V 3 9 ,   P 3 2 4 ,   D O I   1 0 . 1 0 9 3 / b i o m e t / 3 9 . 3 - 4 . 3 2 4 ;   B r i n   S . ,   1 9 9 8 ,   P   7   I N T   C   W O R L D   W I D ,   P 1 0 7 ,   D O I   D O I   1 0 . 1 0 1 6 / S 0 1 6 9 - 7 5 5 2 ( 9 8 ) 0 0 1 1 0 - X ;   B r o d e r   A . ,   2 0 0 2 ,   S I G I R   F o r u m ,   V 3 6 ,   P 3 ,   D O I   1 0 . 1 1 4 5 / 7 9 2 5 5 0 . 7 9 2 5 5 2 ;   C a s t i l l o   C a r l o s ,   2 0 1 1 ,   F o u n d a t i o n s   a n d   T r e n d s   i n   I n f o r m a t i o n   R e t r i e v a l ,   V 4 ,   P 3 7 7 ,   D O I   1 0 . 1 5 6 1 / 1 5 0 0 0 0 0 0 2 1 ;   C h e n   X F ,   2 0 1 3 ,   K E Y   E N G   M A T E R ,   V 5 3 8 ,   P 1 9 3 ,   D O I   1 0 . 4 0 2 8 / w w w . s c i e n t i f i c . n e t / K E M . 5 3 8 . 1 9 3 ;   C h e n   Y . ,   2 0 1 5 ,   P   I N T   C   M A C H   L E A R N ,   P 3 7 1 ;   C i c h o c k i   A . ,   2 0 1 3 ,   P   2   I N T   C   E N G   C O M P   S ;   C L A R K E   B S ,   1 9 9 0 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 3 6 ,   P 4 5 3 ,   D O I   1 0 . 1 1 0 9 / 1 8 . 5 4 8 9 7 ;   C s i s z a r   I ,   2 0 0 6 ,   I E E E   T   I N F O R M   T H E O R Y ,   V 5 2 ,   P 1 0 0 7 ,   D O I   1 0 . 1 1 0 9 / T I T . 2 0 0 5 . 8 6 4 4 3 1 ;   D E M P S T E R   A P ,   1 9 7 7 ,   J   R O Y   S T A T   S O C   B   M E T ,   V 3 9 ,   P 1 ;   D w o r k   C . ,   2 0 0 1 ,   P   1 0   I N T   C   W O R L D   W I D ,   P 6 1 3 ,   D O I   D O I   1 0 . 1 1 4 5 / 3 7 1 9 2 0 . 3 7 2 1 6 5 ;   F e l d m a n   J ,   2 0 0 8 ,   S I A M   J   C O M P U T ,   V 3 7 ,   P 1 5 3 6 ,   D O I   1 0 . 1 1 3 7 / 0 6 0 6 7 0 7 0 5 ;   F o r d   L .   R . ,   1 9 5 7 ,   A M   M A T H   M O N T H L Y ,   V 6 4 ,   P 2 8 ,   D O I   D O I   1 0 . 2 3 0 7 / 2 3 0 8 5 1 3 ;   F r e u n d   Y . ,   1 9 9 9 ,   P r o c e e d i n g s   o f   t h e   T w e l f t h   A n n u a l   C o n f e r e n c e   o n   C o m p u t a t i o n a l   L e a r n i n g   T h e o r y ,   P 5 3 ,   D O I   1 0 . 1 1 4 5 / 3 0 7 4 0 0 . 3 0 7 4 1 2 ;   G e   R . ,   2 0 1 5 ,   P   2 8   C   L E A R N   T H E O R ,   P 7 9 7 ;   H a j e k   B . ,   2 0 1 4 ,   P   A D V   N E U R   I N F   P R O C ,   P 1 4 7 5 ;   H u a n g   F R ,   2 0 1 5 ,   J   M A C H   L E A R N   R E S ,   V 1 6 ,   P 2 7 9 7 ;   H u a n g   T K ,   2 0 0 8 ,   J   M A C H   L E A R N   R E S ,   V 9 ,   P 2 1 8 7 ;   J a i n   P . ,   2 0 1 4 ,   P   C   L E A R N   T H E O R   C O L T ,   P 8 2 4 ;   K e a r n s   M . ,   1 9 9 4 ,   P r o c e e d i n g s   o f   t h e   T w e n t y - S i x t h   A n n u a l   A C M   S y m p o s i u m   o n   t h e   T h e o r y   o f   C o m p u t i n g ,   P 2 7 3 ,   D O I   1 0 . 1 1 4 5 / 1 9 5 0 5 8 . 1 9 5 1 5 5 ;   K i m   Y ,   2 0 1 4 ,   I E E E   D A T A   M I N I N G ,   P 8 6 9 ,   D O I   1 0 . 1 1 0 9 / I C D M . 2 0 1 4 . 7 7 ;   L u c e   R .   D . ,   1 9 5 9 ,   I N D I V I D U A L   C H O I C E   B E ;   M a y s t r e   L . ,   2 0 1 5 ,   P   I N T   C   N E U R   I N F   P R O ,   P 1 7 2 ;   M o r d u k h o v i c h   B .   S . ,   2 0 0 6 ,   B A S I C   T H E O R Y ;   N e g a h b a n   S . ,   2 0 1 5 ,   R A N K   C E N T R A L I T Y   R A N K ;   P l a c k e t t   R . ,   1 9 7 5 ,   R O Y   S T A T   S O C   C - A P P ,   V 2 4 ,   P 1 9 3 ;   S h a h   N .   B . ,   2 0 1 5 ,   S I M P L E   R O B U S T   O P T I M A ;   S o u f i a n i   H .   A . ,   2 0 1 4 ,   P   3 1   I N T   C   M A C H   L E A R ,   P 3 6 0 ;   T a n   V Y F ,   2 0 1 4 ,   I E E E   S I G N A L   P R O C   L E T ,   V 2 1 ,   P 2 6 0 ,   D O I   1 0 . 1 1 0 9 / L S P . 2 0 1 4 . 2 2 9 8 4 9 9 ;   T r o p p   J A ,   2 0 1 2 ,   F O U N D   C O M P U T   M A T H ,   V 1 2 ,   P 3 8 9 ,   D O I   1 0 . 1 0 0 7 / s 1 0 2 0 8 - 0 1 1 - 9 0 9 9 - z ;   W e n g   R C ,   2 0 1 1 ,   J   M A C H   L E A R N   R E S ,   V 1 2 ,   P 2 6 7 ;   Y e   P . ,   2 0 1 3 ,   P   I N T   C   M A C H   L E A R N ,   P 1 ;   Y e u n g   R .   W . ,   2 0 0 8 ,   I N F O R M   T H E O R Y   N E T W O R ;   Y i   J . ,   2 0 1 3 ,   P   1   A A A I   C   H U M   C O M P ,   P 2 0 7 ;   [ A n o n y m o u s ] ,   1 9 9 1 ,   E C O N O M E T R I C A ,   V 5 9 ,   P 1 	 4 0 	 0 	 0 	 1 	 1 	 I E E E - I N S T   E L E C T R I C A L   E L E C T R O N I C S   E N G I N E E R S   I N C 	 P I S C A T A W A Y 	 4 4 5   H O E S   L A N E ,   P I S C A T A W A Y ,   N J   0 8 8 5 5 - 4 1 4 1   U S A 	 0 0 1 8 - 9 4 4 8 	 1 5 5 7 - 9 6 5 4 	 	 I E E E   T   I N F O R M   T H E O R Y 	 I E E E   T r a n s .   I n f .   T h e o r y 	 A P R 	 2 0 1 7 	 6 3 	 4 	 	 	 	 	 2 2 0 1 	 2 2 2 5 	 	 1 0 . 1 1 0 9 / T I T . 2 0 1 7 . 2 6 5 9 6 6 0 	 	 2 5 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   E n g i n e e r i n g ,   E l e c t r i c a l   &   E l e c t r o n i c 	 C o m p u t e r   S c i e n c e ;   E n g i n e e r i n g 	 E R 2 A E 	 W O S : 0 0 0 3 9 8 5 9 5 5 0 0 0 2 1 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 B u j a r i ,   A ;   C i m a n ,   M ;   G a g g i ,   O ;   P a l a z z i ,   C E 	 	 	 	 B u j a r i ,   A r m i r ;   C i m a n ,   M a t t e o ;   G a g g i ,   O m b r e t t a ;   P a l a z z i ,   C l a u d i o   E . 	 	 	 U s i n g   g a m i f i c a t i o n   t o   d i s c o v e r   c u l t u r a l   h e r i t a g e   l o c a t i o n s   f r o m   g e o - t a g g e d   p h o t o s 	 P E R S O N A L   A N D   U B I Q U I T O U S   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 C u l t u r a l   h e r i t a g e ;   G a m i f i c a t i o n ;   G e o l o c a l i z a t i o n ;   K n o w l e d g e   d i s c o v e r y 	 	 M a n y   e n c h a n t i n g   c u l t u r a l   h e r i t a g e   l o c a t i o n s   a r e   h i d d e n   f r o m   t o u r i s t s ,   e s p e c i a l l y   w h e n   c o n s i d e r i n g   c o u n t r i e s   f u l l   o f   h i s t o r i c   a t t r a c t i o n s .   T o u r i s t s   t e n d   t o   c o n s i d e r   o n l y   m a i n s t r e a m   m o n u m e n t s   a n d   t o w n s ,   n e g l e c t i n g   w o n d e r f u l   l i t t l e   j e w e l s   a l o n g   t h e i r   t r a v e l   i t i n e r a r y .   H o w e v e r ,   t h i s   i s   g e n e r a l l y   n o t   t h e i r   f a u l t ,   a s   t r a v e l e r s   c a n n o t   b e   a w a r e   o f   a l l   t h e   s u r r o u n d i n g   b e a u t i e s   w h e n   v i s i t i n g   a   n e w   r e g i o n .   T o   t h i s   a i m ,   w e   d i s c u s s   a n d   a n a l y z e   h e r e   P h o t o T r i p ,   a n   i n t e r a c t i v e   t o o l   a b l e   t o   a u t o n o m o u s l y   r e c o m m e n d   c h a r m i n g ,   e v e n   i f   n o t   m a i n s t r e a m ,   c u l t u r a l   h e r i t a g e   l o c a t i o n s   a l o n g   t r a v e l   i t i n e r a r i e s .   P h o t o T r i p   i s   a b l e   t o   i d e n t i f y   t h e s e   p o i n t s   o f   i n t e r e s t   b y   g a t h e r i n g   p i c t u r e s   a n d   r e l a t e d   i n f o r m a t i o n   f r o m   F l i c k r   a n d   W i k i p e d i a   a n d   t h e n   p r o v i d e   t h e   u s e r   w i t h   s u g g e s t i o n s   a n d   r e c o m m e n d a t i o n s .   A n   i m p o r t a n t   t e c h n i c a l   c h a l l e n g e   f o r   t h i s   k i n d   o f   s e r v i c e s   i s   t h e   a b i l i t y   t o   p r o v i d e   o n l y   t h e   m o s t   r e l e v a n t   p i c t u r e s   a m o n g   t h e   m a n y   a v a i l a b l e   f o r   a n y   c o n s i d e r e d   i t i n e r a r y .   T o   t h i s   a i m ,   w e   h a v e   e x p l o i t e d   s o c i a l   n e t w o r k s ,   c r o w d s o u r c i n g   a n d   g a m i f i c a t i o n   t o   i n v o l v e   u s e r s   i n   t h e   p r o c e s s   o f   i m p r o v i n g   t h e   r e s p o n s e   q u a l i t y   o f   o u r   s y s t e m . 	 [ B u j a r i ,   A r m i r ;   G a g g i ,   O m b r e t t a ;   P a l a z z i ,   C l a u d i o   E . ]   U n i v   P a d u a ,   D e p t   M a t h ,   P a d u a ,   I t a l y ;   [ C i m a n ,   M a t t e o ]   U n i v   G e n e v a ,   Q u a l   L i f e   G r p ,   G e n e v a ,   S w i t z e r l a n d 	 G a g g i ,   O   ( r e p r i n t   a u t h o r ) ,   U n i v   P a d u a ,   D e p t   M a t h ,   P a d u a ,   I t a l y . 	 a b u j a r i @ m a t h . u n i p d . i t ;   M a t t e o . C i m a n @ u n i g e . c h ;   g a g g i @ m a t h . u n i p d . i t ;   c p a l a z z i @ m a t h . u n i p d . i t 	 	 	 U n i v e r s i t   d e g l i   S t u d i   d i   P a d o v a   [ P R A T   C P D A 1 3 7 3 1 4 ,   P R A T   C P D A 1 5 1 2 2 1 ] 	 T h e   a u t h o r s   w o u l d   l i k e   t o   t h a n k   M i c h e l e   T o r r e s i n   a n d   D a r i o   D e   G i o v a n n i   f o r   t h e i r   t e c h n i c a l   h e l p   d u r i n g   t h e   d e v e l o p m e n t   o f   t h e   s y s t e m   a n d   t h o s e   w h o   t o o k   p a r t   t o   t h e   u s e r   t e s t s .   T h i s   w o r k   h a s   b e e n   p a r t i a l l y   f u n d e d   b y   t h e   U n i v e r s i t   d e g l i   S t u d i   d i   P a d o v a ,   t h r o u g h   t h e   P r o j e c t s   P R A T   C P D A 1 3 7 3 1 4   a n d   P R A T   C P D A 1 5 1 2 2 1 . 	 A i o l l i   F . ,   2 0 1 4 ,   P   1 1   I N T   C   M O B   U B   S Y ,   P 2 1 8 ;   A m a t o   F ,   2 0 1 3 ,   I E E E   T   S Y S T   M A N   C Y B ,   V 2 1 ,   P 1 1 4 ;   A r a s e   Y ,   2 0 1 0 ,   P   I N T   C   M U L T   M M   1 0 ,   P 1 3 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 7 3 9 5 1 . 1 8 7 3 9 7 1 ;   B e l l o t t i   F ,   2 0 1 3 ,   A C M   J   C O M P U T   C U L T   H E ,   V 1 7 ,   P 2 7 ;   B o y l e   E A ,   2 0 1 2 ,   C O M P U T   H U M   B E H A V ,   V 2 8 ,   P 7 7 1 ,   D O I   1 0 . 1 0 1 6 / j . c h b . 2 0 1 1 . 1 1 . 0 2 0 ;   C h i a n e s e   A n g e l o ,   2 0 1 3 ,   P   I N T   C   S I G N   I M   T E C H ,   P 4 0 8 ;   C h i a n e s e   A ,   2 0 1 7 ,   F U T U R E   G E N E R   C O M P   S Y ,   V 6 6 ,   P 1 8 7 ,   D O I   1 0 . 1 0 1 6 / j . f u t u r e . 2 0 1 6 . 0 4 . 0 1 5 ;   C h i a n e s e   A ,   2 0 1 5 ,   S M A R T   I N N O V   S Y S T   T E C ,   V 4 0 ,   P 1 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 1 9 8 3 0 - 9 _ 2 ;   C h i a n e s e   A ,   2 0 1 4 ,   2 0 1 4   E I G H T H   I N T E R N A T I O N A L   C O N F E R E N C E   O N   N E X T   G E N E R A T I O N   M O B I L E   A P P S ,   S E R V I C E S   A N D   T E C H N O L O G I E S   ( N G M A S T ) ,   P 3 0 0 ,   D O I   1 0 . 1 1 0 9 / N G M A S T . 2 0 1 4 . 2 1 ;   C o e n e n   T ,   2 0 1 3 ,   A C M   J   C O M P U T   C U L T   H E ,   V 6 ;   C r a n d a l l   D .   J . ,   2 0 0 9 ,   P   1 8   I N T   C   W O R L D   W I D ,   P 7 6 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 5 2 6 7 0 9 . 1 5 2 6 8 1 2 ;   D e   C h o u d h u r y   M . ,   2 0 1 0 ,   P   2 1   A C M   C   H Y P   H Y P ,   P 3 5 ,   D O I   1 0 . 1 1 4 5 / 1 8 1 0 6 1 7 . 1 8 1 0 6 2 6 ;   D e p o n t i   D ,   2 0 0 9 ,   P   2 0 0 9   I N T   C   U L T R   T E ;   D e t e r d i n g   S . ,   2 0 1 1 ,   P   1 5   I N T   A C   M I N D T R E K ,   P 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 2 1 8 1 0 3 7 . 2 1 8 1 0 4 0 ;   D e t e r d i n g   S . ,   2 0 1 1 ,   C H I   E A ,   P 2 4 2 5 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 7 9 7 4 2 . 1 9 7 9 5 7 5 ;   F r o s c h a u e r   J ,   2 0 1 3 ,   A C M   J   C O M P U T   C U L T   H E ,   V 7 ,   P 1 5 ;   F u r i n i   M ,   2 0 1 6 ,   E N T E R T A I N   C O M P U T ,   V 1 4 ,   P 2 3 ,   D O I   1 0 . 1 0 1 6 / j . e n t c o m . 2 0 1 5 . 0 8 . 0 0 2 ;   G a g g i   O ,   2 0 1 3 ,   P   A N N   A C M   S   A P P L   C O M ,   P 7 3 0 ;   G a g g i   O ,   2 0 1 6 ,   M U L T I M E D   T O O L S   A P P L ,   V 7 5 ,   P 3 4 5 3 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 4 - 2 4 4 4 - x ;   H i r o t a   M ,   2 0 1 5 ,   P   1 5   J O U R N   F R A N C   E X T ,   P 1 6 7 ;   H s i e h   H P ,   2 0 1 2 ,   P   I N T   C   W O R L D   W I D   W E ,   P 5 2 9 ;   K i m   H ,   2 0 1 5 ,   L E C T   N O T E S   C O M P U T   S C ,   V 9 1 9 2 ,   P 5 6 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 3 1 9 - 2 0 6 0 9 - 7 _ 5 3 ;   K o f l e r   C ,   2 0 1 1 ,   P   3   A C M   S I G M M   I N T   W O ,   P 4 7 ;   K u r a s h i m a   T ,   2 0 1 0 ,   P   1 9   A C M   I N T   C   I N F   K ,   P 5 7 9 ,   D O I   1 0 . 1 1 4 5 / 1 8 7 1 4 3 7 . 1 8 7 1 5 1 3 ;   L a   G u a r d i a   D ,   2 0 1 2 ,   P   2   I N T   C   F U T   E D ,   P 5 0 8 ;   L u   X . ,   2 0 1 0 ,   P   I N T   C   M U L T ,   P 1 4 3 ,   D O I   [ 1 0 . 1 1 4 5 / 1 8 7 3 9 5 1 . 1 8 7 3 9 7 2 ,   D O I   1 0 . 1 1 4 5 / 1 8 7 3 9 5 1 . 1 8 7 3 9 7 2 ] ;   M a r f i a   G ,   2 0 1 2 ,   P   9   I N T   C   A D V   C O M P   E ,   P 4 3 7 ;   M e k l e r   E D ,   2 0 1 3 ,   P   C H I   1 3   E X T   A B S T R   H ,   P 1 1 3 7 ;   M i c h a e l   D .   R . ,   2 0 0 5 ,   S E R I O U S   G A M E S   G A M E S ;   M i r r i   S ,   2 0 1 4 ,   P   I E E E   C O M M   N E T W   C   C ,   P 4 0 2 ;   M i r r i   S ,   2 0 1 6 ,   P   2 0 1 6   I N T   C   C O M P   N E ,   P 1 ;   M i r r i   S ,   2 0 1 6 ,   2 0 1 6   I E E E   S Y M P O S I U M   O N   C O M P U T E R S   A N D   C O M M U N I C A T I O N   ( I S C C ) ,   P 6 ,   D O I   1 0 . 1 1 0 9 / I S C C . 2 0 1 6 . 7 5 4 3 7 0 5 ;   P a l a z z i   C E ,   2 0 1 0 ,   A C M   C O M P U T   E N T E R T A I N ,   V 8 ,   P 1 ,   D O I   1 0 . 1 1 4 5 / 1 9 2 1 1 4 1 . 1 9 2 1 1 4 3 ;   P o p e s c u   A ,   2 0 1 1 ,   P   I N T   C   C O M P   G E O S P   R ;   P r a n d i   C ,   2 0 1 5 ,   P   I E E E   I N T   C   P E R V   C O ,   P 1 2 6 1 ;   R a t a n   R ,   2 0 0 9 ,   S E R I O U S   G A M E S   M E C H   E ,   P 1 0 ;   R e g o   P . ,   2 0 1 0 ,   P   5   I B   C   I N F   S Y S T   T E ,   P 1 ;   R o c c e t t i   M . ,   2 0 1 1 ,   A C M   C O M P U T   E N T E R T A I N ,   V 9 ,   P 1 ;   R o c c e t t i   M ,   2 0 1 4 ,   M U L T I M E D   T O O L S   A P P L ,   V 6 9 ,   P 1 1 3 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 3 - 1 5 1 2 - y ;   R o s n e r   D ,   2 0 1 4 ,   C O M M U N   A C M ,   V 5 7 ,   P 8 2 ,   D O I   1 0 . 1 1 4 5 / 2 6 0 2 6 9 5 . 2 6 0 2 7 0 1 ;   S h e n   J ,   2 0 1 6 ,   I E E E   T   S Y S T   M A N   C Y B ,   V 9 9 ,   P 1 ;   S i m o e s   B ,   2 0 1 6 ,   I N T E L L I G E N T   I N T E R A C T ,   V 5 5 ,   P 5 0 3 ;   S l i n e y   A ,   2 0 0 8 ,   P   I N T   C   A D V   C O M P   H U M ,   P 1 3 1 ;   U e y a m a   Y ,   2 0 1 4 ,   I N T   C O N F   P E R V A S   C O M P ,   P 9 8 ,   D O I   1 0 . 1 1 0 9 / P e r C o m W . 2 0 1 4 . 6 8 1 5 1 7 2 ;   Y a m a s a k i   T ,   2 0 1 3 ,   P   A C M   I N T   W O R K S H   G E O ,   P 2 5 ;   Z h e n g   Y T ,   2 0 1 3 ,   A C M   T   M U L T I M   C O M P U T ,   V 9 	 4 6 	 0 	 0 	 3 	 3 	 S P R I N G E R   L O N D O N   L T D 	 L O N D O N 	 2 3 6   G R A Y S   I N N   R D ,   6 T H   F L O O R ,   L O N D O N   W C 1 X   8 H L ,   E N G L A N D 	 1 6 1 7 - 4 9 0 9 	 1 6 1 7 - 4 9 1 7 	 	 P E R S   U B I Q U I T   C O M P U T 	 P e r s .   U b i q u i t o u s   C o m p u t . 	 A P R 	 2 0 1 7 	 2 1 	 2 	 	 	 S I 	 	 2 3 5 	 2 5 2 	 	 1 0 . 1 0 0 7 / s 0 0 7 7 9 - 0 1 6 - 0 9 8 9 - 6 	 	 1 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 E Q 2 A W 	 W O S : 0 0 0 3 9 7 8 7 1 7 0 0 0 0 5 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 J 	 R a a d ,   E ;   C h b e i r ,   R ;   D i p a n d a ,   A ;   R a a d ,   E J 	 	 	 	 R a a d ,   E l i e ;   C h b e i r ,   R i c h a r d ;   D i p a n d a ,   A l b e r t ;   R a a d ,   E l i a n a   J . 	 	 	 A u t o m a t i c   r u l e   g e n e r a t i o n   u s i n g   c r o w d s o u r c i n g   f o r   b e t t e r   r e l a t i o n s h i p   t y p e   d i s c o v e r y 	 P E R V A S I V E   A N D   M O B I L E   C O M P U T I N G 	 	 	 E n g l i s h 	 A r t i c l e 	 	 	 	 	 	 R e l a t i o n s h i p   d i s c o v e r y ;   C r o w d s o u r c i n g ;   K n o w l e d g e   a c q u i s i t i o n ;   R u l e   e x t r a c t i o n ;   L i n k   m i n i n g ;   S o c i a l   n e t w o r k s 	 S O C I A L   N E T W O R K ;   E X T R A C T I O N ;   P R I V A C Y ;   P H O T O S ;   W E B 	 W i t h   t h e   i n c r e a s i n g   p o p u l a r i t y   o f   i n f o r m a t i o n   s h a r i n g   a n d   t h e   g r o w i n g   n u m b e r   o f   s o c i a l   n e t w o r k   u s e r s ,   r e l a t i o n s h i p   m a n a g e m e n t   i s   o n e   o f   t h e   k e y   c h a l l e n g e s   w h i c h   a r i s e   i n   t h e   c o n t e x t   o f   s o c i a l   n e t w o r k s .   O n e   p a r t i c u l a r   r e l a t i o n s h i p   m a n a g e m e n t   t a s k   a i m s   a t   i d e n t i f y i n g   r e l a t i o n s h i p   t y p e s   t h a t   a r e   r e l e v a n t   b e t w e e n   s o c i a l   n e t w o r k   u s e r s   a n d   t h e i r   c o n t a c t s .   M a n u a l l y   i d e n t i f y i n g   r e l a t i o n s h i p   t y p e s   i s   o n e   p o s s i b l e   s o l u t i o n ,   h o w e v e r   i t   i s   a   t i m e - c o n s u m i n g   a n d   t e d i o u s   t a s k   t h a t   r e q u i r e s   c o n s t a n t   m a i n t e n a n c e .   I n   t h i s   p a p e r ,   w e   p r e s e n t   a   r u l e - b a s e d   a p p r o a c h   t h a t   s e t s   t h e   f o c u s   o n   p u b l i s h e d   p h o t o s   a s   a   v a l u a b l e   s o u r c e   t o   i d e n t i f y   r e l a t i o n s h i p   t y p e s .   O u r   a p p r o a c h   a u t o m a t i c a l l y   g e n e r a t e s   r e l e v a n t   r e l a t i o n s h i p   d i s c o v e r y   r u l e s   b a s e d   o n   a   c r o w d s o u r c i n g   m e t h o d o l o g y   t h a t   c o n s t r u c t s   u s e f u l   p h o t o   d a t a s e t s .   K n o w l e d g e   i s   f i r s t   r e t r i e v e d   f r o m   t h e s e   d a t a s e t s   a n d   t h e n   u s e d   t o   c r e a t e   r e l a t i o n s h i p   d i s c o v e r y   r u l e s .   T h e   o b t a i n e d   s e t   o f   r u l e s   i s   e x t e n d e d   u s i n g   a   n u m b e r   o f   p r e d e f i n e d   c o m m o n   s e n s e   r u l e s   a n d   t h e n   p e r s o n a l i z e d   u s i n g   a   r u l e   m i n i n g   a l g o r i t h m .   E x p e r i m e n t a l   r e s u l t s   d e m o n s t r a t e   t h e   c o r r e c t n e s s   a n d   t h e   e f f i c i e n c y   o f   t h e   g e n e r a t e d   s e t s   o f   r u l e s   t o   i d e n t i f y   r e l a t i o n s h i p   t y p e s .   ( C )   2 0 1 6   E l s e v i e r   B . V .   A l l   r i g h t s   r e s e r v e d . 	 [ R a a d ,   E l i e ]   M e m   U n i v   N e w f o u n d l a n d ,   F a c   B u s i n e s s ,   S t   J o h n ,   N F   A 1 C   5 S 7 ,   C a n a d a ;   [ C h b e i r ,   R i c h a r d ]   U n i v   P a u ,   L I U P P A   L a b ,   P a u ,   F r a n c e ;   [ D i p a n d a ,   A l b e r t ;   R a a d ,   E l i a n a   J . ]   U n i v   B o u r g o g n e ,   L E 2 I   L a b ,   F - 2 1 0 0 4   D i j o n ,   F r a n c e 	 R a a d ,   E   ( r e p r i n t   a u t h o r ) ,   M e m   U n i v   N e w f o u n d l a n d ,   F a c   B u s i n e s s ,   S t   J o h n ,   N F   A 1 C   5 S 7 ,   C a n a d a . 	 e l i r a a d @ g m a i l . c o m ;   r i c h a r d . c h b e i r @ u n i v - p a u . f r ;   a l b e r t . d i p a n d a @ u - b o u r g o g n e . f r ;   e l i a n a . r a a d @ u - b o u r g o g n e . f r 	 	 	 	 	 A g r a w a l   R . ,   1 9 9 4 ,   P   V L D B ,   V 9 4 ,   P 4 8 7 ;   A l o n s o   O m a r ,   2 0 0 8 ,   S I G I R   F o r u m ,   V 4 2 ,   P 9 ,   D O I   1 0 . 1 1 4 5 / 1 4 8 0 5 0 6 . 1 4 8 0 5 0 8 ;   B a l u j a   S ,   2 0 0 7 ,   I N T   J   C O M P U T   V I S I O N ,   V 7 1 ,   P 1 1 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 2 6 3 - 0 0 6 - 8 9 1 0 - 9 ;   B i l g i c   M . ,   2 0 0 7 ,   P   7   I E E E   I N T   C   D A T   M ,   P 3 8 1 ;   B o j a r s   U . ,   2 0 0 7 ,   L N I ,   V 1 1 3 ,   P 4 7 ;   B r z o z o w s k i   M J ,   2 0 0 8 ,   C H I   2 0 0 8 :   2 6 T H   A N N U A L   C H I   C O N F E R E N C E   O N   H U M A N   F A C T O R S   I N   C O M P U T I N G   S Y S T E M S   V O L S   1   A N D   2 ,   C O N F E R E N C E   P R O C E E D I N G S ,   P 8 1 7 ;   C r a n s h a w   J ,   2 0 1 0 ,   U B I C O M P   2 0 1 0 :   P R O C E E D I N G S   O F   T H E   2 0 1 0   A C M   C O N F E R E N C E   O N   U B I Q U I T O U S   C O M P U T I N G ,   P 1 1 9 ;   F o n g   P W ,   2 0 1 1 ,   P   1   A C M   C   D A T   A P P L   S ,   P 1 9 1 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 9 4 3 5 1 3 . 1 9 4 3 5 3 9 ;   G e t o o r   L ,   2 0 0 3 ,   A C M   S I G K D D   E X P L O R A T I ,   V 5 ,   P 8 4 ,   D O I   D O I   1 0 . 1 1 4 5 / 9 5 9 2 4 2 . 9 5 9 2 5 3 ;   G o l d e r   S . ,   2 0 0 8 ,   P   1 9   A C M   C   H Y P   H Y P ,   P 4 3 ,   D O I   1 0 . 1 1 4 5 / 1 3 7 9 0 9 2 . 1 3 7 9 1 0 4 ;   G r a v e s   M . ,   2 0 0 7 ,   C a t a l o g i n g   &   C l a s s i f i c a t i o n   Q u a r t e r l y ,   V 4 3 ,   P 1 9 1 ,   D O I   1 0 . 1 3 0 0 / J 1 0 4 v 4 3 n 0 3 _ 1 1 ;   H o g g   T a d ,   2 0 0 8 ,   P   A A A I   S   S O C   I N F   P R O ,   P 3 0 ;   H o w e   J ,   2 0 0 6 ,   W I R E D   M A G A Z I N E ,   V 1 4 ,   P 1 ;   H u i s k e s   M . J . ,   2 0 0 8 ,   M I R   0 8 ,   P 3 9 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 4 6 0 0 9 6 . 1 4 6 0 1 0 4 ;   K i m   H N ,   2 0 1 2 ,   E X P E R T   S Y S T   A P P L ,   V 3 9 ,   P 6 9 5 5 ,   D O I   1 0 . 1 0 1 6 / j . e s w a . 2 0 1 2 . 0 1 . 0 2 2 ;   L a n i t i s   A ,   2 0 0 2 ,   I E E E   T   P A T T E R N   A N A L ,   V 2 4 ,   P 4 4 2 ,   D O I   1 0 . 1 1 0 9 / 3 4 . 9 9 3 5 5 3 ;   L i   N . ,   2 0 1 1 ,   P A S S A T   S O C I A L C O M   O C T ,   P 4 4 3 ,   D O I   D O I   1 0 . 1 1 0 9 / P A S S A T / S O C I A L C O M . 1 9 1 ;   L i n   M . - S . ,   2 0 0 8 ,   P   3 0   E U R   C   I N F   R E T R ,   P 7 7 ;   M a t s u o   Y ,   2 0 0 7 ,   J   W E B   S E M A N T ,   V 5 ,   P 2 6 2 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 7 . 0 9 . 0 0 2 ;   M c A u l e y   J . ,   2 0 1 2 ,   A D V   N E U R A L   I N F   P R O C E ,   V 2 5 ,   P 5 4 8 ;   M i k a   P ,   2 0 0 5 ,   J   W E B   S E M A N T ,   V 3 ,   P 2 1 1 ,   D O I   1 0 . 1 0 1 6 / j . w e b s e m . 2 0 0 5 . 0 5 . 0 0 6 ;   O z e n c   F K ,   2 0 1 1 ,   P   C H I   2 0 1 1 ,   P 5 6 1 ;   P a r i m i   R ,   2 0 1 1 ,   L E C T   N O T E S   A R T I F   I N T ,   V 6 6 3 5 ,   P 7 5 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 0 8 4 7 - 8 _ 7 ;   R a a d   E ,   2 0 1 0 ,   P r o c e e d i n g s   o f   t h e   1 3 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   N e t w o r k - B a s e d   I n f o r m a t i o n   S y s t e m s   ( N B i S   2 0 1 0 ) ,   P 2 9 7 ,   D O I   1 0 . 1 1 0 9 / N B i S . 2 0 1 0 . 3 5 ;   R a a d   E ,   2 0 1 3 ,   M U L T I M E D   T O O L S   A P P L ,   V 6 4 ,   P 1 4 1 ,   D O I   1 0 . 1 0 0 7 / s 1 1 0 4 2 - 0 1 1 - 0 8 5 3 - 7 ;   R o t h   M . ,   2 0 1 0 ,   P   1 6   A C M   S I G K D D   I N T ,   P 2 3 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 3 5 8 0 4 . 1 8 3 5 8 3 6 ;   R o w e   R . ,   2 0 0 7 ,   P   9   W E B K D D   1   S N A   K D D ,   P 1 0 9 ,   D O I   1 0 . 1 1 4 5 / 1 3 4 8 5 4 9 . 1 3 4 8 5 6 2 ;   S i n g l a   P . ,   2 0 0 8 ,   I E E E   C O M P   S O C   C   C O M P ,   P 1 ;   S q u i c c i a r i n i   A C ,   2 0 1 0 ,   V L D B   J ,   V 1 9 ,   P 7 7 7 ,   D O I   1 0 . 1 0 0 7 / s 0 0 7 7 8 - 0 1 0 - 0 1 9 3 - 7 ;   S u r o w i e c k i   J . ,   2 0 0 4 ,   W I S D O M   C R O W D S   W H Y   M A ;   T a n g   L . ,   2 0 0 9 ,   P   1 8   A C M   C   I N F   K N O W L ,   P 1 1 0 7 ,   D O I   D O I   1 0 . 1 1 4 5 / 1 6 4 5 9 5 3 . 1 6 4 6 0 9 4 ;   T a n g   W B ,   2 0 1 1 ,   L E C T   N O T E S   A R T I F   I N T ,   V 6 9 1 3 ,   P 3 8 1 ,   D O I   1 0 . 1 0 0 7 / 9 7 8 - 3 - 6 4 2 - 2 3 8 0 8 - 6 _ 2 5 ;   V i o l a   P ,   2 0 0 4 ,   I N T   J   C O M P U T   V I S I O N ,   V 5 7 ,   P 1 3 7 ,   D O I   1 0 . 1 0 2 3 / B : V I S I . 0 0 0 0 0 1 3 0 8 7 . 4 9 2 6 0 . f b ;   W a n g   H . ,   2 0 1 0 ,   P   4   I N T   C   N E T W   S Y S T ,   P 2 3 9 ;   W u   P . ,   2 0 0 9 ,   P   1 7   A C M   I N T   C   M U L T ,   P 7 0 9 ,   D O I   1 0 . 1 1 4 5 / 1 6 3 1 2 7 2 . 1 6 3 1 3 9 4 ;   W u   P . ,   2 0 1 0 ,   P   A C M   M U L T   M M ,   P 9 0 7 ,   D O I   1 0 . 1 1 4 5 / 1 8 7 3 9 5 1 . 1 8 7 4 1 1 0 ;   Z h a n g   C ,   2 0 1 0 ,   I E E E   N E T W O R K ,   V 2 4 ,   P 1 3 ,   D O I   1 0 . 1 1 0 9 / M N E T . 2 0 1 0 . 5 5 1 0 9 1 3 ;   Z h a n g   T . ,   2 0 1 0 ,   P   I N T   C   I M   V I D   R E T R ,   P 1 4 3 ,   D O I   1 0 . 1 1 4 5 / 1 8 1 6 0 4 1 . 1 8 1 6 0 6 5 ;   Z h a n g   T . ,   2 0 0 9 ,   P   1 7   A C M   I N T   C   M U L T ,   P 5 9 7 ,   D O I   1 0 . 1 1 4 5 / 1 6 3 1 2 7 2 . 1 6 3 1 3 6 5 ;   Z h e l e v a   E . ,   2 0 1 0 ,   P   2   I N T   C   A D V   S O C   N E ,   P 9 7 	 4 0 	 0 	 0 	 5 	 5 	 E L S E V I E R   S C I E N C E   B V 	 A M S T E R D A M 	 P O   B O X   2 1 1 ,   1 0 0 0   A E   A M S T E R D A M ,   N E T H E R L A N D S 	 1 5 7 4 - 1 1 9 2 	 1 8 7 3 - 1 5 8 9 	 	 P E R V A S I V E   M O B   C O M P U T 	 P e r v a s i v e   M o b .   C o m p u t . 	 A P R 	 2 0 1 7 	 3 6 	 	 	 	 S I 	 	 8 0 	 9 7 	 	 1 0 . 1 0 1 6 / j . p m c j . 2 0 1 6 . 0 6 . 0 1 9 	 	 1 8 	 C o m p u t e r   S c i e n c e ,   I n f o r m a t i o n   S y s t e m s ;   T e l e c o m m u n i c a t i o n s 	 C o m p u t e r   S c i e n c e ;   T e l e c o m m u n i c a t i o n s 	 E P 9 J S 	 W O S : 0 0 0 3 9 7 6 9 0 5 0 0 0 0 7 	 	 N o 	 	 	 2 0 1 7 - 0 7 - 0 2 	 
 