S u mma r i z i n gP u b l i cO p i n i o n si nT w e e t s

S e n t i me n t A n a l y s i s u s i n gT w i t t e r c o r p u s

N i b i r N . B o r a
S e n t i me n t A n a l y s i s o r O p i n i o nMi n i n g , t h es t u d y o f c o mp u t a t i o n a l l y d e t e r mi n i n gw h e t h e r ap i e c eo f t e x t i s i n d i c a t i v eo f p o s i t i v eo r n e g a t i v es e n t i me n t , i s o n ew a y o f a g g r e g a t i n gt h eo v e r w h e l mi n ga mo u n t o f u s e r g e n e r a t e d c o n t e n t a v a i l a b l eo nt h ei n t e r n e t t o d a y . A p p l i c a t i o n s : K n o w i n gh o wu s e r s f e e l a b o u t ap r o d u c t o r s e r v i c ec a n h e l pi nb u s i n e s s d e c i s i o n s f o r c o r p o r a t e s . P o l i t i c a l p a r t i e s a n ds o c i a l o r g a n i z a t i o n s c a nc o l l e c t f e e d b a c k a b o u t t h e i r p r o g r a ms a n dl e g i s l a t i o n . A r t i s t s , mu s i c i a n s a n do t h e r e n t e r t a i n me n t i c o n s c a nr e a c h o u t t ot h e i r f a n s a n da s s e s s t h eq u a l i t y o f t h e i r w o r k . B r o a d l y , i t c a ns e r v ea s a na u t o ma t i c p o l l i n gs y s t e m, r e l i e v i n g a n y ma n u a l i n t e r v e n t i o n . Ma c h i n eL e a r n i n gt e c h n i q u e s a r eo f t e na p p l i e dt os e n t i me n t c l a s s i f i c a t i o n , w h i c hr e q u i r eal a b e l e dt r a i n i n gs e t o f c o n s i d e r a b l es i z e . Ma n u a l l y l a b e l i n gl a r g ed a t a s e t s i s a t e d i o u s a n de x p e n s i v et a s k . Wei n t r o d u c ean o v e l a u t o ma t i cl a b e l i n g( n o i s yl a b e l ) t e c h n i q u e , s e n t i me n t s u g g e s t i v ew o r d s , u s i n gw h i c hw e c r e a t e da na n n o t a t e dd a t a s e t o f 1 . 5mi l l i o nt w e e t s . AN a i v e B a y e sC l a s s i f i e r i st r a i n e du s i n gt h i st r a i n i n gs e t . Wea l s os t u d yac o mb i n a t i o no f mi n i mu mw o r df r e q u e n c y t h r e s h o l da n dc a t e g o r i c a l p r o p o r t i o n a l d i f f e r e n c ea st h e f e a t u r es e l e c t i o nme t h o d .

S c h o o l o f C o mp u t e r E n g i n e e r i n g K I I TU n i v e r s i t y B h u b a n e s w a r , O d i s h a , I n d i a

T h et r a i n i n gs e t :

F i g u r e1 : O v e r v i e wo f t h ee x p e r i me n t a l s e t u p

As e t o f 4 0w o r d s w a s p r e p a r e d , e a c hi n d i c a t i n gc e r t a i ns e n t i me n t v a l u e , a n dw e r ema n u a l l y c a t e g o r i z e da s b e i n gp o s i t i v eo r n e g a t i v e . At w e e t i s l a b e l e da s p o s i t i v ei f i t c o n t a i n e da n y o f t h ep o s i t i v es e n t i me n t w o r d s , o r n e g a t i v ei f i t c o n t a i n e da n y o f t h en e g a t i v es e n t i me n t w o r d .

T a b l e2 : L i s t o f p o s i t i v ea n dn e g a t i v e s e n t i me n t w o r d s
P o s i t i v es e n t i me n t w o r d s N e g a t i v es e n t i me n t w o r d s a n n o y e d , a s h a me d , a w f u l , d e f e a t e d , d e p r e s s e d , d i s a p p o i n t e d , d i s c o u r a g e d , d i s p l e a s e d , e mb a r r a s s e d , f u r i o u s , g l o o my , g r e e d y , g u i l t y , h u r t , l o n e l y , ma d , mi s e r a b l e , s h o c k e d , u n h a p p y , u p s e t

T a b l e3 : E x a mp l eo f af e wl a b e l e dt w e e t s
T w e e t L a b e l Ma t c h e d s e n t i me n t w o r d

N o i s yL a b e l :

An o i s y l a b e l i s a ne l e me n t w i t h i nt h ep i e c eo f t e x t w h i c h p r o v i d e s i n f o r ma t i o na b o u t t h ec l a s s t ow h i c ht h et e x t b e l o n g s . e . g . t h ee mo t i c o n : ) i nt h es e n t e n c e S a wi tf o rt h e f i r s tt i m e ,i tw a sag r e a ts h o w ,c a n ' tw a i t f o rn e x tw e e k: ) " g i v e s ah i n t t h a t t h es e n t e n c emi g h t c o n t a i nap o s i t i v es e n t i me n t .

T a b l e1 : P r e v i o u ss t u d i e sa n dc o n c e r n e dn o i s y l a b e l me t h o d s .
N A ME P a n ge t a l . ( 2 0 0 2 ) R e a d( 2 0 0 5 ) Mi s h n ea n dd eR i j k e ( 2 0 0 6 ) G oe t a l . ( 2 0 0 9 ) Y e s s e n o v a n dMi s a i l o v i ( 2 0 0 9 ) D u u r k o o p( 2 0 1 0 ) P a k &P a r o u b e k ( 2 0 1 0 ) N O I S YL A B E L A u t h o r r a t i n g s E mo t i c o n s A u t h o r t a g g e d mo o d s E mo t i c o n s Ma n u a l l y l a b e l e d H a s h t a g s E mo t i c o n s D O MA I N Mo v i er e v i e w N e w s p o s t s B l o gp o s t s T w i t t e r Mo v i er e v i e w T w i t t e r T w i t t e r

a ma z e d , a mu s e d , a t t r a c t e d , c h e e r f u l , d e l i g h t e d , e l a t e d , e x c i t e d , f e s t i v e , f u n n y , h i l a r i o u s , j o y f u l , l i v e l y , l o v i n g , o v e r j o y e d , p a s s i o n , p l e a s a n t , p l e a s e d , p l e a s u r e , t h r i l l e d , w o n d e r f u l

A r r i v e di nB a s e l . B r i l l i a n t s u n n yp o s i t i v e w o n d e r f u l w e a t h e r . I ' l l g ot ot h eb o t a n i c a l g a r d e n s f i r s t . I t ' s aw o n d e r f u l p l a c et ot h i n k a n dw r i t e . I s h o u l dr e a l l y e a t s o me t h i n g , n e g a t i v e mi s e r a b l e b u t i ' mj u s t n o t af a n w h e ni t ' s t h i s h o t a n d mi s e r a b l e . : /

T h et e s t s e t :

Ah a n dl a b e l e dt e s t s e t o f 1 9 8p o s i t i v es e n t i me n t t w e e t s a n d2 0 4n e g a t i v es e n t i me n t t w e e t s w a s u s e dt oc h e c k t h ea c c u r a c y o f t h ec l a s s i f i e r .

F e a t u r eS e l e c t i o n :

MWF t h r e s h o l d

F e a t u r es e l e c t i o n , u s e di no r d e r t oi mp r o v et h ep e r f o r ma n c e o f t h ec l a s s i f i e r , i s ame t h o dt os e l e c t ap o r t i o no f t h ef e a t u r e s e t , g e n e r a t e db y t h et r a i n e r , w h i c hi s mo s t l i k e l y t os e r v ei n c l a s s i f i c a t i o n .

Mi n i mu m Wo r dF r e q u e n c yT h r e s h o l d : A l l f e a t u r e s w i t h f r e q u e n c y b e l o wami n i mu mt h r e s h o l df r e q u e n c y ( c a l c u l a t e d a s ap e r c e n t a g eo nt h ema x i mu mf r e q u e n c y o f a n y f e a t u r e ) a r er e mo v e df r o mt h ef e a t u r es e t . C a t e g o r i c a l P r o p o r t i o n a l D i f f e r e n c e : I t i s ame a s u r eo f h o w e q u a l t w on u mb e r s a r e . I f af e a t u r ei s p r e v a l e n t i ne i t h e r p o s i t i v et w e e t s o r i nn e g a t i v et w e e t s t h e ni t ' s C P Dw i l l b ec l o s e t oo n ew h e r e a s i f i t o c c u r s a l mo s t e v e n l y i nb o t hp o s i t i v ea n d n e g a t i v et w e e t s t h e ni t s C P Dw i l l b ec l o s et oz e r o .

S e n t i me n t s u g g e s t i v ew o r d s c a nb ee f f e c t i v e l y u s e da s n o i s y l a b e l f o r aT w i t t e r c o r p u s . At r a i n i n gs e t l a b e l e d u s i n gs e n t i me n t s u g g e s t i v ew o r d s i s a s g o o da s a ne mo t i c o n s a n n o t a t e dd a t a s e t . C a t e g o r i c a l P r o p o r t i o n a l D i f f e r e n c e( C P D ) p e r f o r ms w e l l a s af e a t u r es e l e c t i o nme t h o dw i t hT w i t t e r c o r p u s ( C P D v a l u e0 . 2 5b e i n gad e s c e n t c h o i c e ) . S e t t i n gami n i mu mw o r df r e q u e n c y t h r e s h o l dd o e s n o t p e r f o r mw e l l a s af e a t u r es e l e c t i o nme t h o dw i t hT w i t t e r c o r p u s .

f o r s e n t i me n t a n a l y s i s a n do p i n i o nmi n i n g . P r o c e e d i n g s o f t h eA s s o c i a t i o nf o r C o mp u t a t i o n a l 1 3 . T u r n e y , P . : T h u mb s u po r t h u mb s d o w n ?s e ma n t i c I n : P r o c e e d i n g s o f t h eS e v e n t hc o n f e r e n c e L i n g u i s t i c s ( A C L ) , p p . 2 7 1 2 7 8 . ( 2 0 0 4 ) o r i e n t a t i o na p p l i e dt ou n s u p e r v i s e dc l a s s i f i c a t i o n o nI n t e r n a t i o n a l L a n g u a g eR e s o u r c e s a n d 1 0 . P o r t e r , M. F . : A na l g o r i t h mf o r s u f f i x s t r i p p i n g . I n : o f r e v i e w s . I n : P r o c e e d i n g s o f t h eA s s o c i a t i o nf o r E v a l u a t i o n( L R E C ' 1 0 ) , E u r o p e a nL a n g u a g e P r o g r a m, 1 4 ( 3 ) p p . 1 3 0 1 3 7( 1 9 8 0 ) C o mp u t a t i o n a l L i n g u i s t i c s , p p . 4 1 7 4 2 4 . ( 2 0 0 2 ) R e s o u r c e s A s s o c i a t i o n( E L R A ) . p p . 1 9 2 1 . 1 1 . R e a d , J . : U s i n ge mo t i c o n s t or e d u c ed e p e n d e n c y 1 4 . Y a n g , Y . , P e d e r s e n , J . O . : Ac o mp a r a t i v es t u d y o n V a l l e t t a , Ma l t a( 2 0 1 0 ) i nma c h i n el e a r n i n gt e c h n i q u e s f o r s e n t i me n t f e a t u r es e l e c t i o ni nt e x t c a t e g o r i z a t i o n . I n : 8 . P a n g , B . , L e e , L . , V a i t h y a n a t h a n , S . : T h u mb s u p ? c l a s s i f i c a t i o n . I n : P r o c e e d i n g s o f A C L 0 5 , 4 3 n d P r o c e e d i n g s o f t h e1 4 t hI n t e r n a t i o n a l C o n f e r e n c e S e n t i me n t c l a s s i f i c a t i o nu s i n gma c h i n el e a r n i n g Me e t i n go f t h eA s s o c i a t i o nf o r C o mp u t a t i o n a l o nMa c h i n eL e a r n i n g( I C ML 9 7 ) , p p . 4 1 2 4 2 0 . t e c h n i q u e s . I n : P r o c e e d i n g s o f t h eA C L 0 2 L i n g u i s t i c s . ( 2 0 0 5 ) C o n f e r e n c eo nE mp i r i c a l Me t h o d s i nN a t u r a l 1 2 . S i me o n , M. , H i l d e r ma n , R . : C a t e g o r i c a l N a s h v i l l e( 1 9 9 7 ) L a n g u a g eP r o c e s s i n g( E MN L P ) , p p . 7 9 8 6( 2 0 0 2 ) P r o p o r t i o n a l D i f f e r e n c e : AF e a t u r eS e l e c t i o n 1 5 . Y e s s e n o v , K . , Mi s a i l o v i c , S . : S e n t i me n t A n a l y s i s 9 . P a n g , B . , L e e , L . : As e n t i me n t a l e d u c a t i o n : Me t h o df o r T e x t C a t e g o r i z a t i o n . I n : P r o c e e d i n g s o f Mo v i eR e v i e wC o mme n t s . 6 . 8 6 3S p r i n g2 0 0 9 S e n t i me n t a n a l y s i s u s i n gs u b j e c t i v i t y o f t h e1 7 t hA u s t r a l a s i a nD a t aMi n i n gC o n f e r e n c e , f n a l p r o j e c t , C S A I L , MI T( 2 0 0 9 ) s u mma r i z a t i o nb a s e do nmi n i mu mc u t s . I n : p p . 2 0 1 2 0 8 . ( 2 0 0 8 )

a n dWe i g h t i n gMe t h o d s i nS e n t i me n t 1 . D a s , S . , C h e n , M. : Y a h o o ! f o r A ma z o n : A n a l y s i s . I n : P r o c e e d i n g s o f t h e1 4 t h E x t r a c t i n gma r k e t s e n t i me n t f r o ms t o c k A u s t r a l a s i a nD o c u me n t C o mp u t i n g me s s a g eb o a r d s . I n : P r o c e e d i n g s o f t h e S y mp o s i u m. ( 2 0 0 9 ) A s i aP a c i f i c F i n a n c eA s s o c i a t i o nA n n u a l 5 . L a k e , T . : T w i t t e r S e n t i me n t A n a l y s i s . C o n f e r e n c e( A P F A ) . ( 2 0 0 1 ) T e c h n i c a l R e p o r t , We s t e r nMi c h i g a n 2 . D u u r k o o p , J . : R e a l T i meH a p p i n e s s . U n i v e r s i t y , K a l a ma z o o( 2 0 1 1 ) B a c h e l o r t h e s i s , U n i v e r s i t y o f A ms t e r d a m, 6 . Mi s h n e , G . , d eR i j k e , M. : C a p t u r i n gG l o b a l F a c u l t y o f S c i e n c e , S c i e n c eP a r k 9 0 4 , Mo o dL e v e l s u s i n gB l o gP o s t s . I n : 1 0 9 8X HA ms t e r d a m( 2 0 1 0 ) A A A I S y mp o s i u mo nC o mp u t a t i o n a l 3 . G o , A . , B h a y a n i , R . , H u a n g , L . : T w i t t e r A p p r o a c h e s t oA n a l y s i n gWe b l o g s ( A A A I s e n t i me n t c l a s s i f i c a t i o nu s i n gd i s t a n t C A A W) , p p . 1 4 5 1 5 2 . T h eA A A I P r e s s , s u p e r v i s i o n . C S 2 2 4 NP r o j e c t R e p o r t , Me n l oP a r k ( 2 0 0 6 ) S t a n f o r dU n i v e r s i t y ( 2 0 0 9 ) . P a k , A . , P a r o u b e k , P . : T w i t t e r a s ac o r p u s 4 . O ' K e e f e , T . , K o p r i n s k a , I . : F e a t u r eS e l e c t i o n 7

h t t p : / / m e j a j . n i b i r . m e

n i b i r b o r a @ g m a i l . c o m