A survey speech Turkish NLP resources - arXiv (PDF)

L a n g u a g e R e s o u r c e s a n d E v a l u a t i o n m a n u s c r i p t N o . ( w i l l b e i n s e r t e d b y t h e e d i t o r ) R e s o u r c e s f o r T u r k i s h N a t u r a l L a n g u a g e P r o c e s s i n g A c r i t i c a l s u r v e y Ç a ğ r ı Ç ö l t e k i n · A . S e z a D o ğ r u ö z · Ö z l e m Ç e t i n o ğ l u R e c e i v e d : d a t e / A c c e p t e d : d a t e A b s t r a c t T h i s p a p e r p r e s e n t s a c o m p r e h e n s i v e s u r v e y o f c o r p o r a a n d l e x i c a l r e s o u r c e s a v a i l a b l e f o r T u r k i s h . W e r e v i e w a b r o a d r a n g e o f r e s o u r c e s , f o c u s i n g o n t h e o n e s t h a t a r e p u b l i c l y a v a i l a b l e . I n a d d i t i o n t o p r o v i d i n g i n f o r m a t i o n a b o u t t h e a v a i l a b l e l i n g u i s t i c r e s o u r c e s , w e p r e s e n t a s e t o f r e c o m m e n d a t i o n s , a n d i d e n t i f y g a p s i n t h e d a t a a v a i l a b l e f o r c o n d u c t i n g r e s e a r c h a n d b u i l d i n g a p p l i c a t i o n s i n T u r k i s h L i n g u i s t i c s a n d N a t u r a l L a n g u a g e P r o c e s s i n g . K e y w o r d s T u r k i s h · c o r p o r a · l e x i c a l r e s o u r c e s · N L P · l i n g u i s t i c s 1 In t r o d u c t i o n A s i n m a n y o t h e r fi e l d s o f s c i e n c e a n d e n g i n e e r i n g , t h e d a t a - d r i v e n m e t h o d s h a v e b e e n t h e d o m i n a n t a p p r o a c h t o n a t u r a l l a n g u a g e p r o c e s s i n g ( N L P ) a n d c o m p u t a t i o n a l l i n g u i s t i c s ( C L ) f o r t h e l a s t f e w d e c a d e s . T h e r e c e n t ( r e ) p o p - u l a r i z a t i o n o f d e e p l e a r n i n g m e t h o d s i n c r e a s e d t h e i m p o r t a n c e a n d n e e d f o r t h e d a t a e v e n f u r t h e r . S i m i l a r l y , t h e o t h e r s u b fi e l d s o f t h e o r e t i c a l a n d a p p l i e d l i n g u i s t i c s h a v e a l s o s e e n a s h i f t t o w a r d s m o r e d a t a - d r i v e n m e t h o d s . A s a r e s u l t , a v a i l a b i l i t y o f l a r g e a n d h i g h - q u a l i t y l a n g u a g e d a t a i s e s s e n t i a l f o r b o t h l i n g u i s t i c r e s e a r c h a n d p r a c t i c a l N L P a p p l i c a t i o n s . I n t h i s p a p e r , w e p r e s e n t a c o m p r e h e n s i v e a n d c r i t i c a l s u r v e y o f l i n g u i s t i c r e s o u r c e s f o r T u r k i s h . T u r k i s h i s a l a n g u a g e s p o k e n b y o v e r 80 m i l l i o n p e o p l e , m a i n l y i n T u r k e y , b u t a l s o w i t h s i g n i fi c a n t s p e a k e r p o p u l a t i o n s i n C y p r u s , E u r o p e , a n d C e n t r a l A s i a ( E b e r h a r d e t a l . , 2 0 2 0 ) . 1 I t e x h i b i t s a n u m b e r o f i n t e r e s t i n g l i n g u i s t i c c h a r a c t e r i s t i c s t h a t a r e o f t e n c h a l l e n g i n g t o h a n d l e i n N L P a p p l i c a t i o n s i n c o m p a r i s o n t o t h e w e l l - s t u d i e d l a n g u a g e s . Ç a ğ r ı Ç ö l t e k i n U n i v e r si t y o f T ü b i n g e n , T ü b i n g e n , G e r m a n y . E - m a i l : c c o l t e k i n @ sf s. u n i - t u e b i n g e n . d e A . S e z a D o ğ r u ö z G h e n t U n i v e r si t y , G h e n t , B e l g i u m . E - m a i l : a s. d o g r u o z @ u g e n t . b e Ö z l e m Ç e t i n o ğ l u U n i v e r si t y o f S t u t t g a r t , S t u t t g a r t , G e r m a n y . E - m a i l : o z l e m @ i m s. u n i - st u t t g a r t . d e 1 T h r o u g h o u t t h i s p a p e r , w e u se T u r k i sh o n l y f o r r e f e r r i n g t o t h e l a n g u a g e v a r i e t y sp o k e n i n m o d e r n T u r k e y a n d u se o f t h i s v a r i e t y i n o t h e r c o u n t r i e s/ r e g i o n s. H e n c e , t h i s c o u n t d o e s n o t i n c l u d e o t h e r T u r k i c l a n g u a g e s, i n c l u d i n g o n e s m u t u a l l y i n t e l l i g i b l e w i t h T u r k i sh . arXiv:2204.05042v1 [cs.CL] 11 Apr 2022  2 Ç . Ç ö l t e k i n , A . S . D o ğ r u ö z , Ö . Ç e t i n o ğ l u A s a r e s u l t , t h e l i n g u i s t i c r e s o u r c e s f o r T u r k i s h a r e i m p o r t a n t f o r b u i l d i n g p r a c t i c a l N L P a p p l i c a t i o n s f o r a l a r g e s p e a k e r c o m m u n i t y a s w e l l a s f o r q u a n t i - t a t i v e a n d c o m p u t a t i o n a l a p p r o a c h e s t o l i n g u i s t i c s , i n c l u d i n g m u l t i l i n g u a l a n d c r o s s - l i n g u i s t i c r e s e a r c h . F u r t h e r m o r e , s i n c e T u r k i s h i s o n e o f t h e l a r g e s t a n d m o s t w e l l - s t u d i e d l a n g u a g e s i n t h e T u r k i c l a n g u a g e f a m i l y , t h e r e s o u r c e s w e r e v i e w b e l o w a r e p o t e n t i a l l y u s e f u l f o r l a n g u a g e t r a n s f e r i n N L P a p p l i c a t i o n s , a n d a s e x a m p l e s f o r r e s o u r c e a n d t o o l c r e a t i o n e ff o r t s f o r t h e o t h e r T u r k i c l a n g u a g e s . O u r s u r v e y m a i n l y f o c u s e s o n c u r r e n t l y a v a i l a b l e r e s o u r c e s ( s e e A k s a n a n d A k s a n , 2 0 1 8 , f o r a m o r e h i s t o r i c a l a c c o u n t o f T u r k i s h c o r p o r a ) . W e a l s o i n t r o d u c e a c o m p a n i o n w e b p a g e w h i c h w e u p d a t e a s n e w l i n g u i s t i c r e s o u r c e s b e c o m e a v a i l a b l e . 2 O u r s u r v e y p r o v i d e s a n o v e r v i e w o f t h e a v a i l a b l e r e s o u r c e s , g i v i n g d e t a i l s f o r t h e m a j o r o n e s , a n d a i m s t o i d e n t i f y t h e a r e a s w h e r e m o r e e ff o r t i s n e e d e d . T o o u r k n o w l e d g e , t h i s i s t h e fi r s t s u r v e y o f i t s k i n d o n T u r k i s h r e s o u r c e s . T h e m o s t s i m i l a r w o r k i s a n e d i t e d v o l u m e o f p a p e r s o n v a r i o u s N L P t a s k s f o r T u r k i s h ( O fl a z e r a n d S a r a ç l a r , 2 0 1 8 ) . U n l i k e o u r w o r k , h o w e v e r , t h e f o c u s i s n o t t h e l i n g u i s t i c r e s o u r c e s b u t N L P t e c h n i q u e s a n d t o o l s , a n d m o s t o f t h e c o n t r i b u t i o n s a r e u p d a t e d d e s c r i p t i o n s o f t h e r e s e a r c h p u b l i s h e d e a r l i e r . A s i m i l a r i n i t i a t i v e t o o u r c o m p a n i o n w e b s i t e i s t h e r e c e n t l y a n n o u n c e d T u r k i s h D a t a D e p o s i t o r y ( T D D ) p r o j e c t , 3 w h i c h a i m s t o b u i l d a r e p o s i t o r y o f d a t a a n d m o d e l s f o r T u r k i s h N L P . O u r a i m i s c o l l e c t i n g a m o r e c o m p r e h e n s i v e l i s t o f p o i n t e r s w h i c h c a n b e u s e f u l f o r b o t h N L P a n d l i n g u i s t i c r e s e a r c h , w h i l e t h e T D D i n t e n d s t o s t o r e t h e a c t u a l d a t a a n d t h e m o d e l s f o r N L P w i t h a m o r e p r a c t i c a l p u r p o s e . O u r f o c u s i n t h i s s u r v e y i s l i n g u i s t i c d a t a , i n p a r t i c u l a r , c o r p o r a a n d l e x i c a l r e s o u r c e s . W e d o n o t a i m t o d e s c r i b e t h e r e s e a r c h q u e s t i o n s , m e t h o d s a n d / o r t h e r e s u l t s o f t h e s e s t u d i e s b u t f o c u s o n d e s c r i b i n g t h e r e s o u r c e s i n d e t a i l . W e i n c l u d e r e s o u r c e s t h a t a r e p o t e n t i a l l y u s e f u l f o r N L P a p p l i c a t i o n s , a s w e l l a s f o r l i n g u i s t i c r e s e a r c h . W e a l s o d o n o t f o c u s o n N L P t o o l s e x p l i c i t l y , s u c h a s d a t a - d r i v e n p a r t - o f - s p e e c h ( P O S ) t a g g e r s o r p a r s e r s a n d h i g h e r l e v e l t o o l s o r s e r v i c e s t h a t t a r g e t n o n - t e c h n i c a l a u d i e n c e s u c h a s t h e w e b - b a s e d N L P p i p e l i n e s ( e . g . , E r y i ğ i t , 2 0 1 4 ; Ç ö l t e k i n , 2 0 1 5 b ) . T h e m a i n c o n t r i b u t i o n o f t h e c u r r e n t p a p e r i s a b r o a d , c o m p r e h e n s i v e o v e r v i e w o f t h e l i n g u i s t i c d a t a a v a i l a b l e f o r T u r k i s h t o e n a b l e l i n g u i s t s a n d N L P r e s e a r c h e r s / p r a c t i t i o n e r s t o l o c a t e t h e s e r e s o u r c e s e a s i l y . W e a l s o i d e n t i f y m i s s i n g o r i n c o m p l e t e r e s o u r c e s , s u g g e s t i n g p o t e n t i a l a r e a s f o r f u t u r e r e s o u r c e c r e a t i o n e ff o r t s . W e d o n o t o n l y o ff e r a s t a t i c s u r v e y , b u t w e i n t e n d t o m a i n t a i n a ‘ l i v i n g l i s t ’ o f r e s o u r c e s a n d a r e p o s i t o r y o f p u b l i c l y a v a i l a b l e l i n g u i s t i c d a t a . 2 T h e w e b p a g e i s p u b l i c l y a v a i l a b l e a t h t t p s : / / t u r k i s h n l p . g i t h u b . i o . T h e c u r r e n t l i st w a s c o m p i l e d m o st l y b y o u r o w n e ff o r t s. H o w e v e r , w e a l so w e l c o m e su g g e st i o n s t h r o u g h a si m p l e w e b - b a se d f o r m , a n d a l so t h r o u g h t h e G i t H u b r e p o si t o r y a sso c i a t e d w i t h t h i s U R L . 3 h t t p s : / / t d d . a i / .  R e so u r c e s f o r T u r k i sh N a t u r a l L a n g u a g e P r o c e ssi n g 3 2 C o r p o r a T h i s s e c t i o n s u r v e y s c o r p o r a a v a i l a b l e f o r T u r k i s h . W e s t a r t w i t h g e n e r a l - p u r p o s e , l i n g u i s t i c a l l y m o t i v a t e d c o r p o r a , f o l l o w e d b y c o r p o r a u s e d f o r m o r e s p e c i fi c p u r p o s e s . 2 . 1 B a l a n c e d c o r p o r a S i n c e c o r p o r a c o l l e c t e d f r o m a s i n g l e s o u r c e ( g e n r e , d o m a i n ) c o n t a i n m a n y i d i o s y n c r a t i c a s p e c t s o f i t s s o u r c e , t h e c r e a t i o n o f b a l a n c e d o r r e p r e s e n t a t i v e c o r p o r a h a s b e e n a m a j o r a c t i v i t y i n c o m p u t a t i o n a l / c o r p u s l i n g u i s t i c s s i n c e t h e e a r l i e s t e x a m p l e s o f l i n g u i s t i c c o r p o r a ( e . g . , F r a n c i s a n d K u č e r a , 1 9 7 9 ) . T h e r e a r e t w o w e l l - k n o w n b a l a n c e d c o r p o r a f o r T u r k i s h , t h e M i d d l e E a s t T e c h n i c a l U n i v e r s i t y ( M E T U ) c o r p u s ( S a y e t a l . , 2 0 0 2 ) a n d T u r k i s h N a t i o n a l C o r p u s ( T N C , A k s a n e t a l . , 2 0 1 2 ) . T h e M E T U c o r p u s i s t h e fi r s t b a l a n c e d c o r p u s r e l e a s e d f o r T u r k i s h . T h e c o r p u s c o n s i s t s o n l y o f w r i t t e n m o d a l i t y s a m p l e d f r o m 14 d i ff e r e n t t e x t t y p e s i n c l u d i n g n o v e l s , e s s a y s , r e s e a r c h a r t i c l e s , t r a v e l a r t i c l e s , i n t e r v i e w s , n e w s , n e w s - p a p e r c o l u m n s , b i o g r a p h i e s a n d m e m o i r s . T h e c o r p u s c o n t a i n s a p p r o x i m a t e l y 1 000 d o c u m e n t s a n d 1.7M t o k e n s . 4 T h e o r i g i n a l r e l e a s e d o e s n o t c o n t a i n a n y l i n g u i s t i c a n n o t a t i o n s . H o w e v e r , a n u m b e r o f a n n o t a t i o n p r o j e c t s w e r e c a r r i e d o u t o n p a r t s o f t h i s c o r p u s ( e . g . , O fl a z e r e t a l . , 2 0 0 3 ; Z e y r e k e t a l . , 2 0 1 3 , b o t h d i s c u s s e d i n S e c t i o n 2 . 2 ) . I t i s a v a i l a b l e f r e e - o f - c h a r g e f o r r e s e a r c h p u r p o s e s a f t e r s i g n i n g a l i c e n s e a g r e e m e n t . T h e s e c o n d b a l a n c e d c o r p u s i s t h e T u r k i s h N a t i o n a l C o r p u s ( T N C , A k s a n e t a l . , 2 0 1 2 ) . T h e T N C f o l l o w s t h e d e s i g n p r i n c i p l e s o f t h e B r i t i s h N a t i o n a l C o r p u s ( B N C , B u r n a r d , 2 0 0 0 ) . T h e c o r p u s c o n s i s t s o f 50M w o r d s f r o m t e x t s c o l l e c t e d f r o m b o o k s , p e r i o d i c a l s , a n d v a r i o u s p u b l i s h e d a n d u n p u b l i s h e d m a t e r i a l . I t a l s o i n c l u d e s a s m a l l ‘ s p o k e n t e x t ’ p o r t i o n t h a t c o n s i s t s o f p o l i t i c a l s p e e c h e s a n d n e w s b r o a d c a s t . T h e T N C c o n t a i n s t e x t s f r o m n i n e d i ff e r e n t d o m a i n s ( e . g . fi c t i o n , s c i e n t i fi c a r t i c l e s , a r t , o p i n i o n s a n d e d i t o r i a l s ) a n d i n c l u d e s m o r p h o l o g i c a l a n n o t a t i o n s . T h e c o r p u s i s n o t a v a i l a b l e f o r d o w n l o a d b u t i t i s a c c e s s i b l e t h r o u g h a w e b i n t e r f a c e . 5 A s m a l l p a r t o f t h e T N C i s a l s o u s e d i n c o n s t r u c t i n g t h e B O U N T r e e b a n k ( T ü r k e t a l . , 2 0 2 1 , d e s c r i b e d b e l o w ) . 2 . 2 T r e e b a n k s a n d c o r p o r a w i t h m o r p h o s y n t a c t i c a n n o t a t i o n T h i s s e c t i o n r e v i e w s p r i m a r i l y m a n u a l l y - a n n o t a t e d T u r k i s h c o r p o r a w i t h g e - n e r a l - p u r p o s e l i n g u i s t i c a n n o t a t i o n s , a s o p p o s e d t o c o r p o r a a n n o t a t e d f o r a p a r t i c u l a r N L P t a s k . T h e m a j o r i t y o f t h e c o r p o r a d i s c u s s e d b e l o w a r e t r e e b a n k s , h o w e v e r w e a l s o i n c l u d e a f e w o t h e r c o r p o r a w i t h m o r p h o s y n t a c t i c a n n o t a t i o n s . 4 T h e n u m b e r s a r e b a se d o n a v e r si o n o b t a i n e d i n 2 0 1 5 , w h i c h i n c l u d e s m i n o r fi x e s t o fi r st o r i g i n a l r e l e a se . 5 F u r t h e r i n f o r m a t i o n a n d t h e q u e r y i n t e r f a c e i s a v a i l a b l e f r o m h t t p s : / / w w w . t n c . o r g . t r / .  4 Ç . Ç ö l t e k i n , A . S . D o ğ r u ö z , Ö . Ç e t i n o ğ l u T a b l e 1 A su m m a r y o f c u r r e n t l y a v a i l a b l e T u r k i sh t r e e b a n k s. T h e n u m b e r s i n t h e t a b l e a r e b a se d o n o u r o w n c o u n t s o n t h e m o st r e c e n t v e r si o n s o f t h e d a t a se t s. N o t a l l i n f o r m a t i o n i s r e p o r t e d i n t h e r e sp e c t i v e p a p e r s, a n d t h e r e m a y b e m i sm a t c h e s b e t w e e n t h e n u m b e r s r e p o r t e d i n t h e p a p e r s a n d t h e r e l e a se d d a t a se t s. T r e e b a n k T y p e S e n t e n c e s T o k e n s M E T U - S a b a n c ı O fl a z e r e t a l . ( 2 0 0 3 ) d e p 5 635 56 396 I T U W e b P a m a y e t a l . ( 2 0 1 5 ) d e p 5 009 43 191 U D - G B Ç ö l t e k i n ( 2 0 1 5 a ) d e p 2 880 16 803 U D - P U D Z e m a n e t a l . ( 2 0 1 7 ) d e p 1 000 16 536 U D - B O U N T ü r k e t a l . ( 2 0 2 1 ) d e p 9 761 121 214 T W T K a y a d e l e n e t a l . ( 2 0 2 0 ) d e p 4 851 66 466 T u r k i sh - P e n n - C S Y ı l d ı z e t a l . ( 2 0 1 4 ) c o n 9 560 81 419 U D - T u r k i sh - P e n n d e p 9 560 87 367 U D - T o u r i sm d e p 19 750 92 200 U D - K e n e t d e p 18 700 178 700 U D - F r a m e N e t d e p 2 700 19 221 T r e e b a n k s a r e i m p o r t a n t r e s o u r c e s f o r l i n g u i s t i c r e s e a r c h a n d a p p l i c a t i o n s . A l t h o u g h t h e y h a v e b e e n p r i m a r i l y u s e d f o r t r a i n i n g p a r s e r s i n C L , m u l t i p l e l e v e l s o f l i n g u i s t i c a n n o t a t i o n s a v a i l a b l e i n t r e e b a n k s h a v e a l s o b e e n b e n e fi c i a l f o r o t h e r N L P a p p l i c a t i o n s a n d l i n g u i s t i c r e s e a r c h . T h e r e h a s b e e n a s u r g e o f i n t e r e s t i n c r e a t i n g n e w t r e e b a n k s f o r T u r k i s h i n r e c e n t y e a r s . T a b l e 1 p r e s e n t s t h e c u r r e n t l y - a v a i l a b l e t r e e b a n k s , a l o n g w i t h b a s i c s t a t i s t i c s . 6 B e l o w , w e p r o v i d e a b r i e f h i s t o r i c a l a c c o u n t o f t r e e b a n k s f o r T u r k i s h . T h e fi r s t T u r k i s h t r e e b a n k i s t h e M E T U - S a b a n c ı t r e e b a n k ( A t a l a y e t a l . , 2 0 0 3 ; O fl a z e r e t a l . , 2 0 0 3 ) . T h e M E T U - S a b a n c ı t r e e b a n k i s a d e p e n d e n c y t r e e b a n k i n c l u d i n g a s e l e c t i o n o f s e n t e n c e s f r o m t h e M E T U c o r p u s d i s c u s s e d i n S e c t i o n 2 . 1 , a n d i n c l u d e s d i ff e r e n t t e x t t y p e s o f t h e o r i g i n a l r e s o u r c e . A s a n e a r l y e ff o r t w i t h r e l a t i v e l y l o w f u n d i n g , t h e t r e e b a n k h a d v a r i o u s i s s u e s w i t h f o r m a t t i n g a n d d a t a q u a l i t y ( S a y , 2 0 1 1 ) . D e s p i t e t h e s e i s s u e s , t h e M E T U - S a b a n c ı t r e e b a n k w a s t h e o n l y T u r k i s h t r e e b a n k o v e r a d e c a d e . T h e r e h a s b e e n a l a r g e n u m b e r o f r e p o r t s o f fi x e s o v e r t h e y e a r s , b u t m o s t fi x e s r e m a i n e d u n p u b l i s h e d , o r e v e n i n t r o d u c e d o t h e r e r r o r s o r u n c l e a r m o d i fi c a t i o n s t o t h e a n n o t a t i o n s c h e m e . T h e m o s t u p - t o - d a t e v e r s i o n o f t h i s t r e e b a n k i s m a d e a v a i l a b l e t h r o u g h U n i v e r s a l D e p e n d e n c i e s ( U D , N i v r e e t a l . , 2 0 1 6 ; d e M a r n e ff e e t a l . , 2 0 2 1 ) r e p o s i t o r i e s b a s e d o n a s e m i - a u t o m a t i c c o n v e r s i o n ( S u l u b a c a k e t a l . , 2 0 1 6 ) o f a v e r s i o n f r o m I s t a n b u l T e c h n i c a l U n i v e r s i t y ( I T U ) a n d h e n c e , n a m e d U D - I M S T ( I T U - M E T U - S a b a n c ı T r e e b a n k ) . E v e n t h e l a t e s t v e r s i o n i s r e p o r t e d t o h a v e a l a r g e n u m b e r o f e r r o r s , c a r r i e d o v e r f r o m e a r l i e r v e r s i o n s o r i n t r o d u c e d a l o n g t h e w a y b y m a n y a u t o m a t e d c o n v e r s i o n p r o c e s s e s ( s e e , e . g . , T ü r k e t a l . , 2 0 1 9 ) . B u r g a e t a l . ( 2 0 1 7 ) p r e s e n t a c o n v e r s i o n o f t h e s a m e 6 W e o n l y i n c l u d e m a n u a l l y a n n o t a t e d t r e e b a n k s. A l l t r e e b a n k s l i st e d i n t h e t a b l e a r e d i r e c t l y a v a i l a b l e f o r d o w n l o a d , w i t h t h e e x c e p t i o n o f I T U W e b t r e e b a n k , w h i c h r e q u i r e s a si g n e d l i c e n se a g r e e m e n t t o b e se n t t o t h e m a i n t a i n e r s. A l l U D t r e e b a n k s c a n b e o b - t a i n e d t h r o u g h t h e p r o j e c t ’ s w e b p a g e a t h t t p s : / / u n i v e r s a l d e p e n d e n c i e s . o r g / . A u t o m a t i c c o n v e r si o n e ff o r t s o r p a r se d c o r p o r a a r e n o t l i st e d i n t h e t a b l e .  R e so u r c e s f o r T u r k i sh N a t u r a l L a n g u a g e P r o c e ssi n g 5 t r e e b a n k i n t o a n o t h e r r e l a t e d f r a m e w o r k , n a m e l y S u r f a c e - S y n t a c t i c U n i v e r s a l D e p e n d e n c i e s ( S U D , G e r d e s e t a l . , 2 0 1 8 ) . A f t e r a l o n g t i m e g a p , a g r o w i n g n u m b e r o f n e w d e p e n d e n c y t r e e b a n k s h a v e r e c e n t l y b e e n r e l e a s e d . O n e o f t h e n e w t r e e b a n k s , I T U - W e b t r e e b a n k ( P a m a y e t a l . , 2 0 1 5 ) , c o n t a i n s u s e r - g e n e r a t e d t e x t f r o m t h e w e b . I t w a s a n n o t a t e d f o l l o w i n g t h e M E T U - S a b a n c ı t r e e b a n k a n n o t a t i o n s c h e m e , a n d l a t e r c o n v e r t e d t o t h e U D a n n o t a t i o n s c h e m e a u t o m a t i c a l l y . T h e fi r s t t r e e b a n k a n n o t a t e d d i r e c t l y u s i n g t h e U D f r a m e w o r k i s b y Ç ö l t e k i n ( 2 0 1 5 a ) . T h i s t r e e b a n k c o n - t a i n s l i n g u i s t i c e x a m p l e s f r o m a g r a m m a r b o o k t o i n c r e a s e t h e c o v e r a g e o f d i ff e r e n t m o r p h o s y n t a c t i c c o n s t r u c t i o n s w h i l e m i n i m i z i n g t h e a n n o t a t i o n e ff o r t . T w o r e l a t i v e l y l a r g e r a n d m o r e r e c e n t d e p e n d e n c y t r e e b a n k s a r e t h e B o ğ a z i ç i U n i v e r s i t y ( B O U N ) t r e e b a n k ( T ü r k e t a l . , 2 0 2 1 ) a n d t h e T u r k i s h w e b t r e e b a n k ( T W T , K a y a d e l e n e t a l . , 2 0 2 0 ) . T h e B O U N t r e e b a n k a n n o t a t e s a s e l e c t i o n o f s e n t e n c e s f r o m t h e T N C ( A k s a n e t a l . , 2 0 1 2 , s e e S e c t i o n 2 . 1 ) c o v e r i n g a n u m b e r o f d i ff e r e n t t e x t t y p e s . T h e B O U N t r e e b a n k i s d i r e c t l y a n n o t a t e d a c c o r d i n g t o t h e U D a n n o t a t i o n s c h e m e . T h e T W T i n c l u d e s s e n t e n c e s f r o m t h e w e b a n d W i k i p e d i a . T h e i r a n n o t a t i o n s d e v i a t e f r o m t h e U D a n d t h e m a j o r i t y o f t h e e x i s t i n g T u r k i s h d e p e n d e n c y t r e e b a n k s . B e s i d e s t h e m o n o l i n g u a l t r e e b a n k s a b o v e , t h e r e h a v e a l s o b e e n a f e w p a r a l l e l t r e e b a n k i n g e ff o r t s . M e g y e s i e t a l . ( 2 0 0 8 ) a n d M e g y e s i e t a l . ( 2 0 1 0 ) r e p o r t a u t o m a t i c a l l y a n n o t a t e d p a r a l l e l d e p e n d e n c y t r e e b a n k s o f T u r k i s h , S w e d i s h a n d E n g l i s h , c o n t a i n i n g t e x t s p u b l i s h e d i n t h e f o r m s o f p o p u l a r l i t e r a t u r e b o o k s . H o w e v e r , t h e y h a v e n o t b e e n r e l e a s e d p u b l i c l y . A n o t h e r e a r l y a t t e m p t o f p a r a l l e l t r e e b a n k i n g i s t h e c o n s t i t u e n c y t r e e b a n k d e s c r i b e d b y Y ı l d ı z e t a l . ( 2 0 1 4 ) a n d K a r a e t a l . ( 2 0 2 0 b ) . T h i s t r e e b a n k i n c l u d e s t r a n s l a t i o n s o f s h o r t s e n t e n c e s ( l e s s t h a n 15 w o r d s ) f r o m P e n n T r e e b a n k ( M a r c u s e t a l . , 1 9 9 3 ) . T h e U D - P U D ( Z e m a n e t a l . , 2 0 1 7 ) i s p a r t o f a p a r a l l e l d e p e n d e n c y t r e e b a n k e ff o r t i n c l u d i n g 20 l a n g u a g e s s o f a r , b u i l t o n s e n t e n c e s t r a n s l a t e d p r e d o m i n a n t l y f r o m E n g l i s h . T h e d e p e n d e n c y a n n o t a t i o n s w e r e p e r f o r m e d b y G o o g l e w i t h t h e i r o w n a n n o t a t i o n s c h e m e a n d a u t o m a t i c a l l y t r a n s l a t e d t o U D f o r t h e C o N L L m u l t i l i n g u a l p a r s i n g s h a r e d t a s k ( Z e m a n e t a l . , 2 0 1 7 ) . A d i ff e r e n t t y p e o f m u l t i l i n g u a l t r e e b a n k i n g e ff o r t i s t h e U D - S A G T t r e e b a n k , w h i c h a n n o t a t e s 2 184 s p o k e n l a n u g a g e u t t e r a n c e s c o n t a i n i n g T u r k i s h – G e r m a n c o d e - s w i t c h i n g t r e e b a n k ( Ç e t i n o ğ l u a n d Ç ö l t e k i n , 2 0 1 9 ; Ç e t i n o ğ l u a n d Ç ö l t e k i n , 2 0 2 2 ) . T h e t r e e b a n k f o l l o w s t h e U D f r a m e w o r k . S e c t i o n 2 . 9 p r o v i d e s f u r t h e r d e t a i l s a b o u t t h e u n d e r l y i n g d a t a s e t . V e r s i o n 2 . 8 o f t h e U D t r e e b a n k s , r e l e a s e d i n M a y 2 0 2 1 , i n t r o d u c e d f o u r n e w T u r k i s h t r e e b a n k s f r o m t h e s a m e g r o u p . O n e o f t h e s e t r e e b a n k s i s t h e d e p e n d e n c y v e r s i o n o f t h e P e n n t r e e b a n k t r a n s l a t i o n s ( Y ı l d ı z e t a l . , 2 0 1 4 ) . O t h e r s i n c l u d e a d o m a i n - s p e c i fi c t o u r i s m t r e e b a n k , a n d t w o t r e e b a n k s a n n o t a t - i n g e x a m p l e s e n t e n c e s f r o m t w o l e x i c a l r e s o u r c e s d i s c u s s e d i n S e c t i o n 3 b e l o w . T h e d e s c r i p t i o n s o f t h e t r e e b a n k s i n t h e U D r e p o s i t o r i e s i n d i c a t e t h a t a l l f o u r t r e e b a n k s a r e m a n u a l l y a n n o t a t e d . H o w e v e r , n o f o r m a l d e s c r i p t i o n s o f t h e s e t r e e b a n k s h a v e b e e n p u b l i s h e d a t t h e t i m e o f w r i t i n g . A s d e s c r i b e d a b o v e , T u r k i s h i s r e l a t i v e l y r i c h w i t h r e s p e c t t o t h e q u a n t i t y o f a v a i l a b l e t r e e b a n k s . H o w e v e r , t h e n e e d f o r i m p r o v e m e n t i n t e r m s o f t h e q u a l i t y  6 Ç . Ç ö l t e k i n , A . S . D o ğ r u ö z , Ö . Ç e t i n o ğ l u o f a n n o t a t i o n s , e s t a b l i s h i n g s t a n d a r d s a n d r e s o l v i n g i n c o n s i s t e n c i e s w i t h i n a n d a c r o s s t r e e b a n k s h a s b e e n e m p h a s i z e d b y m u l t i p l e r e s e a r c h e r s ( s e e , f o r e x a m p l e S a y , 2 0 1 1 ; Ç ö l t e k i n , 2 0 1 6 ; T ü r k e t a l . , 2 0 2 1 , f o r e a r l i e r d i s c u s s i o n s ) . A n u n u s u a l , y e t p o t e n t i a l l y u s e f u l d a t a s e t w i t h m o r p h o s y n t a c t i c a n n o t a t i o n i s O D I N ( L e w i s , 2 0 0 6 ) , a m u l t i l i n g u a l c o l l e c t i o n o f e x a m p l e s f r o m l i n g u i s t i c s l i t e r a t u r e w i t h i n t e r - l i n e a r g l o s s e s . A l t h o u g h O D I N d o e s n o t i n c l u d e a f u l l o r u n i f o r m m o r p h o s y n t a c t i c a n n o t a t i o n s , t h e g l o s s e d e x a m p l e s e n t e n c e s c a n b e u s e f u l f o r l i n g u i s t i c r e s e a r c h ; t h e y m a y s e r v e a s t e s t i n s t a n c e s w i t h i n t e r e s t i n g o r d i ffi c u l t l i n g u i s t i c c o n s t r u c t i o n s ; a n d t h e y c a n b e c o n v e r t e d t o a t r e e b a n k w i t h l e s s e ff o r t t h a n t h a t i s r e q u i r e d f o r a n n o t a t i n g u n a n a l y z e d t e x t . T h e r e a r e a l s o a f e w c o r p o r a t h a t i n c l u d e o n l y m o r p h o l o g i c a l a n n o t a t i o n s . T h e m o s t p o p u l a r c o r p u s w i t h m o r p h o l o g i c a l a n n o t a t i o n s i s a 1M t o k e n c o r p u s d i s a m b i g u a t e d s e m i - a u t o m a t i c a l l y . T h e e x a c t p r o c e d u r e u s e d f o r t h e d i s a m - b i g u a t i o n i s u n c l e a r . T h e c o r p u s w a s i n t r o d u c e d b y H a k k a n i - T ü r e t a l . ( 2 0 0 2 ) , a n d m a d e p u b l i c l y a v a i l a b l e b y l a t e r s t u d i e s o n m o r p h o l o g i c a l d i s a m b i g u a t i o n ( Y ü r e t a n d T ü r e , 2 0 0 6 ; S a k e t a l . , 2 0 1 1 ; D a y a n ı k e t a l . , 2 0 1 8 ) . A n o t h e r f u l l y m a n u a l l y d i s a m b i g u a t e d d a t a s e t c o n s i s t i n g o f 25 098 w o r d s i s r e p o r t e d i n K u t l u a n d Ç i ç e k l i ( 2 0 1 3 ) , w h i c h i s n o t p u b l i c l y a v a i l a b l e b u t c a n b e o b t a i n e d f r o m t h e a u t h o r s v i a e m a i l . 2 . 3 L a r g e - s c a l e ( u n a n n o t a t e d ) l i n g u i s t i c d a t a c o l l e c t i o n s A l t h o u g h w e l l - b a l a n c e d , r e p r e s e n t a t i v e c o r p o r a h a v e b e e n a t t h e f o c u s o f b u i l d - i n g c o r p o r a i n c o r p u s l i n g u i s t i c s , o p p o r t u n i s t i c l a r g e c o l l e c t i o n s o f l i n g u i s t i c d a t a h a v e a l s o b e e n u s e f u l i n C L / N L P t a s k s t h a t r e q u i r e l a r g e d a t a s e t s . F u r - t h e r m o r e , t h e s i z e a n d d i s t r i b u t i o n r e s t r i c t i o n s o n b a l a n c e d c o r p o r a o f t e n l i m i t s t h e i r u s e b o t h f o r N L P a p p l i c a t i o n s , a n d r e s e a r c h o n s o m e l i n g u i s t i c q u e s t i o n s ( e . g . , i f t h e q u e s t i o n s a r e c o n c e r n e d w i t h r a r e l i n g u i s t i c p h e n o m e n a ) . I n t h i s s e c t i o n , w e r e v i e w s o m e o f t h e u n a n n o t a t e d o r a u t o m a t i c a l l y a n n o t a t e d c o r p o r a t h a t a r e e i t h e r u s e d i n e a r l i e r l i t e r a t u r e , o r p u b l i c l y a c c e s s i b l e w i t h o u t m a j o r l i m i t a t i o n s . T h e l a r g e s t T u r k i s h c o r p o r a a v a i l a b l e a r e t w o l a r g e m u l t i l i n g u a l w e b - c r a w l e d d a t a s e t s : s u p p l e m e n t a r y d a t a r e l e a s e d a s p a r t o f C o N L L - 2 0 1 7 U D p a r s i n g s h a r e d t a s k ( Z e m a n e t a l . , 2 0 1 7 ; G i n t e r e t a l . , 2 0 1 7 ) , a n d t h e O S C A R c o r p u s ( O r t i z S u á r e z e t a l . , 2 0 1 9 ; O r t i z S u á r e z e t a l . , 2 0 2 0 ) . B o t h c o r p o r a a r e s e n t e n c e s h u ffl e d t o c o m p l y w i t h t h e c o p y r i g h t l a w s . T h e T u r k i s h p a r t o f t h e C o N L L - 2 0 1 7 d a t a s e t c o n t a i n s a p p r o x i m a t e l y 3.5 b i l l i o n w o r d s . T h e d a t a i s d e d u p l i c a t e d , a n d a u t o m a t i c a l l y a n n o t a t e d f o r m o r p h o l o g y a n d d e p e n d e n c y r e l a t i o n s . T h e d a t a c a n b e d o w n l o a d e d d i r e c t l y f r o m t h e L I N D A T / C L A R I N r e p o s i t o r y . T h e O S C A R c o r p u s i s a v a i l a b l e a s r a w , a n d d e d u p l i c a t e d s v e r s i o n s . T h e T u r k i s h s e c t i o n c o n t a i n s o v e r 3 b i l l i o n w o r d s a f t e r d e d u p l i c a t i o n . T h e O S C A R c o r p u s c a n b e o b t a i n e d a f t e r c r e a t i n g a n a c c o u n t a u t o m a t i c a l l y . T h e p u b l i c l y a v a i l a b l e d a t a d o e s n o t i n c l u d e a n y m e t a i n f o r m a t i o n , a n d t h e o r d e r o f t h e s e n t e n c e s i s d e s t r o y e d b y s h u ffl i n g . H o w e v e r , t h e w e b p a g e o f t h e O S C A R c o r p u s i n c l u d e s a f o r m t o r e q u e s t o r i g i n a l d a t a w i t h o u t s e n t e n c e s h u ffl i n g .  R e so u r c e s f o r T u r k i sh N a t u r a l L a n g u a g e P r o c e ssi n g 7 A n o t h e r p o p u l a r , r e l a t i v e l y l a r g e T u r k i s h c o r p u s i s t h e B O U N c o r p u s ( S a k e t a l . , 2 0 0 8 ) . T h e c o r p u s c o n t a i n s a p p r o x i m a t e l y 500M t o k e n s c o l l e c t e d f r o m t w o m a j o r o n l i n e n e w s p a p e r s a n d o t h e r w e b p a g e s . A l t h o u g h i t i s u s e d i n m a n y s t u d i e s , i t i s n o t c l e a r h o w t o a c c e s s t h i s c o r p u s . A r e l a t i v e l y l a r g e , a n d e a s i l y a c c e s s i b l e d a t a s o u r c e i s t h e m u l t i l i n g u a l L e i p z i g C o r p o r a C o l l e c t i o n ( Q u a s t h o ff e t a l . , 2 0 1 4 ) . T h e T u r k i s h s e c t i o n c o n - t a i n s o v e r 7M s e n t e n c e s ( a p p r o x i m a t e l y 100M w o r d s ) o f n e w s , W i k i p e d i a a n d w e b c r a w l . T h e L e i p z i g c o r p o r a a r e a l s o s e n t e n c e s h u ffl e d . W e b - c r a w l e d d a t a a l s o c o n t a i n s s m a l l e r p a r t s c r a w l e d f r o m T u r k i s h - l a n g u a g e w e b s i t e s p u b l i s h e d i n C y p r u s a n d B u l g a r i a . T h e T u r k i s h p a r l i a m e n t a r y c o r p u s r e l e a s e d a s p a r t o f t h e P a r l a M i n t p r o j e c t ( E r j a v e c e t a l . , 2 0 2 1 ; E r j a v e c e t a l . , 2 0 2 2 ) c o n t a i n s t h e t r a n s c r i p t s o f t h e T u r k i s h p a r l i a m e n t ( 2 0 1 1 – 2 0 2 1 ) , i n c l u d i n g a p p r o x i m a t e l y 43M w o r d s f r o m 303 505 s p e e c h e s d e l i v e r e d a t t h e m a i n p r o c e e d i n g s o f t h e p a r l i a m e n t . T h e d a t a a l s o c o n t a i n s s p e a k e r i n f o r m a t i o n ( n a m e , g e n d e r , p a r t y a ffi l i a t i o n ) a n d a u t o m a t i c a n n o t a t i o n s i n c l u d i n g m o r p h o l o g y , d e p e n d e n c y p a r s i n g a n d n a m e d e n t i t i e s . A n o t h e r r e l a t i v e l y l a r g e ( a p p r o x i m a t e l y 10M w o r d s ) , f r e e l y a c c e s s i b l e c o r p u s i s t h e K a g g l e o l d n e w s d a t a s e t . 7 T h i s i s a m u l t i l i n g u a l c o l l e c t i o n f r o m w e l l - k n o w n n e w s s i t e s . T h e d a t a a l s o i n c l u d e s p u b l i c a t i o n d a t e o f t h e a r t i c l e a n d t h e s o u r c e U R L o f t h e d o c u m e n t . T S C o r p u s ( S e z e r a n d S e z e r , 2 0 1 3 ; S e z e r , 2 0 1 7 ) i s a l s o a l a r g e c o l l e c t i o n o f c o r p o r a w i t h a w e b i n t e r f a c e . T h e c o l l e c t i o n c o n t a i n s s o m e c o r p o r a r e l e a s e d e a r l i e r ( e . g . , t h e B O U N c o r p u s d i s c u s s e d i n S e c t i o n 2 . 1 ) a s w e l l a s s u b - c o r p o r a c o l l e c t e d b y t h e a u t h o r s . T h e a u t h o r s r e p o r t o v e r 1.3 b i l l i o n t o k e n s i n 10 s u b - c o r p o r a f r o m v a r i o u s t e x t s o u r c e s a n d v a r i o u s l e v e l s o f ( a u t o m a t i c ) a n n o t a t i o n . T h e c o r p u s i s s e r v e d v i a a w e b - b a s e d q u e r y i n t e r f a c e , a n d , t o o u r k n o w l e d g e , t h e f u l l c o r p u s i s n o t p u b l i c l y a v a i l a b l e f o r d o w n l o a d . A n o t h e r r e l a t i v e l y s m a l l , b u t p o t e n t i a l l y i n t e r e s t i n g u n a n n o t a t e d d a t a s e t i s a c o m p i l a t i o n o f 6 844 e s s a y s o n c r e a t i v e w r i t i n g c l a s s e s b y T u r k i s h u n i v e r s i t y s t u d e n t s b e t w e e n 2 0 1 4 – 2 0 1 8 . T h e e s s a y s ( a p p r o x i m a t e l y 400K w o r d s ) a r e p u b l i s h e d o n t h e c o u r s e w e b p a g e a s P D F fi l e s . 2 . 4 C o r p o r a w i t h d i s c o u r s e a n n o t a t i o n T h e r e a r e t w o c o r p o r a t h a t a r e a n n o t a t e d f o r d i s c o u r s e m a r k e r s i n T u r k i s h . T h e fi r s t o n e , T u r k i s h D i s c o u r s e B a n k ( Z e y r e k e t a l . , 2 0 1 3 ) , i n c l u d e s r o u g h l y 400K w o r d s a c r o s s v a r i o u s w r i t t e n g e n r e s i n t h e M E T U c o r p u s ( S e c t i o n 2 . 1 ) . T h e c o r p u s i s a n n o t a t e d b a s e d o n e x p l i c i t c o n n e c t i v e s a n d t h e i r t w o a r g u m e n t s . Z e y r e k e t a l . ( 2 0 1 8 ) , o n t h e o t h e r h a n d , f o c u s o n a n n o t a t i n g d i s c o u r s e m a r k e r s i n t h e t r a n s c r i p t s o f T E D t a l k s i n s i x l a n g u a g e s ( i . e . E n g l i s h , G e r m a n , P o l i s h , 7 T h e c o r p u s i s n o t d e sc r i b e d i n a n y e a r l i e r p u b l i c a t i o n . T h r o u g h o u t t h i s su r v e y , w e c i t e t h e p a p e r s d e sc r i b i n g e a c h r e so u r c e , i f o n e a v a i l a b l e , o t h e r w i se p r o v i d e a h y p e r l i n k t o t h e r e so u r c e . L i n k s t o a l l a v a i l a b l e r e so u r c e s a r e p r o v i d e d i n t h e c o m p a n i o n w e b p a g e a t h t t p s : / / t u r k i s h n l p . g i t h u b . i o .  8 Ç . Ç ö l t e k i n , A . S . D o ğ r u ö z , Ö . Ç e t i n o ğ l u T a b l e 2 A su m m a r y o f W S D r e so u r c e s. T h e ‘ A d d i t i o n a l ’ c o l u m n m e n t i o n s a d d i t i o n a l a n n o t a t i o n s, n a m e l y , m o r p h : P O S t a g s a n d m o r p h o l o g y , d e p : d e p e n d e n c y , c o n : c o n st i t u e n c y . R e so u r c e T y p e A d d i t i o n a l S a m p l e s S e n t . M E T U O r h a n e t a l . ( 2 0 0 7 ) l e x i c a l sa m p l e m o r p h , d e p 26 5 385 I T U İ l g e n e t a l . ( 2 0 1 2 ) l e x i c a l sa m p l e - 35 3 616 I şı k A k ç a k a y a a n d Y ı l d ı z ( 2 0 1 8 ) a l l - w o r d s m o r p h , c o n 7 595 83 474 E u r o p e a n P o r t u g u e s e , R u s s i a n a n d T u r k i s h ) . T h e T u r k i s h c o r p u s m e a s u r e s 5 164 w o r d s . T h e a n n o t a t i o n t a s k s i n e a c h l a n g u a g e w e r e c a r r i e d o u t a c c o r d i n g t o t h e P e n n D i s c o u r s e T r e e b a n k ( P T D B ) g u i d e l i n e s . T h e c o r p u s w a s a n n o t a t e d f o r fi v e d i s c o u r s e r e l a t i o n t y p e s ( i . e . , e x p l i c i t c o n n e c t i v e s , a l t e r n a t i v e l e x i c a l i z a t i o n s , i m p l i c i t c o n n e c t i v e s , n o r e l a t i o n ) a n d fi v e t o p - l e v e l s e n s e s ( i . e . , t e m p o r a l , c o m p a r i s o n , e x p a n s i o n , c o n t i n g e n c y , h y p o p h o r a ) . 2 . 5 W o r d s e n s e d i s a m b i g u a t i o n c o r p o r a T h e w o r d s e n s e d i s a m b i g u a t i o n ( W S D ) t a s k h a s b e e n d e fi n e d i n t w o w a y s : l e x i c a l s a m p l e a n d a l l - w o r d s . T h e l e x i c a l s a m p l e t a s k a i m s t o d i s a m b i g u a t e a r e s t r i c t e d s e t o f a m b i g u o u s w o r d s i n t h e i r c o n t e x t . T h e a l l - w o r d s v a r i a n t , o n t h e o t h e r h a n d , d i s a m b i g u a t e s a l l w o r d s o f a g i v e n i n p u t . T u r k i s h h a s r e s o u r c e s f o r b o t h v a r i a n t s . T h e fi r s t W S D d a t a s e t f o r T u r k i s h i s c r e a t e d a s p a r t o f a S e m E v a l 2 0 0 7 t a s k a n d o p t s f o r t h e l e x i c a l s a m p l e v a r i a n t ( O r h a n e t a l . , 2 0 0 7 ) . 26 u n i q u e l e x i c a l s a m p l e s a r e t a g g e d f o r t h e i r s e n s e s , a n d e a c h s a m p l e i s t a g g e d i n a b o u t 100 s e n t e n c e s . T h e c o r p u s u s e d f o r t h e a n n o t a t i o n i s t h e M E T U - S a b a n c ı T r e e b a n k , h e n c e t h e W S D d a t a s e t i s a l r e a d y a c c o m p a n i e d w i t h m o r p h o s y n t a c t i c a n n o t a t i o n s . T h e W S D a n n o t a t i o n a d d s fi n e - g r a i n e d s e n s e s f r o m t h e d i c t i o n a r y o f T u r k i s h L a n g u a g e A s s o c i a t i o n ( T D K ) , c o a r s e - g r a i n s e n s e s , w h i c h a r e a s e t o f s e m a n t i c a l l y c l o s e s t fi n e - g r a i n e d s e n s e s , a n d t h r e e l e v e l s o f o n t o l o g y . İ l g e n e t a l . ( 2 0 1 2 ) a l s o e m p l o y t h e l e x i c a l s a m p l e s a p p r o a c h b u t c h o o s e t h e i r w o r d s a m o n g t h e m o s t a m b i g u o u s w o r d s b a s e d o n a f r e q u e n c y l i s t ( G ö z , 2 0 0 3 ) . T h e r e a r e 35 l e x i c a l s a m p l e s i n t o t a l a n d e a c h s a m p l e i s a n n o t a t e d i n a t l e a s t 100 s e n t e n c e s . T h e c o r p u s w a s c o l l e c t e d f r o m w e l l - k n o w n w e b s i t e s o n n e w s , h e a l t h , s p o r t s , a n d e d u c a t i o n i n T u r k i s h . T h e w o r d s e n s e s c o m e f r o m t h e T D K d i c t i o n a r y ( t h o u g h t h e a u t h o r s e l i m i n a t e d s o m e s e n s e s t h a t a r e i n f r e q u e n t i n o n l i n e r e s o u r c e s ) . T h e fi r s t a l l - w o r d s W S D r e s o u r c e f o r T u r k i s h a n n o t a t e s a s e t o f s e n t e n c e s t h a t c o n t a i n s t r a n s l a t i o n s o f P e n n T r e e b a n k s e n t e n c e s u p t o 15 t o k e n s ( t h e t r e e b a n k i s d e s c r i b e d i n S e c t i o n 2 . 2 ) . A k ç a k a y a a n d Y ı l d ı z ( 2 0 1 8 ) a n n o t a t e s t h e d e p e n d e n c y v e r s i o n o f t h e t r e e b a n k a s a n a l l - w o r d s W S D r e s o u r c e . T h e r e f o r e , t h e s e n t e n c e s a l s o i n c l u d e m o r p h o s y n t a c t i c a n n o t a t i o n s . A s i n o t h e r r e s o u r c e s , t h e s e n s e i n f o r m a t i o n c o m e s f r o m t h e T D K d i c t i o n a r y . 8 I n t o t a l , t h e r e a r e 7 595 8 N o t e t h a t i t i s t h e sa m e d i c t i o n a r y , y e t d i ff e r e n t v e r si o n s.  R e so u r c e s f o r T u r k i sh N a t u r a l L a n g u a g e P r o c e ssi n g 9 u n i q u e l e x i c a l s a m p l e s t o d i s a m b i g u a t e i n a c o r p u s o f 83 473 t o k e n s . 77 % o f t h e s e u n i q u e s a m p l e s a r e n o u n s , f o l l o w e d b y v e r b s a n d a d j e c t i v e s . T h e s t a t i s t i c s f o r W S D r e s o u r c e s a r e g i v e n i n T a b l e 2 . 2 . 6 C o r p o r a o f p a r e n t - c h i l d i n t e r a c t i o n s L a n g u a g e a c q u i s i t i o n h a s b e e n a m a j o r i n t e r e s t i n m o d e r n l i n g u i s t i c s , w h e r e T u r k i s h a l s o r e c e i v e d a f a i r a m o u n t o f a t t e n t i o n b e c a u s e o f a r a t h e r i n t e r e s t i n g l e a r n i n g c o u r s e o b s e r v e d b y y o u n g l e a r n e r s , f o r e x a m p l e , a n e a r l y a n d e r r o r - f r e e a c q u i s i t i o n o f c a s e m o r p h o l o g y ( X a n t h o s e t a l . , 2 0 1 1 ) . T h e C H I L D E S d a t a b a s e ( M a c W h i n n e y a n d S n o w , 1 9 8 5 ) c o n t a i n s t w o T u r k i s h d a t a s e t s w i t h t r a n s c r i p t i o n s o f p a r e n t – c a r e g i v e r i n t e r a c t i o n s . T h e fi r s t d a t a s e t ( A k s u - K o ç a n d S l o b i n , 1 9 8 5 ) c o n t a i n s t r a n s c r i p t s o f 54 s e s s i o n s c o n s i s t i n g o f i n t e r a c t i o n s w i t h 33 c h i l d r e n b e t w e e n 28 t o 56 m o n t h s o f a g e . T h e s e c o n d d a t a s e t ( A l t ı n k a m ı ş T ü r k a y , 2 0 0 5 ; A l t ı n k a m ı ş , 2 0 1 2 ) c o n t a i n s t r a n s c r i p t i o n s o f 15 r e c o r d i n g s w i t h t h e s a m e c h i l d b e t w e e n a g e s 16 m o n t h s t o 28 m o n t h s . B o t h c o r p o r a m a r k t h e s p e a k e r s , a n d i n c l u d e s o m e m e t a - l i n g u i s t i c i n f o r m a t i o n . T h e l a t t e r c o r p u s a l s o i n c l u d e s m o r p h o l o g i c a l a n n o t a t i o n o f a s u b s e t o f t h e c h i l d u t t e r a n c e s . A l a r g e r a n d m o r e r e c e n t c h i l d - l a n g u a g e d a t a s e t i s r e p o r t e d i n M o r a n e t a l . ( 2 0 1 5 ) . H o w e v e r , t h e T u r k i s h s e c t i o n o f t h i s c o r p u s w a s n o t r e l e a s e d a s o f t h i s w r i t i n g . R o t h w e i l e r ( 2 0 1 1 ) h a s a l s o r e l e a s e d a ‘ T u r k i s h - G e r m a n s u c c e s s i v e b i l i n g u a l s c o r p u s ’ w h i c h c o n t a i n s 94 l o n g i t u d i n a l s p o n t a n e o u s s p e e c h s a m p l e s b y T u r k i s h - G e r m a n b i l i n g u a l c h i l d r e n ( 7 – 2 8 m o n t h s - o l d ) r e c o r d e d b e t w e e n 2 0 0 3 – 2 0 0 8 . P a r t o f t h e d a t a c o u l d b e v i e w e d f o r r e s e a r c h p u r p o s e s a f t e r o b t a i n i n g a p a s s w o r d . 2 . 7 S o c i a l m e d i a t e x t n o r m a l i z a t i o n c o r p o r a N o r m a l i z a t i o n o f s o c i a l m e d i a t e x t i s a n i m p o r t a n t fi r s t s t e p i n m a n y N L P a p p l i c a t i o n s , w h e r e i l l - f o r m e d w o r d s o r p h r a s e s a r e r e p l a c e d ( o r a s s o c i a t e d ) w i t h t h e i r n o r m a l f o r m s . T h e d e fi n i t i o n o f ‘ i l l - f o r m e d ’ t e x t i s d e b a t a b l e a n d t e x t n o r m a l i z a t i o n i n s o c i a l m e d i a h i n d e r s a n a l y z i n g s o c i a l a s p e c t s o f l a n g u a g e u s e f r o m a c o m p u t a t i o n a l s o c i o l i n g u i s t i c p o i n t o f v i e w ( N g u y e n e t a l . , 2 0 1 6 ; E i s e n s t e i n , 2 0 1 3 ) . H o w e v e r , n o r m a l i z a t i o n d a t a s e t s e n a b l e t h e u s e o f t o o l s c r e a t e d f o r f o r m a l / s t a n d a r d l a n g u a g e , a n d n o n - d e s t r u c t i v e t e x t n o r m a l i z a t i o n i s a l s o h e l p f u l i n a n a l y z i n g i n t e r e s t i n g a s p e c t s o f n o n - s t a n d a r d l a n g u a g e u s e b y i n d i v i d u a l s o r g r o u p s . W e r e v i e w c o r p o r a f o r n o r m a l i z a t i o n p u r p o s e s h e r e , f o r l e x i c a l r e s o u r c e s f o r t h e s a m e p u r p o s e , s e e S e c t i o n 3 . 5 . E r y i ˇg i t a n d T o r u n o ˇg l u - S e l a m e t ( 2 0 1 7 ) r e p o r t a ‘ b i g T w i t t e r d a t a s e t ’ ( B T S ) f o r n o r m a l i z a t i o n w h i c h c o n s i s t s o f 26 149 t w e e t s , a s w e l l a s u s i n g I W T ( s e e S e c t i o n 2 . 2 ) a s a s o u r c e o f n o r m a l i z a t i o n d a t a . T h e B T S c o n t a i n s 57 088 m a n u a l l y n o r m a l i z e d t o k e n s o u t o f a t o t a l o f 385 568. I n I W T , 5 101 t o k e n s ( o u t o f 39 152 a r e n o r m a l i z e d . T h e d a t a s e t s a r e a v a i l a b l e f r o m t h e g r o u p ’ s w e b p a g e a f t e r s i g n i n g a l i c e n s e a g r e e m e n t . Ç o l a k o ğ l u e t a l . ( 2 0 1 9 ) i n t r o d u c e d a n o t h e r n o r m a l i z a t i o n t e s t s e t o f 713 t w e e t s ( 7 948 t o k e n s , 2 856 n o r m a l i z e d ) .  1 0 Ç . Ç ö l t e k i n , A . S . D o ğ r u ö z , Ö . Ç e t i n o ğ l u T h e d a t a s e t i s a v a i l a b l e v i a W - N U T 2 0 2 1 S h a r e d T a s k o n M u l t i l i n g u a l T e x t N o r m a l i z a t i o n . A m o r e r e c e n t T w i t t e r n o r m a l i z a t i o n d a t a c o n s i s t i n g o f 2 000 s e n t e n c e s w a s i n t r o d u c e d i n K ö k s a l e t a l . ( 2 0 2 0 ) . 6 488 o u t - o f - v o c a b u l a r y ( O o V ) t o k e n s ( o u t o f 16 878) i d e n t i fi e d u s i n g l e x i c a l r e s o u r c e s w e r e m a n u a l l y a n n o t a t e d ( b e l o w 10 % o f t h e O o V t o k e n s a r e w e l l - f o r m e d , e . g . , f o r e i g n n a m e s o r n e o l o g i s m s ) . T h e d a t a s e t i s a v a i l a b l e t h r o u g h a G i t H u b r e p o s i t o r y . B e s i d e s t h e s e m o n o l i n g u a l r e s o u r c e s , a n o r m a l i z a t i o n d a t a s e t f o r T u r k i s h – G e r m a n i s a l s o a v a i l a b l e ( v a n d e r G o o t a n d Ç e t i n o ğ l u , 2 0 2 1 ) . T h i s d a t a s e t i s a r e v i s e d v e r s i o n o f t h e d a t a f r o m Ç e t i n o ğ l u a n d Ç ö l t e k i n ( 2 0 1 6 ) f o r n o r m a l i z a t i o n b y e m p l o y i n g t o k e n - l e v e l a l i g n m e n t l a y e r s a n d a d a p t i n g e x i s t i n g l a n g u a g e I D a n d P O S t a g s f o r t h e s e n e w l a y e r s . 2 . 8 C o r p o r a f o r n a m e d e n t i t y r e c o g n i t i o n N a m e d e n t i t y r e c o g n i t i o n ( N E R ) f o r T u r k i s h h a s b e e n s t u d i e d b y d i v e r s e g r o u p s o f r e s e a r c h e r s w i t h a f e w p u b l i c l y a v a i l a b l e d a t a s e t s . T ü r e t a l . ( 2 0 0 3 ) i s o n e o f t h e fi r s t t o s t u d y N E R i n T u r k i s h w i t h a d a t a s e t c o m p i l e d f r o m n e w s p a p e r a r t i c l e s o v e r a p p r o x i m a t e l y o n e y e a r ( 1 9 9 7 – 1 9 9 8 ) . T h e d a t a s e t i s a n n o t a t e d f o r E N A M E X ( p e r s o n , l o c a t i o n , o r g a n i z a t i o n ) n a m e d e n t i t y t y p e s . T h e d a t a s e t h a s b e e n t h e s t a n d a r d b e n c h m a r k f o r m a n y s u b s e q u e n t s t u d i e s , w i t h s o m e c h a n g e s a l o n g t h e w a y . O r i g i n a l a r t i c l e r e p o r t s a d a t a s e t o f a p p r o x i m a t e l y 1M w o r d s . T h e v e r s i o n o f t h e d a t a s e t a s u s e d b y Y e n i t e r z i ( 2 0 1 1 ) c o n s i s t s o f a p p r o x i m a t e l y 500K w o r d s w i t h 37 189 n a m e d e n t i t i e s ( 16 291 p e r s o n , 11 715 l o c a t i o n 9 183 o r g a n i z a t i o n ) . T h i s v e r s i o n o f t h e d a t a c a n b e o b t a i n e d t h r o u g h e m a i l . Ç e l i k k a y a e t a l . ( 2 0 1 3 ) r e p o r t t h r e e a d d i t i o n a l d a t a s e t s c o v e r i n g d i ff e r e n t t e x t s o u r c e s , n a m e l y , a c o m p u t e r h a r d w a r e f o r u m , o r d e r s t o a s p e e c h a s s i s t a n t , a n d T w i t t e r . T h e d a t a i s a l s o a n n o t a t e d f o r N U M E X e n t i t i e s ( n u m e r i c a l e x p r e s s i o n s ) . Ş e k e r a n d E r y i ğ i t ( 2 0 1 7 ) r e p o r t a n a n n o t a t i o n e ff o r t p a r t i a l l y b a s e d o n t h e d a t a s e t s r e p o r t e d i n Ç e l i k k a y a e t a l . ( 2 0 1 3 ) a n d T ü r e t a l . ( 2 0 0 3 ) , b u t a l s o a n n o t a t i n g t h e I W T ( d e s c r i b e d i n S e c t i o n 2 . 2 ) . T h e d a t a s e t s a r e a v a i l a b l e f r o m t h e g r o u p ’ s w e b p a g e a f t e r s i g n i n g a l i c e n s e a g r e e m e n t . E k e n a n d T a n t u g ( 2 0 1 5 ) a l s o r e p o r t a n a d d i t i o n a l 9 358 t w e e t s a n n o t a t e d s i m i l a r t o Ç e l i k k a y a e t a l . ( 2 0 1 3 ) . H o w e v e r , a v a i l a b i l i t y o f t h i s d a t a s e t i s u n c l e a r . K ü ç ü k e t a l . ( 2 0 1 4 ) a n d K ü ç ü k a n d C a n ( 2 0 1 9 ) r e p o r t t w o T w i t t e r d a t a s e t s o f 2 320 a n d 1 065 t w e e t s , r e s p e c t i v e l y . T h e s e d a t a s e t s a r e a n n o t a t e d f o r p e r s o n , l o c a t i o n , o r g a n i z a t i o n , d a t e , t i m e , m o n e y a n d m i s c ( e . g . , n a m e s o f T V p r o g r a m s , m u s i c b a n d s ) , a n d p u b l i c l y a v a i l a b l e t h r o u g h t h e a u t h o r s ’ G i t H u b r e p o s i t o r i e s . 2 . 9 C o d e - s w i t c h i n g c o r p o r a C o d e - s w i t c h i n g r e f e r s t o m i x i n g m o r e t h a n o n e l a n g u a g e i n w r i t t e n a n d s p o k e n c o m m u n i c a t i o n a n d i t i s q u i t e c o m m o n i n m u l t i l i n g u a l s e t t i n g s ( e . g . i m m i g r a t i o n c o n t...