A Run-Time Shared Repository for NLP Tools - INESC-ID (PDF)

A R un-T i m e Sha r e d R e po s i t o r y f o r N L P T o o l s J o˜ao G r a¸c a1 , Nu n o J . M am e d e 1 , an d J o˜ao D . P e r e i r a2 S p ok e n Lan gu age S y s t e m s Lab R u a Al v e s R e d ol 9, 1000- 029 Li s b oa, P or t u gal 1 L 2 F – I N E S C - I D L i s b o a / I S T { joao.graca,nuno.mamede} @l2f.inesc-id.pt, 2 S o f t w a re E n g . G ro u p – I N E S C - I D L i s b o a [email protected] A b s t r a c t . N a t u ra l L a n g u a g e s y s t e m s a re u s u a l l y c o m p o s e d b y s e v e ra l t o o l s e x e c u t e d i n a p i p e l i n e d m a n n e r. T h i s t y p e o f p ro c e s s i n g p re s e n t s s o m e p ro b l e m s c a u s e d b y l o s s o f i n f o rm a t i o n b e t w e e n t o o l s . T h i s p a p e r p re s e n t s a s o l u t i o n t o t h i s p ro b l e m i n t h e f o rm o f a s h a re d re p o s i t o ry f o r n a t u ra l l a n g u a g e p ro c e s s i n g . F i rs t , re l a t e d a rc h i t e c t u re s a re d e s c ri b e d a l o n g w i t h t h e re a s o n s w h y t h e y w e re n o t c h o s e n a s re f e re n c e a rc h i t e c - t u re s . T h e n w e p re s e n t o u r s o l u t i o n i n t h e f o rm o f a n a rc h i t e c t u ra l m o d e l a n d t h e c o rre s p o n d i n g A P I . R e s u m o . O s s i s t e m a s d e l ´ı n g u a n a t u ra l s ˜a o n o rm a l m e n t e c o m p o s t o s p o r d i f e re n t e s f e rra m e n t a s c u j a e x e c u ¸c ˜a o s e p ro c e s s a s e q u e n c i a l m e n t e . E s t e t i p o d e p ro c e s s a m e n t o a p re s e n t a p ro b l e m a s d e v i d o `a p e rd a d e i n - f o rm a ¸c ˜a o e n t re f e rra m e n t a s . E s t e a rt i g o a p re s e n t a u m a s o l u ¸c ˜a o p a ra e s t e p ro b l e m a q u e c o n s i s t e n u m re p o s i t ´o ri o p a rt i l h a d o d e l ´ı n g u a n a t - u ra l . P ri m e i ro , a p re s e n t a m - s e a rq u i t e c t u ra s re l a c i o n a d a s e o m o t i v o p e l o q u a l e s t a s n ˜a o f o ra m c o n s i d e ra d a s c o m o a rq u i t e c t u ra s d e re f e rˆe n c i a . D e s e g u i d a , a p re s e n t a - s e a n o s s a s o l u ¸c ˜a o s o b a f o rm a d e u m m o d e l o a rq u i - t e c t u ra l e a re s p e c t i v a A P I . K e y w o r d s . R u n - T i m e R e p o s i t o ry , L i n g u i s t i c A n n o t a t i o n , B l a c k b o a rd . 1 I nt r o duct i o n A Nat u r al Lan gu age s y s t e m i s c om p os e d b y s e v e r al t ool s , e ac h p e r f or m i n g a s p e c i fi c t as k . E x e c u t i n g t h e s y s t e m c or r e s p on d s t o e x e c u t i n g t h e v ar i ou s t ool s i n a p i p e l i n e d m an n e r ( s e e fi gu r e 1) . T h i s k i n d of p i p e l i n e ar c h i t e c t u r e p r e s e n t s t h e f ol l ow i n g p r ob l e m s : – I n f or m at i on m ay b e l os t b e t w e e n e x e c u t i on s of d i ff e r e n t t ool s : w h e n P As M o s p l i t s t h e c on t r ac t i on “d o” i n t o “d e ” + “o”, t h e i n f or m at i on t h at t h e or i gi n al w or d i n t h e t e x t w as “d o” i s l os t t o t h e f ol l ow i n g t ool s i n t h e s y s t e m . – T ool s m u s t e n s u r e t h at i n f or m at i on t h at t h e y c on s i d e r i r r e l e v an t i s p as s e d t o t h e ou t p u t . I n t h e e x am p l e , t h e s y n t ac t i c p ar s e r S u S An a m u s t k e e p t h e w or d s t e m s f or f u t u r e t ool s al t h ou gh i t h as n o n e e d f or t h e m . T o av oi d t h e s e p r ob l e m s , ou r s ol u t i on c on s i s t s of h av i n g a s h ar e d r e p os i t or y w h i c h i s t h e s ou r c e of i n p u t /ou t p u t of al l t ool s .  F i g . 1 . E x i s t i n g s y s t e m c h a rt : S m o rp h [ 1 ] i s a m o rp h o l o g y p ro c e s s o r, P A s M o [ 1 0 ] i s a ru l e d - b a s e d re w ri t e r, M A R v [ 1 1 ] i s a m o rp h o l o g i c a l d i s a m b i g u a t o r, S u S A n a [ 2 ] i s a s y n t a c t i c a n a l y z e r, A l g a s [ 5 ] , O g re [ 5 ] , a n d A s d e C o p a s [ 6 ] a re s e m a n t i c s d o m a i n t o o l s . F i g . 2 . D i s t ri b u t e d re p o s i t o ry  E ac h t ool r e ad s t h e r e q u i r e d i n f or m at i on , an d ad d s n e w i n f or m at i on t o t h e r e p os i t or y , as i n a b l ac k b oar d ar c h i t e c t u r e . T h e r e p os i t or y m u s t h av e t h e f ol l ow - i n g p r op e r t i e s i n or d e r t o s ol v e t h e p r e s e n t e d p r ob l e m s : – T h e r e i s n o i n f or m at i on l os t ; – T ool s u s e on l y t h e i n f or m at i on t h e y r e q u i r e . T h e r e p os i t or y al s o h as t h e f ol l ow i n g p r op e r t i e s : – T ool s u s e a ge n e r i c AP I f or i n p u t /ou t p u t : t h i s w ay , t h e t ool ’ s d e v e l op e r av oi d s d e al i n g w i t h i n p u t /ou t p u t d e c i s i on s an d i s ab l e t o c on c e n t r at e on t h e al gor i t h m i c p ar t ; – T h e r e p os i t or y p r ov i d e s a b r oad c ov e r age f or t h e d at a u s e d b y l i n gu i s t i c s t ool s ; – T h e r e p os i t or y d oe s n ot as s oc i at e an y s e m an t i c s w i t h t h e d at a i t c on t ai n s . E ac h t ool r e gi s t e r s i t s e l f i n t h e r e p os i t or y an d u s e s t h e r e p os i t or y ’ s AP I t o r e ad /w r i t e i t s d at a; – E ac h t ool c an ac c e s s al l t h e r e p os i t or y d at a, as i f al l t h e d at a w as p r e s e n t i n m e m or y , t h r ou gh t h e AP I . T h i s av oi d s r e ad i n g s e v e r al ou t p u t fi l e s i n t o s t r u c t u r e s i n s i d e t h e ap p l i c at i on . 2 R e l a t e d W o r k T o d e al w i t h t h i s p r ob l e m d i r e c t l y or i n d i r e c t l y , s om e r e s e ar c h e r s d e fi n e an ar c h i - t e c t u r e f or r e p r e s e n t i n g l i n gu i s t i c i n f or m at i on . T h e f ol l ow i n g ar c h i t e c t u r e s w i l l b e an al y z e d : T h e an n ot at i on gr ap h ar c h i t e c t u r e [ 8] , At l as [ 9] , E m u S y s t e m [ 7] , Nat u r al Lan gu age t ool k i t [ 4] an d W h i t e b oar d [ 3] . T h e an n ot at i on gr ap h s ar c h i t e c t u r e [ 8] i s a m od e l f or l i n gu i s t i c an n ot at i on s of t i m e - s e r i e s d at a. I t p r e s e n t s t h e f ol l ow i n g p r ob l e m s w h e n u s e d as a r e f e r - e n c e ar c h i t e c t u r e : fi r s t , i t l i m i t s t h e k i n d of s i gn al t h at c an b e u s e d b e c au s e t h e s i gn al m u s t b e r e l at e d w i t h t i m e . S i n c e i t i s an ar c h i t e c t u r e f or b u i l d i n g an n o- t at i on t ool s , n ot t o b u i l d a s h ar e d r e p os i t or y , i t l ac k s t h e c on c e p t of ap p l i c at i on ( d e s c r i b e d i n s e c t i on 3. 1) t h at i s r e q u i r e d i n ou r r e p os i t or y . I t al s o h as s om e l i m i t at i on s c on c e r n i n g t h e e x p r e s s i v e p ow e r of t h e l i n gu i s t an n ot at i on m od e l , an d i t h as n o ob v i ou s w ay t o r e p r e s e n t am b i gu ou s an n ot at i on s f or t h e s am e r e - gi on of t h e s ou r c e s i gn al . An am b i gu ou s an n ot at i on ap p e ar s , f or e x am p l e , i n t h e t e x t s e gm e n t at i on p r oc e s s w h e r e a c om p ou n d w or d c an b e s e gm e n t e d e i t h e r as a c om p ou n d w or d or as s e v e r al i n d i v i d u al w or d s ( s e e fi gu r e 3) . T h e At l as [ 9] ar c h i t e c t u r e i s a ge n e r al p u r p os e an n ot at i on f r am e w or k . I t s s t ar t i n g p oi n t i s t h e an n ot at i on gr ap h s m od e l . I t p r e s e n t s s e v e r al ge n e r al i z a- t i on s t o t h e an n ot at i on gr ap h s m od e l s , n am e l y an y k i n d of s i gn al c an b e u s e d . Ne v e r t h e l e s s , t h e ot h e r p r ob l e m s m e n t i on e d ab ov e r e m ai n . T h e E m u s p e e c h d at ab as e s y s t e m [ 7] p r ov i d e s a fl e x i b l e s e t of i n t e r f ac e s f or d e v e l op i n g an d e x t r ac t i n g d at a f r om s p e e c h d at ab as e s . An E m u s p e e c h d at ab as e c on s i s t s of a c ol l e c t i on of s am p l e d d at a fi l e s , e ac h of w h i c h h as on e or m or e as s oc i at e d l ab e l fi l e s . E m u i s n ot ad e q u at e b e c au s e i t r e q u i r e s t h at a d at ab as e  � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � � F i g . 3 . S e g m e n t a t i o n a m b i g u i t y t e m p l at e b e d e fi n e d an d on e of t h e ob j e c t i v e s of ou r r e p os i t or y i s t h at i t h as n o i n f or m at i on ab ou t t h e d at a i t c on t ai n s , b e i n g a c om p l e t e l y d y n am i c s y s t e m . T h e Nat u r al Lan gu age T ool k i t [ 4] i s a s u i t e of op e n s ou r c e p r ogr am m od - u l e s , t u t or i al s an d e x e r c i s e s , c ov e r i n g s y m b ol i c an d s t at i s t i c al n at u r al l an gu age p r oc e s s i n g. T h e s e m od u l e s w or k w i t h s t r u c t u r e s c al l e d t ok e n s w h i c h c or r e s p on d t o u n i t s of t e x t c on t ai n i n g a s e t of p r op e r t i e s . T h e t ok e n s t r u c t u r e w or k s as a b l ac k b oar d b e c au s e n o i n f or m at i on i s r e m ov e d f r om i t d u r i n g t h e p r oc e s s i n g p h as e s c ar r i e d ou t b y t h e v ar i ou s t as k s . Ne v e r t h e l e s s , i t l ac k s t h e c on c e p t of s h ar e d r e p os i t or y w i t h d i ff e r e n t t ool s ad d i n g a l e v e l . Al s o, t h e t ok e n ab s t r ac t i on i s u n ab l e t o r e p r e s e n t s om e am b i gu i t y p r ob l e m s , as e x p l ai n e d ab ov e . T h e W h i t e B oar d [ 3] ar c h i t e c t u r e i s an ar c h i t e c t u r e b as e d on t h e c on c e p t of an n ot at e d t e x t . T h e d i ff e r e n t t ool s e n r i c h an XM L- e n c od e d t e x t w i t h l ay e r s of m e t a i n f or m at i on t h at ar e al s o r e p r e s e n t e d i n XM L. E ac h c om p on e n t c an e x p l oi t or d i s r e gar d p r e v i ou s l y as s i gn e d an n ot at i on s : on e of t h e r e as on s t h at l e ad u s t o d i s c ar d t h i s ar c h i t e c t u r e i s t h at i t r e q u i r e s t h e s ou r c e s i gn al t o b e a t e x t . O n e ob j e c t i v e of ou r r e p os i t or y i s t h at i t c an ac c e p t an y k i n d of s ou r c e s i gn al . 3 P r o po s e d So l ut i o n T h e s h ar e d r e p os i t or y c on s i s t s of a s e r v e r t h at ac c e p t s c on n e c t i on s f r om d i ff e r e n t t ool s . E ac h t ool c an c on s u l t t h e i n f or m at i on p r e s e n t i n t h e r e p os i t or y an d ad d t h e i n f or m at i on i t p r od u c e s . T h e r e p os i t or y av oi d s i n f or m at i on l os s b e t w e e n d i ff e r e n t t ool s an d al l ow s d e v e l op e r s t o c on c e r n t h e m s e l v e s on l y w i t h t h e al gor i t h m i c p ar t of t h e t ool . 3. 1 M od e l T h e r e p os i t or y r e p r e s e n t s l i n gu i s t i c d at a ac c or d i n g t o t h e f ol l ow i n g m od e l ( s e e fi gu r e 4) : – R e p os i t or y - T h i s i s t h e m ai n c on c e p t : k e e p s t h e d at a p r od u c e d b y t h e d i ff e r e n t t ool s . I t c on t ai n s t h e s ou r c e s i gn al w h i c h i s t h e d at a t h at w i l l b e an al y z e d b y t h e t ool s . – A p p l i c a t i on - C or r e s p on d s t o t h e ou t p u t of t h e e x e c u t i on of a t ool . I t i s i d e n t i fi ab l e b y a u n i q u e i d , t h e n am e an d t y p e of t h e t ool t h at or i gi n at e d i t , an d a t i m e s t am p . T h e s am e t ool m ay b e e x e c u t e d s e v e r al t i m e s an d e ac h  F i g . 4 . M o d e l ou t p u t c or r e s p on d s t o a d i ff e r e n t ap p l i c at i on , t h e s e d i ff e r e n t ap p l i c at i on s w i l l h av e d i ff e r e n t i d s an d d i ff e r e n t t i m e s t am p s . – A n a l y s i s - C or r e s p on d s t o an an al y s i s p e r f or m e d b y a t ool , l i k e a s y n t ac - t i c t r e e c r e at e d b y a s y n t ac t i c p ar s e r . T h e e x e c u t i on of a s y n t ac t i c p ar s e r ge n e r at e s an ap p l i c at i on t h at w i l l c on t ai n s e v e r al an al y s i s , on e f or e ac h s y n - t ac t i c t r e e p r od u c e d . An an al y s i s i s i d e n t i fi ab l e b y an u n i q u e i d i n s i d e t h e r e p os i t or y . – S e gm e n t - C or r e s p on d s t o a p ar t of t h e s ou r c e s i gn al t h at w i l l b e c l as s i fi e d . F or e x am p l e , a w or d i n s i d e a t e x t ( s e e fi gu r e 5) . An an al y s i s c an c on t ai n F i g . 5 . W o rd s e g m e n t o v e r a t e x t s i g n a l a s e t of s e gm e n t s c or r e s p on d i n g t o t h e s ou r c e s i gn al t h at w as an al y z e d . S e gm e n t s ar e al i gn e d w i t h t h e s ou r c e s i gn al . E ac h i s f u r t h e r d i v i d e d i n t o s i m p l e s e gm e n t s an d am b i gu ou s s e gm e n t s . I t c an c on t ai n s u b - s e gm e n t s u s e d f or d e fi n i n g t r e e s ( s e e fi gu r e 6) . I t h as a u n i q u e i d i n s i d e t h e r e p os i t or y . – S i m p l e S e gm e n t - C or r e s p on d s t o a s e gm e n t t h at c an b e c l as s i fi e d . – A m b i gu ou s S e gm e n t - C or r e s p on d s t o a gr ap h w h i c h r e p r e s e n t s am b i gu i t y i n s i d e a s e gm e n t . T h e am b i gu ou s s e gm e n t c on t ai n s a s e t of an al y s i s c on t ai n - i n g t h e gr ap h p at h s ( s e e fi gu r e 7, r e p r e s e n t i n g t h e am b i gu i t y p r e s e n t e d i n fi gu r e 3)  F i g . 6 . S u b s e g m e n t s re p re s e n t i n g a s y n t a c t i c t re e – R e l a t i on - R e p r e s e n t s an as s oc i at i on b e t w e e n s e gm e n t s . An an al y s i s m ay c on t ai n a s e t of r e l at i on s , e ac h r e l at i on c an as s oc i at e s e gm e n t s f r om d i ff e r e n t ap p l i c at i on s p r e s e n t i n t h e r e p os i t or y : t h os e s e gm e n t s ar e i d e n t i fi ab l e b y t h e i r i d . – C l a s s i fi c a t i on – C or r e s p on d s t o t h e c l as s i fi c at i on gi v e n t o a s i m p l e s e g- m e n t . A s e gm e n t c an c on t ai n d i ff e r e n t c l as s i fi c at i on s i n or d e r t o r e p r e s e n t t h e c l as s i fi c at i on am b i gu i t y , f or e x am p l e , t h e p ar t of s p e e c h of a gi v e n w or d . – F e a t u r e - A f e at u r e i s an at t r i b u t e - v al u e p ai r c or r e s p on d i n g t o s om e c h ar - ac t e r i s t i c of t h e s e gm e n t . A c l as s i fi c at i on i s c om p os e d b y a s e t of f e at u r e s . A f e at u r e at t r i b u t e d oe s n ot h av e an y s e m an t i c m e an i n g. 3. 2 A P I T h e r e p os i t or y w or k s as a s e r v e r t h at ac c e p t s c on n e c t i on s . E ac h t ool s e n d s a m e s s age t o t h e r e p os i t or y i n or d e r t o r e gi s t e r i t s e l f . T h e t ool r e c e i v e s a n e w ap p l i c at i on i n s t an c e w h e r e i t w i l l ad d t h e i n f or m at i on i t p r od u c e s an d r e c e i v e s a r e ad - on l y r e p os i t or y i n s t an c e i n or d e r t o n av i gat e t h r ou gh t h e e x i s t i n g i n f or - m at i on . W h e n t h e t ool fi n i s h e s i t s p r oc e s s i n g p h as e , i t s e n d s a m e s s age t o t h e r e p os i t or y t o s av e t h e n e w ap p l i c at i on ob j e c t an d e n d i t s i n t e r ac t i on w i t h t h e r e p os i t or y . T h e d at a i n s i d e t h e r e p os i t or y i s p e r s i s t e n t . F r om t h e t ool ’ s p oi n t of v i e w , al l t h e r e p os i t or y d at a i s r e ac h ab l e t h r ou gh t h e r e p os i t or y ob j e c t t h at h ol d s t h e r oot of t h e i n f or m at i on gr ap h . F r om t h e r e p os i t or y ’ s p oi n t of v i e w t h e d at a m ay b e s av e d i n a p e r s i s t e n t s t or e an d w i l l b e ac c e s s e d w h e n r e q u i r e d .  � � � � � � � � � � � � � � � � � � � �   �  �  �  �     �   � � � �   � �  �  �     �     �  �  �  � �  �  �   �   �   �  � �   �  �  �  �     �   � �  �   � �  �  �     �     �  �  �  �   �   �   � � F i g . 7 . R e p re s e n t a t i o n o f a t o k e n i z a t i o n a m b i g u i t y T h e t ool c an ac c e s s t h e r e p os i t or y d at a i n s e v e r al w ay s . I t c an l ook f or a gi v e n ob j e c t b y i t s i d , l i k e w h e n s e l e c t i n g a gi v e n ap p l i c at i on , an al y s i s or s e gm e n t . I t c an l ook f or al l ap p l i c at i on s p r od u c e d b y a gi v e n t ool , or f or al l ap p l i c at i on s of a gi v e n t y p e . F or e x am p l e , a p ar t of s p e e c h d i s am b i gu at i on t ool m ay l ook f or al l ap p l i c at i on s ge n e r at e d b y m or p h ol ogi c an al y z e r s an d d i s am b i gu at e t h e p ar t of s p e e c h b as e d on t h e d i ff e r e n t ap p l i c at i on s . T h e AP I al s o h as i t e r at or s ov e r e ac h d om ai n e l e m e n t : i t i s p os s i b l e t o i t e r at e ov e r t h e ap p l i c at i on of t h e r e p os i t or y , ov e r t h e s e gm e n t s of an an al y s i s , e t c . W h e n i t e r at i n g ov e r a l i s t of s e gm e n t s t h at c on t ai n s am b i gu ou s s e gm e n t s , t w o op t i on s ar e av ai l ab l e : on e c on s i s t s of r e c e i v i n g s e v e r al i t e r at or s , e ac h c or r e - s p on d i n g t o a p os s i b l e p at h of t h e gr ap h r e p r e s e n t i n g t h e am b i gu i t y . An ot h e r p os s i b i l i t y c on s i s t s of p as s i n g t o t h e t ool t h e am b i gu ou s s e gm e n t ob j e c t . I t i s t h e t ool s r e s p on s i b i l i t y t o d e al w i t h t h e am b i gu ou s s e gm e n t . 4 F ut ur e w o r k C on c e r n i n g t h e m od e l , t h e m ai n i m p r ov e m e n t c on s i s t s of s e gm e n t s t h at c on t ai n r e f e r e n c e s t o a s ou r c e s i gn al t h at i s p r e s e n t i n t h e r e p os i t or y . T h e s ou r c e s i gn al w i l l b e r e m ov e d f r om t h e r e p os i t or y an d e ac h s e gm e n t s w i l l r e f e r e n c e ot h e r s e g- m e n t s or gr ou p s of s e gm e n t s . T h e s ou r c e s i gn al w i l l c or r e s p on d t o an ot h e r l e v e l i n s i d e t h e r e p os i t or y c om p os e d of s e gm e n t s w i t h n o s e m an t i c m e an i n g. T h i s ab - s t r ac t i on of t h e s ou r c e s i gn al i s n e c e s s ar y t o m ak e t h e r e p os i t or y m or e d y n am i c an d t o al l ow d i ff e r e n t s ou r c e s i gn al s ov e r t h e r e p os i t or y ’ s l i f e c y c l e . O n e t ool c an u s e a s p e e c h w av e as t h e s ou r c e s i gn al w h i l e an ot h e r t ool c an u s e t h e t e x t r e c ogn i z e d f r om t h at s p e e c h w av e as t h e s ou r c e s i gn al . Al t h ou gh t h e r e p os i t or y AP I ’ s i s s u ffi c i e n t l y ge n e r al f or al l ap p l i c at i on s , al - l ow i n g ac c e s s t o al l r e p os i t or y d at a, s om e s p e c i fi c AP I s w i l l b e b u i l d on t op of t h e b as e AP I . T h e s e s p e c i fi c AP I s w i l l b e d e fi n e d f or s om e w e l l k n ow n t ool c l as s e s l i k e , f or e x am p l e , m or p h ol ogi c an al y z e r s . T h e s e AP I s w i l l w or k as s y n - t ac t i c s u gar f or t h e t ool b u i l d e r , u s i n g c on c e p t s p r e s e n t i n t h e t ool t h at w i l l b e  m ap p e d on t o t h e m od e l . W h e n b u i l d i n g a m or p h ol ogi c an al y z e r , t h e s p e c i fi c AP I w i l l h av e f u n c t i on s l i k e t h e s e : – Ne x t W or d - T h at w i l l r e t u r n t h e n e x t w or d i n t h e t e x t , c or r e s p on d i n g t o i t e r at e ov e r t h e s e gm e n t s ; – ad d p ar t of s p e e c h - Ad d s a c l as s i fi c at i on t o a s e gm e n t c or r e s p on d i n g t o i t s p ar t of s p e e c h T h e ob j e c t i v e i s t h at i n t h e f u t u r e p e op l e t e n d t o u s e an d d e v e l op s p e c i fi c AP I s f or t h e i r t ool s i n or d e r t o t u r n t h e i r c od e m or e r e ad ab l e . C u r r e n t l y t h e AP I i s b e i n g i m p l e m e n t e d an d t h e t ool s p r e s e n t i n t h e l ab - or at or y ar e b e i n g i n t e gr at e d w i t h t h e r e p os i t or y , s o w e s t i l l d o n ot h av e an y p r ac t i c al r e s u l t s . R e f e r e nce s 1 . S a l a h A ¨ı t - M o k h t a r. L ’ a n a l y s e P r ´e s y n t a x i q u e e n u n e s e u l e ´e t a p e . P h D t h e s i s , U n i v e rs i t ´e B l a i s e P a s c a l , 1 9 9 8 . 2 . F e rn a n d o B a t i s t a a n d N u n o M a m e d e . S u S A n a : M ´o d u l o m u l t i f u n c i o n a l d e a n ´a l i s e s i n t ´a c t i c a d e s u p e rf ´ı c i e . I n J u l i o G o n z a l o , A n s e l m o P e n a s , a n d A n t o n i o F e rr´a n d e z ” , e d i t o rs , P r o c . M u l t i l i n g u a l I n f o r m a t i o n A c c e s s a n d N a t u r a l L a n g u a g e P r o c e s s i n g W o r k s h o p , p a g e s 2 9 – 3 7 , S e v i l l a , S p a i n , N o v e m b e r 2 0 0 2 . I B E R A M I A 2 0 0 2 . 3 . B e rn d K i e f e r H a n s - U l ri c h K ri e g e r S t e f a n M ¨u l l e r G ¨u n t e r N e u m a n n J a k u b P i s k o rs k i U l ri c h S c h ¨a f e r M e l a n i e S i e g e l H a n s U s z k o re i t B e rt h o l d C ry s m a n n , A n e t t e F ra n k a n d F e i y u X u . A n i n t e g ra t e d a rc h i t e c t u re f o r s h a l l o w a n d d e e p p ro c e s s i n g . T e c h - n i c a l re p o rt , D F K I G m b H . h t t p : / / w w w . d f k i . d e / f e i y u / w b - a c l 0 2 . p d f . 4 . S t e v e n B i rd a n d E d w a rd L o p e r. N l t k : t h e n a t u ra l l a n g u a g e t o o l k i t . T e c h n i c a l re p o rt , D e p a rt m e n t o f C o m p u t e r S c i e n c e a n d S o f t w a re E n g i n e e ri n g U n i v e rs i t y o f M e l b o u rn e V i c t o ri a 3 0 1 0 , A u s t ra l i a a n d D e p a rt m e n t o f C o m p u t e r a n d I n f o r- m a t i o n S c i e n c e U n i v e rs i t y o f P e n n s y l v a n i a P h i l a d e l p h i a P A 1 9 1 0 4 - 6 3 8 9 , U S A . h t t p : / / w w w . l d c . u p e n n . e d u / s b / h o m e / p a p e rs / n l t k . p d f . 5 . L u ´ı s a C o h e u r, N u n o M a m e d e , a n d G a b ri e l G . B `e s . F ro m a s u rf a c e a n a l y s i s t o a d e p e n d e n c y s t ru c t u re . I n W o r k s h o p o n R e c e n t A d v a n c e s i n De p e n d e n c y G r a m m a r ( C o l i n g 2 0 0 4 ) , G e n e b ra , S u i ¸c a , 2 0 0 4 . 6 . L u ´ı s a C o h e u r, N u n o M a m e d e , a n d G a b ri e l G . B `e s . A m u l t i - u s e i n c re m e n t a l s y n t a x - s e m a n t i c i n t e rf a c e . I n E s t a l – E s p a ˜n a f o r n a t u r a l L a n g u a g e P r o c e s s i n g , A l i c a n t e , E s p a n h a , O u t u b ro 2 0 0 4 . S p ri n g e r- V e rl a g . 7 . T h e e m u s p e e c h . h t t p : / / e m u . s o u rc e f o rg e . n e t / . 8 . H a e J o o n g L e e K a z u a k i M a e d a , X i a o y i M a a n d S t e v e n B i rd . T h e A n n o t a t i o n G r a p h s T o o l k i t ( V e r s i o n 1 . 0 ) : A p p l i c a t i o n De v e l o p e r ’ s M a n u a l . L i n g u i s t i c D a t a C o n s o rt i u m , U n i v e rs i t y o f P e n n s y l v a n i a . 9 . C ri s t o p h e L a p ru n , J o n a t h a n F i s c u s , J o n h G a ro f o l o , a n d S y l v a i n P a j o t . R e c e n t i m - p ro v e m e n t s t o t h e a t l a s a rc h i t e c t u re . T e c h n i c a l re p o rt , N a t i o n a l I n t i t u t e o f S t a n - d a rd s a n d T e c h n o l o g y , 9 9 . h t t p : / / w w w . n i s t . g o v / s p e e c h / a t l a s / d o w n l o a d / h l t 2 0 0 2 - a t l a s . p d f . 1 0 . J . L . P a u l o . A q u i s i ¸c ˜a o d e t e rm o s a u t o m ´a t i c a . M a s t e r’ s t h e s i s , I n s t i t u t o S u p e ri o r T ´e c n i c o , U n i v e rs i d a d e T ´e c n i c a d e L i s b o a , L i s b o a , 2 0 0 2 . ( e s t e d o c u m e n t o ) . 1 1 . R . R i b e i ro , L . O l i v e i ra , a n d I . T ra n c o s o . M o rp h o s s y n t a c t i c D i s a m b i g u a t i o n f o r T T S S y s t e m s . I n P r o c . o f t h e 3 r d I n t l . C o n f . o n L a n g u a g e R e s o u r c e s a n d E v a l u a t i o n , v o l u m e V , p a g e s 1 4 2 7 – 1 4 3 1 . E L R A , 2 0 0 2 . I S B N 2 9 5 1 7 4 0 8 0 8 .