8/11/2019 Lexi Cal Decay
1/20
5
1965 In te rna t iona l Confe rence on
C o m p u ta t i o n a l L in g u i s t i c s
M O D E L S O F L E X I C A L D E C A Y
D .
K le in e c k e
T E C H N I C A L M I L I T A R Y P L A N N I N G O P E R A T I O N
G E N E R A L E L E C T R I C C O M P A N Y
7 3 5 S t a t e S t r e e t ( P . O . D r a w e r Q Q )
S A N T A B A R B A R A , C A L I F O R N I A 9 3 1 0 Z
8/11/2019 Lexi Cal Decay
2/20
A b s t r a c t
L e x i c a l d e c a y is t he p h e n o m e n o n u n d e r l y i n g t he da ti ng t e c h-
n i q ue s k n o w n a s g l o t to c h r on o l og y a n d l e x i c os t a t i st i c s . M u c h o f
t h e c o n t r a v e r s i a l n a t u r e o f w o r k i n t h i s f i e ld i s t he r e s u lt o f e x t r e m e l y
i m p r e c i s e f o u n d a t i o n s a n d l a c k o f a t te n ti o n t o t h e u n d e r l y i n g s ta ti st ic al
a n d s e m a n t i c m o d e l s .
A s a ti s fa c to r y s e m a n t i c m o d e l c a n b e f o u n d in t he c o n c e p t of s e -
m a n t i c a t o m . N o t w i t h s t a n d i n g a n u m b e r o f p h i l os o p h i ca l o bj e ct io n s,
t h e s e m a n t i c a t o m is a n o p e r a t i o n a l l y f e a si b le s u p p o r t f o r a l e x i c o n
w h i c h i s a s e m a n t i c s u b s e t o f a ll p o s s i b le m e a n i n g s a n d a t t he s a m e
t i m e , e x h a u s t s t he v o c a b u l a r y o f a l a n g u a g e . L e x i c a l d e c a y i s t h e
p r o c e s s b y w h i c h t he l ex ic al i t e m c o v e r i n g a n a t o m is r e p l a c e d b y
another lexical item.
E x p o n e n t i a l l e xi c al p r e s e r v a t i o n i s, i n t h i s m o d e l , d i r ec t l y
a n a l o g o u s to d e c a y p h e n o m e n a i n n u c l e a r p h ys i cs . C o n s i s t e n c y re -
q u i r e s t ha t t he d e c a y p r o c e s s i n v o l v e d i n e x p o n en t i a l ly p r e s e r v e d
v o c a b u l a r i e s b e a P o i s s o n p r o c e s s. T h i s s h o w s h o w to f o r m te st
v o c a b u l a r i e s f o r d at i ng a n d p r o v e s t ha t p r e s e n t l y u s e d v o c a b u l a r i e s
a r e n o t c o r r e c t l y f o r m e d .
D i a l e c t a t i o n s t u d ie s s h o w t ha t h i s t or i c a ll y d i v e r g i n g p o p u l a t i o n s
m u s t b e m o d e l l e d b y c o r r e l a t e d P o i s s o n p r o c e s s e s . D ef in it iv e s ta -
tistical tr ea tm en t of these quest ions is not possible at this time, but
m u c h d e s i r a b l e r e s e a r c h c a n b e in di ca te d.
8/11/2019 Lexi Cal Decay
3/20
8/11/2019 Lexi Cal Decay
4/20
K l e i n e c k e - Z
D e c a y p h e n o m e n a i n n u c l e a r p hy s i c s a r e g o v e r n e d b y r el at iv el y
s i m p l e , w e l l u n d e r s t o o d p r i n c ip l e s. T o a p p l y t h e s e r e s u lt s t o l e xi c al
d e c a y w e f i rs t e s t ab l i sh t he c o n c e p t s o f a s e m a n t i c a t o m a n d a s et o f
i n d e p e n d e n t s e m a n t i c a t o m s . T h e o b s e r v e d f ac t o f e x p on e n ti a l d e c a y
o f v o c a b u l a r y t h e n i s a c c o u n t e d f o r b y a s s u m i n g t ha t t he l ex i ca l i t e m
c o v e r i n g a n a t o m d e c a y s a c c o r d i n g t o a P o i s s o n p r o c e s s . O e n e r a l l y
s p e a k in g , t he c o n v e r s e o f t h i s is a l s o t r u e, a n d o n l y a P o i s s o n p r o c e s s
w o u l d p r o d u c e e x p o n e n ti a l d e c a y . F r o m t h e se c o n s i de r a t io n s , w e
c a n d r a w m a n y c o n c l us i o n s a b o u t h o w to a n d h o w n o t to c o n s t r uc t t es t
v o c a b u l a r i e s f or d a ti n g p u r p o s e s .
W i t h t h i s m o d e l i n h a n d , w e c a n d r a w c o n c l u s i o n s o f a st at is ti ca l
n a tu re . F o r e x a m p l e , w e c a n d e v e l o p f o r m u l a s f or the p r o p e r m e t h o d
o f d at i ng t he s p li t b e t w e e n t h r e e o r m o r e l a n g u a g e s a n d f or g o o d e st i-
m a t o r s i n m o r e c o m p l e x situ atio ns.
W e c a n c o n s t ru c t a n i n p r ec i s e h eu ri s ti c m o d e l f or t he d y n a m i c
s e m a n t i c s u n d e r l y i n g t h e P o i s s o n p r o c e s s . S o l o ng a s t he f i rs t o r d e r
t h e o r y i s a d e q u a t e , t h i s i s m u c h i n t he n a t u r e o f a cu r io s it y . It s e e m s ,
h o w e v e r , t ha t f i r st o r d e r t h e o r y i s n o t a d e q u a t e . A c t u al l y , s u c h a
c o n c l u s i o n i s r e a l ly p r e m a t u r e b e c a u s e t h e k i n d o f v e r if i c at i o n s tu d i e s
n e e d e d h a v e n o t b e e n m a d e . A s s u m i n g t he p e s s i m is t i c c on c lu s io n , w e
h a v e t o c o n s t r u c t s e c o n d ( or h i g h e r ) o r d e r t h e o r i e s t o a c c o u n t f o r t h e
i n a d e q u a c i e s o f f i rs t o r d e r t h eo r y. A t t he m o m e n t , w e h a v e n o u s ef u l
r e su l ts i n t h is d i r e c ti o n - - th e p r o b l e m m e r g e s i nt o t he p r o b l e m o f
d ia le ct at io n. P r o b a b l y t he m o s t i m p o r t a n t s e r v i c e w e c a n r e n d e r i s
t o i n d ic a t e e x a c t l y w h a t k i n d o f d e t a i le d s t u d i e s a r e n e e d e d .
S e m a n t i c A t o m s
I t is ve ry ea sy to raise objections of a philosophical nat ure to
t he c o n c e p t o f a s e m a n t i c a t o m . I n t h i s p a p e r w e w il l s i m p l y i g n o r e
8/11/2019 Lexi Cal Decay
5/20
K l e i n e c k e - 3
t h e s e o bj e c t i o ns a n d d e fi n e s e m a n t i c a t o m i n a n o p e r a t i o n a l w a y .
T h e r e a r e a l s o o p e r a t i o n a l d if fi cu lt ie s, b u t t h e s e s e e m t o b e s u r -
m o u n t a b l e .
A s e m a n t i c a t o m is a
c i e nt l y s p e c if i e d t o r e m o v e
c o m p l e t e l y d e f i n e d u n it c o n c e p t s uf fi -
all a m b i g u i t y . F o r e x a m p l e , i n a n
a n t h r o p o l o g i c a l c o nt e xt , w e m i g h t h a v e s u n , a s p o i n t e d a t b y a m a l e
a n t h ro p o l o gi s t at h i g h n o o n i n t he m i d d l e o f s u m m e r o n a n a v e r a g e
d a y a m o n g a g r o u p o f y o u n g m e n w i t h p l e nt y to d r i n k . T h e k i n d o f
su bt ili ti es n e e d e d t o c o m p l e t e t h e d ef in it io n r e m i n d s o n e o f K o r z y b s k i a n
G e n e r a l S e m a n t i c s , b u t t he i n te n ti o n is n o t t he s a m e . W e s e e k t o
r e m o v e a m b i g u i t y b u t w e m u s t h a v e a n o n - u n i q u e c o n c e p t - - o n e t ha t is
a l w a y s p r e s e n t .
C e r t a i n ly t h e r e h a s b e e n little u s e o f s e m a n t i c a t o m s a n y w h e r e
i n t h e p a st . T h o s e i n t e r e s t e d i n s e m a n t i c s f o r its o w n s el f w i ll r e j e c t
t h e m a s u s e l e ss o r m e a n i n g l e s s ; l e x o g r a p h e r s d ea l i n m o r e g e n e r a l i z e d
c o n c e p t s . It w o u l d b e h a r d t o a r g u e t ha t t h e y h a v e g e n e r a l u t il it y, b u t
t h e y a r e p r e c i s e l y w h a t i s n e e d e d f o r s t ud y i n g l ex i ca l d e c a y .
E a c h s e m a n t i c a t o m , i n a n y s p e e c h at a n y t i me , is a s s u m e d to
b e c o v e r e d b y s o m e l ex ic al i t em . T h a t is, t h e re is s o m e w o r d w h o s e
m e a n i n g i n c lu d e s t ha t o f t he a t o m . T h u s , v o c a b u l a r i e s c a n b e f o r m e d
o v e r a n y s et o f s e m a n t i c a t o m s b y li st in g t he c o v e r i n g l e xi c al i t e m
f o r e a c h a t o m . T h e k i n d o f d e c a y b e i n g s t u d i ed i s t ha t w h e r e t h e c o v -
e r i n g l e xi c al i t e m i s r e p l a c e d b y a n o t h e r i t e m . T h e r e p l a c e d w o r d
o n ly ra r e l y i m m e d i a t e l y d i s a p p e a r s f r o m t he l a n g u a g e a s a w h o l e , b ut
it h a s d i s a p p e a r e d f r o m t he s e m a n t i c a t o m .
A n i n d e p e n d e n t s et o f s e m a n t i c a t o m s is a se t o f a t o m s all o f
w h i c h d if fe r a m o n g t h e m s e l v e s e n o u g h to m a k e t he d e c a y at a n y a t o m
c o m p l e t e l y i n d e p e n d e n t o f t ha t a t a n y o t h e r a t o m . T h u s , o n l y o n e f r o m
s et s o f w o r d s , l ik e n u m e r a l s o r p r o n o u n s , w i t h h a b it u a l i n t e rr e l a ti o n s
8/11/2019 Lexi Cal Decay
6/20
Kle inec ke - 4
c a n a p p e a r i n t h e s e t . I n d e p e n d e n t s et s a r e us e f ul b e c a u s e i n
t h e m , p r o b l e m s o f i n t e r - a t o m c o r r el a t i o ns n e e d no t b e c o n s i d e r e d .
B e f o r e p a s s i n g o n, w e s h o u l d s a y a f e w w o r d s a s to t he p r a c -
tical u s e of s e m a n t i c a t o m s . T h e r e d o e s n ot s e e m to b e a n y d o u b t
t ha t t he c ol l ec t or s o f v o c a b u l a r i e s w a n t t o w o r k w i t h s e m a n t i c a t o m s - -
e v e n if t h ei r r e s u lt s a r e c o m p l e t e l y u n s u c c e s s f u l . I n a n e n t r y d o g =
h u n d t h e y w o u l d l ik e to s a y t ha t t h e r e is a s e m a n t i c a t o m a n d i ts c o v e r
i n E n g l i s h i s d o g , i n G e r m a n , h u n d . T h e pi t fa l ls o f t hi s s o r t o f
t hi ng a r e w e l l - k n o w n . S o m e c a r e i n d ef in in g a t o m s m i g h t m a k e it
f e as i bl e if w e r e q u i r e n o t c o m p l e t e i de nt i ty o f t he E n g l i s h a n d G e r m a n
s e m a n t i c s , b u t r a t h er t he e x i s te n c e of s o m e c o n c r e t e c o n c e p t w h e r e
b o th t he E n g l i s h a n d G e r m a n w o r d s a r e a p p ro p r ia t e . C l e a r l y this m u c h
w e a k e r r e q u i r e m e n t w i ll b e e a s i e r to s at is fy , s o w e a d o p t it.
W e c o n c l u d e t ha t, w i t h a d e q u a t e pr e c au t i o ns , s e m a n t i c a t o m s
c a n b e o p e r a t i o n a l l y f e a s ib l e e v e n if t r u e r i g o r i s i m p o s s i b l e . I n t h e
c a s e of l i t t l e - k no w n l a n g u a g e s , t h e r e i s m u c h m o r e c h a n c e f o r e r r o r .
W e s h o u l d e n c o u r a g e c o ll e ct o rs of v o c a b u l a r i e s to i m p r o v e t he p r e -
cision of their definitions so that the at o m in ques tio n ca n b e identified.
D e c a y P r o c e s s
W e a s s u m e t ha t l ex ic a l d e c a y , f o r a s et o f i n d e p e n d e n t s e m a n t i c
a t o m s , i s a P o i s s o n p r o c e s s . T h a t is, it s a ti s fi e s t h r e e c o n d it i o n s:
i. E a c h a t o m d e c a y s i n d e p e n d e n t l y of all t he o t h e r a t o m s .
2. E a c h a t o m d e c a y s i n d e p e n d e n t l y o f its h i s t o r y o f e a r l ie r
de c ay.
3. T h e r e is a c o n s t a n t k s u c h t ha t f or e a c h a t o m t h e p r o -
bability of one d ec ay in a shor t ti me interval At is kAt,
a n d t h e p r o ba b i li t y o f m o r e t h a n o n e d e c a y is n e g li g i bl e .
8/11/2019 Lexi Cal Decay
7/20
8/11/2019 Lexi Cal Decay
8/20
K l e i n e c k e - 6
ea ch point in time. In repo rtin g the study, all of this sho uld b e fully
d o c u m e n t e d i n detail. E a c h i n s ta n c e o f d e c a y c a n t h e n b e r e c o g n i z e d
a n d t a l l i e d . S t at is t ic a l t e st s s h o u l d b e a p p l i e d t o s e e w h e t h e r o r n o t
t h e m o d e l i s s a t is f i ed a n d to e s t i m a t e )~ . F o r e x a m p l e , if t h e r e a r e
i 0 0 s e m a n t i c i t e m s T, t h e r e s h o u l d b e a b o u t o n e d e c a y e v e r y 5 0 y e a r s
u n i f o r m l y s p r e a d t h r o u g h t im e . T h e s e t h i ng s c a n b e c h e c k e d statis-
tically. W e ho pe that sch ola rs will un de rt ak e definitive studies of this
t y p e f or a s m a n y c a s e s a s p o s s i b l e ( 4) .
U n ti l th e r e s u lt s o f t he k i n d o f r e s e a r c h j u st m e n t i o n e d a r e a v ai l -
able, the status of ~ is uns ure . W e anticipate it will be reco gn iz ed
a s a u n i v e r s a l c o n s t a n t.
T h e r e r e m a i n s t he p r o b l e m o f m a k i n g a P o i s s o n p r o c e s s a r e a-
s o n a b le a s s u m p t i o n . I n o t h er w o r d s , w e n e e d to d e s c r i b e s o m e s or t
of m e c h a n i s m w h i c h m a k e s w o r d s slip off s e m a n t i c a t o m s i n d e p e nd e n tl y
o f h o w l o n g t h e y h a v e b e e n c o v e r i n g t he a t o m , a n d a t a c o n s t a n t r at e
p e r u n it t i m e , a t l e a s t o v e r s h o r t t i m e i n t e r v al s . I n c i d en t a l ly ,
s i n c e )~ i s o n t h e o r d e r o f 1 / 5 0 0 0 y e a r s , 5 0 y e a r s i s a s h o r t t i m e
i nt er va l. S i n c e th e s p e a k e r s o f n o r m a l l a n g u a g e s a r e n o t h i st o ri a ns ,
t he i n d e p e n d e n c e f r o m h i s t or y s e e m s e a s y to a c ce p t.
T h e c o n s t a n t r a t e i s h a r d e r t o a c c e p t . F i r s t of a ll w e h a v e t o
ac co un t for an identical figure in populations, literate an d illiterate,
a n d b e t w e e n a h a n d f u l o f s p e a k e r s a n d h al f a b il li on s p e a k e r s . T h e
d e c a y e ff ec t m u s t b e i n d e p e n d e n t o f t he n u m b e r o f s p e a k e r s , h e n c e it
m u s t b e o p e r a t i v e a t t h e l e v el o f t h e s i n gl e i s o l a t e d s p e a k e r . T h i s i s
s a t i sf a c t or y s i nc e , b y a n d l ar g e, t he a m o u n t o f s p e e c h r e a c h i n g a n
i nd iv id ua l d o e s n ot s e e m to h a v e c h a n g e d m u c h t h r o u g h o u t hi s t or y a n d
d o e s n o t v a r y m u c h b e t w e e n c u l t u r es at t h e p r e s e n t d a y.
B u t w h y d o e s a s p e a k e r d e c i d e to c h a n g e a n o c c a s i o n a l l ex i ca l
i t e m - - a b o u t i~ 0 i n h i s l i f e t i m e - - a n d m a i n t a i n t he r est . T h e o n l y
8/11/2019 Lexi Cal Decay
9/20
K l e i n e c k e - 7
h y p o t h e s i s w e h a v e b e e n a b le to c o n s t r u c t is t ha t all w o r d s a r e a l w a y s
u n d e r p r e s s u r e - - p e r h a p s f r o m s e v e r al s e m a n t i c d i re c t io n s at t he
s a m e t i m e. M o s t a t o m s r e si s t c h a n g e m o s t o f t he t i me , b u t s o m e s et
o f a c c i d e n t s ( a ll v e r y r e a l e v e n t s a t t h e s o c i o lo g i c a l a n d p s y c h o l o g i c a l
l e ve l s, b u t r a n d o m a c c i d e n t s in o u r c o nt e xt ) w e a k e n s a f e w, a n d th e
l e x i c o n d e c a y s . I n o t h e r w o r d s , t h e re is a c o n s t a n t d y n a m i c m o v e -
m e n t a m o n g s e c o n d a r y a n d i nc id en ta l c o v e r s o f t he s e m a n t i c a t o m
w h i c h t h r e a t e n th e p r i n c i p a l c o v e r . U s u a l l y t h e t h r e a t e n i n g le x ic a l
i t e m s r e c e d e , b u t o c c a si o n a ll y , i n a r a n d o m w a y , a b o u t o n c e e v e r y
f iv e t h o u s a n d y e a r s t h e p r i n c i p al c o v e r is d i s p l a c e d a n d a l e xi c al d e -
c a y o c c u r s .
T h e h y p o t he t i c a l m e c h a n i s m a d v a n c e d t o e x p la i n l ex ic a l d e c a y
c a n b e c h e c k e d a g a i n s t h i s t o r y b y c a s e s t ud i es o f s e m a n t i c a t o m s .
E a c h a t o m s h o u ld s h o w t i m e p e r i o ds w h e n t he p ri n ci p al w o r d w a s
n e a r l y d i s p l a c e d . D u r i n g t h e s e p e r i o d s i t is d if fi cu lt to d e c i d e w h e t h e r
t h e o l d w o r d o r a n e w w o r d is t he p r i nc i p al co v e r . U s u a l l y t he n e w
w o r d w il l p a s s a w a y a ga in , b u t s o m e t i m e s it w il l d i s p l a ce t he o l d w o r d .
A v e r y t e n ta ti ve g u e s s b a s e d o n a c a s u a l e x a m i n a t i o n o f o n e h u n d r e d
c u r r e n t E n g l i s h w o r d s s u g g e s t s t h e re a r e a b o u t f o u r v e r y h e a v i l y
t h r e a t e n e d w o r d s p e r h u n d r e d . S i nc e w e c a n e x p e c t a b o u t o n e w o r d
t o b e d e c a y i n g a t t hi s m o m e n t , w e c o n c l u d e t ha t a b o u t t h r e e ou t o f
f o u r t i m e s t h e o l d w o r d s u r v i v e s . A l l o f t hi s n e e d s t o b e v e ri f i e d o r
d i s p r o v e n i n d e t a i l e d s t u di e s.
D e c a y S t a t i s t i c s
T h e sta tist ica l c o n s e q u e n c e s of t he m o d e l - - t h e fi rst o r d e r m o d e l
d e s c r i b e d a b o v e - - n e e d to b e e x p l or e d . W e c a n n o t h a n d l e all p o s s i b l e
s it ua ti on s, b u t t he f o l l o w i n g e x a m p l e s s h o u l d p r o v i d e a n a d e q u a t e d e m -
o n s t ra t i o n o f t e c h n i q u e s o t ha t a n y o t h er p r o b l e m s w h i c h o c c u r c a n b e
s o l v ed in t he s a m e m a n n e r .
8/11/2019 Lexi Cal Decay
10/20
8/11/2019 Lexi Cal Decay
11/20
K l e i n e c k e - 9
d p ( g ) : _ ] C c i X p ( g ) + X ( N -[ C ~ [) e x p ( - k t ) [ a l+ l ( 1 - e x p ( - X t ) ) N - I c ~ l - 1
d t
so t h a t
d < p ( c ~ ) e x p
x t ) l a I S .
= ( N - ] C ~ l ) k e x p ( - k t ) ( 1 - e x p ( - k t ) ) N - I c ~ l - 1
P ( g ) e x p ( X t ) ] a l : { 1 - e x p ( - X t ) ) N - I(l] ,"
a n d t h e h y p o t h e s i s i s p r o v e n b y in d u ct i o n.
T h u s , P ( c ~ ) d e p e n d s o n l y o n t h e v a l u e o f Ic~l = n . W e c a n r e c -
o g n i z e P ( n ) f o r n = Z , 3 , . . . , N b u t P ( 0) a n d P ( 1 ) c a n n o t b e d is ti n-
g u i s h e d s o w e c o m b i n e t h e s e i nt o P ' w h i c h is o b t a i n e d b y
P ' : 1 N ( N - I ) P ( Z ) . . . . N'.
Z n: N - n:
P ( n ) . . . . . P ( N )
~,,N
= 1 - ( ( 1 - e x p ( - X t ) ) + e x p ( - k t ) , - P { 0 ) - N P ( 1 ) ;
. /
s i n c e t h e r e a r e N ; / n ( N - n ) ' s e t s w i t h ]0~ I = n . T h u s ,
P ' = (1 - e x p ( - k t } ) N - 1 (1 + ( N - 1 ) e x p ( - k t ) ) .
N o w s u p p o s e t h a t f r o m K s e m a n t i c a t o m s w e o b s e r v e t h a t k N a t o m s
a r e c o v e r e d b y t h e s a m e w o r d i n a l l l a n g u a g e s , a n d k N _ 1 i n a l l b u t
o n e , a n d so o n t o k 2 , a n d t h e r e a r e k ' a t o m s d i f f e r e n t l y c o v e r e d i n
a l l l a n g u a g e s . T h e p r o b a b i l i t y o f t h i s o c c u r i n g i s
8/11/2019 Lexi Cal Decay
12/20
K l e i n e c k e - i0
k n k N - I k Z k '
P ( N ) P ( N - I) . . .. P ( 2 ) P '
(2ks + 3k s + ...
x
N k N ) (I x)
N K - k ' - ( Zk + . .. N k N ) k'
1 + N - l ) x )
w h e r e x = e x p ( - k t ) . A m a x i m u m l ik li ho od e s t i m a t e f or x s e e m s t o
b e th e b e s t s i ng l e v a l u e w e c a n a s s i g n to x . T h i s i s o b t a i n e d b y
s e t ti n g t h e ( l o g a r i t h m i c ) d e r i v a t i v e o f p r o b a b i l i t y to z e r o s o t h at
0 = A - k ' N K - A + ( N - l )k'
x l - x i + ( N - l ) x
w h e r e A = k ' + Z k s + 3 k s + . .. + N k N . O r
N ( N - l ) K x s - ( ( N - I ) A - N K + k ' )x - ( A - k ' ) = 0 .
If N = Z , x a = k s / K , w h i c h i s t he w e l l - k n o w n f o r m u l a f or t he s e p a r a -
t io n b e t w e e n t w o l a n g u a g e s . F o r g e n e r a l N , is t he s o lu t io n o f t he
X
q u a tr a t ic e q u a t i o n g i v e n a bo v e . N o t e t h at t he a n s w e r d e p e n d s o n t he
s ta ti st ic A w h i c h d o e s n o t u s u a l l y a p p e a r i n d i s c u s s i o n s o f l e xi c al
dating.
A n e v e n m o r e g e n e r a l d i ff e re n ce b e t w e e n t his t r e a t m e n t a n d
u s u a l t r e a t m e n t b y p a i r s is f o u n d in t he u s e m a d e o f t he n u m b e r o f all
t h e l a n g u a g e s c o n t a i n i n g a c e r t a in le x i ca l i t e m a s t h e c o v e r o f a s e -
m a n t i c a t o m . T h i s k i n d o f c o u n t is a l m o s t n e v e r m a d e i n t he l i te r at u re
o n d a ti ng p r o b l e m s .
A n o t h e r c a s e w h i c h c o n st a n t ly r e c u r s in p r a c t i c e is t ha t o f t h r e e
l a n g u a g e s ; i , 2 a n d 3, s ay . T h e p a i r 1 a n d 2 a r e m o r e c l o s e l y
8/11/2019 Lexi Cal Decay
13/20
K l e i n e c k e - Ii
r e l a t e d t h a n l a n g u a g e 3 i s to e i t h e r I o r ? . S u p p o s e t i s t i m e
f r o m t h e c o m m o n a n c e s t o r o f i, 2 a n d 3 t o 3, a n d t' t h e t i m e
f r o m t h e c o m m o n a n c e s t o r of 1 a n d 2 to 1 o r Z . L e t x = e x p ( - I t ) ,
x = exp(-kt' ) so that x / x i s t h e p r o b a b i l i t y a s s o c i a t e d w i t h t h e
t i m e f r o m t h e c o m m o n a n c e s t o r o f I, Z a n d 3 t o t ha t o f 1 a n d 2 .
W e m i g h t o b s e r v e a n y of f iv e s i tu a ti o ns c o n c e r n i n g t he c o v e r
of a se ma nt ic at om . It ma y be the sa me in all (i, Z, 3); or in an y
pai r (I, 2), (i, 3) or (Z, 3), or dif ferent in each . T h e pro bab ili ty of
e a c h o f t h e s e e v e n t s i s
X X l ~ X s I
X l S 3 = X ~ - T = X ,
X I t ) X ~ t
x l ~ = x ~ 3 = x - - r x l - x = l - x ) ,
X
x 1 ~ = ~ l - x + x l - x I ~ = x x - x ~ ) ,
t = . I . - t X ~ S
x I x ~ x - Z x 2 ( I x ) x ( x - x 2) = 1 - - Z x ~ + Z x ~ x
/ /
= (i - x ) (I + x - Zx s)
S u p p o s i n g k l z , k ~ s , k s 8 , k le a n d k ' o f e a c h of t h e s e is o b s e r v e d
w h e n K a t o m s a r e c o n s i d e r e d . T h e t ot al p r o b a bi l i t y i s
' (kls + klss ) x' + k~s + k2s xS) ls x'
Z( kl s+ k~ s+ k~ ss) x (i - )k' (x'- (i+ -Zx2) k'
l
M a x i m u m l i k li h o od e s t i m a t e s f o r x a n d x a r e g o t te n f r o m t he
e q u a t i o n s o b t a i n e d b y s e tt i ng t h e ( l o g a r i t h m i c ) d e r i v a t i v e s b y x a n d
x t o z e r o s e p a r a t e l y .
8/11/2019 Lexi Cal Decay
14/20
K l e i n e c k e - iZ
2(k~3 + k~3 + k12 ) 2k ls x ' 4k ' x
x x - X ~ l + x - 2 x 2 '
k t
k ~ s+ k ls a k ' + k ~ s + k ~ + + l + x ' 2 x
= x' 1 - x I
T h e s e e q u a t i o n s a r e b e s t s o l v e d n u m e r i c a l l y f or g i v e n v al u e s o f k~ s ,
kls , kls, kss an d k' .
T h e m e t h o d o l o g y is s t r a i g h t - f o r w a r d a n d t h e re is n o n e e d t o
m u l ti p l y e x a m p l e s . I n e v e r y c a s e w e o bt ai n n e w f o r m u l a s b a s e d o n
m a x i m u m l ik li ho od e s t i m at o r s . A n o t h e r a r e a i n w h i c h t h e se m e t h o d s
c o u l d a l s o b e u t i l iz e d i s i n t h e c o n s t r u c t i o n o f s i g n i f i c a n c e t e s ts a n d
c o n f i d e n c e ba n d s . W i t h this b a si s, m o s t o f t he m a c h i n e r y o f m o d e r n
s ta ti st ic s w o u l d b e a v a i l a b l e f o r u s e .
C r i t i c is m o f F i rs t O r d e r T h e o r y
A s w e e x p l a i n e d in d i s c u s s i n g s e m a n t i c a t o m s , w e f ee l t h e r e is
n o a d e q u a t e o b s e r v a t i o n a l d a t a to w h i c h to a p p l y t h e se f o r m u l a s f or a
c o n c l u s i v e t es t o f t he ir v al ue . W e h a v e m a d e a f e w e x p e r i m e n t a l
a p p l i c a t i o n s u s i n g t h e u n s a t i s f a c t o r y d a t a a v a i l a b l e i n t h e l i t er a t ur e .
N u m e r i c a l l y , t he t i m e e st i m a t e s w e o b t a in e d , w h i c h w e w i l l
n o t q u o t e h e r e , d o n o t d if fe r a g r e a t d e a l f r o m t h o s e o b t a i n e d b y c o n -
s i d e r i n g p a i r s a l o ne . T h i s i s to b e e x p e c t e d if t h e p h e n o m e n a a r e a t
all c o n si s t en t . T h e v a l u e i n t he f o r m u l a s d e r i v e d a b o v e l ie s i n t h e
f ac t t ha t t h e y c o r r e c t l y c o m b i n e t h e d a t a f r o m s e v e r a l p a i rs .
T h e f i r s t - o r d e r m e t h o d d o e s h a v e o n e v e r y i m p o r t a n t dif fic ulty
w h i c h a p p e a r s a l m o s t i m m e d i a t e l y if w e t ry to t re at m o r e t h an t h re e
l a n g u a g e s . T h i s d if fi cu lt y i s i n t h e f a m i l y t r e e o f t h e l a n g u a g e s .
I n t he en t ir e f i r s t - o r de r d e v e l o p m e n t , w e h a v e i m pl i ci t ly u s e d
t he c o n c e p t o f a t re e. L a n g u a g e s g o t o g e t h er a s a c o m m o n a n c e s t o r
8/11/2019 Lexi Cal Decay
15/20
8/11/2019 Lexi Cal Decay
16/20
8/11/2019 Lexi Cal Decay
17/20
K l e i n e c k e - 1 5
P I I = exp ( -Xt ) ( I - exp( - t ) )
T h e o r i g i n a l c o v e r r e m a i n s i n t h e s e t w o c a s e s o n l y s o t h a t t h e p r o b -
a b i l i t y
o f it r e m a i n i n g i s
P I + P I I = e x p ( - k t )
w h i c h i s e x a c t l y t h e s a m e a s i n f i r s t - o r d e r t h e o r y .
W h e n t h e s e c o n d - o r d e r t h e o r y i s a p p l i e d t o N l a n g u a g e s , t h e
r e s u l t s a r e q u i t e c o m p l i c a t e d . W e d i v i d e t h e l a n g u a g e s i n t o f o u r s e t s
(~ , B , Y , 6 d e p e n d i n g o n w h i c h s i t u a t i o n h o l d s i n t h e l a n g u a g e ; i n s e t 0%
s i t u a t i o n I h o l d s , a n d s o o n . T h e n w e h a v e t h e b a s i c d i f f e r e n t i a l
e q u a t i o n
; ' , )
( a , ~ , y , 6) = - 2 % p ( a , ~ , y , 6 ) , S ~ j e ~ + % P ( a , ~ , , 8 )
d t ie c~ . ~ L ~ k
~ j c ~
% P ( ~ @ j , ~ j , y , 6 ) + I k
x P ~@k, ~, X Cgj, 6)
+ ~ . ~ 6 % P ( ~ , ~E ) ~ , Y , 6 ~ , f . ) + Z ~ . c 6
w h i c h h a s t h e s o l u t i o n
P (& ,~ , ,6 ) = [e xp (-X t)] 21Ct{ + IBI + IYI [1 - ex p( -X t)] l~I + IYi + 2161
W e h a v e n o w a y o f r e c o g n i z i n g t he c o n d i t i o n o f t h e p o t en t i al c o v e r , s o
s e ts ez a n d ~ s h o u l d b e c o m b i n e d i nt o a s e t ~ a n d
P( ~,y , 6) = [exp (- t ) ] I rl l + Ivl [ I - exp (- t} ] IYI + 2 t 6 1
8/11/2019 Lexi Cal Decay
18/20
Kle i necke - 16
B e f o r e
w e
c a n a c tu a l l y a p p l y th e m a x i m u m l i kl i ho o d t e c h n i q u e t o l a n -
g u a g e s w i th o ut k n o w n a n ce s to r s, w e h a v e to m a k e S o m e f ur t he r c o m -
b i n a t i o n s b e c a u s e s e t s w i t h I~]I = 1 c a n n o t b e d i s t i n g u i s h e d f r o m
t h o s e w i t h I ~ I - o o r t h o s e w i t h I ~ I - i f r o m t h o s e w i t h l ~ J - 0
M o r e o v e r , w e c a n n o t d i st in g ui s h o r ig i na l c o v e r s f r o m p ot en ti al c o v e r s
s o t ha t t w o s e ts T] a n d y m u s t b e c o m b i n e d w i t h t he s a m e s et s i n
t he r e v e r s e o r d e r .
T h e g e n e r a l c a s e is v e r y c o m p l i c a t e d , s o w e r es tr i ct o u r s e l v e s
t o t w o l a n g u a g e s . W e t h e n o b s e r v e t ha t t h e c o v e r s a r e e i th e r t he
s a m e o r d i ff e re n t. If t h e y a r e t he s a m e , w e h a v e e i t h e r I~ I = 2 a n d
IYI = 161 = 0 , o r I~{I = 2 a n d IT]I = 161 = 0 Th us , the pr ob ab il it y is
[exp(-kt)] s
+
[exp(-kt) ] s [i
-
exp(-kt)] s
= exp(- Zkt) [i + (i exp(- kt)) s]
w h i c h d if fe rs f r o m t h e f ir st o r d e r t h e o r y b y t he t e r m i n t he s q u a r e
b r a c k e t .
T h e s i m p l e s t c a s e w h e r e t he s e c o n d - o r d e r t h e o r y is r ea l ly r e -
q u i r e d i s t h a t o f f o u r l a n g u a g e s . W e w i ll i ll u st ra t e t h e r es u l t s b y o n e
e x p r e s s i o n . If k ss w o r d s a r e c o v e r e d b y t w o i t e m s b o t h i n t w o l a n -
g u a g e s , k 4 w o r d s b y o n e i t e m i n all l a n g u a g e s , k 8 b y o n e i t e m i n
t h r e e l a n g u a g e s , k s b y o n e i t e m i n t w o l a n g u a g e s , a n d k ' b y n o
c o m m o n i t e m s , t h e n th e e x p r e s s i o n t o b e s o l v e d f or m a x i m u m l ik li ho od
is
4 k ss + 4 k 4 + 3 k s + 2 k s
2k ss + k 3 + 3ks + 5k
p 1 - p
8/11/2019 Lexi Cal Decay
19/20
K l e i n e c k e - 17
4 k 4 ( I _ p ) S k s ( 3 4 p + 4 p s )
2 - 4p + 6p ~ - 4p ~ + p% + 2 + 3p - 2p~ + p4
k s ( 4 - Z p - 3 p s )
+ 2 + 4p - p~ - p3 +
k ' ( 5 + 6 p + 9 p 2 )
+ 5p + 3p s + 3p s
w h e r e p = e x p (- % t ) .
T h i s s e c o n d - o r d e r t h e o r y is n o t s at i s fa c t or y n o t o n l y b e c a u s e
it l e a d s t o v e r y c o m p l e x f o r m u l a s , b u t it a l s o s e e m s t o b e q u a li t a -
t i ve ly i n a d e q u a t e . T h e f o r m u l a f o r s pl it ti ng b e t w e e n t w o l a n g u a g e s
is n o t gr e a t l y m o d i f i e d e x c e p t f o r v e r y l o n g t i m es , a n d t he c h a n g e
d o e s n o t s e e m to b e e n o u g h t o a c c o u n t f or d a t a s h o w i n g s h o r t t i m e s
o f d i vi s io n . It i s h a r d t o t el l w h e t h e r t h e f o r m u l a f or s e v e r a l l a n -
g u a g e s i n c l u d i n g t h e q u a n ti t y k 2e i s a n y h e l p - - s o f a r w e h a v e n o
s t r i ki n g r e s u l t s t o q u o t e f r o m i ts u s e .
A s e c o n d - o r d e r t h e o r y w h e r e p ot en ti al c o v e r d e c a y e d a t a
d i ff e r en t r a te t h a n t h e o r i gi n a l c o v e r m i g h t c o r r e c t s o m e o f t h e s e
d ef ec t s, b u t w e h a v e n o e v i d e n c e u p o n w h i c h to e s t i m a t e t he d e c a y
r a te i n t hi s c a s e . It i s m u c h l ik el y t ha t a m o r e e l a b o r a t e m e c h a n i s m
m u s t b e po s t u la t e d -- i t n e e d no t l e a d to m o r e e l a b o r a t e r e su lt s. T h e
m o d e l m u s t b e b a s e d o n a k i n d o f d i al e ct a ti o n s t u d y w h i c h s e e m s to
b e a b s e n t a s y e t f r o m t he l it e ra tu r e.
C o n c l u s i o n
W e h a v e d e r i v e d a n u m b e r o f f o r m u l a s r el a ti ng to t he e s t i m a t i o n
o f t i m e d e p t h s b y o b s e r v a t i o n s o f l ex ic al d e c a y . T h e m e t h o d s u s e d
c a n b e a p p l i e d to o b ta i n m a n y m o r e s i m i l a r f o r m u l a s a s r e q u i r e d in
studies of actual data.
A ll o f t h e s e f o r m u l a s a r e b a s e d o n m o d e l s o f l ex ic al d e c a y u s i n g
t he c o n c e p t o f s e m a n t i c a t o m s a n d t h ei r l e xi c al c o v e r s . L e x i c a l d e c a y
8/11/2019 Lexi Cal Decay
20/20
Kle ine cke - 18
i s i d e n t i f i e d w i t h a c h a n g e i n l e x i c a l c o v e r . I f t h e s e ma n t i c a t o ms
a re s u f f i c i e n t l y i n d e p e n d e n t , t h e d e c a y i s a P o i s s o n p ro c e s s .
P ro b a b l y t h e mo s t i mp o r t a n t p r a c t i c a l c o n c l u s i o n i s t h e r e s u l t
t h a t a n y s e t o f s e ma n t i c a t o ms c a n b e u s e d t o e v a l u a t e l e x i c a l d e c a y
p ro v i d e d t h e s e t i s ma d e u p o f a t o ms :
.
.
f a r e n o u g h r e mo v e d i n me a n i n g f ro m o n e a n o t h e r t o a s s u re
i n d ep end en ce
w h i c h r e p re s e n t c o n c e p t s a s s u re d t o h a v e b e e n i n e x i s -
t e n c e t h ro u g h o u t t h e t i me p e r i o d b e i n g s t u d i e d .
( 1 )
(z)
3 )
(4)
En d N o t e s
S e e R o b e r t B . L e e s , T h e B a s i s o f G l o t t o c h r o n o l og y
L a n g u a g e , 2 9 . I 1 3 - 2 7 ( 19 5 3) .
T h e r e i s n o o u ts t a n d in g s t u dy o f t h i s p r o b l e m . A t t e m p t s
to i m p r o v e t he t es t v o c a b u l a r y b y l i mi t in g it to m e a n -
i n gs w h i c h h a v e b e h a v e d w e l l in e a r li e r s t ud i es a r e m e t h -
o d o l o g i c a l l y d i s a s t e r o u s b e c a u s e t h e y bi a s th e v a l u e o f k .
T h i s r e q u i r e m e n t is a ls o i n t e nd e d to r e m o v e b ia s f r o m
the est ima te of k .
T h i s i s a m a t t e r o f c l a ss i c al p h i lo l o gi c a l r e s e a r c h i n d e -
p e n d e n t o f s t at i st i ca l s y n t h e s e s m a d e f r o m t h e r es ul ts .
Top Related