我的书签
添加书签
移除书签- 4.2 发音的词典
4.2 发音的词典
一个稍微丰富的词典资源是一个表格（或电子表格），在每一行中含有一个词加一些性质。NLTK 中包括美国英语的 CMU 发音词典，它是为语音合成器使用而设计的。
>>> entries = nltk.corpus.cmudict.entries()>>> len(entries)133737>>> for entry in entries[42371:42379]:... print(entry)...('fir', ['F', 'ER1'])('fire', ['F', 'AY1', 'ER0'])('fire', ['F', 'AY1', 'R'])('firearm', ['F', 'AY1', 'ER0', 'AA2', 'R', 'M'])('firearm', ['F', 'AY1', 'R', 'AA2', 'R', 'M'])('firearms', ['F', 'AY1', 'ER0', 'AA2', 'R', 'M', 'Z'])('firearms', ['F', 'AY1', 'R', 'AA2', 'R', 'M', 'Z'])('fireball', ['F', 'AY1', 'ER0', 'B', 'AO2', 'L'])
对每一个词，这个词典资源提供语音的代码——不同的声音不同的标签——叫做 phones。请看 fire 有两个发音（美国英语中）：单音节F AY1 R和双音节F AY1 ER0。CMU 发音词典中的符号是从 Arpabet 来的，更多的细节请参考http://en.wikipedia.org/wiki/Arpabet。
每个条目由两部分组成，我们可以用一个复杂的for语句来一个一个的处理这些。我们没有写for entry in entries:，而是用 两个 变量名word, pron替换entry![[1]](/uploads/projects/1594/65822.jpg)
。现在，每次通过循环时，word被分配条目的第一部分，pron被分配条目的第二部分：
>>> for word, pron in entries: ![[1]](/projects/nlp-py-2e-zh/Images/eeff7ed83be48bf40aeeb3bf9db5550e.jpg)... if len(pron) == 3: ![[2]](/projects/nlp-py-2e-zh/Images/6efeadf518b11a6441906b93844c2b19.jpg)... ph1, ph2, ph3 = pron ![[3]](/projects/nlp-py-2e-zh/Images/e941b64ed778967dd0170d25492e42df.jpg)... if ph1 == 'P' and ph3 == 'T':... print(word, ph2, end=' ')...pait EY1 pat AE1 pate EY1 patt AE1 peart ER1 peat IY1 peet IY1 peete IY1 pert ER1pet EH1 pete IY1 pett EH1 piet IY1 piette IY1 pit IH1 pitt IH1 pot AA1 pote OW1pott AA1 pout AW1 puett UW1 purt ER1 put UH1 putt AH1
上面的程序扫描词典中那些发音包含三个音素的条目![[2]](/uploads/projects/1594/65823.jpg)
。如果条件为真，就将pron的内容分配给三个新的变量：ph1, ph2和ph3。请注意实现这个功能的语句的形式并不多见![[3]](/uploads/projects/1594/65824.jpg)
。
这里是同样的for语句的另一个例子，这次使用内部的列表推导。这段程序找到所有发音结尾与 nicks 相似的词汇。你可以使用此方法来找到押韵的词。
>>> syllable = ['N', 'IH0', 'K', 'S']>>> [word for word, pron in entries if pron[-4:] == syllable]["atlantic's", 'audiotronics', 'avionics', 'beatniks', 'calisthenics', 'centronics','chamonix', 'chetniks', "clinic's", 'clinics', 'conics', 'conics', 'cryogenics','cynics', 'diasonics', "dominic's", 'ebonics', 'electronics', "electronics'", ...]
请注意，有几种方法来拼读一个读音：nics, niks, nix 甚至 ntic’s 加一个无声的 t，如词 atlantic’s。让我们来看看其他一些发音与书写之间的不匹配。你可以总结一下下面的例子的功能，并解释它们是如何实现的？
>>> [w for w, pron in entries if pron[-1] == 'M' and w[-1] == 'n']['autumn', 'column', 'condemn', 'damn', 'goddamn', 'hymn', 'solemn']>>> sorted(set(w[:2] for w, pron in entries if pron[0] == 'N' and w[0] != 'n'))['gn', 'kn', 'mn', 'pn']
音素包含数字表示主重音(1)，次重音(2)和无重音(0)。作为我们最后的一个例子，我们定义一个函数来提取重音数字，然后扫描我们的词典，找到具有特定重音模式的词汇。
>>> def stress(pron):... return [char for phone in pron for char in phone if char.isdigit()]>>> [w for w, pron in entries if stress(pron) == ['0', '1', '0', '2', '0']]['abbreviated', 'abbreviated', 'abbreviating', 'accelerated', 'accelerating','accelerator', 'accelerators', 'accentuated', 'accentuating', 'accommodated','accommodating', 'accommodative', 'accumulated', 'accumulating', 'accumulative', ...]>>> [w for w, pron in entries if stress(pron) == ['0', '2', '0', '1', '0']]['abbreviation', 'abbreviations', 'abomination', 'abortifacient', 'abortifacients','academicians', 'accommodation', 'accommodations', 'accreditation', 'accreditations','accumulation', 'accumulations', 'acetylcholine', 'acetylcholine', 'adjudication', ...]
注意
这段程序的精妙之处在于：我们的用户自定义函数stress()调用一个内含条件的列表推导。还有一个双层嵌套for循环。这里有些复杂，等你有了更多的使用列表推导的经验后，你可能会想回过来重新阅读。
我们可以使用条件频率分布来帮助我们找到词汇的最小受限集合。在这里，我们找到所有 p 开头的三音素词，并按照它们的第一个和最后一个音素来分组。
>>> p3 = [(pron[0]+'-'+pron[2], word) ![[1]](/projects/nlp-py-2e-zh/Images/eeff7ed83be48bf40aeeb3bf9db5550e.jpg)... for (word, pron) in entries... if pron[0] == 'P' and len(pron) == 3] ![[2]](/projects/nlp-py-2e-zh/Images/6efeadf518b11a6441906b93844c2b19.jpg)>>> cfd = nltk.ConditionalFreqDist(p3)>>> for template in sorted(cfd.conditions()):... if len(cfd[template]) > 10:... words = sorted(cfd[template])... wordstring = ' '.join(words)... print(template, wordstring[:70] + "...")...P-CH patch pautsch peach perch petsch petsche piche piech pietsch pitch pit...P-K pac pack paek paik pak pake paque peak peake pech peck peek perc perk ...P-L pahl pail paille pal pale pall paul paule paull peal peale pearl pearl...P-N paign pain paine pan pane pawn payne peine pen penh penn pin pine pinn...P-P paap paape pap pape papp paup peep pep pip pipe pipp poop pop pope pop...P-R paar pair par pare parr pear peer pier poor poore por pore porr pour...P-S pace pass pasts peace pearse pease perce pers perse pesce piece piss p...P-T pait pat pate patt peart peat peet peete pert pet pete pett piet piett...P-UW1 peru peugh pew plew plue prew pru prue prugh pshew pugh...
我们可以通过查找特定词汇来访问词典，而不必遍历整个词典。我们将使用 Python 的词典数据结构，在3节我们将系统的学习它。通过指定词典的名字后面跟一个包含在方括号里的关键字（例如词'fire'）来查词典。
>>> prondict = nltk.corpus.cmudict.dict()>>> prondict['fire'] ![[1]](/projects/nlp-py-2e-zh/Images/eeff7ed83be48bf40aeeb3bf9db5550e.jpg)[['F', 'AY1', 'ER0'], ['F', 'AY1', 'R']]>>> prondict['blog'] ![[2]](/projects/nlp-py-2e-zh/Images/6efeadf518b11a6441906b93844c2b19.jpg)Traceback (most recent call last):File "<stdin>", line 1, in <module>KeyError: 'blog'>>> prondict['blog'] = [['B', 'L', 'AA1', 'G']] ![[3]](/projects/nlp-py-2e-zh/Images/e941b64ed778967dd0170d25492e42df.jpg)>>> prondict['blog'][['B', 'L', 'AA1', 'G']]
如果我们试图查找一个不存在的关键字，就会得到一个KeyError。这与我们使用一个过大的整数索引一个列表时产生一个IndexError是类似的。词 blog 在发音词典中没有，所以我们对我们自己版本的词典稍作调整，为这个关键字分配一个值（这对 NLTK 语料库是没有影响的；下一次我们访问它，blog 依然是空的）。
我们可以用任何词典资源来处理文本，如过滤掉具有某些词典属性的词（如名词），或者映射文本中每一个词。例如，下面的文本到发音函数在发音词典中查找文本中每个词：
>>> text = ['natural', 'language', 'processing']>>> [ph for w in text for ph in prondict[w][0]]['N', 'AE1', 'CH', 'ER0', 'AH0', 'L', 'L', 'AE1', 'NG', 'G', 'W', 'AH0', 'JH','P', 'R', 'AA1', 'S', 'EH0', 'S', 'IH0', 'NG']
