Feature Optimization for Constituent Parsing via Neural Networks @ ACL 2015

Zhiguo Wang, Haitao Mi, and Nianwen Xue. 2015. Feature Optimization for Constituent Parsing via Neural Networks. In ACL. pp. 1138–1147.

对于判别式句法分析,特征模版的设计对性能非常重要,很多工作都是根据经验和实验设计特征来改进句法分析,但这种方法一方面比较单调无趣,另一方面也无法决定哪些特征是最优的,即使在测试数据上却的好的结果。

针对这种问题,Wang 采用基本的前向神经网络进行训练,对于词采用continue representation,而每个特征采用one-hot表示,隐藏层的表示作为这些特征的全局抽象表示,在输出层预测shift-recude的操作,从而实现成分句法分析。

对于神经网络用语句法分析的工作,由于treebank数据非常小,难以有效学习,因此往往需要用已有的传统parser对大量数据进行分析,从而获得大规模的训练数据进行网络的pre-train,再利用treebank对网络进行fine-tune,这篇文章也不例外,这也是一种self-training的思想,从而才能实现比较好的性能。

发表评论

电子邮件地址不会被公开。 必填项已用*标注