文档库 最新最全的文档下载
当前位置:文档库 › 条件随机场-SJTU

条件随机场-SJTU

条件随机场模型和训练方法

条件随机场模型和训练方法 条件随机场模型是由[7]首先提出的,这个模型在自然语言处理和生物信息学中得到了广泛的应用,这一章我们简要介绍了条件随机场模型极其训练方法。更详尽的介绍参见[2],[3],[4]。 2.1训练的定义 考虑这样一个问题:给定一个模型,这个模型有很多参数,如何找出模型的最佳参数?训练是解决这个问题的一个方法。给定一组训练数据和一组模型,按照某个衡量标准,选出最符合训练数据的模型,这个过程叫做训练。只有选取的训练数据符合现实情况时,选择的模型才能符合现实,因此训练数据的选取是一个重要的问题。衡量模型的标准有许多个,下面介绍两个衡量标准。 2.1.1极大似然估计 (x;)P ω是随机变量X 的概率密度分布函数,ω是其中的参数。 12{x ,x ,...,x }n 是一组随机变量12,,...,X n X X 的观测值,12,,...,X n X X 是一组独立同分布的随机变量,分布与X 相同。 极大似然估计: 12'arg max (x ,x ,...,x ;)arg max (x ;)n i i P P ωωωωω==∏ 极大似然估计是一个非常自然的想法,就是选择使训练数据发生概率最大的参数,但极大似然估计的一个缺点是对训练数据的假设太强,不容易满足。下面介绍的条件似然估计可以克服这个缺点。 2.1.2条件似然估计 假设每一个训练数据由两部分组成,形如(x,y);其中x 是已知的观测值,y 的概率分布由x 和ω唯一确定。为了判断y 的取值,我们只需要刻画条件概率分布(y |x;)ωP 。我们不用联合概率分布(y,x;)ωP 的原因是x 的取值是已知的,我们不需要刻画x 的概率分布,何况我们很难准确的刻画x 的概率分布。 假设给定一组训练集:1122{(x ,y ),(x ,y ),...,(x ,y )}n n 。 条件似然估计: 1212'arg max (y ,y ,...,y |x ,x ,...,x ;)arg max (y |x ;)n n i i i P P ωωωωω==∏ 这里所做的假设是y i 的概率分布仅由x i 和ω决定,即: 111(y |x ,...,x ,y ,...,y ;)(y |x ;)i n i i i P P ωω-=

基于条件随机场的命名实体识别

目录 摘要........................................................................................................................................................I Abstract.....................................................................................................................................................II 目录.....................................................................................................................................................IV 第一章绪论 (1) §1.1研究背景及意义 (1) §1.2国内外命名实体研究现状 (2) §1.3论文主要工作 (4) §1.4论文组织结构 (4) 第二章命名实体识别概述 (6) §2.1命名实体识别难点 (6) §2.2各类命名实体的语言学特点 (7) §2.2.1人名 (7) §2.2.2地名 (8) §2.2.3组织名 (8) §2.3 命名实体识别方法 (9) §2.3.1基于规则的命名实体识别 (9) §2.3.2基于统计的命名实体识别 (9) §2.3.3基于统计与规则的命名实体识别 (11) §2.4本章小结 (12) 第三章条件随机场 (13) §3.1有向图模型 (13) §3.1.1隐马尔可夫模型 (13) §3.1.2最大熵模型 (16) §3.2条件随机场模型 (18) §3.2.1无向图模型 (19) §3.2.2条件随机场模型定义 (20) §3.2.3条件随机场模型的参数估计 (21) §3.2.4条件随机场的条件概率计算 (22) §3.3层叠条件随机场 (22) §3.4本章小结 (24) 第四章基于边界词性特征的命名实体识别 (25) §4.1特征集 (25) §4.1.1字符特征 (25) §4.1.2上下文特征 (26) §4.1.3词性特征 (26) §4.1.4边界特征 (26) §4.1.5词性边界融合特征 (27) IV

随机场马尔可夫随机场条件随机场

随机场、马尔可夫随机场、条件随机场 最近看视觉显著性方面的文章,看到一篇2011年2月的PAMI文章Learning to Detect a Salient Object,论文提出一种基于条件随机场(CRF)的特征组合方法将显著目标提取问题看做二值标记问题来解决。之前没有接触过条件随机场,经过两天的学习,现在总结一下并巩固梳理: (1)随机场: 在概率论中, 由样本空间Ω = {0, 1, ..., G 1}n取样构成的随机变量Xi所组成的S= {X1, ..., Xn}。若对所有的ω∈Ω下式均成立,则称π为一个随机场。 一些已有的随机场如:马尔可夫随机场(MRF), 吉布斯随机场(GRF), 条件随机场(CRF), 和高斯随机场。 随机场包含两个要素:位置(site),相空间(phase space)。当给每一个位置中按照某种分布随机赋予相空间的一个值之后,其全体就叫做随机场。我们不妨拿种地来打个比方。“位置”好比是一亩亩农田;“相空间”好比是种的各种庄稼。我们可以给不同的地种上不同的庄稼,这就好比给随机场的每个“位置”,赋予相空间里不同的值。所以,俗气点说,随机场就是在哪块地里种什么庄稼的事情。

(2)马尔科夫(Markov)性质: 马尔可夫链是随机变量X1, … , Xn 的一个数列。这些变量的范围,即他们所有可能取值的集合,被称为“状态空间”,而Xn 的值则是在时间n 的状态。如果Xn+1 对于过去 状态的条件概率分布仅是Xn 的一个函数,则 这里x 为过程中的某个状态。上面这个恒等式可以被 看作是马尔可夫性质。 马尔可夫链的在很多应用中发挥了重要作用,例如,谷歌所使用的网页排序算法(PageRank)就是由马尔可夫链 定义的。 通俗说,离当前因素比较遥远(这个遥远要根据具体情况自己定义)的因素对当前因素的性质影响不大。简单说,就叫健忘。拿天气来打个比方。如果我们假定天气是马尔可夫的,其意思就是我们假设今天的天气仅仅与昨天的天气存在概率上的关联,而与前天及前天以前的天气没有关系。再举一个通俗的比喻来形容,一只被切除了大脑的白鼠在若干个洞穴间的蹿动就构成一个马尔科夫链。因为这只白鼠已没有了记忆,瞬间而生的念头决定了它从一个洞穴蹿到另一个洞穴;当其所在位置确定时,它下一步蹿往何处与它以往经过

基于条件随机场的评价对象抽取

基于条件随机场的评价对象抽取① 夏 圆, 张 征 (华中科技大学自动化学院, 武汉 430074) 摘 要: 评价对象抽取是情感分析的重要组成部分, 针对在线商品中文评论非正规化、网络化的特点, 本文提出一种基于句法分析和条件随机场的评价对象的抽取方法, 通过实验分析不同模板与不同特征组合对评价对象提取的F值的影响. 在系统实现上, 主要利用哈工大语言技术平台(LTP)的开放接口和CRFs开源工具对评论数据集进行训练和测试. 最终使两类数据集的评价对象抽取的F值达分别达到到82.98%和83.50%. 关键词: 评价对象; 情感分析; 句法分析; 条件随机场; 特征组合 引用格式: 夏圆,张征.基于条件随机场的评价对象抽取.计算机系统应用,2017,26(11):254–259. https://www.wendangku.net/doc/402243730.html,/1003-3254/6050.html Objects Extraction of Comment Based on Conditional Random Field XIA Yuan, ZHANG Zheng (School of Automation, Huazhong University of Science and Technology, Wuhan 430074, China) Abstract: Extracting object of comment is an important part of emotional analysis. In view of the irregularity of language and the characteristics of network in Chinese online comment, this paper presents a method of extracting objects based on the syntactic analysis and conditional random field. It analyzes experimentally the effect of different templates and different combinations of features on the F value. In the implementation of the system, this paper uses Harbin Institute of Technology language platform open interface and CRFs open source tools to train and test on comment data sets. Finally, the F values of the two types of data sets have reached 82.98% and 83.50% respectively. Key words: comment object; sentiment analysis; syntactic analysis; conditional random field; combinations of features 1 引言 随着Web 2.0技术的快速发展, 在线评论在互联网上正以指数级的速度增长, 成为继内部搜索功能后最重要的网站功能. 对于电商平台, 评论信息影响到消费者的购买决策[1]. 从海量的在线评论中挖掘用户关心的信息可以把用户从中解脱出来, 因为将可视化的结果提供给商家, 可以帮助其改善服务质量, 为顾客带去舒适的购物体验; 提供给用户, 以帮助其做出最有效益的购物决策. 如何从以指数级增加的文本内容中抽取有用的信息、分析规律是一个急需解决的问题. 借助自然语言处理技术分析某一条评论所包含的评价对象以及顾客对产品某个属性的感情倾向性在很大程度上可以解决以上的问题. 评价对象指某段评论中所讨论的主题, 具体表现为评论中评价词所修饰的对象[2]. 评价对象的抽取是文本情感分析的关键, 现有的评价对象的抽取方法主要有基于关联规则和基于统计两种. Liu Bing最先提出评价对象抽取的问题, 将有着较高频率的名词以及短语视为评价对象, 把距离评价对象最近的形容词视为其评价短语[3]. 邱云飞、陈艺方等人提出根据中文语言的特点, 利用词性特征与句法分析提取商品评价对象的方法[4]. 张建华、肖中正也进行了基于词性特征和依存句法分析的方法抽取评价对象的研究[5]. 基于关联规则的方法主要是根据文本本身的特点, 结合评价对象所具有的特点, 制定相应的规则 计算机系统应用 ISSN 1003-3254, CODEN CSAOBN E-mail: csa@https://www.wendangku.net/doc/402243730.html, Computer Systems & Applications,2017,26(11):254?259 [doi: 10.15888/https://www.wendangku.net/doc/402243730.html,ki.csa.006050]https://www.wendangku.net/doc/402243730.html, ?中国科学院软件研究所版权所有.Tel: +86-10-62661041 ①收稿时间: 2017-02-21; 修改时间: 2017-03-09; 采用时间: 2017-03-16 254研究开发 Research and Development 万方数据

相关文档