话题检测与跟踪

发布时间：2016-02-24  栏目：机器学习, 自然语言处理  评论：0 Comments

话题检测与跟踪（Topic Detection and Tracking）起源于早期面向事件的检测与跟踪（Event Detection and Tracking，简写为EDT）是近年提出的一项信息处理技术，这项技术旨在帮助人们应对日益严重的互联网信息爆炸问题，对新闻媒体信息流进行新话题的自动识别和已知话题的持续跟踪。与EDT不同，TDT检测与跟踪的对象从特定时间和地点发生的事件扩展为具备更多相关性外延的话题，相应的理论与应用研究也同时从传统对于事件的识别跨越到包含突发事件及其后续相关报道的话题检测与跟踪。

 

TDT是一项综合的技术，需要比较多的自然语言处理理论和技术作为支撑，因此这些测评对其进行了细化。根据不同的应用需求，TDT评测会议把话题检测和跟踪分成五个子任务。
任务
● 报道切分（Story Segmentation）找出所有的报道边界，把输入的源数据流分割成各个独立的报道。
● 话题跟踪（Story Tracking）给出某话题的一则或多则报道，把后输入进来的相关报道和该话题联系起来。它实际上包括两步，首先给出一组样本报道，训练得到话题模型，然后在后续报道中找出所有讨论目标话题的报道。
● 话题检测（Story Detection）发现以前未知的新话题。
● 首次报道检测（New Event Detection）在数据流中检测或发现首次，并且只能是首次讨论某个话题的报道。与话题检测本质相同，区别只在于结果输出的形式不同。
● 关联检测（Link Detection）判断两则报道是否讨论的是同一个话题。
主要实现方法
构造一个实用化的TDT系统是进行TDT研究的主要目的之一，也是检验现有方法优劣的基础。从参评的数量来看，话题发现和话题跟踪两个子任务最受关注。因此我们介绍的实现方法也以这两个任务为主。总体而言，要实现话题发现与跟踪功能，需要解决以下主要问题：
⑴话题/报道的模型化
⑵话题－报道相似度的计算
⑶聚类策略
⑷分类策略（阈值选择策略）
TDT跟LDA等的关系和区别是什么？

留下评论

You must be logged in to post a comment.

近期文章

近期评论

文章归档

分类目录

功能

热情读者



作者其他介绍


友情链接


相册集

pix pix pix pix pix pix

关于自己

杨文龙，微软Principal Engineering Manager, 曾在各家公司担任影像技术资深总监、数据科学团队资深经理、ADAS算法总监、资深深度学习工程师等职位，热爱创新发明，专注于人工智能、深度学习、图像处理、机器学习、算法、自然语言处理及软件等领域，目前发明有国际专利19篇，中国专利28篇。

联系我

个人技术笔记

welonshen@gmail.com

2015 in Shanghai



Copyright © 杨文龙的博客, All Rights Reserved. 沪ICP备14044444号-2