生活
首页>生活>正文

今日头条资深架构师解密算法:语义标签和隐式语义特征都做好才能理解内容

2018-01-1216:32:01来源:中国网

x

分享到微信朋友圈

使用“扫一扫”即可将网页分享到朋友圈

“语义标签的效果,是检查一个公司NLP(自然语言处理)的试金石。”在1月11日,今日头条召开的《让算法公开透明》交流会上,资深算法架构师、中国科学技术大学计算机博士曹欢欢面向业公开算法原理,消除社会各界对算法的一些误解,同时接受意见和建议。

频道、兴趣表达等重要产品功能,需要一个有明确定义、容易理解的文本标签体系。“所以,在隐式语义特征已经可以很好地帮助推荐,且做好语义标签需要投入远大于隐式语义特征的情况下,我们仍然需要做好语义标签。”曹欢欢说。

当前,行业内许多产品在做推荐时,依赖于省成本的隐式语义分析。所谓隐式语义分析,当两个词或一组词出现在同一个文档中时,这些词之间可以被认为是语义相关的。机器并不知道某个词究竟代表什么,不知道某个词是什么意思。

优盘和U盘这两个词在文章中经常混用,大量的在网页中同时出现,机器就会认为这两个词是极为语义相关的。

iPhone和苹果手机,虽然一个是英语一个是中文,这两个词大量出现在相同的网页中,虽然机器还不能知道iPhone或苹果手机指的是什么,但是却可以从语义上把“iPhone”“苹果手机”紧紧连在一起。

曹欢欢认为,虽然隐式语义特征已经可以很好地服务于推荐,但是如果要想将产品的推荐做得更好,还是需要在语义标签这类看似很笨重的地方下功夫。

来自中央电视台、新华社、人民日报等媒体机构的从业者,和来自阿里巴巴、腾讯、百度、美团、新浪、网易等科技公司的算法工程师、产品经理等100多人,参加了本次字节跳动“让算法公开透明” 活动。

分享过后,曹欢欢在现场解答了社会各界人士对算法的疑问,包括今日头条如何实现冷启动,广告和内容该怎样平衡,怎样准确地拓展用户兴趣图谱等切实的工程性问题。同时,听取接纳了大家对今日头条算法的意见和建议。

责任编辑:韩璐(EN053)

免责声明

  • 北青网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
  • 违法、不良信息举报和纠错电话:(010)65902021转5029 15001216856

热点聚焦

头条新闻

点击加载更多

频道推荐

  • 社会
  • 娱乐
  • 生活
  • 探索
  • 历史
关闭 北青网新闻客户端