猫史档案馆


kitten新科技-中文分词

用户:伴雪纷飞伴雪纷飞查看:1 回复:3 评论:1 创建时间:2022-01-15T14:00:54


center_image

center_image


回复

上一页1 页 / 共 1下一页
伴雪纷飞伴雪纷飞

纠正一下哈,这是第二种(正文第13行

点赞0


评论


伴雪纷飞伴雪纷飞

论坛里的人似乎对自然语言处理并不感兴趣呀😓

剩下几篇教程也就不更

这里大概说下原理和技巧

2.词库分词(具体可参考我的'中文分词'

用大规模词语进行比对和分词

技巧:(从python的jieba库中把现成的词库挖出来(lib\jieba\dict.txt{其中分别为 词频 词性}

3.HMM分词(具体可参考我的'中文分词'

用隐马可夫模型分词

4.TF-IDF算法(具体可参考我的'中文分词'

词频=文档频率x逆文档频率

5.词云图(具体可参考我的'中文分词'

通过随机以及算法绘制

6.文章生成

通过隐马可夫模型推断下一词,写出文章

7.情绪判断(分类器

1分词

2训练资料

3判断情绪

8.自动聊天

与情绪判断的知识和文章生成的知识相结合

点赞1


评论


𝙲ℴ𝗌𝔦𝒹ₑ𝑟𝙲ℴ𝗌𝔦𝒹ₑ𝑟

理解为:将所中文(输入)有正向组合转换为英文→在英文层面判断:如果是 一个英文单词(指数量),则单独分出;如果不是 一个英文单词(指数量),则带入下一个字符。

点赞0


评论