-
精确模式，试图将句子最精确地切开，适合文本分析；
-
全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
-
搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
支持繁体分词
支持自定义词典
MIT 授权协议
全自动安装：
easy_install jieba
或者
pip install jieba
/
pip3 install jieba
半自动安装：先下载
http://pypi.python.org/pypi/jieba/
，解压后运行
python setup.py install
手动安装：将 jieba 目录放置于当前目录或者 site-packages 目录
通过
import jieba
来引用
jieba.cut
方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型
jieba.cut_for_search
方法接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细
待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8
jieba.cut
以及
jieba.cut_for_search
返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用
jieba.lcut
以及
jieba.lcut_for_search
直接返回 list
jieba.Tokenizer(dictionary=DEFAULT_DICT)
新建自定义分词器，可用于同时使用不同词典。
jieba.dt
为默认分词器，所有全局分词相关函数都是该分词器的映射。
import jieba
seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list))
seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))
seg_list = jieba.cut("他来到了网易杭研大厦")
print(", ".join(seg_list))
seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")
print(", ".join(seg_list))
【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学
【精确模式】: 我/ 来到/ 北京/ 清华大学
【新词识别】：他, 来到, 了, 网易, 杭研, 大厦 (此处，“杭研”并没有在词典中，但是也被Viterbi算法识别出来了)
【搜索引擎模式】： 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造
开发者可以指定自己自定义的词典，以便包含 jieba 词库里没有的词。虽然 jieba 有新词识别能力，但是自行添加新词可以保证更高的正确率
用法： jieba.load_userdict(file_name) # file_name 为文件类对象或自定义词典的路径
词典格式和 dict.txt 一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。file_name 若为路径或二进制方式打开的文件，则文件必须为 UTF-8 编码。
词频省略时使用自动计算的能保证分出该词的词频。
创新办 3 i
云计算 5
凱特琳 nz
更改分词器（默认为 jieba.dt）的 tmp_dir 和 cache_file 属性，可分别指定缓存文件所在的文件夹及其文件名，用于受限的文件系统。
使用 add_word(word, freq=None, tag=None) 和 del_word(word) 可在程序中动态修改词典。
使用 suggest_freq(segment, tune=True) 可调节单个词语的词频，使其能（或不能）被分出来。
注意：自动计算的词频在使用 HMM 新词发现功能时可能无效。
代码示例：
>>> print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))
如果/放到/post/中将/出错/。
>>> jieba.suggest_freq(('中', '将'), True)
>>> print('/'.join(jieba.cut('如果放到post中将出错。', HMM=False)))
如果/放到/post/中/将/出错/。
>>> print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))
「/台/中/」/正确/应该/不会/被/切开
>>> jieba.suggest_freq('台中', True)
>>> print('/'.join(jieba.cut('「台中」正确应该不会被切开', HMM=False)))
「/台中/」/正确/应该/不会/被/切开
“通过用户自定义词典来增强歧义纠错能力” — https://github.com/fxsjy/jieba/issues/14
jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
- sentence 为待提取的文本
- topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20
- withWeight 为是否一并返回关键词权重值，默认值为 False
- allowPOS 仅包括指定词性的词，默认值为空，即不筛选
jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例，idf_path 为 IDF 频率文件
代码示例 （关键词提取）
https://github.com/fxsjy/jieba/blob/master/test/extract_tags.py
关键词提取所使用逆向文件频率（IDF）文本语料库可以切换成自定义语料库的路径
用法： jieba.analyse.set_idf_path(file_name) # file_name为自定义语料库的路径
自定义语料库示例：https://github.com/fxsjy/jieba/blob/master/extra_dict/idf.txt.big
用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_idfpath.py
关键词提取所使用停止词（Stop Words）文本语料库可以切换成自定义语料库的路径
用法： jieba.analyse.set_stop_words(file_name) # file_name为自定义语料库的路径
自定义语料库示例：https://github.com/fxsjy/jieba/blob/master/extra_dict/stop_words.txt
用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_stop_words.py
关键词一并返回关键词权重值示例
用法示例：https://github.com/fxsjy/jieba/blob/master/test/extract_tags_with_weight.py
jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=(‘ns’, ‘n’, ‘vn’, ‘v’)) 直接使用，接口相同，注意默认过滤词性。
jieba.analyse.TextRank() 新建自定义 TextRank 实例
算法论文： TextRank: Bringing Order into Texts
基本思想:
将待抽取关键词的文本进行分词
以固定窗口大小(默认为5，通过span属性调整)，词之间的共现关系，构建图
计算图中节点的PageRank，注意是无向带权图
jieba.posseg.POSTokenizer(tokenizer=None) 新建自定义分词器，tokenizer 参数可指定内部使用的 jieba.Tokenizer 分词器。jieba.posseg.dt 为默认词性标注分词器。
标注句子分词后每个词的词性，采用和 ictclas 兼容的标记法。
原理：将目标文本按行分隔后，把各行文本分配到多个 Python 进程并行分词，然后归并结果，从而获得分词速度的可观提升
基于 python 自带的 multiprocessing 模块，目前暂不支持 Windows
jieba.enable_parallel(4) # 开启并行分词模式，参数为并行进程数jieba.disable_parallel() # 关闭并行分词模式
例子：https://github.com/fxsjy/jieba/blob/master/test/parallel/test_file.py
实验结果：在 4 核 3.4GHz Linux 机器上，对金庸全集进行精确分词，获得了 1MB/s 的速度，是单进程版的 3.3 倍。
注意：并行分词仅支持默认分词器 jieba.dt 和 jieba.posseg.dt。
word 永和 start: 0 end:2
word 服装 start: 2 end:4
word 饰品 start: 4 end:6
word 有限公司 start: 6 end:10
word 永和 start: 0 end:2
word 服装 start: 2 end:4
word 饰品 start: 4 end:6
word 有限 start: 6 end:8
word 公司 start: 8 end:10
word 有限公司 start: 6 end:10
7. ChineseAnalyzer for Whoosh 搜索引擎
引用： from jieba.analyse import ChineseAnalyzer
用法示例：https://github.com/fxsjy/jieba/blob/master/test/test_whoosh.py
-h, --help 显示此帮助信息并退出
-d [DELIM], --delimiter [DELIM]
使用 DELIM 分隔词语，而不是用默认的' / '。
若不指定 DELIM，则使用一个空格分隔。
-p [DELIM], --pos [DELIM]
启用词性标注；如果指定 DELIM，词语和词性之间
用它分隔，否则用 _ 分隔
-D DICT, --dict DICT 使用 DICT 代替默认词典
-u USER_DICT, --user-dict USER_DICT
使用 USER_DICT 作为附加词典，与默认词典或自定义词典配合使用
-a, --cut-all 全模式分词（不支持词性标注）
-n, --no-hmm 不使用隐含马尔可夫模型
-q, --quiet 不输出载入信息到 STDERR
-V, --version 显示版本信息并退出
如果没有指定文件名，则使用标准输入。
--help 选项输出：
$> python -m jieba --help
Jieba command line interface.
positional arguments:
filename input file
optional arguments:
-h, --help show this help message and exit
-d [DELIM], --delimiter [DELIM]
use DELIM instead of ' / ' for word delimiter; or a
space if it is used without DELIM
-p [DELIM], --pos [DELIM]
enable POS tagging; if DELIM is specified, use DELIM
instead of '_' for POS delimiter
-D DICT, --dict DICT use DICT as dictionary
-u USER_DICT, --user-dict USER_DICT
use USER_DICT together with the default dictionary or
DICT (if specified)
-a, --cut-all full pattern cutting (ignored with POS tagging)
-n, --no-hmm don't use the Hidden Markov Model
-q, --quiet don't print loading messages to stderr
-V, --version show program's version number and exit
If no filename specified, use STDIN instead.
延迟加载机制
jieba 采用延迟加载，import jieba 和 jieba.Tokenizer() 不会立即触发词典的加载，一旦有必要才开始加载词典构建前缀字典。如果你想手工初始 jieba，也可以手动初始化。
import jieba
jieba.initialize() # 手动初始化（可选）
在 0.28 之前的版本是不能指定主词典的路径的，有了延迟加载机制后，你可以改变主词典的路径:
jieba.set_dictionary('data/dict.txt.big')
例子： https://github.com/fxsjy/jieba/blob/master/test/test_change_dictpath.py
占用内存较小的词典文件
https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.small
支持繁体分词更好的词典文件
https://github.com/fxsjy/jieba/raw/master/extra_dict/dict.txt.big
下载你所需要的词典，然后覆盖 jieba/dict.txt 即可；或者用 jieba.set_dictionary('data/dict.txt.big')
其他语言实现
结巴分词 Java 版本
作者：piaolingxue
地址：https://github.com/huaban/jieba-analysis
结巴分词 C++ 版本
作者：yanyiwu
地址：https://github.com/yanyiwu/cppjieba
结巴分词 Node.js 版本
作者：yanyiwu
地址：https://github.com/yanyiwu/nodejieba
结巴分词 Erlang 版本
作者：falood
地址：https://github.com/falood/exjieba
结巴分词 R 版本
作者：qinwf
地址：https://github.com/qinwf/jiebaR
结巴分词 iOS 版本
作者：yanyiwu
地址：https://github.com/yanyiwu/iosjieba
结巴分词 PHP 版本
作者：fukuball
地址：https://github.com/fukuball/jieba-php
结巴分词 .NET(C#) 版本
作者：anderscui
地址：https://github.com/anderscui/jieba.NET/
结巴分词 Go 版本
作者: wangbin 地址: https://github.com/wangbin/jiebago
作者: yanyiwu 地址: https://github.com/yanyiwu/gojieba
前言：笔主开发环境：Python3+Windows推荐初学者使用Anaconda来搭建Python环境，这样很方便而且能提高学习速度与效率。简介：wordcloud是Python中的一个小巧的词云生成...
来自： 不忘初心
Python 是一种代表简单思想的语言，其语法相对简单，很容易上手。不过，如果就此小视 Python 语法的精妙和深邃，那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点，并...
来自： Python作业辅导员 - 天元浪子【许向武】
基于python中jieba包的中文分词中详细使用（一）01.前言02.jieba的介绍02.1What02.2特点02.3安装与使用02.4涉及到的算法03.主要功能03.01分词03.02添加自定...
来自： 皮乾东
jieba“结巴”中文分词：做最好的 Python 中文分词组件“Jieba” (Chinese for “to stutter”) Chinese text segmentation: built ...
来自： 清风不识字12138的博客
最近翻到一篇知乎，上面有不少用Python（大多是turtle库）绘制的树图，感觉很漂亮，我整理了一下，挑了一些我觉得不错的代码分享给大家（这些我都测试过，确实可以生成）one 樱花树 动态生成樱花效...
来自： 碎片
前奏：今天2B哥和大家分享一位前几天面试的一位应聘者，工作4年26岁，统招本科。以下就是他的简历和面试情况。基本情况：专业技能：1、 熟悉Sping了解SpringMVC、SpringBoo...
来自： HarderXin的专栏
jieba库是一款优秀的Python第三方中文分词库，jieba支持三种分词模式：精确模式、全模式和搜索引擎模式，下面是三种模式的特点。精确模式：试图将语句最精确的切分，不存在冗余数据，适合做文本分析...
来自： zchen
从业五年多，辗转两个大厂，出过书，创过业，从技术小白成长为基层管理，联合几个业内大牛回答下这个问题，希望能帮到大家，记得帮我点赞哦。敲黑板！！！读了这篇文章，你将知道如何才能进大厂，如何实现财务自由，...
来自： 启舰
昨晚上发现了snownlp这个库，欣喜若狂。先说说我这么开心的原因。我本科毕业设计做的是文本挖掘，用R语言做的，发现R语言对文本处理特别不友好，没有很多强大的库，特别是针对中文文本的，加上那时候还没有...
来自： yyxyyx10的博客
今天闲着无事，就想写点东西。然后听了下歌，就打算写个播放器。于是乎用h5 audio的加上js简单的播放器完工了。演示地点演示html代码如下` music 这个年纪 七月的风...
来自： qq_44210563的博客
jieba“结巴”中文分词：做最好的 Python 中文分词组件“Jieba” (Chinese for “to stutter”) Chinese text segmentation: built ...
来自： 码上的生活
说实话，对于学习路线这种文章我一般是不写的，大家看我的文章也知道，我是很少写建议别人怎么样怎么样的文章，更多的是，写自己的真实经历，然后供大家去参考，这样子，我内心也比较踏实，也不怕误导他人。但是，最...
来自： 帅地
引言最近也有很多人来向我"请教"，他们大都是一些刚入门的新手，还不了解这个行业，也不知道从何学起，开始的时候非常迷茫，实在是每天回复很多人也很麻烦，所以在这里统一作个回复吧。Java学习路线当然，这里...
来自： java_sha的博客
网上很多整合SSM博客文章并不能让初探ssm的同学思路完全的清晰，可以试着关掉整合教程，摇两下头骨，哈一大口气，就在万事具备的时候，开整，这个时候你可能思路全无 ~中招了咩~ ，还有一些同学依旧在使用...
来自： 程序员宜春的博客
点击上面↑「爱开发」关注我们每晚10点，捕获技术思考和创业资源洞察什么是ThreadLocalThreadLocal是一个本地线程副本变量工具类，各个线程都拥有一份线程私......
来自： 爱开发
博客说明：这是自己写的有关python语言的一篇综合博客。只作为知识广度和编程技巧学习，不过于追究学习深度，点到即止、会用即可。主要是基础语句，如三大控制语句（顺序、分支、循环），随机数的生成，数据类...
来自： 归零者
由于我之前一直强调数据结构以及算法学习的重要性，所以就有一些读者经常问我，数据结构与算法应该要学习到哪个程度呢？，说实话，这个问题我不知道要怎么回答你，主要取决于你想学习到哪些程度，不过针对这个问题，...
来自： 帅地
昨天，有网友私信我，说去阿里面试，彻底的被打击到了。问了为什么网上大量使用ThreadLocal的源码都会加上private static？他被难住了，因为他从来都没有考虑过这个问题。无独有偶，今天笔...
来自： web前端交流群600610151
引子Hacker（黑客），往往被人们理解为只会用非法手段来破坏网络安全的计算机高手。但是，黑客其实不是这样的，真正的“网络破坏者”是和黑客名称和读音相似的骇客。骇客，是用黑客手段进行非法操作并为己取得...
来自： tiantian520ttjs——Python程序猿~
目录1、个人申请2、团队申请3、企业/组织申请3.1、个人/企业/组织和企业/组织联合申请4、补充最近和团队做一个项目：基于NB-IoT技术的城市道路智慧路灯监控系统，决定申请计算机软件著作权便于保护...
来自： 不脱发的程序猿
整体介绍jieba基于Python的中文分词工具,安装使用非常方便,直接pip即可,2/3都可以,功能强悍,博主十分推荐github:https://github.com/fxsjy/jieba开源中...
来自： 【数据启示录】
功能实现如下： 支持的植物类型：太阳花，豌豆射手，寒冰射手，坚果，樱桃炸弹。新增加植物：双重豌豆射手，三重豌豆射手，食人花 ，小喷菇，土豆地雷，倭瓜。 支持的僵尸类型：普通僵尸，棋子僵尸，...
来自： marble_xu的博客
大学四年，看课本是不可能一直看课本的了，对于学习，特别是自学，善于搜索网上的一些资源来辅助，还是非常有必要的，下面我就把这几年私藏的各种资源，网站贡献出来给你们。主要有：电子书搜索、实用工具、在线视频...
来自： 帅地
介绍最近跟着公司的大佬开发了一款IM系统，类似QQ和微信哈，就是聊天软件。我们有一部分业务逻辑是这样的if (msgType = "文本") { // dosomething} else if(msg...
在虎扑上随便找了一段文字，粘贴到word.txt文件中，然后对这段文字进行处理。其中用到的matplotlib库，主要是用来绘图；jieba库，对文字进行分词；wordcloud库，构建词云。一、引用...
来自： songrenqing
英雄不问出处？自古以来就有这样一句话，真的英雄不问出处吗？这句话太挫了。普通三本院校的我，大四的时候居然都不知道什么是校招，所以出处太重要了。这也是没有机会参加阿里校招的原因，毕竟校招门槛比社招还是要...
来自： 码匠笔记
文章有点长并且绕，先来个图片缓冲下！前言现在的业务场景越来越复杂，使用的架构也就越来越复杂，分布式、高并发已经是业务要求的常态。像腾讯系的不少服务，还有CDN优化、异地多备份等处理。说到分布式，就必然...
来自： 公众号-[程序员之道]
11月8日，由中国信息通信研究院、中国通信标准化协会、中国互联网协会、可信区块链推进计划联合主办，科技行者协办的2019可信区块链峰会将在北京悠唐皇冠假日酒店开幕。 区块链技术被认为是继蒸汽机、电力...
来自： CSDN资讯
不知觉已中码龄已突破五年，一路走来从起初铁憨憨到现在的十九线程序员，一路成长，虽然不能成为高工，但是也能挡下一面，从15年很火的android开始入坑，走过java、.Net、QT，目前仍处于andr...
来自： Hello___Sunshine的专栏
位算法的效率有多快我就不说，不信你可以去用 10 亿个数据模拟一下，今天给大家讲一讲位运算的一些经典例子。不过，最重要的不是看懂了这些例子就好，而是要在以后多去运用位运算这些技巧，当然，采用位运算，也...
来自： weixin_34014555的博客
这篇文章其实已经准备了11个月了，因为虽然我们年初就开始使用 Angular 的微前端架构，但是产品一直没有正式发布，无法通过生产环境实践验证可行性，11月16日我们的产品正式灰度发布，所以是时候分享...
来自： 柚橙论
依稀记得，毕业那天，我们导员发给我毕业证的时候对我说“你可是咱们系的风云人物啊”，哎呀，别提当时多开心啦????，嗯，我们导员是所有导员中最帅的一个，真的????不过，导员说的是实话，很多人都叫我大神...
来自： 编码之外的技术博客
持续更新。。。。。。2.1斐波那契系列问题2.2矩阵系列问题2.3跳跃系列问题3.1 01背包3.2 完全背包3.3多重背包3.4 一些变形选讲2.1斐波那契系列问题在数学上，斐波纳契数列以如下被以递...
来自： hebtu666
强烈推荐！15 个 Github ...
m0_46383794：Ggggggggg Ggggggggg Ggggggggg Ggggggggg Ggggggggg Ggggggggg
Mysql锁机制简单了解一下
qq_37939786：表级锁并不是粒度最大，还有全局锁。
Java开源爬虫框架crawler...
weixin_43399398：楼主六级540多分很强了
Bigo的Java面试，我挂在了第...
ange2000561：2年就去大厂 面试过了2关 不错了
Bigo的Java面试，我挂在了第...
github_39353936：感谢分享
