命名实体识别工具，支持BertSoftmax、BertCrf、BertSpa，开箱即用
共 2080字，需浏览 5分钟
· 2022-07-31
向AI转型的程序员都关注了这个号👇👇👇
机器学习AI算法工程 公众号：datayx
nerpy实现了BertSoftmax、BertCrf、BertSpan等多种命名实体识别模型，并在标准数据集上比较了各模型的效果。
https://github.com/shibing624/nerpy
Evaluation
说明：
结果值均使用F1
结果均只用该数据集的train训练，在test上评估得到的表现，没用外部数据
shibing624/bert4ner-base-chinese模型达到同级别参数量SOTA效果，是用BertSoftmax方法训练， 运行examples/training_ner_model_file_demo.py代码可在各中文数据集复现结果shibing624/bert4ner-base-uncased模型是用BertSoftmax方法训练， 运行examples/training_ner_model_eng_demo.py代码可在CoNLL-2003英文数据集复现结果各预训练模型均可以通过transformers调用，如中文BERT模型：
--model_name bert-base-chinese中文实体识别数据集下载链接见下方
QPS的GPU测试环境是Tesla V100，显存32GB
Install
python 3.8+
pip install torch # conda install pytorchpip install -U nerpyor
pip install torch # conda install pytorchpip install -r requirements.txt
git clone https://github.com/shibing624/nerpy.gitcd nerpypip install --no-deps .
BertSoftmax 模型
BertSoftmax实体识别模型，基于BERT的标准序列标注
机器学习算法AI大数据技术
搜索公众号添加： datanlp
长按图片，识别二维码
阅读过本文的人还看了以下文章：
基于40万表格数据集TableBank，用MaskRCNN做表格检测
《深度学习入门：基于Python的理论与实现》高清中文PDF+源码
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码
PyTorch深度学习快速实战入门《pytorch-handbook》
【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》
李沐大神开源《动手学深度学习》，加州伯克利深度学习（2019春）教材
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类
如何利用全新的决策树集成级联结构gcForest做特征工程并打分？
Machine Learning Yearning 中文翻译稿
斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏）
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源
深度学习、机器学习、数据分析、python
搜索公众号添加： datayx
