2024年11月spaCy下载-句法解析器 v3.0.4

发布时间:

  ⑴spaCy是一个用于Python和Cython中高级自然语言处理的库,目前支持多种语言的标记化和训练,可用于标记解析命名实体识别以及文本分类等操作,具有像BERT这样的预训练变压器的多任务学习功能,可用于生产的训练系统和简单模型包装,非常方便实用;spaCy是商业开放源代码软件,是目前最快的句法解析器,根据独立的基准测试,拥有快速高效的测试速度,同时该软件绿色安全完全免费,内置有详细的安装教程,可让用户进行简单便捷的软件安装,非常简单易用,有需要的用户可以下载使用。

  ⑵经过训练的管道可以处理不同的语言和任务

  ⑶使用像BERT这样的预训练变压器进行多任务学习

  ⑷支持预训练的单词向量和嵌入

  ⑸语言驱动的标记化

  ⑹用于命名实体识别,词性标记,依存关系分析,句子分段,文本分类,词义化,形态分析,实体链接等的组件

  ⑺使用自定义组件和属性可轻松扩展

  ⑻支持PyTorch,TensorFlow和其他框架中的自定义模型

  ⑼内置用于语法和NER的可视化工具

  ⑽生产就绪培训系统

  ⑾易于模型打包,部署和工作流管理

  ⑿稳健,经过严格评估的准确性

  ⒀spaCy与位CPython .+兼容,并且可以在Unix / Linux, macOS / OS

  ⒁X和Windows上运行。最新spaCy版本都可以在 画中画和 畅达。

  ⒂使用pip,可将spaCy版本作为源包和二进制文件提供。您安装spaCy及其依赖之前,请确保您的pip,

  ⒃setuptools并且wheel是最新的。

  ⒄使用pip时,通常建议在虚拟环境中安装软件包,以避免修改系统状态:

  ⒅spaCy还允许您通过在方括号中指定以下关键字来安装额外的依赖项,例如spacy[ja]或spacy[lookups,transformers](带有多个逗号分隔的额外内容。请参阅[options.extras_require]spaCy的部分setup.cfg

  ⒆有关所含内容的详细信息。

  ⒇多亏了我们强大的社区,我们才得以重新添加conda支持。您也可以通过conda-fe以下方式安装spaCy :

  ⒈对于包括构建配方和配置的原料,请检出 此存储库。请注意,我们目前尚未在conda上发布任何预发布版本。

  ⒉从V升级到V尽管我们试图将更改的影响降到最低,但是从spaCy

  ⒊v.x升级到v.x可能仍需要对代码库进行一些更改。有关详细信息,请参阅“向后不兼容

  ⒋和迁移”部分。还请记住下载新的训练有素的管道,然后重新训练自己的管道。当更新到较新版本的spaCy时,通常建议从干净的虚拟环境开始。如果要升级到新的主要版本,请确保已安装最新的经过培训的兼容管道,并且环境中没有遗留任何旧的不兼容的软件包,因为这通常会导致意外的结果和错误。如果您已经训练了自己的模型,请记住,训练和运行时输入必须匹配。这意味着您必须使用新版本重新训练管道。

  ⒌spaCy还提供了

  ⒍validate命令,它使您可以验证所有已安装的管道程序包都与您的spaCy版本兼容。如果找到不兼容的软件包,则会打印提示和安装说明。建议将命令与一起运行,python

  ⒎-m以确保您正在执行正确版本的spaCy。

  ⒏使用GPU运行spaCy

  ⒐从v.开始,spaCy随附了在我们的机器学习库Thinc中实现的神经网络模型。对于GPU的支持,我们非常感谢使用Chainer的CuPy模块的工作,该模块为GPU阵列提供了与numpy兼容的接口。

  ⒑spaCy可以在GPU通过指定安装spacy[cuda],spacy[cuda],

  ⒒spacy[cuda],spacy[cuda],spacy[cuda],spacy[cuda],

  ⒓spacy[cuda],spacy[cuda]或spacy[cuda]。如果您知道自己的cuda版本,则使用更明确的说明符可以通过wheel安装cupy,从而节省了一些编译时间。指定者应安装

  ⒔启用GPU的安装后,激活它的最佳方法是调用 spacy.prefer_gpu 或者

  ⒕spacy.require_gpu()在加载任何管道之前,脚本中的某个位置。require_gpu如果没有可用的GPU,将引发错误。

  ⒖安装spaCy的另一种方法是克隆其

  ⒗GitHub存储库并从源代码构建它。如果要更改代码库,这是常见的方法。您需要确保您拥有一个包含Python发行版(包括头文件,编译器,pip和git的开发环境

  ⒘。编译器部分最棘手。如何做到这一点取决于您的系统。有关详细信息,请参见Ubuntu,macOS / OS X和 Windows上的注释。

  ⒙要安装其他功能:

  ⒚如何安装编译器和相关的构建工具:

  ⒛Ubuntu:通过apt-get以下方式安装系统级依赖项: sudo apt-get install build-essential

  ①python-dev git

  ②macOS / OS X:安装最新版本的 XCode,包括所谓的“命令行工具”。macOS和OS X附带了预安装的Python和Git。

  ③Windows:安装 与用来编译Python解释器的版本相匹配的 Visual C ++ Build Tools 或 Visual Studio

  ④Express版本。

  ⑤开发人员的其他选项

  ⑥对于正在编辑源代码并经常重新编译的spaCy开发人员,某些其他选项可能很有用。

  ⑦以可编辑模式安装。.py保存文件后,对文件的更改将立即反映出来,但是对Cython文件(.pxd,.pyx的编辑将要求再次运行下面的pip

  ⑧installorpython setup.py build_ext命令。在以可编辑模式进行安装之前,请确保已使用删除了以前的所有安装pip uninstall

  ⑨spacy,您可能需要运行多次以删除早期安装的所有痕迹。

  ⑩使用NCPU并行构建以加快编译速度,然后以可编辑模式安装:

  ⅠspaCy存储库包括一个 Makefile 使用以下命令生成可执行的zip文件 pex (P

  Ⅱython例ecutable。该可执行文件包括spaCy及其所有程序包依赖项,并且在运行时仅需要系统Python。构建可执行.pex文件通常是部署spaCy的最便捷方法,因为它使您可以将构建与部署过程分开。

  Ⅲ用法要使用.pex文件,只需python在执行代码或CLI命令时替换为文件的路径即可。这等效于在安装了spaCy的虚拟环境中运行Python。

  Ⅳ您可以使用以下环境变量配置构建过程:

  ⅤspaCy带有广泛的测试套件。为了运行测试,通常需要克隆存储库

  Ⅵ并从source构建spaCy。这还将安装所需的开发依赖项和中定义的测试实用程序requirements.txt。

  Ⅶ或者,您可以找到spaCy的安装位置并pytest在该目录上运行。别忘了也通过spaCy的安装测试实用程序 requirements.txt:

  Ⅷ调用pytestspaCy目录将仅运行基本测试。该标志 --slow是可选的,可以启用耗时更长的其他测试。