Rasa NLU中的组件
输入“/”快速插入内容
Rasa NLU中的组件
Rasa NLU中的组件
飞书用户44432023年12月6日修改
Rasa NLU部分主要是解决NER（序列建模）和意图识别（分类建模）这2个任务。Rasa NLP是一个基于DAG的通用框架，图中的顶点即组件。组件特征包括有顺序关系、可相互替换、可互斥和可同时使用。有向无环图（DAG）在很多地方都有用到，比如Spark中等。虽然问答系统类型很多，比如闲聊问答、文档问答、知识库问答、知识图谱问答、任务型问答等，但在实际场景中任务型多轮问答最实用。通过构建任务引导型人机辅助系统，在沟通前/沟通中/沟通后全链路，实时通过语音的识别、意图的检测、话术&解决方案的推荐等，辅助销售在多渠道与商家沟通提效、提高任务完成率。
一.典型Rasa NLU组件
一个典型的Rasa NLP管道包含各类组件，如下所示：
1.语言模型组件
为了加载模型文件，为后续的组件提供框架支持，如初始化spaCy和BERT。
2.分词组件
将文本分割成词，为后续的高级NLP任务提供基础数据。
3.特征提取组件
提取词语序列的文本特征，可以同时使用多个特征提取组件。
4.NER组件
根据前面提供的特征对文本进行命名实体的识别。
5.意图分类组件
按照语义对文本进行意图的分类，也称意图识别组件。
6.结构化输出组件
将预测结果整理成结构化数据并输出。这一部分功能不是以组件的形式提供的，而是流水线内建的功能，开发者不可见。
二.语言模型组件
主要是加载预训练的词向量模型或预训练模型，如下所示：
1.SpacyNLP
该组件所需的模型需要提前下载到本地，否则会出错。
2.MitieNLP
需要有预先训练好的模型。
3.预训练Tokenizer
代码块
model_tokenizer_dict: Dict[Text, Type[PreTrainedTokenizer]] = {
"bert": BertTokenizer,
"gpt": OpenAIGPTTokenizer,
"gpt2": GPT2Tokenizer,
"xlnet": XLNetTokenizer,
"xlm": XLMTokenizer,
"distilbert": DistilBertTokenizer,
"roberta": RobertaTokenizer,
"camembert": CamembertTokenizer,
}
三.分词组件
1.jieba_tokenizer.py
2.mitie_tokenizer.py
使用MitieNLP库对消息进行Tokenizer。
3.spacy_tokenizer.py
使用SpaCy库对消息进行Tokenizer。
4.whitespace_tokenizer.py
为实体提取创建特征。
四.特征提取组件
1.稀疏特征
SparseFeaturizer所有稀疏特征featurizers的基类。稀疏特征如下所示：
（1）count_vectors_featurizer.py
基于sklearn的CountVectorizer创建一系列token计数特征。所有仅由数字组成的token（例如123和99但不是ab12d）将由单个特征表示。将analyzer设置为char_wb使用了Subword Semantic Hashing的思想（https://arxiv.org/abs/1810.07150）。
（2）lexical_syntactic_featurizer.py
提取和编码词汇句法特征。给定一系列tokens，该特征提取器会生成一系列特征，其中第t个特征编码第t个token及其周围token的词汇和句法信息。
（3）regex_featurizer.py
基于正则表达式的消息特征。
2.稠密特征