您现在的位置是:首页 >其他 >领域分类/识别方案网站首页其他
领域分类/识别方案
简介领域分类/识别方案
将用户输入与预定义的领域进行匹配
针对领域分类任务,如上图所示,我们首先会从不同的业务中收集大量的业务数据,作为基础的训练数据,虽然这些数据来自不同的业务,但是依然存在一些问题,主要有以下两方面:
- 标签不准:用户有可能会在某个业务对话中提问其它领域的问题;
- 领域重叠:某些问题可能会在多个领域中出现。
所以,原始数据不能直接拿来作为训练数据,必须要经过人工筛选和标注方可使用。
当前方案:https://git.longhu.net/yuanzihan/it_domain
- 用分类模型训,目标是这个query属于哪个baseCode,保存编码模型;
- 计算domainEmb:同一领域下所有主问题emb beding的平均作为类中心;
- 预测时,计算 query 跟 domainEmb 的cosin相似度,返回分值大于 domainEmbThreshold 的结果
-----> 106
source activate whenv
-----> 144
source activate yzh
----->
cd /data/ningshixian/work/new-it-domain
# 0、根据 sql.txt 拉取 data.csv 和 IT所有basecode.csv
# 1、数据增强
python 221209_data_aug.py
# 2、训练分类模型 BERT+MLP
python 221209_cw_classifier.py --batch_size 128 --total_epoch 20 --gpu_id 0
# 3、计算类向量,并存入ES(记得修改es连接环境)
python 221209_es_index_update.py
# 起emb服务(记得端口修改20193→20190)
nohup python emb_server.py > emb.log 2>&1 &
# 起定时更新任务
nohup python new_class_emb_update.py > task.log 2>&1 &
----->
起emb服务;PROD的话是这个:
PROD:
nohup python emb_server.py -e pre -ap /etc/apollo/apollo_private_key -ak 7f3251a5-4e15-4542-84be-cd99e9f6ba54 -at 41581c4771d2c39ba9eff7f644d99eb21824c529 --apollo_app_id=aicare --apollo_uri=https://apolloconfig.longhu.net --apollo_namespace=nlu_domain --apollo_cluster=prod --model_path=chatbot/nlu-domain/prod/model/1027_cw_model_1 > emb.log 2>&1 &
PROD的服务器应该是
http://10.9.192.144:20190/embedding
SIT:
nohup python emb_server.py -e sit -ap /etc/apollo/apollo_private_key -ak 26f577d6-1d6c-48d8-b355-5029337c2c69 -at 4324dcafc46201ce85772250b583050df8f37de1 --apollo_app_id=aicare --apollo_uri=http://apolloconfig.longfor.sit/ --apollo_namespace=nlu_domain --apollo_cluster=sit --model_path=chatbot/nlu-domain/prod/model/1027_cw_model_1 > emb.log 2>&1 &
SIT的服务器应该是
http://10.231.135.106:20193/embedding
优化方案:
- 根据用户的历史信息和上下文来进行更加精准的领域识别 --
- 单标签多分类任务:在模型的最后用一个全连接层输出每个类的分数,然后用softmax激活并用交叉熵作为损失函数。只能学习从n个候选类别中选1个目标类别×
- 多标签分类:
-
- 将“softmax+交叉熵”推广到多标签分类问题。n个二分类 → Circle Loss,解决类别不均衡问题。需标注,费时费×
- 多标签二分类方法:将每个标签视为一个二元分类任务,将每个标签的预测结果独立计算,最终将所有标签的预测结果组合起来得到最终的预测结果 ̄□ ̄
- 多输出模型方法:使用一个深度神经网络来直接预测所有标签,输出层有多个节点,每个节点对应一个标签。此方法可以同时优化所有标签的预测结果,相比其他方法具有更高的预测精度。但针对仅一个标签情况下,可能会导致倾向于某一类领域;√
model = Sequential()
model.add(Dense(32, activation='relu', input_dim=input_shape))
model.add(Dense(num_labels, activation='sigmoid'))
model.compile(optimizer='adam', loss='binary_crossentropy')
model.fit(x_train, y_train, epochs=10, batch_size=64)
y_pred = model.predict(x_test)
y_pred = (y_pred > 0.5).astype(int)
- 向量相似度匹配:√
-
- 多分类任务训练,保存编码模型,最后向量相似度检索;
- 度量学习的 Classification-based 思路,存储压力大;
二分类器集成学习代码示例:
import numpy as np
from keras.models import Sequential
from keras.layers import Dense
from keras.utils import to_categorical
from sklearn.model_selection import train_test_split
from sklearn.datasets import make_classification
from sklearn.metrics import accuracy_score
# 生成一个二分类数据集
X, y = make_classification(n_samples=1000, n_features=10, n_classes=2)
# 将标签转化为 one-hot 编码
y = to_categorical(y)
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 定义一个基础模型,包含 3 个全连接层
def create_model(input_dim, output_dim):
model = Sequential()
model.add(Dense(32, input_dim=input_dim, activation='relu'))
model.add(Dense(16, activation='relu'))
model.add(Dense(output_dim, activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
return model
# 定义一个集成模型,包含多个二分类器
def create_ensemble_models(n_models, input_dim, output_dim):
models = []
for i in range(n_models):
model = create_model(input_dim, output_dim)
models.append(model)
return models
# 训练集成模型
def train_ensemble_models(models, X_train, y_train, epochs, batch_size):
for model in models:
model.fit(X_train, y_train, epochs=epochs, batch_size=batch_size, verbose=0)
# 预测测试集并返回集成结果
def predict_ensemble_models(models, X_test):
y_preds = []
for model in models:
y_pred = model.predict(X_test)
y_preds.append(y_pred)
return np.mean(y_preds, axis=0)
# 创建集成模型
n_models = 5
input_dim = X_train.shape[1]
output_dim = y_train.shape[1]
models = create_ensemble_models(n_models, input_dim, output_dim)
# 训练集成模型
epochs = 10
batch_size = 32
train_ensemble_models(models, X_train, y_train, epochs, batch_size)
# 预测测试集并计算准确率
y_pred_ensemble = predict_ensemble_models(models, X_test)
y_pred_ensemble = np.argmax(y_pred_ensemble, axis=1)
y_test = np.argmax(y_test, axis=1)
accuracy = accuracy_score(y_test, y_pred_ensemble)
print("Ensemble model accuracy: {:.2f}%".format(accuracy * 100))
风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。