bert模型详解（如何用bert模型做翻译任务）

本文目录

• 如何用bert模型做翻译任务
• bert模型插入特殊符号后，如何获取它的值
• 怎么把在fastAPI接收回来的数据用Bert模型进行预测，在此之前已经训练好了模型
• bert不同句子中的词向量会变化吗
• 怎么做logistic，gompertz，bertallanffy三种模型

如何用bert模型做翻译任务

BERT不可以做翻译任务，因为翻译任务是NLP生成式任务，BERT目前是不可以做的。
BERT主要可以做的任务有下面几种：
1 文本分类任务，比如情感分类
2 序列标注任务，比如分词 实体识别 词性标注
3 句子关系判断，比如QA，自然语言推理

bert模型插入特殊符号后，如何获取它的值

使用输入连接器（文件/SFTP）在读取输入文件时转换数据。
配置文件内容并在入站连接器配置中添加转义字符配置。具有特殊字符的数据，例如特定语言（拉丁语）或HTML标记。
BERT是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的maskedlanguagemodel（MLM），以致能生成深度的双向语言表征。

怎么把在fastAPI接收回来的数据用Bert模型进行预测，在此之前已经训练好了模型

不仅仅是复读生，所有参加高考的学生都必须在网上预报名。 2，关于复读生报名的填写，要特别注意自己的身份信息，尤其是毕业的高中学校，不要填写自己曾经毕业的高中，而是要根据自己我去请问请问的户籍所在区县，填写某某区县往届生。 3，关于考籍号的问题，复读生可以填写自己去年的考籍号，号码在自己去年学业水平考试证书的右上角。

bert不同句子中的词向量会变化吗

我们都体会到了BERT预训练模型的强大，主要一点就是它可以动态生成句向量，根据不同的上下文而得到不同的句向量，当然也可以得到词向量，但是如果我想比较不同语境下的词向量该怎么做呢？比如这两句话“在手机品牌中，我喜欢苹果”和“在水果中，我喜欢苹果”中“苹果”一词的相似度，显然，此“苹果”非彼“苹果”，如果我直接将这两句话输入给bert-as-service，它输出的是这两句话的句向量，如果我们想验证“苹果”这个词向量的话，我们可以这么做。

下面的代码只需要把预训练模型地址更改就可以运行：

import torch
from pytorch_pretrained_bert import BertTokenizer,BertModel

text0 = ’水果中很多对人有好处，比如苹果’   #句子0
text1 = ’外国手机有很多都不错，比如苹果’   #句子1
text2 = ’我喜欢在饭吃不同水果，比如苹果’   #句子2

marked_text0 = ’[CLS]’ + text0 + ’[SEP]’   #因为BERT的输入是按照[CLS]和[SEP]来区分句子的，所以加上
marked_text1 = ’[CLS]’ + text1 + ’[SEP]’
marked_text2 = ’[CLS]’ + text2 + ’[SEP]’
tokenizer = BertTokenizer(’/home/zhu/BERT-BiLSTM-CRF-NER-master/chinese_L-12_H-768_A-12/vocab.txt’) #加载你的预训练词表地址
tokenized_text0 = tokenizer.tokenize(marked_text0)   #将输入按照BERT的处理方式进行分割
tokenized_text1 = tokenizer.tokenize(marked_text1)
tokenized_text2 = tokenizer.tokenize(marked_text2)
# print(tokenized_text0)
indexed_tokens = tokenizer.convert_tokens_to_ids(tokenized_text0)  #将字符映射到id
indexed_tokens1 = tokenizer.convert_tokens_to_ids(tokenized_text1)
indexed_tokens2 = tokenizer.convert_tokens_to_ids(tokenized_text2)
# for tup in zip(tokenized_text0,indexed_tokens):
#     print(tup)
segments_ids = * len(tokenized_text0)   #segment_id是用来区分句子的，这里我们的输入是一句话一句话的输入，所以都标成1即可。
segments_ids1 = * len(tokenized_text1)
segments_ids2 = * len(indexed_tokens2)
tokens_tensor = torch.tensor([indexed_tokens])  #将输入转换成张量的形式
segments_tensors = torch.tensor([segments_ids])
tokens_tensor1 = torch.tensor([indexed_tokens1])
segments_tensors1 = torch.tensor([segments_ids1])
segments_tensors2 = torch.tensor([segments_ids2])
tokens_tensor2 = torch.tensor([indexed_tokens2])
model = BertModel.from_pretrained(’/home/zhu/BERT-BiLSTM-CRF-NER-master/chinese_L-12_H-768_A-12’) #加载预训练模型地址
model.eval()  #这里是验证模型，可以节省很多不必要的反向传播
with torch.no_grad():    #将输入传入模型，得到每一层的输出信息，这里的encoded_layers为12层，可以打印验证
encoded_layers,_ = model(tokens_tensor,segments_tensors)
with torch.no_grad():
encoded_layers1,_ = model(tokens_tensor1,segments_tensors1)
with torch.no_grad():
encoded_layers2,_ = model(tokens_tensor2,segments_tensors2)
# print(len(encoded_layers))
batch_i = 0  #因为我们就输入一句话，所以batch的批大小为1，从0开始索引
token_embeddings =
for token_i in range(len(tokenized_text0)):   #这里是将一句话中每个字符的每一层信息添加到token_embedding集合中
hidden_layers =
for layer_i in range(len(encoded_layers)):
vec = encoded_layers[layer_i][batch_i][token_i]
hidden_layers.append(vec)
token_embeddings.append(hidden_layers)
token_embeddings1 =
for token_i in range(len(tokenized_text1)):
hidden_layers1 =
for layer_i in range(len(encoded_layers1)):
vec = encoded_layers1[layer_i][batch_i][token_i]
hidden_layers1.append(vec)
token_embeddings1.append(hidden_layers1)

token_embeddings2 =
for token_i in range(len(tokenized_text2)):
hidden_layers2 =
for layer_i in range(len(encoded_layers2)):
vec = encoded_layers2[layer_i][batch_i][token_i]
hidden_layers2.append(vec)
token_embeddings2.append(hidden_layers2)

# 有了一句话的每一层输出信息后，我们可以制定如何去拼接这些信息，这里我们选择将最后四层输出层的信息想加
#concatenated_last_4_layers = [torch.cat((layer,layer,layer,layer),0) for layer in token_embeddings]
summed_last_4_layers = [torch.sum(torch.stack(layer)[-4:],0) for layer in token_embeddings]
#concatenated_last_4_layers1 = [torch.cat((layer,layer,layer,layer),0) for layer in token_embeddings1]
summed_last_4_layers1 = [torch.sum(torch.stack(layer)[-4:],0) for layer in token_embeddings1]

#concatenated_last_4_layers2 = [torch.cat((layer,layer,layer,layer),0) for layer in token_embeddings2]
summed_last_4_layers2 = [torch.sum(torch.stack(layer)[-4:],0) for layer in token_embeddings2]
# print(sentence_embedding.shape)
# for i,x in enumerate(tokenized_text0):
#     print(i,x)
# for i,x in enumerate(tokenized_text1):
#     print(i,x)
# for i,x in enumerate(tokenized_text2):
#     print(i,x)
token_0 = (summed_last_4_layers + summed_last_4_layers) / 2    #找到苹果两个字符的索引，并相加取平均值得到我们最终“苹果”的词向量
token_1 = (summed_last_4_layers1 + summed_last_4_layers1) / 2
token_2 = (summed_last_4_layers2 + summed_last_4_layers2) / 2
from sklearn.metrics.pairwise import cosine_similarity
print(cosine_similarity(token_0.reshape(1,-1),token_1.reshape(1,-1)),’0和1’)
print(cosine_similarity(token_0.reshape(1,-1),token_2.reshape(1,-1)),’0和2’)
print(cosine_similarity(token_1.reshape(1,-1),token_2.reshape(1,-1)),’1和2’)

运行结果如上图所示，很明显三句话中苹果的相似度比较相对来说符合常理，虽然苹果手机和水果苹果也有着75%的相似度，个人认为句式的影响也很重要。

怎么做logistic，gompertz，bertallanffy三种模型

趋势分析法称之趋势曲线分析、曲线拟合或曲线回归，它是迄今为止研究最多，也最为流行的定量预测方法。它是根据已知的历史资料来拟合一条曲线，使得这条曲线能反映负荷本身的增长趋势，然后按照这个增长趋势曲线，对要求的未来某一点估计出该时刻的负荷预测值。常用的趋势模型有线性趋势模型、多项式趋势模型、线性趋势模型、对数趋势模型、幂函数趋势模型、指数趋势模型、逻辑斯蒂(logistic)模型、龚伯茨(gompertz)模型等，寻求趋势模型的过程是比较简单的，这种方法本身是一种确定的外推