亚洲无码破解在线观看,狠狠a,东京热不卡无码视频,久久伦理,东方AV在线免费观看,九九九视频在线播放,黄色曰逼视频网站,亚洲无码国产精品豆花

向AI轉(zhuǎn)型的程序員都關注了這個號??????

機器學習AI算法工程公眾號：datayx

小布助手是OPPO公司為歐加集團三品牌手機和IoT設備自研的語音助手，為用戶提供了有趣、貼心、便捷的對話式服務。意圖識別是對話系統(tǒng)中的一個核心任務，而對話短文本語義匹配是意圖識別的主流算法方案之一。本賽道要求參賽隊伍根據(jù)脫敏后的短文本query-pair，預測它們是否屬于同一語義。

冠軍方案

源代碼獲取方式

關注微信公眾號 datayx 然后回復語義配匹即可獲取。

AI項目體驗地址 https://loveai.tech

數(shù)據(jù)

本項目沒有提供數(shù)據(jù)，如果需要數(shù)據(jù)，請到天池比賽主頁下載

https://tianchi.aliyun.com/competition/entrance/531851/introduction

預訓練模型準備

下載預訓練模型

nezha-base:
https://drive.google.com/file/d/1HmwMG2ldojJRgMVN0ZhxqOukhuOBOKUb/view?usp=sharing
nezha-large:
https://drive.google.com/file/d/1EtahNvdjEpugm8juFuPIN_Fs2skFmeMU/view?usp=sharing
uer/bert-base:
https://share.weiyun.com/5QOzPqq
uer/bert-large:
https://share.weiyun.com/5G90sMJ
macbert, chinese-bert-wwm-ext, chinese-roberta-wwm-ext-large
https://huggingface.co/models

預訓練模型開源倉庫

https://github.com/dbiir/UER-py
https://github.com/huawei-noah/Pretrained-Language-Model

下載并解壓, 解壓到文件夾 data, 文件夾結構如下:

預訓練模型md5

環(huán)境準備

torch==1.7.0
transformers=4.3.0.rc1
simpletransformers==0.51.15
TensorRT-7.2.1.6

端到端訓練腳本

cd code
bash ./run.sh

不同版本方案

方案一: 預訓練(多個模型) + finetune-分類(多個模型) + 生成軟標簽 + 訓練regression模型(軟標簽，單模型)
```
cd code
bash ./train.sh
```
初賽使用的該方案，初賽成績?yōu)?.9220；
方案二: 預訓練(多個模型) + 加載預訓練參數(shù)，初始化一個大模型 + 訓練分類模型(單模型)
```
pipeline/pipeline_b.py
```
訓練一個144層模型(6 * 12 + 24 * 3);
該模型單模型在復賽A榜成績0.9561；推理平均時間15ms；
方案三: 預訓練(多個模型) + finetune-分類(多個模型) + 平均融合
```
pipeline/pipeline_d.py
```
融合6個bert-base + 3個bert-large模型；
該模型在復賽A榜沒測試，B榜成績0.9593；推理平均時間15ms；