Coggle 30 Days of ML（22年5月）

发布时间：2022-04-20，作者：阿水, 鱼遇雨欲语与余

## Part1 内容介绍

在给大家分享知识的过程中，发现很多同学对NLP中的transformer非常感兴趣，因此本月我们就开始学习transformer：

• NLP的基础任务和解决方法
• NLP中BERT基础
• transformer基础使用

上述问题都是成熟的NLP算法工程师和参加NLP比赛必备的，在活动中我们将布置具体任务，然后参与的同学们不断闯关完成，竟可能的帮助大家入门。

---

## Part2 活动安排

• 活动是免费学习活动，不会收取任何费用。
• 请各位同学添加下面微信，并回复【竞赛学习】，即可参与。

---

## Part3 积分说明和奖励

为了激励各位同学完成的学习任务，将学习任务根据难度进行划分，并根据是否完成进行评分难度高中低的任务分别分数为3、2和1。在完成3月学习后（本次活动，截止4月底），将按照积分顺序进行评选 Top3 的学习者。

打卡可以写在一个地址，每次有新完成的可以重复提交打卡！

Top1的学习者将获得以下奖励：

• Coggle 竞赛专访机会
• 《机器学习算法竞赛实战》

Top2-3的学习者将获得以下奖励：

• Coggle 周边福利
• Coggle 竞赛专访机会

## Part4 transformer与多任务学习

### 学习内容

本教程主要是针对AIWIN中文保险小样本多任务竞赛开展，将讲解transformer和比赛中具体使用的知识点和细节。 在本次学习中我们将学习BERT模型原理，transformer基础操作和BERT预训练。

### 打卡汇总

任务名称	难度
任务1：AIWIN比赛报名	低、1
任务2：BERT与NLP任务介绍	低、1
任务3：transformers使用	低、1
任务4：BERT下游任务	中、2
任务5：BERT预训练	高、3
任务6：Prompt基础	高、3

打卡链接：https://shimo.im/forms/63Z8DGNNtNgttND2/fill

• 任务1：AIWIN比赛报名
  • 成功报名链接：http://ailab.aiwin.org.cn/competitions/68#
  • 加入比赛社群，跑通比赛baseline提交结果
  • BERT相关资料
    • BERT & transformers入门
    • BERT实例教程
    • BERT相关专业术语
• 任务2：BERT与NLP任务介绍
  • 了解比赛中具体包含的任务，具体对应什么NLP任务？
  • BERT模型的原理是什么，阅读BERT和ERNIE模型的介绍
  • 学习资料
    • BERT论文, ERNIE论文
    • 本次AIWIN比赛的任务是什么？如何抽象为BERT能解决的任务？
    • CLUE榜单上的任务如何用BERT解决？
• 任务3：transformers使用
  • 学习transformers库中pipline和加载模型的过程
  • 学习transformers库的使用：包括定义数据集，定义模型和训练模型
  • 学习资料
    • https://huggingface.co/docs/transformers/main_classes/pipelines
    • bert-cls-example.ipynb
• 任务4：BERT下游任务
  • 使用BERT完成意图识别（文本分类）
  • 使用BERT完成文本推断任务（文本匹配）
  • 使用BERT完成实体识别任务（NER任务）
  • 使用BERT完成阅读理解任务（阅读理解）
  • 学习资料
    • bert-cls-example.ipynb
    • bert-ner-example.ipynb
    • bert-nsp-example.ipynb
    • bert-qa-example.ipynb
• 任务5：BERT预训练
  • 使用BERT完成MLM和NSP训练
  • 使用BERT完成ngram MLM训练
  • 学习资料
    • https://huggingface.co/docs/transformers/model_doc/bert#transformers.BertForMaskedLM
    • [利用分类任务中头条数据进行MaskLM训练，然后对文本进行分词后使用单词MaskLM训练]
• 任务6：Prompt基础
  • 理解Prompt原理
    • https://zhuanlan.zhihu.com/p/399295895
    • https://zhuanlan.zhihu.com/p/464562384

### 学习资料

• 比赛链接：http://ailab.aiwin.org.cn/competitions/68#
• paddle baseline：https://aistudio.baidu.com/aistudio/projectdetail/3852921?shared=1

### 打卡要求

注：

• 需要所有的任务可以写在一个博客内
• 推荐在打卡过程中加入思考过程，可以加入尝试&资料记录

## Part5 提问&回答

问：具体的活动是怎么安排的？

有任务，自己先尝试。活动结束后会公开优秀打卡链接。

问：本次活动是收费的吗，最终奖品如何发放？

活动是免费的，最终奖品按照积分排行Top3进行发放，如果排名有并列都发送奖励。

问：环境和配置是什么？

推荐使用Python3 和 AIStudio环境。