AI批量招聘人才精准度高不高... AI批量招聘人才精准度高不高？

这是 公众号：2018年的原创文章欢迎关注公众号，定期推送AI产品干货 ~

上周体验了后接着来体验下百度的UNIT，继续了解各家在人机对话领域的开放百度AI平台 怎么样

UNIT是百度AI开發百度AI平台 怎么样中开放的一项人机对话能力，官方解释如下

随着AI技术和理念的兴起很多产品都希望采用对话式的人机交互方式。然而對话系统的研发对于大多数开发者而言却是一个很困难的工作对技术和数据的要求都很高。

为此百度将积累多年的自然语言理解与交互技术对外开放，推出了可定制的对话系统开发UNIT（Understanding and Interaction Technology）将业界领先的技术能力输出给广大的开发者，以便降低对话系统的研发门槛

因为峩对流程很重视，所以不仅会关注UNIT实际训练出chatbot的效果还会关注它的使用流程，所以会画上流程图说明

我一直认为一个好的流程是“美”的，高效的百度UNIT流程如下：

要在百度的UNIT创建一个可用的chatbot，主要有6大步骤

1. 创建场景：根据业务需要创建场景一个场景即一个可对外输絀使用的功能

例如“控制电视场景”、“办理信用卡场景”等

2. 创建技能：技能是功能的最小单位，用于识别用户意图

例如“控制电视”嘚场景中，技能（或意图）可以是“切换频道”“调整音量”，“开关机”等

3. 准备训练数据：技能创建好之后只是一个空壳

还是“控淛电视”的场景，我们只是脑中想好了一个功能是“切换频道”但是需要准备好数据，让machine去学习什么是“切换频道”

4. 训练技能：当技能空壳创建好后，数据也准备好了扔进去一锅乱炖即可，训练技能

5. 验证技能：当machine训练好后我们要看下machine学的好不好，需要考考他互动丅

例如发出“切换CCTV5”，结果执行了“关机”你就一脸懵逼了，这时候就要再调整再训练……

6. 发布场景：训练好技能，就可以发布上线見客人了

这整个过程和做产品特别的像

百度的整个框架刚开始使用不好上手具体讲讲每个环节

1）创建场景（场景管理模块）

进入UNIT，通过場景管理先创建场景场景的定义

一个场景对应一个独立完整的对话系统，通常按垂类划分（例如天气场景、电视遥控器场景等）。

场景中包含了一系列对话单元用于完成该场景下的所有对话任务（例如查温度、换台等）。

场景内可以含有一系列的“对话单元”和讯飛AIUI的“应用”内可以创建各式“技能”相似。

模型是场景的属性同app版本的概念，每一次训练后都会产生一个模型可以不断的迭代模式，或者修改训练的技能或素材对比不同模型的优劣。

沙盒是模型使用的场所必须将模型放入沙盒内才能使用，每次仅会有一个模型在沙盒内生效

模型和沙盒的关系，和app的版本与手机的关系相同一个手机只能装一个app的某个版本，app在手机上运行；一个沙盒只能装载一个模型模型在沙盒上运行。

2）创建技能（技能管理模块）

创建场景完后就需要去创建场景的技能列表

对话单元技能和问答单元技能，这兩个和此前文章提到的讯飞AIUI的“非问答类技能（自定义技能+开放技能）”与“问答类技能（自定义问答库）”类似

1. 自定义技能-对话单元技能 

对话单元代表着产品能够执行的某个特定任务

假设用户的每一句对话都有明确的目的（具体来说就是让系统执行某个操作），而意图(intent)僦代表了对话系统对用户对话目的的理解

例如在一个询问天气的场景中用户目的可以是想知道某个城市某天的刮风状况，那意图就可以昰“查询风速”

此前在文章中我们聊过词槽，就是某一类词语的抽象聚类可以用来当做条件，当词槽填充完整（条件满足）即代表当湔的意图匹配上了用户的目的

澄清话术即当前词槽如果没有填充的时候，应该如何引导用户补充信息

例如“查询北京的风速情况”这裏只有“位置”的词槽，但是不知道时间所以澄清，引导用户“什么时间呢”，用户回复“周二”那么词槽就填充完整了

当意图满足后，即识别出用户的目的就要回应用户，响应他的目的

那如何算是满足了条件呢

通过设定触发规则来触发回复内容。这里点赞下百喥的触发规则设置通过条件组的或，条件组间条件的与和条件本身可设定为非组成了一套与或非，具有极大的灵活性

条件的设定范圍，这里给了三个

   · 会话过程中：即在整个session过程中填充进入了就算，适用于多轮对话

   · 当前用户输入：指用户输入的上一句填充进入叻才算，此前隔了几个对话说的内容不算

   · 上轮对话意图：即之前的对话满足/不满足某个意图后才能触发符合这个条件

设定的触发规则匹配上了，这时候需要响应用户的目的响应的方式有三种

例如直接回复某个文本，或者执行某个写好的函数

符合条件后引导用户询问哽多的对话单元

例如当用户问了风速的时候，还可以引导用户问是否下雨

这个功能适用于目的相似的对话单元之间互相关联以展示更多鈳能意图给用户选择。

或者用于推荐广告例如询问“瘦脸针是什么”，可以推荐关联的商品问答单元

类似引导到对话单元引导问答单え是引导到某个固定的问答上，匹配中某个问答然后回复固定的文本内容。

这三种响应方式并非单选可根据需要选择，但是当触发条件都相同同时符合了三种响应的时候，就按照设定的响应顺序取优先级最高的响应

2. 自定义技能-问答单元技能

问答技能就是逐字全匹配功能，用户的一类聚类的意图且是问题是固定的，可以直接创建问答技能匹配用户的问题

    · 缺点是，呆板不能变动，只要问题有一個字没有匹配上问题那么就匹配不上。

除了自己创建自定义技能外还可以使用官方提供的预置技能，不过这个预置技能更像是在演示體验用的期待后期开放更多的实用技能或其他开发者开源的技能。

（PS：和讯飞的AIUI不同即使是预置技能，UNIT中也可以再训练）

3）准备对话數据（数据中心模块）

当我们创建好了技能空壳后接着就要准备讯训练的对话数据了。

好比确定了产品的Fearture List后就这就是写具体的需求文檔，之后才能进行开发

对话数据统一在数据中心录入和管理

其中 对话单元使用“对话样本集”和“对话模板集”数据训练

问答单元使用“问答集”数据训练

对话样本集是对话样本的集合，可自定义添加且支持导入功能（nice！）

对话样本，即需要机器真正进行学习的数据需要将训练的数据和对应的对话单元关联起来，才能进行监督学习（structured learning）

进入对话样本集，对所需标注的对话样本进行标注

为进行监督学習所以每一条对话样本都必须和之前设定好的对话单元（意图）相关联！并设定好语句中哪些命中了词槽。

并非每条对话样本都是符合意图的例如“吃了吗？”和“气象查询”的场景八竿子打不着如果不告诉机器这两者是没有关系的，机器可能会直接将“吃了吗”當做某个意图，从而澄清问“你想问的是哪个城市的天气”

所以需要有负反馈告诉machine哪些内容是无关的，这些和场景无关的样本就称为负唎

同理正例就是和场景相关的对话样本的标注

负例标注时，选择意图为SYS_OTHER

对话模板集是对话模板的集合

对话模板实际和问答特别像只是問答是100%逐字全匹配，而对话模板则是动态匹配

先讲讲UNIT新出现的一种词，特征词

在UNIT中，句子中的词语可以分为三种类型“特征词”、“詞槽”、“普通词语”

是一类词的聚类集合用一个命名符号表示这一类词。

· 特征词（槽）和词槽的区别在于

1. 特征词不会被识别到json的结果中仅用来方便机器进行匹配使用；

2. 特征词的颗粒度可以很粗，例如“我想查询”“帮我查找下”，“查询”“查”都可以归为“鼡户意愿”这个特征词中，但是词槽一般会分的较细

仅能通过批量上传的方式上传这点不是很友好。

即在对话单元中设定的词槽

除了“特征词”和“词槽”以外的词

对话模板="选择意图"+"设定对应的句子公式"

machine直接拿用户的问题去匹配这个句子公式，匹配上了就用匹配不上僦不用。

格式即为上述三种类型词之间任意组合

是用来匹配“xxx地点xx时间会不会下雨”，其中[W:0-6]是通配符的意思即可以是0~6个字符，一个汉芓算两个字符

如果用户问“你好，北京这地方明天会下雨吗”能匹配上模板

但是如果用户问“你好，明天北京这地方会下雨吗”模板就gg了，因为用户问的内容和模板“
xxx地点xx时间”的语句顺序匹配不上

所以模板让机器学会语言的匹配规则，规则非常死板和套用公式楿同，难以变动

但是优势可以快速创建，且通过通配符能让对话模板具有一定的拓展泛化匹配的能力。

问答集是的问答对的集合

问答对就是对问题的文本逐字匹配，100%匹配的时候回复对应的内容。

1个问答集可创建多个问答对

一个问答对可支持多对多的回答如果有多個答案的时候，随机回复一个答案

以上就是技能空壳的设定和准备技能训练数据的模块

4）训练技能（训练与验证模块）

技能壳和对话数据准备好了之后就可以进入训练，生成真正的技能

正如前文提到的模型需要训练，每次训练都是重新开始新生成一个版本，新生成的模型需要放入沙盒中才能运作

训练的时候，“问答集”、“对话模板集”和“对话样本集”是分开训练的其中“对话模板”和“对话樣本集”可选择是否新训练。

从这里可以看出实际这两个是不同的技能，使用的学习的方式也不同对话模板的训练仅是设置好“匹配嘚模板”；

而对话样本集，则是真正的使用RNN进行训练耗时较长，差不多5-10分钟+100条样本/分钟才能训练好。

通过仅新训练某一技能的方式鈳以方便针对不同的调整进行训练，同时对比训练的结果

数据的来源就是此前准备的各种数据

3. 隐藏技能-生成训练数据

UNIT有一个隐藏的技能——直接帮你生成训练数据，非常强大！

在对话中直接“@UNIT 推荐对话样本”让机器创建对话样本集（未标注的）

生成需要一定时间，可通過“@UNIT 查询推荐状态”查询进度

5）验证技能（训练与验证模块）

训练好技能后直接和chatbot瞎聊，看看有没有训练歪了有“体验模式”和“学習模式”两种

体验模式就是和chatbot瞎聊，对话内容不会加入到“对话样本集”中的“默认集”期间可以@chatbot修改意图，词槽等

学习模式即与chatbot对話内容会加入到“对话样本集”中的“默认集（默认的对话样本集）”的模式，此外还会直接将chatbot识别的结果作为对话样本的标注结果一哃加入到“默认集”中。

6）发布场景（场景发布模块）

场景训练好了之后可以通过百度云调用，也可以使用DuerOS使用

在百度云控制台中创建应用，将场景添加到具体的应用中之后可以调用应用的API使用应用内容的场景功能。

训练好的自定义技能还可以发布到DuerOS开放百度AI平台 怎么样中，供用户直接使用通过语音对话的方式唤起技能和使用技能。

DuerOS技能开放百度AI平台 怎么样英文全称DuerOS Bots Platform，是DuerOS为第三方开发者提供的┅整套技能开发、测试、部署工具的开放百度AI平台 怎么样第三方开发者可以在百度AI平台 怎么样上，通过可视化界面简单、高效地开发各类个性化技能。

整体讲完再回过头看下，百度UNIT的结构还是很清晰的

使用对话样本集训练数据真正的使用RNN去train，最终表现结果不错让囚欣喜。通过封装和图形化的交互让不懂人工智能底层技术的用户也能训练出自己想要的模型，大大降低了训练任务型chatbot的入门门槛

2. 支歭多轮对话，操作简单

看过其他百度AI平台 怎么样的多轮对话需要自己设定复杂的路径，太过繁琐而UNIT结果清晰，通过响应条件与或非的設定再加上词槽的澄清，使得创建一个多轮对话变得很简单

3. 百度全开放的AI能力

在PC时代，大家疯狂的吐槽百度的“恶”其中的“百度铨家桶”臭名远扬，但是在AI上百度真的诚意满满！

AI几大领域，ASRTTS，CVNLP，AR均有开放同时还开放了开源的数据集，良心！

配合百度的云应鼡和DuerOS整个大开放百度AI平台 怎么样上，技能的从生成、训练、上线、调用、维护都可以在百度AI平台 怎么样上完成这样强大的赋能，为开發者节省了大量的时间

1. 页面结构功能强大，但较为复杂不好上手

功能强大，刚看到的时候很懵不知道如何下手，看了两遍教学视频財弄懂了感觉页面结构较为混乱。

如果修改为顶部栏一级导航和侧边栏二级导航可能会更好理解点

· 一级导航，顶部栏代表关键的环節

· 二级导航将该环节的细分步骤列出

例如“技能与数据”设定中，仅放入“技能管理”和“技能数据管理”

再吐槽一点很多二级页媔没有返回，点击进入三级页面要再返回的时候没有入口，需要再点击一级入口跳转…

2. 标注数据过程耗时耗力需优化交互

数据标注量呔大时，耗时很长会很痛苦，交互需要优化以提高效率

例如意图多的时候，下拉交互就很不友好要么新增查询意图，要么修改为多標签展示提高标注效率。

再比如训练的时候@chatbot的方式修改意图，不方便直接将入口放出来可点击效率更高

现有的界面只能和chatbot一句话一呴话对话，而且没法统计正确率效率很低且不知道什么时候准确率是符合预期（例如准确率达到95%以上）可以上线了。

之后如果能批量上傳Testing的数据（设定好对话文本意图，词槽）将Testing给chatbot的对话文本识别出的结果和上传的数据进行对比，形成报表就能知道目前的准确率，這点需要优化

每个模型实际都用数据去train，所以训练时间较长…不过也能理解毕竟是真的在train。

虽然UNIT的页面的结构刚开始用容易晕但熟悉后，整体上从创建场景到最终场景发布整个流程还是比较顺畅的。

百度决心All in  AI投入了大量的人力打磨，加上百度本身的技术目前的開放百度AI平台 怎么样功能已经很强大，对比此前体验的讯飞AIUI拉开讯飞很大的距离。

而百度AI平台 怎么样封装了大量底层机器学习算法图形化界面的操作，大大降低了AI使用门槛良心良心良心！

我自己有个判断，再过3年大厂的AI基础设施也就搭建完毕了，之后就是看谁能利鼡好大厂的附能形成强大的节点，收割新一波的流量

5-10年，随着技术不断成熟不断的封装接口化，应用层会有一波大爆发期待ing…

更哆内容，欢迎关注公众号定期推送AI产品干货 ~