官方微信视频号
如何让机器听起来更像人？CMU博士论文探究可控文本生成
时间：2021-06-24 09:58:00
来源：网络
前言：近年来，自然语言生成（NLG）是最突出的技术之一。来自 CMU 计算机科学系的语言技术博士生 Shrimai Prabhumoye 在本篇论文中对人机交互领域中的可控文本生成问题进行了深度的研究。
论文全长 103 页，共六章，从人类交流的三个方面：风格、内容、结构讨论了如何能够让机器听起来更像人，并提供了在神经文本生成中控制这些变量的深度学习解决方案。
论文链接：https://www.cs.cmu.edu/~sprabhum/docs/proposal.pdf
▍论文概述
首先，作者概述了可以被操控的几个模块，操控这些模块可以实现有效的可控文本生成。作者为使用反向翻译的风格迁移提供了一种新颖的解决方案，并介绍了两个新任务，以利用非结构化文档的信息，来进入生成的过程。然后，作者为句子排序任务提供了一种新颖且优雅的设计，以学习有效的文档结构。最后，作者讨论了有关可控文本生成应用在道德伦理层面的考量。
可控文本生成技术
在第 2 章，作者将可控文本生成有关的论文串在了一起，并整理了有关这些任务和技术相似之处的知识。然后，作者组织了先前的工作，并提出了一个新的架构，其中包含 5 个可以更改以控制生成过程的模块：外部输出模块、顺序输入模块、生成器模块、输出模块、训练目标模块。最后，作者概述了代表控制向量以及将其并入生成过程的不同理论，还对这些技术进行了定性评估。
控制文本生成过程的模块
▍风格迁移
在第 3 章，作者描述了一种新颖的反向翻译方法，可以在非并行数据中执行风格迁移，以完成各种任务，例如：性别迁移、政治倾向迁移、情绪修改。作者还提供了对访问风格迁移方法的三个维度的自动评估和人工评估的见解，这三个维度包括：风格迁移准确性、含义保存和流利性。
风格迁移 pipeline
▍内容与结构
在第 4 章，作者为两个不同领域的内容生成提出了两项新任务。首先是 Wikipedia 编辑生成任务：根据外部新闻文章和 Wikipedia 文章背景生成一个 Wikipedia 更新。第二个是对话响应生成：包括基于来自外部和当前对话历史的知识生成响应。最后，作者为基于 Wikipedia 编辑生成任务训练的模型提供了广泛的评估。
在第 5 章，作者宏观说明了捕捉文档结构的各种技术。并且，作者特别关注了句子排序的子任务，提出其新框架作为约束解决任务，然后基于问题的新设计介绍了一个新的模型。同时作者建议对此任务进行新的人工评估。
拥有维基百科访问权的用户 vs 没有维基百科访问权的用户
▍伦理道德
在第 6 章，作者探讨了对于可控文本生成方面的道德考量。作者概述了与 NLP 有关的各种道德问题以及讨论这些问题的必要性，还总结了伦理学的两个原理 - 泛化原理和功利主义原理。
▍作者介绍
▍论文目录如下：
推荐新闻
-
创新驱动、智能进化、场景赋能、生态协同—— 第十届“创客中国”智能机器人中小企业创新创业大赛火热报名中！
2025-06-09 -
全球首张 | 智元机器人荣获人形机器人CR认证“001”证书
2025-05-31 -
突破行业标杆！埃夫特ER300系列机器人荣获MTBF 120000小时认证，重新定义可靠性
2025-05-30 -
普陀区人大常委会主任谈上伟调研机器人研究院
2025-05-15 -
2025年IEC/TC125国内主席顾问专家组、国内技术对口工作组和国际全会行前会成功召开
2025-05-15 -
我国牵头国际标准被30+国家转化，全球应用进程加速推进
2025-05-15 -
“全国机器人标准化检测分技术委员会”获批，我院承担秘书处
2025-05-14 -
“天工”人形机器人一体化关节进入全面“体检”阶段
2025-05-13 -
关于开展第十届“创客中国”智能机器人中小企业创新创业大赛项目征集工作的通知
2025-05-12 -
江苏省南通市代表团一行赴机器人研究院考察
2025-05-12 -
国家标准《工业机器人静电安全规范》等三项标准工作启动
2025-05-07 -
关于征集第十届“创客中国”智能机器人中小企业创新创业大赛评委的通知
2025-04-29 -
共探高质量、发布新成果——2025人形机器人产业高质量发展论坛顺利召开
2025-04-27 -
镇江市党政代表团一行赴机器人研究院考察
2025-04-25 -
定立场，测关节，论数据-全国人形机器人检测认证工作组2025年第二次会议于深圳顺利召开
2025-04-25 -
我院承办的第十届“创客中国”智能机器人中小企业创新创业大赛新闻发布会顺利召开
2025-04-18 -
福州人形机器人训练场启动并接入国家级测评平台
2025-04-15 -
安全性能国际接轨启新章——工业机器人CR认证新规研讨于沪召开
2025-04-15 -
政企携手谋新篇---上电科领导西南行暨卡诺普机器人全系列产品CR认证签约仪式在蓉举行
2025-03-12 -
市科委主任骆大进调研机器人研究院：肯定成绩，寄予厚望
2025-03-10 -
ABB全系列机器人CR认证战略合作签约
2025-02-25 -
KUKA机器人再添新认证
2025-01-27 -
国评中心与京沪两地人形机器人共建创新中心共同举办人形机器人产业发展论坛
2024-11-20 -
人形机器人检测认证工作组正式成立
2024-11-22 -
守安全底线、 保本体可靠、促智能发展，全国人形机器人检测认证工作组会议顺利召开
2025-02-27 -
我院专家获得"机器人"领域国际电工标准化1906奖
2024-10-14 -
国评中心(总部)为安川颁发机器人洁净级认证证书！
2024-09-25 -
JAKA拿下协作机器人全系列CR认证“001”证书
2024-09-19 -
KUKA全系列机器人获得CR认证
2024-09-14 -
2024世界机器人大会机器人行业规范检测与技术分论坛在京圆满举行
2024-08-25 -
国评中心（总部）北京测评中心正式揭牌！
2024-08-24 -
首届智能机器人分级分类评价创新论坛在上海召开
2024-07-05 -
上海成立机器人概念验证中心
2024-06-25 -
【研发成果】轻量化、模块化、智能化的移动机器人面市！
2024-06-20 -
机器人赛道逐渐拓宽，人形机器人正当时？
2024-07-01 -
【祝贺】艾利特CS系列协作机器人通过100000小时MTBF测评！
2024-01-03 -
协作无界，“加”速未来—2023首届中国（盐城）机器人+新能源产业发展大会在盐城顺利召开
2023-12-25
