铸星闪耀 | 来自国内顶尖院校的青年学者，如何在 MSRA 打破想象的边界？
微软亚洲研究院“铸星计划”旨在发掘和助力新一代青年学者，使其成为科研创新能力突出、走在世界科技前沿的学术带头人。于青年学者而言，这绝不是一场简单的访问：通过与顶尖研究员的亲密合作，学者们可以扩展研究的想象力、探索技术未来的可能；依托最新、最全的数据集和强大的硬件资源，学者们能大大推进科研项目的进展；产业界独有的实际应用场景，也能帮助学者们解决产品落地过程中最真实的问题。
今天，我们带来了三位老师的访问故事，他们分别来自天津大学、中国科学技术大学和上海交通大学。在微软亚洲研究院的三个月里，他们与研究员合作完成了哪些工作？通过铸星计划，他们有什么样的成就和收获？他们又是如何打破之前的思维边界的？
张鹏：六个月收获两篇论文与开疆拓土的雄心
来自天津大学智能与计算学部的张鹏与微软亚洲研究院渊源颇深。早在博士时期，他就结识了时任 MSRA 自然语言计算组负责人的周明。“十多年前，周老师就和我们天大的团队有合作，”张鹏回忆，“在我博士快毕业时，周老师就向我提起过铸星计划。”
周明的话在张鹏心中种下了访问的种子。博士毕业任教后，张鹏迅速成长为一名优秀的青年学者，在国际一级学术期刊上发表了多篇论文。小有成绩后，张鹏才再次联系周明老师和段楠老师，报名了铸星计划。
得益于 MSRA 与天津大学在自然语言处理领域十多年的合作基础，张鹏的研究进行得很顺畅。他与微软亚洲研究院主管研究员段楠的合作工作与神经网络的可解释性相关，三个月的访问后，他们不仅从理论层面证明了预训练模型中层数和维数与不同 NLP 任务之间的联系，还通过实验验证了该理论分析的正确性，其合作产出的论文已投向自然语言处理领域顶级会议 EMNLP 2019。
取得初步成果的同时，张鹏发现研究还有继续深入下去的可能：能不能借助张量分解的技术，来解决一些语言模型在实际应用中的痛点问题？
张鹏随即申请将自己的访问时长延期至六个月。又经过三个月的工作，一开始的设想被验明了正确性：张量分解技术不仅能极大减少模型参数量，还能够在语言模型任务和机器翻译任务上取得一定的性能提升，第二篇论文应运而生。目前，该论文已投向 NeurIPS 2019。
张鹏在 MSRA 2018 铸星论坛
进一步压缩那些需要更大参数量、或者更大内存和显存的语言模型，让这些语言模型更加实用，成为双方未来努力的方向。“目前，只是少数大公司有足够的资源去训练大参数量的语言模型。”张鹏说，“让更多人能去训练它，就成为我们的下一项工作。”
“张老师与我们合作的两项工作都属于自然语言处理和机器学习领域最前沿的工作，”段楠说，“张老师还在组内详细介绍了他在张量语言模型上的系统工作，对组里同事和同学的研究工作很有启发。”
在张鹏访问期间，微软亚洲研究院副院长周明也会与他定期交流，他对张鹏提出了更高的标准和要求：优秀的学者来到 MSRA 访问，目光不能只放在做出论文上，应努力尝试在这个领域形成一个新的方向，并且能够带来实际意义。
左起微软亚洲研究院副院长周明、天津大学张鹏老师和微软研究院主管研究员段楠合影
合作不止，未来可期，周明对张鹏的期望，亦是张鹏未来的努力方向。除了针对具体问题深耕并发表论文，微软亚洲研究院的访问更赋予了他在学术领域开疆扩土的雄心和能力。
郑歆慰：参与设计 OpenPAI，保持“简单的强大”
郑歆慰来自中国科学大学类脑智能技术及应用国家工程实验室，一直从事人工智能领域的研究。在从事研究的过程中，郑歆慰发现，人工智能、深度学习热度虽高，但由于缺少一个平台的支持，“大家做起科研来总是束手束脚”。
在得知MSRA启动“铸星计划”的消息后，郑歆慰立即报名参加，而加入 OpenPAI 团队，也是郑歆慰来 MSRA 访问的重要目标：让 OpenPAI 在科研过程中发挥“水电基础设施”一样的优势，帮助研究人员做出一流的研究成果。
OpenPAI（Open Platform for AI），是微软为新一代人工智能开放科研教育平台的关键技术之一，旨在为深度学习提供一个深度定制和优化的人工智能集群管理平台。其不仅支持多种深度学习、机器学习及大数据任务，而且可提供大规模GPU集群调度、集群监控、任务监控、分布式存储等功能。
管理 OpenPAI 内部的虚拟集群、为开发新的资源调度引擎做调研、主导 OpenPAI 教育与培训原型系统的开发……在 MSRA 访问的三个月里，郑歆慰深度参与了OpenPAI 项目的设计与开发。
“OpenPAI 目前面向的主要是人工智能领域的研究者，而我所做的教育与培训原型系统，定位的是没有学习过 AI 的人。”郑歆慰介绍，“帮助更多想学习 AI 的人快速入门，是开发这一系统的目的。”
三个月的合作，郑歆慰不只收获了项目开发上的丰富经验，还学习到了MSRA在项目管理上的专业与高效。在与合作研究员一起开发 OpenPAI 的过程中，郑歆慰感受最深的就是“克制”。
“以前做项目的时候，大家想做的事情非常多，有很多发散出来的想法。”郑歆慰说，“但在 MSRA，我看到大家在做系统设计时都非常克制，聚焦于主要功能，让系统保持简单的强大。”
郑歆慰在 Final Review 上做主题报告，分享自己参与 OpenPAI 项目期间所取得的成果
在郑歆慰看来，比起有严格等级限制的传统工作制度，MSRA 的团队协作更像是一个高效的区块链：和谐的团队氛围、极高的合作效率，让每一个成员都能发挥最大的潜能。
“MSRA 不仅有一流的研究人员，在管理上还有很好的可扩展性能力。后面，我也将把类似的项目开发流程和协作方式带回学校，让学生和同事一起学习。”郑歆慰说。
青年学者的来访也为 MSRA 带来了宝贵的一手需求和经验，“特别是在运营过程中遇到的基于多租户的 GPU 调度问题、消费级 GPU 服务器带病容错运行的需求和解决方式、中科大 GPU 集群基于 OpenPAI 在 AI 教学实训方面的积累和二次开发，” 郑歆慰的合作研究员、微软亚洲研究院主管研究员杨凡说，“这为 OpenPAI 的进一步发展起到了重要的指导作用。”
MSRA 资深项目经理 Scarlett Li 亦通过与郑歆慰的紧密合作有所收获，她说：“不同思考角度的碰撞，与不同领域学者的密切交流，能使我们在复杂的系统中更好地抓住本质问题。”
铸星讲座结束后团队合影 ，从左至右分别为：张辉帅、石贝贝、杨凡、郑歆慰、马歆、熊一帆、缪子明
冷静文：扩展研究的想象力，探索 AI 新可能
“能不能在神经网络的研究中借鉴程序分析的方法？”来自上海交通大学的冷静文老师在 2018 年铸星论坛上的展示，吸引了杨凡的注意。
与传统算法不同，神经网络由纯数据流组成，如果输入的数据中有一个微小的扰动，就会导致最后的结果分类出错。为了克服神经网络对数据输入的敏感性，冷静文尝试使用数据流分析的方法，刻画出了数据扰动神经网络的执行路径。
冷静文在 MSRA 做以“Architecture Design Beyond Regular Neural Nets”为题的报告，这是他在MSRA访问的成果展示
铸星论坛上的优秀表现，让冷静文顺利来到 MSRA 访问。在这里，冷静文发挥自己的研究优势，在系统组继续开展人工智能和系统结合的研究。
作为一个方兴未艾的领域，探索人工智能的未来并不容易。而通过与 MSRA 众多优秀研究员的讨论与合作，冷静文渐渐摸清了人工智能未来发展的方向之一：现在的人工智能还是非常规则的形态，神经网络张量在计算中仍然十分“dense”。未来，为了节省存储和计算，人工智能应该变得更加“sparse”。
“把稀疏度直接做到系统里，让上层开发人员不再担心稀疏度的问题。”冷静文解释，“后面，或许还可以将神经计算的语义与控制流的计算表达方式相结合。这或许是人工智能未来的发展方向。”
冷静文和微软亚洲研究院主管研究员杨凡在铸星讲座现场主持讨论
立足当下、思考未来，是最具创造力的事，MSRA 则为研究设想的落地提供支持。经过三个月访问，冷静文与合作研究员张宸、杨凡等一起开发的有关稀疏度系统的项目已经初见成果，部分研究内容已在 CVPR 2019 上发布。
“冷静文老师是一位具有国际化视野的高水平青年学者，他在深度神经网络关键路径分析及其对程序分析和计算机体系架构的影响具有独特的洞见。”杨凡说。相信在未来的研究中，双方的合作一定会更加顺利，做出有影响力的研究。
铸星讲座结束后团队合影，从左至右分别为：张智慧、孙丽君、石贝贝、杨凡、冷静文、刘云新、苗又山、张宸
年轻、开拓、探索，是铸星计划的关键词；合作、创新、成就，是每个学术新星发光闪耀的必经之途。青年学者的风帆从微软亚洲研究院驶离之时，也是更为闪耀的未来的开启之时。
作为微软亚洲研究院与国内高校保持紧密合作的平台，铸星计划的顺利开展得益于各大高校的支持。来自天津大学、中国科技大学和上海交通大学的这三位优秀青年学者代表了三种合作范式，但这也只是冰山一角，微软亚洲研究院期待与高校一起，助力更多青年学者成长。
2019 年铸星计划已于 5 月 20 日启动申请。微软亚洲研究院“铸星计划”依托国际一流的企业科研平台，旨在发现和培养新一代青年学者，使其成为科研创新能力突出、走在世界科技前沿的学术带头人。经过十余年的发展，全国已有超过 150 名优秀青年学者参与这一项目。在这些优秀的青年学者中，不乏 CCF 优博，青年千人，以及国家杰出青年科学基金的获得者。期待更多优秀的青年学者加入我们，在“铸星”之后更为闪耀！
扫描下方二维码或点击“阅读原文”
填写“铸星计划”申请表
▼
铸星计划详细介绍、申请及评选流程详见：
开放申请 | 为青年学者量身打造，2019 年“铸星计划”正式启动！
铸星之旅，即刻开启！
关于铸星计划，你可能还想看：