如何建立AI研究实验室？Yoshua Bengio 有话要说
2018-08-13 来源：raincent
Graham Taylor 是 CIFAR「Learning in Machines & Brains」项目中的一位 Azrieli 全球学者，也是圭尔夫大学工程系、向量学院(Vector Institute)的副教授。Yoshua Bengio 是 CIFAR「Learning in Machines & Brains」项目的联合主任，蒙特利尔大学计算机科学系正教授。这篇文章是 Graham Taylor 与 Yoshua Bengio 的交流对话，谈到了如何建立研究实验室，非常具有启发性。
项目联合主任，Yoshua Bengio
Graham Taylor (GT)：可以说说你的第一份教职工作吗?
Yoshua Bengio (YB)：当时我是蒙特利尔大学唯一做机器学习与神经网络的。我非常积极，对所有来找我的学生都来者不拒。但其实我应该更有选择性一些。当时，我得益于部门之外的关系网，尤其是那些读博士后时一起工作的人。我联系了 Geoff Hinton 和一些在多伦多的朋友。与志同道合的人建立联系非常重要，尤其当时我是这里唯一一个做这类事情的人，我需要外部支持。
GT：从一开始就这样吗?
YB：是的。所以，前 7 年只有两门而不是三门课程。后来我成了加拿大研究委员会的主席。这对我来说可能是最具挑战性的事情，教学和开办实验室让我不堪重负，我被教员职位压得喘不过气来。回想起来，我本可以更好地平衡生活。
GT：内部有人指导过你吗?
YB：没有。也许我应该联系一些年长的教授，哪怕是与我研究方向不同的人。如果我胆大点儿，也许就可以得到更多反馈。我当时没想到这些。新教员应该主动接触别人，与其他人建立联系。各部门都应该做到这一点。高级教员虽然不会主动找你，但他们会乐于提供帮助。
GT：所以就是尽管去请教对吧，即使这不是大学里的明文规定?
YB：是的。
GT：从这些外部关系网当中，作为一名教员，你得到的最好建议是什么?
YB：在我当教授的第一个十年里，我和 Geoff Hinton 有过不少交流，尽管我们相距甚远。这些交流让我更加专注于重要的事情。
得益于他们的一个建议是，不要把自己的专注点分散到不同的地方，更不要为了去追求某一刻的想法，而忘记长期的挑战。在你已经有一定事业地位的基础上，做到这一点并不容易，因为你渴望出版足够的书来获得终身职位。但你至少得花点时间来关注长远的发展，这才是你事业成功与否的关键。如果太过沉迷于生存方式，则很容易陷入其中，你可能会错过一些重要的事情。我和 Geoff 的讨论帮我避免了这一点。
GT：随着应用机器学习成为关注焦点，越来越多的公司或合作者带着项目来找你，并要求你把它应用到一个非常具体的问题上时，上述的这种情况会加剧吗?会不会再次对你的专注点造成威胁?
YB：我想每个人都要找到属于自己的路。要想有所成就，有所突破，你就必须成为专家。所以如果你要做应用，特别是如果你是一名年轻的教员，那么你就更应该只专注于一个方向，然后成为这个领域上最厉害的人。
这是应用机器学习的一个危机。但它的确可以用于很多事情，对吧?在 90 年代，我接触了很多应用。
CIFAR Azrieli 全球学者，Graham Taylor
GT：也就是说和现在相比没啥太大不同?
YB：上世纪 90 年代，人们对神经网络和机器学习产生了浓厚的兴趣。加拿大的制度鼓励与工业界的合作，这样做可以为基础科学获得资助。所以我用一些合同资金来资助一些长期研究。也许这不是预期的结果，但该制度确实通过资助基础研究含蓄地鼓励了神经网络和机器学习的发展。我们应该更加重视长远的问题，因为使我们在人工智能领域取得惊人进展的正是这些问题。
我可以补充一些关于赠款的内容。
有一件事我开始时没有意识到，当你给一个组织写提案时，比如加拿大自然科学与工程研究委员会(NSERC)，他们并不关心你打算干什么。他们只希望你做好工作，然后可以几年后汇报给他们。
在研究中，你很难去预测什么是热点，你会遇到什么样问题。所以适应性很重要，NSERC 也同样适用。不过，当你和一家公司签订合同时，倒不一定非得这样。只要让金主满意就行，不必被自己说过的话束缚住。在 NSERC 资助的情况下，基本上就是做好科学工作，发表文章，在科研道路上保持灵活。
GT：管理实验室时有哪些比较好的做法吗?我们都知道你们有很多学生，很多设备，很多项目。
YB：寻求帮助。早期我没法为博士后提供很多资助。所以我会选择那些已经知道这些东西的博士后，这样他们就不需要两年的时间来提升，并且可以帮助管理一个更大的团队。在攻读博士学位时，我们不知道如何管理一个团队或领导一个团队，但我们觉得应该这样做。让我受益匪浅的一件事就是发现学生在领导能力方面的天赋。我经常发布实习机会，所以我的实验室有来自其他地方的本科生或研究生，也有想管理并擅长于此的博士生。有些最终也不太擅长管理;有些最终可以管理多个学生。有时候，年轻人的确比年长的管理者做得更好。
GT：现在提供给博士后的工作种类越来越多，聘请高质量的博士后是否变得越来越困难?
YB：这个不确定，毕竟我也不是一个很好的例子。
GT：好吧，但还是有很多人被吸引到这里。请问您有什么判断方法吗?
YB：有一个方法对我来说很有效，那就是找一个有数学或物理背景并且涉足机器学习的人：这些人可以很快学会这些技能。所以可以考虑读博两至三年的博士后，这类人值得招聘。他们目前还无法在 Google Brain 或其他类似的大公司找到工作，因为他们还没有证明自己的机器学习能力。这是一场赌博，但在有些情况下对我很有利。
GT：你一般如何说服博士后们去接受一个博士后的职位，而不是马上进入工业界呢?
YB：如果他们来到机器学习实验室并参与发表的研究，这将大大增加他们的工业价值。所以如果他们做博士后，即使以后他们想进入工业界，他们也能获得更好的职位，更高的薪水。当然了，这因人而异。有些博士生并不需要博士后来获得高薪职位，对吧?产生这种情况的原因可能是对方想从事学术工作，因为金钱并不是人们唯一关心的事情。做一个博士后实际上也很不错：可以了解更多关于学术界的事，可以参与管理，甚至写作等等。
GT：在人员方面，你认为理想的规模是多少?
YB：这取决于教授，以及他管理团队的经验。我一开始只有三个人，但现在我有一个庞大的团队。我不可能一下子做到这一点。所以我逐渐学会了如何管理更多的人，建立基础设施，以及融资。你应该根据自己的成长速度来发展。有些人和五六个以上的学生在一起就会感到不舒服，这是说得过去的。当然，当你有更多的学生时，你可以产生更多的论文。但是你花在每个学生身上的时间更少了，所以这对他们来说可能没有什么好处。
我曾与一个大团队友好共事 15 年的关键就是促进合作。换句话说，不要让每个学生分散开来做各自的项目，而是让他们灵活地展开新合作。那么他们就不是一对一的关系了，而是一个大网络中的一部分。
GT：点对点通信是不?
YB：完全正确。更多的是社交价值。如果他们依靠一个人来获得反馈，而这个人刚好这方面不是很在行的话，他们就会感觉不舒服。但如果他们有 10 个同事，就会建立一个更丰富的网络。
GT：那么创建这种环境的机制是什么呢?我想可能有物理上的机制，也有微妙地改变实验室文化的活动。
YB：物理上的亲近：让学生在实验室里而不是在家工作。给他们自由，除了你的项目之外，他们可以与其他教授合作，完成新的项目。减少学生与不同教授之间的隔阂。这样可以使得学生群体更强大，学生可以自由地与其他教师进行讨论。然后我们组织定期的活动，如阅读小组，研讨会和课外活动。
GT：最近，我与一位在美国工作过的人进行了一次关于合作监管的对话。这位人士说，在美国，监管人员的第一个话题是资金如何分配。而在加拿大，这个问题还没提出来。
YB：这里的学生比美国便宜很多，这是一个很大的因素，是吧?但也许这也是一种文化问题。放下资金方面的事情，优先合作，而不是抱着期望工作，这点很重要。
在主实验室，我们有一个非正式的概念：有一个大的资金池，你可以和任何人合作，无论怎样你都会得到资助。
GT：这是因为参与项目的主要研究人员决定资金池的运用吗?
YB：虽然我的资金变成了公共资金池，这并不是一种固定模式，但如果项目里有一位资深教授的话，通常更容易获得资金。所以项目组在向我请求资金时，我们写的是赠款。合同也是一样。
GT：找到自己的领域对于新教员来说非常重要——是否要去一个没有其他人的领域工作?或者去一个已有教员和资深研究者的地方与他们合作?
YB：是的。去一个现有的团体要容易得多，只要你能和团队的主要成员和睦相处。对于初级教员来说，如果他们喜欢这个团队的精神，那就可以很轻易地开展工作。他们不必担心资金问题，可以提出想法，共同督导，还可以在工作初期获得反馈。
GT：我想谈谈招生问题。在最近的深度学习热潮之前，情况可能有所不同。当你不太感兴趣时，你会如何回应? 而当你很有兴趣时，你又会怎么做?
YB：首先，要做的不仅仅是做研究，同时还要被大家熟知。参加研讨会和会议，参观其他实验室。你不必等着被邀请。你可以说，「嘿，我要去那个地方。要我去做演讲吗?「然后你就能在网络中被人所知。如果你想要通过赠款进行正式合作，同样，这也会涉及到网络方面。
这对招聘和教学都有很大帮助。教学的一个潜在影响就是学生会了解你。尤其是你的研究生班或者本科生毕业班。你可以谈论你关心的事情并建立关系。你可以看到一些有潜力的学生，并试图说服他们到你的实验室。
所以我从大学和其他地方找了一些暑期实习生。这样，你就能看到一个人是否有研究的潜力。这样做比从一场面试中招聘一个人要安全得多，毕竟这个人会在这里待五年，对吧?
当然，我想去年这里大概有 700 份申请，今年可能会有 1000 份，申请渠道就有几十个。所以你必须有条理。你需要秘书的帮助，需要那些定计划的人来确保这份工作的流程自动化。如果你不这样做，那事情就会变得很难办了，因为你会被大量的应用程序淹没，不能亲自回复每一封电子邮件。
GT：最后我们要讨论的是产业合作。你怎么知道合作是否合适?
YB：一开始你是不知道的，一般要在几年后才意识到。通常情况下，双方的期望都不匹配，所以你必须小心谨慎，并提醒业内人士，告诉他们学术界能为他们做些什么。重要的是，他们要明白，学者不是廉价劳动力。他们不生产产品，但却可能会有变革商业的惊人创意。因此，业界需要明白，这只是投资的一部分。他们还必须让人从算法和原型出发理解产品，否则合作注定失败。我们总是不太想去讨论这个问题，因为这意味着公司的成本会增加。但是你必须这么做。
GT：你是否曾被迫与公司解约?
YB：没有，一般是双方都认为没必要续签合同。
GT：我猜他们通常有固定的期限?
YB：是的，合同通常是 1 年，2 年或 3 年。
GT：最后，还有什么我们没有注意到的，你想和新教员分享的吗?
YB：要多倾听自己的直觉。许多人缺乏必要的自信，因此错过了机会。作为研究人员，我们的主要工作是提出一些有用的想法来推动知识的进步。这些想法总是隐藏在我们大脑的某个地方，我们必须培养自己的能力，给这些想法足够的孕育时间。你需要一周的时间去思考，而不是去编程、写作甚至阅读。就想想那些困扰你的大问题就行。
GT：谢谢你!我认为你说的很多内容都是我在工作的几年里学到的最重要的经验。但如果有人能在一两年后看到这一点，那就很有价值了。就像你说的，你并没有被训练成一个领导实验室的博士。
原文链接：https://www.cifar.ca/news/news/2018/08/01/q-a-with-yoshua-bengio?platform=hootsuite
版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点！
本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。
