机器学习在过去几年里彻底改变了一些技术领域，并将在不久的将来触及许多其他领域。其中之一可能是工业自动化，尽管传统上不愿意采用新技术。

如果你仔细想想，现在销售的典型“现代”工业机器人具有与八十年代完全相同的功能：运动学模型、动态模型、混合控制……没有什么新意，没有什么智能。

OEM通常更喜欢更简单但更稳定的方法来实现机器自动化。操作员忠于他们的老式硬键界面。他们都认为新的华而不实的花招最好留在工厂之外。也就是说，直到能够显示出巨大的性能优势来证明技术曲线上的跳跃是合理的。

机器学习确实可以在控制系统领域带来一些改进。在这里，我们尝试识别并描述其中的一些，看看它们突破工业自动化的可能性有多大。

视觉是机器学习的瑰宝：它是最令人惊叹的应用程序所在的领域。工业自动化的愿景并不像大众消费市场那样广泛，可能是因为传统方法不足以满足工业要求。

从传送带上拾取饼干并将其装入盒子中是一种典型的应用，但它需要大量的专门调整，并且会遇到各种不稳定的情况。这不是任何可以应用现代“批量大小”的生产线的东西。

另一方面，卷积网络更加灵活和鲁棒。你可以改变光线条件，随机地把饼干堆放在一起，改变饼干的形状和颜色，网络仍然会告诉你每个饼干在哪里。

如果您对简单的边界框感到满意，YOLO和SDD几乎都可以实时运行。使用FCN进行语义分割速度稍慢（尽管可以优化推理过程），但它在像素级别提供了丰富的信息。

此外，最好的是这些网络可以在模拟和增强数据上进行离线训练，无需在机器上进行微调。您可以轻松自动生成大量数据库来训练FCN，以便机械手可以从传送带上拾取不同的物体。传送带或托盘的统一背景颜色使得这一切比自动驾驶汽车的道路检测容易得多。

虽然训练整个深度网络似乎令人生畏，但迁移学习极大地减少了训练时间。当训练CNN时，我们只需要调整完全连接的头（用于分类或回归或两者）。当使用FCN时，我们只需要担心解码器部分。

机器视觉将很快在包装、物流、分拣、AGV控制等领域的机器和工厂自动化中找到应用。

机器学习可以改进当前技术状况的下一个领域是设备维护。监控机器的物理状态并能够在硬件故障发生之前预测硬件故障，可以避免工件损坏并预先安排停产维修，从而节省大量成本。

传统上，工业级的状态监测是通过读取来自不同类型传感器（电流、温度、扭矩、加速度、流量……）的信号并设置不应违反的静态阈值来执行的。虽然简单，但该技术有一些缺点：

·运营商很少知道如何以及在哪里设置阈值

·阈值是静态的，但环境条件可能变化很大

·信号的内部结构被完全忽略，从而无法及时识别问题的积累

·一旦信号达到阈值，采取行动可能就为时已晚

更好的方法包括构建我们正在监视的变量的模型，并将该模型用作未来的状态预测器。通过将预测与实际观察结果进行比较，我们可以在设备故障达到临界状态之前对其进行高分辨率检测。

虽然该技术解决了前面提到的许多缺点，但实际上很难实施。主要原因有：

·物理模型可能不容易进行分析描述，因为它们可能依赖于许多互相关性未知的物理变量

·数学公式永远无法完美地模拟物理系统。由于非建模效应（例如机械模型中的弹性）或由于模型本身参数化不正确而导致偏差（例如塑料挤出机中的热常数），总是会出现不准确的情况

·即使是具有最准确参数的最佳模型也会受到时间相关效应的影响，这些效应会改变背景条件（例如夏季和冬季之间的温度变化、链接或多或少润滑时的摩擦效应）。模型的重新参数化可能非常复杂且成本高昂：您需要请专家为现场部署的每台机器执行此操作......

机器学习以最简单的形式来解决这个问题：监督学习。我们不是试图让物理符合数学，而是让物理决定数学。我们不编写简单的线性模型并希望机器能够以这种方式运行。我们观察机器的行为，并使用简单的神经网络作为函数逼近器从数据中学习复杂的非线性模型。

然后，该网络变成一个强大的状态预测器：它没有与人类相关的过度简化偏差；它纯粹从测量中学习了复杂的互相关性和隐藏效应；而且，最好的是，它可以通过持续的实时在线学习，不断适应环境条件的变化。

因此，预测性维护可以在任何级别达到更智能的监控程度：从单个组件到整台机器，到复杂的流程，再到整个生产线。

优化是引入机器学习技术可以彻底改变该领域的另一个领域。所有工业机器和过程均由控制器驱动：从最简单的PID控制器，到添加前馈模型，到MPC技术，再到其他更奇特的非线性模型。所有这些控制器都需要通过自动调整识别技术手动或自动进行参数化。问题来了：由于以下几个原因，大多数现场部署的控制器都没有经过优化调整：

·手动调整比较困难，需要长期的经验和对过程的深入了解

·自动调节功能并不总是可用，并且即使可用，它们也并不总是最佳的。之后往往需要进行微调。

·与预测性维护的情况一样，最佳参数化可能是自适应控制器的动态目标。

控制器中的参数数量差异很大：注塑机中塑料的温度控制器通常仅依赖于三个参数；标准6轴机械臂的动态模型使用一百多个基本参数（尽管并非完全解耦）。

我们的目标是找出最大化控制器性能的最佳（最佳）参数集，通过某种指标来测量（例如温度的稳定时间，或电动执行器的位置误差，或风力涡轮机的功率输出））。

机器学习使用强化学习技术解决控制策略的优化。术语略有不同（模型成为策略，输入是观察，输出是行动，反馈是奖励），但概念绝对相同。

特别是，我们专注于策略搜索算法，因为我们已经有了一个可以使用的初始策略：我们最初的次优控制器，通常在原型机或模拟环境中进行预调整，并等待实际优化。这种方法可以轻松地将先前的知识注入到策略中（在模拟模式下使用控制器来生成大量数据）。

之后，我们应用强化学习技术通过最大化生成奖励R的期望来改进策略π：E[R

π]。我们可以直接扰动动作空间（例如DDPG）或策略（例如ES），后者是不可微成本函数情况下的唯一选择，并且通常是更具探索性的变体，尽管在时间方面成本更高。

虽然强化学习不能保证策略收敛到控制器的最佳参数化，但它应该在大多数情况下提供改进。问题是费用是多少。答案取决于问题的复杂性和数据的可用性。具有三个参数的控制器，如果有仿真环境，可以非常快速地优化。另一方面，只能在真机上调优的大型模型会浪费大量的时间和材料。最后，严格的安全约束必须始终到位，因为策略参数的随机扰动可能导致不可预测的操作。

保留现有控制器的可用知识的一种常见替代方法是添加新策略作为从头开始学习的并行补偿。这将节省监督训练时间并避免近似过程的不准确。这种方法受到青睐的一个典型案例是补偿工业机器人中的机械和校准问题。

我们可以简单地添加一个与默认逆运动学并行的空策略，并使用RL专门作用于控制器的该部分，而不是在现有运动学模型上训练网络，然后通过强化学习对其进行改进。换句话说，我们不是优化现有模型，而是为其添加外部补偿。

完全从头开始学习控制策略正是最后一节的内容。在某些情况下，没有可用的分析模型来控制过程，仅仅是因为过程太复杂而无法建模。在这些情况下，我们并不担心优化策略，因为该策略还不存在。我们实际上担心的是完全从对系统的绝对零知识开始发现策略。

这显然是一项艰巨的任务：它需要大量数据，并且通常只考虑可模拟的过程。从头开始进行策略搜索意味着对动作空间进行大量探索，这在真实机器上可能非常漫长且成本高昂，更不用说潜在的危险了。

工业机器人非常容易模拟，它们也可以在不浪费任何副产品的情况下运行，并且它们提供了大量的数据。运动轨迹生成是一种潜在的情况。但对于风力涡轮机园区来说也是如此，可以研究减少相邻涡轮机之间相互干扰的具体策略。我们可以找到一种方法来调整各个偏航角，以便最大限度地提高整个发电场的输出发电量，而不是简单地最大化各个涡轮机的裕度而不考虑它们之间的相互作用。结果将是非常有利可图的。

其他例子可能是复杂的工厂、楼宇自动化、电网管理、物流和供应链……在所有情况下，变量的数量及其互相关性使得分析建模变得令人望而却步。

实际上，对于那些我们已经拥有某种工作控制器的任务来说，尝试从头开始学习新的控制策略也不一定是一个坏主意。学习过程中的先前知识往往是一把双刃剑。它提供了强大的初始踢力，但不一定总是在正确的方向上。一旦学会了某些习惯就很难忘记。因此，从头开始学习，虽然需要额外的初始费用，但可能会提供发现远优于原始控制器的全新策略的自由。

总而言之，机器学习如何进入现代工厂并为我们的机器添加一些智能：

·视觉：快速、稳健地识别和监控各种条件下的物体，无需复杂且特定的微调程序。

·维护：通过了解机器变量通常如何表现，预测其未来状态并在损坏发生之前警告可能的故障。

·优化：通过改进现有的控制参数并最大限度地提高机器的结果、效率或生产率。

·控制：通过发现我们目前无法掌握的流程的全新控制策略。

这些项目的列出越来越复杂，数据集要求的大小也越来越大。此外，虽然视觉系统已准备好部署，预测性维护也已不远，但用于控制器优化和控制策略搜索的强化学习应用距离进入通用工业环境仍有一段距离。

希望自动化提供商和原始设备制造商都能认识到这一新兴技术的潜力，并对其进行大力投资。这可以为技术工程力量创造新的机会，并提高整个制造业的效率。