长期以来，机器学习被认为是一项有前途的技术，将改变现有的传统光网络，推动其向下一代智能和自主实体迈进。过去几年里，工业界和学术界都见证了机器学习在光纤通信不同方面的应用，利用机器学习的研究显著增加。研究者们在多个领域展开了积极探索，从网络组件的设计到关键传输损伤的补偿，再到网络数据流量模式的预测。然而，尽管过去十年该领域的研究兴趣空前高涨，开发的机器学习方法在现实世界光纤网络中的实际部署、声誉和影响仍未达到预期。
近日，清华大学深圳国际研究生院副教授费萨尔·纳迪姆·汗（Faisal Nadeem KHAN）在研究中指出，在商业光纤网络中广泛部署基于机器学习解决方案的主要障碍在于一些尚未解决的非技术性限制因素，这些因素对实际网络来说至关重要，但在很大程度上被利益相关者忽略。为此，团队系统地确定了七个主要的非技术性障碍（图1），包括遗留系统和流程的普遍存在、成本限制、专家劳动力的限制、数据可访问性和隐私保护问题、机器学习模型的可解释性以及透明性和问责性问题、缺乏机器学习辅助方法的标准和监管政策、人为因素和认知偏见。
图1.机器学习辅助方法在实际光纤网络中面临的七个关键非技术挑战
为了证明此观点，研究人员以光网络中的网络故障管理、端到端（E2E）通信系统优化、光路传输质量（QoT）估计、光性能监测（OPM）和网络安全管理五个主要机器学习应用领域为例，详细分析了面临的非技术性障碍，并讨论了上述障碍如何显著削弱了机器学习辅助方法在实际光纤网络中的部署前景。
研究还根据解决这些问题所面临的难度对非技术挑战进行了排名（图2）。研究人员认为首先要克服的两大挑战是遗留问题和成本限制，因为改造现有光纤网络基础设施所需的财务影响至关重要。接下来，实现标准化和监管框架是开发可在光网络中普遍操作的机器学习辅助方法的关键问题，因为这需要工业界、标准化组织和监管机构的共同努力，而这方面的努力目前仍然不足。第四个关键挑战是提供全球访问相关数据源的途径，同时保护数据隐私和匿名性。然而，建立这样的数据共享机制并为专有网络数据定义明确的数据使用条款仍在进行中。
接下来的两个问题依次是机器学习模型的可解释性/问责性问题和存在的故意/无意偏见问题，虽然这些问题不会从根本上阻碍机器学习辅助工具的实施，但解决这些问题对于在光网络中实现可信的决策过程至关重要。最后，专家劳动力的限制在短期内是一个紧迫问题，因为世界各地的工业界、学术界和政府最近对培养基本的机器学习知识和技能表现出了兴趣，这可能会在未来应对可用劳动力短缺问题时有所改善。
图2.阻碍在光纤网络中大规模部署机器学习解决方案的七个关键非技术性障碍的难度级别
更深层次地，团队提供了一套广泛的新颖解决方案，可以在解决现有的各个非技术挑战中发挥重要作用，从而为未来光纤通信网络中机器学习驱动的智能操作和决策的广泛应用铺平道路。
近日，相关研究成果以“非技术性障碍：通往AI驱动智能光网络的最后一关”（Non-technological barriers: the last frontiertowards AI-powered intelligent opticalnetworks）为题，发表在《自然·通讯》（Nature Communications）。
费萨尔·纳迪姆·汗（Faisal Nadeem KHAN）为论文作者。该研究得到了清华大学深圳国际研究生院科研启动基金的支持。