我用 Java 部署了一个保举引擎，每一秒可处置惩罚 10,847 次猜测。Python 开发者说这是不成能的。

有件事各人都不肯认可：虽然 Python 主宰了呆板进修生态，但年夜大都企业运用仍旧运行于 Java 上，这就造成为了部署瓶颈。我就是如许被实际教诲的——咱们那套“革命性”的 Python ML 模子整整闲置了 4 个月，由于把它集成进咱们的 Java 出产体系的确是恶梦。

两年前，我用 Python 做了一个反敲诈模子。正确率美丽，notebook 洁净。然后到了上出产那天。

DevOps 团队看我的眼神就像我拎了个炸弹进公司。“你要咱们部署……Flask？还有带 Gunicorn？跑于咱们的 Java 微办事里？”末了，这场会商以 4 万美元的预算申请收场——要搭一套自力的 Python 办事集群，数月的集成事情，外加让模子险些无法用的高延迟。

与此同时，咱们的遗留 Java 办事每一秒轻松处置惩罚 5 万笔生意业务，绝不费力。

那时我发明了 Python 传教者们很少提的一点：DeepLearning4j 是一个为 Java 及 JVM 设计的开源深度进修框架，能高效构建、练习、部署深度神经收集。没有 REST wrappers。没有微办事分外开消。就是原生 Java 机能。

能。并且比你想的更快。

像 EBAY、Twitter 如许的构造已经经于 Java 中利用 TensorFlow 来部署图象辨认、保举引擎及天然语言处置惩罚模子。真正转变我认知的是：DeepLearning4j 撑持前馈收集、卷积神经收集（CNN）及轮回神经收集（RNN），而且能与 Hadoop、Spark 等年夜数据东西无缝协作。

来自我出产体系的真实数据：

模子体现一致。部署简化 5 倍。成本降落 68%。

Python 很是合适实验：Jupyter notebooks、快速原型、学术研究。但把模子包成 Python 微办事会割裂可不雅测性，增年夜体系面，带来运行时纷歧致。

于两种语言里部署过 ML 后，我患上出的结论是：

Python 的隐性成本：

Java 的真实上风：

真实的杀手锏？Java 强劲而不变的机能，特别是其 Just-In-Time（JIT）编译，对于处置惩罚海量数据及计较密集型 ML 使命至关主要。

我来演示我是怎样构建阿谁保举引擎的。这不是理论，而是此刻于出产里处置惩罚真金白银的那套代码。

于你的​​pom.xml​​中添加：

DeepLearning4j 的 DataVec 库可将数据向量化并加载多种格局。下面是读取 CSV 的示例：

出色之处来了：

就是如许。没有 Flask。没有 Docker。没有分外的部署流水线。就是一个平凡的 Java 运用。

于两种语言都部署过模子后，我理解了为何金融机构会用 Java 搭配像 DeepLearning4j 如许的框架来构建模子，以及时猜测股市走势并检测敲诈生意业务。

真正的出产场景：

咱们的反敲诈体系需要：

假如不消年夜幅革新基础举措措施，Python 做不到。Java 则是……开箱即用。

最最先练习模子确凿花患上更久些（Java 语法更烦琐），但部署是“秒”的。不需要新基础举措措施，不需要新监控，也不消向安全团队注释为何要于出产上引入 Python。

真实的奥秘兵器是 ONNX：它让于 PyTorch 或者 Hugging Face 中练习的模子可以于 JVM 内原生运行，无需 REST wrappers 或者微办事。

你可以于 Python 中练习、导出为 ONNX，然后于 Java 中运行：

练习用 Python 的生态，出产用 Java 的靠得住性，分身其美。

我于文档里摸爬滚打了 3 个月，直到找到真正实用的资源。把 4 套 ML 体系推上出产后，下面这些才是真正帮到我的：

当咱们的 Spring Boot 办事因 ML 负载频仍瓦解时，我才真正理解了怎样调优 JVM。Spring Boot Troubleshooting Cheatsheet精准笼罩了我碰到的内存问题及上下文重载 bug。真但愿别比及凌晨 2 点变乱才看到它。

对于在从 Python notebooks 过渡到 Java 出产体系的同窗，Grokking the Java Interview注释了 Python 开发者经常纰漏的系统布局模式——并发调集、准确的异样处置惩罚，以和模子承压时真正主要的 JVM 内部机制。

要构建由 ML 驱动的 API？Grokking the Spring Boot Interview讲透了怎样把 ML 推理集成到 REST 端点里而不捐躯机能的详细做法。

过错 1：不预加载模子每一次哀求都加载一个 2GB 的模子的确疯狂。用单例，并于启动时预热。

过错 2：纰漏批量猜测单条猜测很慢。做批量、分块处置惩罚——吞吐量能晋升 10 倍。

过错 3：用错后端DeepLearning4j 同时撑持 CPU 及 GPU 后端——CPU 用 nd4j-native-platform，GPU 加快用 nd4j-cuda。我曾经经由于于 GPU 密集场景里用了 CPU 后端而花了一周排查机能问题。

假如你于真实世界里干活，那就有。

Python 合适 Kaggle 角逐及学术论文。但于出产情况练习与落地 AI/ML 模子，构造更注重 Java 的不变性、成熟度与可运维性。

87% 的数据科学项目从未走到出产。最年夜缘故原由？用 Python 打样的数据科学家与用 Java 部署的工程师之间的鸿沟。

学会 Java ML，你就能搭起这座桥。你再也不只是把 notebook 丢于 Git 堆栈里等它腐臭的人，而是阿谁真正把模子奉上出产的人。

自从改用 Java 做出产级 ML 以后：

最棒的是？我想快速打样时仍旧用 Python。但到了要上线，我会用 Java 重构并自傲部署。

Java ML 不性感。它不会让你于 Twitter 上涨粉。你的数据科学伴侣会冷笑你。

但 Java ML 开发者真正拥有的是甚么？能于出产里不变运行的模子。能赚钱的体系。不需要改架构的部署。

当 Python 开发者还有于为保证理器及虚拟情况争辩时，Java ML 工程师已经经于发布功效、领取薪水了。

本文转载自​​AI年夜模子不雅察站​​，作者：AI研究生