我曾与一家公司合作，他们在一天结束时将所有更改以压缩文件的形式发送给一个负责合并的人。 这是2018年。

目前大多数公司： - 没有自动化测试 - 没有代码审查流程 - 没有CI/CD管道 - 秘密管理不善 - 没有数据集版本控制 - 生产工作流程依赖电子表格 - 没有回滚计划 - 没有集成测试 这些不仅仅是一些奇怪的公司。它们无处不在！ 能够修复这些基础问题的人才市场巨大。

我目前咨询工作的50%是帮助公司大规模使用开源模型。 每个人都知道如何在自己的电脑上使用开源LLM，但要为数千个用户大规模做到这一点真的很难。 事情是这样发展的： 1. 一个团队使用DeepSeek构建原型。 2. 一切看起来不错。它工作正常！ 3. 他们按照在线指南将模型部署到网上。 4. 他们请10个用户试用这个应用。 5. 延迟到处飙升。 6. 整个系统停止运行。 7. 他们指责DeepSeek，并尝试使用新模型再来一次。 问题总是在于推理的扩展，而不是模型本身。 这是我给公司的一个建议： 如果你不想再考虑部署开源模型，请查看Nebius Token Factory。 这是一个用于大规模部署开源LLM的托管推理平台。 这不是用于原型或研究实验的。这是针对你有真实应用和真实用户的情况。 关于Token Factory的三个重要说明： • 你可以完全控制推理的运行方式。 • 你有可预测的尾部延迟（P99，而不是平均值）。 • 当你扩展时没有意外费用。你可以提前规划你的预算。 在这里查看： 这里有两个代码，你可以用来获得100小时的GPU使用时间： ymJLFa2ARYSKEdqb AdckcZaYjm7KqYY7 感谢Nebius团队的持续合作。