如何Indeed在Amazon SageMaker上构建和部署微调的LLM 机器学习博客

---

Indeed如何在Amazon SageMaker上构建和部署精细调整的大型语言模型LLM

作者：Ethan Handel Zhiyuan He Alak Eswaradass Brett Seib Saurabh Trikande日期：2024年10月11日发布于 Amazon SageMaker 人工智能 客户解决方案永久链接评论区

关键要点

Indeed通过使用Amazon SageMaker显著加快了AI研究与开发的速度。LLM在连接求职者与雇主的过程中具有极大的潜力，提升了工作匹配的效率。Amazon SageMaker的推理组件支持灵活的模型部署，提高了成本效益。

Indeed是全球最大的招聘平台，每月超过35亿独立访客，覆盖60多个国家，致力于帮助人们找到工作。自成立近二十年来，机器学习ML和人工智能AI始终是我们构建数据驱动产品的核心，旨在更好地将求职者与合适的职位匹配，并促进招聘。

在Indeed的核心AI团队，我们继续这一AI创新的传统，重点投资于人力资源领域的研究与开发。我们为公司不同团队提供基于最先进的开源架构的、经过精细调整的大型语言模型LLM。本文将介绍如何利用Amazon SageMaker的能力，加速Indeed的AI研究、提升开发效率、增强灵活性及整体价值，在追求利用独特而广泛的数据运用先进LLM的过程中实现理想目标。

基础设施挑战

Indeed的业务本质上是以文本为基础的。我们每天生成320TB的数据，这些数据因其广度而具有独特价值。它们能够连接职位描述和简历，并将其匹配到驱动成功招聘的关键行为上。LLMs在改善求职者与雇主之间的互动中提供了显著机会，这包括匹配解释、职位描述生成、匹配标记、简历或职位描述中的技能抽取及职业指南等应用场景。

去年，核心AI团队评估了是否可以使用Indeed的人力资源领域特定数据来精细调整开源LLM，以提升其在特定任务或领域的表现。我们选择了精细调整方法，以更好地纳入Indeed在职位匹配方面的独特知识和词汇。其他策略，如提示调整或增强检索生成RAG和预训练模型，最初由于上下文窗口的限制和成本效益的权衡而不够适用。

核心AI团队的目标是探索能够满足Indeed环境特定需求的解决方案，以实现精细调整的高性能，简化迭代开发的工作量，并为今后实现成本效益的生产推理开辟路径。Indeed希望找到应对以下挑战的解决方案：

如何有效设置可重复、低开销的精细调整模式以便使用开源LLM？如何以宜人的延迟和成本在Indeed的规模上提供生产级LLM推理？如何有效上手不同请求和推理模式的早期产品？

以下部分将探讨我们如何解决这些挑战。

解决方案概述

最终，Indeed的核心AI团队决定使用Amazon SageMaker来解决上述挑战，并满足以下要求：

加速使用Amazon SageMaker的精细调整快速高效地提供生产流量支持利用Amazon SageMaker的生成AI推理能力灵活应对各种生产用例

使用Amazon SageMaker加速精细调整

我们面临的主要挑战之一是如何实现高效的精细调整。起初，Indeed核心AI团队的设置涉及手动配置原始Amazon弹性计算云Amazon EC2实例和训练环境。研究人员必须管理个人开发账户和GPU调度，导致开发开销增大和资源利用率低。为了应对这些挑战，我们开始使用Amazon SageMaker高效地启动和管理训练任务。转向Amazon SageMaker带来了多个优势：

资源优化 Amazon SageMaker提供了更好的实例可用性，并只对实际训练时间计费，从而降低了闲置资源的成本。简化设置 我们不再需要担心运行训练作业所需的设置，简化了整个过程。可扩展性 Amazon SageMaker的基础设施使我们能够高效地扩展训练任务，以满足不断增长的LLM精细调整需求。

使用Amazon SageMaker推理顺畅服务生产流量

为了更好地为Indeed的用户服务，我们通过采用开源软件作为抽象层，标准化了不同模型的请求和响应格式。此层将交互转换为标准的OpenAI格式，简化了与多种服务的集成，并确保模型交互的一致性。

我们构建了一个推理基础设施，利用Amazon SageMaker推理承载经过精细调整的内部模型。Amazon SageMaker基础设施提供了一个强大的服务，能够在大规模下部署和管理模型。我们在Amazon SageMaker推理端点上部署了不同的专用模型。Amazon SageMaker支持多种推理框架；我们选用Hugging Face的Transformers生成推理TGI框架，以实现对最新开源模型的灵活访问。

通过Amazon SageMaker推理的设置，Indeed得以快速迭代，在一个月内测试了超过20种不同的模型。此外，该强大基础设施可满足动态的生产流量，日请求量高达300万。

接下来的架构图展示了Indeed的应用程序与Amazon SageMaker推理端点之间的交互。

利用Amazon SageMaker生成AI推理组件支持多种生产用例

LLM精细调整的结果揭示了其显著的性能提升。最后一个挑战是快速实现支持真实、高量的生产用例的能力。考虑到我们的模型能够满足人力资源领域的多种用例，我们团队为各种目的主办了多个不同的专业模型。大多数模型并不需要8GPU p4d实例的额外资源，但仍需要A100 GPU的延迟优势。

Amazon SageMaker新近推出了名为推理组件的新功能，显著提高在单个端点上部署多个机器学习模型的效率。这一创新能力允许在机器学习实例上进行模型的最佳放置和打包，平均节省成本最高可达50。推理组件的抽象允许用户为每个模型分配特定的计算资源，如CPU、GPU或AWS Neuron加速器。这种细粒度的控制使计算能力的利用更加高效，因为Amazon SageMaker现在可以根据配置的扩展策略动态地向模型增加或减少计算资源。此外，这一功能智能扩展，能根据需求自动添加或移除实例，确保满足计算能力需求的同时尽量减少闲置资源。当需求低时，这一特性使得模型可以缩减至零副本，从而释放出有价值的资源。这一灵活性使生成AI和LLM的推理能够优化模型部署成本、降低延迟，并以更高的机动性和精度管理多个模型。通过将模型与底层基础设施解耦，推理组件为充分利用Amazon SageMaker推理的潜力提供了一种更高效、成本效益更高的方式。

Amazon SageMaker推理组件使Indeed的核心AI团队能够将不同模型部署到同一实例中，优化资源使用。通过在单个实例上合并多个模型，我们为Indeed产品团队创造了最具成本效益的LLM解决方案。此外，推理组件现在支持动态自动扩展，使得我们能够优化部署策略。该功能会根据需求自动调整模型副本的数量，提供更大的效率和成本节约，甚至比第三方LLM提供商更具优势。

自从将推理组件集成到推理设计中以来，Indeed的核心AI团队已经构建并验证了LLM，满足超过650万次的生产请求。

以下图示呈现了核心AI的LLM服务器的内部结构。

我们Amazon SageMaker设置的简单性显著提升了设置速度和灵活性。目前，我们使用Hugging Face TGI镜像在自定义Docker容器中部署Amazon SageMaker模型，使Indeed能迅速访问超过18个开源模型系列。

下图展示了Indeed的核心AI飞轮。

Amazon SageMaker带给核心AI的业务价值

Amazon SageMaker推理组件的无缝集成，加上我们团队的迭代提升，加速了我们实现价值的进程。我们现在可以快速部署和精细调整模型，同时受益于强大的可扩展性和成本效益，这在其追求为客户提供前沿人力资源解决方案的过程中占据了重要优势。

最大化性能

高速研究使Indeed能够迭代精细调整的方法，以最大化性能。我们已对超过75个模型进行了精细调整，以推动研究和生产目标。

我们能够快速验证并改进精细调整方法，利用许多开源LLM。例如，我们正在从使用第三方指令数据对基础模型FM进行精细调整，转向基于经验性能提升的指令调优FM进行精细调整。

出于我们的独特目的，我们的LLM组合在15个特定于人力资源领域的任务上与最流行的第三方模型表现相当或更优。在特定的人力资源领域任务如提取简历中的技能属性中，我们观察到经过精细调整的性能提升比通用第三方模型高出45倍，同时促进了人力资源市场的功能提升。

下图展示Indeed的推理持续集成和交付CI/CD工作流。

飞兔加速器

以下图展示一些任务示例。

高度灵活

灵活性使Indeed能在LLM技术的前沿。我们可以立即在可扩展的Amazon SageMaker推理基础设施上部署和测试最新的先进科学模型。当Meta在2024年4月推出Llama3模型系列时，这些FM在一天内就被部署，使Indeed能够迅速开展研究并为公司各部门提供早期测试。在几周内，我们对表现最佳的模型进行了精细调整并发布了。这一图示展示了一个任务示例。

生产规模

核心AI开发的LLM已经以单个p4d实例成功服务于650万次实时生产请求，并保持p99延迟在7秒以内。

成本效益

通过Amazon SageMaker的每个LLM请求在2024年初平均比第三方供应商的按需定价便宜67，这为实现显著的成本节约提供了可能。

Indeed对Amazon SageMaker推理的贡献：提升生成AI推理能力

在成功应用该用例的基础上，Indeed与Amazon SageMaker推理团队展开紧密合作，提供有价值的意见，以协助AWS构建和增强其生成AI能力。在早期的合作中，Indeed便向Amazon SageMaker推理团队提供了宝贵的反馈，以提升我们的服务。通过这次合作引入的功能和优化，使其他AWS客户能够更轻松、经济高效，并高性能地释放生成AI的转型潜力。

“Amazon SageMaker推理使Indeed能够快速部署高性能的人力资源领域生成AI模型，每天为数百万求职者提供工作机会。这种灵活性、合作伙伴关系和成本效益对Indeed利用AI更好地服务我们的用户至关重要。” Ethan Handel，Indeed高级产品经理

结论

Indeed实施Amazon SageMaker推理组件，已成为巩固公司在HR行业AI领导地位的重要因素。核心AI如今拥有强大的服务生态，提升了公司开发和部署人力资源行业AI解决方案的能力。借助Amazon SageMaker，Indeed成功构建并整合了人力资源领域的LLM，这显著改善了工作匹配过程及Indeed市场的其他方面。

Amazon SageMaker推理组件的灵活性与可扩展性使Indeed能够保持领先，不断调整其AI驱动的解决方案，以满足全球求职者和雇主不断发展的需求。这一战略合作凸显了将如Amazon SageMaker推理组件所提供的先进AI能力整合入核心业务操作的重要转型潜力，以推动效率与创新。

关于作者

埃桑汉德尔是Indeed的高级产品经理，位于德克萨斯州奥斯汀。他专注于生成AI研究与开发及应用数据科学产品，致力于为全球人民提供创新求职方案。除此之外，Ethan还是三个孩子的父亲，热爱摄影，对汽车情有独钟。

何志远是Indeed的高级软件工程师，位于华盛顿州西雅图。他领导一个专注于利用LLM的动态团队，包括精细调整、评估和推理，提升全球数百万求职者的求职体验。他热衷于解决复杂问题并探索创造性的方法。

阿拉克埃斯瓦拉达斯是AWS的首席解决方案架构师，位于美国伊利诺伊州芝加哥。她热爱帮助客户设计云架构，解决商业挑战，并对解决各种机器学习用例充满热情。在工作之余，阿拉克喜欢和女儿们一起度过时光，以及与爱犬一起探索户外。

索拉布特里坎德是Amazon SageMaker推理的高级产品经理。他热衷于与客户合作，致力于实现AI的民主化，专注于涉及复杂AI应用的部署、多租户模型、成本优化等领域。在业余时间，索拉布喜欢远足、学习创新技术、关注科技动态，并与家人共度美好时光。

布雷特塞布是

---