资料来自：@kuchaev
Nemotron-4 340B，一个优化用于NVIDIA NeMo和NVIDIA TensorRT-LLM的模型家族，包括最先进的指令模型和奖励模型，以及用于生成式AI训练的数据集。
NVIDIA今天宣布推出Nemotron-4 340B，这是一组开源模型，开发人员可以使用这些模型生成用于训练大语言模型（LLMs）的合成数据，以应用于医疗、金融、制造、零售等各个行业的商业应用。
高质量的训练数据在自定义大语言模型的性能、准确性和响应质量中至关重要，但强大的数据集可能价格昂贵且难以获取。
通过一种独特的开放模型许可，Nemotron-4 340B为开发人员提供了一种免费、可扩展的方式来生成合成数据，以帮助构建强大的大语言模型。
Nemotron-4 340B系列包括基础模型、指令模型和奖励模型，这些模型形成了一条用于生成和改进大语言模型训练数据的管道。这些模型经过优化，可以与NVIDIA NeMo（一个端到端模型训练的开源框架）一起工作，包括数据策划、定制和评估。它们还经过优化，可以使用开源的NVIDIA TensorRT-LLM库进行推理。
Nemotron-4 340B现在可以从Hugging Face下载。开发人员很快将能够在http://ai.nvidia.com上访问这些模型，它们将作为NVIDIA NIM微服务打包，并提供一个标准的应用程序编程接口，能够在任何地方部署。
使用Nemotron生成合成数据 在获取大型、多样化的标记数据集受到限制的情况下，大语言模型可以帮助开发人员生成合成训练数据。
Nemotron-4 340B指令模型创建多样化的合成数据，模拟真实世界数据的特征，从而提高数据质量，增强自定义大语言模型在各个领域的性能和稳健性。
然后，为了进一步提升AI生成数据的质量，开发人员可以使用Nemotron-4 340B奖励模型来筛选高质量的响应。Nemotron-4 340B奖励模型根据五个属性对响应进行评分：有用性、正确性、一致性、复杂性和冗长性。它目前在Hugging Face的RewardBench排行榜上排名第一，该排行榜由AI2创建，用于评估奖励模型的能力、安全性和潜在问题。
在这个合成数据生成管道中，（1）首先使用Nemotron-4 340B指令模型生成合成文本输出。然后，（2）评估模型Nemotron-4 340B奖励模型对生成的文本进行评估——提供反馈以指导迭代改进，并确保合成数据准确、相关且符合特定要求。 研究人员还可以结合他们的专有数据和包含的HelpSteer2数据集，通过定制Nemotron-4 340B基础模型来创建自己的指令或奖励模型。
使用NeMo进行微调，用TensorRT-LLM优化推理 使用开源的NVIDIA NeMo和NVIDIA TensorRT-LLM，开发人员可以优化指令和奖励模型的效率，以生成合成数据并对响应进行评分。
所有Nemotron-4 340B模型都经过TensorRT-LLM优化，利用Tensor并行性，这是一种模型并行性类型，其中各个权重矩阵在多个GPU和服务器之间拆分，从而实现大规模高效推理。
Nemotron-4 340B基础模型在900万亿个Token上进行训练，可以使用NeMo框架进行定制，以适应特定的使用案例或领域。这一微调过程受益于广泛的预训练数据，为特定下游任务提供更准确的输出。
NeMo框架提供了多种定制方法，包括监督微调和参数高效微调方法，如低秩适配（LoRA）。
为了提高模型质量，开发人员可以使用NeMo Aligner和由Nemotron-4 340B奖励模型注释的数据集来对模型进行对齐。对齐是训练大语言模型的关键步骤，模型的行为通过人类反馈强化学习（RLHF）等算法进行微调，以确保其输出安全、准确、上下文适当，并与其预期目标一致。
寻求企业级支持和生产环境安全性的企业也可以通过云原生NVIDIA AI Enterprise软件平台访问NeMo和TensorRT-LLM，该平台为生成式AI基础模型提供加速和高效的运行时环境。
评估模型安全性并开始使用 Nemotron-4 340B指令模型进行了广泛的安全性评估，包括对抗性测试，并在广泛的风险指标上表现良好。用户仍应仔细评估模型的输出，以确保生成的合成数据适合、安全并且准确。
有关模型安全性和安全评估的更多信息，请阅读模型卡。
更多详细信息，可以阅读原文，原文在后面的链接中
谢谢观看本视频。要是喜欢，请订阅、点赞。谢谢
通过Hugging Face下载Nemotron-4 340B模型: https://huggingface.co/collections/nvidia/nemotron-4-340b-666b7ebaf1b3867caf2f1911 。
有关更多详细信息，请阅读有关模型：https://research.nvidia.com/publication/2024-06_nemotron-4-340b
和数据集：https://arxiv.org/abs/2406.08673 的研究论文。
留言
發佈留言