新的人工智能学习模型提高了姿态检测性能和效率

 

新的人工智能学习模型提高了姿态检测性能和效率



通用人工智能系统,如 OpenAI 的 GPT,依赖大量的训练数据来提高模型的准确性和性能。研究或医疗人工智能应用通常缺乏训练数据和计算能力,可以利用旨在提高更专业场景的人工智能输出的效率、相关性和准确性的新模型。

大型预训练语言模型 (PLM) 使用越来越大的数据集(例如维基百科)来训练和优化机器学习 (ML) 模型以执行特定任务。虽然 ChatGPT 等大型 PLM 的准确性和性能随着时间的推移而有所提高,但在大型数据集不可用或由于计算限制而无法使用的情况下,大型 PLM 无法正常工作。

简而言之,需要一种新的人工智能解决方案来在研究、医疗或其他应用中有效地利用机器学习,因为这些应用中无法获得大量信息来充分训练现有的人工智能模型。

为了解决这个问题,新加坡科学技术研究局 (A*STAR) 的计算机科学家团队最近设计了一种协作知识注入方法,可以使用少量的训练数据有效地训练机器学习模型。在这种情况下,研究人员创建了一个模型,可以根据推文、商业评论或其他语言数据的上下文,更准确地确定特定目标(例如产品或政治候选人)的立场或支持或反对的意见。

该团队于 8 月 28 日在《大数据挖掘与分析》杂志上发表了他们的研究。

“由于目标的多样性和注释数据的可用性有限,立场检测本质上是一项低资源任务。尽管存在这些挑战,立场检测对于监控社交媒体、进行民意调查和为治理策略提供信息至关重要。” A*STAR 前沿人工智能研究中心 (CFAR) 的科学家,也是该论文的第一作者。 “增强基于人工智能的低资源姿态检测方法对于确保这些工具在现实应用中有效和可靠至关重要。”

较小的训练数据集会对人工智能预测模型的准确性产生深远的影响。例如,维基百科中的目标“违反法律”链接到犹大牧师的一首重金属歌曲,而不是该术语的真正定义:以非法方式行事。此类错误的训练数据会严重影响机器学习模型的性能。

为了提高依赖于较小训练数据集的人工智能姿态检测的准确性,研究团队专注于协作模型机制,以:验证来自不同来源的知识并更有效地学习选择性特征。

“大多数人工智能系统依赖于使用大量预定义数据集开发的预训练模型,这些模型可能会过时,从而导致性能下降。我们提出的方法通过集成来自多个来源的经过验证的知识来解决这一挑战,确保模型保持相关性和有效性”明说道。

“由于参数规模较大,预训练的大型语言模型还需要大量带注释的数据进行训练。我们的方法引入了一个协作适配器,其中包含最少数量的可训练参数,……提高训练效率并提高特征学习能力,”Ming 说。

该团队还通过分级优化算法来优化大型 PLM 的效率。

为了测试他们的模型,研究人员在三个公开可用的姿态检测数据集上进行了实验: VAST 、 P-Stance和COVID-19-Stance 。然后将该团队模型的性能与 TAN、BERT、WS-BERT-Dual 和其他 AI 模型实现的性能进行比较。

通过 F1 分数(ML 模型准确性)来衡量,研究团队针对低资源训练数据的新姿态检测模型的得分始终高于使用所有三个数据集的其他 AI 模型,F1 分数在 79.6% 至 86.91% 之间。目前,70% 或更高的 F1 分数被认为是良好的。

新的姿态检测模型极大地提高了人工智能在更专业的研究环境中的实用性,并为未来的进一步优化提供了模板。

“我们的主要重点是在资源匮乏的现实世界应用中进行高效学习。与专注于开发通用人工智能(AGI)模型的主要人工智能公司不同,我们的目标是创建更高效的人工智能方法,使公众和研究都受益CFAR 首席科学家、该论文的合著者 Joey Tianyi Zhou 说。

来自新加坡科学技术研究局 (A*STAR) 前沿人工智能研究中心 (CFAR) 和高性能计算研究所 (IHPC) 的 Ivor W. Tsang 也对这项研究做出了贡献。

更多内容,可以点开视频下方的链接
谢谢观看本视频。要是喜欢,请订阅、点赞。谢谢

原文:https://techxplore.com/news/2024-09-ai-stance-efficiency.html

油管:https://youtu.be/mjYA_9rUmls


留言