AI 智能体:应用前景与对算力需求的影响

2023-11-13 22:00

人工智能技术的迅猛发展,尤其是 AI 智能体这一核心部分。本文讨论了AI智能体的定义、应用前景和其对算力需求的影响。

大模型推理:从模型分析到计算优化(三)

2023-09-25 22:00

大语言模型被普遍认为可以带来无数充满想象力的应用场景,也正是因为如此,它被视为是通用人工智能的一个重要的前进方向。本系列文章将围绕大语言模型的推理,分析推理背后的算法逻辑和特征,为算法实现提供简便的评估方案,再结合几种典型的硬件场景展开评估与分析,为打算实现模型推理的用户提供一些参考。本篇将在大规模并行场景下对大语言模型的推理展开进一步分析,我们将看到不同的并行策略以及传输带宽等对推理各个指标的影响,并对大规模系统下的推理成本有更多认识。

大模型推理:从模型分析到计算优化(二)

2023-09-04 22:00

大语言模型被普遍认为可以带来无数充满想象力的应用场景,也正是因为如此,它被视为是通用人工智能的一个重要的前进方向。本系列文章将围绕大语言模型的推理,分析推理背后的算法逻辑和特征,为算法实现提供简便的评估方案,再结合几种典型的硬件场景展开评估与分析,为打算实现模型推理的用户提供一些参考。本篇文章将定量讨论在单卡上大语言模型推理性能的估算,并呈现在典型的场景下各个性能指标跟随设定参数产生的丰富变

多模态大语言模型:让AI看图说话

2023-08-07 07:00

让AI具备看图说话的能力一直是AI研究的热点。从早期的RCNN,到影响很大的CLIP,AI对图像的语言理解技术一直在迭代。随着大语言模型的能力提升,将视觉语义模型与LLM结合,以获得优秀的看图说话能力成为当前探索的热点方向。本文主要分析了看图说话的多模态模型的构成,探索了多模态语言模型的前沿发展,并归纳了实现多模态理解能力的关键技术。