2023-09-04 22:00
大语言模型被普遍认为可以带来无数充满想象力的应用场景，也正是因为如此，它被视为是通用人工智能的一个重要的前进方向。本系列文章将围绕大语言模型的推理，分析推理背后的算法逻辑和特征，为算法实现提供简便的评估方案，再结合几种典型的硬件场景展开评估与分析，为打算实现模型推理的用户提供一些参考。本篇文章将定量讨论在单卡上大语言模型推理性能的估算，并呈现在典型的场景下各个性能指标跟随设定参数产生的丰富变
2023-08-07 07:00
让AI具备看图说话的能力一直是AI研究的热点。从早期的RCNN，到影响很大的CLIP，AI对图像的语言理解技术一直在迭代。随着大语言模型的能力提升，将视觉语义模型与LLM结合，以获得优秀的看图说话能力成为当前探索的热点方向。本文主要分析了看图说话的多模态模型的构成，探索了多模态语言模型的前沿发展，并归纳了实现多模态理解能力的关键技术。
2023-06-28 19:15
随着大型语言模型的普及，微调语言模型已成为适应特定应用场景的必要手段。为了构建高质量的微调数据集，需要考虑数据来源、数据质量、数据规模和数据相似性等因素。通常微调数据集比预训练数据集小得多，可以采用数据清洗和数据增强等技术以提高数据集的质量和丰富性。在微调数据集的构建中，需要从多个方面考虑以提高微调质量。本文将介绍目前常见的微调数据集格式和微调数据集的基本处理方案。通过介绍微调数据集相关领域的近期研究进展，本文旨在帮助读者更好地定制化自己的微调数据集，以提升微调模型的质量。
2023-06-12 07:00
我们在LLM大语言模型量化方法中介绍了模型量化的基本原理及两种训练后量化方法，主要还是实现大语言模型的8bit量化。随着越来越多高质量的大模型参数发布，一方面我们希望在大算力集群上实现高性能推理，另一方面我们也希望在资源受限的情况下部署更大的模型，于是产生了更低数值精度量化的需求。本文先介绍目前流传度很广的4bit/3bit大语言模型参数量化方法——GPTQ，讨论其局限性，并进一步介绍更细粒度的量化方法——SpQR。
通用AI模型的未来：深度强化学习（deep reinforcement learning）
2023-05-08 07:00
近年来，AI模型开始涌现出超越人类的潜力，在传统的围棋游戏以及拥有复杂规则和系统的电竞游戏（星际争霸2，Dota 2等）中都有体现。随着ChatGPT的出现，人们开始意识到语言模型成为通用人工智能的可能性，而这些模型的核心都是深度强化学习。
联系我们
-
咨询电话：021-68773133
商务合作：business@birentech.com
招贤纳士：recruiting@birentech.com -
公司地址：上海市闵行区陈行公路2388号16幢13层1302室
关注我们
商务合作:business@birentech.com
业务电话：021-68773133
商务合作