迎新年,壁仞科技研究院为您送上一份技术礼包
发布时间:2023-01-26 07:00
从年初爆火的一系列Text-to-Image模型,到年末一骑绝尘的ChatGPT,AI模型高速增长的能力不断刷新我们的认知,2022年成为了大家公认的“AIGC元年”,人工智能在各个领域的落地脚步也逐渐加快。在这令人难忘的一年里,我们广泛调研了AI技术在一些关键领域落地的可能性,梳理了相关的核心技术,探索了软件层面和硬件层面的优化方法。对于一些值得分享和讨论的内容,我们也以技术文章的形式呈现给大家,希望引起更广泛的关注和更深入的思考。
以下是我们整理的壁仞科技研究院在2022年以来发布的技术文章,也借此送上我们对大家的新年祝福。
前沿算法及应用
近年来,AI领域中颇受欢迎的神经网络结构非Transformer类模型莫属。Transformer的使用已经从一开始的语言模型逐渐扩展到了其他领域,包括语音识别、视觉模型、强化学习、生物结构、图像生成、视频生成等,无论是在现在还是在不远的将来,Transformer模型都会非常重要。
- 融合图像文字输入的Transformer:ViT-BERT
- AI艺术的算法原理之文本到图像
- 让照片开口说话:AI驱动的人脸重演
- 比大更大:Pathways上实现的大语言模型PaLM
- 语言模型的顶梁柱:Transformer, GPT, BERT
- 表达的"艺术":prompt learning助力AI发展
语音识别往往是人机交互的初始步骤,是将人类的自然语言转化为计算机可以读取的内容,一般就是人类也可以理解的文本,当然也允许其他的形式。传统的语音识别和语音合成一样,涉及到语言学、声学、数字信号处理等多门科学技术,是一项复杂的系统性工程。而人工智能的发展也大大提升了语音识别的准确性和易开发性,使得这项诞生已经半个世纪的技术在实际中得到了普遍的认可和广泛的应用。
我们也在关注AI模型背后的一些基本原理,广泛探索其在科学计算、生物医学、芯片设计等领域的应用潜力。
- 机器视觉中的因果推断
- NeRF方法中的相机参数求解
- 比你更懂你 — 神经网络与推荐系统的深度结合
- AI for Science: 面向电磁仿真的循环卷积神经网络
- 深度学习模型辅助高分辨率医学病理图像自动检测
- 通往AI化EDA之路的研究综述
核心技术及工具
AI模型高速增长的能力背后,是不断创新的基础模块及其高效实现,以及日益完善的框架支持和系统设计。
- 卷上加“卷”:特殊卷积的实现
- 万物皆可嵌入--embedding在GPU中的实现
- 高性能Transformer推理分析
- AI框架里的并行技术
- 应对大规模训练中的通信挑战:压缩及调度
- 推荐场景训练加速:大规模混合分布式系统
- 向外借力:Pluto助力MLIR编译器的多面体优化
我们也在梳理模型训练的核心组件及工具。
架构研究
现有算法的高效落地和新算法不断变化的计算特征,都在给软硬件架构提出新的挑战,我们会持续关注基础架构问题和先进架构的设计,与大家分享我们的思考。
辞旧迎新
新的一年,我们将继续坚持高质量的技术内容分享。新春佳节,壁仞科技研究院与您一同辞旧迎新,恭祝新的一年身体健康,工作顺利,阖家欢乐!
近期文章
通用AI模型的未来:深度强化学习(deep reinforcement learning)
2023-05-08
2023-04-24