HUSKY:一个优化大语言模型多步推理的新代理框架
数据派THU
共 3248字,需浏览 7分钟
·
2024-07-04 17:39
来源:Deephub Imba 本文约2000字,建议阅读5分钟
本文介绍了优化大语言模型:HUSKY。
HUSKY
训练
推理
表现评估
论文地址:https://arxiv.org/abs/2406.06469v1
代码:https://github.com/agent-husky/husky-v1
编辑:王菁
评论
K8S, AI 大模型推理优化的新选择!
▼ 最近直播超级多, 预约 保你有收获 今晚直播: 《 大模型Agent应用落地实战 》 — 1 — AI 大模型训练和推理 Docker 容器和 Kubernetes 已经成为越来越多 AI 应用首选的运行环境和平台。一方面,Kubernetes 帮助用户...
架构之美
0
Text Generation Inference大语言模型文本生成推理
用于文本生成推理的Rust、Python和gRPC服务器。在HuggingFace的生产中用于为LLM的api推理小部件提供支持。特性:使用简单的启动器为最流行的大型语言模型提供服务TensorPar
Text Generation Inference大语言模型文本生成推理
0
RedPajama大语言模型
RedPajama项目旨在创建一套领先的全开源大语言模型。目前,该项目已完成了第一步,成功复制了LLaMA训练数据集超过1.2万亿个数据token。该项目由Together、Ontocord.ai、E
RedPajama大语言模型
0