为了“和蒂法视频通话”,他做了一个开源数字人项目,2个月获得1.3K star!
共 5572字,需浏览 12分钟
·
4天前
在 AI Agent 与数字人爆发的当下,大量开发者涌入开源赛道,有人浅尝辄止,也有人持续沉淀,不断探索技术前进的方向。本次《LaunchBox》邀请到了dsd老师。
他是一家中型互联网企业的全栈开发工程师,从业两年间先后打造 AI 原生 SSH 终端工具 Chaterm (3k+ star)和实时数字人 Agent 框架 CyberVerse两个开源项目。CyberVerse项目起源于一个“和蒂法视频通话”的念头,项目上线仅2个月获得1.3k+ star。
![]()
当 AI Agent 与实时数字人席卷开发圈,一名从业仅两年的全栈开发者,凭两款高星开源项目出圈。本次专访,我们深挖他从企业 AI 终端工具到自研数字人框架的完整创作心路,分享普通人零粉丝从零打造千星开源项目的实操推广方法论。
从业两年,我的开源之路起点
大家可以叫我dsd,电子科技大学硕士毕业后,我在2024 年 7 月入职一家互联网中厂,从事全栈开发,至今刚好满两年。
![]()
我目前有两款核心开源作品:
Chaterm:公司主导,我全程参与的开源项目。Chaterm是 AI 原生的SSH终端工具。核心是给 SSH 终端搭载 AI Agent的功能,实现自动化的操作,比如说用户可以通过一句话去给Agent下达任务,AI 可自动连接服务器完成整套操作。
CyberVerse:这是我在2026 年 3 月启动、4 月正式开源的个人项目,CyberVerse是一个开源的实时数字人Agent框架。仅需一张照片,就可以和任何你喜欢的角色进行实时视频聊天,项目上线2个月已获得1.3k+ star。
Q:您为何选择全栈开发+长期深耕开源?
先说说全栈开发这件事,我做全栈有两层原因,一是偶然,二是行业大势下的必然。
偶然因素就是我入职的那个团队本身要求就是全栈开发,业务需要什么技术我就要快速吃透 —— 业务用Go语言我就啃一啃《Go 语言高级编程》,业务要用到 typescript ,我就会去学一学 typescript 编程,前端需要 TS、Vue 我也会对应去精进,多业务开发积累下,我自然就成长为了全栈工程师。
但其实就算公司没有硬性要求,我觉得我最终还是可能会选择全栈开发这条路——因为我入行刚好赶上 AI 爆发周期,2025 年被业内称作 AI Agent 元年,Cursor、Claude、Codex 等工具集中落地,编程正式从 Copilot 辅助时代进入 Agent 自主执行时代。
随着AI的发展,它必然会迫使很多程序员做出一些职业生涯的调整,如今企业招聘普遍要求开发者具备全栈能力:前端、后端、运维基础能力缺一不可,哪怕不精通,也要能借助 AI 或自身积累独立完成交付。可以说AI 重构了程序员就业标准,掌握全栈能力是程序员在这个时代想要长期发展的刚需。
Q:工作之余持续投入开源项目,支撑你的核心动力是什么?
我做开源项目的初衷很简单:我想独立打造一个完整的产品,没有商业需求且我希望有更多用户用上这款产品,此时开源就是触达海量用户最直接的方式。
当然,我也希望借助社区的力量迭代项目:CyberVerse 配套交流群近 200 人,star数1300+,通过社区持续反馈 Bug、提出功能需求,可以大幅降低单人开发试错成本;同时,用户对开源项目的包容度也更高,有利于我去不断迭代;最后,开源自带传播属性,开发者自发转发、二次改造,能持续为项目带来流量,这就是我坚持去做开源的原因。
CyberVerse的诞生,源于我对打破第四面墙的幻想
Q:CyberVerse 是你关注度最高的个人项目,当初是什么契机决定开发这款实时数字人 Agent 框架?
2026 年初 Seedance 大模型的发布迎来了AI 视频生成的大爆发。当时我随手使用小云雀生成一段《最终幻想》蒂法的视频,当时的效果已经非常的惊艳。这时候我就产生了一个构想:有一天我能不能打破第四面墙和蒂法视频通话。她能理解我生活的这个世界,我也可以听她讲述《最终幻想》设定之外的更多内容,这就像科幻电影里的场景一样让我雀跃不已。
![]()
事情的转机是在2026年2月,机缘巧合下我发现了一个开源的数字人模型 FlashTalk,它支持视频实时推理、无限生成无画面劣化。但这个模型的运行门槛极高,需要 5 块 H200 显卡;恰好我有一个愿意借我h200显卡的朋友,于是我就花了一段时间去研究这个模型。
后续我把显卡归还给了朋友,就在我苦于没有显卡可用的时候,开源界又推出了一个新的轻量化衍生模型FlashHead,这个模型只有1.3b大小,并且它不需要专业显卡,普通 5090 显卡就能支持运行,对于个人开发者完全能够负担。于是我就开始动手在这个模型上面构建一个应用,然后慢慢的去迭代开发。这就是我做CyberVerse的契机。
Q:从零搭建实时数字人框架,你遇到最大的技术与落地难题是什么?如何解决?
我目前遇到的最大的技术难点就是音视频开发这块。虽然整个项目都是通过 Vibe coding 来实现的,但是像是网络延迟和音画不同步的问题,AI很难解决。比如音画不同步了0.5秒,AI没有办法进行实时的高帧率捕捉,所以它感受不到这种延迟。为此,我自己去啃了一遍 WebRTC 音视频通信协议,通过精进自己的技术,再不断进行开发和调试。
在这个过程中,也需要使用AI辅助迭代工作的流程,比如说AI虽然感知不到音画不同步,但其实也有办法让它进行优化。AI不像人类可以通过眼睛或者耳朵去感知音画同步率,但我们可以给它生成很多的日志,可以在关键的时刻给它加上日志,进行音视频的不断调试。
![]()
除此之外,我觉得我碰到的困难可能并不是技术上的。因为技术问题可通过学习、调试解决,但产品定位、功能取舍、用户体验设计无法依靠 AI 完成。我需要不断的去思考这个产品的定位、要实现的功能、要达到的效果等,这些问题是需要花时间去持续琢磨的,无法用AI进行取代。
Q:目前 CyberVerse 已迭代近三个月,完整功能与技术架构可以详细介绍一下吗?
CyberVerse是一个实时的数字人 agent 框架,所以这个项目最核心的功能就是实现全双工的端到端的与数字人的实时视频通话,我在这个核心玩法的基础上拓展了一些更方便实用的功能,UI界面的优化、角色管理、角色定义等功能。整个系统是采用模块化设计,包括数字人底座、TTS、ASR、LLM,这样能够方便用户去定制一个数字人形象,他可以自由组合不同的模型。记忆模块我做了很多Agent 方面的工作,让这个角色更加的生动,有个性,并具有活人感。
这个项目迭代至今已经集成了 FlashHead、LiveAct 这两个开源数字人模型,以及百度曦灵和科大讯飞数字人这两个商业模型。
除此之外,我还受到了 OpenClaw 和 hermes Agent 的启发,我开始尝试将数字人和Agent 结合起来:数字人不仅仅是一个只会陪你聊天的数字形象,它也可以是一个能够帮你干活的小帮手。
在整个 Agent 的架构设计上,我采用了主 Agent + SubAgent 的两层设计。主 Agent 负责响应用户,SubAgent 负责去做更复杂的一些任务。SubAgent 做完了之后,它才去跟主 agent 通信,主Agent负责去把结果呈现给用户。
最近我又加上离线视频生成的功能,让 CyberVerse 更像一个一站式的数字人工具,角色的选择、角色的编辑、离线生成视频以及实时视频通话都在这一个系统里面。只需要一张参考图就可以创建自己的数字角色。如果你不想要这个数字形象,也可以把它当做一个纯语音的 Agent 使用。
数字人 + Agent 行业现状
Q:结合你的开源实践,如何看待当下数字人 + AI Agent 行业的发展?行业存在哪些机遇与痛点?
从我了解数字人这个行业开始到现在其实也就小半年的时间,但是我可以肯定100%的确定这个领域是蓝海市场,我了解到的几乎所有的大厂都在布局这个方向,比如腾讯、阿里、字节、京东都有发布自己的数字人模型,其他的中小厂,包括创业公司也有非常多在布局数字人领域,比如我前面提到的FlashHead、FlashTalk就是SOUL 团队开源的。国外的就更多了。比如说我了解到的Runway、Pika都有相应的产品发布,实时对话的数字产品,这是我目前了解到的行业现状。
目前行业存在的最大的痛点有两个。第一个痛点是数字人真实交互的效果不足。如果要做到像跟真人一样交流的效果,现有的模型还是不够的。现有模型仅能稳定应对日常聊天对口型、基础微表情,它是在一个特定的场景下去实现的,但一旦需要唱歌、跳舞等大幅度肢体动作,生成的内容距离真人自然交互还有很大差距。
![]()
第二个痛点是算力成本,模型要做到实时交互对算力的消耗是很大的。这两个问题归结到一起其实是一个问题——算力不够。但是我认为这个问题的解决只是一个时间问题,因为目前算力全球都很紧张,分摊到每个人头上的算力微乎其微,所以你要么排队,要么多花钱。如果我们把时间拉到10年之后,人均可获得的算力肯定是呈指数增长的,未来算力的产能肯定能上来,只要基础设施完善了,依托于它的应用就一定能够百花齐放,这些问题也就不是问题了。
零粉丝普通人,两个月做出 1.3k Star 的真实经验
Q:很多开发者埋头写完开源项目,却完全没有曝光,你本身没有粉丝基础,怎么做到短时间积累上千 Star?有哪些实操经验和踩坑提醒?
CyberVerse这个项目在两个多月的时间做到了1.3k 的 star,相比那些知名的项目的star增长速度可能不算快,但是这可能是我一个0粉丝基础的普通人能做到的极限了。
对于推广来说,前期去做自媒体基本上是没有太大成效的,因为你没有权重,没有积累,即便你去花钱买流量,可能因为你本身做的内容的质量问题,也吸引不了太多人。这时候就一定要去找到你的目标人群。比如像我做的数字人项目,数字人项目会有很多的开源模型,最关键是你怎么去找到对这些开源模型感兴趣的人。
有一个很简单的办法就是你去找相关模型的项目交流群,以第三方落地开发者的身份交流,在合适的机会分享项目成果,这也是我项目的初期的主要曝光来源。
除此之外也可以去寻找一些小众的论坛。因为论坛是靠时间排序,帖子依照回复持续曝光,你发布的内容不会淹没在信息流中。比如我早期流量的最大入口是V2ex,我发了好几个帖子都有近万的浏览,这里面的用户大多都是程序员,对这个项目的关注度和接受度也会更高。
当然,等到项目曝光达到一定量级,后期还是要回归到主流的社交媒体宣发,国内外的社交媒体都可以进行尝试。
Q:对于想要尝试做开源项目的新手开发者,你有哪些实操的建议或是避坑经验分享?
最重要的是做项目之前就一定要做好调研。很多你自以为新颖的创意,可能网上早已存在成熟的开源方案,提前拆解同类项目能避免重复造轮子。对于新手开发者来说,可以在你感兴趣的方向找一个现有的知名项目学习。我早年完整研读Cline,吃透 Agent 循环、记忆系统、工具编排等核心模块,后来开发 Chaterm 才事半功倍。
其次,在目前AI这么聪明的情况下,做产品不是最难的,推广和宣发才是最难的。如果你的推广做得不到位,你就很难获得正反馈,导致你很难坚持下去。所以我对新手朋友的建议是早期可以多花一点时间去开发,但千万不要去追求完美再去发布,项目完成基本功能的时候就可以开源了,之后每天用1/3的时间去做推广,曝光才是硬道理。
CyberVerse 长期规划:打造数字分身 Agent 互联网络
Q:后续你会对CyberVerse进行哪些迭代和更新?
CyberVerse 是 Cyber(赛博数字世界)+Verse(宇宙)组合而来,但是就目前项目提供的功能来看,好像跟Verse不怎么搭边,因为它只是一个可以实时视频对话的数字人,所以我最终想做的是构建一个由数字分身 Agent 组成的网络,这个目标是从我做这个产品之初就已经确定下来的,概念有点像电影《头号玩家》里的绿洲。
个人或者企业都能发布专属数字人 Agent;不同数字人拥有差异化能力,Agent 之间可以互相调用协作完成复杂任务;同时配套平台激励机制,提供服务的数字人能获得积分、奖励,形成完整生态闭环。你可以把它当成你人格的一部分,你也可以当做自己是捏了一个角色,这个角色在网络里面去探索,去交朋友,或是协助你做一些事情,之后它会把这个结果反馈给你,有点像23年扎克伯格想做的MetaVerse,而我则是想在网络世界里用 Agent 搭建起来一个这样的虚拟世界。
![]()
Q:现在 AI 大幅降低了软件开发门槛,不少开发者都在疑惑,开源这条路还有长期发展空间吗?你怎么看待这个问题?
不能说开源没有出路,因为不管你在哪个时代,软件的需求是不会消失的,哪怕是在 AI 时代,软件的需求也不会消失,开源更加不会消失,大家真正该思考的不是 “开源有没有出路”,而是开源项目如何搭建可持续的商业模式。
因为AI 让软件开发变得廉价了,市面上同质化开源项目只会越来越多,单纯免费开放源码很难形成核心竞争力。每一位开源开发者都需要提前规划商业化路径,比如企业私有化部署、定制化技术开发、增值付费插件、技术咨询服务等等。我自己也一直在持续摸索 CyberVerse 的长期发展模式,跟大家共勉!
=故事征集=
《LaunchBox》是程序员客栈推出的技术项目孵化平台,致力于为全球顶尖技术创业者与极客开发者提供项目展示、推广与孵化服务。无论您的项目专注于AI、区块链、开源技术,还是其他颠覆性创新领域,LaunchBox都欢迎在此首发。
欢迎大家推荐朋友或自己来参加我们的节目,分享与对话是一件利他又利己的事。主持人木木微信:s15139。
![]()
