两年 15.5k star 只是新起点,涛思数据正式宣布 TDengine 灯塔计划
2019年7月12日,涛思数据宣布TDengine正式开源。短短两年时间,TDengine取得了令人瞩目的成绩。TDengine在GitHub上已经有15.5k star,3900多个fork,PR和Issue超过了7000,在GitHub全球趋势排行榜上曾多次霸榜。
2021年7月12日,正值TDengine开源两周年,涛思数据通过直播方式举办了大型庆祝活动。
下午2点,活动正式开启。
涛思数据创始人兼CEO陶建辉发表主题演讲:《两年15.5k star——TDengine的开源之旅》。他首先回顾了自己的三次创业经历。2016年,他看了多个物联网、智能硬件的项目,发现大家都在用通用的大数据平台处理物联网数据,效率不高,且运维复杂。作为一个研发人员,看到这么多通用痛点,他认为应该用技术的方式来解决这些问题。

通过仔细分析,他总结出物联网、工业互联网数据的十大典型特征:
所有采集的数据都是时序的
数据都是结构化的
一个采集点的数据源是唯一的
数据很少有更新或删除操作
数据一般是按到期日期来删除的
数据以写操作为主,读操作为辅
数据流量平稳,可以较为准确的计算
数据都有统计、聚合等实时计算操作
数据一定是指定时间段和指定区域查找的
研发方面,到目前为止,TDengine已经发布了87个版本;运行测试例1663个;PR 4645次;包含测试代码在内,TDengine的代码行数已经达到75万行。
社群方面,涛思数据已经发布了100多篇技术文章和教程,在GitHub上解答了2128个Issue,目前项目贡献者已经超过80人。
团队方面,整个团队不断扩大,公司从草创时期的5个人已经发展到50多人。团队的不断扩大,也为项目的长期稳定发展提供了坚强的后盾。
TDengine将提供浮点数据的有损压缩功能,在性能不变的基础上,显著提升压缩比;会支持纳秒数据库,以便支持有高精度采样频率需求的场景;会提供更加完善的数据更新机制。明年TDengine还会支持变长字符串和blob数据类型。
在计算能力上,将提供高速的数据缓存功能,最近数据能够快速查询;会支持用户自定义的查询函数,也就是UDF;还将提供更加丰富的分析功能,SQL语句会支持嵌套查询、状态量窗口、会话窗口等更多功能。
在应用上,今年会发布云服务,提供免费的物联网数据存储;会与OpenFalcon、夜莺等运维监控软件集成,作为其底层存储引擎;提供更加完善的MQTT、OPC、MODBUS接入方法;提供更灵活的Grafana插件和丰富的Dashboard;此外,TDengine的自身监控功能也会进一步优化。
将TDengine的架构修改为云原生架构,更加完美地支持容器化部署;
要做到计算和存储分离,以便于更加快速地实现系统的扩容和缩容;
支持事件驱动的流计算。
电力行业是典型的时序监控无处不在的行业。电网的稳定运行,离不开发电、输电、配电等各个关键环节中的实时监控。某能源集团要为多个发电站建立一个生产监控大数据平台,来存储风机、光伏板等发电设备的运行状态数据、发电机组运行状态、电流、电压、功率等。平台接入了15000多个设备的数据,总监测点数超过2000万,写入速度超过200万点/秒,每天原始数据增量超过1TB。用户为此搭建了6节点的TDengine集群,可以高速写入数据的同时,很好地支撑了实时大屏、告警看板和定期的报表统计查询。
汽车行业是另一个与时序监测密不可分的行业。从汽车的制造、到车联网、再到自动驾驶领域,无一不在产生海量的时序数据。某企业用TDengine替代Hadoop搭建车联网大数据平台,平台接入车辆数约150万辆,主要是TBox采集的实时经纬度、车速、加速度、制动状态、ABS状态等关键行车信息,并基于此对车辆和用户行为进行评估和分析。对数据平台的性能要求为至少每秒写入约1000万点,每天约15TB的数据增长速度。
IT运维场景,从基础设施层的服务器、容器开始,到数据库、消息队列等中间件,再到业务服务进程本身、API调用次数,资源占用情况等,都需要监控并实时报警处理,保证大家服务的健康稳定。某公司的运维团队,采用TDengine后,将25个节点的OpenTSDB集群计算资源替缩减成了3节点TDengine集群。大幅节省了计算和存储资源。

灯塔计划

产品赋能:利用TDengine提升时序数据处理能力,大幅降低TOC。
原厂支持:涛思数据免费提供2年价值百万级的企业级技术支持,免除后顾之忧。 人才培养:涛思数据输送讲师,帮助企业专家深入掌握TDengine。 品牌推广:与参加企业联合进行品牌推广活动,提升影响力。 奖项加持:2021年年底评选3家企业作为TDengine年度最佳合作伙伴,追加2年企业级服务;对于参与TDengine在企业落地过程的专家,评选TDengine MVP。
