已经近1年没有更新过新的文章。。。这次写的是过去1236天大概的一个过程,即是一次发布,也算是黑森矩阵与Robobaton的早期总结。2015年底创业之时,有3个可行的方向选择:AI相机、空间相机与特种相机,出于种种原因(核心是资源受限,起步6-7个人,100来万自筹资金对外部融资并不了解。。。)我们选择了特种相机。认真回想一下如果当时选了前两者,组织应该早已不复存在。当年高大上的特种相机已深入消费、工业的各个角落
黑森矩阵与Robaton相机,最早缘起于2021年底。当时我们大部分收入来自于国内市场,出于直觉公司首先必须启动国际化的进程;同时特种光学,无论哪个波段都开始进一步进入内卷。作为近20年的相机佬,为了能继续在市场上要饭只能再做增量。经过深入思考,如果相机要再打开新的天花板,机器人将是第三个有望达到KKK级市场的领域(但也许不止等10年)。忐忑的决定做一套“高性价比,嵌入式中低速机器人纯视觉导航定位感知系统”。
有时也未必是机器人,半自动会是很重要的模式
需要开始的第一步是SLAM相机-里程计模块,说句实在话看着是一条几近绝路的方向,市场上唯一可参考的产品是Intel RS265(停产)。而我们有什么?对算法一知半解,只能说在硬件、供应链和工程化上有一些优势。无知者无惧,反正先干着呗。。。(2025年走到今天成为了空间智能相机,再往后万一蹭热度喊成具身相机小伙伴们别揍我们)历史过程(知乎系列文章里有各种无知的尝试过程,对技术不感兴趣的小伙伴可完全跳过~):
2021年Q4-2022年Q3,主要工作结合港科沈老师实验室的杰出开源输出VINS-MONO来进行工程化实践。妄想一步到位完成纯单目VIO版本来进行闭环,选择了RK3568平台。败因:(1) 3568阉割了L2 Cache,严重影响了缓存优化和计算效率(可以默认为除了SIMD和算法本身外几乎没得优化~)。(2)VINS-MONO是杰出的单目VIO里程计,但在里程计之外,能观性问题在大量机器人场景中是不可解的,尺度问题长期困扰。(3)3568 VI严重受限,影响多目扩展。收获:深入理解了全局快门/不同传感单元时同步的重要性,完成第一代高实时同步硬件,优化沿用至今。
2022年Q3至Q4,在这个阶段上认知开始急剧提升,全组在年内阅读论文超百篇几乎测完了主流系统。深入理解了VIO中IMU本身的核心问题:温控与振动。但对IMU高实时性要求/高频/三正交IMU用法更深入了解后,放弃了对IMU高依赖的路径(其实也是因为能力有限。。。)。
我们坚定未来机器人必定走向纯视觉,imu只需做好配合即可的思路,开始走向直接法。SLAM的核心问题,总结为尺度(单目VIO在IMU不够硬朗时几乎无解的尺度问题),重力(激励不足时Z轴的漂移、撞击/冲击时imu超量程带来的反作用力漂移)与光(无处不在的光度变化)。开始启动3588平台相关工作,设计第一代自主双目相机。
3、DSO/DMVIO,第一代Robobaton-VIOBOT开发平台
2023年上半年,基于TUM的杰出输出DSO、DMVIO,终于基本克服了绝大部分场景,实现了VIO里程计的超强鲁棒性,尚可的精度,通过直接法基础输出加上滤波实现了粗糙的三维实时点云RDF。经过大量软硬件修改、历经曲折完成了第一代Robobaton-VIOBOT开发平台。在这个阶段我们决定:必须得把最重要的相机本身完善。用户较为喜爱的VIOBOT1,作为开发平台是良好的
《研发经理聊空间计算相机该咋做》知乎文章 2024-10-29正式发布,目前已进入量产阶段。(文章链接:https://zhuanlan.zhihu.com/p/19606006140,伙伴们可复制链接至浏览器阅读~)核心:全力攻克内外参退化、鱼眼双目视野+人眼瞳距,更好的耦合增益/曝光处理/低照响应。
时至今日,伴随着客户与合作伙伴们的支持,我们对机器人的理解开始更为深入。HM Inside第一个大版本即将到来。
HM Localization:核心的VIO里程计本身,纯视觉/VIO里程计从原理出发无法和TOF类/雷达/RTK直接拼精度,但可以尽可能的将鲁棒度、精度完善至相当高的水准(长期误差<1%、不崩不飘),机器人以纯视觉在三维空间中自主作业/完成任务的基础。
HM Mapping:结合神经网络,强定义的全局模块,能够不间断指导Localization恢复精度至cm级,使机器人能在如5000平方米以内的各种室内外空间内完成真正的高精度自由作业,超越受光度影响大的各代回环。但本模块并不能支持好长距离自由探索场景--仍需要使用结合GNSS等的组合导航。
HM Perception:核心感知模块,支持视觉结合Localization/Mapping真正实现超越的核心,完成现实意义的“一拃”实现近乎人类的感知能力在相当多场景中落地(需排除近mm级的严肃工业、测绘场景)(这个【一拃】的概念,是这篇知乎文章【https://zhuanlan.zhihu.com/p/646405883】提到的,伙伴们可复制链接至浏览器阅读~)
HM Planner:一些规划的小例程,持续更新基础的绕障、点到点路径规划、弓形作业规划等;后续尝试更新一些简单的三维空间规划例程(更建议用EGO Planner等成熟系统)。5月份RoboBaton相机+HM Inside正式完成了对RK3588/3588S的全面支持并将于月底前发布,我们将在下半年和另2家国产原厂核心SOC平台完成联合研发和调试工作。同时升级后的小伙伴和新用户们欢迎随时砸我们。。。第一个商用版本的工作范围下文会提到,它肯定还是会有缺陷我们会不断完善。
黑森矩阵的本质就是一群相机佬和工程佬,核心的商业目标就是卖卖价格3位数的相机+HM Inside的Know how-Baton相框/最多再帮忙装个小高清RGB的标品。希望小伙伴们能用我们的相机做出各种各样有意思的机器人,甚至也未必是机器人(为什么不可以是小载具?小玩具?甚至是小工具?)这个初心我们从来没有改变过。对于刚起步的小伙伴和实验室,大家可以从完整的VIOBOT2开发平台/mini相机开始尝试;企业端伙伴如果有好的想法,即可以使用我们的SOC通控板,也可以根据自己的需要和原厂联系使用核心板+外围或自主设计。HM Inside是能被更好算法替换的好例程,我们希望它成为打开纯视觉新世界的大门钥匙,为产业界和世界带来更多的增量动能。这一次的HM Inside的商用发布,给纯视觉SLAM/VIO带来了更清晰的商用落地可能。我们也将和伙伴们完成更多的SOC芯片平台支持。机器人边缘端传感+算力的组合将直接把所有的中低速机器人形态(轮式、足式、飞行器)从二维带向三维,从狭窄的室内带向更广阔的空间。目前Robobaton+HM Inside的工作范围和边界是:
(1)5000平米或以内,不分室内外的大部分场景中的各类机器人三维自主导航定位与感知;
(2)HM Localization+组合导航,结合HM Perception实现中低速自由探索。
不支持:如雪原、隧道等视觉特征/光照太差的场景、精度要求极高的严肃工业场景,海拔30米向上飞行场景。
创业的过程中,我们遇到过不少波峰波谷,虽然在2019到2021年是取得了不错的成绩,但因为国内向国际的全面转型和开发Robobaton,2022年到2023年我们产生了巨额亏损。。。濒临倒闭。在这几年间,我们静下来心来思考了许多的问题,把大量的时间放在了深圳和青年硬件创业者们待在一起,亲历了FHF复合肥社群的诞生。很庆幸虽然自己还能看到一代又一代的青年工程师们不断为了新的增量搏杀,感谢他们对我们的间接影响。
庆幸的是,从2024年开始我们回到了正轨,顺利转型成功填平了亏损。2024年黑森矩阵顺利诞生,衷心感谢黑森矩阵客户和股东们对我们的鼎力支持,感谢不离不弃的同事们,感谢VIOBOT社群/FHF社群的小伙伴们。始于2021年底,随着24年底相机硬件完成到小批量量产,再到本月HM Inside的发布,1236天过去,纯视觉闭环的曙光初现。但理想是否能够照进现实,还有很多的风险要去冒,有很多的增量与合作需要去精益落地。
Robobaton虽然到现在近4年未曾盈利,但是难做?难道就不做吗?
对于那些一定会到的未来(视觉是传感端最重要的未来),能够一直坚持做相信和喜欢的事情,即使最后失败了,那又如何呢?作为一个已经40+的80后,如果还能用现在有限的资源和能力,去为组织和后辈们打开增量,那即使失败,亦光荣。 1、最紧要开心
2、商业的本质:朋友、对手与商机
4、概括能力是人生最重要的能力(罗里吧嗦又写了一堆,愧对。。。)
欢迎伙伴们扫描下方二维码,加入黑森矩阵技术交流群~
地址|广州市南沙区黄阁镇黄梅路330号12层
TEL | 020-39071007
知乎|黑森矩阵
bilibili | 黑森矩阵智能科技
淘宝 | 黑森矩阵企业店