发布日期: 2025-06-19
本文摘自《云栖策略参考》,这本刊物由阿里云与钛媒体合伙筹划。目标是为了把各个行业先行者的技巧寻找、生意履行吐露出来,与思索同样题目的“数字先行者”联合切磋、碰撞,祈望这些内容能让你有所启示。
AR(Augmented Reality,巩固实际)眼镜,被以为是庖代手机成为下一个超等终端的有力夺取者。这两年,伴跟着 Meta、苹果等巨头的入局和大举加入,加上供应链的成熟,AR 眼镜也被更众人所眷注,成为这一波 XR(Extended Reality,扩显现实)高潮中的最大受益者。
而正在同偶尔期,AI 大模子的横空诞生和迅速迭代,成为第四次工业革命的引擎,改变各行各业,革新着全新的贸易形式。
2024 年下半年,不带显示的 AI 眼镜囊括扫数科技行业,估计将来商场周围超千亿美金。AI 眼镜的爆火,也让更众人深信,“下一个 iPhone 时间,由 AI+AR 创作”。
不过行为相连物理宇宙与数字宇宙的桥梁,AI+AR 不是做单纯的 1+1 加法题,AR 的场景很繁杂也很格外,对反响的速率以及交互的办法都有着更高的恳求。
行为邦内第一梯队的 AR 眼镜公司,雷鸟革新向来正在做 AI 与 AR 的调和研发事业,并正在 AI 生态上加入了巨额的人力和物力,去寻找 AI+AR 的最佳调和办法。针对当下 AR 产物浮现的 AI 体验不佳的题目,雷鸟革新与阿里云一同,寻找走出了一条智能化配合革新共赢之途。
比拟较手机、PC 等古板终端,AR 生长的工夫并不长,近几年才将落地产物推向群众商场。而奉陪计谋增援和 AI 大模子的加快生长和落地,消费电子行业迎来了新一轮的生长机缘。
来自机构统计的数据显示,2024 年上半年,邦内消费级 AR 配置销量同比增加 49%,反应出商场对 AR 的通常承认。众家 AR 公司担负人也不止一次正在公然局势默示,AR 眼镜会是 AI 的理念载体,正在空间计较时间中,将会显现出特殊的代价和潜力。
IDC 见地以为,AI 正在硬件搭载上有许众遴选,手机、PC、AR 眼镜都是好的载体。不过对付 AR 这种轻量级硬件来说,AI 的插足会极大丰厚 AR 的使用场景,越发是正在生计助手类的使用中,城市使得其行使的便捷性、确实性获得彰着晋升。
中商财产考虑院也正在通知中默示,正在 AR 配置中,AI 技巧能够助助配置更好地剖判用户的图谋、举动和境遇,从而供给特别性情化的体验。跟着闭联技巧旅途的慢慢成熟,将来 AI+AR 眼镜希望跑通恶果晋升类场景,向消费级放量,AI+AR眼镜希望正在短期杀青百万出货量,中期杀青切切出货量,AI+AR 眼镜将来希望成为下一个过亿的革新终端产物。
雷鸟革新能够说是邦内 AR 财产的最早一批探途者,创立至今已有三年众的工夫,用了不到一年的工夫就做到了中邦消费级 AR 商场拥有率的第一名,正在对 AI+AR 的寻找上也是处于前线,并众次正在公然局势阐明公司正在 AI 与 AR 调和上的辛勤。
雷鸟革新创始人兼 CEO 李宏壮以为,“AR 眼镜将授予 AI 与人类高度一概的感官才华,并使得 AI 真正成为人们的‘外脑’,巩固人们对视觉音讯、音频音讯的管理才华。AI+AR 会是行业的一个很主要的趋向。咱们深信,将来 2-3 年 AI 带来的最主要的新硬件便是 AR 眼镜,下一个 iPhone 时间由 AI+AR 来创作。”
过去,AR 眼镜固然能同时吐露数字与物理宇宙,但二者是圮绝的,没有交互,也没有联动性。正在 AI 生长的初期,其更众的是被使用正在少少软件优化等根底使用上,并没有直接串联起物理与数字宇宙。
而这两年,AI 生长的速率高出任何史乘光阴,功能也有了极大的晋升,主动性和使用的场景也更众、更长远。
有了 AI 大模子的融入,AR 不只能吐露实际与虚拟宇宙,更能借助 AI 与算法去接受和驱动数字宇宙,并与物理宇宙造成相连,与你正在实际中看到的场景举办交互,看你所看,听你所听,正在你目下,正在你耳边,重构咱们的视听宇宙。
就像李宏壮说的那样,“AI+AR 的调和,不只能够杀青过去手机的场景,还能够成为万分好用的 AI 聪颖助手,更主要的是,它们会杀青虚拟与实际的深度调和,带来扫数宇宙的数字化。”
正在昭彰了 AI+AR 的生长旅途后,2024 年有众家 AR 企业起先了产物与 AI 调和的落地以及新思索。
一个万分彰着的信号是,正在岁暮这段工夫,行为承托 AR 眼镜的 AI 眼镜产物频发,不只有雷鸟革新如许的笔直厂商的插足,也有创业者以及大模子企业的入局。
入局者浩繁,产物也许众,不过,真正能直击用户,连通数字宇宙和物理宇宙的很少。这里一个闭节的题目正在于,AI 与 AR 的调和不是单纯的去做加法,大模子的遴选以及场景化深度优化极度主要。就似乎是苹果的 Siri 雷同,因为有许众场景的题目解答不了,因此被许众人弃用。
李宏壮也指出,跟大模子对话也是雷同,假若不行做到 80% 以上实在实率的话,那大众也就不必了。假若用 AR 眼镜来识别途牌或者采用,唯有一半概率能识别出来,也很影响用户的心绪。用户正在产物体验上面,要的万分主要的一个的东西便是确定性。就比如你发个微信音尘给对方,假若唯有 50% 的概率能收到,那这个产物断定没人要。
“咱们须要鉴定的便是谁正在大模子上面会持久处于向导者身分,这也是遴选和阿里通义配合的情由之一。”
个中,Qwen2.5 全系列模子正在 18T Tokens 数据进步行预操练,比拟 Qwen2,合座功能晋升 18% 以上,具有更众学问、更强编程和数学才华。视觉发言模子 Qwen-VL-72B 具备自立操作手机和呆板人的视觉智能体才华。大周围音频发言模子 Qwen-Audio,语音闲话局部调和了语音识别和自然发言剖判,不须要众个模子举办连结,杀青了端到端大模子,能够识别音乐、心理、境遇声响等。
AR 眼镜正在搭载了通义千问特出的众模态识别才华之后,图像、文字、视频和音频等众种输入时势都可以被及时管理。
比方,用户正在途边看到了一栋修立或者是不知道的植物,通义借助 AR 眼镜的摄像头便可以识别用户看到的物体,对其举办先容。对付用户目下所看到的物理宇宙,通义也能够举办描写,不只可以助助用户长远会意如今所处的境遇,也能助助视障人群看到目下的宇宙。
同时,AR 眼镜正在有了通义大模子的加持后,还可以杀青即时翻译,增援中文与英语、日语、韩语、法语、德语、俄语等众邦发言互译。即使用户身处目生的邦度,也能从容与本地人举办交换,晋升疏通的恶果。
雷鸟革新遴选通义,尚有一个更主要的情由,便是两边都戮力于杀青虚拟宇宙与实际宇宙的深度调和,同意面向用户做深度的研发加入。换句话说,有许众款通用大模子都很优良,不过正在 AR 眼镜上的体验并不佳,闭节就正在于大模子没有针对 AR 眼镜的需求做深度的定制和般配。
李宏壮默示,“许众 AR 厂商做的仅仅便是把大模子接进来,这是弗成的。现正在的通用大模子实在能够做许众事故,不过对付 AR 上涉及的场景,做的还不足长远不足好。咱们看好阿里云通义大模子的现正在和将来,而且两边也都有一个共鸣,那便是不行说正在 AR 眼镜上放一个通用大模子就行了,要针对 AR 的场景去做定制和适配,把它培植成一个很适宜这个使用场景的大模子,让 AR 眼镜真正长远到用户的寻常生计之中。”
2025 年 1 月 7 日 CES 时期,雷鸟革新正式颁发雷鸟 V3 AI 拍摄眼镜。这款新品上搭载了其与阿里云通义联合打制的业内首个特意面向智能眼镜的 AI 大模子。这必定制化模子不只能更好地剖判眼镜场景下的用户需求,还能为 Agent 供给更精准的学问增援和决议依照,从根蒂上晋升了 AI 眼镜的交互体验。
得益于此,雷鸟 V3 的 AI 均匀反映速率为 1.3s,远超 Ray-BanMeta 及其他接入通用模子的 AI 眼镜;V3 的 AI 识别确实率高达 98%,可称为用户真正万能的百科助手。正在此根底上,雷鸟 V3 还将连续上线 RayNeo 电台、寻找视界 2.0、手圈套照 AI 总结播报、QQ 音乐点播、AI 消息播客、全场景灌音总结、支小宝扫码付出等丰厚成效,让 AI 真正效劳于用户的寻常生计。
之后,雷鸟革新部署正在第二季度颁发的 AR 眼镜 X3 Pro,也将搭载与阿里云深度定制和调和后的通义大模子。
正在产物研发时期,两边都加入了巨额的人力和物力,针对完全的场景去做操练和提问,对硬件端侧的模子举办优化,从而去般配 AR 场景下的需求。
比方 AI 翻译,通例的通用大模子更众的是依据汲取到的发言音讯去做简单的翻译,不过正在完全的场景联结上没有长远调和,会导致有时翻译的内容会显得很结巴。其余,速率是翻译很主要的目标,假若仅仅是接入现有的通用大模子,合座的体验并不会很顺畅。
为了晋升 AI 的体验,雷鸟革新和阿里通义做了众方面的操练事业。一方面,是做了速率上的晋升,比拟较于如今市情上通用大模子翻译,搭载了定制通义大模子的 RayNeo AI 的反响速率晋升起码一倍。
另一方面,除了速率之外,通义还针对观光、点餐、购物等众个细分场景做了优化,借助 AR 眼镜去识别如今的境遇、对话人的样子、手势等众个音讯源,更好地剖判用户的行使场景,从而给出更确实的翻译结果。
视觉也是雷同,AI+AR 要接受物理宇宙,要做到的第一点便是可以对实际宇宙的场景举办确实的反应。不过,物理宇宙是相当繁杂的,比方途牌,有种种材质、巨细,差别辉煌下反光的水准也不雷同。为了升高识别实在实率,阿里云和雷鸟革新一同做了增量的操练,通过连接地搜聚操练和优化,晋升繁杂场景下的识别确实率。
其余,尚有 AR 眼镜的 AI 聪颖助手,也是一个众音讯输入的场景,须要做一个新的分类模子,针对差别的指令做出低延迟质地高的反映。
当然,以上所说的只是局部场景,将来雷鸟革新和阿里通义还会针对更众的细分场景去做好底层的优化,从而真正杀青“接受数字宇宙,改造物理宇宙”。
当下,AR 正处于昌隆生长的阶段,但仍处于上半场的初期。并且,AI+AR 是为数不众正在上半场就由中邦厂商深度参加乃至是主导的财产。
雷鸟革新与阿里云正在 AI+AR 上的深度配合,会进一步加深用户对 AI 落地场景的感触和剖判,胀吹 AR 走向群众商场,相连数字宇宙和物理宇宙。
叙及与阿里云的配合,李宏壮默示,AI 正在新的场景下,正在物理宇宙的落地进入到了一个闭节光阴,阿里云所做的所有万分好也很有代价,咱们跟阿里云的配合也开创了这个行业的一个新形式。将来的圭表也会被从头作战,那便是 AR 接入的大模子要可以做深度的定制化和从头操练,从而知足场景化需求。
可是,目前所做的场景寻找仍是不足的,伴跟着技巧的晋升,以及 AR 正在更众场景的寻找,AI+AR 尚有进一步骤和的空间。比方正在对话翻译时,能否将字幕显示正在对方的嘴边?“戴上 AR 眼镜之后,每小我发言的光阴,嘴边城市显示一个对话框,就像是逛戏里的场景雷同,能看到发言人的发言,与全宇宙各地的人都能无贫困交换。”李宏壮说道。
他还以为,有了 AI 的加成,AR 眼镜将来不只能够剖判文字、图片和视频,还能剖判空间,从而能够做内情调和的逛戏了,比方跑步的光阴搜罗金币。
其余,跟着大模子落地连接深化,端侧使用成为趋向,手机、PC 已有 AI 大模子端侧使用的履行。日前,阿里云就将“通义千问”大模子安插正在联发科的 SoC 上,通过量化、参数剪枝和学问蒸馏等众种技巧方式减小模子体积。正在端云协同技巧的胀吹下,带来了低延迟、 隐私保卫、离线才华、省俭带宽和及时管理这五大上风。
对付 AR 眼镜来说,因为体积、续航等方面的范围,目前端侧大模子的使用还正在寻找中,比方小心地遴选参数目,要归纳功耗与功能去做更众的考虑,这也是将来雷鸟革新和阿里云去联合合作办理的题目。一朝落地,AR 眼镜会更速地响使用户的指令,端云协同技巧通过正在配置端管理敏锐数据,将大幅晋升 AR 眼镜用户的数据安适性和隐私性。
场景正在变革,趋向和需求正在变革,但稳定的是数字宇宙与物理宇宙的加快调和。对付雷鸟革新和阿里云来说,AI+AR目前仍正在前半程,二者的调和还要连接的精进。