实现DeepSeek671B全参数微调 HKGAI V1香港本土大模型发布

发布日期: 2025-05-05

  2月25日,香港特区政府要点创科项目“InnoHK立异香港研发平台”(InnoHK)资助的香港天生式人工智能研发核心(HKGAI)正式揭晓业界首个基于DeepSeek671B全参数微调、赓续磨练形成的大模子HKGAIV1,并企图将该模子接入自研AI智能对话使用“港话通”(手机版)、公牍写作体系“港文通”(HKPilot)以及其他体系,周全支撑粤语、英语和浅显话。

  香港特区政府立异科技及工业局局长孙东传授示意,人工智能正正在引颈新一轮技艺革命和资产厘革,正在这波以人工智能为代外的科技海潮中,香港没有缺席。他指望香港研发的大讲话模子不妨存身香港,尽速供给给业界及市民运用,任事大家,日后更指望使用这个平台任事数以切切的海外华人。

  同时,孙东传授示意:“HKGAI研发核心的团队连忙将DeepSeek圆满的底座模子架构与HKGAI出格喧赫的数据处罚,微妥洽对齐技艺有机连结,从当初核心的创立,到这日咱们香港本人的大讲话模子的推出,历时一年半,从无到有,书写了狮子山下一个美妙的科创传奇。”

  香港科技大学首席副校长、香港天生式人工智能研发核心主任郭毅可传授示意,正在香港特区政府指导和鼎力支撑下,HKGAIV1通过深度协调我邦的技艺道途和香港特少睹据和地方文明及价钱观,达成了我邦人工智能自决立异收获正在香港的本土化落地,架设起我邦人工智能技艺出海的高速通道,为“一邦两制”轨制上风下香港与内地协同立异的首要案例。

  “狮子山精神标志着香港市民发奋图强、同心合力的价钱观。要传授孩子这一精神,能够陪孩子参加团体运动,如社区明净、义卖筹款等……”正在HKGAIV1环球首发揭晓会现场,“港话通”正正在为一位体验者出盘算策。

  “咱们使DeepSeek通过香港当地化成为‘智慧的香港AI对话助手’。”郭毅可示意,“咱们不单植入了香港法令条例、政府文书等豪爽当地公牍数据,更立异性地运用香港文明数据发展磨练,使模子真正具备‘港式思想’、香港文明,勤恳履行与呈现‘一邦两制’轨制上风。”

  据郭毅可先容,正在香港公事员公牍处罚的场景中,HKGAIV1运转结果和内容丰厚性较邦际主流模子大幅擢升,兼具合规性请求。“咱们推出HKGAIV1旨正在为香港打制最进步的当地化大模子,将来供给给市民和政府运用,并赋能香港资产体例厘革与开展。”郭毅可说。

  “智慧的香港AI对话助手”连忙上线,离不开由HKGAI和北京大学笼络构成的技艺团队的攻闭冲破,也离不开香港数码港予以鼎力支撑。“咱们正在短短几周内竣工DeepSeek671B大模子从基座转移到全参数微调的开采流程。”HKGAI预研部主任韩斯睿传授示意,区别于常睹的轻量级微调计划,研发职员基于当地千卡算力集群,对模子千亿参数实行全参数监视微调,正在确保通用智能秤谌不降级的条件下,竣工模子的当地化,达成了对香港讲话文明、政务流程、贸易榜样等笔直范畴的深度适配。

  据主题技艺职员走漏,HKGAI技艺团队胜利冲破671B全参数微调范畴一系列技艺壁垒,为邦产大模子的赓续磨练供给了立异办理计划。开源基座的磨练支撑缺失是技艺团队遭受的首个“拦道虎”。通过深切解析主题论文,技艺团队重构了模子架构的闭节组件。面临数据配比这一行业共性困难,技艺团队通过豪爽尝试,剖判分别数据子集对模子收敛速率和泛化本领的影响,达成目前的最好后果。针对671B超大参数周围模子,技艺团队胜利正在较短时辰内占据高并发场景下的推理准备难闭。该框架已酿成完全技艺栈,将来可疾速复用于其他超大周围模子磨练。

  骐骥千里,非一日之功。据通晓,正在香港特区政府,希奇是立异科技及工业局及立异科技署的资助与鼎力支撑下,自2023年10月创立从此,HKGAI肩负着香港特区政府应对环球天生式AI海潮的重担,由香港科技大学牵头,笼络众所高校协同组修,悉力于构修具有香港当地特质的开源大模子,以加强香港正在AI海潮中的环球逐鹿力。“HKGAI过去一年正在算力集成、技艺研发、使用拓展、人才培育等方面的堆集,是HKGAIV1得以疾速开采和使用的首要出处。”郭毅可称。

  郭毅可示意,衷心感动香港特区政府不绝从此对HKGAI的闭爱和支撑,HKGAIV1项目标推动永远遵命“邦度所需、香港所长”的策略导向。“正在中邦科技自立自强历程中,HKGAIV1的成立具有卓殊策略价钱。其采用的‘邦产基座+当地化立异’双轮驱动形式,既保护了底层技艺的和平可控,又充隔离释了香港当地化与邦际化数据因素的生机。”郭毅可称。

  香港“内联外通”上风正正在AI时间焕发新机。郭毅可示意,依托香港融通中外的奇异上风,HKGAIV1通过两大策略道途构修科技立异赋能体例:对内发展立异协同,通过内地-香港笼络尝试室达成技艺共融,驱动粤港澳大湾区人工智能资产链能级跃升,为打制天下级科创核心注入新动能;对外实行邦际化辐射道途,以香港为支点构修海外技艺互换收集,通过向海外华人社区及邦际商场输出邦际化的AI办理计划,体系擢升中邦科技立异程序的环球浸透力。

  郭毅可坦言,站正在新的史书节点,HKGAI将正在AI数据统辖、校企协同人才培育、AI+香港特质资产,如法令、金融、医疗等要点范畴赓续冲破。活着界AI开展的海潮中,正在邦度AI开展的征途上,咱们香港不行缺席,咱们既要做攻坚尖刀,又可当科技试验田。”郭毅可的这番预测,道出了HKGAI科技职责家的共一心声。