中国科学院自动化研究所16日发布研制的新一代人工智能大模型“紫东太初2.0”，支持视频、3D等模态数据，未来将在神经外科手术导航、短视频内容审核、医疗多模态鉴别诊断、交通违规图像研读等多领域应用。
“紫东太初”第一代AI大模型于2021年发布，由中国科学院自动化研究所和华为联合开发，据称是“全球首个千亿参数多模态大模型”。
“紫东太初2.0”基于华为全线国产化软硬件平台昇腾AI与昇思MindSpore，由中国科学院自动化研究所和武汉人工智能研究院联合打造。
“紫东太初”全模态大模型是在千亿参数多模态大模型“紫东太初”1.0基础上升级打造的2.0版本，在语音、图像和文本三模态的基础上，加入视频、传感信号、3D点云等模态数据，研究突破认知增强的多模态关联等关键技术，具备全模态理解能力、生成能力和关联能力，面向数码经济时代加速通用人工智能的实现。
中科院自动化所所长徐波表示，“紫东太初”全模态认知大模型，不仅可以通过“月光曲”畅谈贝多芬的故事，也可以在三D场景里实现精准定位，还能够通过图像与声音的结合完成场景分析。
目前，“紫东太初”大模型已展现出广阔的产业应用前景，在神经外科手术导航、短视频内容审核、法律咨询、医疗多模态鉴别诊断、交通违规图像研读等领域开始一系列示范性应用。
在医疗场景，“紫东太初”大模型部署于神经外科机器人MicroNeuro，可实现在医疗手术中实时融合视觉、触觉等多模态信息，协助医生对手术进行实时推理判断。
