“紫東太初”全模態(tài)大模型是由中國(guó)科學(xué)院自動(dòng)化研究所研發(fā)的一款人工智能模型。該模型是在多模態(tài)大模型“紫東太初”1.0基礎(chǔ)上升級(jí)打造的2.0版本，在語(yǔ)音、圖像和文本三模態(tài)的基礎(chǔ)上，加入視頻、信號(hào)、3D點(diǎn)云等模態(tài)數(shù)據(jù)，研究突破了認(rèn)知增強(qiáng)的多模態(tài)關(guān)聯(lián)等關(guān)鍵技術(shù)，具備全模態(tài)理解能力、生成能力和關(guān)聯(lián)能力。

“紫東太初”2.0可以理解三維場(chǎng)景、信號(hào)等數(shù)字物聯(lián)時(shí)代的重要信息，完成了音樂(lè)、圖片和視頻等數(shù)據(jù)之間的跨模態(tài)對(duì)齊，能夠處理音樂(lè)視頻分析、三維導(dǎo)航等多模態(tài)關(guān)聯(lián)應(yīng)用需求，并可實(shí)現(xiàn)音樂(lè)、視頻等多模態(tài)內(nèi)容理解和生成。

“紫東太初”大模型的研發(fā)目標(biāo)是打通感知、認(rèn)知乃至決策的交互屏障，使人工智能進(jìn)一步感知世界、認(rèn)知世界，從而實(shí)現(xiàn)通用人工智能的目標(biāo)。