(资料图片仅供参考)

继今年7月在2023世界人工智能大会发起成立“中国大模型语料数据联盟”（以下简称“语料数据联盟”），上海人工智能实验室（上海AI实验室）8月14日宣布，联合语料数据联盟成员单位共同开源发布“书生·万卷” 1.0多模态预训练语料。

澎湃新闻记者从上海市经信委获悉，“书生·万卷” 1.0目前包含文本数据集、图文数据集、视频数据集三部分，本次开源的数据总量超过2TB。该语料数据包含超过5亿个文本、2200万个图文交错文档、1000个节目影像视频，将为学术界及产业界提供高质量大模型多模态预训练语料。

其中，文本数据为来自网页、百科、书籍、专利、教材、考题等不同来源的清洗后预训练语料，数据总量超过5亿个文档，数据大小超过1TB，覆盖科技、文学、媒体、教育、法律等多个领域。（澎湃新闻记者 俞凯）

关键词：