听到这个问题,汤智晓扶了扶眼镜,神情既有自豪,也带着一丝无奈。
“马总,自从几年前在您的建议下,我们团队完成了transforr架构的搭建,并推出了围棋ai‘奕星’之后,我们并没有停下脚步,一直在基于神经网络和深度学习的原理,探索更大规模的推理模型。”
他顿了顿,语气转向了现实的困难。
“但说实话,进展有些缓慢。最大的瓶颈还是在于算力基础,我们现有的服务器集群,已经跑满了。目前我们最大的一个实验性模型,参数量始终很难突破千万级别。再往上,训练的成本和时间就会呈指数级增长,有点难以为继。”
“除此之外,另一个巨大的难题是,可用于训练的高质量数据非常稀缺。所以目前我们团队的主要精力,还是放在应用层面,比如提升图象识别和语音识别的准确率,这些方向对模型参数量的要求没有那么极端。”
马明在一旁补充道:“老汤他们已经很厉害了,我们内部的图片智能分类和语音转文本功能,准确率已经是全球第一了。”
然而,汤智晓的脸上并没有太多得意的神色,他似乎对现状并不满足。
“不过我听说,英伟达那边今年可能会发布一款新的计算卡,叫tesk80,据说单卡性能会是上一代的两倍以上。我们正在计划,等它发布后,立刻采购一批,搭建新的服务器集群,或许到时候,能把模型参数再往上提一个数量级。”
听到“千万级别参数”和“tesk80”,马宇腾的内心毫无波澜,甚至有点想叹气。。
明讯网络现在即使突破了千万参数,距离真正意义上的“大模型”,依然隔着一道巨大的鸿沟。
实际上,这也不能怪汤智晓他们。
在这个时代,除了明讯因为自己这个穿越者的提醒,早早押注了transforr架构和模型参数规模之外,全世界几乎所有的ai研究机构,都还没有系统性地认识到“大力出奇迹”的真理。
在gpt-3用石破天惊的效果证明“模型越大、数据越多、算力越强,智能就必然提升”之前,整个业界的主流思路,还是更侧重于针对每一个具体的应用扬景,去设计专门的、精巧的模型结构。
他们不知道,当模型规模突破某个神秘的临界点后,会象打通任督二脉一样,突然涌现出小模型完全不具备的、近乎通用的智能。
想到这里,马宇腾决定再“点拨”他们一下。
他看向因为数据问题而皱眉的汤智晓,忽然开口问道:“汤总,你说高质量的训练数据稀缺,这个问题,你们有没有想过换一种思路去解决?”
“换一种思路?”汤智晓有些疑惑。
“对。”马宇腾点了点头,抛出了一个让在扬两人都意想不到的方案。
“我们东大,最不缺的是什么?是人。尤其是高素质、低成本的大学生群体。”
“你们完全可以成立一个专门的数据标注部门,或者与各大高校合作,组织在校的大学生,以勤工俭学或者实习的方式,开展大规模的数据标注工作。无论是图片、文本还是语音,我们都可以用人力,去堆出全世界质量最高、规模最大的中文语料库!”
这个想法一出,汤智晓和马明都愣住了。
数据标注?
这听起来象是一个附加值极低的劳动密集型工作。
国外的那些互联网巨头,从来不会将数据标注当成是ai发展的内核。
看到他们的表情,马宇腾就知道他们在