让机器拟人化,从“人工智障”到“人工智能”

日期:2023-06-25 17:36:44 / 人气:97

会议的主题是“预见新世界,构建新格局”。卡耐基梅隆大学计算机学院前副院长、达沃斯世界经济论坛(WEF)计算机全球未来理事会前主席Justin Kassel,以及来自360集团、致远研究院、昆仑万伟、云知声、蓝色光标、万兴科技、智创宇等众多行业的高管到场,与数千名与会者进行了深入交流。
峰会上,云知声创始人兼CEO黄伟以“智慧未来之路”为主题进行了分享。
以下是分享内容的汇编:
云知声是个创业老手。在过去的十年里,他专注于语音识别和自然语言处理。我们的技术领域是最接近大模型的。5月24日,我们在北京发布了山海大学的模型。作为一个初创公司,键入大模式演变的经验。
一开始我们希望按照专家的方式,给机器一些方法论。十年前,机器开始从错误的反馈中学习。这些都是过去人工智能技术中大致的阶段和路径。
今天OpenAI推出了ChatGPT和预训练模型,整个智能变得更加拟人化。第一,我们用非常强大的计算能力阅读全世界已知的所有文本,并训练形成一个大模型。特别像婴儿的大脑,可能有几百亿或者几千亿的参数。和人类的大脑不同,婴儿最多只是继承了父母的外貌和性格,而大模型的大脑继承了知识,这只是初始状态。然后通过微调等手段,像孩子在成长过程中会有各种教育,整个大模型的进化会更加拟人化。
这是整个人工智能的变化。
今天的AGI和以前相比有什么本质的变化?在2022年12月之前,整个人工智能还是一种有鉴别力的人工智能,做判断题,特殊系统和智能模块,做一些特定的任务。一方面,人工智能的性能没有那么智能,经常被别人诟病“你提供的是人工智障”,以至于过去人工智能的天花板很低。
第二,在很多场景下,客户的需求千差万别,但是人工智能的能力没有那么强,很多公司和团队用各种定制来满足。人工智能企业不像高科技公司。过去十年,是只能做歧视性AI的手工作坊时代。但是现在有了大模型和更强大的通用能力,人工智能开始进入产业化时代。
有了新的生成能力和涌现能力,一个模型可以在很多场景下解决不同的问题。当今时代,人工智能的大模型就是生成器。在发动机发明之前,中东国家没有那么富裕,石油的价值也没有那么大。就像今天,你可以把数据变成燃料和能力,用这种能力去赋能千万个行业。
为什么云知声能在短时间内推出自研大型机型?
我们成立于2012年,是国内第一次将深度学习应用于语音能力。我们以前在科幻片里看到过。2012年推出了基于深度学习的语音识别引擎。当时深度学习被视为云知声的整个技术框架。
2016年看AlphaGo,我们把医疗产品放在医院里帮助北京协和医院的医生,大大提高了工作效率。在医院的场景中,仅仅使用效率工具是不够的。人工智能真正的智能是认知智能。Transformer是2017年提出的,认知智能的背后需要相对强大的计算能力。
有了这些准备,我们在学术和工程方面都积累了很多经验。这种体验对个人来说是你的谋生能力,但对公司来说是在市场上取胜的核心竞争力。看了ChatGPT框架,发现没有一个是新的,只是一些已有的工程组合。我们很快就把这种能力结合起来,投入到大型号的研发中。
三天前,我们发布了一个叫山海的大型商业模型。所有的前期训练,指令微调,基于人的反馈的强化学习都贯穿其中,看到了期待已久的涌现能力。当时团队在想要不要给它起个名字。那段时间经常出差,觉得名字挺好的。大海波澜壮阔,海纳百川,体现了大模型的无限生成能力。山高,知道什么能说,什么不能说。这恰恰是为了既强调大模型的生成能力,又强调大模型的安全性和合规性。
有一个很有意思的现象。每个人都在谈论大模型。国内对大模型的关注是春节后的事,但大家都不谈,也没什么想法。时至今日,有一种观点认为,这件事仅靠技术是做不到的。即使所有人都到位了,培训成本也很高,极其昂贵。大模型不是科学革命,也不是新算法的发明,而是现有算法的组合,让它变得更大。大部分都是有价格的,当然也有很多项目在里面。观点是对的。
另一方面,如果你认为大模式是未来10-20年的大机会,BAT投不进去,你就放弃了。我觉得还有机会。
前几年,云知声并不需要一个特别优秀的科学家。我甚至不认为这个东西是科学家做的。科学家没发挥过那么大的计算能力,不知道场景在哪里,结果肯定不好。有场景的厂商最有可能成功。
山海之名还有一层意思,就是山海即使相隔也可以。
山海的力量是十项全能。生成能力是很主观的。当场景真的落下时,语言的理解能力很重要。为什么之前觉得是人工智障?因为你缺乏理解和编码的能力。代码能力的提升可以帮助提升大模型的推理能力,输出的结果必须符合国内的法律法规甚至道德价值观。我们还采用GPT-4插件的架构,帮助企业和客户提供数据优化、模型训练、模型部署等一条龙服务。
为什么大型模型具有复杂的逻辑推理能力?我们今天做到了,但是不知道为什么500亿参数好还是1000亿参数好,但是很难说,可能1000亿参数的神经元还没有被激活。
此外,还有医疗。一开始,我们在做一个大模型。很多人以为云知声做的是垂直行业模式,其实不是。我们在做行业应用。挑战了最严重的一幕——医疗。通过前期训练阶段,我们收集了很多医学文献、专著、书籍、病历,积累了几千万的真实标记数据,这些数据可以转化为我们的微调数据。
此外,2019年获得北京市科技进步一等奖。获奖项目为大规模知识地图构建的关键技术及应用。我们有中国最大的医学知识图谱之一。我们把知识图谱分解成知识插件,嵌入到大语言模型中,让大模型成为医学领域的专家。
MedQA是一个非常权威的医学知识问答集,包括Google的Med-PaLM,ChatGPT和GPT-4,都公布了他们的评测结果。山海在最近的测评中得了81分,大大超过了GPT-4的71分。领域增强后,大模型可以变成某个领域的专家。还有一个图可以横向对比。医学院毕业生必须通过临床医师考试。目前已知的最高AI成绩是456分,山海大约511分。这就是大模在领域增强后获得的超能力。
做一个大模型是相当困难的,门槛很高。除了很多钱,优秀的算法工程师和算法,我们还需要很多能力。我们总结为山海之功。直观来说,大模型本身就是大数据集,大模型是工程师的作品。为什么云知声能在几个月内做出非常权威客观的评测数据?我们会在内部进行评估,不仅是医疗方面,一般领域也是如此。云知声就是其中的佼佼者。
计算平台不仅仅是买多少卡插多少卡。云知声几乎有200P的计算能力。利用聚类的效率达到行业顶尖水平,可以用相对较少的卡快速训练我们的模型。
目前GPU集群的利用率可以达到50%,大型机型需要多卡。目前行业水平在42%左右。大模型也要进行3D混合并行训练。什么是3D?它是模型、数据和管道的并行化。需要将任务拆分到很多不同机器的不同卡片上分别计算,最终快速得到响应结果。此外,在模型推理上做了很多优化,推理速度提升了5倍。怎么把训练卡和推理卡分开?训练卡是A800,推理卡在单卡A6000上,可以实现快速推理。
另外,数据很重要,数据规模、数据多样性、数据质量都很高。现在,我们可以支持10T级快速重复数据消除。ChatGPT的训练数是45T,但是优化后我们用了几百g的数据进行训练。
有了这些能力,基于Atlas和UniDataOps的能力,我们可以更好地为山海和行业客户的能力提供服务。
智能物联网也是公司的重要业务。我们有很多落地,过去用的效果真的不太好。希望山海之后,物联网现有的产品都用一个大模型做出来。
医疗是我们看好的方向。以前医疗产品主要有两个方面。一种是直接用麦克风说话,不用敲键盘,大大提高了医生的工作效率,将输入病历的时间从3小时缩短到1小时。第二,有了病历之后,还有一个系统,通过AI大脑审核病历,检查病历有没有错误。现在用AI大模型能力可以做什么?
对话过程中的所有对话都会被记录下来,里面的关键信息会被识别为信息的摘要。有了沟通后的关键信息,就可以一键引导生成案例。以前需要医生逐字阅读病历,现在可以根据关键信息形成病历。
山海的愿景是通过人工智能,创造一个互联、直观的世界。以前人工智能的定义是让机器服从人。今天,我希望机器更加拟人化。人与物的交流会变得更加直观,新的能力会带来新的产品和新的商业模式。我非常愿意和在座的各位一起迎接大模特的新时代。

黑马AIGC工业营地
理解AIGC的基本逻辑,一步到位地了解行业的未来。
3个核心认知,6个前沿主题
(扫描下方二维码,立即加入)
↓↓↓"

作者:奇亿娱乐




现在致电 5243865 OR 查看更多联系方式 →

COPYRIGHT 奇亿娱乐 版权所有