海峡杯福建(晋江)创新创业大赛海峡杯福建(晋江)创新创业大赛

大模型,何时迎来大 转折?

大模型,何时迎来大 转折?

  “真正的变革是,什么时间点有一个模型可(kě)以把错误率降低(dī)到个位(wèi)数。”

  在经(jīng)历了(le)上半年密集的技 术和(hé)产品发布后,下半年的AI圈(quān)显得有(yǒu)些平静,不再有如Sora这样引发轰动的产品,在GPT-4o之后,行业引 领者OpenAI也(yě)迟(chí)迟(chí)没 有大动作。不少行(xíng)业人士认为,技术(shù)的 迭代放缓了(le)。

  在亚布力企业家夏季年会上,猎豹移(yí)动董事(shì)长傅盛(shèng)提出一个观点,AI浪潮已出现泡沫迹象,从大模型出现在大众(zhòng)视野以(yǐ)来,已过去近一年(nián)的时间,但最顶级大 模型的模型没有明显(xiǎn)提升。“客观(guān)来说,谁(shuí)家(jiā)大模型有什么(me)优势,基本尚属‘一家之(zhī)言’,用户用起来没有感觉到太大差别。”他认为,当前大模型同(tóng)质化严重。

  在与MiniMax创始人闫俊杰的交流中(zhōng),关(guān)于瓶颈与转折点他提到,现在所有模型错误率都是20%的量级,“真正的变革是,什么时间点(diǎn)有一个(gè)模型可以把错误 率降低(dī)到个(gè大模型,何时迎来大转折?)位数,这会(huì)是一个非(fēi)常本质(zhì)的变化。”未来大模型能否成功,傅盛也认为,大模型的天花板(bǎn)能否再上一个台阶很重要。

  “至暗(àn)时刻觉得技术很重要”

  这一轮的(de)生成(chéng)式AI是一场掀起巨大浪(làng)潮(cháo)的社会生产(chǎn)力革命,傅盛认为,这波浪(làng)潮今天已经呈现出(chū)明显的泡沫迹象。

  何(hé)为(wèi)“泡沫”,傅盛认(rèn)为,一方面是模型能力没有明(míng)显(xiǎn)提升。“在一个以(yǐ)科技为核心的技术浪潮中,这(zhè)是不太正(zhèng)常的(de)。”每(měi)次(cì)写不同的东(dōng)西(xī),傅盛都(dōu)会用好几个大模型互相比较,“有时候这(zhè)个大(dà)模型更(gèng)好用(yòng),有时那个(gè)更(gèng)好用,当前大模型的同质化很(hěn)严重。”

  其(qí)次,说了这么久人工智能,“但真正的Killer APP(杀手级应用)并没有出现(xiàn),不仅在(zài)C端没有出(chū)现,B端也未能出现。很多行业大模型都说自己有 不少应用,但真(zhēn)正提效的并不多。”傅盛(shèng)说,想要将大(dà)模型真正变 成一个明显能提效的应用,还很有难(nán)度。

  泼了盆冷水的同时,傅盛补(bǔ)充表示,泡沫(mò)不见得会(huì)使(shǐ)大(dà)模型发展崩(bēng)塌,因为有(yǒu)点(diǎn)泡沫很正常,互联网早期也曾出现(xiàn)泡沫。

  在今年6月演讲(jiǎng)时,金沙江创投主管合伙人(rén)朱啸虎曾谈及GPT-5一直“跳票”时表示,“硅(guī)谷也高(gāo)度怀疑GPT-5还有没有,即使出来在(zài)核心推理能(néng)力 上还有没有显著(zhù)的提高,这是很不确(què)定的东西,今年年底是(shì)一 个验金石(shí)。”他判断,大模型演化速度有放缓趋势(shì),而迭代曲线放缓以(yǐ)后,应用层 的机会就会更多。

  不(bù)过,在波形智能创始人姜昱辰看来,大模型技术迭代其实并没有放缓,而是保持着2018年以来的增速,那一年基于Transformer架构的(de)大规模语言模型预训练开始流行。从博士的自(zì)然语言处理研究(jiū)到大模型(xíng)创业(yè),姜昱辰更早开始经(jīng)历这轮大模型技(jì)术 演化的进程。

  “大家之所以有这(zhè)样的(de)感觉(技术(shù)迭代放缓)是因为大众是在(zài)2022年底、2023年初第一(yī)次看到(dào)这个(gè)技术,做了(le)很多短时(shí)间(jiān)的learning和(hé)追赶,追赶当然比(bǐ)较(jiào)快。”姜昱(yù)辰对第一财经表示,把OpenAI做出来的技术学一遍,不叫“技术迭代”。

  虽然行业此前(qián)有一句“没有应用的(de)大模(mó)型一(yī)文 不值”广为传播,但在很多从(cóng)业者看来,大(dà)模型的技术同(tóng)样重(zhòng)要,因为更好(hǎo)的应用(yòng)一定建立在更好的技术之上,技术和(hé)应用是一个相互(hù)转(zhuǎn)化的串联关系。

  在MiniMax刚刚(gāng)过去的伙伴日(rì)活动上,闫俊杰在讨论中提到(dào),“至(zhì)暗时(shí)刻会觉得技术很(hěn)重要。”

  很多时候做(zuò)技术时(shí),并没有真正意识到技术为什么重 要。闫俊杰举例表示(shì),用户感受到的东西(xī)可能来自于一些产品细节(jié),或(huò)者(zhě)一些品(pǐn)牌,技术本身是好多个环节在一起,尤其在繁荣时期,可能分不清什 么是主(zhǔ),什么是次,“当在某些时(shí)间点遇到瓶颈的时(shí)候,抛开所有的表象东西,会意识到技术才是最终提升的来源。”

  “技术做不好的时候,发现所有(yǒu)东(dōng)西都是问(wèn)题,当技术做好了,似乎所有问题都被(bèi)掩盖了,”闫(yán)俊杰表示,技(jì)术是一(yī)家科技公司(sī)最核心(xīn)的(de)要素这件事,尽管(guǎn)已(yǐ)深刻意识(shí)到,偶(ǒu)尔还是在继续(xù)犯错误,“这个是我在多次至暗时刻里(lǐ)最(zuì)有共性的一件事(shì)。”

  做技术(shù)也是(shì)一件非常奢侈的事(shì),“如果看一眼我们(men)每个月的账(zhàng)单还是会(huì)非常(cháng)心疼(téng)的。”在采访中,说到这话时,闫俊杰几次(cì)看向了(le)MiniMax技术总监韩景涛,也就是“账单的制造者”。

  因为做技术可能会失(shī)败(bài),研发投入 很大,闫俊杰此前很多时候会想(xiǎng)要不要走点捷径,但实 践(jiàn)经验会(huì)证明(míng),走捷径就会被“打脸”,“这个事(shì)在我这(zhè)发(fā)生可能超过(guò)十次了(le)。”

  大模型,何时迎来大转折?“一个东西要(yào)实验三次才(cái)能成(chéng)功(gōng),第三次实验成功 的时候,会想前面(miàn)两次是不是可(kě)以不用做,就像(xiàng)吃包子吃三 个会(huì)吃饱,就会想是不(bù)是前两个不用吃是一样的(de)。”闫俊杰表示,这是做(zuò)技(jì)术时一个比较容易犯(fàn)的错误。

  在各(gè)种关于模型技术细节 的排行榜上(shàng),或 许GPT-4o的(de)跑分不常出现(xiàn)在(zài)第一,甚至会在中间,但在MiniMax基于真实客(kè)户的测试集中,OpenAI的GPT-4o是遥遥领先的。

  在大模型(xíng)时代,如何判断技术的好坏,大众很(hěn)迷惑,企业同样觉得很难,但(dàn)这个点很(hěn)重要,因为技术的评价标准(zhǔn)会决定模型的迭(dié)代方向,如果指标本身不对迭代方向可能就错了。

  闫俊杰提到,MiniMax目前(qián)的一个(gè)办法是,基于MiniMax开发平台的(de)3万(wàn)多个开发者和付费客户,在他们的场景上构建一个真实使用的测试集,有些客 户对他们的场景非常看重,要求保证产品的效果,基于这些客(kè)户真实使用的评测是较为客观的。

  “这个测试集上所有国产化模型相比GPT-4o都相差较(jiào)多(duō),其他排行榜基本上GPT-4o都(dōu)要排(pái)到中间去了,但是在我们的排行榜(bǎng)上确实GPT-4o排在最靠前。”闫俊杰提到,国内所有模型(xíng)都与GPT-4o有本质的差距,且越难的问题差距越大(dà)。按(àn)照这个评估方式,国产 模型的 提升空间(jiān)还很大。

  静待下一转折点

  大模型的下一个转(zhuǎn)折点在哪里?众 多创业者有(yǒu)不同的答案,有人认(rèn)为是错误率的降低(dī),有人(rén)觉得是个性化的模型,有人认为关键(jiàn)在于小算力训练(liàn)出大模型,背后或许意味着架构的改进(jìn)。

  朱啸虎曾提到,今(jīn)年的 大模型本身还是有很多错误(wù),且出(chū)来的结(jié)果不可控(kòng),今天落地最 困难的(de)是,场景下怎么解决错误(wù)问(wèn)题、可控问题。

  现(xiàn)在所有的模型错误率都在20%左右,即两位数的(de)错误率,有时惊艳 ,有 时不靠谱,闫俊杰认为,这也是制约模型处理(lǐ)复杂任务(wù)的(de)原因,“真正的变(biàn)革是,什么时间点有一个模型可以将错(cuò)误率降低到个位数。”这是能增加用户使用深度(dù)的核心手段。

  复杂任务往往需要(yào)多个步骤“相乘”,较高的错误率导致失败率的指数增加。闫俊杰表示,即便是GPT-4这样(yàng)的模型也(yě)无法支持非常灵活的Agent(智能(néng)体),这并不是因为Agent框架写(xiě)得不够好,产品做得(dé)不好,最根本的原因是模型(xíng)本身不够(gòu)好。

  但现在可以看到的是,每(měi)家公司有了算(suàn)力,无论是(shì)OpenAI、谷歌还是Meta,都在(zài)加码算力。Meta CEO扎克伯格曾在社交媒体上表示,要建立(lì)一个大规模的(de)计算基础设施,到2024年底,这一设施 将包括35万张英伟(wěi)达H100显卡,业界预估这或(huò)许将耗费近百亿美元。

  算法也在进(jìn)步,OpenAI在2023年只能做出来GPT-4,但2024年能(néng)做GPT-4o,虽(suī)然性能差不(bù)多,速(sù)度快了(le)近10倍。

  “计算量多了不止10倍(bèi),算法也快了10倍时,没有道理说(shuō)训(xùn)练不出来一个更好的模型。”闫俊杰提到,“如果Scaling law(尺度定律(lǜ))是对的(de),未来这个模型一定会出(chū)现,标志就是个位数的错误率。”

  在傅盛看来,降(jiàng)低错误率同样重要。“今天的大模型有20%-30%的知识幻觉,而且‘它不知道自己不知道’,这是在企(qǐ)业(yè)应用上非常重(zhòng)要的一大卡点。”想要真正落地一个应(yīng)用,得用大量(liàng)工(gōng)程化的手段去解决(jué)以前通用人工(gōng)智能认为它能(néng)干的活,这中(zhōng)间是有差距的。

  问及大模型技(jì)术的下一个转折(zhé)点,姜昱辰给了一个(gè)不一(yī)样的答案,她认为是“个性(xìng)化”的技术。

  “ToB的创业(yè)者会觉得错误率降低(dī)很重要,因为企业级、工业级场景(jǐng)中要的是极(jí)高准(zhǔn)确(què)率,而在消费(fèi)场景中,要(yào)的是‘懂你’的(de)个人助手。因此,对ToC创业者来(lái)说(shuō),个性(xìng)化技术更重要。”对于不 同的答案,姜(jiāng)昱辰解释,ToB和ToC不同(tóng)的场景下(xià)会有不同的感知。

  从难度(dù)上来说,大模型(xíng)幻觉是概率模型(xíng)固有的,不容易(yì)解决(jué),但个性化大模型确实是技术层面可行的。姜昱辰提到,波形智能目 前(qián)在做的是这(zhè)个方向,主要的难点是算法(fǎ),中间(jiān)需要知(zhī)道的是(shì),这样的个性化生成式模型(xíng)需要什么用户信息,如何用(yòng)于模型自进(jìn)化。

  深思考创始人杨志明(míng)则认为,下(xià)一个转折点是,如何(hé)利用(yòng)小算力训(xùn)练出大模型、做好大模(mó)型(xíng)的推理,在这背后,当下主流的Transformer架构(gòu)需(xū)要堆积算力,“性(xìng)价比太低”。架构(gòu)的改进或许是重要的方向。

  值得期待的是,近日有消息称(chēng),OpenAI将在(zài)今年秋天推出代号为“草莓”(Strawberry)的新模型(xíng)。作为核心技(jì)术(shù)突破,草莓可能集成在ChatGPT内(nèi),帮助解决当前AI聊天机器人难以(yǐ)完成的(de)复杂任(rèn)务,如数学和(hé)编(biān)程(chéng)问题。此外,草莓更会“思(sī)考”,在解决强主观(guān)性问题上更擅长。

  “草(cǎo)莓”是前菜,消息人士透露,OpenAI正在开发下一代大型语言模型Orion(猎户座),草莓将为其生(shēng)成高质(zhì)量训练数据,以帮助减少大模型幻觉(jué)问题。能否突破(pò)瓶颈,带领行(xíng)业进入下一转折点,最大的可能性还(hái)在OpenAI。

责任(rèn)编辑:刘万里 SF014

“真(zhēn)正的变革是 ,什么时(shí)间点有一个模型可以把错误率(lǜ)降低到个位数。”

在经历了上半年密(mì)集的技术和产品(pǐn)发(fā)布后(hòu),下半年的AI圈显得有(yǒu)些平静,不再(zài)有如Sora这样引(yǐn)发轰动的产品(pǐn),在GPT-4o之后,行业引领者OpenAI也迟迟(chí)没有大动作。不(bù)少行业人士认为,技术的迭代放缓了。

在(zài)亚布力企业家夏季年会上,猎豹移动董事长(zhǎng)傅盛提出一个观点,AI浪潮(cháo)已出现泡沫迹象,从大模(mó)型出现在大众视野以来,已过去近一年的时间,但最顶级大模型的(de)模型没(méi)有明显(xiǎn)提升。“客 观来说,谁家大模型有什么优(yōu)势,基本尚属 ‘一家之(zhī)言’,用户用起来没(méi)有感觉到太大差别。”他认为,当前大模型同质化严重。

在与MiniMax创始人闫俊杰的交流中,关于瓶颈与转折(zhé)点他提到,现在所有模型错误率 都是(shì)20%的量级,“真正(zhèng)的变(biàn)革是,什么时间(jiān)点有一个模型可以把错误率降低到个位数,这(zhè)会是一个非常本质的变化。”未来大(dà)模型能(néng)否成功,傅盛也认为,大(dà)模(mó)型的天花板能否(fǒu)再上一个台阶 很重要。

闫俊杰在(zài)演讲中提到模型的优(yōu)化方向

“至(zhì)暗(àn)时刻觉得技术很(hěn)重要”

这一(yī)轮的生成式AI是一场掀起(qǐ)巨大(dà)浪潮的社会生 产力革命,傅盛认为,这波(bō)浪潮今天已经(jīng)呈现出(chū)明显的泡沫迹象。

何为“泡沫”,傅(fù)盛认为,一方面是模型能力(lì)没有明显提(tí)升。“在一(yī)个以科技为核心(xīn)的技术浪潮中,这是不太正常的。”每次写不同的东西(xī),傅盛都会用好(hǎo)几个大模型(xíng)互(hù)相比较,“有时候这个大模型更好用,有时那个更好(hǎo)用,当(dāng)前大模型(xíng)的同质化很严重。”

其次,说了这么久人工智能(néng),“但(dàn)真正的Killer APP(杀手级应用)并没有出(chū)现,不仅在C端没(méi)有出现,B端(duān)也未能出现。很多行业大模型都说自己有不少应用,但真正提效的并不多。”傅盛说(shuō),想(xiǎng)要(yào)将大 模型真正(zhèng)变成一个明显能提效的应用,还很有(yǒu)难度。

泼了(le)盆冷水的同(tóng)时(shí),傅盛补充表(biǎo)示,泡沫不见得会使大模型发展崩塌,因为(wèi)有点泡沫(mò)很正常,互联网早期也曾出 现(xiàn)泡沫。

在(zài)今年6月演讲时,金沙江创投主管(guǎn)合伙人(rén)朱啸虎曾谈及 GPT-5一直“跳票”时表示,“硅谷也高度怀疑GPT-5还有没有,即(jí)使出来在核心推理能力上还有没有显著的提高(gāo),这是很不确定(dìng)的东西,今(jīn)年(nián)年底(dǐ)是一个验金石。”他判断,大模型演化速度有放缓趋势,而迭代曲线放缓以(yǐ)后,应(yīng)用层的机(jī)会就会更多。

不过,在波形智能创始人姜昱辰看来,大模(mó)型技术迭代其实并没有(yǒu)放缓,而是保持着2018年(nián)以(yǐ)来的增速,那一年基(jī)于Transformer架构(gòu)的大规模语言模型预训练开始流行。从博士的自然语(yǔ)言处理研(yán)究到大模型创业,姜昱辰更早开始经(jīng)历(lì)这轮大模型技术演化(huà)的进程。

“大家之所以有这样的(de)感觉(技术迭(dié)代放(fàng)缓)是因为大众是(shì)在2022年底、2023年初第一次(cì)看(kàn)到这个技术,做了很多短时间的(de)learning和追赶,追赶当然比较(jiào)快。”姜昱辰对第一财经表示(shì),把OpenAI做出来的技术学一(yī)遍,不叫“技术(shù)迭代”。

虽(suī)然(rán)行业此前有一句“没有应用的大模型一文不值”广为传播,但在(zài)很多从业者看来,大模型的技术同样重要,因为更好的(de)应用一定建(jiàn)立在更好的技术之上,技术和应用是一个相互(hù)转化的串联关系。

在MiniMax刚刚过去的伙伴日(rì)活动上,闫俊杰在讨论中提到,“至暗时刻会觉得技术很重(zhòng)要。”

很多时候做技术(shù)时,并没有真正意识到(dào)技术为什么(me)重要。闫俊杰举例表示,用户感(gǎn)受到的东西可(kě)能来自于一些产品细节(jié),或者一些品 牌,技术本身(shēn)是好多个环节在一起,尤其在繁荣时期,可能分不清什么是主,什么是次,“当在某些时间点遇(yù)到瓶颈的时候,抛开所有的表(biǎo)象东西,会意识到技术(shù)才是最终提升的(de)来源。”

“技术做不好的(de)时候(hòu),发现(xiàn)所有(yǒu)东西(xī)都是问题,当技术做(zuò)好了,似乎所有(yǒu)问题都(dōu)被掩盖了(le),”闫 俊杰表示(shì),技术是一家科技公司最核心的(de)要素这件事,尽管(guǎn)已深刻意识到,偶 尔还是在继续犯(fàn)错误(wù),“这个是我在多次至暗时刻里最有共性(xìng)的(de)一件事。”

做技术也是(shì)一件非常奢 侈的事(shì),“如果看一(yī)眼我(wǒ)们每(měi)个(gè)月的账单(dān)还(hái)是(shì)会非常心 疼的。”在采访中,说到这话时(shí),闫俊(jùn)杰几次看向了MiniMax技(jì)术总监韩景涛,也就是“账单的制造者”。

因为做技(jì)术可能会失败,研发投入很大(dà),闫俊杰此(cǐ)前很多时候会想要不要走点捷径,但实践(jiàn)经验会证明,走捷径就会被“打(dǎ)脸”,“这个事在我这发生 可能超过十次了。”

“一个 东西要实验三次才能成(chéng)功,第三次实验成功的时候,会想前面两次是不是可以不用做,就像吃包子吃三个会吃饱(bǎo),就会想是不是前两个不用吃是一样的。”闫俊杰表示,这是做技术时一个(gè)比较容易犯的错误。

在各种关于模型技(jì)术细(xì)节的排行榜上,或许GPT-4o的跑分不常(cháng)出现在第一,甚至会在中间,但(dàn)在MiniMax基于真实客户的测试集(jí)中,OpenAI的GPT-4o是遥遥领先的。

在(zài)大模(mó)型时代,如何判断技(jì)术的好坏,大众很迷 惑,企业同样觉得很难,但这个点很重要,因为技术(shù)的(de)评价标准(zhǔn)会决定模 型的迭代方向,如果指(zhǐ)标本身(shēn)不对迭代方向可能就错了。

闫(yán)俊杰提(tí)到(dào),MiniMax目前的一个(gè)办法是,基于MiniMax开发(fā)平(píng)台(tái)的3万多个开(kāi)发者和付费(fèi)客户,在他(tā)们的场景上构建一个(gè)真实使用的测试集,有些客(kè)户对(duì)他们的(de)场景非常看重,要求保(bǎo)证产品的效果,基于这些客户真实使用(yòng)的评测是较为客(kè)观的。

“这(zhè)个测试集上所有国产化(huà)模(mó)型相(xiāng)比GPT-4o都相差较多,其他排(pái)行榜基本上GPT-4o都要排到中间去了,但是在我们的(de)排行榜上确实GPT-4o排在最 靠前。”闫俊杰提到,国内所有模型(xíng)都与GPT-4o有(yǒu)本质的差(chà)距,且越难的问题差距越大(dà)。按照这个评估方式(shì),国产模型的提升空间还很(hěn)大。

静待(dài)下一转折点(diǎn)

大模型的(de)下一个(gè)转折点在哪里?众多创业者有不同的答案,有人认为是错误(wù)率的降低(dī),有人觉得是个性化的模型,有人认为关键在于小算力训练出大模型,背(bèi)后或许意味着架构的改进。

朱啸虎曾提到,今年的大模型本身还是有(yǒu)很多错误,且出来(lái)的结果不可控,今(jīn)天(tiān)落地最困难(nán)的是,场景下怎么解决错误问题、可(kě)控问题。

现在所有的模型错误率都在20%左右,即两位(wèi)数的错误率,有时惊艳(yàn),有时不靠谱,闫俊杰认(rèn)为,这也是制约模型处理(lǐ)复杂任务的原因,“真正(zhèng)的变(biàn)革是,什 么时间点有一个模型可以将错(cuò)误率降低到个(gè)位数(shù)。”这是能增加用户使用(yòng)深度的(de)核心(xīn)手段。

复杂任务(wù)往往需要多个步(bù)骤“相乘”,较高的错误率导致失败率的指数增加。闫(yán)俊杰表示,即便是(shì)GPT-4这样的模型也无(wú)法支持非常灵活的Agent(智能(néng)体),这并(bìng)不是因为(wèi)Agent框架写得不够好(hǎo),产品做得不(bù)好,最根本的原因是模型(xíng)本身不够好。

但现在可(kě)以看(kàn)到的是,每家公(gōng)司有(yǒu)了算(suàn)力,无论是OpenAI、谷歌还是(shì)Meta,都(dōu)在加(jiā)码算力。Meta CEO扎克伯格曾在社交媒(méi)体上表(biǎo)示,要(yào)建立一个大规模的计算基(jī)础设施,到2024年底(dǐ),这一设施将包括35万张英伟(wěi)达H100显卡,业界预估这或(huò)许将耗费近百亿美元。

算法也(yě)在进步,OpenAI在2023年只能做出来GPT-4,但2024年能做 GPT-4o,虽(suī)然性能差不多,速度快(kuài)了近(jìn)10倍。

“计算量多了(le)不止10倍(bèi),算法也快了10倍时,没有道理说训练(liàn)不出来一个更好的模型(xíng)。”闫俊杰提到(dào),“如果(guǒ)Scaling law(尺度定(dìng)律)是对的(de),未(wèi)来这(zhè)个模型一定会出现,标(biāo)志就(jiù)是个位(wèi)数的错误率。”

在傅盛看来,降低错(cuò)误率同(tóng)样重要。“今天的大模型有(yǒu)20%-30%的知(zhī)识幻觉,而且‘它不知道自 己不知(zhī)道(dào)’,这是在企业(yè)应用上非常重要的一大卡点。”想要真正落地一个应用(yòng),得用大量工(gōng)程化的手段去解决以前(qián)通用人工智能认为(wèi)它能(néng)干 的活(huó),这中间是有差距的。

问及大模型技术的下一个(gè)转折点,姜昱辰(chén)给 了一个不一样的答案(àn),她认为是“个性化”的(de)技术。

“ToB的创业者会觉得错误率(lǜ)降低很重要,因为企业级(jí)、工业级场(chǎng)景中要的是极高准确率(lǜ),而在消费(fèi)场景中,要的是‘懂你’的个人助手。因此,对ToC创(chuàng)业者来说,个性化(huà)技术(shù)更重要。”对于不同的(de)答案,姜(jiāng)昱(yù)辰解释,ToB和ToC不同(tóng)的场景下会有不(bù)同的感知。

从(cóng)难度(dù)上来说(shuō),大模型幻觉是概率模型(xíng)固有的,不容易解决,但个性化大(dà)模(mó)型确实是技术层面(miàn)可行的。姜(jiāng)昱辰提到(dào),波形智能(néng)目前在做(zuò)的是这个方向,主要的难点是(shì)算法,中间需要(yào)知(zhī)道的是 ,这样的个性化生成式模型需要什么用户信息,如(rú)何用于模型自进化。

深思考创始人(rén)杨志明(míng)则认为(wèi),下一个 转折点是,如何利用小算力训练出大模(mó)型、做好(hǎo)大模型(xíng)的推理,在这背后,当下主流的Transformer架构需要堆积算力,“性价比太低(dī)”。架构的改进或许是重要的方向。

值得期待的是(shì),近(jìn)日有消息(xī)称,OpenAI将在今年(nián)秋天推出代号(hào)为“草莓”(Strawberry)的新模型。作为核心技术突破,草莓(méi)可能(néng)集成在ChatGPT内,帮 助解决当前AI聊天机器人难以完成的复杂(zá)任务,如数学和编程问(wèn)题。此外,草莓更会“思考”,在解(jiě)决(jué)强主观性问(wèn)题上更擅长。

“草莓”是前菜,消息人士透露,OpenAI正(zhèng)在开发下一代大型语言(yán)模型Orion(猎户座),草莓将(jiāng)为(wèi)其生成高质量训练(liàn)数据,以帮助减(jiǎn)少大模型幻觉问题。能否突破瓶(píng)颈,带领(lǐng)行业进入下一转折点,最大的(de)可能性还在OpenAI。

未经允许不得转载:海峡杯福建(晋江)创新创业大赛 大模型,何时迎来大转折?

评论

5+2=