头条资讯网_今日热点_娱乐才是你关心的时事

今日热点 时事资讯
娱乐头条才是你关心的新闻
首页 > 头条资讯 > 科技

谷歌 Gemini 1.5 Pro 数学版“提智”:MATH 基准准确率 91.1%

IT之家5月21日消息,谷歌公司上周发布技术报告,表示Gemini1.5Pro模型在经过专门的数学领域训练之后,大幅提高了数学成绩,并成功解决了国际数学奥林匹克竞赛的部分问题。

IT之家5月21日消息,谷歌公司上周发布技术报告,表示Gemini1.5Pro模型在经过专门的数学领域训练之后,大幅提高了数学成绩,并成功解决了国际数学奥林匹克竞赛的部分问题。

谷歌针对数学场景有针对性地训练Gemini1.5Pro模型,并通过MATH基准、美国数学邀请考试(AIME)和谷歌内部的HiddenMath基准进行测试。

根据谷歌的数据,数学型Gemini1.5Pro在数学基准测试中的表现“与人类专家的表现相当”,与标准的非数学型Gemini1.5Pro相比,数学型Gemini1.5Pro在AIME基准测试中解决的问题明显增多,在其他基准测试中的得分也有所提高。

谷歌针对数学场景有针对性地训练Gemini1.5Pro模型,并通过MATH基准、美国数学邀请考试(AIME)和谷歌内部的HiddenMath基准进行测试。

根据谷歌的数据,数学型Gemini1.5Pro在数学基准测试中的表现“与人类专家的表现相当”,与标准的非数学型Gemini1.5Pro相比,数学型Gemini1.5Pro在AIME基准测试中解决的问题明显增多,在其他基准测试中的得分也有所提高。

谷歌官方分享的三个示例中,两个是由数学专用的Gemini1.5Pro解决的,而一个是由标准的Gemini1.5Pro变体错误解决的。这些问题通常要求解题者回忆代数中的基本数学公式,并依靠它们的分段和其他数学规则得出正确答案。IT之家附上相关截图如下:谷歌官方分享的三个示例中,两个是由数学专用的Gemini1.5Pro解决的,而一个是由标准的Gemini1.5Pro变体错误解决的。这些问题通常要求解题者回忆代数中的基本数学公式,并依靠它们的分段和其他数学规则得出正确答案。IT之家附上相关截图如下:

除了问题之外,谷歌还分享了Gemini1.5Pro基准测试的重要细节。这些数据表明,在所有五项基准测试成绩中,Gemini1.5Pro都领先于GPT-4Turbo和亚马逊的Claude。

谷歌表示数学衍生版Gemini1.5Pro单个样本MATH基准准确率为80.6%,在对256个解决方案进行采样并选择一个候选答案时(rm@256),准确率达到91.1%。

参考Gemini1.5:Unlockingmultimodalunderstandingacrossmillionsoftokensofcontext除了问题之外,谷歌还分享了Gemini1.5Pro基准测试的重要细节。这些数据表明,在所有五项基准测试成绩中,Gemini1.5Pro都领先于GPT-4Turbo和亚马逊的Claude。

谷歌表示数学衍生版Gemini1.5Pro单个样本MATH基准准确率为80.6%,在对256个解决方案进行采样并选择一个候选答案时(rm@256),准确率达到91.1%。

参考Gemini1.5:Unlockingmultimodalunderstandingacrossmillionsoftokensofcontext

未经允许不得转载:头条资讯网_今日热点_娱乐才是你关心的时事 » 谷歌 Gemini 1.5 Pro 数学版“提智”:MATH 基准准确率 91.1%

分享到:更多 ()
来源:体育知识科普 编辑:科技

评论

留言/评论 共有条点评
昵称:
验证码:
匿名发表