XM外汇中文网

全球领先的互联网券商

[XM外汇中文网]普朗克研究所:1930年模型微调后解SWE-bench

币界网报道:币界网消息,马克斯·普朗克智能系统研究所博士生Ricardo Dominguez-Olmedo对复古语言模型Talkie-1930(13b参数,仅用1931年前英文文本预训练)进行了SWE-bench微调实验。仅用250个训练样本,该模型成功解出了第一个真实GitHub issue(xarray库的补丁)。扩展到约75,000条agent轨迹(1b tokens)后,SWE-bench verified pass达到4.5%。作为对照,Talkie-Web(用现代网络数据预训练)同样流程微调后pass为5.75%,仅高出1.3个百分点。Dominguez-Olmedo称「扔掉整个互联网,损失少得出乎意料」。该训练在8块B200 GPU上运行约12小时,上下文长度为64k,模型权重和完整训练代码已在Hugging Face和GitHub开源。

法律: 此网站由XM Global Limited运行,注册地址是:Suite 404, The Matalon, Coney Drive, 伯利兹市, 伯利兹。

XM Global Limited受伯利兹金融服务委员会(FSC)授权和监管(牌照号: 000261/397),Trading Point of Financial Instruments Limited受塞浦路斯证券交易委员会(CySEC)授权和监管(牌照号:120/10),并均是Trading Point Group旗下公司。

风险提示: 外汇和差价合约交易对于您的投资资本含有风险。请确保您已通读并完全理解我们的风险披露。

受限地区: XM Global Limited无法为特定国家/地区的居民提供服务,例如: 美国, 加拿大, 以色列 和 伊朗伊斯兰共和国。

XM的网站和服务,均严禁开放提供给任何受国家/地区法律法规禁止使用的任何个体。因此,若选择从该国访问本公司网站,无论该国是否禁止使用本网站,用户在使用本网站时,均有责任确保自己遵守当地法律或法规。XM不保证本公司网站上的信息,适用于所有的司法管辖区域。