XM外汇中文网

全球领先的互联网券商

[XM外汇中文网]MiniMax:大模型无法输出人名「马嘉祺」的根因分析

币界网报道:币界网消息,MiniMax发布技术博客,披露其m2系列大模型无法输出人名「马嘉祺」的根因排查过程。排查从一个个例出发,最终揭示了一个波及整个词表的系统性退化问题。根因是分词器在训练时将「嘉祺」合并成了一个独立token。预训练阶段模型见过大量互联网文本,学会了这个token但后训练的对话数据中,包含「嘉祺」的样本不到5条。后训练过程中,tool_call标记、代码符号等高频token持续更新周围的向量空间,把「嘉祺」这类低频token挤到了错误的方向。模型仍然「认识」马嘉祺,能准确回答相关信息,丢失的只是输出这个token的能力。团队随后对约20万token的完整词表做了全量扫描,发现约4.9%的token发生了显著退化。退化最严重的是日语:29.7%的日语token显著退化,远超韩语3.3%、俄语3.7%、中文3.9%和英文3.5%。

法律: 此网站由XM Global Limited运行,注册地址是:Suite 404, The Matalon, Coney Drive, 伯利兹市, 伯利兹。

XM Global Limited受伯利兹金融服务委员会(FSC)授权和监管(牌照号: 000261/397),Trading Point of Financial Instruments Limited受塞浦路斯证券交易委员会(CySEC)授权和监管(牌照号:120/10),并均是Trading Point Group旗下公司。

风险提示: 外汇和差价合约交易对于您的投资资本含有风险。请确保您已通读并完全理解我们的风险披露。

受限地区: XM Global Limited无法为特定国家/地区的居民提供服务,例如: 美国, 加拿大, 以色列 和 伊朗伊斯兰共和国。

XM的网站和服务,均严禁开放提供给任何受国家/地区法律法规禁止使用的任何个体。因此,若选择从该国访问本公司网站,无论该国是否禁止使用本网站,用户在使用本网站时,均有责任确保自己遵守当地法律或法规。XM不保证本公司网站上的信息,适用于所有的司法管辖区域。