一款名为 TIS-100 的编程谜题游戏最近成为大模型测试场。游戏要求玩家用极简指令在节点间传递数据,优化周期、节点数和指令数三个指标。研究者让16款大模型阅读游戏手册,在不查看现有排行榜的情况下独立尝试,每个谜题限时10至45分钟,目标是持续改进方案。
结果显示,这些模型在55个谜题中的18个上贡献了133个新前沿点,其中3个直接打破了社区的周期纪录。所谓前沿点是指同时在三个评分上都不被现有方案全面超越的解法。社区玩家随后接手这些程序,又在多数方案上继续优化,说明模型输出具有良好起点。
实验设计与发现
测试覆盖了领先闭源模型和开源权重模型,所有模型均以 pass@1 方式完成47个原生谜题加8个社区锦标赛谜题。评分严格,方案需通过10万次测试才计分。实验冻结了10月15日的社区排行榜,避免数据泄露。
这一结果对开发者很有启发。TIS-100 模拟了真实低级汇编和并行约束环境,大模型能在这种极致优化场景下找到新路径,表明其代码生成能力已超出简单模板复制。中文 AI 从业者可以借鉴这种思路,将大模型用于嵌入式系统、硬件描述语言或性能敏感代码的辅助优化。同时也提醒我们,人类玩家在理解权衡和创新技巧上仍有优势,未来人机协作将是主流模式。