在代码大模型(Code LLMs)的预训练中,行业内长期存在一种惯性思维,即把所有编程语言的代码都视为同质化的文本数据,主要关注数据总量的堆叠。然而,现代软件开发本质上是多语言混合的,不同语言的语法特性、语料规模和应用场景差异巨大。如果忽略这些差异,笼统地应用通用的 Scaling Laws,往往会导致性能预测偏差和算力浪费。
欢迎关注下方公众号阿宝1990,本公众号专注于自动驾驶和智能座舱,每天给你一篇汽车干货,我们始于车,但不止于车。在汽车电子系统开发与测试中,CANoe作为行业标准的集成测试环境,其强大能力在很大程度上通过CAPL(CAN Access ...
任正非还提到,建数千个、数百个大模型都是正确的探索。做模型的人不要担心模型怎么能够对社会有用。模型面向千行百业的应用训练和推理,将来能不能产生商业应用又是另外一些人来做——行业应用工程师。