学术发现 · 模型与推理
Effective Degree：把神经网络学到的函数复杂度变成可测、可优化指标
30 秒速览
清华与千诀科技提出 Effective Degree，用频谱与多项式阶数刻画神经网络函数复杂度，并尝试把“简单性偏好”直接纳入训练目标。
完整摘要
清华大学与千诀科技团队提出 Effective Degree，目标是判断神经网络究竟学到了可迁移的低复杂度规律，还是以高复杂度方式记住训练数据。该指标从函数频谱和多项式展开角度估计模型有效阶数，并进一步用于比较架构、数据规模与训练过程中的复杂度变化。团队还尝试把该度量作为正则项或优化信号，让模型在保持任务性能的同时偏向更简单、可泛化的函数。
怎么做的 / 核心机制
方法将神经网络输出函数投影到不同阶数的基函数空间，通过各阶分量的能量分布构造 Effective Degree，从而得到一个连续的复杂度标尺。训练阶段可用该指标监控模型复杂度，也可将其加入目标函数，抑制不必要的高阶成分。
关键结果 / 已披露进展
报道显示，该指标能区分不同架构和训练阶段学到的函数复杂度，并与泛化表现存在相关性；团队称其可用于指导模型选择与训练优化。具体跨数据集数值、计算开销和与现有频谱复杂度指标的完整对比仍需以论文为准。
为什么值得看
深度学习长期依赖参数量、损失和 benchmark 衡量模型，却缺少直接刻画“学到的函数有多复杂”的实用指标。若该度量可稳定扩展到大模型，它可能成为分析泛化、过拟合和架构偏置的新工具。
局限与判断
Effective Degree 衡量的是特定函数表示下的有效复杂度，不等同于因果可解释性，也未必能覆盖大模型在自然语言、组合推理和分布外泛化中的全部复杂性。计算高阶分量的成本、对输入分布的敏感性以及大规模模型上的可扩展性仍需验证。
资料与核验
正文已由 AIA 完整中文整理；以下链接仅用于查看中文报道或核对一手材料。
原始标题：早于LeCun相似研究一年！千诀科技联合清华团队让神经网络「简单性」可测可优化
编辑：GPT · 2026-08-06 · 质量评分 87/100
编辑：GPT · 2026-08-06 · 质量评分 87/100