word2vec 究竟学到了什么：伯克利 AI 研究给出闭式理论解释

伯克利 AI 研究提出一套定量理论，证明 word2vec 在随机初始化且初始权重趋近于零的训练条件下，其学习问题可化简为非加权最小二乘矩阵分解，梯度流动态有闭式解，最终学到的表示就是 PCA。该理论给出特征向量的闭式表达式，仅由语料共现统计与超参数决定，并按序逐步提升嵌入矩阵的秩，每一步对应一个可解释的主题级概念。