Text-2014-08-22

From cslt Wiki
Jump to: navigation, search

word2vec 相关会议纪要

1. 在训练字向量的时候 predict 出词向量:

    a)在训练完成 字向量A,B时,通过查表得到词AB成词,训练 A·Miα·B 得出 <类语法矩阵或语法关系> Miα
    b)思路:
       1)通过直接训练字向量A,B 又AB成词,通过预先设置好的规则,学出使 AB 成词的关系 Mi
       2)在训练过程中,学习出关系 Mi 通过AMiB生成AB的词向量
       3)将关系Mi进行人为分类,满足一定关系的字predict 词向量。 满足一定关系的词向量满足一种三元组关系 <A,Mi,B> 通过分类问题可以将三元组进行分类

2. 更改训练过程中的cost function:

    a)在训练word vector过程中 由传统的 wT·w 变换为 f(wT)·f(w)
    b)转化为∏f(Xi|θ)的形式

3. word vector training model:

    a)通过学习产生一些relation vector or matrix
    b)使用 SSA feature 进行迭代
    c)car <= cars, cars' 归一化 也就是stem

recorded by xinchao