中兴捧月算法tokenpocket，调了三个月才搞明白的事

中兴捧月算法tokenpocket，调了三个月才搞明白的事

在中兴捧月算法中, tokenpocket, 这个模块在处理长上下文的时候, 是最让人头疼的环节, 它决定了模型能够记住多少信息, 以及怎么去进行取舍。

我在使用捧月这个工具来分析推荐意图的时候发现, 如果直接把大量的词元堆砌起来, 会导致注意力机制过于倾向于最近的几轮对话内容, 这样一来历史偏好就会被削弱和稀释掉。

Token Pocket这种方法的思路是要针对不同的时间范围进行分层压缩, 对于距离当前时间点近的对话保留细节信息, 而对于距离远只保留摘要信息, 然后这个口袋根据容量的多少进行分级处理。

在部署的过程中, 最大的一个困难点在于压缩包的数据粒度一定要和业务的推进节奏对得上号。我曾经处理过一个客服对话系统, 平均下来的会话轮数是7轮。

我当时把数据按照三轮作为一档去切分pocket文件, 结果发现当会话进入第四轮之后, 系统的召回率一下降到了60%。后来我把调整的频率改成了两周一档, 才把这个指标给稳住了。

请问你那边在使用捧月的时候, 关于tokenpocket这个工具的压缩比例究竟是怎么设定的, 你是不是曾经踩过一些坑。