History

kevinding1125 418b6e6ee1 一些改造版RNN		2023-06-13 19:17:33 +08:00
..
README.md	一些改造版RNN	2023-06-13 19:17:33 +08:00
__init__.py	一些改造版RNN	2023-06-13 19:17:33 +08:00
lru.py	一些改造版RNN	2023-06-13 19:17:33 +08:00
models.py	一些改造版RNN	2023-06-13 19:17:33 +08:00
rwkv.py	一些改造版RNN	2023-06-13 19:17:33 +08:00
slru.py	一些改造版RNN	2023-06-13 19:17:33 +08:00

README.md

线性RNN的相关变体

用bert4keras实现三个快速可并行的RNN变体：LRU、SLRU和RWKV。

简介

中文博客：https://kexue.fm/archives/9554
LRU论文：https://arxiv.org/abs/2303.06349
RWKV链接：https://github.com/BlinkDL/RWKV-LM

并行

线性RNN支持并行算法，可以将O(L)的运算降低到O(log L)，本项目利用的是prefix sum问题的“Upper/Lower算法”来实现RNN并行。

具体细节可以参考中文博客的“并行化”一节

交流

QQ交流群：808623966，微信群请加机器人微信号spaces_ac_cn