记忆元，也叫单元（Cell），目的是用于记录附加的信息。 为了控制记忆元需要许多门，输出门用于从单元中输出条目。输入门用于决定何时将数据读入单元。遗忘门用于重置单元的内容。这种设计的动机是能通过专用机制决定什么时候记忆或忽略隐状态的输入。