Attenta

Attenta是一个从头开始的Rust Transformer架构实现(Vaswani等人2017)，不使用PyTorch或TensorFlow构建。专为高效率设计，具有多头注意力、BPE分词和自定义矩阵乘法功能。此版本已在印度法律文档上预训练，展示了从分词到束搜索解码的纯Rust专业NLP任务流水线。经过85个单元测试的全面测试，可以自托管。