Chainbase发布了开源AI模型Theia-Llama-3.1-8B。它是一种专注于加密的语言模型。

该公司于8月推出了名为TheiaChat的聊天机器人的alpha版本。当时发布该片是为了披露Theia的特征。

Theia培训来自两个来源

用于训练模型的数据来自CoinMarketCap和其他研究报告。CoinMarketCap用于训练和微调Theia-Llama-3.1-8B的数据包括白皮书、官方博客文章和新闻文章等项目文档。

这些研究报告是从可靠的在线来源获得的，旨在深入了解该项目的基本面、市场影响和开发进展。

这个博客文章进一步的细节是，来自这两个主要来源的数据也经过了手动和算法过滤，以减少冗余和消除错误。

Chainbase还使用了复杂的技术来微调和优化模型。该团队使用LoRA（低秩自适应）进行高效微调。这有助于将基础Llama-3.1-8B-Instruct模型适应加密货币领域。

使用LLaMA Factory和DeepSpeed增强了训练过程，结合了ZeRO、卸载、稀疏注意力、1位Adam和流水线并行等先进技术，以加快训练速度并减少内存使用。

除了微调，Chainbase还优化了模型，为高效部署做好准备。这种量化过程减少了模型的内存占用，加快了推理速度，同时保持了可接受的准确性。

Chainbase提出了一个加密AI模型基准

为了评估Theia-Llama-3.1-8B的性能，Chainbase提出了加密AI模型的基准。

该基准评估了七个维度的模型，包括加密知识理解和生成、知识覆盖和推理能力。

最初的基准测试结果侧重于加密领域的理解和生成能力，显示Theia-Llama-3.1-8B优于其他11个LLM。这包括来自OpenAI、谷歌、Meta、Qwen和DeepSeek的流行模型。该模型的困惑度得分为1.184，BERT得分为0.861，超过了目前市场上的主流模型。

Chainbase在其博客文章中还表示，Theia-Llama-3.1-8B的性能超过了目前市场上可用的主流型号。“接下来，我们将构建更大的模型，并评估模型的更多维度。”Chainbase表示。