Percy Liang @percyliang

Marin 坚信开放社区的力量。Hugging Face 上有大量已生成的数据集。我们构建了可扩展的基础设施，摄取这些数据，进行去重、去污染、混合，生成25T token。 [引用 @WilliamBarrHeld]: Hugging Face 上有海量的开放训练数据。要让它们协同工作需要什么 🤗？ 对于 Marin 的535B运行，我们基于152个数据集的25T token构建，这些数据集的许可证允许训练。 以下是下载这些数据和训练模型之间的工作 🧵 https://t.co/gjX7jT7qIq