Metadata-Version: 2.1
Name: osc-llm
Version: 0.1.3
Summary: 大模型训练,推理,部署工具
License: MIT
Author: wangmengdi
Author-email: 790990241@qq.com
Requires-Python: >=3.8
Classifier: License :: OSI Approved :: MIT License
Classifier: Programming Language :: Python :: 3
Classifier: Programming Language :: Python :: 3.8
Classifier: Programming Language :: Python :: 3.9
Classifier: Programming Language :: Python :: 3.10
Classifier: Programming Language :: Python :: 3.11
Classifier: Programming Language :: Python :: 3.12
Requires-Dist: catalogue (>=2.0.10)
Requires-Dist: confection (>=0.1.4)
Requires-Dist: jsonargparse (>=4.28.0)
Requires-Dist: lightning (>=2.2.0)
Requires-Dist: sentencepiece (>=0.2.0)
Requires-Dist: tokenizers (>=0.19.1)
Requires-Dist: torch (>=2.3.0)
Requires-Dist: wasabi (>=1.1.2)
Description-Content-Type: text/markdown

# OSC-LLM

osc-llm旨在成为一个简单易用的大模型训练、评估、部署工具，支持目前主流的大模型。

### 安装

- 安装pytorch: 
- 安装osc-llm: `pip install osc-llm`

### 项目特点

- 简单易用的命令行系统
- 基于python entrypoint的配置系统,可以轻松拓展本项目的所有模块

### 支持功能

- [ ] 全参数微调sft
- [ ] 高效微调sft
- [ ] 大模型评估
- [ ] 大模型部署

### Huggingface模型支持

- **LlamaForCausalLM**: llama2, llama2, chinese-alpaca2等。
- **Qwen2ForCausalLM**: qwen1.5系列等。


### 致敬
本项目参考了大量的开源项目，特别是以下项目：

- [litgpt](https://github.com/Lightning-AI/litgpt)
- [gpt-fast](https://github.com/pytorch-labs/gpt-fast)
