# BitNet-b158  

noteで実装を進めているBitLinear, BitLinearb158のコードとなります。  
[BitNet&BitNet b158の実装](https://note.com/hatti8/n/nc6890e79a19a)  
- `pip install mybitnet`でインストール可能です。
- `example/01_bit_llama_pretraining.ipynb`ファイルには、bitlinearを用いた事前学習の例があります。
