Interface locale pour exécuter Apertus 8B Instruct en mode ChatGPT sur Mac Silicon, avec accélération MPS (float16).
git clone https://github.com/chupchupchup/Apertus-local.git
cd Apertus-localpython3 -m venv venv
source venv/bin/activatepip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
pip install -U transformers accelerate gradio fastapi uvicornpython3 ui.pyOuvre : http://127.0.0.1:7860
uvicorn server:app --host 127.0.0.1 --port 8000curl -X POST http://127.0.0.1:8000/generate \
-H "Content-Type: application/json" \
-d '{"prompt":"explique la relativité en 3 points"}'🙌 Crédit
Projet basé sur le modèle Apertus 8B Instruct, un grand modèle de langage multilingue ouvert développé en Suisse par l’EPFL (SwissAI initiative).
🔗 Site officiel Apertus (SwissAI)
🔗 Annonce EPFL
Développé et testé localement par @chupchupchup (🇨🇭).