GitHub - beamivalice/PonyExl3: Apple SiliconでExl3形式LLM量子化モデルを動かす

概要

Apple Silicon上でExl3フォーマットのLLM量子化モデルを実行するためのOSSプロジェクト「PonyExl3」がv0.2.0にアップデート。コンバーターがベータ版ながら実装され、QwenやMiniCPMでの動作が確認されている。

詳細

• v0.2.0でExl3フォーマットのコンバーターが追加（ベータ版）
• Apple Silicon（M1/M2/M3等）向けに最適化
• QwenおよびMiniCPMモデルで動作確認済み
• ExGGUF等の既存フォーマットとは異なるExl3量子化に対応
• ローカルLLM実行の選択肢を広げるプロジェクト

参照

• 出典: https://github.com/beamivalice/PonyExl3
• はてなブックマーク数: 6