UMASHIKA/gemma3-270m-japanese-webllm-01

Gemma 3 270M Japanese Fine-tuned (WebLLM / iPhone対応)

このモデルは、Gemma 3 270Mをベースに日本語データでファインチューニングし、WebLLM (MLC LLM)形式に変換したものです。

📱 iOS/iPhone対応

• 量子化方式: q4f32_1 (iOS Safari完全対応)
• WebGPU: iOS Safari 26.0+で動作
• shader-f16拡張: 不要
• サイズ: モデル約145MB + WASM 5.5MB

🚀 使用方法

WebLLMでの使用

import { CreateMLCEngine } from "@mlc-ai/web-llm";

const customModel = {
  model: "https://huggingface.co/UMASHIKA/gemma3-270m-japanese-webllm-01",
  model_id: "gemma3-270m-japanese",
  model_lib: "https://huggingface.co/UMASHIKA/gemma3-270m-japanese-webllm-01/resolve/main/gemma3-270m-japanese-q4f32_1-ctx4k-webgpu.wasm",
};

const engine = await CreateMLCEngine(customModel.model_id, {
  appConfig: { 
    model_list: [...webllm.prebuiltAppConfig.model_list, customModel] 
  },
});

const reply = await engine.chat.completions.create({
  messages: [{ role: "user", content: "こんにちは" }],
});

📊 モデル情報

• ベースモデル: Gemma 3 270M
• 量子化: q4f32_1 (4-bit weights + float32 activations)
• コンテキスト長: 4096 tokens
• 対応言語: 日本語、英語

⚙️ 技術詳細

• フレームワーク: MLC LLM
• 量子化方式: q4f32_1 (iOS Safari対応)
• 会話テンプレート: gemma_instruction

📄 ライセンス

このモデルはGemmaライセンスに従います。