Liquid Apollo vs EdgeBox

Chat with private, local AI models, connect to every open source AI, or your own locally-hosted private LLMs. Apollo is your own customizable client for accessing language models from all around the web. Local model support (powered by LEAP, a Liquid AI product): run smaller LLMs privately and securely on-device. OpenRouter support: bring an OpenRouter API key to chat with every model on the web. Just sign in by creating an account over at OpenRouter and paste it in to Apollo to access nearly every model, from open source models like Meta Llama 3, to closed source models like OpenAI’s ChatGPT-4. Custom Backend support: want ChatGPT at home? Run an LLM on your computer with tools like LM Studio or Ollama and connect to it with Apollo to host your own private ChatGPT-like mobile app for your family.

GGUF 格式的模型适用于 本地 LLM 推理，主要用途如下： 推理、问答、摘要、角色扮演、代码推理、数学、逻辑推理、多语言、指令跟随 在手机端部署和运行 AI 大模型（如 Llama、Gemma、Qwen 等）可以让用户在离线环境下使用 AI 进行聊天、翻译、推理等任务。以下是基本流程和技术要点： 1. 选取适合的 AI 模型 轻量级模型：如 Qwen-1.5B、Phi-3.5-mini、Gemma-2B 等，适用于手机端。 量化模型（GGUF 格式）：如 Q4_K、Q6_K、Q8_0，降低计算需求，减少存储占用。 多任务支持：支持问答、推理、代码生成、翻译等。 2. 手机端优化 存储需求：优化后的模型大小一般在 1GB~4GB 之间。 计算资源：使用低精度推理（Q4_K、Q5_K）减少 CPU/GPU 计算压力。 多线程优化：提升推理速度，降低延迟。 3. 应用场景 离线 AI 助手：无需联网即可进行智能对话。 本地文档处理：摘要、翻译、问答等任务。 代码生成与分析：帮助开发者在手机端编写和优化代码。