Nexus LLM vs EdgeBox

Nexus LLM: Your Hub for Connecting and Customizing LLMs Nexus LLM brings all your favorite large language models into one seamless, powerful chat app. Easily connect with Ollama, and JanAI via their APIs, enabling access to each service’s full suite of models—all in one place. With Nexus, you can create custom Assistants tailored to your needs, fine-tuning models for personalized interactions. For enhanced privacy, Nexus also supports self-hosted instances of Ollama and JanAI, providing secure, local access to LLMs. Enjoy a clean, modern UI that supports Markdown for formatting, including tables, code blocks, and other essentials, making your chat experience as clear and organized as possible.

GGUF 格式的模型适用于 本地 LLM 推理，主要用途如下： 推理、问答、摘要、角色扮演、代码推理、数学、逻辑推理、多语言、指令跟随 在手机端部署和运行 AI 大模型（如 Llama、Gemma、Qwen 等）可以让用户在离线环境下使用 AI 进行聊天、翻译、推理等任务。以下是基本流程和技术要点： 1. 选取适合的 AI 模型 轻量级模型：如 Qwen-1.5B、Phi-3.5-mini、Gemma-2B 等，适用于手机端。 量化模型（GGUF 格式）：如 Q4_K、Q6_K、Q8_0，降低计算需求，减少存储占用。 多任务支持：支持问答、推理、代码生成、翻译等。 2. 手机端优化 存储需求：优化后的模型大小一般在 1GB~4GB 之间。 计算资源：使用低精度推理（Q4_K、Q5_K）减少 CPU/GPU 计算压力。 多线程优化：提升推理速度，降低延迟。 3. 应用场景 离线 AI 助手：无需联网即可进行智能对话。 本地文档处理：摘要、翻译、问答等任务。 代码生成与分析：帮助开发者在手机端编写和优化代码。