Großartige App zum offline Betrieb lokaler LLMs unter iOS
Google AI Edge Gallery zeigt eindrucksvoll, was lokale KI auf einem Smartphone bereits leisten kann. Auf meinem iPhone 17 Pro nutze ich Gemma 4 E4B und bin begeistert, wie vielseitig ein direkt auf dem Gerät laufendes Modell ist.
Besonders gefallen mir die Nutzung ohne Cloud-Verarbeitung, die individuell anpassbaren Modelleinstellungen und die Möglichkeit, eigene kompatible Modelldateien zu importieren. Der zuschaltbare Thinking-Modus lädt zusätzlich zum Experimentieren ein.
Die App macht moderne KI greifbar und bietet eine spannende Möglichkeit, unterschiedliche Einstellungen und Aufgaben selbst auszuprobieren. Für alle, die KI lokal nutzen und besser kennenlernen möchten, ist dies eine großartige App. Vielen Dank an das Entwicklerteam – bitte unbedingt weiterentwickeln!
Als Verbesserung würde ich mir wünschen, dass sich auch Gemma 4 12B direkt in der App importieren und auf ausreichend leistungsfähigen iPhones lokal nutzen lässt.
Besonders gefallen mir die Nutzung ohne Cloud-Verarbeitung, die individuell anpassbaren Modelleinstellungen und die Möglichkeit, eigene kompatible Modelldateien zu importieren. Der zuschaltbare Thinking-Modus lädt zusätzlich zum Experimentieren ein.
Die App macht moderne KI greifbar und bietet eine spannende Möglichkeit, unterschiedliche Einstellungen und Aufgaben selbst auszuprobieren. Für alle, die KI lokal nutzen und besser kennenlernen möchten, ist dies eine großartige App. Vielen Dank an das Entwicklerteam – bitte unbedingt weiterentwickeln!
Als Verbesserung würde ich mir wünschen, dass sich auch Gemma 4 12B direkt in der App importieren und auf ausreichend leistungsfähigen iPhones lokal nutzen lässt.
Show more
楽しい。
色々設定して話すの楽しい。オフラインという気軽さがとても良い。買い物の計算や翻訳べんり。あと画像の解説も精度高く無いけど、頑張ってしてくれてる。
計算する時はデフォルトの設定の方が良い。設定いじると、計算し忘れがあるので。
計算する時はデフォルトの設定の方が良い。設定いじると、計算し忘れがあるので。
Laggy
Slow, laggy, very small
Font in the responses. I’m sure Google can do better there. I do like the idea of local
Font in the responses. I’m sure Google can do better there. I do like the idea of local
希望打开app时直接打开聊天窗口。
没有快捷进入聊天框的方法。
not compatible with ipad
Not compatible with ipad. Work on small screen only. Doesn't get benefits of apple ipad M1 series processors.
不错
作为google在国内唯一暂时能用的应用，除了下模型需要🪜，用还是不错的，响应速度比较快，也不怎么发烫
Nice app, but privacy concerns
It works pretty well, and lower memory requirements, depending on the task, than loading the full model in other frameworks
But: Why does a local AI app which runs on device (purportedly) give me the functionality to thumbs up or thumbs down the response??! personally, if I’m running it on device and powering the matmuls by draining my battery I want the model running in a Faraday cage
But: Why does a local AI app which runs on device (purportedly) give me the functionality to thumbs up or thumbs down the response??! personally, if I’m running it on device and powering the matmuls by draining my battery I want the model running in a Faraday cage
Show more
アップデートで動作不安定に
続けて質問するとフリーズするようになってしまった。
今は微妙
17無印でE2Bを試したけど回答にハングルやヒンドゥー語？にアラビア語も割と混ざったりする。めっちゃ大量のメモリ詰んだマシンで高性能なローカルLLMなら実用性が高まるだろうけど現実は金かけない人が大勢だしそこまでする価値はないから今はクラウドLLMで十分。完全ロマン枠
chat窗口，大于两轮对话，或文字比较多时，窗口死掉（冻结）。
如题，如果token超限，或资源不够，希望能有提示，并平稳退出，而不是死掉，然后只能强制关闭整个应用。
Great concept, but serious stability issue
I’m facing a serious stability issue on my iPhone 16 Pro. The first query works, but when I send a second query the app freezes and stops responding. Force-closing and reopening the app does not reliably solve the problem.
I’m using a Gemma 4 E4B-it model, so please investigate the multi-turn inference issue on iOS, particularly with larger models. The app has great potential, but it needs better stability and memory management for repeated queries.
The app needs a better storage management feature - clear breakdown of “model files, cache, media, temp data…etc.,.”. - wt can be safely deleted to free up space.
I’m using a Gemma 4 E4B-it model, so please investigate the multi-turn inference issue on iOS, particularly with larger models. The app has great potential, but it needs better stability and memory management for repeated queries.
The app needs a better storage management feature - clear breakdown of “model files, cache, media, temp data…etc.,.”. - wt can be safely deleted to free up space.
Show more
使えますね
良かった点
・システムプロンプトなどを含めて細かく設定ができる
改善して欲しい点
・UIがかなり不親切
タイルからチャットを選んだらそのままチャット移行でいいです。モデルチェンジもチャット画面から行えば十分
履歴も他のアプリに合わせて左に配置して隠しておけばいいと思います
履歴の名前変更ができないのもイマイチ
今あるローカルLLMでは最適解ですが、UIはまだまだβテストレベルです
・システムプロンプトなどを含めて細かく設定ができる
改善して欲しい点
・UIがかなり不親切
タイルからチャットを選んだらそのままチャット移行でいいです。モデルチェンジもチャット画面から行えば十分
履歴も他のアプリに合わせて左に配置して隠しておけばいいと思います
履歴の名前変更ができないのもイマイチ
今あるローカルLLMでは最適解ですが、UIはまだまだβテストレベルです
Honestly a good idea from Google: Local AI
[TL;DR] Great app, but some bugs need to be addressed. Could use .safetensors model support as well.
I honestly think this app is genius. Let’s say that you’re out in the middle of nowhere and you need to see what type of food is safe to eat. You upload an image, and let the Gemma model do its thing. Or, when you’re back online, you can use the Agentic mode where it can access the internet (with custom plugins).
You might be wondering why this review it only 4 stars. The bad part: the app is super buggy on an iPhone 15. After a second prompt, the app freezes. Want to change the model’s settings? Nope; another crash. And the problem with this app is that you can only use their special litertlm format for the models (the reason why is that it manages the orchestration, kv cache, and memory mapping all in one). It would be great to see safetensors support.
Also the desktop app is bugged as well. It’s just the iPhone app but ported to Mac. So it’s just an iPhone simulator (basically). Just don’t use this on desktop; use ollama, lm studio, or vllm instead.
In conclusion, this app has great potential, but would need some improvements.
I honestly think this app is genius. Let’s say that you’re out in the middle of nowhere and you need to see what type of food is safe to eat. You upload an image, and let the Gemma model do its thing. Or, when you’re back online, you can use the Agentic mode where it can access the internet (with custom plugins).
You might be wondering why this review it only 4 stars. The bad part: the app is super buggy on an iPhone 15. After a second prompt, the app freezes. Want to change the model’s settings? Nope; another crash. And the problem with this app is that you can only use their special litertlm format for the models (the reason why is that it manages the orchestration, kv cache, and memory mapping all in one). It would be great to see safetensors support.
Also the desktop app is bugged as well. It’s just the iPhone app but ported to Mac. So it’s just an iPhone simulator (basically). Just don’t use this on desktop; use ollama, lm studio, or vllm instead.
In conclusion, this app has great potential, but would need some improvements.
Show more
Love the App !
Make search skill and sometimes is crashing
今後の進化に期待(Gemma4 E4Bまでは動作)
iPhone Airで動作確認しました。
Hugging FaceからDLしたGemma4 12Bを手動インストールしましたが、動作はかなり重たく3〜4回のやり取りで爆熱になりました。
アプリ内からDLできるGemma4のE4Bであれば快適に動きますが、精度は大幅に下がりますね。
簡単なチャットなら最低限使えますが、複雑な資料の要約などに使えるようになるにはもう少し進化が必要でしょう。
Hugging FaceからDLしたGemma4 12Bを手動インストールしましたが、動作はかなり重たく3〜4回のやり取りで爆熱になりました。
アプリ内からDLできるGemma4のE4Bであれば快適に動きますが、精度は大幅に下がりますね。
簡単なチャットなら最低限使えますが、複雑な資料の要約などに使えるようになるにはもう少し進化が必要でしょう。
Missing MacOS Support
MacOS app needs to be downloaded from the webpage. It would be great to have it in the MacOS App Store as well.
Missing MacOS Support
Impossible to scroll horizontally on MacOS in case of longer math formulas.
Eleventh of July
Google Gallery on iPhone 17 pro. With the new Gemma 4E4b with default settings except for switching halfway through to speculatively decoding and think it made it through an 18 question Q&A
Passamos de fase com IA!!
O Google superou todas as concorrentes com esse projeto!!
Nos dando (de forma gratuita) uma IA Soberana Agêntica Pessoal!! 🤩
Nos dando (de forma gratuita) uma IA Soberana Agêntica Pessoal!! 🤩
Zero config sovereignty
The configs return to default every time you close the app. Why? Also the lack of gestures is baffling
