ESP32-AI 亮相：8MB PSRAM 运行 2890 万参数模型，设想离线调配出最佳咖啡

IT之家 7 月 28 日消息，科技媒体 Tom's Hardware 昨日（7 月 27 日）发布博文，报道称乌克兰开发者 Slava S 发布 ESP32-AI 项目， 针对乐鑫（Espressif）的 ESP32-S3 开发板，成功部署 2890 万个参数的本地 AI 模型。

IT之家注：ESP32-S3 开发板由乐鑫推出，配备 512KB 的 SRAM（片上高速存储，访问周期仅需 1 个 CPU 时钟）、8MB 的 PSRAM（通过 SPI 总线扩展的 8MB 内存，访问速度取决于 SPI 时钟配置）和 16MB 的闪存，由于内存容量受限，此前 Dave Bennett 针对该开发板部署 AI 参数上限为 26 万个。



Slava S 采用 Google Gemma 使用的 P er-Layer Embeddings（分层嵌入）技术。

模型经过 4-bit 量化后，文件大小为 14.9MB。

开发者把 25M 参数嵌入表存入 16MB 闪存。

模型每生成 1 个 Tokens，只需读取嵌入表中的少量数据。



在使用场景方面，ESP32-S3 开发板虽然成功部署 2890 万个参数模型，但无法支持聊天或者编程，不过开发者提出离线咖啡机应用设想。该设备可以围绕咖啡豆、研磨方式、配比和水温生成内容。

[来源链接] https://www.ithome.com/0/982/494.htm