Bayangkan bisa menjalankan model bahasa besar (LLM) yang kuat pada perangkat sekecil mikrokontroler. Ini bukan lagi fiksi ilmiah. Seorang pengembang bernama Slava S. telah membuat terobosan signifikan dengan **running LLM on ESP32 Microcontroller**, menghadirkan model 28.9 juta parameter ke sebuah chip seharga sekitar $8. Ini benar-benar lompatan jauh dibandingkan model LLM sebelumnya yang pernah dijalankan di perangkat serupa.

### LLM di Perangkat Sekecil Mikrokontroler

Model ini berjalan sepenuhnya secara *on-device* di **ESP32-S3**, tanpa perlu terhubung ke server eksternal. Hasilnya, teks yang dihasilkan akan ditampilkan langsung ke layar kecil yang terhubung ke chip, dengan kecepatan sekitar 9 hingga 9.5 token per detik. Angka ini luar biasa, mengingat model LLM sebelumnya yang berjalan di chip serupa hanya memiliki 260 ribu parameter. Slava S. berhasil menempatkan model seratus kali lebih besar dari itu.

### Bagaimana Model Sebesar Ini Bisa Muat?

Kunci di balik pencapaian ini adalah ide **Per-Layer Embeddings** dari model Google Gemma, tepatnya Gemma 3n dan Gemma 4. Mikrokontroler seperti ESP32-S3 memiliki memori cepat yang sangat terbatas, misalnya 512KB SRAM. Biasanya, seluruh model harus bisa diakses dari memori cepat ini, yang secara otomatis membatasi ukuran model secara drastis.

Namun, sebagian besar parameter LLM berada dalam tabel *embedding*, yang sifatnya lebih banyak dibaca daripada dihitung. Slava S. memanfaatkan ini dengan menyimpan 25 juta baris tabel *embedding* di **flash** yang lebih lambat namun lebih besar. Saat model membutuhkan *token* baru, hanya beberapa baris data, sekitar 450 byte atau sekitar 6 baris, yang ditarik dari *flash* ke memori cepat. Bagian kecil yang melakukan 'pemikiran' atau komputasi inti tetap berada di memori cepat.

Dengan cara ini, sebagian besar model tidak pernah dimuat penuh ke memori cepat. Ia hanya 'dicicipi' sedikit demi sedikit sesuai kebutuhan. Ini adalah inovasi yang belum pernah dicoba pada chip sekecil ini sebelumnya, mengadaptasi strategi yang biasanya digunakan untuk ponsel atau GPU ke lingkungan mikrokontroler.

### Detail Teknis Proyek

Berikut adalah rincian teknis dari proyek mengagumkan ini:

| Fitur                | Detail                                                     |
| :------------------- | :--------------------------------------------------------- |
| **Parameter Model**  | 28.9 juta (25 juta di tabel *flash lookup*)                 |
| **Chip**             | ESP32-S3                                                   |
| **Harga Chip**       | Sekitar $8                                                 |
| **Memori Chip**      | 512KB SRAM, 8MB PSRAM, 16MB *flash*                        |
| **Kecepatan**        | Sekitar 9.5 tok/s (*end-to-end*), 9.7 tok/s (*pure compute*) |
| **Konektivitas**     | Tidak ada, semua berjalan di perangkat                     |
| **Ukuran Model**     | 14.9MB pada 4-bit                                          |
| **Metode Kunci**     | Per-Layer Embeddings (Google Gemma)                        |

Distribusi memori pada ESP32-S3 bekerja sebagai berikut:
*   **SRAM (cepat, kecil):** Inti 'pemikiran' model, digunakan pada setiap *token*.
*   **PSRAM (menengah):** *Output head* dan memori kerja.
*   **FLASH (besar, lambat):** Tabel parameter 25 juta, membaca sekitar 6 baris per *token* (~450 B).

### Kemampuan dan Keterbatasan

Model ini dilatih menggunakan dataset **TinyStories**, sehingga ia mahir menulis cerita pendek dan sederhana yang koheren. Namun, penting untuk memahami keterbatasannya. Model ini tidak dirancang untuk menjawab pertanyaan, mengikuti instruksi, menulis kode, atau mengetahui fakta. Keterbatasan ini berasal dari bagian kecil model yang melakukan penalaran, dan trik memori yang digunakan tidak mengubah kemampuan tersebut. Fokus utama proyek ini adalah arsitekturnya, yaitu bagaimana model sebesar ini bisa masuk ke chip sekecil itu, bukan kemampuan percakapannya.

### Pelajari dan Jalankan Sendiri

Bagi Anda yang tertarik untuk mencoba atau mempelajarinya lebih lanjut, proyek ini bersifat *open source* di bawah lisensi MIT. Anda bisa menemukan semua yang dibutuhkan:
*   *Firmware*, panduan kabel, dan langkah *flashing* ada di ```firmware/esp32_llm/README.md```.
*   Kode pelatihan, *ablation*, dan kuantisasi ada di ```src/``` dan ```experiments/```.
*   Metode lengkap, *ablation*, dan pengukuran *on-chip* dijelaskan di ```RESULTS.md```.

Pengembang juga secara transparan menyimpan riwayat proyek, termasuk perbaikan *bug* dalam perhitungan parameter yang sempat memengaruhi angka awal. Semua detail perubahan tercatat di *commit history* dan ```RESULTS.md```.

### Kredit

Proyek ini tidak terlepas dari beberapa kontribusi penting:
*   **TinyStories:** Dataset cerita sintetis pendek dan sederhana yang memungkinkan model kecil belajar menulis dengan koheren, dari Ronen Eldan dan Yuanzhi Li (Microsoft Research, arXiv:2305.07759).
*   **Per-Layer Embeddings:** Desain dari model Google Gemma yang memungkinkan model besar muat di chip kecil.
*   **llama2.c Andrej Karpathy:** Inspirasi utama bagi banyak orang, termasuk Slava S., untuk melatih dan menjalankan model bahasa kecil dalam C murni.

## Referensi
*   https://blog.adafruit.com/2026/07/29/running-a-28-9m-parameter-llm-on-an-8-microcontroller/
*   https://github.com/slvDev/esp32-ai

Seorang pengembang berhasil menjalankan model bahasa besar (LLM) dengan 28.9 juta parameter pada mikrokontroler ESP32-S3 seharga $8, menggunakan teknik Per-Layer Embeddings dari Google Gemma. Ini adalah lompatan besar dalam komputasi LLM on-device.

Menjalankan LLM 28.9 Juta Parameter di Mikrokontroler $8: Sebuah Terobosan

Reggi

Ketika seseorang membahas pemblokiran iklan di forum jaringan rumah, jawaban umum yang sering muncul adalah **Pi-hole**. Pi-hole merupakan DNS sinkhole yang sudah teruji dan terdokumentasi dengan baik, serta memiliki reputasi solid. Namun, menjalankan Pi-hole di Raspberry Pi (4 atau 5) atau mini PC seringkali terasa berlebihan untuk sebagian besar pengaturan rumah. Ini seperti menembak lalat dengan meriam, mampu tetapi terlalu besar.

Jika Anda ingin memblokir iklan dan pelacak di setiap perangkat di jaringan rumah Anda dengan solusi yang lebih murah, ramping, dan hemat daya, ada pilihan lain. Anda bisa melakukan **Building a Home Network AdBlocker with ESP32**. Perangkat ini muat di telapak tangan dan lebih efisien.

### Apa Itu ESP32_AdBlocker?

ESP32_AdBlocker adalah proyek yang dikembangkan oleh s60sc. Proyek ini mengubah mikrokontroler ESP32 menjadi DNS sinkhole fungsional tanpa memerlukan sistem Linux lengkap. Cara kerjanya mirip Pi-hole. **ESP32_AdBlocker** memproses kueri DNS dari router dan perangkat Anda. Kemudian, perangkat ini akan memeriksa kueri tersebut terhadap daftar blokir. Jika ada iklan atau pelacak, kueri akan ditandai dengan alamat IP 0.0.0.0. Kueri lainnya akan diteruskan ke server DNS eksternal pilihan Anda, seperti Google, Cloudflare, Quad9, atau NextDNS.

Solusi ini mendukung format file daftar blokir hosts dan AdBlock-style. Daftar agregasi seperti yang dikelola Steven Black adalah titik awal yang bagus. Antarmuka webnya memungkinkan Anda menambahkan satu URL daftar blokir dan memperbarui pada waktu yang ditentukan. Lebih dari itu, antarmuka web ini juga memungkinkan Anda memantau permintaan yang diblokir dan diizinkan, menambahkan domain kustom secara langsung, dan mengatur sebagian besar pengaturan tanpa perlu terminal.

### Mengapa ESP32-S3 Pilihan yang Tepat?

Untuk proyek ini, ESP32 dengan **PSRAM** yang memadai sangat direkomendasikan. Papan ESP32 standar mungkin memotong daftar blokir dan menjalankan pencarian sekitar 100 mikrosekon. Namun, **ESP32-S3-N16R8** adalah pilihan yang lebih baik. Dengan 8MB PSRAM, papan ini dapat memuat daftar blokir agregasi yang lebih besar. Waktu pencarian juga lebih cepat, di bawah 50 mikrosekon. Ini membuat perbedaan signifikan saat setiap kueri DNS melewati papan ini.

Papan ESP32-S3 mudah didapatkan di berbagai *marketplace* dengan harga di bawah $8. Selain mikrokontroler, Anda juga membutuhkan **kabel USB-C** yang mendukung transfer data, bukan hanya pengisian daya. Pengisi daya 5V biasa, seperti pengisi daya ponsel, sudah cukup untuk menyalakan papan ESP32 ini.

Berikut perbandingan singkat ESP32 untuk proyek ini:

| Fitur               | ESP32 Standar (dengan 4MB PSRAM) | ESP32-S3-N16R8 (dengan 8MB PSRAM) |
| :------------------ | :------------------------------- | :-------------------------------- |
| Ukuran Blocklist    | Mungkin terpotong                | Mendukung blocklist agregasi besar |
| Waktu Pencarian     | Sekitar 100 mikrosekon           | Kurang dari 50 mikrosekon         |
| Penyimpanan Flash   | Default 1.5MB filesystem         | 16MB Flash (memungkinkan 12.5MB FATFS) |
| Ketersediaan        | Umum                               | Mudah ditemukan, harga sekitar $8 |

### Menyiapkan ESP32_AdBlocker

Proyek ESP32_AdBlocker adalah sebuah *sketch* Arduino. Anda perlu mengunduh file-file GitHub ke folder *sketch* Arduino IDE Anda, lalu hapus `-master` dari nama folder aplikasi. Pastikan Anda menggunakan *core* Arduino ESP32 minimal v3.1.1 dengan PSRAM diaktifkan.

Anda juga perlu memperhatikan skema partisi. Skema partisi default hanya memberikan 1.5MB penyimpanan *filesystem*. Ini cukup untuk daftar blokir dasar, tetapi terlalu kecil untuk daftar agregasi besar. Papan N16R8 menawarkan flash 16MB. Ini memungkinkan Anda beralih ke skema partisi **16M Flash (2MB APP/12.5MB FATFS)** untuk membuka 12.5MB penyimpanan untuk daftar blokir Anda. Untuk melakukan perubahan ini, Anda perlu memodifikasi `boards.txt`.

Jika Anda berencana untuk beralih ke FFat, berikut adalah opsi menu **Tool** di Arduino IDE yang berfungsi:

```
USB CDC on Boot: Enabled
Erase All Flash Before Sketch Upload: Enabled (first flash only)
Flash Mode: DIO 80MHz
Partition Scheme: 16M Flash (2MB APP/12.5MB FATFS)
```

Setelah semua diatur, pastikan Anda memilih papan ESP32 yang benar di menu **Tools > Board** dan telah menginstal *file*-nya dari Board Manager. *Flash firmware* ke ESP32-S3 Anda. Periksa Serial Monitor. Ini akan menunjukkan URL (misalnya, `http://192.168.4.1`) yang bisa Anda buka di *browser* ponsel, tablet, atau PC untuk memasukkan kredensial Wi-Fi. Dengan begitu, ESP32 Anda akan terhubung ke jaringan.

Pada instalasi pertama setelah menyala, aplikasi akan memulai dalam mode Wi-Fi AP. Sambungkan ke SSID: `ESP32_AdBlocker`. Setelah itu, Anda bisa mengakses `http://192.168.4.1` melalui *browser* untuk memasukkan detail router dan kata sandi Anda. *File* konfigurasi dan halaman web aplikasi secara otomatis akan diunduh dari GitHub ke folder `SDCARD/html` ketika koneksi internet tersedia.

### Memilih dan Mengelola Blocklist

Dengan penyimpanan FFat 12.5MB yang tersedia, Anda dapat memuat daftar blokir konsolidasi besar yang melebihi batas skema partisi default. Proyek ini hanya menerima satu URL untuk daftar blokir. Jadi, jika Anda ingin menggabungkan beberapa sumber, gabungkan secara *offline* terlebih dahulu, lalu hapus duplikatnya. Anda bisa meng-host daftar blokir gabungan tersebut secara daring atau mengunggahnya langsung ke perangkat melalui opsi *file upload* di antarmuka web.

Sebagai alternatif, Anda dapat membiarkan URL daftar blokir default dan mengelola *file* `custom_domains.txt` terpisah secara *offline* untuk domain kustom Anda. Sekali lagi, Anda bisa mengunggah *file* ini langsung ke perangkat dari antarmuka web. Menambahkan *file* kustom langsung ke perangkat ESP32 berarti *file* tersebut tidak akan pernah menyentuh server pihak ketiga karena tersimpan di perangkat. Satu-satunya kekurangan adalah Anda perlu memperbarui secara berkala.

Setelah ESP32 dinyalakan pertama kali, Anda perlu menunggu proses pengunduhan daftar blokir awal selesai. Ini memerlukan beberapa menit, tergantung pada ukuran daftar blokir Anda. Pengunduhan selanjutnya akan jauh lebih cepat karena hanya memproses pembaruan. ESP32_AdBlocker akan mengunduh *file* yang dipilih setiap hari pada waktu yang ditentukan untuk menjaga daftar blokir tetap *update*. Anda juga dapat menambahkan atau menghapus situs secara individual ke daftar blokir kustom lokal melalui antarmuka web.

### Fitur Antarmuka Web

Antarmuka web ESP32_AdBlocker menyediakan berbagai fitur untuk memantau dan mengelola DNS sinkhole Anda:

*   **Allowed**: Menampilkan jumlah permintaan domain yang diizinkan sejak perangkat di-restart.
*   **Blocked**: Menampilkan jumlah permintaan domain yang diblokir sejak perangkat di-restart.
*   **Blocklist URL**: URL daftar blokir yang sedang digunakan. Setelah memasukkan URL baru, tekan tombol `Download`. Jika dibiarkan kosong, perangkat akan memuat ulang daftar blokir saat ini.
*   **Domain to Block**: Masukkan URL domain tambahan yang ingin diblokir, lalu tekan tombol `Add`.
*   **Domain to Unblock**: Masukkan URL domain yang ada di daftar blokir dan ingin dihapus, lalu tekan tombol `Remove`.
*   **Domain to Check**: Masukkan URL domain untuk memeriksa apakah ada di daftar blokir, lalu tekan tombol `Check`.
*   **Stop Download**: Tombol ini untuk menghentikan proses pengunduhan daftar blokir yang sedang berjalan.
*   **Clear Custom**: Menghapus entri kustom yang ditambahkan atau dihapus secara manual oleh pengguna.

Selain itu, Anda bisa menemukan lebih banyak detail konfigurasi melalui tab **Configure**. Di sana, Anda dapat mengatur IP statis, alamat IP router, serta pengaturan jaringan dan *webserver* lainnya. Tab **Settings** berisi pengaturan lingkungan yang memengaruhi operasi daftar blokir. Pada tab **Network**, Anda bisa memilih antarmuka jaringan yang diinginkan, seperti Wi-Fi, Ethernet, atau Ethernet dengan *Access Point* (AP), dan mendefinisikan pin SPI untuk *controller* Ethernet eksternal. Semua perubahan ini bisa Anda simpan dengan menekan tombol `Save`. Log aplikasi dapat dipantau di tab **Log**. Tombol `Extra Logging` akan menampilkan log tambahan untuk setiap koneksi yang diblokir atau diterima.

### Integrasi ke Jaringan Rumah Anda

Agar ESP32_AdBlocker menjadi server DNS pilihan Anda, masukkan alamat IPv4-nya sebagai alamat IP server DNS di router atau perangkat Anda. ESP32_AdBlocker tidak memiliki alamat IPv6. Oleh karena itu, nonaktifkan DNS IPv6 pada perangkat atau router Anda untuk memaksanya menggunakan DNS IPv4.

Contoh untuk adaptor jaringan PC Windows: untuk menggunakan AdBlocker sebagai Server DNS dengan alamat IP `192.168.1.10`, pada *command prompt* Windows, masukkan:

```bash
netsh interface ipv4 set dnsservers "Ethernet" static 192.168.1.10 primary
```

Untuk kembali ke Server DNS biasa, misalnya Google, masukkan:

```bash
netsh interface ipv4 set dnsservers "Ethernet" static 8.8.8.8 primary
```

Pastikan **Secure DNS (DoH)** dinonaktifkan di *browser* seperti Chrome, Edge, dan Firefox, karena fitur ini dapat dengan mudah melewati DNS sinkhole kecil Anda. Solusinya adalah menonaktifkan Secure DNS di *browser* Anda atau menggunakan **firewall** di router Anda untuk memfilter semua lalu lintas DNS dari setiap *browser*.

### Pertimbangan Penting Sebelum Menggunakan

Meskipun AdBlocker berbasis ESP32 terdengar bagus secara teori, ada beberapa kelemahan praktis. Pertama, ini bukan pengalaman *plug-and-play*. Anda perlu sedikit pengetahuan teknis untuk menyiapkannya. Kedua, papan ESP32 hanya menangani satu *file* daftar blokir pada satu waktu. Meskipun Anda dapat mengunggah *file* konsolidasi, penyimpanan *flash* ESP32 membatasi ukuran *file* berdasarkan ruang yang tersedia. Seperti Pi-hole, Anda juga perlu menunggu pengunduhan daftar blokir awal selesai setelah ESP32 *boot* pertama kali.

Jika Anda membutuhkan pemblokiran iklan dan pelacak per perangkat melalui *dashboard* yang lebih canggih, Pi-hole masih bisa dipertimbangkan. Pi-hole memungkinkan Anda menulis aturan berbasis *regex*, *conditional forwarding*, dan log terperinci yang dapat diaudit. Selain itu, Anda dapat menjalankan Pi-hole di mesin Linux yang sama saat menjalankan layanan lain.

### Kesimpulan

Bagi Anda yang mencari perangkat keras khusus yang murah, hemat daya, *boot* cepat, dan tidak akan mengalami masalah korupsi kartu microSD, ESP32-S3 seharga $8 adalah pilihan menarik. Anda dapat mencolokkannya langsung ke port USB router Anda, yang biasanya menyediakan daya 5V, lalu mengatur alamat IP ESP32 sebagai DNS router Anda. Setelah itu, router dan DNS sinkhole akan bekerja sama secara otomatis, dan Anda tidak perlu memikirkannya lagi.

Meskipun membuat AdBlocker berbasis ESP32 ini membutuhkan penanganan skema partisi, perubahan *driver filesystem*, dan beberapa hal yang tidak secara langsung didokumentasikan proyek, setelah berjalan, perangkat ini berfungsi dengan baik. Anda tidak perlu terus-menerus memeriksa *dashboard*, memperbarui OS, atau berurusan dengan terminal. ESP32 adalah papan pengembangan fantastis yang menggabungkan spesifikasi solid dengan harga terjangkau. Meskipun lebih murah dari Arduino dan Raspberry Pi Pico, ESP32 mengungguli sebagian besar pesaingnya, dan dilengkapi dengan fungsionalitas Wi-Fi serta Bluetooth.

## Referensi
*   https://www.xda-developers.com/your-home-network-doesnt-need-pi-hole-but-an-esp32/
*   https://github.com/s60sc/ESP32_AdBlocker

Pelajari cara membangun ad blocker jaringan rumah Anda dengan mikrokontroler ESP32-S3 yang murah dan hemat daya, sebagai alternatif Pi-hole. Artikel ini membahas detail setup, konfigurasi, dan fitur antarmuka webnya.

Tinggalkan Pi-hole, Coba AdBlocker Jaringan Rumah dengan ESP32 yang Irit dan Efisien

Solusi praktis integrasi webmail custom ke dalam dashboard Gmail. Kelola, baca, dan kirim email domain pribadi langsung dari satu tempat tanpa ribet gonta-ganti tab.

Mengapa Kamu Masih Buka Dua Tab Terpisah? Panduan Setup Custom Webmail Langsung di Dashboard Gmail

Pelajari efisiensi merakit mesin tetas telur listrik AC otomatis dengan modal murah untuk mendongkrak hasil ternak unggas tanpa repot bolak-balik telur manual.

Otomasi Ternak Unggas: Kenapa Rakit Sendiri Mesin Penetas Telur AC Jauh Lebih Worth It Dibanding Cara Konvensional?

Pelajari bagaimana mesin tetas telur berbasis arus listrik DC bekerja menjaga suhu dan kelembapan ideal untuk mendongkrak keberhasilan penetasan telur unggas.

Mesin Tetas Telur Arus DC: Solusi Hardware Murah Buat Tingkatin Angka Penetasan Unggas

Kupas tuntas seluk-beluk mobil aki anak dengan kontrol ganda dan fitur multimedia. Pahami batas spesifikasi hardware sebelum eksekusi build sendiri.

EV Versi Mini: Membedah Mobil Listrik Aki Lengkap dengan Remote Control dan Fitur Multimedia

Pelajari cara merakit smart power strip berbasis NodeMCU dan Blynk untuk kontrol daya nirkabel serta integrasi IoT yang aman dan efisien.

Mengapa Beli Mahal Kalau Bisa Bikin Sendiri? Rancang Smart Power Strip Berbasis NodeMCU dan Blynk

Solusi tuntas mengatasi bug sistem dan software bermasalah di MacBook dengan panduan install ulang macOS lewat Internet Recovery secara aman.

#esp32-s3

Getting Lastest Post..

Populer Bulan Ini