Ollama AI chat

 AI Chat Secara Offline Di Perangkat Lokal Dengan Ollama

    Ollama sebuah aplikasi yang dapat memungkinkan kita untuk menjalankan model AI di perangkat lokal dan ini memungkinkan kita dapat melakaukan chat dengan AI secara offline tergantung pada model yang dijalankan di Ollama.

    Meskipun dapat diakses secara offline tanpa harus terhubung ke internet seperti saat kita mengakses chatGPT, Copilot, Deepseek, Claude dll. performa perangkat dapat mempengaruhi kecepatan respon AI terhadap pertanyaan kita, karena untuk menjalankan model AI untuk berinteraksi memerlukan daya komputasi yang cukup kuat untuk memproses dan menganalisa miliyaran bahkan triliunan parameter dalam waktu singkat agar AI dapat merespon jawaban dengan cepat. Dalam hal ini, semakin besar model yang dijalankan maka dibutuhkan perangkat yang lebih bertenaga juga untuk menjalankan model AI yang ingin dijalankan.

    Dalam pembahasan kali ini saya akan memberikan cara untuk menjalankan model AI untuk Chat di perangkat lokal menggunakan Ollama.

Kenapa Ollama? Bukannya ada aplikasi lain untuk menjalankan model AI di perangkat lokal selain Ollama?

Iya ada banyak tapi saya memilih Ollama karena dia bersifat open-source dan jauh lebih ringan serta ramah untuk perangkat menengah ke bawah, walaupun ringan tentu saja Ollama memiliki kekurangan, tanpa kostumisasi lebih lanjut kita hanya dapat berinteraksi dengan AI yang kita jalankan melalui terminal tanpa UI seperti ChatGPT atau Copilot. Untuk orang awam mungkin ini agak menyulitkan karena agak terlalu teknis jika harus menggunakan terminal secara sering. Tapi jangan khawatir karena kalau teman-teman pandai dalam pemrograman kita dapat membuat UI untuk Ollama sehingga interaksi kita dengan AI jadi bisa lebih santai dengan UI yang didesain teman-teman. Tapi untuk di pembahasan ini kita hanya akan berfokus untuk menginstall Ollama di perangkat lokal dan menjalankannya.

berikut adalah langkah-langkahnya.

1.  Install Ollama di perangkat kalian

Kita dapat mengunjungi mengunduh installer Ollama di website resminya

ollama.com

setelah kita mengunduh installer Ollama sesuai dengan OS yang kita gunakan kita dapat memeriksa apakah Ollama sudah terinstall di perangkat kita dengan cara membuka terminal dan mengetikan ollama

Jika sudah terinstall maka terminal akan menampilkan informasi seperti gambar di atas.

2. Install Model AI

    Setelah Ollama berhasil terinstall maka langkah selanjutnya adalah menginstall model untuk dijalankan. Ada banyak sekali model bahasa yang dapat dipasang di Ollama, kita dapat memilih model yang ingin kita install website ollama

    Disini kita akan menggunakan model dari Alibaba Cloud yaitu qwen, model yang akan digunakan lebih tepatnya adalah qwen2.5:0.5b. Kami memilih model ini karena ukurannya yang cukup kecil dan kemampuan respon yang cukup bagus.

    Untuk menginstall model yang kita inginkan kita dapat membuka terminal dan mengetikan command ollama pull <model yang ingin diinstall> karena kita akan menginstall model qwen3:0.6b maka kita akan mengetikan ollama run qwen2.5:0.5b.

3. Menjalankan Model Bahasa AI

Jika download sudah selesai dan proses installasi berhasil maka kita dapat menjalankan model bahasa yang sudah terinstall, caranya dengan mengetikkan ollama run qwen2.5:0.5b untuk menjalankan model bahasa yang sudah terinstall di ollama.

dan setelah command tereksekusi dan menampilkan informasi seperti di atas maka kita dapat langsung mengobrol dengan AI yang sudah kita install.

Untuk menginterupsi jawaban dari AI kita dapat menekan CTRL + C untuk menghentikan AI di tengah jawaban. Dan kita juga dapat keluar dari program dengan menekan CTRL + D untuk menghentikan program Ollama jika kita sudah selesai berbincang dengan AI.

sekian saja dari saya. di lain kesempatan saya akan mencoba untuk membuat GUI untuk Ollama agar obrolan dengan AI bisa jadi lebih menarik.