Pemenang Turing Award 2025: Reinforcement Learning, Algoritma Efisien yang Mendekati Bagaimana Kita Belajar

Baru-baru ini rilis tentang pemenang Anugrah Turing (Turing Award) 2025, dengan dua pemenang yaitu Andrew G. Barto dan Richard S. Sutton (cek laman ACM). Barto, seorang profesor emeritus di University of Massachusetts Amherst, dan Sutton, seorang profesor di University of Alberta, menerima penghargaan ini setelah penelitian mereka yang dimulai pada akhir 1970-an. Mereka memenangkan Turing Award 2025 atas kontribusi mereka dalam mengembangkan dasar konseptual dan algoritmik pembelajaran penguatan (Reinforcement Learning/ RL). RL merupakan salah satu jenis metode pembelajaran dalam AI yang jarang orang kenal selain supervised learning dan unsupervised learning padahal RL cukup powerful. Meskipun awalnya penelitian mereka kurang diakui, kini kontribusi mereka dianggap fundamental dalam bidang AI. RL memungkinkan mesin belajar dari pengalaman melalui sistem umpan balik, telah menjadi elemen kunci dalam perkembangan kecerdasan artifisial modern, termasuk aplikasi seperti ChatGPT dan AlphaGo. Barto dan Sutton menekankan pentingnya pengembangan dan pengujian model AI yang aman sebelum dirilis ke publik, mengingat potensi risiko yang terkait dengan penerapan teknologi ini.

Nah apasih Reinforcement Learning/ RL itu?

Gagasan bahwa kita belajar dengan berinteraksi dengan lingkungan kita, mungkin diawali dengan proses pembelajaran. Ketika seorang bayi bermain, mengayunkan tangannya, atau melihat-lihat, ia tidak memiliki pengajar eksplisit, tetapi ia memiliki hubungan sensorimotor langsung dengan lingkungannya. Melatih hubungan ini menghasilkan banyak informasi tentang sebab dan akibat, tentang konsekuensi dari tindakan, dan tentang apa yang harus dilakukan untuk mencapai tujuan. Sepanjang hidup kita, interaksi semacam ini tidak diragukan lagi merupakan sumber pengetahuan utama tentang lingkungan kita dan diri kita sendiri. Baik kita sedang belajar mengemudi mobil atau berkomunikasi dalam percakapan, kita sangat menyadari bagaimana lingkungan kita merespons apa yang kita lakukan, dan kita berusaha untuk mempengaruhi apa yang terjadi melalui perilaku kita. Belajar dari interaksi adalah gagasan dasar yang mendasari hampir semua teori pembelajaran dan kecerdasan.

Pendekatan komputasional untuk belajar dari interaksi.

Alih-alih secara langsung berteori tentang bagaimana manusia atau hewan belajar, kita eksplorasi situasi pembelajaran yang diidealkan dan mengevaluasi efektivitas berbagai metode pembelajaran. Dalam perspektif seorang peneliti Kecerdasan Artifisial. Kami mengeksplorasi desain untuk mesin yang efektif dalam menyelesaikan masalah pembelajaran yang memiliki kepentingan ilmiah atau ekonomi, mengevaluasi desain-desain tersebut melalui analisis matematis atau eksperimen komputasional. Pendekatan yang kita eksplorasi, disebut pembelajaran penguatan (reinforcement learning), jauh lebih fokus pada pembelajaran yang bertujuan melalui interaksi dibandingkan dengan pendekatan lain dalam pembelajaran mesin (machine learning).

Masalah dalam Reinforcement Learning
Reinforcement learning (pembelajaran penguatan) adalah jenis pembelajaran di mana agen (seperti robot atau program) harus belajar apa yang harus dilakukan untuk mendapatkan penghargaan sebanyak mungkin. Dalam hal ini, agen harus memutuskan tindakan apa yang diambil berdasarkan situasi yang ada, tanpa diberitahu secara langsung apa yang benar untuk dilakukan. Agen harus menemukan sendiri tindakan yang memberikan penghargaan terbaik dengan mencoba berbagai pilihan.

Ada tiga ciri khas dari masalah reinforcement learning:

1. Umpan balik tertutup: Tindakan yang dilakukan oleh agen mempengaruhi hasil yang akan datang, jadi setiap langkah yang diambil berpengaruh pada masa depan.
2. Tidak ada instruksi langsung: Agen tidak diberitahu tindakan mana yang benar, sehingga ia harus belajar dengan mencoba dan mengamati hasilnya.
3. Pengaruh jangka panjang: Tindakan yang diambil oleh agen tidak hanya mempengaruhi penghargaan langsung, tetapi juga dapat memengaruhi situasi di masa depan dan penghargaan yang akan datang.

Tujuan Reinforcement Learning

Dalam reinforcement learning, agen harus dapat merasakan kondisi atau keadaan lingkungan di sekitarnya dan memilih tindakan yang akan mempengaruhi kondisi itu. Agen juga harus memiliki tujuan untuk mencapai sesuatu yang berhubungan dengan keadaan lingkungan tersebut. Metode yang digunakan dalam reinforcement learning bertujuan untuk memecahkan masalah ini.

Perbedaan dengan Unsupervised Learning

Reinforcement learning (pembelajaran penguatan) berbeda dengan unsupervised learning (pembelajaran tanpa pengawasan). Dalam unsupervised learning, tujuan utamanya adalah mencari struktur tersembunyi dalam data yang tidak memiliki label atau kategori. Sedangkan, dalam reinforcement learning, fokusnya adalah memaksimalkan penghargaan (reward) yang diterima setelah agen mengambil suatu tindakan, bukan mencari struktur tersembunyi.

Meskipun reinforcement learning tidak bergantung pada contoh perilaku yang benar (seperti supervised learning), tujuannya bukan untuk menemukan struktur tersembunyi, melainkan untuk mengetahui tindakan mana yang memberikan penghargaan terbaik dalam jangka panjang.

Eksplorasi vs Eksploitasi

Salah satu tantangan utama dalam reinforcement learning adalah dilema eksplorasi vs eksploitasi. Ini adalah masalah yang tidak ada dalam jenis pembelajaran lainnya.

• Eksploitasi berarti agen memilih tindakan yang sudah diketahui dapat memberikan penghargaan tinggi (dari pengalaman sebelumnya).
• Eksplorasi berarti agen mencoba tindakan baru yang belum pernah dicoba sebelumnya untuk melihat apakah itu bisa memberi penghargaan yang lebih baik.

Agen harus menemukan keseimbangan antara keduanya. Jika agen hanya mengeksploitasi, ia tidak akan belajar hal baru. Sebaliknya, jika agen hanya mengeksplorasi, ia mungkin tidak mendapatkan penghargaan yang cukup banyak. Jadi, agen harus mencoba berbagai tindakan dan memilih yang terbaik seiring waktu.

Contoh sederhana untuk memahami konsep reinforcement learning.

Seseorang sedang menyiapkan sarapannya. Jika diperhatikan dengan seksama, bahkan aktivitas yang tampaknya sederhana ini mengungkapkan rangkaian perilaku yang kompleks dan hubungan tujuan-subtujuan yang saling terkait: berjalan ke lemari, membukanya, memilih kotak sereal, lalu meraih, memegang, dan mengambil kotak tersebut. Rangkaian perilaku kompleks lainnya diperlukan untuk mengambil mangkuk, sendok, dan cagkir susu. Setiap langkah melibatkan serangkaian gerakan mata untuk memperoleh informasi dan memandu gerakan meraih serta berjalan. Keputusan cepat terus-menerus dibuat mengenai bagaimana membawa objek-objek tersebut atau apakah lebih baik membawa sebagian ke meja makan sebelum mengambil yang lainnya. Setiap langkah dipandu oleh tujuan, seperti meraih sendok atau menuju ke kulkas, dan berhubungan dengan tujuan lain, seperti memiliki sendok untuk makan setelah sereal siap dan akhirnya mendapatkan asupan gizi. Baik dia sadar atau tidak, orang tersebut mengakses informasi tentang keadaan tubuhnya yang menentukan kebutuhan nutrisi, tingkat rasa laparnya, dan preferensi makanannya.

Dalam contoh tersebut melibatkan interaksi antara agen (seseorang yang menyiapkan sarapan) yang membuat keputusan dan lingkungannya, di mana agen berusaha mencapai tujuan meskipun ada ketidakpastian. Tindakan agen mempengaruhi keadaan lingkungan di masa yang akan datang, yang pada gilirannya memengaruhi pilihan yang tersedia bagi agen. Keputusan yang tepat memerlukan perhitungan dampak tidak langsung dan tertunda dari tindakan, serta perencanaan. Namun, efek dari tindakan tidak dapat diprediksi sepenuhnya, sehingga agen harus terus memantau lingkungannya dan merespons dengan tepat. Misalnya, seseorang tadi harus mengawasi susu yang dituangkan ke mangkuknya agar tidak tumpah. Semua contoh ini melibatkan tujuan yang jelas, di mana agen dapat menilai kemajuan menuju tujuannya berdasarkan apa yang bisa dia rasakan secara langsung. Pada contoh tersebut tingkat rasa lapar serta preferensi makanan orang tersebut adalah bagian dari lingkungan agen pengambilan keputusan internalnya. Keadaan lingkungan agen sering kali mencakup informasi tentang keadaan mesin atau organisme tempat agen berada, termasuk memori dan aspirasi.

Mengapa Reinforcement Learning Berbeda dengan Algoritma AI Lainnya

Hal yang membedakan reinforcement learning adalah bahwa ia melibatkan agen yang berinteraksi dengan lingkungan yang tidak pasti untuk mencapai tujuan tertentu. Ini berbeda dari banyak pendekatan lain yang hanya fokus pada sub-masalah, tanpa mempertimbangkan bagaimana semua bagian itu berhubungan dalam gambar besar. Misalnya, meskipun banyak penelitian dalam pembelajaran mesin yang berfokus pada supervised learning, mereka tidak menjelaskan secara rinci bagaimana hasil pembelajaran tersebut akan berguna dalam situasi dunia nyata. Begitu juga dengan teori perencanaan yang hanya melihat perencanaan dengan tujuan umum, tanpa mempertimbangkan bagaimana perencanaan tersebut diterapkan dalam pengambilan keputusan waktu nyata.

Secara keseluruhan, reinforcement learning lebih menekankan pada bagaimana agen belajar dari pengalaman langsung dengan lingkungan untuk mencapai tujuannya, sementara pendekatan lain mungkin lebih fokus pada bagian-bagian tertentu dari masalah.

Pendekatan dalam Reinforcement Learning

Reinforcement learning (pembelajaran penguatan) memiliki pendekatan yang berbeda. Ia dimulai dengan agen yang sepenuhnya interaktif dan memiliki tujuan. Setiap agen dalam reinforcement learning memiliki tujuan yang jelas, bisa merasakan keadaan lingkungan sekitar, dan dapat memilih tindakan untuk mempengaruhi lingkungan tersebut. Selain itu, agen ini harus bekerja meskipun ada ketidakpastian besar tentang lingkungan yang dihadapi.

Perencanaan dan Tindakan Real-time

Ketika reinforcement learning melibatkan perencanaan, ia harus mempertimbangkan bagaimana perencanaan itu berhubungan dengan pemilihan tindakan secara langsung (real-time). Selain itu, ada juga pertanyaan tentang bagaimana agen memperoleh dan meningkatkan model lingkungan yang ada.

Pengaruh Pembelajaran Terawasi

Kadang-kadang, reinforcement learning melibatkan pembelajaran terawasi, tetapi ini dilakukan untuk alasan tertentu yang menentukan kemampuan mana yang penting dan mana yang tidak. Untuk membuat kemajuan dalam penelitian pembelajaran, masalah-masalah penting harus diisolasi dan dipelajari, namun masalah tersebut harus memiliki peran yang jelas dalam agen yang sepenuhnya interaktif dan bertujuan.

Interaksi dengan Disiplin Lain

Salah satu aspek menarik dari reinforcement learning modern adalah interaksinya yang kuat dan produktif dengan disiplin ilmu lain. Reinforcement learning merupakan bagian dari tren yang sudah berlangsung lama dalam kecerdasan artifisial dan pembelajaran mesin, yang semakin terintegrasi dengan statistik, optimisasi, dan mata pelajaran matematika lainnya. Sebagai contoh, beberapa metode reinforcement learning dapat belajar menggunakan pendekatan parameterisasi, yang mengatasi masalah klasik yang dikenal dengan "kutukan dimensi".

Lebih lanjut, reinforcement learning juga berinteraksi erat dengan psikologi dan ilmu saraf, memberikan manfaat yang signifikan kedua arah. Dari semua bentuk pembelajaran mesin, reinforcement learning adalah yang paling mirip dengan cara manusia dan hewan belajar. Banyak algoritma utama dalam reinforcement learning terinspirasi oleh sistem pembelajaran biologis. Sebaliknya, reinforcement learning juga memberikan kontribusi dalam bentuk model psikologis untuk pembelajaran hewan yang lebih cocok dengan data empiris, serta memberikan model yang berpengaruh tentang sistem penghargaan di otak.

Dalam Reinforcement Learning (RL), ada beberapa elemen utama yang bekerja bersama untuk memungkinkan agen belajar dari pengalaman dan mengambil keputusan yang optimal. Berikut adalah elemen-elemen utama dalam Reinforcement Learning:

1. Agen (Agent)

Agen adalah entitas yang berinteraksi dengan lingkungan dan mengambil keputusan berdasarkan informasi yang diberikan oleh lingkungan. Agen bertugas untuk memilih tindakan yang memaksimalkan penghargaan yang diterima dari lingkungan. Dalam RL, agen dapat berupa robot, perangkat lunak, atau sistem lainnya yang belajar dari pengalamannya.

2. Lingkungan (Environment)

Lingkungan adalah segala sesuatu yang ada di sekitar agen dan tempat agen beroperasi. Lingkungan menerima tindakan yang diambil oleh agen dan memberikan umpan balik berupa penghargaan atau hukuman. Lingkungan ini dapat mencakup dunia fisik atau sebuah simulasi komputer yang lebih kompleks, tergantung pada aplikasi RL tersebut.

3. Keadaan (State)

Keadaan adalah representasi dari situasi saat ini yang ada dalam lingkungan. Keadaan menggambarkan kondisi di mana agen berada pada suatu waktu tertentu. Sebagai contoh, dalam permainan catur, keadaan bisa berupa posisi semua bidak di papan catur. Keadaan dapat berupa satu nilai atau sekumpulan informasi yang lebih kompleks, tergantung pada masalah yang dihadapi.

4. Tindakan (Action)

Tindakan adalah langkah yang diambil oleh agen untuk mempengaruhi lingkungan. Setelah agen mengamati keadaan, agen akan memilih tindakan yang akan dilakukan berdasarkan kebijakan atau pengalaman sebelumnya. Setiap tindakan akan mengubah keadaan dalam lingkungan.

5. Kebijakan (Policy)

Kebijakan adalah aturan yang menentukan bagaimana agen memilih tindakan berdasarkan keadaan yang diamati. Kebijakan ini bisa berupa fungsi deterministik atau probabilistik, yang memberikan kemungkinan untuk memilih tindakan tertentu dalam keadaan tertentu. Kebijakan dapat diperbaiki (predefined) atau dapat diperbaharui berdasarkan pengalaman agen selama interaksinya dengan lingkungan.

• Kebijakan deterministik: Untuk setiap keadaan, agen memilih satu tindakan tertentu.
• Kebijakan stochastik: Untuk setiap keadaan, agen memilih tindakan berdasarkan distribusi probabilitas.

6. Penghargaan (Reward)

Penghargaan adalah umpan balik yang diberikan oleh lingkungan kepada agen setelah agen melakukan suatu tindakan. Penghargaan ini digunakan untuk mengevaluasi seberapa baik tindakan yang diambil dalam mencapai tujuan agen. Penghargaan bisa berupa nilai numerik positif atau negatif yang memberi tahu agen apakah tindakan yang diambil mengarah pada tujuan yang diinginkan atau tidak.

7. Fungsi Nilai (Value Function)

Fungsi nilai mengukur seberapa baik suatu keadaan atau tindakan dalam hal memperoleh penghargaan di masa depan. Fungsi ini membantu agen untuk memutuskan tindakan yang terbaik dengan mempertimbangkan penghargaan yang akan datang, bukan hanya penghargaan langsung yang diterima.

• Value of state (V(s)): Menghitung seberapa baik keadaan ss dalam mencapai penghargaan jangka panjang.
• Value of action (Q(s,a)): Menghitung seberapa baik tindakan aa dalam keadaan ss untuk mencapai penghargaan jangka panjang.

8. Faktor Diskonto (Discount Factor, γ\gamma)

Faktor diskonto (γ) adalah parameter yang digunakan untuk menentukan seberapa penting penghargaan di masa depan dibandingkan dengan penghargaan saat ini. Nilai γ\gamma berkisar antara 0 dan 1:

• γ=0: Agen hanya peduli dengan penghargaan saat ini dan tidak mempertimbangkan penghargaan di masa depan.
• γ=1: Agen memberikan bobot yang sama antara penghargaan saat ini dan penghargaan yang akan datang.

9. Model Lingkungan (Environment Model)

Model lingkungan adalah gambaran tentang bagaimana lingkungan berperilaku, yaitu bagaimana keadaan berubah setelah agen mengambil tindakan dan bagaimana penghargaan diberikan. Dalam beberapa kasus, agen dapat memiliki model lingkungan, yang memungkinkannya untuk memprediksi hasil dari tindakan tertentu. Namun, tidak semua algoritma RL memerlukan model lingkungan (misalnya, dalam model-free methods seperti Q-learning).

10. Episode dan Langkah

• Episode: Sebuah episode adalah serangkaian langkah atau interaksi antara agen dan lingkungan yang dimulai dari keadaan awal dan berakhir ketika agen mencapai kondisi terminal (misalnya, mencapai tujuan atau kegagalan).
• Langkah: Setiap langkah dalam episode mengacu pada satu interaksi antara agen dan lingkungan, yang melibatkan observasi keadaan, pemilihan tindakan, dan penerimaan penghargaan.

Algortima Reinforcement Learning secara umum:

1. 1. Inisialisasi lingkungan dan agen
2. Tentukan kebijakan awal (policy π) atau fungsi nilai (Q-table jika
Q-learning)
3. Lakukan loop hingga kondisi berhenti terpenuhi:
   a. Observasi keadaan saat
ini (s)
   b. Pilih tindakan (a) berdasarkan kebijakan
(π atau ε-greedy pada Q-learning)
   c.
Lakukan tindakan (a), lalu dapatkan penghargaan (r) dan keadaan baru (s')
   d. Perbarui kebijakan atau fungsi
nilai berdasarkan pengalaman:
      - Jika menggunakan
Q-learning:
        Q(s, a) ← Q(s, a) + α
* [r + γ * max(Q(s', a')) - Q(s, a)]
      - Jika
menggunakan metode berbasis kebijakan, perbarui parameter kebijakan
   e. Perbarui keadaan s ← s'
4. Jika kondisi berhenti tercapai (misalnya setelah N episode), akhiri
5. Kembalikan kebijakan atau fungsi nilai yang telah dipelajari

Reinforcement learning juga merupakan bagian dari tren kecerdasan artifisial, yang berfokus kembali pada prinsip-prinsip umum yang lebih sederhana. Sejak akhir 1960-an, banyak peneliti kecerdasan artifisial beranggapan bahwa tidak ada prinsip umum yang perlu ditemukan, dan bahwa kecerdasan berasal dari penggunaan banyak trik, prosedur, dan cara khusus. Kadang-kadang ada yang mengatakan bahwa jika kita bisa memasukkan cukup banyak data ke dalam mesin, misalnya satu juta atau satu miliar data, dengan komputasi super, maka mesin tersebut akan menjadi cerdas. Metode yang didasarkan pada prinsip umum, seperti pencarian atau pembelajaran, dianggap sebagai “metode lemah,” sementara yang berbasis pengetahuan khusus disebut “metode kuat.” Pandangan ini masih banyak digunakan, meskipun tidak sepopuler dulu. Dari pandangan peneliti RL, anggapan ini terlalu cepat disimpulkan, karena belum banyak usaha yang dilakukan untuk mencari prinsip-prinsip umum. Saat ini, kecerdasan artifisial modern mencakup banyak penelitian yang mencoba mencari prinsip umum dalam pembelajaran, pencarian, dan pengambilan keputusan, serta menggabungkan banyak pengetahuan khusus. Meskipun tidak pasti seberapa jauh tren ini akan berkembang, penelitian reinforcement learning pasti berperan dalam arah yang lebih sederhana dan lebih sedikit prinsip dasar dalam kecerdasan artifisial, sehingga AI tidak harus dengan komputasi besar dan mahal (Sutton & Barto, 2018). -Elly-

Referensi:

Sutton, R. S. ., & Barto, A. G. . (2018). Reinforcement learning : an introduction. 526.