Bot1: Automatski uvoz s hrwiki (zadnjih 144 sati)

2026-08-24T10:07:50Z

Automatski uvoz s hrwiki (zadnjih 144 sati)

Nova stranica

'''Učenje modela akcija''' (engl. ''action model learning''), ponekad skraćeno '''učenje akcija''', područje je [[strojno učenje|strojnog učenja]] koje se bavi stvaranjem i izmjenom znanja [[Inteligentni agenti|softverskog agenta]] o ''učincima'' i ''preduvjetima'' ''akcija'' koje se mogu izvesti u njegovoj ''okolini''. To se znanje obično zapisuje jezikom za opis akcija utemeljenim na logici te služi kao ulazni podatak [[automatsko planiranje|automatskim planerima]].

Učenje modela akcija važno je kada se ciljevi mijenjaju. Nakon što je agent neko vrijeme djelovao, može se poslužiti prikupljenim znanjem o akcijama u domeni kako bi donosio bolje odluke. Po tome se učenje modela akcija razlikuje od [[podržano učenje|podržanog učenja]] jer omogućuje zaključivanje o akcijama umjesto skupih pokušaja u stvarnom svijetu.<ref name="amir2008">{{Citiranje časopisa|last=Amir|first=Eyal|last2=Chang|first2=Allen|date=2008|title=Learning Partially Observable Deterministic Action Models|url=https://jair.org/index.php/jair/article/view/10576|journal=Journal of Artificial Intelligence Research|volume=33|pages=349–402|doi=10.1613/jair.2575|doi-access=free|arxiv=1401.3437|issn=1076-9757|access-date=2026-08-21|language=en}}</ref> Riječ je o obliku [[Indukcija (logika)|induktivnog zaključivanja]], u kojem novo znanje nastaje na temelju agentovih ''opažanja''.

Uobičajen razlog za bavljenje učenjem modela akcija činjenica je da je ručno određivanje modela akcija za planere često težak i dugotrajan posao sklon pogreškama, osobito u složenim okolinama.

== Modeli akcija ==

Neka je zadan skup za učenje <math>E</math> koji se sastoji od primjera <math>e = (s,a,s')</math>, pri čemu su <math>s</math> i <math>s'</math> opažanja stanja svijeta u dvama uzastopnim vremenskim koracima <math>t</math> i <math>t'</math>, a <math>a</math> je primjerak akcije opažen u koraku <math>t</math>. Cilj je učenja modela akcija općenito izgraditi ''model akcija'' <math>\langle D,P \rangle</math>, u kojem je <math>D</math> opis dinamike domene zapisan nekim formalizmom za opis akcija, primjerice STRIPS-om, ADL-om ili PDDL-om, a <math>P</math> funkcija vjerojatnosti definirana nad elementima od <math>D</math>.<ref>{{Citiranje časopisa|last=Čertický|first=Michal|date=2014|title=Real-Time Action Model Learning with Online Algorithm 3SG|journal=Applied Artificial Intelligence|volume=28|issue=7|pages=690–711|doi=10.1080/08839514.2014.927692|doi-access=free|language=en}}</ref>

Mnoge suvremene metode učenja akcija ipak pretpostavljaju determinizam i ne uče funkciju <math>P</math>. Osim po toj pretpostavci, pojedine se metode razlikuju i po tome kako se nose s ostalim svojstvima domene, primjerice s djelomičnom opservabilnošću ili sa šumom u osjetilnim podacima.

== Metode učenja akcija ==

=== Suvremeni pristupi ===

Novije metode učenja akcija primjenjuju različite pristupe i širok raspon alata iz raznih područja [[umjetna inteligencija|umjetne inteligencije]] i računalne logike. Kao primjer metode utemeljene na [[Sud (logika)|logici sudova]] može se navesti algoritam SLAF (engl. ''Simultaneous Learning and Filtering''), koji iz agentovih opažanja tijekom vremena gradi dugu logičku formulu, a zatim je tumači s pomoću rješavača problema zadovoljivosti (engl. ''SAT solver'').<ref name="amir2008" /> Tehnika u kojoj se učenje također pretvara u problem zadovoljivosti, u ovom slučaju u težinski MAX-SAT, i u kojoj se rabe isti rješavači, ostvarena je u sustavu ARMS (engl. ''Action-Relation Modeling System'').<ref>{{Citiranje časopisa|last=Yang|first=Qiang|last2=Wu|first2=Kangheng|last3=Jiang|first3=Yunfei|date=2007|title=Learning action models from plan examples using weighted MAX-SAT|journal=Artificial Intelligence|volume=171|issue=2–3|pages=107–143|doi=10.1016/j.artint.2006.11.005|doi-access=free|language=en}}</ref>

Dva međusobno slična i posve deklarativna pristupa učenju akcija utemeljena su na paradigmi [[logičko programiranje|logičkog programiranja]] ''answer set programming'' (ASP)<ref>{{Citiranje knjige|last=Balduccini|first=Marcello|date=2007|title=Logical Formalizations of Commonsense Reasoning: Papers from the AAAI Spring Symposium|chapter=Learning Action Descriptions with A-Prolog: Action Language C|chapter-url=https://cdn.aaai.org/Symposia/Spring/2007/SS-07-05/SS07-05-004.pdf|pages=13–18|publisher=AAAI Press|access-date=2026-08-21|language=en}}</ref> te na njezinu proširenju, reaktivnom ASP-u.<ref>{{Citiranje knjige|last=Čertický|first=Michal|date=2012|title=ICAS 2012: The Eighth International Conference on Autonomic and Autonomous Systems|chapter=Action Learning with Reactive Answer Set Programming: Preliminary Report|chapter-url=http://www.thinkmind.org/index.php?view=article&articleid=icas_2012_5_20_20056|pages=107–111|publisher=IARIA|isbn=978-1-61208-187-8|access-date=2026-08-21|language=en}}</ref> U jednom je radu primijenjen pristup [[induktivno logičko programiranje|induktivnoga logičkog programiranja]] odozdo prema gore.<ref>{{Citiranje knjige|last=Benson|first=Scott|date=1995|title=Machine Learning: Proceedings of the Twelfth International Conference|chapter=Inductive Learning of Reactive Action Models|publisher=Morgan Kaufmann|language=en}}</ref> Nekoliko rješenja nije izravno utemeljeno na logici, primjerice učenje modela akcija s pomoću algoritma [[perceptron]]a<ref>{{Citiranje časopisa|last=Mourão|first=Kira|last2=Petrick|first2=Ronald|last3=Steedman|first3=Mark|date=2010|title=Learning action effects in partially observable domains|url=https://ebooks.iospress.nl/volumearticle/5920|journal=Frontiers in Artificial Intelligence and Applications|volume=215|pages=973–974|doi=10.3233/978-1-60750-606-5-973|hdl=20.500.11820/810a5579-b991-441a-ad68-af0151689627|hdl-access=free|access-date=2026-08-21|language=en}}</ref> ili višerazinsko pohlepno pretraživanje prostora mogućih modela akcija.<ref>{{Citiranje knjige|last=Zettlemoyer|first=Luke S.|last2=Pasula|first2=Hanna|last3=Kaelbling|first3=Leslie Pack|date=2005|title=Proceedings of the 20th National Conference on Artificial Intelligence (AAAI-05)|chapter=Learning planning rules in noisy stochastic worlds|chapter-url=http://citeseer.ist.psu.edu/viewdoc/summary?doi=10.1.1.65.3417|url-status=dead|archive-url=https://web.archive.org/web/20250331224419/https://citeseer.ist.psu.edu/viewdoc/summary?doi=10.1.1.65.3417|archive-date=2025-03-31|pages=911–918|publisher=AAAI Press|access-date=2026-08-21|language=en}}</ref> U starijem radu iz 1992. učenje modela akcija proučavano je kao proširenje podržanog učenja.<ref>{{Citiranje časopisa|last=Lin|first=Long-Ji|date=1992|title=Self-improving reactive agents based on reinforcement learning, planning and teaching|journal=Machine Learning|volume=8|issue=3–4|pages=293–321|doi=10.1023/A:1022628806385|doi-access=free|language=en}}</ref>

Postoje i algoritmi koji rade uz drukčije pretpostavke. FAMA djeluje i kada dio opažanja nedostaje te daje općenit (engl. ''lifted'') model planiranja; učenje modela akcija tretira kao problem planiranja, pazeći da naučeni model odgovara zadanim opažanjima.<ref>{{Citiranje časopisa|last=Aineto|first=Diego|last2=Jiménez Celorrio|first2=Sergio|last3=Onaindia|first3=Eva|date=2019|title=Learning action models with minimal observability|journal=Artificial Intelligence|volume=275|pages=104–137|doi=10.1016/j.artint.2019.05.003|doi-access=free|language=en}}</ref> NOLAM može naučiti općenite modele akcija i iz zašumljenih ili nepotpunih podataka.<ref>{{Citiranje časopisa|last=Lamanna|first=Leonardo|last2=Serafini|first2=Luciano|date=2024|title=Action Model Learning from Noisy Traces: A Probabilistic Approach|journal=Proceedings of the International Conference on Automated Planning and Scheduling|volume=34|pages=342–350|doi=10.1609/icaps.v34i1.31493|doi-access=free|language=en}}</ref> LOCM se oslanja isključivo na redoslijed akcija u podacima i zanemaruje pojedinosti o stanjima između njih.<ref>{{Citiranje časopisa|last=Cresswell|first=Stephen N.|last2=McCluskey|first2=Thomas L.|last3=West|first3=Margaret M.|date=2013|title=Acquiring planning domain models using LOCM|journal=The Knowledge Engineering Review|volume=28|issue=2|pages=195–213|doi=10.1017/S0269888912000422|language=en}}</ref> Obitelj metoda za sigurno učenje modela akcija (SAM, engl. ''safe action model'') stvara modele koji jamče da će planovi izrađeni s pomoću njih doista biti provedivi u stvarnom svijetu.<ref>Juba, Brendan; Le, Hai S.; Stern, Roni. 2021. [https://proceedings.kr.org/2021/36/kr2021-0036-juba-et-al.pdf Safe Learning of Lifted Action Models] <small>([https://onlydoc.com/pdf-summarizer PDF])</small>. ''Proceedings of the 18th International Conference on Principles of Knowledge Representation and Reasoning (KR 2021)'' (engleski). str. 379–389. {{Doi|10.24963/kr.2021/36}}. Pristupljeno 21. kolovoza 2026.</ref> Njezino proširenje N-SAM može učiti modele akcija s numeričkim uvjetima i učincima.<ref>{{Citiranje časopisa|last=Mordoch|first=Argaman|last2=Juba|first2=Brendan|last3=Stern|first3=Roni|date=2023|title=Learning Safe Numeric Action Models|journal=Proceedings of the AAAI Conference on Artificial Intelligence|volume=37|issue=10|pages=12079–12086|doi=10.1609/aaai.v37i10.26424|doi-access=free|language=en}}</ref>

Numerički modeli akcija poput N-SAM-a mogu se upotrijebiti i za poboljšanje uspješnosti podržanog učenja, i to algoritmom RAMP.<ref>{{Citiranje weba|last=Benyamin|first=Yarin|last2=Mordoch|first2=Argaman|last3=Shperberg|first3=Shahaf S.|last4=Stern|first4=Roni|date=2025-02-18|title=Integrating Reinforcement Learning, Action Model Learning, and Numeric Planning for Tackling Complex Tasks|url=https://arxiv.org/abs/2502.13006|access-date=2026-08-21|website=arXiv|language=en}}</ref>

=== Literatura ===

Većina se radova o učenju akcija objavljuje u časopisima i na konferencijama posvećenima umjetnoj inteligenciji općenito, primjerice u časopisima ''Journal of Artificial Intelligence Research'' (JAIR), ''Artificial Intelligence'' i ''Applied Artificial Intelligence'' (AAI) te na konferencijama udruge AAAI. Unatoč srodnosti tema, učenje modela akcija obično se ne obrađuje na konferencijama posvećenima planiranju, kao što je Međunarodna konferencija o automatskom planiranju i raspoređivanju (ICAPS).

== Poveznice ==

* [[Umjetna inteligencija]]
* [[Inteligentni agenti]]
* [[Indukcija (logika)]]
* [[Logičko programiranje]]
* [[Predstavljanje znanja]]
* [[Rudarenje podataka]]

== Izvori ==

[[Kategorija:Umjetna inteligencija]]
[[Kategorija:Algoritmi]]

Učenje modela akcija - Povijest promjena

Bot1: Automatski uvoz s hrwiki (zadnjih 144 sati)