Mittepööratavad tegevused on idee tehisintellekti ohutuse kohta, mida saab rakendada mõtleva süsteemi võrdlemisi primitiivsetest tasemetest alates, erinevalt näiteks "sõbralikust" tehisintellektist. Ideaalis võiks tehisintellekt vältida kõiki tegevusi ja tagajärgi, mida talle pole lubatud, ehk milleks pole antud õigusi, või mille tagajärgi ta teatud piisava kindluse või ammendavusega ei tea.
Sissejuhatav tekst: seega esimese reeglina teeb robot ainult seda, mida lubatud, mitte mida kästud; ning alles teise reeglina seda, mida kästud.
Taibukuse erinevad rakendused. Interpoleerimine vs ekstrapoleerimine.
Võimalikud probleemid, mida uurida. Teemasid võib hiljem lisanduda. Kõik neist ei pea käsitletud saama, kuid nimekirja eesmärk on näidata projektiga tegelemise olulisust ja võimalusi. Nimekiri on hetkel sorteerimata. Uurimuse eesmärgiks oleks need teemad süstematiseerida, leida või luua sobiv terminoloogia ning meetodid probleemidega toimetulekuks.
Mittepööratavate tegevuste vältimine tehislikus üldintellektis, mitte ainult kitsas tehisintellektis.
Tehisintellektis on hulgaliselt käsitletud, kuidas esindada eesmärke. Antud juhul lisandub küsimus, kuidas esindada õigusi midagi teha või mingeid muutusi tagajärjena tekitada (mõne muu eesmärgi raames). Esindada neid õigusi või mitte-õigusi, ilma fikseerimata, mis on (mitte)muudetava kriteeriumi eelistatud väärtus. Luua süsteeme, mis töötavad teatud kindlate eesmärkide suunas, ja ühendavad eesmärgipärase käitumise protsessid õiguste poolt piiratud käitumise kontrolliga. Seega uus süsteem, kus omakorda nüüd mitte ainult õigused, vaid õigused pluss eesmärgid.
Idee, et algul süsteem väldiks kõiki või võimalikult kõiki tagajärgi ja ei teeks midagi. Seega süsteem ei teeks midagi, mida talle pole lubatud. Ei saaks tekkida olukorda, kus on mingit sorti tagajärjed, mida süsteem ei tea ega hooli, kuigi luba pole ka antud. Kui sellised olukorrad on teatud juhul paratamatud, kus robot ei tea, et midagi üldse on vältida, siis nende olukordade liigitus.
Operantsed eesmärgid (eelistatud väärtuse saavutamine) versus maksimiseerivad eesmärgid (näiteks reinforcement learning).
Kuidas kategoriseerida põhilised õiguste tüübid.
Valikud alternatiivide vahel, kuid mingit sorti mittepööratavus või selle võimalus on paratamatu.
Välditavate sündmuste tõenäosus versus välditavate sündmuste määr versus välditavate sündmuste tähtsus. Oluline eristus, mul pikem jutt selle kohta. Need aspektid ei ole otsustamisel kommutatiivsed!
Mittepööratavusest üle saamine. Graafid. Lisaks, "tagasipööramine" võib olla erinev või spetsiifilisem tegevusjärgnevus, kui seda oli esialgne tegevus (igal tegevusel pole vastandtegevust).
Alternatiivid tegevuste pööramisele, kui mõni tegevus pole pööratav või pole täielikult pööratav. Samuti, mõni tegevus võib olla "pööratav" mitmel moel. Teatud juhtudel vajalik vältida olukordi, kus on võimalik pöörata peaaegu, aga mitte täiesti. Või võimalik pöörata teatud tõenäosusega, aga mitte täiesti kindlalt.
Tegevuste pööramine, kui selleks tekib hiljem oskus. Olukorrad, kus hilisem pööramine ei ole hea mõte.
Reeglid, mis kirjeldavad: kui vaadeldav sündmus on pööratav, siis kas on oluline, et see pööratakse võimalikult kiiresti, või mitte. Prioriteedid ja aja-aknad.
Kas kriteeriumi-väärtuse pidev kõikumine on lubatud.
Sündmuse toimumise ja kestmise "hinna" parameeter, versus "tohib olla mittepööratav" / "ei tohi olla mittepööratav".
Küsimus, kas millegi teket võib lugeda sündmuseks, mille pööratavus vajab luba.
Mittepööratavad tegevused mitme piirangu korral ja suure hulga piirangute korral. Eesmärkide saavutamiseks vaja minevate tegevuste lubamise protsess, nende õiguste andmine süsteemile. Probleem, et need õigused ei võimaldaks samas mittesoovitud tegevusi.
Analoogselt, eesmärgisüsteem mitme eesmärgi / seadistuspunktiga.
Süsteem, mis sisaldab palju "nõrku" piiranguid, mis kõik osaliselt kattuvad. Teoreetiliselt peaks andma stabiilse ja kergesti ettearvatava käitumise.
Vältimise kustumise probleem (osades kognitiivsetes mudelites vältimine kustub, kui see on alati tulemuslik ja seega kardetud sündmust ei toimu).
Vajadusel tõestus, et täiesti turvalist süsteemi pole võimalik luua. Või tõestus, kust maalt lähevad turvalisuse piirid.
Kognitiivsed heuristikud ja mõtlemise vead. Esinevad inimestel (pikk nimekiri) ja samamoodi tuleb leida ja üles märkida / süstematiseerida ka need, mis käivad tehissüsteemide kohta. Sammud nendest ülesaamiseks või nendega arvestamiseks.
Piirangud süsteemi töötlusmahtudes ja nendega arvestamine.
Taju / sensorite vead, eristusvõime või piiratud nähtavus teatud tingimustes. Nendega arvestamine.
Otsustamine olukordades, kus tegevuste tulemused pole täpselt teada.
Piirangud, kui kaugele suudab süsteem tegevuste tagajärgi ette näha.
Piirangud, kui keerulisi tagasipööramisi süsteem oskab läbi viia. Kaasa arvatud olukorrad, kus tuleb läbi viia mitmeid tagasipööramisi korraga.
Standardsed piirangute klassid, mis peaksid enamustel süsteemidel rakendatud olema. Vajalikud ja piisavad piirangud.
Kõige olulisemad asjad, mida vältida. Prioriteedid.
Keel, milles kommunikeerida neid õigusi ja keeldusid selgelt ja minimaalse mitmetimõistetavusega.
Õiguste ja keeldude üldisuse erinevad tasemed. Lisaks üldistamine uutele olukordadele.
Võimalikud konfliktid erinevate õiguste ja piirangute vahel, näiteks kui need on erineva üldisuse tasemega. Nende lahendamine.
Piirangud, mis on vajalikud süsteemi enese kaitse huvides ja piirangud, mis on vajalikud inimeste või vara kaitse huvides.
Probleem: vältida mittepööratavaid tegevusi ja samas õppida maailma tundma. Esiteks, alati on üllatusi, s.h ka maailm muutub; teiseks, omaalgatuslik teadmiste hankimine ja katsetamine. Innovatiivsus versus piirangute rangus. Uudistav käitumine. Selle kontekstisõltuvus.
Mittepööratavate tegevuste vältimine, kuid samas teatud juhtudel kriteeriumiks oleva väärtuse muutumise võimaldamine, kui see muutub välistel põhjustel. Nende süsteemi enda tegevustest tulenevate ja täiesti sõltumatute väliste põhjuste eristama õppimine, ehk credit assignment. Lisaks vahepealsed põhjuslikkuse tasemed, kus näiteks osalevad nii väline kui süsteemi tegevuse põhjuslikkus. Lisaks eristus erinevate väliste põhjuste vahel: inimesest lähtuvad põhjused, teistest süsteemidest lähtuvad põhjused, muutuva objekti enda seest lähtuvad põhjused.
Süsteemi eesmärkide ja piirangute muutmise küsimused, probleemid mis võivad kaasneda ja lahendused. Lisaks, süsteem ei tohi vastu hakata, kui teatud välised mõjurid (inimesed) tema eesmärke muudavad. Vastupanu võib teoreetiliselt tekkida, kuna eesmärkide muutumist võib käsitleda mittepööratava sündmusena. Mõnel juhul vastupanu aga lausa peab tekkima.
Mittepööratavaid tegevusi vältiv süsteem peab vältima teatud sorti enesearendust, kuna selle tagajärjed võivad viia samuti mittepööratavate tegevusteni. Keerulisem aga eksisteeriv uurimisküsimus: süsteemid, mis ennast arendavad nõnda, et nad saavad tõestada enda uue versiooni vastavust varasematele nõuetele.
Süsteemi oskus ise küsida vajadusel õigeid lisa-õigusi. Ajutised õigused. Õiguste automaatne teke ja lõppemine. Konteksti-sõltuvad õigused.
Süsteemi oskus paluda sooritada mittepööratav tegevus mingil teisel agendil või inimesel. Küsimus, millal selline tegevus võib olla lubatud ja millal mitte. Teatud juhtudel süsteem peab ka selliseid palveid vältima. Ning teatud juhtudel on kasulik, et kui ta oskab neid asju küsida.
Mitme mittepööratavaid tegevusi vältiva süsteemi koostöö, süsteemid võivad olla erinevate piirangutega.
Tegevuste õigused versus tagajärgede õigused.
Õiguste kriteeriumid mitte ainult: "tohib muuta" versus "ei tohi", vaid ka lubatud vahemikud.
Mittepööratavad tegevused diskreetses maailmas / tehismaailmas / mängudes versus mittepööratavad tegevused füüsilises maailmas.
Eetika, empiirilised väärtusesüsteemid.
Kuidas "piirangute" või "õiguste" keeles väljendada tehisintellekti "sõbralikkuse" ideed. Inimkonna normatiivsete eesmärkide nimekiri.
Pööratavate ja mittepööratavate tegevuste õppimise võime täiendavad rakendused:
Takistuste vältimine.
Mingi tegevuse harjutamine, mis toetub pööratava tegevuse korduva sooritamise võimele.
Võime õppida, mis tagajärg on millise tegevuse tulemus. Credit assignment. Blokeerimise nähtus klassikalises tingimises / selle mudel võimaldab credit assignment küsimust tõhusamalt lahendada.
Tutvustus tehisintellekti ohtudest ja miks on turvaline tehisintellekt pakiline küsimus.
Kas on võimalik, et süsteem saaks ise enda õiguste / piirangute üle reflekteerida ning märku anda, kui leiab, et talle on antud ülearuseid õigusi, või õigusi, mis võivad anda muuhulgas ebasoovitavaid tulemusi.
Sensoorse enesepettuse probleem. Oluline! Et süsteem ei saavutaks "mittepööratavuse vältimist" selle läbi, et katab oma sensorid kinni ja siis loebki, et mittelubatud muutusi sensoorses maailmas ei toimu mistahes tegude tagajärjena.
Siit tuleneb järgnevalt ka vaimse enesepettuse probleem, kuna tähelepanu on vajalik vähemalt optimiseerimiseks, hiljem märgiliselt vahendatud mõtlemiseks, kuid mündi teine külg on, et tähelepanu omakorda võimaldab veel mitmekesisemat enesepettust, kui seda on sensoorne.
Tehnoloogiad probleemi lahendamiseks:
Operantse mõtlemise mudel, juhtimisteooria. Suurema hulga seadistuspunktide kui mittepööratavate sündmuste klasside esindajate korraga kasutamine. Operantse mõtlemise mudel või juhtimisteooria võimaldab nii eesmärke kui ka õigusi esindada läbi seadistuspunktide. Eesmärkide puhul määratakse eelistatud väärtused, õiguste puhul lubatud või mittelubatud muutused, ilma eelistatud väärtuste määramiseta.
Reinforcement learning kui alternatiiv.
Blokeerimise nähtus klassikalisest tingimisest kui võimalik areng credit assignment küsimuses
One of his more humorous devices was a box kept on his desk called the "Ultimate Machine", based on an idea by Marvin Minsky. Otherwise featureless, the box possessed a single switch on its side. When the switch was flipped, the lid of the box opened and a mechanical hand reached out, flipped off the switch, then retracted back inside the box. - http://en.wikipedia.org/wiki/Claude_Shannon
kommentaarium spämmi tõttu ajutiselt välja lülitatud
