Is e seòrsa de ionnsachadh inneal a th’ ann an ionnsachadh neartachaidh (RL). San dòigh-obrach seo, bidh algorithms ag ionnsachadh gus co-dhùnaidhean a dhèanamh tro dheuchainn agus mearachd, mar a bhios daoine a’ dèanamh.
Nuair a chuireas sinn fios air ais daonna a-steach don mheasgachadh, bidh am pròiseas seo ag atharrachadh gu mòr. Bidh innealan an uairsin ag ionnsachadh bhon dà chuid na gnìomhan aca agus an stiùireadh a bheir daoine seachad. Tha an cothlamadh seo a’ cruthachadh àrainneachd ionnsachaidh nas beothaile.
San artaigil seo, bruidhnidh sinn mu cheumannan an dòigh ùr-ghnàthach seo. Tòisichidh sinn le bunaitean ionnsachadh neartachaidh le fios air ais bho dhaoine. An uairsin, coisichidh sinn tro na prìomh cheumannan ann a bhith a’ buileachadh RL le fios air ais bho dhaoine.
Dè a th’ ann an Ionnsachadh Neartachaidh le Fios air ais Daonna (RLHF)?
Neartachadh Ionnsachadh bho Fios air ais Daonna, no RLHF, mar dhòigh anns am bi AI ag ionnsachadh bho gach cuid deuchainn is mearachd agus cuir a-steach daonna. Ann an ionnsachadh innealan àbhaisteach, bidh AI a’ leasachadh tro iomadh àireamhachadh. Tha am pròiseas seo luath ach chan eil e an-còmhnaidh foirfe, gu sònraichte ann an gnìomhan leithid cànan.
Bidh RLHF a’ dol a-steach nuair a dh’ fheumas AI, mar chatbot, ùrachadh. San dòigh seo, bidh daoine a’ toirt fios air ais don AI agus ga chuideachadh le bhith a’ tuigsinn agus a’ freagairt nas fheàrr. Tha an dòigh seo gu sònraichte feumail ann an giullachd cànain nàdarra (NLP). Tha e air a chleachdadh ann an chatbots, siostaman guth-gu-teacsa, agus innealan geàrr-chunntas.
Mar as trice, bidh AI ag ionnsachadh le siostam duais stèidhichte air na rinn e. Ach ann an gnìomhan iom-fhillte, faodaidh seo a bhith duilich. Sin far a bheil fios air ais daonna riatanach. Bidh e a’ stiùireadh an AI agus ga dhèanamh nas loidsigeach agus nas èifeachdaiche. Tha an dòigh-obrach seo a’ cuideachadh le bhith a’ faighinn thairis air na crìochan air ionnsachadh AI leis fhèin.
An t-amas aig RLHF
Is e prìomh amas RLHF modalan cànain a thrèanadh gus teacsa tarraingeach agus ceart a thoirt gu buil. Tha an trèanadh seo a’ gabhail a-steach beagan cheumannan:
An toiseach, bidh e a 'cruthachadh modail duais. Tha am modail seo a’ ro-innse dè cho math sa bhios daoine a’ meas teacsa an AI.
Bidh fios air ais bho dhaoine a 'cuideachadh le bhith a' togail a 'mhodail seo. Bidh am fios-air-ais seo a’ cumadh modal ionnsachaidh inneal gus tomhasan daonna a thomhas.
An uairsin, bidh am modail cànain air a ghleusadh le bhith a’ cleachdadh a’ mhodail dhuaisean. Bidh e a’ toirt duais don AI airson teacsa a gheibh ìrean àrda.
Cuidichidh an dòigh seo leis an AI fios a bhith aca cuin a bu chòir cuid de cheistean a sheachnadh. Bidh e ag ionnsachadh a bhith a’ diùltadh iarrtasan a tha a’ toirt a-steach susbaint cronail leithid fòirneart no leth-bhreith.
Is e eisimpleir ainmeil de mhodail a tha a’ cleachdadh RLHF ChatGPT aig OpenAI. Bidh am modail seo a’ cleachdadh fios air ais bho dhaoine gus freagairtean a leasachadh agus an dèanamh nas buntainniche agus nas cunntachaile.
Ceumannan de Ionnsachadh Neartachaidh le Fios air ais Daonna
Tha Ionnsachadh Neartachaidh le Fios air ais Daonna (RLHF) a’ dèanamh cinnteach gu bheil modalan AI comasach gu teicneòlach, làidir gu beusach, agus buntainneach a thaobh co-theacsa. Coimhead a-steach do na còig prìomh cheumannan de RLHF a bhios a’ sgrùdadh mar a chuireas iad ri bhith a’ cruthachadh siostaman AI sòlaimte, air an stiùireadh le daoine.
A’ tòiseachadh le Modail Ro-thrèanadh
Bidh turas RLHF a’ tòiseachadh le modail ro-thrèanadh, ceum stèidheachaidh ann an Ionnsachadh Inneal Daonna-san-Lùb. An toiseach air an trèanadh air stòran-dàta farsaing, tha tuigse fharsaing aig na modailean sin air cànan no gnìomhan bunaiteach eile ach chan eil speisealachadh aca.
Bidh luchd-leasachaidh a 'tòiseachadh le modail ro-thrèanadh agus a' faighinn buannachd mhòr. Tha na modailean sin mar-thà air ionnsachadh bho mhòran dàta. Bidh e gan cuideachadh gus ùine agus goireasan a shàbhaladh anns a’ chiad ìre trèanaidh. Tha an ceum seo a’ suidheachadh na h-ìre airson trèanadh nas cuimsichte agus nas sònraichte a leanas.
Mion-sgeadachadh fo stiùir
Tha an dàrna ceum a’ toirt a-steach mion-sgrùdadh fo stiùir, far am bi am modail ro-thrèanadh a’ faighinn trèanadh a bharrachd air gnìomh no raon sònraichte. Tha an ceum seo air a chomharrachadh le bhith a’ cleachdadh dàta le bileagan, a tha a’ cuideachadh a’ mhodail gus toraidhean nas cinntiche agus nas iomchaidh a chruthachadh a thaobh co-theacsa.
Tha am pròiseas gleusaidh seo na phrìomh eisimpleir de Thrèanadh AI air a stiùireadh le daoine, far a bheil pàirt cudromach aig breithneachadh daonna ann a bhith a’ stiùireadh an AI a dh’ ionnsaigh giùlan agus freagairtean a tha thu ag iarraidh. Feumaidh luchd-trèanaidh dàta sònraichte a thaghadh agus a thaisbeanadh gu faiceallach gus dèanamh cinnteach gu bheil an AI ag atharrachadh a rèir nuances agus riatanasan sònraichte na h-obrach a tha ri làimh.
Trèanadh modail duais
Anns an treas ceum, bidh thu a’ trèanadh modail air leth gus toraidhean ion-mhiannaichte a ghineas AI aithneachadh agus a dhuaiseachadh. Tha an ceum seo aig cridhe Ionnsachadh AI stèidhichte air fios air ais.
Bidh am modail duais a’ measadh toraidhean an AI. Bidh e a’ sònrachadh sgòran stèidhichte air slatan-tomhais leithid buntainneachd, mionaideachd, agus co-thaobhadh ris na builean a tha thu ag iarraidh. Bidh na sgòran sin mar fhios air ais agus a’ stiùireadh an AI gu bhith a’ toirt a-mach freagairtean de chàileachd nas àirde. Tha am pròiseas seo a’ comasachadh tuigse nas mionaidiche air gnìomhan iom-fhillte no cuspaireil far am faodadh stiùireadh soilleir a bhith gu leòr airson trèanadh èifeachdach.
Ionnsachadh Neartachaidh tro Optimization Poileasaidh Proximal (PPO)
An ath rud, bidh an AI a’ dol tro Ionnsachadh Neartachaidh tro Proximal Policy Optimization (PPO), dòigh-obrach algorithmach sòlaimte ann an ionnsachadh innealan eadar-ghnìomhach.
Tha PPO a’ leigeil leis an AI ionnsachadh bho eadar-obrachadh dìreach leis an àrainneachd aige. Bidh e ag ùrachadh a phròiseas co-dhùnaidh tro dhuaisean agus peanasan. Tha an dòigh seo gu sònraichte èifeachdach ann an ionnsachadh agus atharrachadh fìor-ùine, leis gu bheil e a’ cuideachadh an AI a bhith a’ tuigsinn buaidh a ghnìomhan ann an diofar shuidheachaidhean.
Tha PPO gu mòr an sàs ann a bhith a’ teagasg an AI gus àrainneachdan iom-fhillte, fiùghantach a sheòladh far am faodadh na builean a thathar ag iarraidh a thighinn air adhart no a bhith duilich a mhìneachadh.
Sgioba Dearg
Tha an ceum mu dheireadh a’ toirt a-steach deuchainn chruaidh san t-saoghal air an t-siostam AI. An seo, tha buidheann eadar-mheasgte de luchd-measaidh, ris an canar an 'sgioba dearg,' thoir dùbhlan don AI le diofar shuidheachaidhean. Bidh iad a’ dèanamh deuchainn air a chomas air freagairt gu ceart agus gu h-iomchaidh. Bidh an ìre seo a’ dèanamh cinnteach gun urrainn don AI dèiligeadh ri tagraidhean san t-saoghal fhìor agus suidheachaidhean ris nach robh dùil.
Bidh Sgioba Dearg a’ dèanamh deuchainn air comas teignigeach an AI agus neart beusanta agus co-theacsail. Bidh iad a’ dèanamh cinnteach gu bheil e ag obair taobh a-staigh crìochan moralta agus cultarail iomchaidh.
Tro na ceumannan sin, tha RLHF a’ cur cuideam air cho cudromach sa tha com-pàirt daonna aig gach ìre de leasachadh AI. Bho bhith a’ stiùireadh a’ chiad trèanadh le dàta air a leigheas gu faiceallach gu bhith a’ toirt seachad fios air ais adhartach agus deuchainnean cruaidh san t-saoghal, tha cur-a-steach daonna deatamach ann a bhith a’ cruthachadh shiostaman AI a tha tuigseach, cunntachail, agus ceangailte ri luachan is beusachd daonna.
Co-dhùnadh
Tha Ionnsachadh Neartachaidh le Fios air ais Daonna (RLHF) a’ nochdadh àm ùr ann an AI leis gu bheil e a’ measgachadh lèirsinn daonna le ionnsachadh innealan airson siostaman AI nas beusanta, ceart.
Tha RLHF a’ gealltainn gum bi AI nas co-fhaireachdainn, in-ghabhalach agus nas ùr-ghnàthach. Faodaidh e aghaidh a thoirt air claon-bhreith agus fuasgladh cheistean àrdachadh. Thathas an dùil cruth-atharrachadh a dhèanamh air raointean leithid cùram slàinte, foghlam, agus seirbheis teachdaiche.
Ach, tha feum air oidhirpean leantainneach gus an dòigh-obrach seo ùrachadh gus dèanamh cinnteach à èifeachdas, cothromachd agus co-thaobhadh beusach.
