Post gan Joe ac Aron, Uned Gwyddor Data, Llywodraeth Cymru

Read this page in English

Yn ddiweddar, mae’r Uned Gwyddor Data wedi bod yn archwilio ffyrdd posibl o ddefnyddio AI Cynhyrchiol. Mae un prosiect wedi datblygu offeryn profi cysyniad sy’n defnyddio AI Cynhyrchiol i helpi i olygu cynnwys testun. Nod yr offeryn oedd:

• cefnogi dylunwyr cynnwys yn Llywodraeth Cymru drwy ddarparu drafft gwell i’w ddefnyddio’n sail i’w gwaith; a
• helpu pawb i gynhyrchu cynnwys gwell (nid oes gennyn ni ddigon o ddylunwyr cynnwys ar gyfer ein holl gynnwys!)

Gallai’r offeryn arbed amser i’r dylunwyr cynnwys, yn eu galluogi i ganolbwyntio eu sgiliau ar y problemau mwy heriol ac yn gwella ein cynnwys ysgrifenedig.

Yr hyn wnaethon ni

Diben y fersiwn bresennol o’r offeryn yw:

• gwneud cynnwys yn haws ei ddeall drwy ddefnyddio geiriau a brawddegau byrrach a symlach;
• gwella hygyrchedd cynnwys drwy ddilyn canllawiau ar greu cynnwys Hawdd-ei- Ddeall ar gyfer testun (dysgwch fwy am greu cynnwys Hawdd-ei-Ddeall gan Gymdeithas y DU ar gyfer Fformatau Hygyrch);
• golygu strwythur y cynnwys fel ei bod yn hawdd ei ddeall, bod ganddo lif rhesymegol a bod penawdau, pwyntiau bwled a disgrifiadau byrrach yn cael eu defnyddio i gyfleu gwybodaeth; a
• darparu rhagor o gysondeb, gan ddefnyddio’r un broses i olygu llawer o ddarnau o gynnwys i sicrhau bod canllawiau arddull yn cael eu dilyn yn gyson ar draws amrediad o gynnwys, platfformau, cynulleidfaoedd a fformatau.

Hyd yn hyn, rydyn ni wedi profi tri Model Iaith Mawr. Efallai eich bod wedi clywed am Fodelau Iaith Mawr fel Chat GPT neu Microsoft CoPilot, neu hyd yn oed wedi’u defnyddio o’r blaen. Rydyn ni’n arbrofi gyda modelau tebyg mewn amgylchedd prawf fel y gallwn reoli pa mor greadigol y gall y model fod, faint o destun y gall ei gynhyrchu a phrofi sut mae’r model yn ymateb i gael gwybodaeth ychwanegol fel rôl.

Ar y prosiect hwn, er enghraifft, rydyn ni wedi rhoi rôl i Fodelau Iaith Mawr gan ddefnyddio awgrymiadau (cyfarwyddiadau) fel:

• “Rydych yn ddylunydd cynnwys sy’n gyfrifol am olygu cynnwys i’w wneud yn haws ei ddeall a’i ddarllen”; ac
• “Rydych yn feirniad cynnwys ac fel rhan o’ch rôl rydych yn rhoi adborth ar hygyrchedd gwybodaeth ar ffurf testun”.

Mae ein profion yn rhoi rôl ac arweiniad penodol i’r model ynghylch sut i ddylunio cynnwys mewn modd effeithiol. Rydyn ni’n darparu drafft cyntaf o rywfaint o gynnwys ac wedyn yn gofyn i’r model ei olygu gan ddefnyddio canllawiau Llywodraeth Cymru ar greu cynnwys Hawdd-ei-Ddeall. Mae hyn yn cynnwys pethau fel:

• osgoi’r llais goddefol;
• rhoi pynciau tebyg gyda’i gilydd;
• osgoi negatifau dwbl; a
• defnyddio un syniad yn unig mewn un frawddeg.

Mae ein casgliadau isod

Mae’r model yn dychwelyd drafft wedi’i ddiweddaru sy’n unioni materion hygyrchedd ac yn symleiddio’r cynnwys gwreiddiol. Rhoddir cymhariaeth o’r drafft gwreiddiol a’r fersiwn ddiwygiedig gan AI isod.

Ffigur 1: Enghraifft o gynnwys drafft cyntaf cyn ac ar ôl golygu gan AI:

 Er mwyn deall a yw’r drafft wedi cael ei symleiddio, gwnaethon ni ddefnyddio offeryn Flesch Kincaid (Flesch Kincaid Grade Level) i fesur y lefel darllen. Mae offeryn Flesch Kincaid yn mesur lefel darllen bras darn o destun, ac fe’i defnyddir yn aml i nodi pa mor anodd ei ddeall yw testun. Yn ystod ein harbrofion, gostyngodd y model oedran darllen cynnwys yn llwyddiannus ar gyfer saith o wyth enghraifft. Mewn rhai o’r achosion hyn perfformiodd y model cystal neu hyd yn oed yn well na dylunwyr cynnwys dynol. Mae offeryn Flesch Kincaid yn gam mawr tuag at ddangos pa mor anodd ei ddarllen yw darn o destun ond dim ond un rhan o ddylunio cynnwys da yw symleiddio.

Rydyn ni hefyd am asesu a yw’r cynnwys wedi’u rhoi yn adrannau gwahanol er mwyn sicrhau bod y testun yn llifo mewn ffordd gydlynol, ac a yw’r holl wybodaeth berthnasol wedi cael ei chynnwys. Am y rheswm hwn, rydyn ni hefyd wedi dewis asesu’r cynnwys â llaw gyda gwyddonwyr data a dylunwyr cynnwys i gael adborth ar y gwaith gan bobl.

Mae adolygiadau â llaw wedi dangos bod y model wedi llwyddo i gyflawni rhai o’r tasgau y gofynnwyd iddo eu gwneud, fel cael gwared ar ymadroddion penodol. Un enghraifft o hyn yw newid “carbon monoxide is a silent killer” i “carbon monoxide is a dangerous gas that can’t be seen or smelled. It can be deadly”.

Fodd bynnag, ar yr un pryd rydyn ni hefyd wedi gweld rhai cyfyngiadau:

• canfu dylunwyr cynnwys fod y model weithiau’n colli rhywfaint o lif rhesymegol y cynnwys ac yn dewis adrannau a oedd i’w gweld yn ddigyswllt; a
• weithiau mae’r model yn diystyru canllawiau penodol Llywodraeth Cymru ar arddull.

Rydyn ni hefyd yn gwybod nad yw’r model yn gallu mynd yn ôl a gofyn am eglurhad neu wybodaeth bellach fel y gall pobl sy’n dylunio cynnwys. Mae’n dangos pa mor bwysig ydyw bod dylunwyr cynnwys yn goruchwylio’r cynnwys sy’n cael ei olygu gan AI a bod yn rhan o’r broses ddylunio.

Ein nod yw defnyddio’r offeryn profi cysyniad fel offeryn cynorthwyol yn y dyfodol gyda rhai diweddariadau, i fynd i’r afael â’r adborth uchod .

Rydyn ni’n gobeithio diweddaru’r blog hwn yn y dyfodol â rhagor o wybodaeth a chanllawiau ynghylch ein gwaith o ran defnyddio Modelau Iaith Mawr i helpu gyda dylunio cynnwys.

---