Направите скуп података за обучавање вештачке интелигенције од постојећих докумената

Историја подршке могла би да послужи за обучавање модела који разврстава захтеве, али су питања и одговори расути по тикетима. Beeuni може да прикупи изабране разговоре, претвори их у означене примере и провери недостајућа поља и дупликате. Након што прегледате спорне ознаке, добијате JSONL скуп података, са једним JSON записом у сваком реду и везама ка изворним тикетима.

Одредите жељено понашање пре избора формата датотеке

Рецимо да желите да модел класификује пристигле захтеве. Сваки пример мора да садржи захтев и одобрену категорију. Ако желите одговоре засноване на приручнику, пример мора да садржи питање, пратећи текст и проверен одговор. Претварање сваког пасуса у питање не доказује да су одговори тачни или корисни.

Повежите услугу у којој се налази материјал или омогућите агенту приступ спремишту документације. Почните од именоване збирке или временског распона. За јавну документацију наведите сајт и одељке које треба укључити. Пре него што прегледате прве примере, затражите од агента да наведе прикупљене изворе и странице које није могао да прочита.

Прво испробајте мањи задатак означавања

Замислите измишљени тим за подршку који припрема класификатор захтева. Тим жели четири ознаке: наплата, приступ налогу, помоћ око производа и потребна је провера. Преко овлашћеног конектора за подршку, агент чита затворене тикете из договореног временског распона. Прикупљајте само поља потребна за означавање и праћење извора, а изоставите контакт податке и неповезане прилоге. Ред у који је тикет стигао не мора да одговара његовој исправној ознаци: агент за наплату можда је одговорио на прослеђено питање о пријављивању.

Сачувајте изворну копију у Computer-у, заједно са референцама на тикете, правилом избора и временом прикупљања. Конверзију покрените над том копијом како измена тикета усред прегледа не би неприметно променила примере. Агент може да напише и покрене скрипте за издвајање и проверу, а затим да заједно испоручи скуп података, скрипте и извештај о прегледу.

Почните од захтева који садрже кратке поруке, дуге преписке и више од једног проблема. Одлучите шта ће бити улаз у тренутку предвиђања. Ако ће модел видети само прву поруку корисника, немојте улаз за обучавање допуњавати коначним решењем. У супротном, модел ће учити из информација које ваша апликација неће имати када стигне нови захтев.

Пре него што затражите од агента да означи остале примере, напишите правило за трећи ред. Захтеве можете усмеравати према непосредној препреци или слати на проверу све захтеве са супротстављеним намерама. Оба приступа могу бити разумна. Ако их оцењивачи примењују неуједначено, модел ће учити из недоследних примера.

Искористите неслагања да побољшате смернице за означавање

Нека два оцењивача независно означе исту малу групу примера. Сачувајте њихове првобитне ознаке и коначну одлуку. Када се не слажу, забележите разлог: недостатак контекста, преклапање категорија или грешка у означавању. Агент може да сакупи такве случајеве у датотеку за преглед, али смернице за усмеравање треба да утврди особа одговорна за радни процес.

Ако нека одлука измени смернице за означавање, поново прегледајте старије примере на које се то правило односи. У случају измишљеног класификатора, избор „непосредна препрека“ сврстава захтев за отказивање под приступ налогу. Исте критеријуме затим треба применити и на друге поруке које спајају проблеме са пријављивањем и плаћањем. Исправљањем само спорног реда задржаћете ранију недоследност.

Изворне поруке држите одвојено од синтетичких варијанти. Преформулисање једног захтева десет пута може да помогне у покривању различитих начина изражавања, али тиме не добијате десет независних ситуација. Ако генеришете варијанте, забележите њихов изворни пример и проверите њихово значење. Мала измена, попут промене „наплаћено ми је“ у „биће ми наплаћено“, може да промени намеравану ознаку.

Пре припреме записа за обучавање сачувајте евиденцију прегледа

Користите посредну шему у којој се извор чува уз сваки пример. Ево како би могао да изгледа измишљени запис за преглед у скупу података са питањима и одговорима. Питање и одговор у вашем скупу података морају потицати из материјала који сте сами проверили.

{"id":"sample-001","source":"sample-handbook.txt","section":"Opening hours","question":"When does the desk open?","answer":"The desk opens at 9 a.m.","review_status":"pending","split":"unassigned"}

Ово је радна шема, а не садржај за слање API-ју за обучавање. После прегледа, претворите одобрене записе у формат који захтева ваш алат за обучавање. Ако тај алат прихвата само поруке или парове улаз-излаз, референце на изворе и одлуке донете током прегледа сачувајте у пратећој датотеци.

Задајте агенту провере које може да изврши

• Структура: рашчланите сваки ред JSONL датотеке и проверите да ли садржи очекивана поља и типове вредности.
• Извори: проверите да ли сваки пример упућује на постојећи извор и одељак.
• Дупликати: упоредите нормализовани текст, а затим засебно прегледајте скоро исте примере. Слична формулација и даље може да описује различите чињенице.
• Приватност: проверите да ли има личних података и приступних података, па пре извоза прегледајте означене записе.
• Покривеност: пребројте примере по категоријама и наведите категорије са мало или нимало прегледаног материјала.

Скрипта може да провери да ли референца на извор постоји. Не може да докаже да је одговор поткрепљен тим извором. Прегледајте одговоре, укључујући примере са недостајућим контекстом или противречним одломцима. Аутоматски генерисане кандидате држите одвојено од одобрених записа.

Исти случај не сме бити и у скупу за обучавање и у тестном скупу

Одредите шта желите да евалуацијом измерите. Ако желите да проверите успешност на невиђеним документима, све примере из једног документа ставите у исти подскуп. Ако више датотека описује исти случај, уместо тога групишите их по случају. Насумично раздвајање редова може довести до тога да скоро исти одговор буде и у евалуационом и у скупу за обучавање.

Затражите train.jsonl, validation.jsonl, манифест извора и извештај о провери. Извештај треба да садржи број записа, одбачене записе, групе дупликата и правило за раздвајање. Када скуп података прође ове провере, можете затражити од Beeuni-ја да покрене експеримент финог подешавања на повезаном рачунару за обучавање.

За класификатор, употребљива испорука уз JSONL датотеке садржи и дефиниције ознака, улазна поља и правило за двосмислене захтеве. Укључите скрипту за припрему и њена подешавања како би други програмер могао да понови конверзију. Забележите из које је групе извора извезен скуп; назив final.jsonl не говори рецензенту шта се променило од претходног извоза.

Ако је изворна датотека табела, водич за чишћење CSV датотека објашњава идентификаторе и недостајуће вредности. Да бисте припрему скупа података обављали преко сопственог интерфејса, почните од SDK водича.