Користите Beeuni за покретање и евалуацију експеримента финог подешавања модела

Скрипта за тренирање престаје да ради током ноћи. У излазној фасцикли постоји контролна тачка, односно сачувано стање модела у одређеном тренутку тренирања, али се дневник завршава пре евалуације. Да ли је тренирање завршено? Може ли сачувани модел да се учита? Која подешавања су коришћена? Beeuni агент може да прегледа датотеке и дневнике, покуша да учита контролну тачку и утврди шта је завршено пре него што одлучите да ли да поновите извршавање.

Уз приступ вашем рачунару за тренирање, агент може да прегледа код и податке, извршава команде, чита дневнике и прикупља резултате евалуације. Ви бирате модел и одређујете шта се сматра побољшањем. Beeuni користи софтвер за тренирање и рачунарске ресурсе доступне на том рачунару да обави посао.

Почните од једног понашања које желите да промените

Размотрите класификатор захтева за подршку из водича за скуп података. Он разврстава захтеве у категорије наплате, приступа налогу, помоћи за производ или провере. Желите да испитате да ли фино подешен модел доследније бира исправну категорију од основног модела са инструкцијама. Задржите примере који обухватају и приступ и наплату: они ће показати да ли је модел научио која категорија има предност када захтев садржи више проблема.

Дајте агенту дефиниције ознака, прегледане записе за тренирање и засебан скуп за евалуацију. Нека покрене основни модел на том скупу за евалуацију пре промене тежина. Сачувајте идентификатор модела, инструкције, подешавања генерисања и предвиђања. Без тог полазног резултата, успешно извршена команда за тренирање врло мало говори о томе да ли је додатни рад помогао.

Подесите приступ рачунару за тренирање

Повежите рачунар на ком ће се експеримент извршавати преко Computer Tunnel и изаберите га у активном профилу. Омогућите приступ систему датотека и командној љусци у директоријуму за тренирање. Упутите агента на репозиторијум, локацију скупа података и окружење Python. За тренирање на графичком процесору, затражите да провери доступан уређај, меморију, управљачке програме и компатибилност радног оквира пре него што изабере подешавања.

Основни модел и метод тренирања одређују колико меморије и рачунарских ресурса вам је потребно. Код метода са адаптером тренира се мала група додатних параметара, док тежине основног модела остају непромењене. Ажурирање свих тежина обично захтева више ресурса. Нека Beeuni агент прегледа скрипту за тренирање и доступан хардвер, па објасни да ли планирана подешавања одговарају. Пре почетка прегледајте предложене инсталације пакета, преузимања модела и измене окружења.

Use the connected training computer and repository I specify.
Inspect the training script, model access, Python environment, and available devices.
Validate the reviewed dataset and keep the evaluation set separate.
Run the base-model evaluation and save its predictions.
Propose a small fine-tuning run with the settings and output directory shown.
Wait for my approval before starting training or changing the environment.
Save the command, configuration, logs, and evaluation results for each run.

Нека прво извршавање буде довољно мало да можете да га прегледате

Пре потпуног извршавања, употребите мали подскуп података за тренирање да проверите цео поступак. Може ли токенизатор да прочита записе? Да ли су ознаке доследно представљене? Да ли модел учи да предвиђа жељени текст? Може ли скрипта да сачува контролну тачку и учита је да одговори на захтев? Ове провере откривају неисправно подешавање пре него што утрошите време на тренирање на целом скупу података.

Затражите од Beeuni агента да прикаже један пример тачно онако како ће га прочитати скрипта за тренирање. Нека означи текст који модел учи да предвиђа и текст који добија само као контекст. Губитак током тренирања мери грешке у тим предвиђањима. Ако скрипта користи погрешна поља, тренирање може да ради нормално, а ипак учи модел погрешном понашању. Прегледајте тај пример пре него што се ослоните на графикон губитка.

Чувајте сваки експеримент у засебном излазном директоријуму. Забележите ревизију кода, верзију скупа података, основни модел, метод тренирања, почетну вредност генератора случајних бројева и подешавања. Ако метод чува само адаптер, забележите који му је основни модел потребан. Фасцикла са тежинама треба да садржи довољно информација за поновно учитавање модела.

Проверите напредак тренирања без поновног покретања задатка

Користите систем за покретање задатака на рачунару за тренирање или трајну терминалску сесију, уз уписивање дневника на диск. Нека агент забележи како да прегледате и зауставите тај задатак. Команди покренутој током позива алата потребно је сопствено управљање процесом; веза за ћаскање не би требало да буде једини запис да је покренута.

Када затражите извештај о напретку, агент може да провери забележени задатак, прочита најновији дневник и прегледа сачуване контролне тачке. Ако се веза прекине, проверите да ли је исти задатак и даље покренут пре него што покренете други. Наставак рада од контролне тачке зависи од тога шта је радни оквир за тренирање сачувао, укључујући стање оптимизатора и планера када су она потребна.

Ако дође до грешке због недостатка меморије, нека агент сачува неуспешну конфигурацију и прочита грешку пре него што предложи промену. Смањење величине групе, скраћивање секвенци или промена метода тренирања могу да утичу и на потрошњу меморије и на експеримент. Забележите измењена подешавања као засебно извршавање како би поређење остало разумљиво.

Упоредите грешке, па одлучите шта да задржите

Нека подешени модел одговори на исте примере који су коришћени за оцену основног модела. Ти примери не смеју бити део података за тренирање, а подешавања предвиђања и правила оцењивања треба да остану иста. За класификатор захтева за подршку упоредите резултате по категоријама и прегледајте захтеве којима је промењена категорија. Повећање укупне тачности може да прикрије лошију обраду ретких случајева који су вам важни.

Затражите од Beeuni да напише извештај који повезује промењена предвиђања са изворним примерима и подешавањима извршавања. Ако измените скуп података након прегледа ових грешака, употребите засебан тестни скуп за коначну одлуку. Понављано подешавање према истим примерима може да учини да евалуација изгледа боље, а да се учинак на новим захтевима не побољша.

Чувајте изабране тежине или адаптер, упутства за учитавање, детаље о окружењу и извештај о евалуацији на једном месту. Испробајте учитавање резултата у новом процесу. Пуштање у рад може да уследи када прихватите поређење; до тада, постојећи модел може да настави да опслужује вашу апликацију док експеримент остаје одвојен.