Инфраструктура за RSI истраживање: покретање и евалуација агената који се самопобољшавају

Истраживачки агент измени алат за претрагу у сопственом коду и реши задатак на ком је раније падао. Може ли сада да реши и друге задатке? Може ли побољшана верзија поново да пронађе корисну измену? Да бисте то проверили, треба више пута мењати програме, изводити експерименте и поредити резултате. Beeuni даје рачунар на ком агенти то раде уз ваш код, алате и скрипте за евалуацију.

Рекурзивно самопобољшавање, или RSI, испитује може ли систем да побољша себе, укључујући начин на који ствара наредна побољшања. У експерименту агент може да измени код, упутства или алате, тестира измену и употреби успешну верзију за следећи покушај. На примеру алата за претрагу показаћемо како Beeuni помаже током тог поступка.

Дајте Beeuni-ју код и конкретно питање

Повежите репозиторијум са агентом и тестовима. Наведите како се инсталира, која команда покреће евалуацију и шта агент сме да мења. Прво питање може бити уско: може ли алат да врати релевантну функцију уместо да моделу шаље целу датотеку?

Истраживачко питање одређује шта агент сме да мења. Можете да испитујете да ли друга упутства побољшавају планирање, нова претрага смањује непотребно читање или другачије памћење помаже каснијим задацима. Раздвојите те експерименте. Измена тежина модела захтева другачију поставку, метод обучавања и рачунарске ресурсе.

Inspect the file-search tool in this repository.
Run the existing coding-task tests before changing it.
Try returning matching functions with their file paths and line numbers.
Keep the model and test settings unchanged.
Run the same tests again. Save the patch, raw logs, and a comparison report.
Do not change the tests or merge the code.

Beeuni може да прочита имплементацију, изврши команде за инсталацију и покрене тестове у терминалу. Ако недостаје зависност или се тест сруши, може да прегледа грешку и потражи узрок. Рад пратите у сесији, а направљене датотеке можете да отворите.

Покрените постојећи алат пре него што испробате измену

Прво затражите да Beeuni покрене неизмењеног агента. Сачувајте који су задаци прошли, који нису и које су грешке пријављене. Ако ваш тестни програм бележи потрошњу модела, позиве алата или трајање, сачувајте и то. Сада имате резултате са којима можете да упоредите измењену верзију.

Затим допустите агенту да измени алат за претрагу и поново покрене исту команду. Модел, списак задатака и ограничења оставите непромењене. Нека агент сваку промену резултата објасни одговарајућим логом. Мања потрошња токена је важна, али проверите и задатак који сада пада зато што је скраћени резултат претраге изоставио потребан код.

То су датотеке које тражите од агента да направи помоћу ваших скрипти. Beeuni не обезбеђује истраживачки бенчмарк нити одлучује шта се рачуна као побољшање. Ви дајете задатке и код за оцењивање; агент помаже да се они изврше и резултати истраже.

Из неуспелих задатака одредите следећу измену

Претпоставимо да нови алат добро обрађује мале датотеке, али не успева када функција позива помоћну функцију из друге датотеке. Затражите да Beeuni прегледа тај задатак, пронађе шта недостаје и предложи циљану измену. Можда треба додати имена повезаних функција у резултат претраге, уместо поновног враћања свих датотека у целости.

Прегледајте измену и извештај пре него што је прихватите. Затим је испробајте на другим задацима. Успех на примеру који је подстакао измену говори мање од успеха на задацима према којима агент није подешавао код. Тестове за коначно оцењивање држите изван датотека које агент сме да мења.

Исти приступ важи за агента који ради у прегледачу. Дајте Beeuni-ју тестну апликацију и задатак да пронађе поруџбину и измени напомену за испоруку. Може да користи прегледач, провери исход и сачува доказ о неуспеху. Пре поређења друге верзије вратите тестне податке апликације, тако да обе почну од исте поруџбине.

Организујте више кругова помоћу свог програма

Контролер је програм који организује кругове експеримента: бира верзију агента, тражи измену, покреће тестове и одлучује шта следеће да покуша. Кандидат је измењена верзија која се у том кругу тестира. Контролер може да покреће и проверава Beeuni сесије преко API-ја или TypeScript SDK-а, док правила избора остају у вашем истраживачком коду.

Свака сесија има своје окружење. Две имплементације алата можете да тестирате без преписивања истих радних датотека или зависности. Програм мора да почне од жељене ревизије кода. Ако скрипта учитава код само при покретању, после измене је поново покрените да бисте заиста тестирали нову имплементацију.

Почните са малим редом експеримената. У контролеру ограничите број покушаја, истовремених сесија, трајање и потрошњу модела. Када се достигне ограничење, нека заустави одговарајући рад и провери да су процеси завршени. Тако одређујете колико трагања за изменама експеримент сме да обави пре избора верзије.

Тестирајте верзије под једнаким условима

Агент који може да види тачне одговоре или мења тестове може да повећа оцену без бољег решавања задатка. Коначно оцењивање покрените одвојено. Скривене одговоре држите изван датотека којима агент може да приступи и спречите га да мења код за оцењивање. Beeuni може да покрене развојне тестове и прикупи излазе, а ваш програм да их одвојено оцени. У експериментима са прегледачем ресетујте заједничке податке апликације између верзија: нов рачунар и даље види записе у истој спољној апликацији.

Поредите успешност задатака, грешке, трајање, позиве алата и потрошњу модела ако их ваш програм бележи. Задржите упоредив скуп задатака, поставке модела и ограничења. Поновите несигурне резултате. Измена може да чита мање токена, али пропусти помоћну функцију, или да реши више задатака уз много више позива модела. Извештај треба да покаже и тај трошак.

Рачунајте и цену проналажења измене. Одвојено бележите покушаје предлагања и тестирања верзија и цену покретања изабране верзије. Коначни агент може бити јефтинији по задатку, а да је његово проналажење захтевало скупу претрагу. Обе мере су важне за оцену експеримента.

Сачувајте податке који објашњавају неуспели круг

Неуспели задатак и недоступан API модела захтевају различите поступке. Тражите да Beeuni задржи изворне грешке и логове пре сажимања. Раздвојите нетачне одговоре, недостајуће зависности, неуспеле захтеве моделу и истекло време. Изричито одредите шта се поново покреће, уместо да сваки неуспех неприметно понављате док не прође.

Сачувајте оригиналну и измењену ревизију кода, упутства, команде за покретање, зависности, верзије тестног скупа и кода за оцењивање и резултате сваког задатка. Забележите из које раније верзије потиче измена. Beeuni може да помогне у писању ове евиденције уз измене и логове, како бисте проверили зашто је верзија изабрана или одбачена.

Пре уклањања експерименталног рачунара сачувајте корисне измене и извештаје у изабраном репозиторијуму или складишту. Тако сваки резултат можете да повежете са кодом и командом који су га произвели, укључујући одбачене покушаје.

Проверите да ли је бољи и следећи покушај побољшавања

Изабрану верзију оцените на задацима који нису усмеравали измене. Затим је употребите за наредне покушаје побољшавања и упоредите их са покушајима почетног агента. Да ли под истим буџетом чешће налази корисне измене, тражи мање покушаја или ређе квари постојећи рад? Решавање више задатака је један резултат. Побољшавање поступка који ствара будућа побољшања јесте додатно питање RSI истраживања.

Рад Darwin Gödel Machine истражује агенте који мењају сопствени код и тестирају измене. Self-Refine испитује дораду одговора на основу повратних информација, без додатног обучавања. Разлика помаже да одредите шта побољшавате: један одговор, начин рада агента или способност да пронађе следеће побољшање. Beeuni помаже при измени кода, извршавању команди и прегледу резултата. Ви осмишљавате метод. За обучавање модела погледајте фино подешавање уз Beeuni.

За експеримент са претрагом почните од једног репозиторијума и једне исправне тестне команде. Водич за Computer објашњава како да прегледате окружење и излаз процеса док Beeuni ради.