Netflix-ը սեփական ԱԲ մոդելին «սովորեցրել» է հեռացնել օբյեկտները տեսանյութերից և վերակառուցել տեսարանը

Netflix-ը բացել է VOID անունով ԱԲ-ով տեսանյութերի խմբագրման մոդելի հասանելիությունը, որը կադրում հեռացնում է օբյեկտները և դրանց փոխազդեցության հետքերը շրջակա միջավայրի վրա, ապա վերակառուցում է տեսարանը այնպես, որ մնացած տարրերը առանց հեռացված օբյեկտի շարժվեն և պահեն իրենց հավաստի ձևով։ Մոդելն արդեն հասանելի է տեղադրման համար Hugging Face հարթակում և, մշակողների տվյալներով, 25 մասնակիցների հարցման ընթացքում ստացել է 64.8% նախընտրություն՝ ընդդեմ իր ամենամոտ մրցակցի Runway-ի 18.4%-ի։

VOID-ը (Video Object and Interaction Deletion) նախատեսված է այն տեսարանների համար, որտեղ օբյեկտի հեռացումից հետո անհրաժեշտ է փոխել ամբողջ կադրի վարքագիծը։ Վերանկարահանման կամ համակարգչային գրաֆիկայի միջոցով դրվագի ամբողջական վերամշակման փոխարեն ԱԲ մոդելը թույլ է տալիս արդեն նկարահանված նյութը վերափոխել տեսարանի նոր տարբերակի։ Տեխնոլոգիայի նկարագրության մեջ այս մոտեցումը ներկայացվում է որպես պարզ խնդիր՝ տեսագրությունից հեռացնել իրադարձության պատճառը և միաժամանակ վերանայել դրա հետևանքները։

Netflix-ն այս մշակումն ընդգրկում է այն ԱԲ մոդելների շարքում, որոնք միաժամանակ աշխատում են պատկերների և տեքստի հետ։ Համակարգը ոչ միայն ջնջում է օբյեկտը տեսարանից, այլ նաև վերականգնում է տեսագրության բացակայող հատվածներն այնպես, որ մնացած տարրերը երևան այնպես, կարծես հեռացված օբյեկտը երբեք չի եղել։

ԱԲ մոդելի հեղինակները VOID-ը ներկայացնում են որպես տեսանյութերից օբյեկտների հեռացման համակարգ՝ բարդ տեսարաններում ֆիզիկապես հավաստի պատկերային վերականգնման համար։ Netflix-ը VOID մոդելը համեմատել է Runway, Generative Omnimatte, DiffuEraser, ROSE, MiniMax-Remover և ProPainter լուծումների հետ։ 25 անձից բաղկացած հարցման ընթացքում մի քանի տեսարանների դեպքում VOID-ը ընտրվել է 64.8% դեպքերում, իսկ Runway-ը՝ 18.4% դեպքերում։ Մշակողները նաև պնդում են, որ փորձարկել են ԱԲ մոդելը արհեստականորեն ստեղծված և իրական տվյալների վրա և ցույց տվել դրա առավելությունը թե հիմնական վերականգնման համակարգերի, թե տեքստային հրահանգով տեսանյութ փոխող մոդելների նկատմամբ։

Տեխնոլոգիական հրապարակումներն իրականացվում են Իդրամի աջակցությամբ։

Leave a comment