Հայերեն
Քննարկել նախագիծը
Ընդհանուր◷ 6 րոպե ընթերցանություն

Ինչպես պատրաստել կայք մեծ բեռնվածության համար. Սև ուրբաթ, գովազդ, վիրուսային տրաֆիկ

Ընկերությունը սկսում է մեծ գովազդային արշավ։ Մարքեթինգը ուրախանում է: Վաճառքները սպասում են պատվերների հեղեղի: DevOps - ոչ: Քանի որ հաջող գովազդային արշավը կայքի համար կարող է գրեթե նույնը լինել, ինչ DDoS հարձակումը. հազարավոր օգտատերեր...

Ինչպես պատրաստել կայք մեծ բեռնվածության համար. Սև ուրբաթ, գովազդ, վիրուսային տրաֆիկ

Ընկերությունը սկսում է մեծ գովազդային արշավ։ Մարքեթինգը ուրախանում է: Վաճառքները սպասում են պատվերների հեղեղի: DevOps - ոչ: Քանի որ հաջող գովազդային արշավը վեբկայքի համար կարող է գրեթե նույնը լինել, ինչ DDoS հարձակումը. հազարավոր օգտատերեր միաժամանակ բացում են կատալոգ, վերբեռնում պատկերներ, կիրառում են զտիչներ, մուտք գործում, ապրանքներ ավելացնում իրենց զամբյուղում և ներկայացնում վճարման հարցումներ: Եվ եթե ենթակառուցվածքը պատրաստ չէ դրան, ապա տհաճ պարադոքս է առաջանում՝ ընկերությունը վճարել է տրաֆիկի համար, բերել պոտենցիալ գնորդներ և կորցրել նրանց դանդաղ կամ անհասանելի կայքի պատճառով։

Սև ուրբաթը, էլփոստի մեծ տեղեկագիրը, նոր արտադրանքի թողարկումը, բլոգերի գովազդի ինտեգրումը կամ տեսահոլովակը, որը հանկարծակի վիրուս դարձավ, տարբերվում են տրաֆիկի աղբյուրից, բայց տեխնիկական խնդիրը նույնն է. համակարգը պետք է դիմի հարցումների քանակի կտրուկ աճին: Նախապատրաստումը չի սկսվում սերվերի հզորության ավելացմամբ: Նախ պետք է հասկանալ, թե որտեղ է գտնվում համակարգի սահմանը:

Ինչ է տեղի ունենում կայքի հետ, երբ թրաֆիկը մեծանում է

Սովորաբար կայքը անմիջապես չի խափանում: Նախ, արձագանքման ժամանակը մեծանում է: Էջը, որի բացումը տևում էր 500 միլիվայրկյան, պատասխանելու համար տևում է երկու վայրկյան: Հետո հինգ. Հետո տասը: Որոշ օգտվողներ փակում են ներդիրը: Մնացածները շարունակում են հարցումներ ուղարկել։ Զուգահեռ միացումների թիվն աճում է։ Տվյալների բազան սկսում է մշակել հարցումների հերթը: Երրորդ կողմի ծառայությունների API-ները ենթակա են սահմանափակումների: Սերվերը փորձում է ամեն ինչ անել միաժամանակ: Ինչ-որ պահի, մեկ գերբեռնված բաղադրիչը սկսում է դանդաղեցնել մյուսների արագությունը: Հետևաբար, բարձր բեռնվածությունը հազվադեպ է միայն պրոցեսորի խնդիր:

Խոշոր գովազդային արշավից առաջ արժե ստուգել պրոցեսորը, հիշողության օգտագործումը, տվյալների բազայի միացումների քանակը, API-ի սահմանափակումները, սկավառակի ազատ տարածությունը, ցանցի թողունակությունը և արտաքին ծառայությունների կարգավիճակը: Երբեմն սերվերը բեռնված է ընդամենը 30%-ով, և կայքը արդեն վատ է աշխատում: Պատճառը կարող է լինել տվյալների բազայում։ Կամ երրորդ կողմի API-ում: Կամ միացման լողավազանում, որը չափազանց փոքր է: Կամ մեկ հարցումով, որն աշխատում է երեք վայրկյան և արգելափակում է այլ գործողություններ:

Բեռի փորձարկում. նախ մենք արհեստականորեն ստեղծում ենք բեռ

Ավելի լավ է պարզել կայքի սահմանաչափը թեստի ընթացքում, քան գովազդը ցուցադրելու պահին: Դրա համար օգտագործվում է բեռնվածության փորձարկում: Նրա խնդիրն է մոդելավորել իրական օգտատերերի գործողությունները և տեսնել, թե ինչպես է իրեն պահում համակարգը, քանի որ հարցումների քանակը մեծանում է: Կարևոր է փորձարկել ոչ թե վերացական հարցումները դեպի գլխավոր էջ, այլ իրական օգտատերերի սցենարները։ Օրինակ. Հենց այս շղթաներն են իրական ծանրաբեռնվածություն ստեղծում հավելվածի, տվյալների բազայի, քեշի, API-ի և վճարային համակարգի վրա։

Ասել է թե, կան բեռնվածության փորձարկման մի քանի տարբեր տեսակներ:

Load testing

Բեռնվածության թեստը պատասխանում է հարցին՝ կարո՞ղ է համակարգը դիմակայել սպասվող բեռին: Եթե ​​մարքեթինգը կանխատեսում է 5000 օգտվող մեկ ժամվա ընթացքում, դուք կարող եք կրկնօրինակել հարցումների նմանատիպ հոսքը թեստային միջավայրում: Այս դեպքում չափվում է ոչ միայն հաջողված հարցումների քանակը։ Կարևոր է դիտարկել ուշացումը, սխալները, ենթակառուցվածքի ծանրաբեռնվածությունը և կատարողականի վատթարացումը: Կայքը կարող է տեխնիկապես արձագանքել HTTP 200-ին, բայց եթե էջը բեռնելու համար տևում է 12 վայրկյան, դա դեռ խնդիր է բիզնեսի համար:

Stress testing

Սահմանաչափը գտնելու համար անհրաժեշտ է սթրես-թեստ: Բեռը աստիճանաբար մեծանում է, մինչև համակարգը սկսում է քայքայվել: Օրինակ՝ 100 օգտատեր միաժամանակ։ 1000. 2000. 5000. Որոշակի պահի արձագանքման ժամանակը սկսում է կտրուկ աճել կամ սխալներ են հայտնվում: Սա այն տարածքն է, որը պետք է ուսումնասիրվի: Սթրես թեստի հիմնական հարցն այն է, թե ինչն է առաջին հերթին կոտրվելու: Դիմում? Տվյալների բազա՞ Redis? Երրորդ կողմի API? Վճարման ծառայություն? Հենց այս տեղեկությունն է օգնում ենթակառուցվածքներում ճիշտ ներդրումներ կատարել:

Spike testing

Spike թեստը նմանակում է բեռի կտրուկ աճը: Օրինակ՝ բլոգերը հղում է հրապարակում։ Մեկ րոպեում կայք է գալիս 20000 մարդ: Այս սցենարը տարբերվում է թրաֆիկի աստիճանական աճից: Ավտոմատ մասշտաբը կարող է պարզապես ժամանակ չունենալ նոր սերվերներ ավելացնելու համար: Տվյալների բազայի միացման լողավազանը շուտ է ավարտվում: Քեշը միաժամանակ սկսում է նույն տվյալները պահանջել: Հետևաբար, գովազդի մեկնարկի համար ցատկի թեստը հաճախ ավելի կարևոր է, քան դասական բեռնվածության թեստը:

Soak testing

Soak թեստը ստուգում է համակարգի երկարաժամկետ աշխատանքը: Կայքը կարող է տասը րոպե տուգանք ընդունել 2000 օգտատերերի, բայց վեց ժամ հետո սկսում է վատանալ: Պատճառները ներառում են հիշողության արտահոսք, գրանցամատյանների կուտակում, չափազանց շատ բաց կապեր, հերթերի աճ կամ ֆոնային գործընթացներ: Հետևաբար, էլեկտրոնային առևտրի նախագծերի համար կարևոր է ստուգել ոչ միայն ծանրաբեռնվածության գագաթնակետը, այլև համակարգի երկար ժամանակ կայուն աշխատելու ունակությունը:

Քեշավորում. ամենաէժան հարցումը գոյություն չունեցողն է

Ամենաարդյունավետ օպտիմալացումներից մեկը հաշվարկների քանակի կրճատումն է: Եթե ​​տասը հազար օգտատեր պահանջում է նույն ապրանքի կատալոգը, ապա անհրաժեշտ չէ տվյալների բազայի նույն հարցումները կատարել տասը հազար անգամ: Արդյունքը կարող է պահպանվել քեշում: Քեշավորումը կարող է տեղի ունենալ մի քանի մակարդակներում: Օգտագործողի զննարկիչը կարող է պահել պատկերներ, CSS և JavaScript: CDN-ն կարող է սպասարկել ստատիկ ֆայլեր՝ առանց հիմնական սերվերի հետ կապվելու: Հավելվածը կարող է օգտագործել Redis՝ հանրաճանաչ տվյալներ պահելու համար: Հակադարձ վստահված անձը կարող է քեշավորել պատրաստի HTTP պատասխանները:

Քեշի հիմնական խնդիրը պարզապես կայքը արագացնելը չէ: Այն նվազեցնում է հիմնական համակարգի աշխատանքի ծավալը: Ահա թե ինչու քեշը հատկապես կարևոր է դառնում զանգվածային գովազդային արշավների ժամանակ։ Բայց կա ևս մեկ կողմ. Անհրաժեշտ է նախօրոք որոշել հաշմանդամության կանոնները. Եթե ​​ապրանքի գինը փոխվել է, օգտվողը պետք է տեսնի նոր գինը, այլ ոչ թե պահված տարբերակը քեշից: Հետևաբար, արդյունավետ քեշավորումը արագության և տվյալների համապատասխանության միջև հավասարակշռություն է:

Տվյալների բազան սովորաբար դառնում է հիմնական սահմանափակումը

Backend հավելվածները համեմատաբար հեշտ են մասշտաբավորվում: Դուք կարող եք գործարկել հավելվածի մի քանի օրինակներ և բաշխել հարցումները բեռի հավասարակշռողի միջոցով: Տվյալների բազայի դեպքում դա ավելի բարդ է: Այդ իսկ պատճառով բեռնվածության փորձարկման ժամանակ անհրաժեշտ է առանձին վերահսկել կապերի քանակը, հարցումների կատարման ժամանակը, կողպեքները, ինդեքսները և դանդաղ SQL հարցումները։ Մեկ ոչ օպտիմալ հարցումը կարող է գրեթե աննկատ լինել 20 օգտագործողների համար: 5000 օգտատերերի դեպքում դա լուրջ խնդիր է դառնում: Հատկապես վտանգավոր են հարցումները՝ առանց անհրաժեշտ ինդեքսների, N+1 հարցումները, մեծ ՄԻԱՑՈՒՄՆԵՐԸ, չինդեքսավորված դաշտերի տեսակավորումը և մեկ հարցման մեջ չափազանց շատ տվյալներ կարդալու փորձերը։

Նախքան մեծ գովազդային արշավ սկսելը, օգտակար է միացնել հարցումների դանդաղ հավաքագրումը և ստուգել ամենահաճախակի գործողությունները: Երբեմն մեկ ճիշտ ինդեքս ավելացնելն ավելի մեծ ազդեցություն է ունենում, քան սերվերի հզորությունը մի քանի անգամ ավելացնելը:

Առաջադրանքների հերթեր. օգտատերը պետք չէ սպասել ամեն ինչի

ընդլայնելի համակարգերի ևս մեկ կարևոր սկզբունք. ոչ բոլոր գործողությունները պետք է կատարվեն HTTP հարցումի ներսում: Ներկայացնենք պատվիրման գործընթացը։ Պատվեր ստեղծելուց հետո համակարգը կարող է նամակ ուղարկել, ծանուցել CRM-ին, գեներացնել PDF, տվյալներ ուղարկել վերլուծական և թարմացնել պահեստը: Եթե ​​ամեն ինչ անեք հաջորդաբար, օգտվողը կսպասի յուրաքանչյուր գործողության ավարտին: Ավելի անվտանգ է պահպանել պատվերը և անմիջապես հաստատել դրա ստեղծումը: Մնացած աշխատանքը կարող է ուղարկվել հերթ: Դրա համար օգտագործվում են Celery, RabbitMQ, Kafka, Redis Queue եւ այլ գործիքներ։

Հերթը թույլ է տալիս հարթել ծանրաբեռնվածության գագաթնակետերը: Նույնիսկ եթե մեկ րոպեի ընթացքում ստեղծվեն մի քանի հազար պատվեր, ֆոնային աշխատողները կկարողանան աստիճանաբար մշակել լրացուցիչ գործողություններ: Հատկապես կարևոր է հետին պլան դնել այն ամենը, ինչ օգտագործողին անմիջապես պետք չէ։

Գնահատման սահմանափակում. երբեմն համակարգը պետք է պաշտպանված լինի իր սեփական օգտագործողներից

Երբ ծանրաբեռնվածությունը մեծ է, օգտակար է սահմանափակել հարցումների քանակը: Գնահատման սահմանափակումը հաճախ համարվում է բացառապես որպես պաշտպանություն հարձակումներից, բայց այն նաև օգտակար է սովորական բիզնես հավելվածում: Օրինակ՝ օգտատերը մի քանի անգամ սեղմում է վճարման կոճակը։ Սխալի պատճառով Frontend-ը սկսում է հարցում ուղարկել ամեն վայրկյան։ Բոտն անընդհատ մուտք է գործում API: Գործընկերների ինտեգրումը սկսում է միաժամանակ հարյուրավոր հարցումներ առաջացնել: Առանց սահմանափակումների, նման իրավիճակները կարող են վատթարացնել համակարգի աշխատանքը բոլոր օգտագործողների համար: Գնահատման սահմանափակումը թույլ է տալիս սահմանել ողջամիտ կանոններ:

Օրինակ՝ մեկ հաճախորդից րոպեում ոչ ավելի, քան որոշակի թվով API հարցումներ: Հիմնական բանը սահմանափակումներ կիրառելն է ուշադիր։ Օգտագործողը չպետք է անսպասելիորեն սխալ ստանա գնման պահին:

Autoscaling. ավելի շատ սերվերներ, երբ դրանք իսկապես անհրաժեշտ են

Եթե հավելվածը նախատեսված է մեծացնելու համար, ապա հետին պլանի օրինակների թիվը կարող է ավտոմատ կերպով ավելացվել: Երբ CPU-ն, հարցումների թիվը կամ հերթի երկարությունը մեծանում են, համակարգը գործարկում է լրացուցիչ օրինակներ: Երբ ծանրաբեռնվածությունը նվազում է, լրացուցիչ օրինակներն անջատվում են: Սա թույլ է տալիս մշտապես խուսափել թանկարժեք ենթակառուցվածքների պահպանումից: Բայց ավտոմասկալավորումը չի կարելի կախարդական կոճակ համարել։ Եթե ​​խնդիրը գտնվում է տվյալների բազայում, ապա գործարկելով ևս քսան backend սերվերներ կարող են էլ ավելի վատթարացնել իրավիճակը: Յուրաքանչյուր նոր օրինակ կստեղծի լրացուցիչ կապեր և հարցումներ նույն տվյալների բազայի համար:

Հետևաբար, անհրաժեշտ է մասշտաբել միայն ճարտարապետական խոչընդոտը հասկանալուց հետո: Կարևոր է նաև հաշվի առնել մասշտաբի արագությունը: Վիրուսային տրաֆիկի դեպքում բեռը կարող է մեծանալ մի քանի վայրկյանում: Եթե ​​նոր օրինակի մեկնարկը տևում է երկու րոպե, ապա համակարգը պետք է ինքնուրույն գոյատևի այս երկու րոպեները: Սա է պատճառը, որ autoscaling-ը լավ է աշխատում քեշի, հերթերի և ռեսուրսների նախապես պատրաստված մատակարարման հետ:

CDN-ն վերցնում է բեռը հիմնական սերվերից

Պատկերները, JavaScript-ը, CSS-ը, տեսանյութերը և այլ ստատիկ ֆայլերը կարիք չունեն սպասարկվելու նույն սերվերից, որտեղ գործում է հավելվածը: Դրա համար օգտագործվում են CDN-ներ: Ֆայլերը պատճենվում են բաշխված սերվերներին և տրամադրվում օգտատերերին մոտակա գտնվելու վայրից: Սա միանգամից մի քանի խնդիր է լուծում։ Հիմնական սերվերի բեռը կրճատվում է: Ցանցային տրաֆիկը կրճատվել է։ Բովանդակությունն ավելի արագ է բեռնվում տարբեր տարածաշրջանների օգտատերերի համար: Սա հատկապես կարևոր է էլեկտրոնային առևտրի համար: Ապրանքի քարտը կարող է պարունակել մի քանի ծանր լուսանկարներ: Եթե ​​միևնույն ժամանակ տասնյակ հազարավոր օգտատերեր սկսեն ներբեռնել մեկ սերվերից, ստատիկ բովանդակությունը կարող է զբաղեցնել հասանելի թողունակության զգալի մասը:

CDN-ն թույլ է տալիս առանձնացնել այս բեռը հետնամասից:

Մի մոռացեք արտաքին ծառայությունների մասին

Ընկերության ենթակառուցվածքը կարող է սպասարկել վայրկյանում 10000 հարցում: Բայց դա չի նշանակում, որ ամբողջ հավելվածը կդիմանա նման ծանրաբեռնվածությանը: Կայքը հաճախ կախված է արտաքին համակարգերից: Վճարային ծառայություններ. CRM. SMS մատակարարներ. Էլփոստի ծառայություններ. Առաքման ծառայություններ. Քարտեր. Հակակեղծարարություն. Թույլտվություն. Արտաքին API-ն կարող է սահմանափակում ունենալ, օրինակ, րոպեում հարցումների քանակի վրա: Երբ թրաֆիկը կտրուկ ավելանում է, ձեր կայքը այլևս չի սկսում հակադրվել սեփական ենթակառուցվածքին, այլ գործընկերոջ սահմանաչափին: Հետեւաբար, բեռի նախապատրաստման ժամանակ անհրաժեշտ է կազմել արտաքին կախվածությունների քարտեզ:

Յուրաքանչյուր կախվածության համար դուք պետք է հասկանաք սահմանները, ժամանակի դադարը, նորից փորձելու քաղաքականությունը և համակարգի վարքագիծը, երբ ծառայությունն անհասանելի է: Եթե ​​CRM-ը ժամանակավորապես չի արձագանքում, գնորդը դեռ պետք է կարողանա պատվեր կատարել: CRM-ի հետ ինտեգրումը կարող է կատարվել ավելի ուշ՝ հերթի միջոցով:

Կրկին փորձելը կարող է օգնել: Կամ գուցե վերջապես վերջացնենք համակարգը

Բարձր ծանրաբեռնվածության վտանգավոր սցենարներից մեկը ներառում է կրկնվող հարցումներ: Եկեք պատկերացնենք, որ արտաքին API-ն սկսեց ավելի դանդաղ արձագանքել։ Հավելվածը ստանում է դադար և կրկնում է հարցումը: Եթե ​​կան հազարավոր միաժամանակ օգտագործողներ, ապա խնդրահարույց ծառայությանն ուղղված հարցումների թիվը կրկնապատկվում է: Նա սկսում է ավելի դանդաղ արձագանքել։ Հավելվածը նորից է փորձում: Ստացվում է կրկնակի փոթորիկ: Հետևաբար, կրկնվող հարցումները պետք է օգտագործեն հետքայլ՝ աստիճանաբար աճող սպասման ընդմիջում: Որոշ ինտեգրացիաների համար օգտագործվում է նաև անջատիչ:

Եթե արտաքին ծառայությունն ակնհայտորեն անհասանելի է, հավելվածը ժամանակավորապես դադարեցնում է հարցումներ ուղարկել նրան: Սա թույլ է տալիս հիմնական համակարգին շարունակել գործել:

Բեռի փորձարկումը պետք է չափի բիզնեսի սցենարները

Կատարման փորձարկման հիմնական սխալը վայրկյանում միայն հարցումները չափելն է: Բիզնեսի համար մեկ այլ բան ավելի կարևոր է. Կարո՞ղ է օգտվողը բացել գրացուցակը: Կարո՞ղ եմ ապրանք ավելացնել: Կարո՞ղ եմ պատվիրել: Կլինե՞ն կրկնակի պատվերներ։ Իմ վճարումը կկորչի՞: Արդյո՞ք ապրանքները չեն վաճառվի պահեստի սպառվելուց հետո: Հետեւաբար, տեխնիկական չափանիշների հետ մեկտեղ, դուք պետք է վերահսկեք բիզնեսի չափումները: Օրինակ՝ հաջողությամբ ստեղծված պատվերների քանակը, վճարման սխալների տոկոսը, վճարման ժամանակը և կորցրած գործարքների քանակը: Համակարգը կարող է դիմակայել մեծ RPS-ին հիմնական էջում և դեռևս խափանում է վճարման ժամանակ:

Էլեկտրոնային առևտրի համար երկրորդ ցուցանիշը շատ ավելի կարևոր է, քան առաջինը:

Ինչ ստուգել մեծ գովազդային արշավից առաջ

Սև ուրբաթից, ապրանքի մեկնարկից կամ լայնածավալ գովազդային գնումներից առաջ օգտակար է անցնել մեկ ընդհանուր տեխնիկական ստուգաթերթ.

  • որոշում է սպասվող և գագաթնակետային երթևեկությունը.
  • անցկացնել ծանրաբեռնվածություն, սթրես, հասկ և, անհրաժեշտության դեպքում, ներծծում փորձարկում;
  • ստուգեք պրոցեսորը, հիշողությունը, սկավառակը և ցանցը;
  • վերլուծել տվյալների բազայի կապերը և դանդաղ հարցումները;
  • ստուգել տվյալների բազայի ինդեքսները;
  • ծանր գործողությունները տեղափոխել ֆոնային հերթեր;
  • կարգավորել քեշավորումը;
  • միացնել CDN ստատիկ համար;
  • ստուգման տոկոսադրույքի սահմանափակում;
  • փորձարկման ավտոմատ մասշտաբավորում;
  • ստուգեք բոլոր արտաքին API-ների սահմանները.
  • կարգավորել ժամանակի վերջը, նորից փորձելը և անջատիչը;
  • ստուգեք մոնիտորինգը և ահազանգերը;
  • թեստային վճարում և այլ կարևոր բիզնես սցենարներ;
  • պատրաստել գործողությունների ծրագիր համակարգի դեգրադացիայի դեպքում:

Կարևոր է այս աշխատանքը կատարել գովազդը գործարկելուց առաջ, այլ ոչ թե առաջին սխալներից հետո:

Ամենաթանկ սերվերն այն սերվերն է, որն ընկել է վաճառքի ժամանակ

Բարձր բեռնվածությունն ինքնին խնդիր չէ: Ընդհակառակը, բարձր տրաֆիկը սովորաբար նշանակում է, որ մարքեթինգն արել է իր գործը: Խնդիրը դառնում է հաջողության չպատրաստված ենթակառուցվածք։ Հուսալի համակարգը կառուցված է ոչ միայն հզոր սերվերների վրա: Այն կառուցված է հասկանալու սահմանափակումների վրա: Քեշը նվազեցնում է հաշվարկների քանակը: CDN-ն վերցնում է բեռը ստատիկ բովանդակությունից: Հերթերը հարթեցնում են գագաթները։ Գների սահմանափակումը պաշտպանում է ծառայությունները: Autoscaling-ը ավելացնում է ռեսուրսներ: Օպտիմիզացված տվյալների բազան հարցումներն ավելի արագ է մշակում:

Եվ բեռնվածության փորձարկումը բացահայտում է թույլ կողմերը, նախքան իրական հաճախորդները կհայտնաբերեն դրանք: Հետևաբար, մեծ գովազդային արշավից առաջ հարցը, որը դուք պետք է ուղղեք ձեր թիմին այն չէ. «Քանի՞ սերվեր ունենք մենք»: Եվ մեկ այլ. «Ի՞նչ կլինի, եթե մեկ րոպեի ընթացքում օգտվողները տասնապատիկ ավելանան»: Եթե ​​թիմը կարողանա ցույց տալ թեստի արդյունքները և բացատրել համակարգի վարքագիծը նման սցենարի դեպքում, ապա կայքը շատ ավելի լավ պատրաստված կլինի բարձր բեռի համար: Եթե ​​պատասխանը հնչում է այնպես, ինչպես «մենք կարծում ենք, որ այն կդիմանա», ավելի լավ է նախքան գովազդը սկսելը բեռնվածության թեստ անցկացնել:

V
VERB-ի թիմՄենք նախագծում և զարգացնում ենք թվային արտադրանք բիզնեսի համար:
Այլ հոդվածներ

ՄԵՆՔ ՍՏԵՂԾՈՒՄ ԵՆՔ ԹՎԱՅԻՆ ԱՊՐԱՆՔՆԵՐ

Պատրա՞ստ եք գործարկել ձեր նախագիծը:

Թողեք հարցում. մենք կքննարկենք խնդիրը և կառաջարկենք լուծում:
Թողեք հարցում