AI veb-saytlarni haqiqiy odamlarga taqlid qilish orqali baholaydi va hatto ulardan ustun turadi. Bu qanday amalga oshiriladi?

Bugungi kunda, uKit AI tarkibiy qismlaridan biri, veb-saytni qayta tuzish bo'yicha aqlli tizim ommalashmoqda. Bu veb-sahifalarning go'zalligini baholash uchun prototipli modul. U neyron tarmog'ini va oddiy daraxtni veb-sayt dizayniga oddiy mehmonning munosabatiga taqlid qilish uchun birlashtiradi.

Kelajakda bunday modul uKit AI-ning asosiy elementi bo'lgan generatsion dizayn algoritmining ishini baholaydi, u mavjud bo'lgan tarkibga va samarasiz veb-sayt va veb-sayt o'rtasidagi farqni "bilishga" tayanib, odam ishtirokisiz sahifalarni yaratadi. biri konversiya tezligini oshirishga qaratilgan.

Hozirgi WebScore AI versiyasi o'rtacha Internet foydalanuvchisining veb-sayt paydo bo'lishi haqidagi qarashlarini aks ettiradi. Shunga qaramay, biz boshqa variantlarni ham yaratib berishimiz mumkin, masalan, veb-sayt mavjudligini baholash mumkin.

Tizimni o'qitish uchun ishlatiladigan veb-saytlar. Birinchidan, biz turli yillarda va turli tillarda yaratilgan 12000 sayt va onlayn-do'konlarni to'pladik. Asosiy vazifa juda yomon veb-saytlardan juda yaxshi veb-saytlarga qadar etarlicha vizual gradatsiya namunalarini olish edi. Shu tarzda, biz zamonaviy Internetda nimani anglatishini ko'rsatdik.

Trening namunasidan bir nechta veb-sayt.

Har bir gradatsiya o'lchov bilan o'lchanadi va bu masshtabni biz tasavvur qilishga urinayotgan oddiy odam tushunishi kerak. Shunday qilib, biz xizmatimizda ishlatiladigan "1 dan 10 gacha" shkalasi haqida fikr oldik.

WebScore AI tomonidan taqlid qilingan odamlar. Turli veb-saytlardan ma'lumotlar bazasini (o'quv modeli uchun ma'lumotlar to'plami) shakllantirish uchun bizga ikkita narsa kerak edi:

  • veb-sayt jozibadorligini tizim belgilab beradigan belgilar;
  • ma'lum miqdordagi veb-saytlar uchun bizning ko'lamimiz yordamida qilingan baholar (belgilar). Ular tizim uchun namuna bo'ladi.

Kimdir ushbu dastlabki baholarni qo'yishi kerak. Aniqroq qilib aytganda, bunday "o'qituvchi" yoki "o'qituvchilar" guruhi ushbu model qanday ishlashiga katta ta'sir ko'rsatadi.

Veb-saytlarni baholash interfeysi: tez orada bizning GitHub-dan foydalaning va foydalaning.

Fokus-guruhni yig'ish uchun biz 1500 ta veb-sayt namunalarida dastlabki nomzodlarni saralab oldik. Oddiy ish, ammo mas'uliyatli va katta e'tibor talab qiladigan ish. Dastlabki tanlov bizga nomuvofiq nomzodlarni yo'q qilishga va "munozarali" (agar kimdir uni 1, boshqasini 10 deb baholasa) tanlab olingan veb-saytlarni chiqarib tashlashimizga yordam berdi.

Dastlab biz baholash usullari bilan tajriba o'tkazdik.

Masalan, biz bir vaqtning o'zida bitta veb-saytni, so'ngra bir vaqtning o'zida ikkita veb-saytni baholashni yoki ikkitadan eng jozibadorini tanlashni taklif qildik. Respondent bitta veb-saytni ko'rgan va uni eng yaxshi deb baholagan usul. Biz undan qolgan 10.000 veb-saytlarni baholash uchun foydalanganmiz.

Bir kishi veb-sayt go'zal yoki yo'qligini baholadi. Mashina buni qanday amalga oshiradi? Biror narsaning umumiy go'zalligi to'g'risida fikrni shakllantirish uchun siz va men faqat bitta ko'rinishga muhtojmiz. Ammo biz bilamizki, shayton tafsilotlaridadir.

Modelni yo'naltiradigan veb-saytning vizual jozibadorligi belgilari butun loyiha uchun muhim daqiqadir. Biz uKit veb-saytni ishlab chiqaruvchi dizaynerlar guruhidan qo'l so'radik, ularning ishi yuz minglab veb-saytlar uchun asos bo'lib xizmat qiladi va millionlab odamlar buni ko'rishadi. Biz birgalikda veb-sayt dizaynini ishlab chiqishda mutaxassislar e'tibor beradigan xususiyatlarning kengaytirilgan ro'yxatini tuzdik. Va keyin faqat eng muhimlarini qoldirib, uni kesishga harakat qildi.

uKit.com dizaynerlar jamoasi.

Natijada, biz o'n besh toifaga guruhlangan 125 xil, ammo ahamiyatli mezonlardan iborat ro'yxat oldik. Masalan, ro'yxatda quyidagilar mavjud: ommabop ekranlarga moslashish, shriftlarning xilma-xilligi, ranglarning sofligi, sarlavhalar uzunligi, butun sahifadagi rasmlarning nisbati va boshqalar. Faqatgina ushbu qoidalardan foydalanib modelni o'rgatish kerak.

Algoritm yarating. "O'qitish modeli" nima o'zi? Bu ma'lum bir xususiyatlar to'plamiga asoslangan va tanlangan veb-saytni baholashi mumkin bo'lgan algoritmning qurilishi. Tizimning bahosi va o'qituvchilarning o'rtacha bahosi yakuniy baholashda minimal bo'shliqni bo'lishishi maqsadga muvofiqdir.

Daraxtlar uchun gradientni ko'paytirish usulini qo'llashga qaror qildik, chunki bu eng mashhur va samarali usullardan biri. Asosiy algoritmlardan foydalanib, umumiy natijalar har qanday alohida algoritm natijalaridan oshib ketadigan to'plamni quradi.

Bundan tashqari, har bir keyingi asosiy algoritmni qo'shib, u barcha javoblarning sifatini yaxshilashga harakat qiladi.

Jarayonni tezlashtirish va engillashtirish uchun biz Yandex-dagi CatBoost kutubxonasidan foydalanganmiz, bu "qarama-qarshi daraxtlar" deb nomlangan maydonchada gradientga asoslangan mustahkamlovchi qurilmani boshidanoq modelning yaxshi o'qitish qobiliyatini va bashoratlarni tezda taqdim etishga o'tishni ta'minlaydi. ) yangi ob'ektlar uchun.

Neyron tarmog'ini qo'shish. Asosiy algoritm tayyor bo'lgach, biz tajriba o'tkazishga qaror qildik: agar biz neyron tarmog'ini qo'shsak, natijalar yaxshilanadimi? Aslida, biz veb-saytni va uning dizaynini "qanday qarashni" allaqachon bilgan edik va endi tizimga yana qandaydir tafsilotlarni ochishda foydalanishi mumkin bo'lgan "kattalashtiruvchi stakan" berishga qaror qildik.

Biz eng mashhur tarmoqlardan birini tanladik resnet50, bu yuqori darajadagi xususiyatlarni olish uchun yaxshi algoritm sifatida tanilgan. Va veb-saytni baholash uchun 1000 ta qo'shimcha atributlarni qanday olishni bilib oldik. Natijada, tizim endi URL manzilini 1125 xususiyatlar bilan tavsiflaydi va veb-saytning 10 ta shkala bo'yicha «joyini» topadi. Jarayon bir necha o'nlab soniyalarni oladi, shuning uchun biz baholash sifatini bir xil darajada ushlab turish bilan belgilar sonini kamaytirish orqali modelni tezlashtirishni ko'rib chiqamiz.

Birinchi natijalar. Ushbu usulda o'qitilgan model har bir “o'qituvchi” ning bahosiga qaraganda 3 baravar aniqroq hisob-kitoblarni amalga oshirishi mumkin edi.

Aytishimiz mumkinki, ushbu model dastlabki o'qituvchilaridan ustundir, chunki fokus-guruh baholari neyron tarmog'iga qaraganda o'rtacha darajadan ancha farq qiladi. Endi biz algoritmni keyingi o'qitish uchun tarmoqqa joylashtiramiz. Siz ham uning o'qituvchisi bo'lishingiz mumkin.