AI evaluează site-urile web imitând persoane reale și chiar le depășește. Cum se face?

Astăzi, una dintre componentele uKit AI, un sistem inteligent de reproiectare a site-urilor, este publică. Este un modul prototip pentru evaluarea frumuseții paginilor web. Combină o rețea neuronală și arbori de decizie pentru a imita reacția unui vizitator obișnuit la proiectarea site-ului web.

În viitor, un astfel de modul va evalua activitatea algoritmului de proiectare generativă, elementul cheie al uKit AI, care va proiecta pagini fără implicare umană bazându-se pe conținutul disponibil și „cunoașterea” diferenței dintre un site web neeficient și cea care vizează creșterea ratei de conversie.

Versiunea actuală AI WebScore reflectă vizualizarea unui utilizator de Internet obișnuit despre aspectul site-ului. Cu toate că, putem crea alte opțiuni, de exemplu, este posibil să evaluați un site de utilizare.

Site-uri web utilizate pentru instruirea sistemului. În primul rând, am colectat 12.000 de site-uri și magazine online create în ani diferiți pe diverse platforme și în diferite limbi. Sarcina principală a fost de a obține suficiente exemple de gradare vizuală, de la site-uri web destul de proaste până la cele foarte bune. În acest fel, am arătat sistemului ceea ce poate veni cu totul pe web-ul modern.

Câteva site-uri web din eșantionul de instruire.

Fiecare gradație este măsurată cu o scară și se presupune că această scară este înțeleasă de o persoană obișnuită a cărei opinie încercăm să o modelăm. Așadar, ne-a venit o idee despre scala „de la 1 la 10”, care este folosită în serviciul nostru.

Persoanele care sunt imitate de WebScore AI. Avem nevoie de două lucruri pentru a forma un set de date (un set de date pentru un model de instruire) dintr-o varietate de site-uri web:

  • semnele prin care sistemul va determina dacă site-ul este atractiv;
  • evaluează (notează) realizate cu ajutorul scării noastre pentru o anumită cantitate de site-uri web. Acestea vor deveni un model pentru sistem.

Cineva ar trebui să prezinte aceste evaluări inițiale. Un astfel de „profesor” sau un grup de „profesori”, pentru a fi mai specific, vor afecta foarte mult modul de funcționare a modelului.

Interfața de evaluare a site-urilor: preluarea și utilizarea de la GitHub în curând.

Pentru a aduna un grup focus, am efectuat o selecție preliminară a candidaților pe 1500 de exemple de site-uri. O muncă de rutină, dar una responsabilă și care se concentrează foarte mult. Selecția preliminară ne-a ajutat să eliminăm candidații necorespunzători și să excludem din eșantion site-urile „controversate” (când cineva îl califică drept 1 și celălalt ca 10).

La început, am experimentat metode de evaluare.

De exemplu, ne-am oferit să evaluăm un site web simultan, apoi două site-uri în același timp sau să alegem unul din două, cel mai atractiv. Abordarea în care respondentul a văzut un singur site web și l-a evaluat a funcționat cel mai bine. Am folosit-o pentru a evalua 10.000 din site-urile web rămase.

O persoană a evaluat dacă un site web este frumos sau nu. Cum va face aparatul asta? Tu și cu mine avem nevoie de o singură privire pentru a vă forma o părere despre frumusețea generală a ceva. Dar știm că diavolul este în detalii.

Semnele atractivității vizuale a site-ului web, care vor ghida modelul, sunt un moment cheie pentru întregul proiect. Am cerut o mână echipei de proiectare a constructorilor de site-uri uKit, munca lor este folosită ca bază pentru sute de mii de site-uri web și milioane de oameni o văd. Împreună am întocmit o listă extinsă de funcții pe care profesioniștii le acordă atenție atunci când dezvoltă un design al site-ului. Și apoi a încercat să o taie, lăsând doar cele mai importante.

echipa de design uKit.com.

Drept urmare, am obținut o listă de verificare de 125 de criterii destul de diferite, dar semnificative, grupate în cincisprezece categorii. De exemplu, lista are: adaptare la ecrane populare, o varietate de dimensiuni de fonturi, puritatea culorilor, lungimea rubricilor, proporția imaginilor de pe întreaga pagină și așa mai departe. Ceea ce a mai rămas de făcut este să instruiți modelul folosind aceste reguli.

Creați un algoritm. Ce este exact un „model de predare”? Este construcția unui algoritm care se bazează pe un set de caracteristici dat și poate evalua site-ul web selectat. Este de dorit ca evaluarea sistemului și evaluarea medie a profesorului să aibă un decalaj minim în evaluările finale.

Am decis să folosim metoda de stimulare a gradientului peste arborii de decizie, deoarece este una dintre cele mai populare și eficiente abordări. Folosind algoritmi de bază, construiește un set, al cărui rezultat general depășește rezultatele oricărui algoritm separat.

Mai mult, adăugând fiecare algoritm de bază ulterior, încearcă să îmbunătățească calitatea răspunsurilor întregului set.

Pentru a accelera și ușura procesul, am folosit biblioteca CatBoost de la Yandex, care permite construirea unui rapel bazat pe gradient în așa-numiții „arbori de decizie ignorați” asigurând capacități bune de formare a unui model de la început și o tranziție rapidă la furnizarea de predicții (estimări ) pentru obiecte noi.

Adăugarea unei rețele neuronale. Când algoritmul de bază a fost gata, am decis să realizăm un experiment: rezultatele se vor îmbunătăți dacă adăugăm o rețea neuronală? De fapt, știam deja să „privim” un site web și designul acestuia și acum am decis să oferim sistemului un fel de „lupă” pe care îl poate folosi pentru a dezvălui și mai multe detalii.

Am ales una dintre cele mai populare rețele, resnet50, este cunoscut ca un algoritm bun pentru extragerea funcțiilor la nivel înalt. Și am învățat cum să obținem 1000 de atribute suplimentare pentru evaluarea site-ului. Drept urmare, sistemul caracterizează acum o adresă URL în total 1125 de funcții și găsește „locul” site-ului web pe o scară de 10 puncte. Procesul durează până la câteva zeci de secunde, motiv pentru care avem în vedere accelerarea modelului prin reducerea numărului de semne, păstrând în același timp calitatea evaluării.

Primele rezultate. Modelul instruit în acest fel ar putea face estimări de 3 ori mai precise în comparație cu cele ale „profesorilor” individuali.

Putem spune că modelul și-a depășit primii profesori, întrucât estimările grupului focus diferă mult mai mult de media decât estimarea rețelei neuronale. Acum introducem algoritmul în rețea pentru instruire ulterioară. Și puteți deveni și profesorul ei.