Verdienen Sie Geld mit Ihren Tech-Blogs, Gadgets und Tipps

Mitä automaattinen koneoppiminen on ja miksi se voisi olla muuntavaa?

Huomautus: Seuraava artikkeli auttaa sinua: Mikä on Automaattinen koneoppiminen ja miksi se voisi olla muuntavaa?

Erilaisia ​​paradigmoja, kuten valvottu, valvomaton, vahvistus ja online-koneoppiminen, on annettu asiantuntijoiden saataville vuosien ponnistelujen ja tutkimuksen jälkeen tietyssä kehyksessä. Automaattinen koneoppiminen on kuitenkin suhteellisen nouseva ilmiö, jolla voi olla tärkeä rooli tällä alueella tulevaisuudessa.

Jolla on tehokkaampia sovelluksia. AutoML viittaa ainutlaatuiseen tapaan luoda automatisoitu koneoppimisalgoritmi. Ensi silmäyksellä näyttää siltä, ​​että automaattinen koneoppiminen on tarkoitettu korvaamaan tutkijat, mutta automaattisen oppimisen sovellukset ovat paljon tutkijoiden asiantuntemuksen ulkopuolella.

Miten älykkäitä malleja tehdään?

Koneoppiminen on yksi tärkeimmistä tekoälyn sovelluksista, joka mahdollistaa automaattisen ja edistyneen kokemuspohjaisen oppimisen ilman järjestelmän nimenomaista ohjelmointia. Tarkemmin sanottuna koneoppiminen keskittyy kehittämään tietokoneohjelmia, jotka pääsevät käsiksi dataan ja käyttävät sitä itseohjautuvaan oppimiseen. Koneoppimismalli perustuu säännölliseen ja erityiseen ohjelmaan seuraavasti:

  • Etsi yrityksesi ongelma.
  • Liiketoiminnan ongelman kääntäminen ongelmaksi, joka voidaan ratkaista datatieteen avulla.
  • Etsi tarvittava tietue.
  • Määrittele arvion tarkoitus ja kriteerit.
Rakenna ja kouluta malleja, jotka perustuvat ominaisuussuunnitteluun, ominaisuuksien valintaan, algoritmien valintaan ja hyperparametrien optimointiin (automaattisessa koneoppimisessa hyperparametrit ovat mittauksia tai mittareita, jotka ohjaavat oppimisprosessia).

Hyperparametrien optimointi, joka tunnetaan nimellä viritys, on viritysprosessi. Älykkään algoritmin parametreja ovat eräpyynnöt, aggregointi, mallin käyttöönotto, arviointi ja testaus, mallin kaupallistaminen ja lopuksi mallisovellus todellisten ongelmien ratkaisemiseksi.

Automaattinen koneoppiminen mahdollistaa täydellisen pääsyn koneoppimisprosesseihin raakatietosarjoista käyttökelpoisten mallien rakentamiseen. AutoML:n automatisoinnin ansiosta myös ei-asiantuntijat voivat käyttää koneoppimismalleja ja -tekniikoita ilman erikoisosaamista.

Mikä tekee AutoML haluatko automatisoida?

Perinteisessä koneoppimisessa algoritmi sisältää joukon syöttödataa, josta voi oppia. Tätä raakadataa ei ehkä ole valmistettu sopivassa muodossa, jota käytetään algoritmien tai vastaavien algoritmien opettamiseen.

Jotta dataa voidaan käyttää koneoppimiseen, asiantuntijan on keskityttävä tietojen ylisovitukseen, ominaisuussuunnitteluun, ominaisuuksien poimimiseen ja valittuihin ominaisuuksiin. Tämän vaiheen jälkeen algoritmin tulee valita optimoidut parametrit maksimoidakseen mallin ennakoivan suorituskyvyn.

Kaikki nämä vaiheet tuovat haasteita, ja AutoML yrittää tehdä näistä vaiheista paljon helpompaa ei-asiantuntijoille. AutoML on suunniteltu yksinkertaistamaan ja nopeuttamaan näitä prosesseja. Automaattinen koneoppiminen tuo kuitenkin myös uusia haasteita.

Ensimmäinen haaste on varmistaa AutoML-lähestymistapaan perustuvan mallin tulos. Onko tämä malli todella paras malli, joka voidaan luoda? Tästä syystä useimmat AutoML-tekniikat ja -ratkaisut tarjoavat mahdollisuuden muokata joitain hyperparametreja, jolloin kehittäjät voivat rakentaa ja vertailla erilaisia ​​malleja.

Yllä olevalla ratkaisulla on tietysti myös haittoja. Vaikka superparametrien muokkaaminen ja manipulointi tarjoaa kehittäjille hyviä mahdollisuuksia, se kumoaa automatisoidun koneoppimisen edut, kuten yksinkertaisuuden ja nopeuden.

Toinen AutoML:ään liittyvien teknologioiden ongelma on niiden vahva riippuvuus teknisestä tietämyksestä.

Tarkemmin sanottuna AutoML vaatii datatieteilijää tutkimaan suunniteltua mallia ja valitsemaan sopivimman mallin toteutusta varten. Jos arviointivaiheessa on saatavilla useita hyvin toimivia malleja, datatutkijan tulee käyttää muita toisiaan täydentäviä tekniikoita luodakseen lopullisen kaupallisesti käytettävän mallin.

Tämä eliminoi AutoML:n luontaiset edut, nimittäin oppimiskeskustelun yksinkertaisuuden ja nopeuden. Tutkijat ovat ehdottaneet tapoja ratkaista nämä ongelmat. Yksi tapa ratkaista tämä ongelma on toteuttaa AutoML eri tasoilla.

Teknisesti sanottuna ero automaattisen koneoppimisen ja perinteisen koneoppimisen välillä on joitain aiemmin kiinteitä ja muuttumattomia parametreja, mutta nyt niitä voidaan muokata.

Muuten näiden kahden paradigman välillä ei ole eroa. Ensinnäkin AutoML voi suorittaa kattavan haun käytettävissä olevista hyperparametreistä ja malleista. Kuulostaako tämä lause tutulta? Olet oikeassa, koska puhumme käsitteestä nimeltä Pervasive Search.

Kyllä, AutoML tekee saman kuin kattava haku. Koska parhaan mukautetun mallin suunnittelu tietylle sovellukselle on aikaa vievää ja kallista, automaattisen koneoppimisen avulla voimme suorittaa enemmän kokeita.

Nämä kokeet voivat antaa meille ideoita siitä, mikä toimii hyvin ja mikä ei.

Tosiasia on, että nykypäivän koneoppimismallien toteutus on enemmän yritys- ja erehdyspohjaista, eivätkä kaikki komponentit toimi kunnolla.

Malleja tulee arvioida erilaisilla testeillä ja arvioida tuloksia virheiden tunnistamiseksi ja korjaamiseksi. Kun jokaisen testin toteuttamiskustannukset ovat korkeat, on tehtävä monia laskelmia sopivimman vaihtoehdon valitsemiseksi.

Mitä on overfitting?

Ylisovitus on ei-toivottu ilmiö tilastokeskusteluissa ja koneoppimisessa. Tämän ilmiön käsittelemiseksi ja sopivan vapausasteen valitsemiseksi tulisi käyttää menetelmiä, kuten ristiinvalidointia ja regularisointia.

Ylisovitus johtuu siitä, että mallin sopivuuskriteeri ei vastaa sen arvioinnissa käytettyä kriteeriä. Kaiken kaikkiaan ylisovitus tapahtuu, kun malli alkaa tallentaa tietoja sen sijaan, että se oppisi niitä sovituksen aikana.

Mikä on automaattisen koneoppimisen tarkoitus?

Automaattista koneoppimista voidaan käyttää useilla älykkäiden algoritmien kehittämiseen liittyvillä alueilla. Näitä alueita ovat tietojen valmistelu, saraketyyppien tunnistus (looginen, diskreetti luku, jatkuva tai tekstillinen), sarakkeen rakentamisen päättely (datatunniste, luokitus, numeeriset ominaisuudet, tekstuurin ominaisuudet) ja tehtävien tunnistus (binääriluokitus, regressio, luokitus, ominaisuus). Suunnittelu, ominaisuuksien valinta, piirteiden poiminta, meta-oppiminen ja siirron oppiminen, upotetun/väärän tai puuttuvan arvon havaitseminen ja korjaus, mallin valinta, oppimisalgoritmien superparametrien optimointi, tiedonsiirtoväylän valinta aikarajoitusten perusteella, muisti- ja monimutkaisuusrajoitukset, arvioinnin valinta kriteerit ja validointimenetelmät, vianetsintä, vuotojen havaitseminen, konfiguraatiovirheiden havaitseminen, tulosten analysointi ja kuvantaminen.

Mitkä ovat automaattisen koneoppimisen vaiheet?

Yleisesti ottaen automatisoitu koneoppimisprosessi voidaan jakaa kolmeen pääosaan: tietojen valmistelu, ominaisuussuunnittelu, rakentaminen ja mallin suorituskyvyn arviointi.

1. Tietojen valmistelu

Ilman dataa ei ole mahdollista luoda älykkäitä malleja tai algoritmeja. Siksi tutkijoiden tulee yrittää kerätä tietoa ja valmistella dataa. Tietojen valmisteluvaihe sisältää seuraavat osajoukot:

kerätä dataa

Tutkijat tarvitsevat suuria tietomääriä mallien valmisteluun ja laajan tutkimuksen tekemiseen älykkäiden mallien edellyttämän tiedon saamiseksi. Tästä syystä hyödylliset tietojoukot ovat kehittäjien saatavilla ilmaiseksi. Koneoppimisen kehityksen alkuvaiheessa tietojoukkoja kehitettiin käyttämällä käsinkirjoitettuja numeroita, ja sitten kehitettiin suuria tietojoukkoja, kuten CIFAR-10, CIFAR-100 ja ImageNet.

Wayback Machine antoi kehittäjien saataville erilaisia ​​tähän tarkoitukseen valmistettuja big dataa, kuten Kaggle, Google Dataset Search ja Elsevier Data, 3.6.2020. Näitä menetelmiä ei kuitenkaan ole saatavilla. Tämän ongelman ratkaisemiseksi ehdotetaan kahta ratkaisua:

Tietojen haku

Etsimällä Internetistä, joka on loputon tietolähde, on mahdollista saada tietoja, mutta tällä menetelmällä on monia ongelmia, kuten: Esimerkiksi virheelliset tiedot tai ei tietomerkintää. Näiden ongelmien ratkaisemiseksi tutkijat ovat kehittäneet menetelmiä, kuten automaattisen tietojen merkitsemisen.

Datan simulointi

Datasimulaatio on yksi yleisimmin käytetyistä tiedonmuodostusmenetelmistä. Tekniikka toimii niin, että tutkijat käyttävät mahdollisimman realistisia simulaattoreita. OpenAI Gym on suosittu työkalu erilaisten simulaatioympäristöjen luomiseen. Toinen tapa on luoda tietoja Generative Adversarial Networks -verkoston avulla.

Tietojen tarkentaminen

Kerätyt tiedot ovat suuren hämmennyksen ja heterogeenisen kohteena, joten melu voi vaikuttaa mallin harjoitteluun. Siksi tietojen puhdistusprosessi on suoritettava. Tietojen puhdistaminen vaatii yleensä pienen määrän korkeapalkkaisia ​​ammattilaisia. Tästä syystä BoostCleanin kaltaiset menetelmät ja järjestelmät keksivät tämän prosessin automatisoimiseksi. Tietenkin nämä järjestelmät voivat toimia vain kiinteiden tietojoukkojen kanssa eivätkä siksi reagoi todelliseen maailmaan, jossa syntyy paljon dataa joka päivä.

Datan redundanssi

Tiedonlisäyksellä tarkoitetaan sitä, että olemassa olevasta tiedosta voidaan tuottaa uutta tietoa ja tiedonkeruutyökaluja voidaan jossain määrin käyttää tähän tarkoitukseen. Yllä olevasta lähestymistavasta laillistamiseen ja ongelman ratkaisemiseen

Overfit-harjoittelutietoja käytetään. Esimerkiksi konenäössä on mahdollista käyttää dataredundanssimekanismia kuvatiedoissa ja suurentaa tai pienentää kuvaa tai leikata siitä osia uusien kuvien luomiseksi. AutoAugment oli yksi ensimmäisistä tähän tekniikkaan perustuvista järjestelmistä.

Tietojen ylikellotusprosessia ei ole toteutettu täysin ja tarkasti millään AutoML-työkalulla. Lisää työtä on tehtävä, jotta kehittäjille voidaan tarjota tarkka työkalu.

2. Kiinteistötekniikka

Ominaisuussuunnittelun tavoitteena on maksimoida raakadatasta poimitut ominaisuudet algoritmien ja mallien käyttöön. Tämä osio sisältää seuraavat alaluokat:

  • Ominaisuudet: Ominaisuuden valitsin (Ominaisuuden valitsin) on osa alkuperäisen kokoelman Ominaisuuksia. Epäolennaisten tai toistuvien hahmojen poistaminen on valittu. Tämä tehdään mallin suunnitteluprosessin yksinkertaistamiseksi, ylikuormituksen välttämiseksi ja mallin suorituskyvyn parantamiseksi. Tällä alueella käytettävissä olevia menetelmiä ovat ensimmäisen tason haku, ensimmäinen paras, simuloitu hehkutus ja geneettiset algoritmit.
  • Ominaisuuden rakentaminen: Ominaisuuden rakentamisprosessiin kuuluu uusien ominaisuuksien luominen raakatiedoista mallin kestävyyden parantamiseksi. Käytetään esimerkiksi sellaisia ​​menetelmiä kuin loogisten ominaisuuksien lisääminen ja numeerisen datan minimoiminen tai maksimointi.
  • Sisätilojen poistoratkaisu pienentää mittoja. Tämä prosessi perustuu kartoitusfunktioihin tiedon ja ei-toistuvien ominaisuuksien poimimiseksi tiettyjen mittareiden perusteella. Ominaisuuden poimiminen perustuu korrelaatiofunktioon, joka voidaan toteuttaa esimerkiksi PCA:ssa. Jotkut tutkijat uskovat kuitenkin, että eteenpäinkytkentäisiä neuroverkkoja voidaan käyttää tähän tarkoitukseen.

3. Rakenna ja arvioi mallin suorituskyky

Mallin rakenne on jaettu kahteen osaan: hakuavaruuteen ja optimointimenetelmiin. Hakuavaruudessa määritellään rakenne, johon malli perustuu. Mallit on yleensä jaettu kolmeen ryhmään: Common Machine Learning (SVM) -mallit, k-Lähimpien naapurien algoritmi ja Deep Neural Network (DNN) -päätöspuu, jokaisella on omat määritelmänsä.

Miten automatisoitu koneoppiminen voidaan toteuttaa?

Nykyään tutkijoilla on saatavilla useita ratkaisuja koneoppimismallien rakentamisen automatisointiin. Satunnaishaun ja ruudukkohaun yksinkertaisia ​​ja perusmenetelmiä käytetään laajasti tällä alueella, koska ne on helppo toteuttaa.

Mutta nämä ratkaisut eivät toimi optimaalisesti. Itse asiassa näiden hakumenetelmien suorituskyvyn laatu on vakio, eikä oppiminen perustu aikaisempiin tuloksiin, joten emme näe parannusta tähän menetelmään perustuvien mallien suoritustasossa ajan myötä.

Nykyään uudet meta-oppimisratkaisut tuottavat parempia tuloksia kuin vanhat.

Uusia ratkaisuja, jotka mahdollistavat automatisoidun koneoppimisen toteuttamisen, ovat muun muassa evoluutioalgoritmit, gradienttipohjainen optimointi ja Bayesin optimointi.