Machine Learning 101: Overvåget, Uovervåget, Forstærkning og Beyond

Machine learning er en væsentlig del af at være en Data Scientist . I enkleste vendinger bruger maskinlæringalgoritmer til at opdage mønstre og lave forudsigelser.Det er en af ​​de mere populære metoder, der bruges til at behandle store mængder rå data og vil kun stige i popularitet, efterhånden som flere virksomheder forsøger at træffe datadrevne beslutninger.

Maskinelæring omfatter et stort sæt ideer, værktøjer og teknikker, som dataforskere og andre fagfolk bruger. Vi har forklaret disse begreber mere bredt , men denne gang, lad os tage et kigved nogle af de specifikke komponenter, oghvordan de kan bruges til at løse problemer.

Supervised Machine Learning

De mest ligetil opgaver falder ind under paraplyen overvåget læring .

I superviseret læring har vi adgang til eksempler på korrekte input-output-par, som vi kan vise til maskinen i træningsfasen. Det almindelige eksempel på håndskriftsgenkendelse bliver typisk grebet ind som en overvåget læringsopgave. Vi viser computeren et antal billeder af håndskrevne cifre sammen med de korrekte etiketter til disse cifre, og computeren lærer de mønstre, der relaterer billeder til deres etiketter.

At lære at udføre opgaver på denne måde, ved eksplicitte eksempler, er relativt let at forstå og ligetil at implementere, men der er en afgørende opgave: Vi kan kun gøre det, hvis vi har adgang til et datasæt med korrekte input-output-par. I håndskriftseksemplet betyder det, at vi på et tidspunkt skal sende et menneske ind for at klassificere billederne i træningssættet. Dette er besværligt arbejde og ofte umuligt, men hvor dataene findes, kan overvågede læringsalgoritmer være ekstremt effektive til en bred vifte af opgaver.

Regression og klassifikation

Overvågede maskinlæringsopgaver kan bredt klassificeres i to undergrupper: regression og klassifikation . Regression er problemet med at estimere eller forudsige en kontinuerlig størrelse. Hvad vil værdien af ​​S&P 500 være en måned fra i dag? Hvor højt vil et barn være som voksen? Hvor mange af vores kunder vil rejse til en konkurrent i år? Disse er eksempler på spørgsmål, der ville falde ind under regressionens paraply. For at løse disse problemer i en overvåget maskinlæringsramme vil vi samle tidligere eksempler på input/outputpar med rigtige svar, der beskæftiger sig med det samme problem. For input, ville vi identificere funktioner som vi mener ville være forudsigelige for de resultater, som vi ønsker at forudsige.

For det første problem kan vi prøve at samle de historiske priser på aktier under S&P 500 på givne datoer sammen med værdien af ​​S&P 500 en måned senere. Dette ville danne vores træningssæt, hvorfra maskinen ville forsøge at bestemme et funktionelt forhold mellem funktionerne og eventuelle S&P 500-værdier.

Klassifikation beskæftiger sig med at tildele observationer i diskrete kategorier, snarere end at estimere kontinuerlige mængder. I det simpleste tilfælde er der to mulige kategorier; denne sag er kendt som binær klassifikation . Mange vigtige spørgsmål kan formuleres i form af binær klassifikation. Vil en given kunde forlade os for en konkurrent? Har en given patient kræft? Indeholder et givet billede en hotdog? Algoritmer til at udføre binær klassifikation er særligt vigtige, fordi mange af algoritmerne til at udføre den mere generelle form for klassifikation, hvor der er vilkårlige etiketter, simpelthen er en flok binære klassificeringsorganer, der arbejder sammen. For eksempel er en simpel løsning på håndskriftsgenkendelsesproblemet simpelthen at træne en flok binære klassifikatorer: en 0-detektor, en 1-detektor, en 2-detektor og så videre, som udsender deres sikkerhed for, at billedet er af deres respektive ciffer. Klassifikatoren udsender bare det ciffer, hvis klassifikator har den højeste sikkerhed.

På den anden side er der en helt anden klasse af opgaver, der omtales som uovervåget læring . Superviserede læringsopgaver finder mønstre, hvor vi har et datasæt med rigtige svar at lære af. Uovervågede læringsopgaver finder mønstre, hvor vi ikke gør det. Dette kan skyldes, at de rigtige svar er uobserverbare eller umulige at opnå, eller måske for et givet problem er der ikke engang et rigtigt svar i sig selv.

Clustering og generativ modellering

En stor underklasse af uovervågede opgaver er problemet med klyngedannelse . Clustering refererer til at gruppere observationer sammen på en sådan måde, at medlemmer af en fælles gruppe ligner hinanden og er forskellige fra medlemmer af andre grupper. En almindelig anvendelse her er i marketing, hvor vi ønsker at identificere segmenter af kunder eller kundeemner med lignende præferencer eller købsvaner. En stor udfordring ved clustering er, at det ofte er svært eller umuligt at vide, hvor mange klynger der skal eksistere, eller hvordan klyngerne skal se ud.

En meget interessant klasse af uovervågede opgaver er generativ modellering . Generative modeller er modeller, der efterligner den proces, der genererer træningsdataene. En god generativ model ville være i stand til at generere nye data, der på en eller anden måde ligner træningsdataene. Denne type læring er uden opsyn, fordi behandle der genererer dataene er ikke direkte observerbare - kun dataene i sig selv er observerbare.

Den seneste udvikling på dette område har ført til opsigtsvækkende og lejlighedsvis forfærdelige fremskridt inden for billedgenerering. Billedet her er skabt ved at træne en slags uovervåget læringsmodel kaldet en Deep Convolutional Generalized Adversarial Network-model til at generere billeder af ansigter og bede den om billeder af en smilende mand.

Forstærkningslæring, hybrider og mere

En nyere type læringsproblem, der har vundet meget indpas på det seneste, kaldes forstærkende læring . I forstærkningslæring giver vi ikke maskinen eksempler på korrekte input-output-par, men vi giver en metode til, at maskinen kan kvantificere dens ydeevne i form af en belønningssignal . Forstærkende læringsmetoder ligner, hvordan mennesker og dyr lærer: Maskinen prøver en masse forskellige ting og bliver belønnet, når den gør noget godt.

Forstærkningslæring er nyttig i tilfælde, hvor løsningsrummet er enormt eller uendeligt, og gælder typisk i tilfælde, hvor maskinen kan opfattes som en agent, der interagerer med sit miljø. En af de første store succeshistorier for denne type model var af et lille team, dertrænet en forstærkningslæringsmodel til at spille Atari-videospil ved kun at bruge pixeloutput fra spillet som input. Modellen var til sidst i stand til at overgå menneskelige spillere ved tre af spillene, og det firma, der skabte modellenblev opkøbt af Google for over $500 miokort derefter.

For at implementere overvåget læring til problemet med at spille Atari-videospil, ville vi kræve et datasæt, der indeholder millioner eller milliarder af eksempler på spil spillet af rigtige mennesker, som maskinen kan lære af. Derimod fungerer forstærkningslæring ved at give maskinen en belønning i forhold til, hvor godt den præsterer på sin opgave. Simple videospil er velegnede til denne type opgave, da scoren fungerer godt som belønning. Maskinen fortsætter med at lære ved simulering, hvilke mønstre der maksimerer dens belønning.

Ofte fører hybride tilgange til gode resultater. En vigtig opgave på nogle områder er f.eks afsløring af anomalier . En anomalidetektionsalgoritme overvåger et eller andet signal og indikerer, når noget mærkelig sker. Et godt eksempel er afsløring af svindel. Vi vil have en algoritme, der overvåger en strøm af kreditkorttransaktioner og markerer underlige. Men hvad betyder mærkeligt? Dette problem er velegnet til en slags hybrid overvåget/uovervåget tilgang. Der er helt sikkert nogle kendte mønstre, som vi gerne vil have algoritmen til at kunne opdage, og vi kan træne en overvåget læringsmodel ved at vise den eksempler på de kendte svindelmønstre. Men vi ønsker også at være i stand til at opdage hidtil ukendte eksempler på potentielt bedrageri eller på anden måde unormal aktivitet, som kan opnås ved metoder til uovervåget læring.

Grundlæggende maskinlæring kan have stor indflydelse

Mange af de mest avancerede værktøjer kræver en stor mængde sofistikeret viden inden for avanceret matematik, statistik og softwareteknik. For en nybegynder, der gerne vil i gang, kan det virke uoverskueligt, især hvis du vil arbejde med nogle af de spændende nye modeller.

Den gode nyhed er, at du kan gøre meget med det grundlæggende, som er bredt tilgængeligt. En række forskellige overvågede og ikke-overvågede læringsmodeller er implementeret i R og Python, som er frit tilgængelige og ligetil at sætte op på din egen computer, og selv simple modeller som lineær eller logistisk regression kan bruges til at udføre interessante og vigtige maskinlæringsopgaver.

Tjek vores Machine Learning Certificate kursus at lære det grundlæggende og komme i gang. Hvis du vil have mere, ansøg nu til BrainStations Data Science Diplomuddannelse.