TFX, mis tähendab TensorFlow Extended, on terviklik platvorm tootmisvalmis masinõppe torujuhtmete ehitamiseks. See pakub komplekti tööriistu ja komponente, mis hõlbustavad skaleeritavate ja usaldusväärsete masinõppesüsteemide arendamist ja juurutamist. TFX on loodud masinõppe torujuhtmete haldamise ja optimeerimise probleemide lahendamiseks, võimaldades andmeteadlastel ja inseneridel keskenduda pigem mudelite loomisele ja itereerimisele, mitte tegeleda infrastruktuuri ja andmehalduse keerukusega.
TFX korraldab masinõppe torujuhtme mitmeks horisontaalseks kihiks, millest igaüks täidab üldises töövoos kindlat eesmärki. Need kihid töötavad koos, et tagada andmete ja mudelite artefaktide sujuv voog ning konveieri tõhus toimimine. Uurime TFX-i erinevaid kihte torujuhtme haldamiseks ja optimeerimiseks:
1. Andmete sisestamine ja kinnitamine:
See kiht vastutab toorandmete allaneelamise eest erinevatest allikatest, nagu failid, andmebaasid või voogedastussüsteemid. TFX pakub andmete valideerimiseks ja statistika genereerimiseks selliseid tööriistu nagu TensorFlow Data Validation (TFDV). TFDV aitab tuvastada anomaaliaid, puuduvaid väärtusi ja andmete triivi, tagades sisendandmete kvaliteedi ja järjepidevuse.
2. Andmete eeltöötlus:
Selles kihis pakub TFX TensorFlow teisendust (TFT), et teostada andmete eeltöötlust ja funktsioonide projekteerimist. TFT võimaldab kasutajatel määratleda sisendandmete teisendusi, nagu skaleerimine, normaliseerimine, ühe kuumuse kodeering ja palju muud. Neid teisendusi rakendatakse järjepidevalt nii koolituse kui ka teenindamise ajal, tagades andmete järjepidevuse ja vähendades andmete moonutamise ohtu.
3. Modellikoolitus:
TFX kasutab selles kihis TensorFlow võimsaid treeninguvõimalusi. Kasutajad saavad määratleda ja treenida oma masinõppemudeleid, kasutades TensorFlow kõrgetasemelisi API-sid või kohandatud TensorFlow koodi. TFX pakub selliseid tööriistu nagu TensorFlow mudelianalüüs (TFMA), et hinnata ja kinnitada koolitatud mudeleid, kasutades mõõdikuid, visualiseerimisi ja viilutamistehnikaid. TFMA aitab hinnata mudeli toimivust ja tuvastada võimalikke probleeme või eelarvamusi.
4. Mudeli valideerimine ja hindamine:
See kiht keskendub koolitatud mudelite valideerimisele ja hindamisele. TFX pakub TensorFlow andmete valideerimist (TFDV) ja TensorFlow mudeli analüüsi (TFMA), et teostada kõikehõlmavat mudeli valideerimist ja hindamist. TFDV aitab kinnitada sisendandmeid andmete sisestamise faasis määratletud ootustele, samas kui TFMA võimaldab kasutajatel hinnata mudeli toimivust eelmääratletud mõõdikute ja lõikude alusel.
5. Mudeli juurutamine:
TFX toetab mudeli juurutamist erinevates keskkondades, sealhulgas TensorFlow Serving, TensorFlow Lite ja TensorFlow.js. TensorFlow Serving võimaldab kasutajatel pakkuda oma mudeleid skaleeritavate ja tõhusate veebiteenustena, samas kui TensorFlow Lite ja TensorFlow.js võimaldavad juurutamist vastavalt mobiili- ja veebiplatvormidel. TFX pakub tööriistu ja utiliite koolitatud mudelite hõlpsaks pakkimiseks ja juurutamiseks.
6. Orkestreerimine ja töövoo haldamine:
TFX integreerub töövoohaldussüsteemidega, nagu Apache Airflow ja Kubeflow Pipelines, et korraldada ja hallata kogu masinõppe torujuhet. Need süsteemid pakuvad ajastamise, jälgimise ja vigade käsitlemise võimalusi, tagades torujuhtme usaldusväärse täitmise.
Korraldades torujuhtme nendesse horisontaalkihtidesse, võimaldab TFX andmeteadlastel ja inseneridel masinõppesüsteeme tõhusalt arendada ja optimeerida. See pakub struktureeritud ja skaleeritavat lähenemisviisi andmete sissevõtmise, eeltöötluse, mudeli koolituse, valideerimise, hindamise ja juurutamise keerukuse haldamiseks. TFX-i abil saavad kasutajad keskenduda kvaliteetsete mudelite loomisele ja oma organisatsioonidele väärtuse pakkumisele.
Konveieri haldamise ja optimeerimise TFX sisaldab horisontaalseid kihte andmete sisestamiseks ja valideerimiseks, andmete eeltöötluseks, mudeli koolituseks, mudeli valideerimiseks ja hindamiseks, mudeli juurutamiseks ning orkestreerimiseks ja töövoo haldamiseks. Need kihid töötavad koos, et sujuvamaks muuta masinõppe torujuhtmete arendust ja juurutamist, võimaldades andmeteadlastel ja inseneridel luua skaleeritavaid ja usaldusväärseid masinõppesüsteeme.
Muud hiljutised küsimused ja vastused selle kohta EITC/AI/TFF TensorFlow põhialused:
- Kuidas saab manustamiskihti kasutada, et määrata automaatselt õiged teljed sõnade vektoriteks esitamise graafikule?
- Mis on CNN-i maksimaalse ühendamise eesmärk?
- Kuidas rakendatakse konvolutsioonilise närvivõrgu (CNN) funktsioonide eraldamise protsessi kujutise tuvastamisel?
- Kas TensorFlow.js-s töötavate masinõppemudelite jaoks on vaja kasutada asünkroonset õppefunktsiooni?
- Mis on TensorFlow Keras Tokenizer API maksimaalse sõnade arvu parameeter?
- Kas TensorFlow Keras Tokenizer API-t saab kasutada kõige sagedamini esinevate sõnade leidmiseks?
- Mis on TOCO?
- Milline on seos masinõppemudeli mitme ajastu ja mudeli käitamise ennustuse täpsuse vahel?
- Kas TensorFlow neural Structured Learningis pakutav paketinaabrite API loob looduslike graafikute andmetel põhineva täiustatud treeningu andmestiku?
- Mis on TensorFlow neural Structured Learningis paketinaabrite API?
Vaadake rohkem küsimusi ja vastuseid EITC/AI/TFF TensorFlow Fundamentalsis