Prelucrarea limbajului natural

01.02.2020

Prelucrarea limbajului natural. Cum funcționează și ce aplicații are lingvistica computațională? Prelucrarea limbajului natural (NLP), denumit și lingvistică computațională, reprezintă o știință interdisciplinară, parte a inteligenței artificiale. Mai exact, NLP este un sub-domeniu al lingvisticii, informaticii, ingineriei și al inteligenței artificiale care se ocupă de modul în care calculatoarele pot înțelege, procesa și analiza cantități mari de date privind limbajul natural al oamenilor.

Procesarea limbajului natural include recunoașterea vorbirii, înțelegerea ei și crearea sau generarea vorbirii de către inteligența artificială.

Cu toate că prelucrarea limbajului natural nu reprezintă o știință nouă, în prezent se pune un accent mai mare pe acest domeniu, întrucât interesul privind comunicarea dintre om și calculator este din ce în ce mai mare, puterea de procesare avansând enorm în ultimul deceniu, iar algoritmii NLP s-au îmbunătățit considerabil.

Procesarea limbajului natural include recunoașterea vorbirii, înțelegerea ei și crearea sau generarea vorbirii de către inteligența artificială

Prelucrarea limbajului natural. „Limba maternă” a calculatoarelor

Ca oameni putem vorbim și scrie în română, engleză, franceză, italiană, chineză sau orice altă limbă în funcție de locul în care ne-am născut. Însă „limba maternă” a unui calculator este în mare parte de neînțeles pentru majoritatea oamenilor. Comunicarea dintre noi și calculatoare se face prin diverse acțiuni logice, însă nu cu ajutorul cuvintelor, ci prin milioane de 1 și de 0 (prin intermediul sistemului binar).

În urmă cu 70 de ani, programatorii foloseau carduri de perforare pentru a comunica cu primele computere. Acest proces era dificil și a fost înțeles de foarte puțini oameni.

Acum, există aplicații care înțeleg ce spunem și acționează conform cerințelor noastre (de exemplu Alexa sau Siri). Mai exact, atunci când folosim un asistent și cerem, de exemplu, să ne caute o melodie sau un film, dispozitivul nostru se activează (adică înțelege intenția noastră), execută o operațiune (ne caută melodia) și ne oferă un feedback printr-o propoziție inteligibilă și corect formulată din punct de vedere gramatical.

Toate aceste lucruri se întâmplă în mai puțin de cinci secunde. Cum este însă posibil așa ceva? Interacțiunea dintre noi și un asistent vocal este una completă și poate exista datorită procesării limbajului natural, împreună cu două elemente importante de inteligență artificială: învățarea automată și învățarea profundă.

Prelucrarea limbajului natural. Comunicarea cu oamenii

Prelucrarea limbajului natural ajută calculatoarele să comunice cu oamenii în propria lor limbă și să execute sarcini legate de limbă. De exemplu, cu ajutorul NLP, calculatoarele pot:

  • să citească text
  • să audă un discurs
  • să îl interpreteze
  • să analizeze sentimentele transmise
  • să determine ce părți ale discursului sunt importante

Cu ajutorul NLP calculatoarele pot să citească text, să audă un discurs, să îl interpreteze, să analizeze sentimentele transmise și să determine ce părți ale discursului sunt importante

Calculatoarele pot analiza mai multe date bazate pe limbaj decât oamenii, fără oboseală și într-un mod consecvent și nepărtinitor. Având în vedere cantitatea uimitoare de date care sunt generate în fiecare zi, de la înregistrările medicale la rețelele de socializare, automatizarea este esențială pentru analizarea completă a textului și a vorbirii în mod eficient.

Cum funcționează prelucrarea limbajului natural

Prelucrarea limbajului natural include multe tehnici diferite pentru interpretarea limbajului uman, de la metode statistice și de învățare automată până la abordări bazate pe reguli și pe algoritmi. Este nevoie de o gamă largă de abordări, deoarece datele bazate pe text și voce variază foarte mult.

În termeni generali, NLP descompune limbajul în unități mai scurte și elementare, încearcă să înțeleagă relațiile dintre aceste unități și explorează modul în care unitățile lucrează împreună pentru a crea semnificație. Funcționează în mod similar cu împărțirea frazei în propoziții, așa cum se făcea în clasele generale.

Așadar, procesarea limbajului natural include:

  1. Împărțirea în categorii a conținutului

  2. Descoperirea și modelarea subiectelor

  3. Extragerea unui context

  4. Analiza sentimentelor

  5. Conversia vorbire – text și text – vorbire

  6. Rezumatul datelor

  7. Traducerea automată

Prelucrarea limbajului natural. Aplicații

Deși pare un concept de care suntem încă departe, ne întâlnim zilnic cu aplicații care funcționează pe baza procesării limbajului natural.

Prelucrarea limbajului natural. Asistentul virtual oferit de e-mailuri

V-ați întrebat vreodată ce stă în spatele corecției automate, a verificării gramaticale și a auto-completării în cazul e-mailurilor pe care vrem să le trimitem? Toate aceste funcții sunt generate de către procesarea limbajului natural. Este și cazul filtrului de spam al e-mailului pe care îl folosiți. Utilizând NLP, se determină ce e-mailuri sunt de interes pentru o persoană și ce reprezintă spam.

Prelucrarea limbajului natural. Chatbot-urile

Ați sunat vreodată la o companie de telefonie mobilă sau la o bancă și ați interacționat cu un chatbot sau cu un „robot” așa cum îl numesc românii? I-ați spus ce problemă aveți și el a fost capabil să vă ofere o soluție sau să vă direcționeze către departamentul de care aveați nevoie. Altfel spus, acest „robot” a înțeles ce i-ați comunicat și a putut să acționeze astfel încât să vă ajute.

Dacă sunteți sceptic privind aceste informații, puteți face un test. Intrați pe pagina unui magazin online și în căsuța de chat scrieți o întrebare privind produsele din magazin, programul magazinului sau modalitățile de livrare. Veți putea observa că întrebările adresate vor primi în timp real un răspuns adecvat. În plus, chiar dacă o să scrieți cu greșeli, chatbot-ul respectiv va fi capabil să înțeleagă cuvântul pe care ați vrut să îl scrieți, adică intenția avută.

Prelucrarea limbajului natural. Traducerea automată

Atât Facebook, cât și Google pun la dispoziția utilizatorilor posibilitatea de traducere automată a paginilor. Pentru a traduce o postare sau un comentariu pe Facebook scris într-o altă limbă, putem apăsa pe butonul „Vezi traducerea sub postare sau sub comentariu”. Dacă faceți acest lucru, veți observa că traducerea oferită este extrem de corectă, informația păstrându-se în totalitate.

Prelucrarea limbajului natural. Rezumarea informațiilor

Prelucrarea limbajului natural poate extrage și sintetiza informații dintr-o varietate de surse de text, cum ar fi rapoarte de știri, manuale de utilizare și multe altele. După obținerea informațiilor, poate folosi ceea ce a înțeles pentru a lua decizii.

Procesarea limbajului natural ne oferă, așadar, o serie de instrumente care reușesc să ne facă viața mai ușoară și să ne ghideze în munca pe care o desfășurăm zi de zi. În plus, perspectivele de dezvoltare ale acestui domeniu sunt imense. Specialiștii IT afirmă că NLP ne va oferi, în viitor, o serie de aplicații care ne vor ajuta să comunicăm mai bine și mai ușor.

Citește și Tendințe în tehnologie pentru 2020

 

 

 

Citiți și despre: