Technology sharing

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

In vasto intelligentiae artificialis universitate, processus linguae naturalis (NLP) semper regio plena fuit scenis et facultatibus. Ut technologiae evolutiones, evolutionem e praeceptis traditis conspeximus, ad statisticam machinam discendi, ad alta doctrina et exempla praeexercita. Hodie in limine stamus exempla magnarum linguarum (LLMs), quae deformantes modo cum machinis communicamus. Hic articulus in progressionem historiae, technicam viam tabulam, et impulsum LLM in futurum AI campi inseret.

introductio

Propositum processus linguae naturalis (NLP) est efficere ut machinas ad cognoscendum, interpretandum et generandum linguam humanam. Explicatio huius campi per aliquot momenta gravissima abiit, quarum singulae saltum in profunditate linguae intellegentiae notaverunt. A primis systematis normae fundatae, ad methodos statisticas addiscendas, ad alta exempla discendi, ad exempla magna linguae hodiernae (LLM), unusquisque gradus transcendentia prioris stadii est.

Ex regulis statisticis: primis explorationibus in NLP

Praecepta scaenicae (1956-1992)

NLP primis diebus, investigatores praecepta manu scripta ad processum linguae Latinae nitebantur. BIBLIOTHECA technica in hoc statu includit machinis finitis et systematibus regulae-substructis. Exempli gratia, Apertium est ratio translationis machinae regulae fundatae, quae ostendit quomodo veteres investigatores latis translationem linguarum consequi possint per dictionarios manuales et regulas scribendas.

Apparatus discendi scaena statistica (1993-2012)

Subinde investigatores ad methodos discendi statisticas vertere coeperunt, utentes instrumenta ut machinarum vector sustinentium (SVM), exempla abscondita Markov (HMM), maxima exempla entropy (MaxEnt), et agros temere conditionales (CRF). Scaena haec notatur per compositionem parvam quantitatem manualem intitulatum domain datam et manualem machinalem, notans transitus e praeceptis manu scriptis ad machinis scientiam e notitia automatice discendi.

Breakthroughs in Deep Doctrina: Collecta nova

Alta doctrina scaena (2013-2018)

Eventus profundae doctrinae novas mutationes in NLP attulit. Technologiae per Encoder-Decoder, Long Brevis-Term Memoriae Network (LSTM), Attentio et Embedding exemplar efficiunt ut ampliores notitias tractandi nullo fere conamine ponat. Ratio translationis machinae neuralis Google (2016) est opus repraesentativum huius scaenae.

Ortus exemplorum praeexercitatorum: sui inventio cognitionis

Praestructio tempus (2018-2022)

Cessorum pre- cedentium notarum exempla alia saltu in campo NLP. BIBLIOTHECA technica cum Transformatore et attentio mechanismo sicut nucleus coniungit magnas distentas notitias ad discendam auto-dispositam, cognitionem generalem generat, et deinde ad operas specificas per pulchre-tuning accommodat. Variabilitas huius scaenae altissima est, quia facultatem notitiarum ex intitulatum datarum distentarum notitiarum ampliat.

Nova aetas LLM: fusio intelligentiae et mobilitatis

LLM stage (2023-?)

LLM novissimam progressionem in linguarum exemplaribus repraesentat, quae architecturae decoder-fundatae, coniunctam cum Transformer et Reinforcement Doctrinae Humanae videre solent (RLHF). Haec periodus duorum scenicorum processuum insignitur: prae-paratio et noctis cum hominibus. Praeparatio phase utitur magna distenta notitia et ditione notitia ad cognitionem generandam per sui diligentiam addiscendam;

Respicientes varias evolutionis gradus, sequentes trends videre possumus:

Data: Ex notitia ad cognitionem, magis ac magis notitia adhibentur/futurum: More textu data, magis alia forma data → aliqua notitia
Algorithmus: Facultas elocutionis fortior et fortior est; scala maior et maior est;futurum: Transformator in praesenti satis est, novum exemplar (disciplina efficientiae efferendae)? → AGI?
Human-machina relatio: retro movere, a magistro ad supervisorem/futurum: apparatus humano-cooperatio, apparatus discendi ab hominibus → Humanus doctrina ab machinis

LLM progressus technologiae itineris: diversae semitae

In his paucis annis, LLM progressus technologiae varias vias ostendit, inter BERT modum, GPT modum et T5 modum, etc. Unusquisque modus suas proprietates habet ac missiones applicabiles.

Bert modus (Encoder-tantum)

Exemplar BERTI aptum est ad linguam naturalem intellegendi operas per duos scaenas processum bidirectionalis linguae exemplar prae-tractatum et munus bene-tuning (bi-directional language model prae-tra- mentum + opus bene-tuning). BERT prae-praeparatio extracta cognitionis generalis ex notitia generali, cum subtiliter-tuning extracta scientia domain ex notitia dominico.

Idoneum munus missionum: aptius ad intellegentiam linguae naturalis, munia specifica in quodam missione, speciali et lumine;

GPT modus (Decoder-tantum)

Modus GPT explicatur ex uno modo linguae exemplar prae-praeparandi ac nulla iecit/pauca iecit promptum vel instructum (unum modo linguae exemplar praeexercitationis + nulla iaculat/pauci iecit prompt/Instrue) processum et ad naturalem apta est. lingua generationis. Exempla GPT-modi de more maximae LLMs praesto sunt, et negotia latius patet.

Missiones applicabiles: magis aptae ad operas generationis linguae naturalis. In praesenti, maxima LLMs sunt omnes hoc modo: series GPT, PaLM, LaMDA..., modus repetendi et transeundi commendatur;

Modus T5 (Encoder-Decoder)

T5 modus componit characteres BERT et GPT et generationi et intellectus operas aptus est. Modus T5 imple-in-the-blank labor (span Corruption) est methodus efficax prae-exercitatio, quae bene operatur in lingua naturali opera intelligendi. Duo gradus (una via linguarum exemplar prae disciplina + fine-tuning maxime)

Features: Similis GPT, similis Bert
Missiones applicabiles: Tam generatio quam intellectus acceptabilis est. Ex effecta sententia, magis apta est ad operas intellegendas linguae naturalis commendatur uti T5 mode;

Cur amplissimum LLMs in GPT modum?

Super LLM: Persequens nulla offa / paucis iaculat / erudi effectus
Current investigationis conclusiones

(cum magnitudine exempli parva est);

• Categoriae linguae naturalis intellegendae: T5 modus optime operatur.
• Naturalis lingua generationis genus: GPT modus optime operatur.
• Nulla iecit: GPT modus optime operatur.
  Si multi-negotium obeundo introducitur post Pretrain, modus T5 melius laborabit (conclusio dubia est: hodiernus Encoder-Decoder experimentalis bis habet numerum parametri Decoder-tantum. Estne certa conclusio?)

Conclusiones investigationis currentis (magnae magnitudinis):
Re: Omnes fere LLM exempla excedentes 100B capiunt GPT modum

ratio fieri potest;
1. Bidirectional operam in Encoder-Decoder damna nulla iecit facultatem (Reprehendo)
2. Encoder-Decoder structura solum attendere potest ad summus gradus Encoder cum Thochen generans. Decoder-sola structura operam iacuit cum Thochen generans praebere potest, et indicium subtilius-parum.
3. Encoder-Decoder impedimenta "imple in blank" et generat ultimum verbum Next Thochen. Inconveniens est.

Provocationes et occasiones amplissimas LLMs

Cum magnitudo exemplaris augetur, investigatores obvenit provocationem quomodo modulo spatii efficaciter utatur. Investigatio in exemplar Chinchillae ostendit quod cum notitia sufficiat, scala currentis LLM maior quam scalae idealis potest esse et spatium parametri perditio et aptior disciplina. Idea plus possibile est: parvam primum fac (GPT 3 tam magnum esse non debet), et deinde eam magnam facere (postquam plenam parametri exemplaris usum, ut maiorem pergas).

Scilicet, cum multi-modi LLM requirat uberiorem realem mundi ambitum perceptio facultatum, etiam ulteriora postulata LLM parametris proponit.
Multimodal LLM: initus visualis (imaginibus, videos), auditorium input (audio), tangendi input (pressure)

adversus difficultates: Multimodal LLM satis bonum spectat, ac graviter in magna notitia copia manuali constituto nititur.

Exempli gratia: ALIGN: 1.8B graphics et text/LAION: 5.8B graphicae et notae textus (percolantur CLIP, nunc maximae notitiae graphicae ac textus) nunc est textus cum imaginibus volantibus?

Imago Processing: Iter technica sui vigilantia intenditur, sed nondum felix (comparativum discendi/MAE)// si bene obtineri potest, alia ingens technicae rupturae in agro AI erit;

Si solvi potest, aliquae imaginis currentis operas intellegentiae (semanticae segmentationis/recognitionis, etc.) exspectantur ut in LLM integrandae sint et evanescant.

Amplio LLM capacitates rationis implicatae sunt

Hodierna LLM licet quasdam facultates simplices ratiocinandi habeat, defectus tamen habet in ratione implicata. Exempli gratia, negotia sicut multi-digiti additionis provocationem pro LLM manent. Investigatores explorant quomodo multiplicia ratiocinandi facultates in exempla minora destillent per media technica ut compositionem semanticam.

Nimirum haec quaestio circumveniri potest etiam per capacitatem emissarii, sicut eam cum instrumentis coniungendo: potestas computandi (calculator externus), novae informationes inquisitionis (inquisitionis inquisitionis) aliaeque facultates instrumentorum externorum ope complentur.

Commercium inter LLM et corporis mundi

Notio intelligentiae incorporatae cum roboticis LLM coniungit et adminiculum adhibet discendi ad intelligentiam incorporatam per commercium cum corporeo mundo. . Exempli gratia Googles PaLM-E coniungit 540B de PaLM et 22B de ViT demonstrans potentiam LLM in ambitu multimodis.

Aliae investigationes directiones

1. Novarum cognitionum acquisitio: Quaedam difficultates in praesenti sunt, sed nonnullae quoque methodi (LLM+Retrieval)
2. Correctio cognitionis antiquae: In praesenti sunt aliquae investigationis eventus qui adhuc optimized esse debent
3. Integration of private domain knowledge: Fine-tune?
4. Melior intellectus mandatorum: etiam eget ipsum (gravis ineptiae)
5. Reductio in exercitatione consequentia constat: celeri progressione in proximo ad duos annos
6. Constructio aestimationis Sinensium datae: Litmus probatio facultatis. In praesenti sunt quaedam aestimatio Anglice, ut HELM/BigBench, etc., sed defectus est / multi laboris, summa difficultatis, et multi-anguli notitiae aestimationis in Sinica ponit.

conclusio

Articulus hic penitus investigat progressionem historiae, technicam roadmap, eorumque impulsum in futurum AI campi LLM. Explicatio LLM non solum technologicae progressionis, sed altae etiam meditationis de nostris facultatibus machinae intellegendae. Ex regulis ad statisticam ad altam doctrinam et praeparationem, quilibet gradus nobis praebet novos prospectus et instrumenta. Hodie stamus in limine novae aetatis exemplorum magnarum linguarum magnarum, inauditas occasiones et provocationes respicientes.