Technology sharing

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

https://github.com/meta-llama/llama3/issues/80

Exemplar lectionis non est dubium, sed sequentia per consequentiam apparet;
RuntimeError: "triu_tril_cuda_template" not implemented for 'BFloat16'

————————————————

Causa incident

Cum AutoProcessorem transformatorum intellegere conor, me impellit:
RuntimeError, Deficio importare transformers.models.auto.processing_auto propter hoc errore (respice ad ejus traceback)
Deprehendi PyTorch et taedium cum variis CUDA versionibus exaratum esse. PyTorch CUDA Version=11.8 habet, et taeda CUDA Version=11.7. Quaeso, lampas restitue quae tibi PyTorch install aequat.
Aisne versiones CUDA faculae meae et taedae non compatibiles esse? Primum illud cum Pytorch institui. . .

Facem versio mea talis est:
fax 2.0.0+cu118
torchaudio 2.0.1
lampas 0.15.1

Mirum valde, nullum quidem verbum cu118 post duos. Itaque ad pytorch rutrum accessi et iterum eam receptavi;
pituitam install fax2.0.0 lampas0.15.1 torchaudio==2.0.1 --index-url https://download.pytorch.org/whl/cu118

Recte hoc tempore. Taeda uninstall tantum, ideo torchaudio non renovatur.
fax 2.0.0+cu118
torchaudio 2.0.1
lampas 0.15.1+cu118

Hic primus error occurrit.

————————

tempus remedium

Quod lego, est qwen1.5 7B, pone torch_dtype=torch.bfloat16. Mutata bfloat16 ad torch_dtype=torch.float16, ratiocinari potes. Vel taedium reddere ad versionem normalem.
Sed torch.float16 et torch.bfloat16 sunt duae omnino diversae, ut modo mutato vitio sit. . .

——————————————

optimum remedium

Cum torch_dtype="auto", transformatores bfloat16.
Etiam nonnullas animadversiones feci, exemplar imprimendi. sub diversis conditionibus:

1. Autoconfig usus sum tabella config quae cum qwen venit et eam ad AutoModelForCausalLM.from_pertrain misit. Indicat bfloat16 usus esse, sed spatium float32 actu consumptum est.
2. Pone torch_dtype=torch.float16, quae 16 spatia consumit et float16 ostentat.
3. Pone torch_dtype="auto", quae spatium 16 consumit et ostendit bfloat16.

Heu quam collatio.