प्रौद्योगिकी साझेदारी

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

https://github.com/meta-llama/llama3/issues/80 इति ग्रन्थः

आदर्शस्य पठने कोऽपि समस्या नास्ति, परन्तु अनुमानस्य समये निम्नलिखितम् दृश्यते ।
RuntimeError: “triu_tril_cuda_template” 'BFloat16' कृते कार्यान्वितः न।

————————————————

घटनायाः कारणम्

यदा अहं transformers इत्यस्य AutoProcessor इत्येतत् अवगन्तुं प्रयतन्ते तदा एतत् मां प्रेरयति यत् :
RuntimeError: निम्नलिखितदोषस्य कारणात् transformers.models.auto.processing_auto आयाते असफलम् (तस्य ट्रेसबैक् द्रष्टुं उपरि पश्यन्तु):
PyTorch तथा torchvision भिन्न-भिन्न CUDA संस्करणैः सह संकलितं इति ज्ञातम् । PyTorch इत्यस्य CUDA Version=11.8 अस्ति तथा च torchvision इत्यस्य CUDA Version=11.7 अस्ति । कृपया भवतः PyTorch संस्थापनेन सह सङ्गतं torchvision पुनः संस्थापयन्तु ।
किं भवन्तः वदन्ति यत् मम torch and torchvision इत्यस्य CUDA संस्करणं सङ्गतं नास्ति? अहं मूलतः Pytorch इत्यनेन संस्थापितवान् । . .

मम मशालसंस्करणं निम्नलिखितम् अस्ति ।
मशाल 2.0.0+cu118
torchaudio 2.0.1
मशालदृष्टिः ०.१५.१

अतीव विचित्रं, न खलु द्वयोः परं cu118 इति शब्दः। अतः अहं pytorch आधिकारिकजालस्थले गत्वा पुनः डाउनलोड् कृतवान्:
पिप स्थापन मशाल२.०.० मशालदृष्टिः0.15.1 torchaudio==2.0.1 --index-url https://download.pytorch.org/whl/cu118

अस्मिन् एव समये। अहं केवलं torchvision इत्येतत् विस्थापितवान्, अतः torchaudio अपडेट् न भवति ।
मशाल 2.0.0+cu118
torchaudio 2.0.1
मशालविजन 0.15.1+cu118

एतस्मिन् समये प्रथमः दोषः अभवत् ।

————————

अस्थायी उपाय

अहं यत् पठामि तत् qwen1.5 7B, torch_dtype=torch.bfloat16 सेट् कुर्वन्तु । bfloat16 इत्येतत् torch_dtype=torch.float16 इति परिवर्त्य, भवान् तर्कं कर्तुं शक्नोति । अथवा torchvision सामान्यसंस्करणं प्रति प्रत्यागच्छतु ।
परन्तु torch.float16 तथा torch.bfloat16 द्वौ सर्वथा भिन्नौ वस्तूनि सन्ति, अतः केवलं तान् परिवर्तयितुं दोषः । . .

——————————————

उत्तमः उपायः

torch_dtype="auto" इत्यनेन सह, ट्रांसफार्मर् स्वयमेव bfloat16 इत्यस्य उपयोगं करिष्यन्ति ।
मया अपि केचन अवलोकनानि कृतानि, भिन्न-भिन्न-स्थितौ model.config इति मुद्रणं कृतम्:

1. मया Autoconfig इत्यस्य उपयोगः कृतः यत् qwen इत्यनेन सह आगच्छति तस्य config सञ्चिकायाः ​​उपयोगाय तथा च AutoModelForCausalLM.from_pertrained इत्यत्र प्रेषयितुं एतत् दर्शयति यत् bfloat16 इत्यस्य उपयोगः भवति, परन्तु float32 स्थानं वस्तुतः उपभोज्यते ।
2. torch_dtype=torch.float16 सेट् कुर्वन्तु, यत् 16 रिक्तस्थानानि उपभोगयति तथा च float16 प्रदर्शयति ।
3. torch_dtype="auto" सेट् कुर्वन्तु, यत् 16 रिक्तस्थानानि उपभोगयति तथा च bfloat16 प्रदर्शयति ।

हा, का उपमा।