Scrapy】Scrapy middleware gradu occasum rules

Scrapy】Scrapy middleware gradu occasum praecepta

2024-07-12

Permitte mihi ut partes primas cuiusdam pulcherrimae fabulae feliciter reponas
Partes amantis tui communicasti somnia cum in praeteritis annis
Cor sit amet, qui lacrimas amoris denuo non fudit
Simulans eadem argumenta quae prius
Partes primas replay pulchrae fabulae
Partes amantis tui communicasti somnia cum in praeteritis annis
Etsi non intelligis, solus es nocte multa
Tuum gere thoracem tacitum quasi prope sum ad te
🎵 陈慧娴《傻女》

Scrapia potens est compage reptans. Utendo mediante, utentes utentes mos et mores repens extendere possunt. Medulla mechanismum praebet pro pre- et post-processus petitiones et responsiones, permittens utentes augere functionem trahentis sine modificatione nuclei codicis.

In Scrapy, ordo quo mediante exsecutio eorum "prioritas" determinatur. Intelligere et recte disponere hierarchiam mediae instrumenti, criticum est ad aedificandum reptans efficientem et sustinebilem.

Quid est middleware?

Medulla uncus in Scrapy est qui utentes ad faciendum codicem consuetudinarium permittit cum petitiones et responsiones expediat. Media in duo genera dividitur:

Download Middleware: tractat preces et responsiones relatas download.
Aranea Middleware: tractat initus et output araneae relatas.

Medio gradu "

Plana mediae rei determinat ordinem quo exequuntur. Scapus integer valore utitur ad repraesentationem medii gradus.

Download Middleware
Mediae instrumenti Download machinae sedet inter Scrapy receptatorem et machinam. Exemplum figurationis hic est:

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 400,
    'scrapy.downloadermiddlewares.retry.RetryMiddleware': 500,
}
1
2
3
4
5

Configuratione supra in:

CustomDownloaderMiddleware 的等级为 543
UserAgentMiddleware 的等级为 400
RetryMiddleware 的等级为 500
1
2
3

Executio sequentis talis est:

UserAgentMiddleware（400）
RetryMiddleware（500）
CustomDownloaderMiddleware（543）
1
2
3

Petitiones ex machina oriuntur, mediante gradu inferiore transi, et tandem ad receptatorem perveniunt. Cum responsio ex receptatore redit, primum per medias tabulas altiores gradus transit et tandem machinam attingit.

Aranea Middleware

Mediae artis crawler inter machinam et crawler sita est. Exemplum figurationis hic est:

SPIDER_MIDDLEWARES = {
    'myproject.middlewares.CustomSpiderMiddleware': 543,
    'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware': 50,
    'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': 500,
}
1
2
3
4
5

Configuratione supra in:

CustomSpiderMiddleware 的等级为 543
HttpErrorMiddleware 的等级为 50
OffsiteMiddleware 的等级为 500
1
2
3

Executio sequentis talis est:

HttpErrorMiddleware（50）
OffsiteMiddleware（500）
CustomSpiderMiddleware（543）
1
2
3

Petitiones ex machina oriuntur, per medias inferiores gradus transi, et demum ad reptans. Cum responsio e reptans redit, primum per medias tabulas altiores gradus transit et tandem machinam attingit.

Quam ad gradu middleware

Ut ad libramentum mediae rei constituatur, debes respondere congruentem dictionarium in Scrapy's configurationis fasciculi uncinis.py ac viam et planitiem instrumenti mediae definire. Exempli gratia:

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.CustomDownloaderMiddleware': 543,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 400,
}

SPIDER_MIDDLEWARES = {
    'myproject.middlewares.CustomSpiderMiddleware': 543,
    'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware': 50,
}
1
2
3
4
5
6
7
8
9

In hoc exemplo definimus receptatorem mediae custumae CustomDownloaderMiddleware et reptantem mediae instrumenti CustomSpiderMiddleware, et gradus ad 543 respective constituimus.

Commune middleware et eorum default levels

Scrap multa praebet constructa-in middleware, singulae cum gradu defaltae. Hic sunt quidam communes mediarum mediarum receptator et eorum defectus gradus:

UserAgentMiddleware: 400
RetryMiddleware: 500
RedirectMiddleware: 600
CookiesMiddleware: 700
1
2
3
4

Ad medias notas trahens, communes includunt:

HttpErrorMiddleware: 50
OffsiteMiddleware: 500
RefererMiddleware: 700
1
2
3

finitione

Medulla notam potens est in compage Scrapy. Cum recte disponens gradum mediae instrumenti, subtiliter moderari potes processum petitionum et responsionum. Intellectus et usus ad regulas mediae staturae directas adiuvare possunt ad fabricam magis flexibilem et efficacem rationem reptans.

Technology sharing