Teknologian jakaminen

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Tietojen samankaltaisuuden tutkiminen: sklearnin samankaltaisuuden laskentamenetelmien täydellinen analyysi

Datatieteen ja koneoppimisen maailmassa yhtäläisyyksien laskeminen datapisteiden välillä on perustavanlaatuinen ja kriittinen tehtävä. Samankaltaisuuslaskenta voi auttaa meitä tunnistamaan datassa olevia malleja, suorittamaan klusterianalyysiä, suosittelemaan järjestelmän suunnittelua jne. scikit-learn (lyhyesti sklearn), suosittu koneoppimiskirjasto Pythonissa, tarjoaa erilaisia ​​menetelmiä tietojen samankaltaisuuden laskemiseen. Tämä artikkeli esittelee yksityiskohtaisesti menetelmän, jota käytetään samankaltaisuuden laskemiseen sklearnissä, ja tarjoaa käytännön koodiesimerkkejä.

1. Samankaltaisuuslaskelman merkitys

Samankaltaisuuden laskennalla on tärkeitä sovelluksia seuraavilla aloilla:

• Ryhmäanalyysi: ryhmittele samanlaiset datapisteet yhteen.
• Suositeltava järjestelmä: Suosittele samanlaisia ​​kohteita käyttäjän historiallisten mieltymysten perusteella.
• epänormaali havaitseminen: Tunnista poikkeamat, jotka eivät ole samanlaisia ​​kuin useimmat datapisteet.
• Kuvan tunnistus: Tunnista kuvan sisältö vertaamalla piirrevektoreita.

2. Samankaltaisuuden laskentamenetelmä sklearnissä

sklearn tarjoaa erilaisia ​​työkaluja ja algoritmeja samankaltaisuuden laskemiseen. Seuraavassa on joitain yleisesti käytettyjä menetelmiä:

2.1 Kosinin samankaltaisuus

Kosininen samankaltaisuus arvioi kahden vektorin samankaltaisuuden mittaamalla niiden välisen kulman.

from sklearn.metrics.pairwise import cosine_similarity

# 假设X是数据集
cosine_sim = cosine_similarity(X)
1
2
3
4

2.2 Euklidinen etäisyys

Euklidinen etäisyys on intuitiivisin etäisyyden mittausmenetelmä, joka laskee kahden pisteen välisen suoran etäisyyden.

from sklearn.metrics.pairwise import euclidean_distances

# 假设X是数据集
distances = euclidean_distances(X)
# 计算相似度，通常使用1减去距离
similarity = 1 / (1 + distances)
1
2
3
4
5
6

2.3 Manhattanin etäisyys

Manhattanin etäisyys (kutsutaan myös kaupunkikorttelin etäisyydeksi) mittaa kahden pisteen absoluuttisten akselietäisyyksien summaa vakiokoordinaatistossa.

from sklearn_extra.metrics import manhattan_distances

# 假设X是数据集
manhattan_dist = manhattan_distances(X)
# 转换为相似度
similarity = 1 / (1 + manhattan_dist)
1
2
3
4
5
6

2.4 Jaccardin samankaltaisuuskerroin

Jaccardin samankaltaisuuskerrointa käytetään pääasiassa kahden joukon samankaltaisuuden mittaamiseen arvolla 0 ja 1.

from sklearn.metrics import jaccard_score

# 假设X和Y是两个数据集
jaccard_sim = jaccard_score(X, Y, average='micro')
1
2
3
4

2.5 Pearsonin korrelaatiokerroin

Pearson-korrelaatiokerrointa käytetään kahden tietojoukon välisen lineaarisen korrelaation mittaamiseen.

from sklearn.metrics.pairwise import pearsonr

# 假设X和Y是两个数据集
correlation, _ = pearsonr(X[:, 0], Y[:, 0])
1
2
3
4

3. Sovellusesimerkkejä samankaltaisuuslaskennasta

Oletetaan, että meidän on suositeltava tuotteita, joista samankaltaiset käyttäjät pitävät käyttäjän historian perusteella:

from sklearn.metrics.pairwise import cosine_similarity

# 假设user_behavior是一个DataFrame，记录了用户对商品的评分
user_behavior = ...

# 计算用户之间的相似度
user_similarity = cosine_similarity(user_behavior)

# 推荐系统可以根据相似度来推荐商品
# 例如，找出与目标用户相似度最高的用户喜欢的其他商品
similar_users = user_similarity[目标用户索引].argsort()[::-1]
recommended_products = 商品列表[similar_users[1]]
1
2
3
4
5
6
7
8
9
10
11
12

4. Johtopäätös

Samankaltaisuuslaskenta on perustekniikka data-analyysissä ja koneoppimisessa, ja sklearn tarjoaa erilaisia ​​menetelmiä tämän työn suorittamiseen. Tämän artikkelin kautta opimme sklearnin erilaisista samankaltaisuuden laskentamenetelmistä ja annoimme käytännön koodiesimerkkejä.

Tämän artikkelin tarkoituksena on auttaa lukijoita ymmärtämään paremmin samankaltaisuuslaskelmia ja hallitsemaan menetelmiä näiden tekniikoiden toteuttamiseksi sklearnissä. Toivotaan, että lukijat voivat parantaa ymmärrystään samankaltaisuuden laskemisesta tämän artikkelin avulla ja soveltaa näitä tekniikoita tehokkaasti todellisissa projekteissa. Datan määrän kasvaessa samankaltaisuuslaskelmat ovat jatkossakin tärkeässä roolissa datatieteen alalla.