Compartilhamento de tecnologia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

regressão linear

1. Parte teórica

regressão linear: Em dados limitados, ajustando os parâmetros, uma linha reta é ajustada, e esta linha reta (modelo) é usada para realizar experimentos em dados desconhecidos.prever。

DiretoForma geral：
$$e=c\times x+b$$
O estado de toda a linha reta é dado por$ceb$Decidir,$c$determinar a linha retadeclive(isto é, o ângulo de inclinação),$b$Determine a linha reta no eixo Yinterceptar(Controle a translação para cima e para baixo de uma linha reta, também conhecida comoviés ).Portanto, precisamos apenas calcular$c$e$b$O valor de pode determinar uma linha reta específica A seguir, estudaremos como encontrar.$c$e$b$。

A influência de w e b na forma da linha reta

nome próprio

1. Regressão linear univariada

1) Pré-processamento de dados

Vamos estudar primeiro a regressão linear univariada. A chamada regressão linear univariada refere-se a uma função linear com apenas uma variável independente, como:$e=c\cdot x+b$Aquilo éLinha reta univariada, tem apenas uma variável de entrada$x$ . Esta linha reta pode ser expressa em um plano bidimensional (o eixo horizontal é X e o eixo vertical é Y).

Quando obtemos um conjunto de dados indivisos, geralmente dividimos os dados em um conjunto de treinamento e um conjunto de teste. Um método de divisão simples é: considere os primeiros 80% das amostras como conjunto de treinamento e os 20% restantes como. o conjunto de teste.

2) Defina a função de custo

Suponha que descobrimos$c$e$b$, então determinamos uma linha reta e podemos usá-la para fazer previsões, a fim de facilitar o julgamento do valor que prevemos.e'com valor realeentreerroQuanto, queremos definir *"uma régua"*, usada para medir o valor previsto$e^{\prime }$com valor verdadeiro$e$ erro entre.Aqui usamoserro quadrático médiodefinirfunção de custo：

$$Eu(c,b)=\frac{1}{2eu}\sum _{eu=1}^{eu}(e_{c,b}(x^{(eu)})-e^{(eu)}{)}^2$$
Desmantelamento de fórmula：

$e_{c,b}(x^{(eu)})-e^{(eu)}$:em$e_{c,b}(x^{(eu)})$representa o valor previsto usando o modelo treinado, enquanto$e^{(eu)}$representa o resultado verdadeiro de cada amostra de treinamento, e a diferença entre os dois representa o erro entre o valor previsto pelo modelo e o valor verdadeiro.

Por que quadrar o erro?

Em todos os conjuntos de amostras, cada erro pode ser positivo ou negativo, e haverá uma certa probabilidade de deslocamento durante o processo de soma. Isso levará a que o erro de cada item seja muito grande (como: -100, + 90,). -25, +30), após a soma, obtém-se um valor pequeno (-5) e, finalmente, obtém-se um julgamento errado.

$\frac{1}{2eu}$: representa a média da soma de todos os erros de dados (essa média pode representar o erro de todo o modelo em certo sentido) e obtém o erro quadrático médio.

Por que dividir por 2？

Porque quando a descida do gradiente for realizada posteriormente, a derivação dividirá o índice 2 em coeficientes, pois para uma grande quantidade de dados, uma constante tem pouco impacto no modelo. Para introduzir a fórmula de derivação, divida-a por 2 antecipadamente. , para deslocamento posterior.

Conhecendo a função de custo, só precisamos encontrar maneiras de reduzir o custo. Quanto menor o custo, mais próximo nosso valor previsto está do valor real.

Observando a função custo do erro, podemos ver que a função custo do erro é uma função quadrática, ou seja, umafunção convexa, uma propriedade da função convexa é:O ponto extremo é o ponto máximo , como a função de custo é uma função quadrática que se abre para cima (a fórmula pode ser expandida e você pode sentir intuitivamente que o coeficiente do termo quadrado é maior que 0), então a função convexa tem apenas um valor mínimo, e nós apenas precisa encontrar o O valor mínimo é o valor mínimo.Para a função de custo de erro$Eu(c,b)$ , sua expansão de fórmula pode ser escrita como:
$$Eu(c,b)=\frac{1}{2eu}\sum _{eu=1}^{eu}((c{x}^{(eu)}+b)-e^{(eu)}{)}^2$$
$Eu$O tamanho depende dos parâmetros$c$e$b$, que pode ser resolvido por gradiente descendente. A forma da função de custo é aproximadamente a seguinte:

3) Descida gradiente

A ideia de gradiente descendente funciona principalmenteEncontre a derivada parcialmétodo, que está relacionado à biologiavariáveis ​​de controleO método é muito semelhante, como por exemplo: no controle$b$Atualizar sem alteração$c$(Visível$b$é uma constante), fórmula:$c^{\prime }=c-\alpha \frac{\partial Eu(c)}{\partial c}$ Indica que foi atualizado em sequência$c$,em$\alpha$ representataxa de Aprendizagem Usado para representar o tamanho do passo, que também pode ser entendido como a velocidade de descida,$\frac{\partial Eu(c)}{\partial c}$ expressa certo$c$Procurando a derivada parcial, obtemos $C-Eu$(PesosCe preçoEufunção) Uma linha tangente em uma função convexa, usada para representar o valor da função que diminui mais rapidamentedireção, o produto dos dois representaDê um passo na direção onde o valor da função diminui mais rapidamente .Esta distância precisa ser ajustada de acordo com o conjunto de dados.$\alpha$Se for muito grande (o tamanho do passo é muito grande), isso levará a$c$vai diretamente do ponto mais baixo até o ponto mais alto do outro lado, de modo que nunca chegue perto do mínimo, se$\alpha$Se for muito pequeno (o tamanho do passo é muito pequeno), isso levará a$c$Fica cada vez mais lento à medida que se aproxima do mínimo, consumindo custos computacionais.

---

taxa de Aprendizagem ($\alpha$) método de ajuste：

1. Defina um menor primeiro$\alpha$ Como: 0,001.

2. Depois aumenta 10 vezes de cada vez, até um máximo de 1.

3. Após determinar um determinado valor, como: 0,01.

4. Em seguida, execute 3 vezes o processamento, como:$0.01\times 3=0.03,0.03\times 3=0.09$ (O objetivo disso é tornar a convergência mais rápida).

---

O processo de resolução de derivadas parciais (encontrar a direção da descida do gradiente):

• implorar$\frac{\partial Eu(c)}{\partial c}$ :

  $\frac{\partial Eu(c)}{\partial c}$ = $\frac{\partial }{\partial c}\frac{1}{2eu}\sum _{eu=1}^{eu}(e_{c,b}(x^{(eu)})-e^{(eu)}{)}^2$

  ​ = $\frac{\partial }{\partial c}\frac{1}{2eu}\sum _{eu=1}^{eu}c{x}^{(eu)}-e^{(eu)}{)}^2$

  ​ =$\frac{1}{2eu}\sum _{eu=1}^{eu}(e_{c,b}(x^{(eu)})-e^{(eu)})\cdot 2x^{(eu)}$

  ​ =$\frac{1}{eu}\sum _{eu=1}^{eu}(e_{c,b}(x^{(eu)})-e^{(eu)})x^{(eu)}$

• implorar$\frac{\partial Eu(c)}{\partial b}$ :

  $\frac{\partial Eu(c)}{\partial b}$ = $\frac{\partial }{\partial b}\frac{1}{2eu}\sum _{eu=1}^{eu}(e_{c,b}(x^{(eu)})-e^{(eu)}{)}^2$

  ​ = $\frac{\partial }{\partial b}\frac{1}{2eu}\sum _{eu=1}^{eu}c{x}^{(eu)}-e^{(eu)}{)}^2$

  = $\frac{1}{2eu}\sum _{eu=1}^{eu}(e_{c,b}(x^{(eu)})-e^{(eu)})\cdot 2$

  ​ =$\frac{1}{eu}\sum _{eu=1}^{eu}(e_{c,b}(x^{(eu)})-e^{(eu)})$

Encontre itens específicos por meio da iteração do loop$c$valor com$b$valor:

$coieue():$

​ $c^{\ast }=c-\alpha \frac{\partial }{\partial c}Eu(c,b)$

​ $b^{\ast }=b-\alpha \frac{\partial }{\partial b}Eu(c,b)$

​ $c=c^{\ast }$

​ $b=b^{\ast }$

No início, avaliamos w e b aleatoriamente e, em seguida, iteramos. Podemos definir a descida do gradiente para sair quando o erro for menor que um determinado limite ou personalizar o número de iterações. Por meio de etapas limitadas, podemos obter um valor mais ideal.$c$soma do valor$b$valor.

2. Regressão linear multivariável

A regressão linear multivariável expande as dimensões para três dimensões e até mesmo estados multidimensionais, como$e=c_1{x}_1+c_2{x}_2+b$ pode ser entendido comoXEixo eEOs eixos são$x_{1}e{x}_2$ ZO eixo é$e$, este é um estado tridimensional. Cada amostra de treinamento é um ponto no espaço tridimensional. É necessário encontrar uma linha reta adequada para ajustar o ponto da amostra no espaço tridimensional.

Método: Para cada variável separadamente ($c_1,c_2,\dots ,c_e,b$) para processamento de descida gradiente

Pontos principais: Para regressão linear multivariável, os intervalos de valores de diferentes valores de recursos são diferentes, como: o intervalo de valores do recurso de idade:$0$ ~ $100$, área de cobertura:$0{eu}^2$ ~ $10000{eu}^2$ , também pode haverAmostra estranha, a existência de dados de amostra singulares fará com que o tempo de treinamento aumente e também pode levar à falha na convergência. Portanto, quando há dados de amostra singulares, é necessário pré-processar os dados antes do treinamento.Normalizado ; Pelo contrário, quando não há dados de amostra singulares, a normalização não precisa ser realizada.Para resolver esse problema, precisamos realizarOs recursos são dimensionados (normalizados)。

1) Pré-processamento de dados

Processamento de normalização de dados

concluirNormalização de dadosExistem três métodos:

1. O mesmo que dividir pelo valor máximo:

   Todos os valores em cada recurso são divididos pelo valor máximo desse recurso.

2. Normalização média:

   Subtraia o valor de cada recurso do valor desse recursosignificare depois dividido pela diferença entre os valores máximo e mínimo do recurso.

3. Normalização do escore Z:

   Calcule cada recursodesvio padrãoesignificar

   Subtraia o valor de cada recurso de todos os valores desse recursovalor médioe depois dividido pelo recursosignificar

Se a normalização não for realizada, a função de custo mudará devido a grandes diferenças nos valores dos diferentes recursos no vetor de recursos. "plano" .Desta forma, ao realizar a descida do gradiente, a direção do gradiente se desviará da direção do valor mínimo e irá muitoDesvio, o que tornará o tempo de treinamento muito longo.

Após a normalização, a função objetivo mostrará uma comparação "redondo", para que a velocidade de treinamento seja bastante acelerada e muitos desvios sejam evitados.

Benefícios da normalização de dados:

1. Após a normalizaçãoAcelera a descida do gradiente para encontrar a solução ideal, ou seja, acelerar a convergência da rede de formação.
2. A normalização tem o potencial de melhorar a precisão.

2) Função de custo (igual à função de custo da regressão linear univariada)

$$Eu(c,b)=\frac{1}{2eu}\sum _{eu=1}^{eu}(e_{c,b}(x^{(eu)})-e^{(eu)}{)}^2$$

3) Descida gradiente

Gradiente descendente para regressão linear múltipla：

$c_1=C_1-\alpha \frac{1}{eu}\sum _{eu=1}^{eu}(e_{\vec{c},b}{\vec{x}}^{(eu)}-e^{(eu)})x_1^{(eu)}$

​ $⋮$

$c_e=C_e-\alpha \frac{1}{eu}\sum _{eu=1}^{eu}(e_{\vec{c},b}{\vec{x}}^{(eu)}-e^{(eu)})x_e^{(eu)}$

$b=b-\alpha \frac{1}{eu}\sum _{eu=1}^{eu}(e_{\vec{c},b}{\vec{x}}^{(eu)}-e^{(eu)})$

explicar:$c_1\cdots c_e$ representa o coeficiente de cada variável e b representa o termo constante da função linear.

3. Equação normal

1) Pré-processamento de dados

Omitir...

2) Função custo

Derivação matemática:

$Eu=\frac{1}{2eu}\sum _{eu=1}^{eu}({\vec{\theta }}_{eu}{\vec{x}}_{eu}-e_{eu}{)}^2$

​ =$\frac{1}{2eu}||\vec{\theta }\vec{x}-e|{|}^2$

​ =$\frac{1}{2eu}(\vec{\theta }\vec{x}-e{)}^E(\vec{\theta }\vec{x}-e)$

​ =$\frac{1}{2eu}({\vec{\theta }}^E{\vec{x}}^E-e^E)(\vec{\theta }\vec{x}-e)$

​ =$\frac{1}{2eu}({\vec{\theta }}^E{\vec{x}}^E\vec{x}\vec{\theta }-e^E\vec{x}\vec{\theta }-{\vec{\theta }}^E{\vec{x}}^{E}e+e^{E}e)$

3) Descida gradiente

certo$\theta$Encontre a derivada parcial: $\Delta =\frac{\partial Eu}{\partial \theta }=\frac{1}{2eu}(\frac{\partial {\vec{\theta }}^E{\vec{x}}^E\vec{x}\vec{\theta }}{\partial \theta }-\frac{\partial e^E\vec{x}\vec{\theta }}{\partial \theta }-\frac{\partial {\vec{\theta }}^E{\vec{x}}^{E}e}{\partial \theta }+\frac{e^{E}e}{\partial \theta })$

Regra de derivação de matriz:

1. $\frac{\partial {\theta }^{E}A\theta }{\partial \theta }=(A+A^E)\theta$

2. $\frac{\partial X^{E}A}{\partial X}=A$

3. $\frac{\partial AX}{\partial X}=A^E$

4. $\frac{\partial A}{\partial X}=0$

Disponível $\Delta =\frac{1}{2eu}(\frac{\partial {\vec{\theta }}^E{\vec{x}}^E\vec{x}\vec{\theta }}{\partial \theta }-\frac{\partial e^E\vec{x}\vec{\theta }}{\partial \theta }-\frac{\partial {\vec{\theta }}^E{\vec{x}}^{E}e}{\partial \theta }+\frac{e^{E}e}{\partial \theta })=\frac{1}{2eu}\cdot (2x^{E}x\theta -2x^{E}e)=\frac{1}{eu}\cdot (x^{E}x\theta -x^{E}e)$
quando$\Delta =0$ hora:$x^{E}x\theta =x^{E}e$ ,$\theta =(x^{E}x{)}^{-1}{x}^{E}e$ pode ser calculado$\theta$ valor.

Comparação de gradiente descendente e equações normais：

• Gradiente descendente: É necessário selecionar a taxa de aprendizado α, que requer múltiplas iterações. Também pode ser melhor aplicado quando o número de recursos n é grande e é adequado para vários tipos de modelos.

• equação normal: Não há necessidade de selecionar a taxa de aprendizagem α. Ela é calculada uma vez e precisa ser calculada. $(x^{E}x{)}^{-1}$ , se o número de recursos$e$Se for maior, o custo da operação será maior, pois a complexidade do tempo de cálculo da matriz inversa é $O(e^3)$ , geralmente quando$e$Ainda é aceitável quando é inferior a 10.000.Disponível apenas para modelos lineares, não é adequado para outros modelos, como modelos de regressão logística.

4. Regressão polinomial

Como em alguns casos é difícil que as linhas retas ajustem todos os dados, são necessárias curvas para ajustar os dados, como modelos quadráticos, modelos cúbicos, etc.

Em geral, a função de regressão dos dados é desconhecida. Mesmo que seja conhecida, é difícil transformá-la em um modelo linear com uma simples transformação de função, portanto a abordagem comum é.regressão polinomial(Regressão Polinomial), ou seja, usando uma função polinomial para ajustar os dados.

Como escolher o grau de um polinômio：

Existem muitos tipos de funções polinomiais. De modo geral, você precisa primeiro observar a forma dos dados e depois decidir qual forma de função polinomial usar para resolver o problema. Por exemplo, a partir do gráfico de dispersão dos dados, se houver um "dobrar ", você pode considerar o uso de um polinômio quadrático (ou seja, quadrar as características); existem dois "dobrar ", você pode considerar o uso de um polinômio cúbico (tomando a potência cúbica do recurso); existem três "dobrar ”, então considere usar um polinômio de quarta ordem (tomando a quarta potência do recurso) e assim por diante.

Embora a função de regressão real não seja necessariamente um polinômio de certo grau, desde que o ajuste seja bom, é viável usar um polinômio apropriado para aproximar a função de regressão real.

2. Parte experimental

O apêndice no final do artigo contém todos os dados originais utilizados no experimento.ex1data1.txté a relação entre população e lucro, ex1data2.txtÉ o impacto do tamanho da casa e do número de quartos no preço da casa.

1. Regressão linear univariada

1) Carregar dados

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
path = "ex1data1.txt"
data = pd.read_csv(path,header = None,names=['Population','Profit'])
data.head()   # 预览数据
1
2
3
4
5
6

2) Ver dados

data.describe()    # 更加详细的数据描述
1

# 可视化训练数据
data.plot(kind = 'scatter',x = 'Population',y = 'Profit',figsize = (12,8))
plt.show()
1
2
3

3) Defina a função de custo

def computerCost(X,y,theta):    # 定义代价函数
    inner = np.power(((X*theta.T)-y),2)   # theta.T表示theta的转置
    return np.sum(inner)/(2*len(X))
1
2
3

data.insert(0,"One",1)  # 表示在第0列前面插入一列数，其表头为One，其值为1
1

Insira na primeira coluna do conjunto de dados$1$A função éFacilita cálculos matriciais, quando matrizes são multiplicadas, pesos estão envolvidos$c$e preconceito$b$,porque$b$não é multiplicado pela variável, então um$1$, usado com$b$Multiplicar.

4) Divida os dados

cols = data.shape[1]
X = data.iloc[:,0:cols - 1]  #“，”前只有“：”，表示所有的行，“，”后表示抽取数据中第[0列~第cols-1列)(左闭右开)，去掉最后一列，最后一列为预测值

y = data.iloc[:,cols - 1:cols]  #只取最后一列的值，表示预测值

1
2
3
4
5

X.head()
1

y.head()
1

X = np.matrix(X.values)
y = np.matrix(y.values)  #只将表格中的值装换为矩阵而不是包括序号与标题

#初始化theta
theta = np.matrix(np.array([0,0]))  #先是一个一维的数据，然后在转换为一个二维的矩阵
1
2
3
4
5

5) Parâmetros de inicialização

theta  
# => matrix([[0, 0]])
1
2

X.shape,theta.shape,y.shape  # 此时theta为一行列，需要进行转置
# => ((97, 2), (1, 2), (97, 1))
1
2

computerCost(X,y,theta)
# => 32.072733877455676
1
2

6) Defina a função de descida gradiente

def gradientDecent(X,y,theta,alpha,iters):   #iters为迭代次数
    temp = np.matrix(np.zeros(theta.shape))   #构造一个与theta大小一样的零矩阵，用于存储更新后的theta
    parmaters = int (theta.ravel().shape[1])    #.ravel()的功能是将多维数组降至一维，用于求需要求的参数个数
    cost = np.zeros(iters)   #构建iters个0的数组，相当于对每次迭代的cost进行记录
    
    for i in range(iters):
        error = (X * theta.T - y)     #记录误差值，结果为一个数组
        for j in range(parmaters):    #对每一个参数进行更新，j用于表示每一个参数
            term = np.multiply(error,X[:,j])   #.multiply 是对矩阵当中的数对应相乘，这里表示与X矩阵的第j列相乘。
            temp[0,j] = theta[0,j] - ((alpha/len(X))*np.sum(term))  #存储更行后的theta的值，.sum()表示将矩阵中的数进行求和
        
        theta = temp      #更新theta
        cost[i] = computerCost(X,y,theta)  #计算此时的代价，并记录在cost中。
    return theta,cost
1
2
3
4
5
6
7
8
9
10
11
12
13
14

7) Inicialize hiperparâmetros

alpha  = 0.01		# 学习率
iters = 1000		# 迭代次数
1
2

8) Descida gradiente

g,cost = gradientDecent(X,y,theta,alpha,iters)
g
# => matrix([[-3.24140214,  1.1272942 ]])
1
2
3

9) Calcule o custo

computerCost(X,y,g)
# => 4.515955503078914
1
2

10) Desenhe um modelo linear

x = np.linspace(data.Population.min(),data.Population.max(),100) #抽取100个样本  (从data数据集中的最小值到最大值之间抽取100个样本)
f = g[0,0] + (g[0,1] * x)  #f = ax + b

fig,ax = plt.subplots(figsize = (12,8))    #figsize表示图的大小
ax.plot(x,f,'r',label = "Prediction")    #绘制直线，横坐标，纵坐标，直线名称
ax.scatter(data.Population,data.Profit,label = 'Training data')   #绘制点，横坐标，纵坐标，点的名称
ax.legend(loc = 4)  #显示图例位置
ax.set_xlabel('Population')  #设置x轴的名称
ax.set_ylabel('Profit')   #设置y轴的名称
ax.set_title('Predicted Profit vs. Population Size')  #设置标题的名称
plt.show()
1
2
3
4
5
6
7
8
9
10
11

11) Desenhe a curva de variação de custos

fig,ax = plt.subplots(figsize = (12,8))
ax.plot(np.arange(iters),cost,'r')
ax.set_xlabel('Interations')
ax.set_ylabel('Cost')
ax.set_title("Error vs. Training Epoc")
plt.show()
1
2
3
4
5
6

2. Regressão linear multivariável

1) Carregar dados

path = "ex1data2.txt"
data2 = pd.read_csv(path,header = None,names=["Size","Bedroom","Price"])
data2.head()
1
2
3

2) Processamento de normalização de dados

data2 = (data2 - data2.mean())/data2.std()
data2.head()
1
2

3) Divida os dados

data2.insert(0,'Ones',1)  #在x的第一列插入1

clos = data2.shape[1]   #存储第二维（列）的数据量
X2 = data2.iloc[:,0:clos-1]  #对X2进行赋值
y2 = data2.iloc[:,clos-1:clos]  #对y2进行赋值

X2 = np.matrix(X2.values)  #将X2转为矩阵
y2 = np.matrix(y2.values)  #将y2转为矩阵
theta2 = np.matrix(np.array([0,0,0]))  #初始化theta2为0矩阵
computerCost(X2, y2, theta2)
# => 0.48936170212765967
1
2
3
4
5
6
7
8
9
10
11

4) Descida gradiente

g2,cost2 = gradientDecent(X2,y2,theta2,alpha,iters)   #记录放回值g2（theta2）和cost2
g2
# => matrix([[-1.10868761e-16,  8.78503652e-01, -4.69166570e-02]])
1
2
3

5) Calcule o custo

computerCost(X2,y2,g2)
# => 0.13070336960771892
1
2

6) Desenhe a curva de variação de custos

fig,ax = plt.subplots(figsize = (12,8))
ax.plot(np.arange(iters),cost2,'x')
ax.set_xlabel('Iterations')
ax.set_ylabel('Cost')
ax.set_title('Error vs. Training Epoch')
plt.show()
1
2
3
4
5
6

3. Equação normal

#正规方程
def normalEqn(X,y):
    theta = np.linalg.inv(X.T@X)@X.T@y   #.linalg中包含线性代数中的函数，求矩阵的逆（inv）、特征值等。@表示矩阵相乘
    return theta
1
2
3
4

final_theta2 = normalEqn(X,y)
final_theta2
# => matrix([[-3.89578088], [ 1.19303364]])
1
2
3

3. Resumo

Etapas gerais para treinar um modelo：

1. Pré-processamento de dados.
2. Escolha um modelo com base no seu problema específico.
3. Defina a função de custo.
4. Use o algoritmo de descida gradiente para encontrar os parâmetros ideais.
5. Avalie o modelo e ajuste os hiperparâmetros.
6. Use modelos para fazer previsões.

4. Apêndice

1. ex1data1.txt

6.1101,17.592
5.5277,9.1302
8.5186,13.662
7.0032,11.854
5.8598,6.8233
8.3829,11.886
7.4764,4.3483
8.5781,12
6.4862,6.5987
5.0546,3.8166
5.7107,3.2522
14.164,15.505
5.734,3.1551
8.4084,7.2258
5.6407,0.71618
5.3794,3.5129
6.3654,5.3048
5.1301,0.56077
6.4296,3.6518
7.0708,5.3893
6.1891,3.1386
20.27,21.767
5.4901,4.263
6.3261,5.1875
5.5649,3.0825
18.945,22.638
12.828,13.501
10.957,7.0467
13.176,14.692
22.203,24.147
5.2524,-1.22
6.5894,5.9966
9.2482,12.134
5.8918,1.8495
8.2111,6.5426
7.9334,4.5623
8.0959,4.1164
5.6063,3.3928
12.836,10.117
6.3534,5.4974
5.4069,0.55657
6.8825,3.9115
11.708,5.3854
5.7737,2.4406
7.8247,6.7318
7.0931,1.0463
5.0702,5.1337
5.8014,1.844
11.7,8.0043
5.5416,1.0179
7.5402,6.7504
5.3077,1.8396
7.4239,4.2885
7.6031,4.9981
6.3328,1.4233
6.3589,-1.4211
6.2742,2.4756
5.6397,4.6042
9.3102,3.9624
9.4536,5.4141
8.8254,5.1694
5.1793,-0.74279
21.279,17.929
14.908,12.054
18.959,17.054
7.2182,4.8852
8.2951,5.7442
10.236,7.7754
5.4994,1.0173
20.341,20.992
10.136,6.6799
7.3345,4.0259
6.0062,1.2784
7.2259,3.3411
5.0269,-2.6807
6.5479,0.29678
7.5386,3.8845
5.0365,5.7014
10.274,6.7526
5.1077,2.0576
5.7292,0.47953
5.1884,0.20421
6.3557,0.67861
9.7687,7.5435
6.5159,5.3436
8.5172,4.2415
9.1802,6.7981
6.002,0.92695
5.5204,0.152
5.0594,2.8214
5.7077,1.8451
7.6366,4.2959
5.8707,7.2029
5.3054,1.9869
8.2934,0.14454
13.394,9.0551
5.4369,0.61705
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97

2. ex1data2.txt

2104,3,399900
1600,3,329900
2400,3,369000
1416,2,232000
3000,4,539900
1985,4,299900
1534,3,314900
1427,3,198999
1380,3,212000
1494,3,242500
1940,4,239999
2000,3,347000
1890,3,329999
4478,5,699900
1268,3,259900
2300,4,449900
1320,2,299900
1236,3,199900
2609,4,499998
3031,4,599000
1767,3,252900
1888,2,255000
1604,3,242900
1962,4,259900
3890,3,573900
1100,3,249900
1458,3,464500
2526,3,469000
2200,3,475000
2637,3,299900
1839,2,349900
1000,1,169900
2040,4,314900
3137,3,579900
1811,4,285900
1437,3,249900
1239,3,229900
2132,4,345000
4215,4,549000
2162,4,287000
1664,2,368500
2238,3,329900
2567,4,314000
1200,3,299000
852,2,179900
1852,4,299900
1203,3,239500
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47