Find Jobs
Hire Freelancers

Content Scrapper - Aggregator(repost)

$100-500 USD

Concluído
Publicado há quase 15 anos

$100-500 USD

Pago na entrega
We are a team of engeneers, specialized in SEO consulting. The goal is to **crawl** blogs and forums and **save** their content into a database. ## Deliverables ## Going to the data A list of blogs will be given. Each will need to be crawled throught it's archives, and every article taken. Also, sometimes a search result page will be given, and you have to open the results, as new blogs to crawl. A list of forums (phpBB mostly) will be given. With a login and password. You will need to get the topics and translate them as articles. The first post in the topic is the "content", the others are the "comments". A list of usenet newsgroups will be given. You will get their messages, through google group, or a news system (NNRP access) Each first post is an article, it's answers are comments. In all cases, an article that is less that X characters long won't be downloaded. ## ## Getting data Each article in a blog will be a new row in the main table. You may also create other tables as needed. If you think a table with a row for each blog can be useful, do it. Main table fields : * id primary key auto intrement <!-- --> * title * content <- whole article, not whole web page * date of release of article * source url <- also used as UNIQUE , so if we crawl the site again, don't take the same article 2 times * tags (if any) (<- separate table?) * categories (if any) (<- separate table?) * user comments (in separate table) : nickname, date, content * images if article got any. Will be put in a dir which name is the id field. Images can be taken with system("wget ...") ## ## Technical Name of table, of class(es) to use and some downloading functions are pre-defined or will be changed. Each blog , or blog platform will be different to parse obviously. You can decide to write parsing information in a table, or in the code, as you wish.
ID do Projeto: 3862247

Sobre o projeto

12 propostas
Projeto remoto
Ativo há 15 anos

Quer ganhar algum dinheiro?

Benefícios de ofertar no Freelancer

Defina seu orçamento e seu prazo
Seja pago pelo seu trabalho
Descreva sua proposta
É grátis para se inscrever e fazer ofertas em trabalhos
Concedido a:
Avatar do Usuário
See private message.
$425 USD em 20 dias
4,9 (27 avaliações)
4,7
4,7
12 freelancers estão ofertando em média $324 USD for esse trabalho
Avatar do Usuário
See private message.
$369,75 USD em 20 dias
5,0 (70 avaliações)
5,9
5,9
Avatar do Usuário
See private message.
$263,50 USD em 20 dias
4,9 (99 avaliações)
5,1
5,1
Avatar do Usuário
See private message.
$94,35 USD em 20 dias
4,2 (16 avaliações)
5,0
5,0
Avatar do Usuário
See private message.
$403,75 USD em 20 dias
5,0 (4 avaliações)
4,7
4,7
Avatar do Usuário
See private message.
$297,50 USD em 20 dias
4,5 (26 avaliações)
4,2
4,2
Avatar do Usuário
See private message.
$191,25 USD em 20 dias
4,7 (11 avaliações)
3,3
3,3
Avatar do Usuário
See private message.
$425 USD em 20 dias
4,5 (5 avaliações)
2,6
2,6
Avatar do Usuário
See private message.
$351,05 USD em 20 dias
0,5 (1 avaliação)
0,8
0,8
Avatar do Usuário
See private message.
$382,50 USD em 20 dias
0,0 (0 avaliações)
0,0
0,0
Avatar do Usuário
See private message.
$340 USD em 20 dias
0,0 (0 avaliações)
0,0
0,0
Avatar do Usuário
See private message.
$340 USD em 20 dias
0,0 (0 avaliações)
2,0
2,0

Sobre o cliente

Bandeira do(a) BULGARIA
SOFIA, Bulgaria
5,0
5
Membro desde jan. 17, 2008

Verificação do Cliente

Obrigado! Te enviamos um link por e-mail para que você possa reivindicar seu crédito gratuito.
Algo deu errado ao enviar seu e-mail. Por favor, tente novamente.
Usuários Registrados Total de Trabalhos Publicados
Freelancer ® is a registered Trademark of Freelancer Technology Pty Limited (ACN 142 189 759)
Copyright © 2024 Freelancer Technology Pty Limited (ACN 142 189 759)
Carregando pré-visualização
Permissão concedida para Geolocalização.
Sua sessão expirou e você foi desconectado. Por favor, faça login novamente.