Crawler stron internetowych
zł90-750 PLN
Pago na entrega
Chciałbym zlecić napisanie programu, który działałby w sposób podobny do tego programu: [url removed, login to view]
Zależy mi żeby taki program mógł chodzić po stronach internetowych i zczytywać z nich linki do zewnętrznych stron.
Przykład: chciałbym, żeby program podał mi listę wszystkich domen znajdujących się we wskazanym przeze mnie katalogu stron w sekcji 'medycyna'.
Bardzo istotna jest tutaj możliwość zawężania crawlingu do określonych sekcji witryn. Można to zrobić np. po filtracji adresów url, które muszą zawierać np. jakiś ciąg znaków np 'medycyna'.
Dodatkowo na samym końcu pracy program powinien w prosty sposób sprawdzać, czy dana domena istnieje, czy też nie. Może być to sprawdzane po nagłówkach. Nie ma potrzeby odpytywania whois.
Program powinien też koniecznie korzystać z proxy. Sugeruję dodać obsługę Proxy Marketu.
ID do Projeto: #7001959
Sobre o projeto
2 freelancers estão ofertando em média zł2350 nesse trabalho
Witam, prosiłbym o bardziej szczegółową specyfikację. Jakie cechy musi posiadać aplikacja z tych uwzględnionych z WinWebClawler`a ? Czy wyszukiwanie adresów ma się odbywać z gotowych silników wyszukiwarek(google, ya Mais