Xin tư vấn cấu hình hệ thống crawler web và facebook

crawling

#1

Em đang có ý định xây dựng một hệ thống web crawler và social crawler để phục vụ cho mục đích phân tích dữ liệu. Em có tham khảo qua link này https://www.slideshare.net/hadoopusergroup/building-a-scalable-web-crawler-with-hadoop và nhiều bài viết khác, tuy nhiên em đang băn khoăn cấu hình cần thiết tối thiểu để đảm bảo được là bao nhiêu. Anh/chị/em hoặc bạn nào có kinh nghiệm về phần này có thể tư vấn giúp em với ạ.

Em xin cảm ơn nhiều ạ.


#2

Mình cũng đang quan tâm đến lực vực này


#3

Cấu hình các con crawler slave thì càng nhỏ càng tốt vì sẽ có thể chạy nhiều slaves. (1GB Ram + 1 vCPU là được)