4 ip адреса , что делать?

[Krik]

здорово!

список веб проектов использующих Hadoop :

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

в том числе тут есть facebook, lastfm, yahoo и ещё много известных.

к примеру описание facebook:

We use Hadoop to store copies of internal log and dimension data sources and use it as a source for reporting/analytics and machine learning.

Currently have around a hundred machines - low end commodity boxes with about 1.5TB of storage each. Our data sets are currently are of the order of 10s of TB and we routine process multiple TBs of data everyday.

In the process of adding a 320 machine cluster with 2,560 cores and about 1.3 PB raw storage. Each (commodity) node will have 8 cores and 4 TB of storage.

We are heavy users of both streaming as well as the Java apis. We have built a higher level data warehousing framework using these features (that we will open source at some point). We have also written a read-only FUSE implementation over hdfs.

Вот про Yahoo, на русском:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

уже подходим ближе к теме

 

[masto]

уже подходим ближе к теме

Наоборот уходим, прочитай внимательно ещё раз для чего используют hadoop.

 

[unixman]

Ага, ты только Yahoo об этом не говори, да?

 

[Krik]

Архитектура livejournal

LiveJournal был одним из первых сервисов, бесплатно предоставляющих всем желающим личный блог. Практически с самого начала своего существования в далеком 1999 году проект столкнулся с непрерывно растущим потоком желающих воспользоваться услугами сервиса. Как же проекту удалось справиться с предоставлением маленького кусочка интернета каждому желающему, обойдя при этом всех конкурентов?

Если кому-то интерестно то вот архитектура livejournal:

Платформа
Linux (Debian Sarge)
Perl
Apache
MySQL 4.0/4.1 в основном с InnoDB
Perlbal, веб-сервер и балансировщик нагрузки
memcached для распределенного кэширования
MogileFS, распределенная файловая система
Gearman
TheShwartz
djabberd

в статье есть информация о каждом компоненте системы, что для чего

Подробно тут:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

Видео где Brad Fitzpatrick рассказывает о livejournal:

Для просмотра скрытого содержимого вы должны войти или зарегистрироваться.

 

[masto]

Ага, ты только Yahoo об этом не говори, да?

Вау, типа подколол.

hadoop используется для построения вычислительных кластеров, а не online-сервисов.
если бы ты умел/мог/хотел не только читать из текста названия компаний, то знал бы что таже Yahoo использует hadoop на кластере из 10000 процессоров в построении поискового индекса, но ни как не для взаимодействия с юзерами.
Это же относится и ко всем остальным компаниям - все они используют hadoop для вычислительноёмких задач, таких как анализ логов, построение индексов, математическое моделирование и тому подобное, по сравнению с которыми социальные сети и рядом не валялись (у них нагрузка другого рода).

 

[unixman]

Для онлайн серверов втыкают N десятков серверов, но общая связь между ними делается при помощи hadoop
А то, что ты таких социальных сетей незнаешь, вовсе не ознчает что их нет.

 

[barslg]

а ifconfig никак ?
Вы что то бедного человека запутали ))))