회사 컨퍼런스 발표 2008/04/18
대전 Best West Legend Hotel에서 회사 Conference를 개최했다. (4/17) 내가 Session 1 Speaker였다. 반응은 생각보다 좋았다. 다음 주에는 제주도로 출장을 간다... 컨퍼런스 세션을 열..
안성 남사당 바우덕이 축제에 다녀오다.. 2008/04/06
안성에서 유명한 남사당놀이 바우덕이 축제에 다녀왔다. 집에서 약 20여분 정도의 거리이기 때문에 부담없이...ㅎㅎ 금요일 퇴근길에 유연히 버스안에서 광고를 보고 이번주말을 계획하게 되었다. 약간의 구름이 끼었지만 매우 화창한..
2008/03/12 14:06 :: Development
내가 매우 관심을 가지고 있는 것중의 하나인 Hadoop Project의 뉴스거리가 난 것을 오늘에서야 보았다.
- 야후가 세계에서 가장 큰 Hadoop Application을 발표했다고 한다. (2008/2/19)
물론 Hadoop은 Amazon EC2/S3서비스에서도 사용되고 있었지만, 이번 야후에서 발표한 것이 Hadoop을 이용한 것중 가장 크다고 한다. (a more than 10,000 core Linux cluster)
이번에 발표한 내용은 Yahoo! Search Webmap이라는 Application인데 데이터의 규모가 다음과 같다.
Some Webmap size data:
- Number of links between pages in the index: roughly 1 trillion links
- Size of output: over 300 TB, compressed!
- Number of cores used to run a single Map-Reduce job: over 10,000
- Raw disk used in the production cluster: over 5 Petabytes
Hadoop의 목표가 10,000노드 클러스터라던데,
Yahoo Grid Team에서 Hadoop에 손질을 했겠지만... 10,000노드를 넘어버리는 상황이 생겨버렸군..
참고사이트
이올린에 북마크하기'Development' 카테고리의 다른 글
| 구글이 가끔 이상하다... (0) | 2008/05/15 |
|---|---|
| Terminals 1.6e (0) | 2008/03/12 |
| Yahoo가 세계에서 가장 큰 Hadoop Application 발표 (0) | 2008/03/12 |
| IE 6.0에서 3사쿠키 허용문제 (0) | 2007/11/12 |
| Flash MP3 player 제작법 동영상 (0) | 2007/10/30 |
| 버클리 데이터베이스 소개 from SUN (0) | 2007/09/12 |
이 글의 관련글(Trackback) 주소 :: http://pigmon.tistory.com/trackback/108
