IBM продвигается вперед со своим проектом поисковой системы

IBM хотела бы, чтобы ее суперкомпьютерный проект WebFountain стал следующим большим достижением в области веб-поиска.

Интернет может стать сокровищницей бизнес-аналитики, но только в том случае, если он может иметь смысл данных.

Наряду с конкурентами, такими как ClearForest, Fast Search and Transfer и Mindfabric, Big Blue надеется повысить спрос на новые сервисы интеллектуального анализа данных, которые показывают смысл и контекст, а не просто более или менее релевантные списки ссылок.

Это сложная задача: раздвинуть границы проектирования суперкомпьютеров и повысить ожидания в отношении того, чего могут достичь необработанные вычислительные мощности при настройке для работы в крупнейшей в мире библиотеке документов. Традиционные поисковые системы, такие как Google, уже пытаются сопоставить условия поиска с конкретными веб-страницами. Теперь WebFountain и другие проекты возьмут на себя задачу, которая является экспоненциально более сложной.

«Поиск пытается найти лучшую страницу по теме. WebFountain хочет найти тенденцию », – сказал Дэн Груль, главный архитектор проекта в исследовательском центре IBM Almaden Research в южной части Сан-Хосе, штат Калифорния. Использование интернет-данных для поиска смысла – это призрачный идеал веб-поиска, который еще не реализован. Однако по мере того, как все больше компаний управляют своим бизнесом в Интернете, аналитики прогнозируют, что будут стремиться извлечь выгоду из своих битов и байтов, и многие компании-разработчики в настоящее время изучают способы принести им эту ценность.

ОБЪЯВЛЕНИЕ

ПРОДОЛЖИТЕ ЧИТАТЬ НИЖЕ

IBM надеется извлечь выгоду из этой тенденции с помощью четырехлетнего проекта WebFountain, который сейчас достигает совершеннолетия. Это амбициозная исследовательская платформа, которая опирается на структурированные и неструктурированные данные из Интернета, а также на возможности хранения и вычислений, а также на экспертные знания IBM.

Если WebFountain сможет справиться сегодня, проблема, которую вы надеетесь решить, будет особенно интересна для IBM. Big Blue разрабатывает новую бизнес-модель, в которой клиенты будут арендовать вычислительную мощность у центрального поставщика, а не приобретать собственное оборудование и программное обеспечение. WebFountain идеально подходит для этой модели полезных вычислений. IBM надеется использовать проект для создания платформы, которую другие разработчики программного обеспечения, заинтересованные в использовании возможностей интеллектуального анализа данных, могли бы использовать в качестве серверной части.

Во время одного из первых общедоступных применений этой технологии IBM во вторник установила партнерские отношения с поставщиком программного обеспечения Semagix, предложив систему противодействия отмыванию денег для финансовых учреждений, в которой Ситибанк стал первым клиентом.

ОБЪЯВЛЕНИЕ

ПРОДОЛЖИТЕ ЧИТАТЬ НИЖЕ

Обе компании уже несколько месяцев вместе работают над созданием приложения, которое помогает банкам выявлять подозреваемых, пытающихся узаконить похищенные средства. Эти усилия соответствуют Закону о патриотизме Соединенных Штатов, принятому два года назад для борьбы с терроризмом.

Система WebFountain-Semagix автоматизирует процесс, который ранее ложился на плечи сотрудников по соответствию, которые вручную сравнивают имя человека со списками известных подозреваемых.

«Это классическое ИТ-решение», – сказал президент WebFountain Роб Карлсон. «Он не заменяет людей, а организует неструктурированную информацию из Интернета до такой степени, что они могут видеть, что важно, а не исследовать большой объем данных и пытаться выяснить, кто с кем связан».

В знак растущего спроса на фильтры отмывания денег среди банков, Fast Search и Transfer недавно объявили, что финансовые учреждения могут создать аналогичное приложение, и, как утверждают аналитики, Cap Gemini является первым клиентом.

Быстро растущий рынок.
WebFountain имеет корни в Стэнфордском университете и другом инновационном инструменте исследований, Google. Его истоки лежат в академической статье по интеллектуальному анализу текста, написанной совместно исследователями на сайте IBM в Алмадене и в Стэнфорде, где обсуждается идея, известная как центры и авторитеты.

Эта теория предполагает, что лучший способ найти информацию в Интернете – это просматривать самые крупные и популярные веб-сайты и страницы. Например, хабы обычно определяются как веб-порталы и сообщества экспертов. Аналогичным образом, концепция органов власти основана на выявлении наиболее важных веб-страниц, включая наблюдение за количеством и влиянием других страниц, которые ссылаются на них. Последняя концепция отражена в основном алгоритме Google, который называется PageRank.

IBM применила те же концепции в первоначальном проекте интеллектуального анализа веб-данных под названием Clever, но недостатки в конечном итоге заставили исследователей перевернуть теорию центров и органов власти с ног на голову. Короче говоря, IBM обнаружила, что она может извлекать более интересные данные со страниц, чем теория центра, и власти обычно занимают дно неструктурированных страниц, таких как доски обсуждений, веб-журналы, группы новостей и другие страницы. С этой идеей родился WebFountain.

ОБЪЯВЛЕНИЕ

ПРОДОЛЖИТЕ ЧИТАТЬ НИЖЕ

«Мы смотрим на … грязные низкоуровневые страницы», – сказал Грюль. Аналитики говорят, что они ожидают увидеть растущий спрос со стороны корпораций на услуги, которые извлекают так называемые неструктурированные данные в Интернете. Согласно исследованию, проведенному учеными из Калифорнийского университета в Беркли, статическая сеть содержит приблизительно 167 терабайт данных. В отличие от Deep Интернет имеет от 66 800 до 91 850 терабайт данных.

Согласно исследованиям IDC, объем предоставляемых услуг по управлению неструктурированной информацией в этом году оценивается в 6,46 млрд долларов, а в 2006 году – в 9,72 млрд долларов.

Любые сомнения в масштабах вычислительной мощности, необходимой для решения этой задачи, быстро развеялись, посетив ферму серверов WebFountain, расположенную в исследовательском центре IBM Almaden Research Center.

В компании работают около 200 исследователей в восьми исследовательских лабораториях по всему миру, включая Индию, Нью-Йорк и Пекин. Но сердце операции здесь.

Очистив закрытый контрольно-пропускной пункт, гости проследуют по длинной дороге в малоэтажное офисное здание 1960-х годов, скрытое за холмами и парками над Силиконовой долиной.

ОБЪЯВЛЕНИЕ

ПРОДОЛЖИТЕ ЧИТАТЬ НИЖЕ

Постоянный гул фанатов указывает на присутствие чего-то большого в коридоре.

Основной кластер состоит из 32 стоек из восьми серверов с двумя процессорами Intel Xeon 2,4 ГГц, способных записывать 10 ГБ данных в секунду на диск. Каждая стойка имеет 5 терабайт для хранения, в общей сложности 40 терабайт для системы.

Основной кластер поддерживает два смежных 64 двухпроцессорных кластера, которые выполняют вспомогательные задачи. Один банк сканирует Интернет, индексируя около 250 миллионов страниц в неделю, а другой обрабатывает запросы.

Три группы вместе в настоящее время работают в общей сложности 768 процессоров, и это число быстро растет.

В этом году кластер и хранилище перейдут на Blade-серверы, что сэкономит пространство и предоставит в общей сложности 896 процессоров для интеллектуального анализа данных и 256 для хранения. В общей сложности система добавит 1152 процессора, что позволит собирать и хранить до 8 миллиардов веб-страниц за 24 часа.

Как и веб-поисковые системы, WebFountain можно использовать для поиска иголки в стоге сена, но в отличие от веб-поиска он предназначен для анализа и выявления тенденций или ответа на такие вопросы, как «Какова моя корпоративная репутация? »

ОБЪЯВЛЕНИЕ

ПРОДОЛЖИТЕ ЧИТАТЬ НИЖЕ

Это выходит за рамки возможностей веб-поисковых систем, разработанных такими компаниями, как Google, Inktomi и Fast Search and Transfer. Эти продукты обычно ищут в Интернете документы, которые лучше всего соответствуют заданному запросу, обычно сканируют ссылки на важные веб-страницы или соответствуют схожим фрагментам текста. С помощью этих и других методов поиск позволяет пользователям перемещаться, находить или перемещать информацию, а также получать справочную информацию по теме.

IBM WebFountain, напротив, хочет помочь найти смысл в лишних данных в сети. Он основан на интеллектуальном анализе текста или так называемой обработке естественного языка (NLP). При индексации веб-страниц помечайте все слова на странице, изучайте их внутреннюю структуру и анализируйте их взаимосвязь. Процесс очень похож на диаграмму предложения в пятом классе, но в широком масштабе. Анализ текста извлекает блоки данных, существительные-глаголы-существительные и анализирует их, чтобы показать причинно-следственные связи.

WebFountain обещает объединить ваш интеллект с инструментами визуализации, чтобы составить график тенденций в отрасли или определить ряд новых конкурентов для конкретной компании. Платформу можно использовать для анализа финансовой информации в течение пяти лет, например, чтобы увидеть, растет ли экономика. Или его можно использовать для просмотра списков вакансий, чтобы определить новые тенденции в сфере занятости.

ОБЪЯВЛЕНИЕ

ПРОДОЛЖИТЕ ЧИТАТЬ НИЖЕ

«Сеть превратилась в большую доску объявлений, и если вы сможете увидеть это с течением времени и увидеть, как все изменилось, ответьте на вопрос:« Скажите мне, что происходит? », – сказала Сью Фельдман, аналитик из исследовательская фирма IDC. «Это ищет предсказуемую структуру в тексте и использует ее так же, как люди, для анализа, классификации информации и ее понимания».

Конечно, некоторые критики говорят, что WebFountain и другим проектам еще предстоит пройти долгий путь, чтобы продемонстрировать, что они могут выполнить свои амбициозные обещания.

«IBM пытается использовать эту пушку после 20 лет исследований; Это хороший большой пистолет, но в некоторых случаях он может не подходить для этой работы », – сказал Джим Питков, президент поисковой компании Plus, которая имеет дело с конкурентом Microsoft IBM. Он утверждал, что компаниям, возможно, не нужно сканировать 3 миллиарда страниц, чтобы проанализировать свою корпоративную репутацию или эффективность интернет-маркетинга, потому что многие страницы не решают проблему.

ОБЪЯВЛЕНИЕ

ПРОДОЛЖИТЕ ЧИТАТЬ НИЖЕ

«Автоматическое обнаружение чувства – сложная вещь», – сказал Питков. IBM говорит, что сервис WebFountain уже дал некоторые многообещающие результаты в ранних тестах, указывая на исследование рынка, проведенное в 2002 году от имени британского нефтяного гиганта British Petroleum, в качестве убедительного примера.

BP уже знала, что цены на газ и автомойки являются главными заботами клиентов, пока они в помпе. Но, узнав о маленькой сервисной станции в районе Чикаго, которая создала «полицейские участки» для полицейских, WebFountain обратил внимание на еще одну проблему потребителей: преступность. В настоящее время BP изучает планы по повышению безопасности на своих станциях, раздавая кофе, пончики и интернет-соединения для привлечения сотрудников полиции.

Другие разработки WebFountain включают приложение, которое будет выпущено этим летом от Factiva, компании по поиску информации, принадлежащей Dow Jones и Reuters. Factiva лицензировала WebFountain в сентябре и занималась разработкой программного обеспечения, которое должно быть на вершине платформы и измерять корпоративную репутацию.

В эпоху корпоративных скандалов и жесткой конкуренции измерение общественного восприятия может стать ключевым направлением для многих компаний. По словам Грюля, по крайней мере одна компания, которая провела тестирование WebFountain, назначила сотрудника по корпоративной репутации.

ОБЪЯВЛЕНИЕ

ПРОДОЛЖИТЕ ЧИТАТЬ НИЖЕ

«Проблема всегда заключалась в том, чтобы систематически извлекать большой объем данных и отличать важное от тривиального», – сказал Чарльз Фромбрун, исполнительный директор Института репутации.

«Если бизнес работает, – говорит Фромбрун, – то есть чему поучиться, комбинируя ретроспективные данные из печатных источников с новыми данными из веб-аналитики».

Спасибо Монике ofAdvertorial.org за совет.