Обсуждение:Анализ социальных сетей средствами Semantic Web

Iv an ru — Thu, 09 Sep 2010 19:39:14 GMT

Новая страница: «"Почему бы социальную сеть не делать сразу на RDF? Онтологии для разметки элементов графа со…»

Новая страница

"Почему бы социальную сеть не делать сразу на RDF? Онтологии для разметки элементов графа социальной сети уже есть. RDF хранилища – тоже."

Производительность. Мы только сейчас начинаем подтягивать базы знаний по скорости и компактности к классическим базам данных. И, кстати, одна из профильных бенчмарок, которую я сейчас в фоновом режиме разрабатываю, как раз эмулирует загрузку сервера социальной сети ( http://esw.w3.org/BotNetBenchmark ). --[[Участник:Iv an ru|Iv_an_ru]] 19:39, 9 сентября 2010 (UTC)

Анализ социальных сетей средствами Semantic Web

Natake — Thu, 09 Sep 2010 15:30:24 GMT

Новая страница: «Хочу рассказать об одном исследовании, интересном пользователям социальных сетей: [http://dat…»

Новая страница

Хочу рассказать об одном исследовании, интересном пользователям социальных сетей:

[http://data.semanticweb.org/pdfs/iswc/2009/paper160.pdf Analysis of a Real Online Social Network Using Semantic Web Frameworks]

(авторы - Guillaume Erétéo, Michel Buffa, Fabien Gandon, Olivier Corby, все – сотрудники INRIA, Франция).

Речь в нём идёт об инструменте общения в стиле Web 2.0 – социальных сетях. Задача, которая стояла перед авторами статьи – оценить параметры сети – диаметр, среднюю длину маршрута в сети друзей, лидеров сети, и т.д. – кажется простой для обычной БД: есть формулы расчета параметров сети (теория графов), пишем запросы и получаем ответы.

Однако, как отмечено авторами, далеко не все параметры социальной сети являются зависящими только от структуры графа. Смысл связей – дуг графа – для социальной сети далеко не один и тот же. «Я знаю его» и «это - мой враг» – разные по смыслу дуги – в стандартных алгоритмах расчета параметров социальной сети не различаются.

Группа воспользовалась данными, предоставленными молодой компанией [http://ipernity.com Ipernity.com]. Сеть была не очень большая – на момент анализа - 61937 участников, 494510 дуг-связей.

===Подход===

Анализ социальных сетей большой частью есть анализ графа связей. Для обычных (не семантических) графов применяется набор метрик под общим названием Social Network Analysis (SNA). Появилась идея проанализировать такой граф средствами Semantic Web.

Собственно социальные данные компании хранятся в РСУБД, в виде обычных реляционных таблиц. Было решено перевести эти данные в набор триплов.

На первом этапе произвели анализ видов элементов в соцсети (люди, объекты (музыка, фото, видео, сообщение), взаимодействия (знает, сообщает, комментирует, ...).

Затем прошлись по существующим ресурсам онтологий.
Кое-что использовали без переделки, но большей частью – добавили своё.

Добавили варианты всевозможных связей, включая «папа», «мама», «друг», «враг» (взяли готовую онтологию [http://vocab.org/relationship/.html, relationship] и развили её в части объявления подмножества семейных связей), использовали [http://www.foaf-project.org/ FOAF] для определения участников социальной сети и контента, который они добавляют в сеть. Для описания тэгов использовали новую версию [http://scot-project.org/ SCOT].

Когда оказалось, что нет онтологий для представления контента (сообщений, тем, домашних страниц), и собственно взаимодействия (посещений страниц, комментариев, приватных сообщений), создали свою онтологию взаимодействий в социальной сети - SemSNI (Semantic Social Network Interactions, на сайте INRIA сейчас отсутствует, но графическое изображение, возможно неполное, можно посмотреть [http://docs.google.com/viewer?a=v&q=cache:VznQ-nNxTjkJ:isicil.inria.fr/res/slides/ereteoetal_ISWC2009_v9.pdf+semsni+ontology&hl=en&pid=bl&srcid=ADGEESiyTEYd0qbxJasSfq06DChQWAZU9NkaXlMKbrn2OzVYqItaCVAwo5BSYK3qB1zNWqKizdhHkByi3w8tQgFalvYO3OgvRRbv93Of-uVmiK9IndEGVYOqwJ0v1Q7vhyCij1hPuhPi&sig=AHIEtbTJkOrMhutv8OLADBtxY9ELwUqY7g здесь] и свою онтологию для анализа социальных сетей [http://ns.inria.fr/semsna/2009/04/20/voc.rdf SemSNA]

Далее, сгенерировали из всей базы данных социальной сети Ipernity.com массив триплетов.

Сама триплификация записей РБД была сделана встроенными средствами хранилища триплетов [http://www-sop.inria.fr/edelweiss/software/corese/ Corese] (разработка INRIA, автор Olivier Corby).

Примерный запрос к Corese на создание триплетов вида <user rel:friendOf user> (взято [http://data.semanticweb.org/pdfs/iswc/2009/paper160.pdf отсюда]):

construct { ?url_user1 rel:friendOf ?url_user2 }

select sql('jdbc:mysql://localhost:3306/mysql','com.mysql.jdbc.Driver', 'user', 'pwd',

'SELECT user1_id, user2_id from relations where rel = 2 limit 100000' ) as (?id1, ?id2)
fun:genIdUrl(?id1, 'http://semsni.fr/people/') as ?url_user1
fun:genIdUrl(?id2, 'http://semsni.fr/ people/') as ?url_user2
where { }

После триплификации общие размеры оказались такими:

Размер памяти для триплетов:
описания участников сети + их связей = 4,9 Гб
описания сообщений между участниками сети = 14,7 Гб
описания документов + комментариев по ним = 27,2 Гб

Массив триплетов полностью размещался в оперативной памяти (параметры машины – двухпроцессорный четырёхядерный Intel(R) Xeon(R) CPU X5482 3.19 ГГц, 32.0 Гб ОЗУ и управлялся хранилищем [http://www-sop.inria.fr/edelweiss/software/corese/ Corese].

К этому массиву триплетов применили SPARQL запросы, реализующие вычисления параметров социальной сети.

Оказалось (впрочем, ожидаемая ситуация), что необходимых для вычислений агрегированных функций типа sum(), count(), avg() в SPARQL всё ещё нет, поэтому в запросах использовали смесь SPARQL + SQL путём вызова функции sql(запрос SQL) внутри SPARQL запроса.

Например, поиск геодезической линии (кратчайшего расстояния из from в to), безотносительно разметки дуг

select ?from ?to $path pathLength($path) as
?length where{ ?from sa (param[rel])*::$path ?to} group by ?from ?to

(параметр sa предписывает вычислять все кратчайшие пути)

===Результаты===

Для разминки рассчитали количественные показатели всей социальной сети – диаметр, количество узлов, дуг; их можно было получить и анализом РБД.

В рамках семантического анализа социальной сети вычислили параметры подграфов социальной сети по разным типам семантических связей («семья»/ «family», «мне нравится»/ «favorite», «дружба»/ «isFriendOf», более конкретные) и типам взаимодействий («комментирует», «создает сообщение», и др.).

Разрешив пользователям социальной сети использовать любые доступные онтологии для детализации своих профилей и сообщений, можно уточнять базовые аналитические запросы до любого уровня детализации. Например, спросить можно о связи типа isFriendOf, а можно - о более общем типе связи foaf:knows, подсвойством которого является isFriendOf.

==Сухой остаток==

Лично у меня есть только один вопрос (понятное дело, риторический).

Почему бы социальную сеть не делать сразу на RDF? Онтологии для разметки элементов графа социальной сети уже есть. RDF хранилища – тоже.

Посмотреть презентацию - http://isicil.inria.fr/res/slides/ereteoetal_ISWC2009_v9.pdf
{{Шаблон:Natake}}

[[Категория:социальная сеть]]
[[Категория:RDF]]
[[Категория:FOAF]]
[[Категория:SIOC]]
[[Категория:SPARQL]]
[[Категория:social network analysis]]
[[Категория:Онтологии]]

Категория:Linked Data

Iv an ru — Fri, 03 Sep 2010 14:02:26 GMT

← Предыдущая		Версия 14:02, 3 сентября 2010
Строка 17:		Строка 17:
	технологию один конкретный проект с конкретными участниками, его полное название --- "Linking Open Data W3C SWEO Сommunity Project".		технологию один конкретный проект с конкретными участниками, его полное название --- "Linking Open Data W3C SWEO Сommunity Project".

-	[http://www4.wiwiss.fu-berlin.de/bizer/pub/lod-datasets_2009-07-14.html Граф связей между самыми популярными сайтами Linked Open Data Project] напоминает "детство" WWW, когда список известных сайтов без затруднений редактировался одним человеком. В тот раз это продолжалось недолго.	+	[http://www4.wiwiss.fu-berlin.de/bizer/pub/lod-datasets_2009-07-14.html Граф связей между самыми популярными сайтами Linked Open Data Project] напоминает "детство" WWW, когда список известных сайтов без затруднений редактировался одним человеком. В тот раз это продолжалось недолго. [http://www4.wiwiss.fu-berlin.de/lodcloud/ Статистика связей] выглядит не так красиво, зато она полнее и обновляется чаще.

	Материалы Linking Open Data Workshop: [http://events.linkeddata.org/ldow2008/ WWW2008], [http://events.linkeddata.org/ldow2009/ WWW2009]<br/>		Материалы Linking Open Data Workshop: [http://events.linkeddata.org/ldow2008/ WWW2008], [http://events.linkeddata.org/ldow2009/ WWW2009]<br/>

Semantic Future - Свежие правки [ru]

Обсуждение:Анализ социальных сетей средствами Semantic Web

Анализ социальных сетей средствами Semantic Web

Категория:Linked Data