Авт. обработка текстов на естественном языке и комп. лингвистика. Большакова (2014) (1185448), страница 61
Текст из файла (страница 61)
В общем случае,определение содержания, тематики отдельных документов является достаточносубъективнымпроцессом.Длястрогогомоделированиятематическихинформационных потоков используют модели, которые различают документы поотдельным словам или словосочетаниям (обычно их называют термами, от англ.Terms).Задачи мониторинга информационных потоков большого объема в компьютерныхсетях, их адаптивного агрегирования и обобщения осложняются отсутствием типовыхметодик и решений, неполнотой существующих технологических подходов. Внастоящее время исследования по проблемам анализа информационных потоковбольшого объема в компьютерных сетях носят чаще всего узко специализированныйхарактер.
Вместе с тем, опыт создания и внедрения корпоративных информационныхсистем свидетельствует о необходимости создания и внедрения документальныхинформационных хранилищ для обеспечения научных исследований, полученияразнообразныханалитическихсведений,навигациивдокументальныхинформационных потоках больших объемов.При моделировании этих процессов используются методы нелинейной динамики,теории клеточных автоматов и самоорганизованной критичности. Примоделировании информационных потоков изучаются структурные связи междувходящими в них массивами документов.
Сегодня при этом все чаще применяетсяфрактальный анализ, подход, базирующийся на свойствах сохранения внутренней215структуры массивов документов при изменениях их размеров или масштабоврассмотрения. Теория информации, которая ранее находила свое основноеприменение в области передачи данных, становится полезной и для анализатекстовых массивов, динамически порождаемых в сетях.Предусматривается, что новостные сообщения обладают свойством старения, т.е.теряют свою актуальность со временем.
Все информационное пространство можно сдостаточной мерой условности разделить на две составляющие – стабильную идинамическую, которые имеют очень разные характеристики своего развития. Вчастности, процесс старения информации в известной модели Бартона-Кеблераописывается уравнением, которое состоит из двух компонент:m(t ) = 1 − ae −T − b e−2T ,где m(t ) – часть полезной информации в общем потоке через время T,первоевычитаемоесоответствует стабильным ресурсам, а второе – динамическим,новостным. Это уравнение также в полной мере соответствует объемам информации,которые формируются в информационном пространстве по определеннымитематиками, которые время от времени возникают и исчезают.
Стабильнаясоставляющаяинформационногопространствасодержитинформацию«долгосрочного» плана, в то время, как динамическая составляющая содержитресурсы, которые постоянно обновляются. Некоторая часть последней составляющейвпоследствии вливается в стабильную, однако большая часть «исчезает» изинформационного пространства или попадает в сегмент так называемой его«скрытой» части, не доступной пользователям с помощью обычных информационнопоисковых систем (ИПС).§ 1.3.Тематические информационные потокиПодтематическиминформационнымпотокомбудемпониматьпоследовательность сообщений, соответствующих определенной тематике. Такимобразом информационные системы в нашем понимании также являютсятематическими информационными потоками, но в отличие от следующих друг задругом сообщений в простых информационных потоках, информационные системы –это сетевые структуры, учитывающие многочисленные информационные связи.В узком смысле под тематическим информационным потоком будем пониматьколичество документов, которые в некотором смысле соответствуют заданной теме.Рассмотрим общую картину динамики тематических информационных потоков,ограничившись механизмами, типичными для динамического сегмента вебпространства.Многочисленные факты свидетельствуют о том, что в действительности динамикатематических информационных потоков определяется комплексом внутреннихнелинейных механизмов, которые лишь частично коррелируют с объективнымокружением.
Очевидно, что эта динамика в принципе не может быть объясненанекоторым одним фактором, который полностью отвечает за все разнообразиенаблюдаемых эффектов. Именно это обстоятельство и объясняет большуюактуальность проблемы моделирования динамики тематических информационныхпотоков.Информационный поток, измеряемый количеством сообщений, являетсявеличиной относительно стабильной. Изменяются во времени лишь объемы массивовсообщений, соответствующие той или иной тематике, той или иной информационной216системе. Другими словами, рост количества публикаций по одной теме приограниченнойспособностиихгенерации(чтовполнесоответствуетдействительности) сопровождается уменьшением публикаций на другие темы, так чтодля каждого промежутка времени T имеем:T M∫ ∑ n (t )dt = NT ,0 i =1iгде ni (t ) – количество публикаций в единицу времени по теме i , а M – общееколичество всех возможных тем.
То есть для локальных временных промежутковможно наблюдать так называемый «тематический баланс».Основной интерес в такой формулировке представляет изучение динамикиотдельного тематического потока, который описывается плотностью ni (t ) .Теоретически можно допустить, что множества публикаций, ассоциируемых сопределенным набором тематик, пересекаются, то есть существуют публикации,которые могут быть отнесены одновременно к нескольким различным тематикам. Вреальности такая политематичность действительно наблюдается, она являетсяэффектом, который необходимо учитывать, но в первом приближении будем считать,что его вклад не искажает общей картины.Каждая тематика также имеет ряд характерных свойств, которые допускаютнекоторую классификацию, например, на основе особенностей ее образования ивоспроизведения во времени:− публикации на «разовую» тему, временная зависимость количества которыхрезко растет, выходит на насыщение, а затем убывает и далее асимптотическистремиться к нулю;− публикации по темам, которые периодически появляются в общеминформационном потоке, а затем через некоторое время практически исчезаютиз него;− публикации по теме, временная зависимость количества которых колеблетсявокруг некоторого значения и никогда не исчезает полностью.Таким образом сообщения могут подразделяться на аналогичные категории,причем каждая из них имеет собственную специфику развития во времени.Еще сложнее выглядит синхронное изменение количества сообщений изнескольких тематических информационных потоков.
Их поведение четко напоминаетпроцессы взаимодействия популяций в биоценозе. Так, например, в ряде случаевувеличение числа публикаций по одной теме сопровождается сокращением числапубликаций по другим темам. Общая динамика в этом случае может описыватьсясистемой уравнений, каждое из которых относится к отдельному монотематическомупотоку. Подчеркнем, что общие политематические потоки являются стационарнымипо количеству публикаций, динамика же в основном определяется «конкурентнойборьбой» отдельных тематик.Вместе с тем в практическом плане часто оказывается полностьюудовлетворительным упрощеное понимание информационного потока как некоторойзависимой от времени величины n(t ) , которая описывается уравнением:dn(t )= F ( n(t ), t ) .dtВ мноргочисленной литературе описаны много разновидностей систем«конкурентной борьбы» для разных модификаций модели в зависимости от целого217ряда предположений о реальных условиях протекания процессов.
В самом простомвиде такие уравнения могут иметь следующий вид:Nmdmi (t )= pi ⋅ mi (t ) − ∑ rij ⋅ mi (t ) ⋅ m j (t ),dtj =1где N m – количество тематик.Приведенная система уравнений описывает перераспределение публикациймежду тематиками, образующими фиксированный набор. Но в реальной жизнитематики (сюжеты) появляются и со временем исчезают, потому необходимоввести в эти уравнения соответствующие коррективы. Это можно сделать поразному, например, определив коэффициенты pi и rij зависящими от времени так,чтобы каждый сюжет имел собственный максимум активности на определенномпромежутке времени.§ 1.4.Моделирование информационных потоковАнализ динамики тематических информационных потоков, которыегенерируются в веб-пространстве становится сегодня одним из наиболееинформативных методов исследования актуальности тех или других тематическихнаправлений [5].
Эта динамика обусловлена факторами, много из которых неподдаются точному анализу. Однако общий характер временной зависимостиколичества тематических публикаций в Интернете все же допускает построениематематических моделей.В поведении информационных потоков наблюдаются две характерных черты:во-первых, выразительная тенденция к постоянному росту их объемов, а во-вторых,усложнение динамической структуры. Наблюдения временных зависимостей числасообщений в сетевых информационных потоках убедительно свидетельствуют о том,что механизмы их генерации и распространения, очевидно, связанны со сложныминелинейными процессами общей сетевой динамики.Традиционными считаются два класса моделей информационных потоков:линейные и экспоненциальные.
Оба класса имеют существенную ограниченность –монотонный характер временной зависимости. То есть они мало пригодны дляизучения реальной динамики сетевых информационных потоков в течениедлительных интервалов времени.Линейная модельВ некоторых случаях динамика тематических информационных потоков,выражаемых количеством публикаций за определенный период, ихинтенсивностью, обусловленной, например, изменением активности тематики (ееповышением или старением), происходит линейно, то есть количество сообщенийв момент времени t можно, соответственно, представить формулой:y (t ) = y (t0 ) + v (t − t0 ),где t0 – стартовое время отсчета, y(t ) – количество сообщений к моментувремени t , v – средняя скорость увеличения (уменьшения) интенсивноститематического информационного потока.Важные характеристики информационного потока могут быть количественнооценены флуктуацией этого потока – изменением среднеквадратичного отклоненияσ (t ) , вычисляемого по формуле:2182σ ( tn ) =1 n∑ y (ti ) − ( y (t0 ) + v(ti − t0 ) ) .n i =0 Если эта величина изменяется пропорционально квадратному корню от времени,то процесс изменения количества публикаций по избранной теме можно считатьпроцессом с независимыми приращениями.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
