Диссертация (Методика формирования реляционных таблиц на основе информации табличного вида)

Московский государственный технический университет им. Н.Э. БауманаНа правах рукописиМин Тxет ТинМЕТОДИКА ФОРМИРОВАНИЯ РЕЛЯЦИОННЫХ ТАБЛИЦНА ОСНОВЕ ИНФОРМАЦИИ ТАБЛИЧНОГО ВИДАСпециальность 05.13.11 – Математическое и программное обеспечениевычислительных машин, комплексов и компьютерных сетейДИССЕРТАЦИЯна соискание ученой степени кандидата технических наукНаучныйруководитель-д.т.н., доцент, Брешенков А.В.Москва 2015 г.2СОДЕРЖАНИЕСПИСОК СОКРАЩЕНИЙ……………………………………….…....…5ВВЕДЕНИЕ……………………….………………………………...…..…..61.ИССЛЕДОВАНИЕФОРМИРОВАНИЯЗАДАЧПОСТРОЕНИЯРЕЛЯЦИОННЫХТАБЛИЦМЕТОДИКИНАБАЗЕЗАПОЛНЕННЫХ НЕРЕЛЯЦИОННЫХ ТАБЛИЦ....………………..201.1.

Обзор существующих средств формирования реляционных таблиц вконтексте решаемой проблемы……….......................................…………201.1.1. Основы современной методологии проектирования реляционныхбаз данных в контексте решаемой проблемы……………………………201.1.2. Модель реляционных таблиц (РТ)…….…....…………………...….221.1.3. Ключевые поля в реляционных таблицах..................…...………...241.1.4. Нормализация и семантическое моделирование………………..…261.2.

Определение понятия расширенной информации табличного вида(ИТВР) и причины построения методики преобразования ИТВР вреляционное представление........................................................................281.2.1 Определение понятия ИТВР..............................................................281.2.2. Причины и проблемы построения методики автоматизированногопреобразования ИТВР в расширенные РТ (РТР) …………………….....351.3 Анализ применимости современных теоретических и практическихразработок……………………………………………………………..……381.4. Постановка задачи разработки метода формирования РТР на основеиспользования ИТВР.……………………….........................................…39Выводы по главе 1………………………………………….……..…….…432.

МЕТОД ПРЕОБРАЗОВАНИЯ ЗАПОЛНЕННЫХ ИТВРВ РТР.………………...................…………………………………....….442.1. Модели объектов исследования………………………………….......442.1.1. Модель РТР............................…………………………...……….....4432.1.2. Модель ИТВР......................................……………………...…...…472.2. Задача приведения значений столбцов ИТВРк одному типу…………………………………………………….……..…522.2.1. Типы полей в реляционных таблицах…………………….…...…..522.2.2. Преобразование значений атрибутов заполненных таблиц кодному типу………..…………………………………………………....…532.3. Исключение повторяющихся строк в ИТВР..…………………..…552.3.1.

Типы повторяющихся строк ...........………………………….....…552.3.2. Исключение повторений строк.......................…...…………..…....592.4. Избавление от сложных заголовков и подзаголовков………......…602.4.1. Задача избавления от подзаголовков…………………………...…602.4.2. Исключение внутренних подзаголовков………………….........…632.4.3. Способ избавления от сложных заголовков и подзаголовков…..70Выводы по главе 2.......................................................................................843. МЕТОД НАЗНАЧЕНИЯ КЛЮЧЕЙ В ИТВР.….….....................…843.1. Задача формирования ключей в ИТВР..............................................843.2. Алгоритмы назначения первичных ключей в ИТВР………....….…873.2.1.

Неформальные алгоритмы назначения первичных ключейв ИТВР............................………………………....………………........….873.2.2. Формальные алгоритмы назначения первичных ключейв ИТВР.……………………………...............................…………..….......943.3. Алгоритмы назначения внешних ключей в ИТВР......………….....1013.3.1.

Неформальные алгоритмы назначения внешних ключей вИТВР.........................................................................................................1013.3.2. Формальные алгоритмы назначения внешних ключей в ИТВР..106Выводы по главе 3…………………………….………………….........….1084.МЕТОДИКАФОРМИРОВАНИЯРТРНАОСНОВЕИСПОЛЬЗОВАНИЯ ЗАПОЛНЕННЫХ ИТВР..................................1094.1. Формулировка проблемы формализации методики…....................1094.2. Модель методики в операторной форме..........................................11244.3.Анализметодикидляобнаружениядефектовеепредставления……...............................................................................…1284.4.Анализметодикидляобнаружениядефектовеефункционирования...................................................................................143Выводы по главе 4…………………………….…………………........…..147ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ………………………......….149ЛИТЕРАТУРА…………………………………………………….......…150ПРИЛОЖЕНИЕ 1.

ПРОГРАММНАЯ РЕАЛИЗАЦИЯ МЕТОДИКИФОРМИРОВАНИЯ РТР НА ОСНОВЕ ИТВР................……......…..160ПРИЛОЖЕНИЕ 2. АКТ ВНЕДРЕНИЯ И ИСПОЛЬЗОВАНИЯРЕЗУЛЬТАТОВ ДИССЕРТАЦИОННОЙ РАБОТЫ ……..........…..1925СПИСОК СОКРАЩЕНИЙБД – база данныхРБД – реляционная база данныхРМД - реляционная модель данныхСУБД – система управления БДИТВ – информация табличного видаИТВР - расширенная модель ИТВРТ – реляционные таблицыРТР - расширенная модель РТЭТ – электронные таблицыПК – первичный ключПО – программное обеспечениеОС – операционная система6ВВЕДЕНИЕВ настоящее время трудно переоценить значение компьютерныхинформационных систем.

А коль скоро базы данных (БД) являются ядроминформационных систем, в полной мере это относится и к БД. Это детальнои убедительно доказывается в соответствующей научно-популярной итехнической литературе. В частности об этом говорят специалисты в областиБД [1−23]. Более того, в паспорте специальности 05.13.11 (Математическое ипрограммноеобеспечениевычислительныхмашин,комплексовикомпьютерных сетей) отмечается:− необходимость разработки и исследования в области программныхсредств организации и управления обработкой данных и знаний;− необходимость создания прикладного математического обеспечения,программных средств автоматизации разработки программ;− актуальность разработки программных средств обработки данных изнаний в ВМ, ВК и КС;− актуальность разработки методы проектирования систем управлениябазамиданных(СУБД)ибазамизнаний(СУБЗ),втомчислераспределенными СУБД и СУБЗ.Даже из незначительной информации, которую можно получить изназвания диссертации, можно сделать вывод о том, что она посвященарешению названных проблем.

Действительно, речь идет о преобразованииинформациивданные,кодированииинформацииввидеданных.Естественно, для этого потребуются модели информации табличного вида имодели таблиц данных. Кроме того необходима разработка математического,информационного,программного,методическогоидругихвидовобеспечений, ориентированных на преобразование информации в данные.Собственно понятие информации − глобальное и охватывает все сферычеловеческой деятельности от вербального общения между людьми доработы в Интернете [25]. Далеко не всякую информацию можно представить7в виде данных. Ведь данные − это информация, представленная врегламентированном виде. К сожалению, не всю информацию можно строгорегламентировать.Поэтомувработерассматриваетсяинформациятабличного вида (ИТВ), модель которой предложена в работах [37, 53] и еерасширение − ИТВР.

Представление такого рода информации близко кпредставлению данных в БД, и поэтому в принципе процесс преобразованияИТВ в формат БД можно формализовать. Но ИТВ по ряду признаковсущественно отличается от данных. Суть проблемы в том и состоит, чтобыразработать способы, алгоритмы, методику и средства, которые позволятисключить эти отличия.Для начала необходимо дать хотя бы неформальные определения ИТВ ипредставлениеданныхвБД.ИТВ−этоинформация,котораявоспринимается пользователем как двумерные таблицы.По сути, это могут быть ведомости, прайс-листы, словари, списки имногое другое. Главная задача разработчиков такого рода таблиц − этообеспечениеминимальнойсубъективнойсложностивосприятияинформации.В работах [26, 37, 53] введено и определено понятие ИТВ.

Определеныследующие свойства ИТВ. « Этоинформация,котораяинтуитивновоспринимаетсяеепотребителями, как таблицы. В табличном представлении информации нередко отсутствуютразделители строк и разделители столбцов. Элементы данных нередко размещаются в нескольких строках. Типы элементов данных, соответствующих одному столбцу, могутразличаться. Заголовки информации табличного вида могут включать в себяподзаголовки.8 Заголовки и/или подзаголовки одноименного столбца нередкоразмещаются в нескольких строках. ».На момент времени определения ИТВ оно отражало большинство чертреальных ИТВ.

С тех пор прошло около 10-и лет. Ситуация существенноизменилась. В частности, появились новые, инструментальные средствапредставления ИТВ, которые отражают все возрастающие потребностипользователей и прогресс в области технических и программных средств.Это новые версии: электронных таблиц, текстовых редакторов, текстовыхпроцессоров, HTML средств, систем обработки статистической информациии др.В связи с этим появилась возможность и потребность представленияболее "экзотических" ИТВ, которые наряду с перечисленными могутобладать следующими особенностями. В расширенном понятии ИТВ вИТВР:−допустимо отражение семантики данных посредством цвета,фона, шрифта и т.п.;−допустимо повторное использование заголовков и подзаголовков(суть их определяется посредством места в таблице, цвета, фона, шрифта ит.п.);−возможно использование значений любых доменов атрибутов вкачестве подзаголовков;−допустимо использование комбинированных подзаголовков;−допустимо использование одноименных доменов;−необязательно наличие первичных ключей;−отсутствуют внешние ключи.Таким образом понятие ИТВ расширено и для того чтобы этоподчеркнуть в дальнейшем, при необходимости, будем использоватьаббревиатуру ИТВР.9В данном случае никакой речи о регламентации информации не можетбыть и речи.

Проблема и состоит в преобразовании нерегламентированнойинформации к регламентированному виду. А регламентированный вид − этоформатБД.ПрипреобразованииИТВРнеобходимоучитыватьнеобходимость обработки всех форм их представления, свойства которыхперечислены выше.По форме ИТВР может быть представлено на бумаге, в форматетекстовых редакторов, в формате текстовых процессоров, в форматеэлектронных таблиц и во многих других форматах. В связи с этим возникаетвторая проблема – проблема преобразования форматов.Естественно задаться вопросом, а нужны ли преобразования ИТВР втаблицы БД. Собственные исследования, работа с экспертами, участие вразработках показали, что, с одной стороны, БД исключительно редкосоздаются на пустом месте (чаще всего имеются значительные объемыинформации вида ИТВР), а, с другой стороны, к настоящему временинакопилось множество ИТВР, которое просто необходимо обрабатыватьсредствами современных систем управления базами данных (СУБД).И, к сожалению, в настоящее время нет теоретических и практическихразработок, которые могли бы в полном объеме решить проблемыпреобразования ИТВ в формат БД.