Лекция 1. Программирование на языке SAS. Основы шага DATA (1185373)

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла

Программирование на языкеSASЛекция 1 (Основы шага DATA)Авторы материалов:Звежинский Дмитрий (SAS Russia/CIS), dmitry.zvezhinsky@sas.comПетровский Михаил (ВМК МГУ, SAS Russia/CIS), michael@cs.msu.su1SAS University Edition• http://www.sas.com/en_us/software/universityedition.html• Приложение в виде образа виртуальной машины дляVirtualBox или VMWare• Не требуется постоянное подключение к интернету,просто настроить (инструкции см на сайте)Задание.

Зарегистрируйтесь на сайте SAS, скачайте иустановите SAS U.2SAS University Edition3Как написать программу на SAS UE?• Программа сохраняется на вашем компьютере (в настроеннойдиректории My Folders = …./SASUniversityEdition/myfolders )• Данные хранятся на вашем компьютере (можно загружать и создаватьсвои).• С точки зрения виртуальной машины домашняя директория “~”совпадает с My Folders. Домашняя директория в виртуальной машинеоткрыта на запись.SAS U настроен для работы с кодировкой UTF,но будьте аккуратны при работе с многобайтовыми кодировками!4Справка• Справка в свободном доступе (веб-интерфейс либо pdf)http://support.sas.com/documentation1) Поиск справки по элементам языкаSAS BASE нужно начинать сописания интересующейпроцедуры (и уже в ней искатьсправку о конкретном операторе)2) Пункт overview – общие слова отом, что может делать процедура(шаг PROC)3) Пункт examples – для самыхнетерпеливых4) Дополнительные материалы*) Материалы конференции SUGI (обмен опытом между пользователями)*) Справки по конкретным продуктам SASРекомендуется иметь под рукой:SAS/STAT(R) 9.3 User's GuideSAS(R) 9.3 Functions and CALL Routines: ReferenceBase SAS(R) 9.3 Procedures Guide, Second EditionSAS(R) 9.3 SQL Procedure User's Guide5…Журнал выполнения (Log)• Log – средство для отладки и диагностики выполнения программы.Работает для всех процедур SAS.• Выводит текст запущенной программы и ошибки (если есть).

Ошибкиподробно описаны, иногда даются предложения по исправлению.• Даже если ошибок сразу не видно, рекомендуется вдумчиво изучитьLog.6Отладка с помощью Log• Типы сообщений:• NOTE: описание выполнения программы• WARNING: Программа выполнилась, но есть сомнения в ее правильности(преобразования типов, пропущенные значения, пустой набор данных и т.д.)• ERROR: ошибка, программа не выполнилась• Если что-то не работает, то первым делом в Ctrl+F “ERROR” и Ctrl+F“WARNING” в журнале• Отладка есть «цикл» = запустил, прочитал лог, поправил, запустил …• Особенность, если что-то упало (на каком-то шаге), то SAS все равноидет дальше и проверяет синтаксис (не выполняет).

Иногда удобно,иногда запутывает.• Специально, если хотите только откомпилировать, без запускаиспользуйте оператор RUN CANCEL вместо RUN• Отладочная печать:• На этапе выполнения все переменные put _all_;• На этапе выполнения список значений переменных var1, var2, var3put var1 var2 var3;• Если указать после имени переменной =, то в журнале будут и именапеременных, например put var1 var2= var3=; для переменных var2 и var3будут указаны имена• На этапе макроподстановки (будем изучать потом) аналогично через %put7Общие концепции SAS Base• Что включает SAS Base?• «Движок» для работы с табличными данными в формате SAS• Язык программирования• Набор процедур для простейшего стат. анализа и отчетсти• Что может создаваться в результате работы SAS Base программы?• Новые табличные данные в формате SAS и других форматах• Журнал работы программы (Log)• «Отчеты» с таблицами, графиками и прочей «красотой» в разныхформатах (pdf, html, txt и др.)• Служебные файлы SAS (например, каталоги или индексы)• SAS программа может запускаться:• В пакетном режиме• В интерактивном режиме в некоторой среде (их много), например, в SASStudio в SAS UE или в SAS Enterprise Guide или в консоле …8Обзор языка SAS BASEСтруктура программы на языке SAS BASEСозданиеотчетаДанные(наборыданных SAS,сторонниеформаты)Шаг DATA(преобразование данных)Наборданных SASШаг PROCСозданиенабораданных SAS(длядальнейшегоанализа)• Линейная структура программы.

Нет циклов, операторов условного перехода.• Разные части программы обмениваются друг с другом данными только в виденаборов данных SAS или через макропеременные.• Основная структура данных – набор данных (SAS data set). Все данные лежат нажестком диске в виде файлов. Поэтому данных может быть очень много!• Нет инкапсуляции (в смысле сокрытия реализации кода за интерфейсом)• Только две (!) основные синтаксические конструкции:• Шаг DATA (работа с данными – создание, чтение, добавление, изменение)• Шаг PROC – всё остальное• Исторически основная цель программы – создание отчета (описание или анализ9исходных данных) или запроса к данным (получение «среза» данных).Наборы данных SAS (продолжение)• Раньше: наборы данных – обычные структурированные файлы(*.sas7bdat)• Можно прозрачным образом подключать данные практически в любомвиде (от excel/access до промышленных баз данных) через набормеханизмов (engines).• SAS/ACCESS – программный модуль, позволяющий SAS «видеть»данные во внешних источниках (например, в реляционных СУБД или вHDFS) как «свои» DATASETS• Импорт данных из большинства популярных форматов (xls и csv в SASStudio; Code Snippets->Data->Import … )• Нельзя создавать и редактировать прямо в SAS Studio • SAS – это НЕ СУБД (не гарантирует транзакционную целостность) и НЕменеджер для организации хранения данных (разделение доступа,аудит данных и проч.), хотя возможности для этих целей у негоимеются.10Наборы данных SAS (datasets)• Наборы данных – обычные «плоские» таблицы• Переменные (столбцы) – одного из двух типов,числовые или текстовые• Для хранения чисел отводится 8 байт.

Дляхранения текста – от 1 до 32767 байт.• Названия переменных – до 32 символов: _ a-z 0-9• Регистр в названии переменной не важен• Нельзя начинать название переменной с цифрыИменно наборы данных SAS (либо данные, которыепредставляются в этом виде) обязаны подаваться навход процедур (шаг proc)Каждый столбец имеет набор атрибутов (-> Columns), среди них: length (макс.кол-во байт, которые можно хранить в этой переменной для каждого наблюдения),name (название), label (ярлык, текстовое поле, где можно хранить более подробноеописание переменной), type (тип), format (формат – правило для отображенияданных в отчет или на экран)Для работы с данными в формате SAS dataset можно применять большой наборсобственных алгоритмов, а также стандартный язык запросов (SQL)11Функции*Функции – это подпрограммы, которые возвращают одно значениеfunction-name (argument-1<, …argument-n>)function-name (OF шаблон-названия)Могут применяться на шаге DATA и PROC (например, в условиях-фильтрах)Примеры функций:SUM(argument,argument,...

) – сумма аргументов (пропущенные значения игнор.)Sum и оператор «+» могут работать41 data temp;in_tabпо разному. Чему равны a1 и a242set in_tab;B (Num)C (Num)43a1=b+c;в temp?44a2=sum(b,c);45 run;.1UPCASE(argument) – перевод символьной строки в верхний регистрPUT(source, format.) – перевод числового аргумента в символьный сиспользованием формата (format)INPUT(source,informat.) – перевод символьного аргумента в числовой сиспользованием формата для ввода (informat)Функции можно применять друг к другу без создания лишних переменных* Справка: SAS(R) 9.3 Functions and CALL Routines: Reference12Call routines* (процедуры)• Это ещё один вариант подпрограмм, отличается от функций тем, каквозвращаются результаты.• Их нужно вызывать с помощью оператора CALL:CALL routine-name (argument-1<, ...argument-n>);CALL routine-name (OF variable-list);При этом аргумент может передавать значение в процедуру и/или в неговозвращается какой-то результат работы процедуры.Примеры использования шаблонов для названия переменных-аргументов(между прочим, это работает и в функциях):call cats(result,of y1-y15);call cats(result,of y:);Первый пример - конкатенация 15 символьных переменных (y1, y2, y3, … , y 15) впеременную result.

Второй пример – конкатенация всех переменных, которыеначинаются с «y». (тогда они все должны быть правильного типа!)call missing(sales);Одному или нескольким аргументам будет присвоено пропущенное значение(missing) – числовое или символьное, в зависимости от типа аргумента.* Справка: SAS(R) 9.3 Functions and CALL Routines: Reference13Формат (подробнее дальше)*• Это правило для вывода и ввода данных1 data test;2x=19359;3y=19359;4format y ddmmyy.;5z1=put(x,ddmmyy.);6z2=input(z1,ddmmyy10.);7 run;Информация о формате(для переменной Y)сохраняется в дескрипторенабора данных.Числовой типПреобразовали числов строку символовТоже числовой тип, новыводится как дата… и наоборот1) При применении формата сами данные не меняются (переменная y - число)2) Формат в SAS – это не только форматирование данных, но и метод табличногопоиска (создание и поддержка централизованных справочников).

Частоприменяется, чтобы избежать хранение избыточных данных.3) Шаблоны для вывода на экран можно создавать самому (proc format).* см. SAS(R) 9.3 Formats and Informats: Reference14Числовые переменные в SAS• По умолчанию double-precision (8-byte floating point) используются для:• Арифметических операций• Статистической информации• Хранения всех временных форматов, дат, дней недели, битовых полей(будем разбираться подробнее)• Логических операций (1=true, 0=false), но на самом деле true<>0• Стандратные арифметические операции +,-,*,/ и степень **• Много. мат.

функций (см. help): ABS, LOG и другие• Работа с целочисленными данными:••••ROUND(X) – ближайшее целоеCEIL (X) – следующее большее целоеFLOOR(X) – предыдущее меньшее целоеINT(X) – отбрасывание дробной части• Символьные представления чисел:• Представление в виде мантисы и экспоненты, например 1.2332E-3• Бинарное представление (суфикс b), например 10001b;• HEX представление, (суфикс x), например, ad03x;15Логические операцииSymbol MnemonicEquivalentSymbol MnemonicEquivalent=EQ&AND^=NE|OR¬=NE!OR~=NE¦OR¬NOTˆNOT~NOT>GT<LT>=GE<=LEЗамечания:1. Выражение в условии обязано возвратить число:0 или . = Falseвсё остальное = True2. Операторы min (><) и max (<>):Например, если A<B, то A><B вернёт значение AINВхождение в список: state in ('NY','NJ','PA')16Символьные данные (строки)• Константы указываются в тексте программы ковычах (двойныхили одинарных), сама ковычка экранируется ковычкой• Сравнение строк:• На равенство/неравенство =/^= или eq/ne, например(city ne ‘Moscow’)• На попадание/непопадание в список значений in/notin:(city notin (‘Moscow’, ’Ufa’)• Лексиграфически функция – COMPARE, возвращает 0 если равны• Длина строки:• LENGTHN и LENGTH – длина строки без учета пробелов, LENGTHC – сучетом• ANY и NOT функции для проверки всех символов строки на:• ALPHA – буквы, DIGIT – цифры, ALNUM – цифра или буква, PUNCT –пунктуация• UPPER и LOWER – регистры• Возвращают номер символа для которого выполнено (для ANY) или невыполнено (для NOT) условие• Пример: NOTDIGIT(‘00011DDD929292’) вернет 617Символьные данные (строки)• Проверка наличия символа или строки:• FINDC(«где», «что») возвращает первое вхождение любого символа из«что» в строке «где», например, FINDC(‘ABC’,’DCE’) вернет 3• COUNTC – считает число вхождений символов• FIND и COUNT то же самое, но для подстрок• Стандартные преобразования строк:••••UPCASE, LOWCASE – регистрыLEFT, RIGHT, TRIM – удаляют хвостовые и заглавные пробелы,COMPRESS («где», «что») удалет все символы из «что» из строки «где»TRANSLATE («где», «что», «на что»), TRANWRD и другие – подстановкастроки или символа вместо подстроки или символа• FIRST – возвращает первый символ, CHAR – указанный символ в позиции• SUBSTRING и другие – выделение подстроки по индексам• Конкатенация строк A и B либо:• A || B или функция CAT(A,B)• число аргументов любое A||B||C||D, CAT (A,B,C,D) …• Есть версии CAT с учетом пробелов18Парсинг текста• «Ручной» с помощью FIND и SUBSTRING• «Стандартный» - семество функций SCAN(«где», «номер лексемы»,«разделители»):• парсит «где» по разделителям «разделители», возвращая лексему попорядку «номер лексемы», напримерSCAN('О сколько нам открытий чудных!!',3,' !');вернет ‘нам’• «Продвинутый» с помощью регулярных выражений:• PRXMATCH(«шаблон», «текст») возвращает позицию нахождения шаблона встроке текст, например:prxmatch ('/Woman/','Happy Woman Day');вернет 7• PRXCHANGE(«шаблон», «число замен», «текст») возвращает измененнный«текст» после применения шаблона указанное число раз, например:prxсрфтпу (‘s/Woman/Man/','Happy Woman Day');вернет 'Happy Man Day'19Пропущенные значения• Откуда берутся?• Инициализация по умолчанию• Недопустимые операции (например деление на 0), недопустимые операнды,арифметическое переполнение, ошибки форматов• Присутсвуют в исходных данных• Нет занчений переменной при объединении наборов данных• «распространиение» пропущенных значений при вычислениях (на результатвыражения)• Семантика пропущенного значения - неопределенность• Проверка значения переменной на пропуск:• Missing(X)?• на равенство константе пропущенного значения, например, (X eq .)• Константы:• Для чисел все просто, есть специальная константа .• Специальные пропущенные значения от .A до .Z, семантику определяетпрограммист, они еще и упорядочены!!!• Для символьных данных – строка из пробелов!!!! да, да, вот так и есть,Missing(‘ ‘) = 1, а length(‘ ‘)=3.

Характеристики

Тип файла PDF

PDF-формат наиболее широко используется для просмотра любого типа файлов на любом устройстве. В него можно сохранить документ, таблицы, презентацию, текст, чертежи, вычисления, графики и всё остальное, что можно показать на экране любого устройства. Именно его лучше всего использовать для печати.

Например, если Вам нужно распечатать чертёж из автокада, Вы сохраните чертёж на флешку, но будет ли автокад в пункте печати? А если будет, то нужная версия с нужными библиотеками? Именно для этого и нужен формат PDF - в нём точно будет показано верно вне зависимости от того, в какой программе создали PDF-файл и есть ли нужная программа для его просмотра.

Список файлов лекций