Курсовая работа: Реализация и внедрение end-to-end системы обработки данных в инструмент Astminer

Оглавление




















2

• Введение

Программное обеспечение стало неотъемлемой частью нашей жизни. Постоянно появляются новые приложения, программы и сайты, при-ходя на смену старым, код которых в свою очередь не утрачивается. Разработка программных продуктов только набирает обороты, пишет-ся все больше и больше кода, создаются новые проекты [1]. Доступный код всех программ можно рассматривать как постоянно увеличиваю-щийся объем данных, который можно использовать в любых целях.

Так развивается область машинного обучения для программной раз-работки [10], одной из целей которой является упрощения процесса написания кода. Например, помощь программисту релевантными под-сказками и поиск ошибок в коде [6, 11, 12]. Многим алгоритмам ма-шинного обучения требуются большие объемы обработанных данных, полученных из исходного кода программ.

Модели машинного обучения, упрощающие процесс разработки, ис-пользуются в разных отраслях, и поэтому обучаются на данных, полу-ченных из исходного кода на разных языках программирования (ссыл-ки). Также для разных алгоритмов машинного обучения требуется по-разному обработать данные [3, 6]. Может получиться так, что 2 алго-ритма должны получать данные в двух абсолютно разных форматах. Поэтому исследователям приходится самим разрабатывать инструмен-ты, собирающие и обрабатывающие данные, для области свое исследо-вания.

Инструмент Astminer [9] решает задачу извлечения разных форма-тов данных из исходного кода. Он умеет обрабатывать исходный код, написанный на языках Java, Python, jаvascript, C++ и извлекать дан-ные в требуемом пользователем формате.

Пользователь может запускать Astminer через интерфейс команд-ной строки, настраивая инструмент через переданные