Titulo: Classificação via BERT para análise STPA
Comissão Examinadora - Titulares
Profa. Dra. Ana Estela Antunes da Silva (Presidente) - FT/Unicamp
Prof. Dr. Guilherme Palermo Coelho - FT/Unicamp
Suplentes
Prof. Dr. Arthur Emanuel de Oliveira Carosia - IFSP
Prof. Dr. Carlos Henrique Netto Lahoz - ITA
Local: Sala de Defesa (Prédio da Pós-graduação da FT) https://stream.meet.google.com/stream/b69b3007-172b-4a5e-9d70-f3d9ab05a795
Resumo: A técnica System-Theoretic Process Analysis (STPA) é uma técnica de análise de perigos
destinada a sistemas complexos, que investiga a interação dos componentes do sistema para
encontrar perigos. Por ser uma técnica de muitas etapas, a STPA exige um esforço manual
muito grande, o que motivou esta pesquisa. O objetivo desta pesquisa é automatizar a
validação de textos gerados durante o primeiro passo da análise STPA, chamado de "Definir o
propósito da análise", em que se definem as Perdas (objetos de valor aos stakeholders em que
perdas são inaceitáveis), os Perigos (condições do sistema que, em situações de pior caso,
podem levar às perdas) e as Restrições (condições do sistema que devem ser satisfeitas para
evitar perigos) do sistema. Estes registros textuais são sentenças de uma única linha que
representam cada aspecto crucial do sistema, e devem ser levados em consideração para
identificação de perigos e definição de regras. Para isto, será treinado um modelo de
aprendizado de máquina utilizando a arquitetura transformer para a classificação destas
sentenças. Para a classificação de sentenças geradas durante a análise STPA, será utilizado o
modelo Bidirectional Encoder Representations from Transformers (BERT). O documento
ConOps, frequentemente utilizado como fonte para a análise STPA, é um recurso pouco
encontrado em fontes públicas e se torna ainda mais escasso ao se buscar documentos que
tenham uma análise STPA relacionada. Portanto, nesta pesquisa foram realizados
experimentos com o modelo generativo de linguagem Chat-GPT para gerar documentos
ConOps fictícios, em conjunto com uma análise STPA do mesmo documento. Por meio da
Engenharia de Prompts, técnicas destinadas a melhoria das saídas de modelos generativos, foi
possível aprimorar a resposta gerada pelo Chat-GPT. Além disto, em experimentos iniciais
utilizando o modelo distil-BERT (uma versão reduzida do BERT), foi possível obter uma
acurácia e F1-score de classificação em torno de 93%, em média 12% mais alto comparado aos
classificadores de aprendizado de máquina tradicionais. Na segunda etapa desse estudo serão
realizados experimentos com o modelo baseado em transformer BERT, para classificar
sentenças de STPA em um formato adequado, de acordo com a base de dados de validação
criada no início da pesquisa