Recurrent neural networks and transformer-based models for multi-step prediction of agricultural commodity prices

Abstract

This dissertation explores the use of Recurrent Neural Networks (RNNs) and Transformerbased models for multi-step prediction of agricultural commodity prices. The study begins with a systematic literature review, providing a comprehensive understanding of the field and identifying gaps in research. Two experimental papers are then presented, focusing on the application of RNNs, specifically Long Short-Term Memory (LSTM) and Bidirectional Long Short-Term Memory Networks (BiLSTM) models, as well as a Transformer-based model for predicting agricultural commodity prices. The commodities of particular interest are soybeans, corn, cattle, and sugar, especially soybeans, the target of the analysis. The study investigates the performance of the Transformer model in forecasting agricultural commodity prices, comparing it with RNNs, both in short and long-term forecasting horizons. The findings highlight the importance of hyperparameter optimization, unbiased model evaluation, and the selection of a suitable forecast horizon that minimizes errors while providing useful information to farmers. Overall, this research contributes to advancing knowledge in the field of RNN models for predicting agricultural commodity prices. It underscores the significance of optimization techniques and the versatility of Transformer models across different domains.

Essa dissertação explora o uso de Redes Neurais Recorrentes (RNRs) e modelos baseados em Transformers para a previsão de múltiplos passos dos preços de commodities agrícolas. O estudo começa com uma revisão sistemática da literatura, fornecendo uma compreensão abrangente do campo e identificando lacunas na pesquisa. Dois artigos experimentais são então apresentados, focando na aplicação de RNRs, especificamente os modelos Long Short-Term Memory (LSTM) e Bidirectional Long Short-Term Memory Networks (BiLSTM), assim como um modelo baseado em Transformer para prever preços de commodities agrícolas. As commodities de interesse particular são soja, milho, gado e açúcar, especialmente a soja, o alvo da análise. O estudo investiga a eficácia do modelo Transformer na previsão de preços de commodities agrícolas, comparando-o com as RNRs, tanto em horizontes de previsão de curto prazo quanto de longo prazo. Os resultados destacam a importância da otimização de hiperparâmetros, avaliação imparcial do modelo e seleção de um horizonte de previsão adequado que minimize erros ao mesmo tempo em que fornece informações úteis aos agricultores. No geral, essa pesquisa contribui para avançar o conhecimento no campo dos modelos de RNR para prever preços de commodities agrícolas. Ela destaca a importância das técnicas de otimização e a versatilidade dos modelos baseados em Transformers em diferentes domínios.