Twıtter üzerinden müşteri duygularının analiz edilerektürkiye'deki telekom operatörleri ile ilgili müşterimemnuniyetinin değerlendirilmesi

Abstract

Amaç Günümüzde sosyal medyanın kullanımının arttığı düşünüldüğünde, insanların bu sosyal medya platformları üzerinden duygularını ve düşüncelerini paylaştığı hale gelmiştir. Bu nedenle, bireylerin deneyimlerini hızla paylaştığı bu platformlar üzerinden duygu analizi hassasiyet kazanmıştır. Özellikle, bireysel yorumların yoğunlaştığı bu platformlar, müşteri gözünden şirketleri değerlendirilebilir kılmaktadır. Müşteri memnuniyetin tahminlenmesi şirketler açısından önemlidir. Bu çalışmanın amacı, geleneksel makine öğrenme algoritmaları ve geleneksel derin öğrenme algoritmaları kullanarak gömme modelleri ile zenginleştirip, Türkiye'deki en büyük üç operatörlerden olan Türk Telekom, Vodafone Türkiye ve Turkcell şirketleri üzerinden müşteri memnuniyet tahminlemede önemli bir kaynak yaratmayı hedefliyoruz. Bildiğimiz kadarıyla, Türkçe metinler üzerinden Türkiye'deki bu operatör şirketlerine yönelik geleneksel makine öğrenme algoritmaları ve geleneksel derin öğrenme modellerinin yanında gömme modelleri de kullanarak müşteri memnuniyet tahminlemesi adına yapılan ilk çalışmadır. Materyaller ve yöntemler Türkiye'deki en büyük müşteri hacmine sahip üç operatör ile ilgili, kullanıcı yorumları değerli bir kaynak olarak sosyal medyadan Türkçe metin kaynağı olarak toplandı ve kullanıldı. Müşteri veya kullanıcı yorumları Twitter akışından @vodafone, @turktelekom, @turkcell, #turktelekom, #vodafone, #turkcell hashtag ve mention kavramları üzerinden taranarak hesaplardan toplandı. Twitter'daki Türkçe müşteri yorumları toplamak için Pyhton programlama dilinde yazmış olduğumuz Selenyum Crawler hazırlanarak bu üç operatör özelinde url ve image bilgilerinden arındırılarak toplandı. Toplanan veriler lokasyon olarak Türkiye ve 1 Eylül 2019 ile 1 Aralık 2019 tarihleri arasında filtrelenerek toplanmıştır. Bu filtreler bize daha üzerine çalışılabilir bir veri seti sunmak için hazırlanmıştır. Toplanan veriler, eğitilmiş olan envanter çalışmalar ile eğitim kümesi oluşturup, olumlu ve olumsuz etiketlenmiştir. Bu çalışmada, etikelenen veri seti üzerinden, gömme modellerimiz olan FastText, Word2Vec ve GloVe ile kelime anlam ve sözdizimi zenginleştirmesi yapılıp, makine öğrenmesi algoritmaları olan Rastgele Orman, Destek Vektör Makinesi (SVM), Çok Katmanlı Algılayıcı (MLP), KEn Yakın Komşular (k-NN), Naive Bayes sınıflandırıcı (NB), Karar Ağacı ve derin iii öğrenme algoritmaları olan Evrişimli Sinir Ağları (CNN'ler), Tekrarlayan Sinir Ağları (RNN'ler) ve Uzun Kısa Süreli Bellek Ağları (LSTM'ler) kombinasyon oluşturacak şekilde doğruluk değerinin tahminlenmesi amacıyla uygulanmıştır. Deneysel Sonuçlar Bu çalışmada, geleneksel kelime gömme modelleri, derin öğrenme algoritmaları ve yeni nesil kelime gömme modelleri kullanılarak Türkiye'deki en büyük müşteri hacmine sahip olan operatörleri olan Türk Telekom, Vodafone Türkiye ve Turkcell müşteri memnuniyetini tahmin etmek için kapsamlı deneyler yapılmıştır. Belirtilen tüm doğruluklar, her modelin sınıflandırma performansını ve yaptığımız çalışmanın katkısını göstermek için deneylerde kullanılan bir değerlendirme ölçütüdür. Ön işleme yöntemlerinin uygulanması ile önerilen modelin sınıflandırma performasını iyileştirme amaçlanmıştır. Kullanıcı yorumlarını içeren Türkçe metinleri geleneksel makine öğrenme modelleri, kelime gömme modelleri ile birlikte derin öğrenme modelleri hibrit modelleri ve derin öğrenme modelleri ön işleme yöntemleriyle birleşimi, kullanıcıların hisselerini yönlendirmedeki hassasiyetini belirlemek ve en iyi sınıflandırma başarısı elde etmek için avantajlı bir seçim olacağı sırasıyla Twitter'dan toplanan Türkçe veri setinden elde edilen %80 ve %97 arası doğruluk değeri ile ortaya koyulmuştur. Ancak Türkçe metin içerikli veri setlerinde yeni nesil kelime gömme modellerine göre geleneksel derin öğrenme algortimaları daha iyi sonuçlar üretmiştir. Sonuçlar Bu çalışmada, geleneksel kelime gömme modelleri, derin öğrenme algoritmaları ve yeni nesil kelime gömme modelleri kullanılarak müşteri memnuniyetine yönelik büyük müşteri hacmine sahip olan Türkiye'deki operatörler üzerinden müşteri memnuniyetini tahmin etmek için deneyler yapılmıştır. Belirtilen her doğruluk, modellerin sınıflandırma performansını ve yaptığımız çalışmanın katkısal çıktısını göstermek için deneylerde kullanılan bir değerlendirme oluşturmaktadır. Ön işleme yöntemlerinin uygulanması ile önerilen modelin sınıflandırma performasını iyileştirme amaçlanmıştır. Kullanıcı yorumlarını içeren Türkçe metinleri sınıflandırmada yeni nesil kelime gömme modeli olan ön işleme yöntemleriyle birleşimi, müşterilerin memnuniyetine yönelik tahminini belirlemek ve en iyi sınıflandırma başarısı elde etmek için avantajlı bir seçim olacağı Twitter'dan toplanan Türkçe veri setinden elde edilen %80 ve %97 arasında doğruluk değeri ile ortaya koyulmuştur. Ancak haberler ve analizler gibi Türkçe metin içerikli veri setlerinde yeni nesil kelime gömme modellerine göre geleneksel derin öğrenme algortimaları daha iyi sonuçlar üretmiştir.Objective Considering that the use of social media is increasing today, it has become that people share their feelings and thoughts through these social media platforms. For this reason, emotion analysis has gained sensitivity through these platforms where individuals quickly share their experiences. Especially, these platforms, where individual comments are concentrated, make companies evaluable from the perspective of the customer. Estimating customer satisfaction is important for companies. The purpose of this study, traditional machine learning algorithms and enriched them with embedded models using conventional deep learning algorithms, Turkey, which is one of the three largest operators Turk Telekom, Vodafone Turkey, and Turkcell through customer satisfaction prediction of company we aim to create important resources. As we know, the traditional machine learning for the operator company in Turkey over Turkish text algorithms and customer satisfaction is the first study conducted on behalf of estimation using the deep recessed models alongside the traditional learning model. Materials and Methods In this study, conventional word recessed models, deep learning algorithms and new generation word is the largest operator with the customer volume in Turkey using recessed models Turk Telekom, Vodafone Turkey and comprehensive experiments to estimate the satisfaction Turkcell customers are made. All the stated accuracies are an evaluation criterion used in experiments to show the classification performance of each model and the contribution of our work. It was aimed to improve the classification performance of the proposed model with the application of pre-processing methods. The combination of Turkish texts containing user comments with traditional machine learning models, word embedding models, deep learning models hybrid models and deep learning models preprocessing methods will be an advantageous choice to determine the sensitivity of users in directing their shares and to achieve the best classification success. The accuracy values between 80% and 97% obtained from the collected Turkish data set were demonstrated. However, traditional deep learning algorithms produced better results than the new generation word embedding models in data sets with Turkish text content. Results vi In this study, conventional word recessed models, deep learning algorithms and new generation word is the largest operator with the customer volume in Turkey using recessed models Turk Telekom, Vodafone Turkey and comprehensive experiments to estimate the satisfaction Turkcell customers are made. All the stated accuracies are an evaluation criterion used in experiments to show the classification performance of each model and the contribution of our work. It was aimed to improve the classification performance of the proposed model with the application of pre-processing methods. The combination of Turkish texts containing user comments with traditional machine learning models, word embedding models, deep learning models hybrid models and deep learning models preprocessing methods will be an advantageous choice to determine the sensitivity of users in directing their shares and to achieve the best classification success. The accuracy values between 80% and 97% obtained from the collected Turkish data set were demonstrated. However, traditional deep learning algorithms produced better results than the new generation word embedding models in data sets with Turkish text content. Conclusions In this study, conventional word recessed models, deep learning algorithms, and having a large volume customers for customer satisfaction experiments using a new generation of models to predict the word flush out the operators in Turkey has made customer satisfaction. Each accuracy specified constitutes an evaluation used in experiments to show the classification performance of the models and the additive output of our work. It was aimed to improve the classification performance of the proposed model with the application of pre-processing methods. Accuracy between 80% and 97% obtained from the Turkish data set collected from Twitter, where the combination with pre-processing methods, which is a new generation word embedding model for classifying Turkish texts containing user comments, will be an advantageous choice to determine the estimation of customer satisfaction and to achieve the best classification success. It has been demonstrated with its value. However, traditional deep learning algorithms produced better results than new generation word embedding models in data sets with Turkish text content such as news and analysis.