Wizard of Oz tekniğiyle chatbot tasarımı

Abstract

Sohbet robotları, şirketler ve kullanıcılar için değer katmak amacıyla çeşitli iş süreçlerini otomatikleştirmek için kullanılabilir. Sohbet Robotu geliştirme süreci boyunca, kullanıcı geri bildiriminin kullanıcı merkezli bir konuşma tasarımı süreci içinde bütünleştirilmesi esastır. Çalışmamızda bilgisayar mühendisliği öğrencilerinin yüksek oranda tekrarlayan ve standartlaştırılmış görevlerle karakterize edilen sorularında sohbet robotları araştırılmıştır. Bu çalışma, bir insan operatör tarafından sohbet robotu işlevselliğini simüle ederek, projenin çok erken bir aşamasında temel bir diyalog konseptinin test edildiği bir Oz Büyücüsü yaklaşımı uygulamaktadır. Bu şekilde, sohbet botu işlevlerini tamamen kodlamadan diyalog tasarımının genel uygunluğu hakkında değerli kullanıcı geri bildirimleri toplanabilmektedir. Fikrimizi kavramsal olarak doğrulamak ve simüle edilmiş Sık Sorulan Sorular (SSS) sohbet robotunu test etmek için 15'er dakikalık iki denememize toplamda 62 kullanıcı katılmış olup 914 dakika boyunca test etmişledir. Sonuç olarak, test edilen konseptin kullanıcılar için uygun ve değerli olduğu kanıtlanmıştır. Önceden tanımlanmış cevapların eksiksizliği ve simüle edilmiş sohbet robotunun yetkinlik kurulumu ile ilgili kullanıcı memnuniyetine ilişkin geri bildirim oldukça makul görülmüştür. Bununla birlikte, katılımcıların çoğu, test edilen senaryoyu alakalı olarak görmüş ve önerilen sohbet robotunun soruları cevaplama sürecinde uygulanması için yüksek bir kullanıcı değeri belirtmişlerdir. Çalışmamızda Wizard Of Oz metodunun hem tasarlanırken hem de geliştirilirken kullanılabileceğini, bu şekilde bir yöntemle daha hızlı, etkin ve kullanıcı dostu chatbotlar tasarlanabileceği sonucuna elde edilen kullanıcı memnuniyet anketleri sonuçlarıyla varılmıştır.Chatbots can be used to automate various business processes to add value for companies and users. Throughout the Chatbot development process, it is essential to integrate user feedback into a user-centered conversational design process. In our study, chatbots were investigated in computer engineering students' questions characterized by highly repetitive and standardized tasks. This work applies a Wizard of Oz approach where a basic dialog concept is tested at a very early stage of the project by simulating chatbot functionality by a human operator. In this way, valuable user feedback on the overall relevance of the dialog design can be gathered without completely coding the chatbot functions. To conceptually validate our idea and test the simulated FAQ chatbot, a total of 62 users participated in our two 15-minute trials and tested it for 914 minutes. As a result, the tested concept has proven to be convenient and valuable for users. The feedback regarding the completeness of the predefined answers and the user satisfaction regarding the competency setup of the simulated chatbot was considered quite reasonable. However, most of the respondents saw the tested scenario as relevant and noted a high user value for the proposed chatbot to be implemented in the process of answering questions. In our study, it was concluded with the results of user satisfaction surveys that the Wizard of Oz method can be used both during design and development, and that faster, more effective and user-friendly chatbots can be designed with this method.