เขียนคำสั่งแสดงหน้าจอ GUI และสร้างการเชื่อมโยงแต่ละหน้าจอ

     1. เปิดโปรแกรม Thonny Python IDE เพื่อเขียนโปรแกรม โดยคลิกที่ Pi --> Programming --> Thonny

     2. เขียนโปรแกรมเพื่อให้แสดงหน้าจอ GUI และสร้างลิงก์เชื่อมโยงระหว่างหน้าจอ ดังนี้

เขียนโปรแกรมให้เล่นเพลงเมื่อเปิดหน้าหลัก

     1. ทดสอบเขียนโปรแกรม

          1) เปิดไฟล์ใหม่ขึ้นมา โดยคลิกที่ New

          2) เขียนโค้ดคำสั่งให้เล่นเสียง จากนั้นกดปุ่ม Run

     2. คัดลอกโค้ดคำสั่งเล่นเสียงไปวางในไฟล์ robot.py ดังรูป

     3. เขียนโค้ดคำสั่งให้เมื่อคลิกไปหน้าจออื่นให้หยุดเล่นเพลง โดยพิมพ์คำสั่งในทุกๆ ฟังก์ชันของคลาส MainWindow

เขียนโปรแกรมให้รูปภาพ .gif เล่นภาพเคลื่อนไหว

     1. เพิ่มโค้ดคำสั่งในคลาส MainWindow() ดังนี้

     2. เพิ่มโค้ดคำสั่งในคลาส Voicecontrol() ดังนี้

     3. เพิ่มโค้ดคำสั่งในคลาส Chatbot() ดังนี้

     4. เพิ่มโค้ดคำสั่งในคลาส Move() ดังนี้

เขียนคำสั่งสำหรับควบคุมหุ่นยนต์ด้วยปุ่มควบคุม (คลาส Move)

     4.1 เชื่อมต่อบอร์ด Arduino Mega 2560 กับ Raspberry Pi

     4.2 เขียนโค้ดคำสั่งในการตรวจสอบการเชื่อมต่อกับพอร์ต USB Serial (เขียนไว้ด้านบนคลาส MainWindow)

     3. เขียนโค้ดคำสั่งควบคุมหุ่นยนต์ด้วยปุ่ม โดยใส่โค้ดในแต่ละฟังก์ชันของคลาส Move()

เขียนคำสั่งควบคุมหุ่นยนต์ด้วยเสียง (Speech Recognition)

     1. ติดตั้งไลบรารี่

          1) ติดตั้ง PyAudio (โมดูลสำหรับเล่นและอัดเสียง) โดยเปิด Terminal แล้วพิมพ์คำสั่ง sudo apt install python3-pyaudio

          2) ติดตั้ง Flac โดยเปิด Terminal แล้วพิมพ์คำสั่ง sudo apt-get install flac

          3) ติดตั้ง Speech Recognition โดยเปิด Terminal แล้วพิมพ์คำสั่ง pip install SpeechRecognition

          4) ติดตั้งไลบรารี gTTS (Google Text-to-Speech) (รองรับภาษาไทย) โดยเปิด Terminal แล้วพิมพ์คำสั่ง pip install gtts

          5) ติดตั้งโปรแกรมสำหรับเล่นเสียง mpg321 โดยเปิด Terminal แล้วพิมพ์คำสั่ง sudo apt-get install mpg321

     2. ตั้งค่าระบบให้สามารถใช้ไมโครโฟนจากกล้องเว็บแคมได้

          1) เปิด Terminal จากนั้นพิมพ์คำสั่ง sudo nano /boot/config.txt เพื่อเข้าไปแก้ไขไฟล์

          2) หาบรรทัดที่เป็น dtparam=audio=on และเพิ่ม snd-usb-audio ไปที่บรรทัดด้านล่าง

          3) บันทึกไฟล์โดยกด Ctrl + X และยืนยันโดยกด Y และ Enter

          4) รีสตาร์ท โดยพิมพ์คำสั่ง reboot

     3. ปรับระดับเสียงของไมโครโฟน โดยเปิด Terminal แล้วพิมพ์ alsamixer จากนั้นกดปุ่ม F6 แล้วเลือกกล้อง Webcam จากนั้นกดปุ่ม F4 ใช้ปุ่มลูกศรขึ้น-ลงบนคีย์บอร์ดเพื่อปรับระดับเสียงของไมโครโฟน แนะนำให้กำหนดค่าประมาณ 15 - 30

     4. เปิดโปรแกรม Thonny แล้วสร้างไฟล์ใหม่ขึ้นมา จากนั้นทดลองเขียนโปรแกรม Speech to Text เพื่อรับเสียงแล้วแปลงเป็นข้อความ หากไมโครโฟนรับเสียงไม่ได้ ให้ทำขั้นตอนที่ 3 อีกครั้ง โดยลองปรับระดับไมโครโฟนให้เหมาะสม โดยดูจากผลลัพธ์เป็นหลัก

     5. เปิดโปรแกรม Thonny แล้วสร้างไฟล์ใหม่ขึ้นมา ทดสอบเขียนโปรแกรม Text to Speech เพื่อแปลงข้อความเป็นเสียงให้หุ่นยนต์พูด

     6. เขียนคำสั่งควบคุมหุ่นยนต์ด้วยเสียง โดยใช้ Speech to Text และ Text to Speech

          1) นำเข้าไลบรารี

          2) เขียนโค้ดคำสั่งในคลาส Voice()

เขียนคำสั่ง Chatbot สอบถามข้อมูลต่างๆ จากหุ่นยนต์โดยใช้ ChatGPT ด้วยเสียงพูด

     1. ติดตั้งไลบรารี openai โดยเปิด Terminal แล้วพิมพ์คำสั่ง pip install openai

     2. สร้าง API Key จาก ChatGPT

          1) เข้าเว็บไซต์ https://platform.openai.com/

          2) ล็อกอินเข้าสู่ระบบ โดยคลิกเมนู Log in

          3) คลิกที่ Continue with Google

          4) ตรวจสอบเครดิตคงเหลือ โดยคลิกเมนู Usage จะต้องมียอดเงินคงเหลือ และสถานะเป็น Available

          5) คลิกเมนู API keys

          6) สร้าง API Key โดยคลิกปุ่ม + Create new secret key โดยสร้างได้สูงสุด 25 API Keys

          7) ตั้งชื่อ API Key จากนั้นคลิกปุ่ม Create secret key

          8) คัดลอก API Key โดยคลิกปุ่ม Copy (คัดลอก key ได้แค่ครั้งเดียว) จากนั้นคลิกปุ่ม Done

     3. เปิดโปรแกรม Thonny จากนั้นทดสอบเขียนโปรแกรม Chatbot ที่ถาม-ตอบแบบไม่ต่อเนื่อง บันทึกไฟล์เป็น “chatbot1.py” แล้วคลิก Run

     4. เปิดโปรแกรม Thonny จากนั้นทดสอบเขียนโปรแกรม Chatbot ที่ถาม-ตอบแบบต่อเนื่อง บันทึกไฟล์เป็น “chatbot2.py” แล้วคลิก Run

     5. เขียนคำสั่ง “ถาม-ตอบด้วย Chatbot โดยใช้เสียง” ในไฟล์ robot.py

          1) นำเข้าไลบรารี

          2) เขียนโค้ดคำสั่ง Chatbot ในคลาส Chatbot()

โค้ดคำสั่งทั้งหมดของไฟล์ robot.py

ผลลัพธ์ของโปรแกรม

     1. เมื่อกดปุ่ม Run หน้าจอหลักก็จะปรากฏขึ้นมาเต็มหน้าจอพร้อมเสียงเพลง MP3 รูปภาพหุ่นยนต์ก็จะเล่นแอนิเมชั่น ผู้ใช้งานสามารถแตะเลือกเมนูได้ 3 เมนู คือ ควบคุมหุ่นยนต์ด้วยปุ่ม, ควบคุมหุ่นยนต์ด้วยเสียง และถาม-ตอบด้วย Chatbot

     2. หากคลิกเมนู “ควบคุมหุ่นยนต์ด้วยปุ่ม” จะเปลี่ยนหน้าจอแสดงผล โดยมีปุ่มต่าง ๆ ให้เลือกแตะได้ เมื่อผู้ใช้งานแตะเลือกปุ่มคำสั่งใด หุ่นยนต์ก็จะเคลื่อนที่หรือแสดงผลตามคำสั่งนั้น ๆ หากต้องการย้อนกลับให้คลิกปุ่ม “Home”

     3. หากคลิกเมนู “ควบคุมหุ่นยนต์ด้วยเสียง” จะเปลี่ยนหน้าจอแสดงผล ผู้ใช้งานแตะปุ่ม “Start” จากนั้นพูดสั่งการหุ่นยนต์ เช่น “เดินหน้า” “เลี้ยวซ้าย” “เปิดไฟ” หุ่นยนต์ก็จะเคลื่อนที่หรือแสดงผลตามคำสั่งเสียง หากต้องการย้อนกลับให้คลิกปุ่ม “Home”

     4. หากคลิกเมนู “ถาม-ตอบด้วย Chatbot” จะเปลี่ยนหน้าจอแสดงผล ผู้ใช้งานแตะปุ่ม “Start” จากนั้นถามคำถามด้วยเสียง เช่น “ChatGPT สามารถช่วยงานด้านการศึกษาได้อย่างไรบ้าง ช่วยอธิบายให้ฟังหน่อย” หุ่นยนต์ก็จะตอบคำถามออกมาเป็นเสียงพูดได้ หากต้องการย้อนกลับให้คลิกปุ่ม “Home”