همانطور که مشاهده می‌کنید این دو جفت جمله («من Python را دوست دارم چون می‌توانم برنامه‌های کاربردی هوش مصنوعی بسازم»، «من Python را دوست دارم چون می‌توانم به تجزیه و تحلیل داده بپردازم») و («گربه روی زمین نشسته است»، «گربه در پیاده‌رو راه می‌رود») به هم شبیه هستند. بنابراین مقدار شباهتی که به عنوان خروجی مدل تولید می‌شود نیز بالاتر خواهد بود. از سوی دیگر، جملات مربوط به Python از جملات مربوط به گربه خیلی متفاوت هستند؛ بنابراین مقدار شباهت بین دو جفت دیگر از این جملات، کمتر خواهد بود.

بازیابی K مورد از شبیه‌ترین جملات از پیکره‌ی متنی

یکی از کاربردهای محبوب شباهت معنایی مربوط به پیدا کردن مرتبط‌ترین جملات در یک پیکره بر مبنای یک کوئری است. به این مسئله، جستجوی معنایی نیز می‌گویند. برای انجام جستجوی معنایی، نیاز به یک پیکره‌ی متنی و یک جمله داریم که نقش کوئری (جمله‌ی پرسشی) را ایفا می‌کند. می‌توانیم پیکره و آن کوئری را به همان شیوه‌ی قبلی رمزگذاری کنیم. در آخر top_k یعنی K مورد از شبیه‌ترین جملات را بر اساس top_k یا k مورد از بالاترین مقادیر شباهت پیدا می‌کنیم.

corpus = [“I like Python because I can build AI applications”,
“I like Python because I can do data analytics”,
“The cat sits on the ground”,
“The cat walks on the sidewalk”]# encode corpus to get corpus embeddings
corpus_embeddings = model.encode(corpus, convert_to_tensor=True)sentence = “I like Javascript because I can build web applications”# encode sentence to get sentence embeddings
sentence_embedding = model.encode(sentence, convert_to_tensor=True)# top_k results to return
top_k=2# compute similarity scores of the sentence with the corpus
cos_scores = util.pytorch_cos_sim(sentence_embedding, corpus_embeddings)[0]# Sort the results in decreasing order and get the first top_k
top_results = np.argpartition(-cos_scores, range(top_k))[0:top_k]print(“Sentence:”, sentence, “\n”)
print(“Top”, top_k, “most similar sentences in corpus:”)
for idx in top_results[0:top_k]:
print(corpus[idx], “(Score: %.4f)” % (cos_scores[idx]))

در مثال این درسنامه، پیکره‌ی متنی ما ۴ جمله دارد. ما top-k را روی ۲ تنظیم کردیم تا ۲ جمله که بیشترین شباهت را با کوئری دارند بازیابی کنیم. جمله‌ی کوئری ما این بود: «من Javascript را دوست دارم چون می‌توانم برنامه‌های کاربردی شبکه بسازم» و مدل دو جمله‌ی مربوط به پایتون را به ما برگرداند، چون Javascript به Python شباهت بیشتری دارد (نسبت به گربه‌ها).

جمع‌بندی

اکنون می‌دانید چطور شباهت معنایی بین جملات و فهرست جملات را محاسبه کنید و شبیه‌ترین داده‌های موجود در یک پیکره‌ی متنی را بازیابی کنید.