Pole or Vector? Encoders Capture Bangla Compound Verbs, but LLMs Read Them Literally

我们提出BanglaCV-Probe，这是一个基准测试，包含17个向量动词，1,044个最小对，204个蕴含项，以及197个正确和错误组合的对，均由母语者验证。我们对26种模型（编码器、LLMs和翻译系统）在四种技能上进行测试：区分两个含义，理解向量添加的内容，偏好正确组合，并在翻译中保留向量的意义。五种编码器的探针能够区分两个含义，即使在没有表面线索的情况下，仍能达到93%的准确率。