Rerankers
from FlagEmbedding import FlagReranker
reranker = FlagReranker('BAAI/bge-reranker-base', use_fp16=True) # Mit dem Setzen von use_fp16 auf True wird die Berechnung beschleunigt, jedoch mit einer geringen Leistungseinbuße
score = reranker.compute_score(['query', 'passage'])
print(score) # -5.65234375
# Sie können die Scores in einen Bereich von 0-1 abbilden, indem Sie "normalize=True" setzen, was eine Sigmoid-Funktion auf den Score anwendet.
score = reranker.compute_score(['query', 'passage'], normalize=True)
print(score) # 0.003497010252573502
scores = reranker.compute_score([['what is panda?', 'hi'], ['what is panda?', 'The giant panda (Ailuropoda melanoleuca), sometimes called a panda bear or simply panda, is a bear species endemic to China.']])
print(scores) # [-8.1875, 5.26171875]
# Sie können die Scores in einen Bereich von 0-1 abbilden, indem Sie "normalize=True" setzen, was eine Sigmoid-Funktion auf den Score anwendet.
scores = reranker.compute_score([['what is panda?', 'hi'], ['what is panda?', 'The giant panda (Ailuropoda melanoleuca), sometimes called a panda bear or simply panda, is a bear species endemic to China.']], normalize=True)
print(scores) # [0.00027803096387751553, 0.9948403768236574]
Fehler
(mpsFileLoc): /AppleInternal/Library/BuildRoots/b11baf73-9ee0-11ef-b7b4-7aebe1f78c73/Library/Caches/com.apple.xbs/Sources/MetalPerformanceShadersGraph/mpsgraph/MetalPerformanceShadersGraph/Core/Files/MPSGraphUtilities.mm:233:0: Fehler: Der 'mps.add' Befehl erfordert denselben Elementtyp für alle Eingaben und Ergebnisse
(mpsFileLoc): /AppleInternal/Library/BuildRoots/b11baf73-9ee0-11ef-b7b4-7aebe1f78c73/Library/Caches/com.apple.xbs/Sources/MetalPerformanceShadersGraph/mpsgraph/MetalPerformanceShadersGraph/Core/Files/MPSGraphUtilities.mm:233:0: Hinweis: siehe aktuellen Vorgang: %10 = "mps.add"(%8, %9) : (tensor<1x7x1xf16>, tensor<1xf32>) -> tensor<*xf32>