DifícilMúltipla escolha

Questão de prática de AI-102

Exhibit

Refer to the exhibit.

{
  "assistant_id": "asst_xyz",
  "instructions": "You are a helpful assistant. When asked about weather, call the get_weather function.",
  "tools": [
    {
      "type": "code_interpreter"
    },
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "strict": true,
        "parameters": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string"
            }
          },
          "required": ["location"]
        }
      }
    }
  ],
  "tool_resources": {
    "code_interpreter": {
      "file_ids": []
    }
  }
}

Consulte a imagem. Você criou um assistant com a configuração acima. Quando você envia a mensagem 'What is the weather in Seattle?', o assistant responde sem chamar a função. Qual é a causa mais provável?

Escolha a melhor resposta.

Resposta correta

  • CFalta a propriedade 'description' na função

Explicação

A definição da função carece de uma propriedade 'description'. Na Assistants API, o campo 'description' é fundamental para que o modelo entenda quando e por que invocar uma função. Sem ele, o modelo pode não reconhecer que a função é relevante para a consulta do usuário sobre o clima, fazendo com que ele responda diretamente em vez de chamar a função.

Por que cada alternativa está certa ou errada

A

Incorreta

As 'instructions' não estão sendo seguidas

As instruções são texto de prompt consultivo; uma função é invocada quando o modelo seleciona a ferramenta declarada, portanto, instruções fracas não suprimem a chamada por si só. É tentador porque instruções pouco claras podem causar a seleção incorreta de ferramentas, e seria a causa se o assistant chamasse a função errada.

B

Incorreta

O parâmetro 'strict' está definido como true

O parâmetro strict rege se os argumentos JSON de uma função devem corresponder exatamente ao seu esquema; defini-lo como true ainda permite que a função seja chamada. É tentador porque o modo estrito restringe a geração de argumentos, e seria relevante se a função fosse invocada, mas seus argumentos fossem rejeitados.

C

Correta

Falta a propriedade 'description' na função

As definições de função exigem uma descrição para que o modelo possa julgar quando invocá-las. Sem ela, o modelo não consegue relacionar a consulta sobre o clima com a função e responde com base no próprio conhecimento, em vez de chamá-la.

D

Incorreta

O code_interpreter em 'tool_resources' possui file_ids vazios

IDs de arquivos vazios no code_interpreter afetam apenas a execução de Python baseada em arquivos; isso não impede que o modelo invoque uma ferramenta de função declarada. É tentador porque a falta de recursos de arquivos realmente interrompe as tarefas do code_interpreter, portanto, esta seria a causa se o assistant falhasse ao analisar um CSV carregado.

Para se aprofundar

Na Assistants API, as ferramentas de função são descritas para o modelo por meio de seu nome, parâmetros (JSON Schema) e uma descrição em linguagem natural. A descrição é o que o modelo usa para decidir quando uma função é relevante; sem ela, o modelo não tem nenhum sinal semântico de que a função responde a consultas sobre o clima, portanto, ele responde de forma conversacional em vez de emitir uma chamada de ferramenta. O parâmetro strict apenas impõe a conformidade do esquema nos argumentos após a realização de uma chamada, e tool_resources.file_ids aplica-se ao code interpreter, e não à chamada de função. Na prática, uma função de clima chamada get_weather sem descrição será ignorada até que você adicione algo como 'Returns current weather for a given city.'

Sobre estas questões de prática

Esta é uma das questões de prática originais de AI-102 da Courseiva, escrita para o aprendizado e nunca copiada de provas reais nem de dumps.

Traduzida do original em inglês com IA e conferida quanto ao sentido. Códigos de exame, comandos e nomes de produtos são mantidos como aparecem na prova.