forked from open-webui/open-webui
Timothy Jaeryang Baek
GitHub
commit
03a6d39443
15 changed files with 2223 additions and 499 deletions
|
|
@ -31,7 +31,7 @@ if ENV == "prod":
|
||||||
# WEBUI_VERSION
|
# WEBUI_VERSION
|
||||||
####################################
|
####################################
|
||||||
|
|
||||||
WEBUI_VERSION = os.environ.get("WEBUI_VERSION", "v1.0.0-alpha.11")
|
WEBUI_VERSION = os.environ.get("WEBUI_VERSION", "v1.0.0-alpha.21")
|
||||||
|
|
||||||
####################################
|
####################################
|
||||||
# WEBUI_AUTH
|
# WEBUI_AUTH
|
||||||
|
|
|
||||||
|
|
@ -6,7 +6,7 @@
|
||||||
export let submitPrompt: Function;
|
export let submitPrompt: Function;
|
||||||
export let stopResponse: Function;
|
export let stopResponse: Function;
|
||||||
|
|
||||||
export let suggestions = 'true';
|
export let suggestionPrompts = [];
|
||||||
export let autoScroll = true;
|
export let autoScroll = true;
|
||||||
|
|
||||||
let filesInputElement;
|
let filesInputElement;
|
||||||
|
|
@ -87,8 +87,8 @@
|
||||||
<div class="fixed bottom-0 w-full bg-white dark:bg-gray-800">
|
<div class="fixed bottom-0 w-full bg-white dark:bg-gray-800">
|
||||||
<div class=" absolute right-0 left-0 bottom-0 mb-20">
|
<div class=" absolute right-0 left-0 bottom-0 mb-20">
|
||||||
<div class="max-w-3xl px-2.5 pt-2.5 -mb-0.5 mx-auto inset-x-0">
|
<div class="max-w-3xl px-2.5 pt-2.5 -mb-0.5 mx-auto inset-x-0">
|
||||||
{#if messages.length == 0 && suggestions !== 'false'}
|
{#if messages.length == 0 && suggestionPrompts.length !== 0}
|
||||||
<Suggestions {submitPrompt} />
|
<Suggestions {suggestionPrompts} {submitPrompt} />
|
||||||
{/if}
|
{/if}
|
||||||
|
|
||||||
{#if autoScroll === false && messages.length > 0}
|
{#if autoScroll === false && messages.length > 0}
|
||||||
|
|
|
||||||
|
|
@ -1,17 +1,24 @@
|
||||||
<script lang="ts">
|
<script lang="ts">
|
||||||
export let submitPrompt: Function;
|
export let submitPrompt: Function;
|
||||||
|
export let suggestionPrompts = [];
|
||||||
</script>
|
</script>
|
||||||
|
|
||||||
<div class=" grid sm:grid-cols-2 gap-2.5 mb-4 md:p-2 text-left">
|
<div class=" flex flex-wrap-reverse mb-3 md:p-1 text-left">
|
||||||
|
{#each suggestionPrompts as prompt, promptIdx}
|
||||||
|
<div class="{promptIdx > 1 ? 'hidden sm:inline-flex' : ''} basis-full sm:basis-1/2 p-[5px]">
|
||||||
<button
|
<button
|
||||||
class=" flex justify-between w-full px-4 py-2.5 bg-white hover:bg-gray-50 dark:bg-gray-800 dark:hover:bg-gray-700 outline outline-1 outline-gray-200 dark:outline-gray-600 rounded-lg transition group"
|
class=" flex-1 flex justify-between w-full px-4 py-2.5 bg-white hover:bg-gray-50 dark:bg-gray-800 dark:hover:bg-gray-700 outline outline-1 outline-gray-200 dark:outline-gray-600 rounded-lg transition group"
|
||||||
on:click={() => {
|
on:click={() => {
|
||||||
submitPrompt(`Tell me a random fun fact about the Roman Empire`);
|
submitPrompt(prompt.content);
|
||||||
}}
|
}}
|
||||||
>
|
>
|
||||||
<div class="flex flex-col text-left">
|
<div class="flex flex-col text-left self-center">
|
||||||
<div class="text-sm font-medium dark:text-gray-300">Tell me a fun fact</div>
|
{#if prompt.title}
|
||||||
<div class="text-sm text-gray-500">about the Roman Empire</div>
|
<div class="text-sm font-medium dark:text-gray-300">{prompt.title[0]}</div>
|
||||||
|
<div class="text-sm text-gray-500">{prompt.title[1]}</div>
|
||||||
|
{:else}
|
||||||
|
<div class=" self-center text-sm font-medium dark:text-gray-300">{prompt.content}</div>
|
||||||
|
{/if}
|
||||||
</div>
|
</div>
|
||||||
|
|
||||||
<div
|
<div
|
||||||
|
|
@ -31,92 +38,6 @@
|
||||||
</svg>
|
</svg>
|
||||||
</div>
|
</div>
|
||||||
</button>
|
</button>
|
||||||
|
|
||||||
<button
|
|
||||||
class=" flex justify-between w-full px-4 py-2.5 bg-white hover:bg-gray-50 dark:bg-gray-800 dark:hover:bg-gray-700 outline outline-1 outline-gray-200 dark:outline-gray-600 rounded-lg transition group"
|
|
||||||
on:click={() => {
|
|
||||||
submitPrompt(`Show me a code snippet of a website's sticky header in CSS and JavaScript.`);
|
|
||||||
}}
|
|
||||||
>
|
|
||||||
<div class="flex flex-col text-left">
|
|
||||||
<div class="text-sm font-medium dark:text-gray-300">Show me a code snippet</div>
|
|
||||||
<div class="text-sm text-gray-500">of a website's sticky header</div>
|
|
||||||
</div>
|
</div>
|
||||||
<div
|
{/each}
|
||||||
class="self-center p-1 rounded-lg text-white group-hover:bg-gray-100 group-hover:text-gray-800 dark:group-hover:bg-gray-800 dark:group-hover:text-gray-300 dark:text-gray-800 transition"
|
|
||||||
>
|
|
||||||
<svg
|
|
||||||
xmlns="http://www.w3.org/2000/svg"
|
|
||||||
viewBox="0 0 20 20"
|
|
||||||
fill="currentColor"
|
|
||||||
class="w-4 h-4"
|
|
||||||
>
|
|
||||||
<path
|
|
||||||
fill-rule="evenodd"
|
|
||||||
d="M10 17a.75.75 0 01-.75-.75V5.612L5.29 9.77a.75.75 0 01-1.08-1.04l5.25-5.5a.75.75 0 011.08 0l5.25 5.5a.75.75 0 11-1.08 1.04l-3.96-4.158V16.25A.75.75 0 0110 17z"
|
|
||||||
clip-rule="evenodd"
|
|
||||||
/>
|
|
||||||
</svg>
|
|
||||||
</div>
|
|
||||||
</button>
|
|
||||||
|
|
||||||
<button
|
|
||||||
class=" hidden sm:flex justify-between w-full px-4 py-2.5 bg-white hover:bg-gray-50 dark:bg-gray-800 dark:hover:bg-gray-700 outline outline-1 outline-gray-200 dark:outline-gray-600 rounded-lg transition group"
|
|
||||||
on:click={() => {
|
|
||||||
submitPrompt(
|
|
||||||
`Help me study vocabulary: write a sentence for me to fill in the blank, and I'll try to pick the correct option.`
|
|
||||||
);
|
|
||||||
}}
|
|
||||||
>
|
|
||||||
<div class="flex flex-col text-left">
|
|
||||||
<div class="text-sm font-medium dark:text-gray-300">Help me study</div>
|
|
||||||
<div class="text-sm text-gray-500">vocabulary for a college entrance exam</div>
|
|
||||||
</div>
|
|
||||||
<div
|
|
||||||
class="self-center p-1 rounded-lg text-white group-hover:bg-gray-100 group-hover:text-gray-800 dark:group-hover:bg-gray-800 dark:group-hover:text-gray-300 dark:text-gray-800 transition"
|
|
||||||
>
|
|
||||||
<svg
|
|
||||||
xmlns="http://www.w3.org/2000/svg"
|
|
||||||
viewBox="0 0 20 20"
|
|
||||||
fill="currentColor"
|
|
||||||
class="w-4 h-4"
|
|
||||||
>
|
|
||||||
<path
|
|
||||||
fill-rule="evenodd"
|
|
||||||
d="M10 17a.75.75 0 01-.75-.75V5.612L5.29 9.77a.75.75 0 01-1.08-1.04l5.25-5.5a.75.75 0 011.08 0l5.25 5.5a.75.75 0 11-1.08 1.04l-3.96-4.158V16.25A.75.75 0 0110 17z"
|
|
||||||
clip-rule="evenodd"
|
|
||||||
/>
|
|
||||||
</svg>
|
|
||||||
</div>
|
|
||||||
</button>
|
|
||||||
|
|
||||||
<button
|
|
||||||
class=" hidden sm:flex justify-between w-full px-4 py-2.5 bg-white hover:bg-gray-50 dark:bg-gray-800 dark:hover:bg-gray-700 outline outline-1 outline-gray-200 dark:outline-gray-600 rounded-lg transition group"
|
|
||||||
on:click={() => {
|
|
||||||
submitPrompt(
|
|
||||||
`What are 5 creative things I could do with my kids' art? I don't want to throw them away, but it's also so much clutter.`
|
|
||||||
);
|
|
||||||
}}
|
|
||||||
>
|
|
||||||
<div class="flex flex-col text-left">
|
|
||||||
<div class="text-sm font-medium dark:text-gray-300">Give me ideas</div>
|
|
||||||
<div class="text-sm text-gray-500">for what to do with my kids' art</div>
|
|
||||||
</div>
|
|
||||||
<div
|
|
||||||
class="self-center p-1 rounded-lg text-white group-hover:bg-gray-100 group-hover:text-gray-800 dark:group-hover:bg-gray-800 dark:group-hover:text-gray-300 dark:text-gray-800 transition"
|
|
||||||
>
|
|
||||||
<svg
|
|
||||||
xmlns="http://www.w3.org/2000/svg"
|
|
||||||
viewBox="0 0 20 20"
|
|
||||||
fill="currentColor"
|
|
||||||
class="w-4 h-4"
|
|
||||||
>
|
|
||||||
<path
|
|
||||||
fill-rule="evenodd"
|
|
||||||
d="M10 17a.75.75 0 01-.75-.75V5.612L5.29 9.77a.75.75 0 01-1.08-1.04l5.25-5.5a.75.75 0 011.08 0l5.25 5.5a.75.75 0 11-1.08 1.04l-3.96-4.158V16.25A.75.75 0 0110 17z"
|
|
||||||
clip-rule="evenodd"
|
|
||||||
/>
|
|
||||||
</svg>
|
|
||||||
</div>
|
|
||||||
</button>
|
|
||||||
</div>
|
</div>
|
||||||
|
|
|
||||||
|
|
@ -7,7 +7,7 @@
|
||||||
import auto_render from 'katex/dist/contrib/auto-render.mjs';
|
import auto_render from 'katex/dist/contrib/auto-render.mjs';
|
||||||
import 'katex/dist/katex.min.css';
|
import 'katex/dist/katex.min.css';
|
||||||
|
|
||||||
import { config, db, settings, user } from '$lib/stores';
|
import { config, db, modelfiles, settings, user } from '$lib/stores';
|
||||||
import { tick } from 'svelte';
|
import { tick } from 'svelte';
|
||||||
|
|
||||||
import toast from 'svelte-french-toast';
|
import toast from 'svelte-french-toast';
|
||||||
|
|
@ -16,9 +16,12 @@
|
||||||
export let regenerateResponse: Function;
|
export let regenerateResponse: Function;
|
||||||
|
|
||||||
export let autoScroll;
|
export let autoScroll;
|
||||||
|
export let selectedModels;
|
||||||
export let history = {};
|
export let history = {};
|
||||||
export let messages = [];
|
export let messages = [];
|
||||||
|
|
||||||
|
export let selectedModelfile = null;
|
||||||
|
|
||||||
$: if (messages && messages.length > 0 && (messages.at(-1).done ?? false)) {
|
$: if (messages && messages.length > 0 && (messages.at(-1).done ?? false)) {
|
||||||
(async () => {
|
(async () => {
|
||||||
await tick();
|
await tick();
|
||||||
|
|
@ -306,10 +309,18 @@
|
||||||
{#if messages.length == 0}
|
{#if messages.length == 0}
|
||||||
<div class="m-auto text-center max-w-md pb-56 px-2">
|
<div class="m-auto text-center max-w-md pb-56 px-2">
|
||||||
<div class="flex justify-center mt-8">
|
<div class="flex justify-center mt-8">
|
||||||
|
{#if selectedModelfile && selectedModelfile.imageUrl}
|
||||||
|
<img src={selectedModelfile?.imageUrl} class=" w-20 mb-2 rounded-full" />
|
||||||
|
{:else}
|
||||||
<img src="/ollama.png" class=" w-16 invert-[10%] dark:invert-[100%] rounded-full" />
|
<img src="/ollama.png" class=" w-16 invert-[10%] dark:invert-[100%] rounded-full" />
|
||||||
|
{/if}
|
||||||
</div>
|
</div>
|
||||||
<div class=" mt-1 text-2xl text-gray-800 dark:text-gray-100 font-semibold">
|
<div class=" mt-2 text-2xl text-gray-800 dark:text-gray-100 font-semibold">
|
||||||
|
{#if selectedModelfile}
|
||||||
|
{selectedModelfile.desc}
|
||||||
|
{:else}
|
||||||
How can I help you today?
|
How can I help you today?
|
||||||
|
{/if}
|
||||||
</div>
|
</div>
|
||||||
</div>
|
</div>
|
||||||
{:else}
|
{:else}
|
||||||
|
|
@ -332,6 +343,12 @@
|
||||||
alt="User profile"
|
alt="User profile"
|
||||||
/>
|
/>
|
||||||
{/if}
|
{/if}
|
||||||
|
{:else if selectedModelfile}
|
||||||
|
<img
|
||||||
|
src={selectedModelfile?.imageUrl ?? '/favicon.png'}
|
||||||
|
class=" max-w-[28px] object-cover rounded-full"
|
||||||
|
alt="Ollama profile"
|
||||||
|
/>
|
||||||
{:else}
|
{:else}
|
||||||
<img
|
<img
|
||||||
src="/favicon.png"
|
src="/favicon.png"
|
||||||
|
|
@ -342,9 +359,11 @@
|
||||||
</div>
|
</div>
|
||||||
|
|
||||||
<div class="w-full">
|
<div class="w-full">
|
||||||
<div class=" self-center font-bold mb-0.5">
|
<div class=" self-center font-bold mb-0.5 capitalize">
|
||||||
{#if message.role === 'user'}
|
{#if message.role === 'user'}
|
||||||
You
|
You
|
||||||
|
{:else if selectedModelfile}
|
||||||
|
{selectedModelfile.title}
|
||||||
{:else}
|
{:else}
|
||||||
Ollama <span class=" text-gray-500 text-sm font-medium"
|
Ollama <span class=" text-gray-500 text-sm font-medium"
|
||||||
>{message.model ? ` ${message.model}` : ''}</span
|
>{message.model ? ` ${message.model}` : ''}</span
|
||||||
|
|
|
||||||
510
src/lib/components/chat/Settings/Advanced.svelte
Normal file
510
src/lib/components/chat/Settings/Advanced.svelte
Normal file
|
|
@ -0,0 +1,510 @@
|
||||||
|
<script lang="ts">
|
||||||
|
export let options = {
|
||||||
|
// Advanced
|
||||||
|
seed: 0,
|
||||||
|
stop: '',
|
||||||
|
temperature: '',
|
||||||
|
repeat_penalty: '',
|
||||||
|
repeat_last_n: '',
|
||||||
|
mirostat: '',
|
||||||
|
mirostat_eta: '',
|
||||||
|
mirostat_tau: '',
|
||||||
|
top_k: '',
|
||||||
|
top_p: '',
|
||||||
|
tfs_z: '',
|
||||||
|
num_ctx: ''
|
||||||
|
};
|
||||||
|
</script>
|
||||||
|
|
||||||
|
<div class=" space-y-3 text-xs">
|
||||||
|
<div>
|
||||||
|
<div class=" py-0.5 flex w-full justify-between">
|
||||||
|
<div class=" w-20 text-xs font-medium self-center">Seed</div>
|
||||||
|
<div class=" flex-1 self-center">
|
||||||
|
<input
|
||||||
|
class="w-full rounded py-1.5 px-4 text-sm dark:text-gray-300 dark:bg-gray-800 outline-none border border-gray-100 dark:border-gray-600"
|
||||||
|
type="number"
|
||||||
|
placeholder="Enter Seed"
|
||||||
|
bind:value={options.seed}
|
||||||
|
autocomplete="off"
|
||||||
|
min="0"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div>
|
||||||
|
<div class=" py-0.5 flex w-full justify-between">
|
||||||
|
<div class=" w-20 text-xs font-medium self-center">Stop Sequence</div>
|
||||||
|
<div class=" flex-1 self-center">
|
||||||
|
<input
|
||||||
|
class="w-full rounded py-1.5 px-4 text-sm dark:text-gray-300 dark:bg-gray-800 outline-none border border-gray-100 dark:border-gray-600"
|
||||||
|
type="text"
|
||||||
|
placeholder="Enter Stop Sequence"
|
||||||
|
bind:value={options.stop}
|
||||||
|
autocomplete="off"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class=" py-0.5 w-full justify-between">
|
||||||
|
<div class="flex w-full justify-between">
|
||||||
|
<div class=" self-center text-xs font-medium">Temperature</div>
|
||||||
|
|
||||||
|
<button
|
||||||
|
class="p-1 px-3 text-xs flex rounded transition"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
options.temperature = options.temperature === '' ? 0.8 : '';
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
{#if options.temperature === ''}
|
||||||
|
<span class="ml-2 self-center"> Default </span>
|
||||||
|
{:else}
|
||||||
|
<span class="ml-2 self-center"> Custom </span>
|
||||||
|
{/if}
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
{#if options.temperature !== ''}
|
||||||
|
<div class="flex mt-0.5 space-x-2">
|
||||||
|
<div class=" flex-1">
|
||||||
|
<input
|
||||||
|
id="steps-range"
|
||||||
|
type="range"
|
||||||
|
min="0"
|
||||||
|
max="1"
|
||||||
|
step="0.05"
|
||||||
|
bind:value={options.temperature}
|
||||||
|
class="w-full h-2 rounded-lg appearance-none cursor-pointer dark:bg-gray-700"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
<div>
|
||||||
|
<input
|
||||||
|
bind:value={options.temperature}
|
||||||
|
type="number"
|
||||||
|
class=" bg-transparent text-center w-14"
|
||||||
|
min="0"
|
||||||
|
max="1"
|
||||||
|
step="0.05"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
{/if}
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class=" py-0.5 w-full justify-between">
|
||||||
|
<div class="flex w-full justify-between">
|
||||||
|
<div class=" self-center text-xs font-medium">Mirostat</div>
|
||||||
|
|
||||||
|
<button
|
||||||
|
class="p-1 px-3 text-xs flex rounded transition"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
options.mirostat = options.mirostat === '' ? 0 : '';
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
{#if options.mirostat === ''}
|
||||||
|
<span class="ml-2 self-center"> Default </span>
|
||||||
|
{:else}
|
||||||
|
<span class="ml-2 self-center"> Custom </span>
|
||||||
|
{/if}
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
{#if options.mirostat !== ''}
|
||||||
|
<div class="flex mt-0.5 space-x-2">
|
||||||
|
<div class=" flex-1">
|
||||||
|
<input
|
||||||
|
id="steps-range"
|
||||||
|
type="range"
|
||||||
|
min="0"
|
||||||
|
max="2"
|
||||||
|
step="1"
|
||||||
|
bind:value={options.mirostat}
|
||||||
|
class="w-full h-2 rounded-lg appearance-none cursor-pointer dark:bg-gray-700"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
<div>
|
||||||
|
<input
|
||||||
|
bind:value={options.mirostat}
|
||||||
|
type="number"
|
||||||
|
class=" bg-transparent text-center w-14"
|
||||||
|
min="0"
|
||||||
|
max="2"
|
||||||
|
step="1"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
{/if}
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class=" py-0.5 w-full justify-between">
|
||||||
|
<div class="flex w-full justify-between">
|
||||||
|
<div class=" self-center text-xs font-medium">Mirostat Eta</div>
|
||||||
|
|
||||||
|
<button
|
||||||
|
class="p-1 px-3 text-xs flex rounded transition"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
options.mirostat_eta = options.mirostat_eta === '' ? 0.1 : '';
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
{#if options.mirostat_eta === ''}
|
||||||
|
<span class="ml-2 self-center"> Default </span>
|
||||||
|
{:else}
|
||||||
|
<span class="ml-2 self-center"> Custom </span>
|
||||||
|
{/if}
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
{#if options.mirostat_eta !== ''}
|
||||||
|
<div class="flex mt-0.5 space-x-2">
|
||||||
|
<div class=" flex-1">
|
||||||
|
<input
|
||||||
|
id="steps-range"
|
||||||
|
type="range"
|
||||||
|
min="0"
|
||||||
|
max="1"
|
||||||
|
step="0.05"
|
||||||
|
bind:value={options.mirostat_eta}
|
||||||
|
class="w-full h-2 rounded-lg appearance-none cursor-pointer dark:bg-gray-700"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
<div>
|
||||||
|
<input
|
||||||
|
bind:value={options.mirostat_eta}
|
||||||
|
type="number"
|
||||||
|
class=" bg-transparent text-center w-14"
|
||||||
|
min="0"
|
||||||
|
max="1"
|
||||||
|
step="0.05"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
{/if}
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class=" py-0.5 w-full justify-between">
|
||||||
|
<div class="flex w-full justify-between">
|
||||||
|
<div class=" self-center text-xs font-medium">Mirostat Tau</div>
|
||||||
|
|
||||||
|
<button
|
||||||
|
class="p-1 px-3 text-xs flex rounded transition"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
options.mirostat_tau = options.mirostat_tau === '' ? 5.0 : '';
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
{#if options.mirostat_tau === ''}
|
||||||
|
<span class="ml-2 self-center"> Default </span>
|
||||||
|
{:else}
|
||||||
|
<span class="ml-2 self-center"> Custom </span>
|
||||||
|
{/if}
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
{#if options.mirostat_tau !== ''}
|
||||||
|
<div class="flex mt-0.5 space-x-2">
|
||||||
|
<div class=" flex-1">
|
||||||
|
<input
|
||||||
|
id="steps-range"
|
||||||
|
type="range"
|
||||||
|
min="0"
|
||||||
|
max="10"
|
||||||
|
step="0.5"
|
||||||
|
bind:value={options.mirostat_tau}
|
||||||
|
class="w-full h-2 rounded-lg appearance-none cursor-pointer dark:bg-gray-700"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
<div>
|
||||||
|
<input
|
||||||
|
bind:value={options.mirostat_tau}
|
||||||
|
type="number"
|
||||||
|
class=" bg-transparent text-center w-14"
|
||||||
|
min="0"
|
||||||
|
max="10"
|
||||||
|
step="0.5"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
{/if}
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class=" py-0.5 w-full justify-between">
|
||||||
|
<div class="flex w-full justify-between">
|
||||||
|
<div class=" self-center text-xs font-medium">Top K</div>
|
||||||
|
|
||||||
|
<button
|
||||||
|
class="p-1 px-3 text-xs flex rounded transition"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
options.top_k = options.top_k === '' ? 40 : '';
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
{#if options.top_k === ''}
|
||||||
|
<span class="ml-2 self-center"> Default </span>
|
||||||
|
{:else}
|
||||||
|
<span class="ml-2 self-center"> Custom </span>
|
||||||
|
{/if}
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
{#if options.top_k !== ''}
|
||||||
|
<div class="flex mt-0.5 space-x-2">
|
||||||
|
<div class=" flex-1">
|
||||||
|
<input
|
||||||
|
id="steps-range"
|
||||||
|
type="range"
|
||||||
|
min="0"
|
||||||
|
max="100"
|
||||||
|
step="0.5"
|
||||||
|
bind:value={options.top_k}
|
||||||
|
class="w-full h-2 rounded-lg appearance-none cursor-pointer dark:bg-gray-700"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
<div>
|
||||||
|
<input
|
||||||
|
bind:value={options.top_k}
|
||||||
|
type="number"
|
||||||
|
class=" bg-transparent text-center w-14"
|
||||||
|
min="0"
|
||||||
|
max="100"
|
||||||
|
step="0.5"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
{/if}
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class=" py-0.5 w-full justify-between">
|
||||||
|
<div class="flex w-full justify-between">
|
||||||
|
<div class=" self-center text-xs font-medium">Top P</div>
|
||||||
|
|
||||||
|
<button
|
||||||
|
class="p-1 px-3 text-xs flex rounded transition"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
options.top_p = options.top_p === '' ? 0.9 : '';
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
{#if options.top_p === ''}
|
||||||
|
<span class="ml-2 self-center"> Default </span>
|
||||||
|
{:else}
|
||||||
|
<span class="ml-2 self-center"> Custom </span>
|
||||||
|
{/if}
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
{#if options.top_p !== ''}
|
||||||
|
<div class="flex mt-0.5 space-x-2">
|
||||||
|
<div class=" flex-1">
|
||||||
|
<input
|
||||||
|
id="steps-range"
|
||||||
|
type="range"
|
||||||
|
min="0"
|
||||||
|
max="1"
|
||||||
|
step="0.05"
|
||||||
|
bind:value={options.top_p}
|
||||||
|
class="w-full h-2 rounded-lg appearance-none cursor-pointer dark:bg-gray-700"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
<div>
|
||||||
|
<input
|
||||||
|
bind:value={options.top_p}
|
||||||
|
type="number"
|
||||||
|
class=" bg-transparent text-center w-14"
|
||||||
|
min="0"
|
||||||
|
max="1"
|
||||||
|
step="0.05"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
{/if}
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class=" py-0.5 w-full justify-between">
|
||||||
|
<div class="flex w-full justify-between">
|
||||||
|
<div class=" self-center text-xs font-medium">Repeat Penalty</div>
|
||||||
|
|
||||||
|
<button
|
||||||
|
class="p-1 px-3 text-xs flex rounded transition"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
options.repeat_penalty = options.repeat_penalty === '' ? 1.1 : '';
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
{#if options.repeat_penalty === ''}
|
||||||
|
<span class="ml-2 self-center"> Default </span>
|
||||||
|
{:else}
|
||||||
|
<span class="ml-2 self-center"> Custom </span>
|
||||||
|
{/if}
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
{#if options.repeat_penalty !== ''}
|
||||||
|
<div class="flex mt-0.5 space-x-2">
|
||||||
|
<div class=" flex-1">
|
||||||
|
<input
|
||||||
|
id="steps-range"
|
||||||
|
type="range"
|
||||||
|
min="0"
|
||||||
|
max="2"
|
||||||
|
step="0.05"
|
||||||
|
bind:value={options.repeat_penalty}
|
||||||
|
class="w-full h-2 rounded-lg appearance-none cursor-pointer dark:bg-gray-700"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
<div>
|
||||||
|
<input
|
||||||
|
bind:value={options.repeat_penalty}
|
||||||
|
type="number"
|
||||||
|
class=" bg-transparent text-center w-14"
|
||||||
|
min="0"
|
||||||
|
max="2"
|
||||||
|
step="0.05"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
{/if}
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class=" py-0.5 w-full justify-between">
|
||||||
|
<div class="flex w-full justify-between">
|
||||||
|
<div class=" self-center text-xs font-medium">Repeat Last N</div>
|
||||||
|
|
||||||
|
<button
|
||||||
|
class="p-1 px-3 text-xs flex rounded transition"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
options.repeat_last_n = options.repeat_last_n === '' ? 64 : '';
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
{#if options.repeat_last_n === ''}
|
||||||
|
<span class="ml-2 self-center"> Default </span>
|
||||||
|
{:else}
|
||||||
|
<span class="ml-2 self-center"> Custom </span>
|
||||||
|
{/if}
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
{#if options.repeat_last_n !== ''}
|
||||||
|
<div class="flex mt-0.5 space-x-2">
|
||||||
|
<div class=" flex-1">
|
||||||
|
<input
|
||||||
|
id="steps-range"
|
||||||
|
type="range"
|
||||||
|
min="-1"
|
||||||
|
max="128"
|
||||||
|
step="1"
|
||||||
|
bind:value={options.repeat_last_n}
|
||||||
|
class="w-full h-2 rounded-lg appearance-none cursor-pointer dark:bg-gray-700"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
<div>
|
||||||
|
<input
|
||||||
|
bind:value={options.repeat_last_n}
|
||||||
|
type="number"
|
||||||
|
class=" bg-transparent text-center w-14"
|
||||||
|
min="-1"
|
||||||
|
max="128"
|
||||||
|
step="1"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
{/if}
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class=" py-0.5 w-full justify-between">
|
||||||
|
<div class="flex w-full justify-between">
|
||||||
|
<div class=" self-center text-xs font-medium">Tfs Z</div>
|
||||||
|
|
||||||
|
<button
|
||||||
|
class="p-1 px-3 text-xs flex rounded transition"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
options.tfs_z = options.tfs_z === '' ? 1 : '';
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
{#if options.tfs_z === ''}
|
||||||
|
<span class="ml-2 self-center"> Default </span>
|
||||||
|
{:else}
|
||||||
|
<span class="ml-2 self-center"> Custom </span>
|
||||||
|
{/if}
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
{#if options.tfs_z !== ''}
|
||||||
|
<div class="flex mt-0.5 space-x-2">
|
||||||
|
<div class=" flex-1">
|
||||||
|
<input
|
||||||
|
id="steps-range"
|
||||||
|
type="range"
|
||||||
|
min="0"
|
||||||
|
max="2"
|
||||||
|
step="0.05"
|
||||||
|
bind:value={options.tfs_z}
|
||||||
|
class="w-full h-2 rounded-lg appearance-none cursor-pointer dark:bg-gray-700"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
<div>
|
||||||
|
<input
|
||||||
|
bind:value={options.tfs_z}
|
||||||
|
type="number"
|
||||||
|
class=" bg-transparent text-center w-14"
|
||||||
|
min="0"
|
||||||
|
max="2"
|
||||||
|
step="0.05"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
{/if}
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class=" py-0.5 w-full justify-between">
|
||||||
|
<div class="flex w-full justify-between">
|
||||||
|
<div class=" self-center text-xs font-medium">Context Length</div>
|
||||||
|
|
||||||
|
<button
|
||||||
|
class="p-1 px-3 text-xs flex rounded transition"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
options.num_ctx = options.num_ctx === '' ? 2048 : '';
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
{#if options.num_ctx === ''}
|
||||||
|
<span class="ml-2 self-center"> Default </span>
|
||||||
|
{:else}
|
||||||
|
<span class="ml-2 self-center"> Custom </span>
|
||||||
|
{/if}
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
{#if options.num_ctx !== ''}
|
||||||
|
<div class="flex mt-0.5 space-x-2">
|
||||||
|
<div class=" flex-1">
|
||||||
|
<input
|
||||||
|
id="steps-range"
|
||||||
|
type="range"
|
||||||
|
min="1"
|
||||||
|
max="16000"
|
||||||
|
step="1"
|
||||||
|
bind:value={options.num_ctx}
|
||||||
|
class="w-full h-2 rounded-lg appearance-none cursor-pointer dark:bg-gray-700"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
<div class="">
|
||||||
|
<input
|
||||||
|
bind:value={options.num_ctx}
|
||||||
|
type="number"
|
||||||
|
class=" bg-transparent text-center w-14"
|
||||||
|
min="1"
|
||||||
|
max="16000"
|
||||||
|
step="1"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
{/if}
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
@ -6,6 +6,7 @@
|
||||||
import { onMount } from 'svelte';
|
import { onMount } from 'svelte';
|
||||||
import { config, models, settings, user } from '$lib/stores';
|
import { config, models, settings, user } from '$lib/stores';
|
||||||
import { splitStream, getGravatarURL } from '$lib/utils';
|
import { splitStream, getGravatarURL } from '$lib/utils';
|
||||||
|
import Advanced from './Settings/Advanced.svelte';
|
||||||
|
|
||||||
export let show = false;
|
export let show = false;
|
||||||
|
|
||||||
|
|
@ -25,12 +26,21 @@
|
||||||
|
|
||||||
// Advanced
|
// Advanced
|
||||||
let requestFormat = '';
|
let requestFormat = '';
|
||||||
let seed = 0;
|
let options = {
|
||||||
let temperature = '';
|
// Advanced
|
||||||
let repeat_penalty = '';
|
seed: 0,
|
||||||
let top_k = '';
|
temperature: '',
|
||||||
let top_p = '';
|
repeat_penalty: '',
|
||||||
let num_ctx = '';
|
repeat_last_n: '',
|
||||||
|
mirostat: '',
|
||||||
|
mirostat_eta: '',
|
||||||
|
mirostat_tau: '',
|
||||||
|
top_k: '',
|
||||||
|
top_p: '',
|
||||||
|
stop: '',
|
||||||
|
tfs_z: '',
|
||||||
|
num_ctx: ''
|
||||||
|
};
|
||||||
|
|
||||||
// Models
|
// Models
|
||||||
let modelTag = '';
|
let modelTag = '';
|
||||||
|
|
@ -218,28 +228,6 @@
|
||||||
models.set(await getModels());
|
models.set(await getModels());
|
||||||
};
|
};
|
||||||
|
|
||||||
$: if (show) {
|
|
||||||
let settings = JSON.parse(localStorage.getItem('settings') ?? '{}');
|
|
||||||
console.log(settings);
|
|
||||||
|
|
||||||
theme = localStorage.theme ?? 'dark';
|
|
||||||
API_BASE_URL = settings.API_BASE_URL ?? OLLAMA_API_BASE_URL;
|
|
||||||
system = settings.system ?? '';
|
|
||||||
|
|
||||||
requestFormat = settings.requestFormat ?? '';
|
|
||||||
seed = settings.seed ?? 0;
|
|
||||||
temperature = settings.temperature ?? '';
|
|
||||||
repeat_penalty = settings.repeat_penalty ?? '';
|
|
||||||
top_k = settings.top_k ?? '';
|
|
||||||
top_p = settings.top_p ?? '';
|
|
||||||
num_ctx = settings.num_ctx ?? '';
|
|
||||||
|
|
||||||
titleAutoGenerate = settings.titleAutoGenerate ?? true;
|
|
||||||
speechAutoSend = settings.speechAutoSend ?? false;
|
|
||||||
gravatarEmail = settings.gravatarEmail ?? '';
|
|
||||||
OPENAI_API_KEY = settings.OPENAI_API_KEY ?? '';
|
|
||||||
}
|
|
||||||
|
|
||||||
const getModels = async (url = '', type = 'all') => {
|
const getModels = async (url = '', type = 'all') => {
|
||||||
let models = [];
|
let models = [];
|
||||||
const res = await fetch(`${url ? url : $settings?.API_BASE_URL ?? OLLAMA_API_BASE_URL}/tags`, {
|
const res = await fetch(`${url ? url : $settings?.API_BASE_URL ?? OLLAMA_API_BASE_URL}/tags`, {
|
||||||
|
|
@ -306,6 +294,26 @@
|
||||||
|
|
||||||
onMount(() => {
|
onMount(() => {
|
||||||
let settings = JSON.parse(localStorage.getItem('settings') ?? '{}');
|
let settings = JSON.parse(localStorage.getItem('settings') ?? '{}');
|
||||||
|
console.log(settings);
|
||||||
|
|
||||||
|
theme = localStorage.theme ?? 'dark';
|
||||||
|
API_BASE_URL = settings.API_BASE_URL ?? OLLAMA_API_BASE_URL;
|
||||||
|
system = settings.system ?? '';
|
||||||
|
|
||||||
|
requestFormat = settings.requestFormat ?? '';
|
||||||
|
|
||||||
|
options.seed = settings.seed ?? 0;
|
||||||
|
options.temperature = settings.temperature ?? '';
|
||||||
|
options.repeat_penalty = settings.repeat_penalty ?? '';
|
||||||
|
options.top_k = settings.top_k ?? '';
|
||||||
|
options.top_p = settings.top_p ?? '';
|
||||||
|
options.num_ctx = settings.num_ctx ?? '';
|
||||||
|
options = { ...options, ...settings.options };
|
||||||
|
|
||||||
|
titleAutoGenerate = settings.titleAutoGenerate ?? true;
|
||||||
|
speechAutoSend = settings.speechAutoSend ?? false;
|
||||||
|
gravatarEmail = settings.gravatarEmail ?? '';
|
||||||
|
OPENAI_API_KEY = settings.OPENAI_API_KEY ?? '';
|
||||||
|
|
||||||
authEnabled = settings.authHeader !== undefined ? true : false;
|
authEnabled = settings.authHeader !== undefined ? true : false;
|
||||||
if (authEnabled) {
|
if (authEnabled) {
|
||||||
|
|
@ -497,7 +505,7 @@
|
||||||
<div class=" self-center">About</div>
|
<div class=" self-center">About</div>
|
||||||
</button>
|
</button>
|
||||||
</div>
|
</div>
|
||||||
<div class="flex-1 md:min-h-[330px]">
|
<div class="flex-1 md:min-h-[340px]">
|
||||||
{#if selectedTab === 'general'}
|
{#if selectedTab === 'general'}
|
||||||
<div class="flex flex-col space-y-3">
|
<div class="flex flex-col space-y-3">
|
||||||
<div>
|
<div>
|
||||||
|
|
@ -612,234 +620,11 @@
|
||||||
</div>
|
</div>
|
||||||
</div>
|
</div>
|
||||||
{:else if selectedTab === 'advanced'}
|
{:else if selectedTab === 'advanced'}
|
||||||
<div class="flex flex-col h-full justify-between space-y-3 text-sm">
|
<div class="flex flex-col h-full justify-between text-sm">
|
||||||
<div class=" space-y-3">
|
<div class=" space-y-3 pr-1.5 overflow-y-scroll max-h-72">
|
||||||
<div>
|
<div class=" text-sm font-medium">Parameters</div>
|
||||||
<div class=" py-1 flex w-full justify-between">
|
|
||||||
<div class=" w-20 text-sm font-medium self-center">Seed</div>
|
|
||||||
<div class=" flex-1 self-center">
|
|
||||||
<input
|
|
||||||
class="w-full rounded py-2 px-4 text-sm dark:text-gray-300 dark:bg-gray-800 outline-none"
|
|
||||||
type="number"
|
|
||||||
placeholder="Enter Seed"
|
|
||||||
bind:value={seed}
|
|
||||||
autocomplete="off"
|
|
||||||
min="0"
|
|
||||||
/>
|
|
||||||
</div>
|
|
||||||
</div>
|
|
||||||
</div>
|
|
||||||
|
|
||||||
<div class=" py-0.5 w-full justify-between">
|
|
||||||
<div class="flex w-full justify-between">
|
|
||||||
<div class=" self-center text-sm font-medium">Temperature</div>
|
|
||||||
|
|
||||||
<button
|
|
||||||
class="p-1 px-3 text-xs flex rounded transition"
|
|
||||||
on:click={() => {
|
|
||||||
temperature = temperature === '' ? 0.8 : '';
|
|
||||||
}}
|
|
||||||
>
|
|
||||||
{#if temperature === ''}
|
|
||||||
<span class="ml-2 self-center"> Default </span>
|
|
||||||
{:else}
|
|
||||||
<span class="ml-2 self-center"> Custom </span>
|
|
||||||
{/if}
|
|
||||||
</button>
|
|
||||||
</div>
|
|
||||||
|
|
||||||
{#if temperature !== ''}
|
|
||||||
<div class="flex mt-0.5 space-x-2">
|
|
||||||
<div class=" flex-1">
|
|
||||||
<input
|
|
||||||
id="steps-range"
|
|
||||||
type="range"
|
|
||||||
min="0"
|
|
||||||
max="1"
|
|
||||||
bind:value={temperature}
|
|
||||||
step="0.05"
|
|
||||||
class="w-full h-2 rounded-lg appearance-none cursor-pointer dark:bg-gray-700"
|
|
||||||
/>
|
|
||||||
</div>
|
|
||||||
<div>
|
|
||||||
<input
|
|
||||||
bind:value={temperature}
|
|
||||||
type="number"
|
|
||||||
class=" bg-transparent text-center w-10"
|
|
||||||
/>
|
|
||||||
</div>
|
|
||||||
</div>
|
|
||||||
{/if}
|
|
||||||
</div>
|
|
||||||
|
|
||||||
<div class=" py-0.5 w-full justify-between">
|
|
||||||
<div class="flex w-full justify-between">
|
|
||||||
<div class=" self-center text-sm font-medium">Repeat Penalty</div>
|
|
||||||
|
|
||||||
<button
|
|
||||||
class="p-1 px-3 text-xs flex rounded transition"
|
|
||||||
on:click={() => {
|
|
||||||
repeat_penalty = repeat_penalty === '' ? 1.1 : '';
|
|
||||||
}}
|
|
||||||
>
|
|
||||||
{#if repeat_penalty === ''}
|
|
||||||
<span class="ml-2 self-center"> Default </span>
|
|
||||||
{:else}
|
|
||||||
<span class="ml-2 self-center"> Custom </span>
|
|
||||||
{/if}
|
|
||||||
</button>
|
|
||||||
</div>
|
|
||||||
|
|
||||||
{#if repeat_penalty !== ''}
|
|
||||||
<div class="flex mt-0.5 space-x-2">
|
|
||||||
<div class=" flex-1">
|
|
||||||
<input
|
|
||||||
id="steps-range"
|
|
||||||
type="range"
|
|
||||||
min="0"
|
|
||||||
max="2"
|
|
||||||
bind:value={repeat_penalty}
|
|
||||||
step="0.05"
|
|
||||||
class="w-full h-2 rounded-lg appearance-none cursor-pointer dark:bg-gray-700"
|
|
||||||
/>
|
|
||||||
</div>
|
|
||||||
<div>
|
|
||||||
<input
|
|
||||||
bind:value={repeat_penalty}
|
|
||||||
type="number"
|
|
||||||
class=" bg-transparent text-center w-10"
|
|
||||||
/>
|
|
||||||
</div>
|
|
||||||
</div>
|
|
||||||
{/if}
|
|
||||||
</div>
|
|
||||||
|
|
||||||
<div class=" py-0.5 w-full justify-between">
|
|
||||||
<div class="flex w-full justify-between">
|
|
||||||
<div class=" self-center text-sm font-medium">Top K</div>
|
|
||||||
|
|
||||||
<button
|
|
||||||
class="p-1 px-3 text-xs flex rounded transition"
|
|
||||||
on:click={() => {
|
|
||||||
top_k = top_k === '' ? 40 : '';
|
|
||||||
}}
|
|
||||||
>
|
|
||||||
{#if top_k === ''}
|
|
||||||
<span class="ml-2 self-center"> Default </span>
|
|
||||||
{:else}
|
|
||||||
<span class="ml-2 self-center"> Custom </span>
|
|
||||||
{/if}
|
|
||||||
</button>
|
|
||||||
</div>
|
|
||||||
|
|
||||||
{#if top_k !== ''}
|
|
||||||
<div class="flex mt-0.5 space-x-2">
|
|
||||||
<div class=" flex-1">
|
|
||||||
<input
|
|
||||||
id="steps-range"
|
|
||||||
type="range"
|
|
||||||
min="0"
|
|
||||||
max="100"
|
|
||||||
bind:value={top_k}
|
|
||||||
step="0.5"
|
|
||||||
class="w-full h-2 rounded-lg appearance-none cursor-pointer dark:bg-gray-700"
|
|
||||||
/>
|
|
||||||
</div>
|
|
||||||
<div>
|
|
||||||
<input
|
|
||||||
bind:value={top_k}
|
|
||||||
type="number"
|
|
||||||
class=" bg-transparent text-center w-10"
|
|
||||||
/>
|
|
||||||
</div>
|
|
||||||
</div>
|
|
||||||
{/if}
|
|
||||||
</div>
|
|
||||||
|
|
||||||
<div class=" py-0.5 w-full justify-between">
|
|
||||||
<div class="flex w-full justify-between">
|
|
||||||
<div class=" self-center text-sm font-medium">Top P</div>
|
|
||||||
|
|
||||||
<button
|
|
||||||
class="p-1 px-3 text-xs flex rounded transition"
|
|
||||||
on:click={() => {
|
|
||||||
top_p = top_p === '' ? 0.9 : '';
|
|
||||||
}}
|
|
||||||
>
|
|
||||||
{#if top_p === ''}
|
|
||||||
<span class="ml-2 self-center"> Default </span>
|
|
||||||
{:else}
|
|
||||||
<span class="ml-2 self-center"> Custom </span>
|
|
||||||
{/if}
|
|
||||||
</button>
|
|
||||||
</div>
|
|
||||||
|
|
||||||
{#if top_p !== ''}
|
|
||||||
<div class="flex mt-0.5 space-x-2">
|
|
||||||
<div class=" flex-1">
|
|
||||||
<input
|
|
||||||
id="steps-range"
|
|
||||||
type="range"
|
|
||||||
min="0"
|
|
||||||
max="1"
|
|
||||||
bind:value={top_p}
|
|
||||||
step="0.05"
|
|
||||||
class="w-full h-2 rounded-lg appearance-none cursor-pointer dark:bg-gray-700"
|
|
||||||
/>
|
|
||||||
</div>
|
|
||||||
<div>
|
|
||||||
<input
|
|
||||||
bind:value={top_p}
|
|
||||||
type="number"
|
|
||||||
class=" bg-transparent text-center w-10"
|
|
||||||
/>
|
|
||||||
</div>
|
|
||||||
</div>
|
|
||||||
{/if}
|
|
||||||
</div>
|
|
||||||
|
|
||||||
<div class=" py-0.5 w-full justify-between">
|
|
||||||
<div class="flex w-full justify-between">
|
|
||||||
<div class=" self-center text-sm font-medium">Context Length</div>
|
|
||||||
|
|
||||||
<button
|
|
||||||
class="p-1 px-3 text-xs flex rounded transition"
|
|
||||||
on:click={() => {
|
|
||||||
num_ctx = num_ctx === '' ? 2048 : '';
|
|
||||||
}}
|
|
||||||
>
|
|
||||||
{#if num_ctx === ''}
|
|
||||||
<span class="ml-2 self-center"> Default </span>
|
|
||||||
{:else}
|
|
||||||
<span class="ml-2 self-center"> Custom </span>
|
|
||||||
{/if}
|
|
||||||
</button>
|
|
||||||
</div>
|
|
||||||
|
|
||||||
{#if num_ctx !== ''}
|
|
||||||
<div class="flex mt-0.5 space-x-2">
|
|
||||||
<div class=" flex-1">
|
|
||||||
<input
|
|
||||||
id="steps-range"
|
|
||||||
type="range"
|
|
||||||
min="1"
|
|
||||||
max="16000"
|
|
||||||
bind:value={num_ctx}
|
|
||||||
step="1"
|
|
||||||
class="w-full h-2 rounded-lg appearance-none cursor-pointer dark:bg-gray-700"
|
|
||||||
/>
|
|
||||||
</div>
|
|
||||||
<div>
|
|
||||||
<input
|
|
||||||
bind:value={num_ctx}
|
|
||||||
type="number"
|
|
||||||
class=" bg-transparent text-center w-10"
|
|
||||||
/>
|
|
||||||
</div>
|
|
||||||
</div>
|
|
||||||
{/if}
|
|
||||||
</div>
|
|
||||||
|
|
||||||
|
<Advanced bind:options />
|
||||||
<hr class=" dark:border-gray-700" />
|
<hr class=" dark:border-gray-700" />
|
||||||
|
|
||||||
<div>
|
<div>
|
||||||
|
|
@ -871,17 +656,28 @@
|
||||||
</div>
|
</div>
|
||||||
</div>
|
</div>
|
||||||
</div>
|
</div>
|
||||||
|
|
||||||
<div class="flex justify-end pt-3 text-sm font-medium">
|
<div class="flex justify-end pt-3 text-sm font-medium">
|
||||||
<button
|
<button
|
||||||
class=" px-4 py-2 bg-emerald-600 hover:bg-emerald-700 text-gray-100 transition rounded"
|
class=" px-4 py-2 bg-emerald-600 hover:bg-emerald-700 text-gray-100 transition rounded"
|
||||||
on:click={() => {
|
on:click={() => {
|
||||||
saveSettings({
|
saveSettings({
|
||||||
seed: (seed !== 0 ? seed : undefined) ?? undefined,
|
options: {
|
||||||
temperature: temperature !== '' ? temperature : undefined,
|
seed: (options.seed !== 0 ? options.seed : undefined) ?? undefined,
|
||||||
repeat_penalty: repeat_penalty !== '' ? repeat_penalty : undefined,
|
stop: options.stop !== '' ? options.stop : undefined,
|
||||||
top_k: top_k !== '' ? top_k : undefined,
|
temperature: options.temperature !== '' ? options.temperature : undefined,
|
||||||
top_p: top_p !== '' ? top_p : undefined,
|
repeat_penalty:
|
||||||
num_ctx: num_ctx !== '' ? num_ctx : undefined
|
options.repeat_penalty !== '' ? options.repeat_penalty : undefined,
|
||||||
|
repeat_last_n:
|
||||||
|
options.repeat_last_n !== '' ? options.repeat_last_n : undefined,
|
||||||
|
mirostat: options.mirostat !== '' ? options.mirostat : undefined,
|
||||||
|
mirostat_eta: options.mirostat_eta !== '' ? options.mirostat_eta : undefined,
|
||||||
|
mirostat_tau: options.mirostat_tau !== '' ? options.mirostat_tau : undefined,
|
||||||
|
top_k: options.top_k !== '' ? options.top_k : undefined,
|
||||||
|
top_p: options.top_p !== '' ? options.top_p : undefined,
|
||||||
|
tfs_z: options.tfs_z !== '' ? options.tfs_z : undefined,
|
||||||
|
num_ctx: options.num_ctx !== '' ? options.num_ctx : undefined
|
||||||
|
}
|
||||||
});
|
});
|
||||||
show = false;
|
show = false;
|
||||||
}}
|
}}
|
||||||
|
|
@ -943,7 +739,7 @@
|
||||||
{pullProgress ?? 0}%
|
{pullProgress ?? 0}%
|
||||||
</div>
|
</div>
|
||||||
</div>
|
</div>
|
||||||
<div class="mt-1 text-xs dark:text-gray-700" style="font-size: 0.5rem;">
|
<div class="mt-1 text-xs dark:text-gray-500" style="font-size: 0.5rem;">
|
||||||
{digest}
|
{digest}
|
||||||
</div>
|
</div>
|
||||||
</div>
|
</div>
|
||||||
|
|
|
||||||
|
|
@ -121,11 +121,11 @@
|
||||||
</button>
|
</button>
|
||||||
</div>
|
</div>
|
||||||
|
|
||||||
<!-- <div class="px-2.5 flex justify-center my-1">
|
<div class="px-2.5 flex justify-center my-1">
|
||||||
<button
|
<button
|
||||||
class="flex-grow flex space-x-3 rounded-md px-3 py-2 hover:bg-gray-900 transition"
|
class="flex-grow flex space-x-3 rounded-md px-3 py-2 hover:bg-gray-900 transition"
|
||||||
on:click={async () => {
|
on:click={async () => {
|
||||||
goto('/presets');
|
goto('/modelfiles');
|
||||||
}}
|
}}
|
||||||
>
|
>
|
||||||
<div class="self-center">
|
<div class="self-center">
|
||||||
|
|
@ -146,10 +146,10 @@
|
||||||
</div>
|
</div>
|
||||||
|
|
||||||
<div class="flex self-center">
|
<div class="flex self-center">
|
||||||
<div class=" self-center font-medium text-sm">Presets</div>
|
<div class=" self-center font-medium text-sm">Modelfiles</div>
|
||||||
</div>
|
</div>
|
||||||
</button>
|
</button>
|
||||||
</div> -->
|
</div>
|
||||||
|
|
||||||
<div class="px-2.5 mt-1 mb-2 flex justify-center space-x-2">
|
<div class="px-2.5 mt-1 mb-2 flex justify-center space-x-2">
|
||||||
<div class="flex w-full">
|
<div class="flex w-full">
|
||||||
|
|
@ -514,7 +514,8 @@
|
||||||
class=" flex rounded-md py-3 px-3.5 w-full hover:bg-gray-900 transition"
|
class=" flex rounded-md py-3 px-3.5 w-full hover:bg-gray-900 transition"
|
||||||
on:click={() => {
|
on:click={() => {
|
||||||
showDeleteHistoryConfirm = true;
|
showDeleteHistoryConfirm = true;
|
||||||
}}>
|
}}
|
||||||
|
>
|
||||||
<div class="mr-3">
|
<div class="mr-3">
|
||||||
<svg
|
<svg
|
||||||
xmlns="http://www.w3.org/2000/svg"
|
xmlns="http://www.w3.org/2000/svg"
|
||||||
|
|
|
||||||
|
|
@ -3,9 +3,7 @@ import { PUBLIC_API_BASE_URL } from '$env/static/public';
|
||||||
|
|
||||||
export const OLLAMA_API_BASE_URL =
|
export const OLLAMA_API_BASE_URL =
|
||||||
PUBLIC_API_BASE_URL === ''
|
PUBLIC_API_BASE_URL === ''
|
||||||
? dev
|
? browser
|
||||||
? `http://${location.hostname}:8080/ollama/api`
|
|
||||||
: browser
|
|
||||||
? `http://${location.hostname}:11434/api`
|
? `http://${location.hostname}:11434/api`
|
||||||
: `http://localhost:11434/api`
|
: `http://localhost:11434/api`
|
||||||
: PUBLIC_API_BASE_URL;
|
: PUBLIC_API_BASE_URL;
|
||||||
|
|
|
||||||
|
|
@ -9,5 +9,6 @@ export const db = writable(undefined);
|
||||||
export const chatId = writable('');
|
export const chatId = writable('');
|
||||||
export const chats = writable([]);
|
export const chats = writable([]);
|
||||||
export const models = writable([]);
|
export const models = writable([]);
|
||||||
|
export const modelfiles = writable([]);
|
||||||
export const settings = writable({});
|
export const settings = writable({});
|
||||||
export const showSettings = writable(false);
|
export const showSettings = writable(false);
|
||||||
|
|
|
||||||
|
|
@ -4,7 +4,17 @@
|
||||||
import { onMount, tick } from 'svelte';
|
import { onMount, tick } from 'svelte';
|
||||||
import { goto } from '$app/navigation';
|
import { goto } from '$app/navigation';
|
||||||
|
|
||||||
import { config, user, showSettings, settings, models, db, chats, chatId } from '$lib/stores';
|
import {
|
||||||
|
config,
|
||||||
|
user,
|
||||||
|
showSettings,
|
||||||
|
settings,
|
||||||
|
models,
|
||||||
|
db,
|
||||||
|
chats,
|
||||||
|
chatId,
|
||||||
|
modelfiles
|
||||||
|
} from '$lib/stores';
|
||||||
|
|
||||||
import SettingsModal from '$lib/components/chat/SettingsModal.svelte';
|
import SettingsModal from '$lib/components/chat/SettingsModal.svelte';
|
||||||
import Sidebar from '$lib/components/layout/Sidebar.svelte';
|
import Sidebar from '$lib/components/layout/Sidebar.svelte';
|
||||||
|
|
@ -78,7 +88,7 @@
|
||||||
};
|
};
|
||||||
|
|
||||||
const getDB = async () => {
|
const getDB = async () => {
|
||||||
const _db = await openDB('Chats', 1, {
|
const DB = await openDB('Chats', 1, {
|
||||||
upgrade(db) {
|
upgrade(db) {
|
||||||
const store = db.createObjectStore('chats', {
|
const store = db.createObjectStore('chats', {
|
||||||
keyPath: 'id',
|
keyPath: 'id',
|
||||||
|
|
@ -89,7 +99,7 @@
|
||||||
});
|
});
|
||||||
|
|
||||||
return {
|
return {
|
||||||
db: _db,
|
db: DB,
|
||||||
getChatById: async function (id) {
|
getChatById: async function (id) {
|
||||||
return await this.db.get('chats', id);
|
return await this.db.get('chats', id);
|
||||||
},
|
},
|
||||||
|
|
@ -162,6 +172,14 @@
|
||||||
let _db = await getDB();
|
let _db = await getDB();
|
||||||
await db.set(_db);
|
await db.set(_db);
|
||||||
|
|
||||||
|
await modelfiles.set(
|
||||||
|
JSON.parse(localStorage.getItem('modelfiles') ?? JSON.stringify($modelfiles))
|
||||||
|
);
|
||||||
|
|
||||||
|
modelfiles.subscribe(async () => {
|
||||||
|
await models.set(await getModels());
|
||||||
|
});
|
||||||
|
|
||||||
await tick();
|
await tick();
|
||||||
loaded = true;
|
loaded = true;
|
||||||
});
|
});
|
||||||
|
|
|
||||||
|
|
@ -7,17 +7,24 @@
|
||||||
import { splitStream } from '$lib/utils';
|
import { splitStream } from '$lib/utils';
|
||||||
import { goto } from '$app/navigation';
|
import { goto } from '$app/navigation';
|
||||||
|
|
||||||
import { config, user, settings, db, chats, chatId } from '$lib/stores';
|
import { config, modelfiles, user, settings, db, chats, chatId } from '$lib/stores';
|
||||||
|
|
||||||
import MessageInput from '$lib/components/chat/MessageInput.svelte';
|
import MessageInput from '$lib/components/chat/MessageInput.svelte';
|
||||||
import Messages from '$lib/components/chat/Messages.svelte';
|
import Messages from '$lib/components/chat/Messages.svelte';
|
||||||
import ModelSelector from '$lib/components/chat/ModelSelector.svelte';
|
import ModelSelector from '$lib/components/chat/ModelSelector.svelte';
|
||||||
import Navbar from '$lib/components/layout/Navbar.svelte';
|
import Navbar from '$lib/components/layout/Navbar.svelte';
|
||||||
|
import { page } from '$app/stores';
|
||||||
|
|
||||||
let stopResponseFlag = false;
|
let stopResponseFlag = false;
|
||||||
let autoScroll = true;
|
let autoScroll = true;
|
||||||
|
|
||||||
let selectedModels = [''];
|
let selectedModels = [''];
|
||||||
|
let selectedModelfile = null;
|
||||||
|
$: selectedModelfile =
|
||||||
|
selectedModels.length === 1 &&
|
||||||
|
$modelfiles.filter((modelfile) => modelfile.tagName === selectedModels[0]).length > 0
|
||||||
|
? $modelfiles.filter((modelfile) => modelfile.tagName === selectedModels[0])[0]
|
||||||
|
: null;
|
||||||
|
|
||||||
let title = '';
|
let title = '';
|
||||||
let prompt = '';
|
let prompt = '';
|
||||||
|
|
@ -64,7 +71,9 @@
|
||||||
messages: {},
|
messages: {},
|
||||||
currentId: null
|
currentId: null
|
||||||
};
|
};
|
||||||
selectedModels = $settings.models ?? [''];
|
selectedModels = $page.url.searchParams.get('models')
|
||||||
|
? $page.url.searchParams.get('models')?.split(',')
|
||||||
|
: $settings.models ?? [''];
|
||||||
};
|
};
|
||||||
|
|
||||||
//////////////////////////
|
//////////////////////////
|
||||||
|
|
@ -126,7 +135,8 @@
|
||||||
repeat_penalty: $settings.repeat_penalty ?? undefined,
|
repeat_penalty: $settings.repeat_penalty ?? undefined,
|
||||||
top_k: $settings.top_k ?? undefined,
|
top_k: $settings.top_k ?? undefined,
|
||||||
top_p: $settings.top_p ?? undefined,
|
top_p: $settings.top_p ?? undefined,
|
||||||
num_ctx: $settings.num_ctx ?? undefined
|
num_ctx: $settings.num_ctx ?? undefined,
|
||||||
|
...($settings.options ?? {})
|
||||||
},
|
},
|
||||||
format: $settings.requestFormat ?? undefined,
|
format: $settings.requestFormat ?? undefined,
|
||||||
context:
|
context:
|
||||||
|
|
@ -198,7 +208,8 @@
|
||||||
repeat_penalty: $settings.repeat_penalty ?? undefined,
|
repeat_penalty: $settings.repeat_penalty ?? undefined,
|
||||||
top_k: $settings.top_k ?? undefined,
|
top_k: $settings.top_k ?? undefined,
|
||||||
top_p: $settings.top_p ?? undefined,
|
top_p: $settings.top_p ?? undefined,
|
||||||
num_ctx: $settings.num_ctx ?? undefined
|
num_ctx: $settings.num_ctx ?? undefined,
|
||||||
|
...($settings.options ?? {})
|
||||||
},
|
},
|
||||||
messages: messages,
|
messages: messages,
|
||||||
history: history
|
history: history
|
||||||
|
|
@ -327,7 +338,8 @@
|
||||||
repeat_penalty: $settings.repeat_penalty ?? undefined,
|
repeat_penalty: $settings.repeat_penalty ?? undefined,
|
||||||
top_k: $settings.top_k ?? undefined,
|
top_k: $settings.top_k ?? undefined,
|
||||||
top_p: $settings.top_p ?? undefined,
|
top_p: $settings.top_p ?? undefined,
|
||||||
num_ctx: $settings.num_ctx ?? undefined
|
num_ctx: $settings.num_ctx ?? undefined,
|
||||||
|
...($settings.options ?? {})
|
||||||
},
|
},
|
||||||
messages: messages,
|
messages: messages,
|
||||||
history: history
|
history: history
|
||||||
|
|
@ -391,7 +403,8 @@
|
||||||
repeat_penalty: $settings.repeat_penalty ?? undefined,
|
repeat_penalty: $settings.repeat_penalty ?? undefined,
|
||||||
top_k: $settings.top_k ?? undefined,
|
top_k: $settings.top_k ?? undefined,
|
||||||
top_p: $settings.top_p ?? undefined,
|
top_p: $settings.top_p ?? undefined,
|
||||||
num_ctx: $settings.num_ctx ?? undefined
|
num_ctx: $settings.num_ctx ?? undefined,
|
||||||
|
...($settings.options ?? {})
|
||||||
},
|
},
|
||||||
messages: messages,
|
messages: messages,
|
||||||
history: history
|
history: history
|
||||||
|
|
@ -483,9 +496,42 @@
|
||||||
</div>
|
</div>
|
||||||
|
|
||||||
<div class=" h-full mt-10 mb-32 w-full flex flex-col">
|
<div class=" h-full mt-10 mb-32 w-full flex flex-col">
|
||||||
<Messages bind:history bind:messages bind:autoScroll {sendPrompt} {regenerateResponse} />
|
<Messages
|
||||||
|
{selectedModels}
|
||||||
|
{selectedModelfile}
|
||||||
|
bind:history
|
||||||
|
bind:messages
|
||||||
|
bind:autoScroll
|
||||||
|
{sendPrompt}
|
||||||
|
{regenerateResponse}
|
||||||
|
/>
|
||||||
</div>
|
</div>
|
||||||
</div>
|
</div>
|
||||||
|
|
||||||
<MessageInput bind:prompt bind:files bind:autoScroll {messages} {submitPrompt} {stopResponse} />
|
<MessageInput
|
||||||
|
bind:prompt
|
||||||
|
bind:files
|
||||||
|
bind:autoScroll
|
||||||
|
suggestionPrompts={selectedModelfile?.suggestionPrompts ?? [
|
||||||
|
{
|
||||||
|
title: ['Help me study', 'vocabulary for a college entrance exam'],
|
||||||
|
content: `Help me study vocabulary: write a sentence for me to fill in the blank, and I'll try to pick the correct option.`
|
||||||
|
},
|
||||||
|
{
|
||||||
|
title: ['Give me ideas', `for what to do with my kids' art`],
|
||||||
|
content: `What are 5 creative things I could do with my kids' art? I don't want to throw them away, but it's also so much clutter.`
|
||||||
|
},
|
||||||
|
{
|
||||||
|
title: ['Tell me a fun fact', 'about the Roman Empire'],
|
||||||
|
content: 'Tell me a random fun fact about the Roman Empire'
|
||||||
|
},
|
||||||
|
{
|
||||||
|
title: ['Show me a code snippet', `of a website's sticky header`],
|
||||||
|
content: `Show me a code snippet of a website's sticky header in CSS and JavaScript.`
|
||||||
|
}
|
||||||
|
]}
|
||||||
|
{messages}
|
||||||
|
{submitPrompt}
|
||||||
|
{stopResponse}
|
||||||
|
/>
|
||||||
</div>
|
</div>
|
||||||
|
|
|
||||||
|
|
@ -6,7 +6,7 @@
|
||||||
import { onMount, tick } from 'svelte';
|
import { onMount, tick } from 'svelte';
|
||||||
import { convertMessagesToHistory, splitStream } from '$lib/utils';
|
import { convertMessagesToHistory, splitStream } from '$lib/utils';
|
||||||
import { goto } from '$app/navigation';
|
import { goto } from '$app/navigation';
|
||||||
import { config, user, settings, db, chats, chatId } from '$lib/stores';
|
import { config, modelfiles, user, settings, db, chats, chatId } from '$lib/stores';
|
||||||
|
|
||||||
import MessageInput from '$lib/components/chat/MessageInput.svelte';
|
import MessageInput from '$lib/components/chat/MessageInput.svelte';
|
||||||
import Messages from '$lib/components/chat/Messages.svelte';
|
import Messages from '$lib/components/chat/Messages.svelte';
|
||||||
|
|
@ -20,6 +20,12 @@
|
||||||
|
|
||||||
// let chatId = $page.params.id;
|
// let chatId = $page.params.id;
|
||||||
let selectedModels = [''];
|
let selectedModels = [''];
|
||||||
|
let selectedModelfile = null;
|
||||||
|
$: selectedModelfile =
|
||||||
|
selectedModels.length === 1 &&
|
||||||
|
$modelfiles.filter((modelfile) => modelfile.tagName === selectedModels[0]).length > 0
|
||||||
|
? $modelfiles.filter((modelfile) => modelfile.tagName === selectedModels[0])[0]
|
||||||
|
: null;
|
||||||
|
|
||||||
let title = '';
|
let title = '';
|
||||||
let prompt = '';
|
let prompt = '';
|
||||||
|
|
@ -161,7 +167,8 @@
|
||||||
repeat_penalty: $settings.repeat_penalty ?? undefined,
|
repeat_penalty: $settings.repeat_penalty ?? undefined,
|
||||||
top_k: $settings.top_k ?? undefined,
|
top_k: $settings.top_k ?? undefined,
|
||||||
top_p: $settings.top_p ?? undefined,
|
top_p: $settings.top_p ?? undefined,
|
||||||
num_ctx: $settings.num_ctx ?? undefined
|
num_ctx: $settings.num_ctx ?? undefined,
|
||||||
|
...($settings.options ?? {})
|
||||||
},
|
},
|
||||||
format: $settings.requestFormat ?? undefined,
|
format: $settings.requestFormat ?? undefined,
|
||||||
context:
|
context:
|
||||||
|
|
@ -233,7 +240,8 @@
|
||||||
repeat_penalty: $settings.repeat_penalty ?? undefined,
|
repeat_penalty: $settings.repeat_penalty ?? undefined,
|
||||||
top_k: $settings.top_k ?? undefined,
|
top_k: $settings.top_k ?? undefined,
|
||||||
top_p: $settings.top_p ?? undefined,
|
top_p: $settings.top_p ?? undefined,
|
||||||
num_ctx: $settings.num_ctx ?? undefined
|
num_ctx: $settings.num_ctx ?? undefined,
|
||||||
|
...($settings.options ?? {})
|
||||||
},
|
},
|
||||||
messages: messages,
|
messages: messages,
|
||||||
history: history
|
history: history
|
||||||
|
|
@ -362,7 +370,8 @@
|
||||||
repeat_penalty: $settings.repeat_penalty ?? undefined,
|
repeat_penalty: $settings.repeat_penalty ?? undefined,
|
||||||
top_k: $settings.top_k ?? undefined,
|
top_k: $settings.top_k ?? undefined,
|
||||||
top_p: $settings.top_p ?? undefined,
|
top_p: $settings.top_p ?? undefined,
|
||||||
num_ctx: $settings.num_ctx ?? undefined
|
num_ctx: $settings.num_ctx ?? undefined,
|
||||||
|
...($settings.options ?? {})
|
||||||
},
|
},
|
||||||
messages: messages,
|
messages: messages,
|
||||||
history: history
|
history: history
|
||||||
|
|
@ -424,7 +433,8 @@
|
||||||
repeat_penalty: $settings.repeat_penalty ?? undefined,
|
repeat_penalty: $settings.repeat_penalty ?? undefined,
|
||||||
top_k: $settings.top_k ?? undefined,
|
top_k: $settings.top_k ?? undefined,
|
||||||
top_p: $settings.top_p ?? undefined,
|
top_p: $settings.top_p ?? undefined,
|
||||||
num_ctx: $settings.num_ctx ?? undefined
|
num_ctx: $settings.num_ctx ?? undefined,
|
||||||
|
...($settings.options ?? {})
|
||||||
},
|
},
|
||||||
messages: messages,
|
messages: messages,
|
||||||
history: history
|
history: history
|
||||||
|
|
@ -517,10 +527,42 @@
|
||||||
</div>
|
</div>
|
||||||
|
|
||||||
<div class=" h-full mt-10 mb-32 w-full flex flex-col">
|
<div class=" h-full mt-10 mb-32 w-full flex flex-col">
|
||||||
<Messages bind:history bind:messages bind:autoScroll {sendPrompt} {regenerateResponse} />
|
<Messages
|
||||||
|
{selectedModels}
|
||||||
|
{selectedModelfile}
|
||||||
|
bind:history
|
||||||
|
bind:messages
|
||||||
|
bind:autoScroll
|
||||||
|
{sendPrompt}
|
||||||
|
{regenerateResponse}
|
||||||
|
/>
|
||||||
</div>
|
</div>
|
||||||
</div>
|
</div>
|
||||||
|
|
||||||
<MessageInput bind:prompt bind:autoScroll {messages} {submitPrompt} {stopResponse} />
|
<MessageInput
|
||||||
|
bind:prompt
|
||||||
|
bind:autoScroll
|
||||||
|
suggestionPrompts={selectedModelfile?.suggestionPrompts ?? [
|
||||||
|
{
|
||||||
|
title: ['Help me study', 'vocabulary for a college entrance exam'],
|
||||||
|
content: `Help me study vocabulary: write a sentence for me to fill in the blank, and I'll try to pick the correct option.`
|
||||||
|
},
|
||||||
|
{
|
||||||
|
title: ['Give me ideas', `for what to do with my kids' art`],
|
||||||
|
content: `What are 5 creative things I could do with my kids' art? I don't want to throw them away, but it's also so much clutter.`
|
||||||
|
},
|
||||||
|
{
|
||||||
|
title: ['Tell me a fun fact', 'about the Roman Empire'],
|
||||||
|
content: 'Tell me a random fun fact about the Roman Empire'
|
||||||
|
},
|
||||||
|
{
|
||||||
|
title: ['Show me a code snippet', `of a website's sticky header`],
|
||||||
|
content: `Show me a code snippet of a website's sticky header in CSS and JavaScript.`
|
||||||
|
}
|
||||||
|
]}
|
||||||
|
{messages}
|
||||||
|
{submitPrompt}
|
||||||
|
{stopResponse}
|
||||||
|
/>
|
||||||
</div>
|
</div>
|
||||||
{/if}
|
{/if}
|
||||||
|
|
|
||||||
159
src/routes/(app)/modelfiles/+page.svelte
Normal file
159
src/routes/(app)/modelfiles/+page.svelte
Normal file
|
|
@ -0,0 +1,159 @@
|
||||||
|
<script lang="ts">
|
||||||
|
import { modelfiles, settings, user } from '$lib/stores';
|
||||||
|
import { onMount } from 'svelte';
|
||||||
|
import toast from 'svelte-french-toast';
|
||||||
|
|
||||||
|
import { OLLAMA_API_BASE_URL } from '$lib/constants';
|
||||||
|
|
||||||
|
const deleteModelHandler = async (tagName) => {
|
||||||
|
let success = null;
|
||||||
|
const res = await fetch(`${OLLAMA_API_BASE_URL}/delete`, {
|
||||||
|
method: 'DELETE',
|
||||||
|
headers: {
|
||||||
|
'Content-Type': 'text/event-stream',
|
||||||
|
...($settings.authHeader && { Authorization: $settings.authHeader }),
|
||||||
|
...($user && { Authorization: `Bearer ${localStorage.token}` })
|
||||||
|
},
|
||||||
|
body: JSON.stringify({
|
||||||
|
name: tagName
|
||||||
|
})
|
||||||
|
})
|
||||||
|
.then(async (res) => {
|
||||||
|
if (!res.ok) throw await res.json();
|
||||||
|
return res.json();
|
||||||
|
})
|
||||||
|
.then((json) => {
|
||||||
|
console.log(json);
|
||||||
|
toast.success(`Deleted ${tagName}`);
|
||||||
|
success = true;
|
||||||
|
return json;
|
||||||
|
})
|
||||||
|
.catch((err) => {
|
||||||
|
console.log(err);
|
||||||
|
toast.error(err.error);
|
||||||
|
return null;
|
||||||
|
});
|
||||||
|
|
||||||
|
return success;
|
||||||
|
};
|
||||||
|
|
||||||
|
const deleteModelfilebyTagName = async (tagName) => {
|
||||||
|
await deleteModelHandler(tagName);
|
||||||
|
await modelfiles.set($modelfiles.filter((modelfile) => modelfile.tagName != tagName));
|
||||||
|
localStorage.setItem('modelfiles', JSON.stringify($modelfiles));
|
||||||
|
};
|
||||||
|
</script>
|
||||||
|
|
||||||
|
<div class="min-h-screen w-full flex justify-center dark:text-white">
|
||||||
|
<div class=" py-2.5 flex flex-col justify-between w-full">
|
||||||
|
<div class="max-w-2xl mx-auto w-full px-3 md:px-0 my-10">
|
||||||
|
<div class=" text-2xl font-semibold mb-6">My Modelfiles</div>
|
||||||
|
|
||||||
|
<a class=" flex space-x-4 cursor-pointer w-full mb-3" href="/modelfiles/create">
|
||||||
|
<div class=" self-center w-10">
|
||||||
|
<div
|
||||||
|
class="w-full h-10 flex justify-center rounded-full bg-transparent dark:bg-gray-700 border border-dashed border-gray-200"
|
||||||
|
>
|
||||||
|
<svg
|
||||||
|
xmlns="http://www.w3.org/2000/svg"
|
||||||
|
viewBox="0 0 24 24"
|
||||||
|
fill="currentColor"
|
||||||
|
class="w-6"
|
||||||
|
>
|
||||||
|
<path
|
||||||
|
fill-rule="evenodd"
|
||||||
|
d="M12 3.75a.75.75 0 01.75.75v6.75h6.75a.75.75 0 010 1.5h-6.75v6.75a.75.75 0 01-1.5 0v-6.75H4.5a.75.75 0 010-1.5h6.75V4.5a.75.75 0 01.75-.75z"
|
||||||
|
clip-rule="evenodd"
|
||||||
|
/>
|
||||||
|
</svg>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class=" self-center">
|
||||||
|
<div class=" font-bold">Create a modelfile</div>
|
||||||
|
<div class=" text-sm">Customize Ollama models for a specific purpose</div>
|
||||||
|
</div>
|
||||||
|
</a>
|
||||||
|
|
||||||
|
{#each $modelfiles as modelfile}
|
||||||
|
<hr class=" dark:border-gray-700 my-2.5" />
|
||||||
|
<div class=" flex space-x-4 cursor-pointer w-full mb-3">
|
||||||
|
<a
|
||||||
|
class=" flex flex-1 space-x-4 cursor-pointer w-full"
|
||||||
|
href={`/?models=${modelfile.tagName}`}
|
||||||
|
>
|
||||||
|
<div class=" self-center w-10">
|
||||||
|
<div class=" rounded-full bg-stone-700">
|
||||||
|
<img
|
||||||
|
src={modelfile.imageUrl ?? '/user.png'}
|
||||||
|
alt="modelfile profile"
|
||||||
|
class=" rounded-full w-full h-auto object-cover"
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class=" flex-1 self-center">
|
||||||
|
<div class=" font-bold capitalize">{modelfile.title}</div>
|
||||||
|
<div class=" text-sm overflow-hidden text-ellipsis line-clamp-2">
|
||||||
|
{modelfile.desc}
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
</a>
|
||||||
|
<div class=" self-center">
|
||||||
|
<a
|
||||||
|
class=" w-fit text-sm px-3 py-2 border dark:border-gray-600 rounded-xl"
|
||||||
|
type="button"
|
||||||
|
href={`/modelfiles/edit?tag=${modelfile.tagName}`}
|
||||||
|
>
|
||||||
|
Edit</a
|
||||||
|
>
|
||||||
|
|
||||||
|
<button
|
||||||
|
class=" w-fit text-sm px-3 py-2 border dark:border-gray-600 rounded-xl"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
deleteModelfilebyTagName(modelfile.tagName);
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
Delete</button
|
||||||
|
>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
{/each}
|
||||||
|
|
||||||
|
<div class=" my-16">
|
||||||
|
<div class=" text-2xl font-semibold mb-6">Made by OllamaHub Community</div>
|
||||||
|
|
||||||
|
<a
|
||||||
|
class=" flex space-x-4 cursor-pointer w-full mb-3"
|
||||||
|
href="https://ollamahub.com/"
|
||||||
|
target="_blank"
|
||||||
|
>
|
||||||
|
<div class=" self-center w-10">
|
||||||
|
<div
|
||||||
|
class="w-full h-10 flex justify-center rounded-full bg-transparent dark:bg-gray-700 border border-dashed border-gray-200"
|
||||||
|
>
|
||||||
|
<svg
|
||||||
|
xmlns="http://www.w3.org/2000/svg"
|
||||||
|
viewBox="0 0 24 24"
|
||||||
|
fill="currentColor"
|
||||||
|
class="w-6"
|
||||||
|
>
|
||||||
|
<path
|
||||||
|
fill-rule="evenodd"
|
||||||
|
d="M12 3.75a.75.75 0 01.75.75v6.75h6.75a.75.75 0 010 1.5h-6.75v6.75a.75.75 0 01-1.5 0v-6.75H4.5a.75.75 0 010-1.5h6.75V4.5a.75.75 0 01.75-.75z"
|
||||||
|
clip-rule="evenodd"
|
||||||
|
/>
|
||||||
|
</svg>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class=" self-center">
|
||||||
|
<div class=" font-bold">Discover a modelfile</div>
|
||||||
|
<div class=" text-sm">Discover, download, and explore Ollama Modelfiles</div>
|
||||||
|
</div>
|
||||||
|
</a>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
685
src/routes/(app)/modelfiles/create/+page.svelte
Normal file
685
src/routes/(app)/modelfiles/create/+page.svelte
Normal file
|
|
@ -0,0 +1,685 @@
|
||||||
|
<script>
|
||||||
|
import { v4 as uuidv4 } from 'uuid';
|
||||||
|
import { toast } from 'svelte-french-toast';
|
||||||
|
import { goto } from '$app/navigation';
|
||||||
|
import { OLLAMA_API_BASE_URL } from '$lib/constants';
|
||||||
|
import { settings, db, user, config, modelfiles, models } from '$lib/stores';
|
||||||
|
|
||||||
|
import Advanced from '$lib/components/chat/Settings/Advanced.svelte';
|
||||||
|
import { splitStream } from '$lib/utils';
|
||||||
|
import { onMount, tick } from 'svelte';
|
||||||
|
|
||||||
|
let loading = false;
|
||||||
|
|
||||||
|
let filesInputElement;
|
||||||
|
let inputFiles;
|
||||||
|
let imageUrl = null;
|
||||||
|
let digest = '';
|
||||||
|
let pullProgress = null;
|
||||||
|
let success = false;
|
||||||
|
|
||||||
|
// ///////////
|
||||||
|
// Modelfile
|
||||||
|
// ///////////
|
||||||
|
|
||||||
|
let title = '';
|
||||||
|
let tagName = '';
|
||||||
|
let desc = '';
|
||||||
|
|
||||||
|
let raw = true;
|
||||||
|
let advanced = false;
|
||||||
|
|
||||||
|
// Raw Mode
|
||||||
|
let content = '';
|
||||||
|
|
||||||
|
// Builder Mode
|
||||||
|
let model = '';
|
||||||
|
let system = '';
|
||||||
|
let template = '';
|
||||||
|
let options = {
|
||||||
|
// Advanced
|
||||||
|
seed: 0,
|
||||||
|
stop: '',
|
||||||
|
temperature: '',
|
||||||
|
repeat_penalty: '',
|
||||||
|
repeat_last_n: '',
|
||||||
|
mirostat: '',
|
||||||
|
mirostat_eta: '',
|
||||||
|
mirostat_tau: '',
|
||||||
|
top_k: '',
|
||||||
|
top_p: '',
|
||||||
|
tfs_z: '',
|
||||||
|
num_ctx: ''
|
||||||
|
};
|
||||||
|
|
||||||
|
$: tagName = title !== '' ? `${title.replace(/\s+/g, '-').toLowerCase()}:latest` : '';
|
||||||
|
|
||||||
|
$: if (!raw) {
|
||||||
|
content = `FROM ${model}
|
||||||
|
${template !== '' ? `TEMPLATE """${template}"""` : ''}
|
||||||
|
${options.seed !== 0 ? `PARAMETER seed ${options.seed}` : ''}
|
||||||
|
${options.stop !== '' ? `PARAMETER stop ${options.stop}` : ''}
|
||||||
|
${options.temperature !== '' ? `PARAMETER temperature ${options.temperature}` : ''}
|
||||||
|
${options.repeat_penalty !== '' ? `PARAMETER repeat_penalty ${options.repeat_penalty}` : ''}
|
||||||
|
${options.repeat_last_n !== '' ? `PARAMETER repeat_last_n ${options.repeat_last_n}` : ''}
|
||||||
|
${options.mirostat !== '' ? `PARAMETER mirostat ${options.mirostat}` : ''}
|
||||||
|
${options.mirostat_eta !== '' ? `PARAMETER mirostat_eta ${options.mirostat_eta}` : ''}
|
||||||
|
${options.mirostat_tau !== '' ? `PARAMETER mirostat_tau ${options.mirostat_tau}` : ''}
|
||||||
|
${options.top_k !== '' ? `PARAMETER top_k ${options.top_k}` : ''}
|
||||||
|
${options.top_p !== '' ? `PARAMETER top_p ${options.top_p}` : ''}
|
||||||
|
${options.tfs_z !== '' ? `PARAMETER tfs_z ${options.tfs_z}` : ''}
|
||||||
|
${options.num_ctx !== '' ? `PARAMETER num_ctx ${options.num_ctx}` : ''}
|
||||||
|
SYSTEM """${system}"""`.replace(/^\s*\n/gm, '');
|
||||||
|
}
|
||||||
|
|
||||||
|
let suggestions = [
|
||||||
|
{
|
||||||
|
content: ''
|
||||||
|
}
|
||||||
|
];
|
||||||
|
|
||||||
|
let categories = {
|
||||||
|
character: false,
|
||||||
|
assistant: false,
|
||||||
|
writing: false,
|
||||||
|
productivity: false,
|
||||||
|
programming: false,
|
||||||
|
'data analysis': false,
|
||||||
|
lifestyle: false,
|
||||||
|
education: false,
|
||||||
|
business: false
|
||||||
|
};
|
||||||
|
|
||||||
|
const saveModelfile = async (modelfile) => {
|
||||||
|
await modelfiles.set([...$modelfiles, modelfile]);
|
||||||
|
localStorage.setItem('modelfiles', JSON.stringify($modelfiles));
|
||||||
|
};
|
||||||
|
|
||||||
|
const submitHandler = async () => {
|
||||||
|
loading = true;
|
||||||
|
|
||||||
|
if (Object.keys(categories).filter((category) => categories[category]).length == 0) {
|
||||||
|
toast.error(
|
||||||
|
'Uh-oh! It looks like you missed selecting a category. Please choose one to complete your modelfile.'
|
||||||
|
);
|
||||||
|
loading = false;
|
||||||
|
success = false;
|
||||||
|
return success;
|
||||||
|
}
|
||||||
|
|
||||||
|
if ($models.includes(tagName)) {
|
||||||
|
toast.error(
|
||||||
|
`Uh-oh! It looks like you already have a model named '${tagName}'. Please choose a different name to complete your modelfile.`
|
||||||
|
);
|
||||||
|
loading = false;
|
||||||
|
success = false;
|
||||||
|
return success;
|
||||||
|
}
|
||||||
|
|
||||||
|
if (
|
||||||
|
title !== '' &&
|
||||||
|
desc !== '' &&
|
||||||
|
content !== '' &&
|
||||||
|
Object.keys(categories).filter((category) => categories[category]).length > 0 &&
|
||||||
|
!$models.includes(tagName)
|
||||||
|
) {
|
||||||
|
const res = await fetch(`${$settings?.API_BASE_URL ?? OLLAMA_API_BASE_URL}/create`, {
|
||||||
|
method: 'POST',
|
||||||
|
headers: {
|
||||||
|
'Content-Type': 'text/event-stream',
|
||||||
|
...($settings.authHeader && { Authorization: $settings.authHeader }),
|
||||||
|
...($user && { Authorization: `Bearer ${localStorage.token}` })
|
||||||
|
},
|
||||||
|
body: JSON.stringify({
|
||||||
|
name: tagName,
|
||||||
|
modelfile: content
|
||||||
|
})
|
||||||
|
});
|
||||||
|
|
||||||
|
if (res) {
|
||||||
|
const reader = res.body
|
||||||
|
.pipeThrough(new TextDecoderStream())
|
||||||
|
.pipeThrough(splitStream('\n'))
|
||||||
|
.getReader();
|
||||||
|
|
||||||
|
while (true) {
|
||||||
|
const { value, done } = await reader.read();
|
||||||
|
if (done) break;
|
||||||
|
|
||||||
|
try {
|
||||||
|
let lines = value.split('\n');
|
||||||
|
|
||||||
|
for (const line of lines) {
|
||||||
|
if (line !== '') {
|
||||||
|
console.log(line);
|
||||||
|
let data = JSON.parse(line);
|
||||||
|
console.log(data);
|
||||||
|
|
||||||
|
if (data.error) {
|
||||||
|
throw data.error;
|
||||||
|
}
|
||||||
|
if (data.detail) {
|
||||||
|
throw data.detail;
|
||||||
|
}
|
||||||
|
|
||||||
|
if (data.status) {
|
||||||
|
if (
|
||||||
|
!data.digest &&
|
||||||
|
!data.status.includes('writing') &&
|
||||||
|
!data.status.includes('sha256')
|
||||||
|
) {
|
||||||
|
toast.success(data.status);
|
||||||
|
|
||||||
|
if (data.status === 'success') {
|
||||||
|
success = true;
|
||||||
|
}
|
||||||
|
} else {
|
||||||
|
if (data.digest) {
|
||||||
|
digest = data.digest;
|
||||||
|
|
||||||
|
if (data.completed) {
|
||||||
|
pullProgress = Math.round((data.completed / data.total) * 1000) / 10;
|
||||||
|
} else {
|
||||||
|
pullProgress = 100;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
} catch (error) {
|
||||||
|
console.log(error);
|
||||||
|
toast.error(error);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if (success) {
|
||||||
|
await saveModelfile({
|
||||||
|
tagName: tagName,
|
||||||
|
imageUrl: imageUrl,
|
||||||
|
title: title,
|
||||||
|
desc: desc,
|
||||||
|
content: content,
|
||||||
|
suggestionPrompts: suggestions.filter((prompt) => prompt.content !== ''),
|
||||||
|
categories: Object.keys(categories).filter((category) => categories[category])
|
||||||
|
});
|
||||||
|
await goto('/modelfiles');
|
||||||
|
}
|
||||||
|
}
|
||||||
|
loading = false;
|
||||||
|
success = false;
|
||||||
|
};
|
||||||
|
|
||||||
|
onMount(() => {
|
||||||
|
window.addEventListener('message', async (event) => {
|
||||||
|
if (
|
||||||
|
!['https://ollamahub.com', 'https://www.ollamahub.com', 'http://localhost:5173'].includes(
|
||||||
|
event.origin
|
||||||
|
)
|
||||||
|
)
|
||||||
|
return;
|
||||||
|
const modelfile = JSON.parse(event.data);
|
||||||
|
console.log(modelfile);
|
||||||
|
|
||||||
|
imageUrl = modelfile.imageUrl;
|
||||||
|
title = modelfile.title;
|
||||||
|
await tick();
|
||||||
|
tagName = `${modelfile.user.username}/${modelfile.tagName}`;
|
||||||
|
desc = modelfile.desc;
|
||||||
|
content = modelfile.content;
|
||||||
|
suggestions =
|
||||||
|
modelfile.suggestionPrompts.length != 0
|
||||||
|
? modelfile.suggestionPrompts
|
||||||
|
: [
|
||||||
|
{
|
||||||
|
content: ''
|
||||||
|
}
|
||||||
|
];
|
||||||
|
|
||||||
|
for (const category of modelfile.categories) {
|
||||||
|
categories[category.toLowerCase()] = true;
|
||||||
|
}
|
||||||
|
});
|
||||||
|
window.opener.postMessage('loaded', '*');
|
||||||
|
});
|
||||||
|
</script>
|
||||||
|
|
||||||
|
<div class="min-h-screen w-full flex justify-center dark:text-white">
|
||||||
|
<div class=" py-2.5 flex flex-col justify-between w-full">
|
||||||
|
<div class="max-w-2xl mx-auto w-full px-3 md:px-0 my-10">
|
||||||
|
<input
|
||||||
|
bind:this={filesInputElement}
|
||||||
|
bind:files={inputFiles}
|
||||||
|
type="file"
|
||||||
|
hidden
|
||||||
|
accept="image/*"
|
||||||
|
on:change={() => {
|
||||||
|
let reader = new FileReader();
|
||||||
|
reader.onload = (event) => {
|
||||||
|
let originalImageUrl = `${event.target.result}`;
|
||||||
|
|
||||||
|
const img = new Image();
|
||||||
|
img.src = originalImageUrl;
|
||||||
|
|
||||||
|
img.onload = function () {
|
||||||
|
const canvas = document.createElement('canvas');
|
||||||
|
const ctx = canvas.getContext('2d');
|
||||||
|
|
||||||
|
// Calculate the aspect ratio of the image
|
||||||
|
const aspectRatio = img.width / img.height;
|
||||||
|
|
||||||
|
// Calculate the new width and height to fit within 100x100
|
||||||
|
let newWidth, newHeight;
|
||||||
|
if (aspectRatio > 1) {
|
||||||
|
newWidth = 100 * aspectRatio;
|
||||||
|
newHeight = 100;
|
||||||
|
} else {
|
||||||
|
newWidth = 100;
|
||||||
|
newHeight = 100 / aspectRatio;
|
||||||
|
}
|
||||||
|
|
||||||
|
// Set the canvas size
|
||||||
|
canvas.width = 100;
|
||||||
|
canvas.height = 100;
|
||||||
|
|
||||||
|
// Calculate the position to center the image
|
||||||
|
const offsetX = (100 - newWidth) / 2;
|
||||||
|
const offsetY = (100 - newHeight) / 2;
|
||||||
|
|
||||||
|
// Draw the image on the canvas
|
||||||
|
ctx.drawImage(img, offsetX, offsetY, newWidth, newHeight);
|
||||||
|
|
||||||
|
// Get the base64 representation of the compressed image
|
||||||
|
const compressedSrc = canvas.toDataURL('image/jpeg');
|
||||||
|
|
||||||
|
// Display the compressed image
|
||||||
|
imageUrl = compressedSrc;
|
||||||
|
|
||||||
|
inputFiles = null;
|
||||||
|
};
|
||||||
|
};
|
||||||
|
|
||||||
|
if (
|
||||||
|
inputFiles &&
|
||||||
|
inputFiles.length > 0 &&
|
||||||
|
['image/gif', 'image/jpeg', 'image/png'].includes(inputFiles[0]['type'])
|
||||||
|
) {
|
||||||
|
reader.readAsDataURL(inputFiles[0]);
|
||||||
|
} else {
|
||||||
|
console.log(`Unsupported File Type '${inputFiles[0]['type']}'.`);
|
||||||
|
inputFiles = null;
|
||||||
|
}
|
||||||
|
}}
|
||||||
|
/>
|
||||||
|
|
||||||
|
<div class=" text-2xl font-semibold mb-6">My Modelfiles</div>
|
||||||
|
|
||||||
|
<button
|
||||||
|
class="flex space-x-1"
|
||||||
|
on:click={() => {
|
||||||
|
history.back();
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
<div class=" self-center">
|
||||||
|
<svg
|
||||||
|
xmlns="http://www.w3.org/2000/svg"
|
||||||
|
viewBox="0 0 20 20"
|
||||||
|
fill="currentColor"
|
||||||
|
class="w-4 h-4"
|
||||||
|
>
|
||||||
|
<path
|
||||||
|
fill-rule="evenodd"
|
||||||
|
d="M17 10a.75.75 0 01-.75.75H5.612l4.158 3.96a.75.75 0 11-1.04 1.08l-5.5-5.25a.75.75 0 010-1.08l5.5-5.25a.75.75 0 111.04 1.08L5.612 9.25H16.25A.75.75 0 0117 10z"
|
||||||
|
clip-rule="evenodd"
|
||||||
|
/>
|
||||||
|
</svg>
|
||||||
|
</div>
|
||||||
|
<div class=" self-center font-medium text-sm">Back</div>
|
||||||
|
</button>
|
||||||
|
<hr class="my-3 dark:border-gray-700" />
|
||||||
|
|
||||||
|
<form
|
||||||
|
class="flex flex-col"
|
||||||
|
on:submit|preventDefault={() => {
|
||||||
|
submitHandler();
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
<div class="flex justify-center my-4">
|
||||||
|
<div class="self-center">
|
||||||
|
<button
|
||||||
|
class=" {imageUrl
|
||||||
|
? ''
|
||||||
|
: 'p-6'} rounded-full dark:bg-gray-700 border border-dashed border-gray-200"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
filesInputElement.click();
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
{#if imageUrl}
|
||||||
|
<img
|
||||||
|
src={imageUrl}
|
||||||
|
alt="modelfile profile"
|
||||||
|
class=" rounded-full w-20 h-20 object-cover"
|
||||||
|
/>
|
||||||
|
{:else}
|
||||||
|
<svg
|
||||||
|
xmlns="http://www.w3.org/2000/svg"
|
||||||
|
viewBox="0 0 24 24"
|
||||||
|
fill="currentColor"
|
||||||
|
class="w-8"
|
||||||
|
>
|
||||||
|
<path
|
||||||
|
fill-rule="evenodd"
|
||||||
|
d="M12 3.75a.75.75 0 01.75.75v6.75h6.75a.75.75 0 010 1.5h-6.75v6.75a.75.75 0 01-1.5 0v-6.75H4.5a.75.75 0 010-1.5h6.75V4.5a.75.75 0 01.75-.75z"
|
||||||
|
clip-rule="evenodd"
|
||||||
|
/>
|
||||||
|
</svg>
|
||||||
|
{/if}
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class="my-2 flex space-x-2">
|
||||||
|
<div class="flex-1">
|
||||||
|
<div class=" text-sm font-semibold mb-2">Name*</div>
|
||||||
|
|
||||||
|
<div>
|
||||||
|
<input
|
||||||
|
class="px-3 py-1.5 text-sm w-full bg-transparent border dark:border-gray-600 outline-none rounded-lg"
|
||||||
|
placeholder="Name your modelfile"
|
||||||
|
bind:value={title}
|
||||||
|
required
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class="flex-1">
|
||||||
|
<div class=" text-sm font-semibold mb-2">Model Tag Name*</div>
|
||||||
|
|
||||||
|
<div>
|
||||||
|
<input
|
||||||
|
class="px-3 py-1.5 text-sm w-full bg-transparent border dark:border-gray-600 outline-none rounded-lg"
|
||||||
|
placeholder="Add a model tag name"
|
||||||
|
bind:value={tagName}
|
||||||
|
required
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class="my-2">
|
||||||
|
<div class=" text-sm font-semibold mb-2">Description*</div>
|
||||||
|
|
||||||
|
<div>
|
||||||
|
<input
|
||||||
|
class="px-3 py-1.5 text-sm w-full bg-transparent border dark:border-gray-600 outline-none rounded-lg"
|
||||||
|
placeholder="Add a short description about what this modelfile does"
|
||||||
|
bind:value={desc}
|
||||||
|
required
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class="my-2">
|
||||||
|
<div class="flex w-full justify-between">
|
||||||
|
<div class=" self-center text-sm font-semibold">Modelfile</div>
|
||||||
|
|
||||||
|
<button
|
||||||
|
class="p-1 px-3 text-xs flex rounded transition"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
raw = !raw;
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
{#if raw}
|
||||||
|
<span class="ml-2 self-center"> Raw Format </span>
|
||||||
|
{:else}
|
||||||
|
<span class="ml-2 self-center"> Builder Mode </span>
|
||||||
|
{/if}
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<!-- <div class=" text-sm font-semibold mb-2"></div> -->
|
||||||
|
|
||||||
|
{#if raw}
|
||||||
|
<div class="mt-2">
|
||||||
|
<div class=" text-xs font-semibold mb-2">Content*</div>
|
||||||
|
|
||||||
|
<div>
|
||||||
|
<textarea
|
||||||
|
class="px-3 py-1.5 text-sm w-full bg-transparent border dark:border-gray-600 outline-none rounded-lg"
|
||||||
|
placeholder={`FROM llama2\nPARAMETER temperature 1\nSYSTEM """\nYou are Mario from Super Mario Bros, acting as an assistant.\n"""`}
|
||||||
|
rows="6"
|
||||||
|
bind:value={content}
|
||||||
|
required
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class="text-xs text-gray-400 dark:text-gray-500">
|
||||||
|
Not sure what to write? Switch to <button
|
||||||
|
class="text-gray-500 dark:text-gray-300 font-medium cursor-pointer"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
raw = !raw;
|
||||||
|
}}>Builder Mode</button
|
||||||
|
>
|
||||||
|
or
|
||||||
|
<a
|
||||||
|
class=" text-gray-500 dark:text-gray-300 font-medium"
|
||||||
|
href="https://ollamahub.com"
|
||||||
|
target="_blank"
|
||||||
|
>
|
||||||
|
Click here to check other modelfiles.
|
||||||
|
</a>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
{:else}
|
||||||
|
<div class="my-2">
|
||||||
|
<div class=" text-xs font-semibold mb-2">From (Base Model)*</div>
|
||||||
|
|
||||||
|
<div>
|
||||||
|
<input
|
||||||
|
class="px-3 py-1.5 text-sm w-full bg-transparent border dark:border-gray-600 outline-none rounded-lg"
|
||||||
|
placeholder="Write a modelfile base model name (e.g. llama2, mistral)"
|
||||||
|
bind:value={model}
|
||||||
|
required
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class="mt-1 text-xs text-gray-400 dark:text-gray-500">
|
||||||
|
To access the available model names for downloading, <a
|
||||||
|
class=" text-gray-500 dark:text-gray-300 font-medium"
|
||||||
|
href="https://ollama.ai/library"
|
||||||
|
target="_blank">click here.</a
|
||||||
|
>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class="my-1">
|
||||||
|
<div class=" text-xs font-semibold mb-2">System Prompt</div>
|
||||||
|
|
||||||
|
<div>
|
||||||
|
<textarea
|
||||||
|
class="px-3 py-1.5 text-sm w-full bg-transparent border dark:border-gray-600 outline-none rounded-lg -mb-1"
|
||||||
|
placeholder={`Write your modelfile system prompt content here\ne.g.) You are Mario from Super Mario Bros, acting as an assistant.`}
|
||||||
|
rows="4"
|
||||||
|
bind:value={system}
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class="flex w-full justify-between">
|
||||||
|
<div class=" self-center text-sm font-semibold">Modelfile Advanced Settings</div>
|
||||||
|
|
||||||
|
<button
|
||||||
|
class="p-1 px-3 text-xs flex rounded transition"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
advanced = !advanced;
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
{#if advanced}
|
||||||
|
<span class="ml-2 self-center"> Custom </span>
|
||||||
|
{:else}
|
||||||
|
<span class="ml-2 self-center"> Default </span>
|
||||||
|
{/if}
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
{#if advanced}
|
||||||
|
<div class="my-2">
|
||||||
|
<div class=" text-xs font-semibold mb-2">Template</div>
|
||||||
|
|
||||||
|
<div>
|
||||||
|
<textarea
|
||||||
|
class="px-3 py-1.5 text-sm w-full bg-transparent border dark:border-gray-600 outline-none rounded-lg -mb-1"
|
||||||
|
placeholder="Write your modelfile template content here"
|
||||||
|
rows="4"
|
||||||
|
bind:value={template}
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class="my-2">
|
||||||
|
<div class=" text-xs font-semibold mb-2">Parameters</div>
|
||||||
|
|
||||||
|
<div>
|
||||||
|
<Advanced bind:options />
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
{/if}
|
||||||
|
{/if}
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class="my-2">
|
||||||
|
<div class="flex w-full justify-between mb-2">
|
||||||
|
<div class=" self-center text-sm font-semibold">Prompt suggestions</div>
|
||||||
|
|
||||||
|
<button
|
||||||
|
class="p-1 px-3 text-xs flex rounded transition"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
if (suggestions.length === 0 || suggestions.at(-1).content !== '') {
|
||||||
|
suggestions = [...suggestions, { content: '' }];
|
||||||
|
}
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
<svg
|
||||||
|
xmlns="http://www.w3.org/2000/svg"
|
||||||
|
viewBox="0 0 20 20"
|
||||||
|
fill="currentColor"
|
||||||
|
class="w-4 h-4"
|
||||||
|
>
|
||||||
|
<path
|
||||||
|
d="M10.75 4.75a.75.75 0 00-1.5 0v4.5h-4.5a.75.75 0 000 1.5h4.5v4.5a.75.75 0 001.5 0v-4.5h4.5a.75.75 0 000-1.5h-4.5v-4.5z"
|
||||||
|
/>
|
||||||
|
</svg>
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
<div class="flex flex-col space-y-1">
|
||||||
|
{#each suggestions as prompt, promptIdx}
|
||||||
|
<div class=" flex border dark:border-gray-600 rounded-lg">
|
||||||
|
<input
|
||||||
|
class="px-3 py-1.5 text-sm w-full bg-transparent outline-none border-r dark:border-gray-600"
|
||||||
|
placeholder="Write a prompt suggestion (e.g. Who are you?)"
|
||||||
|
bind:value={prompt.content}
|
||||||
|
/>
|
||||||
|
|
||||||
|
<button
|
||||||
|
class="px-2"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
suggestions.splice(promptIdx, 1);
|
||||||
|
suggestions = suggestions;
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
<svg
|
||||||
|
xmlns="http://www.w3.org/2000/svg"
|
||||||
|
viewBox="0 0 20 20"
|
||||||
|
fill="currentColor"
|
||||||
|
class="w-4 h-4"
|
||||||
|
>
|
||||||
|
<path
|
||||||
|
d="M6.28 5.22a.75.75 0 00-1.06 1.06L8.94 10l-3.72 3.72a.75.75 0 101.06 1.06L10 11.06l3.72 3.72a.75.75 0 101.06-1.06L11.06 10l3.72-3.72a.75.75 0 00-1.06-1.06L10 8.94 6.28 5.22z"
|
||||||
|
/>
|
||||||
|
</svg>
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
{/each}
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class="my-2">
|
||||||
|
<div class=" text-sm font-semibold mb-2">Categories</div>
|
||||||
|
|
||||||
|
<div class="grid grid-cols-4">
|
||||||
|
{#each Object.keys(categories) as category}
|
||||||
|
<div class="flex space-x-2 text-sm">
|
||||||
|
<input type="checkbox" bind:checked={categories[category]} />
|
||||||
|
<div class="capitalize">{category}</div>
|
||||||
|
</div>
|
||||||
|
{/each}
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
{#if pullProgress !== null}
|
||||||
|
<div class="my-2">
|
||||||
|
<div class=" text-sm font-semibold mb-2">Pull Progress</div>
|
||||||
|
<div class="w-full rounded-full dark:bg-gray-800">
|
||||||
|
<div
|
||||||
|
class="dark:bg-gray-600 text-xs font-medium text-blue-100 text-center p-0.5 leading-none rounded-full"
|
||||||
|
style="width: {Math.max(15, pullProgress ?? 0)}%"
|
||||||
|
>
|
||||||
|
{pullProgress ?? 0}%
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
<div class="mt-1 text-xs dark:text-gray-500" style="font-size: 0.5rem;">
|
||||||
|
{digest}
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
{/if}
|
||||||
|
|
||||||
|
<div class="my-2 flex justify-end">
|
||||||
|
<button
|
||||||
|
class=" text-sm px-3 py-2 transition rounded-xl {loading
|
||||||
|
? ' cursor-not-allowed bg-gray-100 dark:bg-gray-800'
|
||||||
|
: ' bg-gray-50 hover:bg-gray-100 dark:bg-gray-700 dark:hover:bg-gray-800'} flex"
|
||||||
|
type="submit"
|
||||||
|
disabled={loading}
|
||||||
|
>
|
||||||
|
<div class=" self-center font-medium">Save & Create</div>
|
||||||
|
|
||||||
|
{#if loading}
|
||||||
|
<div class="ml-1.5 self-center">
|
||||||
|
<svg
|
||||||
|
class=" w-4 h-4"
|
||||||
|
viewBox="0 0 24 24"
|
||||||
|
fill="currentColor"
|
||||||
|
xmlns="http://www.w3.org/2000/svg"
|
||||||
|
><style>
|
||||||
|
.spinner_ajPY {
|
||||||
|
transform-origin: center;
|
||||||
|
animation: spinner_AtaB 0.75s infinite linear;
|
||||||
|
}
|
||||||
|
@keyframes spinner_AtaB {
|
||||||
|
100% {
|
||||||
|
transform: rotate(360deg);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
</style><path
|
||||||
|
d="M12,1A11,11,0,1,0,23,12,11,11,0,0,0,12,1Zm0,19a8,8,0,1,1,8-8A8,8,0,0,1,12,20Z"
|
||||||
|
opacity=".25"
|
||||||
|
/><path
|
||||||
|
d="M10.14,1.16a11,11,0,0,0-9,8.92A1.59,1.59,0,0,0,2.46,12,1.52,1.52,0,0,0,4.11,10.7a8,8,0,0,1,6.66-6.61A1.42,1.42,0,0,0,12,2.69h0A1.57,1.57,0,0,0,10.14,1.16Z"
|
||||||
|
class="spinner_ajPY"
|
||||||
|
/></svg
|
||||||
|
>
|
||||||
|
</div>
|
||||||
|
{/if}
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
</form>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
528
src/routes/(app)/modelfiles/edit/+page.svelte
Normal file
528
src/routes/(app)/modelfiles/edit/+page.svelte
Normal file
|
|
@ -0,0 +1,528 @@
|
||||||
|
<script>
|
||||||
|
import { v4 as uuidv4 } from 'uuid';
|
||||||
|
import { toast } from 'svelte-french-toast';
|
||||||
|
import { goto } from '$app/navigation';
|
||||||
|
import { OLLAMA_API_BASE_URL } from '$lib/constants';
|
||||||
|
import { settings, db, user, config, modelfiles } from '$lib/stores';
|
||||||
|
|
||||||
|
import Advanced from '$lib/components/chat/Settings/Advanced.svelte';
|
||||||
|
import { splitStream } from '$lib/utils';
|
||||||
|
import { onMount } from 'svelte';
|
||||||
|
import { page } from '$app/stores';
|
||||||
|
|
||||||
|
let loading = false;
|
||||||
|
|
||||||
|
let filesInputElement;
|
||||||
|
let inputFiles;
|
||||||
|
let imageUrl = null;
|
||||||
|
let digest = '';
|
||||||
|
let pullProgress = null;
|
||||||
|
let success = false;
|
||||||
|
|
||||||
|
let modelfile = null;
|
||||||
|
// ///////////
|
||||||
|
// Modelfile
|
||||||
|
// ///////////
|
||||||
|
|
||||||
|
let title = '';
|
||||||
|
let tagName = '';
|
||||||
|
let desc = '';
|
||||||
|
|
||||||
|
// Raw Mode
|
||||||
|
let content = '';
|
||||||
|
|
||||||
|
let suggestions = [
|
||||||
|
{
|
||||||
|
content: ''
|
||||||
|
}
|
||||||
|
];
|
||||||
|
|
||||||
|
let categories = {
|
||||||
|
character: false,
|
||||||
|
assistant: false,
|
||||||
|
writing: false,
|
||||||
|
productivity: false,
|
||||||
|
programming: false,
|
||||||
|
'data analysis': false,
|
||||||
|
lifestyle: false,
|
||||||
|
education: false,
|
||||||
|
business: false
|
||||||
|
};
|
||||||
|
|
||||||
|
onMount(() => {
|
||||||
|
tagName = $page.url.searchParams.get('tag');
|
||||||
|
|
||||||
|
if (tagName) {
|
||||||
|
modelfile = $modelfiles.filter((modelfile) => modelfile.tagName === tagName)[0];
|
||||||
|
|
||||||
|
console.log(modelfile);
|
||||||
|
|
||||||
|
imageUrl = modelfile.imageUrl;
|
||||||
|
title = modelfile.title;
|
||||||
|
desc = modelfile.desc;
|
||||||
|
content = modelfile.content;
|
||||||
|
suggestions =
|
||||||
|
modelfile.suggestionPrompts.length != 0
|
||||||
|
? modelfile.suggestionPrompts
|
||||||
|
: [
|
||||||
|
{
|
||||||
|
content: ''
|
||||||
|
}
|
||||||
|
];
|
||||||
|
|
||||||
|
for (const category of modelfile.categories) {
|
||||||
|
categories[category.toLowerCase()] = true;
|
||||||
|
}
|
||||||
|
} else {
|
||||||
|
goto('/modelfiles');
|
||||||
|
}
|
||||||
|
});
|
||||||
|
|
||||||
|
const saveModelfile = async (modelfile) => {
|
||||||
|
await modelfiles.set(
|
||||||
|
$modelfiles.map((e) => {
|
||||||
|
if (e.tagName === modelfile.tagName) {
|
||||||
|
return modelfile;
|
||||||
|
} else {
|
||||||
|
return e;
|
||||||
|
}
|
||||||
|
})
|
||||||
|
);
|
||||||
|
localStorage.setItem('modelfiles', JSON.stringify($modelfiles));
|
||||||
|
};
|
||||||
|
|
||||||
|
const updateHandler = async () => {
|
||||||
|
loading = true;
|
||||||
|
|
||||||
|
if (Object.keys(categories).filter((category) => categories[category]).length == 0) {
|
||||||
|
toast.error(
|
||||||
|
'Uh-oh! It looks like you missed selecting a category. Please choose one to complete your modelfile.'
|
||||||
|
);
|
||||||
|
}
|
||||||
|
|
||||||
|
if (
|
||||||
|
title !== '' &&
|
||||||
|
desc !== '' &&
|
||||||
|
content !== '' &&
|
||||||
|
Object.keys(categories).filter((category) => categories[category]).length > 0
|
||||||
|
) {
|
||||||
|
const res = await fetch(`${$settings?.API_BASE_URL ?? OLLAMA_API_BASE_URL}/create`, {
|
||||||
|
method: 'POST',
|
||||||
|
headers: {
|
||||||
|
'Content-Type': 'text/event-stream',
|
||||||
|
...($settings.authHeader && { Authorization: $settings.authHeader }),
|
||||||
|
...($user && { Authorization: `Bearer ${localStorage.token}` })
|
||||||
|
},
|
||||||
|
body: JSON.stringify({
|
||||||
|
name: tagName,
|
||||||
|
modelfile: content
|
||||||
|
})
|
||||||
|
});
|
||||||
|
|
||||||
|
if (res) {
|
||||||
|
const reader = res.body
|
||||||
|
.pipeThrough(new TextDecoderStream())
|
||||||
|
.pipeThrough(splitStream('\n'))
|
||||||
|
.getReader();
|
||||||
|
|
||||||
|
while (true) {
|
||||||
|
const { value, done } = await reader.read();
|
||||||
|
if (done) break;
|
||||||
|
|
||||||
|
try {
|
||||||
|
let lines = value.split('\n');
|
||||||
|
|
||||||
|
for (const line of lines) {
|
||||||
|
if (line !== '') {
|
||||||
|
console.log(line);
|
||||||
|
let data = JSON.parse(line);
|
||||||
|
console.log(data);
|
||||||
|
|
||||||
|
if (data.error) {
|
||||||
|
throw data.error;
|
||||||
|
}
|
||||||
|
if (data.detail) {
|
||||||
|
throw data.detail;
|
||||||
|
}
|
||||||
|
|
||||||
|
if (data.status) {
|
||||||
|
if (
|
||||||
|
!data.digest &&
|
||||||
|
!data.status.includes('writing') &&
|
||||||
|
!data.status.includes('sha256')
|
||||||
|
) {
|
||||||
|
toast.success(data.status);
|
||||||
|
|
||||||
|
if (data.status === 'success') {
|
||||||
|
success = true;
|
||||||
|
}
|
||||||
|
} else {
|
||||||
|
if (data.digest) {
|
||||||
|
digest = data.digest;
|
||||||
|
|
||||||
|
if (data.completed) {
|
||||||
|
pullProgress = Math.round((data.completed / data.total) * 1000) / 10;
|
||||||
|
} else {
|
||||||
|
pullProgress = 100;
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
} catch (error) {
|
||||||
|
console.log(error);
|
||||||
|
toast.error(error);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if (success) {
|
||||||
|
await saveModelfile({
|
||||||
|
tagName: tagName,
|
||||||
|
imageUrl: imageUrl,
|
||||||
|
title: title,
|
||||||
|
desc: desc,
|
||||||
|
content: content,
|
||||||
|
suggestionPrompts: suggestions.filter((prompt) => prompt.content !== ''),
|
||||||
|
categories: Object.keys(categories).filter((category) => categories[category])
|
||||||
|
});
|
||||||
|
await goto('/modelfiles');
|
||||||
|
}
|
||||||
|
}
|
||||||
|
loading = false;
|
||||||
|
success = false;
|
||||||
|
};
|
||||||
|
</script>
|
||||||
|
|
||||||
|
<div class="min-h-screen w-full flex justify-center dark:text-white">
|
||||||
|
<div class=" py-2.5 flex flex-col justify-between w-full">
|
||||||
|
<div class="max-w-2xl mx-auto w-full px-3 md:px-0 my-10">
|
||||||
|
<input
|
||||||
|
bind:this={filesInputElement}
|
||||||
|
bind:files={inputFiles}
|
||||||
|
type="file"
|
||||||
|
hidden
|
||||||
|
accept="image/*"
|
||||||
|
on:change={() => {
|
||||||
|
let reader = new FileReader();
|
||||||
|
reader.onload = (event) => {
|
||||||
|
let originalImageUrl = `${event.target.result}`;
|
||||||
|
|
||||||
|
const img = new Image();
|
||||||
|
img.src = originalImageUrl;
|
||||||
|
|
||||||
|
img.onload = function () {
|
||||||
|
const canvas = document.createElement('canvas');
|
||||||
|
const ctx = canvas.getContext('2d');
|
||||||
|
|
||||||
|
// Calculate the aspect ratio of the image
|
||||||
|
const aspectRatio = img.width / img.height;
|
||||||
|
|
||||||
|
// Calculate the new width and height to fit within 100x100
|
||||||
|
let newWidth, newHeight;
|
||||||
|
if (aspectRatio > 1) {
|
||||||
|
newWidth = 100 * aspectRatio;
|
||||||
|
newHeight = 100;
|
||||||
|
} else {
|
||||||
|
newWidth = 100;
|
||||||
|
newHeight = 100 / aspectRatio;
|
||||||
|
}
|
||||||
|
|
||||||
|
// Set the canvas size
|
||||||
|
canvas.width = 100;
|
||||||
|
canvas.height = 100;
|
||||||
|
|
||||||
|
// Calculate the position to center the image
|
||||||
|
const offsetX = (100 - newWidth) / 2;
|
||||||
|
const offsetY = (100 - newHeight) / 2;
|
||||||
|
|
||||||
|
// Draw the image on the canvas
|
||||||
|
ctx.drawImage(img, offsetX, offsetY, newWidth, newHeight);
|
||||||
|
|
||||||
|
// Get the base64 representation of the compressed image
|
||||||
|
const compressedSrc = canvas.toDataURL('image/jpeg');
|
||||||
|
|
||||||
|
// Display the compressed image
|
||||||
|
imageUrl = compressedSrc;
|
||||||
|
|
||||||
|
inputFiles = null;
|
||||||
|
};
|
||||||
|
};
|
||||||
|
|
||||||
|
if (
|
||||||
|
inputFiles &&
|
||||||
|
inputFiles.length > 0 &&
|
||||||
|
['image/gif', 'image/jpeg', 'image/png'].includes(inputFiles[0]['type'])
|
||||||
|
) {
|
||||||
|
reader.readAsDataURL(inputFiles[0]);
|
||||||
|
} else {
|
||||||
|
console.log(`Unsupported File Type '${inputFiles[0]['type']}'.`);
|
||||||
|
inputFiles = null;
|
||||||
|
}
|
||||||
|
}}
|
||||||
|
/>
|
||||||
|
|
||||||
|
<div class=" text-2xl font-semibold mb-6">My Modelfiles</div>
|
||||||
|
|
||||||
|
<button
|
||||||
|
class="flex space-x-1"
|
||||||
|
on:click={() => {
|
||||||
|
history.back();
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
<div class=" self-center">
|
||||||
|
<svg
|
||||||
|
xmlns="http://www.w3.org/2000/svg"
|
||||||
|
viewBox="0 0 20 20"
|
||||||
|
fill="currentColor"
|
||||||
|
class="w-4 h-4"
|
||||||
|
>
|
||||||
|
<path
|
||||||
|
fill-rule="evenodd"
|
||||||
|
d="M17 10a.75.75 0 01-.75.75H5.612l4.158 3.96a.75.75 0 11-1.04 1.08l-5.5-5.25a.75.75 0 010-1.08l5.5-5.25a.75.75 0 111.04 1.08L5.612 9.25H16.25A.75.75 0 0117 10z"
|
||||||
|
clip-rule="evenodd"
|
||||||
|
/>
|
||||||
|
</svg>
|
||||||
|
</div>
|
||||||
|
<div class=" self-center font-medium text-sm">Back</div>
|
||||||
|
</button>
|
||||||
|
<hr class="my-3 dark:border-gray-700" />
|
||||||
|
|
||||||
|
<form
|
||||||
|
class="flex flex-col"
|
||||||
|
on:submit|preventDefault={() => {
|
||||||
|
updateHandler();
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
<div class="flex justify-center my-4">
|
||||||
|
<div class="self-center">
|
||||||
|
<button
|
||||||
|
class=" {imageUrl
|
||||||
|
? ''
|
||||||
|
: 'p-6'} rounded-full dark:bg-gray-700 border border-dashed border-gray-200"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
filesInputElement.click();
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
{#if imageUrl}
|
||||||
|
<img
|
||||||
|
src={imageUrl}
|
||||||
|
alt="modelfile profile"
|
||||||
|
class=" rounded-full w-20 h-20 object-cover"
|
||||||
|
/>
|
||||||
|
{:else}
|
||||||
|
<svg
|
||||||
|
xmlns="http://www.w3.org/2000/svg"
|
||||||
|
viewBox="0 0 24 24"
|
||||||
|
fill="currentColor"
|
||||||
|
class="w-8"
|
||||||
|
>
|
||||||
|
<path
|
||||||
|
fill-rule="evenodd"
|
||||||
|
d="M12 3.75a.75.75 0 01.75.75v6.75h6.75a.75.75 0 010 1.5h-6.75v6.75a.75.75 0 01-1.5 0v-6.75H4.5a.75.75 0 010-1.5h6.75V4.5a.75.75 0 01.75-.75z"
|
||||||
|
clip-rule="evenodd"
|
||||||
|
/>
|
||||||
|
</svg>
|
||||||
|
{/if}
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class="my-2 flex space-x-2">
|
||||||
|
<div class="flex-1">
|
||||||
|
<div class=" text-sm font-semibold mb-2">Name*</div>
|
||||||
|
|
||||||
|
<div>
|
||||||
|
<input
|
||||||
|
class="px-3 py-1.5 text-sm w-full bg-transparent border dark:border-gray-600 outline-none rounded-lg"
|
||||||
|
placeholder="Name your modelfile"
|
||||||
|
bind:value={title}
|
||||||
|
required
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class="flex-1">
|
||||||
|
<div class=" text-sm font-semibold mb-2">Model Tag Name*</div>
|
||||||
|
|
||||||
|
<div>
|
||||||
|
<input
|
||||||
|
class="px-3 py-1.5 text-sm w-full bg-transparent disabled:text-gray-500 border dark:border-gray-600 outline-none rounded-lg"
|
||||||
|
placeholder="Add a model tag name"
|
||||||
|
value={tagName}
|
||||||
|
disabled
|
||||||
|
required
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class="my-2">
|
||||||
|
<div class=" text-sm font-semibold mb-2">Description*</div>
|
||||||
|
|
||||||
|
<div>
|
||||||
|
<input
|
||||||
|
class="px-3 py-1.5 text-sm w-full bg-transparent border dark:border-gray-600 outline-none rounded-lg"
|
||||||
|
placeholder="Add a short description about what this modelfile does"
|
||||||
|
bind:value={desc}
|
||||||
|
required
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class="my-2">
|
||||||
|
<div class="flex w-full justify-between">
|
||||||
|
<div class=" self-center text-sm font-semibold">Modelfile</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<!-- <div class=" text-sm font-semibold mb-2"></div> -->
|
||||||
|
|
||||||
|
<div class="mt-2">
|
||||||
|
<div class=" text-xs font-semibold mb-2">Content*</div>
|
||||||
|
|
||||||
|
<div>
|
||||||
|
<textarea
|
||||||
|
class="px-3 py-1.5 text-sm w-full bg-transparent border dark:border-gray-600 outline-none rounded-lg"
|
||||||
|
placeholder={`FROM llama2\nPARAMETER temperature 1\nSYSTEM """\nYou are Mario from Super Mario Bros, acting as an assistant.\n"""`}
|
||||||
|
rows="6"
|
||||||
|
bind:value={content}
|
||||||
|
required
|
||||||
|
/>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class="my-2">
|
||||||
|
<div class="flex w-full justify-between mb-2">
|
||||||
|
<div class=" self-center text-sm font-semibold">Prompt suggestions</div>
|
||||||
|
|
||||||
|
<button
|
||||||
|
class="p-1 px-3 text-xs flex rounded transition"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
if (suggestions.length === 0 || suggestions.at(-1).content !== '') {
|
||||||
|
suggestions = [...suggestions, { content: '' }];
|
||||||
|
}
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
<svg
|
||||||
|
xmlns="http://www.w3.org/2000/svg"
|
||||||
|
viewBox="0 0 20 20"
|
||||||
|
fill="currentColor"
|
||||||
|
class="w-4 h-4"
|
||||||
|
>
|
||||||
|
<path
|
||||||
|
d="M10.75 4.75a.75.75 0 00-1.5 0v4.5h-4.5a.75.75 0 000 1.5h4.5v4.5a.75.75 0 001.5 0v-4.5h4.5a.75.75 0 000-1.5h-4.5v-4.5z"
|
||||||
|
/>
|
||||||
|
</svg>
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
<div class="flex flex-col space-y-1">
|
||||||
|
{#each suggestions as prompt, promptIdx}
|
||||||
|
<div class=" flex border dark:border-gray-600 rounded-lg">
|
||||||
|
<input
|
||||||
|
class="px-3 py-1.5 text-sm w-full bg-transparent outline-none border-r dark:border-gray-600"
|
||||||
|
placeholder="Write a prompt suggestion (e.g. Who are you?)"
|
||||||
|
bind:value={prompt.content}
|
||||||
|
/>
|
||||||
|
|
||||||
|
<button
|
||||||
|
class="px-2"
|
||||||
|
type="button"
|
||||||
|
on:click={() => {
|
||||||
|
suggestions.splice(promptIdx, 1);
|
||||||
|
suggestions = suggestions;
|
||||||
|
}}
|
||||||
|
>
|
||||||
|
<svg
|
||||||
|
xmlns="http://www.w3.org/2000/svg"
|
||||||
|
viewBox="0 0 20 20"
|
||||||
|
fill="currentColor"
|
||||||
|
class="w-4 h-4"
|
||||||
|
>
|
||||||
|
<path
|
||||||
|
d="M6.28 5.22a.75.75 0 00-1.06 1.06L8.94 10l-3.72 3.72a.75.75 0 101.06 1.06L10 11.06l3.72 3.72a.75.75 0 101.06-1.06L11.06 10l3.72-3.72a.75.75 0 00-1.06-1.06L10 8.94 6.28 5.22z"
|
||||||
|
/>
|
||||||
|
</svg>
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
{/each}
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
<div class="my-2">
|
||||||
|
<div class=" text-sm font-semibold mb-2">Categories</div>
|
||||||
|
|
||||||
|
<div class="grid grid-cols-4">
|
||||||
|
{#each Object.keys(categories) as category}
|
||||||
|
<div class="flex space-x-2 text-sm">
|
||||||
|
<input type="checkbox" bind:checked={categories[category]} />
|
||||||
|
|
||||||
|
<div class=" capitalize">{category}</div>
|
||||||
|
</div>
|
||||||
|
{/each}
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
|
||||||
|
{#if pullProgress !== null}
|
||||||
|
<div class="my-2">
|
||||||
|
<div class=" text-sm font-semibold mb-2">Pull Progress</div>
|
||||||
|
<div class="w-full rounded-full dark:bg-gray-800">
|
||||||
|
<div
|
||||||
|
class="dark:bg-gray-600 text-xs font-medium text-blue-100 text-center p-0.5 leading-none rounded-full"
|
||||||
|
style="width: {Math.max(15, pullProgress ?? 0)}%"
|
||||||
|
>
|
||||||
|
{pullProgress ?? 0}%
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
<div class="mt-1 text-xs dark:text-gray-500" style="font-size: 0.5rem;">
|
||||||
|
{digest}
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
{/if}
|
||||||
|
|
||||||
|
<div class="my-2 flex justify-end">
|
||||||
|
<button
|
||||||
|
class=" text-sm px-3 py-2 transition rounded-xl {loading
|
||||||
|
? ' cursor-not-allowed bg-gray-100 dark:bg-gray-800'
|
||||||
|
: ' bg-gray-50 hover:bg-gray-100 dark:bg-gray-700 dark:hover:bg-gray-800'} flex"
|
||||||
|
type="submit"
|
||||||
|
disabled={loading}
|
||||||
|
>
|
||||||
|
<div class=" self-center font-medium">Save & Update</div>
|
||||||
|
|
||||||
|
{#if loading}
|
||||||
|
<div class="ml-1.5 self-center">
|
||||||
|
<svg
|
||||||
|
class=" w-4 h-4"
|
||||||
|
viewBox="0 0 24 24"
|
||||||
|
fill="currentColor"
|
||||||
|
xmlns="http://www.w3.org/2000/svg"
|
||||||
|
><style>
|
||||||
|
.spinner_ajPY {
|
||||||
|
transform-origin: center;
|
||||||
|
animation: spinner_AtaB 0.75s infinite linear;
|
||||||
|
}
|
||||||
|
@keyframes spinner_AtaB {
|
||||||
|
100% {
|
||||||
|
transform: rotate(360deg);
|
||||||
|
}
|
||||||
|
}
|
||||||
|
</style><path
|
||||||
|
d="M12,1A11,11,0,1,0,23,12,11,11,0,0,0,12,1Zm0,19a8,8,0,1,1,8-8A8,8,0,0,1,12,20Z"
|
||||||
|
opacity=".25"
|
||||||
|
/><path
|
||||||
|
d="M10.14,1.16a11,11,0,0,0-9,8.92A1.59,1.59,0,0,0,2.46,12,1.52,1.52,0,0,0,4.11,10.7a8,8,0,0,1,6.66-6.61A1.42,1.42,0,0,0,12,2.69h0A1.57,1.57,0,0,0,10.14,1.16Z"
|
||||||
|
class="spinner_ajPY"
|
||||||
|
/></svg
|
||||||
|
>
|
||||||
|
</div>
|
||||||
|
{/if}
|
||||||
|
</button>
|
||||||
|
</div>
|
||||||
|
</form>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
|
</div>
|
||||||
Loading…
Reference in a new issue