? Редактирование: Post:21.body Сохранить Удалить Закрыть
Инициализация...

Самое новое

СледитьСлежу
+ Создать новую тему
FAQ | En-Zer0Talk | Блоги о разработке: gomzik'a / kostaNew
Загрузка...

Title

Body
^1 ^2 added ━ автор user_name
More topics

Main ZeroNet news How did you find ZeroNet?

Follow in NewsfeedFollowing

IPFS контент

Почему бы не использовать ссылку на хеш в IPFS - как хранение контента? Например создать вики которая будет хранить лишь хеши в зеронете (как piratbay хранит лишь магнет ссылки). А встроенный в клиент IPFS сможет запрашивать. То есть клиенту сайта нужно лишь хранить скажем 10 mb хешей, в то время как статичные страницы будут хранится в IPFS? Я могу и сам просто библиотеку хешей создать, но как сделать это дело User-friendly?

^3 ^4 teslakun отправил on Dec 02, 2017
Please sign innew comment
Войти как...
Отправить
You are running out of your allowed space, please contact the site's admin at unknown to raise your limit.
user_nameadded ^1 ^2
Ответить
Body
technologon Apr 08, 2018 ^1 ^2
Ответить

pozya: Отсутствие личной жизни же. Наверняка.

Идея крайне плохая, потому что IPFS не гарантирует скорость и доступность. А 50 пиров в ZN гарантируют ;)

мдя IPFS кривоват.. соглашусь, намучался довольно долго с ним

technologon Apr 08, 2018 ^1 ^2
Ответить

anotherneko: Хеш каталога просто содержит в себе ссылки на хеши файлов а не сами файлы, за счет этого происходит дедупликация каталогов. С самими файлами кстати тоже не все так просто, если они больше 256k то разбиваются на блоки по 256k и каждый блок хешируется отдельно а потом создается индексный блок ссылающийся на куски файла. За счет этого возможна частичная дедупликация незначительно отличающихся больших файлов.

Опция --nocopy очень помогает когда вы хотите поделиться с миром например дампом WikiLeaks через ipfs, отключит разбивку на блоки, далее все это залинковать через webseed bittorrent как вариант и отдавать magnet с ipfs

pozyaon Apr 07, 2018 ^1 ^2
Ответить

tarakan: Нахрена?

Отсутствие личной жизни же. Наверняка.

technolog: как бы начать использовать возможности обоих систем? Думаю над вариантов ограниченного числа пиров на файл + хэши из ipfs. К примеру: у меня есть файл и он должен раздаваться max 50 пирами, если пиров больше, тогда 51й пир получает ссылку-хэш на файл как в ipfs, если пиров менее 50, раздаем-качаем стандартно по зеро.

Идея крайне плохая, потому что IPFS не гарантирует скорость и доступность. А 50 пиров в ZN гарантируют ;)

tarakanon Apr 05, 2018 ^1 ^2
Ответить

technolog: как бы начать использовать возможности обоих систем? Думаю над вариантов ограниченного числа пиров на файл + хэши из ipfs. К примеру: у меня есть файл и он должен раздаваться max 50 пирами, если пиров больше, тогда 51й пир получает ссылку-хэш на файл как в ipfs, если пиров менее 50, раздаем-качаем стандартно по зеро.

Нахрена?

technologon Apr 05, 2018 ^1 ^2
Ответить

как бы начать использовать возможности обоих систем? Думаю над вариантов ограниченного числа пиров на файл + хэши из ipfs. К примеру: у меня есть файл и он должен раздаваться max 50 пирами, если пиров больше, тогда 51й пир получает ссылку-хэш на файл как в ipfs, если пиров менее 50, раздаем-качаем стандартно по зеро.

balancer73on Apr 01, 2018 ^1 ^2
Ответить

anotherneko:
На самом деле это реализовано. Нужно добавлять файл с ключем -w и тогда вместо /ipfs/QmTUeRKutKfbTRmoXsgRTv4r9zKJyFVrX3NVLQctRmoa1v будет /ipfs/Qmf8NNfsgANUBs9bWZvzsyv4hA5uFBJrRs4xZBzbzGWd5k/any-ignored-file-name-with-extension.jpg

Нет. Это совсем другое. Тут хеш не файла, а каталога. Соответственно, весь бонус контентной адресации (и дедупликации) накрывается. Да, я и сам пользуюсь таким методом, но переименование файла = создание нового каталога с новым хешем.

На практике все оказалось не так радужно, большинство людей пользуются шлюзом а не поднимают свою ноду, от чего файлы живут только когда выложивший находится в онлайне.

Я под свои нужды поднял штук 6-7 нод на VPS и нормальных серверах. Но всё пришлось свернуть, когда IPFS стала жить по принципу «сколько находит памяти, столько и занимает» :)

geeklesson Mar 31, 2018 ^1 ^2
Ответить

dude: В том и проблема - каждый городит свой велосипед несовместимый с другими.

Ответил в блоге., место тут почти закончилось.

balancer73on Mar 31, 2018 ^1 ^2
Ответить

anotherneko: Дедупликация уровня файловой системы позволит …

А в каких FS есть дедупликация? Я знаю только в BTRFS и ZFS, но обе ФС — это довольно жёсткое красноглазие, при чём с дедупликацией и в той, и в другой, много жалоб :)

...

На самом деле контент-адресация в IPFS имеет основным бонусом не дедупликацию, это побочный бонус. А именно отсутствие произвольной адресации. Сокрытие пути до контента. Тебе не важно, где и как хранится контент, главное — знать его идентификатор.

Правда, тут до идеального решения не хватило одного шага. Возможности задавать произвольные имена файлов и расширения для mime. Если бы вместо /ipfs/QmTUeRKutKfbTRmoXsgRTv4r9zKJyFVrX3NVLQctRmoa1v можно было писать /ipfs/QmTUeRKutKfbTRmoXsgRTv4r9zKJyFVrX3NVLQctRmoa1v/any-ignored-file-name-with-extension.jpg, то юзабельность была бы на порядок выше. Да, такое можно сделать на уровне nginx-реверс-прокси, но это уже будет костыль, к тому же, конфликтующий с валидными именами IPFS-каталогов.

dudeon Mar 31, 2018 ^1 ^2
Ответить

В том и проблема - каждый городит свой велосипед несовместимый с другими. И в итоге, на примере файлов, какой нибудь популярный ролик будет лежать у тебя в нескольких экземплярах для доступа через разные сети.

geeklesson Mar 30, 2018 ^1 ^2
Ответить

dude: optional/bigfiles умеют дедупликацию? ipfs умеет

Допилят когда-нибудь. Нет смысла тащить целый IPFS ради частной фичи.

balancer73on Mar 29, 2018 ^1 ^2
Ответить

azz: Вот только смысла особо то нет. Один с двухсот пользователей скопирует хеш и загрузит через ipfs add в лучшем случае.

С моего предыдущего сообщения (всего 4 месяца назад) много воды утекло :) За это время:

  • Я окончательно разочаровался в IPFS и отказался от дальнейшего использования (хотя продолжаю, естественно, поддерживать старые данные).
  • В ZeroBlog нормально заработал механизм авторесайза для аплоада больших фоток. Это не обеспечивает никакого доступа к оригиналам, но сильно упрощает работу с блогом, из-за чего на полноразмеры проще тупо забить ибо лень делать много лишних движений :)
  • В ZeroNet эффективно заработала раздача больших файлов (ZeroUp, KopyKate и т.п.), а опциональные были и раньше.

Так что потенциал IPFS в ZeroNet, ИМХО, сильно упал :)

azzon Mar 26, 2018 ^1 ^2
Ответить

dude: Для нежелающих гуглить

Так зачем новое слово придумывать? Адрес файла создается на основании его хеша

dudeon Mar 26, 2018 ^1 ^2
Ответить

Что это?

Для нежелающих гуглить, это устранение дубликатов файлов. Т.е. например если какая-то смищная картинка или ролик появляется на разных сайтах в неизменом формате, зеронет будет хранить ее в нескольких экземплярах, по штуке для каждого. ipfs видит что файл такой у нас уже есть и использует его.

azzon Mar 26, 2018 ^1 ^2
Ответить

dude: optional/bigfiles умеют дедупликацию?

Что это?

dudeon Mar 26, 2018 ^1 ^2
Ответить

optional/bigfiles умеют дедупликацию? ipfs умеет

azzon Mar 26, 2018 ^1 ^2
Ответить

anotherneko: Так сделали же в зеронете поддержку опционального контента и больших файлов уже.

А можно ссылку?

azzon Mar 26, 2018 ^1 ^2
Ответить

balancer73: а вот ссылку на полноразмер ставлю уже в IPFS через свой гейт.

Вот только смысла особо то нет. Один с двухсот пользователей скопирует хеш и загрузит через ipfs add в лучшем случае. Вот если бы ZeroNet из коробки поддерживал загрузку IPFS файлов по хешу - вот тогда другое дело

balancer73on Dec 03, 2017 ^1 ^2
Ответить

Почему бы не использовать ссылку на хеш в IPFS - как хранение контента?

Я так и делаю :)

Другое дело — что конкретно хранить? Как выше заметили, «кто будет хостить»? IPFS в ZN добавляет новую точку отказа у которой есть две тонкости:

  1. Нужно, чтобы кто-то всё это хранил. Да, пока ты в сети, ты раздаёшь контент. Но что будет, если тебя в сети не станет? В ZN контент доступен, пока есть кто-то заинтересованный в нём. Зашёл на зайт — раздаёшь его. В IPFS такого нет. Каждый должен вручную пинить нужные ресурсы и нет никаких средств узнать число пинов. Максимум — количество пиров с файлом, но это может быть кеш других нод, который через час, день или неделю будет вычищен.

  2. Львиная доля юзеров ZN, особенно — посторонних читателей через прокси, не имеет у себя IPFS-демона на рабочей машине. Да что там, у меня самого нет IPFS на рабочих десктопах, только на серверах. Значит раздавать ссылки надо через гейты. Можно через официальный гейт. Но где гарантии, что он останется цел завтра? Я поднял под свои раздачи свой гейт, так как могу гарантировать, что он будет работать, пока я жив и дееспособен, но что будет после того, когда меня не станет? :D Да, в таком случае раздача моего контента меня уже не будет беспокоить, но он перестанет быть доступен для других. Проблема, которую как раз ZN предназначена решать.

Словом, простые тексты весят мало, так что ZeroNet прекрасно с ними справляется, на них и ориентирована. А что до остальных ресурсов... Я сейчас пришёл к такой схеме в блогах — превьюшки картинок (ну, как превьюшки, всё, что влезет в штатные 200кБ, т.е. до 1024x...1280x) размещаю в ZeroBlog, а вот ссылку на полноразмер ставлю уже в IPFS через свой гейт.

dudeon Dec 02, 2017 ^1 ^2
Ответить

Тут главный вопрос: А кто все это будет хостить?
С базовым зеро все вроде прозрачно - посещаешь сайт - хостишь, смотришь опциональные картинки на гифтайме - хостишь.
Если это все будет хоть сколько нибудь не автоматизировано, не взлетит
Можно было бы юзать bigfiles самого зеро, но тут единственный плюс ipfs по сравнению - их хеши можно юзать за пределами зеро. (если бы ipfs хоть где нибудь еще применялся, хехе)

This page is a snapshot of ZeroNet. Start your own ZeroNet for complete experience. Learn More