TODO

Merge pull request #24700 from poettering/ssh-creds

support easy provisioning for SSH key of root user

Merge pull request #24628 from medhefgo/boot-sections

boot: Try to detect overlapping PE sections

Merge pull request #24796 from yuwata/doc-update

documentation updates

Merge pull request #24794 from DaanDeMeyer/repart-follow-ups

repart: Extend squashfs logic to all read-only filesystems

Merge pull request #24686 from d4nuu8/delta_output

shared/logs-show: add new --output= format "short-delta"

update TODO

README: drop graphs counting issues or PRs

These cannot be accessible anymore.

doc: drop remaining references to LGTM.com

Updated Lenovo ThinkPad T440p/T440 touchpad fuzz (#24779)

shared/logs-show: add new --output= format "short-delta"

This new output formatting option is similar to "short-monotonic" but
also shows the time delta between two messages.

This fixes #24641.

logs-show: move timestamp reading into show_journal_entry()

shared: Don't try to generate read-only filesystem that we don't support

We need explicit support to generate read-only filesystems, since we
always need to pass a source tree to the mkfs binary to populate the
filesystem. As such, let's add an explicit check to return a
recognizable error when users try to generate a read-only filesystem
that we don't support.

repart: Extend squashfs logic to all read-only filesystems

The same logic will apply to every read-only filesystem that we
might add support for in the future, so let's make this a bit more
future proof.

update TODO

(let's also merge all TODO items about adding creds support to various
tools into one item)

man: add man page decribing well known system credentials

test: add test case for new ':' uid/gid/access modifier in tmpfiles.d

man: document new : modified for uid/gid/access mode in tmpfiles.d

tmpfiles: add lines for provisioning ssh keys for root by default

With this, I can now easily do:

    systemd-nspawn --load-credential=ssh.authorized_keys.root:/home/lennart/.ssh/authorized_keys --image=… --boot

To boot into an image with my SSH key copied in. Yay!

tmpfiles: rework empty_directory() to also use chase_symlinks()

tmpfiles: move symlink creation into its own function, and modernize

Let's ensure it also operates based on O_PATH, like fifo/device node/…
creation.

tmpfiles: whenever creating an inode, immediately O_PATH open it to pin it

let's make things a bit less racy: whenever we create an inode,
immediately open it via O_PATH, compare type and continue operations
with the acquired fd.

fs-util: add mknodat_atomic()

fs-util: make mkfifo_atomic() just a shortcut for mkfifoat_atomic()

fs-util: replace symlink_atomic() by symlinkat_atomic()

tmpfiles: allow prefixing uid/gid/mode with ":" to only apply on creation

In some cases it is useful to specify the access mode/uid/gid for inodes
we create without also enforcing them on existing inodes. Let's add a
new flag for that: if the uid/gid/mode specificaitons are prefixed with
":", then they only apply to creation, not otherwise.

This is specifically useful for provisioning SSH keys later. Those we'd
like to provision like this:

<snip>
d /root :0700 root root -
d /root/.ssh :0700 root root -
f^ /root/.ssh/authorized_keys - - - - ssh.authorized_keys
</snip>

While /root/ + /root/.ssh/ being owned by root is pretty uncontroversial
the access mode of /root/ and /root/.ssh/ might not be. Hence we should
only have a default mode defined that is used when we create the dir,
but not otherwise.

tmpfiles: generalize CreationMode and pass it everywhere

For some purposes we had CreationMode which indicates whether an inode
was created by us, or is pre-existing. Let's generalize that for *all*
operations. This is later useful to conditionalize certain operations on
that (and makes the codebase more systematic)

tmpfiles: rebreak some comments

Merge pull request #24797 from yuwata/networkctl

networkctl: several table format updates

networkctl: re-order entries in status command

Also fixes "Speed:" field, which may show empty value.

test-network: fix matching string

This partially reverts 5515f2169cb5980996044eabb5f1b35e00fd81eb.
As the commit changes 'networkctl list', not 'networkctl status'.

networkctl: use "-" for empty LLDP entries

udev: support by-path devlink for multipath nvme block devices

If multipath feature is enabled, nvme block devices may belong to the
"nvme-subsystem" subsystem, instead of "nvme" subsystem.
(What a confusing name...)

Then, the syspath is something like the following,
    /sys/devices/virtual/nvme-subsystem/nvme-subsys0/nvme0n1
Hence, we need to find the 'real parent' device, such as
    /sys/devices/pci0000:00/0000:00:1c.4/0000:3c:00.0/nvme/nvme0

Fixes https://bugzilla.redhat.com/show_bug.cgi?id=2031810.
Fixes https://bugzilla.redhat.com/show_bug.cgi?id=2124964.
Replaces #24748.

Merge pull request #24790 from poettering/run-chdir

run: let's make --working-directory= just work with --scope

kbd-model-map: add a mapping for switched czech qwerty/us

See https://bugzilla.redhat.com/show_bug.cgi?id=2121106 for the
background on this. One of Fedora's QA folks ran an install
and chose two keyboard layouts: Czech (qwerty) and US. Due to
the sad details of how the whole logic flow for trying to decide
what kbd layout best matches a given xkb config works (see
details in the bug comments), we wound up deciding the best-
matching kbd layout for this situation was cz-us-qwertz, which
is a czech/us switched layout, but is qwertz, not qwerty. This
seems like a poor outcome. Adding this line should result in us
picking cz-qwerty in this case. Which may be the 'legacy'
cz-qwerty.map from upstream kbd project (which is switched
cz/us), or may be the auto-converted xkb layout (which obviously
isn't switched). But either way, at least its primary mode is
Czech qwerty, which seems like a *better* choice than a layout
whose primary mode is Czech qwertz.

Signed-off-by: Adam Williamson <awilliam@redhat.com>

Merge pull request #24771 from poettering/destroy-pcr11

extend boot phase information into PCR 11 during boot

man/portablectl: fix references to options

Merge pull request #24746 from DaanDeMeyer/repart-split

repart: Add --split option to generate split artifacts

update TODO

measure: clarify we actually try to calculate for all four banks by default

measure: make --public-key= optional if "sign" is called

We can derive the public key from the private key, so let's do that, to
make things a bit easier.

measure: allow pre-calculating PCR values for multiple boot phases

units: add pcrphase units

boot: add new pcrphase tool to measure barrier strings into PCR 11

tpm2-util: add helper for determining enabled/used PCR banks

tpm2-util: split out code that checks if bank has 24 pcrs into helper function of its own

Just some refactoring, not change in behaviour.

tpm2-util: pick up Esys_PCR_Extend() symbol too

Merge pull request #24781 from DaanDeMeyer/link-remove-check

systemctl: Remove check that linked unit files must contain a "/"

repart: Add --split option to generate split artifacts

For use with sysupdate or other systemd tooling, it's useful to be
able to generate split artifacts from disk images, where each
partition is written to a separate file. Let's support this with
a --split switch for repart and a SplitName= configuration option.

--split enables split artifacts generation, and SplitName= configures
for which partition to generate split artifacts, and which suffix to
add to the split artifact name.

For SplitName=, we add support for some extra specifiers, more specifically
the partition Type UUID and the partition UUID.

shared: Add GPT_PARTITION_TYPE_UUID_TO_STRING_HARDER()

shared: Add specifier_uint64()

systemctl: Fix style nit

run: make --working-directory= work for --scope too

This sounds like a more user-friendly alternative to #24780

Revert "systemd-run: refuse --working-directory option with --scope"

This reverts commit 780c8055378589e5a7d419789761c35d05295291.

Merge pull request #24768 from keszybz/table-not-available-2

Adjust table n/a text in more places

shared: Add specifier_id128() and specifier_uuid()

Merge pull request #24620 from poettering/measure-tweaks

measure: some tweaks

README: drop the LGTM badge

systemctl: Improve link directory separator error message

Let's suggest users try ./<filename> when they encounter this error.

shared/format-table: use empty_string instead of hardcoding "-" for invalid values

As requested in https://github.com/systemd/systemd/pull/24708#discussion_r973607866.

shared/format-table: use enum instead of Table.empty_string

All users were setting this to some static string (usually "-"), so let's
simplify things by not doing strdup, but instead limiting callers to a fixed
set of values. In preparation for the next commit, the function is renamed from
"empty" to "replacement", because it'll be used for more than empty fields. I
didn't do the whole string-table setup, because it's all used internally in one
file and this way we can immediately assert if an invalid value is passed in.

Some callers were (void)ing the error, others were ignoring it, and others
propagating. It's nicer to remove the boilerplate.

systemd-run: refuse --working-directory option with --scope

systemd-run's man page says the following about the working directory of
the process:

"If a command is run as transient scope unit, it will be executed
by systemd-run itself as parent process and will thus inherit the
execution environment of the caller."

This means working directory assignment does not work, as evidenced by
the following invocation:
```bash
$ systemd-run --scope --property=WorkingDirectory=/tmp/ bash -c 'echo $(pwd)'
Unknown assignment: WorkingDirectory=/tmp/
```

However, using the shorthand switch --working-directory silently ignores
this instead of giving a similar error.
```bash
systemd-run --scope --user --working-directory=/tmp/ bash -c 'echo $(pwd)'
Running scope as unit: run-r19cc32e744e64285814dbf2204637a2b.scope
/home/test/projects/systemd
```

This commit fixes this by explicitly generating an error instead of
silently ignoring the switch:
```bash
$ systemd-run --scope --working-directory=/tmp/ bash -c 'echo $(pwd)'
--working-directory is not supported in --scope mode.
```

man: don't mention Socket files in Scope man page

Merge pull request #24709 from keszybz/partition-table-constants

Expose various GPT UUIDs as public contants and link them up in docs

Merge pull request #24753 from DaanDeMeyer/repart-squashfs

repart: Add squashfs support

Fix  inverted rotation in the Positivo DUO #24769 (#24770)

hwdb: Fix  inverted rotation in the Positivo DUO

Fixes: #24769

stub: fix conditionalization of initrd assembly

We forgot to conditionalize this on pcrsig/pcrpkey too. So if you have
ne creds or sysext configured we actually wouldn't pass pcrsig/pcrpkey
along. Let's fix that.

sd-gpt: adjust comments and use UINT64_C()

docs/DPS: use the SD_GPT_* constants here too

networkctl: use "-" for empty fields

This looks nicer. Some fields were already using "-" as fallback, e.g. Speed,
so this makes things more consistent too.

hostnamectl,localectl: use "(unset)" in empty fields

"n/a" is more ambiguous: not available or not set or maybe we didn't check it.
Let's just say directly that the field is not set.

repart: Add squashfs support

To make this work, we have to set up everything in a temporary
directory tree that we can pass to mksquashfs as a single directory.

To make the most common scenario more efficient, we skip the temporary
setup directory if we only get a single source tree destined to root
in the squashfs filesystem.

Merge pull request #24751 from medhefgo/stub-x86

stub: Several fixes

shared: Add squashfs support to make_filesystem()

The caveat is that the caller has to provide a source directory
to initialize the squashfs filesystem from.

Merge pull request #24522 from yuwata/core-device-drop-nonexistent-devlink-unit

core/device: drop nonexistent devlink units

kernel-install.8: fix -h/-v ordering in SYNOPSIS

kernel-install/90-loaderentry: fix chown

test-17-udev: test that device units for nonexistent devlink are removed

For issue #24518.

test-64-storage: add test for renaming lvm volume

test-64-udev-storage: check device units

core/device: check that no unit is ready and not simultaneously

This should not happen, just for safety.

core/device: refuse alias with ".."

core/device: always update existing devlink or alias units on uevent

Previously, existing device units for devlinks or aliases were not
removed unless the main device unit is removed. This makes all existing
device units for devlinks and aliases are checked if they are still
required, and remove if not necessary anymore.

Fixes #24518.

test: don't overwrite existing $QEMU_OPTIONS

mkosi: Set ExtraSearchPaths=build/ by default

When hacking on systemd, let's have mkosi prefer executables from
the build directory over the system ones.

Merge pull request #24521 from poettering/boot-loader-spec-dollar-boot-fix

boot loader spec fixes

boot-loader-spec: undo redefinition of $BOOT

In 53c26db4dac0f5b79ca2a57364ee7df78a14bbfd the meaning of $BOOT was
redefined. I think that's quite problematic, since the concept is
implemented in code and interface of bootctl. Thus, I think we should
stick to the original definition, which is: "where to *place* boot menu
entries" (as opposed to "where to *read* boot menu entries from").

The aforementioned change was done to address two things afaiu:

1. it focussed on a $BOOT as the single place to put boot entries in,
   instead of mentioning that both ESP and $BOOT are expected to be
   the source

2. it mentioned the /loader/ dir (as location for boot loader resources)
   itself as part of the spec, which however only really makes sense in
   the ESP. /loader/entries/ otoh makes sense in either the ESP or
   $BOOT.

With this rework I try to address these two issues differently:

1. I intend to make clear the $BOOT is the "primary" place to put stuff
   in, and is what should be mounted to /boot/.

2. The ESP (if different from $BOOT) is listed as "secondary" source to
   read from, and is what should be mounted to /efi/. NB we now make the
   distinction between "where to put" (which is single partition) and
   "where to read from".

3. This drops any reference of the /loader/ dir witout the /entries/
   suffix. Only the full /loader/entries/ dir (and its companion file
   /loader/entries.srel) are now mentioned. Thus isolated /loader/
   directory hence becomes irrelevant in the spec, and the fact that
   sd-boot maintains some files there (and only in the ESP) is kept out
   of the spec, because it is irrelevant to other boot loaders.

4. It puts back the suggestion to mount $BOOT to /boot/ and the ESP to
   /efi/ (and suggests adding a symlink or bind mount if both are the
   same partition). Why? Because the dirs are semantically unrelated:
   it's OK and common to have and ESP but no $BOOT, hence putting ESP
   inside of a useless, non-existing "ghost" dir /boot/ makes little
   sense. More importantly though, because these partitions are
   typically backed by VFAT we want to maintain them as an autofs, with
   a short idle delay, so that the file systems are unmounted (and thus
   fully clean) at almost all times. This doesn't work if they are
   nested within each other, as the establishment of the inner autofs
   would pin the outer one, making the excercise useless. Now I don't
   think the spec should mention autofs (since that is an implementation
   detail), but it should arrange things so that this specific, very
   efficient, safe and robust implementation can be implemented.

The net result should be easy from an OS perspective:

1. *Put* boot loader entries in /boot/, always.

2. *Read* boot loader entries from both /boot/ and /efi/ -- if these are distinct.

3. The only things we define in the spec are /loader/entries/*.conf and
   /EFI/Linux/*.efi in these two partitions (well, and the companion
   file /loader/entries.srel

4. /efi/ and /boot/ because not nested can be autofs.

5. bootctl code and interface (in particular --esp-path= and
   --boot-path=) match the spec again. `bootctl -x` and `bootctl -p`
   will now print the path to $BOOT and ESP again, matching the concepts
   in the spec again.

From the sd-boot perspective things are equally easy:

1. Read boot enrties from ESP and XBOOTLDR.

2. Maintain boot loader config/other resources in ESP only.

And that's it.

Fixes: #24247

boot-loader-spec: fix typo

boot-loader-spec: add comment about case sensitivity of file names

TODO: drop support for unmerged-usr in H2 2023

core/device: introduce device_propagate_reload()

core/device: introduce device_by_path() helper function

core/device: removed devices are not ready

core/device: use DEVICE_NOT_FOUND

measure: separate out PE section options in --help text

Let's separate the PE section options in the --help text to make clearer
that they are about PE sections, and thus make things less confusing
regarding the cryptic names. Specifically, there's now a separate
section in the --help text that looks like this:

<snip>
UKI PE Section Options:                                         UKI PE Section
     --linux=PATH        Path Linux kernel image                → .linux
     --osrel=PATH        Path to os-release file                → .osrel
     --cmdline=PATH      Path to file with kernel command line  → .cmdline
     --initrd=PATH       Path to initrd image                   → .initrd
     --splash=PATH       Path to splash bitmap                  → .splash
     --dtb=PATH          Path to Devicetree file                → .dtb
     --pcrpkey=PATH      Path to public key for PCR signatures  → .pcrpkey
</snipe>

(The section title is underlined, like we usually do it)

I think separating this out, and organizing the section name in tabular
form emphasizes nicely where this switches get their name from and what
they mean.

Hopefully addresses concerns from
https://github.com/systemd/systemd/pull/24458#discussion_r967052720 in a
diferent way.

(Also dropped a hint regarding DER format for public key. it's simply
wrong, we use PEM like everyone else on Linux. Outside of Java land DER
isn't popular, so we don't need to mention it here in the --help text,
man page should be enough.)

stub: typo fix in comment

https://github.com/systemd/systemd/pull/24458#discussion_r966941104

Merge pull request #24711 from poettering/verify_fsroot_dir-rework

find-esp: rework verify_fsroot_dir()  a bit

recurse-dir: use fd_reopen() at one more place

Inspired by 83b94cf10e4f76b2b415bc70bf65f1c28698b97c

Delete CNAME

repart: Rename fs to root in do_copy_files() and do_make_directories()

Preparation for future commits