kernel-install: make version/kernel image parameters optional for "add"

Let's make kernel-install a bit easier to use:

If the kernel version is not specified, let's imply "uname -r", so that
we regnerate the entries for the current kernel.

If the kernel image is not specified let's imply using
/usr/lib/modules/$version/vmlinuz, i.e. the location distros like Fedora
drop the kernel into, which we generally recommend people to use.

If the kernel is not found there, don't try to automatically pick the
kernel path, and fail, as before.

kernel-install: add command to list installed kernels

This simply dumps the dirs in /usr/lib/modules/ and whether they contain
a vmlinuz binary.

string-util: add strdup_or_null() helper

bootspec: fix typo

TODO: fix more typos

TODO: fix typos

Merge pull request #29879 from Flowdalic/cgroup-memory-peak

cgroup: add support for memory.peak

Merge pull request #29888 from mrc0mmand/network-generator

test: add a couple of tests for systemd-network-generator

kernel-install: Add --root, --image and --image-policy

Currently only supported for the "inspect" verb as "add" and "remove"
require figuring out what to do with plugins.

resolve: use exact-match domain as routing domain for single-labels

With ResolveUnicastSingleLabel=yes, a scope's search domains are affixed to the
query even when a routing domain matches the single-label query name,
preventing the use of dotless single-label domains entirely.

This changes dns_scope_name_wants_search_domain() to return false when the
scope contains an exact match of the single-label name in the query, allowing
lookups for dotless domains with ResolveUnicastSingleLabel enabled.

Merge pull request #29882 from keszybz/documentation-cleanup

Documentation cleanup

test: wait for the "latest" systemd-bsod message

Let's wait for the "latest" message systemd-bsod prints to the console
to appear, otherwise we might be too fast and take a console snapshot
before it contains all the information:

[   44.237788] testsuite-04.sh[1744]: + setterm --term linux --dump --file /tmp/console.dump
[   44.246089] systemd-bsod[1858]: QR code could not be printed, ignoring: Operation not supported
[   44.305692] testsuite-04.sh[1744]: + grep -aq 'The current boot has failed' /tmp/console.dump
[   44.308047] testsuite-04.sh[1744]: + grep -aq 'Service emergency message' /tmp/console.dump
[   44.311200] testsuite-04.sh[1744]: + grep -aq 'Press any key to exit' /tmp/console.dump
[   44.314359] testsuite-04.sh[1744]: + at_exit
[   44.315087] testsuite-04.sh[1744]: + local EC=1
[   44.315945] testsuite-04.sh[1744]: + [[ 1 -ne 0 ]]
[   44.316647] testsuite-04.sh[1744]: + [[ -e /tmp/console.dump ]]
[   44.318305] testsuite-04.sh[1744]: + cat /tmp/console.dump
[   44.319320] testsuite-04.sh[1871]:    The current boot has failed!
[   44.319970] testsuite-04.sh[1871]:    Service emergency message

test-network: test MultiPathRoute= via another interface

Prompted by https://github.com/systemd/systemd/pull/14194#issuecomment-1795489641.

test: add a couple of tests for systemd-network-generator

Only for ip= stuff, for now.

Merge pull request #29894 from bluca/typo

udev/man typos

man/systemd-stub: split and simplify a wall'o'text paragraph

man/networkctl,systemd-soft-reboot: capitalize and add periods

We added version information, so now each bullet point contains multiple
paragraphs, so we need proper sentences.

man: "Documentation" is not part of the title

<ulinks> contents are used to generate a SEE ALSO section at the
bottom of a man page, so we need to include the title, without additional
words, in the content.

man: more hyperlinks and other fixes

Closes https://github.com/systemd/systemd/issues/29814.

tree-wide: s/life-cycle/lifecycle/g

docs: fix title levels, remove unneded words

The title applies to the whole page, not just the first section.
And there should be just one title ('# foo') in a given document.

man: use meaningful titles for <ulink>s

As pointed out in https://github.com/systemd/systemd/issues/29814, we need to
use phrases are are meaningful on their own, because the man page formatter
creates a list at the bottom. With <ulink>see docs</ulink>, we end up with:
  NOTES:
    1. see docs
       https://some.url/page
    2. see docs
       https://some.url/page2
which is not very useful :(

Also, the text inside the tag should not include punctuation.

Python helper:
  from xml_helper import xml_parse
  for p in glob.glob('../man/*.xml'):
       t = xml_parse(p)
       ulinks = t.iterfind('.//ulink')
       for ulink in ulinks:
           if ulink.text is None: continue
           text = ' '.join(ulink.text.split())
           print(f'{p}: {text}')

Revert "mkosi: Use cache and build subdirectories"

We're not going ahead with the corresponding change in mkosi
after all so revert the preparatory change in systemd as well.

This reverts commit f756bcdf17915ffb3b8e3e21b4aa2b53ccaaac1a.

test: fix build without SBAT_DISTRO

Follow-up for c9bebec872

man: fix typo

allows to -> allows one to

udev: ressize -> result_size

Lintian flags it as a typo of 'resize', so rename it and make it clearer too

run: include peak memory in output

Fixes #28542.

Signed-off-by: Florian Schmaus <flo@geekplace.eu>

core: include peak memory in unit_log_resources()

Signed-off-by: Florian Schmaus <flo@geekplace.eu>

cgroup: add support for memory.peak

Linux's Control Group v2 interfaces exposes memory.peak, which contains the
"max memory usage recorded for the cgroup and its descendants since the
creation of the cgroup."

This commit adds a new property "MemoryPeak" for units and makes "systemctl
show" display this value if it is available.

Fixes #29878.

Signed-off-by: Florian Schmaus <flo@geekplace.eu>

network-generator: allow specifying MAC address without MTU

Also, don't panic when both optional arguments are empty. This should
make the syntax compatible-ish with the dracut one from dracut.cmdline(7).

Resolves: #29855

network-generator: correctly handle IPv6 DNS servers in ip=

IPv6 addresses in the ip= assignment need to be enclosed in [], which
was handled for all IP-related fields except for the two optional DNS
fields.

login: switch an if condition to a switch statement

No functional changes but makes the code more readable once we expand
the list of device types.

update TODO

tcrypt: try all entered passphrases instead of just the first one (#29837)

Previously only the first entered passphrase would be used.  Add the ability to check all the passwords entered by the user.  The total number of passwords entered is still limited by passphrase entry limit.

bootctl: fix -q option

Follow up to 14e6e444dd9eaa0db229548c31baecd75de4478e

man/bootctl: fix --dry-run entry

Fixes 8702496bfb0205764569782a9a2ebd11fd80e5e8

man/measure: document --uname

Follow up to b6f2e6860220aa89550f690b12246c4e8eb6e908

Merge pull request #29675 from DaanDeMeyer/kernel-install-json

kernel-install: Add --json option for inspect verb

Merge pull request #29872 from yuwata/udevadm-trigger-receive-buffer-size

udevadm-trigger: extend receive buffer size

pcrlock: show emojis for each PCR line

I am sorry, I totally forgot adding emojis reflecting the state of each
PCR. I hope I can do better in future, and hereby I'd like to rectify
the situation a bit.

NEWS: drop left-over .md suffix

kernel-install: Add --json option for inspect verb

In mkosi, we can't use kernel-install directly but we do want to
mimick its behavior as much as possible. Let's make that easier by
making it easy to fetch data from kernel-install as JSON.

To get all the necessary data, we extend the inspect verb to also
allow passing in a kernel version and initrds, to mimick the "add"
verb. The kernel version is used to determine the "Entry Directory",
and in absence of auto-detection of kernel version in kernel-install
we have to allow users to pass it.

We also add --no-pager while we're at it.

boot-entry: Add boot_entry_token_type_to_string()

kernel-install: Fix doc whitespace

NEWS: fix typo

vmspawn: extend kernel cmdline with extra args

This changes how the "extra" command line arguments passed to vmspawn
are handled.

Previously they were appended to the QEMU command line directly.
Now they are appended to the kernel command line using SMBIOS instead.

Merge pull request #29875 from bluca/news

Update NEWS and hwdb

sd-device-monitor: unconditionally increase buffer size by sd_device_monitor_new()

As suggested at https://github.com/systemd/systemd/pull/29872#discussion_r1382932633:
> socket memory is these days accounted to the process that owns a socket,
> hence we shouldn't be too concerned that this might waste memory.

test: add test case for issue #29863

NEWS: finalize

Update hwdb

NEWS: update contributors list

Merge pull request #29873 from yuwata/network-revert-hop-limit

network: several follow-ups for IPv6 hop limit

network: do not try to set invalid value for IPv6 hop limit

network: fix indentation

Follow-up for f141b2c053527cdf2500dae5cd4f470ed964b436.

Revert "ndisc: Also set link hoplimit"

This reverts commit 0ba8374bb8a7032ca13ba98d10e8d7c3378ca9c6.

- link->network->ipv6_hop_limit must not be updated, as it may be used
  by multiple interfaces,
- We may receive multiple RA from multiple routers with different hop
  limit, and we should not make the default hop limit flicking,
- First of all, there is no reason that we need to update the default hop
  limit,
- The original issue should be caused by the hash and compare functions
  for Route object.

udevadm-trigger: extend receive buffer size

We may trigger huge number of devices and will receive many events.
Let's extend the buffer size, otherwise the buffer may be filled.

Fixes #29863.

NEWS: mention new rpm macros

NEWS: reword things, change ordering, remove one duplicate

kernel-install: Log location that uki is installed in

Let's log where we install a UKI when running in verbose mode.

test: make the test happy with coverage builds

Bump the LimitFSIZE=, since the process needs to write quite a lot of
.gcda files, and suppress coverage errors with DynamicUser=true.

Update NEWS

Note that vmspawn and pcrlock are new and the interface might change

Merge pull request #29862 from mrc0mmand/udevadm-followups

A couple of follow-ups for `udevadm control`

udevadm: actually set the log level

Follow-up to e4080a6d97.

udevadm: make sure we don't reset max children on each invocation

Follow-up to e4080a6d97.

Merge pull request #29858 from bluca/news

man/NEWS update for sleep.conf

man: drop obsolete reference to SuspendMode=

Follow-up for 1f82c21dce

NEWS: update for deprecated sleep configs

Merge pull request #29402 from yuwata/sd-journal-cleanups-for-generic-array-bisect

sd-journal: cleanups for generic_array_bisect()

Merge pull request #29469 from yuwata/sd-journal-pin-object

sd-journal: add a way to 'pin' object to protect from reading another object with the same type

tree-wide: fix typo

sd-journal: make generic_array_bisect_plus_one() take data object

Then, rename it to generic_array_bisect_for_data().
No functional change, just refactoring.

sd-journal: introduce journal_file_pin_object()

Previously, OBJECT_UNUSED was used for 'pinning' the mmap cache for an
object. But, OBJECT_UNUSED is also used for reading object when type
cannot be determined before read, e.g. when reading the tail object.

Let's introduce another category for pinning mmap cache, and use it when
we want to temporary pin an object.

mmap-cache: introduce window_matches_by_addr()

It is similar to window_matches(), but checks the mapped address.
Mostly preparation for later commits.

mmap-cache: introduce enum MMapCacheCategory

Then rename context -> category.

No functional change, just refactoring and modernization.

mmap-cache: drop Context and boolean flags in Window

No functional change, just refactoring.

sd-journal: rework generic_array_bisect()

- Rename generic_array_bisect_one() -> generic_array_bisect_step(), as there
  is also generic_array_bisect_plus_one(), so the original name is confusing.
- Make generic_array_bisect_step() return TEST_GOTO_NEXT or TEST_GOTO_PREVIOUS
  when the current array does not contain any matching entries.
- Make generic_array_bisect_step() symmetric with respect to the direction
  we are going to, except for the journal corruption handling.
- Make generic_array_bisect_step() gracefully handle journal corruptions,
  so the corruption handling in the caller side can be mostly dropped.
- Especially, when the last entry in an array is corrupted, previously
  we tried to find a valid entry sequentially from the end of the array,
  but now we anyway bisect the array. That should improve performance of
  reading corrupted journal files.
- Return earlier when no entry linked to the chained array (n == 0).
- Add many comments.

No behavior change unless journal is corrupted.

sd-journal: drop redundant re-reading of entry array object

This effectively reverts e562f131585fe6ae32b1f035ba48c1548d695259.

In the loop of the generic_array_bisect(), the offset of the entry array
object is unchanged, the object is read at the beginning of the loop, and
we do not read any other entry array object. Hence, it is not necessary to
re-read the object every time we use the object.

test: wait for the nvme device to appear

Also, use a /dev/disk/by-id/ symlink to the device, which should be
predictable, unlike the /dev/nvmeX stuff.

Merge pull request #29848 from poettering/base64url-too

hexdecoct: implicitly parse URL-safe base64 format, too

fuzz: limit the interface definition input size to 64K

To avoid timeouts with larger inputs.

Resolves: #29856

Update NEWS

test: add a couple of tests for systemd-bsod

Add some basic tests for systemd-bsod, mainly to have something to build on
for #29056.

Revert "test: don't panic on soft lockups"

Let's put this back in, as it could help with occasional machine lock ups
on overloaded systems (and it didn't help with the original issue
anyway).

This reverts commit 3a89904e45cbbd96fb1c5d0768de5e5fcdaaa508.

Merge pull request #29839 from goenkam/maanya/portabled_support_for_confext

portable: add support for confext

test: add test for the combined base64/base64url decoder

hexdecoct: implicitly parse URL-safe base64 format, too

JSON-I (RFC 7493) suggests to use the URL safe base64 alphabet, rather
than the regular one when encoding binary data in JSON strings. We
generally uses the regular alphabet though.

Let's be tolerant in what we parse however: simply accept both formats
when we parse base64.

This does nothing about base64 generation though, only about parsing.

Merge pull request #29847 from dtardon/udevadm-control-arg-processing

Streamline `udevadm control` arg. handling

cryptsetup: do not print (null) if pkcs11 uri not set

The pkcs11 uri is no set if the smart card is not inserted while using
`pkcs11-uri=auto` with libcryptsetup plugins.

```
> systemd-cryptsetup attach cr_data /dev/sda1 - pkcs11-uri=auto
Set cipher aes, mode xts-plain64, key size 512 bits for device /dev/sda1.
Security token (null) not present for unlocking volume Linux filesystem (cr_data), please plug it in.
```

udev-ctrl: drop the unused maybe_disconnected stuff

udevadm-control: return early if --exit is used

All the following commands would just fail with -ENOANO anyway, hence
there's no point in sending them. And it allows us to shave off some
error handling code.

udevadm-control: parse all args in advance

This is mostly just refactoring to make the code more manageable and
extendable. It doesn't introduce any semantic changes, but it
"optimizes" the communication with udevd a bit:
* If an option is used multiple times, only one command will be sent. If
  the option takes a value, the value of the final appearance of the
  option is used. The only exception is --property, which is additive by
  nature.
* Options --start-exec-queue and --stop-exec-queue are handled together.
  Only one of START_QUEUE/STOP_QUEUE commands will be sent to udevd even
  if both options appear on the command line.

portable: add support for confext

Support confexts for portable services

core: check that extensions have the hierarchies before overlaying

Before confext was added, hierarchies always existed in extensions. Now
they are optional - i.e., a sysext will not contain /etc/. So mixing a
confext and a sysext fails, as we'll try to create an overlay with /etc/
from the base, the confext and the sysext, but the latter doesn't have
the directory.

After the source images are mounted, check that each hierarchy exists in
each source image before creating the overlay, and drop them if they
don't.

Follow-up for 55ea4ef096543

strv: add strv_free_many() to be used with CLEANUP_ARRAY()

NEWS: add entry for vmspawn

NEWS: fix typo and reword meson option entry

update NEWS

namespace: fix whitespace mixup

more additions to NEWS